Together 联合斯坦福等机构开启 RedPajama 计划，旨在创建完全开源的大型语言模型

据 VentureBeat 报道，总部位于加州的专注于建立去中心化云和开源模式的公司 Together 近日宣布了 RedPajama 计划。据悉，RedPajama 是 Together、Ontocord.ai、ETH DS3 Lab、斯坦福 CRFM、Hazy Research 和 MILA 魁北克人工智能研究所之间的一个合作项目，旨在创建领先的、完全开源的大型语言模型（LLM）。其训练将基于 LLaMA 的 1.2 万亿 token 数据集。这些数据使任何组织都能对模型进行预训练，并可获得许可。