中国大模型语料数据联盟开源发布高质量多模态语料“书生・万卷”

GATE.IO芝麻开门

GATE.IO芝麻开门交易所(原比特儿交易所)是全球前10的交易所，新用户注册可免费领取空投，每月可得50-200U

点击注册 更多线路

更多交易所入口

一站式注册各大交易所、点击进入加密世界、永不失联，币安Binance/欧易OKX/GATE.IO芝麻开门/Bitget/抹茶MEXC/火币Huobi

点击进入 永不失联

据金十 8 月 14 日报道，继今年 7 月在 2023 世界人工智能大会发起成立“中国大模型语料数据联盟”，上海人工智能实验室（上海 AI 实验室）于今日宣布，联合语料数据联盟成员单位，共同开源发布“书生・万卷”1.0 多模态预训练语料。“书生・万卷”1.0 目前包含文本数据集、图文数据集、视频数据集三部分，本次开源的数据总量超过 2 TB。该语料数据包含超过 5 亿个文本，2200 万个图文交错文档，1000 个节目影像视频，具备多元融合、精细处理、价值对齐、易用高效等四大特征。