MiniMax 稀宇科技发布万亿参数 MoE 模型 abab 6.5，核心能力接近 GPT-4

GATE.IO芝麻开门

GATE.IO芝麻开门交易所(原比特儿交易所)是全球前10的交易所，新用户注册可免费领取空投，每月可得50-200U

点击注册 进入官网

4 月 17 日消息，国内 AI 初创企业 MiniMax 稀宇科技今日正式推出 MoE 混合专家模型架构的 abab 6.5 系列模型，核心能力开始接近 GPT-4、 Claude-3、 Gemini-1.5。
abab 6.5 系列包含两个模型：abab 6.5 包含万亿参数，支持 200k tokens 的上下文长度；abab 6.5s 与 abab 6.5 使用了同样的训练技术和数据，但是更高效，支持 200k tokens 的上下文长度，可以 1 秒内处理近 3 万字的文本。
自一月发布国内首个基于 MoE 架构的 abab 6 模型后，MiniMax 通过改进模型架构，重构数据 pipeline，训练算法及并行训练策略优化等，在加速 Scaling Laws 过程上取得阶段性成果。（IT之家）