微软亚洲研究院提出全新大模型基础架构：推理速度 8 倍提升，内存占用减少 70%

GATE.IO芝麻开门

GATE.IO芝麻开门交易所(原比特儿交易所)是全球前10的交易所，新用户注册可免费领取空投，每月可得50-200U

点击注册 更多线路

更多交易所入口

一站式注册各大交易所、点击进入加密世界、永不失联，币安Binance/欧易OKX/GATE.IO芝麻开门/Bitget/抹茶MEXC/火币Huobi

点击进入 永不失联

据量子位报道，来自微软亚洲研究院（MSRA）的学者在“Retentive Network: A Successor to Transformer for Large Language Models”论文中提出新的大模型架构 Retentive Network（RetNet），这被视作大模型领域 Transformer 的继任者。实验数据显示，在语言建模任务上：RetNet 可以达到与 Transformer 相当的困惑度（perplexity），推理速度达 8.4 倍，内存占用减少 70%，具有良好的扩展性。并且当模型大小大于一定规模时，RetNet 表现会优于 Transformer。