微软、清华和中国科学院大学共同推出专为大语言模型设计的 BitNet 架构

GATE.IO芝麻开门

GATE.IO芝麻开门交易所(原比特儿交易所)是全球前10的交易所，新用户注册可免费领取空投，每月可得50-200U

点击注册 更多入口

更多交易所入口

一站式注册各大交易所、点击进入加密世界、永不失联，币安Binance/欧易OKX/GATE.IO芝麻开门/Bitget/抹茶MEXC/火币Huobi

点击进入 永不失联

据品玩 10 月 19 日报道，Arxiv 页面显示，微软研究院联手中国科学院大学、清华大学共同发布论文，公布了一款可扩展且稳定的 1 位 Transformer 架构 BitNet 架构。BitNet 专为大语言模型设计。研究团队表示，为了训练 1 位权重，团队引入了 BitLinear 作为 nn.Linear 层的替代品。实验结果显示，BitNet 在语言建模任务上实现了竞争力的性能，同时显著减少了内存占用和能源消耗。