Intel 研究人员提出新 AI 方法，更高效地在 CPU 上部署 LLM

GATE.IO芝麻开门

GATE.IO芝麻开门交易所(原比特儿交易所)是全球前10的交易所，新用户注册可免费领取空投，每月可得50-200U

点击注册 更多入口

更多交易所入口

一站式注册各大交易所、点击进入加密世界、永不失联，币安Binance/欧易OKX/GATE.IO芝麻开门/Bitget/抹茶MEXC/火币Huobi

点击进入 永不失联

据站长之家报道，大型语言模型（LLM）因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎，但其庞大的模型参数却需要大量内存和专用硬件。为了降低推断所需的计算功率，Intel 的研究人员提出了一种有效的方法，支持自动的 INT-4 权重量化流程，可以在 CPU 上高效部署 LLM。此外，他们设计了一个特定的 LLM 运行时，具有高度优化的内核，可以加速 CPU 上的推断过程。