微软研究团队提出 LLM 加速器 LLMA，可无损加速大型语言模型与引用的推理

GATE.IO芝麻开门

GATE.IO芝麻开门交易所(原比特儿交易所)是全球前10的交易所，新用户注册可免费领取空投，每月可得50-200U

点击注册 进入官网

据 MarketPost 报道，微软的一组研究人员提出 LLM 加速器 LLMA。据悉。这种带有参考文献的推理解码技术可以在许多现实世界的环境中，通过利用 LLM 的输出和参考文献之间的重叠来加快 LLM 的推理速度。LLMA 的运作方式是从参考文献中选择一个文本跨度，将其标记复制到 LLM 解码器中，然后根据输出的标记概率进行有效的并行检查。