英伟达发布 TensorRT-LLM，可将 H100 推理性能最高提升 8 倍

GATE.IO芝麻开门

GATE.IO芝麻开门交易所(原比特儿交易所)是全球前10的交易所，新用户注册可免费领取空投，每月可得50-200U

点击注册 更多线路

更多交易所入口

一站式注册各大交易所、点击进入加密世界、永不失联，币安Binance/欧易OKX/GATE.IO芝麻开门/Bitget/抹茶MEXC/火币Huobi

点击进入 永不失联

据 IT 之家 9 月 9 日报道，英伟达近日宣布推出名为 TensorRT-LLM，是一个深度优化的开源库，能够在 Hopper 等 AI GPU 上加速所有大语言模型的推理性能。英伟达目前已经和开源社区合作，利用 SmoothQuant、FlashAttention 和 fMHA 等尖端技术，实现 AI 内核来优化其 GPU，可以加速 GPT-3（175B），Llama Falcom（180B）和 Bloom 模型。