英伟达推出 Tensor RT-LLM，使大语言模型在搭载 RTX 的 PC 平台上运行速度提高 4 倍

GATE.IO芝麻开门

GATE.IO芝麻开门交易所(原比特儿交易所)是全球前10的交易所，新用户注册可免费领取空投，每月可得50-200U

点击注册 更多线路

更多交易所入口

一站式注册各大交易所、点击进入加密世界、永不失联，币安Binance/欧易OKX/GATE.IO芝麻开门/Bitget/抹茶MEXC/火币Huobi

点击进入 永不失联

据 IT 之家消息，10 月 18 日，英伟达宣布推出 TensorRT-LLM 开源库，旨在提升大型语言模型（LLM）在本地 Windows PC 上的性能。据悉，这个库之前是为数据中心发布的，现在也可以用于 Windows PC。最大的特点是，如果 Windows PC 配备英伟达 GeForce RTX GPU，TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。