5 月 20 日消息,英偉達今日宣布推出 NVIDIA TensorRT for RTX,支持 Windows 11 系統,將為 GeForce RTX 全系顯卡提供 TensorRT AI 推理加速框架,速度相當于 DirectML 方案兩倍。該框架將于 6 月通過開發者官網正式推送。
技術細節顯示,TensorRT 原生兼容 Windows ML 框架,ComfyUI 應用在其中相比 DirectML實現性能翻倍,而其他應用也有1.5~1.7 倍的性能表現。
此外,TensorRT支持即時 GPU 專屬優化,推理庫文件體積縮減至原有 1/8。
從官方獲悉,英偉達目前已經為超 150 個 AI SDK 提供支持,并承諾本月還將推出 5 個全新的 ISV 集成,包括:
LM Studio(最新 CUDA 性能提升 30%)
Topaz Video AI(GenAI 視頻加速 CUDA)
嗶哩嗶哩(NVIDIA Broadcast Effects)
AutoDesk VRED (DLSS 4)
Chaos Enscape (DLSS 4)
英偉達表示:“當前 AI PC 軟件生態迫使開發者在廣泛硬件支持與高性能優化間抉擇。全新 Windows ML 推理框架通過 ONNX Runtime 構建,與各硬件廠商優化的 AI 執行層無縫銜接。針對 RTX 顯卡,Windows ML 會自動調用 TensorRT for RTX—— 專為高性能快速部署優化的推理庫。相較 DirectML,TensorRT 可為 PC 端 AI 工作負載提供超 50% 的性能提升?!?span style="display:none">bEe28資訊網——每日最新資訊28at.com
本文鏈接:http://www.tebozhan.com/showinfo-119-151661-0.html英偉達 TensorRT AI 推理加速向 GeForce RTX GPU 開放,ComfyUI 性能相比 DirectML 翻倍
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: Win10 Win11 效率神器 PowerToys 發布 0.91.1:改進 Command Palette