小米平板5 Pro 12.4簡評：多專多能 兼顧影音娛樂的大屏利器
疫情帶來了網課，網課盤活了安卓平板，安卓平板市場雖然中途停滯了幾年，但好的一點就是停滯的這幾年行業又有了新的發展方向，例如超窄邊框、高刷新率、多攝鏡頭組合等，這就讓安卓
快科技11月16日消息，正在舉行的微軟Iginte全球技術大會上，微軟發布一系列AI相關的全新優化模型、開發工具資源，幫助開發者更深入地釋放硬件性能，拓展AI場景。
尤是對于當下在AI領域占據絕對主導地位的NVIDIA來說，微軟這次送上了一份大禮包，無論是面向OpenAI Chat API的TensorRT-LLM封裝接口，還是RTX驅動的性能改進DirectML for Llama 2，以及其他熱門大語言模型(LLM)，都可以在NVIDIA硬件上獲得更好的加速和應用。
其中，TensorRT-LLM是一款用于加速LLM推理的庫，可大大提升AI推理性能，還在不斷更以支持越來越多的語言模型，而且它還是開源的。
就在10月份，NVIDIA也發布了面向Windows平臺的TensorRT-LLM，在配備RTX 30/40系列GPU顯卡的臺式機、筆記本上，只要顯存不少于8GB，就可以更輕松地完成要求嚴苛的AI工作負載。
現在，Tensor RT-LLM for Windows可以通過全新的封裝接口，與 OpenAI 廣受歡迎的聊天 API 兼容，因此可以在本地直接運行各種相關應用，而不需要連接云端，有利于在 PC 上保留私人和專有數據，防范隱私泄露。
只要是針對TensorRT-LLM優化過的大語言模型，都可以與這一封裝接口配合使用，包括Llama 2、Mistral、NV LLM，等等。
對于開發者來說，無需繁瑣的代碼重寫和移植，只需修改一兩行代碼，就可以讓AI應用在本地快速執行。
↑↑↑基于TensorRT-LLM的微軟Visual Studio代碼插件——Continue.dev編碼助手
本月底還會有TensorRT-LLM v0.6.0版本更新，將會在RTX GPU上帶來多達5倍的推理性能提升，并支持更多熱門的 LLM，包括全新的70億參數Mistral、80億參數Nemotron-3，讓臺式機和筆記本也能隨時、快速、準確地本地運行LLM。
根據實測數據，RTX 4060顯卡搭配TenroRT-LLM，推理性能可以跑到每秒319 tokens，相比其他后端的每秒61 tokens提速足足4.2倍。
RTX 4090則可以從每秒tokens加速到每秒829 tokens，提升幅度達2.8倍。
基于強大的硬件性能、豐富的開發生態、廣闊的應用場景，NVIDIA RTX正成為本地端側AI不可或缺的得力助手，而越來越豐富的優化、模型和資源，也在加速AI功能、應用在上億臺RTX PC上的普及。
目前已經有400多個合作伙伴發布了支持RTX GPU加速的AI應用、游戲，而隨著模型易用性的不斷提高，相信會有越來越多的AIGC功能出現在Windows PC平臺上。
本文鏈接：http://www.tebozhan.com/showinfo-24-27406-0.htmlNVIDIA RTX顯卡AI推理提速5倍！RTX PC輕松在本地搞定大模型
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號