英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能
來源：
責編：
時間：2023-10-18 17:59:39
339觀看
導讀10月18日消息，英偉達，硬件領域的人工智能巨頭，邁向新的里程碑，推出了一項旨在提升大型語言模型(LLM)性能的軟件工具，適用于本地Windows PC。英偉達的 GPU 在全球領先科技公司，如微軟和OpenAI的數(shù)據(jù)中心中發(fā)揮重要作用，驅動著
10月18日消息，英偉達，硬件領域的人工智能巨頭，邁向新的里程碑，推出了一項旨在提升大型語言模型(LLM)性能的軟件工具，適用于本地Windows PC。英偉達的 GPU 在全球領先科技公司，如微軟和OpenAI的數(shù)據(jù)中心中發(fā)揮重要作用，驅動著BingChat、ChatGPT等人工智能服務。TensorRT-LLM庫是英偉達最新的開源工具，原本是為數(shù)據(jù)中心開發(fā)的，現(xiàn)在已經(jīng)擴展到WindowsPC。最引人矚目的特性之一是，如果Windows PC搭載英偉達GeForce RTXGPU，TensorRT-LLM能夠將LLM在該平臺上的運行速度提升至原有速度的四倍。zHY28資訊網(wǎng)——每日最新資訊28at.com
zHY28資訊網(wǎng)——每日最新資訊28at.com
據(jù)ITBEAR科技資訊了解，英偉達在博客文章中詳細介紹了TensorRT-LLM對開發(fā)者和終端用戶的潛在益處。在更大的批量大小下，TensorRT-LLM的加速效果顯著，尤其在處理更復雜的LLM任務，如寫作和編碼助手時，能夠同時輸出多個獨特的自動完成結果，從而提高性能和結果質量，讓用戶可以有更多智能的選擇。zHY28資訊網(wǎng)——每日最新資訊28at.com
文章中還舉例展示了TensorRT-LLM的運作方式。當提問“《心靈殺手2》集成了NVIDIA的哪些技術?”時，傳統(tǒng)LLM只能給出“游戲尚未公布”的無幫助回答。然而，使用TensorRT-LLM結合RAG模型，將GeForce新聞添加到向量庫中并連接到相同的Llama2模型，不僅能提供正確答案，包括NVIDIADLSS 3.5、NVIDIAReflex和全景光線追蹤等技術，而且在TensorRT-LLM的加速下，響應速度更加迅猛，為用戶提供更加智能的解決方案。zHY28資訊網(wǎng)——每日最新資訊28at.com
zHY28資訊網(wǎng)——每日最新資訊28at.com
TensorRT-LLM預計將很快在英偉達的開發(fā)者網(wǎng)站上提供，這將為廣大開發(fā)者提供更強大的工具和資源，以更好地利用英偉達的GPU性能。zHY28資訊網(wǎng)——每日最新資訊28at.com
此外，英偉達還在最新的GeForce驅動更新中加入了一些基于人工智能的功能。其中包括全新的RTX Video SuperResolution功能的1.5版本，能夠在觀看在線視頻時提供更高的分辨率增強效果，減少了壓縮效果。此外，英偉達還為擁有GeForce RTXGPU的用戶增加了TensorRT人工智能加速功能，進一步提升了從人工智能圖片生成器獲取圖像的速度。這一系列的更新將進一步提高用戶體驗，使其受益于英偉達強大的硬件和軟件創(chuàng)新。zHY28資訊網(wǎng)——每日最新資訊28at.com
標簽：英偉達
免責聲明：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其內容真實性、完整性不作任何保證或承諾。如若本網(wǎng)有任何內容侵犯您的權益，請及時聯(lián)系我們，本站將會在24小時內處理完畢。
舉報 0收藏 0打賞 0分享 0
更多>同類資訊
微軟研究團隊發(fā)布GPT-4研究報告：揭示“越獄”漏洞
10月18日消息，微軟旗下的研究團隊最近發(fā)表了一份關于大型語言模型(LLM)的研究論文，重點關注了OpenAI的GPT-4以及其前身GPT-3.5的“可信度”和潛在的問題。研究團隊指出，盡管在標準基準測試中，GPT-4相較于GPT-3.5表現(xiàn)更加可靠，但它容易受到“越獄
10-18
微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環(huán)境
10月18日消息，微軟公司為維護社交媒體和數(shù)字平臺上的健康和和諧社區(qū)環(huán)境，減少包括偏見、仇恨和暴力內容在內的不良素材，于今年5月開始測試其AI內容審核工具Azure AI Content Safety。今天，這一工具經(jīng)過多月的測試正式發(fā)布。據(jù)ITBEAR科技資訊了解，
10-18
人工智能領域融資價值飆升27%：第三季度財經(jīng)亮點
10月18日消息，最新數(shù)據(jù)顯示，第三季度全球人工智能公司的融資價值同比增長27%，達到179億美元，成為風險投資領域的耀眼明星。與此同時，全球初創(chuàng)企業(yè)的交易總額下降了31%，僅為730億美元，凸顯出人工智能初創(chuàng)公司與其他行業(yè)企業(yè)之間的差異。這一迅猛
10-18
小度添添家庭機器人隆重亮相：AI技術全面融入文心一言大模型
10月17日消息，百度世界大會今日在盛大舉行，百度集團副總裁兼小度科技CEO李瑩宣布了一系列創(chuàng)新產品的正式發(fā)布，其中包括小度添添家庭機器人、青禾學習一體機以及兩款Tiantian Casa智能音箱。小度添添家庭機器人，被譽為全球首款大模型家庭智能機器人
10-17
李彥宏盛贊百度文心 4.0：媲美GPT-4綜合能力
10月17日消息，百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏在百度世界 2023 上宣布文心大模型 4.0 正式發(fā)布，開啟邀請測試。這一最新版本的文心大模型被李彥宏譽為“至今最強大的”，實現(xiàn)了全面升級，涵蓋了理解、生成、邏輯和記憶能力等各方面，達到了令
10-17
國內首個生成式商業(yè)智能產品百度 GBI 革新發(fā)布
10月17日消息，今日在百度世界 2023 大會上，百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏宣布推出中國首個生成式商業(yè)智能產品——百度 GBI。據(jù)了解，百度 GBI 集成了自然語言交互、跨數(shù)據(jù)庫分析和專業(yè)知識學習三大核心功能，將傳統(tǒng)商業(yè)分析師需要數(shù)天才能
10-17
華為申請“Huawei eKitChat”商標，或擬推出AI聊天助手產品
10月16日消息，華為技術有限公司最近提交了一項商標注冊申請，名為“Huawei eKitChat”，在國際分類中包括科學儀器和網(wǎng)站服務。目前，該商標正等待實質審查。根據(jù)查詢結果，華為的“Huawei eKit”是華為今年5月推出的“華為坤靈”子品牌的英文名稱。
10-16
OpenAI調整核心價值觀：聚焦AGI成為首要使命
10月16日消息，近日，OpenAI悄然更新了其“核心價值觀”，將人工智能(AI)領域的通用人工智能(AGI)正式列為其中之一，并將其排在首位，凸顯了對AGI的強烈追求。據(jù)ITBEAR科技資訊了解，OpenAI曾在2022年9月25日的媒體截圖中公布了六個核心價值觀供其員
10-16
俄版 ChatGPT" YandexGPT 2：考試分數(shù)引發(fā)熱議
10月16日消息，YandexGPT 2，被譽為“俄版 ChatGPT”的聊天機器人，日前宣布已獲得了足夠進入大學的考試分數(shù)。據(jù)報道，該機器人在俄羅斯國家統(tǒng)一考試的文學科目中表現(xiàn)出色，獲得了55分的加權分數(shù)，接近2022年俄羅斯考生的平均成績(63分)，遠高于當?shù)?/div>
10-16
研究揭示：AI“推理環(huán)節(jié)”電力需求高于預期
10月14日消息，《Cell》的姐妹期刊《Joule》本周刊登了一項名為《持續(xù)成長的人工智慧能源足跡(The growing energy footprint of artificial intelligence)》的研究論文，該論文由科研機構Digiconomist的創(chuàng)始人Alex De Vries發(fā)表。這篇論文指出，未來
10-14
韓國人工智能產業(yè)：在全球“兩強競賽”中位列第六
10月13日消息，近日，韓國工業(yè)聯(lián)合會(FKI)發(fā)布了最新全球人工智能指數(shù)，對全球各國的人工智能產業(yè)水平進行了全面比較。結果顯示，美國和中國在人工智能領域依然處于主導地位，形成了一場激烈的“兩強競賽”。在這一指數(shù)中，美國穩(wěn)居榜首，不僅在綜合
10-13
Adobe 領導推出全新LOGO標識，助力人工智能內容辨識
10月13日消息，Adobe 公司正領導一項全新的舉措，推出了一款用于識別人工智能工具創(chuàng)建或編輯的圖像和內容的全新LOGO。此舉得到了包括BBC、Microsoft、Nikon和Truepic在內的多家合作伙伴的積極支持。據(jù)ITBEAR科技資訊了解，Adobe公司的這一解決方案名
10-13
Copilot AI編程助手實際成本低于售價，微軟前CEO揭幕內幕
10月13日消息，微軟前高管、GitHub前首席執(zhí)行官Nat Friedman于昨日在X平臺上發(fā)表言辭堅決的回應，駁斥了有關微軟GitHub Copilot服務虧損的傳聞。據(jù)Friedman表示，這一消息純屬虛假。針對有關GitHub Copilot虧損情況的疑慮，F(xiàn)riedman在評論區(qū)回復了一
10-13
科技巨頭集體行動：微軟、Adobe和谷歌支持生成式人工智能創(chuàng)作者
10月13日消息，谷歌宣布，對于谷歌云(Google Cloud)和谷歌辦公套件(Workspace)中的生成式人工智能系統(tǒng)用戶，如果他們因侵犯知識產權而受到指控，谷歌將提供法律辯護支持。這一決定是為了解決生成式人工智能技術在知識產權領域引發(fā)的爭議。此前，微軟
10-13
OpenAI年收入飆升至13億美元，月均過億美元
10月13日消息，據(jù)知情人士透露，OpenAI首席執(zhí)行官山姆·阿爾特曼本周向員工宣布，公司的年化收入已達到13億美元，較夏季時增長了30%。這一數(shù)據(jù)意味著OpenAI目前每月的收入已超過1億美元。與2022年僅獲得2800萬美元的總收入相比，OpenAI的增長可謂驚人
10-13
- 女孩子送父母禮物送什么
- 女孩子送哥哥送什么禮物
- 女孩子送女生禮物送什么
- 女孩子送男孩禮物送什么
- 女孩子送外賣送什么禮物
- 女孩子送手工禮物送什么
- 女海王送生日禮物送什么
- 女孩租房送什么禮物
- 女海員送什么禮物
- 女護士送什么禮物
- 女好友送什么禮物
- 女會計送什么禮物
- 女監(jiān)理送什么禮物
- 女嘉賓送什么禮物
- 女交警送什么禮物
- 女教師送什么禮物
- 女教師禮物送什么
- 女節(jié)送媽媽禮物該送什么
- 女教授送什么禮物
- 女解說送什么禮物
點擊查看更多 +
全站最新
北汽新能源與寧德時代達成合作，神行超充電池將助力極狐汽車
2024款奧迪A4L全新亮相，四款車型齊發(fā)，售價32.18-40.08萬元
Tim Cook空降成都太古里，觀戰(zhàn)王者榮耀賽事
OPPO Find N3全球發(fā)布：四款迷人配色露真容
微軟研究團隊發(fā)布GPT-4研究報告：揭示“越獄”漏洞
移動端谷歌 Chrome 現(xiàn)支持網(wǎng)址拼寫錯誤檢查
熱門內容
- OpenAI聊天機器人ChatGPT引入語音功能，挑戰(zhàn)智能語音助手巨頭
- 華為發(fā)布 Atlas 900 SuperCluster：支持超萬億參數(shù)的大模型訓練
- Meta與微軟合作：Bing搜索引擎融入Meta AI，提供實時信息
- 微軟宣布11月1日推出Microsoft 365 Copilot，助力企業(yè)客戶
- 微軟公布全新TTS語音模型，實現(xiàn)自然語音交互
- 2000億參數(shù)！“鵬城?腦海”助力國產AI算力平臺實現(xiàn)突破
- Spotify與OpenAI合作推出語音翻譯功能，改變播客行業(yè)格局
- 佳能推出神經(jīng)網(wǎng)絡工具軟件，助力攝影師提升照片品質
- 微軟Edge瀏覽器添新功能：Adobe Express、MathSolver和Spotify插件亮相
- 微軟必應聊天（Bing Chat）發(fā)布全新功能“nosearch”，智能搜索即將來臨
- Copilot Chat：微軟GitHub AI助手全面支持個人用戶
- BBC發(fā)布新原則：推動人工智能在新聞領域的應用
- 360公司推出全新生態(tài)系統(tǒng)：智腦大模型全面開放使用
- OpenAI宣布ChatGPT具備瀏覽互聯(lián)網(wǎng)能力，開啟新時代
- 中國電信推出"啟明"網(wǎng)絡大模型，積極拓展MaaS服務領域
本欄最新
微軟研究團隊發(fā)布GPT-4研究報告：揭示“越獄”漏洞
英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能
微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環(huán)境
人工智能領域融資價值飆升27%：第三季度財經(jīng)亮點
小度添添家庭機器人隆重亮相：AI技術全面融入文心一言大模型
李彥宏盛贊百度文心 4.0：媲美GPT-4綜合能力
本文鏈接：http://www.tebozhan.com/showinfo-45-2215-0.html英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能
下一篇： 微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環(huán)境
標簽：
津公網(wǎng)安備 12010102000574號