GTC 2024期間,NVIDIA不僅帶來了全新的頂級AI GPU加速器、超級計算系統、車載計算平臺,還進一步拓展了AI PC的能力,包括數字人技術商業和游戲應用、Chat with RTX全面更新、NIM微服務正式發布,等等。
對于AI PC,各家都有自己的定義,但是就算力和生態而言,RTX GPU無疑是最重要的一環,專用的Tensor Core AI加速器可以顯著提升AI性能。
GeForce RTX 40系列的算力最高就可達1300 AI TOPS,而沒有獨立 GPU 的 AI PC 的算力僅為 10 至 45 AI TOPS,因此GeForce RTX 40系列能讓PC用戶在本地也可以執行以往云端才能實現的要求極為苛刻的應用。
目前,NVIDIA正在借助RTX AI的能力,打造世界級的數字人技術,為商業應用和動態游戲角色創建栩栩如生的化身。
NVIDIA最新打造的NVIDIA ACE(Avatar Cloud Engine)微服務,可以利用基于NVIDIA Audio2Face的面部動畫、基于NVIDIA Riva自動語音識別(ASR)/文本轉語音(TTS)的語音交流,讓虛擬數字人物真正鮮活起來。
NVIDIA ACE微服務非常靈活,允許模型根據本地GPU的性能,決定在云端還是PC上運行。
目前,米哈游、網易游戲、完美世界游戲、掌趣科技、騰訊游戲等中國企業都已經引入NVIDIA ACE技術。
在海外市場上,NVIDIA ACE技術也有眾多的合作伙伴,包括Convai、Cyber Agent、Data Monsters、Deloitte、HippocraticAI、IGOODI、Inworld AI、Media.Monks、Openstream、Quantiphi、Rakuten Securities、Slalom、SoftServe、Top Health Tech、Ubisoft、UneeQ、Unions Avatars等等。
這些合作伙伴遍布醫療、游戲、金融服務、媒體、娛樂、零售等各行各業,為數字人技術的應用探索了各種全新可能。
比如,Inworld AI聯合NVIDIA打造了全新的技術Demo Covert Protocol。
它采用多模態方法展示游戲NPC,將認知、感知、行為系統集成在一起,渲染出來的角色令人驚嘆,可實現身臨其境的敘事效果。
育碧就正在利用NVIDIA ACE技術、Inworld角色引擎,并結合LLM大語言模型,育碧巴黎工作室的多學科團隊已經基于此開發了NEO NPCs。
它可以為游戲里的每個NPC建立完整的背景、知識庫和對話風格,以及實時的面部動畫,并與玩家、環境或其他角色實時互動,為動態和突發故事探索全新的可能性。
Inworld技術還為NEO NPCs提供了有關周圍環境的內在知識,并通過Inworld大語言模型提供交互式響應。
在育碧提供的三個獨立技術Demo之中,就有兩個獨特的NEO NPCs,分別叫做Bloom、Iron,展現出了不同的行為、環境和上下文意識,以及一系列的實時反應和動畫、連續對話、協作和戰略決策。
簡單地說,NVIDIA的數字人技術,可以讓游戲里的NPC更像一個真正的人,能夠做出接近人類的實時反映,而不再是“千人一面”。
再比如,Hippocratic AI打造了以安全為重點、由LLM驅動、針對特定任務的醫療代理
UneeQ則是一個專門為客戶服務和互動應用創建AI驅動化身的自主數字人平臺。
對于AI應用最廣泛的人機對話場景,NVIDIA打造了獨特的Chat with RTX (或簡稱ChatRTX) 演示Demo。
Chat with RTX使用檢索增強生成、NVIDIA TensorRT-LLM軟件、NVIDIA RTX加速,將本地生成式AI功能,引入到了支持RTX硬件和技術的Windows系統中。
利用它,用戶可快速、輕松地將本地文件作為數據集,連接到Mistral、Llama 2等開放式大語言模型,快速查詢與上下文相關的答案。
值得一提的是,除了文本外,Chat with RTX還將很快增加對語音、圖像、新模型的支持。
此外,為了幫助開發者更輕松、更全面、更深入地從事AI開發,NVIDIA正在提供越來越多的RTX AI工具。
比如NIM微服務,一種預構建的AI容器,采用行業標準API,包括必要的軟件組件,可優化整體體驗,將部署時間從幾個星期縮短到只需幾分鐘。
比如NVIDIA AI Workbench,一套易用的整合式工具包,現已全面上市,可幫助開發者利用PC級性能和顯存占用空間,快速創建、測試和定制預訓練生成式AI模型和LLM。
比如TensorRT加速,一款可幫助開發者充分利用RTX GPU Tensor Core的加速庫軟件,現在可以通過TensorRT-LLM for Windows,用于基于文本的應用。
當然,不能忘了RTX GPU加速的游戲渲染應用,尤其是光線追蹤、DLSS超分辨率、FG幀生成等。
最近,又有兩款重磅游戲支持了DLSS 3.5光線重建技術、全景光追技術。
一個是將于8月20日發布的《黑神話:悟空》,另一個是《永劫無間》將在PVP、PVE模式下的三個新地圖支持全景光追,后續會還會有更多地圖加入。
2019年以來,已有超過500款游戲和應用支持光線追蹤、DLSS、AI技術,徹底改變了人們的游戲和創作方式、體驗。
憑借深厚的技術積累、強大的硬件算力、豐富的開發生態,NVIDIA正在為AI尤其是AI PC的應用拓展全新疆界,從游戲娛樂到行業應用,都展現出無限可能。
尤其是創新的NVIDIA ACE微服務,無論是游戲還是行業應用,開發者都可以借助強大的RTX AI的能力,創造出表情、語言、行動等等都更接近真人的虛擬形象,有望徹底顛覆數字人創作。
本文鏈接:http://www.tebozhan.com/showinfo-25-78590-0.htmlNVIDIA將AI PC提升到新層次:游戲NPC變成了“真人”
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 微軟“掏空”初創公司Inflection AI!拿下技術授權、挖走大部分員工
下一篇: 放棄5萬年終獎 我到小米賣汽車