Rust中的高吞吐量流處理
作者 | Noz編譯 | 王瑞平本篇文章主要介紹了Rust中流處理的概念、方法和優化。作者不僅介紹了流處理的基本概念以及Rust中常用的流處理庫，還使用這些庫實現了一個流處理程序
NVIDIA ACE 微服務提供的工具可讓開發者創造出栩栩如生的非玩家角色。
編者注: 本文屬于《解碼 AI》系列欄目，該系列的目的是讓技術更加簡單易懂，從而解密 AI, 同時向 RTX PC 用戶展示全新硬件、軟件、工具和加速特性。
數字角色正在升級。
非玩家角色 (NPC) 通常在電子游戲的劇情推進過程中起著至關重要的作用，但由于它們一般是為固定目的而設計，因此可能顯得機械而無趣，尤其是在擁有數千個非玩家角色的廣闊游戲世界中。
得益于光線追蹤和 DLSS 等視覺計算技術的驚人進步，電子游戲在一定程度上比以往更具沉浸感和真實感，這更凸顯了 NPC 機械互動的枯燥。
今年早些時候，我們推出了 NVIDIA Avatar Cloud Engine (ACE) production microservices, 為游戲開發者和數字創作者帶來了制作逼真 NPC 的利器。開發者可通過 ACE 微服務將先進的生成式 AI 模型集成到游戲和應用內的數字虛擬形象中。通過 ACE 微服務，NPC 可以在游戲中與玩家進行實時動態互動和對話。
領先的游戲開發者、工作室和初創公司已將 ACE 整合到他們的游戲中，為 NPC 和數字人帶來了更豐富的性格和更強的互動能力。
NVIDIA ACE 讓虛擬形象栩栩如生
創建 NPC 的過程從為他們提供背景故事和目的開始，這有助于引導敘事并確保對話與背景相關。然后，ACE 子組件會協同工作，為虛擬形象構建交互能力并增強其響應能力。
NPC 可使用多達四個 AI 模型進行聆聽、處理、生成對話并做出回應。
首先，玩家的聲音會進入 NVIDIA Riva, 該技術可利用 GPU 加速的多語種語音和翻譯微服務，構建完全可定制的實時對話式 AI 工作流，并將聊天機器人變成引人入勝、富有表現力的助手。
借助 ACE,Riva 的自動語音識別 (ASR) 功能可處理語音內容并利用 AI 實時提供非常準確的轉錄文本。探索由 Riva 提供支持的語音轉文本演示，其中涉及了十多種語言。
然后，轉錄文本會進入 LLM (例如 Google 的 Gemma、Meta 的 Llama 2 或 Mistral), 并借助 Riva 的神經網絡機器翻譯生成以自然語言表述的文本回復。接下來，Riva 的文本轉語音功能會據此生成音頻回復。
最后，NVIDIA Audio2Face (A2F) 可生成面部表情，并與多種語言的對話同步。通過微服務，數字虛擬形象可以顯示出逼真的動態情緒，這類情緒可以實時串流傳輸，也能在后期處理過程中烘焙。
AI 網絡會自動制作面部、眼睛、嘴巴、舌頭和頭部動作的動畫，并使這些動畫與所選情緒范圍和強度水平相匹配。A2F 還可以直接根據音頻片段自動推斷情緒。
每個步驟都是實時完成的，以確保玩家和 NPC 能夠流暢對話。這些工具可以自定義，因此開發者可以靈活構建自己需要的角色類型，以便打造沉浸式劇情或游戲世界。
專為推動發展而生
在 GDC 和 GTC 大會上，開發者和平臺合作伙伴展示了利用 NVIDIA ACE 微服務的演示，其中不僅包括游戲中的交互式 NPC, 還有能力超強的數字人護士。
育碧正在探索包含動態 NPC 的新型互動游戲。"NEO NPCs" 是其最新研發項目的成果。這款先進的 NPC 功能，可與玩家、環境或其他角色實時互動，為動態和突發故事開辟全新可能性。
這些 NEO NPC 的功能在各種 Demo 中得到了展示。每個場景都側重于 NPC 行為、環境和上下文意識的不同方面；一系列實時反應和動畫；以及連續對話、協作和戰略決策。這些 Demo 整體突顯了該技術在推動游戲設計的發展和沉浸感提升方面的潛力。
育碧的敘事團隊利用 Inworld AI 技術打造出兩個 NEO NPCs:Bloom 和 Iron, 他們擁有自己的背景故事、知識庫和不同的對話風格。Inworld 技術還為 NEO NPC 提供有關周圍環境的內在知識，并通過 Inworld 的 LLM 提供交互式響應。NVIDIA A2F 為這兩個 NPC 實時提供面部動畫和口型同步。
Inworld 和 NVIDIA 通過全新技術演示 Covert Protocol 震撼了 GDC 大會的與會者，該技術演示展示了 NVIDIA ACE 技術和 Inworld 引擎。在這個技術 Demo 中，玩家將扮演一名私家偵探，根據與場景中角色的 NPC 結果來完成目標。Covert Protocol 通過 AI 賦能的數字角色解鎖了社交模擬游戲機制，這些角色可以傳遞關鍵信息，提出挑戰任務并促進關鍵敘事的發展。AI 驅動的交互性和玩家掌控力得到了進一步提升，這種提升將為注重玩家個性的新興游戲玩法開辟全新可能性。
Covert Protocol 基于虛幻引擎 5 開發，使用 Inworld 引擎和 NVIDIA ACE (包括 NVIDIA Riva ASR 和 A2F) 來增強 Inworld 的語音和動畫工作流。
在 CES 展會上，我們展示了與 Convai 合作打造的最新版 NVIDIA Kairos 的技術演示，該演示利用 Riva ASR 和 A2F 顯著提高了 NPC 的交互性。借助 Convai 的新框架，NPC 甚至可以相互交談，還能感知和拾取物體并將其運送至目標區域。此外，NPC 還能帶領玩家前往目標地點，以及穿越各個游戲世界。
現實世界中的數字角色
用于創建 NPC 的技術也可用于為虛擬形象和數字人制作動畫。除了游戲領域，承載特定任務的生成式 AI 也正在進入醫療健康、客戶服務等領域。
在 GTC 大會上，NVIDIA 與 Hippocratic AI 合作擴展了其醫療數字人代理解決方案，展示了生成式 AI 醫療數字人代理虛擬形象的潛力。目前，更多工作正在進行中，旨在開發超低延遲推理平臺，為實時用例提供支持。
Hippocratic AI 聯合創始人兼首席執行官 Munjal Shah 表示:“我們的數字助理為全球患者提供有所幫助、及時和準確的信息。NVIDIA ACE 技術通過前沿的視覺效果和逼真的動畫，讓醫療助理栩栩如生，有助于我們更好地與患者溝通。”
Hippocratic 的初始 AI 醫療數字人代理的內部測試側重于慢性病護理管理、健康指導、健康風險評估、健康調查的社會決定因素、術前外展服務和出院后隨訪。
UneeQ 是一個自主數字人平臺，專門為客戶服務和互動應用創建 AI 驅動的化身。UneeQ 將 NVIDIA A2F 微服務集成到其平臺中，并將其與 Synanim ML 相結合，以創建高度逼真的數字人，從而獲得更好的客戶體驗和參與度。
UneeQ 公司創始人兼首席執行官 Danny Tomsett 表示:“UneeQ 公司將 NVIDIA 動畫 AI 與我們自己的 Synanim ML 合成動畫技術相結合，使數字人支持實時人機交互，這種人機交互具有情感響應能力，能提供由對話式 AI 驅動的動態體驗。”
游戲中的 AI
ACE 是眾多 NVIDIA AI 技術之一，可將游戲提升到新的水平。
●NVIDIA DLSS 是一項突破性圖形技術，可在 GeForce RTX GPU 上利用 AI 提高幀率并改善圖像質量。
●NVIDIA RTX Remix 可讓 Modder 輕松截取游戲素材，使用生成式 AI 工具自動增強材質，以及借助全景光線追蹤和 DLSS 快速創建令人驚艷的 RTX 重制版游戲。
●NVIDIA Freestyle 將通過全新的 NVIDIA App 測試版提供，可讓用戶通過實時后處理濾鏡個性化定制超過 1200 款游戲的視覺美學效果，并具有 RTX HDR、RTX Dynamic Vibrance (RTX 數字亮麗) 等功能。
●NVIDIA Broadcast 應用可將任何房間變成家庭工作室，為直播提供 AI 增強型語音和視頻工具，包括噪音和回音消除、虛擬背景和 AI 綠幕、面部追蹤、視頻降噪和目光接觸。
通過 NVIDIA RTX PC 和工作站體驗最新的卓越 AI 賦能體驗，并通過《解碼 AI》了解最新動態和未來發展。
請訂閱《解碼 AI》時事通訊，我們每周都會將新鮮資訊直接投遞到您的收件箱。
###
本文鏈接：http://www.tebozhan.com/showinfo-26-82394-0.htmlACE 技術將有更多應用：利用逼真數字人 AI 技術增強游戲體驗
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號