MIX Fold3包裝盒泄露 新機本月登場
小米的全新折疊屏旗艦MIX Fold3將于本月發布，近日該機的真機包裝盒在網上泄露。從圖上來看，新的MIX Fold3包裝盒在外觀設計方面延續了之前的方案，變化不大，這也是目前小米旗艦
在生成式人工智能領域，大模型多模態交互能力的升級正掀起一股新的 AI 浪潮，在 RTC 能力的加持下，人與 AI 的交互不再局限于文字，也可以通過語音通話進行生動、流暢的低延時交互，這也成為當下國內外大模型廠商新的發力點。
今年 5 月，GPT-4o 的發布開創了 AI 實時語音交互的先河。在此之前，一些傳統的大模型已經具備語音交互的能力，但一般采用 WebSocket 方案，這一方案雖然應用廣泛，但其傳輸架構是基于 TCP 協議來構建，延遲較高，在 STT-LLM-TTS 的三步驟中，一個來回的延遲就要 2-3 秒，在弱網等非理想網絡環境下，整體語音交互的延時更達到 4 秒 +。在 GPT-4o 采用 RTC 方案后，展現出了自然、流暢的低延時語音交互體驗，也讓更多企業與開發者看到了在 AI 語音交互中 RTC 方案的更優性，并積極與 RTC 廠商合作，升級 AI 語音交互的體驗。
聲網對話式 AI 解決方案構建實時多模態 AI 語音交互
聲網作為全球實時互動云行業的開創者，在音視頻領域積累了深厚的技術優勢與場景實踐，通過與客戶在 AIGC 場景的深度合作，探索出了一套實時多模態對話式 AI 解決方案，該方案以語音為核心，支持視頻擴展，實現文本 / 音頻 / 圖像 / 視頻的組合輸入 & 輸出，通過豐富的功能構建真實、自然的 AI 語音交互體驗。
例如對交互延遲進行優化，延遲可做到 1s 以內；支持 AI 降噪、背景人聲過濾，讓語音對話更純靜；支持隨時打斷與超擬人化人聲合成，讓對話更智能與逼真；同時還支持靈活可擴展的 AI Agent 架構等一系列功能，幫助開發者與企業快速構建適配自己業務場景的 AI 實時語音對話服務。
圖: 聲網實時多模態對話式 AI 解決方案架構圖
1、延遲低于 1s, 極速響應: 聲網實時多模態對話式 AI 解決方案可做到語音對話延遲低于 1s。通過在客戶端進行低延遲的音頻采集和播放、借助聲網自研的 SD-RTN?實時傳輸網絡實現全球范圍的低延時 RTC 傳輸，并進一步通過更精準低延遲的 AI VAD、更快速的 LLM 推理首字耗時、低延遲流式 TTS、同機部署等一系列技術手段，保證對話的實時性與流暢性。
2、智能打斷，貼近真實會話: 在人類真實的語音對話中，打斷對方并提出新的疑問是非常常見的現象，而在 AIGC 場景，能否支持隨時打斷也成為衡量大模型智能化的重要指標。聲網的方案也支持先進的 AI 語音活動檢測 (AI VAD) 技術，可實現靈敏的自然語音打斷，模擬人類對話的自然流動，讓對話更加真實、自然。
3、嘈雜環境下也能清晰對話: 即使在嘈雜的環境中，聲網的解決方案也能保證清晰的語音交流。通過 AI 噪聲抑制、背景人聲過濾、音樂檢測 / 過濾等算法，確保人與 AI 的對話不受環境干擾，始終保持順暢。
4、靈活可擴展的 AI Agent 架構:AI Agent 作為大模型的應用框架，其重要性不言而喻。對于開發者而言，往往會根據自身的喜好或者業務場景選擇不同的組件搭配 AI Agent。對此，聲網的解決方案采用了靈活可擴展的 AI Agent 架構，兼容市場主流的 ASR、LLM 和 TTS 技術，并具備工作流編排能力，幫助開發者與企業根據特定需求定制和擴展 AI 驅動的實時互動體驗。
5、超擬人化人聲合成: 在一些傳統的 AI 語音對話中，AI 角色機械式的聲音大大降低了對話的真實感。針對這一痛點，聲網的解決方案超可實現超擬人真實音色，合成的聲音幾乎與真人無異，且支持私人定制音色，模擬喜怒哀樂等多種情緒表達，提升用戶體驗，使互動更加自然，還原真實體驗感。
6、支持 RTC 與 SIP 網關互通:AI 電話客服是當下 AIGC 應用最廣泛的場景之一，具備呼叫中心坐席的特性，對此，聲網的解決方案也支持 RTC 與 SIP 網關互通，用戶可直接通過聲網的 RTCSDK 直接呼叫企業客服中心坐席，有效的降低客服成本，提升客服效率。
RTC 能力加持下AIGC 應用場景迎來爆發
聲網在與客戶的合作中發現，在 RTC 的加持下，AIGC 應用場景迎來進一步爆發，AI 智能助手、AI 情感陪伴、AI 口語老師、AI 客服的 AI 交互體驗進一步升級，學生的學習效率更高，社交陪聊場景的娛樂性與沉浸感也進一步增強。
來自量子位智庫推出的 AI 智能助手用戶數據報告顯示，截止 8 月國內市場的 AI 智能助手 App 已超過 64 款。在 AI 情感陪伴領域也涌現了 Soul、星野、Wow 等一系列人氣社交 APP。
以 AI 情感陪伴為例，隨著多模態交互能力的升級，當下 AI 情感陪伴類產品正呈現出三個特征:
1、語音 / 視覺交互: 除了傳統的文本交互外，越來越多的 AI 情感陪伴類 App 也在加入語音通話的功能，讓 AI 陪伴更具有真實感。同時在視覺交互方面，部分產品也支持了視頻通話功能，通過 3D 建模、擬真渲染等技術構建逼真的數字人，讓人與 AI 的情感交互更加擬人化。
2、情感計算: 人與 AI 的一個核心區別就是人具備情感，為了讓 AI 的回答更加智能與真實，許多 AI 陪伴產品開始加入情感計算的能力。通過語義識別、面部表情等信號檢測用戶的喜怒哀樂等情緒狀態，并做出對應的情感回應，實現更加人性化的交互體驗。
3、私人定制: 標準化的人機交互千篇一律，個性化的定制才更有新意。具備個性化定制能力，提供自主創作和個性化選項已經成為 AI 陪伴類產品的新趨勢，例如定制原生 IP 角色、定制 IP 專屬畫風和語音體系、定制專屬互動話題等一系列功能。
圖: 電影《Her》里的 AI 助理被視為 AI 情感陪伴的啟蒙
在 AI 口語老師場景，聲網觀察發現，1v1 教學場景非常適用 AI 口語老師，從真人教學變成自學模式，例如正價課 1v1 與 Demo 課 1v1 教學，AI 數字人老師將代替真人，1v1 AI 口語老師將成為未來語言學習機構必備的應用，AI 數字人老師可能用于大齡學生與成人，卡通 IP 可用于低幼齡的課程。同時在職業教育賽道，已經有不少教育機構在大班課場景利用 AI 數字人老師教學。
同時，在游戲社交、AI 分身、實時語音翻譯等場景，實時 AI 語音也大有可為。例如，在狼人殺、誰是臥底等場景，AI NPC 角色雖然已經在應用，但是 AI 的痕跡還是較為明顯。在大模型具備實時語音交互能力后，誰是臥底中的 AI 角色可以做到快速的推理并發言，再搭配語音仿真技術，有望做到 AI 角色的以假亂真。
本文鏈接：http://www.tebozhan.com/showinfo-26-112428-0.html聲網對話式 AI 解決方案上新 構建實時多模態 AI 交互
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 開啟智慧辦公新紀元：三星多款商顯產品亮相上海國際智慧辦公展覽會
下一篇： 華興資本復牌，投行業務再顯穩健實力
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號