亞馬遜AIGC全家桶來(lái)襲，巨頭AI大亂戰(zhàn)都有什么殺手锏
此前，亞馬遜云科技發(fā)布多款A(yù)IGC產(chǎn)品，其中包括AI大模型服務(wù)Amazon Bedrock、人工智能計(jì)算實(shí)例Amazon EC2 Trn1n和Amazon EC2 Inf2、自研“泰坦”（Titan）AI大模型、軟件
7 月 5 日消息，AI 聊天機(jī)器人平臺(tái) Character.AI 發(fā)布研究論文和視頻演示，展示了名為 TalkingMachines 的自回歸擴(kuò)散模型，讓 AI 角色互動(dòng)更加逼真。
該模型尚未部署在 Character.AI 平臺(tái)上，根據(jù)研究論文和視頻演示，用戶只需要輸入一張圖片和聲音信號(hào)，該模型就能實(shí)現(xiàn)類(lèi)似 FaceTime 的通話視覺(jué)互動(dòng)。
該模型基于 Diffusion Transformer（DiT）技術(shù)，本質(zhì)上是一種能夠從隨機(jī)噪聲中創(chuàng)建詳細(xì)圖像的“藝術(shù)家”，并不斷優(yōu)化圖像直至完美。Character.AI 所做的就是讓這一過(guò)程變得極其迅速，達(dá)到實(shí)時(shí)效果。
TalkingMachines 模型采用了流匹配擴(kuò)散（Flow-Matched Diffusion）、音頻驅(qū)動(dòng)的交叉注意力（Audio-Driven Cross Attention）、稀疏因果注意力（Sparse Causal Attention）和不對(duì)稱蒸餾（Asymmetric Distillation）等多種關(guān)鍵技術(shù)。
其中流匹配擴(kuò)散技術(shù)通過(guò)訓(xùn)練大量動(dòng)作，包括細(xì)微的面部表情和更夸張的手勢(shì)，確保 AI 角色動(dòng)作更加自然。音頻驅(qū)動(dòng)的交叉注意力技術(shù)則讓 AI 不僅能聽(tīng)到單詞，還能理解音頻中的節(jié)奏、停頓和語(yǔ)調(diào)，并將其轉(zhuǎn)化為精確的口型、點(diǎn)頭和眨眼。
稀疏因果注意力技術(shù)讓 Character.AI 能夠以更高效的方式處理視頻幀，而不對(duì)稱蒸餾技術(shù)則讓視頻能夠?qū)崟r(shí)生成，營(yíng)造出類(lèi)似 FaceTime 通話的效果。
Character.AI 強(qiáng)調(diào)，這一研究突破不僅僅是關(guān)于面部動(dòng)畫(huà)的，它是朝向?qū)崟r(shí)互動(dòng)的音頻視覺(jué) AI 角色邁出的一步。該模型支真實(shí)感人類(lèi)、動(dòng)漫和 3D 虛擬形象等多種風(fēng)格。
附上參考地址
GitHub 項(xiàng)目頁(yè)面
TalkingMachines: Real-Time Audio-Driven FaceTime-Style Video via Autoregressive Diffusion Models
本文鏈接：http://www.tebozhan.com/showinfo-45-14432-0.htmlCharacter.AI 突破性技術(shù)：實(shí)時(shí) AI 角色視頻互動(dòng)
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 溫網(wǎng)使用 AI 判罰引選手不滿，組委會(huì)回應(yīng)“系統(tǒng)比人工更可靠”
下一篇： 蘋(píng)果發(fā)布 DiffuCode-7B-cpGRPO 編程 AI 模型：基于 Qwen2.5-7B，可不按順序生成代碼
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)