阿里通義實(shí)驗(yàn)室近日在其官方公眾號(hào)上宣布了一項(xiàng)重要進(jìn)展：其首個(gè)音頻生成模型ThinkSound已正式對(duì)外開(kāi)放源代碼，這一創(chuàng)新有望顛覆以往“靜默畫(huà)面”的創(chuàng)作邊界。myE28資訊網(wǎng)——每日最新資訊28at.com

ThinkSound在音頻生成領(lǐng)域首次引入了CoT（思維鏈）技術(shù)，使AI能夠邏輯清晰地理解畫(huà)面事件與聲音之間的關(guān)聯(lián)，從而生成高保真、高度同步的空間音頻。這不僅僅是“為圖配音”，而是讓AI真正“理解畫(huà)面并配音”。myE28資訊網(wǎng)——每日最新資訊28at.com

為了訓(xùn)練出能夠“邏輯聆聽(tīng)”的AI，通義實(shí)驗(yàn)室的語(yǔ)音團(tuán)隊(duì)精心打造了AudioCoT數(shù)據(jù)集，這是首個(gè)支持鏈?zhǔn)酵评淼亩嗄B(tài)音頻數(shù)據(jù)集。AudioCoT匯集了來(lái)自VGGSound、AudioSet、AudioCaps、Freesound等多個(gè)平臺(tái)的2531.8小時(shí)高質(zhì)量音頻樣本，涵蓋了從動(dòng)物叫聲到機(jī)械運(yùn)轉(zhuǎn)、環(huán)境音效等多種真實(shí)場(chǎng)景，為模型提供了廣泛的訓(xùn)練素材。myE28資訊網(wǎng)——每日最新資訊28at.com

為了確保數(shù)據(jù)集的質(zhì)量，研究團(tuán)隊(duì)實(shí)施了一套嚴(yán)格的數(shù)據(jù)篩選流程，包括多階段的自動(dòng)化質(zhì)量檢查和至少5%的人工抽樣驗(yàn)證，以確保每一條數(shù)據(jù)都能有效支持AI的結(jié)構(gòu)化推理能力。AudioCoT還設(shè)計(jì)了面向交互式編輯的對(duì)象級(jí)和指令級(jí)樣本，以滿足ThinkSound在后續(xù)細(xì)化與編輯功能上的需求。myE28資訊網(wǎng)——每日最新資訊28at.com

ThinkSound由兩大核心組件構(gòu)成：一個(gè)是擅長(zhǎng)“思考”的多模態(tài)大語(yǔ)言模型（MLLM），另一個(gè)是專注于“聽(tīng)覺(jué)輸出”的統(tǒng)一音頻生成模型。這兩個(gè)模塊的協(xié)同工作，使得系統(tǒng)能夠分階段解析畫(huà)面內(nèi)容，并最終生成與畫(huà)面精確匹配的音頻效果。這一過(guò)程包括理解整體畫(huà)面、聚焦具體物體以及響應(yīng)用戶指令三個(gè)階段。myE28資訊網(wǎng)——每日最新資訊28at.com

據(jù)官方介紹，盡管近年來(lái)端到端視頻到音頻（V2A）生成技術(shù)取得了長(zhǎng)足進(jìn)步，但在捕捉畫(huà)面動(dòng)態(tài)細(xì)節(jié)和空間關(guān)系方面仍存在挑戰(zhàn)。例如，貓頭鷹何時(shí)鳴叫、何時(shí)起飛，以及樹(shù)枝晃動(dòng)時(shí)是否伴隨摩擦聲等視覺(jué)與聲學(xué)之間的關(guān)聯(lián)，往往被忽視，導(dǎo)致生成的音頻過(guò)于泛化，甚至與關(guān)鍵視覺(jué)事件不匹配，無(wú)法滿足專業(yè)創(chuàng)意場(chǎng)景中對(duì)時(shí)序和語(yǔ)義連貫性的高要求。myE28資訊網(wǎng)——每日最新資訊28at.com

這一問(wèn)題的核心在于，AI缺乏對(duì)畫(huà)面事件的結(jié)構(gòu)化理解，無(wú)法像人類音效師那樣逐步分析、推理并合成聲音。而ThinkSound的推出，正是為了解決這一難題，推動(dòng)音頻生成技術(shù)邁向新的高度。myE28資訊網(wǎng)——每日最新資訊28at.com

舉報(bào) 0收藏 0打賞 0評(píng)論 0分享 0  更多>同類資訊隈研吾上海商業(yè)新地標(biāo)開(kāi)業(yè)：探索“光之漣漪”的藝術(shù)魅力07-05水電光伏大比拼：扎拉電站展現(xiàn)碳中和時(shí)代能源新格局07-05小米YU7磁吸紙巾盒熱銷，雷軍解釋高價(jià)原因，網(wǎng)友熱議后仍搶購(gòu)一空有網(wǎng)友表示：“甭管是100多、200多、300多……只要對(duì)應(yīng)品牌的車主們不嫌貴，那這個(gè)定價(jià)就是合理的，再說(shuō)了，真嫌貴你不買不就完了，搞不明白這玩意有啥好掰扯的？” 博主韓路還親自曬單了表示：“磁吸紙巾盒買了…07-05Jeep侏羅紀(jì)世界探索版震撼發(fā)布，硬核越野邂逅史前冒險(xiǎn)，40.39萬(wàn)元起售07-05Jeep侏羅紀(jì)世界探索版震撼發(fā)布，硬核越野邂逅史前冒險(xiǎn)精神07-05小紅書(shū)內(nèi)測(cè)長(zhǎng)文功能：千字正文+一鍵排版，創(chuàng)作者迎來(lái)新表達(dá)空間07-05蘭洽會(huì)盛景預(yù)覽：展館布展如火如荼，靜待各界嘉賓蒞臨07-05羅馬仕總部探訪：?jiǎn)T工稱運(yùn)營(yíng)正常但客服轉(zhuǎn)交，充電寶召回針對(duì)特定批次07-05科技守護(hù)綠水青山：水土流失監(jiān)測(cè)設(shè)備精準(zhǔn)洞察大地之變通過(guò)衛(wèi)星遙感和無(wú)人機(jī)遙感，能夠獲取大面積土地的影像數(shù)據(jù)，分析土地利用類型、植被覆蓋度等信息。植被是防止水土流失的重要屏障，通過(guò)監(jiān)測(cè)植被覆蓋度的變化，可以直觀地了解水土流失的潛在風(fēng)險(xiǎn)。通過(guò)分析歷史數(shù)據(jù)和實(shí)時(shí)監(jiān)測(cè)…07-05雅馬哈新款125cc踏板車專利圖曝光，大輪轂設(shè)計(jì)引關(guān)注07-05寧德市專利預(yù)審加速，助力新能源產(chǎn)業(yè)創(chuàng)新升級(jí)07-05平安資本領(lǐng)銜，33億私募股權(quán)投資基金正式成立！07-05字節(jié)跳動(dòng)新動(dòng)向：申請(qǐng)“即夢(mèng)靈感助手”商標(biāo)，布局創(chuàng)意輔助工具市場(chǎng)07-05浙江空港低空經(jīng)濟(jì)合伙企業(yè)成立，十億巨資注入新領(lǐng)域！07-05萬(wàn)達(dá)商管兩座萬(wàn)達(dá)廣場(chǎng)股權(quán)遭凍結(jié)，資金鏈問(wèn)題引關(guān)注07-05點(diǎn)擊查看更多 +全站最新問(wèn)界全新M7設(shè)計(jì)大改款，有望成30萬(wàn)價(jià)位新銷冠，諜照搶先看隈研吾上海商業(yè)新地標(biāo)開(kāi)業(yè)：探索“光之漣漪”的藝術(shù)魅力河鋼突破！新型熱處理強(qiáng)化鋼助力汽車輕量化與安全升級(jí)極星Polestar 7高端跨界車計(jì)劃曝光，2028年上市，沃爾沃平臺(tái)打造魏牌旗艦SUV諜照曝光，或成問(wèn)界M9、理想L9新對(duì)手比亞迪澳洲負(fù)責(zé)人：安全至上，力保新車全獲ANCAP五星評(píng)級(jí)熱門內(nèi)容

• 韻達(dá)子公司管理失責(zé)遭罰4萬(wàn)，立案調(diào)查結(jié)果揭曉
• 貓王音響創(chuàng)始人怒懟雷軍：網(wǎng)上形象高大上私下表現(xiàn)拙劣
• 劉強(qiáng)東點(diǎn)外賣豪贈(zèng)千元小費(fèi)，達(dá)達(dá)私有化后京東外賣勢(shì)頭強(qiáng)勁
• 夸克高考志愿報(bào)告需求激增，阿里副總裁：緊急擴(kuò)容應(yīng)對(duì)排隊(duì)現(xiàn)象
• 太陽(yáng)系迎來(lái)第三位“星際客人”，外星系不明物體A11pI3Z引關(guān)注
• 國(guó)產(chǎn)直升機(jī)“心臟”AES100發(fā)動(dòng)機(jī)獲生產(chǎn)許可，助力低空裝備發(fā)展
• 韋東奕回應(yīng)輿論風(fēng)波：已受影響，拒絕再回應(yīng)
• 劉強(qiáng)東現(xiàn)身沈陽(yáng)渾河畔，京東又有新動(dòng)向？
• 華為Pura 80系列或降價(jià)來(lái)襲，Pro版將成銷售擔(dān)當(dāng)？
• 馬云回應(yīng)釘釘離職員工長(zhǎng)文：阿里在發(fā)展，歡迎你常回家
• 劉強(qiáng)東詳解京東新業(yè)務(wù)布局：餐飲酒旅在望，網(wǎng)約車傳聞遭否認(rèn)
• 國(guó)產(chǎn)科技文獻(xiàn)數(shù)據(jù)平臺(tái)東壁上線，打破西方壟斷助力科研創(chuàng)新
• 紙鳶AI高考志愿助手，全國(guó)考生免費(fèi)享！3000萬(wàn)數(shù)據(jù)精準(zhǔn)導(dǎo)航，圓夢(mèng)理想大學(xué)
• 6月首周百度App短劇熱度揭曉，《因?yàn)閻?ài)情嫁錯(cuò)門》問(wèn)鼎冠軍
• 谷歌Chrome瀏覽器即將告別安卓8和9，安全更新成問(wèn)題！

本欄最新隈研吾上海商業(yè)新地標(biāo)開(kāi)業(yè)：探索“光之漣漪”的藝術(shù)魅力水電光伏大比拼：扎拉電站展現(xiàn)碳中和時(shí)代能源新格局小米YU7磁吸紙巾盒熱銷，雷軍解釋高價(jià)原因，網(wǎng)友熱議后仍搶購(gòu)一空Jeep侏羅紀(jì)世界探索版震撼發(fā)布，硬核越野邂逅史前冒險(xiǎn)，40.39萬(wàn)元起售Jeep侏羅紀(jì)世界探索版震撼發(fā)布，硬核越野邂逅史前冒險(xiǎn)精神蘭洽會(huì)盛景預(yù)覽：展館布展如火如荼，靜待各界嘉賓蒞臨

本文鏈接：http://www.tebozhan.com/showinfo-16-167021-0.html阿里通義ThinkSound音頻生成模型開(kāi)源：讓AI“聽(tīng)懂畫(huà)面”，打破靜音局限

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： ChatGPT原名曝光：曾擬命名為Chat with GPT-3.5，因難記而更名

下一篇： 隈研吾上海商業(yè)新地標(biāo)開(kāi)業(yè)：探索“光之漣漪”的藝術(shù)魅力