摸魚心法第一章——和配置文件說拜拜
為了能摸魚我們團隊做了容器化，但是帶來的問題是服務(wù)配置文件很麻煩，然后大家在群里進行了“親切友好”的溝通圖片圖片圖片圖片對比就對比，簡單對比下獨立配置中心和k8s作為配
近日，視頻編輯技術(shù)領(lǐng)域迎來了一次革命性的進展，通義萬相正式宣布將其創(chuàng)新的視頻編輯模型VACE進行開源。此次推出的VACE包含兩個版本，Wan2.1-VACE-1.3B支持480P分辨率的視頻處理，而更高規(guī)格的Wan2.1-VACE-14B則進一步支持到720P分辨率，為用戶提供更多選擇。
VACE的問世，徹底顛覆了傳統(tǒng)的視頻創(chuàng)作模式。用戶無需再在各種模型和工具之間來回切換，僅憑VACE即可實現(xiàn)從文字生成視頻、圖像參考生成、局部編輯到視頻擴展等一系列操作，極大地提升了創(chuàng)作的便捷性和效率。這一站式視頻創(chuàng)作體驗，讓視頻編輯變得更加靈活和高效。
VACE的核心競爭力在于其強大的可控重繪能力。通過基于人體姿態(tài)、運動光流、結(jié)構(gòu)保持、空間運動和著色等多種控制生成技術(shù)，VACE能夠輕松實現(xiàn)視頻生成后的細致調(diào)整。它還支持基于主體和背景參考的視頻生成，使得調(diào)整人物姿態(tài)、動作軌跡或場景布局等操作變得易如反掌。這一能力的背后，是VACE先進的多模態(tài)輸入機制。
VACE的多模態(tài)輸入機制將文本、圖像、視頻、Mask和控制信號等多種輸入形式整合到一個統(tǒng)一的系統(tǒng)中。無論是圖像輸入中的物體參考圖或視頻幀，還是視頻輸入中的抹除、局部擴展等操作，VACE都能應(yīng)對自如。用戶還可以通過0/1二值信號來指定編輯區(qū)域，并通過深度圖、光流、布局、灰度、線稿和姿態(tài)等控制信號來進一步精確控制。
VACE不僅支持對視頻內(nèi)容的替換、增加和刪除等操作，還能在時間維度上根據(jù)任意片段或首尾幀補全整個視頻時長。在空間維度上，VACE同樣表現(xiàn)出色，能夠?qū)Ξ嬅孢吘壔虮尘皡^(qū)域進行擴展生成，如背景替換功能，可以在保留主體不變的前提下，根據(jù)Prompt更換背景環(huán)境。這些功能的實現(xiàn)，得益于VACE強大的多模態(tài)輸入模塊和Wan2.1的卓越生成能力。
更VACE還支持多種單任務(wù)能力的自由組合，打破了傳統(tǒng)專家模型各自為戰(zhàn)的限制。作為統(tǒng)一模型，VACE能夠自然融合文生視頻、姿態(tài)控制、背景替換、局部編輯等原子能力，無需為單一功能單獨訓(xùn)練新模型。這種靈活組合機制不僅簡化了創(chuàng)作流程，還極大地拓展了AI視頻生成的創(chuàng)意邊界。
例如，通過組合圖片參考與主體重塑功能，VACE可以實現(xiàn)視頻中物體的替換；通過組合運動控制與首幀參考功能，則可以實現(xiàn)靜態(tài)圖片的姿態(tài)控制。還可以將圖片參考、首幀參考、背景擴展與時長延展功能相結(jié)合，將豎版圖拓展為橫屏視頻，并在其中加入?yún)⒖紙D片中的元素。這些功能的實現(xiàn)，都得益于VACE提出的靈活統(tǒng)一的輸入范式——視頻條件單元VCU。
VCU將多模態(tài)的各類上下文輸入總結(jié)為文本、幀序列、mask序列三大形態(tài)，從而在輸入形式上統(tǒng)一了四類視頻生成與編輯任務(wù)。VCU的幀序列和Mask序列在數(shù)學(xué)上可以相互疊加，為多任務(wù)的自由組合創(chuàng)造了有利條件。在技術(shù)實現(xiàn)方面，VACE需要解決的一大難題是如何將多模態(tài)輸入統(tǒng)一編碼為擴散Transformer可處理的token序列。為此，VACE對VCU輸入中的frame序列進行概念解耦，并通過隱空間編碼和可訓(xùn)練參數(shù)映射等步驟，成功將多模態(tài)輸入轉(zhuǎn)化為DiT的token序列。
在訓(xùn)練策略上，VACE對比了全局微調(diào)與上下文適配器微調(diào)兩種方案，并最終選擇了收斂速度更快且能避免基礎(chǔ)能力丟失風(fēng)險的上下文適配器微調(diào)方法。通過定量評測可以看出，相比1.3Bpreview版本，本次開源的VACE系列模型在多個關(guān)鍵指標上均有顯著提升。
對于廣大開發(fā)者而言，VACE的開源無疑是一個巨大的福音。他們可以通過GitHub（https://github.com/Wan-Video/Wan2.1）、魔搭（https://modelscope.cn/organization/Wan-AI）、Hugging Face（https://huggingface.co/Wan-AI）等平臺獲取VACE的源代碼和模型資源，并在國內(nèi)站（https://tongyi.aliyun.com/wanxiang/）和國際站（https://wan.video）上獲取更多信息和支持。
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊小馬智行無人駕駛測試車意外起火，車身變形，起火原因待查！05-15
腦機接口新突破：意念操控技術(shù)讓“心想事成”不再是夢05-15
仿生合成橡膠航空輪胎試飛驗證成功，中國航空輪胎技術(shù)獲重大突破！05-15
淘寶新功能：商家可屏蔽高退款率用戶，你怎么看？05-15西湖大學(xué)團隊揭秘超導(dǎo)界面電子向列性演化新特征05-15
文遠知行廣州核心城區(qū)：8條自動駕駛線路，24小時出行新體驗！05-15
漫威新劇《鋼鐵之心》預(yù)告來襲，反派斗篷登場，6月24日首播連更三集！05-15
IDC預(yù)測：中國AR/VR市場將迎來爆發(fā)，五年復(fù)合年均增長率高達41.1%05-15
漳州核電“華龍一號”4號機組模塊三成功吊裝，安全質(zhì)量全程可控！05-15
《藍精靈大電影》預(yù)告來襲，藍妹妹帶隊勇闖現(xiàn)實，7月18日北美見！05-15
卡塔爾航空大手筆！波音史上最大寬體客機訂單誕生05-15AMD RX 9060 XT顯卡渲染圖曝光，雙風(fēng)扇設(shè)計引關(guān)注05-15
綠燈已亮，你的車為何還在“猶豫”？05-15
Coinbase納入標普500，加密貨幣行業(yè)主流化提速？業(yè)內(nèi)人士認為，Coinbase的加入，正悄悄改寫華爾街的權(quán)力結(jié)構(gòu)，也意味著加密貨幣行業(yè)正式進入主流金融視野，監(jiān)管機構(gòu)和傳統(tǒng)投資者對數(shù)字資產(chǎn)的接受度提升。 全球市場風(fēng)險情緒的復(fù)蘇和股票市場的強勁表現(xiàn)，增強了投…05-15
谷歌DeepMind新突破：AlphaEvolve引領(lǐng)算法發(fā)現(xiàn)自動化革命05-15點擊查看更多 +全站最新
中俄聯(lián)手！月球核電站將如何照亮深空探索之路？
140噸級重復(fù)使用液氧甲烷發(fā)動機整機試驗成功，航天科技再突破！
比亞迪純電K-Car來襲，續(xù)航180km，能否撼動日本輕自動車市場？
奇瑞“守護者”智慧安全系統(tǒng)發(fā)布，全球安全標準再升級！
奧迪SUV未來規(guī)劃曝光：Q系列新車將密集上市，電動化成趨勢
吉利博越L煥新上市倒計時！5月13日見，顏值內(nèi)飾全面升級，預(yù)售價10.59萬起熱門內(nèi)容腦機接口新突破：意念操控技術(shù)讓“心想事成”不再是夢仿生合成橡膠航空輪胎試飛驗證成功，中國航空輪胎技術(shù)獲重大突破！淘寶新功能：商家可屏蔽高退款率用戶，你怎么看？文遠知行廣州核心城區(qū)：8條自動駕駛線路，24小時出行新體驗！漫威新劇《鋼鐵之心》預(yù)告來襲，反派斗篷登場，6月24日首播連更三集！IDC預(yù)測：中國AR/VR市場將迎來爆發(fā)，五年復(fù)合年均增長率高達41.1%
本文鏈接：http://www.tebozhan.com/showinfo-16-149919-0.html阿里通義萬相VACE開源：視頻編輯迎來一站式創(chuàng)新模型
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號