AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當前位置:首頁 > 科技  > 網絡

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!

來源: 責編: 時間:2023-12-06 17:11:54 354觀看
導讀 看!現在正有四位小姐姐在你面前大秀熱舞:以為是某些主播在短視頻平臺發布的作品?No,No,No。真實答案是:假的,生成的,而且還是只靠了一張圖的那種!真實的打開方式是這樣的:這就是來自新加坡國立大學和字節跳動新的一項

看!現在正有四位小姐姐在你面前大秀熱舞:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

以為是某些主播在短視頻平臺發布的作品?xb028資訊網——每日最新資訊28at.com

No,No,No。xb028資訊網——每日最新資訊28at.com

真實答案是:假的,生成的,而且還是只靠了一張圖的那種!xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

真實的打開方式是這樣的:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

這就是來自新加坡國立大學和字節跳動新的一項研究,名叫MagicAnimatexb028資訊網——每日最新資訊28at.com

它的作用簡單來說可以總結為一個公式:一張圖片 + 一組動作 = 毫無違和感的視頻xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

然后啊,這項技術一經公布,可謂是在科技圈里掀起了不小的波瀾,眾多科技大佬和極客們紛紛下場耍了起來。xb028資訊網——每日最新資訊28at.com

就連HuggingFace CTO都拿自己的頭像體驗了一把:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

順便還風趣地開了句玩笑:xb028資訊網——每日最新資訊28at.com

這算是健身了吧?我這周可以不去健身房了。xb028資訊網——每日最新資訊28at.com

還有相當與時俱進的網友,拿著剛出爐的GTA6(俠盜獵車手6)預告片中的人物玩了一把:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

甚至就連表情包們也成了網友們pick的對象……xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

MagicAnimate可以說是把科技圈的目光聚焦到了自己身上,因此也有網友調侃說:xb028資訊網——每日最新資訊28at.com

OpenAI可以休息一下了。xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

火,著實是火。xb028資訊網——每日最新資訊28at.com

一張圖即可生成一段舞xb028資訊網——每日最新資訊28at.com

那么如此火爆的MagicAnimate,該如何“食用”?xb028資訊網——每日最新資訊28at.com

話不多說,我們現在就來手把手地體驗一次。xb028資訊網——每日最新資訊28at.com

目前項目團隊已經在HuggingFace中開放了在線體驗的頁面:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

操作也是非常得簡單,只需三步即可:xb028資訊網——每日最新資訊28at.com

上傳一張靜態人物照片xb028資訊網——每日最新資訊28at.com

上傳想要生成的動作demo視頻xb028資訊網——每日最新資訊28at.com

調整參數,點擊“Animate”即可xb028資訊網——每日最新資訊28at.com

例如下面就是鄙人照片和一段近期席卷全球的《科目三》舞蹈片段:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!△視頻源:抖音(ID:QC0217)xb028資訊網——每日最新資訊28at.com

也可以選擇頁面下方提供的模版進行體驗:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

不過需要注意的是,由于MagicAnimate目前過于火爆,在生成的過程中可能會出現“宕機”的情況:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

即便成功“食用”,可能也得排大隊……xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!(沒錯!截至發稿,還是沒有等到結果!)xb028資訊網——每日最新資訊28at.com

除此之外,MagicAnimate在GitHub中也給出了本地體驗的方式,感興趣的小伙伴可以試試哦~xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

那么接下來的一個問題便是:xb028資訊網——每日最新資訊28at.com

怎么做到的?xb028資訊網——每日最新資訊28at.com

整體而言,MagicAnimate采用的是基于擴散模型(diffusion)的一個框架,目的就是增強時間一致性、保持參考圖像的真實性,并提高動畫保真度。xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

為此,團隊首先開發了一個視頻擴散模型(Temporal Consistency Modeling)來編碼時間信息。xb028資訊網——每日最新資訊28at.com

這個模型通過在擴散網絡中加入時間注意力模塊,來編碼時間信息,從而確保動畫中各幀之間的時間一致性。xb028資訊網——每日最新資訊28at.com

其次,為了保持幀間的外觀一致性,團隊引入了一種新的外觀編碼器(Appearance Encoder)來保留參考圖像的復雜細節。xb028資訊網——每日最新資訊28at.com

這個編碼器與以往使用CLIP編碼的方法不同,能夠提取密集的視覺特征來引導動畫,從而更好地保留身份、背景和服裝等信息。xb028資訊網——每日最新資訊28at.com

在這兩項創新技術的基礎之上,團隊進一步采用了一種簡單的視頻融合技術(Video Fusion Technique)來促進長視頻動畫的平滑過渡。xb028資訊網——每日最新資訊28at.com

終,在兩個基準上的實驗表明,MagicAnimate的結果要遠優于以往的方法。xb028資訊網——每日最新資訊28at.com

尤其是在具有挑戰性的TikTok舞蹈數據集上,MagicAnimate在視頻保真度方面比強基線高出38%以上!xb028資訊網——每日最新資訊28at.com

團隊所給出的定性比較如下:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

以及與cross-ID的SOTA基線相比,結果如下:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

One More Thingxb028資訊網——每日最新資訊28at.com

不得不說,諸如MagicAnimate的項目近著實是有點火爆。xb028資訊網——每日最新資訊28at.com

這不,在它“出道”前不久,阿里團隊也發布了一個名叫Animate Anyone的項目,同樣是只要“一張圖”和“想要的動作”:xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

由此,也有網友發出了疑問:xb028資訊網——每日最新資訊28at.com

這似乎是MagicAnimate和AnimateAnyone之間的戰爭。誰更勝一籌?xb028資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!xb028資訊網——每日最新資訊28at.com

你覺得呢?xb028資訊網——每日最新資訊28at.com

論文地址:https://arxiv.org/abs/2311.16498xb028資訊網——每日最新資訊28at.com

參考鏈接:xb028資訊網——每日最新資訊28at.com

[1]https://github.com/magic-research/magic-animatexb028資訊網——每日最新資訊28at.com

[2]https://twitter.com/cocktailpeanut/status/1732052908227588263xb028資訊網——每日最新資訊28at.com

[3]https://twitter.com/ProductHunt/status/1732116454647136449xb028資訊網——每日最新資訊28at.com

[4]https://twitter.com/Gradio/status/1731992981715231162xb028資訊網——每日最新資訊28at.com

[5]https://twitter.com/dylan_ebert_/status/1732152096621813954xb028資訊網——每日最新資訊28at.com


文章出處:量子位

本文鏈接:http://www.tebozhan.com/showinfo-17-38611-0.html抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 2024年央視春晚吉祥物正式亮相:五爪金龍造型 命名“龍辰辰”

下一篇: 正新雞排否認資金鏈斷裂:一切經營正常

標簽:
  • 熱門焦點
Top