《英雄聯(lián)盟》夏季賽總決賽今日開打！JDG對陣LNG首發(fā)名單來了 Knight：準備三連冠
8月5日消息，今日17:00，《英雄聯(lián)盟》2023LPL夏季賽總決賽將正式開打，由JDG對陣LNG。對兩支隊伍來說，這場比賽不僅要爭奪夏季賽冠軍，更要決定誰才是LPL賽區(qū)一
昆侖萬維近日宣布了一項重大技術突破，正式開源了兩款前沿的AI視頻生成模型：SkyReels-V1與SkyReels-A1。這兩款模型分別標志著國內在AI短劇創(chuàng)作和視頻表情動作控制領域邁出了重要一步。
SkyReels-V1，作為國內首個面向AI短劇創(chuàng)作的視頻生成模型，其研發(fā)過程中深度挖掘了表演細節(jié)，并對情緒、場景及表演需求進行了精細處理。該模型采用了大量高質量的好萊塢級別數(shù)據(jù)進行訓練與微調，確保了其生成內容的專業(yè)水準。昆侖萬維官方介紹稱，SkyReels-V1能夠生成影視級的人物微表情表演，支持33種人物表情與超過400種自然動作的組合，從而精準還原真人的情感表達，無論是大笑、怒吼、驚訝還是哭泣，都能細膩呈現(xiàn)。
SkyReels-V1的每一幀畫面都彰顯出電影級的質感，這得益于其基于好萊塢影視數(shù)據(jù)的訓練。從構圖、演員站位到相機角度，每一個細節(jié)都力求完美。SkyReels-V1不僅支持文本生成視頻，還突破了圖生視頻的壁壘，成為開源視頻生成模型中參數(shù)最大、支持圖生視頻的一款。在同等分辨率下，其各項指標均達到了開源領域的頂尖水平。
SkyReels-V1的功能遠不止于此，它還具備影視化表情識別體系，能夠精準理解11種影視戲劇中的人物表情，如不屑、不耐煩等微妙情緒。同時，基于人體三維重建技術，該模型還能感知視頻中多人的空間相對關系，從而生成影視級的人物站位。它還構建了超過400種行為語義單元，實現(xiàn)了對人物行為的精準理解，并能夠分析人物、服裝、場景與劇情的關聯(lián)。
在性能方面，SkyReels-V1同樣表現(xiàn)出色。借助自研的推理優(yōu)化框架「SkyReels-Infer」，該模型在544p分辨率下，單臺4090顯卡的推理時間僅需80秒。同時，它還支持分布式多卡并行處理，以及多種并行技術，進一步提升了處理效率。為了滿足低顯存用戶的需求，該模型還采用了fp8量化及參數(shù)級卸載技術，并通過flash attention、SageAttention等優(yōu)化手段，進一步降低了延遲。基于開源diffuser庫，SkyReels-V1的易用性也得到了顯著提升。
為了更精準地控制人物視頻生成，昆侖萬維還開源了SkyReels-A1，這是一款SOTA級別的基于視頻基座模型的表情動作可控算法。與Runway的Act-One相媲美，SkyReels-A1支持視頻驅動的電影級表情捕捉。它能夠基于任意人體比例（包括肖像、半身及全身構圖）生成人物動態(tài)視頻。通過將參考人物圖片與驅動視頻同時輸入，SkyReels-A1能夠將驅動視頻中的面部表情和表演細節(jié)精準地“移植”到給定參考圖片的人物身上。
這兩款開源模型的發(fā)布，無疑將為AI視頻生成領域注入新的活力。感興趣的開發(fā)者可以通過以下鏈接獲取更多信息：SkyReels-V1（https://github.com/SkyworkAI/SkyReels-V1）與SkyReels-A1（https://github.com/SkyworkAI/SkyReels-A1）。
本文鏈接：http://www.tebozhan.com/showinfo-16-131301-0.html昆侖萬維開源SkyReels-V1：國內首個AI短劇視頻生成模型問世
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 騰訊新動作：深圳小薯商業(yè)管理公司正式成立，全資控股引關注
下一篇： 橘子按壓冒煙？警惕孢子擴散，小心肺部感染
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號