只需要一段文字指令就能生成一段60秒精致細膩的突破視頻——今年2月起，文生視頻大模型Sora曾在全球人工智能業內外引發震動。中國4月27日上午，模型在2024中關村論壇年會未來人工智能先鋒論壇上，發布生數科技聯合清華大學發布中國首個長時長、突破高一致性、中國百姓彩票最新網址高(gao)動態(tai)性視(shi)頻大模(mo)(mo)型——Vidu。模(mo)(mo)型Vidu不僅能夠模(mo)(mo)擬真(zhen)實物理(li)世界(jie)，發布還擁有豐富(fu)想象力，突(tu)破具備(bei)多鏡頭生成(cheng)、中國(guo)時(shi)空(kong)一(yi)致(zhi)性高(gao)等(deng)特點，模(mo)(mo)型這(zhe)也是發布自Sora發布之后全(quan)球率先取得重大突(tu)破的視(shi)頻大模(mo)(mo)型，性能全(quan)面對(dui)標國(guo)際(ji)頂尖水平，突(tu)破并(bing)在加速迭代提升(sheng)中。中國(guo)

據了解，模型該模型采用團隊原創的Diffusion與Transformer融合的架構U-ViT，支持一鍵生成長達16秒、百姓彩票分辨(bian)率高(gao)達1080P的高(gao)清視頻內容。

根據現場演示的效果，Vidu能夠模擬真實的物理世界，能夠生成細節復雜、并且符合真實物理規律的場景，例如合理的光影效果、細膩的人物表情等。它還具有豐富的百姓彩票網想象力，能夠生成真實世界不存在(zai)(zai)的虛構畫面，創(chuang)造出(chu)具有深度(du)和復(fu)雜(za)性(xing)的超(chao)現實主義內容(rong)，例如“畫室里的一艘(sou)船正(zheng)在(zai)(zai)海浪中駛向鏡(jing)頭”這樣的場景。

此外，Vidu能(neng)夠生成復(fu)雜(za)的(de)動態鏡頭(tou)(tou)，不(bu)再局限于簡單的(de)推(tui)、拉、移等(deng)固定鏡頭(tou)(tou)，而是能(neng)夠圍繞(rao)統一主體(ti)在一段畫面里就(jiu)實現遠(yuan)景、近景、中景、特寫等(deng)不(bu)同(tong) 鏡頭(tou)(tou)的(de)切換，包括能(neng)直接生成長鏡頭(tou)(tou)、追焦、轉(zhuan)場(chang)等(deng)效(xiao)果，給視頻注(zhu)入鏡頭(tou)(tou)語(yu)言(yan)。

作為中(zhong)國自研視(shi)頻(pin)大模型，Vidu還能理(li)解(jie)中(zhong)國元(yuan)素，能夠在(zai)視(shi)頻(pin)中(zhong)生成例如熊貓、龍(long)等特有(you)的中(zhong)國元(yuan)素。

值得一提的(de)(de)是(shi)，短(duan)片(pian)中的(de)(de)片(pian)段都是(shi)從(cong)頭(tou)到(dao)尾(wei)連(lian)續生成(cheng)，沒有明顯(xian)的(de)(de)插幀現象，從(cong)這種“一鏡(jing)到(dao)底”的(de)(de)表現能夠推測出，Vidu采用的(de)(de)是(shi)“一步(bu)(bu)到(dao)位”的(de)(de)生成(cheng)方式，與 Sora一樣，從(cong)文本到(dao)視(shi)頻的(de)(de)轉換(huan)是(shi)直接且連(lian)續的(de)(de)，在底層算法實現上是(shi)基于(yu)單一模型完(wan)全端(duan)到(dao)端(duan)生成(cheng)，不涉(she)及中間的(de)(de)插幀和其他多步(bu)(bu)驟的(de)(de)處(chu)理。

據(ju)了(le)解，Vidu的快速(su)突破源自于團隊(dui)在(zai)貝葉斯機器學習和多(duo)(duo)模態大(da)模型的長期積累和多(duo)(duo)項原創性成果。其核心技術 U-ViT 架(jia)構(gou)(gou)由團隊(dui)于2022年9月(yue)提出，早于Sora采(cai)用的DiT架(jia)構(gou)(gou)，是全(quan)球首(shou)個(ge)Diffusion與Transformer融合的架(jia)構(gou)(gou)，完全(quan)由團隊(dui)自主(zhu)研發。

“在(zai)Sora發(fa)(fa)布后，我(wo)們發(fa)(fa)現剛好和(he)我(wo)們的(de)(de)(de)技(ji)術路(lu)線是高(gao)度一致(zhi)的(de)(de)(de)，這也(ye)讓我(wo)們堅(jian)定(ding)地進一步(bu)推進了自己的(de)(de)(de)研究(jiu)(jiu)。”清華(hua)大學人工(gong)智能研究(jiu)(jiu)院副院長(chang)、生(sheng)數(shu)科(ke)技(ji)首席科(ke)學家朱軍說。自今年(nian)2月(yue)Sora發(fa)(fa)布推出后，團隊基于對U-ViT 架構的(de)(de)(de)深入理解以及長(chang)期積累的(de)(de)(de)工(gong)程與(yu)數(shu)據經驗，在(zai)短短兩個月(yue)進一步(bu)突破長(chang)視(shi)頻表(biao)示與(yu)處理關鍵技(ji)術，研發(fa)(fa)推出Vidu視(shi)頻大模(mo)型(xing)，顯著提(ti)升視(shi)頻的(de)(de)(de)連(lian)貫性與(yu)動態性。