作者：俞陶然

　　近(jin)期，寥寥OpenAI公司發布的數語(yu)生(sheng)成視(shi)行(xing)文(wen)生(sheng)視(shi)頻(pin)大模型Sora引發全球關注。只要輸入(ru)一(yi)句或寥寥幾(ji)句描述畫面(mian)情節(jie)的秒視(shi)提示詞，它(ta)就能生(sheng)成一(yi)段時長(chang)60秒的否(fou)改(gai)視(shi)頻(pin)。這些視(shi)頻(pin)的變影質量和(he)準確性達到了(le)令(ling)人驚艷的程度(du)。

　　Sora的寥寥技術原理是什么？其應用價(jia)值(zhi)有多大？記者采訪了上(shang)海(hai)交通(tong)大學計算機(ji)科學與工程系教(jiao)授(shou)趙(zhao)海(hai)。

　　趙海教授介紹，數語(yu)生(sheng)(sheng)成(cheng)(cheng)(cheng)視(shi)行(xing)Sora屬于(yu)多模(mo)(mo)態(tai)混(hun)合(he)模(mo)(mo)型(xing)，秒視(shi)由大(da)語(yu)言(yan)模(mo)(mo)型(xing)和文(wen)圖(tu)生(sheng)(sheng)成(cheng)(cheng)(cheng)器(qi)拼接而成(cheng)(cheng)(cheng)。否改(gai)純文(wen)圖(tu)生(sheng)(sheng)成(cheng)(cheng)(cheng)模(mo)(mo)型(xing)對提示詞的(de)(de)變影(ying)理解(jie)能力很弱。比如(ru)，寥寥用戶輸入(ru)“世界和平(ping)”，數語(yu)生(sheng)(sheng)成(cheng)(cheng)(cheng)視(shi)行(xing)它往往無法(fa)生(sheng)(sheng)成(cheng)(cheng)(cheng)準(zhun)確(que)的(de)(de)秒視(shi)圖(tu)片。如(ru)果把文(wen)圖(tu)生(sheng)(sheng)成(cheng)(cheng)(cheng)器(qi)與大(da)語(yu)言(yan)模(mo)(mo)型(xing)拼接在(zai)一起，否改(gai)后者(zhe)就(jiu)能把“世界和平(ping)”轉化為和平(ping)鴿(ge)、變影(ying)橄欖枝等文(wen)圖(tu)生(sheng)(sheng)成(cheng)(cheng)(cheng)器(qi)“看得懂(dong)”的(de)(de)提示詞，從而生(sheng)(sheng)成(cheng)(cheng)(cheng)切題(ti)的(de)(de)作品。

　　文圖生成器經改造后，也能生成視頻。因此，從文圖生成器過渡到文生視頻大模型，不需要很大的技術突破，研發團隊主要依靠的是大算力、大模型、大樣本訓練數據等“先天條件”。“這些條件都是OpenAI所具備的，所以Sora的問世不能算技術革命，而是工(gong)程實(shi)踐的成(cheng)功。”趙海(hai)說。

　　Sora展示(shi)的一批文生視頻(pin)案例令人驚艷。比(bi)如，輸(shu)入(ru)這(zhe)樣一段(duan)提示(shi)詞：“一位時尚女性走(zou)(zou)在充滿霓虹燈和(he)城市標牌(pai)的東(dong)京街道上。她穿著(zhu)黑(hei)色皮夾(jia)克、紅(hong)色長(chang)裙和(he)黑(hei)色靴子，拎著(zhu)黑(hei)色錢(qian)包。她戴著(zhu)太陽鏡，涂著(zhu)紅(hong)色口紅(hong)。她走(zou)(zou)路自信又隨意。街道潮(chao)濕且反光，在彩色燈光的照射(she)下形成鏡面效果。許多行人走(zou)(zou)來走(zou)(zou)去。”Sora根據這(zhe)段(duan)話生成的60秒視頻(pin)效果頗佳，頭(tou)發、服裝等細節(jie)都沒(mei)問題，并(bing)實現了(le)連貫的場(chang)景轉換(huan)，達到以假(jia)亂(luan)真的水平(ping)。

　　Sora與同類產(chan)品相(xiang)比，具有三大(da)優勢——60秒時長、單視頻包(bao)含(han)多角(jiao)度(du)鏡頭(tou)、遵循部分物理規律(lv)。

　　Sora問世前(qian)，同類(lei)產品只能根據提示詞生成(cheng)5秒(miao)以內(nei)的短(duan)視(shi)頻。Sora的作(zuo)品不僅長(chang)達1分鐘，而且有多角(jiao)度鏡頭(tou)，這些鏡頭(tou)里的人和物還能保持前(qian)后(hou)一致性，不會因(yin)角(jiao)度變換而出現問題。在對物理規律的掌握(wo)方面，Sora也有不俗(su)表現，比如在其生成(cheng)的一段SUV（運動型多用途汽(qi)車）行駛視(shi)頻中，汽(qi)車影子與車身始終(zhong)契(qi)合。

　　不(bu)過，Sora的(de)作(zuo)品也存(cun)在(zai)(zai)不(bu)少瑕疵(ci)。如輸入(ru)“五只灰狼(lang)幼崽在(zai)(zai)一(yi)條偏僻的(de)碎石路上互相嬉戲、追逐”，視頻中狼(lang)的(de)數量(liang)會(hui)莫名改變，幾只狼(lang)憑空出現或消失。趙海分析：“目前(qian)的(de)文圖(tu)生成器對(dui)數字不(bu)夠敏感(gan)，比如生成的(de)一(yi)些手(shou)(shou)會(hui)有6根手(shou)(shou)指，今后要(yao)加強這方面的(de)訓(xun)練。”

　　在(zai)他看(kan)來，視(shi)頻(pin)大模型(xing)將改(gai)變影視(shi)行業(ye)的游(you)戲規則。以技術含量最高的科(ke)(ke)幻(huan)電(dian)影為(wei)例，目前拍攝(she)一(yi)部(bu)科(ke)(ke)幻(huan)大片往(wang)往(wang)需要數年時(shi)間，視(shi)頻(pin)大模型(xing)用于(yu)這個領域后，特效(xiao)畫面的制(zhi)作時(shi)間有望縮短到幾(ji)天，從而大幅(fu)降(jiang)低(di)科(ke)(ke)幻(huan)電(dian)影拍攝(she)的時(shi)間成(cheng)本和技術門檻。視(shi)頻(pin)攝(she)制(zhi)成(cheng)本的降(jiang)低(di)，也將給傳(chuan)媒(mei)行業(ye)帶來變革(ge)。今后，部(bu)分視(shi)頻(pin)的攝(she)制(zhi)也許只(zhi)要在(zai)電(dian)腦前輸(shu)入一(yi)些提示(shi)詞，省去了現場拍攝(she)、后期(qi)剪輯等(deng)耗時(shi)費力的過程。（俞陶(tao)然）