10 天很短，同行(xing)但在 AI 領(ling)域卻足(zu)以生變。有(you)難

至少有兩家 AI 界 " 當紅炸子雞 " 站了出來：2 月 22 日，同行StabilityAI 正式開放 Stable Video 的有難公測，該產品背后的同行模型 Stable Video Diffusion 去年 11 月就已經發布。幾乎同時，有難百姓彩票紅另(ling)一(yi)家在文生(sheng)圖領域頗有建(jian)樹的(de)同行(xing) Midjourney 也透露，可(ke)能會在下(xia)一(yi)次迭代(dai)時包(bao)含視頻(pin)功能。有難

昔日 " 炸子雞 " 站在陰影中，同(tong)行追不上 Sora 的有(you)難同(tong)行有(you)難了。

在(zai)接(jie)受了 Sora 演示視頻的同行直接(jie)沖(chong)擊之(zhi)外，人(ren)們(men)立刻(ke)開始做縱向(xiang)和橫(heng)向(xiang)的有難比較。

縱向比較，同行人們拿出了一年前 " 威爾 · 史密斯吃意大利面 " 的有難 AI 視頻。這位好萊塢明星臉部變形嚴重、同行面的形態千變萬化，分分鐘觸發恐怖谷效應，越看越詭異。

一年之后，Sora 已經可以做出一個女人在東京街頭漫步的視頻，不管是畫面質量、連續性和穩定性，還是女人的步態與神情，都已經幾乎可以以假亂真，讓人連連稱贊：文本到視頻的百姓彩票最新網址進步也太大了。

可(ke)惜的是(shi)，盡管無數網友(you)在(zai) OpenAI CEO 山姆(mu) · 奧特曼（Sam Altman）的社交媒體(ti)賬(zhang)號下(xia)求(qiu) Sora 版本的 " 威爾 · 史(shi)密斯吃(chi)意大(da)利(li)面 "，并沒能得償所愿。倒是(shi)史(shi)密斯本人(ren)跑出來整了個活兒，真人(ren)拍攝(she)，" 偽造(zao) " 了一個新(xin)版本。你別說，還真差點給人(ren)騙過去——真人(ren)都能拍視頻(pin)假裝是(shi) AI 生成的了，倒也足見 Sora 視頻(pin)的高質(zhi)量。

橫向對比，同行就有點尷尬了。OpenAI 把每一個 Sora 演示視頻的文本指令都公布了，雖然人們不能直接用 Sora，但是可以拿著指令去市面上已有的產品里試，看看有什么差別。

不(bu)試不(bu)要緊，一試嚇一跳：看(kan)到 Sora 視頻的(de)時候就覺得厲害，看(kan)了(le)同行的(de)表現更(geng)對 Sora 的(de)威力有了(le)新的(de)認知(zhi)。

同樣是女人在東京街頭漫步的指令，Runway 生成的視頻暫停看還都像那么回事，連起來就只能用 " 千變萬化 " 形容，女人的形象并不能隨著時間的推移保持穩定。要知道 Sora 的演示視頻中還有機位的變化，從遠景到臉部特寫，百姓彩票怎么買女(nv)人的形態始終如(ru)一(yi)。Runway 生成的視(shi)頻更像是(shi)很多張圖片(pian)的動態融合(he)。

StabilityAI ——就是那個開源了文生圖 Stable Diffusion 的(de)公司——的(de) Stable Video 生成的(de)畫(hua)面清(qing)晰度(du)和美觀度(du)都(dou)很(hen)不錯，但是女人的(de)臉變形嚴重，看(kan)起來很(hen)像一個骷髏頭(tou)，詭異感(gan)拉滿。

Pika 則有些取巧，其畫面相(xiang)對流暢(chang)，但比(bi)較(jiao)模糊，且(qie)并非(fei)寫實風(feng)格(ge)。

此外，打(da)鬧的(de)猛犸(ma)象、行(xing)駛中的(de)汽(qi)車(che)、俯瞰(kan)的(de)景觀(guan)、看蠟燭的(de)小怪物等指令(ling)都被網友做了(le)橫(heng)向對比，Sora 并(bing)非和同行(xing)打(da)得有(you)來有(you)回，而是碾(nian)壓了(le)同行(xing)。

一朝之間，文生視頻當紅 " 炸子雞 " 發現自己站在了 OpenAI 投下的陰影中。

從(cong)文(wen)本到視頻的 AI 工(gong)(gong)具并不是新鮮事物。在 2023 年，多個文(wen)本到視頻 AI 工(gong)(gong)具問世(shi)，Runway、PikaLabs（下(xia)稱 Pika）、StabilityAI 等初創公司(si)在這個賽(sai)道都備受矚目(mu)，熱錢不斷，估值暴漲。

其中 Runway 成立于 2018 年，3 月開放 Gen-2 內測，6 月正式對外發布。此前(qian)有 Gen-1 圖像(xiang)到(dao)視頻(pin) AI 工具。Runway 同(tong)時還技術支(zhi)持了(le)多部電影。其中最大名(ming)鼎鼎的是奧(ao)斯卡獲獎影片《瞬息全(quan)宇(yu)宙》。

Runway 的 CEO 兼聯合創始人克里斯托瓦爾 · 巴侖蘇埃拉（Crist ó bal Valenzuela）說：" 我們已經看到了圖像生成模型的爆發。我相信，2023 年將會是視頻之年。"

在 5 月時，Runway 已經完(wan)成了(le) 1.41 億美(mei)元(yuan)的 D 輪融資，投資方包(bao)括(kuo)谷歌(ge)、英偉達(da)等，估值暴漲三倍，達(da)到 15 億美(mei)元(yuan)，

Pika 去(qu)年(nian) 4 月剛剛成(cheng)立，A 輪融資(zi)達(da) 5500 萬(wan)美元，估值登時超過(guo) 2 億美元，11 月就發布(bu)了第一個(ge)文本(ben)到視頻產品 Pika1.0。到了 12 月時，其用戶已(yi)有超過(guo) 50 萬(wan)，每周生成(cheng)近百萬(wan)視頻內容。

而 StabilityAI 則(ze)因(yin)其(qi)文本到圖像工(gong)具 Stable Diffusion 名聲在外(wai)，早在 2022 年(nian)獲得 1 億美元融資(zi)后(hou)，估(gu)值(zhi)就(jiu)已經超(chao)過了 10 億美元，成為(wei)獨(du)角獸(shou)企業。去年(nian) 11 月，Stable Video Diffusion 發(fa)布，注意(yi)后(hou)面(mian)還(huan)有一個 "Diffusion" 后(hou)綴(zhui)，這是(shi)一個基(ji)于 Stable Diffusion 的生(sheng)成式視頻基(ji)礎模型(xing)，需(xu)要用戶自(zi)己部署使(shi)用，還(huan)不(bu)算面(mian)向大眾發(fa)布的產(chan)品。

StabilityAI 官網

三家初創公司，2023 年三個重要生成式視頻產品 / 模型，突然就被 Sora 會心一擊。

在(zai) OpenAI 興沖沖向世界展示 Sora 之后，Runway 的(de) CEO 巴侖(lun)蘇埃拉在(zai)社交平臺 X 上發帖：" 游戲開始（Game On）。" 而 StabilityAI 的(de) CEO 兼創始人莫(mo)斯塔克（Emad Mostaque）則將奧特曼稱作 " 巫師(shi)大人 "。

從演(yan)示視頻來看，Sora 的確有改變游戲格局的威(wei)力，跟不上 Sora 的同行有難(nan)了。

參(can)照 ChatGPT 發布(bu)(bu)之后，雖然 AI 浪潮讓投資人熱情高漲，AI 初創(chuang)(chuang)公(gong)(gong)司(si)如(ru)雨后春筍般冒出來(lai)，新晉獨角獸一個接著一個。但這是(shi)一個冰火兩重天的(de)故(gu)事(shi)，不少 AI 創(chuang)(chuang)業(ye)公(gong)(gong)司(si)走上下坡路，或尋求收(shou)購(gou)，或大幅裁(cai)員，甚至就此壽終(zhong)正寢。據智(zhi)東西梳理，僅 2023 年(nian) 11 月(yue)到(dao) 2024 年(nian) 1 月(yue)，全球就有(you) AI 新聞初創(chuang)(chuang)企(qi)業(ye) Artifact、AI 醫療(liao)公(gong)(gong)司(si) Olive 等(deng) 4 家 AI 初創(chuang)(chuang)企(qi)業(ye)宣布(bu)(bu)關停。

The Infoemation 稱，至少有 7 家開發(fa)生成式視頻(pin)的(de)(de) AI 公司，共籌集了至少 5.5 億美元的(de)(de)資金(jin)。有投資人(ren)私下(xia)對 The Information 表(biao)示，之(zhi)前(qian)剛剛錯(cuo)過某熱(re)門 AI 視頻(pin)初(chu)創企業(ye)的(de)(de)融資，看到 Sora 的(de)(de)視頻(pin)后(hou) " 感到慶幸 "。

人工智能賽道熱度高，但門檻也高，廝殺之中刀光劍影，掉隊就可能掉入墳墓。

知(zhi)名(ming) AI 初創(chuang)企(qi)業 Huggine Face 在一篇(pian)博文(wen)中，提到(dao)了文(wen)本(ben)到(dao)視頻的(de)(de)三大(da)挑(tiao)戰：算(suan)力(li)挑(tiao)戰，確保跨(kua)幀空間與實踐的(de)(de)一致性伴(ban)隨著高計算(suan)成本(ben)，使(shi)得(de)大(da)多數(shu)研究人員(yuan)無法(fa)負擔這類模(mo)(mo)型的(de)(de)訓練費(fei)用；缺乏高質量(liang)數(shu)據集，用于(yu)文(wen)本(ben)到(dao)視頻生(sheng)成的(de)(de)多模(mo)(mo)態數(shu)據集非(fei)常稀(xi)少，而且經(jing)常缺乏注釋；指令(ling)模(mo)(mo)糊性，如(ru)何以一種(zhong)讓(rang)模(mo)(mo)型更容(rong)易學習(xi)的(de)(de)方式描述視頻不是(shi)一件容(rong)易的(de)(de)事。

即便是看似站穩了腳跟的 StabilityAI 都麻煩不斷。去年 6 月，福布斯(si)發布一則長新(xin)聞(wen)，超(chao)過 30 位 StabilityAI 前員工(gong)和投資人細數創始人兼 CEO 莫斯(si)塔克的 9 大罪證，包括：竊取 StableDiffusion 成(cheng)果融資 10 億；隱(yin)瞞融資困(kun)難；夸大公司收入；拖欠員工(gong)工(gong)資；學歷和工(gong)作(zuo)經歷造假。

拋開其他不談，硅谷 " 當(dang)紅(hong)炸子雞 " 卻又融資(zi)困難、公司收入被夸大的問(wen)題，著實令人意外。知(zhi)情人士稱(cheng)，StabilityAI 每個月的開銷大概是 800 萬美(mei)元(yuan)(yuan)，而(er)莫斯塔(ta)克(ke)卻曾自爆公司 8 月的營收大概在 120 萬美(mei)元(yuan)(yuan)，有機(ji)會超過 300 萬美(mei)元(yuan)(yuan)。莫斯塔(ta)克(ke)很快(kuai)就刪除(chu)了(le)該帖，但從這個數字(zi)不難聞到燒錢(qian)的味道(dao)。

11 月，也就是其發布(bu) Stable Video Diffusion 模型的同月、公(gong)司完成 1 億美元(yuan)融資(zi)的一年后(hou)，StabilitAI 傳出多位高級管理人員辭職、公(gong)司財務狀況脆弱的消(xiao)(xiao)息，并(bing)一度傳聞考慮出售，這一消(xiao)(xiao)息隨后(hou)被莫(mo)斯塔克否認。

入(ru)不敷(fu)出、人才流失，StabilityAI 的危機暴露了(le)光(guang)鮮的熱門創企的軟肋。

巨頭的加入也會讓戰事更加激烈。在(zai)(zai) AI 視頻(pin)的(de)賽道，巨頭早有布(bu)局。2022 年 10 月，Meta 和(he)(he)谷歌(ge)相繼發(fa)力。Meta 先(xian)發(fa)布(bu)了(le) Make-A-Video 模型，僅(jin)一周(zhou)后，谷歌(ge) CEO 桑德(de)爾 · 皮查伊(yi)（Sundar Pichai）親自(zi)安利(li)他(ta)們在(zai)(zai)這一領域(yu)的(de)兩個最(zui)新成果，Imagen Video 和(he)(he) Phenaki，分(fen)別強(qiang)調視頻(pin)品質(zhi)和(he)(he)長度。

但不管是 Meta 還是谷(gu)歌(ge)(ge)(ge)，目(mu)前都尚未向公眾開放其(qi)文本到視頻(pin) AI 工具(ju)。谷(gu)歌(ge)(ge)(ge)官方認為(wei)用于訓練 AI 視頻(pin)模型的(de)數據仍(reng)包(bao)含有(you)問題的(de)內容，可能會(hui)導致 Imagen Video 產(chan)生圖形(xing)暴力或(huo)色情(qing)剪輯，造成不良(liang)影(ying)響(xiang)。巨(ju)頭(tou)的(de)保守(shou)操作大家也都熟悉(xi)了，在自然語言聊(liao)天機器(qi)人(ren)的(de)賽道，谷(gu)歌(ge)(ge)(ge)也是早早就手(shou)握模型但未向 C 端推出產(chan)品，原因也是安全問題。但 ChatGPT 與微軟(ruan)的(de)聯手(shou)讓巨(ju)頭(tou)走出保守(shou)，Sora 未嘗(chang)不能做同樣的(de)事(shi)。

已經有巨頭(tou)有新動(dong)作。在(zai) Sora 公布(bu)(bu)的一周前，字(zi)節(jie)宣(xuan)布(bu)(bu)人事變動(dong)，原抖音集(ji)(ji)團 CEO 張楠宣(xuan)布(bu)(bu)辭去集(ji)(ji)團 CEO 一職，未來把精力聚焦(jiao)在(zai)剪(jian)映的發(fa)展上。據(ju)時代周報(bao)援引接(jie)近剪(jian)映的人士，張楠親自(zi)帶隊尋求(qiu)在(zai) AI 輔助創作上突破，并即將推出一個(ge) AI 生成視頻的產品(pin)。

面對新開的(de) " 游戲 "，Sora 的(de)同行(xing)只(zhi)能全力向前(qian)。

就在(zai) Sora 公(gong)(gong)布的(de)(de)(de)幾天之后，2 月 22 日，StabilityAI 正式開放(fang)了(le) Stable Video 的(de)(de)(de)公(gong)(gong)測，從模型(xing)走向人人可以方便上(shang)手的(de)(de)(de)產品(pin)。雖然視頻(pin)(pin)長(chang)度還是(shi)比較短(duan)，只有 7 秒，但視頻(pin)(pin)質(zhi)量比較高。莫(mo)斯塔克在(zai)社交平臺上(shang)宣傳新產品(pin)時顯(xian)得很謙(qian)虛(xu)，表(biao)示開放(fang)的(de)(de)(de)原因是(shi)：" 我(wo)們想要(yao)創造類似 Sora 的(de)(de)(de)大(da)型(xing)開放(fang)的(de)(de)(de) Stable Video2，但需要(yao)更多的(de)(de)(de)數(shu)據和計算。"

此外，在文生圖(tu)領域(yu)有超高口碑的 Midjourney 也跑(pao)步入場，創(chuang)始人大(da)衛 · 霍爾茲（David Holz）在 Office Hours 中透露，下一個(ge)版(ban)本(ben)，也就是 Midjourney V7" 可能包含視頻功(gong)能 "。

OpenAI 現(xian)階段還在對(dui) Sora 進行評估，距離 Sora 正式對(dui)外公開可(ke)能還有幾個月(yue)的(de)時(shi)間(jian)。好消(xiao)息是，同行還有時(shi)間(jian)應變。壞(huai)消(xiao)息是，留(liu)給同行的(de)時(shi)間(jian)不(bu)多(duo)了。

參考資料：

1、智東西：《AI 創業冰火兩重天：Sora 降世資本狂歡，數家創企倒閉關門》

2、連線 Insight：《Sora 來了，字節發力：張楠的重任和挑戰》

3、新火種：《被迫賣身、CEO 下臺、高管出走，又一家 AI 獨角獸出事》

4、機器之心：《圖像生成卷膩了，谷歌全面轉向文字→視頻生成，兩大利器同時挑戰分辨率和長度》

5、財聯社：《AI 圈子不太平 知名開源模型開發商 Stability AI 被曝 " 尋求賣身 "》