最近，法分美(mei)國人工智(zhi)能(neng)研究公司(si)OpenAI的利用文本生成視頻大模型(xing)Sora備(bei)受關注。但在被認為人工智(zhi)能(neng)技術取(qu)得新進展的造(zao)謠同時，擔憂也隨之而來：如果不法分子(zi)利用Sora造(zao)假、傳謠造(zao)謠，何識普通人又如何識別呢(ni)？

目前的法分Sora并不(bu)完善，有些視頻因為邏輯(ji)錯誤，利用(yong)能夠輕易辨別——紅(hong)酒杯(bei)掉在桌面上(shang)，造謠杯(bei)子沒(mei)有碎(sui)，傳(chuan)謠酒已經灑了一桌；考古(gu)學家挖掘(jue)出一把椅(yi)子，何識椅(yi)子自己開(kai)始跑(pao)動……但從OpenAI發布的(de)(de)(de)法(fa)分多段樣片看，“以假亂真”的(de)(de)(de)利用(yong)案例更多，包括(kuo)討論最(zui)多的(de)(de)(de)造謠那段走(zou)在東京街頭的(de)(de)(de)時尚女郎(lang)，不(bu)論是傳(chuan)謠背景中(zhong)的(de)(de)(de)城市，還是何識女主角(jiao)臉上(shang)的(de)(de)(de)雀斑、墨鏡里(li)的(de)(de)(de)倒(dao)影等細節，幾乎無懈可擊，靠(kao)肉眼完全無法(fa)辨別是拍出來的(de)(de)(de)還是人工智能生成的(de)(de)(de)。

于是(shi)，有人(ren)提出(chu)假設：如果(guo)用人(ren)工智(zhi)能(neng)(neng)技(ji)術看Sora的視(shi)頻，能(neng)(neng)不(bu)能(neng)(neng)識(shi)別出(chu)來呢(ni)？

圖片來源：Sora生成視頻截屏

一個案例是讓谷歌發布的人工智能大模型Gemini 1.5觀看并分析 Sora 生成的視頻。在觀看完一段主題為“櫻花雪景”的視頻(pin)(pin)后，Gemini 判斷這段視頻(pin)(pin)是假的(de)，理由如下：櫻(ying)花(hua)一般(ban)在春天(tian)開(kai)放(fang)，那時不下雪(xue)(xue)(xue)；雪(xue)(xue)(xue)下得太均勻了；雖(sui)然是下雪(xue)(xue)(xue)天(tian)，但視頻(pin)(pin)中的(de)人物穿(chuan)得很(hen)單薄。

Gemini給出的理由未(wei)必都站得(de)住腳，不(bu)過提供了另(ling)一(yi)種思路：面對(dui)人(ren)工智能造假，技術打(da)假變得(de)越發重要。

“有視頻有真相”成為歷史

Sora的(de)發布，意(yi)味著“假消息(xi)”“假新聞”正不斷迭代。所(suo)以，對那些(xie)習慣于從短視頻(pin)平臺獲取信息(xi)的(de)網友來(lai)說，真(zhen)的(de)不能再隨意(yi)相信那些(xie)視頻(pin)了。

目前，很多人關注Sora在電影等娛樂內容生產上的應用，可實際上它也會改變新聞的生產方式和流程。眼下，用技術炮制的“假新聞”層出不窮，已經改變了很多慣有理念：圖文時代，人們認為“有圖有真相”，結果發現圖可以P；視頻時代，很多人覺得“有視頻有真相”，但在(zai)出移花接木等造假手段上，如(ru)今又出現(xian)了Sora，用人工智(zhi)能直接生成(cheng)視(shi)頻，連(lian)原(yuan)始素(su)材都不在(zai)需要。

據(ju)此，中央(yang)民族(zu)大(da)學新聞(wen)與傳播學院教授郭全中認為，Sora的出現導致視頻生產門檻(jian)大(da)大(da)降底，新聞(wen)倫理會受到很大(da)沖擊。

合(he)(he)合(he)(he)信息(xi)圖像算法(fa)研發總監郭豐俊(jun)也指(zhi)出(chu)，隨著人工智(zhi)能技(ji)術的(de)發展，深度(du)(du)造假（Deepfake）帶來的(de)治理(li)危機將更(geng)加明顯。所謂“深度(du)(du)造假”，是(shi)指(zhi)基于深度(du)(du)學習等機器學習方法(fa)，創建(jian)或合(he)(he)成視聽覺內容，如語音(yin)模擬、圖像、音(yin)視頻、文(wen)本等。所以(yi)(yi)，不論(lun)是(shi)已經出(chu)現的(de)AI換臉，還是(shi)Sora，都可(ke)以(yi)(yi)看作(zuo)深度(du)(du)造假的(de)典(dian)型應用(yong)。

新(xin)技(ji)術(shu)(shu)、新(xin)應用雖然能幫(bang)助很多行業擺(bai)脫簡單或重復(fu)的(de)勞動(dong)，或者(zhe)讓(rang)創(chuang)新(xin)靈(ling)感變得(de)更加(jia)容易(yi)實現，但也會產生一定的(de)負面影響。比如，別有用心之人利(li)用深度造(zao)(zao)假技(ji)術(shu)(shu)，能更輕(qing)易(yi)地盜用他人身份、編(bian)造(zao)(zao)相關信息，實施商業詆毀(hui)、敲詐勒索、網絡(luo)攻擊和犯罪等違法行為。再比如，不法分(fen)子借助深度偽造(zao)(zao)技(ji)術(shu)(shu)，散布虛假視頻，激化社會矛盾，煽動(dong)暴(bao)力行動(dong)，威脅國家安全和公共(gong)安全等。

可見(jian)，Sora是一(yi)把(ba)雙刃劍。管(guan)理部門、業界應當注重(zhong)針(zhen)對(dui)相關(guan)技術(shu)的監管(guan)，而對(dui)普(pu)通人來說(shuo)，也要有(you)所警覺：“有(you)圖有(you)真(zhen)(zhen)相” “有(you)視頻有(you)真(zhen)(zhen)相”都已經成為歷史(shi)。

“打標簽”有幫助嗎？

如(ru)果肉眼無法(fa)(fa)分辨視頻真(zhen)偽，那有什么辦法(fa)(fa)來區分呢？

就目前業界的探索(suo)看(kan)，“打標簽”似乎(hu)最簡單、最直接。

多名社交(jiao)平臺(tai)從業者表示，不論國內外，現有(you)的(de)法(fa)律法(fa)規都沒有(you)禁止人(ren)工(gong)智能(neng)(neng)生(sheng)成(cheng)的(de)內容在社交(jiao)平臺(tai)傳播。事(shi)實上，從技術的(de)角(jiao)度(du)看，平臺(tai)也(ye)未必有(you)能(neng)(neng)力判斷相關內容是(shi)“人(ren)工(gong)智能(neng)(neng)生(sheng)成(cheng)的(de)”還(huan)是(shi)“真實拍(pai)攝的(de)”。所以，眼下各平臺(tai)的(de)普遍(bian)做法(fa)是(shi)要(yao)求發布者對這類生(sheng)成(cheng)內容打標簽(qian)，而且不僅僅涉及大模(mo)型生(sheng)成(cheng)內容，還(huan)包括那些擺拍(pai)、編劇、剪輯的(de)作品，都要(yao)打上標簽(qian)。

作為大模型的(de)開發者(zhe)，谷歌(ge)和OpenAI也(ye)在研究“打標(biao)簽”——通過后(hou)臺設(she)置(zhi)，為所有(you)通過網(wang)絡(luo)其大模型生成(cheng)的(de)內容(rong)打上水印，告知用戶(hu)。

然(ran)而，“打(da)標(biao)簽”或“打(da)水印(yin)”無法從(cong)根本上解(jie)決深度造假的(de)問題。

一(yi)方面，按照目前社交平臺的治(zhi)理(li)方式，有(you)相(xiang)當一(yi)部分“打標簽”行為得(de)依靠發(fa)布(bu)(bu)者(zhe)(zhe)。從上海辟謠(yao)平臺澄(cheng)清(qing)的謠(yao)言(yan)看，其(qi)中不乏斷章取義、移花接(jie)木(mu)、擺拍編(bian)造的作品，但拍攝者(zhe)(zhe)和發(fa)布(bu)(bu)者(zhe)(zhe)并沒有(you)打上相(xiang)關標簽。

可(ke)見，就(jiu)治理(li)成果而言，“打(da)標簽”并沒有將(jiang)造假(jia)行為一網(wang)打(da)盡。雖然(ran)有的(de)視頻經過平臺自治或網(wang)友舉報被標記(ji)、刪除，但仍有大量假(jia)視頻、假(jia)消(xiao)息。

另一方面，即使大模型開發(fa)企(qi)業通過技術設置(zhi)，使得大模型生成的文字、圖片(pian)、視頻等被(bei)強制“打(da)標簽”、告訴公眾(zhong)它們來自人工智(zhi)能而(er)非現實，但從現實傳(chuan)播看，相關標簽、水印可能在分享中被(bei)人故意(yi)抹(mo)除(chu)，截屏、錄(lu)屏、二(er)次剪輯加(jia)工等，都可以輕松(song)去除(chu)標簽和水印，從而(er)使得公眾(zhong)越發(fa)難(nan)以識別。

如此(ci)看來，“打標簽”只是(shi)防(fang)范深度造假(jia)的初步手段或基礎手段，效果(guo)未必(bi)理想。或許(xu)是(shi)出(chu)于這一(yi)考慮，OpenAI在(zai)公開(kai)介紹Sora時也承認，該模(mo)型還(huan)存在(zai)一(yi)些安全風險，所以暫時不(bu)會面向公眾(zhong)開(kai)放。

“用魔法打敗魔法”

那(nei)么，有(you)什么方法能更加(jia)精準地識別深(shen)度(du)造假呢？

Gemini對(dui)Sora生成內(nei)容的(de)真假(jia)判斷(duan)，提供了另一條思路——用人工智(zhi)能(neng)識別人工智(zhi)能(neng)。不(bu)少業界人士將(jiang)此(ci)比(bi)喻(yu)為“用魔(mo)法打敗魔(mo)法”，認為通過(guo)技術手(shou)段(duan)，有(you)機會(hui)從根(gen)本(ben)上識別深度(du)造(zao)假(jia)并降低相關風(feng)險。

OpenAI也表示(shi)，正在進(jin)行相(xiang)關研究，包括(kuo)研發能檢(jian)測誤(wu)導性(xing)(xing)內容的文本分(fen)(fen)(fen)(fen)類(lei)器、圖(tu)像分(fen)(fen)(fen)(fen)類(lei)器等(deng)，“在OpenAI產品中，我們的文本分(fen)(fen)(fen)(fen)類(lei)器會檢(jian)查(cha)并(bing)拒(ju)絕違反使用(yong)(yong)政策(ce)的文本輸入，包括(kuo)涉及極端(duan)暴力、性(xing)(xing)、仇恨、名人(ren)肖像、他人(ren)IP等(deng)內容，并(bing)進(jin)行相(xiang)關提(ti)示(shi)。我們還開發了強大(da)的圖(tu)像分(fen)(fen)(fen)(fen)類(lei)器，用(yong)(yong)于(yu)審查(cha)生(sheng)成視頻(pin)的每一幀，以(yi)確保它在向用(yong)(yong)戶顯(xian)示(shi)前，符合(he)我們的使用(yong)(yong)策(ce)略(lve)。”

不過，這些(xie)仍能看作企業的自律行為。就整個(ge)行業來(lai)說(shuo)，來(lai)自第三方的“魔法”同(tong)樣重(zhong)要——因為內容生成企業的“規范”建(jian)立在該企業自身的價值基(ji)礎(chu)上。如果研發企業本身“做惡”，如何指望“自律”行為能防范風險(xian)呢？

正因為(wei)此(ci)，很多第三方企業(ye)與機(ji)構(gou)開啟了(le)“鑒別深度(du)偽造”技(ji)術的研(yan)發之路。

郭豐俊介紹，國(guo)內外已(yi)有不少企(qi)業(ye)專(zhuan)注于鑒別(bie)人工(gong)智能(neng)篡改，其中(zhong)包括(kuo)大量中(zhong)國(guo)企(qi)業(ye)，如(ru)中(zhong)國(guo)電信等央企(qi)，瑞(rui)萊智慧(hui)（RealAI）、 中(zhong)科睿(rui)鑒等大專(zhuan)院校與科研(yan)(yan)院所孵化的(de)(de)科技(ji)公司，以及網易，合合等深耕人工(gong)智能(neng)行業(ye)多(duo)年的(de)(de)技(ji)術企(qi)業(ye)。總體而(er)言(yan)，國(guo)內科研(yan)(yan)團隊在(zai)(zai)鑒別(bie)深度造假(jia)方面的(de)(de)成績(ji)已(yi)經處于世界先進水平，多(duo)個(ge)國(guo)內研(yan)(yan)究團隊曾(ceng)在(zai)(zai)國(guo)際知名的(de)(de)篡改檢測大賽(sai)中(zhong)獲得好成績(ji)。

更積極(ji)的(de)成果在(zai)于“用魔法打敗魔法”在(zai)國內(nei)已經(jing)有(you)(you)落地案例。他舉(ju)例，比較典型的(de)是在(zai)金融(rong)領域(yu)，已有(you)(you)不(bu)少(shao)金融(rong)機構(gou)利用國內(nei)技(ji)術(shu)企業自主研發的(de)人(ren)工智能甄別(bie)偽造人(ren)臉圖(tu)像技(ji)術(shu)，來判(pan)斷相(xiang)關(guan)人(ren)臉圖(tu)像是真(zhen)實的(de)還是合成的(de)，或者被AI換臉。這一(yi)技(ji)術(shu)主要(yao)應用在(zai)銀行(xing)及金融(rong)行(xing)業的(de)客(ke)戶圖(tu)像、視(shi)頻真(zhen)偽檢(jian)測(ce)上，能避免身份(fen)盜竊和(he)欺詐，保護(hu)財產安全。

不(bu)(bu)過，業內(nei)人士(shi)也指(zhi)出，“用魔(mo)法打敗魔(mo)法”依舊(jiu)任重道遠。隨著深度(du)學習和計算機(ji)視覺等領域技(ji)(ji)術的不(bu)(bu)斷進步，篡改甄別技(ji)(ji)術需要不(bu)(bu)斷升級并(bing)拓展(zhan)應用場景。在這個過程中，需要更多的企業、社交平臺參與，共(gong)同為“科(ke)技(ji)(ji)向善”努力。