圖1：Facebook首席執行官馬克·扎克伯格的偽造視頻

【網易智能訊 7月5日消息】對于未經過特殊訓練的人來說，很難分辨出深度假視頻（Deepfake），因為它們可能非常逼真。無論是作為一種新型的“調侃”方式，還是用于其他目的，描述人們從未做過或說過事情的虛假視頻都是對“眼見為實”這一長期理念的根本威脅。

大多數深度假視頻是通過向計算機算法顯示某個人的許多圖像，然后讓它使用其所看到的信息生成新的人臉圖像。同時，這些人的聲音也是合成的，所以看起來和聽起來都像是這個人說了某些新東西。

我（本文作者，紐約州立大學奧爾巴尼分校計算機視覺和機器學習實驗室主任Siwei Lyu）的研究小組早期的一些工作，讓我們能夠檢測出不包括人眼正常眨眼次數的深度假視頻，但最新一代的深度假視頻技術已經適應了這種趨勢，因此我們的研究繼續推進。

現在，我們的研究可以通過仔細觀察特定幀的像素來識別視頻的真偽。更進一步，我們還推出了積極的措施，以保護個人不成為深度假視頻的受害者。

發現缺陷

在最近的兩篇研究論文中，我們描述了檢測有缺陷深度假視頻的方法，而這些缺陷是偽造者無法輕易修復的。

當深度假視頻合成算法生成新的面部表情時，新圖像并不總是能與人的頭部位置、光照條件或到攝像頭的距離完美匹配。為了使這些假臉融入周圍環境，必須對它們進行幾何變形——旋轉、調整大小或以其他方式進行扭曲。這個過程在生成的圖像中會留下數字痕跡。

我們已經注意到，有些深度假視頻有很明顯的數字痕跡。這些痕跡可以讓照片看起來明顯經過了修改，比如模糊的邊框和人為修訂的光滑皮膚。更細微的改變仍然會留下證據，我們已經教會了一種算法來檢測它，即使人眼看不出區別。

如果深度假視頻中有個人沒有直視攝像頭，這些偽影就會發生變化。拍攝真人的視頻顯示他們的臉會在三維空間中移動，但深度假視頻的算法還不能在三維空間中偽造人臉。相反，它們會生成一張常規的二維人臉圖像，然后嘗試旋轉、調整和扭曲該圖像，使其符合人們想要看到的方向。

這類算法還沒有很好地做到這一點，這就為發現它們提供了機會。我們設計了一種算法來計算人的鼻子在圖像中的指向，它還可以通過人臉輪廓計算出頭部指向的方向。在一個真實的人的頭部視頻中，這些應該是可以預見的。然而，在深度假視頻中，它們往往是錯位的。




圖2：當電腦把尼古拉斯·凱奇（Nicolas Cage）的臉放在埃隆·馬斯克（Elon Musk）的頭上時，它可能無法將臉和頭正確對齊

檢測深度假視頻

從技術上說，檢測深度假視頻的科學就像軍備競賽，因為偽造者們也在不斷改進自己的技術，所以我們的研究總是要努力跟上，甚至需要保持超前。

如果有一種方法可以影響創建深度假視頻的算法，使它們的效果變得更差，這將使我們更好地檢測偽造視頻。我的團隊最近找到了一種方法來實現這個目標。