有圖有片有真相這個說法在現今世代已經不再成立。隨著AI 急速發展、deepfake 技術盛行，連烏克蘭總統都遭殃，於俄烏戰爭初期受虛假散佈的 deepfake 影片誤傳投降消息。到底 deepfake 是何方神聖？它是怎樣操作的？Deepfake 與 machine learning有何關聯？

Deepfake 是甚麼？

Deepfake （深偽技術），又名深度偽造，是利用 AI 中的 deep learning（深度學習）影片中的人物表情，將已有的圖像或影片覆蓋到目標圖像或影片上。加上聲音偽造即可以假亂真，製造出讓任何人說出任何話的虛假影片，就如烏克蘭總統的投降影片。

Deepfake 透過自動編碼器（Autoencoder）生成，加以融合生成對抗網路（Generative Adversarial Network, GAN），deepfake 技術已達到持續自動進化，準確度提高至肉眼或電腦都難以判別的程度。

自動編碼器（Autoencoder）

Deepfake 運用人工神經網絡中的自動編碼器以達到換臉效果。首先是將上百張人臉A及人臉B的照片或影片放進編碼器（encoder）中，編碼器就會搜集及分析兩個人臉部相似的地方並壓縮成細小的數據（data）。當然資料越多，編碼器就越能夠精準學習，並透過反覆練習以提升效果。

其後解碼器（decoder）會利用從編碼器得到的這兩組數據，自行學習調整人臉表情特徵，重塑A和B的人臉。再利用 deepfake 程式，將人臉A的數據放進人臉B的解碼器，就可以得出A表情B臉孔的換臉效果。

Image from Venturenix LAB Instagram

生成對抗網路（Generative Adversarial Network, GAN）

隨著 deepfake 愈趨成熟，做到肉眼難以分辨外，AI 的 deep learning 亦每日都在同時進步中。利用生成對抗網路，deep learning 系統可以反覆找出 deepfake 成品的缺點並加以改善，做到肉眼與電腦都難以分辨。

生成對抗網路是由生成網路及判別網路組成。而 deepfake 技術中，生成網路就是以上所講的自動編碼器，判別網路則是一個鑑別系統。將自動編碼器的成品投進鑑別系統中，鑑別系統就會找出成品的缺陷並反映給自動編碼器，經過反覆的反饋程序、不斷的改進，最後得出的成品精準度大大提升，同時鑑別系統的能力亦進化，加強識破偽造成品的能力。

Deepfake、Deep Learning 與 Machine Learning

Deepfake 使用了 AI 中的 deep learning（深度學習）配合自動編碼器生成的技術，而 machine learning（機器學習）亦是 AI 的其中一個技術。簡單來說，deep learning 就是 machine learning 的其中一種，也可說是它的進化版。

Machine Learning（機器學習）

Machine learning 包含數據分析、數據學習及知識應用，運用經驗學習並改善演算法的效能。Machine learning 學習方式分為四種：supervised learning（監督式學習）、unsupervised learning（非監督式學習）、semi-supervised learning（半監督式學習）及 reinforcement learning（強化學習）。透過演算法設計及大量的資料訓練， machine learning 可以幫助人們分析資料。

Deep Learning（深度學習）

Deep learning 是由多層的人工神經網絡（artificial neural network）組成，每層感知及學習的知識都不同，有如人腦的神經網絡以分層式表示知識。加入 unsupervised learning 後，可組成 deep autoencoder（深度自動編碼器），亦即 deepfake 中使用的技術，自動學習並提取資料中的特徵，然後壓縮成細小的數據。

Deepfake（深偽技術）

Deepfake 是以 deep learning 的「deep」加上偽造「fake」得出的混成詞。Deepfake 技術利用 deep learning 學習人臉A及人臉B的表情特徵，合成出虛假影片。而 deepfake 不只可以換瞼，也可以換聲音，亦隨著技術成熟更難找出破綻。

Deepfake 影片人人都做到？

的確，現時有很多 deepfake 軟件程式讓一般大眾體驗自製 deepfake 影片，然而自己一手一腳編寫一個 deepfake 程式卻毫不容易。首先你要有扎實的 coding 底子，精通 machine learning，然後學懂艱深的 deep learning。Deep learning 難學的原因是它所用到的 mindset 和主流 data science 用到的並不相同，而且需要有人工神經網絡的知識。你可能要花好幾年時間讀很多的教材都未必掌握到 deep learning 這個技能，但當然的是，如你了解並懂得運用這個技能，這對一個 data scientist 的職業生涯是有幫助的。

Deepfake 是正是邪？

現時有很多關於 deepfake 的負面新聞，給普遍大眾一個負面形象。許多人可能利用 deepfake 進行欺詐活動，偽造對政治人物不利的影片，甚至是明星的色情影片。另一方面，deepfake 可用於電影製作或修改，例如 Star Wars，Gemini Man 等都有在電影製作上使用 deepfake 技術。所以 deepfake 技術本身並沒有正或邪之分，而是利用 deepfake 技術的人才是決定其定位的關鍵。

近幾年Facebook 受 deepfake 嚴重影響，因此舉辦 Deepfake 偵測大賽而打擊偽造影片及鼓勵偵測 deepfake 的技術開發。Facebook 亦聯同密西根州立大學，研究可逆向工程 deepfake 的辦法。這些研究及比賽的目標都是避免人們誤信虛假資訊，及減少社會議題發生的可能性。由此可見，deepfake 與偵測 deepfake 的技術將會是一場長久大戰。

想挑戰自己成為一個 Data Scientist？

於 data scientist 而言，machine learning 近年已成為必備技能之一，而 deep learning 就相對是更專門的技能。近年受數碼轉型趨勢影響，data science 有關的工作機會急增。而隨著市場發展，對有 machine learning 的人才需求亦大增。

如你想向 data science 方面發展，Venturenix LAB 的 Data Science with Python Part-time 課程就非常適合你。為期19星期的課程已包含 Python programming 及 machine learning 兩個 data scientist 必學知識。Venturenix LAB 定期會有試堂機會，助你更了解數據科學等內容。如果想直接了解，可以即時與專業教育顧問查詢！