電腦視覺 : 在 Colab 上用 Python 臉部置換並快速做 Deepfake

Contents

在 Google Colab 上使用 Python 和 OpenCV 和基於 ‘First Order Motion Model’ 論文的 Deepfake Image Animation 客製化臉部置換

從這 4 小時的課程，你會學到

基於 Python 的臉部置換客製化應用程式，於圖像、影片和相機。根據“First Order Motion Model Image”(一階運動模型圖像)的 Deepfake 動畫

要求

一台配置像樣的電腦(最好是 Windows 系統) ，以及對研究 Deepfake 技術的熱情

課程說明

大家好，歡迎來到我的新課程

你知道，有句老話說“眼見為實”。但是在 ‘Deepfake’ 的世界裡，我們看到的並不總是真實的。讓我們通過一個影片的例子來定義 deep fake (深層偽裝)。就在這裡。

我只用了這些人的一張郵票大小的照片來製作這些影片。是的，你沒聽錯。只需要一張臉部圖片，在普通電腦上花幾分鐘的時間，你就可以製作任何人的 deepfake。你甚至能讓死人說話，或甚至為你唱歌。

太好了！準備好大吃一驚吧。在我們繼續進行之前，讓我解釋一下這門課程的內容清單。這門課剛好地分成兩部分。

在前半部分，我們將建立一個基本的基於 python 的面部置換應用程式。在我們繼續之前，我們將介紹 deep fake (深層偽裝)技術，它的應用、優點和缺點。然後，我們必須準備我們的電腦與所有的依賴項的安裝。我們將安裝 Anaconda，用於 python 程式設計的平台和 IDE。之後，對於那些想要學習 Python 基礎知識的人來說，還有一些可選的課程。

稍後，我們將安裝構建客製化 python 面部置換應用程式所需的其餘依賴項。之後，我們將逐行編寫 python 程式碼，用 300 多行程式碼完成整個程式。或者你也可以從本課程最後一節提供的 google drive 連結下載完整的程式碼。首先，我們將使用兩個靜態影像進行面部置換。一個作為來源影像，另一個作為目標影像。稍後我們將嘗試從我們的電腦的網路攝影機即時頭拍攝影片。然後我們將修改它，使它與預先儲存在我們電腦的影片一起運作。

從這些例子中，你可以看出這只是一個基本的換臉程式，並不完美。我們這樣做只是為了瞭解幕後的工作原理。

之後，我們將根據 Aliaksandr Siarohin、Stéphane layuilière、Sergey Tulyakov、Elisa Ricci 和 Nicu Sebe 提交給康乃爾大學的一篇名為 ‘First Order Motion Model for Image Animation’的論文進行深度偽造( deepfake )。

由於訓練深度偽造涉及昂貴的 GPU，我們有一個替代計劃，使用谷歌 Colab 的免費 GPU。我們將建立資料夾和上傳樣本驅動影片到我們的 google drive，根據哪個是動畫所需的目標影像，以及那個是目標影像或來源影像。

此外，我們將下載一個 demo google colab notebook 副本並連接 google drive。然後我們將從 google drive 中克隆一階運動模型程式碼貯存庫( first order motion model repository )。

稍後，我們還將繼續克隆對齊臉的程式碼貯存庫( face-alignment repository )。我們將安裝和設定在我們的 google colab。然後我們將檔案移動到相應的資料夾中，並開始使用內建的 python 程式裁剪驅動影片。

之後，我們將把已經訓練過的模型的已凍結推理的圖下載到我們的 google drive 中。至此它已完成了設定可繼續基於驅動影片做來源影像的動畫。一旦完成，我們將下載動畫影片。我們也會對其他一些來源影像做同樣的事情。

動畫影片將不會有音訊。所以我們必須使用任何免費或開源的線上影片編輯工具來混合音訊。我們將在下一節來做，最後我們有所有的 deepfake 動畫影片，包含音訊。

在最後一節，我們還將討論如何節省 google 提供的有限的免費 GPU 時間，以及如果超過 GPU 時間的話如何解決。

在我結束之前，再說一句話。請負責任地使用本教程中提到的內容和技巧。它僅用於學習和研究目的。我作為一個教師或者我主持這個課程的平台將不會對任何非法或者不負責任的使用這個技術負責。

這就是目前在這個速成課程中所包含的所有主題。本課程中使用的程式碼、圖片和權重已經上傳並共享到一個資料夾中。我將在最後一節課或本課程的資源部分包含下載資料的連結。你可以自由地在專案中使用該程式碼，不需要詢問任何問題。

完成這門課程之後，你還將獲得一張課程完成證書，這將為你的作品集增添價值。

所以現在就是這樣，教室裡見。學習愉快，玩得開心。

參考書目與參考文獻：

NIPS Proceedings – First Order Motion Model for Image Animation – Aliaksandr Siarohin, Stéphane Lathuilière, Sergey Tulyakov, Elisa Ricci, Nicu Sebe
Cornell University – Computer Vision and Pattern Recognition – First Order Motion Model for Image Animation
Github – AliaksandrSiarohin – first-order-model
Github Pages – First Order Motion Model for Image Animation
Learn OpenCV – Delaunay Triangulation and Voronoi Diagram using OpenCV
Learn OpenCV – Face Swap using OpenCV – Satya Mallick
Pysource-Face exchanging-Sergio Canu