一款免費發布的AI語音克隆工具已經被4chan嚴重濫用。備受爭議的在線論壇的用戶採用 AI 語音生成器 ElevenLabs 來製作名人發表惡毒仇恨言論的剪輯。
ElevenLabs 的 AI 語音生成器之所以被採用，不僅是因為它的質量，還因為它的速度。此外，該軟件對用戶可以用竊取的聲音說出的內容沒有任何限制，導致使用該工具創建一連串仇恨言論。
通過 Vice，4Chan 用戶已採用該技術製作名人發表有害和冒犯性言論的虛假錄音。喬·羅根、艾瑪·沃特森等名人的聲音被操縱，說出他們在現實生活中從未說過的話。至少在錄音時沒有。
該報告解釋說，一位用戶讓哈利波特女演員和女權活動家艾瑪沃特森背誦阿道夫希特勒的主要Kamf中的段落。另一個例子是極右翼政治影響者 Ben Shapiro 多次對民主政治家 Alexandria Ocasio-Cortez 發表種族主義言論。
ElevenLabs 的語音軟件快速而強大。與其他 AI 語音克隆不同，這種快速簡單的生成聽起來非常逼真，只需幾秒鐘即可工作。然而，這也意味著該技術無疑是危險的。
我們已經看到視頻深度偽造技術被用於邪惡目的。名人不僅經常被深度偽造成露骨的材料，而且還試圖進行政治間諜活動。例如，俄羅斯黑客製作了一段烏克蘭總統 Volodymyr Zelenskyy 投降的假視頻，試圖愚弄烏克蘭公民。
Deepfakes 已被證明極具爭議性，以至於在線服務器公司禁止使用使用他們的服務的技術。谷歌最近將所有 deepfake 研究項目踢出 Google Colab，禁止該技術用於危險用途。然而，該技術似乎不會很快普及。
由於其在娛樂行業的流行，視頻和音頻的深度造假技術將繼續得到改進。著名的是，迪士尼和盧卡斯影業使用深度偽造技術在曼達洛人和波巴費特之書中帶回了年輕的盧克天行者。此外，在更輕鬆的消息中，蝙蝠俠和壯志凌雲的演員瓦爾基爾默在與喉癌進行了長期鬥爭後，使用了音頻深度偽造來恢復他的聲音。
雖然深度偽造對於這些目的來說非常棒，但好的技術總是會的被懷有邪惡目標的人濫用。那麼，接下來會發生什麼?