在 1 月 25 日新聞報導的一段視頻中，喬·拜登總統談到了坦克。但該視頻的篡改版本本週在社交媒體上獲得了數十萬的瀏覽量，看起來他發表了攻擊變性人的演講。
數字取證專家表示，該視頻是使用一種新的技術製作的新一代人工智能工具，任何人都可以通過點擊幾下按鈕快速生成模擬人聲的音頻。雖然拜登在社交媒體上的剪輯這次可能沒能騙過大多數用戶，但該剪輯表明人們現在很容易製作充滿仇恨和虛假信息的“深度偽造”視頻，這些視頻可能會對現實世界造成傷害。
“像這樣的工具基本上會火上澆油，”密歇根大學電氣和計算機工程教授 Hafiz Malik 說，他專注於多媒體取證。 “這個怪物已經逍遙法外了。”
上個月，ElevenLabs 語音合成平台的測試階段發布，該平台允許用戶通過上傳幾分鐘的音頻來生成任何人聲音的逼真音頻樣本並輸入任何文本讓它說話。
這家初創公司表示，該技術的開發目的是為電影、有聲讀物和遊戲配音不同語言的音頻，以保留說話者的聲音和情感。
社交媒體用戶很快開始分享人工智能生成的希拉里克林頓閱讀拜登剪輯中相同的跨性別文本的音頻樣本，以及比爾蓋茨據稱說 COVID-19 疫苗導致艾滋病和女演員艾瑪的虛假音頻片段沃森據稱閱讀了希特勒的宣言“我的奮鬥”。
不久之後，ElevenLabs 在推特上表示，它看到“越來越多的語音克隆濫用案例”，並宣布它現在正在探索遏制濫用的保障措施.第一步是讓該功能僅供提供付款信息的人使用。最初，匿名用戶可以免費使用語音克隆工具。該公司還聲稱，如果出現問題，它可以將任何生成的音頻追溯到創作者。
但即使能夠追踪創作者也無法減輕該工具的危害，哈尼·法里德教授說加州大學伯克利分校，他專注於數字取證和錯誤信息。
“損害已經造成，”他說。
例如，Farid 說不良行為者可以移動股票市場上出現頂級 CEO 說利潤下降的虛假音頻。 YouTube 上已經有一個剪輯使用該工具修改視頻，使拜登看起來像是說美國正在對俄羅斯發動核攻擊。
具有相同功能的免費和開源軟件也有在線出現，這意味著商業工具的付費牆不是障礙。使用一個免費的在線模型，美聯社在短短幾分鐘內生成了聽起來像演員丹尼爾克雷格和詹妮弗勞倫斯的音頻樣本。
“問題是將手指指向哪里以及如何將精靈放回原處瓶子?”馬利克說。 “我們做不到。”
大約五年前，當 deepfakes 首次成為頭條新聞時，它們很容易被發現，因為對像不會眨眼，而且音頻聽起來很機械。隨著工具變得更加複雜，情況已不再如此。
例如，經過修改的拜登貶損變性人的視頻將人工智能生成的音頻與總統的真實視頻結合在一起，視頻取自1 月 25 日 CNN 直播宣布美國向烏克蘭派遣坦克。拜登的嘴巴在視頻中被操縱以匹配音頻。雖然大多數 Twitter 用戶都意識到內容不是拜登可能會說的話，但他們仍然對它看起來如此逼真感到震驚。其他人似乎相信它是真實的——或者至少不知道該相信什麼。
好萊塢製片廠長期以來一直能夠扭曲現實，但在不考慮其影響的情況下，對這種技術的使用已經民主化，說Farid。
“它結合了非常非常強大的基於 AI 的技術、易用性以及模型似乎是這樣的事實:讓我們把它放到互聯網上，看看會發生什麼接下來，”Farid 說。
音頻只是 AI 生成的錯誤信息構成威脅的一個領域。
Midjourney 和 DALL-E 等免費在線 AI 圖像生成器可以生成逼真的圖像傳統媒體風格的戰爭和自然災害，帶有簡單的文本提示。上個月，美國的一些學區開始屏蔽 ChatGPT，它可以按需生成可讀文本（如學生學期論文）。
ElevenLabs 沒有回應置評請求。
附屬鏈接可能會自動生成-有關詳細信息，請參閱我們的道德聲明。