Un outil de clonage de voix IA qui est sorti gratuitement a déjà été fortement abusé par 4chan. Les utilisateurs du forum en ligne controversé ont adopté le générateur de voix IA ElevenLabs pour créer des clips de célébrités célèbres crachant des discours de haine ignobles.
Le générateur de voix IA d’ElevenLabs a été adopté non seulement pour sa qualité, mais aussi pour sa rapidité. De plus, le logiciel n’a aucune limite quant à ce qu’un utilisateur peut faire dire à sa voix volée, ce qui entraîne la création d’un barrage de discours haineux avec l’outil.
Via Vice, les utilisateurs de 4Chan ont adopté la technologie pour créer de faux enregistrements de célébrités faisant des déclarations nuisibles et offensantes. Des célébrités telles que Joe Rogan, Emma Watson et bien d’autres ont vu leur voix manipulée pour dire des choses qu’elles n’ont jamais dites dans la vraie vie. Du moins pas sur enregistrement.
Le rapport explique qu’un utilisateur a fait réciter à l’actrice de Harry Potter et militante des droits des femmes Emma Watson des passages du Main Kamf d’Adolf Hitler. Un autre exemple a été l’influenceur politique d’extrême droite Ben Shapiro qui a fait à plusieurs reprises des déclarations racistes à propos de la politicienne démocrate Alexandria Ocasio-Cortez.
Le logiciel vocal d’ElevenLabs est rapide et puissant. Contrairement à d’autres clones de voix AI, cette génération rapide et facile semble remarquablement réaliste et ne prend que quelques secondes pour fonctionner. Cependant, cela signifie également que la technologie est sans aucun doute dangereuse.
Nous avons déjà vu la technologie vidéo deepfake utilisée à des fins néfastes. Non seulement les célébrités sont souvent falsifiées dans des documents explicites, mais aussi des tentatives d’espionnage politique. Par exemple, des pirates informatiques russes ont créé une fausse vidéo du président ukrainien Volodymyr Zelensky se rendant dans le but de tromper les citoyens ukrainiens.
Les deepfakes se sont avérés si controversés que les sociétés de serveurs en ligne interdisent l’utilisation de la technologie utilisant leurs services. Google a récemment lancé tous les projets de recherche deepfake de Google Colab, interdisant la technologie pour ses utilisations dangereuses. Cependant, la technologie ne semble pas aller nulle part de si tôt.
En raison de sa popularité dans l’industrie du divertissement, les deepfakes pour la vidéo et l’audio continueront d’être améliorés. Célèbre, Disney et Lucasfilm ont utilisé la technologie deepfake pour ramener un jeune Luke Skywalker dans The Mandalorian et The Book of Boba Fett. De plus, dans des nouvelles plus légères, l’acteur de Batman et Top Gun, Val Kilmer, a utilisé un deepfake audio pour retrouver sa voix après une longue bataille contre le cancer de la gorge.
Bien que les deepfakes soient fantastiques à ces fins, une bonne technologie sera toujours être abusé par ceux qui ont des objectifs infâmes. Alors, que se passe-t-il ensuite ?