Uma ferramenta de clonagem de voz AI lançada gratuitamente já foi fortemente abusada pelo 4chan. Os usuários do controverso fórum on-line adotaram o gerador de voz AI ElevenLabs para criar clipes de celebridades famosas vomitando discursos de ódio vis.
O gerador de voz AI da ElevenLabs não foi adotado apenas por sua qualidade, mas também por sua velocidade. Além disso, o software não tem limites para o que um usuário pode fazer com suas vozes roubadas, levando a uma enxurrada de discurso de ódio sendo criado com a ferramenta.
Via Vice, os usuários do 4Chan adotaram a tecnologia para criar gravações falsas de celebridades fazendo declarações prejudiciais e ofensivas. Celebridades como Joe Rogan, Emma Watson e mais tiveram suas vozes manipuladas para dizer coisas que nunca disseram na vida real. Pelo menos não na gravação.
O relatório explica que um usuário fez a atriz de Harry Potter e ativista dos direitos das mulheres, Emma Watson, recitar passagens do Main Kamf de Adolf Hitler. Outro exemplo foi o influenciador político de extrema-direita Ben Shapiro repetidamente fazendo declarações racistas sobre a política democrática Alexandria Ocasio-Cortez.
O software de voz da ElevenLabs é rápido e poderoso. Ao contrário de outros clones de voz AI, esta geração rápida e fácil soa incrivelmente realista e leva apenas alguns segundos para funcionar. No entanto, isso também significa que a tecnologia é indubitavelmente perigosa.
Já vimos a tecnologia deepfake de vídeo sendo usada para fins nefastos. Não apenas as celebridades são muitas vezes transformadas em materiais explícitos, mas também tentativas de espionagem política. Por exemplo, hackers russos criaram um vídeo falso do presidente ucraniano Volodymyr Zelenskyy se rendendo na tentativa de enganar os cidadãos ucranianos.
Deepfakes se mostraram tão controversos que as empresas de servidores online estão proibindo o uso da tecnologia que usa seus serviços. O Google recentemente expulsou todos os projetos de pesquisa deepfake do Google Colab, banindo a tecnologia por seus usos perigosos. No entanto, a tecnologia não parece chegar a lugar algum tão cedo.
Devido à sua popularidade na indústria do entretenimento, os deepfakes para vídeo e áudio continuarão a ser aprimorados. Notoriamente, a Disney e a Lucasfilm usaram a tecnologia deepfake para trazer de volta um jovem Luke Skywalker em The Mandalorian e The Book of Boba Fett. Além disso, em notícias mais alegres, Val Kilmer, ator de Batman e Top Gun, usou um deepfake de áudio para recuperar sua voz após uma longa batalha contra o câncer de garganta.
Embora os deepfakes sejam fantásticos para esses propósitos, uma boa tecnologia sempre será útil ser abusado por aqueles com objetivos nefastos. Então, o que acontece a seguir?