La sophistication et l’accessibilité croissantes de l’intelligence artificielle (IA) suscitent depuis longtemps des inquiétudes quant à son impact sur la société. La génération la plus récente de chatbots n’a fait qu’exacerber ces inquiétudes, avec des craintes concernant l’intégrité du marché du travail et la propagation de fausses nouvelles et de désinformation. À la lumière de ces préoccupations, une équipe de chercheurs de l’École d’ingénierie et de sciences appliquées de l’Université de Pennsylvanie a cherché à donner aux utilisateurs de technologies les moyens d’atténuer ces risques.
Entraînez-vous à reconnaître le texte de l’IA
Leur article revu par des pairs, présenté lors de la réunion de février 2023 de l’Association pour l’avancement de l’intelligence artificielle, fournit la preuve que les gens peuvent apprendre à faire la différence entre un texte généré par une machine et un texte écrit par l’homme.
L’étude, dirigée par Chris Callison-Burch, professeur agrégé au Département d’informatique et des sciences de l’information (CIS), ainsi que Ph.D. étudiants Liam Dugan et Daphne Ippolito, démontre que le texte généré par l’IA est détectable.
“Nous avons montré que les gens peuvent s’entraîner à reconnaître des textes générés par des machines”, déclare Callison-Burch.”Les gens commencent avec un certain ensemble d’hypothèses sur le type d’erreurs qu’une machine ferait, mais ces hypothèses ne sont pas nécessairement correctes. Au fil du temps, avec suffisamment d’exemples et d’instructions explicites, nous pouvons apprendre à détecter les types d’erreurs que les machines commettent actuellement.”
L’étude utilise des données collectées à l’aide de”Vrai ou faux texte ?”, un jeu de formation original basé sur le Web. Ce jeu de formation transforme la méthode expérimentale standard pour les études de détection en une recréation plus précise de la façon dont les gens utilisent l’IA pour générer du texte.
Dans les méthodes standard, les participants sont invités à indiquer par oui ou par non si une machine a produit un texte donné. Le modèle de Penn affine l’étude de détection standard en une tâche de formation efficace en montrant des exemples qui commencent tous comme écrits par l’homme. Chaque exemple se transforme ensuite en texte généré, demandant aux participants de marquer où ils pensent que cette transition commence. Les stagiaires identifient et décrivent les caractéristiques du texte qui indiquent une erreur et reçoivent un score.
Résultats de l’étude
Les résultats de l’étude montrent que les participants ont obtenu des scores significatifs mieux que le hasard, fournissant la preuve que le texte créé par l’IA est, dans une certaine mesure, détectable. L’étude décrit non seulement un avenir rassurant, voire passionnant, pour notre relation avec l’IA, mais fournit également la preuve que les gens peuvent s’entraîner à détecter le texte généré par la machine.
“Les gens sont inquiets à propos de l’IA pour des raisons valables, », déclare Callison-Burch. « Notre étude donne des éléments de preuve pour apaiser ces angoisses. Une fois que nous pourrons exploiter notre optimisme à propos des générateurs de texte IA, nous pourrons nous concentrer sur la capacité de ces outils à nous aider à écrire des textes plus imaginatifs et plus intéressants. »
Dugan ajoute : « Il existe des directions dans lesquelles vous pouvez pousser cette technologie. Les gens sont obsédés par les exemples inquiétants, comme le plagiat et les fausses nouvelles, mais nous savons maintenant que nous pouvons nous entraîner à devenir de meilleurs lecteurs et rédacteurs. »
L’étude fournit une première étape cruciale pour atténuer les risques associés au texte généré par la machine. Alors que l’IA continue d’évoluer, il en va de même pour notre capacité à détecter et à gérer son impact. En nous entraînant à reconnaître la différence entre un texte écrit par un humain et un texte généré par une machine, nous pouvons exploiter la puissance de l’IA pour soutenir nos processus créatifs tout en atténuant les risques.