Bonjour Dave, je suis professeur de lycée et je suis curieux de connaître tous les outils d’écriture d’IA disponibles actuellement. Existe-t-il un moyen d’identifier quand le texte est écrit par un programme plutôt que par une personne ? Si oui, quelle est sa précision aujourd’hui ?
Alors que les outils d’IA basés sur l’apprentissage automatique existent depuis quelques années, le début de 2023 a été entièrement consacré à OpenAI et à son outil ChatGPT. Et ce n’est pas étonnant ; vous pouvez lui demander de produire à peu près n’importe quel type de contenu textuel et en quelques secondes, vous obtenez quelque chose qui n’est pas mauvais. Ce n’est pas brillant, mais combien de paroles de chansons, de poèmes, d’articles de blog, de commentaires d’articles ou de travaux d’élèves sont brillants ?
Encore une fois, les enseignants ne cherchent pas cette aiguille dans une botte de foin, nous sommes juste essayer d’aider les gens à apprendre quelque chose de nouveau et à élargir leurs horizons et leur expertise. Une tâche qui est rendue un peu plus difficile si on leur donne des tâches écrites et qu’au lieu de les écrire, ils se tournent vers des logiciels ou des sites Web qui peuvent produire le contenu à la place. Un clic et un copier/coller contre la pensée critique nécessaire pour produire quelque chose de réfléchi et sur le sujet ? Malheureusement, il y aura toujours quelques étudiants paresseux qui chercheront des raccourcis pour une raison quelconque.
L’UTILISATION DE L’IA DIFFÈRE-T-ELLE DU PLAGIAT ?
À un certain niveau, ce n’est pas différent de plagiat. Avant Internet, le plagiat faisait référence aux étudiants qui recopiaient un livre ou le devoir d’un étudiant précédent. À l’ère du numérique, il existe des dizaines de sites Web qui n’offrent « que des articles A » sur des milliers de sujets, de Shakespeare à la chimie organique. L’écriture dupliquée est généralement identifiée en testant des phrases de plusieurs mots. Les tests de plagiat d’entreprises comme TurnItIn, par exemple, sont assez solides à cet égard. Mais les outils d’IA comme ChatGPT produisent un contenu unique à chaque fois qu’ils sont invoqués, alors comment peuvent-ils être détectés ?
Il s’avère que la mesure actuelle est la perplexité. La définition technique de cette mesure est“une métrique qui quantifie le degré d’incertitude d’un modèle sur les prédictions qu’il fait », mais cela ne clarifie pas vraiment ce qui est calculé, n’est-ce pas ? Voici une autre explication de la perplexité :”si un modèle [de langue] attribue une probabilité élevée à l’ensemble de test, cela signifie qu’il n’est pas surpris de le voir (il n’en est pas perplexe)…”
Pour nos besoins, cependant, nous pouvons considérer la perplexité comme un outil d’analyse commun basé sur le langage pour essayer de déterminer si un un passage en prose spécifique est probablement produit par un humain ou une IA. Une perplexité élevée signifie qu’il est probablement généré par l’IA, une faible perplexité signifie qu’il est probablement écrit par un humain. La bonne nouvelle est qu’il existe déjà des outils en ligne qui proposent uniquement cette analyse. Considérons à la fois GPT Zero et GPT Radar.
PRODUIRE DE LA PROSE ACADÉMIQUE AVEC CHATGPT
Comme référence, je vais utiliser une invite de discussion d’un cours que j’enseigne au Université de Denver. Le cours porte sur les médias et la société et le thème de cette semaine est tout à fait approprié : les machines nous contrôlent-elles ?
Voici l’invite :
Comme test , je vais simplement copier et coller ceci dans ChatGPT, l’interface interactive du système de modèle de langage Open AI”GPT3″. Vous pouvez également essayer cela sur chat.openai.com (bien que vous deviez peut-être d’abord créer un compte gratuit).
Voici la réponse exacte de GPT3 à l’invite de discussion :
C’est une question complexe et dépend de la perspective que l’on adopte. Du point de vue du déterminisme technologique, on pourrait affirmer que les technologies des médias ont considérablement modifié notre façon de penser et d’interagir avec le monde. Ils ont révolutionné notre façon de communiquer, d’accéder à l’information et de prendre des décisions. La disponibilité constante d’informations et la possibilité de se connecter avec des personnes du monde entier ont remodelé notre compréhension du temps et de l’espace.
D’un autre côté, du point de vue du constructionnisme social, on pourrait affirmer que si la technologie a certainement influencé notre comportement, elle est finalement façonnée par le contexte social et culturel dans lequel elle est utilisée. Il est important de se rappeler que la technologie est créée, utilisée et interprétée par des êtres humains, et que ce sont les choix humains qui déterminent la façon dont la technologie est utilisée.
La pensée critique démontrée ici est faible, avec beaucoup de mots dissimulant un manque d’analyse réelle, mais ce n’est pas mauvais et il est crédible qu’un étudiant puisse soumettre quelque chose comme ça en réponse à l’invite de discussion.
La question n’est pas tant de savoir si une lecture attentive et la considération peut détecter ce contenu produit par l’IA, mais s’il existe des outils qui peuvent le faire. Vous pouvez certainement imaginer que s’il s’agit d’une réponse d’une classe de 50 élèves, la capacité de l’enseignant à ralentir et à vraiment contempler la prose sera très limitée.
PREMIER TEST : GPT ZERO
Le premier outil à considérer est celui initialement créé en un week-end par Edward Tian, étudiant en informatique à l’université de Princeton : GPTZero. Il est basé sur la mesure de la perplexité de l’analyse du langage, comme discuté précédemment. Le test est facile à réaliser, un simple collage depuis ChatGPT:
Vous pouvez également télécharger des fichiers à analyser-particulièrement utile pour les devoirs de classe plus longs-mais il est simple de copier et coller le modeste passage de 136 mots.
Un clic sur”Get Results“et le verdict est rendu :
D’accord,”Votre texte est susceptible d’être entièrement écrit par l’IA ». Affaire classée? Pas si vite.
DEUXIÈME TEST : RADAR GPT
Avant de conclure que la prose de l’IA est facilement identifiable, essayons un autre outil qui existe depuis un peu plus longtemps : Radar GPT. C’est un outil que les équipes de production de contenu utilisent lors de la diffusion d’articles de blog et d’autres contenus sponsorisés pour les clients, mais il est également illustratif pour nos besoins.
Puisque la perplexité est une analyse mathématique du texte, le résultat devrait être le même, non ? Un clic sur”Analyser“indique le contraire :
GPTZero rapporte un score de perplexité de 18,33, tandis que GPT Radar produit un 6,0. Plus le score est bas, moins l’algorithme est”surpris”sur le choix des mots dans le passage et plus il est probable qu’il soit écrit par un humain (puisque nous avons tous tendance à écrire de manière assez similaire), mais comme il est évident, ce n’est pas entièrement déterministe.
RÉSULTATS DE L’ANALYSE : OUI ET NON
Les résultats démontrent la complexité du problème ; un outil signale que notre prose guindée et maladroitement écrite est presque certainement écrite par un programme d’IA, tandis que l’autre outil insiste sur le fait qu’elle est”probablement générée par l’homme”. La conclusion évidente est que les outils en ligne ne sont pas tout à fait prêts à identifier avec précision le texte produit par l’IA. Cela nous préoccupe à la fois pour nous en tant qu’éducateurs et pour nous tous en tant que citoyens et consommateurs d’informations.
Plus important encore, aucun des deux outils n’offre d’analyse pour savoir si la réponse répond réellement aux invites et offre un commentaire intelligent et réponse. C’est le travail de nous, les instructeurs, et c’est une tâche difficile. Avec une petite classe, l’enseignant peut suivre l’écriture à travers les devoirs (si un élève a une introduction écrite au niveau de la 7e année, mais que ses devoirs sont des travaux de niveau universitaire, c’est un drapeau rouge évident et immédiat). Mais que se passe-t-il si vous avez des dizaines ou des centaines d’étudiants ?
Il n’y a pas de solution facile aujourd’hui. Le meilleur conseil que je puisse offrir est de comprendre les limites de ces outils et de réaliser que même s’ils cherchent à être plus précis, les modèles de langage de l’IA deviendront plus sophistiqués, provoquant un jeu technologique du chat et de la souris. Défiez les étudiants dont la prose semble improbable ou surprenante.
La vraie conclusion, cependant, est que nous allons devoir changer notre approche de l’enseignement afin que la récitation en personne, non assistée par la technologie, devienne un partie de l’évaluation et de l’évaluation des élèves à tous les niveaux.
Vous avez des réflexions et des idées sur le sujet ? Faites-le moi savoir dans les commentaires !
ai writing, chatgpt, gptradar, open ai