Hallo Dave, ich bin Highschool-Lehrer und neugierig auf alle derzeit verfügbaren KI-Schreibwerkzeuge. Gibt es eine Möglichkeit zu erkennen, ob Text von einem Programm und nicht von einer Person geschrieben wurde? Wenn ja, wie genau ist es heute?
Während auf maschinellem Lernen basierende KI-Tools seit einigen Jahren auf dem Markt sind, drehte sich Anfang 2023 alles um OpenAI und sein ChatGPT-Tool. Und kein Wunder; Sie können es bitten, fast jede Art von Textinhalt zu produzieren, und innerhalb weniger Sekunden erhalten Sie etwas, das nicht schlecht ist. Es ist nicht brillant, aber wie viele Liedtexte, Gedichte, Blogposts, Artikelkommentare oder Schülerarbeiten sind brillant?
Andererseits suchen Lehrer nicht nach dieser Nadel im Heuhaufen, wir sind es einfach versuchen, Menschen dabei zu helfen, etwas Neues zu lernen und ihren Horizont und ihr Fachwissen zu erweitern. Eine Aufgabe, die um einiges erschwert wird, wenn wir ihnen schriftliche Aufgaben geben und sie sich, anstatt sie zu schreiben, Software oder Websites zuwenden, die stattdessen den Inhalt produzieren können. Ein Klicken und Kopieren/Einfügen im Vergleich zum kritischen Denken, das erforderlich ist, um etwas Nachdenkliches und Thematisches zu produzieren? Leider gibt es immer ein paar faule Schüler, die aus irgendeinem Grund nach Abkürzungen suchen.
Unterscheidet sich die Verwendung von KI vom Plagiieren?
In gewisser Weise unterscheidet sich dies nicht von Plagiat. Vor dem Internet bezog sich Plagiat auf Studenten, die aus einem Buch oder einer früheren Studentenaufgabe kopierten. Im digitalen Zeitalter gibt es Dutzende von Websites, die „nur A-Aufsätze“ zu Tausenden von Themen anbieten, von Shakespeare bis zur organischen Chemie. Das duplizierte Schreiben wird im Allgemeinen durch Testen von Mehrwortphrasen identifiziert. Die Plagiatstests von Unternehmen wie zum Beispiel TurnItIn sind diesbezüglich ziemlich solide. Aber KI-Tools wie ChatGPT produzieren jedes Mal, wenn sie aufgerufen werden, einzigartige Inhalte. Wie können sie also erkannt werden?
Es stellt sich heraus, dass das aktuelle Maß Ratlosigkeit ist. Die technische Definition dieser Maßnahme ist „ eine Metrik, die quantifiziert, wie unsicher ein Modell in Bezug auf die Vorhersagen ist, die es macht“, aber das verdeutlicht nicht wirklich, was berechnet wird, oder? Hier ist eine weitere Erklärung für Perplexität: „Wenn ein [Sprach-]Modell der Testmenge eine hohe Wahrscheinlichkeit zuordnet, es bedeutet, dass es nicht überrascht ist, es zu sehen (es ist nicht perplex davon)…“
Für unsere Zwecke können wir Perplexität jedoch als ein allgemeines sprachbasiertes Analysewerkzeug betrachten, um zu versuchen und festzustellen, ob a Eine bestimmte Prosapassage wird wahrscheinlich von einem Menschen oder einer KI erstellt. Hohe Perplexität bedeutet, dass es wahrscheinlich von KI generiert wurde, niedrige Perplexität bedeutet, dass es wahrscheinlich von einem Menschen geschrieben wurde. Die gute Nachricht ist, dass es bereits Online-Tools gibt, die genau diese Analyse anbieten. Betrachten wir sowohl GPT Zero als auch GPT Radar.
AKADEMISCHE PROSA MIT CHATGPT ERSTELLEN
Als Benchmark verwende ich eine Diskussionsaufforderung aus einem Kurs, den ich an der unterrichte Universität Denver. In der Klasse geht es um Medien und Gesellschaft, und das Thema dieser Woche ist zufällig ziemlich passend: Kontrollieren uns Maschinen?
Hier ist die Aufforderung:
Als Test , ich werde dies einfach kopieren und in ChatGPT einfügen, das interaktive Front-End für das Open AI „GPT3“-Sprachmodellsystem. Sie können dies auch unter chat.openai.com ausprobieren (obwohl Sie sich möglicherweise zuerst für ein kostenloses Konto anmelden müssen).
Hier ist die genaue Antwort von GPT3 auf die Diskussionsaufforderung:
Es ist eine komplexe Frage und hängt von der Perspektive ab, die man einnimmt. Aus der Perspektive des technologischen Determinismus könnte argumentiert werden, dass Medientechnologien die Art und Weise, wie wir denken und mit der Welt interagieren, erheblich verändert haben. Sie haben die Art und Weise, wie wir kommunizieren, auf Informationen zugreifen und Entscheidungen treffen, revolutioniert. Die ständige Verfügbarkeit von Informationen und die Fähigkeit, mit Menschen aus der ganzen Welt in Kontakt zu treten, hat unser Verständnis von Zeit und Raum verändert.
Auf der anderen Seite könnte man aus der Perspektive des Sozialkonstruktivismus argumentieren, dass während Technologie hat sicherlich unser Verhalten beeinflusst, sie wird letztendlich durch den sozialen und kulturellen Kontext geprägt, in dem sie verwendet wird. Es ist wichtig, sich daran zu erinnern, dass Technologie von Menschen geschaffen, verwendet und interpretiert wird, und es sind menschliche Entscheidungen, die bestimmen, wie Technologie verwendet wird.
Das hier gezeigte kritische Denken ist schwach, mit vielen Worten das Vertuschen eines Mangels an tatsächlicher Analyse, aber es ist nicht schlecht und es ist glaubwürdig, dass ein Student so etwas als Antwort auf die Diskussionsaufforderung einreichen könnte.
Die Frage ist nicht so sehr, ob eine genaue Lektüre und Überlegung kann diese KI-produzierten Inhalte jedoch erkennen, aber ob es Tools gibt, die dies können. Sie können sich sicherlich vorstellen, dass die Fähigkeit des Lehrers, langsamer zu werden und wirklich über die Prosa nachzudenken, sehr begrenzt sein wird, wenn dies eine Antwort aus einer Klasse mit 50 Schülern ist.
ERSTER TEST: GPT NULL
Das erste zu berücksichtigende Tool ist eines, das ursprünglich an einem Wochenende von Edward Tian, einem Informatikstudenten an der Princeton University, entwickelt wurde: GPTZero. Es basiert auf dem Perplexitätsmaß der Sprachanalyse, wie zuvor besprochen. Der Test ist einfach durchzuführen, ein einfaches Einfügen von ChatGPT:
Sie können auch Dateien zur Analyse hochladen – besonders hilfreich bei längeren Unterrichtsaufgaben – aber es ist einfach, sie zu kopieren und einzufügen bescheidene Passage mit 136 Wörtern.
Ein Klick auf „Get Results“ und das Urteil wird geliefert:
Okay, „ Ihr Text wird wahrscheinlich vollständig von KI geschrieben.“ Fall abgeschlossen? Nicht so schnell.
ZWEITER TEST: GPT-RADAR
Bevor wir zu dem Schluss kommen, dass die KI-Prosa leicht zu identifizieren ist, probieren wir ein anderes Tool aus, das es schon etwas länger gibt: GPT-Radar. Es ist ein Tool, das Content-Produktionsteams verwenden, wenn sie Blog-Posts und andere gesponserte Inhalte für Kunden bereitstellen, aber es ist auch für unsere Zwecke illustrativ.
Da Ratlosigkeit eine mathematische Textanalyse ist, Das Ergebnis sollte das gleiche sein, oder? Ein Klick auf „Analyze“ zeigt das Gegenteil:
GPTZero meldet einen Ratlosigkeitswert von 18,33, während GPT Radar einen Wert von 6,0 erzeugt. Je niedriger die Punktzahl, desto weniger „überrascht“ ist der Algorithmus über die Wortwahl in der Passage und desto wahrscheinlicher ist es, dass er von einem Menschen geschrieben wurde (da wir alle dazu neigen, auf ziemlich ähnliche Weise zu schreiben), aber es ist offensichtlich, dass er nicht vollständig deterministisch ist.
ANALYSEERGEBNISSE: JA UND NEIN
Die Ergebnisse zeigen die Komplexität des Problems; Ein Tool berichtet, dass unsere gestelzte, umständlich geschriebene Prosa mit ziemlicher Sicherheit von einem KI-Programm geschrieben wurde, während das andere Tool darauf besteht, dass es „wahrscheinlich von Menschen erzeugt“ ist. Die offensichtliche Schlussfolgerung ist, dass Online-Tools noch nicht ganz bereit sind, KI-erzeugten Text genau zu identifizieren. Dies ist sowohl für uns als Pädagogen als auch für uns alle als Bürger und Konsumenten von Informationen besorgniserregend.
Vielleicht noch wichtiger ist, dass keines der Tools eine Analyse darüber bietet, ob die Antwort tatsächlich auf die Eingabeaufforderungen antwortet, und bietet einen intelligenten Kommentar und Antwort. Das ist die Aufgabe von uns Ausbildern, und es ist eine harte Aufgabe. Bei einer kleinen Klasse kann der Lehrer das Schreiben über Aufgaben hinweg verfolgen (wenn ein Schüler ein Intro in der 7. Klasse geschrieben hat, seine Aufgaben aber Arbeiten auf Graduiertenschulniveau sind, ist das ein offensichtliches und sofortiges Warnsignal). Aber was ist, wenn Sie Dutzende oder Hunderte von Schülern haben?
Heute gibt es keine einfache Lösung. Der beste Rat, den ich geben kann, ist, die Grenzen dieser Tools zu verstehen und zu erkennen, dass die KI-Sprachmodelle immer ausgefeilter werden, selbst wenn sie versuchen, genauer zu sein, was zu einem technologischen Katz-und-Maus-Spiel führt. Fordern Sie Schüler heraus, deren Prosa unwahrscheinlich oder überraschend erscheint.
Die wirkliche Schlussfolgerung ist jedoch, dass wir unseren Unterrichtsansatz ändern müssen, damit das persönliche, nicht technisch unterstützte Rezitieren zu einer wird Teil der Schülerbeurteilung und-beurteilung in jeder Klassenstufe.
Haben Sie Gedanken und Ideen zu diesem Thema? Bitte lass es mich in den Kommentaren wissen!
ai schreiben, chatgpt, gptradar, open ai