Zuletzt aktualisiert am 6. Februar 2023
Ob Sie ein erfahrener Ingenieur für maschinelles Lernen oder einfach nur neugierig sind, Sie fragen sich vielleicht: Wie wird Chat GPT trainiert?
Das von OpenAI entwickelte KI-Sprachmodell ist in kurzer Zeit seit seiner Einführung sehr populär geworden. So sehr, dass auf der Website häufig Serverkapazitätsprobleme auftreten, die Benutzer daran hindern, auf die Website zuzugreifen.
Das Online-Modell hat die Fähigkeit, zahlreiche Aufgaben zu erledigen und Antworten auf fast jede Aufforderung zu generieren, die Sie ihm geben. Aber wie wurde es erstellt?
Das Wichtigste zuerst: Chat GPT wurde auf der Grundlage von OpenAIs GPT-3.5 erstellt. Ein weiteres fortschrittlicheres Sprachmodell, das auf einem riesigen Datensatz aufbaut, der typischerweise Informationen aus dem Internet enthält.
GPT-3.5 wurde so optimiert, dass es mit seinen Benutzern in einem Konversationsformat interagieren konnte. Lassen Sie uns untersuchen, wie diese Feinabstimmung aussah!
Laut OpenAI wurde Chat GPT mit „Reinforcement Learning from Human“ trainiert Feedback“ (RLHF). Zunächst durchlief das Modell einen Prozess namens überwachte Feinabstimmung, bei dem OpenAI-Trainer sowohl die Rolle eines menschlichen Benutzers als auch eines KI-Bots spielten.
Dadurch erstellten die Trainer eine Dialogsequenz, um es zu emulieren wie Menschen kommunizieren, was dann dem Datensatz des Modells hinzugefügt wurde, um es für Konversationszwecke zu optimieren.
Chat GPT wurde später verbessert, indem ein Belohnungsmodell erstellt wurde, das für den nächsten Schritt verwendet werden sollte – das Bestärken des Lernens. Dazu interagierten KI-Trainer mit dem Tool, um Antworten zu generieren. Dann werden sie basierend auf der Qualität von den besten bis zu den schlechtesten bewertet.
Mit diesen Informationen könnte OpenAI das Modell mithilfe seiner eigenen Technik namens Proximal Policy Optimization weiter verfeinern . Wenn Sie nach Details zu diesem Prozess suchen, behandelt OpenAI ihn in seinem Blog.
Welche Art von maschinellem Lernen ist Chat GPT?
Chat GPT von OpenAI ist ein Large Language Model. Wie der Name schon sagt, sind diese Modelle riesig und werden mit Milliarden von Parametern erstellt. Sie sind eine Art Deep-Learning-Algorithmus, der Text verstehen und generieren kann, je nach den Daten, mit denen er trainiert wurde.
Diese Art von Modellen hat eine breite Palette von Anwendungen, von der Erstellung von Chatbots bis hin zur Suche Engines und das Generieren kreativer Inhalte wie Songtexte und Geschichten.
Abschließende Gedanken
Den Trainingsprozess von KI-Sprachmodellen wie ChatGPT zu verstehen, kann sehr verwirrend sein. Wir hoffen, dass dieser Artikel Ihnen einen Einblick gegeben hat, wie OpenAI dieses berüchtigte Sprachmodell erstellt hat. Wenn Sie an anderen Funktionen von Chat GPT interessiert sind, warum lesen Sie nicht Chat GPT Plus – was müssen Sie als Nächstes wissen?