Warum halluzinieren ChatBots?

Thu, 05 Oct 2023 10:28:23 +0000

Diejenigen von Ihnen, die ChatGPT, Google Bard oder Ähnliches verwendet haben, haben wahrscheinlich festgestellt, dass diese Chatbots manchmal die Antworten auf unsere Fragen erfinden. Das ist das, was gemeinhin als Halluzinationen bekannt ist.

Um zu verstehen, warum sie auftreten, muss man zunächst auf einer sehr grundlegenden Ebene verstehen, wie diese Chatbots funktionieren. Der grundlegende Baustein sind die Sprachmodelle (LLMs, large language models). Diese Modelle werden mit großen Datenmengen trainiert, wie zum Beispiel Webseiten im Internet und gemeinfreien Büchern, unter anderem. Die Aufgabe der LLMs besteht darin, das nächste Wort oder die nächste Wortfolge aus einem Text vorherzusagen, den der Benutzer eingibt. Wenn wir beispielsweise eine Frage stellen, sagt das Modell die Wörter vorher, die direkt nach dieser Frage kommen. Da das Modell mit Millionen von Dokumenten trainiert wurde, ist es wahrscheinlich, dass es in einem (oder vielen) dieser Dokumente eine ähnliche Frage zusammen mit der Antwort gesehen hat. Grob gesagt funktioniert das LLM wie ein statistisches Modell: Zunächst lernt es während seines Trainings die Wahrscheinlichkeit, dass zwei oder mehr Wörter zusammengehören, und dann nutzt es bei der Verwendung diese Wahrscheinlichkeit, um die nächste Wortfolge vorherzusagen;

Chatgpt on CTOMultiplier

Warum halluzinieren ChatBots?