KI-Halluzinationen: Was tun, wenn Ihre KI Wahnvorstellungen hat?

Wie viele „R“ enthält das Wort Erdbeere?

Einige von Ihnen erinnern sich vielleicht daran Erdbeer-Kontroverse das verwirrte Gen-AI-Enthusiasten wie alles andere.

Für diejenigen, die noch nichts davon gehört haben, in der früheren Version von ChatGPT, wenn Sie gefragt haben, wie oft der Buchstabe „R“ in Erdbeere, da würde getrost „zwei“ stehen. Aber... das ist falsch! Und die Leute fragten sich: Wie konnte etwas so Kluges etwas so Einfaches übersehen?

Das ist kein einmaliger Fehler. Große Sprachmodelle (LLMs) wie ChatGPT machen bei den einfachsten Fragen oft überraschend zufällige Fehler, selbst wenn sie mit komplexen Fragen konfrontiert werden. Ende 2022 führte Meta (du weißt schon, früher Facebook) ein KI-Tool namens Galactica ein, das als hilfreiche Ressource für wissenschaftliche Forscher und Studenten konzipiert wurde. Es wurde an Millionen wissenschaftlicher Inhalte trainiert — an Lehrbüchern, Artikeln, Enzyklopädien, Websites und sogar Vorlesungsskripten. Aber wie sich herausstellte, hatte die KI ein kleines „Halluzinationsproblem“. Die Nutzer stellten bald fest, dass es sich Zitate und Studien ausdachte, die es nicht gab. Ähnliche Probleme wurden von Benutzern auf der ganzen Welt in den verschiedenen LLMs gemeldet, und ich war einer von ihnen:)

Ich habe ChatGPT einmal nach Statistiken gefragt, um einen Artikel zu untermauern. Es gab mir genau das, was ich brauchte, komplett mit Quellen. Ich war so froh, dass ich mir stundenlanges Durchforsten von Forschungsarbeiten erspart hatte — bis ich es merkte habe sie komplett erfunden. Die Statistiken, die Titel, die Autoren — alles war wunderschön erfunden (die Kühnheit!). Das war mein erstes echt Begegnung mit KI-Halluzinationen. Und ja, es war so überwältigend wie es klingt.

Also, was sind KI-Halluzinationen?

KI-Halluzination tritt auf, wenn ein Large Language Model (LLM) — oft eine generative KI — Muster oder Objekte erkennt, die einfach nicht da sind. Dies führt zu Antworten oder Ergebnissen, die sich nicht ganz summieren und zu Informationen führen, die menschlichen Beobachtern bizarr oder völlig ungenau erscheinen können. Es ist, als würde sich die KI Dinge „vorstellen“, die nicht wirklich existieren, was zu absurden, oft unsinnigen Ergebnissen führt. Ein anderer Begriff für eine KI-Halluzination ist Konfabulation.

Wie entstehen diese KI-Halluzinationen überhaupt?

KI-Halluzinationen treten normalerweise auf, wenn das Modell mit einem kleineren Datensatz trainiert wird, sodass es zu wenig Informationen hat, mit denen es arbeiten kann, oder wenn sich Verzerrungen in die Trainingsdaten selbst einschleichen. Was auch immer die Ursache sein mag, diese Halluzinationen können dazu führen, dass sich die KI von den Fakten, dem gesunden Menschenverstand oder manchmal von beidem entfernt.

Wenn wir eine Frage stellen oder eine Anfrage stellen, erwarten wir in der Regel eine solide, relevante Antwort von der KI. Aber hin und wieder lässt sich die KI etwas einfallen, was völlig unüblich ist — Antworten, die nicht auf ihren Trainingsdaten basieren, die von ihren eigenen Algorithmen falsch interpretiert werden oder die einfach keiner erkennbaren Logik entsprechen. Mit anderen Worten, sie fängt an, ihre Antwort zu „halluzinieren“.

KI-Halluzinationen können manchmal zu dem führen, was als „generativer Anthropomorphismus“ bezeichnet wird — im Grunde genommen, wenn Menschen das Gefühl haben, dass die KI menschenähnliche Eigenschaften hat. Das passiert, wenn Nutzer glauben, dass das, was die KI generiert, real ist, auch wenn sie mythische Szenen kreiert oder Dinge schreibt, die keinen logischen Sinn ergeben. Es ist wie eine Fata Morgana, die Benutzer dazu verleitet, zu glauben, dass etwas Imaginäres real ist, was sich sogar auf ihre Entscheidungen auswirken kann.

LLMs (Große Sprachmodelle) sind oft „Blackbox“ -Systeme, Das heißt, niemand weiß wirklich, warum sie bestimmte Halluzinationen hervorrufen. Diese Fehler zu beheben ist auch nicht einfach. Die Modelle haben einen festgelegten Trainingsgrenzwert, und die Rückkehr zur Optimierung der Trainingsdaten kann energieintensiv und kostspielig sein. Außerdem ist die KI-Infrastruktur selbst teuer, sodass das Finden und Beheben der Grundursache einer Halluzination schnell zu hohen Kosten führen kann. Aus diesem Grund liegt es oft an den Benutzern — nicht den Anbietern künstlicher Intelligenz —, nach Halluzinationen Ausschau zu halten und bei der Interpretation von KI-Reaktionen ein wenig Vorsicht walten zu lassen. Davon abgesehen gibt es einige Dinge, die getan werden können, um diese Halluzinationen zu reduzieren.

Wie kann man KI-Halluzination (en) in Ihren Daten verhindern?

Trainieren Sie Ihr System mit echten Nischendokumenten

Wenn Sie ein KI-Modell auf Microsoft oder einer anderen Plattform trainieren, ist es wichtig, sich an die relevanten Daten zu halten. Wenn Sie ein Modell erstellen, um Text und Bilder in technischen Zeichnungen zu identifizieren, sollten Sie es mit verschiedenen Arten von technischen Dokumenten füttern. Präzise, gut beschriftete Daten sind ein Muss. Schlechte oder fehlende Beschriftungen führen zu Missverständnissen und falschen Prognosen. Vermeiden Sie auch synthetische Daten, es sei denn, sie entsprechen exakt dem Layout und dem Stil echter Konstruktionszeichnungen. Andernfalls kann das Modell verwirrt werden.

Stellen Sie abschließend sicher, dass Ihre Trainingsdaten vielfältig, ausgewogen und gut strukturiert sind. Dieser Ansatz reduziert Verzerrungen und verbessert die Genauigkeit und Zuverlässigkeit des Modells. Kurz gesagt, relevante, qualitativ hochwertige Datensätze sind der Schlüssel zum Aufbau intelligenterer, effektiverer generativer KI-Modelle.

Holen Sie sich das Händchen für schnelles Engineering

Sie müssen Ihre Eingabeaufforderungen wirklich auf eine bestimmte Art und Weise manipulieren, um Halluzinationen vorzubeugen. Es gibt verschiedene Arten von Aufforderungstechniken, die Sie ausprobieren können. Hier ist ein strategischer Ansatz -

1. Rollen- und zielbasierte Eingabeaufforderungen definieren Sie den Kontext und den Zweck der Antwort. Weisen Sie beispielsweise eine bestimmte Rolle und ein bestimmtes Ziel zu: „Dies ist eine Zeichnung zur Herstellung einer Komponente. Extrahieren Sie die im Katalog angegebenen kritischen Werte.“
2. Bedingte Aufforderung erinnert die KI daran, vorsichtig mit Unsicherheiten umzugehen, z. B. „Wenn Sie sich nicht sicher sind, bitten Sie um Klärung, anstatt zu spekulieren.“
3. Aufforderung zur Instruktion gibt klare Anleitungen, wie die Aufgabe angegangen werden soll. Zum Beispiel: „Der extrahierte Wert sollte sowohl die obere als auch die untere Grenze enthalten.“
4. Beispielgesteuertes Prompting bietet eine Vorlage für die KI, um ähnliche Antworten zu analysieren und zu erstellen, z. B. „Hier ist eine Auswahl von Toleranzwerten, die im tabellarischen Format extrahiert wurden. Erstellen Sie ähnliche Ergebnisse [fügen Sie die Stichprobe ein].
5. Sequentielle Eingabeaufforderung: Dies ist etwas komplexer als die vorherigen und hängt auch mit dem Konzept des kontextuellen Stapelns zusammen. Lesen Sie mehr darüber im nächsten Abschnitt.

„Einfach ausgedrückt: Wenn Sie eine Aufforderung eingeben, stellen Sie einfach sicher, dass Sie die Rolle, das Ziel und die Anweisung anhand eines Beispiels angeben und erwähnen, dass Sie keine Daten angeben sollen, wenn sie nicht im Dokument enthalten sind.“

Probieren Sie diese Eingabeaufforderungen gemäß den Untersuchungen mehrmals aus, bis Sie diejenigen gefunden haben, die die genauesten Antworten geben. Überprüfen Sie diese Antworten abschließend mit Branchenexperten, um sicherzustellen, dass Ihre Eingabeaufforderungen tatsächlich ins Schwarze treffen. Eine Menge Forschung und Versuch und Irrtum sind erforderlich, damit ein generatives KI-Modell eine gute Leistung erbringt.

Warum ist es wichtig, Ihre Eingabeaufforderungen zu entwickeln?

In der KI gibt es kein Patentrezept. Wenn Sie beispielsweise ein Bilderkennungsmodell entwickeln, können Sie nicht erwarten, dass es alle Arten von Bildern — wie technische Zeichnungen, medizinische Röntgenbilder und Fotos des Objektzustands — mit gleicher Genauigkeit verarbeitet. Obwohl Sie dieselbe Technologie verwenden, muss jeder Anwendungsfall individuell angepasst werden. Sie müssen sich wirklich auf die spezifische Aufgabe beschränken, die Sie mit KI ausführen möchten. Und das ist nicht einfach. Deshalb ist es wichtig, klare, aufgabenspezifische Aufforderungen bereitzustellen, um die Richtigkeit Ihrer Ergebnisse sicherzustellen.

Bauen Sie den Kontext auf

Lassen Sie uns nun eintauchen in Kontext-Stacking. Die Idee dabei ist, das Verständnis der KI zu verbessern, indem Informationen oder Eingabeaufforderungen gestapelt werden, sodass irrelevante oder falsche Ausgaben generativer KI minimiert werden. Hier ist eine Aufschlüsselung:

• Inkrementelle kontextuelle Eingabe: Anstatt eine große Frage zu stellen, geben Sie kleinere, vielschichtige Kontextblöcke ein. Beispielsweise würde eine KI, die einen Klimabericht analysiert, zunächst umfassende Informationen über den Berichtstyp erhalten, gefolgt von den Klimatrends und geografischen Spezifikationen.

• Sequentielle Eingabeaufforderungen: Machen Sie sich bewusst, dass KI jeden Teil einer Sequenz verarbeitet, angefangen bei der Struktur über bestimmte Notationen bis hin zum Zeichnen von Details, sodass die Antworten stets auf die Aufgabe abgestimmt sind. Hier ist ein Beispiel: Stellen Sie sich vor, Sie müssen bestimmte Daten aus einem Klima-Repost extrahieren. Es ist ein völlig unstrukturiertes Dokument, eine benutzerdefinierte Vorlage. Um sicherzustellen, dass das System nicht halluziniert, können Sie Ihre Aufforderung in mehrere Abschnitte oder Sequenzen wie diese aufteilen -

‍>Allgemeiner Überblick: „Erläutern Sie den Zweck des Berichts über Klimadaten und fassen Sie die wichtigsten Ziele der Forschung zusammen.“

>Aufschlüsselung der Daten: „Beschreiben Sie die in der Studie verwendeten Datentypen, wie Temperaturänderungen, Niederschläge und CO2-Werte, und erläutern Sie deren Quellen.“

>Analysemethoden: „Nennen und erläutern Sie die Methoden zur Analyse von Klimadaten, einschließlich statistischer Tools und Modelle.

‍ >Ergebnisse und Schlussfolgerungen: „Fassen Sie die wichtigsten Ergebnisse des Berichts zu den Klimatrends und alle Empfehlungen für weitere Forschungen oder Maßnahmen zusammen.“

• Querverweise auf externe Daten: Manchmal beinhaltet das Kontext-Stacking Querverweise auf externe Quellen oder weitere Daten, um die Genauigkeit sicherzustellen. Zum Beispiel die Überprüfung von Temperaturtrends mit ähnlichen Jahren in historischen Daten, um die Konsistenz zu bestätigen.

Passen Sie die Temperatur im Modell an

Es gibt einen Parameter namens „Temperatur“, den Sie anpassen können, um die Zufälligkeit oder Kreativität der KI-Reaktionen in Ihrer App zu steuern. Diese Temperatureinstellung beeinflusst, wie deterministisch (vorhersehbar) oder unterschiedlich (kreativ) die Ergebnisse sein werden. Je höher die Temperatur, desto höher ist die Wahrscheinlichkeit von Halluzinationen in der generativen KI.

So funktioniert das:

• Niedrige Temperatur (z. B. 0 bis 0,5): Eine niedrigere Temperatur macht die Ausgabe des Modells zielgerichteter und vorhersehbarer, da es dazu neigt, Wörter mit hoher Wahrscheinlichkeit zu wählen. Diese Einstellung ist ideal für Aufgaben, die Genauigkeit und Konsistenz erfordern, wie technische Erklärungen, einfache Datenextraktion oder jedes Szenario, in dem Halluzinationen (falsche oder nicht zusammenhängende Antworten) minimiert werden müssen.

• hohe Temperatur (z. B. 0,7 bis 1): Eine höhere Temperatur macht die Ausgabe vielfältiger und kreativer, wodurch die Wahrscheinlichkeit steigt, dass das Modell Wörter mit niedrigerer Wahrscheinlichkeit auswählt. Es wird Zeiten geben, in denen Sie höhere Temperaturen verwenden müssen, also wenn Sie nach subjektiven Antworten suchen. Dies ist nützlich bei kreativen Aufgaben wie Brainstorming oder der Generierung kreativer Story-Ideen. Das Risiko von Halluzinationen steigt jedoch ebenfalls.

• Dynamische Anpassung: Moderne KI-Agenten passen ihre „Temperatur“ dynamisch an den Abfragetyp an und geben ihnen so die Flexibilität, zwischen Präzision und Kreativität zu wechseln. Dadurch sind sie vielseitig einsetzbar, da sie auf eine Weise reagieren können, die sich sowohl hilfreich als auch menschlich anfühlt, je nachdem, was der Benutzer fragt. Dynamische Anpassungen können Wunder bewirken, wenn sie richtig eingesetzt werden. Dies öffnet die Tür zu immensen Möglichkeiten in der Welt der modernen KI-Agenten. Bleiben Sie dran, wir werden bald einen ausführlichen Blog dazu veröffentlichen!

Wenn Sie direkt bis zum Ende gescrollt haben, finden Sie hier eine kurze Zusammenfassung. KI denkt sich oft Dinge aus und das nennt man Halluzination — das ausgefallenere Wort dafür ist Konfabulation, und damit umzugehen kann schwierig sein. Ihr System mit vielen spezifischen Daten zu trainieren und die richtigen Eingabeaufforderungen mit zusätzlichem Kontext und Prüfungen zu verwenden, ist der Ausweg. Eine Halluzination ist nichts anderes als KI, die versucht, die Lücken zu füllen, ähnlich wie Menschen es tun, wenn sie sich nicht sicher sind. Anstatt dies als Nachteil zu betrachten, besteht die beste Lösung/der beste Ansatz darin, diese Tendenz so zu modulieren, dass sowohl komplexe datengesteuerte Aufgaben als auch kreative Unternehmungen bewältigt werden können.

‍