Warum KI Dinge erfindet: 7 Checks gegen Halluzinationen

KI erfindet Dinge, weil ein Sprachmodell darauf ausgelegt ist, die wahrscheinlichsten nächsten Wörter zu erzeugen, nicht zu prüfen, ob sie stimmen, und weil Training und Bewertung der Modelle eine selbstsichere Vermutung stärker belohnen als ein ehrliches „Ich weiß es nicht". Dieser Leitfaden erklärt den Mechanismus in einfachen Worten, wie oft es bei aktuellen Modellen vorkommt, was es drei Firmen gekostet hat und welche sieben Checks es aufdecken.

Sie kennen das: Der Chatbot zitiert eine Vorschrift, die es nicht gibt, nennt eine Statistik, die keine Umfrage je ergeben hat, oder einen Lieferanten, den Sie nirgends finden. Das nennt man eine Halluzination, und es ist kein Fehler, den das nächste Update beseitigt. Die Forschenden von OpenAI schrieben im September 2025 selbst, dass Modelle „overconfident, plausible falsehoods" (übermäßig selbstsichere, plausible Unwahrheiten) erzeugen, weil Training und Bewertung „reward guessing over acknowledging uncertainty" (Raten belohnen statt das Eingeständnis von Unsicherheit). Wer versteht, warum KI Dinge erfindet, hat den Unterschied zwischen einem Werkzeug, das Ihnen pro Woche einen Tag spart, und einem, das einem Kunden, einer Bank oder einem Gericht eine falsche Zahl vorlegt.

Es folgt die Erklärung, die ein vielbeschäftigter Inhaber braucht, keine Informatikvorlesung: wie die Maschine tatsächlich arbeitet, wo sich die Fehler häufen, drei reale Fälle mit Rechnung, was die Anbieter selbst sagen und die sieben Checks. Der letzte Abschnitt zeigt, wie ein KI-Agent, der seine Quellen und seinen Browser zeigt, das Problem verändert und was er Ihnen trotzdem nicht abnehmen kann.

So haben wir diesen Leitfaden geprüft

1. Nur Primärquellen für den Mechanismus: das Forschungspapier von OpenAI vom 4. September 2025 und die Stellungnahmen der Aufsichtsbehörden, die die Anbieter zitieren.
2. Gemessene Raten aus einer öffentlichen Rangliste, abgelesen am 22. Oktober 2026, mit angegebener Methode, denn eine Halluzinationsrate ohne Methode ist selbst eine Art Halluzination.
3. Gerichts- und Regierungsunterlagen für die drei Fälle, keine Nachrichtenzusammenfassungen.
4. Die Hilfeseiten der Anbieter dazu, was ChatGPT und Claude über ihre Grenzen sagen.
5. Checks, die auch Laien in unter einer Minute durchführen können, ohne jedes Werkzeug außer einem Suchfeld.

Was eine Halluzination ist und warum sie entsteht

Ein großes Sprachmodell sagt den Text voraus, der am wahrscheinlichsten auf den ihm vorgelegten Text folgt. Als die Solicitors Regulation Authority (SRA, die Aufsichtsbehörde für Solicitors in England und Wales) im November 2023 den Rechtsberuf warnte, sagte sie es deutlich: Diese Werkzeuge „work by anticipating the text that should follow the input they are given, but do not have a concept of 'reality'" (sie arbeiten, indem sie den Text vorhersagen, der auf die Eingabe folgen sollte, haben aber keinen Begriff von „Realität"). Wenn Sie nach einem Fall fragen, der Ihr Argument stützt, erzeugt das Modell etwas, das wie ein Fall aussieht: einen plausiblen Namen, ein plausibles Jahr, ein plausibles Zitat. Nichts in ihm prüft, ob der Fall existiert, weil nichts in ihm dafür gebaut wurde.

Die zweite Ursache ist die Bewertung der Modelle. In ihrem Papier „Why language models hallucinate" vom September 2025 zeigten vier Forschende von OpenAI, dass die gängigen Tests eine selbstsichere Antwort belohnen und für das Eingeständnis von Unsicherheit nichts geben, sodass „under binary grading, abstaining is strictly sub-optimal" (bei binärer Bewertung ist Enthaltung strikt suboptimal). Ein Modell, das rät, bekommt mehr Punkte als eines, das sagt, dass es es nicht weiß, so wie ein Student, der bei einer Multiple-Choice-Prüfung rät, besser abschneidet als einer, der die Frage leer lässt. Die Ratengewohnheit wird gelernt, und sie wird gelernt, weil sie gewinnt.

Die Zahlen, die OpenAI zusammen mit dem Papier veröffentlicht hat, machen den Zielkonflikt sichtbar. Bei einem Faktenbenchmark verweigerte ein auf Enthaltung getrimmtes Modell bei 52% der Fragen die Antwort, hatte 22% richtig und 26% falsch; ein früheres Modell, das sich fast nie enthielt, hatte 24% richtig und 75% falsch. Weniger falsche Antworten kamen von mehr „Ich weiß es nicht", nicht von mehr Wissen. Das ist die ganze Geschichte in einer Tabelle, und deshalb beginnen die folgenden Checks mit der Erlaubnis, Nein zu sagen.

Wie oft es 2026 vorkommt

Die ehrliche Antwort lautet: oft genug, um immer zu prüfen. Die Halluzinations-Rangliste von Vectara, aktualisiert am 22. Oktober 2026, bewertet Modelle bei einer einzigen engen Aufgabe: ein vorgelegtes Dokument zusammenfassen und zählen, wie oft die Zusammenfassung etwas enthält, das im Dokument nicht steht. Selbst mit den Fakten vor Augen erfanden gängige Modelle in einem messbaren Anteil der Zusammenfassungen Inhalte.

Zwei Dinge fallen auf. Neuer und größer heißt nicht sicherer: Die GPT-5-Konfiguration vom August 2025 schnitt in diesem Test schlechter ab als das ein Jahr ältere GPT-4o. Und es handelt sich um Zahlen mit vorgegebener Quelle; muss das Modell Fakten aus dem Gedächtnis abrufen, liegen die Raten höher.

Die Fachstudien stimmen damit überein. Forschende berichteten in den Annals of the Royal College of Surgeons of England im April 2026, dass bei 108 Chatbot-Antworten auf chirurgische Fragen mit 1,249 Literaturangaben die schlechtesten Modelle 25% bis 34% ihrer Zitate erfanden oder nicht belegen konnten, während die besten keine einzige erfanden. Ein Brief in The Lancet vom Mai 2026 stellte fest, dass etwa eine von 277 neueren Arbeiten in PubMed erfundene Literaturangaben enthielt, gegenüber einer von 2,828 im Jahr 2023. Eine Studie von Stanford zu juristischen Recherchewerkzeugen mit Retrieval ergab, dass diese immer noch in 17% bis 33% der Fälle halluzinierten. Retrieval hilft, aber es erledigt die Arbeit nicht.

Was es gekostet hat: drei Fälle

New York, Juni 2023. Im Fall Mata v Avianca reichten zwei Anwälte einen Schriftsatz mit Fällen ein, die es nicht gab und die ChatGPT erzeugt hatte, und das Gericht verhängte eine Strafe von $5,000. Es war der erste breit berichtete Fall und ist heute eine von mehr als 2,200 Gerichtsentscheidungen weltweit mit erfundenen KI-Zitaten, die in einer öffentlichen Datenbank des Juristen Damien Charlotin erfasst werden.

London, Juni 2025. In Ayinde v Haringey und Al-Haroun v Qatar National Bank befasste sich das High Court gleichzeitig mit zwei Fällen: Ein Schriftsatz zitierte fünf nicht existierende Fälle, der andere 45 Quellen, von denen 18 erfunden waren. Der Präsident der King's Bench Division schrieb, generative Werkzeuge „are not capable of conducting reliable legal research" und „may cite sources that do not exist", Juristen hätten die berufliche Pflicht, „to check the accuracy of such research by reference to authoritative sources", und die Folgen eines Versäumnisses könnten Verfahren wegen Missachtung des Gerichts und eine Meldung an die Polizei sein. Seither hat die Solicitors Regulation Authority eine Warnmitteilung (17. August 2026) herausgegeben, die „fictitious cases, references or seemingly factual assertions" nennt und Solicitors daran erinnert, dass sie für das Ergebnis verantwortlich bleiben.

Canberra, Oktober 2025. Deloitte Australia lieferte einer Regierungsbehörde im Rahmen eines Vertrags über AU$440,000 einen Bericht. Er enthielt ein erfundenes Zitat, das einem Gerichtsurteil zugeschrieben wurde, und Verweise auf wissenschaftliche Arbeiten, die es nicht gab. Das Unternehmen veröffentlichte am 3. Oktober 2025 eine korrigierte Fassung, legte erstmals offen, dass ein Azure OpenAI-Modell verwendet worden war, und erstattete die letzte Rate von etwa AU$98,000. Die Arbeit stammte von einer großen Beratungsfirma mit Prüfverfahren. Die Erfindung kam trotzdem durch, weil niemand die Verweise öffnete.

Keiner dieser Menschen war ein nachlässiger Amateur. Es waren vielbeschäftigte Profis, die flüssigen Text für geprüften Text hielten. Das ist der Fehler, den es zu vermeiden gilt, und er ist vermeidbar.

Was die Anbieter selbst sagen

Die Dokumentation von Anthropic für Claude listet die üblichen Gegenmaßnahmen auf, darunter dem Modell zu erlauben, „I don't know" zu sagen, es vor der Antwort zitieren zu lassen und es auf mitgelieferte Dokumente zu beschränken, und fügt hinzu, dass diese „don't eliminate them entirely. Always validate critical information." Der Support-Artikel zu falschen Antworten, aktualisiert im März 2026, sagt klar, dass Claude „can occasionally produce responses that are incorrect or misleading" und nicht als „a singular source of truth" verwendet werden sollte. Die Hilfeseite von OpenAI zur Frage, ob ChatGPT die Wahrheit sagt, sagt dasselbe: Es kann Zitate erfinden, und Sie sollten sie überprüfen. Das ICO (die britische Datenschutzbehörde) hielt in seiner Arbeit zu generativer KI 2024 fest, dass selbst korrekte Trainingsdaten Modelle „will not stop" falsche Aussagen zu erzeugen, und die Überprüfung der FCA (der britischen Finanzaufsicht) zu KI in Finanzdienstleistungen vom Oktober 2026 wiederholt, dass Unternehmen „remain responsible for consumer outcomes", gleich welches Werkzeug sie erzeugt hat.

Zusammengenommen ist die Botschaft derer, die diese Werkzeuge bauen und beaufsichtigen, einheitlich: Nutzen Sie sie, und prüfen Sie sie.

Die 7 Checks gegen Halluzinationen

1. Nach der Quelle fragen, dann öffnen

Ein Modell liefert auf Wunsch bereitwillig eine Quellenangabe; der Test ist, ob sie sich öffnen lässt und sagt, was das Modell behauptet. Der Deloitte-Bericht hatte Verweise. Niemand öffnete sie. Ist der Link tot, existiert die Arbeit nicht oder steht auf der Seite etwas anderes, ist die ganze Antwort verdächtig, nicht nur diese Zeile.

2. Namen, Zahlen, Daten und Zitate einzeln prüfen

In diesen vier Kategorien konzentrieren sich Erfindungen, weil es die Teile eines Satzes sind, die sich aus dem Kontext schwer vorhersagen lassen. Ein Zitat lässt sich am leichtesten prüfen: Fügen Sie es in Anführungszeichen in eine Suchmaschine ein. Eine Statistik sollte zu einer Umfrage mit Stichprobe und Datum führen, so wie dieser Leitfaden die Studie des Royal College of Surgeons of England und ihre 1,249 Literaturangaben nennt.

3. Zweimal fragen oder ein zweites Modell fragen

Ein Fakt, der eine Umformulierung übersteht, ist eher ein Fakt. Stellen Sie dieselbe Frage mit anderen Worten oder fügen Sie sie in ein zweites Produkt ein (ChatGPT, Claude, Gemini, Microsoft Copilot, Manus oder Muse von Meta verhalten sich beim selben Prompt unterschiedlich). Zwei übereinstimmende Modelle sind kein Beweis, aber zwei widersprechende Modelle sind ein verlässliches Signal zum Prüfen.

4. Das Dokument mitgeben und das Modell eingrenzen

Die Zahlen der Rangliste oben sind der günstigste Fall, mit vorgegebener Quelle; der Abruf aus dem Gedächtnis ist schlechter. Liefern Sie also die Quelle. Hängen Sie den Vertrag, die Tabelle oder die Vorschrift an, weisen Sie das Modell an, nur daraus zu antworten und die verwendete Zeile zu zitieren, und lesen Sie das Zitat. Kann es keine Zeile zitieren, stammt die Antwort nicht aus dem Dokument.

5. Erlauben, „Ich weiß es nicht" zu sagen

Weil das Training Raten belohnt, müssen Sie die Bewertung im Prompt ändern. „Wenn Sie nicht sicher sind, sagen Sie es und nennen Sie mir, was ich prüfen müsste" ist der wirksamste einzelne Satz in diesem Leitfaden; er ist das schriftliche Gegenstück zum sich enthaltenden Modell in der Tabelle von OpenAI, und er kostet Sie nichts.

6. Die Rechnung nachrechnen

Sprachmodelle sagen Text voraus; sie rechnen nicht, es sei denn, sie führen Code aus. Eine Summe, die um eine Zeile abweicht, ein Prozentsatz auf der falschen Basis, ein Datum, das ein Jahr danebenliegt: Das sieht richtig aus, weil der umgebende Satz richtig ist. Addieren Sie die Spalte selbst oder bitten Sie einen Agenten, der die Berechnung in einer Tabelle ausführt und zeigt.

7. Geld, Recht, Gesundheit und Ruf als Entwurf behandeln

Den Juristen in London und den Beratern in Canberra fehlte es nicht an Intelligenz, sondern an einer Regel. Die Regel lautet: Alles, was einen Kunden, eine Behörde, einen Kreditgeber oder ein Gericht erreicht, ist ein Entwurf, bis eine namentlich genannte Person die Fakten darin geprüft hat. Schreiben Sie diese Regel auf; die einseitige Fassung finden Sie in der KI-Richtlinie aus KI-Richtlinie für kleine Unternehmen: eine kostenlose Vorlage.

Wo kleine Unternehmen am häufigsten hereinfallen

• Angebote und Kostenvoranschläge. Ein Modell, das nach „üblichen Preisen" gefragt wird, erfindet übliche Preise. Verwenden Sie Ihre eigene Preisliste oder eine Quelle mit Preisen.
• Rechts- und Steuerformulierungen. Schwellenwerte, Fristen und Strafen ändern sich jeden April; das Gedächtnis des Modells kann zwei Jahre alt sein. Prüfen Sie GOV.UK.
• Lieferanten- und Produktangaben. Modellnummern, Kompatibilität und technische Daten sind genau der dichte, schwer vorhersagbare Text, der erfunden wird.
• Bewertungen und Kundenstimmen. Lassen Sie ein Modell niemals eine Bewertung oder ein Kundenzitat schreiben. Abgesehen davon, dass sie erfunden sind, sind gefälschte Bewertungen in Großbritannien nach dem Digital Markets, Competition and Consumers Act 2024 illegal.
• Übersetzungen von Zahlen. Wenn ein Modell ein Dokument übersetzt, können sich Zahlen verschieben. Prüfen Sie jede Zahl in der übersetzten Fassung gegen das Original.

Wie ein KI-Agent das Problem verändert

Ein Chatbot gibt Ihnen eine Antwort und überlässt Ihnen das Prüfen. Ein Agent kann einen Teil der Prüfung als Teil der Aufgabe übernehmen, weshalb die Funktionsweise bei der Auswahl zählt.

• Er zeigt seine Quellen. Ein Agent, der browst, liefert die gelesenen Seiten mit, sodass Check 1 zu einem Klick statt einer Suche wird. Jobbit Research hängt jedem Ergebnis im erstellten Bericht die Quellen an.
• Er arbeitet in einem Browser, den Sie beobachten können. Wenn der Agent eine Seite öffnet, sehen Sie die Seite. Eine Zahl im Bericht lässt sich auf den Bildschirm zurückverfolgen, von dem sie stammt.
• Er arbeitet mit Ihren Dokumenten. Hängen Sie den Vertrag oder die Tabelle in einem Jobbit-Projekt an, und der Agent antwortet aus der Datei, mit zitierter Zeile, was Check 4 als Standard bedeutet.
• Er rechnet in einer Tabelle, nicht in Prosa. Bitten Sie um eine Liquiditätsprognose, und der Agent baut die Tabelle und zeigt die Formeln; die Rechnung ist nachvollziehbar.
• Er fragt, bevor er Geld ausgibt oder etwas versendet. Ein Agent, der vor dem Versand einer E-Mail um Freigabe bittet, gibt Check 7 einen eingebauten Halt.
• Man kann ihm sagen, dass er sich enthalten soll. Projektanweisungen wie „sagen Sie, wenn Sie nicht sicher sind, und listen Sie auf, was zu prüfen ist" gelten für jeden Chat, sodass Check 5 einmal eingerichtet wird.

ChatGPT, Claude, Gemini, Microsoft Copilot, Manus und Muse von Meta entwerfen alle gut, und mehrere browsen und zitieren inzwischen. Was keines davon beseitigt, ist die abschließende Prüfung durch einen Menschen, und Jobbit tut es ebenfalls nicht. Was Jobbit hinzufügt, ist ein menschliches Netzwerk: Ist die Aufgabe ein Mietvertrag, eine Steuererklärung oder ein Gesundheitsanspruch, kann der Agent die Prüfung innerhalb desselben Auftrags an einen geprüften Fachmann übergeben statt an Sie um elf Uhr abends.

Ihr Plan für diese Woche

• Montag: die eine Regel aufschreiben. „Alles, was an einen Kunden, HMRC, eine Bank oder ein Gericht geht, ist ein Entwurf, bis eine namentlich genannte Person die Fakten geprüft hat." Nehmen Sie sie in Ihre KI-Richtlinie und Ihre Projektanweisungen auf.
• Dienstag: die Enthaltungszeile ergänzen. Tragen Sie „wenn Sie nicht sicher sind, sagen Sie es und nennen Sie mir, was zu prüfen ist" in die Standardanweisungen jedes Werkzeugs ein, das Sie nutzen.
• Mittwoch: Check 1 auf die Ergebnisse der letzten Woche anwenden. Nehmen Sie die letzten drei KI-geschriebenen Dokumente, die Sie verwendet haben, und öffnen Sie jeden Verweis. Zählen Sie die, die scheitern.
• Donnerstag: eine Aufgabe in den Modus mit Quellenbindung verlegen. Wählen Sie die Aufgabe, bei der Fehler am meisten kosten, hängen Sie die echten Dokumente an und verlangen Sie zitierte Zeilen.
• Freitag: festlegen, was nie ungeprüft hinausgeht. Erstellen Sie die Liste (Preise, Rechtsformulierungen, Gesundheitsaussagen, Kundenzitate) und teilen Sie sie mit allen, die in Ihrem Unternehmen KI nutzen.

Als Nächstes lesen

• Ist KI sicher? Ein verständlicher Leitfaden zu Ihren Daten, Ihrem Geld und den Betrugsmaschen, auf die Sie achten sollten
• 12 Fehler, die Einsteiger mit KI-Agenten machen, und die schnelle Lösung für jeden
• Wie funktionieren KI-Agenten? Die 5-Schritte-Schleife hinter jeder Aufgabe, einfach erklärt

Häufig gestellte Fragen

Warum erfindet KI Dinge?

Weil ein Sprachmodell die wahrscheinlichsten nächsten Wörter erzeugt, statt Fakten zu prüfen, und weil die Tests, mit denen Modelle trainiert und eingestuft werden, eine selbstsichere Vermutung stärker belohnen als das Eingeständnis von Unsicherheit. Die Forschenden von OpenAI beschrieben das Ergebnis 2025 als „overconfident, plausible falsehoods". Flüssigkeit und Genauigkeit entstehen im selben Prozess, weshalb eine falsche Antwort genauso klingt wie eine richtige.

Was ist eine KI-Halluzination?

Eine Antwort, die flüssig und plausibel, aber falsch ist: ein erfundener Fall, eine Statistik, die keine Umfrage ergeben hat, ein Zitat, das niemand gesagt hat, ein Produkt, das es nicht gibt. Es ist keine Störung, sondern das normale Verhalten eines Modells, das nach etwas gefragt wird, das es nicht weiß.

Wie oft erfindet ChatGPT Dinge?

Das hängt von der Aufgabe ab. In einem öffentlichen Test mit vorgegebener Quelle, abgelesen im Oktober 2026, erfanden gängige Modelle in etwa 4% bis 15% der Dokumentzusammenfassungen Inhalte, selbst mit mitgelieferter Quelle; Studien zu Zitaten in Chirurgie und Recht ergaben Erfindungsraten von 17% bis 34% bei den schwächsten Modellen. Die sichere Annahme lautet: „oft genug, um jeden Namen, jede Zahl, jedes Datum und jedes Zitat zu prüfen".

Kann man KI-Halluzinationen ganz verhindern?

Nein. Das Mitliefern des Quelldokuments, die Bitte um Zitate, die Erlaubnis zu „Ich weiß es nicht" und ein Agent, der seine Quellen zeigt, senken die Rate, und die Dokumentation von Anthropic selbst sagt, dass diese Maßnahmen sie „don't eliminate them entirely". Die abschließende Prüfung bei allem, was zählt, ist eine Person.

Wurde jemand wegen KI-Halluzinationen bestraft?

Ja. Ein Gericht in New York verhängte 2023 eine Strafe von $5,000 für erfundene Fälle in einem Schriftsatz; das High Court in London warnte im Juni 2025, dass erfundene Zitate zu Verfahren wegen Missachtung des Gerichts und zur Meldung an die Polizei führen können; und Deloitte Australia erstattete im Oktober 2025 die letzte Rate eines Regierungsvertrags über AU$440,000, nachdem sich herausgestellt hatte, dass der Bericht erfundene Verweise enthielt.

Ist ein KI-Agent zuverlässiger als ein Chatbot?

Ein Agent, der browst, seine Quellen nennt und mit Ihren Dokumenten arbeitet, macht die Checks schneller und die Fehler leichter nachvollziehbar, braucht aber trotzdem eine Person, die alles freigibt, was Geld, Recht oder Gesundheit betrifft. Der Agent von Jobbit zeigt bei der Arbeit seinen Browser und seine Quellen und kann die abschließende Prüfung an einen geprüften Fachmann übergeben, wenn die Aufgabe es verlangt.