Warum Sie nicht zweimal dieselbe Antwort erhalten

Stellen zwei Personen Claira (oder einem beliebigen KI-Werkzeug auf Basis eines großen Sprachmodells) dieselbe Frage zum selben Dokument, können sie unterschiedlich formulierte — und manchmal auch unterschiedlich strukturierte — Antworten erhalten. Das ist bei dieser Art von Technologie normales, erwartbares Verhalten und keine Fehlfunktion oder ein Hinweis darauf, dass eine der Antworten „falsch“ wäre.

Die Kurzfassung

Das Wichtigste in aller Kürze:

• Sprachmodelle erzeugen Text probabilistisch, weshalb eine gewisse Schwankung von Lauf zu Lauf in ihrer Funktionsweise angelegt ist.
• Vage, offene Anfragen (etwa „Fasse das zusammen“) lassen viel Raum für Variation. Präzise, strukturierte Anweisungen (etwa die Relevanz-Prompts von Claira) lassen sehr wenig Raum.
• Die Variation zeigt sich in Formulierung und Schwerpunktsetzung, nicht in Fakten oder Entscheidungen. Ein gut konstruierter Relevanz-Prompt sollte am selben Dokument zur gleichen Einschätzung führen, auch wenn zwei Zusammenfassungen desselben Dokuments unterschiedlich klingen.

Der übrige Artikel erklärt in einfachen Worten, warum das so ist.

LLMs sind eine sehr kluge Autovervollständigung

Ein großes Sprachmodell (LLM) ist keine Datenbank, die „die Antwort“ auf Ihre Frage nachschlägt. Im Kern ist es ein System, das darauf trainiert ist, vorherzusagen, welcher Text als Nächstes kommen sollte — jeweils ein kleiner Baustein (ein „Token“, also etwa ein Wort oder Wortteil) auf einmal. Das Glossar von Anthropic beschreibt die eigenen Modelle als „vortrainiert, um das nächste Wort aus dem vorangehenden Textkontext des Dokuments vorherzusagen“ (Anthropic, Glossar).

Ein hilfreiches Denkmodell: Es funktioniert wie die Autovervollständigung auf Ihrem Telefon — nur sagt es das nächste Wort nicht aus den letzten zwei oder drei getippten Wörtern voraus, sondern aus allem, was im Gespräch bisher vorliegt: Ihren Anweisungen, dem Dokument und allem, was es in seiner Antwort bereits geschrieben hat. Dabei greift es auf Muster zurück, die es aus enormen Textmengen gelernt hat. Deshalb kann derselbe Mechanismus eine E-Mail entwerfen, eine Rechtsfrage beantworten oder ein Vernehmungsprotokoll zusammenfassen.

Die wichtige Folge: In jedem Schritt wählt das Modell nicht zwischen „dem richtigen Wort“ und „falschen Wörtern“. Es wählt unter vielen plausiblen nächsten Wörtern, denen jeweils eine Wahrscheinlichkeit zugeordnet ist. „Die Vereinbarung wurde am …“ könnte plausibel mit „März“, „selben“ oder „oder um den“ weitergehen — alles sinnvoll, und jedes führt den Satz in eine leicht andere Richtung.

Woher die Variation kommt

1. Sampling: Das Modell würfelt mit gewichteten Würfeln

Beim Erzeugen von Text nehmen Modelle in der Regel nicht einfach jedes Mal das wahrscheinlichste nächste Wort — das führt zu wiederholendem, gekünsteltem Text. Stattdessen ziehen sie eine Stichprobe aus den plausibelsten Optionen, gewichtet nach Wahrscheinlichkeit. Eine Einstellung namens Temperatur steuert, wie kühn dieses Sampling ausfällt: „Höhere Temperaturen führen zu kreativeren und vielfältigeren Ausgaben … Niedrigere Temperaturen ergeben konservativere und deterministischere Ausgaben“ (Anthropic, Glossar). Google beschreibt denselben Mechanismus für seine Gemini-Modelle, gemeinsam mit verwandten Einstellungen (Top-k, Top-p), die festlegen, welche Wortkandidaten überhaupt in Betracht kommen (Google, Prompting-Leitfaden der Gemini-API).

Durch das Sampling können zwei Läufe derselben Anfrage an jedem Wort auseinandergehen. Und sobald sie auseinandergehen — eine Zusammenfassung beginnt mit den Parteien, die andere mit dem Streitgegenstand —, wird alles Folgende aus einem anderen Kontext vorhergesagt, sodass die beiden Antworten weiter voneinander abdriften.

2. Selbst „deterministische“ Einstellungen sind nicht vollständig deterministisch

Man könnte erwarten, dass identische Ausgaben garantiert sind, wenn man die Zufallseinstellung auf Null setzt. In der Praxis ist das nicht so. Die Dokumentation von OpenAI beschreibt die eigenen Reproduzierbarkeitsfunktionen so, dass Ausgaben „überwiegend einheitlich“ ausfallen, ohne Garantie (OpenAI Cookbook, reproduzierbare Ausgaben). Eine Untersuchung, die fünf große LLMs über acht Aufgaben hinweg mit minimierten Zufallseinstellungen getestet hat, fand dennoch messbare Unterschiede von Lauf zu Lauf und kam zu dem Ergebnis, dass keines der Modelle über alle Aufgaben hinweg „durchgängig wiederholbare … identische Ausgabezeichenfolgen liefert“ (Atil et al., 2024, arXiv).

Warum? Die technischen Gründe liegen tief in der Infrastruktur: Arbeiten von Thinking Machines Lab haben gezeigt, dass ein wesentlicher Grund darin liegt, dass die numerischen Berechnungen in einem KI-Server mikroskopisch unterschiedlich ausfallen können — je nachdem, wie viele Anfragen anderer Nutzender zur selben Zeit auf derselben Hardware verarbeitet werden. Ein mikroskopischer Unterschied in den Wahrscheinlichkeiten kann gelegentlich dazu führen, dass ein anderes Wort gewählt wird (Thinking Machines Lab, „Defeating Nondeterminism in LLM Inference“, 2025).

Sie müssen sich die Mechanik nicht merken. Die Erkenntnis lautet: Identische Eingaben garantieren keine identischen Ausgaben — konstruktionsbedingt und aufgrund der physikalischen Gegebenheiten der Infrastruktur.

3. Winzige Unterschiede in der Eingabe verstärken sich

Zwei Personen stellen eine Frage selten exakt gleich. „Fasse dieses Dokument zusammen“, „Kannst du das zusammenfassen?“ und „Gib mir eine Zusammenfassung“ sind für einen Menschen dieselbe Anfrage — für eine Vorhersage des nächsten Wortes richtet jede davon jedoch einen leicht anderen Kontext ein, was die Wahrscheinlichkeiten für alles Folgende verschiebt. Die Forschung hat festgestellt, dass Modelle überraschend empfindlich schon auf belanglose Formatierungsentscheidungen in einem Prompt reagieren können — Änderungen so gering wie Satzzeichen oder Leerzeichen führten in einigen untersuchten Aufgaben zu Leistungsunterschieden von bis zu 76 Genauigkeitspunkten (Sclar et al., ICLR 2024, arXiv).

4. Die Modelle selbst verändern sich über die Zeit

KI-Anbieter aktualisieren ihre Modelle. Eine Studie von Stanford und der UC Berkeley hat dokumentiert, dass sich derselbe Modelldienst bei denselben Fragen im Abstand von Monaten deutlich anders verhalten konnte (Chen, Zaharia & Zou, 2023, arXiv). „Ich habe letzten Monat dasselbe gefragt und eine andere Antwort erhalten“ kann also auch eine Modellaktualisierung widerspiegeln und nicht nur das Sampling.

Vage Prompts variieren; strukturierte Prompts konvergieren

Hier liegt der praktische Kern der Sache.

„Fasse dieses Dokument zusammen“ ist eine völlig offene Anfrage. Sie sagt nicht, wie lang die Zusammenfassung sein soll, was Vorrang hat, ob der Schwerpunkt auf Parteien, Datumsangaben, Rechtsfragen oder der Erzählung liegen soll, und welches Format zu verwenden ist. Jede dieser unausgesprochenen Entscheidungen bleibt dem oben beschriebenen probabilistischen Verfahren Wort für Wort überlassen. Zwei Läufe treffen diese Mikroentscheidungen unterschiedlich, weshalb zwei Zusammenfassungen desselben Dokuments in Länge, Schwerpunkt, Struktur und Formulierung berechtigt voneinander abweichen können — und dennoch beide zutreffend sind.

Ein strukturierter Prompt engt den Raum zulässiger Antworten ein. Wenn eine Anweisung genau festlegt, welche Frage zu beantworten ist, welche Kriterien gelten, was zu ignorieren ist und welche Form die Antwort haben muss, bleibt den Wort-für-Wort-Entscheidungen des Modells viel weniger Raum, irgendwo anders zu landen. Genau so sind die Relevanz-Prompts in Claira ausgelegt: Sie stellen zu jedem Dokument eine präzise, klar umgrenzte Frage und begrenzen die Form der Antwort. Je enger die Frage gefasst ist, desto stärker verdichtet sich die Wahrscheinlichkeitsverteilung auf eine einzige Antwort — und desto einheitlicher wird die Ausgabe von Lauf zu Lauf.

Was das für die Sichtungsarbeit bedeutet

Zusammenfassungen dürfen variieren. Entscheidungen nicht. Bei binären oder kategorialen Einschätzungen — ist dieses Dokument für die festgelegte Frage relevant, ja oder nein — sollte ein gut konstruierter Prompt am selben Dokument über Läufe und Personen hinweg zur gleichen Entscheidung führen, selbst wenn die begleitende Begründung jedes Mal anders formuliert ist. Der Wortlaut der Begründung ist erzeugter Text (variabel); die Entscheidung ist die Antwort auf eine enge, strukturierte Frage (stabil).

Kippt eine Relevanzentscheidung am selben Dokument zwischen zwei Läufen, behandeln Sie das als Signal, nicht als Rauschen. Meist heißt es, dass das Dokument gemessen an den Kriterien des Prompts ein echter Grenzfall ist oder dass der Prompt eine Mehrdeutigkeit enthält, die nachzuschärfen lohnt. Kippende Entscheidungen sind ein Anlass, die Prompt-Formulierung zu prüfen — anders als unterschiedlich formulierte Zusammenfassungen, die einfach normales Verhalten der Technologie sind.

Zwei unterschiedlich formulierte Antworten können beide richtig sein. Vergleichen Sie Ausgaben nach Inhalt, nicht nach Formulierung. Fragen Sie: Benennen beide Antworten dieselben wesentlichen Fakten? Kommen sie zum gleichen Ergebnis? Abweichende Formulierung bei gleichbleibendem Inhalt ist zu erwarten; abweichender Inhalt ist es, was einen zweiten Blick verdient.

Häufige Fragen

Eine andere Person hat eine andere Zusammenfassung desselben Dokuments erhalten. Wessen Fassung ist richtig?

Sehr wahrscheinlich beide. Prüfen Sie, ob die beiden Zusammenfassungen bei einem Fakt oder einem Ergebnis auseinandergehen. Unterscheiden sie sich nur in Schwerpunkt, Struktur oder Formulierung, ist das gewöhnliche Sampling-Variation. Gehen sie inhaltlich auseinander, sehen Sie sich das Dokument an — und überlegen Sie, ob die gestellte Frage präzise genug war.

Kann man den Zufall nicht einfach abschalten?

Nicht vollständig. Selbst bei den konservativsten Einstellungen kann es aus infrastrukturellen Gründen zu Schwankungen von Lauf zu Lauf kommen (Thinking Machines Lab, 2025; Atil et al., 2024). Wichtiger noch: Eine wortgleiche Ausgabe anzustreben ist meist das falsche Ziel — für die Sichtungsarbeit zählen gleichbleibender Inhalt und gleichbleibende Entscheidungen, erreicht über gut strukturierte Prompts.

Wie erhalte ich einheitlichere Ausgaben?

Formulieren Sie die Anfrage präziser. Sagen Sie, worauf zu achten ist, was auszuschließen ist, wie lang die Antwort sein soll und welches Format zu verwenden ist. Bevorzugen Sie in Claira einen festgelegten, strukturierten Prompt gegenüber spontanen offenen Fragen, wann immer Einheitlichkeit zählt. Siehe Ergebnisse verstehen und den Prompting-Überblick.

Bedeutet Variation, dass die KI unzuverlässig ist?

Nein — sie bedeutet, dass die Ausgabe erzeugt und nicht abgerufen wird. Zuverlässigkeit für Sichtungszwecke entsteht dadurch, dass Sie die Frage so eingrenzen, dass der Raum zulässiger Antworten schmal ist, und anschließend prüfen, dass die Entscheidungen stabil sind. Genau dafür ist strukturiertes Prompting da.

Verwandte Themen

• Ergebnisse verstehen — wie Sie die Ausgaben von Claira lesen, bewerten und nutzen.
• Prompting-Überblick und Eigene Prompts — Prompts schreiben, die die Antwort eingrenzen.
• Relevanz mit Konfidenz — eine strukturierte Relevanzvorlage, die eine stabile Entscheidung samt formulierter Begründung zurückgibt.

Quellen

• Anthropic, Glossar (Temperatur, Vortraining und Token-Vorhersage): platform.claude.com/docs/en/about-claude/glossary
• Google, Gemini-API — Strategien für das Prompt-Design (Temperatur, Top-k, Top-p): ai.google.dev/gemini-api/docs/prompting-strategies
• OpenAI, Cookbook: How to make your completions outputs consistent with the seed parameter: developers.openai.com/cookbook/examples/reproducible_outputs_with_the_seed_parameter
• Thinking Machines Lab, Defeating Nondeterminism in LLM Inference (2025): thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference
• Atil, B., Baldwin, B., et al., Non-Determinism of "Deterministic" LLM Settings (2024), arXiv:2408.04667: arxiv.org/abs/2408.04667
• Sclar, M., Choi, Y., Tsvetkov, Y., Suhr, A., Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design (ICLR 2024), arXiv:2310.11324: arxiv.org/abs/2310.11324
• Chen, L., Zaharia, M., Zou, J., How Is ChatGPT's Behavior Changing over Time? (Stanford / UC Berkeley, 2023), arXiv:2307.09009: arxiv.org/abs/2307.09009

Brauchen Sie Hilfe? Schreiben Sie uns an support@claira.to.