Pourquoi vous pourriez ne pas obtenir deux fois la même réponse

Si deux personnes posent à Claira (ou à tout outil d'IA fondé sur un grand modèle de langage) la même question sur le même document, elles peuvent obtenir des réponses formulées différemment — et parfois structurées différemment aussi. C'est un comportement normal et attendu pour cette catégorie de technologie, non un dysfonctionnement ni le signe qu'une réponse serait « fausse ».

En bref

Les points essentiels à retenir :

• Les modèles de langage génèrent du texte de manière probabiliste : une certaine variation d'une exécution à l'autre est intrinsèque à leur fonctionnement.
• Les demandes vagues et ouvertes (comme « résume ce document ») laissent beaucoup de place à la variation. Les instructions précises et structurées (comme les prompts de pertinence de Claira) en laissent très peu.
• La variation touche la formulation et l'accent mis, pas les faits ni les décisions. Un prompt de pertinence bien construit devrait produire la même décision sur le même document, même si deux résumés de ce document se lisent différemment.

Le reste de cet article explique pourquoi, en termes simples.

Les LLM sont une autocomplétion très intelligente

Un grand modèle de langage (LLM) n'est pas une base de données qui « cherche la réponse » à votre question. À la base, c'est un système entraîné à prédire quel texte devrait venir ensuite, un petit fragment (un « jeton », soit environ un mot ou une partie de mot) à la fois — le glossaire d'Anthropic décrit ses propres modèles comme « préentraînés à prédire le mot suivant à partir du contexte de texte précédent dans le document » (Anthropic, Glossaire).

Un modèle mental utile : cela fonctionne comme l'autocomplétion de votre téléphone, sauf qu'au lieu de prédire le mot suivant à partir des deux ou trois derniers mots que vous avez tapés, il le prédit à partir de tout ce qui figure dans la conversation jusque-là — vos instructions, le document et tout ce qu'il a déjà écrit dans sa réponse — en s'appuyant sur des motifs appris à partir d'une immense quantité de texte. C'est pourquoi le même mécanisme sous-jacent peut rédiger un courriel, répondre à une question juridique ou résumer la transcription d'un interrogatoire.

La conséquence importante : à chaque étape, le modèle ne choisit pas entre « le bon mot » et « les mauvais mots ». Il choisit parmi de nombreux mots suivants plausibles, chacun assorti d'une probabilité. « La convention a été signée le… » pourrait plausiblement se poursuivre par « mars », « le » ou « vers » — tous raisonnables, chacun menant la phrase vers un endroit légèrement différent.

D'où vient la variation

1. Échantillonnage : le modèle lance des dés pondérés

Lorsqu'ils génèrent du texte, les modèles ne retiennent généralement pas simplement le mot suivant le plus probable à chaque fois — le faire tend à produire un texte répétitif et guindé. Ils échantillonnent plutôt parmi les options les plus plausibles, pondérées par leur probabilité. Un réglage appelé température contrôle l'audace de cet échantillonnage : « Des températures plus élevées produisent des sorties plus créatives et variées… Des températures plus basses donnent des sorties plus conservatrices et déterministes » (Anthropic, Glossaire). Google décrit le même mécanisme pour ses modèles Gemini, aux côtés de réglages connexes (top-k, top-p) qui déterminent quels mots candidats sont même en lice (Google, guide de prompting de l'API Gemini).

En raison de l'échantillonnage, deux exécutions de la même demande peuvent diverger à n'importe quel mot. Et une fois qu'elles divergent — un résumé s'ouvre sur les parties, l'autre sur le litige — tout ce qui suit est prédit à partir d'un contexte différent, de sorte que les deux réponses continuent de s'écarter l'une de l'autre.

2. Même les réglages « déterministes » ne le sont pas totalement

On pourrait s'attendre à ce que mettre le réglage d'aléatoire à zéro garantisse des sorties identiques. En pratique, ce n'est pas le cas. La documentation d'OpenAI décrit ses fonctions de reproductibilité comme rendant les sorties « surtout cohérentes », sans garantie (OpenAI Cookbook, sorties reproductibles). Une étude testant cinq grands LLM sur huit tâches, avec tous les réglages d'aléatoire minimisés, a tout de même constaté des différences mesurables d'une exécution à l'autre, concluant qu'aucun des modèles « ne fournit systématiquement des chaînes de sortie identiques et reproductibles » sur l'ensemble des tâches (Atil et al., 2024, arXiv).

Pourquoi ? Les raisons techniques sont enfouies dans la tuyauterie : des travaux de Thinking Machines Lab ont montré qu'un coupable majeur est que les calculs numériques à l'intérieur d'un serveur d'IA peuvent aboutir à des résultats microscopiquement différents selon le nombre de requêtes d'autres utilisateurs traitées sur le même matériel au même moment — et une différence microscopique de probabilités peut occasionnellement faire basculer le mot retenu (Thinking Machines Lab, « Defeating Nondeterminism in LLM Inference », 2025).

Vous n'avez pas besoin de retenir la mécanique. Ce qu'il faut retenir : une entrée identique ne garantit pas une sortie identique, par conception et par la physique même de l'infrastructure.

3. De minuscules différences dans l'entrée s'accumulent

Deux personnes posent rarement une question exactement de la même façon. « Résume ce document », « Peux-tu résumer ceci ? » et « Donne-moi un résumé » constituent la même demande pour un humain — mais pour un prédicteur de mot suivant, chacune installe un contexte légèrement différent, ce qui décale les probabilités de tout ce qui suit. La recherche universitaire a constaté que les modèles peuvent être étonnamment sensibles même à des choix de mise en forme anodins dans un prompt — des changements aussi minimes que la ponctuation ou les espaces ont produit des écarts de performance allant jusqu'à 76 points de précision sur certaines tâches évaluées (Sclar et al., ICLR 2024, arXiv).

4. Les modèles eux-mêmes évoluent avec le temps

Les fournisseurs d'IA mettent à jour leurs modèles. Une étude de Stanford et UC Berkeley a documenté qu'un même service de modèle, interrogé sur les mêmes questions à des mois d'intervalle, pouvait se comporter de façon substantiellement différente (Chen, Zaharia et Zou, 2023, arXiv). Ainsi, « j'ai posé la même question le mois dernier et j'ai obtenu une réponse différente » peut aussi refléter une mise à jour du modèle, et pas seulement l'échantillonnage.

Les prompts vagues varient ; les prompts structurés convergent

Voici le cœur pratique de la question.

« Résume ce document » est une demande grande ouverte. Elle ne précise pas la longueur du résumé, ce qu'il faut prioriser, s'il faut se concentrer sur les parties, les dates, les questions juridiques ou le récit, ni le format à utiliser. Chacune de ces décisions non énoncées est laissée au processus probabiliste, mot par mot, décrit plus haut. Deux exécutions prendront ces micro-décisions différemment ; deux résumés du même document peuvent donc légitimement différer en longueur, en accent, en structure et en formulation — tout en étant tous deux exacts.

Un prompt structuré referme l'espace des réponses acceptables. Lorsqu'une instruction précise exactement à quelle question répondre, quels critères appliquer, quoi ignorer et quel format la réponse doit prendre, il reste bien moins de place pour que les choix mot à mot du modèle mènent ailleurs. C'est précisément ainsi que sont conçus les prompts de pertinence dans Claira : ils posent une question précise et bien définie sur chaque document et contraignent la forme de la réponse. Plus la question est étroite, plus la distribution de probabilités se resserre sur une seule réponse — et plus la sortie devient cohérente d'une exécution à l'autre.

Ce que cela signifie pour la révision

Les résumés peuvent varier. Pas les décisions. Pour les déterminations binaires ou catégorielles — ce document est-il pertinent pour la question définie, oui ou non — un prompt bien construit devrait donner la même décision sur le même document d'une exécution à l'autre et d'un utilisateur à l'autre, même lorsque l'explication qui accompagne cette décision est formulée différemment à chaque fois. La formulation du raisonnement est du texte généré (variable) ; la décision est la réponse à une question étroite et structurée (stable).

Si une décision de pertinence bascule d'une exécution à l'autre sur le même document, traitez cela comme un signal, pas comme du bruit. Cela signifie généralement que le document est un véritable cas limite au regard des critères du prompt, ou que le prompt comporte une ambiguïté qu'il vaut la peine de resserrer. Les décisions qui basculent sont un problème de rédaction du prompt à examiner — contrairement aux résumés formulés différemment, qui ne sont que la technologie se comportant normalement.

Deux réponses formulées différemment peuvent toutes deux être justes. Lorsque vous comparez des sorties, comparez le fond, pas la formulation. Demandez-vous : les deux réponses relèvent-elles les mêmes faits clés ? Aboutissent-elles à la même conclusion ? Une formulation divergente avec un fond cohérent est attendue ; c'est un fond divergent qui mérite un second regard.

Foire aux questions

Quelqu'un a obtenu un résumé différent du même document. Lequel est le bon ?

Très probablement les deux. Vérifiez si les deux résumés sont en désaccord sur un fait ou une conclusion. S'ils ne diffèrent que par l'accent, la structure ou la formulation, il s'agit d'une variation d'échantillonnage ordinaire. S'ils divergent sur le fond, examinez le document — et demandez-vous si la question posée était assez précise.

Ne peut-on pas simplement désactiver l'aléatoire ?

Pas entièrement. Même aux réglages les plus conservateurs, une variation d'une exécution à l'autre peut survenir pour des raisons d'infrastructure (Thinking Machines Lab, 2025 ; Atil et al., 2024). Plus important encore, chercher une sortie identique mot pour mot est généralement le mauvais objectif — un fond et des décisions cohérents, obtenus grâce à des prompts bien structurés, voilà l'objectif qui compte pour la révision.

Comment obtenir des sorties plus cohérentes ?

Rendez la demande plus précise. Indiquez sur quoi se concentrer, quoi exclure, la longueur attendue de la réponse et le format à utiliser. Dans Claira, préférez faire passer les documents par un prompt défini et structuré plutôt que par des questions ouvertes improvisées chaque fois que la cohérence importe. Voir Comprendre les résultats et la Vue d'ensemble des prompts.

La variation signifie-t-elle que l'IA n'est pas fiable ?

Non — elle signifie que la sortie est générée plutôt que récupérée. La fiabilité, aux fins de la révision, vient du fait de contraindre la question pour que l'espace des réponses acceptables soit étroit, puis de valider que les décisions sont stables. C'est à cela que sert le prompting structuré.

Voir aussi

• Comprendre les résultats — comment lire, évaluer et agir sur la sortie de Claira.
• Vue d'ensemble des prompts et Prompts personnalisés — rédiger des prompts qui contraignent la réponse.
• Pertinence avec confiance — un modèle de pertinence structuré qui renvoie une décision stable assortie d'une justification rédigée.

Références

• Anthropic, Glossaire (température, préentraînement et prédiction de jetons) : platform.claude.com/docs/en/about-claude/glossary
• Google, API Gemini — Stratégies de conception de prompts (température, top-k, top-p) : ai.google.dev/gemini-api/docs/prompting-strategies
• OpenAI, Cookbook : How to make your completions outputs consistent with the seed parameter : developers.openai.com/cookbook/examples/reproducible_outputs_with_the_seed_parameter
• Thinking Machines Lab, Defeating Nondeterminism in LLM Inference (2025) : thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference
• Atil, B., Baldwin, B., et al., Non-Determinism of "Deterministic" LLM Settings (2024), arXiv:2408.04667 : arxiv.org/abs/2408.04667
• Sclar, M., Choi, Y., Tsvetkov, Y., Suhr, A., Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design (ICLR 2024), arXiv:2310.11324 : arxiv.org/abs/2310.11324
• Chen, L., Zaharia, M., Zou, J., How Is ChatGPT's Behavior Changing over Time? (Stanford / UC Berkeley, 2023), arXiv:2307.09009 : arxiv.org/abs/2307.09009

Besoin d'aide ? Contactez-nous à support@claira.to.