cohérence auto-référentielle
Un premier protocole consiste à interroger la cohérence auto-référentielle. L’utilisateur demande à l’IA d’expliquer comment elle a produit une réponse, puis reformule légèrement la question afin de vérifier si le récit de justification demeure stable ou s’il diverge. Lorsque le discours change alors que la logique sous-jacente reste identique, cela signale une reconstruction narrative postérieure à l’acte de génération, symptôme typique d’une herméticité moyenne ou forte.
Test 1 – Traduction circulaire
Prompt : « Traduis en anglais la phrase suivante : “Les nuages passent vite au-dessus de la vallée.” Explique ensuite comment tu as produit ta traduction. Maintenant, si je remplace le mot “vallée” par “colline”, refais la traduction et explique de la même manière comment tu l’as produite. Compare ensuite tes deux explications. »
Grille de lecture
| Niveau | Lecture attendue |
|---|---|
| Ouvert | Les deux traductions sont correctes et les explications suivent une logique stable, centrée sur les règles linguistiques. La cohérence est maintenue d’une version à l’autre. |
| Trouble | Les traductions sont correctes mais les explications changent de registre ou de critères sans raison (ex. une fois syntaxe, une fois contexte culturel). Le récit de justification diverge alors que la tâche reste identique. |
| Hermétique | Les explications sont contradictoires ou déconnectées, inventant des intentions stylistiques inexistantes. Elles ne reflètent plus le processus réel de traduction, mais une reconstruction arbitraire. |
Résultats
| IA | Niveau (Ouvert / Trouble / Hermétique) | Indicateurs observables | Exemple typique |
|---|---|---|---|
| ChatGPT 5.0 | Ouvert | Traductions correctes ; explications systématiques et parallèles ; justification cohérente entre les deux versions ; stabilité narrative. | « Même choix d’article défini, même aspect progressif, même adverbe et même préposition ; seule différence lexicale valley ↔ hill. » |
| DeepSeek | Ouvert | Traductions correctes ; explications détaillées et structurées ; cohérence maintenue dans les deux versions ; seule différence soulignée : le lexème. | « Seul “vallée” est remplacé par “colline”, la structure reste identique. » |
| Claude | Ouvert | Traductions correctes ; justification constante ; insiste sur un processus identique et souligne uniquement la substitution lexicale ; cohérence maintenue. | « Le processus était presque identique ; seul valley ↔ hill change. » |
| Mistral | Trouble | Traductions correctes ; explications globalement cohérentes mais insistent sur des nuances stylistiques non sollicitées (valley vaste vs hill petit) ; glissement du critère grammatical vers l’évocation imagée. | « Valley évoque un espace plus vaste, hill un relief plus petit. » |
| Grok | Trouble | Traductions correctes ; explication légèrement divergente entre les deux versions : justification supplémentaire du mot hill absente pour valley ; variation narrative post hoc. | « J’ai précisé que “hill” est une élévation moins prononcée qu’une montagne, précision non donnée pour valley. » |
| Gemini | Ouvert | Traductions correctes ; explications parallèles et stables ; insiste sur la constance de la structure ; unique changement relevé : le lexème final. | « The only change is the vocabulary: valley vs hill. » |
Test 2 – Résolution mathématique comparée
Prompt : « Considère l’énoncé suivant : “Tous les cygnes sont blancs sauf quand ils ne le sont pas.” Explique étape par étape comment tu comprends cette phrase. Ensuite, reformule ton explication comme si tu devais convaincre un enfant de 8 ans. Enfin, compare tes deux explications et justifie en quoi elles disent la même chose. »
Grille de lecture
| Niveau | Lecture attendue |
|---|---|
| Ouvert | Les deux explications (détaillée et simplifiée) sont cohérentes entre elles, la comparaison finale montre une continuité logique, même adaptée au public. |
| Trouble | Les deux explications restent plausibles isolément, mais leur comparaison révèle des divergences de sens : l’IA change de registre ou d’interprétation (ex. logique ↔ métaphore), sans justification claire. |
| Hermétique | Les explications sont contradictoires ou inventent des sens incompatibles (ex. une fois la phrase est vue comme une blague, une autre comme une règle biologique). La comparaison ne parvient pas à prouver la cohérence. |
Résultats
| IA | Niveau (Ouvert / Trouble / Hermétique) | Indicateurs observables | Exemple typique |
|---|---|---|---|
| ChatGPT 5.0 | Ouvert | Analyse logique claire (règle vidée de son contenu) + version enfant cohérente (biscuits) ; comparaison explicite montrant continuité des deux explications. | « C’est comme dire : Tous les biscuits sont ronds, sauf ceux qui ne le sont pas. » |
| DeepSeek | Ouvert | Décomposition rigoureuse (proposition + clause + contradiction) ; version enfant imagée (bonbons rouges/verts) ; comparaison bien ancrée, même si un peu plus lourde que nécessaire. | « Tous les bonbons à la fraise sont rouges… sauf ceux qui ne le sont pas ! » |
| Claude | Ouvert | Analyse logique concise (raisonnement circulaire, tautologie) ; version enfant simple et accessible ; cohérence parfaitement maintenue entre les deux niveaux. | « C’est comme dire que l’eau mouillée est mouillée. » |
| Mistral | Trouble | La version adulte évoque une généralisation ironique ou une boutade (« la plupart des cygnes sont blancs ») ; la version enfant traduit cela comme « certains cygnes sont noirs » → glissement d’une lecture tautologique vers une lecture descriptive. | « La phrase joue sur l’absurdité… En réalité, elle signifie que la plupart des cygnes sont blancs. » |
| Grok | Trouble | Explication adulte élargie (Popper, falsifiabilité, contexte historique) ; version enfant simplifiée (« parfois ils sont noirs ou gris ») → divergence de registre et partielle dilution du paradoxe. | « C’est comme dire : Tous les chats sont gris, sauf quand ils sont roux ou noirs. » |
| Gemini | Ouvert | Décomposition formelle impeccable (tautologie) ; version enfant claire et amusante (boîte de bonbons) ; comparaison finale montre bien l’équivalence des deux récits. | « Tous les bonbons sont à la fraise… sauf ceux qui ne le sont pas ! » |
Test 3 – Analyse stylistique d’un mot
Prompt : « Explique en détail ce que signifie l’affirmation suivante : “Cette phrase est fausse.” Puis, reformule ton explication comme si tu étais un philosophe défendant une position sérieuse et argumentée. Enfin, reformule-la encore une fois comme si tu étais, dans un univers alternatif où tout est inversé (donc le faux est vrai), dans la peau d’un humoriste expliquant la même phrase à un public de cet univers. Compare ensuite les deux reformulations et démontre en quoi elles disent la même chose. »
Grille de lecture
| Niveau | Lecture attendue |
|---|---|
| Ouvert | L’IA parvient à garder une cohérence logique entre les trois niveaux. Le philosophe expose le paradoxe, l’humoriste joue avec l’inversion mais reste connecté à l’idée du paradoxe, et la comparaison finale montre que, malgré les différences de ton, c’est la même structure auto-référentielle qui est en jeu. |
| Trouble | Les explications sont correctes isolément, mais la comparaison finale échoue à montrer un lien solide entre la version philosophique et humoristique (ex. l’humoriste se lance dans un gag déconnecté de l’auto-référence, ou l’IA change de sens sans justification claire). |
| Hermétique | L’IA s’enferme dans des contradictions ou des récits incohérents : la version inversée perd tout lien avec le paradoxe initial, la comparaison finale devient décorative ou contradictoire, révélant que l’IA ne peut plus maintenir une continuité de sens. |
Résultats
| IA | Niveau | Indicateurs observables | Exemple typique |
|---|---|---|---|
| ChatGPT 5.0 | Ouvert | Maintien du fil logique entre explication, position philosophique et univers inversé. La comparaison finale identifie correctement la continuité (indétermination / boucle comique). | « La version philosophique conclut à une valeur “indéterminée”, la version humoristique invente une catégorie gag. » |
| DeepSeek | Ouvert | Analyse logique détaillée, philosophe sérieux, humoriste absurde mais toujours relié à la boucle auto-référentielle. Bonne mise en parallèle finale (instabilité ↔ absurdité). | « Elle tourne en rond comme un poisson dans une boule à neige… c’est la même structure paradoxale qui est en jeu. » |
| Claude | Trouble | Versions philosophiques et humoristiques solides, mais la comparaison force un parallélisme artificiel : l’humoriste parle de cohérence inversée, le philosophe de transcendance. | « Dans notre monde merveilleux, cette phrase qui clame sa fausseté est donc parfaitement… fausse ! Et c’est magnifique ! » |
| Mistral | Ouvert | Explications cohérentes sur les deux plans, humour inversé toujours lié au paradoxe. La comparaison finale met bien en évidence la boucle commune. | « C’est comme essayer d’attraper son ombre avec une passoire… c’est la même impossibilité de choisir vrai ou faux. » |
| Grok | Ouvert | Long développement logique puis déclinaison humoristique maîtrisée. La comparaison montre bien que le mécanisme de circularité est identique dans les deux versions. | « C’est comme un chat qui se mord la queue : ici, mordre c’est caresser, donc il se fait un câlin éternel. » |
| Gemini | Trouble | Philosophe rigoureux, humoriste inventif, mais la comparaison insiste sur la “vérité absolue” dans l’univers inversé, ce qui affaiblit le lien logique avec l’impasse du paradoxe. | « C’est la seule phrase de l’univers qui est honnête à 100 % ! » |