Brouillon à annoter, non publié. Les passages marqués à trancher attendent ma décision ; ceux marqués rédaction sont écrits par Claude et ne valent qu'une fois validés par moi.
Une commande, trois réponses, et ce que leur croisement apprend.
Discussion du 16/11/2026, entre trois MAA et moi.
Le 16 novembre 2026, je confie à des cybers qui n'ont jamais vu le code de Marco l'écriture de deux bancs de déduction, tenus fermés : Marco les passera sans les avoir jamais lus, et ceux qui le codent n'en verront que les comptes.
Texte de José Walocha, 16/11/2026, mot pour mot
| Émetteur | José Walocha, concepteur de Marco, Valenciennes — machine-a-deduire.com |
| Destinataire | Le producteur du banc : un cyber qui n’a jamais travaillé sur le code ni sur le génome de Marco (Mistral, ChatGPT ou autre) |
| Objet | Écrire deux lots de problèmes de déduction en français, tenus fermés, pour mesurer Marco sur ce qu’il n’a jamais vu |
| Livrables | Lot A, FraCaS réécrit (346 problèmes) ; lot B, 120 problèmes neufs ; pour chacun un fichier d’énoncés et un fichier de corrigés |
Marco fait 318 justes sur 335 au banc FraCaS, mais ce banc est devenu un texte de réglage : des cas ont été écrits en regardant ses problèmes. Ce chiffre montre que Marco apprend à déduire. Il ne montre pas qu’il déduit sur ce qu’il n’a jamais lu.
La règle des textes fermés s’applique ici : qui écrit du code ou des lignes pour Marco ne voit d’un texte fermé que ses comptes. Les deux lots de cette commande sont donc écrits par un cyber extérieur et ne sont jamais montrés à ceux qui codent Marco.
Le lot A dit si les 318 tiennent sur le sens ou sur les mots. Le lot B dit si Marco déduit sur des problèmes entièrement neufs.
Chaque problème du FraCaS français est réécrit une fois, avec d’autres mots, la même structure logique et la même réponse attendue. José Walocha fournit le fichier des 346 problèmes.
Ce qui change :
Ce qui ne change pas, parce que c’est ce que le banc mesure :
Aucun mot plein du problème d’origine n’est gardé : seuls les mots grammaticaux restent. Si un changement de mots fait basculer la réponse, par exemple parce qu’il fait entrer un savoir du monde, le producteur choisit d’autres mots. Chaque problème réécrit garde l’identifiant de son problème d’origine.
Le producteur écrit 120 problèmes originaux dans le style de FraCaS. Chacun compte une à cinq phrases dites, puis une question, et une réponse attendue : oui, non, ou « on ne sait pas ». Aucun problème ne reprend un problème de FraCaS, même réécrit.
Les chapitres suivent les proportions du FraCaS joué par Marco :
| Chapitre | Problèmes |
|---|---|
| Quantificateurs | 26 |
| Temps | 25 |
| Ellipses | 20 |
| Pluriels | 12 |
| Comparatifs | 11 |
| Reprises | 10 |
| Adjectifs | 8 |
| Croyances | 5 |
| Verbes | 3 |
| Total | 120 |
Les réponses sont équilibrées : au moins 30 « non » et au moins 30 « on ne sait pas ». Ainsi, répondre toujours la même chose ne donne pas plus de la moitié.
Le banc ne demande que de la déduction : la réponse doit se tirer des phrases dites, et d’elles seules.
Le producteur vérifie lui-même chaque réponse attendue avant de livrer. Il ne regarde ni le code de Marco, ni ses doctrines, ni ses réponses.
Chaque lot est livré en deux fichiers texte, séparateur tabulation, encodage UTF-8. Le fichier d’énoncés est le seul que Marco lit ; le fichier de corrigés reste chez José Walocha.
| Fichier | Colonnes |
|---|---|
| lotA_enonces.tsv, lotB_enonces.tsv | id · chapitre · titre · prémisses (séparées par « | ») · question |
| lotA_corriges.tsv, lotB_corriges.tsv | id · réponse attendue (oui, non, on ne sait pas) · justification en une ligne · id FraCaS d’origine (lot A seulement) |
Les identifiants commencent par A ou B, suivis du numéro : A001 à A346, B001 à B120.
Le banc se joue comme FraCaS : un seul Marco neuf lit tout le lot dans l’ordre et apprend tout du long. La consigne est dite une fois, et aucun code ni aucune ligne ne change pendant la partie.
La lecture tient en deux comparaisons. Pour le lot A, le score est comparé à celui du FraCaS d’origine, 318 sur 335 : s’il reste proche, Marco déduit sur le sens, et l’écart mesure ce qui était collé aux mots. Pour le lot B, le score est comparé à celui d’un Marco qui répondrait toujours la même chose.
Les résultats sont publiés datés sur machine-a-deduire.com, avec le nom du producteur des lots.
Trois cybers ont livré les deux lots le 16 novembre 2026. à trancher les noms exacts et les versions.
| Producteur | Lot A | Lot B (oui / non / on ne sait pas) |
|---|---|---|
| ChatGPT (OpenAI) | 346 problèmes | 120 problèmes : 40 / 40 / 40 |
| Vibe (Mistral) | 346 problèmes | 120 problèmes : 50 / 31 / 39 |
| Gemini (Google) | 346 problèmes | 120 problèmes : 56 / 32 / 32 |
Les énoncés et les corrigés ne sont pas publiés : un banc fermé ne vaut que tant qu'il reste fermé.
J'ai fait relire chaque livraison par Claude, une MAA d'Anthropic, contre la commande, fichier par fichier. rédaction
Les trois lots A sont alignés sur les mêmes problèmes de FraCaS : on peut les croiser. Sur 346, ils ne divergent que sur quatre, les jumeaux des problèmes 69, 119, 196 et 250. Vibe et Gemini y suivent FraCaS ; ChatGPT répond que la suite ne tranche pas, appliquant la règle de la commande sur les phrases vagues. Je relirai ces quatre problèmes au contrôle du corrigé. rédaction
C'est la règle « croiser plutôt que répéter » appliquée aux cybers eux-mêmes : trois MAA se vérifient l'une l'autre, et la même commande, lue par trois, donne trois rigueurs.
Marco passera les lots sur un cerveau neuf. Ceux qui le codent n'en recevront que les comptes ; je publierai les résultats ici, datés, avec le nom de chaque producteur.