Les modèles d’IA connaissent-ils le gallois (Cymraeg) ?

Le gallois est la langue celtique la mieux maîtrisée du banc d’essai, avec 85,1 % en moyenne sur neuf modèles. Les scores vont de 69,9 % à 91,5 %, avec quatre modèles à égalité en tête, mais les agents manquent encore des mutations douces et nasales.

Cymraeg2026-11-17·6 min read

Quand vous soumettez une phrase galloise à un agent conversationnel, la réponse paraît souvent fluide. Pourtant, les mutations après les prépositions, les nombres ou la particule yn continuent de piéger les modèles.

Les 15 et 16 novembre 2026, nous avons testé neuf modèles d’IA avec Teanga Bench. Chaque modèle a répondu trois fois à 280 questions de gallois réparties sur cinq épreuves.

La réponse courte

Le gallois obtient la meilleure moyenne des six langues celtiques sur la suite Blas, à 85,1 %. Claude Fable 5.2 mène à 91,5 %, à égalité statistique avec Gemini 4 Hydrogen (89,4 %), GPT-6 Astra (89,2 %) et Gemini 4 Argon (88,2 %). Qwen3.8 Flash obtient 69,9 %.

Ce que mesure chaque score

Le volet gallois comporte 280 questions posées trois fois à chaque modèle :

  • Exercices de leçon (60 questions) : choix multiples et phrases à trous du cours de gallois Blas, notés selon les réponses acceptées.
  • Formes de mots (60 questions) : pluriels, pronoms prépositionnels, nombres et formes verbales littéraires vérifiés sur des références attestées.
  • Traduction (60 questions) : 20 phrases vers l’anglais, 20 depuis l’anglais et 20 textes juridiques ou administratifs, notés par chevauchement de caractères (chrF++).
  • Traduction aller-retour (40 questions) : traduire le gallois vers l’anglais puis de nouveau en gallois, et mesurer la fidélité à la phrase de départ.
  • Précision du tuteur (60 questions) : repérer une faute unique dans une phrase, la corriger et ne rien changer d’autre.

Chaque score s’accompagne d’un intervalle à 95 % reflétant l’incertitude d’échantillonnage. Des intervalles qui se chevauchent indiquent une égalité statistique.

Scores en gallois des neuf modèles

Score global en gallois, intervalle à 95 % et notes par épreuve (moyennes des neuf modèles : 95,9 % en leçons, 89,6 % en formes de mots, 81,3 % en tutorat, 80,5 % en aller-retour, 78,3 % en traduction) :

ModèleScore globalIntervalle à 95 %LeçonsFormesTraductionAller-retourTuteur
Claude Fable 5.291,5 %89,4 % à 93,4 %98,9 %97,8 %83,8 %83,6 %93,3 %
Gemini 4 Hydrogen89,4 %87,1 % à 91,6 %100,0 %95,0 %79,1 %83,6 %89,4 %
GPT-6 Astra89,2 %87,0 % à 91,2 %96,7 %100,0 %80,8 %79,6 %88,9 %
Gemini 4 Argon88,2 %85,7 % à 90,5 %99,4 %91,1 %79,8 %82,4 %88,3 %
DeepSeek V4.1 Flash 101786,7 %84,1 % à 89,1 %96,1 %96,1 %76,3 %81,0 %83,9 %
Kimi K3.1 Pro85,0 %82,4 % à 87,6 %95,6 %92,2 %78,9 %76,9 %81,7 %
GPT-6 Luna83,5 %80,6 % à 86,2 %94,4 %90,0 %77,9 %79,5 %75,6 %
Claude Haiku 5.582,7 %79,8 % à 85,5 %91,7 %90,0 %77,1 %83,0 %71,7 %
Qwen3.8 Flash69,9 %66,4 % à 73,4 %90,6 %53,9 %70,7 %75,3 %58,9 %

Gemini 4 Hydrogen atteint 100,0 % aux exercices de leçon et GPT-6 Astra 100,0 % aux formes de mots. En tutorat, la note tombe toutefois à 58,9 % pour le modèle le plus faible.

Lire le gallois contre l’écrire

Le gallois présente l’écart directionnel le plus faible des trois langues : 77,4 % vers l’anglais en moyenne contre 73,3 % depuis l’anglais, soit 4,1 points :

ModèleVers l’anglais (20)Depuis l’anglais (20)Écart (pts)Juridique / admin (20)
Claude Fable 5.281,5 % (71,9 % à 89,8 %)78,9 % (70,9 % à 86,4 %)+2,690,9 % (85,9 % à 95,3 %)
Gemini 4 Hydrogen76,5 % (67,7 % à 84,5 %)74,2 % (65,6 % à 81,7 %)+2,486,7 % (80,0 % à 92,7 %)
GPT-6 Astra80,5 % (70,9 % à 88,9 %)74,4 % (66,7 % à 81,5 %)+6,287,5 % (81,9 % à 92,6 %)
Gemini 4 Argon78,4 % (69,2 % à 86,3 %)73,0 % (64,3 % à 80,7 %)+5,488,0 % (82,2 % à 93,1 %)
DeepSeek V4.1 Flash 101776,3 % (67,5 % à 84,2 %)70,5 % (61,9 % à 78,4 %)+5,882,2 % (75,8 % à 87,9 %)
Kimi K3.1 Pro78,0 % (67,8 % à 86,8 %)74,1 % (66,0 % à 81,6 %)+3,984,5 % (78,7 % à 89,9 %)
GPT-6 Luna77,0 % (67,0 % à 86,2 %)74,3 % (65,4 % à 82,0 %)+2,782,3 % (76,6 % à 87,8 %)
Claude Haiku 5.576,8 % (67,2 % à 85,4 %)72,8 % (63,8 % à 81,0 %)+4,081,9 % (75,1 % à 88,2 %)
Qwen3.8 Flash71,8 % (62,5 % à 80,3 %)67,3 % (61,7 % à 72,6 %)+4,573,0 % (66,8 % à 79,0 %)

Tous les modèles réussissent un peu mieux vers l’anglais que depuis l’anglais, mais leurs intervalles à 95 % se chevauchent dans chaque cas. Les textes juridiques et administratifs obtiennent les scores les plus hauts (73,0 % à 90,9 %).

Erreurs concrètes tirées des exemples publics

Les exemples publics et journaux d’échecs publiés montrent trois faiblesses typiques en gallois :

  • Mutations douces et nasales oubliées : sur Cafodd ei anghofio gan pawb. (qui exige gan bawb), GPT-6 Luna n’a signalé aucune erreur, écrivant même gan bawb dans son explication tout en laissant gan pawb intact. Il a aussi manqué la mutation nasale dans am bum mlynedd.
  • Réécriture complète d’une phrase focalisée : sur y llyfr mae ar y bwrdd (attendu : y llyfr sydd ar y bwrdd), Gemini 4 Hydrogen et Kimi K3.1 Pro ont réécrit toute la structure en VSO (mae'r llyfr ar y bwrdd) au lieu de remplacer mae par sydd.
  • Sur-corrections et fautes ignorées : GPT-6 Astra a rejeté à tort la phrase saine Pleidlais, felly, ar welliant 12.. Sur GGeiriadur termau ... a Owain, Claude Fable 5.2 a changé a en ac sans toucher à la coquille GGeiriadur.

Ce que cela change pour apprendre le gallois

Le gallois est la langue celtique la mieux soutenue par l’IA, à condition de contrôler les mutations et la syntaxe :

  • blog.ai_models_welsh_language_benchmark.l1
  • Surveillez les réécritures silencieuses : lorsqu’un modèle corrige une phrase focalisée ou relative, vérifiez qu’il a bien corrigé la faute sans modifier votre ordre des mots.
  • Validez les corrections avant de les retenir : même les meilleurs modèles plafonnent entre 88,3 % et 93,3 % en tutorat. Vérifiez vos phrases dans le correcteur de gallois ou le correcteur général.

Les limites de cette évaluation

Voici les limites méthodologiques à garder en tête :

  • Aucune relecture humaine des réponses de référence : chaque question porte human_checked: false. Les notes mesurent l’accord avec le cours Blas, des dictionnaires et des corpus parallèles.
  • Textes gallois issus de corpus publics : les phrases de traduction et d’aller-retour en gallois proviennent de textes publics déjà visibles lors du pré-entraînement.
  • Égalité statistique en tête : Claude Fable 5.2, Gemini 4 Hydrogen, GPT-6 Astra et Gemini 4 Argon ont des intervalles à 95 % qui se chevauchent en gallois.
  • Erreurs synthétiques et relances : les fautes de tutorat viennent surtout d’options erronées d’exercices. Quatre modèles coupés à 2 048 jetons ont été relancés à 16 000 jetons.

Consulter toutes les données

Les résultats et les exemples publics sont ouverts :

La suite

Nous testerons les prochains modèles dès leur sortie. Pour progresser sans mémoriser de fausses mutations, associez la lecture assistée par IA à nos tableaux de référence et au cours de gallois.

Editorial notes

Review methodology
Every number in this post comes from the published Teanga Bench Blas-suite run files (research.blasapp.com, results as of 16 November 2026). All concrete examples come solely from public sample files in samples/blas/ and published model pages; no private test items are quoted. No human reviewer checked the gold answers (human_checked is false) or this post.

Ready to make this stick?

blas. is the language app for adults coming back to Welsh. Treigladau, grammar, conversation — all with spaced repetition so you actually remember it.

Keep reading