Les modèles d’IA connaissent-ils l’irlandais (Gaeilge) ?

Assez bien, mais avec des angles morts nets. Sur 280 questions d’irlandais, neuf modèles d’IA obtiennent entre 69,1 % et 89,8 %, pour une moyenne de 82,2 %. Les quatre premiers sont à égalité statistique, et tous traduisent mieux vers l’anglais que depuis l’anglais.

Gaeilge2026-11-17·6 min read

Quand vous collez une phrase en irlandais dans un agent conversationnel, la réponse paraît presque toujours sûre d’elle. Cette assurance masque souvent des erreurs de mutation, de forme verbale ou de temps.

Les 15 et 16 novembre 2026, nous avons évalué neuf modèles d’IA avec Teanga Bench. Chaque modèle a répondu trois fois à 280 questions d’irlandais réparties sur cinq épreuves.

La réponse courte

En irlandais, les neuf modèles obtiennent 82,2 % en moyenne. Claude Fable 5.2 arrive en tête avec 89,8 %, devant un quatuor dont les intervalles à 95 % se chevauchent : Claude Fable 5.2, Gemini 4 Argon, Gemini 4 Hydrogen et GPT-6 Astra. Qwen3.8 Flash ferme la marche à 69,1 %.

Ce que mesure chaque score

Le volet irlandais de la suite Blas compte 280 questions posées trois fois à chaque modèle :

  • Exercices de leçon (60 questions) : choix multiples et phrases à trous tirés du cours d’irlandais Blas, notés selon une liste de réponses acceptées.
  • Formes de mots (60 questions) : produire une forme précise, comme un temps verbal, un pluriel ou un pronom prépositionnel.
  • Traduction (60 questions) : 20 phrases vers l’anglais, 20 depuis l’anglais et 20 textes juridiques ou administratifs, notés par chevauchement de caractères (chrF++).
  • Traduction aller-retour (40 questions) : traduire une phrase irlandaise vers l’anglais puis de nouveau en irlandais, et comparer à l’original.
  • Précision du tuteur (60 questions) : repérer l’erreur dans une phrase, la corriger et ne rien modifier d’autre. Les trois règles doivent réussir ensemble.

Chaque score inclut un intervalle à 95 % indiquant la marge de variation liée à l’échantillon. Lorsque deux intervalles se chevauchent, l’écart entre les deux modèles n’est pas tranché.

Scores en irlandais des neuf modèles

Score global en irlandais, intervalle à 95 % et détail par épreuve (moyennes des neuf modèles : 92,3 % en exercices, 85,8 % en formes de mots, 79,3 % en tutorat, 76,9 % en traduction, 76,7 % en aller-retour) :

ModèleScore globalIntervalle à 95 %LeçonsFormesTraductionAller-retourTuteur
Claude Fable 5.289,8 %87,5 % à 92,0 %97,2 %96,7 %82,0 %82,0 %91,1 %
Gemini 4 Argon87,3 %84,5 % à 89,8 %95,0 %88,3 %81,5 %82,8 %88,9 %
Gemini 4 Hydrogen87,3 %84,5 % à 89,9 %93,3 %92,2 %81,4 %82,1 %87,2 %
GPT-6 Astra86,6 %83,8 % à 89,3 %93,3 %91,7 %80,8 %77,7 %89,4 %
Kimi K3.1 Pro83,5 %80,5 % à 86,4 %93,3 %90,6 %78,0 %78,6 %77,2 %
DeepSeek V4.1 Flash 101781,3 %78,1 % à 84,2 %92,2 %87,2 %76,9 %74,1 %76,1 %
GPT-6 Luna81,1 %77,7 % à 84,3 %90,0 %87,2 %76,9 %78,2 %73,3 %
Claude Haiku 5.573,6 %70,0 % à 77,0 %87,2 %75,6 %69,7 %68,9 %66,7 %
Qwen3.8 Flash69,1 %65,4 % à 72,6 %88,9 %62,8 %64,9 %65,5 %63,3 %

Gemini 4 Argon et Gemini 4 Hydrogen obtiennent tous deux 87,3 % en irlandais. Les scores chutent nettement dès que l’on quitte les exercices guidés (92,3 %) pour la traduction ou la correction.

Lire l’irlandais contre l’écrire

Les modèles comprennent mieux l’irlandais qu’ils ne le rédigent. En moyenne, la traduction vers l’anglais atteint 84,9 %, contre 75,2 % depuis l’anglais, soit 9,7 points d’écart :

ModèleVers l’anglais (20)Depuis l’anglais (20)Écart (pts)Juridique / admin (20)
Claude Fable 5.287,7 % (82,0 % à 92,8 %)78,3 % (68,3 % à 87,6 %)+9,480,0 % (72,4 % à 87,3 %)
Gemini 4 Argon82,0 % (74,9 % à 88,8 %)82,4 % (73,4 % à 89,9 %)-0,479,9 % (72,1 % à 87,4 %)
Gemini 4 Hydrogen85,9 % (78,3 % à 92,6 %)80,4 % (70,1 % à 89,4 %)+5,578,0 % (70,5 % à 85,6 %)
GPT-6 Astra86,2 % (77,9 % à 93,5 %)79,3 % (69,1 % à 88,3 %)+6,977,0 % (69,1 % à 84,4 %)
Kimi K3.1 Pro86,5 % (80,0 % à 92,3 %)76,8 % (67,4 % à 85,5 %)+9,770,6 % (63,0 % à 77,9 %)
DeepSeek V4.1 Flash 101786,2 % (78,9 % à 92,4 %)76,5 % (66,9 % à 85,6 %)+9,767,9 % (60,2 % à 75,5 %)
GPT-6 Luna86,0 % (78,9 % à 92,7 %)75,7 % (65,2 % à 85,7 %)+10,368,8 % (62,2 % à 75,4 %)
Claude Haiku 5.581,3 % (74,3 % à 87,9 %)67,8 % (57,3 % à 78,1 %)+13,560,1 % (52,9 % à 66,7 %)
Qwen3.8 Flash82,0 % (74,7 % à 89,0 %)59,3 % (48,5 % à 70,4 %)+22,753,4 % (47,5 % à 59,9 %)

Huit modèles sur neuf réussissent mieux vers l’anglais que depuis l’anglais. Seul Gemini 4 Argon fait jeu égal (82,0 % contre 82,4 %), tandis que Qwen3.8 Flash chute de 22,7 points sans chevauchement d’intervalles.

Erreurs concrètes tirées des exemples publics

Les exemples publics et journaux d’échecs publiés mettent en évidence trois pièges récurrents en irlandais :

  • blog.ai_models_irish_gaelic_benchmark.pat_1
  • Sur-correction de phrases pourtant justes : sur l’exemple public correct Tá sé tábhachtach nach sárófaí a gcearta daonna., Claude Haiku 5.5, Gemini 4 Argon et Kimi K3.1 Pro ont tous modifié à tort le verbe sárófaí.
  • Mutations et perte de la copule en aller-retour : les exemples publics testent aussi l’éclipse face à la lénition après ní (Ní ndúnann au lieu de Ní dhúnann) et l’accord féminin (cathair mhór). Sur Ba sa bhliain 1976 a cuireadh pionós an bháis ar ceal., DeepSeek V4.1 Flash 1017 a perdu la mise en relief (41,7 %).

Ce que cela change pour apprendre l’irlandais

Appuyez-vous sur l’IA pour déchiffrer, mais vérifiez systématiquement ce qu’elle rédige ou corrige :

  • Faites plus confiance à la compréhension qu’à la rédaction : les modèles atteignent 84,9 % vers l’anglais en moyenne. Considérez toute phrase irlandaise générée comme un brouillon à relire.
  • blog.ai_models_irish_gaelic_benchmark.l2
  • Ne supposez pas qu’une correction est exacte : à 79,3 % de moyenne en tutorat, les modèles ratent des fautes ou corrigent des phrases saines. Passez vos textes dans le correcteur d’irlandais ou le correcteur général.

Les limites de cette évaluation

Voici les précautions méthodologiques nécessaires avant d’interpréter ces écarts :

  • Aucune relecture humaine des réponses de référence : chaque question porte l’indicateur human_checked: false. Les scores mesurent l’accord avec le cours Blas, des dictionnaires et des corpus parallèles.
  • Intervalles à 95 % qui se chevauchent : avec 280 questions, les intervalles couvrent 4,5 à 7,2 points. Claude Fable 5.2, Gemini 4 Argon, Gemini 4 Hydrogen et GPT-6 Astra restent statistiquement à égalité.
  • Erreurs synthétiques et relances techniques : les fautes du test de tutorat proviennent surtout d’options d’exercices erronées. Quatre modèles tronqués à 2 048 jetons ont été relancés à 16 000 jetons.
  • Phrases de traduction privées en irlandais : contrairement au gallois et au gaélique écossais, les phrases de traduction irlandaises sont privées, ce qui réduit le risque de mémorisation.

Consulter toutes les données

Les résultats complets et les règles sont publics :

La suite

Nous ajouterons les nouveaux modèles dès leur sortie. En attendant que la production écrite rattrape la lecture, associez les agents conversationnels à nos tableaux de référence et aux leçons d’irlandais.

Editorial notes

Review methodology
Every number in this post comes from the published Teanga Bench Blas-suite run files (research.blasapp.com, results as of 16 November 2026). All concrete examples come solely from public sample files in samples/blas/ and published model pages; no private test items are quoted. No human reviewer checked the gold answers (human_checked is false) or this post.

Ready to make this stick?

blas. is the language app for adults coming back to Irish. Séimhiú, urú, grammar, conversation — all with spaced repetition so you actually remember it.

Keep reading