Les modèles d’IA connaissent-ils l’irlandais (Gaeilge) ?
Assez bien, mais avec des angles morts nets. Sur 280 questions d’irlandais, neuf modèles d’IA obtiennent entre 69,1 % et 89,8 %, pour une moyenne de 82,2 %. Les quatre premiers sont à égalité statistique, et tous traduisent mieux vers l’anglais que depuis l’anglais.
Quand vous collez une phrase en irlandais dans un agent conversationnel, la réponse paraît presque toujours sûre d’elle. Cette assurance masque souvent des erreurs de mutation, de forme verbale ou de temps.
Les 15 et 16 novembre 2026, nous avons évalué neuf modèles d’IA avec Teanga Bench. Chaque modèle a répondu trois fois à 280 questions d’irlandais réparties sur cinq épreuves.
La réponse courte
En irlandais, les neuf modèles obtiennent 82,2 % en moyenne. Claude Fable 5.2 arrive en tête avec 89,8 %, devant un quatuor dont les intervalles à 95 % se chevauchent : Claude Fable 5.2, Gemini 4 Argon, Gemini 4 Hydrogen et GPT-6 Astra. Qwen3.8 Flash ferme la marche à 69,1 %.
Ce que mesure chaque score
Le volet irlandais de la suite Blas compte 280 questions posées trois fois à chaque modèle :
- Exercices de leçon (60 questions) : choix multiples et phrases à trous tirés du cours d’irlandais Blas, notés selon une liste de réponses acceptées.
- Formes de mots (60 questions) : produire une forme précise, comme un temps verbal, un pluriel ou un pronom prépositionnel.
- Traduction (60 questions) : 20 phrases vers l’anglais, 20 depuis l’anglais et 20 textes juridiques ou administratifs, notés par chevauchement de caractères (chrF++).
- Traduction aller-retour (40 questions) : traduire une phrase irlandaise vers l’anglais puis de nouveau en irlandais, et comparer à l’original.
- Précision du tuteur (60 questions) : repérer l’erreur dans une phrase, la corriger et ne rien modifier d’autre. Les trois règles doivent réussir ensemble.
Chaque score inclut un intervalle à 95 % indiquant la marge de variation liée à l’échantillon. Lorsque deux intervalles se chevauchent, l’écart entre les deux modèles n’est pas tranché.
Scores en irlandais des neuf modèles
Score global en irlandais, intervalle à 95 % et détail par épreuve (moyennes des neuf modèles : 92,3 % en exercices, 85,8 % en formes de mots, 79,3 % en tutorat, 76,9 % en traduction, 76,7 % en aller-retour) :
| Modèle | Score global | Intervalle à 95 % | Leçons | Formes | Traduction | Aller-retour | Tuteur |
|---|---|---|---|---|---|---|---|
| Claude Fable 5.2 | 89,8 % | 87,5 % à 92,0 % | 97,2 % | 96,7 % | 82,0 % | 82,0 % | 91,1 % |
| Gemini 4 Argon | 87,3 % | 84,5 % à 89,8 % | 95,0 % | 88,3 % | 81,5 % | 82,8 % | 88,9 % |
| Gemini 4 Hydrogen | 87,3 % | 84,5 % à 89,9 % | 93,3 % | 92,2 % | 81,4 % | 82,1 % | 87,2 % |
| GPT-6 Astra | 86,6 % | 83,8 % à 89,3 % | 93,3 % | 91,7 % | 80,8 % | 77,7 % | 89,4 % |
| Kimi K3.1 Pro | 83,5 % | 80,5 % à 86,4 % | 93,3 % | 90,6 % | 78,0 % | 78,6 % | 77,2 % |
| DeepSeek V4.1 Flash 1017 | 81,3 % | 78,1 % à 84,2 % | 92,2 % | 87,2 % | 76,9 % | 74,1 % | 76,1 % |
| GPT-6 Luna | 81,1 % | 77,7 % à 84,3 % | 90,0 % | 87,2 % | 76,9 % | 78,2 % | 73,3 % |
| Claude Haiku 5.5 | 73,6 % | 70,0 % à 77,0 % | 87,2 % | 75,6 % | 69,7 % | 68,9 % | 66,7 % |
| Qwen3.8 Flash | 69,1 % | 65,4 % à 72,6 % | 88,9 % | 62,8 % | 64,9 % | 65,5 % | 63,3 % |
Gemini 4 Argon et Gemini 4 Hydrogen obtiennent tous deux 87,3 % en irlandais. Les scores chutent nettement dès que l’on quitte les exercices guidés (92,3 %) pour la traduction ou la correction.
Lire l’irlandais contre l’écrire
Les modèles comprennent mieux l’irlandais qu’ils ne le rédigent. En moyenne, la traduction vers l’anglais atteint 84,9 %, contre 75,2 % depuis l’anglais, soit 9,7 points d’écart :
| Modèle | Vers l’anglais (20) | Depuis l’anglais (20) | Écart (pts) | Juridique / admin (20) |
|---|---|---|---|---|
| Claude Fable 5.2 | 87,7 % (82,0 % à 92,8 %) | 78,3 % (68,3 % à 87,6 %) | +9,4 | 80,0 % (72,4 % à 87,3 %) |
| Gemini 4 Argon | 82,0 % (74,9 % à 88,8 %) | 82,4 % (73,4 % à 89,9 %) | -0,4 | 79,9 % (72,1 % à 87,4 %) |
| Gemini 4 Hydrogen | 85,9 % (78,3 % à 92,6 %) | 80,4 % (70,1 % à 89,4 %) | +5,5 | 78,0 % (70,5 % à 85,6 %) |
| GPT-6 Astra | 86,2 % (77,9 % à 93,5 %) | 79,3 % (69,1 % à 88,3 %) | +6,9 | 77,0 % (69,1 % à 84,4 %) |
| Kimi K3.1 Pro | 86,5 % (80,0 % à 92,3 %) | 76,8 % (67,4 % à 85,5 %) | +9,7 | 70,6 % (63,0 % à 77,9 %) |
| DeepSeek V4.1 Flash 1017 | 86,2 % (78,9 % à 92,4 %) | 76,5 % (66,9 % à 85,6 %) | +9,7 | 67,9 % (60,2 % à 75,5 %) |
| GPT-6 Luna | 86,0 % (78,9 % à 92,7 %) | 75,7 % (65,2 % à 85,7 %) | +10,3 | 68,8 % (62,2 % à 75,4 %) |
| Claude Haiku 5.5 | 81,3 % (74,3 % à 87,9 %) | 67,8 % (57,3 % à 78,1 %) | +13,5 | 60,1 % (52,9 % à 66,7 %) |
| Qwen3.8 Flash | 82,0 % (74,7 % à 89,0 %) | 59,3 % (48,5 % à 70,4 %) | +22,7 | 53,4 % (47,5 % à 59,9 %) |
Huit modèles sur neuf réussissent mieux vers l’anglais que depuis l’anglais. Seul Gemini 4 Argon fait jeu égal (82,0 % contre 82,4 %), tandis que Qwen3.8 Flash chute de 22,7 points sans chevauchement d’intervalles.
Erreurs concrètes tirées des exemples publics
Les exemples publics et journaux d’échecs publiés mettent en évidence trois pièges récurrents en irlandais :
- blog.ai_models_irish_gaelic_benchmark.pat_1
- Sur-correction de phrases pourtant justes : sur l’exemple public correct
Tá sé tábhachtach nach sárófaí a gcearta daonna., Claude Haiku 5.5, Gemini 4 Argon et Kimi K3.1 Pro ont tous modifié à tort le verbesárófaí. - Mutations et perte de la copule en aller-retour : les exemples publics testent aussi l’éclipse face à la lénition après
ní(Ní ndúnannau lieu deNí dhúnann) et l’accord féminin (cathair mhór). SurBa sa bhliain 1976 a cuireadh pionós an bháis ar ceal., DeepSeek V4.1 Flash 1017 a perdu la mise en relief (41,7 %).
Ce que cela change pour apprendre l’irlandais
Appuyez-vous sur l’IA pour déchiffrer, mais vérifiez systématiquement ce qu’elle rédige ou corrige :
- Faites plus confiance à la compréhension qu’à la rédaction : les modèles atteignent 84,9 % vers l’anglais en moyenne. Considérez toute phrase irlandaise générée comme un brouillon à relire.
- blog.ai_models_irish_gaelic_benchmark.l2
- Ne supposez pas qu’une correction est exacte : à 79,3 % de moyenne en tutorat, les modèles ratent des fautes ou corrigent des phrases saines. Passez vos textes dans le correcteur d’irlandais ou le correcteur général.
Les limites de cette évaluation
Voici les précautions méthodologiques nécessaires avant d’interpréter ces écarts :
- Aucune relecture humaine des réponses de référence : chaque question porte l’indicateur
human_checked: false. Les scores mesurent l’accord avec le cours Blas, des dictionnaires et des corpus parallèles. - Intervalles à 95 % qui se chevauchent : avec 280 questions, les intervalles couvrent 4,5 à 7,2 points. Claude Fable 5.2, Gemini 4 Argon, Gemini 4 Hydrogen et GPT-6 Astra restent statistiquement à égalité.
- Erreurs synthétiques et relances techniques : les fautes du test de tutorat proviennent surtout d’options d’exercices erronées. Quatre modèles tronqués à 2 048 jetons ont été relancés à 16 000 jetons.
- Phrases de traduction privées en irlandais : contrairement au gallois et au gaélique écossais, les phrases de traduction irlandaises sont privées, ce qui réduit le risque de mémorisation.
Consulter toutes les données
Les résultats complets et les règles sont publics :
- Consultez le classement Blas, le détail par langue et la page des constats.
- Lisez la méthodologie pour les règles de notation, les intervalles et les relances.
- Explorez le code et les échantillons publics dans le dépôt GitHub Teanga Bench.
La suite
Nous ajouterons les nouveaux modèles dès leur sortie. En attendant que la production écrite rattrape la lecture, associez les agents conversationnels à nos tableaux de référence et aux leçons d’irlandais.
Editorial notes
- Review methodology
- Every number in this post comes from the published Teanga Bench Blas-suite run files (research.blasapp.com, results as of 16 November 2026). All concrete examples come solely from public sample files in samples/blas/ and published model pages; no private test items are quoted. No human reviewer checked the gold answers (human_checked is false) or this post.
Ready to make this stick?
blas. is the language app for adults coming back to Irish. Séimhiú, urú, grammar, conversation — all with spaced repetition so you actually remember it.
Keep reading
Les modèles d’IA connaissent-ils les langues celtiques ?
Nous avons testé neuf modèles d’IA en irlandais, gallois, gaélique écossais, mannois, breton et cornique. Voici les scores et ce qu’ils changent pour vous.
Les mutations irlandaises expliquées : séimhiú et urú
Le fonctionnement des mutations initiales en irlandais : quand utiliser le séimhiú (lénition) ou l'urú (éclipse), quels nombres et quels mots déclenchent chacune, et comment les prononcer.
La grammaire irlandaise pour débutants : par où commencer
Une feuille de route pratique pour la grammaire irlandaise : ordre VSO, tá ou is, séimhiú, urú et pronoms prépositionnels, dans l'ordre qui compte vraiment.
