Les modèles d’IA connaissent-ils le gaélique écossais ?
Meilleurs en lecture qu’en rédaction ou en correction. Sur 280 questions de gaélique écossais, neuf modèles obtiennent 80,6 % en moyenne (de 71,2 % à 86,6 %), avec une chute de 17,0 points depuis l’anglais et 72,3 % de moyenne en précision du tuteur.
Quand vous demandez à un agent conversationnel de traduire en gaélique écossais ou de vérifier une lénition, il répond presque toujours sans hésiter. Pourtant, produire une syntaxe idiomatique et repérer les fautes reste bien plus difficile que lire le gaélique.
Les 15 et 16 novembre 2026, nous avons évalué neuf modèles d’IA avec Teanga Bench. Chaque modèle a répondu trois fois à 280 questions de gaélique écossais réparties sur cinq épreuves.
La réponse courte
En gaélique écossais (Gàidhlig), les neuf modèles obtiennent 80,6 % en moyenne. Claude Fable 5.2 atteint 86,6 %, mais son intervalle à 95 % chevauche ceux de cinq autres modèles jusqu’à DeepSeek V4.1 Flash 1017 (81,8 %). La moyenne atteint 97,0 % en exercices, mais tombe à 72,3 % en tutorat et 72,2 % en aller-retour.
Ce que mesure chaque score
Le volet gaélique écossais comprend 280 questions posées trois fois à chaque modèle :
- Exercices de leçon (60 questions) : choix multiples, construction de phrases et mutations tirés du cours de gaélique écossais Blas.
- Formes de mots (60 questions) : particules copulatives, nombres, pluriels, génitifs et pronoms prépositionnels vérifiés sur des sources attestées.
- Traduction (60 questions) : 30 phrases vers l’anglais et 30 depuis l’anglais, notées par chevauchement de caractères (chrF++).
- Traduction aller-retour (40 questions) : traduire du gaélique vers l’anglais puis de nouveau en gaélique, et comparer à l’original.
- Précision du tuteur (60 questions) : repérer une seule erreur dans une phrase, la corriger et laisser le reste intact.
Chaque score comporte un intervalle à 95 %. Quand deux intervalles se chevauchent, aucun modèle ne devance nettement l’autre.
Scores en gaélique écossais des neuf modèles
Score global en gaélique écossais, intervalle à 95 % et détail par épreuve (moyennes : 97,0 % en leçons, 85,8 % en formes de mots, 75,8 % en traduction, 72,3 % en tutorat, 72,2 % en aller-retour) :
| Modèle | Score global | Intervalle à 95 % | Leçons | Formes | Traduction | Aller-retour | Tuteur |
|---|---|---|---|---|---|---|---|
| Claude Fable 5.2 | 86,6 % | 84,0 % à 89,2 % | 100,0 % | 96,7 % | 77,3 % | 77,8 % | 81,1 % |
| Gemini 4 Hydrogen | 86,1 % | 83,5 % à 88,6 % | 100,0 % | 91,7 % | 76,0 % | 74,9 % | 87,8 % |
| GPT-6 Astra | 83,8 % | 80,7 % à 86,6 % | 98,3 % | 91,7 % | 77,0 % | 70,8 % | 81,1 % |
| Gemini 4 Argon | 82,5 % | 79,3 % à 85,5 % | 98,3 % | 87,8 % | 76,6 % | 74,9 % | 75,0 % |
| Kimi K3.1 Pro | 82,1 % | 79,1 % à 85,0 % | 97,2 % | 87,8 % | 77,5 % | 69,3 % | 78,9 % |
| DeepSeek V4.1 Flash 1017 | 81,8 % | 78,6 % à 84,7 % | 98,3 % | 91,1 % | 76,4 % | 74,8 % | 68,3 % |
| GPT-6 Luna | 78,4 % | 75,0 % à 81,8 % | 96,1 % | 86,7 % | 75,8 % | 68,3 % | 65,0 % |
| Claude Haiku 5.5 | 73,2 % | 69,7 % à 76,7 % | 90,6 % | 73,3 % | 70,5 % | 69,5 % | 62,2 % |
| Qwen3.8 Flash | 71,2 % | 67,5 % à 74,5 % | 94,4 % | 65,6 % | 74,9 % | 69,2 % | 51,7 % |
Gemini 4 Hydrogen domine la précision du tuteur en gaélique écossais à 87,8 %, devant Claude Fable 5.2 et GPT-6 Astra (81,1 %), tandis que Qwen3.8 Flash chute à 51,7 %.
Lire le gaélique contre l’écrire
Le gaélique écossais affiche l’écart directionnel le plus fort des trois langues : 84,3 % vers l’anglais en moyenne contre 67,3 % depuis l’anglais, soit 17,0 points de chute :
| Modèle | Vers l’anglais (30) | Depuis l’anglais (30) | Écart (pts) |
|---|---|---|---|
| Claude Fable 5.2 | 82,0 % (73,1 % à 89,2 %) | 72,6 % (62,9 % à 81,7 %) | +9,4 |
| Gemini 4 Hydrogen | 82,6 % (75,7 % à 89,1 %) | 69,4 % (60,4 % à 78,7 %) | +13,2 |
| GPT-6 Astra | 88,9 % (82,2 % à 94,2 %) | 65,2 % (55,6 % à 74,5 %) | +23,7 |
| Gemini 4 Argon | 83,8 % (76,1 % à 90,5 %) | 69,4 % (59,8 % à 78,5 %) | +14,4 |
| Kimi K3.1 Pro | 86,1 % (78,6 % à 92,4 %) | 68,9 % (60,8 % à 76,9 %) | +17,2 |
| DeepSeek V4.1 Flash 1017 | 84,0 % (76,7 % à 90,9 %) | 68,9 % (60,0 % à 77,7 %) | +15,1 |
| GPT-6 Luna | 87,3 % (81,2 % à 92,9 %) | 64,4 % (55,0 % à 73,6 %) | +22,9 |
| Claude Haiku 5.5 | 79,3 % (71,8 % à 86,2 %) | 61,7 % (52,7 % à 70,6 %) | +17,6 |
| Qwen3.8 Flash | 85,0 % (78,7 % à 90,6 %) | 64,9 % (56,2 % à 73,6 %) | +20,1 |
Tous les modèles traduisent mieux vers l’anglais que depuis l’anglais. Pour cinq modèles (GPT-6 Astra, GPT-6 Luna, Qwen3.8 Flash, Claude Haiku 5.5 et Kimi K3.1 Pro), les intervalles à 95 % ne se chevauchent même pas.
Erreurs concrètes tirées des exemples publics
Les exemples publics et journaux d’échecs publiés montrent trois points de friction typiques en gaélique écossais :
- Lénition au datif après
anns a</code> et <code>aig a: surTha biadh anns a' cidsin.(attendu :chidsin), DeepSeek V4.1 Flash 1017 a affirmé que la phrase était juste. Sur la phrase saineNach robh iad aig a' mhuir tron oidhche?, il a signalé une erreur dans le JSON tout en écrivant que la phrase était correcte. - Copule et numéraux de comptage : sur
___ do Dhia a bhuineas slàinte.(attendu :'S ann), GPT-6 Astra, GPT-6 Luna et Gemini 4 Argon ont réponduIs ann, et Gemini 4 Hydrogen comme DeepSeek ont écritIs. Pour compter « 2 » (dhà), Claude Fable 5.2, GPT-6 Astra et Gemini 4 Argon ont donnéa dhà. - Tournures idiomatiques depuis l’anglais : pour
He is a good carpenter.(référenceTha e na dheagh shaor.), les modèles ont préféré'S e saor math a th' ann.ouIs saor math e.PourShe used to drink beer.(référenceB' àbhaist dhi leann òl.), plusieurs ont utiliséBhiodh i ag òl leann.
Ce que cela change pour apprendre le gaélique
Avec une moyenne de 72,3 % en tutorat, vérifiez de près toute correction ou rédaction en gaélique écossais :
- Privilégiez l’IA pour comprendre un texte : à 84,3 % en moyenne vers l’anglais, les modèles déchiffrent bien le gaélique, mais leurs phrases générées (67,3 %) restent des brouillons.
- Contrôlez la lénition et les cas à la main : vérifiez les mutations après les articles, les adjectifs comme
deaghet les prépositions grâce à notre tableau des mutations et au dictionnaire. - Méfiez-vous du nivellement idiomatique : les modèles remplacent souvent des structures typiques (
Tha e na...,B' àbhaist dhi...) par des calques littéraux. Recoupez avec le correcteur grammatical et le cours de gaélique écossais.
Les limites de cette évaluation
Gardez ces limites à l’esprit pour interpréter les résultats :
- Aucune relecture humaine des réponses de référence : chaque question porte
human_checked: false. Les scores mesurent l’accord avec le cours Blas, des dictionnaires et des corpus parallèles. - Comparaison stricte à une phrase de référence : des variantes plausibles comme
'S e saor math a th' ann.oua dhàperdent des points lorsqu’elles s’écartent de la référence retenue. - Phrases publiques et large égalité en tête : les phrases de traduction proviennent de corpus publics, et six modèles se tiennent dans des intervalles à 95 % qui se chevauchent.
- Erreurs synthétiques et relances : la plupart des fautes de tutorat sont issues d’options d’exercices. Quatre modèles tronqués à 2 048 jetons ont été relancés à 16 000 jetons.
Consulter toutes les données
Tous les fichiers de résultats et exemples publics sont accessibles :
- Explorez le classement Blas, le détail par langue et la page des constats.
- Lisez la méthodologie pour les règles de notation et les relances.
- Consultez le code et les échantillons publics dans le dépôt GitHub Teanga Bench.
La suite
Nous évaluerons les nouveaux modèles à mesure qu’ils paraissent. En attendant que la lénition et les tournures idiomatiques soient fiables depuis l’anglais, appuyez-vous sur l’IA pour la lecture et sur nos tableaux de référence et notre cours de gaélique écossais pour écrire.
Editorial notes
- Review methodology
- Every number in this post comes from the published Teanga Bench Blas-suite run files (research.blasapp.com, results as of 16 November 2026). All concrete examples come solely from public sample files in samples/blas/ and published model pages; no private test items are quoted. No human reviewer checked the gold answers (human_checked is false) or this post.
Ready to make this stick?
blas. is the language app for adults coming back to Irish or Welsh. Grammar, vocabulary, mutations, conversation — all with spaced repetition so you actually remember it.
Keep reading
Les modèles d’IA connaissent-ils les langues celtiques ?
Nous avons testé neuf modèles d’IA en irlandais, gallois, gaélique écossais, mannois, breton et cornique. Voici les scores et ce qu’ils changent pour vous.
Grammaire du gaélique écossais : par où commencer
Bases de la grammaire du gaélique écossais : verbe en tête, tha ou is, lénition, article et pronoms prépositionnels, avec exemples sourcés.
Irlandais et gaélique écossais : quelle est vraiment la différence ?
Mêmes racines, langues différentes. Comparaison côte à côte de l'orthographe, de la prononciation, de la grammaire et du vocabulaire. Et : les locuteurs se comprennent-ils ?
