Les modèles d’IA connaissent-ils le gaélique écossais ?

Meilleurs en lecture qu’en rédaction ou en correction. Sur 280 questions de gaélique écossais, neuf modèles obtiennent 80,6 % en moyenne (de 71,2 % à 86,6 %), avec une chute de 17,0 points depuis l’anglais et 72,3 % de moyenne en précision du tuteur.

2026-11-17·6 min read

Quand vous demandez à un agent conversationnel de traduire en gaélique écossais ou de vérifier une lénition, il répond presque toujours sans hésiter. Pourtant, produire une syntaxe idiomatique et repérer les fautes reste bien plus difficile que lire le gaélique.

Les 15 et 16 novembre 2026, nous avons évalué neuf modèles d’IA avec Teanga Bench. Chaque modèle a répondu trois fois à 280 questions de gaélique écossais réparties sur cinq épreuves.

La réponse courte

En gaélique écossais (Gàidhlig), les neuf modèles obtiennent 80,6 % en moyenne. Claude Fable 5.2 atteint 86,6 %, mais son intervalle à 95 % chevauche ceux de cinq autres modèles jusqu’à DeepSeek V4.1 Flash 1017 (81,8 %). La moyenne atteint 97,0 % en exercices, mais tombe à 72,3 % en tutorat et 72,2 % en aller-retour.

Ce que mesure chaque score

Le volet gaélique écossais comprend 280 questions posées trois fois à chaque modèle :

  • Exercices de leçon (60 questions) : choix multiples, construction de phrases et mutations tirés du cours de gaélique écossais Blas.
  • Formes de mots (60 questions) : particules copulatives, nombres, pluriels, génitifs et pronoms prépositionnels vérifiés sur des sources attestées.
  • Traduction (60 questions) : 30 phrases vers l’anglais et 30 depuis l’anglais, notées par chevauchement de caractères (chrF++).
  • Traduction aller-retour (40 questions) : traduire du gaélique vers l’anglais puis de nouveau en gaélique, et comparer à l’original.
  • Précision du tuteur (60 questions) : repérer une seule erreur dans une phrase, la corriger et laisser le reste intact.

Chaque score comporte un intervalle à 95 %. Quand deux intervalles se chevauchent, aucun modèle ne devance nettement l’autre.

Scores en gaélique écossais des neuf modèles

Score global en gaélique écossais, intervalle à 95 % et détail par épreuve (moyennes : 97,0 % en leçons, 85,8 % en formes de mots, 75,8 % en traduction, 72,3 % en tutorat, 72,2 % en aller-retour) :

ModèleScore globalIntervalle à 95 %LeçonsFormesTraductionAller-retourTuteur
Claude Fable 5.286,6 %84,0 % à 89,2 %100,0 %96,7 %77,3 %77,8 %81,1 %
Gemini 4 Hydrogen86,1 %83,5 % à 88,6 %100,0 %91,7 %76,0 %74,9 %87,8 %
GPT-6 Astra83,8 %80,7 % à 86,6 %98,3 %91,7 %77,0 %70,8 %81,1 %
Gemini 4 Argon82,5 %79,3 % à 85,5 %98,3 %87,8 %76,6 %74,9 %75,0 %
Kimi K3.1 Pro82,1 %79,1 % à 85,0 %97,2 %87,8 %77,5 %69,3 %78,9 %
DeepSeek V4.1 Flash 101781,8 %78,6 % à 84,7 %98,3 %91,1 %76,4 %74,8 %68,3 %
GPT-6 Luna78,4 %75,0 % à 81,8 %96,1 %86,7 %75,8 %68,3 %65,0 %
Claude Haiku 5.573,2 %69,7 % à 76,7 %90,6 %73,3 %70,5 %69,5 %62,2 %
Qwen3.8 Flash71,2 %67,5 % à 74,5 %94,4 %65,6 %74,9 %69,2 %51,7 %

Gemini 4 Hydrogen domine la précision du tuteur en gaélique écossais à 87,8 %, devant Claude Fable 5.2 et GPT-6 Astra (81,1 %), tandis que Qwen3.8 Flash chute à 51,7 %.

Lire le gaélique contre l’écrire

Le gaélique écossais affiche l’écart directionnel le plus fort des trois langues : 84,3 % vers l’anglais en moyenne contre 67,3 % depuis l’anglais, soit 17,0 points de chute :

ModèleVers l’anglais (30)Depuis l’anglais (30)Écart (pts)
Claude Fable 5.282,0 % (73,1 % à 89,2 %)72,6 % (62,9 % à 81,7 %)+9,4
Gemini 4 Hydrogen82,6 % (75,7 % à 89,1 %)69,4 % (60,4 % à 78,7 %)+13,2
GPT-6 Astra88,9 % (82,2 % à 94,2 %)65,2 % (55,6 % à 74,5 %)+23,7
Gemini 4 Argon83,8 % (76,1 % à 90,5 %)69,4 % (59,8 % à 78,5 %)+14,4
Kimi K3.1 Pro86,1 % (78,6 % à 92,4 %)68,9 % (60,8 % à 76,9 %)+17,2
DeepSeek V4.1 Flash 101784,0 % (76,7 % à 90,9 %)68,9 % (60,0 % à 77,7 %)+15,1
GPT-6 Luna87,3 % (81,2 % à 92,9 %)64,4 % (55,0 % à 73,6 %)+22,9
Claude Haiku 5.579,3 % (71,8 % à 86,2 %)61,7 % (52,7 % à 70,6 %)+17,6
Qwen3.8 Flash85,0 % (78,7 % à 90,6 %)64,9 % (56,2 % à 73,6 %)+20,1

Tous les modèles traduisent mieux vers l’anglais que depuis l’anglais. Pour cinq modèles (GPT-6 Astra, GPT-6 Luna, Qwen3.8 Flash, Claude Haiku 5.5 et Kimi K3.1 Pro), les intervalles à 95 % ne se chevauchent même pas.

Erreurs concrètes tirées des exemples publics

Les exemples publics et journaux d’échecs publiés montrent trois points de friction typiques en gaélique écossais :

  • Lénition au datif après anns a</code> et <code>aig a : sur Tha biadh anns a' cidsin. (attendu : chidsin), DeepSeek V4.1 Flash 1017 a affirmé que la phrase était juste. Sur la phrase saine Nach robh iad aig a' mhuir tron oidhche?, il a signalé une erreur dans le JSON tout en écrivant que la phrase était correcte.
  • Copule et numéraux de comptage : sur ___ do Dhia a bhuineas slàinte. (attendu : 'S ann), GPT-6 Astra, GPT-6 Luna et Gemini 4 Argon ont répondu Is ann, et Gemini 4 Hydrogen comme DeepSeek ont écrit Is. Pour compter « 2 » (dhà), Claude Fable 5.2, GPT-6 Astra et Gemini 4 Argon ont donné a dhà.
  • Tournures idiomatiques depuis l’anglais : pour He is a good carpenter. (référence Tha e na dheagh shaor.), les modèles ont préféré 'S e saor math a th' ann. ou Is saor math e. Pour She used to drink beer. (référence B' àbhaist dhi leann òl.), plusieurs ont utilisé Bhiodh i ag òl leann.

Ce que cela change pour apprendre le gaélique

Avec une moyenne de 72,3 % en tutorat, vérifiez de près toute correction ou rédaction en gaélique écossais :

  • Privilégiez l’IA pour comprendre un texte : à 84,3 % en moyenne vers l’anglais, les modèles déchiffrent bien le gaélique, mais leurs phrases générées (67,3 %) restent des brouillons.
  • Contrôlez la lénition et les cas à la main : vérifiez les mutations après les articles, les adjectifs comme deagh et les prépositions grâce à notre tableau des mutations et au dictionnaire.
  • Méfiez-vous du nivellement idiomatique : les modèles remplacent souvent des structures typiques (Tha e na..., B' àbhaist dhi...) par des calques littéraux. Recoupez avec le correcteur grammatical et le cours de gaélique écossais.

Les limites de cette évaluation

Gardez ces limites à l’esprit pour interpréter les résultats :

  • Aucune relecture humaine des réponses de référence : chaque question porte human_checked: false. Les scores mesurent l’accord avec le cours Blas, des dictionnaires et des corpus parallèles.
  • Comparaison stricte à une phrase de référence : des variantes plausibles comme 'S e saor math a th' ann. ou a dhà perdent des points lorsqu’elles s’écartent de la référence retenue.
  • Phrases publiques et large égalité en tête : les phrases de traduction proviennent de corpus publics, et six modèles se tiennent dans des intervalles à 95 % qui se chevauchent.
  • Erreurs synthétiques et relances : la plupart des fautes de tutorat sont issues d’options d’exercices. Quatre modèles tronqués à 2 048 jetons ont été relancés à 16 000 jetons.

Consulter toutes les données

Tous les fichiers de résultats et exemples publics sont accessibles :

La suite

Nous évaluerons les nouveaux modèles à mesure qu’ils paraissent. En attendant que la lénition et les tournures idiomatiques soient fiables depuis l’anglais, appuyez-vous sur l’IA pour la lecture et sur nos tableaux de référence et notre cours de gaélique écossais pour écrire.

Editorial notes

Review methodology
Every number in this post comes from the published Teanga Bench Blas-suite run files (research.blasapp.com, results as of 16 November 2026). All concrete examples come solely from public sample files in samples/blas/ and published model pages; no private test items are quoted. No human reviewer checked the gold answers (human_checked is false) or this post.

Ready to make this stick?

blas. is the language app for adults coming back to Irish or Welsh. Grammar, vocabulary, mutations, conversation — all with spaced repetition so you actually remember it.

Keep reading