Les modèles d’IA connaissent-ils les langues celtiques ?
Assez bien, mais pas assez pour s’y fier sans vérifier. Lors de ce premier tour, neuf modèles d’IA ont obtenu entre 61,6 % et 86,1 % à des tests tirés d’un cours de langue. Le mannois était la langue la plus difficile, et les modèles traduisent mieux vers l’anglais que depuis l’anglais.
De nombreux apprenants demandent aujourd’hui de l’aide à un agent conversationnel pour l’irlandais, le gallois ou une autre des six langues celtiques. Les réponses sont-elles souvent justes ? Nous avons conçu un test ouvert pour le savoir, et nous l’avons passé à neuf modèles d’IA les 15 et 16 novembre 2026.
Ce test s’appelle Teanga Bench. Teanga est le mot irlandais pour « langue ». Il ne s’agit pas de BlasBench, notre autre banc d’essai, consacré à la reconnaissance vocale de l’irlandais. Teanga Bench mesure si les modèles d’IA savent faire le travail d’un tuteur de langue.
La réponse courte
Le meilleur modèle obtient 86,1 % au score global, le plus faible 61,6 %. Les trois premiers sont à égalité : nous ne pouvons pas dire lequel est le meilleur. En moyenne, le gallois était la langue la plus facile et le mannois la plus difficile.
Ce que nous avons testé
La suite Blas compte cinq tests et 1 500 questions. Chaque question a été posée trois fois. Elles viennent du cours Blas, de dictionnaires et de textes parallèles publiés. Aucune réponse n’a été écrite par un modèle de langage.
- Exercices de leçon : des questions de cours de langue, comme les choix multiples et les phrases à compléter.
- Formes de mots : donner une forme d’un mot, par exemple un temps verbal ou un pluriel.
- Traduction : traduire une phrase vers la langue ou depuis la langue.
- Traduction aller-retour : traduire une phrase dans une autre langue, puis la retraduire, et la comparer à l’original.
- Précision du tuteur : repérer l’erreur dans une phrase, la corriger et ne rien changer d’autre. Ce test ne couvre que l’irlandais, le gallois et le gaélique écossais.
Des règles fixes notent les scores, par exemple une liste de réponses acceptées ou la proximité d’une traduction avec une référence. Deux modèles juges évaluent les explications du tuteur, et nous présentons ces notes à part.
Chaque score est accompagné d’un intervalle à 95 %. Il montre de combien le score pourrait varier par hasard, puisque nous n’avons posé qu’un échantillon de questions. Quand deux intervalles se chevauchent, les modèles ne sont pas nettement différents.
Ce que nous avons constaté
Score global de chaque modèle à la suite Blas, avec son intervalle à 95 % :
| Modèle | Score global | Intervalle à 95 % |
|---|---|---|
| Claude Fable 5.2 | 86,1 % | 84,9 % à 87,3 % |
| Gemini 4 Hydrogen | 84,4 % | 83,1 % à 85,6 % |
| GPT-6 Astra | 83,6 % | 82,3 % à 84,9 % |
| Gemini 4 Argon | 81,9 % | 80,5 % à 83,3 % |
| DeepSeek V4.1 Flash 1017 | 79,2 % | 77,7 % à 80,7 % |
| Kimi K3.1 Pro | 78,4 % | 76,9 % à 79,9 % |
| GPT-6 Luna | 75,6 % | 73,9 % à 77,2 % |
| Claude Haiku 5.5 | 67,1 % | 65,3 % à 68,9 % |
| Qwen3.8 Flash | 61,6 % | 59,8 % à 63,4 % |
- Les trois premiers sont à égalité. Claude Fable 5.2 a le score le plus élevé, mais son intervalle chevauche ceux de Gemini 4 Hydrogen et de GPT-6 Astra.
- Le mannois est le plus difficile, le gallois le plus facile. Il s’agit de la moyenne des neuf modèles.
- Les modèles traduisent mieux vers l’anglais que depuis l’anglais. C’est vrai pour les neuf, et l’écart est net pour sept d’entre eux.
- Corriger l’erreur est le point faible d’un tuteur. En moyenne, les modèles obtiennent 77,7 % pour corriger l’erreur, et 84,7 % pour laisser le reste de la phrase intact.
- Une bonne réponse peut coûter environ 51 fois plus cher avec un modèle qu’avec un autre. Pour 1 000 bonnes réponses, le coût va de 0,22 $ US pour GPT-6 Luna à 11,49 $ US pour Gemini 4 Hydrogen. C’est le prix via OpenRouter les jours du test, pas le prix d’un abonnement à un agent conversationnel.
Nous menons une seconde suite, Tonada, qui teste le tutorat en anglais pour des apprenants dont la langue maternelle est le portugais, l’espagnol, le vietnamien ou le japonais. Chacun des neuf modèles y a obtenu un meilleur score que sur la suite Blas. Les deux suites utilisent des tests différents : la comparaison est donc approximative, pas exacte.
Ce que cela change si vous apprenez avec l’IA
Ces conseils restent prudents. Nos tests utilisent de courtes questions vérifiables. Ils ne montrent pas comment un modèle se comporte dans une longue conversation.
- Voyez l’IA comme une aide, pas comme le dernier mot. Même le meilleur modèle a obtenu 86,1 %, et le plus faible 61,6 %. Vérifiez ce qui compte dans un dictionnaire, un cours ou auprès d’un locuteur.
- Soyez le plus prudent avec le mannois. C’était la langue la plus difficile pour les modèles.
- Soyez plus prudent quand le modèle écrit la langue que quand il la lit. La traduction vers l’anglais était meilleure que depuis l’anglais. Considérez un texte écrit pour vous par un modèle comme un brouillon.
- Ne croyez pas qu’une correction a fonctionné. Les modèles étaient les plus faibles pour corriger l’erreur dans la phrase d’un apprenant : vérifiez que la faute a bien disparu.
- Le choix du modèle compte. Les modèles qui ont les meilleurs scores étaient aussi plus constants quand on leur posait trois fois la même question.
Les limites
Il s’agit d’un premier tour, et il a des limites claires :
- Personne n’a relu les questions. Les réponses viennent de sources, et certaines seront fausses. Un score mesure l’accord avec le contenu du cours et les sources, pas avec une norme validée par des experts.
- Les erreurs du test de tutorat ne sont pas de vraies erreurs d’apprenants. La plupart viennent d’une mauvaise option d’un exercice de cours, glissée dans une phrase.
- Seules les phrases de traduction en irlandais sont des textes privés. Les autres langues utilisent des phrases publiques que les modèles ont peut-être déjà vues.
- Lors des premières passes, les réponses longues de quatre modèles ont été coupées. Nous avons reposé ces questions avec une limite plus haute, et la page de méthodologie le consigne.
Tout consulter
Les résultats et la méthode sont publics :
- Le site des résultats montre chaque modèle à chaque test, avec des analyses sur sa page des constats.
- La page de méthodologie explique comment les questions sont construites et notées.
- Le dépôt GitHub contient le code, les règles de notation et 20 exemples par test, sous licence Apache-2.0. Les jeux complets restent privés pour que les modèles ne puissent pas s’y entraîner.
La suite
Nous testerons les nouveaux modèles à mesure qu’ils sortent. Les sites de résultats se mettent à jour automatiquement : revenez-y pour voir les derniers scores.
Editorial notes
- Review methodology
- Every number in this post is copied from the published Teanga Bench results (research.blasapp.com and research.tonadaapp.com, as of 16 November 2026). The authoring AI agent and the orchestrating AI session checked each number against the published results files. No person has reviewed the post or the benchmark items, and no outside review is claimed. The post contains no sentences in a Celtic language.
Ready to make this stick?
blas. is the language app for adults coming back to Irish or Welsh. Grammar, vocabulary, mutations, conversation — all with spaced repetition so you actually remember it.
Keep reading
Les 6 langues celtiques et comment elles se comparent
Irlandais, gallois, gaélique écossais, breton, cornique et mannois : nombre de locuteurs, partage goidélique/brittonique, intercompréhension et ce qui distingue chacune.
Construire un assistant de rédaction pour les langues celtiques
Comment l'extension blas. lit ce que vous tapez, pourquoi l'irlandais et le gallois exigent leurs propres règles, ce qui s'exécute sur votre appareil, et là où le vérificateur se trompe encore.
Test de l'application blas. en 2026 : ce qu'elle fait, et ce qu'elle ne fait pas
Un test honnête de blas., l'application de langues celtiques pour l'irlandais, le gallois, le gaélique écossais, le breton, le cornique et le mannois. Ce qu'elle couvre, ce qu'elle ne fait pas, à qui elle s'adresse, et si elle vaut votre temps.
