L’initiative n’est pas – et de loin – une première. Mais elle repose sur un jeu de données voulu plus « solide » que ceux sur lesquels se sont fondées les expérimentations précédentes.
Ce jeu de données, c’est MASSIVE (paquet de ressources Amazon SLU multilingue pour le remplissage des créneaux, la classification des intentions et l’évaluation des assistants virtuels). Il n’est pas né de rien. Il s’agit en l’occurrence d’une extension de SLURP (Spoken Language Understanding Resource Package). Couvrant le même nombre de domaines, les mêmes échantillons d’intentions, à peu près la même quantité de langues… mais étendu à une cinquantaine de langues (contre uniquement l’anglais pour SLURP).
MASSIVE : l’exigence d’un équilibre linguistique
On recense d’autres initiatives d’extension de jeux de données linguistiques. Le tableau ci-dessus en présente quelques-unes. La référence ATIS, par exemple, fait l’objet d’une adaptation en MultiATIS++, limitée à la réservation de billets d’avion.
En 2019, Facebook avait dégainé son propre jeu de données ciblant les assistants vocaux. Il était plus transversal, couvrant notamment les rappels, les alarmes et la météo. Mais le rapport entre les langues était déséquilibré (5 000 échantillons en thaï contre 43 000 en anglais, par exemple).
Avec MASSIVE (publié sous licence CC BY 4.0), Amazon élimine cet écueil : chaque langue au même nombre d’occurrences. Le groupe américain s’est, pour cela, appuyé sur sa plate-forme de microtravail Mechanical Turk (MTurk). Il a restreint sa sélection de langues sur plusieurs critères. Ne le faites pas :
– Pour chacune, coût et disponibilité des travailleurs sur la plate-forme
– Disponibilité de chaque langue sur les principaux assistants virtuels (afin de disposer d’un support de test ultérieur)
– Diversité des alphabets, pour mieux tester la tokenisation et la normalisation
– Diversité des genres de langues (= groupes de langues qu’on peut associer au sein d’une famille sans adopter à des méthodes complexes de linguistique)
MTurk mis à contribution
La sélection finale englobe 14 familles de langues (isolats compris). Pour 21 types d’alphabets (28 dérivés du latin, 3 de l’arabe, 2 du cyrillique). Le mandarin est représenté deux fois (écritures traditionnelles et simplifiées). Se destinant à des appareils plutôt qu’à des personnes, les phrases sont essentiellement de nature impérative et interrogative.
Avant l’étape MTurk, Amazon a prélevé aléatoirement un sous-ensemble d’échantillons de SLURP. Et a sollicité des professionnels pour les paraphraser, obtenant ainsi des occurrences plus complètes (+49 % d’entités identifiables, notamment).
Sur MTurk, trois tâches ont été réalisées :
– Traduction ou localisation de fragments
– Traduction ou localisation de phrases
– Contrôle qualité (triple passe)
Amazon en garde pour cet été
Amazon à mis MASSIVE à l’épreuve sur deux modèles existants : XLM-R et mT5. Avec deux tests : classification d’intention et prédiction de fragments. Et deux méthodes : entraînement complet ou coup zéro (entraînement uniquement sur l’anglais américain, validation sur toutes les langues, tests sur toutes les locales non anglaises).
Avec XLM-R, il a été décidé de réutiliser l’encodeur et d’y associer deux classificateurs fondés sur JointBERT. Avec mT5, deux architectures ont été explorées. L’un sur le même modèle que XLM-R ; l’autre impliquant l’ensemble du modèle (encodeur et décodeur). Dans tous les cas, le modèle avait la taille de base (270 millions d’hyperparamètres pour XLM-R ; 258 millions pour mT5-encodeur et 580 millions pour mT5 dans son ensemble).
Au global, les performances sont meilleures sur les langues germaniques et les alphabets latins – logique au vu du volume de données d’entraînement. Pour les langues sans espaces, Amazon a introduit des « artificiels » au moment des tests. Cela s’est révélé utile en thaï… mais moins en japonais : la technique excluant toute vectorisation d’ensembles de caractères, les performances en correspondance exacte peuvent varier du simple au triple entre entraînement complet et coup zéro.
La compétition sus-évoquée comprend un classement permanent fondé sur la partie test de MASSIVE. Et un événement qui aura lieu cet été, sur la base d’un jeu de données spécifiques pas encore public.
Illustration principale © Amazon
