Où en est-on avec les modèles de langue ?

Présentation donnée lors de la semaine NumériQc, à Québec (Canada). Lien vers le site original.

Les modèles de langage (type BERT, GPTx, ChatGPT… ) ont profondément changé le traitement automatique des langues ces dernières années. Ils ont permis d’atteindre des niveaux de performances inégalés jusque là, sur de nombreuses tâches et dans de nombreuses langues. Dans le même temps, leur fonctionnement reste encore assez opaque, et fait l’objet de recherches intenses (la « Bertology »). Aussi ces modèles posent-ils de multiples questions. Peut-on dire que ces modèles « comprennent » la langue ? Et si oui, en quoi ? Jusqu’à quel point ? Quel intérêt pour la recherche en dehors du TAL ? Pour la création ? Sur le plan pratique, comment peut-on y faire face et/ou les intégrer dans nos recherches, vu la puissance de calcul nécessaire à leur entraînement ? Est-on devenu dépendant des grands acteurs privés du domaine ? Quels sont les limites de ces modèles et leurs dangers potentiels ? Nous n’aurons sans doute pas toutes les réponses à ces questions, mais cette présentation sera l’occasion d’une réflexion sur ces modèles qui commencent à changer notre environnement et suscite l’interrogation du grand public.



Citer ce billet
Thierry Poibeau (2023, 7 avril). Où en est-on avec les modèles de langue ? Hors-texte. Consulté le 19 juin 2024, à l’adresse https://doi.org/10.58079/w9al

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search