Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

Où en est-on avec les modèles de langue ?

Présentation donnée lors de la semaine NumériQc, à Québec (Canada). Lien vers le site original.

Les modèles de langage (type BERT, GPTx, ChatGPT… ) ont profondément changé le traitement automatique des langues ces dernières années. Ils ont permis d’atteindre des niveaux de performances inégalés jusque là, sur de nombreuses tâches et dans de nombreuses langues. Dans le même temps, leur fonctionnement reste encore assez opaque, et fait l’objet de recherches intenses (la « Bertology »). Aussi ces modèles posent-ils de multiples questions. Peut-on dire que ces modèles « comprennent » la langue ? Et si oui, en quoi ? Jusqu’à quel point ? Quel intérêt pour la recherche en dehors du TAL ? Pour la création ? Sur le plan pratique, comment peut-on y faire face et/ou les intégrer dans nos recherches, vu la puissance de calcul nécessaire à leur entraînement ? Est-on devenu dépendant des grands acteurs privés du domaine ? Quels sont les limites de ces modèles et leurs dangers potentiels ? Nous n’aurons sans doute pas toutes les réponses à ces questions, mais cette présentation sera l’occasion d’une réflexion sur ces modèles qui commencent à changer notre environnement et suscite l’interrogation du grand public.