Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

Why is ChatGPT so Bad at Math?

We know the wonders ChatGPT can perform, but we are less aware of its limitations. For example, ChatGPT is worse than any calculator at math, even though it is supposed to be able to solve math problems.

If you ask ChatGPT (with GPT-3.5 or even GPT-4) to multiply numbers with 4 or 5 digits, the result is almost always wrong1. The result is approximately within the right order of magnitude, but it is incorrect. See the following example (screenshot obtained on 13/05/2024 with ChatGPT / GPT-3.5; you can see that ChatGPT can even propose several wrong answers without any issue).


Multiplication with ChatGPT.

The correct result is 1,162,238,184. GPT can thus provide an idea of the order of magnitude of the result, but gives an incorrect answer.

What can we say about this?

First of all, this result is surprising. Language models are known for being able to do many things, linguistic tasks that they do quite well (conversing, answering questions, translating, etc.), but also for helping with coding (writing computer code, commenting on programs, etc.) and, finally, solving simple math problems. We can see that we are still far from that. GPT runs on some of the most powerful computers in the world, capable of performing astonishing calculations, but ChatGPT is just incapable of performing a 5-digit multiplication that a pocket calculator can handle very well. How is that possible? At first sight, this seems a mystery… We are certainly far from the super intelligence that is being touted (although, to be honest, this could probably be easily resolved by OpenAI—it would just require OpenAI to allow ChatGPT to access a calculator and perform real calculations instead of making inferences by analogy when it comes to numbers).

The next question is precisely that. Why doesn’t it work? How can ChatGPT make this type of error when the model is supposed to be able to do simple math? Why doesn’t ChatGPT have access to a simple calculation module? We can safely say that the reason lies in the approach adopted: the idea that almost everything can be solved through learning, and even through induction from the observation of an almost infinite amount of data. However, it seems difficult to induce the rules of multiplication just from an infinite number of examples.2 This even seems a bit absurd and somewhat futile. Computer models don’t have to copy the way humans do things, but still, the fact that no one learns to multiply just by looking at billions of examples should at least be questioned. We learn multiplication because we are taught the rules and, at the limit, if there were no educational system, we could imagine being able to find the rules through logical reasoning. In short, humans try to solve problems (with a goal in mind), not just infer rules by observing quantities of examples, without any other method.

It is, however, interesting to see that ChatGPT has acquired some knowledge about numbers. For example, in the case of multiplication, the last digits and the first digits are almost always correct (compare 1,161,222,984 and 1,161,513,784, results proposed by ChatGPT, and 1,162,238,184, the “real” result of the proposed multiplication). The order of magnitude is also reasonable (a bit more than a billion), if that means anything for a multiplication. ChatGPT has thus inferred some knowledge about numbers and perhaps multiplication, but it has not learned to multiply. Seeing billions of examples (of numbers and multiplications) was not enough.

ChatGPT, and its architecture, even if we don’t know the details, remains a linguistic system. Tokenization, vectorization, transformers, and word embeddings are incomparable for dealing with semantics, encoding the meaning of words, and making analogies. To compare expressions, generate paraphrases (including translations, which can be seen—if we aren’t afraid of bold metaphors—as paraphrasing from one language to another), etc. However, the flexibility needed for language is, in a certain way, orthogonal to what is needed for mathematics. The result of 15436 * 75294 is a precise number, whereas there are probably a thousand different ways to translate a sentence, even one as simple as “Longtemps, je me suis couché de bonne heure” (or, to take another example, “friendship” has something to do with “affection”; the two words are semantically close, which vectorization allows us to encode, but this proximity is probably not of the same nature as the proximity between 4 and 5 in arithmetic terms).

In a more global sense, this means that GPT-type systems are perfect for handling languages, that these systems can be coupled with other architectures for image, video, or mathematical analysis, but it is not a single architecture that will solve all problems. We are still far from general intelligence (the famous AGI that we keep hearing about), even if text, image, and video generation models have made impressive progress in recent years (and even if the models are “superhuman” in many ways. But we could also say that a simple calculator was already “superhuman” in its field of competence in the 1970s!).

As François Chollet said a few days ago on Twitter, a “skill” does not magically emerge from data.


Machine learning models cannot solved tasks outside of their training distribution.

There need to be enough examples for the system to be able to identify regularities, and also the model must have an architecture that can optimize learning (and, as we have seen, we do not necessarily need exactly the same architecture to learn how to do math and to learn linguistic tasks, at least concerning current approaches).

What is a bit concerning is that the debate often seems irrational about what recent AI models can or could do, even within the scientific community. The idea of “emergence” (thus the very terminology used) has a magical and largely irrational aspect that does not help to have a calm (or, quite simply, scientific) discussion on the issue. The fact that a system like ChatGPT cannot correctly multiply numbers with 4 or 5 digits should nonetheless prompt us to consider the real capabilities and limitations of these systems.

  1. On this question, see “Faith and Fate: Limits of Transformers on Compositionality” (N. Drizi et al., NeurIPS 2023). []
  2. Here again, see (N. Drizi et al., NeurIPS 2023) for more explanations. []

ChatGPT a oublié sa calculette, ou pourquoi le modèle est nul en maths (apprentissage, émergence et pensée magique)

On sait les merveilles que peut faire ChatGPT, mais on en connaît moins les limites. Par exemple, ChatGPT est plus nul que n’importe quelle calculette en calcul, alors qu’il est censé pour voir résoudre des problèmes de maths.

Si on demande à ChatGPT (avec GPT3.5 ou même GPT4) de multiplier des nombres à 4 ou 5 chiffres, le résultat est quasiment toujours faux1. Le résultat est approximativement dans l’ordre de grandeur cherché, mais il est faux. Voir l’exemple suivant (copie d’écran obtenue le 13/05/2024 avec ChatGPT / GPT3.5 ; on voit que ChatGPT peut même proposer plusieurs réponses fausses sans problème).

Le vrai résultat est 1 162 238 184. GPT peut donc fournir une idée de l’ordre de grandeur du résultat, mais donne un résultat faux.

Que peut-on en dire ?

En premier lieu, ce résultat est surprenant. Les modèles de langue sont connus pour pouvoir faire plein de choses, des tâches linguistiques qu’ils font plutôt bien (dialoguer, répondre à des questions, traduire, etc.), mais aussi pour aider à coder (écrire du code informatique, commenter des programmes, etc.) et, enfin, résoudre des problèmes mathématiques simples. On voit qu’on en est encore loin. GPT tourne sur les ordinateurs parmi les plus puissants du monde, capables de faire des calculs hallucinants, mais ChatGPT est juste incapable de faire une multiplication à 5 chiffres qu’une calculette de poche fait très bien. Comment est-ce possible ? Mystère… On est en tout cas loin de la super intelligence qu’on nous vante (même si, soyons honnêtes, ceci pourrait sans doute être résolu en un tour de main par OpenAI – il suffirait justement que OpenAI permette que ChatGPT accède à une calculette et fasse de vrais calculs plutôt des inférences par analogie, quand il s’agit de nombres).

La question suivante est justement celle-là. Pourquoi ça ne fonctionne pas ? Comment ChatGPT peut-il faire ce type d’erreur, alors que le modèle est censé pouvoir faire des maths simples ? Pourquoi ChatGPT n’a-t-il pas accès à un module de calcul simple ? On peut dire sans trop de risque que la raison est dans l’approche adoptée : l’idée que presque tout peut se résoudre par apprentissage, et même par induction à partir de l’observation d’une quantité quasi infinie de données. Or, il paraît difficile d’induire les règles de la multiplication juste à partir d’une infinité d’exemples2. Cela semble même un peu absurde et un peu vain. Les modèles informatiques ne sont pas obligés de copier la façon de faire des humains, mais quand même, le fait que personne n’apprenne à multiplier juste en regardant des milliards d’exemples doit a minima interroger. On apprend la multiplication parce qu’on nous en apprend les règles et, à la limite, s’il n’y avait pas de système éducatif, on pourrait imaginer pouvoir en retrouver les règles par un raisonnement logique. En bref, l’humain essaie de résoudre des problèmes (avec un but en tête), pas juste d’inférer des règles par observation de quantités d’exemples, sans autre méthode.

Il est toutefois intéressant de voir que ChatGPT a acquis des connaissances sur les nombres. Par exemple, dans le cas de la multiplication, les derniers chiffres et les premiers sont quasiment toujours bons (comparer 1,161,222,984 et 1,161,513,784, résultats proposés par ChatGPT, et 1,162,238,184, le « vrai » résultat de la multiplication proposée). L’ordre de grandeur est aussi raisonnable (un peu plus d’un milliard), si tant est que ça veuille dire quelque chose pour une multiplication. ChatGPT a donc inféré des connaissances sur les nombres et, peut-être, la multiplication, mais il n’a pas appris à multiplier. Voir des milliards d’exemples (de nombres et de multiplications) n’a pas suffi.

ChatGPT, et son architecture, même si on n’en connaît pas les détails, reste un système linguistique. La “tokenisation“, la “vectorisation“, les “transformers“, les “word embeddings” sont incomparables pour traiter de sémantique, encoder le sens des mots et faire des analogies. Pour comparer des expressions, générer des paraphrases (y compris des traductions, que l’on peut voir —si on n’a pas peur des métaphores osées —comme une paraphrase de langue à langue), etc. Mais la souplesse dont on a besoin pour la langue est d’une certaine manière orthogonale à ce dont on a besoin pour faire des mathématiques. Le résultat 15436 * 75294, c’est un chiffre précis, alors qu’il y a probablement mille façons différentes de traduire une phrase, même aussi simple que « Longtemps je me suis couché de bonne heure » (ou, pour prendre un autre exemple, « l’amitié » a quelque chose à voir avec « l’affection », les deux mots sont proches sur le plan sémantique, ce que permet d’encoder la vectorisation, mais cette proximité n’est sans doute pas de la même nature que la proximité entre 4 et 5 sur le plan arithmétique).

D’une manière plus globale, ça veut dire que les systèmes de type GPT sont parfaits pour manier les langues, que ces systèmes peuvent être couplés avec d’autres architectures pour l’analyse d’image, de vidéo, ou de mathématiques, mais ce n’est pas une seule architecture qui résoudra tous les problèmes. On est donc encore loin d’une intelligence générale (la fameuse AGI dont on nous rebat les oreilles), même si les modèles de générations de texte, d’images et de vidéos ont fait des progrès impressionnants ces dernières années (et même si les modèles sont « super humains » par bien des façons. Mais on pourrait aussi dire qu’une simple calculette était déjà « super humaine » dans son domaine de compétence dans les années 1970 !).

Comme le disait François Chollet il y a quelques jours sur Twitter, une « compétence » n’émerge pas magiquement des données.

Il faut qu’il y ait assez d’exemples pour que le système puisse en tirer des régularités, et aussi que le modèle ait une architecture qui puisse permettre d’optimiser l’apprentissage en fonction des données (et, comme on l’a vu, on n’a a priori pas besoin exactement de la même architecture pour apprendre à faire des maths et pour apprendre des tâches linguistiques, au moins pour ce qui concerne les approches actuelles).

Ce qui est un peu inquiétant, c’est que le débat semble souvent irrationnel autour de ce que peuvent ou pourraient faire les modèles d’IA récents, même au cœur de la communauté scientifique. L’idée d’ « émergence » (donc la terminologie même employée) a un côté magique et en grande partie irrationnel qui n’aide pas à avoir une discussion sereine (ou, tout simplement, scientifique) sur la question. Le fait qu’un système comme ChatGPT ne puisse correctement multiplier des nombres à 4 ou 5 chiffres devrait pourtant nous interpeler sur les capacités et les limites réelles de ces systèmes.


  1. Sur la question, voir “Faith and Fate: Limits of Transformers on Compositionality” (N. Drizi et al., NeurIPS 2023). []
  2. Là encore, voir (N. Drizi et al., NeurIPS 2023) pour un examen approfondi. []

Faut-il dire « Modèle de langue » ou « modèle de langage » ?

Le français distingue « langue » et « langage », et c’est même l’objet d’un chapitre du programme de philosophie au baccalauréat. Ceci pose problème quand on traduit depuis l’anglais, en particulier pour ce qui concerne les « language models », aujourd’hui si populaires.

Alors, « modèle de langage » ? Ou « modèle de langue » ?

Il était jadis question de modèle de langage. Dans les années 1980 et 1990, les modèles de langage étaient surtout utilisés pour la transcription de la parole et, pour tout dire, cela paraissait exotique (ou un peu dingue), pour un linguiste, de chercher à évaluer le mot suivant dans une séquence. Un peu dingue, mais c’est ce qui a fait le succès de la transcription de la parole d’abord, puis la fortune d’OpenAI aujourd’hui. Comme quoi…

Bref, revenons à nos moutons. Faut-il dire « modèle de langage » ou « modèle de langue » ? « Modèle de langage », c’est une copie de l’anglais. L’anglais parle de language, donc si on traduit sans trop se poser de question, « modèle de langage » semble une bonne solution.

Sauf qu’on s’est aperçu depuis que ces modèles ne modélisaient pas le langage (la faculté générale d’exprimer une pensée), mais des langues particulières. Bert, GPT ou Llama « parlent » anglais, parfois français ou allemand (mais, en fait, surtout anglais). L’affaire semblait donc pliée : « modèle de langage », c’était une traduction rapide et paresseuse (et donc fausse), il fallait dire « modèle de langue ». C’est d’ailleurs un peu le consensus aujourd’hui.

Mais, en fait, ces modèles rendent-ils vraiment (et fidèlement) compte de la langue ? Ils produisent des textes bluffants, crédibles, intéressants mais modélisent-ils vraiment la langue pour autant ? Quand on regarde bien, pas vraiment. Le découpage des mots (tokenization) y est souvent folklorique, la syntaxe discutable (ces modèles ne sont pas hiérarchiques) et la sémantique absente (au sens où ces modèles n’ont pas de notion de vérité). Et pourtant, ça marche, comme dirait l’autre !

Allons plus loin. Si on regarde le TLFi, pour « langage », on trouve les définitions suivantes : « Système de signes vocaux et/ou graphiques” et aussi “Système de symboles » et enfin « Système secondaire de signes ou de symboles (code) créé à partir d’une langue et destiné à la transcrire », ce qui en un sens convient assez bien. Enfin, les modèles sont entraînés à partir d’un mixte de langues, de langages informatiques et d’autres éléments, ce qui va aussi dans le sens du langage (d’un ensemble varié de sources) plutôt que dans le sens de langue.

Donc, pourquoi vouer « modèle de langage » aux gémonies ? Peut-être peut-on juste être tolérant, et se dire que « modèle de langage » n’est pas beaucoup plus absurde que « modèle de langue », et qu’en fait les deux sont acceptables ?

Les modèles de langue nous apprennent-ils quelque chose sur le langage ?

La généralisation des approches par modèles de langue et leur succès sur de nombreuses tâches n’a pas manqué de susciter des questions. Ces modèles encodent-ils le sens ? Comprennent-ils les langues qu’ils manipulent ? etc.

Ces questions sont légitimes, mais également problématiques. Légitimes, dans la mesure où elles se posent naturellement à partir du moment où on dispose aujourd’hui d’applications grand public, tout terrain, capable de manipuler la langue de façon effective (pour accomplir des tâches aussi variées que répondre à des questions, résumer un texte ou traduire, ce qui semble impliquer une certaine forme de compréhension). Ces questions sont aussi problématiques, car les concepts manipulés (le sens, la compréhension) sont avant tout humains, et ne sont pas transposables directement à des machines. En tout cas, ces machines fonctionnent différemment de nous et il faudrait d’abord définir ce qu’on entend par « sens » ou par « comprendre » pour pouvoir examiner la réalité de ces notions au sein des modèles de langue.

Une question plus générale est celle de savoir si ces modèles peuvent malgré tout nous apprendre quelque chose sur la langue elle-même. La réponse peut être rapide si on considère que ces modèles n’ont rien à voir avec la façon dont on analyse la langue en tant qu’humains. En particulier, ils n’ont pas de « modèle du monde », encore moins de « modèle de vérité » (c’est-à-dire, en gros, de base de connaissances de faits établis et de moyens de calcul permettant d’évaluer la vérité d’un énoncé). On sait que, pour ces systèmes, plus une information est répétée, plus elle a de chances d’être vraie, ce qui constitue une heuristique habile mais dangereuse et, disons-le, inadaptée pour établir une valeur de vérité. Ceci est un fait largement reconnu, même si ce point est à la source de bien des débats (si le sens est défini comme « avoir accès à des valeurs de vérité » ou « pouvoir évaluer la vérité d’un fait », il est clair que ces modèles n’ont pas accès au sens, mais de nombreux linguistes considèrent que le sens ne se limite pas aux valeurs de vérité. Bref…).

Dans cet ordre d’idée, Noam Chomsky,  Ian Roberts et Jeffrey Watumull, ont fait paraître un article dans le New York Times le 8 mars 2023 (The False Promise of ChatGPT, aussi disponible ici en open access), qui a suscité de nombreuses réactions dans la communauté. Une bonne partie de ce que disent Chomsky et ses collègues est peu controversé et même assez largement admis, en particulier des phrases comme : « the human mind is a surprisingly efficient and even elegant system that operates with small amounts of information; it seeks not to infer brute correlations among data points but to create explanations ». La fin de la phrase peut prêter à débat (on ne cherche sans doute pas tout le temps des explications dans tout) mais il est évident qu’une différence essentielle entre les approches actuelles et l’apprentissage humain réside dans le fait qu’un être humain peut apprendre de manière progressive, à partir de très peu d’exemples, là où la machine a besoin d’énormes quantités de données, même pour des choses qui nous semblent triviales (distinguer des chats et des chiens, ou apprendre le sens des mots).

Il y a un point du texte de Chomsky qui mérite toutefois d’être considéré de manière critique. Celui-ci défend en creux le programme de recherche qu’il a mis au point depuis la fin des années 1950, et donc la conception de la langue qui est la sienne. Pour Chomsky, la langue repose avant tout sur la grammaire, c’est-à-dire un système formel de règles permettant de contrôler la structure des phrases. Accessoirement, ces règles sont trop complexes pour être acquises à partir de ce qui est perçu (la célèbre « pauvreté du stimulus ») et impliquent donc un mécanisme inné, d’origine génétique, permettant l’acquisition de la langue de façon dynamique. Dans le texte de New York Times, cela donne : « This grammar can be understood as an expression of the innate, genetically installed “operating system” that endows humans with the capacity to generate complex sentences and long trains of thought. »

Le fait que les modèles de langue aient besoin de milliards d’exemples semblent aller dans le sens de la pauvreté du stimulus. Ce qui est sûr, c’est que les humains ont des capacités d’abstraction, de généralisation, de perception (et, partant, une connaissance du monde) que n’ont pas les modèles qui ne procèdent que par des inférences à partir de textes, et il y a donc une différence profonde, de nature, entre ces modèles et les humains (ceci est en un sens trivial : nous sommes des êtres humains, les modèles ne sont que des données informatiques sur un disque dur). Comme le disent Chomsky et ses collègues : « The child’s operating system is completely different from that of a machine learning program. »

Mais est-ce que les performances des modèles de langue impliquent une grammaire innée, héritée génétiquement, fournissant des principes généraux sur le fonctionnement de la langue ? Les modèles semblent nous montrer autre chose. D’une part, il n’y a pas de règles générales dans ces modèles : en quelque sorte, tout est dans les mots. Ceci n’est pas sans rappeler le mouvement des années 1970-1990, quand des linguistes, en réaction justement au caractère de plus en plus abstrait des théories chomskyennes, ont proposé des modèles beaucoup plus concrets (sans catégories vides, sans mouvement…) et surtout lexicalisés (alors que le lexique n’a jamais été central dans la théorie de Chomsky). Des modèles comme GPSG ont ramené les règles générales sur la langue à peau de chagrin (pour les phénomènes d’accord, pour le passif…), avant de complètement s’en abstraire avec HPSG (où tout est dans le lexique ; par exemple, on n’a pas vraiment besoin d‘avoir une règle abstraite pour le passif, mais on peut ancrer la formalisation du phénomène au niveau du lexique : pour pouvoir produire une structure passive, il faut savoir que le verbe est transitif, et il faut même considérer une famille particulière de verbes : ceux qui, en français, font leur passif en « de » comme dans « Virginie est aimée de Paul ». On le voit, le passif implique avant tout des informations de type lexical).

Mais, à travers l’importance du lexique, les modèles de langue laissent aussi entrevoir d’autres points, autrement plus fondamentaux pour la langue. La syntaxe a retenu l’essentiel de l’intérêt des linguistes depuis au moins la guerre (parce que c’est au niveau de la syntaxe qu’on peut essayer d’entrevoir des règles générales et abstraites sur la langue), mais celle-ci est très secondaire, voire largement absente, dans les modèles de langue. Ce qui importe, ce sont toutes les valeurs numériques calculées à partir d’exemples (les « milliards de paramètres » des modèles), difficiles à interpréter, qui disent (ou plutôt modélisent) comment le mot peut s’insérer dans un contexte, ou quel est le mot le plus adéquat en contexte. Cette connaissance, très fine, est peu formalisable — au sens où le contexte est difficilement modélisable à travers un système formel (par nature symbolique), et le traitement automatiques des langues a buté sur cet écueil pendant des décennies (y compris GPSG et HPSG, des modèles lourds et ‘syntaxiques’). Les réseaux de neurones, et plus particulièrement les transformers avec les mécanismes d’attention, rendent compte très finement de l’usage des mots en contexte, la notion de contexte correspondant alors juste à l’observation de milliers d’exemples différents. Il n’y a alors plus de grammaire abstraite reposant sur un petit nombre de principes et de paramètres, mais au contraire une connaissance beaucoup plus diffuse, et répartie sur tout le lexique. En ce sens, le slogan « maitriser une langue, c’est maîtriser une technique » n’a jamais été aussi vrai : maîtriser une langue, c’est savoir comment employer les mots, et une langue sera d’autant plus riche qu’on saura la faire varier en fonction des contextes d’usage (d’où l’expression « employer le mot juste », c’est-à-dire le bon mot dans le bon contexte).  

Un dernier point, un des plus controversé de la théorie chomskyenne, est le caractère inné ou nom du langage. Là aussi, les modèles de langue peuvent nous aider à y voir plus clair. A partir du moment où l’essentiel de la connaissance sur la langue réside dans le lexique, et qu’à l’inverse il n’y a quasiment pas de principes généraux et de paramètres (ou plutôt une infinité de paramètres liés à l’emploi de chaque mot en contexte), il est probable que la langue est pour l’essentiel acquise (au sens où on n’a pas toutes les langues en tête à la naissance). En revanche, dire que l’apprentissage de la langue repose sur d’autres capacités (perception, capacité d’abstraction, de mémorisation, etc.) qui, elles, ont un caractère inné, ne fait guère débat. Et, à vrai dire, on n’avait pas besoin des modèles de langue pour en arriver là.

On le voit donc, la façon dont procèdent les réseaux de neurones et la masse de connaissance nécessaire à l’apprentissage machine pour produire des modèles de langue n’a que peu à voir avec l’apprentissage humain, mais ceux-ci peuvent toutefois nous informer sur la langue elle-même et donc sur les théories qu’on peut élaborer à partir de là.

Où en est-on avec les modèles de langue ?

Présentation donnée lors de la semaine NumériQc, à Québec (Canada). Lien vers le site original.

Les modèles de langage (type BERT, GPTx, ChatGPT… ) ont profondément changé le traitement automatique des langues ces dernières années. Ils ont permis d’atteindre des niveaux de performances inégalés jusque là, sur de nombreuses tâches et dans de nombreuses langues. Dans le même temps, leur fonctionnement reste encore assez opaque, et fait l’objet de recherches intenses (la « Bertology »). Aussi ces modèles posent-ils de multiples questions. Peut-on dire que ces modèles « comprennent » la langue ? Et si oui, en quoi ? Jusqu’à quel point ? Quel intérêt pour la recherche en dehors du TAL ? Pour la création ? Sur le plan pratique, comment peut-on y faire face et/ou les intégrer dans nos recherches, vu la puissance de calcul nécessaire à leur entraînement ? Est-on devenu dépendant des grands acteurs privés du domaine ? Quels sont les limites de ces modèles et leurs dangers potentiels ? Nous n’aurons sans doute pas toutes les réponses à ces questions, mais cette présentation sera l’occasion d’une réflexion sur ces modèles qui commencent à changer notre environnement et suscite l’interrogation du grand public.

ChatGPT, et après ?


Article publié à l’origine sur The Conversation, le 20/1/2023, sous licence Creative Commons. Lire l’article original.


ChatGPT tient le devant de la scène depuis sa sortie le 30 novembre dernier, du fait de ses fonctionnalités bluffantes, notamment pour dialoguer et répondre à des questions, même complexes, de façon naturelle et réaliste.

Alors qu’on commence à avoir un peu de recul sur cet outil, des questions se posent : quelles sont les limites actuelles et futures de ChatGPT, et quels sont les marchés potentiels pour ce type de systèmes ?

ChatGPT, un « Google killer » ? Pas forcément…

ChatGPT est souvent décrit comme un futur concurrent de Google, voire comme un « Google killer » pour sa partie moteur de recherche : même si l’outil produit parfois des réponses baroques, voire carrément fausses, il répond de manière directe et ne propose pas simplement une liste ordonnée de documents, comme le moteur de recherche de Google.

Il y a là assurément un danger potentiel sérieux pour Google, qui pourrait menacer sa position de quasi-monopole sur les moteurs de recherche. Microsoft en particulier (principal investisseur dans OpenAI, qui a par ailleurs un accès privilégié à la technologie développée) travaille à intégrer ChatGPT à son moteur de recherche Bing, dans l’espoir de reprendre l’avantage sur Google.

Il y a toutefois plusieurs incertitudes concernant une telle perspective. Les requêtes dans les moteurs de recherche sont généralement composées de quelques mots, voire d’un seul mot, comme un événement ou un nom de personnalité. ChatGPT suscite en ce moment la curiosité d’une population technophile, mais ceci est très différent de l’usage classique, grand public, d’un moteur de recherche.

On peut aussi imaginer ChatGPT accessible à travers une interface vocale, ce qui éviterait d’avoir à taper la requête. Mais les systèmes comme Alexa d’Amazon ont eu du mal à s’imposer, et restent confinés à des usages précis et limités (demander des horaires de cinéma, la météo…). Il y a 10 ans, Alexa était vu comme l’avenir de la société de distribution américaine, mais est aujourd’hui un peu à l’abandon, parce qu’Amazon n’a jamais réussi à monétiser son outil, c’est-à-dire à le rendre économiquement profitable.

ChatGPT peut-il réussir là où Alexa a en partie échoué ?

D’autres cadres d’utilisation ?

Bien sûr, l’avenir de ChatGPT ne devrait pas se résumer à la recherche d’information. Il existe une foule d’autres situations où on a besoin de produire du texte : production de lettres types, de résumés, de textes publicitaires…

ChatGPT est aussi un bon outil d’aide à l’écriture. On voit déjà différents usages : solliciter ChatGPT pour partir de quelques paragraphes qui peuvent susciter l’inspiration et éviter la peur de la page blanche ; voir quels points l’outil met en avant sur une question particulière (pour vérifier si ça correspond à ce que l’on aurait dit nous-mêmes ou non) ; demander des suggestions de plan sur une question particulière. ChatGPT n’est pas un outil magique et ne peut pas savoir ce que l’utilisateur a en tête, donc face à la rédaction d’un document complexe, il ne peut s’agir que d’une aide.

On peut évidemment imaginer des usages plus problématiques et de nombreux articles ont déjà été publiés dans la presse concernant par exemple l’usage de ChatGPT dans l’enseignement, avec des craintes, justifiées ou non. On peut ainsi imaginer des étudiants produisant des devoirs grâce à ChatGPT, mais aussi des enseignants utilisant l’outil pour rédiger leurs appréciations, ou des chercheurs produisant des articles scientifiques semi-automatiquement. Il y a beaucoup d’articles sur les étudiants dans la presse, mais ce ne seront pas les seuls à faire un usage éventuellement problématique de ce genre de technologie.

Il y a bien sûr lieu de se poser des questions, mais la technologie est là et ne va pas disparaître. Il semble donc primordial d’en parler, et de former les élèves et les étudiants à ces outils, pour expliquer leur intérêt et leurs limites, et discuter de la place qu’ils devraient avoir dans la formation.

Enfin, à l’extrême du spectre des usages problématiques, on pensera bien évidemment à la production de fake news : de fausses informations pouvant ensuite être disséminées en quantité industrielle.

Il ne faut pas exagérer ces dangers, mais ceux-ci sont réels. Même si des détecteurs de texte produits par ChatGPT commencent à apparaître, ceux-ci seront nécessairement imparfaits, car les textes produits sont trop divers et trop réalistes pour pouvoir être reconnus à 100 % par un système… à part par la société OpenAI elle-même, évidemment !

Les limites de ChatGPT : quand ChatGPT « hallucine »

La masse des interactions avec ChatGPT depuis son ouverture au grand public le 30 novembre a déjà permis d’identifier certaines de ses limites.

ChatGPT fournit en général des réponses correctes, souvent bluffantes… mais si on l’interroge sur des domaines qu’il ne maîtrise pas, voire si on invente une question en apparence sérieuse mais en fait absurde (par exemple sur des faits ou des personnes qui n’existent pas), le système produit une réponse en apparence tout aussi sérieuse, mais en fait complètement absurde ou inventée.

Les exemples sur Twitter sont légion : ChatGPT propose des références scientifiques qui n’existent pas, des explications fumeuses, voire une démonstration où est postulé que -4 = -5. Ceci serait une richesse, si ChatGPT était juste un outil destiné à produire des histoires, des pastiches ou des parodies.

Mais ce que le public attend, c’est avant tout des réponses avérées à des questions réelles, ou l’absence de réponse dans le cas contraire (si le système ne peut trouver la réponse, ou si la question est absurde). C’est la principale faiblesse de l’outil, et donc probablement aussi le principal obstacle pour en faire un concurrent du moteur de recherche de Google, comme on l’a déjà vu.

Pour cette raison, une conférence comme ICML (International Conference on Machine Learning) a déjà interdit aux chercheurs de soumettre des articles produits en partie avec ChatGPT. Stackoverflow, une plate-forme d’échanges entre développeurs informatiques, a aussi interdit les réponses générées par ChatGPT, ayant peur de se retrouver submergée par un flux de réponses générées automatiquement (et en partie fausses).

Ceci est dû au fait que le système n’a pas de « modèle de monde ». Autrement dit, il ne sait pas ce qui est vrai, il peut générer des absurdités, des fausses informations, inventer des choses de toute pièce avec l’aplomb d’un menteur professionnel. C’est ce que l’on appelle les « hallucinations », comme si ChatGPT voyait alors des éléments imaginaires (en fait, on ne peut pas vraiment dire que le système ment, dans la mesure où il n’a pas de modèle de vérité).

Ceci est surtout vrai quand la question elle-même n’est pas tournée vers la réalité, auquel cas le système se met à inventer : en ce sens, GPT n’est ni un journaliste, ni un savant, mais plutôt un raconteur d’histoires.

Il y a fort à parier qu’OpenAI essaie dans de futures versions de fournir un système qui évite d’affabuler quand le contexte ne s’y prête pas, grâce à une analyse fine de la question posée, ou l’ajout de connaissances validées (comme le font déjà Amazon avec Alexa ou Google avec son knowledge graph, qui est tout simplement une base de connaissances).

Google, justement, à travers sa succursale Deepmind, travaille actuellement sur un modèle similaire à ChatGPT appelé Sparrow, en essayant de renforcer la fiabilité du système. Il est par exemple question que le système fournisse une liste de sources sur laquelle il s’appuie pour fournir une réponse.

Les enjeux pour demain

L’autre limite de ce système est qu’il repose sur des données (en gros, l’ensemble des textes disponibles sur Internet) à la mi-2021 et que ses connaissances ne peuvent pas être mises à jour en direct. C’est évidemment un problème, ChatGPT ne peut pas répondre de façon pertinente à des questions sur l’actualité, alors qu’il s’agit d’un aspect particulièrement important.

La mise à jour en continu du modèle est donc logiquement un des prochains buts d’OpenAI, qui n’en fait pas mystère. Réviser un modèle, le réentraîner « à partir de zéro » (from scratch) est un processus long et coûteux, qui peut mettre en jeu des milliers de GPU ou de TPU pendant plusieurs semaines ou plusieurs mois, ce qui n’est pas en phase avec la rapidité de l’actualité. La prochaine grande innovation consistera donc en des systèmes capables de se mettre à jour de manière plus localisée en temps réel (ou quasiment), et ceci est sans doute pour bientôt.

Mais le principal enjeu est évidemment celui de l’acceptabilité. On l’a vu : le débat est déjà lancé sur l’influence d’un tel système sur l’éducation. Plus globalement, si un système tel que ChatGPT est par exemple intégré à un logiciel comme Word, se posera aussi la question de qui contrôle ce qui est produit. La voie est étroite entre des systèmes d’IA pas assez contrôlés et capables de produire des contenus racistes ou homophobes, et des systèmes trop bridés qui interdiraient de produire certains contenus.

En conclusion, et comme dit l’adage populaire : il est difficile de faire des prévisions, surtout quand elles concernent l’avenir. Il y a de nombreuses inconnues autour de technologies de type ChatGPT : les perspectives de tels outils sont assez vertigineuses, susceptibles d’avoir un impact profond sur la société, mais en même temps leur potentiel réel et commercial devra passer l’épreuve du monde réel.

Ce qui est certain, c’est que les bouleversements actuels devraient inciter au développement d’instituts (au sein des universités, mais aussi à travers des fondations ou des associations capables d’atteindre le grand public) permettant une réflexion large et ouverte sur ces technologies, impliquant tous les acteurs de la société, car c’est la société tout entière qui est déjà impactée, comme en témoigne l’intérêt actuel autour de ChatGPT.

Thierry Poibeau, DR CNRS, École normale supérieure (ENS) – PSL

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.

ChatGPT : pourquoi tout le monde en parle ?


Article publié à l’origine sur The Conversation, le 11/1/2023, sous licence Creative Commons. Lire l’article original.


La sortie de ChatGPT le 30 novembre dernier a marqué une nouvelle étape dans le développement des technologies de traitement des langues. C’est en tout cas la première fois qu’un système d’IA, directement issu de la recherche, suscite un tel engouement : de nombreux articles sont parus dans la presse spécialisée mais aussi générale. ChatGPT (ou OpenAI, la société qui développe ChatGPT, ou les deux) sont régulièrement en top tendance sur Twitter aujourd’hui encore.

Pourquoi un tel écho ? Les capacités de ChatGPT marquent-elles un tournant par rapport aux précédentes technologies capables de générer des textes ?

ChatGPT peut dialoguer

Clairement, ChatGPT a permis un saut qualitatif : il est capable de répondre, de manière souvent pertinente, à presque n’importe quelle requête en langage naturel. GPT2, puis GPT3 – les précédents modèles de langage mis au point par OpenAI – étaient déjà très forts pour générer du texte à partir de quelques mots ou phrases donnés en amorce (ce que l’on appelle le « prompt ») : on parlait souvent de « perroquets » (stochastic parrots), comme l’a proposé Emily Bender, et de nombreux autres chercheurs critiques de ces techniques. En effet, on pouvait dire que ces systèmes produisaient du texte à partir de bouts de phrases tirées des immenses corpus à leur disposition… même s’il faut nuancer cette image du perroquet : les systèmes ne répètent pas des extraits mot à mot, mais produisent en général un texte original en reprenant, paraphrasant, combinant des éléments vus dans des corpus variés.

ChatGPT reprend ces caractéristiques, mais la partie « chat » (dialogue) y ajoute une dimension tout à fait différente, et en apparence souvent bluffante. Le système ne produit plus juste un paragraphe à partir d’une phrase donnée en entrée. Il est maintenant capable de répondre correctement à des questions simples comme à des questions complexes, il peut fournir des éléments de raisonnement, s’exprimer dans différentes langues, analyser ou produire du code informatique, entre autres.

Par exemple, si on lui demande si deux personnages ont pu se rencontrer, le système est capable de déterminer les dates correspondant à leur existence, comparer ces dates et en déduire une réponse. Ceci est trivial pour un humain, mais aucun système ne pouvait jusque-là répondre de manière aussi précise à ce type de question sans être hautement spécialisé. Au-delà du langage, ChatGPT peut aussi fournir des éléments de raisonnements mathématiques (mais il se trompe souvent) et analyser du code informatique notamment.

De ce point de vue, ChatGPT a une longueur d’avance sur ses concurrents.

ChatGPT, un système fermé

Concernant le fonctionnement du système, difficile d’en dire plus, car OpenAI, malgré son nom, développe des systèmes fermés. C’est-à-dire que le code informatique (code source) utilisé n’est pas disponible et que les recherches liées à ChatGPT restent pour l’instant en grande partie un secret industriel – même si, évidemment, d’autres équipes travaillent sur des systèmes similaires, aussi à base d’apprentissage profond. On a donc une idée de ce qui est utilisé par OpenAI.

D’autres entreprises ont gardé un modèle plus ouvert, par exemple Meta avec les travaux menés à FAIR, en général ouverts et publiés dans les principales conférences du domaine. Mais, plus généralement, on constate de plus en plus une fermeture des recherches. Par exemple, alors qu’Apple a toujours eu un modèle de développement privé et très secret, Deepmind avait un modèle ouvert et l’est sans doute un peu moins, maintenant que l’entreprise est sous le contrôle de Google.

Le système ChatGPT lui-même pourrait devenir commercial : OpenAI est financé par Microsoft qui pourrait décider de fermer l’accès au système un jour prochain, si c’est son intérêt.

En testant ChatGPT, vous contribuez (gratuitement) à l’améliorer

En attendant, OpenAI bénéficie de l’énorme publicité que lui apporte son outil, et aussi de toutes les interactions des utilisateurs avec lui. Si un utilisateur signale qu’une réponse n’est pas bonne, ou demande à l’outil de reformuler sa réponse en tenant compte d’un élément en plus, c’est autant d’information que le système emmagasine et pourra réutiliser pour affiner sa réponse la prochaine fois, sur la requête posée ou sur une requête similaire. En testant ChatGPT, on travaille gratuitement pour OpenAI !

Pour en revenir au système lui-même, la partie dialogue est donc ce qui fait la force et la particularité de ChatGPT (par rapport à GPT3 par exemple). Il ne s’agit plus d’un « simple » modèle de langage capable de générer du texte « au kilomètre », mais d’un véritable système de dialogue. Celui-ci a probablement bénéficié de millions ou de milliards d’exemples évalués par des humains, et la phase actuelle – où des centaines de milliers d’utilisateurs « jouent » quasi gratuitement avec le système – permet encore de l’améliorer en continu, puisque toutes les interactions sont évidemment enregistrées et exploitées pour cela.

Il est aujourd’hui assez simple d’accéder à des corpus de milliards de mots pour mettre au point un modèle de langage de type « GPT », au moins pour les langues bien répandues sur Internet.

Mais les données ayant permis la mise au point de ChatGPT (dialogues, interactions avec des humains) ne sont, elles, pas publiques, et c’est ce qui donne un avantage important pour OpenAI face à la concurrence.

Par exemple, Google dispose de données différentes, mais sans doute aussi exploitables pour ce type de systèmes – d’autant que Google a développé depuis plusieurs années un graphe de connaissances qui pourrait permettre de générer des réponses avec une meilleure fiabilité que ChatGPT. Notamment, l’analyse des enchaînements de requêtes issus du moteur de recherche de Google pourrait fournir des informations précieuses pour guider l’interaction avec l’utilisateur… Mais, en attendant, c’est OpenAI qui dispose de ChatGPT, et non Google : OpenAi a l’avantage.

ChatGPT a passé les premiers tests

De fait, même s’il est possible de contourner les limites de ChatGPT, le système refuse d’expliquer comment créer une bombe, de produire des contes érotiques ou de donner ses sentiments (ChatGPT répond fréquemment qu’elle est une machine, qu’elle n’a pas de sentiments ni de personnalité). OpenAI a visiblement soigné sa communication. La société a aussi mis un soin extrême à « blinder » le système, à lui permettre de déjouer la plupart des pièges qui peuvent ruiner en quelques heures ce type d’application, comme cela arrive fréquemment pour des systèmes ouverts au grand public.

On peut par exemple citer Meta, qui en novembre dernier a dû retirer son système appelé « Galactica » deux jours après l’avoir mis en ligne. Galactica avait été entraîné sur le domaine scientifique et pensé pour offrir des services aux chercheurs. Il a d’abord été présenté comme pouvant écrire des articles scientifiques automatiquement à partir d’un prompt… avant que la société ne précise qu’il ne s’agissait évidemment que d’une aide à la rédaction. Mais cette stratégie de communication malheureuse a déclenché une polémique qui a obligé Meta à débrancher rapidement Galactica.

À l’inverse, ChatGPT est toujours en ligne, et suscite toujours autant de passion auprès d’un large public. Des questions demeurent cependant : quel impact aura ChatGPT ? Quelles applications en seront dérivées ? Et quel modèle économique la compagnie OpenAI (et Microsoft, son principal investisseur) vise-t-elle ?