Accéder au contenu principal

ChatGPT : pourquoi tout le monde en parle ?

 

Ia

Par Thierry Poibeau, École normale supérieure (ENS) – PSL

La sortie de ChatGPT le 30 novembre dernier a marqué une nouvelle étape dans le développement des technologies de traitement des langues. C’est en tout cas la première fois qu’un système d’IA, directement issu de la recherche, suscite un tel engouement : de nombreux articles sont parus dans la presse spécialisée mais aussi générale. ChatGPT (ou OpenAI, la société qui développe ChatGPT, ou les deux) sont régulièrement en top tendance sur Twitter aujourd’hui encore.

Pourquoi un tel écho ? Les capacités de ChatGPT marquent-elles un tournant par rapport aux précédentes technologies capables de générer des textes ?

ChatGPT peut dialoguer

Clairement, ChatGPT a permis un saut qualitatif : il est capable de répondre, de manière souvent pertinente, à presque n’importe quelle requête en langage naturel. GPT2, puis GPT3 – les précédents modèles de langage mis au point par OpenAI – étaient déjà très forts pour générer du texte à partir de quelques mots ou phrases donnés en amorce (ce que l’on appelle le « prompt ») : on parlait souvent de « perroquets » (stochastic parrots), comme l’a proposé Emily Bender, et de nombreux autres chercheurs critiques de ces techniques. En effet, on pouvait dire que ces systèmes produisaient du texte à partir de bouts de phrases tirées des immenses corpus à leur disposition… même s’il faut nuancer cette image du perroquet : les systèmes ne répètent pas des extraits mot à mot, mais produisent en général un texte original en reprenant, paraphrasant, combinant des éléments vus dans des corpus variés.

ChatGPT reprend ces caractéristiques, mais la partie « chat » (dialogue) y ajoute une dimension tout à fait différente, et en apparence souvent bluffante.

Le système ne produit plus juste un paragraphe à partir d’une phrase donnée en entrée. Il est maintenant capable de répondre correctement à des questions simples comme à des questions complexes, il peut fournir des éléments de raisonnement, s’exprimer dans différentes langues, analyser ou produire du code informatique, entre autres.

Par exemple, si on lui demande si deux personnages ont pu se rencontrer, le système est capable de déterminer les dates correspondant à leur existence, comparer ces dates et en déduire une réponse. Ceci est trivial pour un humain, mais aucun système ne pouvait jusque-là répondre de manière aussi précise à ce type de question sans être hautement spécialisé. Au-delà du langage, ChatGPT peut aussi fournir des éléments de raisonnements mathématiques (mais il se trompe souvent) et analyser du code informatique notamment.

De ce point de vue, ChatGPT a une longueur d’avance sur ses concurrents.

ChatGPT, un système fermé

Concernant le fonctionnement du système, difficile d’en dire plus, car OpenAI, malgré son nom, développe des systèmes fermés. C’est-à-dire que le code informatique (code source) utilisé n’est pas disponible et que les recherches liées à ChatGPT restent pour l’instant en grande partie un secret industriel – même si, évidemment, d’autres équipes travaillent sur des systèmes similaires, aussi à base d’apprentissage profond. On a donc une idée de ce qui est utilisé par OpenAI.

D’autres entreprises ont gardé un modèle plus ouvert, par exemple Meta avec les travaux menés à FAIR, en général ouverts et publiés dans les principales conférences du domaine. Mais, plus généralement, on constate de plus en plus une fermeture des recherches. Par exemple, alors qu’Apple a toujours eu un modèle de développement privé et très secret, Deepmind avait un modèle ouvert et l’est sans doute un peu moins, maintenant que l’entreprise est sous le contrôle de Google.

Le système ChatGPT lui-même pourrait devenir commercial : OpenAI est financé par Microsoft qui pourrait décider de fermer l’accès au système un jour prochain, si c’est son intérêt.

En testant ChatGPT, vous contribuez (gratuitement) à l’améliorer

En attendant, OpenAI bénéficie de l’énorme publicité que lui apporte son outil, et aussi de toutes les interactions des utilisateurs avec lui. Si un utilisateur signale qu’une réponse n’est pas bonne, ou demande à l’outil de reformuler sa réponse en tenant compte d’un élément en plus, c’est autant d’information que le système emmagasine et pourra réutiliser pour affiner sa réponse la prochaine fois, sur la requête posée ou sur une requête similaire. En testant ChatGPT, on travaille gratuitement pour OpenAI !

Pour en revenir au système lui-même, la partie dialogue est donc ce qui fait la force et la particularité de ChatGPT (par rapport à GPT3 par exemple). Il ne s’agit plus d’un « simple » modèle de langage capable de générer du texte « au kilomètre », mais d’un véritable système de dialogue. Celui-ci a probablement bénéficié de millions ou de milliards d’exemples évalués par des humains, et la phase actuelle – où des centaines de milliers d’utilisateurs « jouent » quasi gratuitement avec le système – permet encore de l’améliorer en continu, puisque toutes les interactions sont évidemment enregistrées et exploitées pour cela.

Il est aujourd’hui assez simple d’accéder à des corpus de milliards de mots pour mettre au point un modèle de langage de type « GPT », au moins pour les langues bien répandues sur Internet.

Mais les données ayant permis la mise au point de ChatGPT (dialogues, interactions avec des humains) ne sont, elles, pas publiques, et c’est ce qui donne un avantage important pour OpenAI face à la concurrence.

Par exemple, Google dispose de données différentes, mais sans doute aussi exploitables pour ce type de systèmes – d’autant que Google a développé depuis plusieurs années un graphe de connaissances qui pourrait permettre de générer des réponses avec une meilleure fiabilité que ChatGPT. Notamment, l’analyse des enchaînements de requêtes issus du moteur de recherche de Google pourrait fournir des informations précieuses pour guider l’interaction avec l’utilisateur… Mais, en attendant, c’est OpenAI qui dispose de ChatGPT, et non Google : OpenAi a l’avantage.

Au-delà de ChatGPT, quelles applications dans l’avenir ?

De fait, même s’il est possible de contourner les limites de ChatGPT, le système refuse d’expliquer comment créer une bombe, de produire des contes érotiques ou de donner ses sentiments (ChatGPT répond fréquemment qu’elle est une machine, qu’elle n’a pas de sentiments ni de personnalité). OpenAI a visiblement soigné sa communication. La société a aussi mis un soin extrême à « blinder » le système, à lui permettre de déjouer la plupart des pièges qui peuvent ruiner en quelques heures ce type d’application, comme cela arrive fréquemment pour des systèmes ouverts au grand public.

On peut par exemple citer Meta, qui en novembre dernier a dû retirer son système appelé « Galactica » deux jours après l’avoir mis en ligne. Galactica avait été entraîné sur le domaine scientifique et pensé pour offrir des services aux chercheurs. Il a d’abord été présenté comme pouvant écrire des articles scientifiques automatiquement à partir d’un prompt… avant que la société ne précise qu’il ne s’agissait évidemment que d’une aide à la rédaction. Mais cette stratégie de communication malheureuse a déclenché une polémique qui a obligé Meta à débrancher rapidement Galactica.

À l’inverse, ChatGPT est toujours en ligne, et suscite toujours autant de passion auprès d’un large public. Des questions demeurent cependant : quel impact aura ChatGPT ? Quelles applications en seront dérivées ? Et quel modèle économique la compagnie OpenAI (et Microsoft, son principal investisseur) vise-t-elle ?The Conversation

Thierry Poibeau, DR CNRS, École normale supérieure (ENS) – PSL

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.

Posts les plus consultés de ce blog

Le bipeur des années 80 plus efficace que le smartphone ?

Par André Spicer, professeur en comportement organisationnel à la Cass Business School (City University of London) : Vous vous souvenez des bipeurs ? Ces appareils étaient utilisés largement avant l'arrivée massive des téléphones portables et des SMS. Si vous aviez un bipeur, vous pouviez recevoir des messages simples, mais vous ne pouviez pas répondre. Un des rares endroits où on peut encore en trouver aujourd’hui sont les hôpitaux. Le Service National de Santé au Royaume-Uni (National Health Service) en utilise plus de 130 000. Cela représente environ 10 % du nombre total de bipeurs présents dans le monde. Une récente enquête menée au sein des hôpitaux américains a révélé que malgré la disponibilité de nombreuses solutions de rechange, les bipeurs demeurent le moyen de communication le plus couramment utilisée par les médecins américains. La fin du bipeur dans les hôpitaux britanniques ? Néanmoins, les jours du bipeur dans les hôpitaux britanniques pourraient être compté

Univers parallèles et mondes virtuels : la guerre des métavers est commencée

  Une partie de poker dans le métavers (capture d'écran de la vidéo “Le métavers et comment nous allons le construire ensemble” sur YouTube) Par  Oihab Allal-Chérif , Neoma Business School Le 17 octobre 2021, Mark Zuckerberg a lancé les hostilités de manière assez théâtrale, comme s’il défiait ses concurrents d’en faire autant. Afin de concrétiser son rêve d’enfant, le métavers, il a décidé de mettre en œuvre des moyens colossaux : 10 000 ingénieurs hautement qualifiés seront recrutés en Europe dans les 5 prochaines années. Cette annonce a été faite quelques jours avant celle du changement de nom du groupe Facebook en Meta , le 28 octobre, démontrant ainsi l’engagement total du fournisseur de réseaux sociaux dans la transition vers le métavers. Le 22 juillet 2021, dans une interview à The Verge , le créateur de Facebook racontait : « Je pense à certains de ces trucs depuis le collège quand je commençais tout juste à coder. […] J’écrivais du code

Sans Sauvegarde, pas de cyber-résilience

Par Alexandra Lemarigny, directrice commercial Europe du Sud Opentext Security Solutions Les études diverses sur les habitudes de sauvegarde des entreprises et leurs collaborateurs sont sans équivoque : très majoritairement, elles ne s’attardent vraiment sur ces questions de sauvegarde ou de récupération qu’en cas d’incidents. Pourtant la sauvegarde est l’élément majeur des dispositifs de cyber-résilience, à savoir la capacité à rester opérationnel, même face aux cyberattaques et à la perte de données. La sauvegarde n’est pas suffisamment considérée Dans les faits, force est de constater que la sauvegarde n’est pas envisagée dans son entièreté par les entreprises qui n’ont pas eu à subir d’accidents et il est fréquent qu’elles ne sauvegardent pas les éléments les plus pertinents. A titre d’exemples une entreprise peut ne sauvegarder qu’un ou deux serveurs, ou un élément qu’elle a identifié comme critique quelques années auparavant. Certaines ne tiennent pas compte de l’évolution de leu

Implants cérébraux : la délicate question de la responsabilité juridique des interfaces homme-machine

Dans le film Transcendance , de Wally Pfister, sorti en 2014, le héros mourant transfère son esprit dans un ordinateur quantique. Wally Pfister, 2014 Par  Elise Roumeau , Université Clermont Auvergne (UCA) Depuis quelques années, Elon Musk ne cesse de faire des annonces relatives à des avancées technologiques. Voitures autonomes , voyages interplanétaires , interface homme-machine , achat du réseau social Twitter… rien ne semble arrêter l’homme d’affaires. Aucun obstacle technique, géographique, physiologique ne lui semble infranchissable. Pourtant, ses projets pourraient, à court terme, poser de véritables difficultés du point de vue juridique. La recherche d’une fusion entre le cerveau et l’intelligence artificielle Avec Neuralink, l’un des objectifs visés par Elon Musk est de créer une interface entre l’humain et la machine . À plus ou moins court terme, le projet porte sur le développement d’implants cérébraux pour pallier des troubles neur

Sondage : quatre Français sur dix craignent le vol d'identité

Selon un sondage représentatif commandé par le fournisseur de messagerie GMX , de nombreux internautes français sont préoccupés (31%), voire très inquiets (9%), d'être victimes d'un vol d'identité. La majorité craint que des inconnus puissent faire des achats (52%) avec leur argent. Dans le cas d'une usurpation d'identité, les criminels accèdent aux comptes en ligne et agissent au nom de leurs victimes. De nombreuses personnes interrogées craignent que des inconnus signent des contrats en leur nom (37 %), que des escrocs utilisent l'identité volée pour ouvrir de nouveaux comptes (36 %) et que des informations les plus privées tombent entre des mains étrangères ou soient rendues publiques (28 %). Besoin de rattrapage en matière de sécurité des mots de passe Il est urgent de rattraper le retard en matière d'utilisation de mots de passe sûrs selon GMX : 34 % des utilisateurs d'Internet en France utilisent dans leurs mots de passe des informations personnell

Sources d’information et orientation politique : ce que nous apprend Twitter

  Par  Laura Hernandez , CY Cergy Paris Université et Rémi Perrier , CY Cergy Paris Université Plusieurs études du discours médiatique ont mis en lumière, par des analyses quantitatives et qualitatives, des soutiens à peine voilés de certains médias envers certains courants politiques . Et si l’on inversait la question ? Bien qu’on ait tendance à considérer, par exemple, qu’un lecteur régulier du Figaro s’oriente politiquement à droite, peut-on établir des corrélations à grande échelle entre choix de sources d’information et orientation politique ? Des études basées sur des enquêtes d’opinion ont montré notamment la part grandissante des réseaux sociaux dans la diffusion de l’information et le rôle qu’ils jouent dans la formation de l’opinion publique depuis une décennie, à l’image des évolutions observées lors de deux dernières élections aux États-Unis (voir ici et ici ). Les médias traditionnels ont intégré cette donnée et utilisent les réseaux sociaux en se faisant l’écho