Dans un contexte où la société française prend de plus en plus conscience de son empreinte numérique, l'Autorité de régulation des communications électroniques, des postes et de la distribution de la presse (ARCEP) et l'Agence de la transition écologique (ADEME) viennent de franchir un pas décisif. Ces deux institutions ont annoncé ce jeudi 12 décembre la création d'un observatoire des impacts environnementaux du numérique, une initiative qui promet de révolutionner notre compréhension des enjeux écologiques liés aux technologies de l'information. Cette plateforme, fruit d'une collaboration initiée en 2020 à la demande des ministères de la Transition écologique et de l'Économie, vise à devenir une référence incontournable en matière de données fiables sur l'empreinte environnementale du numérique. "L'observatoire a vocation à constituer une plateforme de référence en matière de données fiables et sourcées sur les impacts environnementaux du numériqu...
Par Thierry Poibeau, École normale supérieure (ENS) – PSL
Les grands modèles de langue, comme celui derrière ChatGPT, sont « fermés » : on ne sait pas comment ils sont mis au point, sur quelles données et avec quels paramètres. Même les modèles dits ouverts ne le sont que très partiellement, ce qui pose des problèmes de transparence et de souveraineté évidents. Développer des modèles ouverts est une alternative réaliste et souhaitable à moyen terme.
De la traduction automatique à la génération de contenu, les modèles de langue (ou modèles de langage) reposent sur des ensembles massifs de données et des algorithmes complexes. L’une des grandes questions pour la communauté de l’Intelligence artificielle est de savoir si ces modèles doivent rester fermés – contrôlés uniquement par quelques grandes entreprises – ou être ouverts et accessibles au public – en particulier aux chercheurs, développeurs et institutions publiques.
Un modèle ouvert présente plusieurs avantages. Premièrement, il permet une plus grande transparence. Les utilisateurs peuvent voir comment le modèle a été formé, quelles données ont été utilisées et quelles décisions algorithmiques sous-tendent ses prédictions. Cela favorise la confiance dans les résultats produits et permet à la communauté scientifique de vérifier et de corriger les biais qui pourraient être présents. Deuxièmement, un modèle ouvert encourage l’innovation. En permettant à d’autres chercheurs, développeurs et entreprises de travailler avec ces modèles, on peut accélérer le développement de nouvelles applications et résoudre des problèmes complexes de manière plus collaborative.
Les modèles fermés quant à eux posent des problèmes importants. Leur opacité rend difficile l’identification des responsabilités juridiques, car il est presque impossible de déterminer quelles données ont été utilisées lors de l’entraînement ou comment les décisions du système ont été prises. Cette opacité crée donc des risques potentiels de discrimination algorithmique, de désinformation et d’utilisation abusive des données personnelles. En outre, ces modèles fermés renforcent les monopoles technologiques, laissant peu de place à la concurrence et limitant ainsi les possibilités de mise au point de solutions concurrentes.
Si, aujourd’hui, les modèles de langue réellement ouverts (open source) sont encore relativement marginaux, ils restent une option envisageable à moyen terme. Pour qu’ils se développent, il faudra non seulement surmonter des obstacles techniques, mais aussi repenser les modèles de financement et de régulation, afin de garantir que l’innovation ne soit pas réservée à une poignée de géants technologiques. Il en va de l’avenir de l’intelligence artificielle ouverte et de son potentiel à bénéficier à l’ensemble de la société.
Lobbying et stratégies d’entreprises
Un lobbying intensif est mené auprès des gouvernements et des instances de régulation pour avancer l’argument selon lequel l’ouverture complète des LLM pourrait mener à des dérives. La crainte d’un mauvais usage, qu’il s’agisse de diffusion massive de fausses informations ou de cyberattaques – voire le fantasme d’une prise de pouvoir par des machines supra-intelligentes, est mise en avant pour justifier la fermeture de ces modèles.
OpenAI, avec d’autres, proclame qu’ouvrir les modèles serait source de danger pour l’humanité. Le débat est en fait souvent difficile à suivre : certains parlent de danger, voire demandent un moratoire sur ce type de recherche, mais continuent d’investir massivement dans le secteur en parallèle.
Par exemple, Elon Musk a signé en mars 2023 la lettre du Future of Life Institute demandant une pause de six mois des recherches en IA, tout en lançant en juillet 2023 xAI, un concurrent d’OpenAI ; Sam Altman, qui dirige OpenAI, parle aussi fréquemment de danger tout en visant des levées de fonds de plusieurs milliards de dollars pour développer des modèles toujours plus puissants.
Si certains croient sans doute vraiment qu’il y a là un danger (mais il faudrait définir lequel exactement), d’autres semblent manœuvrer en fonction de leurs intérêts et des immenses sommes investies.
Des modèles dits « ouverts » qui ne le sont pas tant que ça
Face à cela, d’autres sociétés, comme Méta avec ses modèles Llama, ou Mistral en France, proposent des modèles dits « ouverts ». Mais ces modèles sont-ils réellement ouverts ?
L’ouverture se limite en effet le plus souvent à l’accès aux « poids » du modèle, c’est-à-dire aux milliards de paramètres qui se voient ajustés lors de son entraînement grâce à des données. Mais le code utilisé pour entraîner ces modèles, et les données d’entraînement (ces masses de données cruciales qui permettent au modèle d’analyser et de produire du texte) restent généralement des secrets bien gardés, hors de portée des utilisateurs et même des chercheurs, limitant ainsi la transparence de ces modèles. À ce titre, peut-on vraiment parler de modèle ouvert si seuls les poids sont disponibles et non les autres composantes essentielles ?
L’ouverture des poids offre toutefois des avantages certains. Les développeurs peuvent adapter le modèle sur des données particulières (à travers le « fine tuning ») et surtout, ces modèles offrent une meilleure maîtrise que des modèles complètement fermés. Ils peuvent être intégrés dans d’autres applications, sans qu’il s’agisse de boîte noire uniquement accessible par « prompt engineering », où la façon de formuler une requête peut influer sur les résultats, sans qu’on sache très bien pourquoi.
L’accès aux poids favorise également l’optimisation des modèles, notamment à travers des techniques comme la « quantisation », qui réduit la taille des modèles tout en préservant leur performance. Cela permet de les exécuter sur des machines plus modestes, des ordinateurs portables voire des téléphones.
En rendant les modèles partiellement ouverts, les sociétés propriétaires bénéficient ainsi de l’intérêt de milliers de développeurs, ce qui permet des progrès potentiellement plus rapides que pour les modèles fermés, mis au point par des équipes forcément plus réduites.
Vers des modèles réellement open source ?
Mais peut-on envisager demain la création de modèles de langage réellement open source, où non seulement les poids, mais aussi les données d’entraînement et les codes d’apprentissage seraient accessibles à tous ? Une telle approche soulève des défis techniques et économiques importants.
Le principal obstacle reste la puissance de calcul nécessaire pour entraîner ces modèles, qui est actuellement l’apanage des entreprises dotées de ressources colossales (Google, Meta, Microsoft, etc.) ; OpenAI, ou Mistral en France, ont recours à de la puissance de calcul proposée par différents acteurs, dont les géants de l’informatique suscités. C’est en partie pour couvrir ces coûts – l’accès la puissance de calcul – que ces entreprises doivent régulièrement lever des fonds importants. Le coût énergétique, matériel, et en ressources humaines est prohibitif pour la plupart des acteurs.
Pourtant, des initiatives existent. Des communautés de chercheurs et des organisations à but non lucratif cherchent à développer des modèles ouverts et éthiques, basés sur des jeux de données accessibles, ou du moins transparents.
Ainsi, Allen AI (centre de recherche privé à but non lucratif, financé à l’origine par Paul Allen, le cofondateur de Microsoft décédé en 2018) a mis au point les modèles Olmo et Molmo (modèle de langue et modèle multimodal), qui sont complètement ouverts.
SiloAI, une entreprise finlandaise, en collaboration avec l’Université de Turku a mis au point un modèle multilingue complètement ouvert, Poro, performant pour les langues scandinaves.
En France, Linagora et d’autres travaillent aussi à mettre au point des systèmes ouverts, dans la continuité de Bloom (un modèle complètement ouvert, mis au point par un collectif de chercheurs sous l’impulsion de la société Hugging Face en 2022).
Le modèle économique de ces initiatives reste à déterminer, de même que le retour sur investissement à terme des sommes colossales actuellement en jeu sur ce thème au niveau international.
En pratique, ces modèles sont souvent entraînés sur des infrastructures publiques (Lumi en Finlande pour Poro, Genci en France pour Bloom) : il s’agit souvent de collaborations entre universitaires et entreprises privées pouvant ensuite commercialiser les solutions développées, puisqu’un modèle ouvert n’est pas synonyme de complètement gratuit, et des services annexes comme l’adaptation des modèles pour des besoins particuliers peuvent contribuer au financement de telles initiatives.
Une autre piste se situe dans le développement de modèles de langue spécialisés, moins coûteux en termes de données et d’infrastructure, mais qui pourraient répondre à des besoins spécifiques, ce qui permettrait à des entreprises ou des acteurs plus modestes de tirer leur épingle du jeu.
Thierry Poibeau, DR CNRS, École normale supérieure (ENS) – PSL
Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.