Accéder au contenu principal

Articles

Affichage des articles du janvier, 2008

Comment fonctionne ChatGPT ? Décrypter son nom pour comprendre les modèles de langage

Par  Frédéric Alexandre , Inria On voit passer beaucoup d’avis sur ChatGPT, mais finalement, qu’en sait-on ? Juste que c’est un réseau de neurones artificiels avec des milliards de paramètres, capable de tenir une discussion de haut niveau, mais aussi de tomber dans des pièges grossiers tendus par des internautes facétieux. On nous parle beaucoup de lui mais on en sait finalement très peu sur son fonctionnement. Je vous propose donc de présenter les mécanismes principaux sur lesquels ChatGPT repose et de montrer ainsi que, si le résultat est parfois impressionnant, ses mécanismes élémentaires sont astucieux mais pas vraiment nouveaux. Pour ce faire, passons en revue les différents termes du sigle « ChatGPT ». T comme transformer Un « transformer » est un réseau de neurones qui bénéficie du même algorithme d’apprentissage que les réseaux profonds ( deep networks ), qui a déjà fait ses preuves pour l’entraînement de grosses architectures. Il bénéficie également de deux caractéristi

Portables : le fin du fin

Difficile pour Apple de réitérer en 2008 un coup marketing aussi fort que l'iPhone, son téléphone révolutionnaire présenté l'an dernier et qui avait fait bondir l'action de 8 %. Dès lors l'édition du MacWorld 2008 - la grand-messe annuelle de San Francisco où la firme à la pomme présente ses nouveautés - a forcément moins surpris fans et journalistes, réunis la semaine dernière au Moscone center, vaste centre de congrès pavoisé d'affiches « Il y a quelque chose dans l'air. » Ce « quelque chose », Steve Jobs, le PDG, s'est attaché à le présenter lui-même avec gourmandise au cours d'une de ses mises en scène étudiées qui ont fait sa légende. C'est donc d'une enveloppe en papier kraft que le « gourou » a sorti le MacBook Air, présenté comme l'ordinateur « le plus fin du monde. » Avec sa robe aluminium, le nouvel ordinateur portable a fière allure. D'un poids de 1,36 kg, il propose un écran de 13,3'' (33,7 cm) à technologie LED (éclai

La télé du futur à Las Vegas

La télé est de retour. Non pas la télé en tant que média, celle-ci voyant, année après année, sa place dans les familles diminuer au profit d'internet. Non, le retour est celui de l'écran de télévision comme élément central de la convergence multimédia (programmes télé, vidéo, jeux, internet, etc.) Tel est l'enseignement que l'on pourrait tirer du salon Consumer electronic show (CES) de Las Vegas qui vient de se tenir cette semaine. S'il n'y a pas eu de nouveautés décoiffantes annoncées pour ce grand rendez-vous high tech de l'électronique de loisirs qui se tient chaque année dans la capitale du jeu, les constructeurs ont, chacun, joué carte sur table. Pour Panasonic, cela a consisté à présenter le plus grand écran plasma du monde : un monstre de 3,8 m de diagonale ! Cet exploit n'éclipse cependant pas la baisse de régime des plasmas, détrônés par les écrans LCD. Plébiscités, les ventes de ces derniers ont bondi de 86 % au 3e trimestre 2007 et Samsung, S

Bonne année

Bonne et heureuse année 2008 pour tous les lecteurs du blog et ceux de La Dépêche.