Par Frédéric Alexandre , Inria On voit passer beaucoup d’avis sur ChatGPT, mais finalement, qu’en sait-on ? Juste que c’est un réseau de neurones artificiels avec des milliards de paramètres, capable de tenir une discussion de haut niveau, mais aussi de tomber dans des pièges grossiers tendus par des internautes facétieux. On nous parle beaucoup de lui mais on en sait finalement très peu sur son fonctionnement. Je vous propose donc de présenter les mécanismes principaux sur lesquels ChatGPT repose et de montrer ainsi que, si le résultat est parfois impressionnant, ses mécanismes élémentaires sont astucieux mais pas vraiment nouveaux. Pour ce faire, passons en revue les différents termes du sigle « ChatGPT ». T comme transformer Un « transformer » est un réseau de neurones qui bénéficie du même algorithme d’apprentissage que les réseaux profonds ( deep networks ), qui a déjà fait ses preuves pour l’entraînement de grosses architectures. Il bénéficie également de deux caractéristi
Difficile pour Apple de réitérer en 2008 un coup marketing aussi fort que l'iPhone, son téléphone révolutionnaire présenté l'an dernier et qui avait fait bondir l'action de 8 %. Dès lors l'édition du MacWorld 2008 - la grand-messe annuelle de San Francisco où la firme à la pomme présente ses nouveautés - a forcément moins surpris fans et journalistes, réunis la semaine dernière au Moscone center, vaste centre de congrès pavoisé d'affiches « Il y a quelque chose dans l'air. » Ce « quelque chose », Steve Jobs, le PDG, s'est attaché à le présenter lui-même avec gourmandise au cours d'une de ses mises en scène étudiées qui ont fait sa légende. C'est donc d'une enveloppe en papier kraft que le « gourou » a sorti le MacBook Air, présenté comme l'ordinateur « le plus fin du monde. » Avec sa robe aluminium, le nouvel ordinateur portable a fière allure. D'un poids de 1,36 kg, il propose un écran de 13,3'' (33,7 cm) à technologie LED (éclai