Par Frédéric Alexandre , Inria On voit passer beaucoup d’avis sur ChatGPT, mais finalement, qu’en sait-on ? Juste que c’est un réseau de neurones artificiels avec des milliards de paramètres, capable de tenir une discussion de haut niveau, mais aussi de tomber dans des pièges grossiers tendus par des internautes facétieux. On nous parle beaucoup de lui mais on en sait finalement très peu sur son fonctionnement. Je vous propose donc de présenter les mécanismes principaux sur lesquels ChatGPT repose et de montrer ainsi que, si le résultat est parfois impressionnant, ses mécanismes élémentaires sont astucieux mais pas vraiment nouveaux. Pour ce faire, passons en revue les différents termes du sigle « ChatGPT ». T comme transformer Un « transformer » est un réseau de neurones qui bénéficie du même algorithme d’apprentissage que les réseaux profonds ( deep networks ), qui a déjà fait ses preuves pour l’entraînement de grosses architectures. Il bénéficie également de deux caractéristi
Qui a dit que la télé n'était plus dans le coup et allait se faire dévorer par internet ? Tout au contraire, elle ne s'est jamais aussi bien portée et sort désormais de son cadre habituel - le poste familial dans le salon - pour envahir tous les écrans dont nous disposons, dévoilant jour après jour de nouveaux usages. Sur les écrans plats qui vont passer à la 3D au printemps prochain, sur les écrans des téléphones portables intelligents comme l'iPhone, sur les écrans des ordinateurs qu'ils soient portables ou fixes, et bientôt sur les écrans des tablettes tactiles qui vont décoller cette année : les programmes télé se visionnent sur n'importe quel support… et surtout n'importe quand. Car à la révolution matérielle s'ajoute une révolution technologique permise par le développement de l'internet à haut débit avec ses «box» : la « catch-up TV », autrement appelée télé de rattrapage. C'est-à-dire que les téléspectateurs vont pouvoir s'affranchir de