Dissection de Chat GPT

Cette conférence a proposé une dissection pédagogique de ChatGPT afin de mieux comprendre le fonctionnement des modèles de langage. Elle a d’abord expliqué qu’un modèle était un outil capable de décrire, prédire ou imiter la réalité, et a montré que ChatGPT fonctionnait essentiellement en prédisant le mot suivant dans une phrase.

À partir des bases du machine learning et de la régression linéaire, l’intervenant a introduit la notion de paramètres et de modélisation mathématique. Le langage a été transformé en nombres grâce à la vectorisation des mots (tokens), permettant leur traitement par des réseaux de neurones.

La présentation a ensuite détaillé le rôle des neurones artificiels et le calcul des probabilités pour choisir le mot le plus plausible. Le mécanisme d’attention a été expliqué pour montrer comment le modèle comprenait le contexte d’un mot selon la phrase. Les étapes d’entraînement (pré-entraînement, instruction, alignement) ont également été abordées.

Enfin, la conférence a évoqué les capacités, les limites et les enjeux éthiques des modèles d’IA.

À l’issue de la présentation, le public passionné a posé de nombreuses questions, donnant lieu à des échanges riches et fructueux avec le conférencier.

Les diapositives de la conférence sont téléchargables ci-dessous avec l'accord du conférencier.

Résumé ci-dessus rédigé par... ChatGPT ;-)