Créez un modèle linguistique sur vos discussions WhatsApp

Les chatbots ont indéniablement transformé notre interaction avec les plateformes numériques. Malgré les progrès impressionnants dans les capacités des modèles de langage sous-jacents à gérer des tâches complexes, l’expérience utilisateur est souvent insuffisante, se sentant impersonnelle et détachée.

Pour rendre les conversations plus pertinentes, j'ai imaginé un chatbot qui pourrait imiter mon style d'écriture décontracté, semblable à celui d'envoyer des SMS à un ami sur WhatsApp.

Dans cet article, je vais vous guider tout au long de mon parcours de création d'un (petit) modèle de langage qui génère des conversations synthétiques, en utilisant mes messages de discussion WhatsApp comme données d'entrée. En cours de route, j'essaie de comprendre le fonctionnement interne de l'architecture GPT d'une manière visuelle et, espérons-le, digestible, complétée par l'implémentation réelle de Python. Vous pouvez trouver le projet complet sur mon GitHub.

Note:La classe de modèles elle-même est constituée de gros morceaux tirés de la série de vidéos d'Andrej Karpathy et adaptés à mes besoins. Je peux fortement recommander ses tutoriels.