Crie um modelo de linguagem em seus bate-papos do WhatsApp

Os chatbots transformaram inegavelmente a nossa interação com as plataformas digitais. Apesar dos avanços impressionantes nas capacidades dos modelos de linguagem subjacentes para lidar com tarefas complexas, a experiência do usuário muitas vezes fica aquém, parecendo impessoal e desapegada.

Para tornar as conversas mais identificáveis, imaginei um chatbot que pudesse imitar meu estilo de escrita casual, semelhante a enviar mensagens de texto para um amigo pelo WhatsApp.

Neste artigo, mostrarei minha jornada de construção de um (pequeno) modelo de linguagem que gera conversas sintéticas, usando minhas mensagens de bate-papo do WhatsApp como dados de entrada. Ao longo do caminho, tento desvendar o funcionamento interno da arquitetura GPT de uma forma visual e, esperançosamente, digerível, complementada pela implementação real do Python. Você pode encontrar o projeto completo no meu GitHub.

Observação:A classe do modelo em si é grande parte retirada da série de vídeos de Andrej Karpathy e adaptada às minhas necessidades. Posso altamente recomendar seus tutoriais.