Zbuduj model językowy na swoich czatach WhatsApp

Chatboty niezaprzeczalnie zmieniły naszą interakcję z platformami cyfrowymi. Pomimo imponującego postępu w możliwościach podstawowych modeli języka w zakresie obsługi złożonych zadań, wrażenia użytkownika często są niewystarczające, sprawiając wrażenie bezosobowego i zdystansowanego.

Aby rozmowy były bardziej spójne, wyobraziłem sobie chatbota, który mógłby naśladować mój swobodny styl pisania, podobny do wysyłania SMS-ów do znajomego za pośrednictwem WhatsApp.

W tym artykule przeprowadzę Cię przez proces budowania (małego) modelu językowego, który generuje syntetyczne konwersacje, wykorzystując moje wiadomości na czacie WhatsApp jako dane wejściowe. Po drodze staram się rozwikłać wewnętrzne działanie architektury GPT w wizualny i, miejmy nadzieję, przystępny sposób, uzupełniony rzeczywistą implementacją Pythona. Cały projekt znajdziesz na moim GitHubie.

Notatka:Sama klasa modeli jest w dużych fragmentach zaczerpnięta z serii filmów Andreja Karpatiego i dostosowana do moich potrzeb. Gorąco polecam jego tutoriale.