Vytvorte si jazykový model na svojich chatoch WhatsApp

Chatboti nepopierateľne zmenili našu interakciu s digitálnymi platformami. Napriek pôsobivým pokrokom v schopnostiach základných jazykových modelov zvládnuť zložité úlohy, používateľská skúsenosť často zaostáva, cíti sa neosobne a oddelene.

Aby boli konverzácie príbuznejšie, predstavil som si chatbota, ktorý by mohol napodobniť môj neformálny štýl písania, podobne ako posielanie textových správ priateľovi cez WhatsApp.

V tomto článku vás prevediem mojou cestou vytvárania (malého) jazykového modelu, ktorý generuje syntetické konverzácie pomocou mojich chatovacích správ WhatsApp ako vstupných údajov. Popri tom sa snažím rozlúštiť vnútorné fungovanie architektúry GPT vizuálnym a dúfajme, že stráviteľným spôsobom, doplneným o skutočnú implementáciu Pythonu. Celý projekt nájdete na mojom GitHub.

Poznámka:Samotná modelová trieda je vo veľkých kusoch prevzatá zo série videí Andreja Karpathyho a upravená pre moje potreby. Jeho tutoriály môžem vrelo odporučiť.