Izgradite jezični model na svojim WhatsApp chatovima

Chatbotovi su nedvojbeno transformirali našu interakciju s digitalnim platformama. Unatoč impresivnom napretku u sposobnostima temeljnih jezičnih modela za rješavanje složenih zadataka, korisničko iskustvo često pada, osjeća se bezlično i odvojeno.

Kako bih razgovore učinio srodnijima, zamislio sam chatbota koji bi mogao oponašati moj ležerni stil pisanja, slično slanju poruka prijatelju preko WhatsAppa.

U ovom ću vas članku provesti kroz svoje putovanje izgradnje (malog) jezičnog modela koji generira sintetičke razgovore, koristeći moje WhatsApp chat poruke kao ulazne podatke. Usput pokušavam razotkriti unutarnje funkcioniranje GPT arhitekture na vizualan i nadam se probavljiv način, nadopunjen stvarnom implementacijom Pythona. Cijeli projekt možete pronaći na mom GitHubu.

Bilješka:Sama klasa modela je u velikim dijelovima preuzeta iz video serije Andreja Karpathyja i prilagođena mojim potrebama. Toplo mogu preporučiti njegove poduke.