Vytvořte si jazykový model na svých chatech WhatsApp

Chatboti nepopiratelně změnili naši interakci s digitálními platformami. Navzdory působivým pokrokům ve schopnostech základních jazykových modelů zvládnout složité úkoly, uživatelská zkušenost je často nedostatečná, cítí se neosobní a oddělená.

Aby se konverzace více spojily, představil jsem si chatbota, který by mohl napodobit můj neformální styl psaní, podobný psaní SMS příteli přes WhatsApp.

V tomto článku vás provedu svou cestou vytváření (malého) jazykového modelu, který generuje syntetické konverzace s využitím mých chatovacích zpráv WhatsApp jako vstupních dat. Cestou se snažím odhalit vnitřní fungování architektury GPT vizuálním a doufejme stravitelným způsobem, doplněným o skutečnou implementaci Pythonu. Celý projekt najdete na mém GitHubu.

Poznámka:Samotná modelová třída je ve velkých kouscích převzata ze série videí Andreje Karpathy a upravena pro mé potřeby. Jeho tutoriály mohu vřele doporučit.