Let's build GPT: from scratch, in code, spelled out¶
Dlaczego warto
Najlepszy sposób, żeby zrozumieć, co naprawdę dzieje się w środku modelu językowego. Kod powstaje od pustego pliku.
Streszczenie¶
Karpathy buduje w PyTorchu mały model GPT, który uczy się generować tekst w stylu Szekspira znak po znaku. Punktem wyjścia jest praca „Attention is All You Need” oraz modele GPT-2 i GPT-3.
Krok po kroku dochodzą kolejne elementy transformera: mechanizm self-attention, wiele głowic uwagi, warstwy feed-forward, połączenia resztkowe, normalizacja warstw i dropout. Na końcu autor pokazuje, jak ten kod ma się do repozytorium nanoGPT i czym różni się trenowanie wstępne od dostrajania, które zamienia model w asystenta typu ChatGPT.
Film jest częścią serii „Neural Networks: Zero to Hero”. Warto mieć za sobą podstawy Pythona i sieci neuronowych.