I tu coś nie gra, bo przez ostatnie lata wszędzie powtarzano regułę zupełnie inną: dwadzieścia tokenów na parametr. Nie dwa tysiące. Dwadzieścia. Ktoś się pomylił o dwa rzędy wielkości — i nie jest to ani autor karty modelu, ani ty.

Skąd wzięła się dwudziestka

W 2022 roku DeepMind opublikował pracę, która wywróciła stolik. Do tego czasu wyścig polegał na pompowaniu parametrów: GPT-3 miało 175 miliardów, Megatron-Turing 530 miliardów, a każdy kolejny model był „większy", bo większy znaczyło lepszy.

Hoffmann i współpracownicy wytrenowali ponad 400 modeli od 70 milionów do kilkunastu miliardów parametrów i zadali pytanie, którego nikt porządnie nie zadał: przy ustalonym budżecie obliczeniowym — ile z niego wydać na rozmiar modelu, a ile na dane?²

Odpowiedź brzmiała: po równo. Podwajasz model — podwój liczbę tokenów. Dotychczasowe modele były drastycznie niedotrenowane: ogromne, ale wygłodzone.

Dowodem był Chinchilla — 70 miliardów parametrów, czyli cztery razy mniej niż Gopher, za to nakarmiony czterokrotnie większą porcją danych z tego samego budżetu. I położył wszystkich: Gophera (280B), GPT-3 (175B), Jurassic-1, Megatron-Turing NLG (530B). Na MMLU 67,5%, siedem punktów nad Gopherem.² Model cztery razy mniejszy od Gophera wygrał, bo dostał jeść.

Z tej pracy wyrosła reguła kciuka, która przykleiła się do branży na lata: około 20 tokenów na parametr.

Potem ktoś sprawdził rachunki

I tu wchodzi praca, od której zaczęliśmy. Zespół z Epoch AI wziął Chinchillę na warsztat i spróbował odtworzyć jej wyniki.³

Hoffmann szacował optimum trzema niezależnymi metodami. Dwie pierwsze zgadzały się ze sobą. Trzecia — nie. Besiroglu i współpracownicy pokazali, że ta trzecia procedura po prostu nie pasuje do danych, z których rzekomo wyszła.

Najmocniejszy argument jest cudownie prozaiczny i nie wymaga wiary w żadną matematykę wyższą: przedziały ufności były za wąskie. Tak wąskie, że żeby je uzyskać uczciwie, trzeba by przeprowadzić ponad 600 tysięcy eksperymentów. Przeprowadzono — jak szacują autorzy replikacji — mniej niż pięćset.³

To nie jest oskarżenie o oszustwo, tylko o błąd w rachunkach. I ma to swój morał dla nas: liczba, którą wszyscy powtarzali jako prawo natury, przez dwa lata nie została porządnie przeliczona przez nikogo z zewnątrz.

Ale — i to jest ważne, bo internet lubi z tego robić większą aferę, niż była — replikacja Chinchilli nie obala. Po poprawieniu trzeciej metody wynik zbiegł się z dwiema pozostałymi. Prawo skalowania wychodzi z tego wzmocnione, tylko rozebrane z fałszywej precyzji. Dwudziestka trzyma się jako przybliżenie. Nie trzymają się miejsca po przecinku.

Prawdziwy problem z Chinchillą jest gdzie indziej

Bo nawet gdyby rachunki były bez zarzutu, zostaje pytanie, którego Chinchilla w ogóle nie zadaje: co się dzieje z modelem po treningu?

Chinchilla optymalizuje koszt treningu. Kropka. Zakłada w domyśle, że model wytrenujesz i to koniec historii. Tymczasem model trenuje się raz, a potem odpowiada — milion razy, miliard razy, u ciebie na karcie, o drugiej w nocy, przy każdym prompcie.

Sardana, Portes, Doubov i Frankle policzyli to na nowo, doliczając koszt inferencji do równania.⁴ Wytrenowali 47 modeli i wniosek jest jednoznaczny: kto spodziewa się realnego ruchu (rzędu miliarda zapytań), powinien trenować modele mniejsze i dłużej, niż każe Chinchilla.

I najciekawsza obserwacja: jakość rosła dalej, gdy pchali stosunek tokenów do parametrów do skrajności — aż do dziesięciu tysięcy tokenów na parametr.⁴ Nie ma ściany, o którą model uderza po dwudziestce. Jest tylko moment, w którym dokładanie danych przestaje się opłacać przy danym budżecie treningu — a to zupełnie inne zdanie.

Co z tego ma człowiek z jedną kartą

Trzy rzeczy, całkiem praktyczne.

Po pierwsze — przestań czytać liczbę parametrów jako miarę jakości. Model 8B z 2026 roku i model 8B z 2023 to dwa różne zwierzęta, bo ten pierwszy zjadł kilkanaście razy więcej danych. Rozmiar mówi ci, ile zajmie VRAM-u, a nie ile umie.

Po drugie — to wyjaśnia, czemu małe modele tak wyraźnie zmądrzały. Nie wydarzył się żaden cud architektoniczny. Wydarzyła się decyzja ekonomiczna: skoro inferencja kosztuje w nieskończoność, a trening raz, przesuńmy wysiłek na trening. Cała kategoria modeli, które w ogóle mieszczą się na domowej karcie, istnieje dzięki temu rachunkowi.

Po trzecie — jeśli sam kiedyś coś trenujesz, policz to pod własną sytuację. Ograniczają cię dane? Chinchilla powie, jak duży model ma sens, żeby ich nie zmarnować. Masz danych w bród, a model ma potem pracować? Trenuj mniejszy i dłużej, wbrew dwudziestce, bo tak robią ci, którzy za inferencję realnie płacą.

Dwa lata na jednej liczbie

Jest coś rozbrajająco ludzkiego w tej historii. Wielka firma publikuje pracę, która słusznie wywraca dziedzinę. Branża destyluje ją do jednej liczby wygodnej do zapamiętania. Liczba wędruje przez tysiące prezentacji, wątków i wpisów jako prawo natury — aż ktoś siada, przelicza i odkrywa, że przedziały ufności obiecywały precyzję z sześciuset tysięcy eksperymentów, których nie było.

A gdy już to sprostowano, okazało się, że reguła i tak jest nie ta, o którą powinniśmy pytać. Bo pytanie „jaki model za dany budżet treningu" jest ciekawe dla tego, kto trenuje. Ciebie interesuje pytanie, którego Chinchilla nie zadała: jaki model za dany budżet odpowiadania. I na to odpowiedź brzmi: mniejszy, niż myślisz, i głodniejszy, niż ktokolwiek zakładał w 2022 roku.