Zjeżdżasz na dół karty modelu na Hugging Face, tam gdzie drobnym drukiem stoją szczegóły treningu, i widzisz liczbę: ponad 15 bilionów tokenów.1 Model ma osiem miliardów parametrów. Osiem miliardów wag nakarmiono piętnastoma bilionami tokenów — to blisko dwa tysiące tokenów na każdą pojedynczą liczbę w tym pliku, który właśnie ściągasz.
I tu coś nie gra, bo przez ostatnie lata wszędzie powtarzano regułę zupełnie inną: dwadzieścia tokenów na parametr. Nie dwa tysiące. Dwadzieścia. Ktoś się pomylił o dwa rzędy wielkości — i nie jest to ani autor karty modelu, ani ty.
Skąd wzięła się dwudziestka
W 2022 roku DeepMind opublikował pracę, która wywróciła stolik. Do tego czasu wyścig polegał na pompowaniu parametrów: GPT-3 miało 175 miliardów, Megatron-Turing 530 miliardów, a każdy kolejny model był „większy", bo większy znaczyło lepszy.
Hoffmann i współpracownicy wytrenowali ponad 400 modeli od 70 milionów do kilkunastu miliardów parametrów i zadali pytanie, którego nikt porządnie nie zadał: przy ustalonym budżecie obliczeniowym — ile z niego wydać na rozmiar modelu, a ile na dane?2
Odpowiedź brzmiała: po równo. Podwajasz model — podwój liczbę tokenów. Dotychczasowe modele były drastycznie niedotrenowane: ogromne, ale wygłodzone.
Dowodem był Chinchilla — 70 miliardów parametrów, czyli cztery razy mniej niż Gopher, za to nakarmiony czterokrotnie większą porcją danych z tego samego budżetu. I położył wszystkich: Gophera (280B), GPT-3 (175B), Jurassic-1, Megatron-Turing NLG (530B). Na MMLU 67,5%, siedem punktów nad Gopherem.2 Model cztery razy mniejszy od Gophera wygrał, bo dostał jeść.
Z tej pracy wyrosła reguła kciuka, która przykleiła się do branży na lata: około 20 tokenów na parametr.
Potem ktoś sprawdził rachunki
I tu wchodzi praca, od której zaczęliśmy. Zespół z Epoch AI wziął Chinchillę na warsztat i spróbował odtworzyć jej wyniki.3
Hoffmann szacował optimum trzema niezależnymi metodami. Dwie pierwsze zgadzały się ze sobą. Trzecia — nie. Besiroglu i współpracownicy pokazali, że ta trzecia procedura po prostu nie pasuje do danych, z których rzekomo wyszła.
Najmocniejszy argument jest cudownie prozaiczny i nie wymaga wiary w żadną matematykę wyższą: przedziały ufności były za wąskie. Tak wąskie, że żeby je uzyskać uczciwie, trzeba by przeprowadzić ponad 600 tysięcy eksperymentów. Przeprowadzono — jak szacują autorzy replikacji — mniej niż pięćset.3
To nie jest oskarżenie o oszustwo, tylko o błąd w rachunkach. I ma to swój morał dla nas: liczba, którą wszyscy powtarzali jako prawo natury, przez dwa lata nie została porządnie przeliczona przez nikogo z zewnątrz.
Ale — i to jest ważne, bo internet lubi z tego robić większą aferę, niż była — replikacja Chinchilli nie obala. Po poprawieniu trzeciej metody wynik zbiegł się z dwiema pozostałymi. Prawo skalowania wychodzi z tego wzmocnione, tylko rozebrane z fałszywej precyzji. Dwudziestka trzyma się jako przybliżenie. Nie trzymają się miejsca po przecinku.
Prawdziwy problem z Chinchillą jest gdzie indziej
Bo nawet gdyby rachunki były bez zarzutu, zostaje pytanie, którego Chinchilla w ogóle nie zadaje: co się dzieje z modelem po treningu?
Chinchilla optymalizuje koszt treningu. Kropka. Zakłada w domyśle, że model wytrenujesz i to koniec historii. Tymczasem model trenuje się raz, a potem odpowiada — milion razy, miliard razy, u ciebie na karcie, o drugiej w nocy, przy każdym prompcie.
Sardana, Portes, Doubov i Frankle policzyli to na nowo, doliczając koszt inferencji do równania.4 Wytrenowali 47 modeli i wniosek jest jednoznaczny: kto spodziewa się realnego ruchu (rzędu miliarda zapytań), powinien trenować modele mniejsze i dłużej, niż każe Chinchilla.
I najciekawsza obserwacja: jakość rosła dalej, gdy pchali stosunek tokenów do parametrów do skrajności — aż do dziesięciu tysięcy tokenów na parametr.4 Nie ma ściany, o którą model uderza po dwudziestce. Jest tylko moment, w którym dokładanie danych przestaje się opłacać przy danym budżecie treningu — a to zupełnie inne zdanie.
Chinchilla nie mówi „taki model jest najlepszy". Mówi „za takie pieniądze na trening to najlepszy model". To jest optimum obliczeniowe, nie jakościowe — i cała różnica siedzi w tym rozróżnieniu. Jeśli budujesz model, który ma komuś służyć, a nie wygrać benchmark za ustaloną kwotę, przetrenowanie ponad dwudziestkę jest racjonalne. Dlatego twój lokalny model 8B połknął 15 bilionów tokenów: producent świadomie przepłacił za trening, żebyś ty płacił mniej za każdą odpowiedź. Ta sama logika stoi za kwantyzacją i za ekstremalną kompresją wag — koszt inferencji rządzi lokalnym AI.
Co z tego ma człowiek z jedną kartą
Trzy rzeczy, całkiem praktyczne.
Po pierwsze — przestań czytać liczbę parametrów jako miarę jakości. Model 8B z 2026 roku i model 8B z 2023 to dwa różne zwierzęta, bo ten pierwszy zjadł kilkanaście razy więcej danych. Rozmiar mówi ci, ile zajmie VRAM-u, a nie ile umie.
Po drugie — to wyjaśnia, czemu małe modele tak wyraźnie zmądrzały. Nie wydarzył się żaden cud architektoniczny. Wydarzyła się decyzja ekonomiczna: skoro inferencja kosztuje w nieskończoność, a trening raz, przesuńmy wysiłek na trening. Cała kategoria modeli, które w ogóle mieszczą się na domowej karcie, istnieje dzięki temu rachunkowi.
Po trzecie — jeśli sam kiedyś coś trenujesz, policz to pod własną sytuację. Ograniczają cię dane? Chinchilla powie, jak duży model ma sens, żeby ich nie zmarnować. Masz danych w bród, a model ma potem pracować? Trenuj mniejszy i dłużej, wbrew dwudziestce, bo tak robią ci, którzy za inferencję realnie płacą.
Dwa lata na jednej liczbie
Jest coś rozbrajająco ludzkiego w tej historii. Wielka firma publikuje pracę, która słusznie wywraca dziedzinę. Branża destyluje ją do jednej liczby wygodnej do zapamiętania. Liczba wędruje przez tysiące prezentacji, wątków i wpisów jako prawo natury — aż ktoś siada, przelicza i odkrywa, że przedziały ufności obiecywały precyzję z sześciuset tysięcy eksperymentów, których nie było.
A gdy już to sprostowano, okazało się, że reguła i tak jest nie ta, o którą powinniśmy pytać. Bo pytanie „jaki model za dany budżet treningu" jest ciekawe dla tego, kto trenuje. Ciebie interesuje pytanie, którego Chinchilla nie zadała: jaki model za dany budżet odpowiadania. I na to odpowiedź brzmi: mniejszy, niż myślisz, i głodniejszy, niż ktokolwiek zakładał w 2022 roku.
Karta modelu Llama 3 podaje korpus treningowy przekraczający 15 bilionów tokenów dla wariantów 8B i 70B — przy 8 miliardach parametrów daje to blisko 1900 tokenów na parametr, niemal stukrotnie ponad regułę Chinchilli. ai.meta.com/blog/meta-llama-3. ↩︎
Hoffmann i in., Training Compute-Optimal Large Language Models, arXiv:2203.15556 — ponad 400 modeli od 70M do 16B+ parametrów, wniosek o równym skalowaniu parametrów i tokenów, Chinchilla 70B pokonująca Gophera 280B, GPT-3 175B, Jurassic-1 i Megatron-Turing NLG 530B; MMLU 67,5% (+7 pkt nad Gopherem). arxiv.org/abs/2203.15556. ↩︎ ↩︎
Besiroglu, Erdil, Barnett, You, Chinchilla Scaling: A replication attempt, arXiv:2404.10102 — trzecia procedura estymacji nie dopasowuje się do odtworzonych danych i przeczy dwóm pozostałym; raportowane przedziały ufności wymagałyby ponad 600 000 eksperymentów wobec mniej niż 500 faktycznie przeprowadzonych; po korekcie wynik zbiega się z metodami pierwszą i drugą. arxiv.org/abs/2404.10102. ↩︎ ↩︎
Sardana, Portes, Doubov, Frankle, Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws, arXiv:2401.00448 — 47 wytrenowanych modeli, doliczenie kosztu inferencji do prawa skalowania, jakość rosnąca przy stosunku sięgającym 10 000 tokenów na parametr, rekomendacja trenowania modeli mniejszych i dłużej niż optimum Chinchilli przy dużym spodziewanym ruchu. arxiv.org/abs/2401.00448. ↩︎ ↩︎