Autoregresja kontra dyfuzja: co wygrywa, gdy danych zaczyna brakować
Każdy model, którego odpalasz u siebie, pisze tak samo: jeden token, od lewej do prawej, bez prawa cofnięcia. To autoregresja i rządzi całą sceną. Ale jest drugi sposób — dyfuzja, która tekst nie tyle pisze, co wywołuje z szumu. I okazuje się, że w jednym konkretnym reżimie, akurat tym twoim, bije autoregresję na głowę.