Inferownia. // miejsce, gdzie odpalasz modele
Szuflada

Aktualności

Co nowego w świecie lokalnego AI — nowe modele, wydania llama.cpp, ciekawe narzędzia. Krótko i na temat.
RSS działu ↗
Filtr · kategoria 3 wyników
01

Backendy llama.cpp: świat poza CUDA

Nie masz zielonej karty i już myślisz, że lokalne LLM-y nie są dla ciebie? llama.cpp liczy na CPU, Metalu, Vulkanie i całej reszcie sprzętu — CUDA to tylko jedna z opcji, nie bilet wstępu.

Zobacz →
02

Nowy model? Na co patrzeć, zanim go ściągniesz

Świeży model wpada na Hugging Face, scena huczy, a ty już masz palec nad przyciskiem pobierania. Zanim klikniesz, przejdź tę krótką listę — oszczędzi ci wieczoru walki z czymś, co i tak nie chciało ruszyć.

Zobacz →
03

Ekosystem GGUF: skąd się biorą modele, które odpalasz

Ściągasz jeden plik z Hugging Face, dwuklik i model gada. Ale kto go w ogóle zrobił, czemu wariantów jest dwadzieścia i co siedzi w środku tego jednego .gguf? Rozbieramy fabrykę.

Zobacz →