Własny hosting
Wystarczy RAM i informacja, czy masz GPU. Reszta jest opcjonalna. Ranking to arytmetyka na udokumentowanych liczbach parametrów — to nie NVIDIA wybiera zwycięzcę.
7 z 25 sprofilowanych modeli o otwartych wagach mieści się w 24 GiB (vram) przy kontekście 8192. Najlepiej oceniony, który się mieści: Gemma 4 31B (Q5_K_M).
VRAM as entered. Driver reservation is inside the 1 GiB overhead, not extra.
48 GiB podnosi kwantyzację modelu Gemma 4 31B do Q8_0. Ten sam model, a nie wyższy wynik inteligencji.
Wśród modeli, które się mieszczą
Najwyższe Elo LMArena wśród mieszczących się: Gemma 4 31B 1443,4. Elo to skala preferencji ludzi, a nie indeks inteligencji.
The arena boards are separate scales and are never blended. A missing cell is unmeasured, not zero. A model’s highest axis is relative to its own scores, not a claim it leads the catalogue.
Oceniane modele, które się mieszczą
| Model | Preferencje ludzi | Kwantyzacja, która się mieści | Szacowane GiB | Zapas |
|---|---|---|---|---|
| Gemma 4 31B | 1443,4 | Q5_K_M | 22,106 | 1,894 |
| Qwen3.8 27B | 1440,7 | Q5_K_M | 20,063 | 3,938 |
| Phi 4 | 1216,7 | Q8_0 | 17,438 | 6,563 |
- KV heads and head dim are not in the public size table we used. Cache is not estimated.
- KV cache not estimated — layer/head geometry is not in the sourced profile. Longer context may not fit.
Mieszczą się, bez oceny
- Muse Glimmer 30B — Q5_K_M, 21,756 GiB bez oceny wizjarozumowanienarzędzia
- Ministral 3 14B 2512 — Q8_0, 17,019 GiB bez oceny wizjanarzędzia
- Ministral 3 8B 2512 — F16, 19,663 GiB bez oceny wizjanarzędzia
- Ministral 3 3B 2512 — F16, 9,413 GiB bez oceny wizjanarzędzia
Co naprawdę daje rozbudowa
Wąskim gardłem jest pamięć GPU. Więcej RAM-u systemowego nie załaduje dodatkowych wag na tę kartę.
| Szacowane GiB | Odblokowuje | Przykład | Cena katalogowa |
|---|---|---|---|
| 48 GiB | Gemma 4 31B — Q8_0ten sam model, wyższa kwantyzacja | rtx a6000, rtx 6000 ada, rtx pro 6000 blackwell | Brak ceny konsumenckiej w tym pliku |
Kolejny lepiej oceniony model z katalogu to Kimi K3, a nawet Q4_K_M wymaga 1691,5 GiB. To nie jest karta desktopowa.
NVIDIA 'Starting at' list prices as published 2026-08-25, not a store quote and not a used-market index. Street prices in August 2026 are often much higher (Tom's Hardware Newegg median RTX 5090 $4,699 vs $1,999 list). Last-gen 24 GB cards (4090, 3090) have no current NVIDIA starting-at in this file. Datacenter cards have no consumer list here. RAM DIMMs are not priced — they move weekly.
Rozbudowy korzystają z tego samego wzoru dopasowania co ranking. Ceny katalogowe to ceny „od” NVIDII, z dnia 2026-08-25. Ceny rynkowe bywają wyższe. Używane karty 24 GB i GPU serwerowe nie mają tu ceny katalogowej. Moduły RAM nie są wyceniane.
Nie mieszczą się lub nie są sprofilowane
- cohere/command-a-plus — even Q4_K_M wants 132.618 GiB; pool is 24 GiB
- deepseek/deepseek-v4-flash-vision-exp — even Q4_K_M wants 184.902 GiB; pool is 24 GiB
- z-ai/glm-5.3 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB
- qwen/qwen3.8-2.4t-a95b — even Q4_K_M wants 1450.719 GiB; pool is 24 GiB
- moonshotai/kimi-k3 — even Q4_K_M wants 1691.5 GiB; pool is 24 GiB
- z-ai/glm-5.2 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB
- moonshotai/kimi-k2.7-code — even Q4_K_M wants 604.75 GiB; pool is 24 GiB
- nvidia/nemotron-3-ultra-550b-a55b — even Q4_K_M wants 333.063 GiB; pool is 24 GiB
- minimax/minimax-m3 — even Q4_K_M wants 259.405 GiB; pool is 24 GiB
- deepseek/deepseek-v4-pro — even Q4_K_M wants 967 GiB; pool is 24 GiB
- deepseek/deepseek-v4-flash — even Q4_K_M wants 172.465 GiB; pool is 24 GiB
- mistralai/mistral-small-2603 — even Q4_K_M wants 73.2 GiB; pool is 24 GiB
- mistralai/mistral-large-2512 — even Q4_K_M wants 408.531 GiB; pool is 24 GiB
- deepseek/deepseek-v3.2 — even Q4_K_M wants 406.116 GiB; pool is 24 GiB
- openai/gpt-oss-120b — even Q4_K_M wants 72.201 GiB; pool is 24 GiB
- meta-llama/llama-4-maverick — even Q4_K_M wants 242.5 GiB; pool is 24 GiB
- meta-llama/llama-4-scout — even Q4_K_M wants 66.809 GiB; pool is 24 GiB
- cohere/command-a — even Q4_K_M wants 68.016 GiB; pool is 24 GiB
Dodatkowe szczegóły (opcjonalnie)
Nie zmienia rankingu. Opcjonalna analiza AI twoich notatek w zestawieniu z powyższymi liczbami, przy użyciu najmocniejszych modeli NVIDIA NIM.
Jak powstaje ta liczba
Wagi: zmierzony rozmiar GGUF, gdy go mamy, w przeciwnym razie łączna liczba parametrów × bity na wagę ÷ 8. Q4_K_M traktujemy jako 4,83 bita na parametr. Pamięć modeli MoE liczy się z parametrów łącznych, nie aktywnych.
Pamięć podręczna KV, gdy geometria warstw i głowic jest udokumentowana: 2 × kvLayers × kvHeads × headDim × kontekst × 2 bajty (FP16, wsad 1). Modele hybrydowe używają liczby warstw uwagi, a nie wszystkich warstw. Przy braku geometrii pamięć podręczna jest pomijana i jest to zaznaczone.
Dodaje się 1 GiB na CUDA i środowisko uruchomieniowe. Pamięć zunifikowana Apple używa RAM-u jako puli. Sam CPU to dopasowanie pamięci, a nie obietnica prędkości. Generacja DDR jest pomijana przy dopasowaniu — zmienia przepustowość, a nie to, czy wagi mieszczą się w pamięci.
Kandydatami są wyłącznie wiersze katalogu z openWeights=true. Takich wierszy jest 25; 25 ma udokumentowane rozmiary. Mieszczące się modele bez oceny są wypisane osobno. Wyższy wynik nie oznacza zamiennika wprost.
Typ RAM-u (DDR4/DDR5/LPDDR) nie jest polem. Nie zmienia tego, czy model się mieści.