Собственный хостинг
Достаточно ОЗУ и того, есть ли у вас GPU. Всё остальное необязательно. Ранжирование — это арифметика по числам параметров с источником: победителя выбирает не NVIDIA.
6 из 20 профилированных моделей с открытыми весами помещаются в 24 ГиБ (vram) при контексте 8192. Лучшая по оценке из помещающихся: Qwen3.8 27B (Q5_K_M).
VRAM as entered. Driver reservation is inside the 1 GiB overhead, not extra.
32 ГиБ поднимает квантование Qwen3.8 27B до Q8_0. Та же модель, а не более высокая оценка интеллекта.
Среди моделей, которые помещаются
У Qwen3.8 27B самые высокие оценки Artificial Analysis по интеллекту (52), программированию (68.1) и агентности (50.9) среди помещающихся моделей.
Наивысший Эло LMArena среди помещающихся: Gemma 4 31B 1441.7. Эло — шкала предпочтений людей, а не индекс интеллекта.
Индексы Artificial Analysis и Эло LMArena — разные шкалы. Пустая ячейка означает «не измерено», а не ноль. Сильнейшая ось модели соотносится с её собственными оценками, а не утверждает лидерство в каталоге.
Оценённые модели, которые помещаются
| Модель | Общие | Код | Агентные | Предпочтения людей | Подходящее квантование | Оценка, ГиБ | Запас |
|---|---|---|---|---|---|---|---|
| Qwen3.8 27B | 52 | 68.1 | 50.9 | 1440.8 | Q5_K_M | 20.063 | 3.938 |
| Gemma 4 31B | 29.7 | 43.4 | 14.4 | 1441.7 | Q5_K_M | 22.106 | 1.894 |
| Olmo 3 32B Think | — | — | — | 1298.5 | Q4_K_M | 22.32 | 1.68 |
| Granite 4.1 8B | — | 9.5 | — | 1291.6 | F16 | 18.25 | 5.75 |
| Phi 4 | — | — | — | 1216.8 | Q8_0 | 17.438 | 6.563 |
- Hybrid: only 16 of 64 layers are Gated Attention. KV uses kvLayers=16, not nLayers=64. Measured Q4 is Unsloth UD-Q4_K_M, not a vanilla Q4_K_M.
Помещаются, без оценки
- Muse Glimmer 30B — Q5_K_M, 21.756 GiB без оценки зрениерассуждениеинструменты
Что на самом деле даёт апгрейд
Узкое место — память GPU. Больше системного ОЗУ не загрузит дополнительные веса на эту карту.
| Оценка, ГиБ | Открывает | Пример | Прайсовая цена |
|---|---|---|---|
| 32 GiB | Qwen3.8 27B — Q8_0та же модель, более высокое квантование | GeForce RTX 5090 (32 GiB) | USD 1999 от |
Следующая по оценке модель каталога — Kimi K3, и даже в Q4_K_M ей нужно 1691.5 ГиБ. Это не настольная карта.
NVIDIA 'Starting at' list prices as published 2026-08-25, not a store quote and not a used-market index. Street prices in August 2026 are often much higher (Tom's Hardware Newegg median RTX 5090 $4,699 vs $1,999 list). Last-gen 24 GB cards (4090, 3090) have no current NVIDIA starting-at in this file. Datacenter cards have no consumer list here. RAM DIMMs are not priced — they move weekly.
Апгрейды используют ту же формулу вместимости, что и ранжирование. Прайсовые цены — это цены NVIDIA «от», по состоянию на 2026-08-25. Рыночные цены часто выше. У б/у карт на 24 ГБ и GPU для ЦОД прайса здесь нет. Модули ОЗУ не оцениваются.
Не помещаются или не профилированы
- qwen/qwen3.8-2.4t-a95b — even Q4_K_M wants 1450.719 GiB; pool is 24 GiB
- moonshotai/kimi-k3 — even Q4_K_M wants 1691.5 GiB; pool is 24 GiB
- z-ai/glm-5.2 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB
- moonshotai/kimi-k2.7-code — even Q4_K_M wants 604.75 GiB; pool is 24 GiB
- nvidia/nemotron-3-ultra-550b-a55b — even Q4_K_M wants 333.063 GiB; pool is 24 GiB
- minimax/minimax-m3 — even Q4_K_M wants 259.405 GiB; pool is 24 GiB
- deepseek/deepseek-v4-pro — even Q4_K_M wants 967 GiB; pool is 24 GiB
- deepseek/deepseek-v4-flash — even Q4_K_M wants 172.465 GiB; pool is 24 GiB
- mistralai/mistral-small-2603 — even Q4_K_M wants 73.2 GiB; pool is 24 GiB
- deepseek/deepseek-v3.2 — even Q4_K_M wants 406.116 GiB; pool is 24 GiB
- openai/gpt-oss-120b — even Q4_K_M wants 72.201 GiB; pool is 24 GiB
- meta-llama/llama-4-maverick — even Q4_K_M wants 242.5 GiB; pool is 24 GiB
- meta-llama/llama-4-scout — even Q4_K_M wants 66.809 GiB; pool is 24 GiB
- cohere/command-a — even Q4_K_M wants 68.016 GiB; pool is 24 GiB
Дополнительные сведения (необязательно)
Не меняет ранжирование. Необязательный разбор ваших заметок с помощью ИИ на фоне приведённых выше чисел, на сильнейших моделях NVIDIA NIM.
Как получается это число
Веса: измеренный размер GGUF, если он у нас есть, иначе общее число параметров × бит на вес ÷ 8. Q4_K_M считается как 4,83 бита на параметр. Память MoE считается по общему числу параметров, а не по активным.
Кэш KV, когда геометрия слоёв и голов имеет источник: 2 × kvLayers × kvHeads × headDim × контекст × 2 байта (FP16, батч 1). Гибридные модели используют число слоёв внимания, а не все слои. Если геометрии нет, кэш не учитывается, и об этом сказано.
Добавляется 1 ГиБ на CUDA и среду выполнения. Единая память Apple использует ОЗУ как пул. Режим только на CPU — это вместимость по памяти, а не утверждение о скорости. Поколение DDR при подборе игнорируется: оно меняет пропускную способность, а не то, помещаются ли веса в память.
Кандидатами являются только строки каталога с openWeights=true. Таких строк 20; у 20 есть размеры с источником. Помещающиеся модели без оценки перечислены отдельно. Более высокая оценка не означает прямую замену.
Тип ОЗУ (DDR4/DDR5/LPDDR) не является полем. Он не влияет на то, помещается ли модель.