셀프 호스팅
RAM과 GPU 보유 여부면 충분합니다. 나머지는 선택입니다. 순위는 출처가 있는 매개변수 수에 대한 산술이며, 승자를 정하는 것은 NVIDIA가 아닙니다.
프로파일된 공개 가중치 모델 25개 중 7개가 컨텍스트 8192에서 24 GiB(vram)에 들어갑니다. 들어가는 것 중 최고 평가: Gemma 4 31B(Q5_K_M).
VRAM as entered. Driver reservation is inside the 1 GiB overhead, not extra.
48 GiB는 Gemma 4 31B의 양자화를 Q8_0로 올립니다. 같은 모델이며, 지능 점수가 오르는 것이 아닙니다.
들어가는 모델 중에서
들어가는 모델 중 LMArena Elo 최고: Gemma 4 31B 1443.4. Elo는 사람의 선호 척도이지 지능 지수가 아닙니다.
The arena boards are separate scales and are never blended. A missing cell is unmeasured, not zero. A model’s highest axis is relative to its own scores, not a claim it leads the catalogue.
들어가는 평가된 모델
| 모델 | 인간 선호도 | 들어가는 양자화 | 추정 GiB | 여유 |
|---|---|---|---|---|
| Gemma 4 31B | 1443.4 | Q5_K_M | 22.106 | 1.894 |
| Qwen3.8 27B | 1440.7 | Q5_K_M | 20.063 | 3.938 |
| Phi 4 | 1216.7 | Q8_0 | 17.438 | 6.563 |
- KV heads and head dim are not in the public size table we used. Cache is not estimated.
- KV cache not estimated — layer/head geometry is not in the sourced profile. Longer context may not fit.
들어감, 미평가
- Muse Glimmer 30B — Q5_K_M, 21.756 GiB 미평가 시각추론도구
- Ministral 3 14B 2512 — Q8_0, 17.019 GiB 미평가 시각도구
- Ministral 3 8B 2512 — F16, 19.663 GiB 미평가 시각도구
- Ministral 3 3B 2512 — F16, 9.413 GiB 미평가 시각도구
업그레이드가 실제로 사주는 것
병목은 GPU 메모리입니다. 시스템 RAM을 늘려도 이 카드에 가중치가 더 올라가지 않습니다.
| 추정 GiB | 열리는 것 | 예 | 정가 |
|---|---|---|---|
| 48 GiB | Gemma 4 31B — Q8_0같은 모델, 더 높은 양자화 | rtx a6000, rtx 6000 ada, rtx pro 6000 blackwell | 이 파일에 소비자 가격 없음 |
다음으로 평가가 높은 카탈로그 모델은 Kimi K3이며, Q4_K_M에서도 1691.5 GiB를 요구합니다. 데스크톱 카드가 아닙니다.
NVIDIA 'Starting at' list prices as published 2026-08-25, not a store quote and not a used-market index. Street prices in August 2026 are often much higher (Tom's Hardware Newegg median RTX 5090 $4,699 vs $1,999 list). Last-gen 24 GB cards (4090, 3090) have no current NVIDIA starting-at in this file. Datacenter cards have no consumer list here. RAM DIMMs are not priced — they move weekly.
업그레이드는 순위와 동일한 적합 공식을 씁니다. 정가는 NVIDIA의 시작가이며 2026-08-25 기준입니다. 실제 판매가는 대개 더 높습니다. 중고 24GB 카드와 데이터센터 GPU는 여기에 정가가 없습니다. RAM 모듈은 가격을 매기지 않습니다.
들어가지 않거나 프로파일 없음
- cohere/command-a-plus — even Q4_K_M wants 132.618 GiB; pool is 24 GiB
- deepseek/deepseek-v4-flash-vision-exp — even Q4_K_M wants 184.902 GiB; pool is 24 GiB
- z-ai/glm-5.3 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB
- qwen/qwen3.8-2.4t-a95b — even Q4_K_M wants 1450.719 GiB; pool is 24 GiB
- moonshotai/kimi-k3 — even Q4_K_M wants 1691.5 GiB; pool is 24 GiB
- z-ai/glm-5.2 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB
- moonshotai/kimi-k2.7-code — even Q4_K_M wants 604.75 GiB; pool is 24 GiB
- nvidia/nemotron-3-ultra-550b-a55b — even Q4_K_M wants 333.063 GiB; pool is 24 GiB
- minimax/minimax-m3 — even Q4_K_M wants 259.405 GiB; pool is 24 GiB
- deepseek/deepseek-v4-pro — even Q4_K_M wants 967 GiB; pool is 24 GiB
- deepseek/deepseek-v4-flash — even Q4_K_M wants 172.465 GiB; pool is 24 GiB
- mistralai/mistral-small-2603 — even Q4_K_M wants 73.2 GiB; pool is 24 GiB
- mistralai/mistral-large-2512 — even Q4_K_M wants 408.531 GiB; pool is 24 GiB
- deepseek/deepseek-v3.2 — even Q4_K_M wants 406.116 GiB; pool is 24 GiB
- openai/gpt-oss-120b — even Q4_K_M wants 72.201 GiB; pool is 24 GiB
- meta-llama/llama-4-maverick — even Q4_K_M wants 242.5 GiB; pool is 24 GiB
- meta-llama/llama-4-scout — even Q4_K_M wants 66.809 GiB; pool is 24 GiB
- cohere/command-a — even Q4_K_M wants 68.016 GiB; pool is 24 GiB
추가 정보(선택)
순위를 바꾸지 않습니다. NVIDIA NIM의 가장 강력한 모델로, 위 수치에 비추어 메모를 선택적으로 분석합니다.
이 수치를 구하는 방법
가중치: 측정된 GGUF 크기가 있으면 그것을, 없으면 전체 매개변수 × 가중치당 비트 ÷ 8을 씁니다. Q4_K_M은 매개변수당 4.83비트로 봅니다. MoE 메모리는 활성 매개변수가 아니라 전체 매개변수를 씁니다.
KV 캐시는 층과 헤드 구조에 출처가 있을 때: 2 × kvLayers × kvHeads × headDim × 컨텍스트 × 2바이트(FP16, 배치 1). 혼합 모델은 모든 층이 아니라 어텐션 층 수를 씁니다. 구조가 없으면 캐시를 빼고 그 사실을 밝힙니다.
CUDA와 런타임을 위해 1 GiB를 더합니다. Apple의 통합 메모리는 RAM을 풀로 씁니다. CPU 전용은 메모리 적합이지 속도 주장이 아닙니다. DDR 세대는 적합 판정에서 무시합니다. 대역폭은 달라지지만 가중치가 메모리에 올라가는지는 달라지지 않습니다.
openWeights=true인 카탈로그 행만 후보입니다. 그런 행은 25개이며 25개가 출처 있는 크기를 가집니다. 들어가는 미평가 모델은 따로 싣습니다. 점수가 높다고 그대로 대체되는 것은 아닙니다.
RAM 종류(DDR4/DDR5/LPDDR)는 항목이 아닙니다. 모델이 들어가는지 여부를 바꾸지 않습니다.