셀프 호스팅
RAM과 GPU 보유 여부면 충분합니다. 나머지는 선택입니다. 순위는 출처가 있는 매개변수 수에 대한 산술이며, 승자를 정하는 것은 NVIDIA가 아닙니다.
프로파일된 공개 가중치 모델 20개 중 6개가 컨텍스트 8192에서 24 GiB(vram)에 들어갑니다. 들어가는 것 중 최고 평가: Qwen3.8 27B(Q5_K_M).
VRAM as entered. Driver reservation is inside the 1 GiB overhead, not extra.
32 GiB는 Qwen3.8 27B의 양자화를 Q8_0로 올립니다. 같은 모델이며, 지능 점수가 오르는 것이 아닙니다.
들어가는 모델 중에서
들어가는 모델 중 Qwen3.8 27B이(가) Artificial Analysis의 지능(52), 코딩(68.1), 에이전트(50.9) 점수 모두 가장 높습니다.
들어가는 모델 중 LMArena Elo 최고: Gemma 4 31B 1441.7. Elo는 사람의 선호 척도이지 지능 지수가 아닙니다.
Artificial Analysis 지수와 LMArena Elo는 서로 다른 척도입니다. 빈 칸은 측정되지 않은 것이지 0이 아닙니다. 어떤 모델의 최고 축은 그 모델 자신의 점수에 대한 상대값이며, 카탈로그 1위라는 주장이 아닙니다.
들어가는 평가된 모델
| 모델 | 일반 | 코딩 | 에이전트 | 인간 선호도 | 들어가는 양자화 | 추정 GiB | 여유 |
|---|---|---|---|---|---|---|---|
| Qwen3.8 27B | 52 | 68.1 | 50.9 | 1440.8 | Q5_K_M | 20.063 | 3.938 |
| Gemma 4 31B | 29.7 | 43.4 | 14.4 | 1441.7 | Q5_K_M | 22.106 | 1.894 |
| Olmo 3 32B Think | — | — | — | 1298.5 | Q4_K_M | 22.32 | 1.68 |
| Granite 4.1 8B | — | 9.5 | — | 1291.6 | F16 | 18.25 | 5.75 |
| Phi 4 | — | — | — | 1216.8 | Q8_0 | 17.438 | 6.563 |
- Hybrid: only 16 of 64 layers are Gated Attention. KV uses kvLayers=16, not nLayers=64. Measured Q4 is Unsloth UD-Q4_K_M, not a vanilla Q4_K_M.
들어감, 미평가
- Muse Glimmer 30B — Q5_K_M, 21.756 GiB 미평가 시각추론도구
업그레이드가 실제로 사주는 것
병목은 GPU 메모리입니다. 시스템 RAM을 늘려도 이 카드에 가중치가 더 올라가지 않습니다.
| 추정 GiB | 열리는 것 | 예 | 정가 |
|---|---|---|---|
| 32 GiB | Qwen3.8 27B — Q8_0같은 모델, 더 높은 양자화 | GeForce RTX 5090 (32 GiB) | USD 1999부터 |
다음으로 평가가 높은 카탈로그 모델은 Kimi K3이며, Q4_K_M에서도 1691.5 GiB를 요구합니다. 데스크톱 카드가 아닙니다.
NVIDIA 'Starting at' list prices as published 2026-08-25, not a store quote and not a used-market index. Street prices in August 2026 are often much higher (Tom's Hardware Newegg median RTX 5090 $4,699 vs $1,999 list). Last-gen 24 GB cards (4090, 3090) have no current NVIDIA starting-at in this file. Datacenter cards have no consumer list here. RAM DIMMs are not priced — they move weekly.
업그레이드는 순위와 동일한 적합 공식을 씁니다. 정가는 NVIDIA의 시작가이며 2026-08-25 기준입니다. 실제 판매가는 대개 더 높습니다. 중고 24GB 카드와 데이터센터 GPU는 여기에 정가가 없습니다. RAM 모듈은 가격을 매기지 않습니다.
들어가지 않거나 프로파일 없음
- qwen/qwen3.8-2.4t-a95b — even Q4_K_M wants 1450.719 GiB; pool is 24 GiB
- moonshotai/kimi-k3 — even Q4_K_M wants 1691.5 GiB; pool is 24 GiB
- z-ai/glm-5.2 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB
- moonshotai/kimi-k2.7-code — even Q4_K_M wants 604.75 GiB; pool is 24 GiB
- nvidia/nemotron-3-ultra-550b-a55b — even Q4_K_M wants 333.063 GiB; pool is 24 GiB
- minimax/minimax-m3 — even Q4_K_M wants 259.405 GiB; pool is 24 GiB
- deepseek/deepseek-v4-pro — even Q4_K_M wants 967 GiB; pool is 24 GiB
- deepseek/deepseek-v4-flash — even Q4_K_M wants 172.465 GiB; pool is 24 GiB
- mistralai/mistral-small-2603 — even Q4_K_M wants 73.2 GiB; pool is 24 GiB
- deepseek/deepseek-v3.2 — even Q4_K_M wants 406.116 GiB; pool is 24 GiB
- openai/gpt-oss-120b — even Q4_K_M wants 72.201 GiB; pool is 24 GiB
- meta-llama/llama-4-maverick — even Q4_K_M wants 242.5 GiB; pool is 24 GiB
- meta-llama/llama-4-scout — even Q4_K_M wants 66.809 GiB; pool is 24 GiB
- cohere/command-a — even Q4_K_M wants 68.016 GiB; pool is 24 GiB
추가 정보(선택)
순위를 바꾸지 않습니다. NVIDIA NIM의 가장 강력한 모델로, 위 수치에 비추어 메모를 선택적으로 분석합니다.
이 수치를 구하는 방법
가중치: 측정된 GGUF 크기가 있으면 그것을, 없으면 전체 매개변수 × 가중치당 비트 ÷ 8을 씁니다. Q4_K_M은 매개변수당 4.83비트로 봅니다. MoE 메모리는 활성 매개변수가 아니라 전체 매개변수를 씁니다.
KV 캐시는 층과 헤드 구조에 출처가 있을 때: 2 × kvLayers × kvHeads × headDim × 컨텍스트 × 2바이트(FP16, 배치 1). 혼합 모델은 모든 층이 아니라 어텐션 층 수를 씁니다. 구조가 없으면 캐시를 빼고 그 사실을 밝힙니다.
CUDA와 런타임을 위해 1 GiB를 더합니다. Apple의 통합 메모리는 RAM을 풀로 씁니다. CPU 전용은 메모리 적합이지 속도 주장이 아닙니다. DDR 세대는 적합 판정에서 무시합니다. 대역폭은 달라지지만 가중치가 메모리에 올라가는지는 달라지지 않습니다.
openWeights=true인 카탈로그 행만 후보입니다. 그런 행은 20개이며 20개가 출처 있는 크기를 가집니다. 들어가는 미평가 모델은 따로 싣습니다. 점수가 높다고 그대로 대체되는 것은 아닙니다.
RAM 종류(DDR4/DDR5/LPDDR)는 항목이 아닙니다. 모델이 들어가는지 여부를 바꾸지 않습니다.