--- title: "셀프 호스팅 — 이 기기에 어떤 공개 가중치 모델이 들어가는가 · Undominated.ai" canonical: https://undominated.ai/ko/self-host/ description: "RAM과 GPU 메모리를 바탕으로 카탈로그의 공개 가중치 모델 중 실제로 들어가는 것을 순위 매깁니다. 품질이 먼저입니다. 미평가는 0이 아닙니다. 매개변수 수가 없다는 것은 추측이 아닙니다." --- # 셀프 호스팅 — 이 기기에 어떤 공개 가중치 모델이 들어가는가 · Undominated.ai > RAM과 GPU 메모리를 바탕으로 카탈로그의 공개 가중치 모델 중 실제로 들어가는 것을 순위 매깁니다. 품질이 먼저입니다. 미평가는 0이 아닙니다. 매개변수 수가 없다는 것은 추측이 아닙니다. # 셀프 호스팅 RAM과 GPU 보유 여부면 충분합니다. 나머지는 선택입니다. 순위는 출처가 있는 매개변수 수에 대한 산술이며, 승자를 정하는 것은 NVIDIA가 아닙니다. 25 개의 카탈로그 행이 공개 가중치로 표시되어 있습니다. 그 밖의 것은 후보가 아닙니다. 25 개가 출처 있는 매개변수 수를 가집니다. 나머지는 추측이 아니라 알 수 없음으로 표시됩니다. 1 GiB의 실행 여유. 명시된 값이며 기기에서 측정한 값이 아닙니다. [CPU 16 GiB](/self-host/cpu-16gb/)[8 GiB GPU](/self-host/8gb/)[10 GiB GPU](/self-host/10gb/)[12 GiB GPU](/self-host/12gb/)[16 GiB GPU](/self-host/16gb/)[20 GiB GPU](/self-host/20gb/)[24 GiB GPU](/self-host/24gb/)[32 GiB GPU](/self-host/32gb/)[40 GiB GPU](/self-host/40gb/)[48 GiB GPU](/self-host/48gb/)[80 GiB GPU](/self-host/80gb/)[94 GiB GPU](/self-host/94gb/)[96 GiB GPU](/self-host/96gb/)[192 GiB GPU](/self-host/192gb/) [RTX 5090](/self-host/rtx-5090/)[RTX 5080](/self-host/rtx-5080/)[RTX 5070 Ti](/self-host/rtx-5070-ti/)[RTX 5070](/self-host/rtx-5070/)[RTX 5060 Ti 16](/self-host/rtx-5060-ti-16/)[RTX 5060 Ti 8](/self-host/rtx-5060-ti-8/)[RTX 5060](/self-host/rtx-5060/)[RTX 5050](/self-host/rtx-5050/)[RTX 4090](/self-host/rtx-4090/)[RTX 4080](/self-host/rtx-4080/)[RTX 4070 Ti](/self-host/rtx-4070-ti/)[RTX 4070](/self-host/rtx-4070/)[RTX 4060 Ti 16](/self-host/rtx-4060-ti-16/)[RTX 4060 Ti 8](/self-host/rtx-4060-ti-8/)[RTX 4060](/self-host/rtx-4060/)[RTX 3090](/self-host/rtx-3090/)[RTX 3080 Ti](/self-host/rtx-3080-ti/)[RTX 3080 12](/self-host/rtx-3080-12/)[RTX 3080](/self-host/rtx-3080/)[RTX 3070 Ti](/self-host/rtx-3070-ti/)[RTX 3070](/self-host/rtx-3070/)[RTX 3060 Ti](/self-host/rtx-3060-ti/)[RTX 3060 8](/self-host/rtx-3060-8/)[RTX 3060](/self-host/rtx-3060/)[RTX A6000](/self-host/rtx-a6000/)[RTX A5000](/self-host/rtx-a5000/)[RTX A4000](/self-host/rtx-a4000/)[RTX 6000 ADA](/self-host/rtx-6000-ada/)[RTX 5000 ADA](/self-host/rtx-5000-ada/)[RTX PRO 6000 Blackwell](/self-host/rtx-pro-6000-blackwell/)[RTX PRO 5000 Blackwell](/self-host/rtx-pro-5000-blackwell/)[A100 80](/self-host/a100-80/)[A100 40](/self-host/a100-40/)[H100 NVL](/self-host/h100-nvl/)[H100](/self-host/h100/)[L40S](/self-host/l40s/)[T4](/self-host/t4/)[RX 7900 XTX](/self-host/rx-7900-xtx/)[RX 7900 XT](/self-host/rx-7900-xt/)[RX 6900 XT](/self-host/rx-6900-xt/)[RX 6800 XT](/self-host/rx-6800-xt/)[MI300X](/self-host/mi300x/) 시스템 RAM GiB GPU 없음(CPU) NVIDIA AMD Apple Intel GPU 메모리 GiB 저희가 수록한 카드를 지정하지 않으면 필수입니다. Apple은 비워 두세요. RAM이 곧 풀입니다. GPU 이름(선택) GPU 개수 운영체제(선택 — 소프트웨어 추천용) 건너뛰기 Linux Windows macOS 확보할 컨텍스트 4K 8K 16K 32K KV 캐시는 이 값에 따라 커집니다. 모델 카드의 최댓값을 가정하지 않습니다. 프로파일된 공개 가중치 모델 25개 중 7개가 컨텍스트 8192에서 24 GiB(vram)에 들어갑니다. 들어가는 것 중 최고 평가: Gemma 4 31B(Q5_K_M). ** ** ** 가중치 21.106 GiB KV 미추정 런타임 1 GiB 여유 1.9 GiB / 24 GiB VRAM as entered. Driver reservation is inside the 1 GiB overhead, not extra. 48 GiB는 Gemma 4 31B의 양자화를 Q8_0로 올립니다. 같은 모델이며, 지능 점수가 오르는 것이 아닙니다. ## 들어가는 모델 중에서 들어가는 모델 중 LMArena Elo 최고: Gemma 4 31B 1443.4. Elo는 사람의 선호 척도이지 지능 지수가 아닙니다. The arena boards are separate scales and are never blended. A missing cell is unmeasured, not zero. A model’s highest axis is relative to its own scores, not a claim it leads the catalogue. ## 들어가는 평가된 모델 | 모델 | 인간 선호도 | 들어가는 양자화 | 추정 GiB | 여유 | | --- | --- | --- | --- | --- | | [Gemma 4 31B](/models/google__gemma-4-31b-it/) 시각 영상 추론 도구 | 1443.4 | Q5_K_M | 22.106 | 1.894 | | [Qwen3.8 27B](/models/qwen__qwen3.8-27b/) 시각 영상 추론 도구 | 1440.7 | Q5_K_M | 20.063 | 3.938 | | [Phi 4](/models/microsoft__phi-4/) | 1216.7 | Q8_0 | 17.438 | 6.563 | - KV heads and head dim are not in the public size table we used. Cache is not estimated. - KV cache not estimated — layer/head geometry is not in the sourced profile. Longer context may not fit. ## 들어감, 미평가 - [Muse Glimmer 30B](/models/meta__muse-glimmer-30b/) — Q5_K_M, 21.756 GiB 미평가 시각 추론 도구 - [Ministral 3 14B 2512](/models/mistralai__ministral-14b-2512/) — Q8_0, 17.019 GiB 미평가 시각 도구 - [Ministral 3 8B 2512](/models/mistralai__ministral-8b-2512/) — F16, 19.663 GiB 미평가 시각 도구 - [Ministral 3 3B 2512](/models/mistralai__ministral-3b-2512/) — F16, 9.413 GiB 미평가 시각 도구 ## 업그레이드가 실제로 사주는 것 병목은 GPU 메모리입니다. 시스템 RAM을 늘려도 이 카드에 가중치가 더 올라가지 않습니다. | 추정 GiB | 열리는 것 | 예 | 정가 | | --- | --- | --- | --- | | 48 GiB | [Gemma 4 31B](/models/google__gemma-4-31b-it/) — Q8_0 같은 모델, 더 높은 양자화 | rtx a6000, rtx 6000 ada, rtx pro 6000 blackwell | 이 파일에 소비자 가격 없음 | 다음으로 평가가 높은 카탈로그 모델은 Kimi K3이며, Q4_K_M에서도 1691.5 GiB를 요구합니다. 데스크톱 카드가 아닙니다. NVIDIA 'Starting at' list prices as published 2026-08-25, not a store quote and not a used-market index. Street prices in August 2026 are often much higher (Tom's Hardware Newegg median RTX 5090 $4,699 vs $1,999 list). Last-gen 24 GB cards (4090, 3090) have no current NVIDIA starting-at in this file. Datacenter cards have no consumer list here. RAM DIMMs are not priced — they move weekly. 업그레이드는 순위와 동일한 적합 공식을 씁니다. 정가는 NVIDIA의 시작가이며 2026-08-25 기준입니다. 실제 판매가는 대개 더 높습니다. 중고 24GB 카드와 데이터센터 GPU는 여기에 정가가 없습니다. RAM 모듈은 가격을 매기지 않습니다. ## 들어가지 않거나 프로파일 없음 - cohere/command-a-plus — even Q4_K_M wants 132.618 GiB; pool is 24 GiB - deepseek/deepseek-v4-flash-vision-exp — even Q4_K_M wants 184.902 GiB; pool is 24 GiB - z-ai/glm-5.3 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB - qwen/qwen3.8-2.4t-a95b — even Q4_K_M wants 1450.719 GiB; pool is 24 GiB - moonshotai/kimi-k3 — even Q4_K_M wants 1691.5 GiB; pool is 24 GiB - z-ai/glm-5.2 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB - moonshotai/kimi-k2.7-code — even Q4_K_M wants 604.75 GiB; pool is 24 GiB - nvidia/nemotron-3-ultra-550b-a55b — even Q4_K_M wants 333.063 GiB; pool is 24 GiB - minimax/minimax-m3 — even Q4_K_M wants 259.405 GiB; pool is 24 GiB - deepseek/deepseek-v4-pro — even Q4_K_M wants 967 GiB; pool is 24 GiB - deepseek/deepseek-v4-flash — even Q4_K_M wants 172.465 GiB; pool is 24 GiB - mistralai/mistral-small-2603 — even Q4_K_M wants 73.2 GiB; pool is 24 GiB - mistralai/mistral-large-2512 — even Q4_K_M wants 408.531 GiB; pool is 24 GiB - deepseek/deepseek-v3.2 — even Q4_K_M wants 406.116 GiB; pool is 24 GiB - openai/gpt-oss-120b — even Q4_K_M wants 72.201 GiB; pool is 24 GiB - meta-llama/llama-4-maverick — even Q4_K_M wants 242.5 GiB; pool is 24 GiB - meta-llama/llama-4-scout — even Q4_K_M wants 66.809 GiB; pool is 24 GiB - cohere/command-a — even Q4_K_M wants 68.016 GiB; pool is 24 GiB ## 추가 정보(선택) 순위를 바꾸지 않습니다. NVIDIA NIM의 가장 강력한 모델로, 위 수치에 비추어 메모를 선택적으로 분석합니다. AI로 분석 ## 이 수치를 구하는 방법 가중치: 측정된 GGUF 크기가 있으면 그것을, 없으면 전체 매개변수 × 가중치당 비트 ÷ 8을 씁니다. Q4_K_M은 매개변수당 4.83비트로 봅니다. MoE 메모리는 활성 매개변수가 아니라 전체 매개변수를 씁니다. KV 캐시는 층과 헤드 구조에 출처가 있을 때: 2 × kvLayers × kvHeads × headDim × 컨텍스트 × 2바이트(FP16, 배치 1). 혼합 모델은 모든 층이 아니라 어텐션 층 수를 씁니다. 구조가 없으면 캐시를 빼고 그 사실을 밝힙니다. CUDA와 런타임을 위해 1 GiB를 더합니다. Apple의 통합 메모리는 RAM을 풀로 씁니다. CPU 전용은 메모리 적합이지 속도 주장이 아닙니다. DDR 세대는 적합 판정에서 무시합니다. 대역폭은 달라지지만 가중치가 메모리에 올라가는지는 달라지지 않습니다. openWeights=true인 카탈로그 행만 후보입니다. 그런 행은 25개이며 25개가 출처 있는 크기를 가집니다. 들어가는 미평가 모델은 따로 싣습니다. 점수가 높다고 그대로 대체되는 것은 아닙니다. RAM 종류(DDR4/DDR5/LPDDR)는 항목이 아닙니다. 모델이 들어가는지 여부를 바꾸지 않습니다. ## Continue your investigation - [Inspect open-weight models · English](/open-weights/) - [Compare model variants · English](/families/) - [Review requirements · English](/compare/) - [Find serving tools · English](/tools/)