--- title: "自托管 — 这台机器装得下哪个开放权重模型 · Undominated.ai" canonical: https://undominated.ai/zh/self-host/ description: "根据内存与显存，对目录中真正装得下的开放权重模型排序。质量优先。未评分不等于零。缺失的参数量不是猜测。" --- # 自托管 — 这台机器装得下哪个开放权重模型 · Undominated.ai > 根据内存与显存，对目录中真正装得下的开放权重模型排序。质量优先。未评分不等于零。缺失的参数量不是猜测。 # 自托管 内存以及你是否有显卡就够了。其余都是可选的。排序是对有来源的参数量做算术——赢家不是由 NVIDIA 决定的。 25 条目录行标记为开放权重。除此之外都不是候选。 25 条有来源的参数量。其余标为未知，而不是猜测。 1 GiB 运行时余量，为声明值，并非在你的机器上实测。 [CPU 16 GiB](/self-host/cpu-16gb/)[8 GiB GPU](/self-host/8gb/)[10 GiB GPU](/self-host/10gb/)[12 GiB GPU](/self-host/12gb/)[16 GiB GPU](/self-host/16gb/)[20 GiB GPU](/self-host/20gb/)[24 GiB GPU](/self-host/24gb/)[32 GiB GPU](/self-host/32gb/)[40 GiB GPU](/self-host/40gb/)[48 GiB GPU](/self-host/48gb/)[80 GiB GPU](/self-host/80gb/)[94 GiB GPU](/self-host/94gb/)[96 GiB GPU](/self-host/96gb/)[192 GiB GPU](/self-host/192gb/) [RTX 5090](/self-host/rtx-5090/)[RTX 5080](/self-host/rtx-5080/)[RTX 5070 Ti](/self-host/rtx-5070-ti/)[RTX 5070](/self-host/rtx-5070/)[RTX 5060 Ti 16](/self-host/rtx-5060-ti-16/)[RTX 5060 Ti 8](/self-host/rtx-5060-ti-8/)[RTX 5060](/self-host/rtx-5060/)[RTX 5050](/self-host/rtx-5050/)[RTX 4090](/self-host/rtx-4090/)[RTX 4080](/self-host/rtx-4080/)[RTX 4070 Ti](/self-host/rtx-4070-ti/)[RTX 4070](/self-host/rtx-4070/)[RTX 4060 Ti 16](/self-host/rtx-4060-ti-16/)[RTX 4060 Ti 8](/self-host/rtx-4060-ti-8/)[RTX 4060](/self-host/rtx-4060/)[RTX 3090](/self-host/rtx-3090/)[RTX 3080 Ti](/self-host/rtx-3080-ti/)[RTX 3080 12](/self-host/rtx-3080-12/)[RTX 3080](/self-host/rtx-3080/)[RTX 3070 Ti](/self-host/rtx-3070-ti/)[RTX 3070](/self-host/rtx-3070/)[RTX 3060 Ti](/self-host/rtx-3060-ti/)[RTX 3060 8](/self-host/rtx-3060-8/)[RTX 3060](/self-host/rtx-3060/)[RTX A6000](/self-host/rtx-a6000/)[RTX A5000](/self-host/rtx-a5000/)[RTX A4000](/self-host/rtx-a4000/)[RTX 6000 ADA](/self-host/rtx-6000-ada/)[RTX 5000 ADA](/self-host/rtx-5000-ada/)[RTX PRO 6000 Blackwell](/self-host/rtx-pro-6000-blackwell/)[RTX PRO 5000 Blackwell](/self-host/rtx-pro-5000-blackwell/)[A100 80](/self-host/a100-80/)[A100 40](/self-host/a100-40/)[H100 NVL](/self-host/h100-nvl/)[H100](/self-host/h100/)[L40S](/self-host/l40s/)[T4](/self-host/t4/)[RX 7900 XTX](/self-host/rx-7900-xtx/)[RX 7900 XT](/self-host/rx-7900-xt/)[RX 6900 XT](/self-host/rx-6900-xt/)[RX 6800 XT](/self-host/rx-6800-xt/)[MI300X](/self-host/mi300x/) 系统内存 GiB 显卡 无（CPU） NVIDIA AMD Apple Intel 显存 GiB 除非你写出我们收录的显卡型号，否则必填。Apple：留空；内存就是可用池。 显卡名称（可选） 显卡数量 操作系统（可选——仅用于推荐软件） 跳过 Linux Windows macOS 要预留的上下文 4K 8K 16K 32K KV 缓存随之增长。我们不默认采用模型卡上的最大值。 在 8192 上下文下，25 个已建档的开放权重模型中有 7 个能装进 24 GiB（vram）。装得下的里评分最高：Gemma 4 31B（Q5_K_M）。 ** ** ** 权重 21.106 GiB 未估算 KV 运行时 1 GiB 余量 1.9 GiB / 24 GiB VRAM as entered. Driver reservation is inside the 1 GiB overhead, not extra. 48 GiB 把 Gemma 4 31B 的量化提升到 Q8_0。仍是同一个模型，并非更高的智能分数。 ## 在装得下的模型中 装得下的模型中 LMArena Elo 最高：Gemma 4 31B 1443.4。Elo 是人类偏好的尺度，不是智能指数。 The arena boards are separate scales and are never blended. A missing cell is unmeasured, not zero. A model’s highest axis is relative to its own scores, not a claim it leads the catalogue. ## 装得下的已评分模型 | 模型 | 人类偏好 | 装得下的量化 | 预计 GiB | 余量 | | --- | --- | --- | --- | --- | | [Gemma 4 31B](/models/google__gemma-4-31b-it/) 视觉 视频 推理 工具 | 1443.4 | Q5_K_M | 22.106 | 1.894 | | [Qwen3.8 27B](/models/qwen__qwen3.8-27b/) 视觉 视频 推理 工具 | 1440.7 | Q5_K_M | 20.063 | 3.938 | | [Phi 4](/models/microsoft__phi-4/) | 1216.7 | Q8_0 | 17.438 | 6.563 | - KV heads and head dim are not in the public size table we used. Cache is not estimated. - KV cache not estimated — layer/head geometry is not in the sourced profile. Longer context may not fit. ## 装得下，未评分 - [Muse Glimmer 30B](/models/meta__muse-glimmer-30b/) — Q5_K_M, 21.756 GiB 未评分 视觉 推理 工具 - [Ministral 3 14B 2512](/models/mistralai__ministral-14b-2512/) — Q8_0, 17.019 GiB 未评分 视觉 工具 - [Ministral 3 8B 2512](/models/mistralai__ministral-8b-2512/) — F16, 19.663 GiB 未评分 视觉 工具 - [Ministral 3 3B 2512](/models/mistralai__ministral-3b-2512/) — F16, 9.413 GiB 未评分 视觉 工具 ## 升级究竟买到了什么 瓶颈在显存。加系统内存不会让这张卡装下更多权重。 | 预计 GiB | 解锁 | 示例 | 官方定价 | | --- | --- | --- | --- | | 48 GiB | [Gemma 4 31B](/models/google__gemma-4-31b-it/) — Q8_0 同一模型，更高量化 | rtx a6000, rtx 6000 ada, rtx pro 6000 blackwell | 本文件中没有消费级定价 | 目录中评分更高的下一个模型是 Kimi K3，即便 Q4_K_M 也要 1691.5 GiB。那不是桌面级显卡。 NVIDIA 'Starting at' list prices as published 2026-08-25, not a store quote and not a used-market index. Street prices in August 2026 are often much higher (Tom's Hardware Newegg median RTX 5090 $4,699 vs $1,999 list). Last-gen 24 GB cards (4090, 3090) have no current NVIDIA starting-at in this file. Datacenter cards have no consumer list here. RAM DIMMs are not priced — they move weekly. 升级判断使用与排序相同的适配公式。官方定价为 NVIDIA 的起售价，日期为 2026-08-25。实际零售价往往更高。二手 24 GB 显卡与数据中心显卡在此没有官方定价。内存条不作定价。 ## 装不下，或未建档 - cohere/command-a-plus — even Q4_K_M wants 132.618 GiB; pool is 24 GiB - deepseek/deepseek-v4-flash-vision-exp — even Q4_K_M wants 184.902 GiB; pool is 24 GiB - z-ai/glm-5.3 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB - qwen/qwen3.8-2.4t-a95b — even Q4_K_M wants 1450.719 GiB; pool is 24 GiB - moonshotai/kimi-k3 — even Q4_K_M wants 1691.5 GiB; pool is 24 GiB - z-ai/glm-5.2 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB - moonshotai/kimi-k2.7-code — even Q4_K_M wants 604.75 GiB; pool is 24 GiB - nvidia/nemotron-3-ultra-550b-a55b — even Q4_K_M wants 333.063 GiB; pool is 24 GiB - minimax/minimax-m3 — even Q4_K_M wants 259.405 GiB; pool is 24 GiB - deepseek/deepseek-v4-pro — even Q4_K_M wants 967 GiB; pool is 24 GiB - deepseek/deepseek-v4-flash — even Q4_K_M wants 172.465 GiB; pool is 24 GiB - mistralai/mistral-small-2603 — even Q4_K_M wants 73.2 GiB; pool is 24 GiB - mistralai/mistral-large-2512 — even Q4_K_M wants 408.531 GiB; pool is 24 GiB - deepseek/deepseek-v3.2 — even Q4_K_M wants 406.116 GiB; pool is 24 GiB - openai/gpt-oss-120b — even Q4_K_M wants 72.201 GiB; pool is 24 GiB - meta-llama/llama-4-maverick — even Q4_K_M wants 242.5 GiB; pool is 24 GiB - meta-llama/llama-4-scout — even Q4_K_M wants 66.809 GiB; pool is 24 GiB - cohere/command-a — even Q4_K_M wants 68.016 GiB; pool is 24 GiB ## 补充细节（可选） 不改变排序。可选地用 NVIDIA NIM 最强的模型，对照上面的数字分析你的备注。 用 AI 分析 ## 这个数字是怎么来的 权重：有实测 GGUF 大小时用实测值，否则用总参数 × 每权重位数 ÷ 8。Q4_K_M 按每参数 4.83 位计。MoE 的显存按总参数计，而非激活参数。 KV 缓存，在层与头的结构有来源时：2 × kvLayers × kvHeads × headDim × 上下文 × 2 字节（FP16，批大小 1）。混合模型使用注意力层数，而非全部层数。若结构缺失，则略去缓存并加以说明。 为 CUDA 与运行时额外加上 1 GiB。Apple 的统一内存以内存作为可用池。仅用 CPU 是内存层面的适配，不是速度承诺。适配判断忽略 DDR 代际——它改变带宽，不改变权重能否放进内存。 只有目录中 openWeights=true 的行才是候选。这样的行有 25 条，其中 25 条有有来源的大小。装得下的未评分模型单独列出。分数更高并不意味着可以直接替换。 内存类型（DDR4/DDR5/LPDDR）不是一个字段。它不影响模型是否装得下。 ## Continue your investigation - [Inspect open-weight models · English](/open-weights/) - [Compare model variants · English](/families/) - [Review requirements · English](/compare/) - [Find serving tools · English](/tools/)