Undominated.ai

自托管

内存以及你是否有显卡就够了。其余都是可选的。排序是对有来源的参数量做算术——赢家不是由 NVIDIA 决定的。

20 条目录行标记为开放权重。除此之外都不是候选。
20 条有来源的参数量。其余标为未知，而不是猜测。
1 GiB 运行时余量，为声明值，并非在你的机器上实测。
显卡
操作系统（可选——仅用于推荐软件）
要预留的上下文
KV 缓存随之增长。我们不默认采用模型卡上的最大值。

在 8192 上下文下，20 个已建档的开放权重模型中有 6 个能装进 24 GiB（vram）。装得下的里评分最高：Qwen3.8 27B（Q5_K_M）。

权重 18.563 GiB KV 缓存 0.5 GiB 运行时 1 GiB 余量 3.9 GiB / 24 GiB

VRAM as entered. Driver reservation is inside the 1 GiB overhead, not extra.

32 GiB 把 Qwen3.8 27B 的量化提升到 Q8_0。仍是同一个模型，并非更高的智能分数。

在装得下的模型中

在装得下的模型中，Qwen3.8 27B 的 Artificial Analysis 智能（52）、编程（68.1）与智能体（50.9）分数均为最高。

装得下的模型中 LMArena Elo 最高：Gemma 4 31B 1441.7。Elo 是人类偏好的尺度，不是智能指数。

Artificial Analysis 各项指数与 LMArena Elo 是不同的尺度。空白单元格表示未测量，不是零。某个模型的最高维度是相对它自己的分数而言，并非宣称它在目录中领先。

装得下的已评分模型

模型通用编程智能体人类偏好装得下的量化预计 GiB余量
Qwen3.8 27B
AA 峰值：编程 视觉视频推理工具
5268.150.91440.8Q5_K_M20.0633.938
Gemma 4 31B
AA 峰值：编程 视觉视频推理工具
29.743.414.41441.7Q5_K_M22.1061.894
Olmo 3 32B Think
推理
———1298.5Q4_K_M22.321.68
Granite 4.1 8B
工具
—9.5—1291.6F1618.255.75
Phi 4 ———1216.8Q8_017.4386.563
  • Hybrid: only 16 of 64 layers are Gated Attention. KV uses kvLayers=16, not nLayers=64. Measured Q4 is Unsloth UD-Q4_K_M, not a vanilla Q4_K_M.

装得下，未评分

升级究竟买到了什么

瓶颈在显存。加系统内存不会让这张卡装下更多权重。

预计 GiB解锁示例官方定价
32 GiBQwen3.8 27B — Q8_0同一模型，更高量化GeForce RTX 5090 (32 GiB)USD 1999 起

目录中评分更高的下一个模型是 Kimi K3，即便 Q4_K_M 也要 1691.5 GiB。那不是桌面级显卡。

NVIDIA 'Starting at' list prices as published 2026-08-25, not a store quote and not a used-market index. Street prices in August 2026 are often much higher (Tom's Hardware Newegg median RTX 5090 $4,699 vs $1,999 list). Last-gen 24 GB cards (4090, 3090) have no current NVIDIA starting-at in this file. Datacenter cards have no consumer list here. RAM DIMMs are not priced — they move weekly.

升级判断使用与排序相同的适配公式。官方定价为 NVIDIA 的起售价，日期为 2026-08-25。实际零售价往往更高。二手 24 GB 显卡与数据中心显卡在此没有官方定价。内存条不作定价。

装不下，或未建档

  • qwen/qwen3.8-2.4t-a95b — even Q4_K_M wants 1450.719 GiB; pool is 24 GiB
  • moonshotai/kimi-k3 — even Q4_K_M wants 1691.5 GiB; pool is 24 GiB
  • z-ai/glm-5.2 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB
  • moonshotai/kimi-k2.7-code — even Q4_K_M wants 604.75 GiB; pool is 24 GiB
  • nvidia/nemotron-3-ultra-550b-a55b — even Q4_K_M wants 333.063 GiB; pool is 24 GiB
  • minimax/minimax-m3 — even Q4_K_M wants 259.405 GiB; pool is 24 GiB
  • deepseek/deepseek-v4-pro — even Q4_K_M wants 967 GiB; pool is 24 GiB
  • deepseek/deepseek-v4-flash — even Q4_K_M wants 172.465 GiB; pool is 24 GiB
  • mistralai/mistral-small-2603 — even Q4_K_M wants 73.2 GiB; pool is 24 GiB
  • deepseek/deepseek-v3.2 — even Q4_K_M wants 406.116 GiB; pool is 24 GiB
  • openai/gpt-oss-120b — even Q4_K_M wants 72.201 GiB; pool is 24 GiB
  • meta-llama/llama-4-maverick — even Q4_K_M wants 242.5 GiB; pool is 24 GiB
  • meta-llama/llama-4-scout — even Q4_K_M wants 66.809 GiB; pool is 24 GiB
  • cohere/command-a — even Q4_K_M wants 68.016 GiB; pool is 24 GiB

补充细节（可选）

不改变排序。可选地用 NVIDIA NIM 最强的模型，对照上面的数字分析你的备注。

这个数字是怎么来的

权重：有实测 GGUF 大小时用实测值，否则用总参数 × 每权重位数 ÷ 8。Q4_K_M 按每参数 4.83 位计。MoE 的显存按总参数计，而非激活参数。

KV 缓存，在层与头的结构有来源时：2 × kvLayers × kvHeads × headDim × 上下文 × 2 字节（FP16，批大小 1）。混合模型使用注意力层数，而非全部层数。若结构缺失，则略去缓存并加以说明。

为 CUDA 与运行时额外加上 1 GiB。Apple 的统一内存以内存作为可用池。仅用 CPU 是内存层面的适配，不是速度承诺。适配判断忽略 DDR 代际——它改变带宽，不改变权重能否放进内存。

只有目录中 openWeights=true 的行才是候选。这样的行有 20 条，其中 20 条有有来源的大小。装得下的未评分模型单独列出。分数更高并不意味着可以直接替换。

内存类型（DDR4/DDR5/LPDDR）不是一个字段。它不影响模型是否装得下。