セルフホスト

RAM と GPU の有無だけで十分です。ほかはすべて任意です。順位付けは出典のあるパラメータ数に対する算術であり、NVIDIA が勝者を決めるわけではありません。

20 件のカタログ行がオープンウェイトとして印付けされています。それ以外は候補になりません。
20 件が出典のあるパラメータ数を持ちます。残りは推測ではなく「不明」として掲載します。
1 GiB のランタイム余裕。宣言値であり、お使いのマシンで測定した値ではありません。
GPU
OS(任意 — ソフトウェア選定のみ)
見込むコンテキスト
KV キャッシュはこの値とともに増えます。モデルカードの上限は前提にしません。

プロファイル済みのオープンウェイトモデル 20 件のうち 6 件が、コンテキスト 8192 で 24 GiB(vram)に収まります。収まるもので最高評価:Qwen3.8 27B(Q5_K_M)。

重み 18.563 GiB KV キャッシュ 0.5 GiB ランタイム 1 GiB 余裕 3.9 GiB / 24 GiB

VRAM as entered. Driver reservation is inside the 1 GiB overhead, not extra.

32 GiB により Qwen3.8 27B の量子化が Q8_0 に上がります。同じモデルであり、知能スコアが上がるわけではありません。

収まるモデルの中で

収まるモデルの中で、Qwen3.8 27B が Artificial Analysis の知能(52)、コーディング(68.1)、エージェント(50.9)のいずれでも最高スコアです。

収まるモデル中で LMArena Elo が最高:Gemma 4 31B 1441.7。Elo は人間の選好の尺度であり、知能指数ではありません。

Artificial Analysis の各指標と LMArena Elo は別の尺度です。空欄は未測定であり、ゼロではありません。あるモデルの最高軸は、そのモデル自身のスコアに対する相対値であって、カタログ首位という主張ではありません。

収まる評価済みモデル

モデル総合コーディングエージェント人間の選好収まる量子化推定 GiB余裕
Qwen3.8 27B
AA 最高:コーディング 視覚動画推論ツール
5268.150.91440.8Q5_K_M20.0633.938
Gemma 4 31B
AA 最高:コーディング 視覚動画推論ツール
29.743.414.41441.7Q5_K_M22.1061.894
Olmo 3 32B Think
推論
1298.5Q4_K_M22.321.68
Granite 4.1 8B
ツール
9.51291.6F1618.255.75
Phi 4 1216.8Q8_017.4386.563
  • Hybrid: only 16 of 64 layers are Gated Attention. KV uses kvLayers=16, not nLayers=64. Measured Q4 is Unsloth UD-Q4_K_M, not a vanilla Q4_K_M.

収まる、未評価

増設で実際に得られるもの

制約は GPU メモリです。システム RAM を増やしても、このカードに追加の重みは載りません。

推定 GiB解放されるもの希望小売価格
32 GiBQwen3.8 27B — Q8_0同じモデル、より高い量子化GeForce RTX 5090 (32 GiB)USD 1999 から

次に高評価のカタログモデルは Kimi K3 で、Q4_K_M でも 1691.5 GiB を要します。デスクトップ向けカードではありません。

NVIDIA 'Starting at' list prices as published 2026-08-25, not a store quote and not a used-market index. Street prices in August 2026 are often much higher (Tom's Hardware Newegg median RTX 5090 $4,699 vs $1,999 list). Last-gen 24 GB cards (4090, 3090) have no current NVIDIA starting-at in this file. Datacenter cards have no consumer list here. RAM DIMMs are not priced — they move weekly.

増設の判定には順位付けと同じ適合式を用います。希望小売価格は NVIDIA の「〜から」価格で、2026-08-25 時点のものです。実売価格はこれより高いことが多くあります。中古の 24 GB カードやデータセンター GPU にはここでの希望小売価格がありません。RAM モジュールは価格付けしていません。

収まらない、またはプロファイル未取得

  • qwen/qwen3.8-2.4t-a95b — even Q4_K_M wants 1450.719 GiB; pool is 24 GiB
  • moonshotai/kimi-k3 — even Q4_K_M wants 1691.5 GiB; pool is 24 GiB
  • z-ai/glm-5.2 — even Q4_K_M wants 455.624 GiB; pool is 24 GiB
  • moonshotai/kimi-k2.7-code — even Q4_K_M wants 604.75 GiB; pool is 24 GiB
  • nvidia/nemotron-3-ultra-550b-a55b — even Q4_K_M wants 333.063 GiB; pool is 24 GiB
  • minimax/minimax-m3 — even Q4_K_M wants 259.405 GiB; pool is 24 GiB
  • deepseek/deepseek-v4-pro — even Q4_K_M wants 967 GiB; pool is 24 GiB
  • deepseek/deepseek-v4-flash — even Q4_K_M wants 172.465 GiB; pool is 24 GiB
  • mistralai/mistral-small-2603 — even Q4_K_M wants 73.2 GiB; pool is 24 GiB
  • deepseek/deepseek-v3.2 — even Q4_K_M wants 406.116 GiB; pool is 24 GiB
  • openai/gpt-oss-120b — even Q4_K_M wants 72.201 GiB; pool is 24 GiB
  • meta-llama/llama-4-maverick — even Q4_K_M wants 242.5 GiB; pool is 24 GiB
  • meta-llama/llama-4-scout — even Q4_K_M wants 66.809 GiB; pool is 24 GiB
  • cohere/command-a — even Q4_K_M wants 68.016 GiB; pool is 24 GiB

追加の詳細(任意)

順位付けは変わりません。NVIDIA NIM の最上位モデルを用い、上記の数値に照らしてメモを任意で AI 分析します。

この数値の求め方

重み:実測の GGUF サイズがあればそれを、なければ総パラメータ × 重みあたりビット ÷ 8 を用います。Q4_K_M はパラメータあたり 4.83 ビットとして扱います。MoE のメモリは有効パラメータではなく総パラメータで計算します。

KV キャッシュは、層とヘッドの構成に出典がある場合:2 × kvLayers × kvHeads × headDim × コンテキスト × 2 バイト(FP16、バッチ 1)。ハイブリッドモデルは全層ではなくアテンション層数を用います。構成が不明な場合はキャッシュを省き、その旨を明記します。

CUDA とランタイムのために 1 GiB を加算します。Apple のユニファイドメモリは RAM をプールとして使います。CPU のみはメモリ上の適合であって、速度の主張ではありません。DDR 世代は適合判定では無視します。帯域は変わりますが、重みがメモリに載るかどうかは変わりません。

候補となるのは openWeights=true のカタログ行のみです。該当行は 20 件、うち 20 件に出典のあるサイズがあります。収まる未評価モデルは別に掲載します。スコアが高いことは、そのまま置き換えられることを意味しません。

RAM の種類(DDR4/DDR5/LPDDR)は項目にありません。モデルが収まるかどうかは変わりません。