DeskGPU
日本語

NVIDIA GeForce RTX 5090：どのLLMを実行できる？

このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について

NVIDIA GeForce RTX 5090 のメモリは 32 GB です（メーカー資料の値）。以下では、データベース内のすべてのモデルについて、コンテキスト長 8,192 トークン（モデルの最大値がそれより短い場合はその最大値）で llama.cpp を使った場合にこのメモリへ収まるかどうかを確認しています。

値の更新日：2026年10月19日

仕様

メモリ（メーカー公表値）
32 GB
メモリの種類
GDDR7
メモリバス幅
512 bit
メモリ帯域幅
1,792 GB/秒
ボード電力（TDP）
575 W
FP16 テンソル（密）
表示なし：公開されている情報源からは、メーカー資料への参照があり、互いに一致する独立した2つの値が得られません。
BF16 テンソル、密
表示なし：公開されている情報源からは、メーカー資料への参照があり、互いに一致する独立した2つの値が得られません。
FP8 テンソル、密
表示なし：公開されている情報源からは、メーカー資料への参照があり、互いに一致する独立した2つの値が得られません。
FP4 テンソル、密
表示なし：公開されている情報源からは、メーカー資料への参照があり、互いに一致する独立した2つの値が得られません。
INT8 テンソル、密
表示なし：公開されている情報源からは、メーカー資料への参照があり、互いに一致する独立した2つの値が得られません。
インターフェース
表示なし：公開されている情報源からは、メーカー資料への参照があり、互いに一致する独立した2つの値が得られません。

各値には、すべての出典がそれぞれの数値とともに記載されています。単位は正規化されています。メーカーが示す GPU メモリの「GB」は GiB（2³⁰ バイト）として扱っており、AMD の ROCm の表でも同様に記載されています。 仕様の確認方法

実行プロファイル

実行プロファイル： llama.cpp、CUDA バックエンド（NVIDIA ディスクリート GPU）、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ（-ub）512、F16 の KV cache、コンテキスト長（-c）は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス（-np auto、統合 KV cache）で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。

「収まる」の判定で利用可能とみなすメモリ（C_low）：1枚あたり 29.25 GiB = 公称 32 GiB − 659 MiB（公称値から、公開ログで llama.cpp がこの GPU について報告した合計値を引いた差）− 2,112 MiB（この実行プロファイルの公開ログで見られた最大の起動時および実行時の使用量）。64 MiB の倍数に切り捨てています。

これらの結果は、公開ログで確認された構成に当てはまります。そのログでは llama.cpp がこの GPU の合計メモリを 32,109 MiB と報告していました。使用可能なメモリを減らす設定（たとえば、カードが対応している場合の ECC）は対象外です。

「収まらない」の判定に使うメモリ（C_high）：1 枚あたり全量の 32 GiB。 実行プロファイルとその測定結果

収まるモデル

「収まる」とは、llama.cpp のデフォルトの --fit 読み込みチェックで、すべてのレイヤーが GPU に配置されることを意味します。つまり、当サイトによる llama.cpp のバッファの推定値に、誤差マージンと、llama.cpp のカード 1 枚あたり 1 GiB のリザーブを加えた値が、利用可能として計上されたメモリ以内であることを指します。生成中のピークメモリが収まることを保証するものではありません。 結果の判定方法

コンテキスト長 8,192 トークン（モデルの最大値がそれより短い場合は、その最大値）。最後の列は、その量子化での最長コンテキスト長と、帯域幅に基づく速度の上限を示します。
モデル パラメータ数 収まる最高の量子化 「収まる」に必要な利用可能メモリ 最長コンテキスト長 速度の上限 結果
Qwen3-Coder-Next-Base 79.7B（アクティブ 3.6B） IQ2_M 27.2 GiB 85,248 ≤ 1,076 トークン/秒 収まる
KAT-Dev-72B-Exp 72.7B IQ2_XXS 28.5 GiB 10,240 ≤ 64.6 トークン/秒 収まる
Llama-3.1-70B-Instruct 70.6B IQ2_M 27.1 GiB 14,592 ≤ 68.0 トークン/秒 収まる
AI21-Jamba2-Mini 51.6B（アクティブ 11.8B） IQ4_XS 28.3 GiB 59,904 ≤ 274 トークン/秒 収まる
Kimi-Linear-48B-A3B-Base 49.1B（アクティブ 3.1B） Q4_0 28.7 GiB 64,256 ≤ 909 トークン/秒 収まる
Kimi-Linear-48B-A3B-Instruct 49.1B（アクティブ 3.1B） IQ4_XS 27.3 GiB 201,984 ≤ 862 トークン/秒 収まる
Hermes-4.3-36B 36.2B Q5_K_M 28.0 GiB 13,056 ≤ 65.9 トークン/秒 収まる
Kimi-Linear-REAP-35B-A3B-Instruct 35.1B（アクティブ 3.1B） Q5_K_M 25.8 GiB ≥ 262,144（それより長いコンテキスト長は測定ログとの照合なし） ≤ 766 トークン/秒 収まる
Holo-3.1-35B-A3B 34.7B（アクティブ 2.9B） Q5_K_M 25.8 GiB 163,072 ≤ 749 トークン/秒 収まる
Holo3-35B-A3B 34.7B（アクティブ 2.9B） Q5_K_M 25.8 GiB 163,072 ≤ 749 トークン/秒 収まる
Holo4-35B-A3B 34.7B（アクティブ 2.9B） Q5_K_M 27.9 GiB 71,424 ≤ 585 トークン/秒 収まる
Ising-Calibration-1-35B-A3B 34.7B（アクティブ 2.9B） Q5_K_M 25.8 GiB 163,072 ≤ 749 トークン/秒 収まる
KAT-Coder-V2.5-Dev 34.7B（アクティブ 2.9B） Q5_K_M 26.1 GiB 150,272 ≤ 669 トークン/秒 収まる
Qwen3.5-35B-A3B 34.7B（アクティブ 2.9B） Q5_K_M 27.1 GiB 103,936 ≤ 591 トークン/秒 収まる
Qwen3.5-35B-A3B-Base 34.7B（アクティブ 2.9B） Q5_K_M 25.9 GiB 161,536 ≤ 738 トークン/秒 収まる
Qwen3.6-35B-A3B 34.7B（アクティブ 2.9B） Q5_K_M 26.1 GiB 150,272 ≤ 669 トークン/秒 収まる
MiniCPM-V-4.7-35B-A3B 34.7B（アクティブ 2.9B） Q5_K_M 25.8 GiB 163,072 ≤ 749 トークン/秒 収まる
Laguna-XS-2.1 33.4B（アクティブ 2.8B） Q5_K_M 25.3 GiB 101,376 ≤ 667 トークン/秒 収まる
DeepSeek-R1-Distill-Qwen-32B 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
Qwen2.5-32B-Instruct 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
Qwen2.5-Coder-32B-Instruct 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
QwQ-32B 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
AesCode-32B 32.8B Q5_K_M 26.2 GiB 19,712 ≤ 70.5 トークン/秒 収まる
Cosmos-Reason2-32B 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
FrogBoss-32B-2510 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
Nemotron-Terminal-32B 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
Qwen3-32B 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
Qwen3-VL-32B-Instruct 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
Qwen3-VL-32B-Thinking 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
SERA-32B 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
WebWorld-32B 32.8B Q6_K 29.2 GiB 8,448 ≤ 63.1 トークン/秒 収まる
EXAONE-4.5-33B 32.5B Q6_K 29.0 GiB 9,216 ≤ 65.4 トークン/秒 収まる
Olmo-3.1-32B-Instruct 32.2B Q6_K 28.9 GiB 9,472 ≤ 65.5 トークン/秒 収まる
Olmo-3.1-32B-Instruct-DPO 32.2B Q6_K 28.9 GiB 9,472 ≤ 65.5 トークン/秒 収まる
Olmo-3.1-32B-Think 32.2B Q6_K 28.9 GiB 9,472 ≤ 65.5 トークン/秒 収まる
Olmo-3-1125-32B 32.2B Q6_K 28.9 GiB 9,472 ≤ 65.5 トークン/秒 収まる
Olmo-3-32B-Think 32.2B Q6_K 28.9 GiB 9,472 ≤ 65.5 トークン/秒 収まる
Olmo-3-32B-Think-DPO 32.2B Q6_K 28.9 GiB 9,472 ≤ 65.5 トークン/秒 収まる
Olmo-3-32B-Think-SFT 32.2B Q6_K 28.9 GiB 9,472 ≤ 65.5 トークン/秒 収まる
Holotron4-30B-A3B 31.6B（アクティブ 3.2B） Q5_K_M 26.8 GiB ≥ 262,144（それより長いコンテキスト長は測定ログとの照合なし） ≤ 657 トークン/秒 収まる
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 31.6B（アクティブ 3.2B） Q4_K_M 23.3 GiB 262,144 ≤ 603 トークン/秒 収まる
Nemotron-Cascade-2-30B-A3B 31.6B（アクティブ 3.2B） Q5_K_M 27.0 GiB 262,144 ≤ 618 トークン/秒 収まる
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 31.6B（アクティブ 3.2B） Q5_K_M 26.6 GiB 262,144 ≤ 660 トークン/秒 収まる
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 31.6B（アクティブ 3.2B） Q5_K_M 27.0 GiB 262,144 ≤ 618 トークン/秒 収まる
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 31.6B（アクティブ 3.2B） Q5_K_M 26.9 GiB 262,144 ≤ 632 トークン/秒 収まる
NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16 31.6B（アクティブ 3.2B） Q5_K_M 26.8 GiB 262,144 ≤ 657 トークン/秒 収まる
gemma-4-31B 30.7B Q5_K_M 27.3 GiB 31,744 ≤ 76.8 トークン/秒 収まる
gemma-4-31B-it 30.7B Q5_K_M 27.1 GiB 33,792 ≤ 77.4 トークン/秒 収まる
Ising-Calibration-1.5-31B-BF16 30.7B Q5_K_M 28.1 GiB 22,528 ≤ 74.3 トークン/秒 収まる
Holo2-30B-A3B 30.5B（アクティブ 3.0B） Q6_K 26.5 GiB 36,608 ≤ 536 トークン/秒 収まる
Qwen3-30B-A3B 30.5B（アクティブ 3.0B） Q6_K 26.5 GiB 36,608 ≤ 536 トークン/秒 収まる
Qwen3-30B-A3B-Instruct-2507 30.5B（アクティブ 3.0B） Q6_K 26.5 GiB 36,608 ≤ 536 トークン/秒 収まる
Qwen3-Coder-30B-A3B-Instruct 30.5B（アクティブ 3.0B） Q6_K 26.5 GiB 36,608 ≤ 536 トークン/秒 収まる
Qwen3-VL-30B-A3B-Instruct 30.5B（アクティブ 3.0B） Q6_K 26.5 GiB 36,608 ≤ 536 トークン/秒 収まる
UI-Venus-1.5-30B-A3B 30.5B（アクティブ 3.0B） Q6_K 26.5 GiB 36,608 ≤ 536 トークン/秒 収まる
North-Mini-Code-1.0 30.5B（アクティブ 3.3B） Q6_K 28.2 GiB 20,992 ≤ 509 トークン/秒 収まる
GLM-4.7-Flash 29.9B（アクティブ 3.6B） Q6_K 25.7 GiB 72,448 ≤ 512 トークン/秒 収まる
granite-4.2-30b 29.3B Q6_K 26.6 GiB 18,176 ≤ 69.4 トークン/秒 収まる
granite-4.1-30b 28.9B Q6_K 26.6 GiB 18,176 ≤ 69.4 トークン/秒 収まる
Muse-Glimmer-30B 27.9B Q6_K 23.7 GiB 131,072 ≤ 79.7 トークン/秒 収まる
gemma-2-27b-it 27.2B Q6_K 26.5 GiB 8,192 ≤ 72.7 トークン/秒 収まる
gemma-3-27b-it 27.0B Q6_K 25.9 GiB 49,152 ≤ 77.0 トークン/秒 収まる
translategemma-27b-it 27.0B Q6_K 25.9 GiB 49,152 ≤ 77.0 トークン/秒 収まる
Fara1.5-27B 26.9B Q6_K 24.4 GiB 81,408 ≤ 78.9 トークン/秒 収まる
Holo4-27B 26.9B Q6_K 23.3 GiB 98,304 ≤ 83.1 トークン/秒 収まる
Qwen3.5-27B 26.9B Q6_K 23.6 GiB 92,672 ≤ 81.7 トークン/秒 収まる
Qwen3.6-27B 26.9B Q6_K 23.7 GiB 91,648 ≤ 81.4 トークン/秒 収まる
Qwen3.8-27B 26.9B Q6_K 24.8 GiB 75,520 ≤ 77.6 トークン/秒 収まる
Qwen3.8-3.6-27B-blend 26.9B Q6_K 24.8 GiB 75,520 ≤ 77.6 トークン/秒 収まる
UI-Mate-27B 26.9B Q6_K 24.4 GiB 81,408 ≤ 78.9 トークン/秒 収まる
UI-Mate-democua-27B 26.9B Q6_K 23.3 GiB 98,304 ≤ 83.1 トークン/秒 収まる
Trinity-Mini 26.1B（アクティブ 3.1B） Q8_0 28.8 GiB 33,280 ≤ 510 トークン/秒 収まる
Trinity-Mini-Base 26.1B（アクティブ 3.1B） Q6_K 22.7 GiB 131,072 ≤ 646 トークン/秒 収まる
Trinity-Mini-Base-Pre-Anneal 26.1B（アクティブ 3.1B） Q6_K 22.4 GiB 4,096 ≤ 662 トークン/秒 収まる
gemma-4-26B-A4B 25.2B（アクティブ 3.8B） Q8_0 29.0 GiB 21,248 ≤ 401 トークン/秒 収まる
gemma-4-26B-A4B-it 25.2B（アクティブ 3.8B） Q8_0 29.0 GiB 21,248 ≤ 401 トークン/秒 収まる
Qwen3-Coder-REAP-25B-A3B 24.9B（アクティブ 3.0B） Q8_0 27.7 GiB 23,552 ≤ 441 トークン/秒 収まる
LFM2.5-24B-A2B 24.0B（アクティブ 2.5B） Q8_0 26.4 GiB 131,072 ≤ 642 トークン/秒 収まる
LFM2-24B-A2B 23.8B（アクティブ 2.3B） Q8_0 26.3 GiB 128,000 ≤ 675 トークン/秒 収まる
Devstral-Small-2-24B-Instruct-2512 23.6B Q8_0 26.5 GiB 25,344 ≤ 69.8 トークン/秒 収まる
Mistral-Small-3.2-24B-Instruct-2506 23.6B Q8_0 26.5 GiB 25,344 ≤ 69.8 トークン/秒 収まる
GLM-4.7-Flash-REAP-23B-A3B 23.0B（アクティブ 3.6B） Q8_0 25.4 GiB 78,080 ≤ 421 トークン/秒 収まる
EuroLLM-22B-2512 22.6B Q6_K 20.6 GiB 32,768 ≤ 90.8 トークン/秒 収まる
EuroLLM-22B-Instruct-2512 22.6B Q8_0 25.8 GiB 23,808 ≤ 71.6 トークン/秒 収まる
gpt-oss-20b 20.9B（アクティブ 3.6B） Q8_0 12.9 GiB 131,072 ≤ 645 トークン/秒 収まる
OptiMind-SFT 20.9B（アクティブ 3.6B） Q6_K 22.8 GiB 131,072 ≤ 450 トークン/秒 収まる
DeepSeek-R1-Distill-Qwen-14B 14.8B Q8_0 17.5 GiB 68,608 ≤ 109 トークン/秒 収まる
Qwen2.5-14B-Instruct 14.8B Q8_0 17.5 GiB 32,768 ≤ 109 トークン/秒 収まる
ContextPilot-14B 14.8B Q8_0 17.2 GiB 40,960 ≤ 111 トークン/秒 収まる
FrogMini-14B-2510 14.8B Q6_K 13.9 GiB 40,960 ≤ 140 トークン/秒 収まる
JanusCoder-14B 14.8B Q8_0 17.2 GiB 32,768 ≤ 111 トークン/秒 収まる
Nemotron-Cascade-14B-Thinking 14.8B Q8_0 17.2 GiB 32,768 ≤ 111 トークン/秒 収まる
Nemotron-Terminal-14B 14.8B Q6_K 13.9 GiB 40,960 ≤ 140 トークン/秒 収まる
NousCoder-14B 14.8B Q8_0 17.2 GiB 81,920 ≤ 111 トークン/秒 収まる
Qwen3-14B 14.8B Q8_0 17.2 GiB 40,960 ≤ 111 トークン/秒 収まる
Qwen3-Nemotron-14B-BRRM 14.8B Q6_K 13.9 GiB 40,960 ≤ 140 トークン/秒 収まる
WebWorld-14B 14.8B Q6_K 13.9 GiB 40,960 ≤ 140 トークン/秒 収まる
phi-4 14.7B Q8_0 17.7 GiB 16,384 ≤ 107 トークン/秒 収まる
Apriel-1.6-15b-Thinker 14.4B Q8_0 17.2 GiB 69,888 ≤ 110 トークン/秒 収まる
Ministral-3-14B-Instruct-2512 13.5B BF16 27.8 GiB 17,152 ≤ 66.3 トークン/秒 収まる
Ministral-3-14B-Reasoning-2512 13.5B BF16 27.8 GiB 17,152 ≤ 66.3 トークン/秒 収まる
Mistral-Nemo-Instruct-2407 12.2B F16 25.3 GiB 32,512 ≤ 73.2 トークン/秒 収まる
Mellum2.1-12B-A2.5B-Thinking 12.1B（アクティブ 2.2B） BF16 25.0 GiB 131,072 ≤ 390 トークン/秒 収まる
Mellum2-12B-A2.5B-Base 12.1B（アクティブ 2.2B） Q6_K 12.1 GiB 131,072 ≤ 853 トークン/秒 収まる
Mellum2-12B-A2.5B-Instruct 12.1B（アクティブ 2.2B） BF16 25.0 GiB 131,072 ≤ 390 トークン/秒 収まる
Mellum2-12B-A2.5B-Instruct-SFT 12.1B（アクティブ 2.2B） Q6_K 12.1 GiB 131,072 ≤ 853 トークン/秒 収まる
Mellum2-12B-A2.5B-Thinking 12.1B（アクティブ 2.2B） BF16 25.0 GiB 131,072 ≤ 390 トークン/秒 収まる
Mellum2-12B-A2.5B-Thinking-SFT 12.1B（アクティブ 2.2B） Q6_K 12.1 GiB 131,072 ≤ 853 トークン/秒 収まる
gemma-4-12B 11.9B BF16 26.5 GiB 159,488 ≤ 73.8 トークン/秒 収まる
gemma-4-12B-it 11.9B BF16 26.5 GiB 159,488 ≤ 73.8 トークン/秒 収まる
gemma-3-12b-it 11.8B BF16 26.6 GiB 47,616 ≤ 73.4 トークン/秒 収まる
translategemma-12b-it 11.8B Q8_0 15.8 GiB 131,072 ≤ 134 トークン/秒 収まる
Bielik-11B-v3.0-Instruct 11.2B BF16 24.6 GiB 31,232 ≤ 75.4 トークン/秒 収まる
AutoGLM-Phone-9B 9.4B F16 18.9 GiB 65,536 ≤ 100 トークン/秒 収まる
AutoGLM-Phone-9B-Multilingual 9.4B Q6_K 9.2 GiB 65,536 ≤ 222 トークン/秒 収まる
GLM-4.6V-Flash 9.4B BF16 18.9 GiB 131,072 ≤ 100 トークン/秒 収まる
gemma-2-9b-it 9.2B Q8_0 14.8 GiB 8,192 ≤ 140 トークン/秒 収まる
EuroLLM-9B-Instruct-2512 9.2B F16 19.6 GiB 32,768 ≤ 96.0 トークン/秒 収まる
Fara1.5-9B 9.0B BF16 17.5 GiB 262,144 ≤ 111 トークン/秒 収まる
Holo-3.1-9B 9.0B F16 17.5 GiB 262,144 ≤ 111 トークン/秒 収まる
MiMo-V2.6-Distill-Qwen-9B 9.0B BF16 17.5 GiB 262,144 ≤ 111 トークン/秒 収まる
Qwen3.5-9B 9.0B BF16 17.5 GiB 262,144 ≤ 111 トークン/秒 収まる
Qwen3.5-9B-Base 9.0B F16 17.5 GiB 262,144 ≤ 111 トークン/秒 収まる
UI-Mate-9B 9.0B BF16 17.5 GiB 262,144 ≤ 111 トークン/秒 収まる
UI-Venus-2-9B 9.0B BF16 17.5 GiB 262,144 ≤ 111 トークン/秒 収まる
NVIDIA-Nemotron-Nano-9B-v2 8.9B BF16 18.3 GiB 131,072 ≤ 107 トークン/秒 収まる
granite-4.1-8b 8.8B BF16 19.0 GiB 70,912 ≤ 99.0 トークン/秒 収まる
granite-4.2-8b 8.8B BF16 19.0 GiB 70,912 ≤ 99.0 トークン/秒 収まる
Ministral-3-8B-Instruct-2512 8.5B BF16 18.0 GiB 89,344 ≤ 105 トークン/秒 収まる
Ministral-3-8B-Reasoning-2512 8.5B BF16 18.0 GiB 89,344 ≤ 105 トークン/秒 収まる
LFM2.5-8B-A1B 8.5B（アクティブ 1.7B） BF16 18.0 GiB 128,000 ≤ 516 トークン/秒 収まる
granite-guardian-4.1-8b 8.4B BF16 19.0 GiB 70,912 ≤ 99.0 トークン/秒 収まる
LFM2-8B-A1B 8.3B（アクティブ 1.6B） F16 17.7 GiB 128,000 ≤ 557 トークン/秒 収まる
rnj-1-instruct 8.3B BF16 18.6 GiB 32,768 ≤ 101 トークン/秒 収まる
AesCode-8B 8.2B BF16 17.3 GiB 89,344 ≤ 110 トークン/秒 収まる
ArmorOCR 8.2B Q8_0 10.4 GiB 136,704 ≤ 194 トークン/秒 収まる
AstaBrief_8B 8.2B Q6_K 8.6 GiB 40,960 ≤ 242 トークン/秒 収まる
ContextPilot-8B 8.2B Q6_K 8.6 GiB 40,960 ≤ 242 トークン/秒 収まる
Cosmos-Reason2-8B 8.2B Q6_K 8.6 GiB 148,992 ≤ 242 トークン/秒 収まる
DeepSeek-R1-0528-Qwen3-8B 8.2B BF16 17.3 GiB 89,344 ≤ 110 トークン/秒 収まる
Holo2-8B 8.2B Q6_K 8.6 GiB 148,992 ≤ 242 トークン/秒 収まる
intent-aware-lfqa-qwen3-8b-baseline 8.2B F16 17.3 GiB 40,960 ≤ 110 トークン/秒 収まる
intent-aware-lfqa-qwen3-8b-intent-explicit 8.2B F16 17.3 GiB 40,960 ≤ 110 トークン/秒 収まる
intent-aware-lfqa-qwen3-8b-intent-implicit 8.2B F16 17.3 GiB 40,960 ≤ 110 トークン/秒 収まる
intent-aware-lfqa-qwen3-8b-multiview 8.2B F16 17.3 GiB 40,960 ≤ 110 トークン/秒 収まる
JanusCoder-8B 8.2B BF16 17.3 GiB 32,768 ≤ 110 トークン/秒 収まる
MathForm-8B 8.2B F16 17.3 GiB 40,960 ≤ 110 トークン/秒 収まる
Nemotron-Cascade-8B 8.2B BF16 17.3 GiB 32,768 ≤ 110 トークン/秒 収まる
Nemotron-Cascade-8B-Thinking 8.2B BF16 17.3 GiB 32,768 ≤ 110 トークン/秒 収まる
Nemotron-Orchestrator-8B 8.2B BF16 17.3 GiB 40,960 ≤ 110 トークン/秒 収まる
Nemotron-Terminal-8B 8.2B Q6_K 8.6 GiB 40,960 ≤ 242 トークン/秒 収まる
Qwen3-8B 8.2B Q8_0 10.4 GiB 40,960 ≤ 194 トークン/秒 収まる
Qwen3-Nemotron-8B-BRRM 8.2B Q6_K 8.6 GiB 40,960 ≤ 242 トークン/秒 収まる
Qwen3-VL-8B-Instruct 8.2B BF16 17.3 GiB 89,344 ≤ 110 トークン/秒 収まる
Qwen3-VL-8B-Thinking 8.2B BF16 17.3 GiB 89,344 ≤ 110 トークン/秒 収まる
RLVR-8B-0926 8.2B Q6_K 8.6 GiB 148,992 ≤ 242 トークン/秒 収まる
Step3-VL-10B-Base 8.2B Q6_K 8.6 GiB 40,960 ≤ 242 トークン/秒 収まる
UI-Venus-1.5-8B 8.2B Q6_K 8.6 GiB 148,992 ≤ 242 トークン/秒 収まる
WebWorld-8B 8.2B F16 17.3 GiB 40,960 ≤ 110 トークン/秒 収まる
ZwZ-8B 8.2B Q6_K 8.6 GiB 148,992 ≤ 242 トークン/秒 収まる
MiniCPM-o-4_5 8.2B F16 17.3 GiB 40,960 ≤ 110 トークン/秒 収まる
granite-3.3-8b-instruct 8.2B F16 18.6 GiB 73,472 ≤ 101 トークン/秒 収まる
granite-guardian-3.2-8b-factuality-detection 8.2B F16 18.6 GiB 73,472 ≤ 101 トークン/秒 収まる
intent-aware-lfqa-llama3-8b-baseline 8.0B F16 17.0 GiB 101,632 ≤ 111 トークン/秒 収まる
intent-aware-lfqa-llama3-8b-intent-explicit 8.0B F16 17.0 GiB 101,632 ≤ 111 トークン/秒 収まる
intent-aware-lfqa-llama3-8b-intent-implicit 8.0B F16 17.0 GiB 101,632 ≤ 111 トークン/秒 収まる
intent-aware-lfqa-llama3-8b-multiview 8.0B F16 17.0 GiB 101,632 ≤ 111 トークン/秒 収まる
DeepSeek-R1-Distill-Llama-8B 8.0B BF16 17.0 GiB 101,632 ≤ 111 トークン/秒 収まる
HARC-Llama-3.1-8B-Instruct 8.0B Q6_K 8.4 GiB 131,072 ≤ 248 トークン/秒 収まる
Llama-3.1-8B-Instruct 8.0B BF16 17.0 GiB 101,632 ≤ 111 トークン/秒 収まる
AprielGuard 7.9B Q6_K 7.9 GiB 131,072 ≤ 266 トークン/秒 収まる
MiMo-Embodied-7B 7.6B Q6_K 8.1 GiB 128,000 ≤ 258 トークン/秒 収まる
DeepSeek-R1-Distill-Qwen-7B 7.6B F16 15.6 GiB 131,072 ≤ 123 トークン/秒 収まる
Fara-7B 7.6B BF16 15.6 GiB 128,000 ≤ 123 トークン/秒 収まる
HARC-Qwen2.5-7B-Instruct 7.6B Q6_K 7.5 GiB 32,768 ≤ 286 トークン/秒 収まる
JanusCoderV-7B 7.6B BF16 15.6 GiB 128,000 ≤ 123 トークン/秒 収まる
olmOCR-2-7B-1025 7.6B BF16 15.6 GiB 128,000 ≤ 123 トークン/秒 収まる
Qwen2.5-7B-Instruct 7.6B Q8_0 9.1 GiB 32,768 ≤ 224 トークン/秒 収まる
Qwen2.5-Coder-7B-Instruct 7.6B Q8_0 9.1 GiB 32,768 ≤ 224 トークン/秒 収まる
Qwen2.5-VL-7B-Instruct 7.6B BF16 15.6 GiB 128,000 ≤ 123 トークン/秒 収まる
Qwen2.5-VL-7B-Surg-CholecT50 7.6B F16 15.6 GiB 128,000 ≤ 123 トークン/秒 収まる
Spatial-SSRL-7B 7.6B Q6_K 7.5 GiB 128,000 ≤ 286 トークン/秒 収まる
X-Reasoner-7B 7.6B Q6_K 7.5 GiB 128,000 ≤ 286 トークン/秒 収まる
ZwZ-7B 7.6B Q6_K 7.5 GiB 128,000 ≤ 286 トークン/秒 収まる
gemma-4-E4B 7.5B F16 11.0 GiB 131,072 ≤ 188 トークン/秒 収まる
gemma-4-E4B-it 7.5B BF16 11.0 GiB 131,072 ≤ 188 トークン/秒 収まる
Bielik-Minitron-7B-v3.0-Instruct 7.5B Q8_0 10.2 GiB 32,768 ≤ 196 トークン/秒 収まる
ContextPilot-E4B 7.5B F16 10.9 GiB 131,072 ≤ 190 トークン/秒 収まる
Olmo-3.1-7B-RL-Zero-Code 7.3B Q6_K 11.0 GiB 65,536 ≤ 215 トークン/秒 収まる
Olmo-3.1-7B-RL-Zero-Math 7.3B F16 19.0 GiB 60,672 ≤ 109 トークン/秒 収まる
Olmo-3-7B-Instruct 7.3B BF16 19.0 GiB 60,672 ≤ 109 トークン/秒 収まる
Olmo-3-7B-Instruct-DPO 7.3B Q6_K 11.0 GiB 65,536 ≤ 215 トークン/秒 収まる
Olmo-3-7B-Instruct-SFT 7.3B Q6_K 11.0 GiB 65,536 ≤ 215 トークン/秒 収まる
Olmo-3-7B-RL-Zero-Code 7.3B Q6_K 11.0 GiB 65,536 ≤ 215 トークン/秒 収まる
Olmo-3-7B-RL-Zero-General 7.3B Q6_K 11.0 GiB 65,536 ≤ 215 トークン/秒 収まる
Olmo-3-7B-RL-Zero-IF 7.3B Q6_K 11.0 GiB 65,536 ≤ 215 トークン/秒 収まる
Olmo-3-7B-RL-Zero-Math 7.3B Q6_K 11.0 GiB 65,536 ≤ 215 トークン/秒 収まる
Olmo-3-7B-RL-Zero-Mix 7.3B Q6_K 11.0 GiB 65,536 ≤ 215 トークン/秒 収まる
Olmo-3-7B-Think 7.3B BF16 19.0 GiB 60,672 ≤ 109 トークン/秒 収まる
Olmo-3-7B-Think-DPO 7.3B Q6_K 11.0 GiB 65,536 ≤ 215 トークン/秒 収まる
Olmo-3-7B-Think-SFT 7.3B Q6_K 11.0 GiB 65,536 ≤ 215 トークン/秒 収まる
Mistral-7B-Instruct-v0.2 7.2B Q6_K 8.1 GiB 32,768 ≤ 259 トークン/秒 収まる
Trinity-Nano-Base 6.1B（アクティブ 819M） Q6_K 6.7 GiB 131,072 ≤ 1,990 トークン/秒 収まる
Trinity-Nano-Base-Pre-Anneal 6.1B（アクティブ 819M） Q6_K 6.4 GiB 4,096 ≤ 2,129 トークン/秒 収まる
Trinity-Nano-Preview 6.1B（アクティブ 819M） BF16 13.5 GiB 131,072 ≤ 964 トークン/秒 収まる
Youtu-VL-4B-Instruct 4.9B Q6_K 5.9 GiB 32,768 ≤ 406 トークン/秒 収まる
Holo-3.1-4B 4.8B F16 10.2 GiB 262,144 ≤ 206 トークン/秒 収まる
gemma-4-E2B 4.6B Q6_K 3.5 GiB 131,072 ≤ 915 トークン/秒 収まる
gemma-4-E2B-it 4.6B BF16 6.1 GiB 131,072 ≤ 385 トークン/秒 収まる
AgentCPM-Explore 4.4B Q6_K 5.7 GiB 168,448 ≤ 397 トークン/秒 収まる
CapRL-Qwen3VL-4B 4.4B F16 10.4 GiB 136,704 ≤ 194 トークン/秒 収まる
Holo2-4B 4.4B F16 10.4 GiB 136,704 ≤ 194 トークン/秒 収まる
intent-aware-lfqa-qwen3-4b-baseline 4.4B F16 10.4 GiB 40,960 ≤ 194 トークン/秒 収まる
intent-aware-lfqa-qwen3-4b-intent-explicit 4.4B F16 10.4 GiB 40,960 ≤ 194 トークン/秒 収まる
intent-aware-lfqa-qwen3-4b-intent-implicit 4.4B F16 10.4 GiB 40,960 ≤ 194 トークン/秒 収まる
intent-aware-lfqa-qwen3-4b-multiview 4.4B F16 10.4 GiB 40,960 ≤ 194 トークン/秒 収まる
Spatial-SSRL-Qwen3VL-4B 4.4B F16 10.4 GiB 136,704 ≤ 194 トークン/秒 収まる
ZwZ-4B 4.4B Q6_K 5.7 GiB 168,448 ≤ 397 トークン/秒 収まる
Fara1.5-4B 4.2B BF16 10.2 GiB 262,144 ≤ 206 トークン/秒 収まる
FrogNano-4B-2609 4.2B BF16 10.2 GiB 262,144 ≤ 206 トークン/秒 収まる
Qwen3.5-4B 4.2B BF16 10.2 GiB 262,144 ≤ 206 トークン/秒 収まる
Qwen3.5-4B-Base 4.2B F16 10.2 GiB 262,144 ≤ 206 トークン/秒 収まる
UserRepGen-4B 4.2B BF16 10.2 GiB 262,144 ≤ 206 トークン/秒 収まる
Riva-Translate-4B-Instruct-v1.1 4.2B Q6_K 6.0 GiB 8,192 ≤ 374 トークン/秒 収まる
GELab-Zero-4B-preview 4.0B BF16 10.4 GiB 136,704 ≤ 194 トークン/秒 収まる
Qwen3-4B 4.0B Q8_0 6.7 GiB 40,960 ≤ 327 トークン/秒 収まる
Qwen3-4B-Instruct-2507 4.0B F16 10.4 GiB 136,704 ≤ 194 トークン/秒 収まる
Qwen3-VL-4B-Instruct 4.0B BF16 10.4 GiB 136,704 ≤ 194 トークン/秒 収まる
Qwen3-VL-4B-Thinking 4.0B BF16 10.4 GiB 136,704 ≤ 194 トークン/秒 収まる
NVIDIA-Nemotron-3-Nano-4B-BF16 4.0B BF16 8.7 GiB 262,144 ≤ 247 トークン/秒 収まる
gemma-3-4b-it 3.9B BF16 9.9 GiB 131,072 ≤ 223 トークン/秒 収まる
medgemma-1.5-4b-it 3.9B BF16 9.9 GiB 131,072 ≤ 223 トークン/秒 収まる
Nemotron-3-Content-Safety 3.9B Q6_K 5.4 GiB 131,072 ≤ 516 トークン/秒 収まる
translategemma-4b-it 3.9B F16 9.9 GiB 131,072 ≤ 223 トークン/秒 収まる
Phi-4-mini-instruct 3.8B BF16 10.0 GiB 131,072 ≤ 205 トークン/秒 収まる
Apertus-v1.1-4B 3.8B Q6_K 4.4 GiB 4,096 ≤ 558 トークン/秒 収まる
Phi-3.5-mini-instruct 3.8B Q8_0 8.3 GiB 62,208 ≤ 250 トークン/秒 収まる
granite-4.2-3b 3.7B BF16 8.6 GiB 131,072 ≤ 240 トークン/秒 収まる
BitCPM-CANN-3B-unquantized 3.6B Q6_K 4.3 GiB 32,768 ≤ 583 トークン/秒 収まる
kanana-2-3b-instruct 3.5B F16 8.6 GiB 32,768 ≤ 241 トークン/秒 収まる
Ministral-3-3B-Instruct-2512 3.4B BF16 8.9 GiB 199,680 ≤ 232 トークン/秒 収まる
Ministral-3-3B-Reasoning-2512 3.4B BF16 8.9 GiB 199,680 ≤ 232 トークン/秒 収まる
granite-vision-4.1-4b 3.4B BF16 8.6 GiB 131,072 ≤ 240 トークン/秒 収まる
granite-4.1-3b 3.4B BF16 8.6 GiB 131,072 ≤ 240 トークン/秒 収まる
granite-guardian-4.0-3b-toxicity-ja 3.4B Q6_K 4.7 GiB 131,072 ≤ 517 トークン/秒 収まる
Qwen2.5-3B-Instruct 3.4B Q8_0 4.8 GiB 32,768 ≤ 500 トークン/秒 収まる
tiny-aya-earth 3.3B BF16 8.7 GiB ≥ 262,144（それより長いコンテキスト長は測定ログとの照合なし） ≤ 253 トークン/秒 収まる
tiny-aya-fire 3.3B BF16 8.7 GiB ≥ 262,144（それより長いコンテキスト長は測定ログとの照合なし） ≤ 253 トークン/秒 収まる
tiny-aya-global 3.3B BF16 8.7 GiB ≥ 262,144（それより長いコンテキスト長は測定ログとの照合なし） ≤ 253 トークン/秒 収まる
tiny-aya-water 3.3B BF16 8.7 GiB ≥ 262,144（それより長いコンテキスト長は測定ログとの照合なし） ≤ 253 トークン/秒 収まる
Llama-3.2-3B-Instruct 3.2B BF16 8.5 GiB 131,072 ≤ 243 トークン/秒 収まる
AI21-Jamba-Reasoning-3B 3.2B BF16 7.3 GiB 262,144 ≤ 295 トークン/秒 収まる
AI21-Jamba2-3B 3.2B BF16 7.3 GiB 262,144 ≤ 295 トークン/秒 収まる
kanana-2-3b-base 3.2B Q6_K 4.9 GiB 32,768 ≤ 487 トークン/秒 収まる
SmolLM3-3B 3.1B BF16 7.9 GiB 65,536 ≤ 265 トークン/秒 収まる
SmolLM3-3B-GSM8K-SFT 3.1B Q6_K 4.3 GiB 65,536 ≤ 573 トークン/秒 収まる
LFM2-2.6B-Exp 2.7B F16 6.5 GiB 128,000 ≤ 340 トークン/秒 収まる
d1-3B 2.7B BF16 6.7 GiB 32,768 ≤ 324 トークン/秒 収まる
LFM2.5-2.6B 2.7B BF16 6.7 GiB 131,072 ≤ 324 トークン/秒 収まる
LFM2.5-2.6B-Base 2.7B Q6_K 3.6 GiB 128,000 ≤ 763 トークン/秒 収まる
LFM2.5-VL-3B 2.7B BF16 6.7 GiB 32,768 ≤ 324 トークン/秒 収まる
EuroMoE-2.6B-A0.6B-Instruct-2512 2.6B（アクティブ 498M） Q6_K 3.6 GiB 32,768 ≤ 2,915 トークン/秒 収まる
LFM2-2.6B-Longevity 2.6B F16 6.5 GiB 128,000 ≤ 340 トークン/秒 収まる
LFM2-2.6B-Transcript 2.6B BF16 6.5 GiB 128,000 ≤ 340 トークン/秒 収まる
LFM2-VL-3B 2.6B BF16 6.5 GiB 128,000 ≤ 340 トークン/秒 収まる
MiniCPM5-2B 2.5B BF16 6.0 GiB 131,072 ≤ 369 トークン/秒 収まる
MiniCPM5-2B-Base 2.5B Q6_K 3.4 GiB ≥ 262,144（それより長いコンテキスト長は測定ログとの照合なし） ≤ 815 トークン/秒 収まる
CapRL-Qwen3VL-2B 2.0B F16 5.6 GiB 214,528 ≤ 409 トークン/秒 収まる
HiPO-1.7B 2.0B Q6_K 3.6 GiB 40,960 ≤ 762 トークン/秒 収まる
UI-Venus-1.5-2B 2.0B F16 5.6 GiB 214,528 ≤ 409 トークン/秒 収まる
ZwZ-2B 2.0B F16 5.6 GiB 214,528 ≤ 409 トークン/秒 収まる
Youtu-LLM-2B 2.0B Q6_K 3.2 GiB 131,072 ≤ 933 トークン/秒 収まる
Youtu-LLM-2B-Base 2.0B Q6_K 3.2 GiB 131,072 ≤ 933 トークン/秒 収まる
Qwen3.5-2B 1.9B BF16 5.4 GiB 262,144 ≤ 464 トークン/秒 収まる
Qwen3.5-2B-Base 1.9B Q6_K 3.2 GiB 262,144 ≤ 1,089 トークン/秒 収まる
Qwen3-1.7B 1.7B BF16 5.6 GiB 40,960 ≤ 409 トークン/秒 収まる
Qwen3-VL-2B-Instruct 1.7B BF16 5.6 GiB 214,528 ≤ 409 トークン/秒 収まる
Qwen3-VL-2B-Thinking 1.7B BF16 5.6 GiB 214,528 ≤ 409 トークン/秒 収まる
SingGuard-2b 1.7B F16 5.6 GiB 214,528 ≤ 409 トークン/秒 収まる
granite-4.0-1b 1.6B BF16 5.1 GiB 131,072 ≤ 455 トークン/秒 収まる
Apertus-v1.1-1.5B 1.5B F16 3.8 GiB 4,096 ≤ 685 トークン/秒 収まる
Apertus-v1.1-1.5B-Instruct 1.5B F16 3.8 GiB 4,096 ≤ 685 トークン/秒 収まる
granite-4.0-h-1b 1.5B BF16 4.4 GiB 131,072 ≤ 599 トークン/秒 収まる
Llama-3.2-1B-Instruct 1.2B BF16 4.0 GiB 131,072 ≤ 654 トークン/秒 収まる
LFM2.5-1.2B-Base 1.2B BF16 3.7 GiB 128,000 ≤ 734 トークン/秒 収まる
LFM2.5-1.2B-Instruct 1.2B BF16 3.7 GiB 128,000 ≤ 734 トークン/秒 収まる
LFM2.5-1.2B-JP 1.2B F16 3.7 GiB 128,000 ≤ 734 トークン/秒 収まる
LFM2.5-1.2B-JP-202606 1.2B F16 3.7 GiB 128,000 ≤ 734 トークン/秒 収まる
LFM2.5-1.2B-Thinking 1.2B BF16 3.7 GiB 128,000 ≤ 734 トークン/秒 収まる
LFM2.5-VL-1.6B 1.2B BF16 3.7 GiB 128,000 ≤ 734 トークン/秒 収まる
LFM2.5-VL-1.6B-Extract 1.2B F16 3.7 GiB 128,000 ≤ 734 トークン/秒 収まる
MiniCPM5-1B 1.1B Q6_K 2.2 GiB 131,072 ≤ 1,940 トークン/秒 収まる
MiniCPM5-1B-Base 1.1B Q6_K 2.2 GiB 131,072 ≤ 1,940 トークン/秒 収まる
MiniCPM5-1B-SFT 1.1B Q6_K 2.2 GiB 131,072 ≤ 1,940 トークン/秒 収まる
Holo-3.1-0.8B 1.0B Q6_K 2.3 GiB 262,144 ≤ 2,491 トークン/秒 収まる
MiniCPM-V-4.7-1B 1.0B F16 3.2 GiB 262,144 ≤ 1,116 トークン/秒 収まる
gemma-3-1b-it 1.0B BF16 3.6 GiB 32,768 ≤ 876 トークン/秒 収まる
Qwen3.5-0.8B 752M BF16 3.2 GiB 262,144 ≤ 1,116 トークン/秒 収まる
Qwen3.5-0.8B-Base 752M Q6_K 2.3 GiB 262,144 ≤ 2,491 トークン/秒 収まる
MiniCPM-V-4.6 752M F16 3.2 GiB 262,144 ≤ 1,116 トークン/秒 収まる
MiniCPM-V-4.6-Thinking 752M F16 3.2 GiB 262,144 ≤ 1,116 トークン/秒 収まる
Qwen3-0.6B 752M BF16 3.4 GiB 40,960 ≤ 841 トークン/秒 収まる
HunyuanOCR 539M F16 3.1 GiB 32,768 ≤ 951 トークン/秒 収まる
LFM2.5-350M 354M BF16 2.1 GiB 128,000 ≤ 2,213 トークン/秒 収まる
LFM2.5-Encoder-350M-Diffusion 354M Q6_K 1.7 GiB 128,000 ≤ 4,575 トークン/秒 収まる
LFM2.5-VL-450M 354M BF16 2.1 GiB 128,000 ≤ 2,213 トークン/秒 収まる
LFM2.5-VL-450M-Extract 354M F16 2.1 GiB 128,000 ≤ 2,213 トークン/秒 収まる
granite-4.0-350m 352M BF16 2.2 GiB 32,768 ≤ 1,907 トークン/秒 収まる
granite-4.0-h-350m 340M BF16 2.1 GiB 32,768 ≤ 2,507 トークン/秒 収まる
functiongemma-270m-it 268M BF16 2.1 GiB 32,768 ≤ 3,148 トークン/秒 収まる
LFM2.5-230M 230M BF16 1.8 GiB 128,000 ≤ 3,199 トークン/秒 収まる

境界のモデル

推定誤差の範囲内：収まる場合も収まらない場合もあります。コンテキスト長を短くするか、量子化をより低いものにしてみてください。

コンテキスト長 8,192 トークン。これらのモデルは、どの量子化でも収まりません。表示している量子化は、境界となる中で最も高いものです。
モデル パラメータ数 境界となる最高の量子化 「収まる」に必要な利用可能メモリ 結果
Qwen3.5-122B-A10B 122B（アクティブ 9.0B） IQ2_XXS 35.0 GiB 境界
Step-3.5-Flash-REAP-121B-A11B 121B（アクティブ 11.4B） IQ2_XXS 32.9 GiB 境界
Mistral-Small-4-119B-2603 119B（アクティブ 6.1B） IQ2_XXS 34.3 GiB 境界
Solar-Open-100B 103B（アクティブ 11.2B） IQ2_M 35.8 GiB 境界
GLM-4.5-Air-REAP-82B-A12B 81.9B（アクティブ 12.8B） Q2_K 36.5 GiB 境界
Qwen3-Coder-Next 79.7B（アクティブ 3.6B） Q2_K 30.4 GiB 境界
Qwen3-Next-80B-A3B-Instruct 79.7B（アクティブ 3.6B） Q2_K 30.3 GiB 境界
Qwen2.5-72B-Instruct 73.0B Q2_K 30.3 GiB 境界
DeepSeek-R1-Distill-Llama-70B 70.6B Q3_K_M 37.1 GiB 境界
Llama-3.3-70B-Instruct 70.6B Q3_K_M 37.1 GiB 境界
Qwen-AgentWorld-35B-A3B 34.7B（アクティブ 2.9B） Q8_0 37.6 GiB 境界

NVIDIA GeForce RTX 5090 1枚に収まらないモデル

コンテキスト長 8,192 トークン。最も低い量子化でもカード1枚には収まりません。表示している必要量は、その量子化のものです。
モデル パラメータ数 最小の量子化 「収まる」に必要な利用可能メモリ 同一カード複数枚 結果
MiniMax-M2.5-REAP-139B-A10B 139B（アクティブ 10.4B） IQ2_XXS 39.2 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
INTELLECT-3 107B（アクティブ 12.8B） IQ2_XXS 39.6 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
Step-3.5-Flash-REAP-149B-A11B 149B（アクティブ 11.4B） IQ2_XXS 40.1 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
Llama-4-Scout-17B-16E-Instruct 108B（アクティブ 16.1B） Q2_K 41.5 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
GLM-4.5-Air 107B（アクティブ 12.8B） Q2_K 45.6 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
GLM-4.6V 107B（アクティブ 12.8B） Q2_K 45.6 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
Step-3.5-Flash 197B（アクティブ 11.5B） IQ2_XXS 48.9 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
Devstral-2-123B-Instruct-2512 125B Q2_K 49.3 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
Mistral-Medium-3.5-128B 125B Q2_K 49.3 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16 121B（アクティブ 12.2B） IQ2_XXS 49.8 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
NVIDIA-Nemotron-3-Super-120B-A12B-BF16 121B（アクティブ 12.2B） IQ2_XXS 51.0 GiB 同一カード 2 枚（既定の均等分割）で収まる見込みです。 収まらない
gpt-oss-120b 117B（アクティブ 5.1B） Q2_K 62.8 GiB 同一カード 3 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
MiniMax-M2.7 229B（アクティブ 10.4B） IQ2_XXS 62.9 GiB 同一カード 3 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Baichuan-M3-235B 235B（アクティブ 21.6B） IQ2_XXS 63.2 GiB 同一カード 3 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Holo2-235B-A22B 235B（アクティブ 21.6B） IQ2_XXS 63.2 GiB 同一カード 3 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Qwen3-Nemotron-235B-A22B-GenRM 235B（アクティブ 21.6B） IQ2_XXS 63.2 GiB 同一カード 3 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
command-a-plus-05-2026-bf16 218B（アクティブ 25.0B） IQ2_XXS 63.6 GiB 同一カード 3 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 121B（アクティブ 12.2B） Q4_0 71.8 GiB 同一カード 3 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
GLM-4.7-REAP-268B-A32B 269B（アクティブ 32.8B） IQ2_XXS 73.0 GiB 同一カード 3 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Step-3.7-Flash 197B（アクティブ 11.5B） IQ3_XXS 76.1 GiB 同一カード 3 枚（既定の均等分割）で収まる見込みです。 収まらない
Hy3 295B（アクティブ 20.2B） IQ2_XXS 82.2 GiB 同一カード 3 枚（既定の均等分割）で収まる見込みです。 収まらない
MiMo-V2.5 309B（アクティブ 14.8B） IQ2_XXS 82.4 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
GLM-4.7-REAP-218B-A32B 218B（アクティブ 32.8B） Q2_K 82.9 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
MiniMax-M2 229B（アクティブ 10.4B） Q2_K 84.9 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
MiniMax-M2.1 229B（アクティブ 10.4B） Q2_K 84.9 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
MiniMax-M2.5 229B（アクティブ 10.4B） Q2_K 84.9 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Qwen3-235B-A22B-Instruct-2507 235B（アクティブ 21.6B） Q2_K 86.7 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Qwen3-VL-235B-A22B-Instruct 235B（アクティブ 21.6B） Q2_K 86.7 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
GLM-5.3-Flash-BF16 313B（アクティブ 16.7B） IQ2_XXS 92.0 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Laguna-S-2.1 118B（アクティブ 8.1B） Q4_K_M 95.9 GiB 同一カード 8 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Trinity-Large-Base 399B（アクティブ 12.8B） IQ2_XXS 96.4 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Trinity-Large-TrueBase 399B（アクティブ 12.8B） IQ2_XXS 96.4 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
GLM-4.6-REAP-268B-A32B 269B（アクティブ 32.8B） Q2_K 100.9 GiB 同一カード 4 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Trinity-Large-Thinking 399B（アクティブ 12.8B） IQ2_XXS 107.1 GiB 同一カード 5 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
MiMo-V2-Flash 309B（アクティブ 14.8B） Q2_K 111.6 GiB 同一カード 5 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Intern-S2-397B 396B（アクティブ 16.3B） IQ2_XXS 114.3 GiB 同一カード 5 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
MiMo-V2.6-Flash-MOPD 309B（アクティブ 14.8B） Q2_K 124.9 GiB 同一カード 5 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
MiMo-V2.6-Flash-RL 309B（アクティブ 14.8B） Q2_K 124.9 GiB 同一カード 5 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
K-EXAONE-236B-A23B 237B（アクティブ 22.7B） IQ4_XS 126.3 GiB 同一カード 6 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
GLM-4.5 353B（アクティブ 32.9B） Q2_K 130.7 GiB 同一カード 5 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
GLM-4.7 353B（アクティブ 32.9B） Q2_K 130.7 GiB 同一カード 5 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Qwen3-Coder-REAP-363B-A35B 363B（アクティブ 34.5B） Q2_K 132.7 GiB 同一カード 5 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Qwen3-235B-A22B 235B（アクティブ 21.6B） Q4_K_M 141.9 GiB 同一カード 6 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Qwen3-Coder-480B-A35B-Instruct 480B（アクティブ 34.5B） Q2_K 174.3 GiB 同一カード 7 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
Qwen3.5-397B-A17B 396B（アクティブ 16.3B） Q3_K_M 175.6 GiB 同一カード 7 枚（既定の均等分割）で収まる見込みです。 それより少ない枚数では境界です。 収まらない
GLM-5.1 744B（アクティブ 40.8B） IQ2_XXS 197.6 GiB 8 枚では境界です。 収まらない
DeepSeek-V3.2 671B（アクティブ 36.6B） Q2_K 242.1 GiB 8 枚では境界です。 収まらない
cogito-671b-v2.1 671B（アクティブ 36.6B） Q2_K 242.4 GiB 8 枚では境界です。 収まらない
DeepSeek-V3.1 671B（アクティブ 36.6B） Q2_K 242.4 GiB 8 枚では境界です。 収まらない
Mistral-Large-3-675B-Instruct-2512 673B（アクティブ 39.0B） Q2_K 243.8 GiB 8 枚では境界です。 収まらない
DeepSeek-V3 671B（アクティブ 36.6B） Q2_K 257.8 GiB 8 枚では境界です。 収まらない
Kimi-K2.6 1.03T（アクティブ 31.7B） IQ2_XXS 267.6 GiB 8 枚では境界です。 収まらない
GLM-5 744B（アクティブ 40.8B） Q2_K 268.9 GiB 8 枚では境界です。 収まらない
MiMo-V2.5-Pro 1.02T（アクティブ 41.0B） IQ2_XXS 270.4 GiB 8 枚では境界です。 収まらない
DeepSeek-R1 671B（アクティブ 36.6B） Q2_K 280.3 GiB 8 枚では境界です。 収まらない
Muse-Spark-Open-816B-A42B 820B（アクティブ 44.4B） Q2_K 301.0 GiB 8 枚でも収まりません。 収まらない
GLM-5.3-Flash 313B（アクティブ 16.7B） Q8_0 327.9 GiB 8 枚でも収まりません。 収まらない
Ling-1T 1.00T（アクティブ 49.8B） Q2_K 360.6 GiB 8 枚でも収まりません。 収まらない
Kimi-K2-Instruct 1.03T（アクティブ 31.7B） Q2_K 367.4 GiB 8 枚でも収まりません。 収まらない
Kimi-K2.5 1.03T（アクティブ 31.7B） Q2_K 368.0 GiB 8 枚でも収まりません。 収まらない
Kimi-K2-Thinking 1.03T（アクティブ 31.7B） Q2_K 368.3 GiB 8 枚でも収まりません。 収まらない
MiMo-V2.6-Pro-MOPD 1.02T（アクティブ 41.0B） Q2_K 411.6 GiB 8 枚でも収まりません。 収まらない
MiMo-V2.6-Pro-RL 1.02T（アクティブ 41.0B） Q2_K 411.6 GiB 8 枚でも収まりません。 収まらない
Beam-1.0-501B-A23B 501B（アクティブ 22.7B） Q8_0 523.6 GiB 8 枚でも収まりません。 収まらない
GLM-5.2 744B（アクティブ 40.8B） Q8_0 776.4 GiB 8 枚でも収まりません。 収まらない
GLM-5.3 744B（アクティブ 40.8B） Q8_0 776.4 GiB 8 枚でも収まりません。 収まらない
Qwen3.8-2.4T-A95B 2.42T（アクティブ 93.3B） Q8_0 2,524.1 GiB 8 枚でも収まりません。 収まらない

速度の上限は、メモリ帯域幅を、生成されるトークン一つあたりに読み込まれるバイト数で割った値です。これは理論上の上限であり、公開されている llama.cpp のベンチマークでは通常、その半分から五分の四程度に達します。小さなモデルや MoE モデルでは、これより低くなることが多くあります。 公開ベンチマーク

このGPUの詳細ページ

32 GBの他のデバイス