DeskGPU
简体中文

NVIDIA GeForce RTX 3090：能运行哪些 LLM？

本页面由 AI 自动撰写和翻译，并由软件对照来源进行检查，没有人工编辑。规格来自所列来源；显存需求和速度是按已公布的公式计算出的估算值。 我们如何使用 AI

NVIDIA GeForce RTX 3090 的显存为 24 GB（厂商数据）。下面使用 llama.cpp，在 8,192 token 的上下文长度（若模型的最大上下文更短，则取模型最大值）下，对数据库中的每个模型逐一核对。

数值更新于 2026年10月19日

规格

显存（厂商数据）
24 GB
显存类型
GDDR6X
显存位宽
384 bit
显存带宽
936 GB/s
整卡功耗（TDP）
350 W
FP16 张量算力（稠密）
未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。
BF16 张量算力（稠密）
未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。
FP8 张量算力（稠密）
未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。
FP4 张量算力（稠密）
未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。
INT8 张量算力（稠密）
未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。
接口
未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。

每个值都列出各来源及其各自的数据；单位已统一。厂商标注的显存“GB”按 GiB（2³⁰ 字节）计算，AMD 的 ROCm 表格也是这样表述的。 规格如何核对

运行档案

运行档案： llama.cpp，CUDA 后端（NVIDIA 独立 GPU），所有层都放在 GPU 上，开启 Flash Attention，微批次大小（-ub）为 512，F16 KV 缓存，上下文（-c）如表中所示；“能装下”按 llama-server 默认的 4 个并行序列（-np auto，统一 KV 缓存）判定，“装不下”按 1 个序列判定；GPU 空闲，没有其他程序占用其显存。

计为“能装下”可用的显存（C_low）：每卡 21.44 GiB = 标称 24 GiB − 453 MiB（标称值减去 llama.cpp 在公开日志中为该 GPU 报告的总量）− 2,112 MiB（此运行档案的公开日志中出现的最大启动及运行占用），并向下取整到 64 MiB 的倍数。

这些结果适用于公开日志中出现的配置，其中 llama.cpp 报告这块 GPU 的总显存为 24,123 MiB。会减少可用显存的设置（例如显卡支持时的 ECC）不在考虑范围内。

用于“装不下”的显存（C_high）：每卡全部 24 GiB。 运行档案及其实测数据

能装下哪些模型

“能装下”是指 llama.cpp 默认的 --fit 加载检查会把所有层放到 GPU 上：我们对 llama.cpp 缓冲区的估算，加上误差余量，再加上 llama.cpp 每张卡 1 GiB 的预留，不超过被视为可用的显存。这并不保证生成过程中的峰值显存也能装下。 结果是如何判定的

上下文 8,192 个 token（若模型最大上下文更短，则取模型最大值）。最后几列显示该量化下可用的最长上下文，以及基于带宽的速度上限。
模型 参数量 能装下的最高量化 “能装下”所需的可用显存 最长上下文 速度上限 结果
AI21-Jamba2-Mini 51.6B（激活 11.8B） IQ3_XXS 21.2 GiB 20,736 ≤ 193 tok/s 能装下
Kimi-Linear-48B-A3B-Base 49.1B（激活 3.1B） IQ3_XXS 20.0 GiB 148,992 ≤ 660 tok/s 能装下
Kimi-Linear-48B-A3B-Instruct 49.1B（激活 3.1B） IQ3_XXS 20.7 GiB 83,968 ≤ 544 tok/s 能装下
Hermes-4.3-36B 36.2B Q3_K_M 20.4 GiB 12,288 ≤ 48.2 tok/s 能装下
Kimi-Linear-REAP-35B-A3B-Instruct 35.1B（激活 3.1B） Q4_0 20.9 GiB 58,112 ≤ 479 tok/s 能装下
Holo-3.1-35B-A3B 34.7B（激活 2.9B） IQ4_XS 20.2 GiB 62,720 ≤ 458 tok/s 能装下
Holo3-35B-A3B 34.7B（激活 2.9B） IQ4_XS 20.2 GiB 62,720 ≤ 458 tok/s 能装下
Holo4-35B-A3B 34.7B（激活 2.9B） Q4_0 21.2 GiB 18,944 ≤ 430 tok/s 能装下
Ising-Calibration-1-35B-A3B 34.7B（激活 2.9B） Q4_0 21.1 GiB 25,344 ≤ 460 tok/s 能装下
KAT-Coder-V2.5-Dev 34.7B（激活 2.9B） Q4_0 21.2 GiB 18,944 ≤ 430 tok/s 能装下
Qwen3.5-35B-A3B 34.7B（激活 2.9B） Q3_K_M 17.6 GiB 184,064 ≤ 359 tok/s 能装下
Qwen3.5-35B-A3B-Base 34.7B（激活 2.9B） Q4_0 21.1 GiB 25,344 ≤ 460 tok/s 能装下
Qwen3.6-35B-A3B 34.7B（激活 2.9B） Q4_0 21.2 GiB 19,200 ≤ 430 tok/s 能装下
MiniCPM-V-4.7-35B-A3B 34.7B（激活 2.9B） Q4_0 21.0 GiB 29,184 ≤ 461 tok/s 能装下
Laguna-XS-2.1 33.4B（激活 2.8B） Q4_0 20.6 GiB 27,136 ≤ 405 tok/s 能装下
DeepSeek-R1-Distill-Qwen-32B 32.8B Q3_K_M 18.7 GiB 18,688 ≤ 52.8 tok/s 能装下
Qwen2.5-32B-Instruct 32.8B Q4_0 21.3 GiB 8,704 ≤ 46.0 tok/s 能装下
Qwen2.5-Coder-32B-Instruct 32.8B Q4_0 21.3 GiB 8,704 ≤ 46.0 tok/s 能装下
AesCode-32B 32.8B IQ4_XS 20.8 GiB 10,496 ≤ 47.2 tok/s 能装下
Cosmos-Reason2-32B 32.8B Q4_0 21.3 GiB 8,448 ≤ 45.9 tok/s 能装下
FrogBoss-32B-2510 32.8B Q4_0 21.3 GiB 8,448 ≤ 45.9 tok/s 能装下
Nemotron-Terminal-32B 32.8B Q4_0 21.3 GiB 8,448 ≤ 45.9 tok/s 能装下
Qwen3-VL-32B-Instruct 32.8B Q4_0 21.3 GiB 8,448 ≤ 45.9 tok/s 能装下
Qwen3-VL-32B-Thinking 32.8B Q4_0 21.3 GiB 8,448 ≤ 45.9 tok/s 能装下
SERA-32B 32.8B Q4_0 21.3 GiB 8,448 ≤ 45.9 tok/s 能装下
WebWorld-32B 32.8B Q4_0 21.3 GiB 8,448 ≤ 45.9 tok/s 能装下
EXAONE-4.5-33B 32.5B IQ4_XS 20.4 GiB 12,032 ≤ 50.2 tok/s 能装下
Olmo-3.1-32B-Instruct 32.2B Q4_0 21.1 GiB 9,472 ≤ 48.3 tok/s 能装下
Olmo-3.1-32B-Instruct-DPO 32.2B Q4_0 21.1 GiB 9,472 ≤ 48.3 tok/s 能装下
Olmo-3.1-32B-Think 32.2B Q4_0 21.1 GiB 9,472 ≤ 48.3 tok/s 能装下
Olmo-3-1125-32B 32.2B Q4_0 21.1 GiB 9,472 ≤ 48.3 tok/s 能装下
Olmo-3-32B-Think 32.2B Q4_0 21.1 GiB 9,472 ≤ 48.3 tok/s 能装下
Olmo-3-32B-Think-DPO 32.2B Q4_0 21.1 GiB 9,472 ≤ 48.3 tok/s 能装下
Olmo-3-32B-Think-SFT 32.2B Q4_0 21.1 GiB 9,472 ≤ 48.3 tok/s 能装下
Holotron4-30B-A3B 31.6B（激活 3.2B） Q4_0 19.0 GiB ≥ 262,144（更长的上下文未对照实测日志检查） ≤ 451 tok/s 能装下
Nemotron-Cascade-2-30B-A3B 31.6B（激活 3.2B） Q4_0 19.2 GiB 262,144 ≤ 408 tok/s 能装下
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 31.6B（激活 3.2B） Q4_0 19.0 GiB 262,144 ≤ 451 tok/s 能装下
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 31.6B（激活 3.2B） Q4_0 19.3 GiB 262,144 ≤ 408 tok/s 能装下
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 31.6B（激活 3.2B） Q4_0 19.2 GiB 262,144 ≤ 419 tok/s 能装下
NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16 31.6B（激活 3.2B） Q4_0 19.0 GiB 262,144 ≤ 451 tok/s 能装下
gemma-4-31B 30.7B Q3_K_M 20.9 GiB 14,848 ≤ 55.8 tok/s 能装下
gemma-4-31B-it 30.7B Q3_K_M 20.3 GiB 21,248 ≤ 57.7 tok/s 能装下
Ising-Calibration-1.5-31B-BF16 30.7B IQ3_XXS 18.6 GiB 42,240 ≤ 64.7 tok/s 能装下
Holo2-30B-A3B 30.5B（激活 3.0B） Q4_K_M 20.1 GiB 21,504 ≤ 343 tok/s 能装下
Qwen3-30B-A3B 30.5B（激活 3.0B） Q4_K_M 20.1 GiB 21,504 ≤ 343 tok/s 能装下
Qwen3-30B-A3B-Instruct-2507 30.5B（激活 3.0B） Q4_K_M 20.1 GiB 21,504 ≤ 343 tok/s 能装下
Qwen3-Coder-30B-A3B-Instruct 30.5B（激活 3.0B） Q4_K_M 20.1 GiB 21,504 ≤ 343 tok/s 能装下
Qwen3-VL-30B-A3B-Instruct 30.5B（激活 3.0B） Q4_K_M 20.1 GiB 21,504 ≤ 343 tok/s 能装下
UI-Venus-1.5-30B-A3B 30.5B（激活 3.0B） Q4_K_M 20.1 GiB 21,504 ≤ 343 tok/s 能装下
North-Mini-Code-1.0 30.5B（激活 3.3B） Q4_K_M 20.7 GiB 14,848 ≤ 335 tok/s 能装下
GLM-4.7-Flash 29.9B（激活 3.6B） Q4_K_M 19.5 GiB 42,752 ≤ 329 tok/s 能装下
granite-4.2-30b 29.3B Q4_K_M 20.5 GiB 11,520 ≤ 47.7 tok/s 能装下
granite-4.1-30b 28.9B Q4_K_M 20.5 GiB 11,520 ≤ 47.7 tok/s 能装下
Muse-Glimmer-30B 27.9B Q5_K_M 20.7 GiB 58,368 ≤ 48.4 tok/s 能装下
gemma-2-27b-it 27.2B Q4_K_M 20.9 GiB 8,192 ≤ 49.4 tok/s 能装下
gemma-3-27b-it 27.0B Q4_K_M 20.3 GiB 21,248 ≤ 53.0 tok/s 能装下
translategemma-27b-it 27.0B Q4_K_M 20.3 GiB 21,248 ≤ 53.0 tok/s 能装下
Fara1.5-27B 26.9B Q4_K_M 19.1 GiB 42,752 ≤ 54.0 tok/s 能装下
Holo4-27B 26.9B Q5_K_M 20.6 GiB 19,968 ≤ 49.6 tok/s 能装下
Qwen3.5-27B 26.9B Q5_K_M 21.0 GiB 14,592 ≤ 48.6 tok/s 能装下
Qwen3.6-27B 26.9B Q5_K_M 20.9 GiB 15,872 ≤ 48.8 tok/s 能装下
Qwen3.8-27B 26.9B Q4_K_M 18.8 GiB 47,616 ≤ 55.0 tok/s 能装下
Qwen3.8-3.6-27B-blend 26.9B Q4_K_M 18.8 GiB 47,616 ≤ 55.0 tok/s 能装下
UI-Mate-27B 26.9B Q4_K_M 19.1 GiB 42,752 ≤ 54.0 tok/s 能装下
UI-Mate-democua-27B 26.9B Q5_K_M 20.6 GiB 19,968 ≤ 49.6 tok/s 能装下
Trinity-Mini 26.1B（激活 3.1B） Q5_K_M 19.9 GiB 89,088 ≤ 368 tok/s 能装下
Trinity-Mini-Base 26.1B（激活 3.1B） Q5_K_M 19.9 GiB 93,440 ≤ 380 tok/s 能装下
Trinity-Mini-Base-Pre-Anneal 26.1B（激活 3.1B） Q5_K_M 19.6 GiB 4,096 ≤ 391 tok/s 能装下
gemma-4-26B-A4B 25.2B（激活 3.8B） Q5_K_M 21.4 GiB 10,496 ≤ 285 tok/s 能装下
gemma-4-26B-A4B-it 25.2B（激活 3.8B） Q4_K_M 19.3 GiB 103,680 ≤ 291 tok/s 能装下
Qwen3-Coder-REAP-25B-A3B 24.9B（激活 3.0B） Q5_K_M 19.3 GiB 30,208 ≤ 309 tok/s 能装下
LFM2.5-24B-A2B 24.0B（激活 2.5B） Q6_K 20.7 GiB 39,680 ≤ 426 tok/s 能装下
LFM2-24B-A2B 23.8B（激活 2.3B） Q6_K 20.6 GiB 44,288 ≤ 447 tok/s 能装下
Devstral-Small-2-24B-Instruct-2512 23.6B Q6_K 21.0 GiB 10,752 ≤ 46.5 tok/s 能装下
Mistral-Small-3.2-24B-Instruct-2506 23.6B Q6_K 21.0 GiB 10,752 ≤ 46.5 tok/s 能装下
GLM-4.7-Flash-REAP-23B-A3B 23.0B（激活 3.6B） Q6_K 20.1 GiB 32,000 ≤ 268 tok/s 能装下
EuroLLM-22B-2512 22.6B Q6_K 20.6 GiB 11,776 ≤ 47.4 tok/s 能装下
EuroLLM-22B-Instruct-2512 22.6B Q6_K 20.6 GiB 11,776 ≤ 47.4 tok/s 能装下
gpt-oss-20b 20.9B（激活 3.6B） Q8_0 12.9 GiB 131,072 ≤ 337 tok/s 能装下
OptiMind-SFT 20.9B（激活 3.6B） Q5_K_M 17.8 GiB 131,072 ≤ 291 tok/s 能装下
DeepSeek-R1-Distill-Qwen-14B 14.8B Q8_0 17.5 GiB 28,416 ≤ 56.8 tok/s 能装下
Qwen2.5-14B-Instruct 14.8B Q8_0 17.5 GiB 28,416 ≤ 56.8 tok/s 能装下
ContextPilot-14B 14.8B Q8_0 17.2 GiB 34,048 ≤ 57.7 tok/s 能装下
FrogMini-14B-2510 14.8B Q6_K 13.9 GiB 40,960 ≤ 73.0 tok/s 能装下
JanusCoder-14B 14.8B Q8_0 17.2 GiB 32,768 ≤ 57.7 tok/s 能装下
Nemotron-Cascade-14B-Thinking 14.8B Q8_0 17.2 GiB 32,768 ≤ 57.7 tok/s 能装下
Nemotron-Terminal-14B 14.8B Q6_K 13.9 GiB 40,960 ≤ 73.0 tok/s 能装下
NousCoder-14B 14.8B Q8_0 17.2 GiB 34,048 ≤ 57.7 tok/s 能装下
Qwen3-14B 14.8B Q8_0 17.2 GiB 34,048 ≤ 57.7 tok/s 能装下
Qwen3-Nemotron-14B-BRRM 14.8B Q6_K 13.9 GiB 40,960 ≤ 73.0 tok/s 能装下
WebWorld-14B 14.8B Q6_K 13.9 GiB 40,960 ≤ 73.0 tok/s 能装下
phi-4 14.7B Q8_0 17.7 GiB 16,384 ≤ 56.0 tok/s 能装下
Apriel-1.6-15b-Thinker 14.4B Q8_0 17.2 GiB 29,952 ≤ 57.7 tok/s 能装下
Ministral-3-14B-Instruct-2512 13.5B Q8_0 16.0 GiB 41,728 ≤ 62.5 tok/s 能装下
Ministral-3-14B-Reasoning-2512 13.5B Q8_0 16.0 GiB 41,728 ≤ 62.5 tok/s 能装下
Mistral-Nemo-Instruct-2407 12.2B Q8_0 14.7 GiB 49,664 ≤ 68.6 tok/s 能装下
Mellum2.1-12B-A2.5B-Thinking 12.1B（激活 2.2B） Q8_0 14.0 GiB 131,072 ≤ 371 tok/s 能装下
Mellum2-12B-A2.5B-Base 12.1B（激活 2.2B） Q6_K 12.1 GiB 131,072 ≤ 445 tok/s 能装下
Mellum2-12B-A2.5B-Instruct 12.1B（激活 2.2B） Q8_0 14.0 GiB 131,072 ≤ 371 tok/s 能装下
Mellum2-12B-A2.5B-Instruct-SFT 12.1B（激活 2.2B） Q6_K 12.1 GiB 131,072 ≤ 445 tok/s 能装下
Mellum2-12B-A2.5B-Thinking 12.1B（激活 2.2B） Q8_0 14.0 GiB 131,072 ≤ 371 tok/s 能装下
Mellum2-12B-A2.5B-Thinking-SFT 12.1B（激活 2.2B） Q6_K 12.1 GiB 131,072 ≤ 445 tok/s 能装下
gemma-4-12B 11.9B Q8_0 15.6 GiB 262,144 ≤ 71.3 tok/s 能装下
gemma-4-12B-it 11.9B Q8_0 15.6 GiB 262,144 ≤ 71.3 tok/s 能装下
gemma-3-12b-it 11.8B Q8_0 15.8 GiB 92,928 ≤ 70.0 tok/s 能装下
translategemma-12b-it 11.8B Q8_0 15.8 GiB 92,928 ≤ 70.0 tok/s 能装下
Bielik-11B-v3.0-Instruct 11.2B Q8_0 14.4 GiB 32,768 ≤ 69.8 tok/s 能装下
AutoGLM-Phone-9B 9.4B F16 18.9 GiB 65,536 ≤ 52.3 tok/s 能装下
AutoGLM-Phone-9B-Multilingual 9.4B Q6_K 9.2 GiB 65,536 ≤ 116 tok/s 能装下
GLM-4.6V-Flash 9.4B BF16 18.9 GiB 69,120 ≤ 52.3 tok/s 能装下
gemma-2-9b-it 9.2B Q8_0 14.8 GiB 8,192 ≤ 73.2 tok/s 能装下
EuroLLM-9B-Instruct-2512 9.2B F16 19.6 GiB 18,944 ≤ 50.1 tok/s 能装下
Fara1.5-9B 9.0B BF16 17.5 GiB 122,112 ≤ 58.0 tok/s 能装下
Holo-3.1-9B 9.0B F16 17.5 GiB 122,112 ≤ 58.0 tok/s 能装下
MiMo-V2.6-Distill-Qwen-9B 9.0B BF16 17.5 GiB 122,112 ≤ 58.0 tok/s 能装下
Qwen3.5-9B 9.0B BF16 17.5 GiB 122,112 ≤ 58.0 tok/s 能装下
Qwen3.5-9B-Base 9.0B F16 17.5 GiB 122,112 ≤ 58.0 tok/s 能装下
UI-Mate-9B 9.0B BF16 17.5 GiB 122,112 ≤ 58.0 tok/s 能装下
UI-Venus-2-9B 9.0B BF16 17.5 GiB 122,112 ≤ 58.0 tok/s 能装下
NVIDIA-Nemotron-Nano-9B-v2 8.9B BF16 18.3 GiB 131,072 ≤ 55.9 tok/s 能装下
granite-4.1-8b 8.8B BF16 19.0 GiB 22,784 ≤ 51.7 tok/s 能装下
granite-4.2-8b 8.8B BF16 19.0 GiB 22,784 ≤ 51.7 tok/s 能装下
Ministral-3-8B-Instruct-2512 8.5B BF16 18.0 GiB 33,024 ≤ 54.9 tok/s 能装下
Ministral-3-8B-Reasoning-2512 8.5B BF16 18.0 GiB 33,024 ≤ 54.9 tok/s 能装下
LFM2.5-8B-A1B 8.5B（激活 1.7B） BF16 18.0 GiB 128,000 ≤ 269 tok/s 能装下
granite-guardian-4.1-8b 8.4B BF16 19.0 GiB 22,784 ≤ 51.7 tok/s 能装下
LFM2-8B-A1B 8.3B（激活 1.6B） F16 17.7 GiB 128,000 ≤ 291 tok/s 能装下
rnj-1-instruct 8.3B BF16 18.6 GiB 29,696 ≤ 52.9 tok/s 能装下
AesCode-8B 8.2B BF16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
ArmorOCR 8.2B Q8_0 10.4 GiB 83,456 ≤ 101 tok/s 能装下
AstaBrief_8B 8.2B Q6_K 8.6 GiB 40,960 ≤ 126 tok/s 能装下
ContextPilot-8B 8.2B Q6_K 8.6 GiB 40,960 ≤ 126 tok/s 能装下
Cosmos-Reason2-8B 8.2B Q6_K 8.6 GiB 95,744 ≤ 126 tok/s 能装下
DeepSeek-R1-0528-Qwen3-8B 8.2B BF16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
Holo2-8B 8.2B Q6_K 8.6 GiB 95,744 ≤ 126 tok/s 能装下
intent-aware-lfqa-qwen3-8b-baseline 8.2B F16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
intent-aware-lfqa-qwen3-8b-intent-explicit 8.2B F16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
intent-aware-lfqa-qwen3-8b-intent-implicit 8.2B F16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
intent-aware-lfqa-qwen3-8b-multiview 8.2B F16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
JanusCoder-8B 8.2B BF16 17.3 GiB 32,768 ≤ 57.3 tok/s 能装下
MathForm-8B 8.2B F16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
Nemotron-Cascade-8B 8.2B BF16 17.3 GiB 32,768 ≤ 57.3 tok/s 能装下
Nemotron-Cascade-8B-Thinking 8.2B BF16 17.3 GiB 32,768 ≤ 57.3 tok/s 能装下
Nemotron-Orchestrator-8B 8.2B BF16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
Nemotron-Terminal-8B 8.2B Q6_K 8.6 GiB 40,960 ≤ 126 tok/s 能装下
Qwen3-8B 8.2B Q8_0 10.4 GiB 40,960 ≤ 101 tok/s 能装下
Qwen3-Nemotron-8B-BRRM 8.2B Q6_K 8.6 GiB 40,960 ≤ 126 tok/s 能装下
Qwen3-VL-8B-Instruct 8.2B BF16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
Qwen3-VL-8B-Thinking 8.2B BF16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
RLVR-8B-0926 8.2B Q6_K 8.6 GiB 95,744 ≤ 126 tok/s 能装下
Step3-VL-10B-Base 8.2B Q6_K 8.6 GiB 40,960 ≤ 126 tok/s 能装下
UI-Venus-1.5-8B 8.2B Q6_K 8.6 GiB 95,744 ≤ 126 tok/s 能装下
WebWorld-8B 8.2B F16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
ZwZ-8B 8.2B Q6_K 8.6 GiB 95,744 ≤ 126 tok/s 能装下
MiniCPM-o-4_5 8.2B F16 17.3 GiB 36,096 ≤ 57.3 tok/s 能装下
granite-3.3-8b-instruct 8.2B F16 18.6 GiB 25,344 ≤ 52.9 tok/s 能装下
granite-guardian-3.2-8b-factuality-detection 8.2B F16 18.6 GiB 25,344 ≤ 52.9 tok/s 能装下
intent-aware-lfqa-llama3-8b-baseline 8.0B F16 17.0 GiB 41,728 ≤ 58.2 tok/s 能装下
intent-aware-lfqa-llama3-8b-intent-explicit 8.0B F16 17.0 GiB 41,728 ≤ 58.2 tok/s 能装下
intent-aware-lfqa-llama3-8b-intent-implicit 8.0B F16 17.0 GiB 41,728 ≤ 58.2 tok/s 能装下
intent-aware-lfqa-llama3-8b-multiview 8.0B F16 17.0 GiB 41,728 ≤ 58.2 tok/s 能装下
DeepSeek-R1-Distill-Llama-8B 8.0B BF16 17.0 GiB 41,728 ≤ 58.2 tok/s 能装下
HARC-Llama-3.1-8B-Instruct 8.0B Q6_K 8.4 GiB 108,288 ≤ 129 tok/s 能装下
Llama-3.1-8B-Instruct 8.0B BF16 17.0 GiB 41,728 ≤ 58.2 tok/s 能装下
AprielGuard 7.9B Q6_K 7.9 GiB 131,072 ≤ 139 tok/s 能装下
MiMo-Embodied-7B 7.6B Q6_K 8.1 GiB 98,816 ≤ 135 tok/s 能装下
DeepSeek-R1-Distill-Qwen-7B 7.6B F16 15.6 GiB 107,520 ≤ 64.1 tok/s 能装下
Fara-7B 7.6B BF16 15.6 GiB 107,520 ≤ 64.1 tok/s 能装下
HARC-Qwen2.5-7B-Instruct 7.6B Q6_K 7.5 GiB 32,768 ≤ 149 tok/s 能装下
JanusCoderV-7B 7.6B BF16 15.6 GiB 107,520 ≤ 64.1 tok/s 能装下
olmOCR-2-7B-1025 7.6B BF16 15.6 GiB 107,520 ≤ 64.1 tok/s 能装下
Qwen2.5-7B-Instruct 7.6B Q8_0 9.1 GiB 32,768 ≤ 117 tok/s 能装下
Qwen2.5-Coder-7B-Instruct 7.6B Q8_0 9.1 GiB 32,768 ≤ 117 tok/s 能装下
Qwen2.5-VL-7B-Instruct 7.6B BF16 15.6 GiB 107,520 ≤ 64.1 tok/s 能装下
Qwen2.5-VL-7B-Surg-CholecT50 7.6B F16 15.6 GiB 107,520 ≤ 64.1 tok/s 能装下
Spatial-SSRL-7B 7.6B Q6_K 7.5 GiB 128,000 ≤ 149 tok/s 能装下
X-Reasoner-7B 7.6B Q6_K 7.5 GiB 128,000 ≤ 149 tok/s 能装下
ZwZ-7B 7.6B Q6_K 7.5 GiB 128,000 ≤ 149 tok/s 能装下
gemma-4-E4B 7.5B F16 11.0 GiB 131,072 ≤ 98.0 tok/s 能装下
gemma-4-E4B-it 7.5B BF16 11.0 GiB 131,072 ≤ 98.0 tok/s 能装下
Bielik-Minitron-7B-v3.0-Instruct 7.5B Q8_0 10.2 GiB 32,768 ≤ 102 tok/s 能装下
ContextPilot-E4B 7.5B F16 10.9 GiB 131,072 ≤ 99.1 tok/s 能装下
Olmo-3.1-7B-RL-Zero-Code 7.3B Q6_K 11.0 GiB 61,952 ≤ 112 tok/s 能装下
Olmo-3.1-7B-RL-Zero-Math 7.3B F16 19.0 GiB 12,800 ≤ 56.9 tok/s 能装下
Olmo-3-7B-Instruct 7.3B BF16 19.0 GiB 12,800 ≤ 56.9 tok/s 能装下
Olmo-3-7B-Instruct-DPO 7.3B Q6_K 11.0 GiB 61,952 ≤ 112 tok/s 能装下
Olmo-3-7B-Instruct-SFT 7.3B Q6_K 11.0 GiB 61,952 ≤ 112 tok/s 能装下
Olmo-3-7B-RL-Zero-Code 7.3B Q6_K 11.0 GiB 61,952 ≤ 112 tok/s 能装下
Olmo-3-7B-RL-Zero-General 7.3B Q6_K 11.0 GiB 61,952 ≤ 112 tok/s 能装下
Olmo-3-7B-RL-Zero-IF 7.3B Q6_K 11.0 GiB 61,952 ≤ 112 tok/s 能装下
Olmo-3-7B-RL-Zero-Math 7.3B Q6_K 11.0 GiB 61,952 ≤ 112 tok/s 能装下
Olmo-3-7B-RL-Zero-Mix 7.3B Q6_K 11.0 GiB 61,952 ≤ 112 tok/s 能装下
Olmo-3-7B-Think 7.3B BF16 19.0 GiB 12,800 ≤ 56.9 tok/s 能装下
Olmo-3-7B-Think-DPO 7.3B Q6_K 11.0 GiB 61,952 ≤ 112 tok/s 能装下
Olmo-3-7B-Think-SFT 7.3B Q6_K 11.0 GiB 61,952 ≤ 112 tok/s 能装下
Mistral-7B-Instruct-v0.2 7.2B Q6_K 8.1 GiB 32,768 ≤ 136 tok/s 能装下
Trinity-Nano-Base 6.1B（激活 819M） Q6_K 6.7 GiB 131,072 ≤ 1,039 tok/s 能装下
Trinity-Nano-Base-Pre-Anneal 6.1B（激活 819M） Q6_K 6.4 GiB 4,096 ≤ 1,112 tok/s 能装下
Trinity-Nano-Preview 6.1B（激活 819M） BF16 13.5 GiB 131,072 ≤ 504 tok/s 能装下
Youtu-VL-4B-Instruct 4.9B Q6_K 5.9 GiB 32,768 ≤ 212 tok/s 能装下
Holo-3.1-4B 4.8B F16 10.2 GiB 262,144 ≤ 108 tok/s 能装下
gemma-4-E2B 4.6B Q6_K 3.5 GiB 131,072 ≤ 478 tok/s 能装下
gemma-4-E2B-it 4.6B BF16 6.1 GiB 131,072 ≤ 201 tok/s 能装下
AgentCPM-Explore 4.4B Q6_K 5.7 GiB 115,200 ≤ 208 tok/s 能装下
CapRL-Qwen3VL-4B 4.4B F16 10.4 GiB 83,456 ≤ 101 tok/s 能装下
Holo2-4B 4.4B F16 10.4 GiB 83,456 ≤ 101 tok/s 能装下
intent-aware-lfqa-qwen3-4b-baseline 4.4B F16 10.4 GiB 40,960 ≤ 101 tok/s 能装下
intent-aware-lfqa-qwen3-4b-intent-explicit 4.4B F16 10.4 GiB 40,960 ≤ 101 tok/s 能装下
intent-aware-lfqa-qwen3-4b-intent-implicit 4.4B F16 10.4 GiB 40,960 ≤ 101 tok/s 能装下
intent-aware-lfqa-qwen3-4b-multiview 4.4B F16 10.4 GiB 40,960 ≤ 101 tok/s 能装下
Spatial-SSRL-Qwen3VL-4B 4.4B F16 10.4 GiB 83,456 ≤ 101 tok/s 能装下
ZwZ-4B 4.4B Q6_K 5.7 GiB 115,200 ≤ 208 tok/s 能装下
Fara1.5-4B 4.2B BF16 10.2 GiB 262,144 ≤ 108 tok/s 能装下
FrogNano-4B-2609 4.2B BF16 10.2 GiB 262,144 ≤ 108 tok/s 能装下
Qwen3.5-4B 4.2B BF16 10.2 GiB 262,144 ≤ 108 tok/s 能装下
Qwen3.5-4B-Base 4.2B F16 10.2 GiB 262,144 ≤ 108 tok/s 能装下
UserRepGen-4B 4.2B BF16 10.2 GiB 262,144 ≤ 108 tok/s 能装下
Riva-Translate-4B-Instruct-v1.1 4.2B Q6_K 6.0 GiB 8,192 ≤ 195 tok/s 能装下
GELab-Zero-4B-preview 4.0B BF16 10.4 GiB 83,456 ≤ 101 tok/s 能装下
Qwen3-4B 4.0B Q8_0 6.7 GiB 40,960 ≤ 171 tok/s 能装下
Qwen3-4B-Instruct-2507 4.0B F16 10.4 GiB 83,456 ≤ 101 tok/s 能装下
Qwen3-VL-4B-Instruct 4.0B BF16 10.4 GiB 83,456 ≤ 101 tok/s 能装下
Qwen3-VL-4B-Thinking 4.0B BF16 10.4 GiB 83,456 ≤ 101 tok/s 能装下
NVIDIA-Nemotron-3-Nano-4B-BF16 4.0B BF16 8.7 GiB 262,144 ≤ 129 tok/s 能装下
gemma-3-4b-it 3.9B BF16 9.9 GiB 131,072 ≤ 116 tok/s 能装下
medgemma-1.5-4b-it 3.9B BF16 9.9 GiB 131,072 ≤ 116 tok/s 能装下
Nemotron-3-Content-Safety 3.9B Q6_K 5.4 GiB 131,072 ≤ 269 tok/s 能装下
translategemma-4b-it 3.9B F16 9.9 GiB 131,072 ≤ 116 tok/s 能装下
Phi-4-mini-instruct 3.8B BF16 10.0 GiB 95,744 ≤ 107 tok/s 能装下
Apertus-v1.1-4B 3.8B Q6_K 4.4 GiB 4,096 ≤ 292 tok/s 能装下
Phi-3.5-mini-instruct 3.8B Q8_0 8.3 GiB 41,984 ≤ 130 tok/s 能装下
granite-4.2-3b 3.7B BF16 8.6 GiB 131,072 ≤ 125 tok/s 能装下
BitCPM-CANN-3B-unquantized 3.6B Q6_K 4.3 GiB 32,768 ≤ 305 tok/s 能装下
kanana-2-3b-instruct 3.5B F16 8.6 GiB 32,768 ≤ 126 tok/s 能装下
Ministral-3-3B-Instruct-2512 3.4B BF16 8.9 GiB 126,208 ≤ 121 tok/s 能装下
Ministral-3-3B-Reasoning-2512 3.4B BF16 8.9 GiB 126,208 ≤ 121 tok/s 能装下
granite-vision-4.1-4b 3.4B BF16 8.6 GiB 131,072 ≤ 125 tok/s 能装下
granite-4.1-3b 3.4B BF16 8.6 GiB 131,072 ≤ 125 tok/s 能装下
granite-guardian-4.0-3b-toxicity-ja 3.4B Q6_K 4.7 GiB 131,072 ≤ 270 tok/s 能装下
Qwen2.5-3B-Instruct 3.4B Q8_0 4.8 GiB 32,768 ≤ 261 tok/s 能装下
tiny-aya-earth 3.3B BF16 8.7 GiB ≥ 262,144（更长的上下文未对照实测日志检查） ≤ 132 tok/s 能装下
tiny-aya-fire 3.3B BF16 8.7 GiB ≥ 262,144（更长的上下文未对照实测日志检查） ≤ 132 tok/s 能装下
tiny-aya-global 3.3B BF16 8.7 GiB ≥ 262,144（更长的上下文未对照实测日志检查） ≤ 132 tok/s 能装下
tiny-aya-water 3.3B BF16 8.7 GiB ≥ 262,144（更长的上下文未对照实测日志检查） ≤ 132 tok/s 能装下
Llama-3.2-3B-Instruct 3.2B BF16 8.5 GiB 121,088 ≤ 127 tok/s 能装下
AI21-Jamba-Reasoning-3B 3.2B BF16 7.3 GiB 262,144 ≤ 154 tok/s 能装下
AI21-Jamba2-3B 3.2B BF16 7.3 GiB 262,144 ≤ 154 tok/s 能装下
kanana-2-3b-base 3.2B Q6_K 4.9 GiB 32,768 ≤ 254 tok/s 能装下
SmolLM3-3B 3.1B BF16 7.9 GiB 65,536 ≤ 139 tok/s 能装下
SmolLM3-3B-GSM8K-SFT 3.1B Q6_K 4.3 GiB 65,536 ≤ 299 tok/s 能装下
LFM2-2.6B-Exp 2.7B F16 6.5 GiB 128,000 ≤ 177 tok/s 能装下
d1-3B 2.7B BF16 6.7 GiB 32,768 ≤ 169 tok/s 能装下
LFM2.5-2.6B 2.7B BF16 6.7 GiB 131,072 ≤ 169 tok/s 能装下
LFM2.5-2.6B-Base 2.7B Q6_K 3.6 GiB 128,000 ≤ 399 tok/s 能装下
LFM2.5-VL-3B 2.7B BF16 6.7 GiB 32,768 ≤ 169 tok/s 能装下
EuroMoE-2.6B-A0.6B-Instruct-2512 2.6B（激活 498M） Q6_K 3.6 GiB 32,768 ≤ 1,523 tok/s 能装下
LFM2-2.6B-Longevity 2.6B F16 6.5 GiB 128,000 ≤ 177 tok/s 能装下
LFM2-2.6B-Transcript 2.6B BF16 6.5 GiB 128,000 ≤ 177 tok/s 能装下
LFM2-VL-3B 2.6B BF16 6.5 GiB 128,000 ≤ 177 tok/s 能装下
MiniCPM5-2B 2.5B BF16 6.0 GiB 131,072 ≤ 193 tok/s 能装下
MiniCPM5-2B-Base 2.5B Q6_K 3.4 GiB ≥ 262,144（更长的上下文未对照实测日志检查） ≤ 426 tok/s 能装下
CapRL-Qwen3VL-2B 2.0B F16 5.6 GiB 146,432 ≤ 214 tok/s 能装下
HiPO-1.7B 2.0B Q6_K 3.6 GiB 40,960 ≤ 398 tok/s 能装下
UI-Venus-1.5-2B 2.0B F16 5.6 GiB 146,432 ≤ 214 tok/s 能装下
ZwZ-2B 2.0B F16 5.6 GiB 146,432 ≤ 214 tok/s 能装下
Youtu-LLM-2B 2.0B Q6_K 3.2 GiB 131,072 ≤ 488 tok/s 能装下
Youtu-LLM-2B-Base 2.0B Q6_K 3.2 GiB 131,072 ≤ 488 tok/s 能装下
Qwen3.5-2B 1.9B BF16 5.4 GiB 262,144 ≤ 242 tok/s 能装下
Qwen3.5-2B-Base 1.9B Q6_K 3.2 GiB 262,144 ≤ 569 tok/s 能装下
Qwen3-1.7B 1.7B BF16 5.6 GiB 40,960 ≤ 214 tok/s 能装下
Qwen3-VL-2B-Instruct 1.7B BF16 5.6 GiB 146,432 ≤ 214 tok/s 能装下
Qwen3-VL-2B-Thinking 1.7B BF16 5.6 GiB 146,432 ≤ 214 tok/s 能装下
SingGuard-2b 1.7B F16 5.6 GiB 146,432 ≤ 214 tok/s 能装下
granite-4.0-1b 1.6B BF16 5.1 GiB 131,072 ≤ 238 tok/s 能装下
Apertus-v1.1-1.5B 1.5B F16 3.8 GiB 4,096 ≤ 358 tok/s 能装下
Apertus-v1.1-1.5B-Instruct 1.5B F16 3.8 GiB 4,096 ≤ 358 tok/s 能装下
granite-4.0-h-1b 1.5B BF16 4.4 GiB 131,072 ≤ 313 tok/s 能装下
Llama-3.2-1B-Instruct 1.2B BF16 4.0 GiB 131,072 ≤ 342 tok/s 能装下
LFM2.5-1.2B-Base 1.2B BF16 3.7 GiB 128,000 ≤ 383 tok/s 能装下
LFM2.5-1.2B-Instruct 1.2B BF16 3.7 GiB 128,000 ≤ 383 tok/s 能装下
LFM2.5-1.2B-JP 1.2B F16 3.7 GiB 128,000 ≤ 383 tok/s 能装下
LFM2.5-1.2B-JP-202606 1.2B F16 3.7 GiB 128,000 ≤ 383 tok/s 能装下
LFM2.5-1.2B-Thinking 1.2B BF16 3.7 GiB 128,000 ≤ 383 tok/s 能装下
LFM2.5-VL-1.6B 1.2B BF16 3.7 GiB 128,000 ≤ 383 tok/s 能装下
LFM2.5-VL-1.6B-Extract 1.2B F16 3.7 GiB 128,000 ≤ 383 tok/s 能装下
MiniCPM5-1B 1.1B Q6_K 2.2 GiB 131,072 ≤ 1,014 tok/s 能装下
MiniCPM5-1B-Base 1.1B Q6_K 2.2 GiB 131,072 ≤ 1,014 tok/s 能装下
MiniCPM5-1B-SFT 1.1B Q6_K 2.2 GiB 131,072 ≤ 1,014 tok/s 能装下
Holo-3.1-0.8B 1.0B Q6_K 2.3 GiB 262,144 ≤ 1,301 tok/s 能装下
MiniCPM-V-4.7-1B 1.0B F16 3.2 GiB 262,144 ≤ 583 tok/s 能装下
gemma-3-1b-it 1.0B BF16 3.6 GiB 32,768 ≤ 458 tok/s 能装下
Qwen3.5-0.8B 752M BF16 3.2 GiB 262,144 ≤ 583 tok/s 能装下
Qwen3.5-0.8B-Base 752M Q6_K 2.3 GiB 262,144 ≤ 1,301 tok/s 能装下
MiniCPM-V-4.6 752M F16 3.2 GiB 262,144 ≤ 583 tok/s 能装下
MiniCPM-V-4.6-Thinking 752M F16 3.2 GiB 262,144 ≤ 583 tok/s 能装下
Qwen3-0.6B 752M BF16 3.4 GiB 40,960 ≤ 439 tok/s 能装下
HunyuanOCR 539M F16 3.1 GiB 32,768 ≤ 497 tok/s 能装下
LFM2.5-350M 354M BF16 2.1 GiB 128,000 ≤ 1,156 tok/s 能装下
LFM2.5-Encoder-350M-Diffusion 354M Q6_K 1.7 GiB 128,000 ≤ 2,390 tok/s 能装下
LFM2.5-VL-450M 354M BF16 2.1 GiB 128,000 ≤ 1,156 tok/s 能装下
LFM2.5-VL-450M-Extract 354M F16 2.1 GiB 128,000 ≤ 1,156 tok/s 能装下
granite-4.0-350m 352M BF16 2.2 GiB 32,768 ≤ 996 tok/s 能装下
granite-4.0-h-350m 340M BF16 2.1 GiB 32,768 ≤ 1,309 tok/s 能装下
functiongemma-270m-it 268M BF16 2.1 GiB 32,768 ≤ 1,644 tok/s 能装下
LFM2.5-230M 230M BF16 1.8 GiB 128,000 ≤ 1,671 tok/s 能装下

临界模型

处于估算误差范围内：可能装得下，也可能装不下。可以尝试更短的上下文或更低的量化。

上下文 8,192 个 token。这些模型没有任何量化能装下；所示为属于临界的最高量化。
模型 参数量 临界的最高量化 “能装下”所需的可用显存 结果
Qwen3-Coder-Next-Base 79.7B（激活 3.6B） IQ2_M 27.2 GiB 临界
KAT-Dev-72B-Exp 72.7B IQ2_XXS 28.5 GiB 临界
Llama-3.1-70B-Instruct 70.6B IQ2_M 27.1 GiB 临界
QwQ-32B 32.8B Q5_K_M 25.7 GiB 临界
Qwen3-32B 32.8B Q5_K_M 25.7 GiB 临界
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 31.6B（激活 3.2B） Q4_K_M 23.3 GiB 临界

单张 NVIDIA GeForce RTX 3090 装不下的模型

上下文 8,192 个 token。即使是最低量化，单张显卡也装不下；所示需求对应该量化。
模型 参数量 最小量化 “能装下”所需的可用显存 多张相同的卡 结果
Solar-Open-100B 103B（激活 11.2B） IQ2_XXS 29.4 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
DeepSeek-R1-Distill-Llama-70B 70.6B Q2_K 29.4 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
Llama-3.3-70B-Instruct 70.6B Q2_K 29.4 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
Qwen3-Next-80B-A3B-Instruct 79.7B（激活 3.6B） Q2_K 30.3 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
Qwen2.5-72B-Instruct 73.0B Q2_K 30.3 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
Qwen3-Coder-Next 79.7B（激活 3.6B） Q2_K 30.4 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
GLM-4.5-Air-REAP-82B-A12B 81.9B（激活 12.8B） IQ2_XXS 31.1 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
Step-3.5-Flash-REAP-121B-A11B 121B（激活 11.4B） IQ2_XXS 32.9 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
Mistral-Small-4-119B-2603 119B（激活 6.1B） IQ2_XXS 34.3 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
Qwen3.5-122B-A10B 122B（激活 9.0B） IQ2_XXS 35.0 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
Qwen-AgentWorld-35B-A3B 34.7B（激活 2.9B） Q8_0 37.6 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
MiniMax-M2.5-REAP-139B-A10B 139B（激活 10.4B） IQ2_XXS 39.2 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
INTELLECT-3 107B（激活 12.8B） IQ2_XXS 39.6 GiB 预计 2 张相同的卡（默认均分）能装下。 装不下
Step-3.5-Flash-REAP-149B-A11B 149B（激活 11.4B） IQ2_XXS 40.1 GiB 预计 3 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Llama-4-Scout-17B-16E-Instruct 108B（激活 16.1B） Q2_K 41.5 GiB 预计 3 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
GLM-4.5-Air 107B（激活 12.8B） Q2_K 45.6 GiB 预计 3 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
GLM-4.6V 107B（激活 12.8B） Q2_K 45.6 GiB 预计 3 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Step-3.5-Flash 197B（激活 11.5B） IQ2_XXS 48.9 GiB 预计 3 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Devstral-2-123B-Instruct-2512 125B Q2_K 49.3 GiB 预计 3 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Mistral-Medium-3.5-128B 125B Q2_K 49.3 GiB 预计 3 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16 121B（激活 12.2B） IQ2_XXS 49.8 GiB 预计 3 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
NVIDIA-Nemotron-3-Super-120B-A12B-BF16 121B（激活 12.2B） IQ2_XXS 51.0 GiB 预计 3 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
gpt-oss-120b 117B（激活 5.1B） Q2_K 62.8 GiB 预计 4 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
MiniMax-M2.7 229B（激活 10.4B） IQ2_XXS 62.9 GiB 预计 4 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Baichuan-M3-235B 235B（激活 21.6B） IQ2_XXS 63.2 GiB 预计 4 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Holo2-235B-A22B 235B（激活 21.6B） IQ2_XXS 63.2 GiB 预计 4 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Qwen3-Nemotron-235B-A22B-GenRM 235B（激活 21.6B） IQ2_XXS 63.2 GiB 预计 4 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
command-a-plus-05-2026-bf16 218B（激活 25.0B） IQ2_XXS 63.6 GiB 预计 4 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 121B（激活 12.2B） Q4_0 71.8 GiB 预计 4 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
GLM-4.7-REAP-268B-A32B 269B（激活 32.8B） IQ2_XXS 73.0 GiB 预计 4 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Step-3.7-Flash 197B（激活 11.5B） IQ3_XXS 76.1 GiB 预计 5 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Hy3 295B（激活 20.2B） IQ2_XXS 82.2 GiB 预计 5 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
MiMo-V2.5 309B（激活 14.8B） IQ2_XXS 82.4 GiB 预计 5 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
GLM-4.7-REAP-218B-A32B 218B（激活 32.8B） Q2_K 82.9 GiB 预计 5 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
MiniMax-M2 229B（激活 10.4B） Q2_K 84.9 GiB 预计 5 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
MiniMax-M2.1 229B（激活 10.4B） Q2_K 84.9 GiB 预计 5 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
MiniMax-M2.5 229B（激活 10.4B） Q2_K 84.9 GiB 预计 5 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Qwen3-235B-A22B-Instruct-2507 235B（激活 21.6B） Q2_K 86.7 GiB 预计 5 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Qwen3-VL-235B-A22B-Instruct 235B（激活 21.6B） Q2_K 86.7 GiB 预计 5 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
GLM-5.3-Flash-BF16 313B（激活 16.7B） IQ2_XXS 92.0 GiB 预计 5 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Laguna-S-2.1 118B（激活 8.1B） Q4_K_M 95.9 GiB 8 张卡时为临界。 装不下
Trinity-Large-Base 399B（激活 12.8B） IQ2_XXS 96.4 GiB 预计 6 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Trinity-Large-TrueBase 399B（激活 12.8B） IQ2_XXS 96.4 GiB 预计 6 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
GLM-4.6-REAP-268B-A32B 269B（激活 32.8B） Q2_K 100.9 GiB 预计 6 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Trinity-Large-Thinking 399B（激活 12.8B） IQ2_XXS 107.1 GiB 预计 6 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
MiMo-V2-Flash 309B（激活 14.8B） Q2_K 111.6 GiB 预计 6 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Intern-S2-397B 396B（激活 16.3B） IQ2_XXS 114.3 GiB 预计 7 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
MiMo-V2.6-Flash-MOPD 309B（激活 14.8B） Q2_K 124.9 GiB 预计 8 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
MiMo-V2.6-Flash-RL 309B（激活 14.8B） Q2_K 124.9 GiB 预计 8 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
K-EXAONE-236B-A23B 237B（激活 22.7B） IQ4_XS 126.3 GiB 预计 7 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
GLM-4.5 353B（激活 32.9B） Q2_K 130.7 GiB 预计 8 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
GLM-4.7 353B（激活 32.9B） Q2_K 130.7 GiB 预计 8 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Qwen3-Coder-REAP-363B-A35B 363B（激活 34.5B） Q2_K 132.7 GiB 预计 8 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Qwen3-235B-A22B 235B（激活 21.6B） Q4_K_M 141.9 GiB 预计 8 张相同的卡（默认均分）能装下。 更少的卡为临界。 装不下
Qwen3-Coder-480B-A35B-Instruct 480B（激活 34.5B） Q2_K 174.3 GiB 8 张卡时为临界。 装不下
Qwen3.5-397B-A17B 396B（激活 16.3B） Q3_K_M 175.6 GiB 8 张卡时为临界。 装不下
GLM-5.1 744B（激活 40.8B） IQ2_XXS 197.6 GiB 8 张卡时为临界。 装不下
DeepSeek-V3.2 671B（激活 36.6B） Q2_K 242.1 GiB 即使 8 张卡也装不下。 装不下
cogito-671b-v2.1 671B（激活 36.6B） Q2_K 242.4 GiB 即使 8 张卡也装不下。 装不下
DeepSeek-V3.1 671B（激活 36.6B） Q2_K 242.4 GiB 即使 8 张卡也装不下。 装不下
Mistral-Large-3-675B-Instruct-2512 673B（激活 39.0B） Q2_K 243.8 GiB 即使 8 张卡也装不下。 装不下
DeepSeek-V3 671B（激活 36.6B） Q2_K 257.8 GiB 即使 8 张卡也装不下。 装不下
Kimi-K2.6 1.03T（激活 31.7B） IQ2_XXS 267.6 GiB 即使 8 张卡也装不下。 装不下
GLM-5 744B（激活 40.8B） Q2_K 268.9 GiB 即使 8 张卡也装不下。 装不下
MiMo-V2.5-Pro 1.02T（激活 41.0B） IQ2_XXS 270.4 GiB 即使 8 张卡也装不下。 装不下
DeepSeek-R1 671B（激活 36.6B） Q2_K 280.3 GiB 即使 8 张卡也装不下。 装不下
Muse-Spark-Open-816B-A42B 820B（激活 44.4B） Q2_K 301.0 GiB 即使 8 张卡也装不下。 装不下
GLM-5.3-Flash 313B（激活 16.7B） Q8_0 327.9 GiB 即使 8 张卡也装不下。 装不下
Ling-1T 1.00T（激活 49.8B） Q2_K 360.6 GiB 即使 8 张卡也装不下。 装不下
Kimi-K2-Instruct 1.03T（激活 31.7B） Q2_K 367.4 GiB 即使 8 张卡也装不下。 装不下
Kimi-K2.5 1.03T（激活 31.7B） Q2_K 368.0 GiB 即使 8 张卡也装不下。 装不下
Kimi-K2-Thinking 1.03T（激活 31.7B） Q2_K 368.3 GiB 即使 8 张卡也装不下。 装不下
MiMo-V2.6-Pro-MOPD 1.02T（激活 41.0B） Q2_K 411.6 GiB 即使 8 张卡也装不下。 装不下
MiMo-V2.6-Pro-RL 1.02T（激活 41.0B） Q2_K 411.6 GiB 即使 8 张卡也装不下。 装不下
Beam-1.0-501B-A23B 501B（激活 22.7B） Q8_0 523.6 GiB 即使 8 张卡也装不下。 装不下
GLM-5.2 744B（激活 40.8B） Q8_0 776.4 GiB 即使 8 张卡也装不下。 装不下
GLM-5.3 744B（激活 40.8B） Q8_0 776.4 GiB 即使 8 张卡也装不下。 装不下
Qwen3.8-2.4T-A95B 2.42T（激活 93.3B） Q8_0 2,524.1 GiB 即使 8 张卡也装不下。 装不下

速度上限等于显存带宽除以每生成一个 token 所需读取的字节数。这是理论上界；公开的 llama.cpp 基准测试通常能达到其约二分之一到五分之四，小模型和 MoE 模型往往更低。 公开基准测试

该 GPU 的详细页面

其他 24 GB 的设备