NVIDIA GeForce RTX 5090：能运行哪些 LLM？

本页面由 AI 自动撰写和翻译，并由软件对照来源进行检查，没有人工编辑。规格来自所列来源；显存需求和速度是按已公布的公式计算出的估算值。我们如何使用 AI

NVIDIA GeForce RTX 5090 的显存为 32 GB（厂商数据）。下面使用 llama.cpp，在 8,192 token 的上下文长度（若模型的最大上下文更短，则取模型最大值）下，对数据库中的每个模型逐一核对。

数值更新于 2026年10月19日

规格

显存（厂商数据）

32 GB

Wikipedia: List of Nvidia graphics processing units（CC BY-SA 4.0）：32 GB — Memory Configuration › Size (GB): 32
GetDeploying GPU Models（CC BY 4.0；获取于 2026年10月18日）：32 GB — Nvidia RTX 5090
GetDeploying 链接的厂商数据手册（仅提供链接；本站不会抓取）： nvidia.com

显存类型

GDDR7

Wikipedia: List of Nvidia graphics processing units（CC BY-SA 4.0）：GDDR7 — Memory Configuration › Bus Type: GDDR7
GetDeploying GPU Models（CC BY 4.0；获取于 2026年10月18日）：GDDR7 — Nvidia RTX 5090
GetDeploying 链接的厂商数据手册（仅提供链接；本站不会抓取）： nvidia.com

显存位宽

512 bit

Wikipedia: List of Nvidia graphics processing units（CC BY-SA 4.0）：512 bit — Memory Configuration › Bus Width (bit): 512
GetDeploying GPU Models（CC BY 4.0；获取于 2026年10月18日）：512 bit — Nvidia RTX 5090
GetDeploying 链接的厂商数据手册（仅提供链接；本站不会抓取）： nvidia.com

显存带宽

1,792 GB/s

Wikipedia: List of Nvidia graphics processing units（CC BY-SA 4.0）：1,792 GB/s — Memory Configuration › Bandwidth (GB/s): 1,792.0
GetDeploying GPU Models（CC BY 4.0；获取于 2026年10月18日）：1,792 GB/s — Nvidia RTX 5090
GetDeploying 链接的厂商数据手册（仅提供链接；本站不会抓取）： nvidia.com

整卡功耗（TDP）

575 W

Wikipedia: List of Nvidia graphics processing units（CC BY-SA 4.0）：575 W — TDP (Watts): 575
GetDeploying GPU Models（CC BY 4.0；获取于 2026年10月18日）：575 W — Nvidia RTX 5090
GetDeploying 链接的厂商数据手册（仅提供链接；本站不会抓取）： nvidia.com

FP16 张量算力（稠密）

未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。

BF16 张量算力（稠密）

未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。

FP8 张量算力（稠密）

未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。

FP4 张量算力（稠密）

未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。

INT8 张量算力（稠密）

未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。

接口

未显示：开放来源未能给出两个相互独立、彼此一致且附有厂商出处的数值。

每个值都列出各来源及其各自的数据；单位已统一。厂商标注的显存“GB”按 GiB（2³⁰ 字节）计算，AMD 的 ROCm 表格也是这样表述的。规格如何核对

运行档案

运行档案： llama.cpp，CUDA 后端（NVIDIA 独立 GPU），所有层都放在 GPU 上，开启 Flash Attention，微批次大小（-ub）为 512，F16 KV 缓存，上下文（-c）如表中所示；“能装下”按 llama-server 默认的 4 个并行序列（-np auto，统一 KV 缓存）判定，“装不下”按 1 个序列判定；GPU 空闲，没有其他程序占用其显存。

计为“能装下”可用的显存（C_low）：每卡 29.25 GiB = 标称 32 GiB − 659 MiB（标称值减去 llama.cpp 在公开日志中为该 GPU 报告的总量）− 2,112 MiB（此运行档案的公开日志中出现的最大启动及运行占用），并向下取整到 64 MiB 的倍数。

这些结果适用于公开日志中出现的配置，其中 llama.cpp 报告这块 GPU 的总显存为 32,109 MiB。会减少可用显存的设置（例如显卡支持时的 ECC）不在考虑范围内。

用于“装不下”的显存（C_high）：每卡全部 32 GiB。运行档案及其实测数据

能装下哪些模型

“能装下”是指 llama.cpp 默认的 --fit 加载检查会把所有层放到 GPU 上：我们对 llama.cpp 缓冲区的估算，加上误差余量，再加上 llama.cpp 每张卡 1 GiB 的预留，不超过被视为可用的显存。这并不保证生成过程中的峰值显存也能装下。结果是如何判定的

上下文 8,192 个 token（若模型最大上下文更短，则取模型最大值）。最后几列显示该量化下可用的最长上下文，以及基于带宽的速度上限。
模型	参数量	能装下的最高量化	“能装下”所需的可用显存	最长上下文	速度上限	结果
Qwen3-Coder-Next-Base	79.7B（激活 3.6B）	IQ2_M	27.2 GiB	85,248	≤ 1,076 tok/s	能装下
KAT-Dev-72B-Exp	72.7B	IQ2_XXS	28.5 GiB	10,240	≤ 64.6 tok/s	能装下
Llama-3.1-70B-Instruct	70.6B	IQ2_M	27.1 GiB	14,592	≤ 68.0 tok/s	能装下
AI21-Jamba2-Mini	51.6B（激活 11.8B）	IQ4_XS	28.3 GiB	59,904	≤ 274 tok/s	能装下
Kimi-Linear-48B-A3B-Base	49.1B（激活 3.1B）	Q4_0	28.7 GiB	64,256	≤ 909 tok/s	能装下
Kimi-Linear-48B-A3B-Instruct	49.1B（激活 3.1B）	IQ4_XS	27.3 GiB	201,984	≤ 862 tok/s	能装下
Hermes-4.3-36B	36.2B	Q5_K_M	28.0 GiB	13,056	≤ 65.9 tok/s	能装下
Kimi-Linear-REAP-35B-A3B-Instruct	35.1B（激活 3.1B）	Q5_K_M	25.8 GiB	≥ 262,144（更长的上下文未对照实测日志检查）	≤ 766 tok/s	能装下
Holo-3.1-35B-A3B	34.7B（激活 2.9B）	Q5_K_M	25.8 GiB	163,072	≤ 749 tok/s	能装下
Holo3-35B-A3B	34.7B（激活 2.9B）	Q5_K_M	25.8 GiB	163,072	≤ 749 tok/s	能装下
Holo4-35B-A3B	34.7B（激活 2.9B）	Q5_K_M	27.9 GiB	71,424	≤ 585 tok/s	能装下
Ising-Calibration-1-35B-A3B	34.7B（激活 2.9B）	Q5_K_M	25.8 GiB	163,072	≤ 749 tok/s	能装下
KAT-Coder-V2.5-Dev	34.7B（激活 2.9B）	Q5_K_M	26.1 GiB	150,272	≤ 669 tok/s	能装下
Qwen3.5-35B-A3B	34.7B（激活 2.9B）	Q5_K_M	27.1 GiB	103,936	≤ 591 tok/s	能装下
Qwen3.5-35B-A3B-Base	34.7B（激活 2.9B）	Q5_K_M	25.9 GiB	161,536	≤ 738 tok/s	能装下
Qwen3.6-35B-A3B	34.7B（激活 2.9B）	Q5_K_M	26.1 GiB	150,272	≤ 669 tok/s	能装下
MiniCPM-V-4.7-35B-A3B	34.7B（激活 2.9B）	Q5_K_M	25.8 GiB	163,072	≤ 749 tok/s	能装下
Laguna-XS-2.1	33.4B（激活 2.8B）	Q5_K_M	25.3 GiB	101,376	≤ 667 tok/s	能装下
DeepSeek-R1-Distill-Qwen-32B	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
Qwen2.5-32B-Instruct	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
Qwen2.5-Coder-32B-Instruct	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
QwQ-32B	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
AesCode-32B	32.8B	Q5_K_M	26.2 GiB	19,712	≤ 70.5 tok/s	能装下
Cosmos-Reason2-32B	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
FrogBoss-32B-2510	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
Nemotron-Terminal-32B	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
Qwen3-32B	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
Qwen3-VL-32B-Instruct	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
Qwen3-VL-32B-Thinking	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
SERA-32B	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
WebWorld-32B	32.8B	Q6_K	29.2 GiB	8,448	≤ 63.1 tok/s	能装下
EXAONE-4.5-33B	32.5B	Q6_K	29.0 GiB	9,216	≤ 65.4 tok/s	能装下
Olmo-3.1-32B-Instruct	32.2B	Q6_K	28.9 GiB	9,472	≤ 65.5 tok/s	能装下
Olmo-3.1-32B-Instruct-DPO	32.2B	Q6_K	28.9 GiB	9,472	≤ 65.5 tok/s	能装下
Olmo-3.1-32B-Think	32.2B	Q6_K	28.9 GiB	9,472	≤ 65.5 tok/s	能装下
Olmo-3-1125-32B	32.2B	Q6_K	28.9 GiB	9,472	≤ 65.5 tok/s	能装下
Olmo-3-32B-Think	32.2B	Q6_K	28.9 GiB	9,472	≤ 65.5 tok/s	能装下
Olmo-3-32B-Think-DPO	32.2B	Q6_K	28.9 GiB	9,472	≤ 65.5 tok/s	能装下
Olmo-3-32B-Think-SFT	32.2B	Q6_K	28.9 GiB	9,472	≤ 65.5 tok/s	能装下
Holotron4-30B-A3B	31.6B（激活 3.2B）	Q5_K_M	26.8 GiB	≥ 262,144（更长的上下文未对照实测日志检查）	≤ 657 tok/s	能装下
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16	31.6B（激活 3.2B）	Q4_K_M	23.3 GiB	262,144	≤ 603 tok/s	能装下
Nemotron-Cascade-2-30B-A3B	31.6B（激活 3.2B）	Q5_K_M	27.0 GiB	262,144	≤ 618 tok/s	能装下
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16	31.6B（激活 3.2B）	Q5_K_M	26.6 GiB	262,144	≤ 660 tok/s	能装下
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16	31.6B（激活 3.2B）	Q5_K_M	27.0 GiB	262,144	≤ 618 tok/s	能装下
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16	31.6B（激活 3.2B）	Q5_K_M	26.9 GiB	262,144	≤ 632 tok/s	能装下
NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16	31.6B（激活 3.2B）	Q5_K_M	26.8 GiB	262,144	≤ 657 tok/s	能装下
gemma-4-31B	30.7B	Q5_K_M	27.3 GiB	31,744	≤ 76.8 tok/s	能装下
gemma-4-31B-it	30.7B	Q5_K_M	27.1 GiB	33,792	≤ 77.4 tok/s	能装下
Ising-Calibration-1.5-31B-BF16	30.7B	Q5_K_M	28.1 GiB	22,528	≤ 74.3 tok/s	能装下
Holo2-30B-A3B	30.5B（激活 3.0B）	Q6_K	26.5 GiB	36,608	≤ 536 tok/s	能装下
Qwen3-30B-A3B	30.5B（激活 3.0B）	Q6_K	26.5 GiB	36,608	≤ 536 tok/s	能装下
Qwen3-30B-A3B-Instruct-2507	30.5B（激活 3.0B）	Q6_K	26.5 GiB	36,608	≤ 536 tok/s	能装下
Qwen3-Coder-30B-A3B-Instruct	30.5B（激活 3.0B）	Q6_K	26.5 GiB	36,608	≤ 536 tok/s	能装下
Qwen3-VL-30B-A3B-Instruct	30.5B（激活 3.0B）	Q6_K	26.5 GiB	36,608	≤ 536 tok/s	能装下
UI-Venus-1.5-30B-A3B	30.5B（激活 3.0B）	Q6_K	26.5 GiB	36,608	≤ 536 tok/s	能装下
North-Mini-Code-1.0	30.5B（激活 3.3B）	Q6_K	28.2 GiB	20,992	≤ 509 tok/s	能装下
GLM-4.7-Flash	29.9B（激活 3.6B）	Q6_K	25.7 GiB	72,448	≤ 512 tok/s	能装下
granite-4.2-30b	29.3B	Q6_K	26.6 GiB	18,176	≤ 69.4 tok/s	能装下
granite-4.1-30b	28.9B	Q6_K	26.6 GiB	18,176	≤ 69.4 tok/s	能装下
Muse-Glimmer-30B	27.9B	Q6_K	23.7 GiB	131,072	≤ 79.7 tok/s	能装下
gemma-2-27b-it	27.2B	Q6_K	26.5 GiB	8,192	≤ 72.7 tok/s	能装下
gemma-3-27b-it	27.0B	Q6_K	25.9 GiB	49,152	≤ 77.0 tok/s	能装下
translategemma-27b-it	27.0B	Q6_K	25.9 GiB	49,152	≤ 77.0 tok/s	能装下
Fara1.5-27B	26.9B	Q6_K	24.4 GiB	81,408	≤ 78.9 tok/s	能装下
Holo4-27B	26.9B	Q6_K	23.3 GiB	98,304	≤ 83.1 tok/s	能装下
Qwen3.5-27B	26.9B	Q6_K	23.6 GiB	92,672	≤ 81.7 tok/s	能装下
Qwen3.6-27B	26.9B	Q6_K	23.7 GiB	91,648	≤ 81.4 tok/s	能装下
Qwen3.8-27B	26.9B	Q6_K	24.8 GiB	75,520	≤ 77.6 tok/s	能装下
Qwen3.8-3.6-27B-blend	26.9B	Q6_K	24.8 GiB	75,520	≤ 77.6 tok/s	能装下
UI-Mate-27B	26.9B	Q6_K	24.4 GiB	81,408	≤ 78.9 tok/s	能装下
UI-Mate-democua-27B	26.9B	Q6_K	23.3 GiB	98,304	≤ 83.1 tok/s	能装下
Trinity-Mini	26.1B（激活 3.1B）	Q8_0	28.8 GiB	33,280	≤ 510 tok/s	能装下
Trinity-Mini-Base	26.1B（激活 3.1B）	Q6_K	22.7 GiB	131,072	≤ 646 tok/s	能装下
Trinity-Mini-Base-Pre-Anneal	26.1B（激活 3.1B）	Q6_K	22.4 GiB	4,096	≤ 662 tok/s	能装下
gemma-4-26B-A4B	25.2B（激活 3.8B）	Q8_0	29.0 GiB	21,248	≤ 401 tok/s	能装下
gemma-4-26B-A4B-it	25.2B（激活 3.8B）	Q8_0	29.0 GiB	21,248	≤ 401 tok/s	能装下
Qwen3-Coder-REAP-25B-A3B	24.9B（激活 3.0B）	Q8_0	27.7 GiB	23,552	≤ 441 tok/s	能装下
LFM2.5-24B-A2B	24.0B（激活 2.5B）	Q8_0	26.4 GiB	131,072	≤ 642 tok/s	能装下
LFM2-24B-A2B	23.8B（激活 2.3B）	Q8_0	26.3 GiB	128,000	≤ 675 tok/s	能装下
Devstral-Small-2-24B-Instruct-2512	23.6B	Q8_0	26.5 GiB	25,344	≤ 69.8 tok/s	能装下
Mistral-Small-3.2-24B-Instruct-2506	23.6B	Q8_0	26.5 GiB	25,344	≤ 69.8 tok/s	能装下
GLM-4.7-Flash-REAP-23B-A3B	23.0B（激活 3.6B）	Q8_0	25.4 GiB	78,080	≤ 421 tok/s	能装下
EuroLLM-22B-2512	22.6B	Q6_K	20.6 GiB	32,768	≤ 90.8 tok/s	能装下
EuroLLM-22B-Instruct-2512	22.6B	Q8_0	25.8 GiB	23,808	≤ 71.6 tok/s	能装下
gpt-oss-20b	20.9B（激活 3.6B）	Q8_0	12.9 GiB	131,072	≤ 645 tok/s	能装下
OptiMind-SFT	20.9B（激活 3.6B）	Q6_K	22.8 GiB	131,072	≤ 450 tok/s	能装下
DeepSeek-R1-Distill-Qwen-14B	14.8B	Q8_0	17.5 GiB	68,608	≤ 109 tok/s	能装下
Qwen2.5-14B-Instruct	14.8B	Q8_0	17.5 GiB	32,768	≤ 109 tok/s	能装下
ContextPilot-14B	14.8B	Q8_0	17.2 GiB	40,960	≤ 111 tok/s	能装下
FrogMini-14B-2510	14.8B	Q6_K	13.9 GiB	40,960	≤ 140 tok/s	能装下
JanusCoder-14B	14.8B	Q8_0	17.2 GiB	32,768	≤ 111 tok/s	能装下
Nemotron-Cascade-14B-Thinking	14.8B	Q8_0	17.2 GiB	32,768	≤ 111 tok/s	能装下
Nemotron-Terminal-14B	14.8B	Q6_K	13.9 GiB	40,960	≤ 140 tok/s	能装下
NousCoder-14B	14.8B	Q8_0	17.2 GiB	81,920	≤ 111 tok/s	能装下
Qwen3-14B	14.8B	Q8_0	17.2 GiB	40,960	≤ 111 tok/s	能装下
Qwen3-Nemotron-14B-BRRM	14.8B	Q6_K	13.9 GiB	40,960	≤ 140 tok/s	能装下
WebWorld-14B	14.8B	Q6_K	13.9 GiB	40,960	≤ 140 tok/s	能装下
phi-4	14.7B	Q8_0	17.7 GiB	16,384	≤ 107 tok/s	能装下
Apriel-1.6-15b-Thinker	14.4B	Q8_0	17.2 GiB	69,888	≤ 110 tok/s	能装下
Ministral-3-14B-Instruct-2512	13.5B	BF16	27.8 GiB	17,152	≤ 66.3 tok/s	能装下
Ministral-3-14B-Reasoning-2512	13.5B	BF16	27.8 GiB	17,152	≤ 66.3 tok/s	能装下
Mistral-Nemo-Instruct-2407	12.2B	F16	25.3 GiB	32,512	≤ 73.2 tok/s	能装下
Mellum2.1-12B-A2.5B-Thinking	12.1B（激活 2.2B）	BF16	25.0 GiB	131,072	≤ 390 tok/s	能装下
Mellum2-12B-A2.5B-Base	12.1B（激活 2.2B）	Q6_K	12.1 GiB	131,072	≤ 853 tok/s	能装下
Mellum2-12B-A2.5B-Instruct	12.1B（激活 2.2B）	BF16	25.0 GiB	131,072	≤ 390 tok/s	能装下
Mellum2-12B-A2.5B-Instruct-SFT	12.1B（激活 2.2B）	Q6_K	12.1 GiB	131,072	≤ 853 tok/s	能装下
Mellum2-12B-A2.5B-Thinking	12.1B（激活 2.2B）	BF16	25.0 GiB	131,072	≤ 390 tok/s	能装下
Mellum2-12B-A2.5B-Thinking-SFT	12.1B（激活 2.2B）	Q6_K	12.1 GiB	131,072	≤ 853 tok/s	能装下
gemma-4-12B	11.9B	BF16	26.5 GiB	159,488	≤ 73.8 tok/s	能装下
gemma-4-12B-it	11.9B	BF16	26.5 GiB	159,488	≤ 73.8 tok/s	能装下
gemma-3-12b-it	11.8B	BF16	26.6 GiB	47,616	≤ 73.4 tok/s	能装下
translategemma-12b-it	11.8B	Q8_0	15.8 GiB	131,072	≤ 134 tok/s	能装下
Bielik-11B-v3.0-Instruct	11.2B	BF16	24.6 GiB	31,232	≤ 75.4 tok/s	能装下
AutoGLM-Phone-9B	9.4B	F16	18.9 GiB	65,536	≤ 100 tok/s	能装下
AutoGLM-Phone-9B-Multilingual	9.4B	Q6_K	9.2 GiB	65,536	≤ 222 tok/s	能装下
GLM-4.6V-Flash	9.4B	BF16	18.9 GiB	131,072	≤ 100 tok/s	能装下
gemma-2-9b-it	9.2B	Q8_0	14.8 GiB	8,192	≤ 140 tok/s	能装下
EuroLLM-9B-Instruct-2512	9.2B	F16	19.6 GiB	32,768	≤ 96.0 tok/s	能装下
Fara1.5-9B	9.0B	BF16	17.5 GiB	262,144	≤ 111 tok/s	能装下
Holo-3.1-9B	9.0B	F16	17.5 GiB	262,144	≤ 111 tok/s	能装下
MiMo-V2.6-Distill-Qwen-9B	9.0B	BF16	17.5 GiB	262,144	≤ 111 tok/s	能装下
Qwen3.5-9B	9.0B	BF16	17.5 GiB	262,144	≤ 111 tok/s	能装下
Qwen3.5-9B-Base	9.0B	F16	17.5 GiB	262,144	≤ 111 tok/s	能装下
UI-Mate-9B	9.0B	BF16	17.5 GiB	262,144	≤ 111 tok/s	能装下
UI-Venus-2-9B	9.0B	BF16	17.5 GiB	262,144	≤ 111 tok/s	能装下
NVIDIA-Nemotron-Nano-9B-v2	8.9B	BF16	18.3 GiB	131,072	≤ 107 tok/s	能装下
granite-4.1-8b	8.8B	BF16	19.0 GiB	70,912	≤ 99.0 tok/s	能装下
granite-4.2-8b	8.8B	BF16	19.0 GiB	70,912	≤ 99.0 tok/s	能装下
Ministral-3-8B-Instruct-2512	8.5B	BF16	18.0 GiB	89,344	≤ 105 tok/s	能装下
Ministral-3-8B-Reasoning-2512	8.5B	BF16	18.0 GiB	89,344	≤ 105 tok/s	能装下
LFM2.5-8B-A1B	8.5B（激活 1.7B）	BF16	18.0 GiB	128,000	≤ 516 tok/s	能装下
granite-guardian-4.1-8b	8.4B	BF16	19.0 GiB	70,912	≤ 99.0 tok/s	能装下
LFM2-8B-A1B	8.3B（激活 1.6B）	F16	17.7 GiB	128,000	≤ 557 tok/s	能装下
rnj-1-instruct	8.3B	BF16	18.6 GiB	32,768	≤ 101 tok/s	能装下
AesCode-8B	8.2B	BF16	17.3 GiB	89,344	≤ 110 tok/s	能装下
ArmorOCR	8.2B	Q8_0	10.4 GiB	136,704	≤ 194 tok/s	能装下
AstaBrief_8B	8.2B	Q6_K	8.6 GiB	40,960	≤ 242 tok/s	能装下
ContextPilot-8B	8.2B	Q6_K	8.6 GiB	40,960	≤ 242 tok/s	能装下
Cosmos-Reason2-8B	8.2B	Q6_K	8.6 GiB	148,992	≤ 242 tok/s	能装下
DeepSeek-R1-0528-Qwen3-8B	8.2B	BF16	17.3 GiB	89,344	≤ 110 tok/s	能装下
Holo2-8B	8.2B	Q6_K	8.6 GiB	148,992	≤ 242 tok/s	能装下
intent-aware-lfqa-qwen3-8b-baseline	8.2B	F16	17.3 GiB	40,960	≤ 110 tok/s	能装下
intent-aware-lfqa-qwen3-8b-intent-explicit	8.2B	F16	17.3 GiB	40,960	≤ 110 tok/s	能装下
intent-aware-lfqa-qwen3-8b-intent-implicit	8.2B	F16	17.3 GiB	40,960	≤ 110 tok/s	能装下
intent-aware-lfqa-qwen3-8b-multiview	8.2B	F16	17.3 GiB	40,960	≤ 110 tok/s	能装下
JanusCoder-8B	8.2B	BF16	17.3 GiB	32,768	≤ 110 tok/s	能装下
MathForm-8B	8.2B	F16	17.3 GiB	40,960	≤ 110 tok/s	能装下
Nemotron-Cascade-8B	8.2B	BF16	17.3 GiB	32,768	≤ 110 tok/s	能装下
Nemotron-Cascade-8B-Thinking	8.2B	BF16	17.3 GiB	32,768	≤ 110 tok/s	能装下
Nemotron-Orchestrator-8B	8.2B	BF16	17.3 GiB	40,960	≤ 110 tok/s	能装下
Nemotron-Terminal-8B	8.2B	Q6_K	8.6 GiB	40,960	≤ 242 tok/s	能装下
Qwen3-8B	8.2B	Q8_0	10.4 GiB	40,960	≤ 194 tok/s	能装下
Qwen3-Nemotron-8B-BRRM	8.2B	Q6_K	8.6 GiB	40,960	≤ 242 tok/s	能装下
Qwen3-VL-8B-Instruct	8.2B	BF16	17.3 GiB	89,344	≤ 110 tok/s	能装下
Qwen3-VL-8B-Thinking	8.2B	BF16	17.3 GiB	89,344	≤ 110 tok/s	能装下
RLVR-8B-0926	8.2B	Q6_K	8.6 GiB	148,992	≤ 242 tok/s	能装下
Step3-VL-10B-Base	8.2B	Q6_K	8.6 GiB	40,960	≤ 242 tok/s	能装下
UI-Venus-1.5-8B	8.2B	Q6_K	8.6 GiB	148,992	≤ 242 tok/s	能装下
WebWorld-8B	8.2B	F16	17.3 GiB	40,960	≤ 110 tok/s	能装下
ZwZ-8B	8.2B	Q6_K	8.6 GiB	148,992	≤ 242 tok/s	能装下
MiniCPM-o-4_5	8.2B	F16	17.3 GiB	40,960	≤ 110 tok/s	能装下
granite-3.3-8b-instruct	8.2B	F16	18.6 GiB	73,472	≤ 101 tok/s	能装下
granite-guardian-3.2-8b-factuality-detection	8.2B	F16	18.6 GiB	73,472	≤ 101 tok/s	能装下
intent-aware-lfqa-llama3-8b-baseline	8.0B	F16	17.0 GiB	101,632	≤ 111 tok/s	能装下
intent-aware-lfqa-llama3-8b-intent-explicit	8.0B	F16	17.0 GiB	101,632	≤ 111 tok/s	能装下
intent-aware-lfqa-llama3-8b-intent-implicit	8.0B	F16	17.0 GiB	101,632	≤ 111 tok/s	能装下
intent-aware-lfqa-llama3-8b-multiview	8.0B	F16	17.0 GiB	101,632	≤ 111 tok/s	能装下
DeepSeek-R1-Distill-Llama-8B	8.0B	BF16	17.0 GiB	101,632	≤ 111 tok/s	能装下
HARC-Llama-3.1-8B-Instruct	8.0B	Q6_K	8.4 GiB	131,072	≤ 248 tok/s	能装下
Llama-3.1-8B-Instruct	8.0B	BF16	17.0 GiB	101,632	≤ 111 tok/s	能装下
AprielGuard	7.9B	Q6_K	7.9 GiB	131,072	≤ 266 tok/s	能装下
MiMo-Embodied-7B	7.6B	Q6_K	8.1 GiB	128,000	≤ 258 tok/s	能装下
DeepSeek-R1-Distill-Qwen-7B	7.6B	F16	15.6 GiB	131,072	≤ 123 tok/s	能装下
Fara-7B	7.6B	BF16	15.6 GiB	128,000	≤ 123 tok/s	能装下
HARC-Qwen2.5-7B-Instruct	7.6B	Q6_K	7.5 GiB	32,768	≤ 286 tok/s	能装下
JanusCoderV-7B	7.6B	BF16	15.6 GiB	128,000	≤ 123 tok/s	能装下
olmOCR-2-7B-1025	7.6B	BF16	15.6 GiB	128,000	≤ 123 tok/s	能装下
Qwen2.5-7B-Instruct	7.6B	Q8_0	9.1 GiB	32,768	≤ 224 tok/s	能装下
Qwen2.5-Coder-7B-Instruct	7.6B	Q8_0	9.1 GiB	32,768	≤ 224 tok/s	能装下
Qwen2.5-VL-7B-Instruct	7.6B	BF16	15.6 GiB	128,000	≤ 123 tok/s	能装下
Qwen2.5-VL-7B-Surg-CholecT50	7.6B	F16	15.6 GiB	128,000	≤ 123 tok/s	能装下
Spatial-SSRL-7B	7.6B	Q6_K	7.5 GiB	128,000	≤ 286 tok/s	能装下
X-Reasoner-7B	7.6B	Q6_K	7.5 GiB	128,000	≤ 286 tok/s	能装下
ZwZ-7B	7.6B	Q6_K	7.5 GiB	128,000	≤ 286 tok/s	能装下
gemma-4-E4B	7.5B	F16	11.0 GiB	131,072	≤ 188 tok/s	能装下
gemma-4-E4B-it	7.5B	BF16	11.0 GiB	131,072	≤ 188 tok/s	能装下
Bielik-Minitron-7B-v3.0-Instruct	7.5B	Q8_0	10.2 GiB	32,768	≤ 196 tok/s	能装下
ContextPilot-E4B	7.5B	F16	10.9 GiB	131,072	≤ 190 tok/s	能装下
Olmo-3.1-7B-RL-Zero-Code	7.3B	Q6_K	11.0 GiB	65,536	≤ 215 tok/s	能装下
Olmo-3.1-7B-RL-Zero-Math	7.3B	F16	19.0 GiB	60,672	≤ 109 tok/s	能装下
Olmo-3-7B-Instruct	7.3B	BF16	19.0 GiB	60,672	≤ 109 tok/s	能装下
Olmo-3-7B-Instruct-DPO	7.3B	Q6_K	11.0 GiB	65,536	≤ 215 tok/s	能装下
Olmo-3-7B-Instruct-SFT	7.3B	Q6_K	11.0 GiB	65,536	≤ 215 tok/s	能装下
Olmo-3-7B-RL-Zero-Code	7.3B	Q6_K	11.0 GiB	65,536	≤ 215 tok/s	能装下
Olmo-3-7B-RL-Zero-General	7.3B	Q6_K	11.0 GiB	65,536	≤ 215 tok/s	能装下
Olmo-3-7B-RL-Zero-IF	7.3B	Q6_K	11.0 GiB	65,536	≤ 215 tok/s	能装下
Olmo-3-7B-RL-Zero-Math	7.3B	Q6_K	11.0 GiB	65,536	≤ 215 tok/s	能装下
Olmo-3-7B-RL-Zero-Mix	7.3B	Q6_K	11.0 GiB	65,536	≤ 215 tok/s	能装下
Olmo-3-7B-Think	7.3B	BF16	19.0 GiB	60,672	≤ 109 tok/s	能装下
Olmo-3-7B-Think-DPO	7.3B	Q6_K	11.0 GiB	65,536	≤ 215 tok/s	能装下
Olmo-3-7B-Think-SFT	7.3B	Q6_K	11.0 GiB	65,536	≤ 215 tok/s	能装下
Mistral-7B-Instruct-v0.2	7.2B	Q6_K	8.1 GiB	32,768	≤ 259 tok/s	能装下
Trinity-Nano-Base	6.1B（激活 819M）	Q6_K	6.7 GiB	131,072	≤ 1,990 tok/s	能装下
Trinity-Nano-Base-Pre-Anneal	6.1B（激活 819M）	Q6_K	6.4 GiB	4,096	≤ 2,129 tok/s	能装下
Trinity-Nano-Preview	6.1B（激活 819M）	BF16	13.5 GiB	131,072	≤ 964 tok/s	能装下
Youtu-VL-4B-Instruct	4.9B	Q6_K	5.9 GiB	32,768	≤ 406 tok/s	能装下
Holo-3.1-4B	4.8B	F16	10.2 GiB	262,144	≤ 206 tok/s	能装下
gemma-4-E2B	4.6B	Q6_K	3.5 GiB	131,072	≤ 915 tok/s	能装下
gemma-4-E2B-it	4.6B	BF16	6.1 GiB	131,072	≤ 385 tok/s	能装下
AgentCPM-Explore	4.4B	Q6_K	5.7 GiB	168,448	≤ 397 tok/s	能装下
CapRL-Qwen3VL-4B	4.4B	F16	10.4 GiB	136,704	≤ 194 tok/s	能装下
Holo2-4B	4.4B	F16	10.4 GiB	136,704	≤ 194 tok/s	能装下
intent-aware-lfqa-qwen3-4b-baseline	4.4B	F16	10.4 GiB	40,960	≤ 194 tok/s	能装下
intent-aware-lfqa-qwen3-4b-intent-explicit	4.4B	F16	10.4 GiB	40,960	≤ 194 tok/s	能装下
intent-aware-lfqa-qwen3-4b-intent-implicit	4.4B	F16	10.4 GiB	40,960	≤ 194 tok/s	能装下
intent-aware-lfqa-qwen3-4b-multiview	4.4B	F16	10.4 GiB	40,960	≤ 194 tok/s	能装下
Spatial-SSRL-Qwen3VL-4B	4.4B	F16	10.4 GiB	136,704	≤ 194 tok/s	能装下
ZwZ-4B	4.4B	Q6_K	5.7 GiB	168,448	≤ 397 tok/s	能装下
Fara1.5-4B	4.2B	BF16	10.2 GiB	262,144	≤ 206 tok/s	能装下
FrogNano-4B-2609	4.2B	BF16	10.2 GiB	262,144	≤ 206 tok/s	能装下
Qwen3.5-4B	4.2B	BF16	10.2 GiB	262,144	≤ 206 tok/s	能装下
Qwen3.5-4B-Base	4.2B	F16	10.2 GiB	262,144	≤ 206 tok/s	能装下
UserRepGen-4B	4.2B	BF16	10.2 GiB	262,144	≤ 206 tok/s	能装下
Riva-Translate-4B-Instruct-v1.1	4.2B	Q6_K	6.0 GiB	8,192	≤ 374 tok/s	能装下
GELab-Zero-4B-preview	4.0B	BF16	10.4 GiB	136,704	≤ 194 tok/s	能装下
Qwen3-4B	4.0B	Q8_0	6.7 GiB	40,960	≤ 327 tok/s	能装下
Qwen3-4B-Instruct-2507	4.0B	F16	10.4 GiB	136,704	≤ 194 tok/s	能装下
Qwen3-VL-4B-Instruct	4.0B	BF16	10.4 GiB	136,704	≤ 194 tok/s	能装下
Qwen3-VL-4B-Thinking	4.0B	BF16	10.4 GiB	136,704	≤ 194 tok/s	能装下
NVIDIA-Nemotron-3-Nano-4B-BF16	4.0B	BF16	8.7 GiB	262,144	≤ 247 tok/s	能装下
gemma-3-4b-it	3.9B	BF16	9.9 GiB	131,072	≤ 223 tok/s	能装下
medgemma-1.5-4b-it	3.9B	BF16	9.9 GiB	131,072	≤ 223 tok/s	能装下
Nemotron-3-Content-Safety	3.9B	Q6_K	5.4 GiB	131,072	≤ 516 tok/s	能装下
translategemma-4b-it	3.9B	F16	9.9 GiB	131,072	≤ 223 tok/s	能装下
Phi-4-mini-instruct	3.8B	BF16	10.0 GiB	131,072	≤ 205 tok/s	能装下
Apertus-v1.1-4B	3.8B	Q6_K	4.4 GiB	4,096	≤ 558 tok/s	能装下
Phi-3.5-mini-instruct	3.8B	Q8_0	8.3 GiB	62,208	≤ 250 tok/s	能装下
granite-4.2-3b	3.7B	BF16	8.6 GiB	131,072	≤ 240 tok/s	能装下
BitCPM-CANN-3B-unquantized	3.6B	Q6_K	4.3 GiB	32,768	≤ 583 tok/s	能装下
kanana-2-3b-instruct	3.5B	F16	8.6 GiB	32,768	≤ 241 tok/s	能装下
Ministral-3-3B-Instruct-2512	3.4B	BF16	8.9 GiB	199,680	≤ 232 tok/s	能装下
Ministral-3-3B-Reasoning-2512	3.4B	BF16	8.9 GiB	199,680	≤ 232 tok/s	能装下
granite-vision-4.1-4b	3.4B	BF16	8.6 GiB	131,072	≤ 240 tok/s	能装下
granite-4.1-3b	3.4B	BF16	8.6 GiB	131,072	≤ 240 tok/s	能装下
granite-guardian-4.0-3b-toxicity-ja	3.4B	Q6_K	4.7 GiB	131,072	≤ 517 tok/s	能装下
Qwen2.5-3B-Instruct	3.4B	Q8_0	4.8 GiB	32,768	≤ 500 tok/s	能装下
tiny-aya-earth	3.3B	BF16	8.7 GiB	≥ 262,144（更长的上下文未对照实测日志检查）	≤ 253 tok/s	能装下
tiny-aya-fire	3.3B	BF16	8.7 GiB	≥ 262,144（更长的上下文未对照实测日志检查）	≤ 253 tok/s	能装下
tiny-aya-global	3.3B	BF16	8.7 GiB	≥ 262,144（更长的上下文未对照实测日志检查）	≤ 253 tok/s	能装下
tiny-aya-water	3.3B	BF16	8.7 GiB	≥ 262,144（更长的上下文未对照实测日志检查）	≤ 253 tok/s	能装下
Llama-3.2-3B-Instruct	3.2B	BF16	8.5 GiB	131,072	≤ 243 tok/s	能装下
AI21-Jamba-Reasoning-3B	3.2B	BF16	7.3 GiB	262,144	≤ 295 tok/s	能装下
AI21-Jamba2-3B	3.2B	BF16	7.3 GiB	262,144	≤ 295 tok/s	能装下
kanana-2-3b-base	3.2B	Q6_K	4.9 GiB	32,768	≤ 487 tok/s	能装下
SmolLM3-3B	3.1B	BF16	7.9 GiB	65,536	≤ 265 tok/s	能装下
SmolLM3-3B-GSM8K-SFT	3.1B	Q6_K	4.3 GiB	65,536	≤ 573 tok/s	能装下
LFM2-2.6B-Exp	2.7B	F16	6.5 GiB	128,000	≤ 340 tok/s	能装下
d1-3B	2.7B	BF16	6.7 GiB	32,768	≤ 324 tok/s	能装下
LFM2.5-2.6B	2.7B	BF16	6.7 GiB	131,072	≤ 324 tok/s	能装下
LFM2.5-2.6B-Base	2.7B	Q6_K	3.6 GiB	128,000	≤ 763 tok/s	能装下
LFM2.5-VL-3B	2.7B	BF16	6.7 GiB	32,768	≤ 324 tok/s	能装下
EuroMoE-2.6B-A0.6B-Instruct-2512	2.6B（激活 498M）	Q6_K	3.6 GiB	32,768	≤ 2,915 tok/s	能装下
LFM2-2.6B-Longevity	2.6B	F16	6.5 GiB	128,000	≤ 340 tok/s	能装下
LFM2-2.6B-Transcript	2.6B	BF16	6.5 GiB	128,000	≤ 340 tok/s	能装下
LFM2-VL-3B	2.6B	BF16	6.5 GiB	128,000	≤ 340 tok/s	能装下
MiniCPM5-2B	2.5B	BF16	6.0 GiB	131,072	≤ 369 tok/s	能装下
MiniCPM5-2B-Base	2.5B	Q6_K	3.4 GiB	≥ 262,144（更长的上下文未对照实测日志检查）	≤ 815 tok/s	能装下
CapRL-Qwen3VL-2B	2.0B	F16	5.6 GiB	214,528	≤ 409 tok/s	能装下
HiPO-1.7B	2.0B	Q6_K	3.6 GiB	40,960	≤ 762 tok/s	能装下
UI-Venus-1.5-2B	2.0B	F16	5.6 GiB	214,528	≤ 409 tok/s	能装下
ZwZ-2B	2.0B	F16	5.6 GiB	214,528	≤ 409 tok/s	能装下
Youtu-LLM-2B	2.0B	Q6_K	3.2 GiB	131,072	≤ 933 tok/s	能装下
Youtu-LLM-2B-Base	2.0B	Q6_K	3.2 GiB	131,072	≤ 933 tok/s	能装下
Qwen3.5-2B	1.9B	BF16	5.4 GiB	262,144	≤ 464 tok/s	能装下
Qwen3.5-2B-Base	1.9B	Q6_K	3.2 GiB	262,144	≤ 1,089 tok/s	能装下
Qwen3-1.7B	1.7B	BF16	5.6 GiB	40,960	≤ 409 tok/s	能装下
Qwen3-VL-2B-Instruct	1.7B	BF16	5.6 GiB	214,528	≤ 409 tok/s	能装下
Qwen3-VL-2B-Thinking	1.7B	BF16	5.6 GiB	214,528	≤ 409 tok/s	能装下
SingGuard-2b	1.7B	F16	5.6 GiB	214,528	≤ 409 tok/s	能装下
granite-4.0-1b	1.6B	BF16	5.1 GiB	131,072	≤ 455 tok/s	能装下
Apertus-v1.1-1.5B	1.5B	F16	3.8 GiB	4,096	≤ 685 tok/s	能装下
Apertus-v1.1-1.5B-Instruct	1.5B	F16	3.8 GiB	4,096	≤ 685 tok/s	能装下
granite-4.0-h-1b	1.5B	BF16	4.4 GiB	131,072	≤ 599 tok/s	能装下
Llama-3.2-1B-Instruct	1.2B	BF16	4.0 GiB	131,072	≤ 654 tok/s	能装下
LFM2.5-1.2B-Base	1.2B	BF16	3.7 GiB	128,000	≤ 734 tok/s	能装下
LFM2.5-1.2B-Instruct	1.2B	BF16	3.7 GiB	128,000	≤ 734 tok/s	能装下
LFM2.5-1.2B-JP	1.2B	F16	3.7 GiB	128,000	≤ 734 tok/s	能装下
LFM2.5-1.2B-JP-202606	1.2B	F16	3.7 GiB	128,000	≤ 734 tok/s	能装下
LFM2.5-1.2B-Thinking	1.2B	BF16	3.7 GiB	128,000	≤ 734 tok/s	能装下
LFM2.5-VL-1.6B	1.2B	BF16	3.7 GiB	128,000	≤ 734 tok/s	能装下
LFM2.5-VL-1.6B-Extract	1.2B	F16	3.7 GiB	128,000	≤ 734 tok/s	能装下
MiniCPM5-1B	1.1B	Q6_K	2.2 GiB	131,072	≤ 1,940 tok/s	能装下
MiniCPM5-1B-Base	1.1B	Q6_K	2.2 GiB	131,072	≤ 1,940 tok/s	能装下
MiniCPM5-1B-SFT	1.1B	Q6_K	2.2 GiB	131,072	≤ 1,940 tok/s	能装下
Holo-3.1-0.8B	1.0B	Q6_K	2.3 GiB	262,144	≤ 2,491 tok/s	能装下
MiniCPM-V-4.7-1B	1.0B	F16	3.2 GiB	262,144	≤ 1,116 tok/s	能装下
gemma-3-1b-it	1.0B	BF16	3.6 GiB	32,768	≤ 876 tok/s	能装下
Qwen3.5-0.8B	752M	BF16	3.2 GiB	262,144	≤ 1,116 tok/s	能装下
Qwen3.5-0.8B-Base	752M	Q6_K	2.3 GiB	262,144	≤ 2,491 tok/s	能装下
MiniCPM-V-4.6	752M	F16	3.2 GiB	262,144	≤ 1,116 tok/s	能装下
MiniCPM-V-4.6-Thinking	752M	F16	3.2 GiB	262,144	≤ 1,116 tok/s	能装下
Qwen3-0.6B	752M	BF16	3.4 GiB	40,960	≤ 841 tok/s	能装下
HunyuanOCR	539M	F16	3.1 GiB	32,768	≤ 951 tok/s	能装下
LFM2.5-350M	354M	BF16	2.1 GiB	128,000	≤ 2,213 tok/s	能装下
LFM2.5-Encoder-350M-Diffusion	354M	Q6_K	1.7 GiB	128,000	≤ 4,575 tok/s	能装下
LFM2.5-VL-450M	354M	BF16	2.1 GiB	128,000	≤ 2,213 tok/s	能装下
LFM2.5-VL-450M-Extract	354M	F16	2.1 GiB	128,000	≤ 2,213 tok/s	能装下
granite-4.0-350m	352M	BF16	2.2 GiB	32,768	≤ 1,907 tok/s	能装下
granite-4.0-h-350m	340M	BF16	2.1 GiB	32,768	≤ 2,507 tok/s	能装下
functiongemma-270m-it	268M	BF16	2.1 GiB	32,768	≤ 3,148 tok/s	能装下
LFM2.5-230M	230M	BF16	1.8 GiB	128,000	≤ 3,199 tok/s	能装下

临界模型

处于估算误差范围内：可能装得下，也可能装不下。可以尝试更短的上下文或更低的量化。

上下文 8,192 个 token。这些模型没有任何量化能装下；所示为属于临界的最高量化。
模型	参数量	临界的最高量化	“能装下”所需的可用显存	结果
Qwen3.5-122B-A10B	122B（激活 9.0B）	IQ2_XXS	35.0 GiB	临界
Step-3.5-Flash-REAP-121B-A11B	121B（激活 11.4B）	IQ2_XXS	32.9 GiB	临界
Mistral-Small-4-119B-2603	119B（激活 6.1B）	IQ2_XXS	34.3 GiB	临界
Solar-Open-100B	103B（激活 11.2B）	IQ2_M	35.8 GiB	临界
GLM-4.5-Air-REAP-82B-A12B	81.9B（激活 12.8B）	Q2_K	36.5 GiB	临界
Qwen3-Coder-Next	79.7B（激活 3.6B）	Q2_K	30.4 GiB	临界
Qwen3-Next-80B-A3B-Instruct	79.7B（激活 3.6B）	Q2_K	30.3 GiB	临界
Qwen2.5-72B-Instruct	73.0B	Q2_K	30.3 GiB	临界
DeepSeek-R1-Distill-Llama-70B	70.6B	Q3_K_M	37.1 GiB	临界
Llama-3.3-70B-Instruct	70.6B	Q3_K_M	37.1 GiB	临界
Qwen-AgentWorld-35B-A3B	34.7B（激活 2.9B）	Q8_0	37.6 GiB	临界

单张 NVIDIA GeForce RTX 5090 装不下的模型

上下文 8,192 个 token。即使是最低量化，单张显卡也装不下；所示需求对应该量化。
模型	参数量	最小量化	“能装下”所需的可用显存	多张相同的卡	结果
MiniMax-M2.5-REAP-139B-A10B	139B（激活 10.4B）	IQ2_XXS	39.2 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
INTELLECT-3	107B（激活 12.8B）	IQ2_XXS	39.6 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
Step-3.5-Flash-REAP-149B-A11B	149B（激活 11.4B）	IQ2_XXS	40.1 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
Llama-4-Scout-17B-16E-Instruct	108B（激活 16.1B）	Q2_K	41.5 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
GLM-4.5-Air	107B（激活 12.8B）	Q2_K	45.6 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
GLM-4.6V	107B（激活 12.8B）	Q2_K	45.6 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
Step-3.5-Flash	197B（激活 11.5B）	IQ2_XXS	48.9 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
Devstral-2-123B-Instruct-2512	125B	Q2_K	49.3 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
Mistral-Medium-3.5-128B	125B	Q2_K	49.3 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16	121B（激活 12.2B）	IQ2_XXS	49.8 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
NVIDIA-Nemotron-3-Super-120B-A12B-BF16	121B（激活 12.2B）	IQ2_XXS	51.0 GiB	预计 2 张相同的卡（默认均分）能装下。	装不下
gpt-oss-120b	117B（激活 5.1B）	Q2_K	62.8 GiB	预计 3 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
MiniMax-M2.7	229B（激活 10.4B）	IQ2_XXS	62.9 GiB	预计 3 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Baichuan-M3-235B	235B（激活 21.6B）	IQ2_XXS	63.2 GiB	预计 3 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Holo2-235B-A22B	235B（激活 21.6B）	IQ2_XXS	63.2 GiB	预计 3 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Qwen3-Nemotron-235B-A22B-GenRM	235B（激活 21.6B）	IQ2_XXS	63.2 GiB	预计 3 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
command-a-plus-05-2026-bf16	218B（激活 25.0B）	IQ2_XXS	63.6 GiB	预计 3 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16	121B（激活 12.2B）	Q4_0	71.8 GiB	预计 3 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
GLM-4.7-REAP-268B-A32B	269B（激活 32.8B）	IQ2_XXS	73.0 GiB	预计 3 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Step-3.7-Flash	197B（激活 11.5B）	IQ3_XXS	76.1 GiB	预计 3 张相同的卡（默认均分）能装下。	装不下
Hy3	295B（激活 20.2B）	IQ2_XXS	82.2 GiB	预计 3 张相同的卡（默认均分）能装下。	装不下
MiMo-V2.5	309B（激活 14.8B）	IQ2_XXS	82.4 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
GLM-4.7-REAP-218B-A32B	218B（激活 32.8B）	Q2_K	82.9 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
MiniMax-M2	229B（激活 10.4B）	Q2_K	84.9 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
MiniMax-M2.1	229B（激活 10.4B）	Q2_K	84.9 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
MiniMax-M2.5	229B（激活 10.4B）	Q2_K	84.9 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Qwen3-235B-A22B-Instruct-2507	235B（激活 21.6B）	Q2_K	86.7 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Qwen3-VL-235B-A22B-Instruct	235B（激活 21.6B）	Q2_K	86.7 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
GLM-5.3-Flash-BF16	313B（激活 16.7B）	IQ2_XXS	92.0 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Laguna-S-2.1	118B（激活 8.1B）	Q4_K_M	95.9 GiB	预计 8 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Trinity-Large-Base	399B（激活 12.8B）	IQ2_XXS	96.4 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Trinity-Large-TrueBase	399B（激活 12.8B）	IQ2_XXS	96.4 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
GLM-4.6-REAP-268B-A32B	269B（激活 32.8B）	Q2_K	100.9 GiB	预计 4 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Trinity-Large-Thinking	399B（激活 12.8B）	IQ2_XXS	107.1 GiB	预计 5 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
MiMo-V2-Flash	309B（激活 14.8B）	Q2_K	111.6 GiB	预计 5 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Intern-S2-397B	396B（激活 16.3B）	IQ2_XXS	114.3 GiB	预计 5 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
MiMo-V2.6-Flash-MOPD	309B（激活 14.8B）	Q2_K	124.9 GiB	预计 5 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
MiMo-V2.6-Flash-RL	309B（激活 14.8B）	Q2_K	124.9 GiB	预计 5 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
K-EXAONE-236B-A23B	237B（激活 22.7B）	IQ4_XS	126.3 GiB	预计 6 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
GLM-4.5	353B（激活 32.9B）	Q2_K	130.7 GiB	预计 5 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
GLM-4.7	353B（激活 32.9B）	Q2_K	130.7 GiB	预计 5 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Qwen3-Coder-REAP-363B-A35B	363B（激活 34.5B）	Q2_K	132.7 GiB	预计 5 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Qwen3-235B-A22B	235B（激活 21.6B）	Q4_K_M	141.9 GiB	预计 6 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Qwen3-Coder-480B-A35B-Instruct	480B（激活 34.5B）	Q2_K	174.3 GiB	预计 7 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
Qwen3.5-397B-A17B	396B（激活 16.3B）	Q3_K_M	175.6 GiB	预计 7 张相同的卡（默认均分）能装下。更少的卡为临界。	装不下
GLM-5.1	744B（激活 40.8B）	IQ2_XXS	197.6 GiB	8 张卡时为临界。	装不下
DeepSeek-V3.2	671B（激活 36.6B）	Q2_K	242.1 GiB	8 张卡时为临界。	装不下
cogito-671b-v2.1	671B（激活 36.6B）	Q2_K	242.4 GiB	8 张卡时为临界。	装不下
DeepSeek-V3.1	671B（激活 36.6B）	Q2_K	242.4 GiB	8 张卡时为临界。	装不下
Mistral-Large-3-675B-Instruct-2512	673B（激活 39.0B）	Q2_K	243.8 GiB	8 张卡时为临界。	装不下
DeepSeek-V3	671B（激活 36.6B）	Q2_K	257.8 GiB	8 张卡时为临界。	装不下
Kimi-K2.6	1.03T（激活 31.7B）	IQ2_XXS	267.6 GiB	8 张卡时为临界。	装不下
GLM-5	744B（激活 40.8B）	Q2_K	268.9 GiB	8 张卡时为临界。	装不下
MiMo-V2.5-Pro	1.02T（激活 41.0B）	IQ2_XXS	270.4 GiB	8 张卡时为临界。	装不下
DeepSeek-R1	671B（激活 36.6B）	Q2_K	280.3 GiB	8 张卡时为临界。	装不下
Muse-Spark-Open-816B-A42B	820B（激活 44.4B）	Q2_K	301.0 GiB	即使 8 张卡也装不下。	装不下
GLM-5.3-Flash	313B（激活 16.7B）	Q8_0	327.9 GiB	即使 8 张卡也装不下。	装不下
Ling-1T	1.00T（激活 49.8B）	Q2_K	360.6 GiB	即使 8 张卡也装不下。	装不下
Kimi-K2-Instruct	1.03T（激活 31.7B）	Q2_K	367.4 GiB	即使 8 张卡也装不下。	装不下
Kimi-K2.5	1.03T（激活 31.7B）	Q2_K	368.0 GiB	即使 8 张卡也装不下。	装不下
Kimi-K2-Thinking	1.03T（激活 31.7B）	Q2_K	368.3 GiB	即使 8 张卡也装不下。	装不下
MiMo-V2.6-Pro-MOPD	1.02T（激活 41.0B）	Q2_K	411.6 GiB	即使 8 张卡也装不下。	装不下
MiMo-V2.6-Pro-RL	1.02T（激活 41.0B）	Q2_K	411.6 GiB	即使 8 张卡也装不下。	装不下
Beam-1.0-501B-A23B	501B（激活 22.7B）	Q8_0	523.6 GiB	即使 8 张卡也装不下。	装不下
GLM-5.2	744B（激活 40.8B）	Q8_0	776.4 GiB	即使 8 张卡也装不下。	装不下
GLM-5.3	744B（激活 40.8B）	Q8_0	776.4 GiB	即使 8 张卡也装不下。	装不下
Qwen3.8-2.4T-A95B	2.42T（激活 93.3B）	Q8_0	2,524.1 GiB	即使 8 张卡也装不下。	装不下

速度上限等于显存带宽除以每生成一个 token 所需读取的字节数。这是理论上界；公开的 llama.cpp 基准测试通常能达到其约二分之一到五分之四，小模型和 MoE 模型往往更低。公开基准测试

该 GPU 的详细页面

其他 32 GB 的设备