DeskGPU
简体中文

NVIDIA GeForce RTX 5090 能运行 Muse-Glimmer-30B 吗？

本页面由 AI 自动撰写和翻译，并由软件对照来源进行检查，没有人工编辑。规格来自所列来源；显存需求和速度是按已公布的公式计算出的估算值。 我们如何使用 AI

能装下 按 llama.cpp 的默认加载检查，Muse-Glimmer-30B 在 NVIDIA GeForce RTX 5090 上以 Q6_K 量化、8,192 token 的上下文长度运行时“能装下”。单张显卡需要 23.7 GiB 可用显存，结果才会是“能装下”。

在 Q6_K 量化下，能装下的最长上下文为 131,072 token。

“能装下”是指 llama.cpp 默认的 --fit 加载检查会把所有层放到 GPU 上：我们对 llama.cpp 缓冲区的估算，加上误差余量，再加上 llama.cpp 每张卡 1 GiB 的预留，不超过被视为可用的显存。这并不保证生成过程中的峰值显存也能装下。 结果是如何判定的

数值更新于 2026年10月19日 · 计算器

运行档案： llama.cpp，CUDA 后端（NVIDIA 独立 GPU），所有层都放在 GPU 上，开启 Flash Attention，微批次大小（-ub）为 512，F16 KV 缓存，上下文（-c）如表中所示；“能装下”按 llama-server 默认的 4 个并行序列（-np auto，统一 KV 缓存）判定，“装不下”按 1 个序列判定；GPU 空闲，没有其他程序占用其显存。

计为“能装下”可用的显存（C_low）：每卡 29.25 GiB = 标称 32 GiB − 659 MiB（标称值减去 llama.cpp 在公开日志中为该 GPU 报告的总量）− 2,112 MiB（此运行档案的公开日志中出现的最大启动及运行占用），并向下取整到 64 MiB 的倍数。

这些结果适用于公开日志中出现的配置，其中 llama.cpp 报告这块 GPU 的总显存为 32,109 MiB。会减少可用显存的设置（例如显卡支持时的 ECC）不在考虑范围内。

用于“装不下”的显存（C_high）：每卡全部 32 GiB。 运行档案及其实测数据

按量化和上下文划分的显存需求

“能装下”所需的可用显存（X，每卡 GiB）以及在 NVIDIA GeForce RTX 5090 上的结果。
量化4,0968,19232,768131,072
BF16 53.6 GiB 装不下53.8 GiB 装不下54.2 GiB 装不下55.7 GiB 装不下
Q8_0 29.3 GiB 临界29.5 GiB 临界29.9 GiB 临界31.4 GiB 临界
Q6_K 23.5 GiB 能装下23.7 GiB 能装下24.1 GiB 能装下25.6 GiB 能装下
Q5_K_M 20.4 GiB 能装下20.7 GiB 能装下21.0 GiB 能装下22.5 GiB 能装下
Q4_K_M 17.8 GiB 能装下18.1 GiB 能装下18.5 GiB 能装下19.9 GiB 能装下
Q4_0 16.8 GiB 能装下17.1 GiB 能装下17.4 GiB 能装下18.9 GiB 能装下
IQ4_XS 16.1 GiB 能装下16.3 GiB 能装下16.7 GiB 能装下18.2 GiB 能装下
Q3_K_M 14.7 GiB 能装下15.0 GiB 能装下15.4 GiB 能装下16.8 GiB 能装下
IQ3_XXS 12.4 GiB 能装下12.6 GiB 能装下13.0 GiB 能装下14.5 GiB 能装下
Q2_K 12.0 GiB 能装下12.2 GiB 能装下12.6 GiB 能装下14.1 GiB 能装下
IQ2_M 11.5 GiB 能装下11.7 GiB 能装下12.1 GiB 能装下13.6 GiB 能装下
IQ2_XXS 9.9 GiB 能装下10.2 GiB 能装下10.6 GiB 能装下12.0 GiB 能装下

生成速度能有多快？

在 Q6_K 量化下，理论上限约为每秒 79.7 个 token（1,792 GB/s ÷ 每个 token 读取 22.49 GB）。

速度上限等于显存带宽除以每生成一个 token 所需读取的字节数。这是理论上界；公开的 llama.cpp 基准测试通常能达到其约二分之一到五分之四，小模型和 MoE 模型往往更低。 公开基准测试

其他选择

其他可以装下 Muse-Glimmer-30B 的 32 GB GPU

没有其他相同显存容量的 GPU 能装下此模型。

来源