AMD Radeon RX 7800 XT 能运行 Mistral-Small-3.2-24B-Instruct-2506 吗？
本页面由 AI 自动撰写和翻译，并由软件对照来源进行检查，没有人工编辑。规格来自所列来源；显存需求和速度是按已公布的公式计算出的估算值。 我们如何使用 AI
能装下 按 llama.cpp 的默认加载检查，Mistral-Small-3.2-24B-Instruct-2506 在 AMD Radeon RX 7800 XT 上以 IQ4_XS 量化、8,192 token 的上下文长度运行时“能装下”。单张显卡需要 14.7 GiB 可用显存，结果才会是“能装下”。
在 IQ4_XS 量化下，能装下的最长上下文为 8,192 token。
运行档案： llama.cpp，Linux 上的 ROCm 后端（AMD 独立 GPU），所有层都放在 GPU 上，开启 Flash Attention，微批次大小（-ub）为 512，F16 KV 缓存，上下文（-c）如表中所示；“能装下”按 llama-server 默认的 4 个并行序列（-np auto，统一 KV 缓存）判定，“装不下”按 1 个序列判定；GPU 空闲，没有其他程序占用其显存。
计为“能装下”可用的显存（C_low）：每卡 14.75 GiB = 标称 16 GiB − 16 MiB（标称值减去 llama.cpp 在公开日志中为该 GPU 报告的总量）− 1,216 MiB（此运行档案的公开日志中出现的最大启动及运行占用），并向下取整到 64 MiB 的倍数。
这些结果适用于公开日志中出现的配置，其中 llama.cpp 报告这块 GPU 的总显存为 16,368 MiB。会减少可用显存的设置（例如显卡支持时的 ECC）不在考虑范围内。
用于“装不下”的显存（C_high）：每卡全部 16 GiB。 运行档案及其实测数据
按量化和上下文划分的显存需求
| 量化 | 4,096 | 8,192 | 32,768 | 131,072 |
|---|---|---|---|---|
| BF16 | 46.8 GiB 装不下 | 47.5 GiB 装不下 | 51.5 GiB 装不下 | 67.5 GiB 装不下 |
| Q8_0 | 25.8 GiB 装不下 | 26.5 GiB 装不下 | 30.4 GiB 装不下 | 46.4 GiB 装不下 |
| Q6_K | 20.3 GiB 装不下 | 21.0 GiB 装不下 | 25.0 GiB 装不下 | 41.0 GiB 装不下 |
| Q5_K_M | 17.9 GiB 临界 | 18.6 GiB 临界 | 22.6 GiB 装不下 | 38.6 GiB 装不下 |
| Q4_K_M | 15.6 GiB 临界 | 16.3 GiB 临界 | 20.3 GiB 装不下 | 36.3 GiB 装不下 |
| Q4_0 | 14.8 GiB 临界 | 15.4 GiB 临界 | 19.4 GiB 临界 | 35.4 GiB 装不下 |
| IQ4_XS | 14.1 GiB 能装下 | 14.7 GiB 能装下 | 18.7 GiB 临界 | 34.7 GiB 装不下 |
| Q3_K_M | 12.9 GiB 能装下 | 13.6 GiB 能装下 | 17.6 GiB 临界 | 33.5 GiB 装不下 |
| Q2_K | 10.4 GiB 能装下 | 11.1 GiB 能装下 | 15.1 GiB 临界 | 31.1 GiB 装不下 |
其他选择
其他可以装下 Mistral-Small-3.2-24B-Instruct-2506 的 16 GB GPU
来源
- 模型页面，含所有量化及其文件： Mistral-Small-3.2-24B-Instruct-2506
- 显卡页面，含各项规格及其来源： AMD Radeon RX 7800 XT
- Hugging Face 上的模型文件（固定修订版本）： mistralai/Mistral-Small-3.2-24B-Instruct-2506@95a6d26, unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF@b750ec2
- AMD Radeon RX 7800 XT 的显存容量来源： Wikipedia: Radeon RX 7000 series（CC BY-SA 4.0），ROCm documentation gpu-specs.rst（MIT）
- 方法说明