MiniMax-M2.7:需要多少显存?
本页面由 AI 自动撰写和翻译,并由软件对照来源进行检查,没有人工编辑。规格来自所列来源;显存需求和速度是按已公布的公式计算出的估算值。 我们如何使用 AI
MiniMax-M2.7 是混合专家(MoE)模型,共有 229B 个参数,其中每个 token 约有 10.4B 激活(不含输入嵌入查表)。在 Q4_K_M 量化、8,192 token 上下文下,单张显卡需要 139.2 GiB 可用显存,结果才会是“能装下”。
关键信息
- 原始仓库
- MiniMaxAI/MiniMax-M2.7@d494266
- 发布方
- MiniMaxAI
- 许可证
- other
- 参数量(GGUF 张量表:llama.cpp 加载的张量;不含多 token 预测层)
- 229B
- 每个 token 的激活参数(不含输入嵌入查表)
- 10.4B
- 原始仓库报告的参数量(可能包含视觉编码器或额外的层)
- 229B
- 层数
- 62
- 注意力结构
- 62 个全注意力层
- 每个 token 的 KV 缓存(F16,所有注意力层)
- 248.0 KiB
- 支持的最长上下文
- 196,608
GGUF 文件与所需显存
所有量化均来自同一个 GGUF 仓库的同一个固定版本: bartowski/MiniMaxAI_MiniMax-M2.7-GGUF@2b13ec9
| 量化 | 文件大小 | 4,096 上下文下的 X | 8,192 上下文下的 X | 32,768 上下文下的 X | 131,072 上下文下的 X |
|---|---|---|---|---|---|
| Q8_0 | 226.44 GiB(7 个文件) | 240.1 GiB | 241.2 GiB | 247.3 GiB | 272.0 GiB |
| Q6_K | 183.52 GiB(5 个文件) | 195.1 GiB | 196.1 GiB | 202.3 GiB | 227.0 GiB |
| Q5_K_M | 151.50 GiB(5 个文件) | 161.5 GiB | 162.5 GiB | 168.7 GiB | 193.3 GiB |
| Q4_K_M | 129.27 GiB(4 个文件) | 138.2 GiB | 139.2 GiB | 145.4 GiB | 170.0 GiB |
| Q4_0 | 120.93 GiB(4 个文件) | 129.4 GiB | 130.4 GiB | 136.6 GiB | 161.2 GiB |
| IQ4_XS | 114.00 GiB(4 个文件) | 122.1 GiB | 123.1 GiB | 129.3 GiB | 154.0 GiB |
| Q3_K_M | 96.98 GiB(3 个文件) | 104.2 GiB | 105.3 GiB | 111.4 GiB | 136.1 GiB |
| IQ3_XXS | 88.65 GiB(3 个文件) | 95.5 GiB | 96.5 GiB | 102.7 GiB | 127.3 GiB |
| Q2_K | 74.55 GiB(3 个文件) | 80.7 GiB | 81.7 GiB | 87.9 GiB | 112.6 GiB |
| IQ2_M | 71.17 GiB(2 个文件) | 77.1 GiB | 78.1 GiB | 84.3 GiB | 108.9 GiB |
| IQ2_XXS | 56.67 GiB(2 个文件) | 61.9 GiB | 62.9 GiB | 69.1 GiB | 93.7 GiB |
各量化所需的最小 GPU
| 量化 | 能装下的最小 GPU(单卡) | 显存 |
|---|---|---|
| Q8_0 | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
| Q6_K | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
| Q5_K_M | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
| Q4_K_M | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
| Q4_0 | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
| IQ4_XS | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
| Q3_K_M | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
| IQ3_XXS | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
| Q2_K | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
| IQ2_M | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
| IQ2_XXS | 列出的 GPU 中没有单卡能装下的。如需多卡,请使用 计算器 | — |
可运行 MiniMax-M2.7 的 GPU
数据库中没有任何 GPU 能用单卡装下此模型。
单张显卡装不下的 GPU
| GPU | 显存 | 运行档案 | 最小量化 | “能装下”所需的可用显存 | 多张相同的卡 | 结果 |
|---|---|---|---|---|---|---|
| NVIDIA GeForce GTX 1050 Ti | 4 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 即使 8 张卡也装不下。 | 装不下 |
| NVIDIA GeForce GTX 1650 | 4 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 即使 8 张卡也装不下。 | 装不下 |
| NVIDIA GeForce GTX 1060 | 6 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 即使 8 张卡也装不下。 | 装不下 |
| NVIDIA GeForce GTX 1660 | 6 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 即使 8 张卡也装不下。 | 装不下 |
| NVIDIA GeForce GTX 1660 SUPER | 6 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 即使 8 张卡也装不下。 | 装不下 |
| NVIDIA GeForce RTX 2060 6GB | 6 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 即使 8 张卡也装不下。 | 装不下 |
| AMD Radeon Pro V520 | 8 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | — | 装不下 |
| NVIDIA GeForce GTX 1070 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce GTX 1070 Ti | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce GTX 1080 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 2060 SUPER | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 2070 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 2080 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 3050 8GB | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 3060 Ti | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 3070 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 3070 Ti | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 4060 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 5060 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA P4 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | — | 装不下 |
| NVIDIA GeForce RTX 3080 10GB | 10 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce GTX 1080 Ti | 11 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 2080 Ti | 11 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| AMD Radeon RX 7700 XT | 12 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | 预计 8 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA GeForce RTX 3080 Ti | 12 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 4070 | 12 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 4070 Ti | 12 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| NVIDIA GeForce RTX 5070 | 12 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 8 张卡时为临界。 | 装不下 |
| AMD Radeon RX 7800 XT | 16 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | 预计 5 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| AMD Radeon RX 7900 GRE | 16 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | 预计 5 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA GeForce RTX 4060 Ti 16GB | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 预计 6 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA GeForce RTX 4070 Ti SUPER | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 预计 6 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA GeForce RTX 4080 | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 预计 6 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA GeForce RTX 5060 Ti 16GB | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 预计 6 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA GeForce RTX 5070 Ti | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 预计 6 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA GeForce RTX 5080 | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 预计 6 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA P100 | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | — | 装不下 |
| AMD Radeon RX 7900 XT | 20 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | 预计 4 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| AMD Radeon RX 7900 XTX | 24 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | 预计 4 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA GeForce RTX 3090 | 24 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 预计 4 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA GeForce RTX 3090 Ti | 24 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 预计 4 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA L4 | 24 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | — | 装不下 |
| NVIDIA Tesla P40 | 24 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | — | 装不下 |
| AMD Radeon AI PRO R9700 | 32 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | — | 装不下 |
| AMD Radeon PRO W7800 32GB | 32 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | — | 装不下 |
| NVIDIA GeForce RTX 5090 | 32 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 预计 3 张相同的卡(默认均分)能装下。 更少的卡为临界。 | 装不下 |
| NVIDIA Tesla V100 32GB | 32 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | — | 装不下 |
| AMD Radeon PRO W7800 48GB | 48 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | — | 装不下 |
| AMD Radeon PRO W7900 | 48 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | — | 装不下 |
| NVIDIA L40 | 48 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | — | 装不下 |
没有结论的 GPU
| GPU | 显存 | 运行档案 | 最小量化 | “能装下”所需的可用显存 | 无结论的原因 | 结果 |
|---|---|---|---|---|---|---|
| AMD Instinct MI210 | 64 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | 未知:此 GPU 的显存配置尚未确定;只会显示“装不下”。 | 未知 |
| NVIDIA H100 PCIe | 80 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 未知:此 GPU 的显存配置尚未确定;只会显示“装不下”。 | 未知 |
| NVIDIA H100 NVL | 94 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 未知:此 GPU 的显存配置尚未确定;只会显示“装不下”。 | 未知 |
| NVIDIA H200 SXM | 141 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 未知:此 GPU 的显存配置尚未确定;只会显示“装不下”。 | 未知 |
| NVIDIA B200 | 180 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 未知:此 GPU 的显存配置尚未确定;只会显示“装不下”。 | 未知 |
| AMD Instinct MI300X | 192 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | 未知:此 GPU 的显存配置尚未确定;只会显示“装不下”。 | 未知 |
| NVIDIA B100 | 192 GB | CUDA(NVIDIA) | IQ2_XXS | 62.9 GiB | 未知:此 GPU 的显存配置尚未确定;只会显示“装不下”。 | 未知 |
| AMD Instinct MI325X | 256 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | 未知:此 GPU 的显存配置尚未确定;只会显示“装不下”。 | 未知 |
| AMD Instinct MI350X | 288 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | 未知:此 GPU 的显存配置尚未确定;只会显示“装不下”。 | 未知 |
| AMD Instinct MI355X | 288 GB | Linux 上的 ROCm(AMD) | IQ2_XXS | 62.9 GiB | 未知:此 GPU 的显存配置尚未确定;只会显示“装不下”。 | 未知 |
- CUDA(NVIDIA):llama.cpp,CUDA 后端(NVIDIA 独立 GPU),所有层都放在 GPU 上,开启 Flash Attention,微批次大小(-ub)为 512,F16 KV 缓存,上下文(-c)如表中所示;“能装下”按 llama-server 默认的 4 个并行序列(-np auto,统一 KV 缓存)判定,“装不下”按 1 个序列判定;GPU 空闲,没有其他程序占用其显存。
- Linux 上的 ROCm(AMD):llama.cpp,Linux 上的 ROCm 后端(AMD 独立 GPU),所有层都放在 GPU 上,开启 Flash Attention,微批次大小(-ub)为 512,F16 KV 缓存,上下文(-c)如表中所示;“能装下”按 llama-server 默认的 4 个并行序列(-np auto,统一 KV 缓存)判定,“装不下”按 1 个序列判定;GPU 空闲,没有其他程序占用其显存。
原始权重
该模型的原始权重文件(safetensors,按方法说明中的方式统计)共计 214.3 GiB。这些仅供参考;本页所有估算均针对上方的 GGUF 文件,并使用 llama.cpp 运行。 MiniMaxAI/MiniMax-M2.7 · 方法说明