MiniMax-M2: ¿cuánta VRAM necesita?
Esta página fue escrita y traducida automáticamente por IA y verificada por software con respecto a sus fuentes, sin edición humana. Las especificaciones provienen de las fuentes indicadas; los requisitos de memoria y las velocidades son estimaciones calculadas con fórmulas publicadas. Cómo usamos la IA
MiniMax-M2 es un modelo de mezcla de expertos con 229B parámetros, de los cuales unos 10,4B están activos por token (sin contar la búsqueda de embeddings de entrada). Con Q4_K_M y un contexto de 8192 tokens, una sola GPU necesita 138,7 GiB de memoria disponible para que el resultado sea «Cabe».
Datos clave
- Repositorio original
- MiniMaxAI/MiniMax-M2@757303d
- Editor
- MiniMaxAI
- Licencia
- other
- Parámetros (tabla de tensores GGUF: los tensores que carga llama.cpp; las capas de predicción de varios tokens no se cuentan)
- 229B
- Parámetros activos por token (sin contar la búsqueda en el embedding de entrada)
- 10,4B
- Parámetros indicados por el repositorio original (pueden incluir un codificador de visión o capas adicionales)
- 229B
- Capas
- 62
- Disposición de la atención
- 62 capas de atención completa
- KV cache por token (F16, todas las capas de atención)
- 248,0 KiB
- Longitud de contexto máxima admitida
- 196.608
Archivos GGUF y memoria necesaria
Todas las cuantizaciones provienen de un único repositorio GGUF en una única revisión fijada: unsloth/MiniMax-M2-GGUF@06e952e
| Cuantización | Tamaño del archivo | X con contexto de 4096 | X con contexto de 8192 | X con contexto de 32.768 | X con contexto de 131.072 |
|---|---|---|---|---|---|
| BF16 | 426,07 GiB (10 archivos) | 449,7 GiB | 450,7 GiB | 456,9 GiB | 481,6 GiB |
| Q8_0 | 226,44 GiB (5 archivos) | 240,1 GiB | 241,2 GiB | 247,3 GiB | 272,0 GiB |
| Q6_K | 174,87 GiB (4 archivos) | 186,0 GiB | 187,0 GiB | 193,2 GiB | 217,9 GiB |
| Q5_K_M | 151,16 GiB (4 archivos) | 161,1 GiB | 162,1 GiB | 168,3 GiB | 193,0 GiB |
| Q4_K_M | 128,84 GiB (3 archivos) | 137,7 GiB | 138,7 GiB | 144,9 GiB | 169,6 GiB |
| Q4_0 | 120,61 GiB (3 archivos) | 129,0 GiB | 130,1 GiB | 136,2 GiB | 160,9 GiB |
| IQ4_XS | 113,53 GiB (3 archivos) | 121,6 GiB | 122,6 GiB | 128,8 GiB | 153,5 GiB |
| Q3_K_M | 101,77 GiB (3 archivos) | 109,3 GiB | 110,3 GiB | 116,5 GiB | 141,2 GiB |
| Q2_K | 77,58 GiB (2 archivos) | 83,9 GiB | 84,9 GiB | 91,1 GiB | 115,8 GiB |
GPU más pequeña para cada cuantización
| Cuantización | GPU más pequeña que cabe (una tarjeta) | Memoria |
|---|---|---|
| BF16 | Ninguna GPU de la lista cabe en una sola tarjeta. Para varias tarjetas, use el Calculadora | — |
| Q8_0 | Ninguna GPU de la lista cabe en una sola tarjeta. Para varias tarjetas, use el Calculadora | — |
| Q6_K | Ninguna GPU de la lista cabe en una sola tarjeta. Para varias tarjetas, use el Calculadora | — |
| Q5_K_M | Ninguna GPU de la lista cabe en una sola tarjeta. Para varias tarjetas, use el Calculadora | — |
| Q4_K_M | Ninguna GPU de la lista cabe en una sola tarjeta. Para varias tarjetas, use el Calculadora | — |
| Q4_0 | Ninguna GPU de la lista cabe en una sola tarjeta. Para varias tarjetas, use el Calculadora | — |
| IQ4_XS | Ninguna GPU de la lista cabe en una sola tarjeta. Para varias tarjetas, use el Calculadora | — |
| Q3_K_M | Ninguna GPU de la lista cabe en una sola tarjeta. Para varias tarjetas, use el Calculadora | — |
| Q2_K | Ninguna GPU de la lista cabe en una sola tarjeta. Para varias tarjetas, use el Calculadora | — |
GPUs que pueden ejecutar MiniMax-M2
Ninguna GPU de la base de datos puede alojar este modelo en una sola tarjeta.
GPUs en las que no cabe en una tarjeta
| GPU | Memoria | Perfil de ejecución | Cuantización más pequeña | Memoria disponible necesaria para «Cabe» | Varias tarjetas idénticas | Resultado |
|---|---|---|---|---|---|---|
| NVIDIA GeForce GTX 1050 Ti | 4 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce GTX 1650 | 4 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce GTX 1060 | 6 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce GTX 1660 | 6 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce GTX 1660 SUPER | 6 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 2060 6GB | 6 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| AMD Radeon Pro V520 | 8 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce GTX 1070 | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce GTX 1070 Ti | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce GTX 1080 | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 2060 SUPER | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 2070 | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 2080 | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 3050 8GB | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 3060 Ti | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 3070 | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 3070 Ti | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 4060 | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 5060 | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA P4 | 8 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | No cabe ni siquiera con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 3080 10GB | 10 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Al límite con 8 tarjetas. | No cabe |
| NVIDIA GeForce GTX 1080 Ti | 11 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Al límite con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 2080 Ti | 11 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Al límite con 8 tarjetas. | No cabe |
| AMD Radeon RX 7700 XT | 12 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | Al límite con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 3080 Ti | 12 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Al límite con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 4070 | 12 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Al límite con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 4070 Ti | 12 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Al límite con 8 tarjetas. | No cabe |
| NVIDIA GeForce RTX 5070 | 12 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Al límite con 8 tarjetas. | No cabe |
| AMD Radeon RX 7800 XT | 16 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | Se espera que quepa en 7 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| AMD Radeon RX 7900 GRE | 16 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | Se espera que quepa en 8 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA GeForce RTX 4060 Ti 16GB | 16 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Se espera que quepa en 8 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA GeForce RTX 4070 Ti SUPER | 16 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Se espera que quepa en 8 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA GeForce RTX 4080 | 16 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Se espera que quepa en 8 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA GeForce RTX 5060 Ti 16GB | 16 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Se espera que quepa en 8 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA GeForce RTX 5070 Ti | 16 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Se espera que quepa en 8 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA GeForce RTX 5080 | 16 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Se espera que quepa en 8 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA P100 | 16 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | — | No cabe |
| AMD Radeon RX 7900 XT | 20 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | Se espera que quepa en 6 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| AMD Radeon RX 7900 XTX | 24 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | Se espera que quepa en 5 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA GeForce RTX 3090 | 24 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Se espera que quepa en 5 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA GeForce RTX 3090 Ti | 24 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Se espera que quepa en 5 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA L4 | 24 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | — | No cabe |
| NVIDIA Tesla P40 | 24 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | — | No cabe |
| AMD Radeon AI PRO R9700 | 32 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | — | No cabe |
| AMD Radeon PRO W7800 32GB | 32 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | — | No cabe |
| NVIDIA GeForce RTX 5090 | 32 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Se espera que quepa en 4 tarjetas idénticas (reparto uniforme predeterminado). Con menos tarjetas queda al límite. | No cabe |
| NVIDIA Tesla V100 32GB | 32 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | — | No cabe |
| AMD Radeon PRO W7800 48GB | 48 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | — | No cabe |
| AMD Radeon PRO W7900 | 48 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | — | No cabe |
| NVIDIA L40 | 48 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | — | No cabe |
| AMD Instinct MI210 | 64 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | — | No cabe |
GPUs sin veredicto
| GPU | Memoria | Perfil de ejecución | Cuantización más pequeña | Memoria disponible necesaria para «Cabe» | Por qué no hay veredicto | Resultado |
|---|---|---|---|---|---|---|
| NVIDIA H100 PCIe | 80 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Desconocido: no se ha establecido la configuración de memoria de esta GPU; solo se mostraría «No cabe». | Desconocido |
| NVIDIA H100 NVL | 94 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Desconocido: no se ha establecido la configuración de memoria de esta GPU; solo se mostraría «No cabe». | Desconocido |
| NVIDIA H200 SXM | 141 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Desconocido: no se ha establecido la configuración de memoria de esta GPU; solo se mostraría «No cabe». | Desconocido |
| NVIDIA B200 | 180 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Desconocido: no se ha establecido la configuración de memoria de esta GPU; solo se mostraría «No cabe». | Desconocido |
| AMD Instinct MI300X | 192 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | Desconocido: no se ha establecido la configuración de memoria de esta GPU; solo se mostraría «No cabe». | Desconocido |
| NVIDIA B100 | 192 GB | CUDA (NVIDIA) | Q2_K | 84,9 GiB | Desconocido: no se ha establecido la configuración de memoria de esta GPU; solo se mostraría «No cabe». | Desconocido |
| AMD Instinct MI325X | 256 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | Desconocido: no se ha establecido la configuración de memoria de esta GPU; solo se mostraría «No cabe». | Desconocido |
| AMD Instinct MI350X | 288 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | Desconocido: no se ha establecido la configuración de memoria de esta GPU; solo se mostraría «No cabe». | Desconocido |
| AMD Instinct MI355X | 288 GB | ROCm en Linux (AMD) | Q2_K | 84,9 GiB | Desconocido: no se ha establecido la configuración de memoria de esta GPU; solo se mostraría «No cabe». | Desconocido |
- CUDA (NVIDIA): llama.cpp, motor de ejecución CUDA (GPU discreta NVIDIA), todas las capas en la GPU, Flash Attention activado, micro-lote (-ub) 512, KV cache F16, contexto (-c) según se indica; «Cabe» se determina con las 4 secuencias paralelas predeterminadas de llama-server (-np auto, KV cache unificada) y «No cabe» con 1 secuencia; GPU inactiva, sin otros programas que usen su memoria.
- ROCm en Linux (AMD): llama.cpp, motor ROCm en Linux (GPU discreta AMD), todas las capas en la GPU, Flash Attention activado, micro-lote (-ub) 512, KV cache F16, contexto (-c) como se indica; «cabe» se evalúa con las 4 secuencias paralelas predeterminadas de llama-server (-np auto, KV cache unificada) y «no cabe» con 1 secuencia; GPU inactiva, sin otros programas que usen su memoria.