¿Puede AMD Radeon RX 7900 XTX ejecutar Devstral-Small-2-24B-Instruct-2512?

Esta página fue escrita y traducida automáticamente por IA y verificada por software con respecto a sus fuentes, sin edición humana. Las especificaciones provienen de las fuentes indicadas; los requisitos de memoria y las velocidades son estimaciones calculadas con fórmulas publicadas. Cómo usamos la IA

Cabe Según la comprobación de carga predeterminada de llama.cpp, Devstral-Small-2-24B-Instruct-2512 cabe en AMD Radeon RX 7900 XTX con Q6_K y un contexto de 8192 tokens. Una tarjeta necesita 21,0 GiB disponibles para «Cabe».

Con Q6_K, la mayor longitud de contexto que cabe es de 18.688 tokens.

“Cabe” significa que la comprobación de carga predeterminada --fit de llama.cpp colocaría todas las capas en la GPU: nuestra estimación de los búferes de llama.cpp, más su margen de error, más la reserva de 1 GiB por tarjeta de llama.cpp, está dentro de la memoria contada como disponible. No garantiza que quepa el pico de memoria durante la generación. Cómo se deciden los resultados

Valores actualizados el 19 oct 2026 · Calculadora

Perfil de ejecución: llama.cpp, motor ROCm en Linux (GPU discreta AMD), todas las capas en la GPU, Flash Attention activado, micro-lote (-ub) 512, KV cache F16, contexto (-c) como se indica; «cabe» se evalúa con las 4 secuencias paralelas predeterminadas de llama-server (-np auto, KV cache unificada) y «no cabe» con 1 secuencia; GPU inactiva, sin otros programas que usen su memoria.

Memoria contada como disponible para «Cabe» (C_low): 22,75 GiB por tarjeta = 24 GiB nominales − 16 MiB (nominal menos el total que llama.cpp indicó para esta GPU en registros públicos) − 1216 MiB (el mayor uso de arranque y de ejecución observado en los registros públicos de este perfil), redondeado hacia abajo a un múltiplo de 64 MiB.

Estos resultados se aplican a la configuración observada en registros públicos, en la que llama.cpp indicó 24.560 MiB de memoria total para esta GPU. No se cubren los ajustes que reducen la memoria utilizable (por ejemplo, ECC, si la tarjeta lo admite).

Memoria usada para «No cabe» (C_high): los 24 GiB completos por tarjeta. Perfiles de ejecución y sus mediciones

Memoria necesaria por cuantización y longitud de contexto

Memoria disponible necesaria para “Cabe” (X, GiB por tarjeta) y el resultado en AMD Radeon RX 7900 XTX.
Cuantización	4096	8192	32.768	131.072
BF16	46,8 GiB No cabe	47,5 GiB No cabe	51,5 GiB No cabe	67,5 GiB No cabe
Q8_0	25,8 GiB Al límite	26,5 GiB Al límite	30,4 GiB No cabe	46,4 GiB No cabe
Q6_K	20,3 GiB Cabe	21,0 GiB Cabe	25,0 GiB Al límite	41,0 GiB No cabe
Q5_K_M	17,9 GiB Cabe	18,6 GiB Cabe	22,6 GiB Cabe	38,6 GiB No cabe
Q4_K_M	15,6 GiB Cabe	16,3 GiB Cabe	20,3 GiB Cabe	36,3 GiB No cabe
Q4_0	14,8 GiB Cabe	15,4 GiB Cabe	19,4 GiB Cabe	35,4 GiB No cabe
IQ4_XS	14,1 GiB Cabe	14,7 GiB Cabe	18,7 GiB Cabe	34,7 GiB No cabe
Q3_K_M	12,9 GiB Cabe	13,6 GiB Cabe	17,6 GiB Cabe	33,5 GiB No cabe
Q2_K	10,4 GiB Cabe	11,1 GiB Cabe	15,1 GiB Cabe	31,1 GiB No cabe

No se indica un límite de velocidad: el ancho de banda de memoria de AMD Radeon RX 7900 XTX no está confirmado por dos fuentes abiertas independientes.

Alternativas

Otras GPUs de 24 GB en las que Devstral-Small-2-24B-Instruct-2512 cabe

NVIDIA GeForce RTX 3090 24 GB
NVIDIA GeForce RTX 3090 Ti 24 GB

Fuentes

Página del modelo, con todas las cuantizaciones y sus archivos: Devstral-Small-2-24B-Instruct-2512
Página de la GPU, con cada especificación y sus fuentes: AMD Radeon RX 7900 XTX
Archivos del modelo en Hugging Face (revisiones fijadas): mistralai/Devstral-Small-2-24B-Instruct-2512@55c5b41, unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF@6e458b8
Tamaño de memoria de AMD Radeon RX 7900 XTX según: Wikipedia: Radeon RX 7000 series (CC BY-SA 4.0), ROCm documentation gpu-specs.rst (MIT)
Metodología