DeskGPU
Español

¿Puede NVIDIA GeForce RTX 3090 ejecutar gemma-3-27b-it?

Esta página fue escrita y traducida automáticamente por IA y verificada por software con respecto a sus fuentes, sin edición humana. Las especificaciones provienen de las fuentes indicadas; los requisitos de memoria y las velocidades son estimaciones calculadas con fórmulas publicadas. Cómo usamos la IA

Cabe Según la comprobación de carga predeterminada de llama.cpp, gemma-3-27b-it cabe en NVIDIA GeForce RTX 3090 con Q4_K_M y un contexto de 8192 tokens. Una tarjeta necesita 20,3 GiB disponibles para «Cabe».

Con Q4_K_M, la mayor longitud de contexto que cabe es de 21.248 tokens.

“Cabe” significa que la comprobación de carga predeterminada --fit de llama.cpp colocaría todas las capas en la GPU: nuestra estimación de los búferes de llama.cpp, más su margen de error, más la reserva de 1 GiB por tarjeta de llama.cpp, está dentro de la memoria contada como disponible. No garantiza que quepa el pico de memoria durante la generación. Cómo se deciden los resultados

Valores actualizados el 19 oct 2026 · Calculadora

Perfil de ejecución: llama.cpp, motor de ejecución CUDA (GPU discreta NVIDIA), todas las capas en la GPU, Flash Attention activado, micro-lote (-ub) 512, KV cache F16, contexto (-c) según se indica; «Cabe» se determina con las 4 secuencias paralelas predeterminadas de llama-server (-np auto, KV cache unificada) y «No cabe» con 1 secuencia; GPU inactiva, sin otros programas que usen su memoria.

Memoria contada como disponible para «Cabe» (C_low): 21,44 GiB por tarjeta = 24 GiB nominales − 453 MiB (nominal menos el total que llama.cpp indicó para esta GPU en registros públicos) − 2112 MiB (el mayor uso de arranque y de ejecución observado en los registros públicos de este perfil), redondeado hacia abajo a un múltiplo de 64 MiB.

Estos resultados se aplican a la configuración observada en registros públicos, en la que llama.cpp indicó 24.123 MiB de memoria total para esta GPU. No se cubren los ajustes que reducen la memoria utilizable (por ejemplo, ECC, si la tarjeta lo admite).

Memoria usada para «No cabe» (C_high): los 24 GiB completos por tarjeta. Perfiles de ejecución y sus mediciones

Memoria necesaria por cuantización y longitud de contexto

Memoria disponible necesaria para “Cabe” (X, GiB por tarjeta) y el resultado en NVIDIA GeForce RTX 3090.
Cuantización4096819232.768131.072
BF16 56,5 GiB No cabe57,1 GiB No cabe59,1 GiB No cabe67,2 GiB No cabe
Q8_0 31,7 GiB No cabe32,3 GiB No cabe34,3 GiB No cabe42,4 GiB No cabe
Q6_K 25,3 GiB Al límite25,9 GiB Al límite27,9 GiB Al límite36,0 GiB No cabe
Q5_K_M 22,5 GiB Al límite23,0 GiB Al límite25,0 GiB Al límite33,1 GiB No cabe
Q4_K_M 19,8 GiB Cabe20,3 GiB Cabe22,4 GiB Al límite30,5 GiB No cabe
Q4_0 18,9 GiB Cabe19,4 GiB Cabe21,5 GiB Al límite29,6 GiB Al límite
IQ4_XS 18,1 GiB Cabe18,6 GiB Cabe20,6 GiB Cabe28,7 GiB Al límite
Q3_K_M 16,7 GiB Cabe17,3 GiB Cabe19,3 GiB Cabe27,4 GiB Al límite
Q2_K 13,9 GiB Cabe14,4 GiB Cabe16,4 GiB Cabe24,5 GiB Al límite

¿Qué tan rápido puede generar?

Con Q4_K_M, el límite teórico es de aproximadamente 53,0 tokens por segundo (936 GB/s ÷ 17,65 GB leídos por token).

El techo de velocidad es el ancho de banda de memoria dividido entre los bytes leídos por cada token generado. Es un límite superior teórico; las pruebas de rendimiento públicas de llama.cpp suelen alcanzar entre la mitad y cuatro quintos de ese valor, y con modelos pequeños y modelos de mezcla de expertos a menudo alcanzan menos. Pruebas de rendimiento públicas

Alternativas

Otras GPUs de 24 GB en las que gemma-3-27b-it cabe

Fuentes