¿Puede NVIDIA GeForce RTX 2080 Ti ejecutar DeepSeek-R1-0528-Qwen3-8B?
Esta página fue escrita y traducida automáticamente por IA y verificada por software con respecto a sus fuentes, sin edición humana. Las especificaciones provienen de las fuentes indicadas; los requisitos de memoria y las velocidades son estimaciones calculadas con fórmulas publicadas. Cómo usamos la IA
Cabe Según la comprobación de carga predeterminada de llama.cpp, DeepSeek-R1-0528-Qwen3-8B cabe en NVIDIA GeForce RTX 2080 Ti con Q5_K_M y un contexto de 8192 tokens. Una tarjeta necesita 7,8 GiB disponibles para «Cabe».
Con Q5_K_M, la mayor longitud de contexto que cabe es de 8448 tokens.
Perfil de ejecución: llama.cpp, motor de ejecución CUDA (GPU discreta NVIDIA), todas las capas en la GPU, Flash Attention activado, micro-lote (-ub) 512, KV cache F16, contexto (-c) según se indica; «Cabe» se determina con las 4 secuencias paralelas predeterminadas de llama-server (-np auto, KV cache unificada) y «No cabe» con 1 secuencia; GPU inactiva, sin otros programas que usen su memoria.
Memoria contada como disponible para «Cabe» (C_low): 7,88 GiB por tarjeta = 11 GiB nominales − 1054 MiB (la mayor diferencia entre el valor nominal y el total indicado, medida en GPUs de consumo y de estación de trabajo de este perfil; se usa porque ningún registro público indica el total propio de esta GPU) − 2112 MiB (el mayor uso de arranque y de ejecución observado en los registros públicos de este perfil), redondeado hacia abajo a un múltiplo de 64 MiB.
Estos resultados asumen la configuración predeterminada de la tarjeta gráfica. No se contemplan los ajustes que reducen la memoria utilizable (por ejemplo, ECC, en las tarjetas que lo admiten).
Memoria usada para «No cabe» (C_high): los 11 GiB completos por tarjeta. Perfiles de ejecución y sus mediciones
Memoria necesaria por cuantización y longitud de contexto
| Cuantización | 4096 | 8192 | 32.768 | 131.072 |
|---|---|---|---|---|
| BF16 | 16,7 GiB No cabe | 17,3 GiB No cabe | 20,9 GiB No cabe | 35,4 GiB No cabe |
| Q8_0 | 9,8 GiB Al límite | 10,4 GiB Al límite | 14,0 GiB No cabe | 28,4 GiB No cabe |
| Q6_K | 8,0 GiB Al límite | 8,6 GiB Al límite | 12,2 GiB Al límite | 26,6 GiB No cabe |
| Q5_K_M | 7,2 GiB Cabe | 7,8 GiB Cabe | 11,4 GiB Al límite | 25,8 GiB No cabe |
| Q4_K_M | 6,5 GiB Cabe | 7,1 GiB Cabe | 10,7 GiB Al límite | 25,1 GiB No cabe |
| Q4_0 | 6,2 GiB Cabe | 6,8 GiB Cabe | 10,5 GiB Al límite | 24,9 GiB No cabe |
| IQ4_XS | 6,0 GiB Cabe | 6,6 GiB Cabe | 10,2 GiB Al límite | 24,7 GiB No cabe |
| Q3_K_M | 5,7 GiB Cabe | 6,3 GiB Cabe | 9,9 GiB Al límite | 24,3 GiB No cabe |
| Q2_K | 4,9 GiB Cabe | 5,5 GiB Cabe | 9,1 GiB Al límite | 23,5 GiB No cabe |
¿Qué tan rápido puede generar?
Con Q5_K_M, el límite teórico es de aproximadamente 93,0 tokens por segundo (616 GB/s ÷ 6,63 GB leídos por token).
Alternativas
Otras GPUs de 11 GB en las que DeepSeek-R1-0528-Qwen3-8B cabe
Fuentes
- Página del modelo, con todas las cuantizaciones y sus archivos: DeepSeek-R1-0528-Qwen3-8B
- Página de la GPU, con cada especificación y sus fuentes: NVIDIA GeForce RTX 2080 Ti
- Archivos del modelo en Hugging Face (revisiones fijadas): deepseek-ai/DeepSeek-R1-0528-Qwen3-8B@6e8885a, unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF@eb48357
- Tamaño de memoria de NVIDIA GeForce RTX 2080 Ti según: Wikipedia: GeForce RTX 20 series (CC BY-SA 4.0), GetDeploying GPU Models (CC BY 4.0)
- Metodología