NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16: ¿cuánta VRAM necesita?

Esta página fue escrita y traducida automáticamente por IA y verificada por software con respecto a sus fuentes, sin edición humana. Las especificaciones provienen de las fuentes indicadas; los requisitos de memoria y las velocidades son estimaciones calculadas con fórmulas publicadas. Cómo usamos la IA

NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 es un modelo de mezcla de expertos con 121B parámetros, de los cuales unos 12,2B están activos por token (sin contar la búsqueda de embeddings de entrada). Con Q4_0 y un contexto de 8192 tokens, una sola GPU necesita 71,8 GiB de memoria disponible para que el resultado sea «Cabe».

Valores actualizados el 19 oct 2026

Datos clave

Archivos GGUF y memoria necesaria

Todas las cuantizaciones provienen de un único repositorio GGUF en una única revisión fijada: ggml-org/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF@3c91ad1

GPU más pequeña para cada cuantización

GPUs que pueden ejecutar NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16

“Cabe” significa que la comprobación de carga predeterminada --fit de llama.cpp colocaría todas las capas en la GPU: nuestra estimación de los búferes de llama.cpp, más su margen de error, más la reserva de 1 GiB por tarjeta de llama.cpp, está dentro de la memoria contada como disponible. No garantiza que quepa el pico de memoria durante la generación. Cómo se deciden los resultados

Ninguna GPU de la base de datos puede alojar este modelo en una sola tarjeta.

GPUs en las que no cabe en una tarjeta

GPUs sin veredicto

• CUDA (NVIDIA): llama.cpp, motor de ejecución CUDA (GPU discreta NVIDIA), todas las capas en la GPU, Flash Attention activado, micro-lote (-ub) 512, KV cache F16, contexto (-c) según se indica; «Cabe» se determina con las 4 secuencias paralelas predeterminadas de llama-server (-np auto, KV cache unificada) y «No cabe» con 1 secuencia; GPU inactiva, sin otros programas que usen su memoria.
• ROCm en Linux (AMD): llama.cpp, motor ROCm en Linux (GPU discreta AMD), todas las capas en la GPU, Flash Attention activado, micro-lote (-ub) 512, KV cache F16, contexto (-c) como se indica; «cabe» se evalúa con las 4 secuencias paralelas predeterminadas de llama-server (-np auto, KV cache unificada) y «no cabe» con 1 secuencia; GPU inactiva, sin otros programas que usen su memoria.

El techo de velocidad es el ancho de banda de memoria dividido entre los bytes leídos por cada token generado. Es un límite superior teórico; las pruebas de rendimiento públicas de llama.cpp suelen alcanzar entre la mitad y cuatro quintos de ese valor, y con modelos pequeños y modelos de mezcla de expertos a menudo alcanzan menos. Pruebas de rendimiento públicas

Pesos originales

Los archivos de pesos originales del modelo (safetensors, contados como se describe en la metodología) suman 231,8 GiB. Se indican solo como referencia; todas las estimaciones de esta página corresponden a los archivos GGUF anteriores, ejecutados con llama.cpp. nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 · Metodología

Fuentes

• Hugging Face: nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16@1f8953f
• Hugging Face (GGUF): ggml-org/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF@3c91ad1
• Metodología (llama.cpp 5aeac37a)