NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16: Wie viel VRAM wird benötigt?

Diese Seite wurde automatisch von einer KI geschrieben und übersetzt und von Software anhand ihrer Quellen geprüft, ohne menschliche Bearbeitung. Die Spezifikationen stammen aus den angegebenen Quellen; Speicherbedarf und Geschwindigkeiten sind Schätzungen, die mit veröffentlichten Formeln berechnet wurden. Wie wir KI nutzen

NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16 ist ein Mixture-of-Experts-Modell mit 121B Parametern, von denen etwa 12,2B pro Token aktiv sind (das Nachschlagen der Eingabe-Embeddings nicht mitgezählt). Bei Q4_K_M und einem Kontext von 8.192 Tokens benötigt eine einzelne GPU 86,1 GiB verfügbaren Speicher, damit das Ergebnis „passt“ lautet.

Werte aktualisiert am 19. Okt. 2026

Wichtige Fakten

GGUF-Dateien und benötigter Speicher

Alle Quantisierungen stammen aus einem GGUF-Repository in einer festgelegten Revision: mradermacher/NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16-i1-GGUF@6e62187

Kleinste GPU für jede Quantisierung

GPUs, die NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16 ausführen können

„Passt“ bedeutet: Die standardmäßige --fit-Ladeprüfung von llama.cpp würde alle Layer auf der GPU platzieren. Unsere Schätzung der Puffer von llama.cpp, plus deren Fehlermarge, plus die Reserve von 1 GiB pro Karte bei llama.cpp liegt innerhalb des als verfügbar gezählten Speichers. Es ist keine Zusage, dass der Spitzenspeicherbedarf während der Generierung passt. Wie Ergebnisse bestimmt werden

Das Modell passt auf keine einzelne GPU-Karte in der Datenbank.

GPUs, auf die es nicht auf eine Karte passt

GPUs ohne Einschätzung

• CUDA (NVIDIA): llama.cpp, CUDA-Backend (dedizierte NVIDIA-GPU), alle Layer auf der GPU, Flash Attention an, Micro-Batch (-ub) 512, F16-KV-cache, Kontextlänge (-c) wie angezeigt; „Passt“ wird mit den 4 parallelen Sequenzen beurteilt, die llama-server standardmäßig nutzt (-np auto, einheitlicher KV-Cache), „Passt nicht“ mit 1 Sequenz; unbelastete GPU, ohne andere Programme, die ihren Speicher nutzen.
• ROCm unter Linux (AMD): llama.cpp, ROCm-Backend unter Linux (dedizierte AMD-GPU), alle Layer auf der GPU, Flash Attention an, Micro-Batch (-ub) 512, F16-KV-cache, Kontextlänge (-c) wie angezeigt; „Passt“ wird mit den 4 parallelen Sequenzen beurteilt, die llama-server standardmäßig nutzt (-np auto, einheitlicher KV-Cache), „Passt nicht“ mit 1 Sequenz; unbelastete GPU, ohne andere Programme, die ihren Speicher nutzen.

Die Geschwindigkeitsobergrenze ergibt sich aus der Speicherbandbreite geteilt durch die pro erzeugtem Token gelesenen Bytes. Sie ist eine theoretische Obergrenze; öffentliche llama.cpp-Benchmarks erreichen typischerweise etwa die Hälfte bis vier Fünftel davon, kleine Modelle und Mixture-of-Experts-Modelle oft weniger. Öffentliche Benchmarks

Originalgewichte

Die originalen Gewichtsdateien des Modells (safetensors, gezählt wie in der Methodik beschrieben) umfassen insgesamt 230,2 GiB. Sie werden nur zur Referenz aufgeführt; jede Schätzung auf dieser Seite bezieht sich auf die oben genannten GGUF-Dateien, ausgeführt mit llama.cpp. nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16 · Methodik

Quellen

• Hugging Face: nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16@b4cc202
• Hugging Face (GGUF): mradermacher/NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16-i1-GGUF@6e62187
• Methodik (llama.cpp 5aeac37a)