Kann NVIDIA GeForce RTX 5090 Qwen3-30B-A3B-Instruct-2507 ausführen?

Diese Seite wurde automatisch von einer KI geschrieben und übersetzt und von Software anhand ihrer Quellen geprüft, ohne menschliche Bearbeitung. Die Spezifikationen stammen aus den angegebenen Quellen; Speicherbedarf und Geschwindigkeiten sind Schätzungen, die mit veröffentlichten Formeln berechnet wurden. Wie wir KI nutzen

Passt Nach der Standard-Ladeprüfung von llama.cpp passt Qwen3-30B-A3B-Instruct-2507 bei Q6_K und einem Kontext von 8.192 Tokens auf NVIDIA GeForce RTX 5090. Eine Karte benötigt dafür 26,5 GiB verfügbaren Speicher, damit das Ergebnis „passt“ lautet.

Bei Q6_K beträgt die längste Kontextlänge, die passt, 36.608 Tokens.

„Passt“ bedeutet: Die standardmäßige --fit-Ladeprüfung von llama.cpp würde alle Layer auf der GPU platzieren. Unsere Schätzung der Puffer von llama.cpp, plus deren Fehlermarge, plus die Reserve von 1 GiB pro Karte bei llama.cpp liegt innerhalb des als verfügbar gezählten Speichers. Es ist keine Zusage, dass der Spitzenspeicherbedarf während der Generierung passt. Wie Ergebnisse bestimmt werden

Werte aktualisiert am 19. Okt. 2026 · Rechner

Laufzeitprofil: llama.cpp, CUDA-Backend (dedizierte NVIDIA-GPU), alle Layer auf der GPU, Flash Attention an, Micro-Batch (-ub) 512, F16-KV-cache, Kontextlänge (-c) wie angezeigt; „Passt“ wird mit den 4 parallelen Sequenzen beurteilt, die llama-server standardmäßig nutzt (-np auto, einheitlicher KV-Cache), „Passt nicht“ mit 1 Sequenz; unbelastete GPU, ohne andere Programme, die ihren Speicher nutzen.

Als verfügbar für „Passt“ gezählter Speicher (C_low): 29,25 GiB pro Karte = 32 GiB nominal − 659 MiB (nominal abzüglich der Gesamtmenge, die llama.cpp in öffentlichen Logs für diese GPU gemeldet hat) − 2.112 MiB (die größte Start- und Laufzeitbelegung in den öffentlichen Logs dieses Profils), abgerundet auf ein Vielfaches von 64 MiB.

Diese Ergebnisse gelten für die Konfiguration aus öffentlichen Logs, in der llama.cpp für diese GPU 32.109 MiB Gesamtspeicher gemeldet hat. Einstellungen, die den nutzbaren Speicher verringern (zum Beispiel ECC, sofern die Karte es unterstützt), sind nicht berücksichtigt.

Speicher für „Passt nicht“ (C_high): der volle Speicher von 32 GiB pro Karte. Laufzeitprofile und ihre Messungen

Benötigter Speicher nach Quantisierung und Kontextlänge

Verfügbarer Speicher, der für „Passt“ nötig ist (X, GiB pro Karte), und das Ergebnis auf NVIDIA GeForce RTX 5090.
Quantisierung	4.096	8.192	32.768	131.072
BF16	61,0 GiB Passt nicht	61,4 GiB Passt nicht	63,8 GiB Passt nicht	73,5 GiB Passt nicht
Q8_0	33,2 GiB Grenzwertig	33,6 GiB Grenzwertig	36,0 GiB Grenzwertig	45,7 GiB Passt nicht
Q6_K	26,1 GiB Passt	26,5 GiB Passt	28,9 GiB Passt	38,5 GiB Passt nicht
Q5_K_M	22,8 GiB Passt	23,2 GiB Passt	25,6 GiB Passt	35,3 GiB Grenzwertig
Q4_K_M	19,7 GiB Passt	20,1 GiB Passt	22,5 GiB Passt	32,2 GiB Grenzwertig
Q4_0	18,6 GiB Passt	19,0 GiB Passt	21,4 GiB Passt	31,1 GiB Grenzwertig
IQ4_XS	17,6 GiB Passt	18,0 GiB Passt	20,4 GiB Passt	30,1 GiB Grenzwertig
Q3_K_M	16,0 GiB Passt	16,4 GiB Passt	18,8 GiB Passt	28,5 GiB Passt
Q2_K	12,6 GiB Passt	13,0 GiB Passt	15,5 GiB Passt	25,1 GiB Passt

Wie schnell kann es generieren?

Bei Q6_K liegt die theoretische Obergrenze bei etwa 536 Tokens pro Sekunde (1.792 GB/s ÷ 3,34 GB Lesevolumen pro Token).

Die Geschwindigkeitsobergrenze ergibt sich aus der Speicherbandbreite geteilt durch die pro erzeugtem Token gelesenen Bytes. Sie ist eine theoretische Obergrenze; öffentliche llama.cpp-Benchmarks erreichen typischerweise etwa die Hälfte bis vier Fünftel davon, kleine Modelle und Mixture-of-Experts-Modelle oft weniger. Öffentliche Benchmarks

Alternativen

Andere GPUs mit 32 GB, auf denen Qwen3-30B-A3B-Instruct-2507 passt

Keine andere GPU mit gleicher Speichergröße passt für dieses Modell.

Größtes Modell derselben Familie, das auf NVIDIA GeForce RTX 5090 passt

Qwen3-32B 32,8B · Q6_K · Detailseite

Dieselbe Familie: derselbe Herausgeber und derselbe Modellname bis zur Parameterzahl.

Quellen

Modellseite mit allen Quantisierungen und ihren Dateien: Qwen3-30B-A3B-Instruct-2507
GPU-Seite mit allen Spezifikationen und ihren Quellen: NVIDIA GeForce RTX 5090
Modelldateien auf Hugging Face (fixierte Revisionen): Qwen/Qwen3-30B-A3B-Instruct-2507@0d7cf23, unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF@eea7b2b
Speichergröße von NVIDIA GeForce RTX 5090 laut: Wikipedia: List of Nvidia graphics processing units (CC BY-SA 4.0), GetDeploying GPU Models (CC BY 4.0)
Methodik