DeskGPU
Deutsch

Kann NVIDIA GeForce RTX 3090 Qwen3-Coder-30B-A3B-Instruct ausführen?

Diese Seite wurde automatisch von einer KI geschrieben und übersetzt und von Software anhand ihrer Quellen geprüft, ohne menschliche Bearbeitung. Die Spezifikationen stammen aus den angegebenen Quellen; Speicherbedarf und Geschwindigkeiten sind Schätzungen, die mit veröffentlichten Formeln berechnet wurden. Wie wir KI nutzen

Passt Nach der Standard-Ladeprüfung von llama.cpp passt Qwen3-Coder-30B-A3B-Instruct bei Q4_K_M und einem Kontext von 8.192 Tokens auf NVIDIA GeForce RTX 3090. Eine Karte benötigt dafür 20,1 GiB verfügbaren Speicher, damit das Ergebnis „passt“ lautet.

Bei Q4_K_M beträgt die längste Kontextlänge, die passt, 21.504 Tokens.

„Passt“ bedeutet: Die standardmäßige --fit-Ladeprüfung von llama.cpp würde alle Layer auf der GPU platzieren. Unsere Schätzung der Puffer von llama.cpp, plus deren Fehlermarge, plus die Reserve von 1 GiB pro Karte bei llama.cpp liegt innerhalb des als verfügbar gezählten Speichers. Es ist keine Zusage, dass der Spitzenspeicherbedarf während der Generierung passt. Wie Ergebnisse bestimmt werden

Werte aktualisiert am 19. Okt. 2026 · Rechner

Laufzeitprofil: llama.cpp, CUDA-Backend (dedizierte NVIDIA-GPU), alle Layer auf der GPU, Flash Attention an, Micro-Batch (-ub) 512, F16-KV-cache, Kontextlänge (-c) wie angezeigt; „Passt“ wird mit den 4 parallelen Sequenzen beurteilt, die llama-server standardmäßig nutzt (-np auto, einheitlicher KV-Cache), „Passt nicht“ mit 1 Sequenz; unbelastete GPU, ohne andere Programme, die ihren Speicher nutzen.

Als verfügbar für „Passt“ gezählter Speicher (C_low): 21,44 GiB pro Karte = 24 GiB nominal − 453 MiB (nominal abzüglich der Gesamtmenge, die llama.cpp in öffentlichen Logs für diese GPU gemeldet hat) − 2.112 MiB (die größte Start- und Laufzeitbelegung in den öffentlichen Logs dieses Profils), abgerundet auf ein Vielfaches von 64 MiB.

Diese Ergebnisse gelten für die Konfiguration aus öffentlichen Logs, in der llama.cpp für diese GPU 24.123 MiB Gesamtspeicher gemeldet hat. Einstellungen, die den nutzbaren Speicher verringern (zum Beispiel ECC, sofern die Karte es unterstützt), sind nicht berücksichtigt.

Speicher für „Passt nicht“ (C_high): der volle Speicher von 24 GiB pro Karte. Laufzeitprofile und ihre Messungen

Benötigter Speicher nach Quantisierung und Kontextlänge

Verfügbarer Speicher, der für „Passt“ nötig ist (X, GiB pro Karte), und das Ergebnis auf NVIDIA GeForce RTX 3090.
Quantisierung4.0968.19232.768131.072
BF16 61,0 GiB Passt nicht61,4 GiB Passt nicht63,8 GiB Passt nicht73,5 GiB Passt nicht
Q8_0 33,2 GiB Passt nicht33,6 GiB Passt nicht36,0 GiB Passt nicht45,7 GiB Passt nicht
Q6_K 26,1 GiB Grenzwertig26,5 GiB Grenzwertig28,9 GiB Passt nicht38,5 GiB Passt nicht
Q5_K_M 22,8 GiB Grenzwertig23,2 GiB Grenzwertig25,6 GiB Grenzwertig35,3 GiB Passt nicht
Q4_K_M 19,7 GiB Passt20,1 GiB Passt22,5 GiB Grenzwertig32,2 GiB Passt nicht
Q4_0 18,6 GiB Passt19,0 GiB Passt21,4 GiB Passt31,1 GiB Passt nicht
IQ4_XS 17,6 GiB Passt18,0 GiB Passt20,4 GiB Passt30,1 GiB Passt nicht
Q3_K_M 16,0 GiB Passt16,4 GiB Passt18,8 GiB Passt28,5 GiB Grenzwertig
Q2_K 12,6 GiB Passt13,0 GiB Passt15,5 GiB Passt25,1 GiB Grenzwertig

Wie schnell kann es generieren?

Bei Q4_K_M liegt die theoretische Obergrenze bei etwa 343 Tokens pro Sekunde (936 GB/s ÷ 2,72 GB Lesevolumen pro Token).

Die Geschwindigkeitsobergrenze ergibt sich aus der Speicherbandbreite geteilt durch die pro erzeugtem Token gelesenen Bytes. Sie ist eine theoretische Obergrenze; öffentliche llama.cpp-Benchmarks erreichen typischerweise etwa die Hälfte bis vier Fünftel davon, kleine Modelle und Mixture-of-Experts-Modelle oft weniger. Öffentliche Benchmarks

Alternativen

Andere GPUs mit 24 GB, auf denen Qwen3-Coder-30B-A3B-Instruct passt

Quellen