Kann AMD Radeon RX 7800 XT Devstral-Small-2-24B-Instruct-2512 ausführen?

Diese Seite wurde automatisch von einer KI geschrieben und übersetzt und von Software anhand ihrer Quellen geprüft, ohne menschliche Bearbeitung. Die Spezifikationen stammen aus den angegebenen Quellen; Speicherbedarf und Geschwindigkeiten sind Schätzungen, die mit veröffentlichten Formeln berechnet wurden. Wie wir KI nutzen

Passt Nach der Standard-Ladeprüfung von llama.cpp passt Devstral-Small-2-24B-Instruct-2512 bei IQ4_XS und einem Kontext von 8.192 Tokens auf AMD Radeon RX 7800 XT. Eine Karte benötigt dafür 14,7 GiB verfügbaren Speicher, damit das Ergebnis „passt“ lautet.

Bei IQ4_XS beträgt die längste Kontextlänge, die passt, 8.192 Tokens.

„Passt“ bedeutet: Die standardmäßige --fit-Ladeprüfung von llama.cpp würde alle Layer auf der GPU platzieren. Unsere Schätzung der Puffer von llama.cpp, plus deren Fehlermarge, plus die Reserve von 1 GiB pro Karte bei llama.cpp liegt innerhalb des als verfügbar gezählten Speichers. Es ist keine Zusage, dass der Spitzenspeicherbedarf während der Generierung passt. Wie Ergebnisse bestimmt werden

Werte aktualisiert am 19. Okt. 2026 · Rechner

Laufzeitprofil: llama.cpp, ROCm-Backend unter Linux (dedizierte AMD-GPU), alle Layer auf der GPU, Flash Attention an, Micro-Batch (-ub) 512, F16-KV-cache, Kontextlänge (-c) wie angezeigt; „Passt“ wird mit den 4 parallelen Sequenzen beurteilt, die llama-server standardmäßig nutzt (-np auto, einheitlicher KV-Cache), „Passt nicht“ mit 1 Sequenz; unbelastete GPU, ohne andere Programme, die ihren Speicher nutzen.

Als verfügbar für „Passt“ gezählter Speicher (C_low): 14,75 GiB pro Karte = 16 GiB nominal − 16 MiB (nominal abzüglich der Gesamtmenge, die llama.cpp in öffentlichen Logs für diese GPU gemeldet hat) − 1.216 MiB (die größte Start- und Laufzeitbelegung in den öffentlichen Logs dieses Profils), abgerundet auf ein Vielfaches von 64 MiB.

Diese Ergebnisse gelten für die Konfiguration aus öffentlichen Logs, in der llama.cpp für diese GPU 16.368 MiB Gesamtspeicher gemeldet hat. Einstellungen, die den nutzbaren Speicher verringern (zum Beispiel ECC, sofern die Karte es unterstützt), sind nicht berücksichtigt.

Speicher für „Passt nicht“ (C_high): der volle Speicher von 16 GiB pro Karte. Laufzeitprofile und ihre Messungen

Benötigter Speicher nach Quantisierung und Kontextlänge

Verfügbarer Speicher, der für „Passt“ nötig ist (X, GiB pro Karte), und das Ergebnis auf AMD Radeon RX 7800 XT.
Quantisierung	4.096	8.192	32.768	131.072
BF16	46,8 GiB Passt nicht	47,5 GiB Passt nicht	51,5 GiB Passt nicht	67,5 GiB Passt nicht
Q8_0	25,8 GiB Passt nicht	26,5 GiB Passt nicht	30,4 GiB Passt nicht	46,4 GiB Passt nicht
Q6_K	20,3 GiB Passt nicht	21,0 GiB Passt nicht	25,0 GiB Passt nicht	41,0 GiB Passt nicht
Q5_K_M	17,9 GiB Grenzwertig	18,6 GiB Grenzwertig	22,6 GiB Passt nicht	38,6 GiB Passt nicht
Q4_K_M	15,6 GiB Grenzwertig	16,3 GiB Grenzwertig	20,3 GiB Passt nicht	36,3 GiB Passt nicht
Q4_0	14,8 GiB Grenzwertig	15,4 GiB Grenzwertig	19,4 GiB Grenzwertig	35,4 GiB Passt nicht
IQ4_XS	14,1 GiB Passt	14,7 GiB Passt	18,7 GiB Grenzwertig	34,7 GiB Passt nicht
Q3_K_M	12,9 GiB Passt	13,6 GiB Passt	17,6 GiB Grenzwertig	33,5 GiB Passt nicht
Q2_K	10,4 GiB Passt	11,1 GiB Passt	15,1 GiB Grenzwertig	31,1 GiB Passt nicht

Es wird keine Geschwindigkeitsobergrenze angegeben: Die Speicherbandbreite von AMD Radeon RX 7800 XT ist nicht durch zwei unabhängige offene Quellen bestätigt.

Alternativen

Andere GPUs mit 16 GB, auf denen Devstral-Small-2-24B-Instruct-2512 passt

Quellen

Modellseite mit allen Quantisierungen und ihren Dateien: Devstral-Small-2-24B-Instruct-2512
GPU-Seite mit allen Spezifikationen und ihren Quellen: AMD Radeon RX 7800 XT
Modelldateien auf Hugging Face (fixierte Revisionen): mistralai/Devstral-Small-2-24B-Instruct-2512@55c5b41, unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF@6e458b8
Speichergröße von AMD Radeon RX 7800 XT laut: Wikipedia: Radeon RX 7000 series (CC BY-SA 4.0), ROCm documentation gpu-specs.rst (MIT)
Methodik