Diese Seite wurde automatisch von einer KI geschrieben und übersetzt und von Software anhand ihrer Quellen geprüft, ohne menschliche Bearbeitung. Die Spezifikationen stammen aus den angegebenen Quellen; Speicherbedarf und Geschwindigkeiten sind Schätzungen, die mit veröffentlichten Formeln berechnet wurden. Wie wir KI nutzen
gemma-2-9b-it hat 9,2B Parameter. Bei IQ4_XS und einem Kontext von 8.192 Tokens benötigt eine einzelne GPU 9,4 GiB verfügbaren Speicher, damit das Ergebnis „passt“ lautet.
KV-Cache pro Token (F16, alle Attention-Schichten)
336,0 KiB
Längste unterstützte Kontextlänge
8.192
Die Architektur stammt nur aus dem GGUF-Header: Das ursprüngliche Repository ist zugangsbeschränkt (gated), daher konnte sie nicht mit dessen config.json gegengeprüft werden.
Die Dateigrößen sind die der echten Dateien auf Hugging Face. Die übrigen Spalten geben X an, den verfügbaren Speicher, den eine GPU benötigt, damit das Ergebnis „passt“ lautet (größte Pufferschätzung ÷ 0.95 + 1 GiB), mit llama.cpp, Flash Attention, KV-Cache in F16, 4 parallelen Sequenzen und Micro-Batch 512. Sie hängen von keiner bestimmten GPU ab.
Quantisierung
Dateigröße
X bei 4.096 Kontextlänge
X bei 8.192 Kontextlänge
Q8_0
9,95 GiB
13,4 GiB
14,8 GiB
Q6_K
7,27 GiB
10,6 GiB
12,0 GiB
Q5_K_M
6,19 GiB
9,4 GiB
10,8 GiB
IQ4_XS
4,83 GiB
8,0 GiB
9,4 GiB
Q3_K_M
4,43 GiB
7,6 GiB
9,0 GiB
IQ3_XXS
3,54 GiB
6,6 GiB
8,0 GiB
Q2_K
3,54 GiB
6,6 GiB
8,0 GiB
IQ2_M
3,20 GiB
6,3 GiB
7,7 GiB
Kleinste GPU für jede Quantisierung
Für jede Quantisierung: die gelistete GPU mit dem geringsten Speicher, deren Schätzung bei 8.192 Tokens Kontext auf einer Karte „passt“ ergibt. GPUs, deren Ergebnis „Unbekannt“ lautet (kein Laufzeitprofil, Workstation- und Rechenzentrumskarten, Unified Memory (gemeinsamer Speicher)), werden nicht berücksichtigt.
„Passt“ bedeutet: Die standardmäßige --fit-Ladeprüfung von llama.cpp würde alle Layer auf der GPU platzieren. Unsere Schätzung der Puffer von llama.cpp, plus deren Fehlermarge, plus die Reserve von 1 GiB pro Karte bei llama.cpp liegt innerhalb des als verfügbar gezählten Speichers. Es ist keine Zusage, dass der Spitzenspeicherbedarf während der Generierung passt. Wie Ergebnisse bestimmt werden
Kontextlänge 8.192 Tokens. Höchste Quantisierung, die auf eine Karte passt, ihre längste Kontextlänge und die Obergrenze der Geschwindigkeit.
Kontextlänge 8.192 Tokens. Keine Einschätzung für diese GPUs (siehe „Warum keine Einschätzung“); der angezeigte Bedarf gilt für die niedrigste Quantisierung.
Unbekannt: Die Speicherkonfiguration dieser GPU ist nicht belegt; es würde nur „Passt nicht“ angezeigt.
Unbekannt
CUDA (NVIDIA): llama.cpp, CUDA-Backend (dedizierte NVIDIA-GPU), alle Layer auf der GPU, Flash Attention an, Micro-Batch (-ub) 512, F16-KV-cache, Kontextlänge (-c) wie angezeigt; „Passt“ wird mit den 4 parallelen Sequenzen beurteilt, die llama-server standardmäßig nutzt (-np auto, einheitlicher KV-Cache), „Passt nicht“ mit 1 Sequenz; unbelastete GPU, ohne andere Programme, die ihren Speicher nutzen.
ROCm unter Linux (AMD): llama.cpp, ROCm-Backend unter Linux (dedizierte AMD-GPU), alle Layer auf der GPU, Flash Attention an, Micro-Batch (-ub) 512, F16-KV-cache, Kontextlänge (-c) wie angezeigt; „Passt“ wird mit den 4 parallelen Sequenzen beurteilt, die llama-server standardmäßig nutzt (-np auto, einheitlicher KV-Cache), „Passt nicht“ mit 1 Sequenz; unbelastete GPU, ohne andere Programme, die ihren Speicher nutzen.
Die Geschwindigkeitsobergrenze ergibt sich aus der Speicherbandbreite geteilt durch die pro erzeugtem Token gelesenen Bytes. Sie ist eine theoretische Obergrenze; öffentliche llama.cpp-Benchmarks erreichen typischerweise etwa die Hälfte bis vier Fünftel davon, kleine Modelle und Mixture-of-Experts-Modelle oft weniger. Öffentliche Benchmarks
Originalgewichte
Die originalen Gewichtsdateien des Modells (safetensors, gezählt wie in der Methodik beschrieben) umfassen insgesamt 17,2 GiB. Sie werden nur zur Referenz aufgeführt; jede Schätzung auf dieser Seite bezieht sich auf die oben genannten GGUF-Dateien, ausgeführt mit llama.cpp. google/gemma-2-9b-it · Methodik