Llama-3.1-70B-Instruct: Wie viel VRAM wird benötigt?
Diese Seite wurde automatisch von einer KI geschrieben und übersetzt und von Software anhand ihrer Quellen geprüft, ohne menschliche Bearbeitung. Die Spezifikationen stammen aus den angegebenen Quellen; Speicherbedarf und Geschwindigkeiten sind Schätzungen, die mit veröffentlichten Formeln berechnet wurden. Wie wir KI nutzen
Llama-3.1-70B-Instruct hat 70,6B Parameter. Bei Q4_K_M und einem Kontext von 8.192 Tokens benötigt eine einzelne GPU 45,0 GiB verfügbaren Speicher, damit das Ergebnis „passt“ lautet.
Parameter (GGUF-Tensortabelle: die Tensoren, die llama.cpp lädt; Multi-Token-Prediction-Schichten nicht mitgezählt)
70,6B
Vom ursprünglichen Repository angegebene Parameter (können einen Vision-Encoder oder zusätzliche Schichten enthalten)
70,6B
Schichten
80
Attention-Aufbau
80 Full-Attention-Schichten
KV-Cache pro Token (F16, alle Attention-Schichten)
320,0 KiB
Längste unterstützte Kontextlänge
131.072
Die Architektur stammt nur aus dem GGUF-Header: Das ursprüngliche Repository ist zugangsbeschränkt (gated), daher konnte sie nicht mit dessen config.json gegengeprüft werden.
Die Dateigrößen sind die der echten Dateien auf Hugging Face. Die übrigen Spalten geben X an, den verfügbaren Speicher, den eine GPU benötigt, damit das Ergebnis „passt“ lautet (größte Pufferschätzung ÷ 0.95 + 1 GiB), mit llama.cpp, Flash Attention, KV-Cache in F16, 4 parallelen Sequenzen und Micro-Batch 512. Sie hängen von keiner bestimmten GPU ab.
Quantisierung
Dateigröße
X bei 4.096 Kontextlänge
X bei 8.192 Kontextlänge
X bei 32.768 Kontextlänge
X bei 131.072 Kontextlänge
Q8_0
69,83 GiB (2 Dateien)
75,0 GiB
76,3 GiB
84,3 GiB
116,0 GiB
Q6_K
53,91 GiB (2 Dateien)
58,5 GiB
59,8 GiB
67,8 GiB
99,5 GiB
Q5_K_M
46,52 GiB (2 Dateien)
50,8 GiB
52,2 GiB
60,1 GiB
91,9 GiB
Q4_K_M
39,60 GiB
43,7 GiB
45,0 GiB
53,0 GiB
84,7 GiB
IQ4_XS
35,30 GiB
39,2 GiB
40,5 GiB
48,5 GiB
80,2 GiB
Q3_K_M
31,91 GiB
35,7 GiB
37,1 GiB
45,0 GiB
76,8 GiB
Q2_K
24,56 GiB
28,1 GiB
29,4 GiB
37,4 GiB
69,1 GiB
IQ2_M
22,46 GiB
25,8 GiB
27,1 GiB
35,1 GiB
66,8 GiB
IQ2_XXS
17,79 GiB
21,0 GiB
22,3 GiB
30,2 GiB
62,0 GiB
Kleinste GPU für jede Quantisierung
Für jede Quantisierung: die gelistete GPU mit dem geringsten Speicher, deren Schätzung bei 8.192 Tokens Kontext auf einer Karte „passt“ ergibt. GPUs, deren Ergebnis „Unbekannt“ lautet (kein Laufzeitprofil, Workstation- und Rechenzentrumskarten, Unified Memory (gemeinsamer Speicher)), werden nicht berücksichtigt.
Quantisierung
Kleinste GPU, die passt (eine Karte)
Speicher
Q8_0
Das Modell passt auf keine einzelne der aufgeführten GPU-Karten. Für mehrere Karten verwenden Sie den Rechner
—
Q6_K
Das Modell passt auf keine einzelne der aufgeführten GPU-Karten. Für mehrere Karten verwenden Sie den Rechner
—
Q5_K_M
Das Modell passt auf keine einzelne der aufgeführten GPU-Karten. Für mehrere Karten verwenden Sie den Rechner
—
Q4_K_M
Das Modell passt auf keine einzelne der aufgeführten GPU-Karten. Für mehrere Karten verwenden Sie den Rechner
—
IQ4_XS
Das Modell passt auf keine einzelne der aufgeführten GPU-Karten. Für mehrere Karten verwenden Sie den Rechner
—
Q3_K_M
Das Modell passt auf keine einzelne der aufgeführten GPU-Karten. Für mehrere Karten verwenden Sie den Rechner
—
Q2_K
Das Modell passt auf keine einzelne der aufgeführten GPU-Karten. Für mehrere Karten verwenden Sie den Rechner
„Passt“ bedeutet: Die standardmäßige --fit-Ladeprüfung von llama.cpp würde alle Layer auf der GPU platzieren. Unsere Schätzung der Puffer von llama.cpp, plus deren Fehlermarge, plus die Reserve von 1 GiB pro Karte bei llama.cpp liegt innerhalb des als verfügbar gezählten Speichers. Es ist keine Zusage, dass der Spitzenspeicherbedarf während der Generierung passt. Wie Ergebnisse bestimmt werden
Kontextlänge 8.192 Tokens. Höchste Quantisierung, die auf eine Karte passt, ihre längste Kontextlänge und die Obergrenze der Geschwindigkeit.
Kontextlänge 8.192 Tokens. Keine Einschätzung für diese GPUs (siehe „Warum keine Einschätzung“); der angezeigte Bedarf gilt für die niedrigste Quantisierung.
Unbekannt: Die Speicherkonfiguration dieser GPU ist nicht belegt; es würde nur „Passt nicht“ angezeigt.
Unbekannt
CUDA (NVIDIA): llama.cpp, CUDA-Backend (dedizierte NVIDIA-GPU), alle Layer auf der GPU, Flash Attention an, Micro-Batch (-ub) 512, F16-KV-cache, Kontextlänge (-c) wie angezeigt; „Passt“ wird mit den 4 parallelen Sequenzen beurteilt, die llama-server standardmäßig nutzt (-np auto, einheitlicher KV-Cache), „Passt nicht“ mit 1 Sequenz; unbelastete GPU, ohne andere Programme, die ihren Speicher nutzen.
ROCm unter Linux (AMD): llama.cpp, ROCm-Backend unter Linux (dedizierte AMD-GPU), alle Layer auf der GPU, Flash Attention an, Micro-Batch (-ub) 512, F16-KV-cache, Kontextlänge (-c) wie angezeigt; „Passt“ wird mit den 4 parallelen Sequenzen beurteilt, die llama-server standardmäßig nutzt (-np auto, einheitlicher KV-Cache), „Passt nicht“ mit 1 Sequenz; unbelastete GPU, ohne andere Programme, die ihren Speicher nutzen.
Die Geschwindigkeitsobergrenze ergibt sich aus der Speicherbandbreite geteilt durch die pro erzeugtem Token gelesenen Bytes. Sie ist eine theoretische Obergrenze; öffentliche llama.cpp-Benchmarks erreichen typischerweise etwa die Hälfte bis vier Fünftel davon, kleine Modelle und Mixture-of-Experts-Modelle oft weniger. Öffentliche Benchmarks
Originalgewichte
Die originalen Gewichtsdateien des Modells (safetensors, gezählt wie in der Methodik beschrieben) umfassen insgesamt 131,4 GiB. Sie werden nur zur Referenz aufgeführt; jede Schätzung auf dieser Seite bezieht sich auf die oben genannten GGUF-Dateien, ausgeführt mit llama.cpp. meta-llama/Llama-3.1-70B-Instruct · Methodik