Modelle nach Speichergröße durchsuchen
Diese Seite wurde automatisch von einer KI geschrieben und übersetzt und von Software anhand ihrer Quellen geprüft, ohne menschliche Bearbeitung. Die Spezifikationen stammen aus den angegebenen Quellen; Speicherbedarf und Geschwindigkeiten sind Schätzungen, die mit veröffentlichten Formeln berechnet wurden. Wie wir KI nutzen
Wie viele Modelle auf eine generische Consumer-GPU der jeweiligen Speichergröße passen (CUDA-Laufzeitprofil, Standardkonfiguration) bei einer Kontextlänge von 8.192 Tokens. Aufgeführt sind nur Größen, die Consumer-NVIDIA-GPUs in der Datenbank haben.
- 8 GB — 137 Modelle passen
- 12 GB — 223 Modelle passen
- 16 GB — 260 Modelle passen
- 24 GB — 305 Modelle passen
- 32 GB — 311 Modelle passen
Quellen
Diese Ergebnisse verwenden das CUDA-Laufzeitprofil; dessen Reserve stammt aus den Speicherangaben in diesen öffentlichen llama.cpp-Logs. Methodik
- ggml-org/llama.cpp/issues/29811
- ggml-org/llama.cpp/issues/27680
- ggml-org/llama.cpp/issues/23679
- ggml-org/llama.cpp/issues/24608
- ggml-org/llama.cpp/issues/23472
- ggml-org/llama.cpp/issues/17931
- ggml-org/llama.cpp/issues/18181
- ggml-org/llama.cpp/issues/20308
- ggml-org/llama.cpp/issues/24758
- ggml-org/llama.cpp/issues/21984
- ggml-org/llama.cpp/issues/27892
- ggml-org/llama.cpp/issues/28167
- ggml-org/llama.cpp/issues/25594
- ggml-org/llama.cpp/issues/20761
- ggml-org/llama.cpp/pull/22546