Explore modelos por tamanho de memória
Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA
Quantos modelos cabem em uma GPU de consumo genérica de cada tamanho de memória (perfil de execução CUDA, configuração padrão) com comprimento de contexto de 8.192 tokens. Apenas são listados os tamanhos que as GPUs NVIDIA de consumo do banco de dados possuem.
- 8 GB — 137 modelos cabem
- 12 GB — 223 modelos cabem
- 16 GB — 260 modelos cabem
- 24 GB — 305 modelos cabem
- 32 GB — 311 modelos cabem
Fontes
Estes resultados usam o perfil de execução CUDA; sua reserva vem de valores de memória nestes logs públicos do llama.cpp. Metodologia
- ggml-org/llama.cpp/issues/29811
- ggml-org/llama.cpp/issues/27680
- ggml-org/llama.cpp/issues/23679
- ggml-org/llama.cpp/issues/24608
- ggml-org/llama.cpp/issues/23472
- ggml-org/llama.cpp/issues/17931
- ggml-org/llama.cpp/issues/18181
- ggml-org/llama.cpp/issues/20308
- ggml-org/llama.cpp/issues/24758
- ggml-org/llama.cpp/issues/21984
- ggml-org/llama.cpp/issues/27892
- ggml-org/llama.cpp/issues/28167
- ggml-org/llama.cpp/issues/25594
- ggml-org/llama.cpp/issues/20761
- ggml-org/llama.cpp/pull/22546