Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA
FrogNano-4B-2609 tem 4,2B parâmetros. Em Q4_K_M, com um contexto de 8.192 tokens, uma única GPU precisa de 4,7 GiB de memória disponível para que o resultado seja “Cabe”.
Os tamanhos de arquivo são os dos arquivos reais no Hugging Face. As demais colunas dão X, a memória disponível de que uma GPU precisa para que o resultado seja “Cabe” (estimativa do maior buffer ÷ 0.95 + 1 GiB), com llama.cpp, Flash Attention, KV cache em F16, 4 sequências paralelas e micro-lote de 512. Elas não dependem de nenhuma GPU em particular.
Quantização
Tamanho do arquivo
X com contexto de 4.096
X com contexto de 8.192
X com contexto de 32.768
X com contexto de 131.072
BF16
8,07 GiB
10,1 GiB
10,2 GiB
11,1 GiB
14,4 GiB
Q8_0
4,30 GiB
6,2 GiB
6,4 GiB
7,2 GiB
10,6 GiB
Q6_K
3,50 GiB
5,5 GiB
5,6 GiB
6,4 GiB
9,8 GiB
Q5_K_M
3,13 GiB
5,1 GiB
5,2 GiB
6,0 GiB
9,4 GiB
Q4_K_M
2,61 GiB
4,5 GiB
4,7 GiB
5,5 GiB
8,8 GiB
Q4_0
2,53 GiB
4,4 GiB
4,6 GiB
5,4 GiB
8,8 GiB
IQ4_XS
2,33 GiB
4,2 GiB
4,4 GiB
5,2 GiB
8,6 GiB
Q3_K_M
1,99 GiB
3,9 GiB
4,0 GiB
4,8 GiB
8,2 GiB
IQ3_XXS
1,84 GiB
3,7 GiB
3,8 GiB
4,7 GiB
8,0 GiB
Q2_K
1,67 GiB
3,5 GiB
3,7 GiB
4,5 GiB
7,9 GiB
IQ2_M
1,54 GiB
3,4 GiB
3,5 GiB
4,4 GiB
7,7 GiB
Menor GPU para cada quantização
Para cada quantização: a GPU listada com menos memória cuja estimativa é “Cabe” em uma única placa com 8.192 tokens de contexto. GPUs cujo resultado é “Desconhecido” (sem perfil de execução, placas de estação de trabalho e de data center, memória unificada) não são consideradas.
“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos
Contexto de 8.192 tokens. Maior quantização que cabe em uma placa, seu maior comprimento de contexto e o limite de velocidade.
Desconhecido: a configuração de memória não foi estabelecida para esta GPU; apenas “Não cabe” seria exibido.
Desconhecido
CUDA (NVIDIA): llama.cpp, back end CUDA (GPU dedicada NVIDIA), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.
ROCm no Linux (AMD): llama.cpp, back end ROCm no Linux (GPU dedicada AMD), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.
O teto de velocidade é a largura de banda da memória dividida pelos bytes lidos por token gerado. É um limite superior teórico; os benchmarks públicos do llama.cpp normalmente atingem cerca de metade a quatro quintos desse valor, e modelos pequenos e modelos MoE (mistura de especialistas) costumam atingir menos. Benchmarks públicos