Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA
Trinity-Mini é um modelo de mistura de especialistas com 26,1B parâmetros, dos quais cerca de 3,1B estão ativos por token (a consulta da incorporação de entrada não é contada). Em Q4_K_M, com um contexto de 8.192 tokens, uma única GPU precisa de 17,4 GiB de memória disponível para que o resultado seja “Cabe”.
Os tamanhos de arquivo são os dos arquivos reais no Hugging Face. As demais colunas dão X, a memória disponível de que uma GPU precisa para que o resultado seja “Cabe” (estimativa do maior buffer ÷ 0.95 + 1 GiB), com llama.cpp, Flash Attention, KV cache em F16, 4 sequências paralelas e micro-lote de 512. Elas não dependem de nenhuma GPU em particular.
Quantização
Tamanho do arquivo
X com contexto de 4.096
X com contexto de 8.192
X com contexto de 32.768
X com contexto de 131.072
Q8_0
25,88 GiB
28,5 GiB
28,8 GiB
29,2 GiB
31,0 GiB
Q6_K
20,04 GiB
22,4 GiB
22,7 GiB
23,2 GiB
25,0 GiB
Q5_K_M
17,36 GiB
19,7 GiB
19,9 GiB
20,4 GiB
22,2 GiB
Q4_K_M
14,84 GiB
17,1 GiB
17,4 GiB
17,8 GiB
19,6 GiB
Q4_0
14,11 GiB
16,3 GiB
16,6 GiB
17,0 GiB
18,8 GiB
IQ4_XS
13,19 GiB
15,3 GiB
15,6 GiB
16,1 GiB
17,9 GiB
Q3_K_M
11,27 GiB
13,4 GiB
13,6 GiB
14,1 GiB
15,9 GiB
IQ3_XXS
9,82 GiB
11,8 GiB
12,1 GiB
12,6 GiB
14,4 GiB
Q2_K
8,78 GiB
10,8 GiB
11,1 GiB
11,5 GiB
13,3 GiB
IQ2_M
7,90 GiB
9,8 GiB
10,1 GiB
10,6 GiB
12,3 GiB
IQ2_XXS
6,11 GiB
8,0 GiB
8,2 GiB
8,7 GiB
10,5 GiB
Menor GPU para cada quantização
Para cada quantização: a GPU listada com menos memória cuja estimativa é “Cabe” em uma única placa com 8.192 tokens de contexto. GPUs cujo resultado é “Desconhecido” (sem perfil de execução, placas de estação de trabalho e de data center, memória unificada) não são consideradas.
“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos
Contexto de 8.192 tokens. Maior quantização que cabe em uma placa, seu maior comprimento de contexto e o limite de velocidade.
Desconhecido: a configuração de memória não foi estabelecida para esta GPU; apenas “Não cabe” seria exibido.
Desconhecido
CUDA (NVIDIA): llama.cpp, back end CUDA (GPU dedicada NVIDIA), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.
ROCm no Linux (AMD): llama.cpp, back end ROCm no Linux (GPU dedicada AMD), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.
O teto de velocidade é a largura de banda da memória dividida pelos bytes lidos por token gerado. É um limite superior teórico; os benchmarks públicos do llama.cpp normalmente atingem cerca de metade a quatro quintos desse valor, e modelos pequenos e modelos MoE (mistura de especialistas) costumam atingir menos. Benchmarks públicos
Pesos originais
Os arquivos de pesos originais do modelo (safetensors, contabilizados conforme descrito na metodologia) somam 48,7 GiB. Eles são listados apenas como referência; toda estimativa desta página refere-se aos arquivos GGUF acima, executados com o llama.cpp. arcee-ai/Trinity-Mini · Metodologia