intent-aware-lfqa-qwen3-8b-multiview: de quanta VRAM ele precisa?
Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA
intent-aware-lfqa-qwen3-8b-multiview tem 8,2B parâmetros. Em Q4_K_M, com um contexto de 8.192 tokens, uma única GPU precisa de 7,1 GiB de memória disponível para que o resultado seja “Cabe”.
Os tamanhos de arquivo são os dos arquivos reais no Hugging Face. As demais colunas dão X, a memória disponível de que uma GPU precisa para que o resultado seja “Cabe” (estimativa do maior buffer ÷ 0.95 + 1 GiB), com llama.cpp, Flash Attention, KV cache em F16, 4 sequências paralelas e micro-lote de 512. Elas não dependem de nenhuma GPU em particular.
Quantização
Tamanho do arquivo
X com contexto de 4.096
X com contexto de 8.192
X com contexto de 32.768
F16
15,26 GiB
16,7 GiB
17,3 GiB
20,9 GiB
Q8_0
8,11 GiB
9,8 GiB
10,4 GiB
14,0 GiB
Q6_K
6,26 GiB
8,0 GiB
8,6 GiB
12,2 GiB
Q5_K_M
5,45 GiB
7,2 GiB
7,8 GiB
11,4 GiB
Q4_K_M
4,68 GiB
6,5 GiB
7,1 GiB
10,7 GiB
IQ4_XS
4,28 GiB
6,1 GiB
6,7 GiB
10,3 GiB
Q3_K_M
3,84 GiB
5,7 GiB
6,3 GiB
9,9 GiB
Q2_K
3,06 GiB
4,9 GiB
5,5 GiB
9,1 GiB
Menor GPU para cada quantização
Para cada quantização: a GPU listada com menos memória cuja estimativa é “Cabe” em uma única placa com 8.192 tokens de contexto. GPUs cujo resultado é “Desconhecido” (sem perfil de execução, placas de estação de trabalho e de data center, memória unificada) não são consideradas.
GPUs que podem executar intent-aware-lfqa-qwen3-8b-multiview
“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos
Contexto de 8.192 tokens. Maior quantização que cabe em uma placa, seu maior comprimento de contexto e o limite de velocidade.
Desconhecido: a configuração de memória não foi estabelecida para esta GPU; apenas “Não cabe” seria exibido.
Desconhecido
CUDA (NVIDIA): llama.cpp, back end CUDA (GPU dedicada NVIDIA), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.
ROCm no Linux (AMD): llama.cpp, back end ROCm no Linux (GPU dedicada AMD), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.
O teto de velocidade é a largura de banda da memória dividida pelos bytes lidos por token gerado. É um limite superior teórico; os benchmarks públicos do llama.cpp normalmente atingem cerca de metade a quatro quintos desse valor, e modelos pequenos e modelos MoE (mistura de especialistas) costumam atingir menos. Benchmarks públicos