intent-aware-lfqa-llama3-8b-baseline: de quanta VRAM ele precisa?

Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA

intent-aware-lfqa-llama3-8b-baseline tem 8,0B parâmetros. Em Q4_K_M, com um contexto de 8.192 tokens, uma única GPU precisa de 6,9 GiB de memória disponível para que o resultado seja “Cabe”.

Valores atualizados em 19 de out. de 2026

Principais fatos

Arquivos GGUF e memória necessária

Todas as quantizações vêm de um único repositório GGUF em uma única revisão fixada: mradermacher/intent-aware-lfqa-llama3-8b-baseline-GGUF@e8043a0

Menor GPU para cada quantização

GPUs que podem executar intent-aware-lfqa-llama3-8b-baseline

“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos

GPUs no limite

GPUs sem veredito

• CUDA (NVIDIA): llama.cpp, back end CUDA (GPU dedicada NVIDIA), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.
• ROCm no Linux (AMD): llama.cpp, back end ROCm no Linux (GPU dedicada AMD), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.

O teto de velocidade é a largura de banda da memória dividida pelos bytes lidos por token gerado. É um limite superior teórico; os benchmarks públicos do llama.cpp normalmente atingem cerca de metade a quatro quintos desse valor, e modelos pequenos e modelos MoE (mistura de especialistas) costumam atingir menos. Benchmarks públicos

Fontes

• Hugging Face: allenai/intent-aware-lfqa-llama3-8b-baseline@ae9d063
• Hugging Face (GGUF): mradermacher/intent-aware-lfqa-llama3-8b-baseline-GGUF@e8043a0
• Metodologia (llama.cpp 5aeac37a)