DeskGPU
Português (Brasil)

A NVIDIA GeForce RTX 3090 consegue executar gemma-4-26B-A4B-it?

Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA

Cabe Pela verificação de carregamento padrão do llama.cpp, gemma-4-26B-A4B-it cabe na NVIDIA GeForce RTX 3090 em Q4_K_M com um contexto de 8.192 tokens. Uma placa precisa de 19,3 GiB disponíveis para “Cabe”.

Em Q4_K_M, o maior contexto que cabe é de 103.680 tokens.

“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos

Valores atualizados em 19 de out. de 2026 · Calculadora

Perfil de execução: llama.cpp, back end CUDA (GPU dedicada NVIDIA), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.

Memória considerada disponível para “Cabe” (C_low): 21,44 GiB por placa = 24 GiB nominais − 453 MiB (nominal menos o total que o llama.cpp informou para esta GPU em logs públicos) − 2.112 MiB (o maior uso de inicialização e de execução visto nos logs públicos deste perfil), arredondado para baixo para um múltiplo de 64 MiB.

Estes resultados se aplicam à configuração observada em logs públicos, nos quais o llama.cpp informou 24.123 MiB de memória total para esta GPU. Configurações que reduzem a memória utilizável (por exemplo, ECC, quando a placa oferece suporte) não estão incluídas.

Memória usada para “Não cabe” (C_high): os 24 GiB completos por placa. Perfis de execução e suas medições

Memória necessária por quantização e contexto

Memória disponível necessária para “Cabe” (X, GiB por placa) e o resultado na NVIDIA GeForce RTX 3090.
Quantização4.0968.19232.768131.072
BF16 51,9 GiB Não cabe52,1 GiB Não cabe52,7 GiB Não cabe54,9 GiB Não cabe
Q8_0 28,8 GiB No limite29,0 GiB No limite29,5 GiB Não cabe31,7 GiB Não cabe
Q6_K 24,8 GiB No limite25,0 GiB No limite25,6 GiB No limite27,8 GiB No limite
Q5_K_M 21,4 GiB Cabe21,6 GiB No limite22,1 GiB No limite24,3 GiB No limite
Q4_K_M 19,1 GiB Cabe19,3 GiB Cabe19,9 GiB Cabe22,0 GiB No limite
Q4_0 16,9 GiB Cabe17,1 GiB Cabe17,6 GiB Cabe19,8 GiB Cabe
IQ4_XS 16,4 GiB Cabe16,6 GiB Cabe17,1 GiB Cabe19,3 GiB Cabe
Q3_K_M 15,2 GiB Cabe15,4 GiB Cabe15,9 GiB Cabe18,1 GiB Cabe
IQ3_XXS 14,4 GiB Cabe14,5 GiB Cabe15,1 GiB Cabe17,3 GiB Cabe
Q2_K 13,2 GiB Cabe13,4 GiB Cabe13,9 GiB Cabe16,1 GiB Cabe
IQ2_M 12,9 GiB Cabe13,1 GiB Cabe13,7 GiB Cabe15,8 GiB Cabe
IQ2_XXS 11,9 GiB Cabe12,1 GiB Cabe12,6 GiB Cabe14,8 GiB Cabe

Qual a velocidade de geração?

Em Q4_K_M, o limite teórico é de cerca de 291 tokens por segundo (936 GB/s ÷ 3,21 GB lidos por token).

O teto de velocidade é a largura de banda da memória dividida pelos bytes lidos por token gerado. É um limite superior teórico; os benchmarks públicos do llama.cpp normalmente atingem cerca de metade a quatro quintos desse valor, e modelos pequenos e modelos MoE (mistura de especialistas) costumam atingir menos. Benchmarks públicos

Alternativas

Outras GPUs de 24 GB em que gemma-4-26B-A4B-it cabe

Maior modelo da mesma família que cabe na NVIDIA GeForce RTX 3090

Mesma família: mesmo publicador e mesmo nome de modelo até a contagem de parâmetros.

Fontes