A NVIDIA GeForce RTX 5090 consegue executar Muse-Glimmer-30B?

Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA

Cabe Pela verificação de carregamento padrão do llama.cpp, Muse-Glimmer-30B cabe na NVIDIA GeForce RTX 5090 em Q6_K com um contexto de 8.192 tokens. Uma placa precisa de 23,7 GiB disponíveis para “Cabe”.

Em Q6_K, o maior contexto que cabe é de 131.072 tokens.

“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos

Valores atualizados em 19 de out. de 2026 · Calculadora

Perfil de execução: llama.cpp, back end CUDA (GPU dedicada NVIDIA), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.

Memória considerada disponível para “Cabe” (C_low): 29,25 GiB por placa = 32 GiB nominais − 659 MiB (nominal menos o total que o llama.cpp informou para esta GPU em logs públicos) − 2.112 MiB (o maior uso de inicialização e de execução visto nos logs públicos deste perfil), arredondado para baixo para um múltiplo de 64 MiB.

Estes resultados se aplicam à configuração observada em logs públicos, nos quais o llama.cpp informou 32.109 MiB de memória total para esta GPU. Configurações que reduzem a memória utilizável (por exemplo, ECC, quando a placa oferece suporte) não estão incluídas.

Memória usada para “Não cabe” (C_high): os 32 GiB completos por placa. Perfis de execução e suas medições

Memória necessária por quantização e contexto

Memória disponível necessária para “Cabe” (X, GiB por placa) e o resultado na NVIDIA GeForce RTX 5090.
Quantização	4.096	8.192	32.768	131.072
BF16	53,6 GiB Não cabe	53,8 GiB Não cabe	54,2 GiB Não cabe	55,7 GiB Não cabe
Q8_0	29,3 GiB No limite	29,5 GiB No limite	29,9 GiB No limite	31,4 GiB No limite
Q6_K	23,5 GiB Cabe	23,7 GiB Cabe	24,1 GiB Cabe	25,6 GiB Cabe
Q5_K_M	20,4 GiB Cabe	20,7 GiB Cabe	21,0 GiB Cabe	22,5 GiB Cabe
Q4_K_M	17,8 GiB Cabe	18,1 GiB Cabe	18,5 GiB Cabe	19,9 GiB Cabe
Q4_0	16,8 GiB Cabe	17,1 GiB Cabe	17,4 GiB Cabe	18,9 GiB Cabe
IQ4_XS	16,1 GiB Cabe	16,3 GiB Cabe	16,7 GiB Cabe	18,2 GiB Cabe
Q3_K_M	14,7 GiB Cabe	15,0 GiB Cabe	15,4 GiB Cabe	16,8 GiB Cabe
IQ3_XXS	12,4 GiB Cabe	12,6 GiB Cabe	13,0 GiB Cabe	14,5 GiB Cabe
Q2_K	12,0 GiB Cabe	12,2 GiB Cabe	12,6 GiB Cabe	14,1 GiB Cabe
IQ2_M	11,5 GiB Cabe	11,7 GiB Cabe	12,1 GiB Cabe	13,6 GiB Cabe
IQ2_XXS	9,9 GiB Cabe	10,2 GiB Cabe	10,6 GiB Cabe	12,0 GiB Cabe

Qual a velocidade de geração?

Em Q6_K, o limite teórico é de cerca de 79,7 tokens por segundo (1.792 GB/s ÷ 22,49 GB lidos por token).

O teto de velocidade é a largura de banda da memória dividida pelos bytes lidos por token gerado. É um limite superior teórico; os benchmarks públicos do llama.cpp normalmente atingem cerca de metade a quatro quintos desse valor, e modelos pequenos e modelos MoE (mistura de especialistas) costumam atingir menos. Benchmarks públicos

Alternativas

Outras GPUs de 32 GB em que Muse-Glimmer-30B cabe

Nenhuma outra GPU com o mesmo tamanho de memória comporta este modelo.

Fontes

Página do modelo, com todas as quantizações e seus arquivos: Muse-Glimmer-30B
Página da GPU, com cada especificação e suas fontes: NVIDIA GeForce RTX 5090
Arquivos do modelo no Hugging Face (revisões fixadas): meta-models/Muse-Glimmer-30B@a4e59da, bartowski/Muse-Glimmer-30B-GGUF@01e1b7c
Tamanho da memória de NVIDIA GeForce RTX 5090 segundo: Wikipedia: List of Nvidia graphics processing units (CC BY-SA 4.0), GetDeploying GPU Models (CC BY 4.0)
Metodologia