A AMD Radeon RX 7900 XT consegue executar Mistral-Small-3.2-24B-Instruct-2506?

Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA

Cabe Pela verificação de carregamento padrão do llama.cpp, Mistral-Small-3.2-24B-Instruct-2506 cabe na AMD Radeon RX 7900 XT em Q5_K_M com um contexto de 8.192 tokens. Uma placa precisa de 18,6 GiB disponíveis para “Cabe”.

Em Q5_K_M, o maior contexto que cabe é de 8.448 tokens.

“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos

Valores atualizados em 19 de out. de 2026 · Calculadora

Perfil de execução: llama.cpp, back end ROCm no Linux (GPU dedicada AMD), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.

Memória considerada disponível para “Cabe” (C_low): 18,63 GiB por placa = 20 GiB nominais − 144 MiB (a maior diferença entre o nominal e o total informado medida em GPUs de consumo e de estações de trabalho neste perfil, usada porque nenhum log público informa o total desta GPU) − 1.216 MiB (o maior uso de inicialização e de execução visto nos logs públicos deste perfil), arredondado para baixo para um múltiplo de 64 MiB.

Estes resultados presumem a configuração padrão da placa. Configurações que reduzem a memória utilizável (por exemplo, ECC, quando a placa oferece suporte) não estão incluídas.

Memória usada para “Não cabe” (C_high): os 20 GiB completos por placa. Perfis de execução e suas medições

Memória necessária por quantização e contexto

Memória disponível necessária para “Cabe” (X, GiB por placa) e o resultado na AMD Radeon RX 7900 XT.
Quantização	4.096	8.192	32.768	131.072
BF16	46,8 GiB Não cabe	47,5 GiB Não cabe	51,5 GiB Não cabe	67,5 GiB Não cabe
Q8_0	25,8 GiB Não cabe	26,5 GiB Não cabe	30,4 GiB Não cabe	46,4 GiB Não cabe
Q6_K	20,3 GiB No limite	21,0 GiB No limite	25,0 GiB Não cabe	41,0 GiB Não cabe
Q5_K_M	17,9 GiB Cabe	18,6 GiB Cabe	22,6 GiB No limite	38,6 GiB Não cabe
Q4_K_M	15,6 GiB Cabe	16,3 GiB Cabe	20,3 GiB No limite	36,3 GiB Não cabe
Q4_0	14,8 GiB Cabe	15,4 GiB Cabe	19,4 GiB No limite	35,4 GiB Não cabe
IQ4_XS	14,1 GiB Cabe	14,7 GiB Cabe	18,7 GiB No limite	34,7 GiB Não cabe
Q3_K_M	12,9 GiB Cabe	13,6 GiB Cabe	17,6 GiB Cabe	33,5 GiB Não cabe
Q2_K	10,4 GiB Cabe	11,1 GiB Cabe	15,1 GiB Cabe	31,1 GiB Não cabe

Nenhum limite de velocidade é informado: a largura de banda de memória da AMD Radeon RX 7900 XT não é confirmada por duas fontes abertas independentes.

Alternativas

Outras GPUs de 20 GB em que Mistral-Small-3.2-24B-Instruct-2506 cabe

Nenhuma outra GPU com o mesmo tamanho de memória comporta este modelo.

Fontes

Página do modelo, com todas as quantizações e seus arquivos: Mistral-Small-3.2-24B-Instruct-2506
Página da GPU, com cada especificação e suas fontes: AMD Radeon RX 7900 XT
Arquivos do modelo no Hugging Face (revisões fixadas): mistralai/Mistral-Small-3.2-24B-Instruct-2506@95a6d26, unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF@b750ec2
Tamanho da memória de AMD Radeon RX 7900 XT segundo: Wikipedia: Radeon RX 7000 series (CC BY-SA 4.0), ROCm documentation gpu-specs.rst (MIT)
Metodologia