Pular para o conteúdo

NVIDIA GeForce RTX 5090: quais LLMs ela consegue executar?

Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA

A NVIDIA GeForce RTX 5090 tem 32 GB de memória (valor do fabricante). Abaixo, cada modelo do banco de dados é verificado em relação a ela com llama.cpp, com comprimento de contexto de 8.192 tokens (ou o máximo do modelo, se menor).

Valores atualizados em 19 de out. de 2026

Especificações

Memória (valor do fabricante)

32 GB

Wikipedia: List of Nvidia graphics processing units (CC BY-SA 4.0): 32 GB — Memory Configuration › Size (GB): 32
GetDeploying GPU Models (CC BY 4.0; obtido em 18 de out. de 2026): 32 GB — Nvidia RTX 5090
Ficha técnica do fabricante, com link de GetDeploying (apenas com link; não é obtida por este site): nvidia.com

Tipo de memória

GDDR7

Wikipedia: List of Nvidia graphics processing units (CC BY-SA 4.0): GDDR7 — Memory Configuration › Bus Type: GDDR7
GetDeploying GPU Models (CC BY 4.0; obtido em 18 de out. de 2026): GDDR7 — Nvidia RTX 5090
Ficha técnica do fabricante, com link de GetDeploying (apenas com link; não é obtida por este site): nvidia.com

Largura do barramento de memória

512 bit

Wikipedia: List of Nvidia graphics processing units (CC BY-SA 4.0): 512 bit — Memory Configuration › Bus Width (bit): 512
GetDeploying GPU Models (CC BY 4.0; obtido em 18 de out. de 2026): 512 bit — Nvidia RTX 5090
Ficha técnica do fabricante, com link de GetDeploying (apenas com link; não é obtida por este site): nvidia.com

Largura de banda da memória

1.792 GB/s

Wikipedia: List of Nvidia graphics processing units (CC BY-SA 4.0): 1.792 GB/s — Memory Configuration › Bandwidth (GB/s): 1,792.0
GetDeploying GPU Models (CC BY 4.0; obtido em 18 de out. de 2026): 1.792 GB/s — Nvidia RTX 5090
Ficha técnica do fabricante, com link de GetDeploying (apenas com link; não é obtida por este site): nvidia.com

Potência da placa (TDP)

575 W

Wikipedia: List of Nvidia graphics processing units (CC BY-SA 4.0): 575 W — TDP (Watts): 575
GetDeploying GPU Models (CC BY 4.0; obtido em 18 de out. de 2026): 575 W — Nvidia RTX 5090
Ficha técnica do fabricante, com link de GetDeploying (apenas com link; não é obtida por este site): nvidia.com

Tensor FP16, denso

Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.

Tensor BF16, denso

Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.

Tensor FP8, denso

Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.

Tensor FP4, denso

Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.

INT8 tensor, denso

Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.

Interface

Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.

Cada valor lista todas as fontes com seu próprio número; as unidades foram normalizadas. O “GB” de memória de GPU de um fabricante é contado como GiB (2³⁰ bytes), que é também como a tabela do ROCm da AMD o indica. Como as especificações são verificadas

Perfil de execução

Perfil de execução: llama.cpp, back end CUDA (GPU dedicada NVIDIA), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.

Memória considerada disponível para “Cabe” (C_low): 29,25 GiB por placa = 32 GiB nominais − 659 MiB (nominal menos o total que o llama.cpp informou para esta GPU em logs públicos) − 2.112 MiB (o maior uso de inicialização e de execução visto nos logs públicos deste perfil), arredondado para baixo para um múltiplo de 64 MiB.

Estes resultados se aplicam à configuração observada em logs públicos, nos quais o llama.cpp informou 32.109 MiB de memória total para esta GPU. Configurações que reduzem a memória utilizável (por exemplo, ECC, quando a placa oferece suporte) não estão incluídas.

Memória usada para “Não cabe” (C_high): os 32 GiB completos por placa. Perfis de execução e suas medições

Quais modelos cabem

“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos

Contexto de 8.192 tokens (ou o máximo do modelo, se for menor). As últimas colunas mostram o maior comprimento de contexto nessa quantização e o limite de velocidade baseado na largura de banda.
Modelo	Parâmetros	Maior quantização que cabe	Memória disponível necessária para “Cabe”	Maior contexto	Limite de velocidade	Resultado
Qwen3-Coder-Next-Base	79,7B (3,6B ativos)	IQ2_M	27,2 GiB	85.248	≤ 1.076 tok/s	Cabe
KAT-Dev-72B-Exp	72,7B	IQ2_XXS	28,5 GiB	10.240	≤ 64,6 tok/s	Cabe
Llama-3.1-70B-Instruct	70,6B	IQ2_M	27,1 GiB	14.592	≤ 68,0 tok/s	Cabe
AI21-Jamba2-Mini	51,6B (11,8B ativos)	IQ4_XS	28,3 GiB	59.904	≤ 274 tok/s	Cabe
Kimi-Linear-48B-A3B-Base	49,1B (3,1B ativos)	Q4_0	28,7 GiB	64.256	≤ 909 tok/s	Cabe
Kimi-Linear-48B-A3B-Instruct	49,1B (3,1B ativos)	IQ4_XS	27,3 GiB	201.984	≤ 862 tok/s	Cabe
Hermes-4.3-36B	36,2B	Q5_K_M	28,0 GiB	13.056	≤ 65,9 tok/s	Cabe
Kimi-Linear-REAP-35B-A3B-Instruct	35,1B (3,1B ativos)	Q5_K_M	25,8 GiB	≥ 262.144 (contextos maiores não foram verificados com logs medidos)	≤ 766 tok/s	Cabe
Holo-3.1-35B-A3B	34,7B (2,9B ativos)	Q5_K_M	25,8 GiB	163.072	≤ 749 tok/s	Cabe
Holo3-35B-A3B	34,7B (2,9B ativos)	Q5_K_M	25,8 GiB	163.072	≤ 749 tok/s	Cabe
Holo4-35B-A3B	34,7B (2,9B ativos)	Q5_K_M	27,9 GiB	71.424	≤ 585 tok/s	Cabe
Ising-Calibration-1-35B-A3B	34,7B (2,9B ativos)	Q5_K_M	25,8 GiB	163.072	≤ 749 tok/s	Cabe
KAT-Coder-V2.5-Dev	34,7B (2,9B ativos)	Q5_K_M	26,1 GiB	150.272	≤ 669 tok/s	Cabe
Qwen3.5-35B-A3B	34,7B (2,9B ativos)	Q5_K_M	27,1 GiB	103.936	≤ 591 tok/s	Cabe
Qwen3.5-35B-A3B-Base	34,7B (2,9B ativos)	Q5_K_M	25,9 GiB	161.536	≤ 738 tok/s	Cabe
Qwen3.6-35B-A3B	34,7B (2,9B ativos)	Q5_K_M	26,1 GiB	150.272	≤ 669 tok/s	Cabe
MiniCPM-V-4.7-35B-A3B	34,7B (2,9B ativos)	Q5_K_M	25,8 GiB	163.072	≤ 749 tok/s	Cabe
Laguna-XS-2.1	33,4B (2,8B ativos)	Q5_K_M	25,3 GiB	101.376	≤ 667 tok/s	Cabe
DeepSeek-R1-Distill-Qwen-32B	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
Qwen2.5-32B-Instruct	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
Qwen2.5-Coder-32B-Instruct	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
QwQ-32B	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
AesCode-32B	32,8B	Q5_K_M	26,2 GiB	19.712	≤ 70,5 tok/s	Cabe
Cosmos-Reason2-32B	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
FrogBoss-32B-2510	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
Nemotron-Terminal-32B	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
Qwen3-32B	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
Qwen3-VL-32B-Instruct	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
Qwen3-VL-32B-Thinking	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
SERA-32B	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
WebWorld-32B	32,8B	Q6_K	29,2 GiB	8.448	≤ 63,1 tok/s	Cabe
EXAONE-4.5-33B	32,5B	Q6_K	29,0 GiB	9.216	≤ 65,4 tok/s	Cabe
Olmo-3.1-32B-Instruct	32,2B	Q6_K	28,9 GiB	9.472	≤ 65,5 tok/s	Cabe
Olmo-3.1-32B-Instruct-DPO	32,2B	Q6_K	28,9 GiB	9.472	≤ 65,5 tok/s	Cabe
Olmo-3.1-32B-Think	32,2B	Q6_K	28,9 GiB	9.472	≤ 65,5 tok/s	Cabe
Olmo-3-1125-32B	32,2B	Q6_K	28,9 GiB	9.472	≤ 65,5 tok/s	Cabe
Olmo-3-32B-Think	32,2B	Q6_K	28,9 GiB	9.472	≤ 65,5 tok/s	Cabe
Olmo-3-32B-Think-DPO	32,2B	Q6_K	28,9 GiB	9.472	≤ 65,5 tok/s	Cabe
Olmo-3-32B-Think-SFT	32,2B	Q6_K	28,9 GiB	9.472	≤ 65,5 tok/s	Cabe
Holotron4-30B-A3B	31,6B (3,2B ativos)	Q5_K_M	26,8 GiB	≥ 262.144 (contextos maiores não foram verificados com logs medidos)	≤ 657 tok/s	Cabe
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16	31,6B (3,2B ativos)	Q4_K_M	23,3 GiB	262.144	≤ 603 tok/s	Cabe
Nemotron-Cascade-2-30B-A3B	31,6B (3,2B ativos)	Q5_K_M	27,0 GiB	262.144	≤ 618 tok/s	Cabe
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16	31,6B (3,2B ativos)	Q5_K_M	26,6 GiB	262.144	≤ 660 tok/s	Cabe
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16	31,6B (3,2B ativos)	Q5_K_M	27,0 GiB	262.144	≤ 618 tok/s	Cabe
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16	31,6B (3,2B ativos)	Q5_K_M	26,9 GiB	262.144	≤ 632 tok/s	Cabe
NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16	31,6B (3,2B ativos)	Q5_K_M	26,8 GiB	262.144	≤ 657 tok/s	Cabe
gemma-4-31B	30,7B	Q5_K_M	27,3 GiB	31.744	≤ 76,8 tok/s	Cabe
gemma-4-31B-it	30,7B	Q5_K_M	27,1 GiB	33.792	≤ 77,4 tok/s	Cabe
Ising-Calibration-1.5-31B-BF16	30,7B	Q5_K_M	28,1 GiB	22.528	≤ 74,3 tok/s	Cabe
Holo2-30B-A3B	30,5B (3,0B ativos)	Q6_K	26,5 GiB	36.608	≤ 536 tok/s	Cabe
Qwen3-30B-A3B	30,5B (3,0B ativos)	Q6_K	26,5 GiB	36.608	≤ 536 tok/s	Cabe
Qwen3-30B-A3B-Instruct-2507	30,5B (3,0B ativos)	Q6_K	26,5 GiB	36.608	≤ 536 tok/s	Cabe
Qwen3-Coder-30B-A3B-Instruct	30,5B (3,0B ativos)	Q6_K	26,5 GiB	36.608	≤ 536 tok/s	Cabe
Qwen3-VL-30B-A3B-Instruct	30,5B (3,0B ativos)	Q6_K	26,5 GiB	36.608	≤ 536 tok/s	Cabe
UI-Venus-1.5-30B-A3B	30,5B (3,0B ativos)	Q6_K	26,5 GiB	36.608	≤ 536 tok/s	Cabe
North-Mini-Code-1.0	30,5B (3,3B ativos)	Q6_K	28,2 GiB	20.992	≤ 509 tok/s	Cabe
GLM-4.7-Flash	29,9B (3,6B ativos)	Q6_K	25,7 GiB	72.448	≤ 512 tok/s	Cabe
granite-4.2-30b	29,3B	Q6_K	26,6 GiB	18.176	≤ 69,4 tok/s	Cabe
granite-4.1-30b	28,9B	Q6_K	26,6 GiB	18.176	≤ 69,4 tok/s	Cabe
Muse-Glimmer-30B	27,9B	Q6_K	23,7 GiB	131.072	≤ 79,7 tok/s	Cabe
gemma-2-27b-it	27,2B	Q6_K	26,5 GiB	8.192	≤ 72,7 tok/s	Cabe
gemma-3-27b-it	27,0B	Q6_K	25,9 GiB	49.152	≤ 77,0 tok/s	Cabe
translategemma-27b-it	27,0B	Q6_K	25,9 GiB	49.152	≤ 77,0 tok/s	Cabe
Fara1.5-27B	26,9B	Q6_K	24,4 GiB	81.408	≤ 78,9 tok/s	Cabe
Holo4-27B	26,9B	Q6_K	23,3 GiB	98.304	≤ 83,1 tok/s	Cabe
Qwen3.5-27B	26,9B	Q6_K	23,6 GiB	92.672	≤ 81,7 tok/s	Cabe
Qwen3.6-27B	26,9B	Q6_K	23,7 GiB	91.648	≤ 81,4 tok/s	Cabe
Qwen3.8-27B	26,9B	Q6_K	24,8 GiB	75.520	≤ 77,6 tok/s	Cabe
Qwen3.8-3.6-27B-blend	26,9B	Q6_K	24,8 GiB	75.520	≤ 77,6 tok/s	Cabe
UI-Mate-27B	26,9B	Q6_K	24,4 GiB	81.408	≤ 78,9 tok/s	Cabe
UI-Mate-democua-27B	26,9B	Q6_K	23,3 GiB	98.304	≤ 83,1 tok/s	Cabe
Trinity-Mini	26,1B (3,1B ativos)	Q8_0	28,8 GiB	33.280	≤ 510 tok/s	Cabe
Trinity-Mini-Base	26,1B (3,1B ativos)	Q6_K	22,7 GiB	131.072	≤ 646 tok/s	Cabe
Trinity-Mini-Base-Pre-Anneal	26,1B (3,1B ativos)	Q6_K	22,4 GiB	4.096	≤ 662 tok/s	Cabe
gemma-4-26B-A4B	25,2B (3,8B ativos)	Q8_0	29,0 GiB	21.248	≤ 401 tok/s	Cabe
gemma-4-26B-A4B-it	25,2B (3,8B ativos)	Q8_0	29,0 GiB	21.248	≤ 401 tok/s	Cabe
Qwen3-Coder-REAP-25B-A3B	24,9B (3,0B ativos)	Q8_0	27,7 GiB	23.552	≤ 441 tok/s	Cabe
LFM2.5-24B-A2B	24,0B (2,5B ativos)	Q8_0	26,4 GiB	131.072	≤ 642 tok/s	Cabe
LFM2-24B-A2B	23,8B (2,3B ativos)	Q8_0	26,3 GiB	128.000	≤ 675 tok/s	Cabe
Devstral-Small-2-24B-Instruct-2512	23,6B	Q8_0	26,5 GiB	25.344	≤ 69,8 tok/s	Cabe
Mistral-Small-3.2-24B-Instruct-2506	23,6B	Q8_0	26,5 GiB	25.344	≤ 69,8 tok/s	Cabe
GLM-4.7-Flash-REAP-23B-A3B	23,0B (3,6B ativos)	Q8_0	25,4 GiB	78.080	≤ 421 tok/s	Cabe
EuroLLM-22B-2512	22,6B	Q6_K	20,6 GiB	32.768	≤ 90,8 tok/s	Cabe
EuroLLM-22B-Instruct-2512	22,6B	Q8_0	25,8 GiB	23.808	≤ 71,6 tok/s	Cabe
gpt-oss-20b	20,9B (3,6B ativos)	Q8_0	12,9 GiB	131.072	≤ 645 tok/s	Cabe
OptiMind-SFT	20,9B (3,6B ativos)	Q6_K	22,8 GiB	131.072	≤ 450 tok/s	Cabe
DeepSeek-R1-Distill-Qwen-14B	14,8B	Q8_0	17,5 GiB	68.608	≤ 109 tok/s	Cabe
Qwen2.5-14B-Instruct	14,8B	Q8_0	17,5 GiB	32.768	≤ 109 tok/s	Cabe
ContextPilot-14B	14,8B	Q8_0	17,2 GiB	40.960	≤ 111 tok/s	Cabe
FrogMini-14B-2510	14,8B	Q6_K	13,9 GiB	40.960	≤ 140 tok/s	Cabe
JanusCoder-14B	14,8B	Q8_0	17,2 GiB	32.768	≤ 111 tok/s	Cabe
Nemotron-Cascade-14B-Thinking	14,8B	Q8_0	17,2 GiB	32.768	≤ 111 tok/s	Cabe
Nemotron-Terminal-14B	14,8B	Q6_K	13,9 GiB	40.960	≤ 140 tok/s	Cabe
NousCoder-14B	14,8B	Q8_0	17,2 GiB	81.920	≤ 111 tok/s	Cabe
Qwen3-14B	14,8B	Q8_0	17,2 GiB	40.960	≤ 111 tok/s	Cabe
Qwen3-Nemotron-14B-BRRM	14,8B	Q6_K	13,9 GiB	40.960	≤ 140 tok/s	Cabe
WebWorld-14B	14,8B	Q6_K	13,9 GiB	40.960	≤ 140 tok/s	Cabe
phi-4	14,7B	Q8_0	17,7 GiB	16.384	≤ 107 tok/s	Cabe
Apriel-1.6-15b-Thinker	14,4B	Q8_0	17,2 GiB	69.888	≤ 110 tok/s	Cabe
Ministral-3-14B-Instruct-2512	13,5B	BF16	27,8 GiB	17.152	≤ 66,3 tok/s	Cabe
Ministral-3-14B-Reasoning-2512	13,5B	BF16	27,8 GiB	17.152	≤ 66,3 tok/s	Cabe
Mistral-Nemo-Instruct-2407	12,2B	F16	25,3 GiB	32.512	≤ 73,2 tok/s	Cabe
Mellum2.1-12B-A2.5B-Thinking	12,1B (2,2B ativos)	BF16	25,0 GiB	131.072	≤ 390 tok/s	Cabe
Mellum2-12B-A2.5B-Base	12,1B (2,2B ativos)	Q6_K	12,1 GiB	131.072	≤ 853 tok/s	Cabe
Mellum2-12B-A2.5B-Instruct	12,1B (2,2B ativos)	BF16	25,0 GiB	131.072	≤ 390 tok/s	Cabe
Mellum2-12B-A2.5B-Instruct-SFT	12,1B (2,2B ativos)	Q6_K	12,1 GiB	131.072	≤ 853 tok/s	Cabe
Mellum2-12B-A2.5B-Thinking	12,1B (2,2B ativos)	BF16	25,0 GiB	131.072	≤ 390 tok/s	Cabe
Mellum2-12B-A2.5B-Thinking-SFT	12,1B (2,2B ativos)	Q6_K	12,1 GiB	131.072	≤ 853 tok/s	Cabe
gemma-4-12B	11,9B	BF16	26,5 GiB	159.488	≤ 73,8 tok/s	Cabe
gemma-4-12B-it	11,9B	BF16	26,5 GiB	159.488	≤ 73,8 tok/s	Cabe
gemma-3-12b-it	11,8B	BF16	26,6 GiB	47.616	≤ 73,4 tok/s	Cabe
translategemma-12b-it	11,8B	Q8_0	15,8 GiB	131.072	≤ 134 tok/s	Cabe
Bielik-11B-v3.0-Instruct	11,2B	BF16	24,6 GiB	31.232	≤ 75,4 tok/s	Cabe
AutoGLM-Phone-9B	9,4B	F16	18,9 GiB	65.536	≤ 100 tok/s	Cabe
AutoGLM-Phone-9B-Multilingual	9,4B	Q6_K	9,2 GiB	65.536	≤ 222 tok/s	Cabe
GLM-4.6V-Flash	9,4B	BF16	18,9 GiB	131.072	≤ 100 tok/s	Cabe
gemma-2-9b-it	9,2B	Q8_0	14,8 GiB	8.192	≤ 140 tok/s	Cabe
EuroLLM-9B-Instruct-2512	9,2B	F16	19,6 GiB	32.768	≤ 96,0 tok/s	Cabe
Fara1.5-9B	9,0B	BF16	17,5 GiB	262.144	≤ 111 tok/s	Cabe
Holo-3.1-9B	9,0B	F16	17,5 GiB	262.144	≤ 111 tok/s	Cabe
MiMo-V2.6-Distill-Qwen-9B	9,0B	BF16	17,5 GiB	262.144	≤ 111 tok/s	Cabe
Qwen3.5-9B	9,0B	BF16	17,5 GiB	262.144	≤ 111 tok/s	Cabe
Qwen3.5-9B-Base	9,0B	F16	17,5 GiB	262.144	≤ 111 tok/s	Cabe
UI-Mate-9B	9,0B	BF16	17,5 GiB	262.144	≤ 111 tok/s	Cabe
UI-Venus-2-9B	9,0B	BF16	17,5 GiB	262.144	≤ 111 tok/s	Cabe
NVIDIA-Nemotron-Nano-9B-v2	8,9B	BF16	18,3 GiB	131.072	≤ 107 tok/s	Cabe
granite-4.1-8b	8,8B	BF16	19,0 GiB	70.912	≤ 99,0 tok/s	Cabe
granite-4.2-8b	8,8B	BF16	19,0 GiB	70.912	≤ 99,0 tok/s	Cabe
Ministral-3-8B-Instruct-2512	8,5B	BF16	18,0 GiB	89.344	≤ 105 tok/s	Cabe
Ministral-3-8B-Reasoning-2512	8,5B	BF16	18,0 GiB	89.344	≤ 105 tok/s	Cabe
LFM2.5-8B-A1B	8,5B (1,7B ativos)	BF16	18,0 GiB	128.000	≤ 516 tok/s	Cabe
granite-guardian-4.1-8b	8,4B	BF16	19,0 GiB	70.912	≤ 99,0 tok/s	Cabe
LFM2-8B-A1B	8,3B (1,6B ativos)	F16	17,7 GiB	128.000	≤ 557 tok/s	Cabe
rnj-1-instruct	8,3B	BF16	18,6 GiB	32.768	≤ 101 tok/s	Cabe
AesCode-8B	8,2B	BF16	17,3 GiB	89.344	≤ 110 tok/s	Cabe
ArmorOCR	8,2B	Q8_0	10,4 GiB	136.704	≤ 194 tok/s	Cabe
AstaBrief_8B	8,2B	Q6_K	8,6 GiB	40.960	≤ 242 tok/s	Cabe
ContextPilot-8B	8,2B	Q6_K	8,6 GiB	40.960	≤ 242 tok/s	Cabe
Cosmos-Reason2-8B	8,2B	Q6_K	8,6 GiB	148.992	≤ 242 tok/s	Cabe
DeepSeek-R1-0528-Qwen3-8B	8,2B	BF16	17,3 GiB	89.344	≤ 110 tok/s	Cabe
Holo2-8B	8,2B	Q6_K	8,6 GiB	148.992	≤ 242 tok/s	Cabe
intent-aware-lfqa-qwen3-8b-baseline	8,2B	F16	17,3 GiB	40.960	≤ 110 tok/s	Cabe
intent-aware-lfqa-qwen3-8b-intent-explicit	8,2B	F16	17,3 GiB	40.960	≤ 110 tok/s	Cabe
intent-aware-lfqa-qwen3-8b-intent-implicit	8,2B	F16	17,3 GiB	40.960	≤ 110 tok/s	Cabe
intent-aware-lfqa-qwen3-8b-multiview	8,2B	F16	17,3 GiB	40.960	≤ 110 tok/s	Cabe
JanusCoder-8B	8,2B	BF16	17,3 GiB	32.768	≤ 110 tok/s	Cabe
MathForm-8B	8,2B	F16	17,3 GiB	40.960	≤ 110 tok/s	Cabe
Nemotron-Cascade-8B	8,2B	BF16	17,3 GiB	32.768	≤ 110 tok/s	Cabe
Nemotron-Cascade-8B-Thinking	8,2B	BF16	17,3 GiB	32.768	≤ 110 tok/s	Cabe
Nemotron-Orchestrator-8B	8,2B	BF16	17,3 GiB	40.960	≤ 110 tok/s	Cabe
Nemotron-Terminal-8B	8,2B	Q6_K	8,6 GiB	40.960	≤ 242 tok/s	Cabe
Qwen3-8B	8,2B	Q8_0	10,4 GiB	40.960	≤ 194 tok/s	Cabe
Qwen3-Nemotron-8B-BRRM	8,2B	Q6_K	8,6 GiB	40.960	≤ 242 tok/s	Cabe
Qwen3-VL-8B-Instruct	8,2B	BF16	17,3 GiB	89.344	≤ 110 tok/s	Cabe
Qwen3-VL-8B-Thinking	8,2B	BF16	17,3 GiB	89.344	≤ 110 tok/s	Cabe
RLVR-8B-0926	8,2B	Q6_K	8,6 GiB	148.992	≤ 242 tok/s	Cabe
Step3-VL-10B-Base	8,2B	Q6_K	8,6 GiB	40.960	≤ 242 tok/s	Cabe
UI-Venus-1.5-8B	8,2B	Q6_K	8,6 GiB	148.992	≤ 242 tok/s	Cabe
WebWorld-8B	8,2B	F16	17,3 GiB	40.960	≤ 110 tok/s	Cabe
ZwZ-8B	8,2B	Q6_K	8,6 GiB	148.992	≤ 242 tok/s	Cabe
MiniCPM-o-4_5	8,2B	F16	17,3 GiB	40.960	≤ 110 tok/s	Cabe
granite-3.3-8b-instruct	8,2B	F16	18,6 GiB	73.472	≤ 101 tok/s	Cabe
granite-guardian-3.2-8b-factuality-detection	8,2B	F16	18,6 GiB	73.472	≤ 101 tok/s	Cabe
intent-aware-lfqa-llama3-8b-baseline	8,0B	F16	17,0 GiB	101.632	≤ 111 tok/s	Cabe
intent-aware-lfqa-llama3-8b-intent-explicit	8,0B	F16	17,0 GiB	101.632	≤ 111 tok/s	Cabe
intent-aware-lfqa-llama3-8b-intent-implicit	8,0B	F16	17,0 GiB	101.632	≤ 111 tok/s	Cabe
intent-aware-lfqa-llama3-8b-multiview	8,0B	F16	17,0 GiB	101.632	≤ 111 tok/s	Cabe
DeepSeek-R1-Distill-Llama-8B	8,0B	BF16	17,0 GiB	101.632	≤ 111 tok/s	Cabe
HARC-Llama-3.1-8B-Instruct	8,0B	Q6_K	8,4 GiB	131.072	≤ 248 tok/s	Cabe
Llama-3.1-8B-Instruct	8,0B	BF16	17,0 GiB	101.632	≤ 111 tok/s	Cabe
AprielGuard	7,9B	Q6_K	7,9 GiB	131.072	≤ 266 tok/s	Cabe
MiMo-Embodied-7B	7,6B	Q6_K	8,1 GiB	128.000	≤ 258 tok/s	Cabe
DeepSeek-R1-Distill-Qwen-7B	7,6B	F16	15,6 GiB	131.072	≤ 123 tok/s	Cabe
Fara-7B	7,6B	BF16	15,6 GiB	128.000	≤ 123 tok/s	Cabe
HARC-Qwen2.5-7B-Instruct	7,6B	Q6_K	7,5 GiB	32.768	≤ 286 tok/s	Cabe
JanusCoderV-7B	7,6B	BF16	15,6 GiB	128.000	≤ 123 tok/s	Cabe
olmOCR-2-7B-1025	7,6B	BF16	15,6 GiB	128.000	≤ 123 tok/s	Cabe
Qwen2.5-7B-Instruct	7,6B	Q8_0	9,1 GiB	32.768	≤ 224 tok/s	Cabe
Qwen2.5-Coder-7B-Instruct	7,6B	Q8_0	9,1 GiB	32.768	≤ 224 tok/s	Cabe
Qwen2.5-VL-7B-Instruct	7,6B	BF16	15,6 GiB	128.000	≤ 123 tok/s	Cabe
Qwen2.5-VL-7B-Surg-CholecT50	7,6B	F16	15,6 GiB	128.000	≤ 123 tok/s	Cabe
Spatial-SSRL-7B	7,6B	Q6_K	7,5 GiB	128.000	≤ 286 tok/s	Cabe
X-Reasoner-7B	7,6B	Q6_K	7,5 GiB	128.000	≤ 286 tok/s	Cabe
ZwZ-7B	7,6B	Q6_K	7,5 GiB	128.000	≤ 286 tok/s	Cabe
gemma-4-E4B	7,5B	F16	11,0 GiB	131.072	≤ 188 tok/s	Cabe
gemma-4-E4B-it	7,5B	BF16	11,0 GiB	131.072	≤ 188 tok/s	Cabe
Bielik-Minitron-7B-v3.0-Instruct	7,5B	Q8_0	10,2 GiB	32.768	≤ 196 tok/s	Cabe
ContextPilot-E4B	7,5B	F16	10,9 GiB	131.072	≤ 190 tok/s	Cabe
Olmo-3.1-7B-RL-Zero-Code	7,3B	Q6_K	11,0 GiB	65.536	≤ 215 tok/s	Cabe
Olmo-3.1-7B-RL-Zero-Math	7,3B	F16	19,0 GiB	60.672	≤ 109 tok/s	Cabe
Olmo-3-7B-Instruct	7,3B	BF16	19,0 GiB	60.672	≤ 109 tok/s	Cabe
Olmo-3-7B-Instruct-DPO	7,3B	Q6_K	11,0 GiB	65.536	≤ 215 tok/s	Cabe
Olmo-3-7B-Instruct-SFT	7,3B	Q6_K	11,0 GiB	65.536	≤ 215 tok/s	Cabe
Olmo-3-7B-RL-Zero-Code	7,3B	Q6_K	11,0 GiB	65.536	≤ 215 tok/s	Cabe
Olmo-3-7B-RL-Zero-General	7,3B	Q6_K	11,0 GiB	65.536	≤ 215 tok/s	Cabe
Olmo-3-7B-RL-Zero-IF	7,3B	Q6_K	11,0 GiB	65.536	≤ 215 tok/s	Cabe
Olmo-3-7B-RL-Zero-Math	7,3B	Q6_K	11,0 GiB	65.536	≤ 215 tok/s	Cabe
Olmo-3-7B-RL-Zero-Mix	7,3B	Q6_K	11,0 GiB	65.536	≤ 215 tok/s	Cabe
Olmo-3-7B-Think	7,3B	BF16	19,0 GiB	60.672	≤ 109 tok/s	Cabe
Olmo-3-7B-Think-DPO	7,3B	Q6_K	11,0 GiB	65.536	≤ 215 tok/s	Cabe
Olmo-3-7B-Think-SFT	7,3B	Q6_K	11,0 GiB	65.536	≤ 215 tok/s	Cabe
Mistral-7B-Instruct-v0.2	7,2B	Q6_K	8,1 GiB	32.768	≤ 259 tok/s	Cabe
Trinity-Nano-Base	6,1B (819M ativos)	Q6_K	6,7 GiB	131.072	≤ 1.990 tok/s	Cabe
Trinity-Nano-Base-Pre-Anneal	6,1B (819M ativos)	Q6_K	6,4 GiB	4.096	≤ 2.129 tok/s	Cabe
Trinity-Nano-Preview	6,1B (819M ativos)	BF16	13,5 GiB	131.072	≤ 964 tok/s	Cabe
Youtu-VL-4B-Instruct	4,9B	Q6_K	5,9 GiB	32.768	≤ 406 tok/s	Cabe
Holo-3.1-4B	4,8B	F16	10,2 GiB	262.144	≤ 206 tok/s	Cabe
gemma-4-E2B	4,6B	Q6_K	3,5 GiB	131.072	≤ 915 tok/s	Cabe
gemma-4-E2B-it	4,6B	BF16	6,1 GiB	131.072	≤ 385 tok/s	Cabe
AgentCPM-Explore	4,4B	Q6_K	5,7 GiB	168.448	≤ 397 tok/s	Cabe
CapRL-Qwen3VL-4B	4,4B	F16	10,4 GiB	136.704	≤ 194 tok/s	Cabe
Holo2-4B	4,4B	F16	10,4 GiB	136.704	≤ 194 tok/s	Cabe
intent-aware-lfqa-qwen3-4b-baseline	4,4B	F16	10,4 GiB	40.960	≤ 194 tok/s	Cabe
intent-aware-lfqa-qwen3-4b-intent-explicit	4,4B	F16	10,4 GiB	40.960	≤ 194 tok/s	Cabe
intent-aware-lfqa-qwen3-4b-intent-implicit	4,4B	F16	10,4 GiB	40.960	≤ 194 tok/s	Cabe
intent-aware-lfqa-qwen3-4b-multiview	4,4B	F16	10,4 GiB	40.960	≤ 194 tok/s	Cabe
Spatial-SSRL-Qwen3VL-4B	4,4B	F16	10,4 GiB	136.704	≤ 194 tok/s	Cabe
ZwZ-4B	4,4B	Q6_K	5,7 GiB	168.448	≤ 397 tok/s	Cabe
Fara1.5-4B	4,2B	BF16	10,2 GiB	262.144	≤ 206 tok/s	Cabe
FrogNano-4B-2609	4,2B	BF16	10,2 GiB	262.144	≤ 206 tok/s	Cabe
Qwen3.5-4B	4,2B	BF16	10,2 GiB	262.144	≤ 206 tok/s	Cabe
Qwen3.5-4B-Base	4,2B	F16	10,2 GiB	262.144	≤ 206 tok/s	Cabe
UserRepGen-4B	4,2B	BF16	10,2 GiB	262.144	≤ 206 tok/s	Cabe
Riva-Translate-4B-Instruct-v1.1	4,2B	Q6_K	6,0 GiB	8.192	≤ 374 tok/s	Cabe
GELab-Zero-4B-preview	4,0B	BF16	10,4 GiB	136.704	≤ 194 tok/s	Cabe
Qwen3-4B	4,0B	Q8_0	6,7 GiB	40.960	≤ 327 tok/s	Cabe
Qwen3-4B-Instruct-2507	4,0B	F16	10,4 GiB	136.704	≤ 194 tok/s	Cabe
Qwen3-VL-4B-Instruct	4,0B	BF16	10,4 GiB	136.704	≤ 194 tok/s	Cabe
Qwen3-VL-4B-Thinking	4,0B	BF16	10,4 GiB	136.704	≤ 194 tok/s	Cabe
NVIDIA-Nemotron-3-Nano-4B-BF16	4,0B	BF16	8,7 GiB	262.144	≤ 247 tok/s	Cabe
gemma-3-4b-it	3,9B	BF16	9,9 GiB	131.072	≤ 223 tok/s	Cabe
medgemma-1.5-4b-it	3,9B	BF16	9,9 GiB	131.072	≤ 223 tok/s	Cabe
Nemotron-3-Content-Safety	3,9B	Q6_K	5,4 GiB	131.072	≤ 516 tok/s	Cabe
translategemma-4b-it	3,9B	F16	9,9 GiB	131.072	≤ 223 tok/s	Cabe
Phi-4-mini-instruct	3,8B	BF16	10,0 GiB	131.072	≤ 205 tok/s	Cabe
Apertus-v1.1-4B	3,8B	Q6_K	4,4 GiB	4.096	≤ 558 tok/s	Cabe
Phi-3.5-mini-instruct	3,8B	Q8_0	8,3 GiB	62.208	≤ 250 tok/s	Cabe
granite-4.2-3b	3,7B	BF16	8,6 GiB	131.072	≤ 240 tok/s	Cabe
BitCPM-CANN-3B-unquantized	3,6B	Q6_K	4,3 GiB	32.768	≤ 583 tok/s	Cabe
kanana-2-3b-instruct	3,5B	F16	8,6 GiB	32.768	≤ 241 tok/s	Cabe
Ministral-3-3B-Instruct-2512	3,4B	BF16	8,9 GiB	199.680	≤ 232 tok/s	Cabe
Ministral-3-3B-Reasoning-2512	3,4B	BF16	8,9 GiB	199.680	≤ 232 tok/s	Cabe
granite-vision-4.1-4b	3,4B	BF16	8,6 GiB	131.072	≤ 240 tok/s	Cabe
granite-4.1-3b	3,4B	BF16	8,6 GiB	131.072	≤ 240 tok/s	Cabe
granite-guardian-4.0-3b-toxicity-ja	3,4B	Q6_K	4,7 GiB	131.072	≤ 517 tok/s	Cabe
Qwen2.5-3B-Instruct	3,4B	Q8_0	4,8 GiB	32.768	≤ 500 tok/s	Cabe
tiny-aya-earth	3,3B	BF16	8,7 GiB	≥ 262.144 (contextos maiores não foram verificados com logs medidos)	≤ 253 tok/s	Cabe
tiny-aya-fire	3,3B	BF16	8,7 GiB	≥ 262.144 (contextos maiores não foram verificados com logs medidos)	≤ 253 tok/s	Cabe
tiny-aya-global	3,3B	BF16	8,7 GiB	≥ 262.144 (contextos maiores não foram verificados com logs medidos)	≤ 253 tok/s	Cabe
tiny-aya-water	3,3B	BF16	8,7 GiB	≥ 262.144 (contextos maiores não foram verificados com logs medidos)	≤ 253 tok/s	Cabe
Llama-3.2-3B-Instruct	3,2B	BF16	8,5 GiB	131.072	≤ 243 tok/s	Cabe
AI21-Jamba-Reasoning-3B	3,2B	BF16	7,3 GiB	262.144	≤ 295 tok/s	Cabe
AI21-Jamba2-3B	3,2B	BF16	7,3 GiB	262.144	≤ 295 tok/s	Cabe
kanana-2-3b-base	3,2B	Q6_K	4,9 GiB	32.768	≤ 487 tok/s	Cabe
SmolLM3-3B	3,1B	BF16	7,9 GiB	65.536	≤ 265 tok/s	Cabe
SmolLM3-3B-GSM8K-SFT	3,1B	Q6_K	4,3 GiB	65.536	≤ 573 tok/s	Cabe
LFM2-2.6B-Exp	2,7B	F16	6,5 GiB	128.000	≤ 340 tok/s	Cabe
d1-3B	2,7B	BF16	6,7 GiB	32.768	≤ 324 tok/s	Cabe
LFM2.5-2.6B	2,7B	BF16	6,7 GiB	131.072	≤ 324 tok/s	Cabe
LFM2.5-2.6B-Base	2,7B	Q6_K	3,6 GiB	128.000	≤ 763 tok/s	Cabe
LFM2.5-VL-3B	2,7B	BF16	6,7 GiB	32.768	≤ 324 tok/s	Cabe
EuroMoE-2.6B-A0.6B-Instruct-2512	2,6B (498M ativos)	Q6_K	3,6 GiB	32.768	≤ 2.915 tok/s	Cabe
LFM2-2.6B-Longevity	2,6B	F16	6,5 GiB	128.000	≤ 340 tok/s	Cabe
LFM2-2.6B-Transcript	2,6B	BF16	6,5 GiB	128.000	≤ 340 tok/s	Cabe
LFM2-VL-3B	2,6B	BF16	6,5 GiB	128.000	≤ 340 tok/s	Cabe
MiniCPM5-2B	2,5B	BF16	6,0 GiB	131.072	≤ 369 tok/s	Cabe
MiniCPM5-2B-Base	2,5B	Q6_K	3,4 GiB	≥ 262.144 (contextos maiores não foram verificados com logs medidos)	≤ 815 tok/s	Cabe
CapRL-Qwen3VL-2B	2,0B	F16	5,6 GiB	214.528	≤ 409 tok/s	Cabe
HiPO-1.7B	2,0B	Q6_K	3,6 GiB	40.960	≤ 762 tok/s	Cabe
UI-Venus-1.5-2B	2,0B	F16	5,6 GiB	214.528	≤ 409 tok/s	Cabe
ZwZ-2B	2,0B	F16	5,6 GiB	214.528	≤ 409 tok/s	Cabe
Youtu-LLM-2B	2,0B	Q6_K	3,2 GiB	131.072	≤ 933 tok/s	Cabe
Youtu-LLM-2B-Base	2,0B	Q6_K	3,2 GiB	131.072	≤ 933 tok/s	Cabe
Qwen3.5-2B	1,9B	BF16	5,4 GiB	262.144	≤ 464 tok/s	Cabe
Qwen3.5-2B-Base	1,9B	Q6_K	3,2 GiB	262.144	≤ 1.089 tok/s	Cabe
Qwen3-1.7B	1,7B	BF16	5,6 GiB	40.960	≤ 409 tok/s	Cabe
Qwen3-VL-2B-Instruct	1,7B	BF16	5,6 GiB	214.528	≤ 409 tok/s	Cabe
Qwen3-VL-2B-Thinking	1,7B	BF16	5,6 GiB	214.528	≤ 409 tok/s	Cabe
SingGuard-2b	1,7B	F16	5,6 GiB	214.528	≤ 409 tok/s	Cabe
granite-4.0-1b	1,6B	BF16	5,1 GiB	131.072	≤ 455 tok/s	Cabe
Apertus-v1.1-1.5B	1,5B	F16	3,8 GiB	4.096	≤ 685 tok/s	Cabe
Apertus-v1.1-1.5B-Instruct	1,5B	F16	3,8 GiB	4.096	≤ 685 tok/s	Cabe
granite-4.0-h-1b	1,5B	BF16	4,4 GiB	131.072	≤ 599 tok/s	Cabe
Llama-3.2-1B-Instruct	1,2B	BF16	4,0 GiB	131.072	≤ 654 tok/s	Cabe
LFM2.5-1.2B-Base	1,2B	BF16	3,7 GiB	128.000	≤ 734 tok/s	Cabe
LFM2.5-1.2B-Instruct	1,2B	BF16	3,7 GiB	128.000	≤ 734 tok/s	Cabe
LFM2.5-1.2B-JP	1,2B	F16	3,7 GiB	128.000	≤ 734 tok/s	Cabe
LFM2.5-1.2B-JP-202606	1,2B	F16	3,7 GiB	128.000	≤ 734 tok/s	Cabe
LFM2.5-1.2B-Thinking	1,2B	BF16	3,7 GiB	128.000	≤ 734 tok/s	Cabe
LFM2.5-VL-1.6B	1,2B	BF16	3,7 GiB	128.000	≤ 734 tok/s	Cabe
LFM2.5-VL-1.6B-Extract	1,2B	F16	3,7 GiB	128.000	≤ 734 tok/s	Cabe
MiniCPM5-1B	1,1B	Q6_K	2,2 GiB	131.072	≤ 1.940 tok/s	Cabe
MiniCPM5-1B-Base	1,1B	Q6_K	2,2 GiB	131.072	≤ 1.940 tok/s	Cabe
MiniCPM5-1B-SFT	1,1B	Q6_K	2,2 GiB	131.072	≤ 1.940 tok/s	Cabe
Holo-3.1-0.8B	1,0B	Q6_K	2,3 GiB	262.144	≤ 2.491 tok/s	Cabe
MiniCPM-V-4.7-1B	1,0B	F16	3,2 GiB	262.144	≤ 1.116 tok/s	Cabe
gemma-3-1b-it	1,0B	BF16	3,6 GiB	32.768	≤ 876 tok/s	Cabe
Qwen3.5-0.8B	752M	BF16	3,2 GiB	262.144	≤ 1.116 tok/s	Cabe
Qwen3.5-0.8B-Base	752M	Q6_K	2,3 GiB	262.144	≤ 2.491 tok/s	Cabe
MiniCPM-V-4.6	752M	F16	3,2 GiB	262.144	≤ 1.116 tok/s	Cabe
MiniCPM-V-4.6-Thinking	752M	F16	3,2 GiB	262.144	≤ 1.116 tok/s	Cabe
Qwen3-0.6B	752M	BF16	3,4 GiB	40.960	≤ 841 tok/s	Cabe
HunyuanOCR	539M	F16	3,1 GiB	32.768	≤ 951 tok/s	Cabe
LFM2.5-350M	354M	BF16	2,1 GiB	128.000	≤ 2.213 tok/s	Cabe
LFM2.5-Encoder-350M-Diffusion	354M	Q6_K	1,7 GiB	128.000	≤ 4.575 tok/s	Cabe
LFM2.5-VL-450M	354M	BF16	2,1 GiB	128.000	≤ 2.213 tok/s	Cabe
LFM2.5-VL-450M-Extract	354M	F16	2,1 GiB	128.000	≤ 2.213 tok/s	Cabe
granite-4.0-350m	352M	BF16	2,2 GiB	32.768	≤ 1.907 tok/s	Cabe
granite-4.0-h-350m	340M	BF16	2,1 GiB	32.768	≤ 2.507 tok/s	Cabe
functiongemma-270m-it	268M	BF16	2,1 GiB	32.768	≤ 3.148 tok/s	Cabe
LFM2.5-230M	230M	BF16	1,8 GiB	128.000	≤ 3.199 tok/s	Cabe

Modelos no limite

Dentro da faixa de erro da estimativa: pode caber ou não. Tente um contexto mais curto ou uma quantização menor.

Contexto de 8.192 tokens. Nenhuma quantização destes modelos cabe; a exibida é a mais alta que está no limite.
Modelo	Parâmetros	Maior quantização no limite	Memória disponível necessária para “Cabe”	Resultado
Qwen3.5-122B-A10B	122B (9,0B ativos)	IQ2_XXS	35,0 GiB	No limite
Step-3.5-Flash-REAP-121B-A11B	121B (11,4B ativos)	IQ2_XXS	32,9 GiB	No limite
Mistral-Small-4-119B-2603	119B (6,1B ativos)	IQ2_XXS	34,3 GiB	No limite
Solar-Open-100B	103B (11,2B ativos)	IQ2_M	35,8 GiB	No limite
GLM-4.5-Air-REAP-82B-A12B	81,9B (12,8B ativos)	Q2_K	36,5 GiB	No limite
Qwen3-Coder-Next	79,7B (3,6B ativos)	Q2_K	30,4 GiB	No limite
Qwen3-Next-80B-A3B-Instruct	79,7B (3,6B ativos)	Q2_K	30,3 GiB	No limite
Qwen2.5-72B-Instruct	73,0B	Q2_K	30,3 GiB	No limite
DeepSeek-R1-Distill-Llama-70B	70,6B	Q3_K_M	37,1 GiB	No limite
Llama-3.3-70B-Instruct	70,6B	Q3_K_M	37,1 GiB	No limite
Qwen-AgentWorld-35B-A3B	34,7B (2,9B ativos)	Q8_0	37,6 GiB	No limite

Modelos que não cabem em uma NVIDIA GeForce RTX 5090

Contexto de 8.192 tokens. Nem a menor quantização cabe em uma placa; o requisito exibido é para essa quantização.
Modelo	Parâmetros	Menor quantização	Memória disponível necessária para “Cabe”	Várias placas idênticas	Resultado
MiniMax-M2.5-REAP-139B-A10B	139B (10,4B ativos)	IQ2_XXS	39,2 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
INTELLECT-3	107B (12,8B ativos)	IQ2_XXS	39,6 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
Step-3.5-Flash-REAP-149B-A11B	149B (11,4B ativos)	IQ2_XXS	40,1 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
Llama-4-Scout-17B-16E-Instruct	108B (16,1B ativos)	Q2_K	41,5 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
GLM-4.5-Air	107B (12,8B ativos)	Q2_K	45,6 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
GLM-4.6V	107B (12,8B ativos)	Q2_K	45,6 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
Step-3.5-Flash	197B (11,5B ativos)	IQ2_XXS	48,9 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
Devstral-2-123B-Instruct-2512	125B	Q2_K	49,3 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
Mistral-Medium-3.5-128B	125B	Q2_K	49,3 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16	121B (12,2B ativos)	IQ2_XXS	49,8 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
NVIDIA-Nemotron-3-Super-120B-A12B-BF16	121B (12,2B ativos)	IQ2_XXS	51,0 GiB	Espera-se que 2 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
gpt-oss-120b	117B (5,1B ativos)	Q2_K	62,8 GiB	Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
MiniMax-M2.7	229B (10,4B ativos)	IQ2_XXS	62,9 GiB	Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Baichuan-M3-235B	235B (21,6B ativos)	IQ2_XXS	63,2 GiB	Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Holo2-235B-A22B	235B (21,6B ativos)	IQ2_XXS	63,2 GiB	Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Qwen3-Nemotron-235B-A22B-GenRM	235B (21,6B ativos)	IQ2_XXS	63,2 GiB	Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
command-a-plus-05-2026-bf16	218B (25,0B ativos)	IQ2_XXS	63,6 GiB	Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16	121B (12,2B ativos)	Q4_0	71,8 GiB	Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
GLM-4.7-REAP-268B-A32B	269B (32,8B ativos)	IQ2_XXS	73,0 GiB	Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Step-3.7-Flash	197B (11,5B ativos)	IQ3_XXS	76,1 GiB	Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
Hy3	295B (20,2B ativos)	IQ2_XXS	82,2 GiB	Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam.	Não cabe
MiMo-V2.5	309B (14,8B ativos)	IQ2_XXS	82,4 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
GLM-4.7-REAP-218B-A32B	218B (32,8B ativos)	Q2_K	82,9 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
MiniMax-M2	229B (10,4B ativos)	Q2_K	84,9 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
MiniMax-M2.1	229B (10,4B ativos)	Q2_K	84,9 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
MiniMax-M2.5	229B (10,4B ativos)	Q2_K	84,9 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Qwen3-235B-A22B-Instruct-2507	235B (21,6B ativos)	Q2_K	86,7 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Qwen3-VL-235B-A22B-Instruct	235B (21,6B ativos)	Q2_K	86,7 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
GLM-5.3-Flash-BF16	313B (16,7B ativos)	IQ2_XXS	92,0 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Laguna-S-2.1	118B (8,1B ativos)	Q4_K_M	95,9 GiB	Espera-se que 8 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Trinity-Large-Base	399B (12,8B ativos)	IQ2_XXS	96,4 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Trinity-Large-TrueBase	399B (12,8B ativos)	IQ2_XXS	96,4 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
GLM-4.6-REAP-268B-A32B	269B (32,8B ativos)	Q2_K	100,9 GiB	Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Trinity-Large-Thinking	399B (12,8B ativos)	IQ2_XXS	107,1 GiB	Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
MiMo-V2-Flash	309B (14,8B ativos)	Q2_K	111,6 GiB	Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Intern-S2-397B	396B (16,3B ativos)	IQ2_XXS	114,3 GiB	Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
MiMo-V2.6-Flash-MOPD	309B (14,8B ativos)	Q2_K	124,9 GiB	Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
MiMo-V2.6-Flash-RL	309B (14,8B ativos)	Q2_K	124,9 GiB	Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
K-EXAONE-236B-A23B	237B (22,7B ativos)	IQ4_XS	126,3 GiB	Espera-se que 6 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
GLM-4.5	353B (32,9B ativos)	Q2_K	130,7 GiB	Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
GLM-4.7	353B (32,9B ativos)	Q2_K	130,7 GiB	Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Qwen3-Coder-REAP-363B-A35B	363B (34,5B ativos)	Q2_K	132,7 GiB	Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Qwen3-235B-A22B	235B (21,6B ativos)	Q4_K_M	141,9 GiB	Espera-se que 6 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Qwen3-Coder-480B-A35B-Instruct	480B (34,5B ativos)	Q2_K	174,3 GiB	Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
Qwen3.5-397B-A17B	396B (16,3B ativos)	Q3_K_M	175,6 GiB	Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite.	Não cabe
GLM-5.1	744B (40,8B ativos)	IQ2_XXS	197,6 GiB	No limite com 8 placas.	Não cabe
DeepSeek-V3.2	671B (36,6B ativos)	Q2_K	242,1 GiB	No limite com 8 placas.	Não cabe
cogito-671b-v2.1	671B (36,6B ativos)	Q2_K	242,4 GiB	No limite com 8 placas.	Não cabe
DeepSeek-V3.1	671B (36,6B ativos)	Q2_K	242,4 GiB	No limite com 8 placas.	Não cabe
Mistral-Large-3-675B-Instruct-2512	673B (39,0B ativos)	Q2_K	243,8 GiB	No limite com 8 placas.	Não cabe
DeepSeek-V3	671B (36,6B ativos)	Q2_K	257,8 GiB	No limite com 8 placas.	Não cabe
Kimi-K2.6	1,03T (31,7B ativos)	IQ2_XXS	267,6 GiB	No limite com 8 placas.	Não cabe
GLM-5	744B (40,8B ativos)	Q2_K	268,9 GiB	No limite com 8 placas.	Não cabe
MiMo-V2.5-Pro	1,02T (41,0B ativos)	IQ2_XXS	270,4 GiB	No limite com 8 placas.	Não cabe
DeepSeek-R1	671B (36,6B ativos)	Q2_K	280,3 GiB	No limite com 8 placas.	Não cabe
Muse-Spark-Open-816B-A42B	820B (44,4B ativos)	Q2_K	301,0 GiB	Não cabe nem em 8 placas.	Não cabe
GLM-5.3-Flash	313B (16,7B ativos)	Q8_0	327,9 GiB	Não cabe nem em 8 placas.	Não cabe
Ling-1T	1,00T (49,8B ativos)	Q2_K	360,6 GiB	Não cabe nem em 8 placas.	Não cabe
Kimi-K2-Instruct	1,03T (31,7B ativos)	Q2_K	367,4 GiB	Não cabe nem em 8 placas.	Não cabe
Kimi-K2.5	1,03T (31,7B ativos)	Q2_K	368,0 GiB	Não cabe nem em 8 placas.	Não cabe
Kimi-K2-Thinking	1,03T (31,7B ativos)	Q2_K	368,3 GiB	Não cabe nem em 8 placas.	Não cabe
MiMo-V2.6-Pro-MOPD	1,02T (41,0B ativos)	Q2_K	411,6 GiB	Não cabe nem em 8 placas.	Não cabe
MiMo-V2.6-Pro-RL	1,02T (41,0B ativos)	Q2_K	411,6 GiB	Não cabe nem em 8 placas.	Não cabe
Beam-1.0-501B-A23B	501B (22,7B ativos)	Q8_0	523,6 GiB	Não cabe nem em 8 placas.	Não cabe
GLM-5.2	744B (40,8B ativos)	Q8_0	776,4 GiB	Não cabe nem em 8 placas.	Não cabe
GLM-5.3	744B (40,8B ativos)	Q8_0	776,4 GiB	Não cabe nem em 8 placas.	Não cabe
Qwen3.8-2.4T-A95B	2,42T (93,3B ativos)	Q8_0	2.524,1 GiB	Não cabe nem em 8 placas.	Não cabe

O teto de velocidade é a largura de banda da memória dividida pelos bytes lidos por token gerado. É um limite superior teórico; os benchmarks públicos do llama.cpp normalmente atingem cerca de metade a quatro quintos desse valor, e modelos pequenos e modelos MoE (mistura de especialistas) costumam atingir menos. Benchmarks públicos

Páginas detalhadas para esta GPU

Outros dispositivos com 32 GB