DeskGPU
Português (Brasil)

NVIDIA GeForce RTX 2080: quais LLMs ela consegue executar?

Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA

A NVIDIA GeForce RTX 2080 tem 8 GB de memória (valor do fabricante). Abaixo, cada modelo do banco de dados é verificado em relação a ela com llama.cpp, com comprimento de contexto de 8.192 tokens (ou o máximo do modelo, se menor).

Valores atualizados em 19 de out. de 2026

Especificações

Memória (valor do fabricante)
8 GB
Tipo de memória
GDDR6
Largura do barramento de memória
256 bit
Largura de banda da memória
448 GB/s
Potência da placa (TDP)
215 W
Tensor FP16, denso
Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.
Tensor BF16, denso
Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.
Tensor FP8, denso
Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.
Tensor FP4, denso
Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.
INT8 tensor, denso
Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.
Interface
Não exibido: as fontes abertas não fornecem dois valores independentes e concordantes com uma referência do fabricante.

Cada valor lista todas as fontes com seu próprio número; as unidades foram normalizadas. O “GB” de memória de GPU de um fabricante é contado como GiB (2³⁰ bytes), que é também como a tabela do ROCm da AMD o indica. Como as especificações são verificadas

Perfil de execução

Perfil de execução: llama.cpp, back end CUDA (GPU dedicada NVIDIA), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.

Memória considerada disponível para “Cabe” (C_low): 4,88 GiB por placa = 8 GiB nominais − 1.054 MiB (a maior diferença entre o nominal e o total informado medida em GPUs de consumo e de estações de trabalho neste perfil, usada porque nenhum log público informa o total desta GPU) − 2.112 MiB (o maior uso de inicialização e de execução visto nos logs públicos deste perfil), arredondado para baixo para um múltiplo de 64 MiB.

Estes resultados presumem a configuração padrão da placa. Configurações que reduzem a memória utilizável (por exemplo, ECC, quando a placa oferece suporte) não estão incluídas.

Memória usada para “Não cabe” (C_high): os 8 GiB completos por placa. Perfis de execução e suas medições

Quais modelos cabem

“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos

Contexto de 8.192 tokens (ou o máximo do modelo, se for menor). As últimas colunas mostram o maior comprimento de contexto nessa quantização e o limite de velocidade baseado na largura de banda.
Modelo Parâmetros Maior quantização que cabe Memória disponível necessária para “Cabe” Maior contexto Limite de velocidade Resultado
AutoGLM-Phone-9B-Multilingual 9,4B IQ2_XXS 4,8 GiB 9.472 ≤ 126 tok/s Cabe
AstaBrief_8B 8,2B IQ2_XXS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
ContextPilot-8B 8,2B IQ2_XXS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
Cosmos-Reason2-8B 8,2B IQ2_XXS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
Holo2-8B 8,2B IQ2_XXS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
Nemotron-Terminal-8B 8,2B IQ2_XXS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
Qwen3-Nemotron-8B-BRRM 8,2B IQ2_XXS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
RLVR-8B-0926 8,2B IQ2_XXS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
Step3-VL-10B-Base 8,2B IQ2_XXS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
UI-Venus-1.5-8B 8,2B IQ2_XXS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
ZwZ-8B 8,2B IQ2_XXS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
HARC-Llama-3.1-8B-Instruct 8,0B IQ2_XXS 4,5 GiB 10.752 ≤ 136 tok/s Cabe
AprielGuard 7,9B IQ2_M 4,7 GiB 9.984 ≤ 129 tok/s Cabe
MiMo-Embodied-7B 7,6B IQ2_XXS 4,6 GiB 9.984 ≤ 134 tok/s Cabe
DeepSeek-R1-Distill-Qwen-7B 7,6B Q2_K 4,6 GiB 13.568 ≤ 136 tok/s Cabe
Fara-7B 7,6B IQ3_XXS 4,6 GiB 12.800 ≤ 134 tok/s Cabe
HARC-Qwen2.5-7B-Instruct 7,6B IQ3_XXS 4,6 GiB 12.800 ≤ 134 tok/s Cabe
JanusCoderV-7B 7,6B IQ3_XXS 4,6 GiB 12.800 ≤ 134 tok/s Cabe
olmOCR-2-7B-1025 7,6B IQ3_XXS 4,6 GiB 12.800 ≤ 134 tok/s Cabe
Qwen2.5-7B-Instruct 7,6B Q2_K 4,6 GiB 13.568 ≤ 136 tok/s Cabe
Qwen2.5-Coder-7B-Instruct 7,6B Q2_K 4,6 GiB 13.568 ≤ 136 tok/s Cabe
Qwen2.5-VL-7B-Instruct 7,6B Q2_K 4,6 GiB 13.568 ≤ 136 tok/s Cabe
Qwen2.5-VL-7B-Surg-CholecT50 7,6B Q2_K 4,6 GiB 13.568 ≤ 136 tok/s Cabe
Spatial-SSRL-7B 7,6B IQ3_XXS 4,6 GiB 12.800 ≤ 134 tok/s Cabe
X-Reasoner-7B 7,6B IQ3_XXS 4,6 GiB 12.800 ≤ 134 tok/s Cabe
ZwZ-7B 7,6B IQ3_XXS 4,6 GiB 12.800 ≤ 134 tok/s Cabe
gemma-4-E4B 7,5B Q4_K_M 4,7 GiB 16.128 ≤ 142 tok/s Cabe
gemma-4-E4B-it 7,5B Q4_K_M 4,7 GiB 15.104 ≤ 141 tok/s Cabe
ContextPilot-E4B 7,5B Q4_K_M 4,7 GiB 17.920 ≤ 143 tok/s Cabe
Mistral-7B-Instruct-v0.2 7,2B IQ2_M 4,7 GiB 9.216 ≤ 127 tok/s Cabe
Trinity-Nano-Base 6,1B (819M ativos) Q3_K_M 4,7 GiB 14.848 ≤ 647 tok/s Cabe
Trinity-Nano-Base-Pre-Anneal 6,1B (819M ativos) IQ4_XS 4,8 GiB 4.096 ≤ 670 tok/s Cabe
Trinity-Nano-Preview 6,1B (819M ativos) Q3_K_M 4,7 GiB 20.736 ≤ 624 tok/s Cabe
Youtu-VL-4B-Instruct 4,9B Q4_0 4,8 GiB 8.704 ≤ 135 tok/s Cabe
Holo-3.1-4B 4,8B Q4_K_M 4,6 GiB 15.360 ≤ 151 tok/s Cabe
gemma-4-E2B 4,6B Q6_K 3,5 GiB 131.072 ≤ 229 tok/s Cabe
gemma-4-E2B-it 4,6B Q8_0 4,1 GiB 102.656 ≤ 173 tok/s Cabe
AgentCPM-Explore 4,4B Q4_0 4,8 GiB 8.448 ≤ 125 tok/s Cabe
CapRL-Qwen3VL-4B 4,4B Q2_K 4,1 GiB 13.056 ≤ 156 tok/s Cabe
Holo2-4B 4,4B IQ4_XS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
intent-aware-lfqa-qwen3-4b-baseline 4,4B IQ4_XS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
intent-aware-lfqa-qwen3-4b-intent-explicit 4,4B IQ4_XS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
intent-aware-lfqa-qwen3-4b-intent-implicit 4,4B IQ4_XS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
intent-aware-lfqa-qwen3-4b-multiview 4,4B IQ4_XS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
Spatial-SSRL-Qwen3VL-4B 4,4B IQ4_XS 4,7 GiB 8.960 ≤ 128 tok/s Cabe
ZwZ-4B 4,4B Q4_0 4,8 GiB 8.448 ≤ 125 tok/s Cabe
Fara1.5-4B 4,2B Q4_K_M 4,8 GiB 10.240 ≤ 143 tok/s Cabe
FrogNano-4B-2609 4,2B Q4_K_M 4,7 GiB 14.592 ≤ 150 tok/s Cabe
Qwen3.5-4B 4,2B Q4_K_M 4,7 GiB 14.336 ≤ 149 tok/s Cabe
Qwen3.5-4B-Base 4,2B Q4_K_M 4,6 GiB 15.360 ≤ 151 tok/s Cabe
UserRepGen-4B 4,2B Q4_K_M 4,7 GiB 14.592 ≤ 150 tok/s Cabe
Riva-Translate-4B-Instruct-v1.1 4,2B Q4_0 4,8 GiB 8.192 ≤ 124 tok/s Cabe
GELab-Zero-4B-preview 4,0B Q4_0 4,8 GiB 8.448 ≤ 125 tok/s Cabe
Qwen3-4B-Instruct-2507 4,0B Q4_0 4,8 GiB 8.448 ≤ 125 tok/s Cabe
Qwen3-VL-4B-Instruct 4,0B Q4_0 4,8 GiB 8.448 ≤ 125 tok/s Cabe
Qwen3-VL-4B-Thinking 4,0B Q4_0 4,8 GiB 8.448 ≤ 125 tok/s Cabe
NVIDIA-Nemotron-3-Nano-4B-BF16 4,0B Q5_K_M 4,5 GiB 27.136 ≤ 150 tok/s Cabe
gemma-3-4b-it 3,9B Q4_K_M 4,7 GiB 16.640 ≤ 162 tok/s Cabe
medgemma-1.5-4b-it 3,9B Q4_K_M 4,7 GiB 16.640 ≤ 162 tok/s Cabe
Nemotron-3-Content-Safety 3,9B Q4_K_M 4,7 GiB 16.640 ≤ 162 tok/s Cabe
translategemma-4b-it 3,9B Q4_K_M 4,7 GiB 16.640 ≤ 162 tok/s Cabe
Phi-4-mini-instruct 3,8B Q3_K_M 4,5 GiB 10.752 ≤ 141 tok/s Cabe
Apertus-v1.1-4B 3,8B Q6_K 4,4 GiB 4.096 ≤ 140 tok/s Cabe
granite-4.2-3b 3,7B Q6_K 4,7 GiB 10.496 ≤ 129 tok/s Cabe
BitCPM-CANN-3B-unquantized 3,6B Q6_K 4,3 GiB 25.088 ≤ 146 tok/s Cabe
kanana-2-3b-instruct 3,5B Q5_K_M 4,6 GiB 10.496 ≤ 134 tok/s Cabe
Ministral-3-3B-Instruct-2512 3,4B Q5_K_M 4,6 GiB 11.008 ≤ 134 tok/s Cabe
Ministral-3-3B-Reasoning-2512 3,4B Q5_K_M 4,6 GiB 11.008 ≤ 134 tok/s Cabe
granite-vision-4.1-4b 3,4B Q6_K 4,7 GiB 10.496 ≤ 129 tok/s Cabe
granite-4.1-3b 3,4B Q6_K 4,7 GiB 10.496 ≤ 129 tok/s Cabe
granite-guardian-4.0-3b-toxicity-ja 3,4B Q6_K 4,7 GiB 10.496 ≤ 129 tok/s Cabe
Qwen2.5-3B-Instruct 3,4B Q8_0 4,8 GiB 9.216 ≤ 125 tok/s Cabe
tiny-aya-earth 3,3B Q4_K_M 4,2 GiB 16.384 ≤ 179 tok/s Cabe
tiny-aya-fire 3,3B Q4_K_M 4,2 GiB 16.384 ≤ 179 tok/s Cabe
tiny-aya-global 3,3B Q4_K_M 4,2 GiB 16.384 ≤ 179 tok/s Cabe
tiny-aya-water 3,3B Q4_K_M 4,2 GiB 16.384 ≤ 179 tok/s Cabe
Llama-3.2-3B-Instruct 3,2B Q6_K 4,8 GiB 8.960 ≤ 125 tok/s Cabe
AI21-Jamba-Reasoning-3B 3,2B Q8_0 4,5 GiB 135.168 ≤ 138 tok/s Cabe
AI21-Jamba2-3B 3,2B Q8_0 4,5 GiB 135.168 ≤ 138 tok/s Cabe
kanana-2-3b-base 3,2B Q5_K_M 4,6 GiB 10.496 ≤ 134 tok/s Cabe
SmolLM3-3B 3,1B Q6_K 4,3 GiB 15.104 ≤ 143 tok/s Cabe
SmolLM3-3B-GSM8K-SFT 3,1B Q6_K 4,3 GiB 15.104 ≤ 143 tok/s Cabe
LFM2-2.6B-Exp 2,7B Q8_0 4,1 GiB 51.456 ≤ 156 tok/s Cabe
d1-3B 2,7B Q8_0 4,2 GiB 32.768 ≤ 149 tok/s Cabe
LFM2.5-2.6B 2,7B Q8_0 4,2 GiB 44.032 ≤ 149 tok/s Cabe
LFM2.5-2.6B-Base 2,7B Q6_K 3,6 GiB 79.616 ≤ 191 tok/s Cabe
LFM2.5-VL-3B 2,7B Q8_0 4,2 GiB 32.768 ≤ 149 tok/s Cabe
EuroMoE-2.6B-A0.6B-Instruct-2512 2,6B (498M ativos) Q6_K 3,6 GiB 32.768 ≤ 729 tok/s Cabe
LFM2-2.6B-Longevity 2,6B Q8_0 4,1 GiB 51.456 ≤ 156 tok/s Cabe
LFM2-2.6B-Transcript 2,6B Q8_0 4,1 GiB 51.456 ≤ 156 tok/s Cabe
LFM2-VL-3B 2,6B Q8_0 4,1 GiB 51.456 ≤ 156 tok/s Cabe
MiniCPM5-2B 2,5B Q8_0 4,0 GiB 28.672 ≤ 163 tok/s Cabe
MiniCPM5-2B-Base 2,5B Q6_K 3,4 GiB 40.704 ≤ 204 tok/s Cabe
CapRL-Qwen3VL-2B 2,0B Q8_0 4,0 GiB 15.360 ≤ 162 tok/s Cabe
HiPO-1.7B 2,0B Q6_K 3,6 GiB 18.944 ≤ 191 tok/s Cabe
UI-Venus-1.5-2B 2,0B Q8_0 4,0 GiB 15.360 ≤ 162 tok/s Cabe
ZwZ-2B 2,0B Q8_0 4,0 GiB 15.360 ≤ 162 tok/s Cabe
Youtu-LLM-2B 2,0B Q6_K 3,2 GiB 52.992 ≤ 233 tok/s Cabe
Youtu-LLM-2B-Base 2,0B Q6_K 3,2 GiB 52.992 ≤ 233 tok/s Cabe
Qwen3.5-2B 1,9B Q8_0 3,7 GiB 94.976 ≤ 213 tok/s Cabe
Qwen3.5-2B-Base 1,9B Q6_K 3,2 GiB 126.720 ≤ 272 tok/s Cabe
Qwen3-1.7B 1,7B Q8_0 4,0 GiB 15.360 ≤ 162 tok/s Cabe
Qwen3-VL-2B-Instruct 1,7B Q8_0 4,0 GiB 15.360 ≤ 162 tok/s Cabe
Qwen3-VL-2B-Thinking 1,7B Q8_0 4,0 GiB 15.360 ≤ 162 tok/s Cabe
SingGuard-2b 1,7B Q8_0 4,0 GiB 15.360 ≤ 162 tok/s Cabe
granite-4.0-1b 1,6B Q8_0 3,6 GiB 23.040 ≤ 186 tok/s Cabe
Apertus-v1.1-1.5B 1,5B F16 3,8 GiB 4.096 ≤ 171 tok/s Cabe
Apertus-v1.1-1.5B-Instruct 1,5B F16 3,8 GiB 4.096 ≤ 171 tok/s Cabe
granite-4.0-h-1b 1,5B BF16 4,4 GiB 51.456 ≤ 150 tok/s Cabe
Llama-3.2-1B-Instruct 1,2B BF16 4,0 GiB 34.816 ≤ 163 tok/s Cabe
LFM2.5-1.2B-Base 1,2B BF16 3,7 GiB 93.440 ≤ 183 tok/s Cabe
LFM2.5-1.2B-Instruct 1,2B BF16 3,7 GiB 93.440 ≤ 183 tok/s Cabe
LFM2.5-1.2B-JP 1,2B F16 3,7 GiB 93.440 ≤ 183 tok/s Cabe
LFM2.5-1.2B-JP-202606 1,2B F16 3,7 GiB 93.440 ≤ 183 tok/s Cabe
LFM2.5-1.2B-Thinking 1,2B BF16 3,7 GiB 93.440 ≤ 183 tok/s Cabe
LFM2.5-VL-1.6B 1,2B BF16 3,7 GiB 93.440 ≤ 183 tok/s Cabe
LFM2.5-VL-1.6B-Extract 1,2B F16 3,7 GiB 93.440 ≤ 183 tok/s Cabe
MiniCPM5-1B 1,1B Q6_K 2,2 GiB 111.104 ≤ 485 tok/s Cabe
MiniCPM5-1B-Base 1,1B Q6_K 2,2 GiB 111.104 ≤ 485 tok/s Cabe
MiniCPM5-1B-SFT 1,1B Q6_K 2,2 GiB 111.104 ≤ 485 tok/s Cabe
Holo-3.1-0.8B 1,0B Q6_K 2,3 GiB 191.232 ≤ 623 tok/s Cabe
MiniCPM-V-4.7-1B 1,0B F16 3,2 GiB 129.536 ≤ 279 tok/s Cabe
gemma-3-1b-it 1,0B BF16 3,6 GiB 32.768 ≤ 219 tok/s Cabe
Qwen3.5-0.8B 752M BF16 3,2 GiB 129.536 ≤ 279 tok/s Cabe
Qwen3.5-0.8B-Base 752M Q6_K 2,3 GiB 191.232 ≤ 623 tok/s Cabe
MiniCPM-V-4.6 752M F16 3,2 GiB 129.536 ≤ 279 tok/s Cabe
MiniCPM-V-4.6-Thinking 752M F16 3,2 GiB 129.536 ≤ 279 tok/s Cabe
Qwen3-0.6B 752M BF16 3,4 GiB 20.736 ≤ 210 tok/s Cabe
HunyuanOCR 539M F16 3,1 GiB 25.856 ≤ 238 tok/s Cabe
LFM2.5-350M 354M BF16 2,1 GiB 128.000 ≤ 553 tok/s Cabe
LFM2.5-Encoder-350M-Diffusion 354M Q6_K 1,7 GiB 128.000 ≤ 1.144 tok/s Cabe
LFM2.5-VL-450M 354M BF16 2,1 GiB 128.000 ≤ 553 tok/s Cabe
LFM2.5-VL-450M-Extract 354M F16 2,1 GiB 128.000 ≤ 553 tok/s Cabe
granite-4.0-350m 352M BF16 2,2 GiB 32.768 ≤ 477 tok/s Cabe
granite-4.0-h-350m 340M BF16 2,1 GiB 32.768 ≤ 627 tok/s Cabe
functiongemma-270m-it 268M BF16 2,1 GiB 32.768 ≤ 787 tok/s Cabe
LFM2.5-230M 230M BF16 1,8 GiB 128.000 ≤ 800 tok/s Cabe

Modelos no limite

Dentro da faixa de erro da estimativa: pode caber ou não. Tente um contexto mais curto ou uma quantização menor.

Contexto de 8.192 tokens. Nenhuma quantização destes modelos cabe; a exibida é a mais alta que está no limite.
Modelo Parâmetros Maior quantização no limite Memória disponível necessária para “Cabe” Resultado
Muse-Glimmer-30B 27,9B IQ2_XXS 10,2 GiB No limite
Holo4-27B 26,9B IQ2_XXS 10,5 GiB No limite
Qwen3.8-27B 26,9B IQ2_XXS 10,6 GiB No limite
Qwen3.8-3.6-27B-blend 26,9B IQ2_XXS 10,6 GiB No limite
Trinity-Mini 26,1B (3,1B ativos) IQ2_M 10,1 GiB No limite
Trinity-Mini-Base 26,1B (3,1B ativos) IQ2_M 10,3 GiB No limite
Trinity-Mini-Base-Pre-Anneal 26,1B (3,1B ativos) IQ2_M 10,0 GiB No limite
Qwen3-Coder-REAP-25B-A3B 24,9B (3,0B ativos) IQ2_M 9,9 GiB No limite
GLM-4.7-Flash-REAP-23B-A3B 23,0B (3,6B ativos) Q2_K 10,2 GiB No limite
EuroLLM-22B-2512 22,6B IQ2_XXS 9,1 GiB No limite
DeepSeek-R1-Distill-Qwen-14B 14,8B Q3_K_M 9,8 GiB No limite
Qwen2.5-14B-Instruct 14,8B Q3_K_M 9,8 GiB No limite
ContextPilot-14B 14,8B Q3_K_M 9,7 GiB No limite
FrogMini-14B-2510 14,8B IQ4_XS 10,2 GiB No limite
JanusCoder-14B 14,8B IQ4_XS 10,2 GiB No limite
Nemotron-Cascade-14B-Thinking 14,8B IQ4_XS 10,2 GiB No limite
Nemotron-Terminal-14B 14,8B IQ4_XS 10,2 GiB No limite
NousCoder-14B 14,8B IQ4_XS 10,2 GiB No limite
Qwen3-Nemotron-14B-BRRM 14,8B IQ4_XS 10,2 GiB No limite
WebWorld-14B 14,8B IQ4_XS 10,2 GiB No limite
phi-4 14,7B Q3_K_M 9,8 GiB No limite
Apriel-1.6-15b-Thinker 14,4B IQ4_XS 10,3 GiB No limite
Mistral-Nemo-Instruct-2407 12,2B Q4_K_M 9,5 GiB No limite
Mellum2.1-12B-A2.5B-Thinking 12,1B (2,2B ativos) Q4_K_M 9,4 GiB No limite
Mellum2-12B-A2.5B-Base 12,1B (2,2B ativos) Q4_K_M 9,4 GiB No limite
Mellum2-12B-A2.5B-Instruct 12,1B (2,2B ativos) Q4_K_M 9,5 GiB No limite
Mellum2-12B-A2.5B-Instruct-SFT 12,1B (2,2B ativos) Q4_K_M 9,4 GiB No limite
Mellum2-12B-A2.5B-Thinking 12,1B (2,2B ativos) Q4_K_M 9,5 GiB No limite
Mellum2-12B-A2.5B-Thinking-SFT 12,1B (2,2B ativos) Q4_K_M 9,4 GiB No limite
gemma-4-12B-it 11,9B Q4_K_M 10,1 GiB No limite
gemma-3-12b-it 11,8B Q4_K_M 10,7 GiB No limite
translategemma-12b-it 11,8B Q4_K_M 10,7 GiB No limite
Bielik-11B-v3.0-Instruct 11,2B Q4_K_M 9,4 GiB No limite
AutoGLM-Phone-9B 9,4B Q6_K 9,2 GiB No limite
GLM-4.6V-Flash 9,4B Q6_K 9,2 GiB No limite
gemma-2-9b-it 9,2B Q5_K_M 10,8 GiB No limite
EuroLLM-9B-Instruct-2512 9,2B Q6_K 9,6 GiB No limite
Fara1.5-9B 9,0B Q8_0 10,3 GiB No limite
Holo-3.1-9B 9,0B Q8_0 10,3 GiB No limite
MiMo-V2.6-Distill-Qwen-9B 9,0B Q8_0 10,3 GiB No limite
Qwen3.5-9B 9,0B Q8_0 10,3 GiB No limite
Qwen3.5-9B-Base 9,0B Q8_0 10,3 GiB No limite
UI-Mate-9B 9,0B Q8_0 10,3 GiB No limite
UI-Venus-2-9B 9,0B Q8_0 10,3 GiB No limite
NVIDIA-Nemotron-Nano-9B-v2 8,9B Q8_0 10,6 GiB No limite
granite-4.1-8b 8,8B Q6_K 9,3 GiB No limite
granite-4.2-8b 8,8B Q6_K 9,3 GiB No limite
Ministral-3-8B-Instruct-2512 8,5B Q5_K_M 8,0 GiB No limite
Ministral-3-8B-Reasoning-2512 8,5B Q5_K_M 8,0 GiB No limite
LFM2.5-8B-A1B 8,5B (1,7B ativos) Q8_0 10,2 GiB No limite
granite-guardian-4.1-8b 8,4B Q6_K 9,3 GiB No limite
LFM2-8B-A1B 8,3B (1,6B ativos) Q8_0 10,1 GiB No limite
rnj-1-instruct 8,3B Q6_K 9,0 GiB No limite
AesCode-8B 8,2B Q6_K 9,0 GiB No limite
ArmorOCR 8,2B Q4_K_M 7,1 GiB No limite
DeepSeek-R1-0528-Qwen3-8B 8,2B Q6_K 8,6 GiB No limite
intent-aware-lfqa-qwen3-8b-baseline 8,2B Q6_K 8,6 GiB No limite
intent-aware-lfqa-qwen3-8b-intent-explicit 8,2B Q6_K 8,6 GiB No limite
intent-aware-lfqa-qwen3-8b-intent-implicit 8,2B Q6_K 8,6 GiB No limite
intent-aware-lfqa-qwen3-8b-multiview 8,2B Q6_K 8,6 GiB No limite
JanusCoder-8B 8,2B Q6_K 8,6 GiB No limite
MathForm-8B 8,2B Q6_K 8,6 GiB No limite
Nemotron-Cascade-8B 8,2B Q6_K 8,6 GiB No limite
Nemotron-Cascade-8B-Thinking 8,2B Q6_K 8,6 GiB No limite
Nemotron-Orchestrator-8B 8,2B Q6_K 8,6 GiB No limite
Qwen3-8B 8,2B Q6_K 8,6 GiB No limite
Qwen3-VL-8B-Instruct 8,2B Q6_K 8,6 GiB No limite
Qwen3-VL-8B-Thinking 8,2B Q6_K 8,6 GiB No limite
WebWorld-8B 8,2B Q6_K 8,6 GiB No limite
MiniCPM-o-4_5 8,2B Q6_K 8,6 GiB No limite
granite-3.3-8b-instruct 8,2B Q6_K 9,2 GiB No limite
granite-guardian-3.2-8b-factuality-detection 8,2B Q6_K 9,2 GiB No limite
intent-aware-lfqa-llama3-8b-baseline 8,0B Q8_0 10,2 GiB No limite
intent-aware-lfqa-llama3-8b-intent-explicit 8,0B Q8_0 10,2 GiB No limite
intent-aware-lfqa-llama3-8b-intent-implicit 8,0B Q8_0 10,2 GiB No limite
intent-aware-lfqa-llama3-8b-multiview 8,0B Q8_0 10,2 GiB No limite
DeepSeek-R1-Distill-Llama-8B 8,0B Q8_0 10,2 GiB No limite
Llama-3.1-8B-Instruct 8,0B Q6_K 8,4 GiB No limite
Bielik-Minitron-7B-v3.0-Instruct 7,5B Q8_0 10,2 GiB No limite
Olmo-3.1-7B-RL-Zero-Code 7,3B Q6_K 11,0 GiB No limite
Olmo-3.1-7B-RL-Zero-Math 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-Instruct 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-Instruct-DPO 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-Instruct-SFT 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-RL-Zero-Code 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-RL-Zero-General 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-RL-Zero-IF 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-RL-Zero-Math 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-RL-Zero-Mix 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-Think 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-Think-DPO 7,3B Q6_K 11,0 GiB No limite
Olmo-3-7B-Think-SFT 7,3B Q6_K 11,0 GiB No limite
Qwen3-4B 4,0B Q8_0 6,7 GiB No limite
Phi-3.5-mini-instruct 3,8B Q8_0 8,3 GiB No limite

Modelos que não cabem em uma NVIDIA GeForce RTX 2080

Contexto de 8.192 tokens. Nem a menor quantização cabe em uma placa; o requisito exibido é para essa quantização.
Modelo Parâmetros Menor quantização Memória disponível necessária para “Cabe” Várias placas idênticas Resultado
Ministral-3-14B-Instruct-2512 13,5B Q4_K_M 10,3 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Ministral-3-14B-Reasoning-2512 13,5B Q4_K_M 10,3 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
EuroLLM-22B-Instruct-2512 22,6B IQ2_M 10,6 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Kimi-Linear-REAP-35B-A3B-Instruct 35,1B (3,1B ativos) IQ2_XXS 10,7 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
North-Mini-Code-1.0 30,5B (3,3B ativos) IQ2_XXS 10,7 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3.5-35B-A3B-Base 34,7B (2,9B ativos) IQ2_XXS 10,9 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3-14B 14,8B Q4_K_M 11,0 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Laguna-XS-2.1 33,4B (2,8B ativos) IQ2_XXS 11,1 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Ising-Calibration-1-35B-A3B 34,7B (2,9B ativos) IQ2_XXS 11,1 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Devstral-Small-2-24B-Instruct-2512 23,6B Q2_K 11,1 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Mistral-Small-3.2-24B-Instruct-2506 23,6B Q2_K 11,1 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
UI-Mate-27B 26,9B IQ2_XXS 11,2 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3.6-35B-A3B 34,7B (2,9B ativos) IQ2_XXS 11,3 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
KAT-Coder-V2.5-Dev 34,7B (2,9B ativos) IQ2_XXS 11,3 GiB Espera-se que 3 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Olmo-3.1-32B-Instruct-DPO 32,2B IQ2_XXS 11,8 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Olmo-3-1125-32B 32,2B IQ2_XXS 11,8 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Olmo-3-32B-Think-DPO 32,2B IQ2_XXS 11,8 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Olmo-3-32B-Think-SFT 32,2B IQ2_XXS 11,8 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Holo4-35B-A3B 34,7B (2,9B ativos) IQ2_XXS 12,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Cosmos-Reason2-32B 32,8B IQ2_XXS 12,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
FrogBoss-32B-2510 32,8B IQ2_XXS 12,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Nemotron-Terminal-32B 32,8B IQ2_XXS 12,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
SERA-32B 32,8B IQ2_XXS 12,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
WebWorld-32B 32,8B IQ2_XXS 12,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
gemma-4-26B-A4B-it 25,2B (3,8B ativos) IQ2_XXS 12,1 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Fara1.5-27B 26,9B IQ2_M 12,5 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
gpt-oss-20b 20,9B (3,6B ativos) Q2_K 12,6 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
UI-Mate-democua-27B 26,9B Q2_K 12,7 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
GLM-4.7-Flash 29,9B (3,6B ativos) Q2_K 12,8 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Hermes-4.3-36B 36,2B IQ2_XXS 12,9 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
gemma-4-26B-A4B 25,2B (3,8B ativos) Q2_K 13,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Holo2-30B-A3B 30,5B (3,0B ativos) Q2_K 13,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3-30B-A3B-Instruct-2507 30,5B (3,0B ativos) Q2_K 13,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3-Coder-30B-A3B-Instruct 30,5B (3,0B ativos) Q2_K 13,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3-VL-30B-A3B-Instruct 30,5B (3,0B ativos) Q2_K 13,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
UI-Venus-1.5-30B-A3B 30,5B (3,0B ativos) Q2_K 13,0 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
OptiMind-SFT 20,9B (3,6B ativos) IQ2_M 13,1 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Kimi-Linear-48B-A3B-Instruct 49,1B (3,1B ativos) IQ2_XXS 13,3 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
AesCode-32B 32,8B IQ2_XXS 13,6 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
AI21-Jamba2-Mini 51,6B (11,8B ativos) IQ2_XXS 13,6 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
gemma-2-27b-it 27,2B IQ2_M 13,8 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
granite-4.1-30b 28,9B Q2_K 13,9 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
granite-4.2-30b 29,3B Q2_K 13,9 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Kimi-Linear-48B-A3B-Base 49,1B (3,1B ativos) IQ2_XXS 14,2 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
gemma-3-27b-it 27,0B Q2_K 14,4 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
translategemma-27b-it 27,0B Q2_K 14,4 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Holo-3.1-35B-A3B 34,7B (2,9B ativos) Q2_K 14,4 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Holo3-35B-A3B 34,7B (2,9B ativos) Q2_K 14,4 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
LFM2-24B-A2B 23,8B (2,3B ativos) Q4_0 14,6 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
LFM2.5-24B-A2B 24,0B (2,5B ativos) Q4_0 14,7 GiB Espera-se que 4 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Olmo-3.1-32B-Instruct 32,2B Q2_K 15,0 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Olmo-3.1-32B-Think 32,2B Q2_K 15,0 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Olmo-3-32B-Think 32,2B Q2_K 15,0 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
DeepSeek-R1-Distill-Qwen-32B 32,8B Q2_K 15,2 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen2.5-32B-Instruct 32,8B Q2_K 15,2 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen2.5-Coder-32B-Instruct 32,8B Q2_K 15,2 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3-VL-32B-Instruct 32,8B Q2_K 15,3 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3-VL-32B-Thinking 32,8B Q2_K 15,3 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3.5-27B 26,9B Q3_K_M 15,3 GiB Espera-se que 6 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3.6-27B 26,9B Q3_K_M 15,4 GiB Espera-se que 6 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
gemma-4-12B 11,9B Q8_0 15,6 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Ising-Calibration-1.5-31B-BF16 30,7B IQ2_XXS 16,5 GiB Espera-se que 6 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3.5-35B-A3B 34,7B (2,9B ativos) Q3_K_M 17,6 GiB Espera-se que 5 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
gemma-4-31B 30,7B Q2_K 17,6 GiB Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Holotron4-30B-A3B 31,6B (3,2B ativos) IQ2_M 18,9 GiB Espera-se que 6 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16 31,6B (3,2B ativos) IQ2_M 18,9 GiB Espera-se que 6 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 31,6B (3,2B ativos) Q2_K 18,9 GiB Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Nemotron-Cascade-2-30B-A3B 31,6B (3,2B ativos) IQ2_M 19,1 GiB Espera-se que 6 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 31,6B (3,2B ativos) IQ2_M 19,1 GiB Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 31,6B (3,2B ativos) IQ4_XS 19,1 GiB Espera-se que 6 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
MiniCPM-V-4.7-35B-A3B 34,7B (2,9B ativos) IQ4_XS 20,0 GiB Espera-se que 6 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3-30B-A3B 30,5B (3,0B ativos) Q4_K_M 20,1 GiB Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
gemma-4-31B-it 30,7B Q3_K_M 20,3 GiB Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
EXAONE-4.5-33B 32,5B IQ4_XS 20,4 GiB Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Llama-3.1-70B-Instruct 70,6B IQ2_XXS 22,3 GiB Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3-Coder-Next-Base 79,7B (3,6B ativos) IQ2_XXS 22,3 GiB Espera-se que 8 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Qwen3-32B 32,8B Q4_K_M 22,4 GiB Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
QwQ-32B 32,8B Q4_K_M 22,5 GiB Espera-se que 7 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 31,6B (3,2B ativos) Q4_K_M 23,3 GiB Espera-se que 8 placas idênticas (divisão uniforme padrão) caibam. Com menos placas, fica no limite. Não cabe
KAT-Dev-72B-Exp 72,7B IQ2_XXS 28,5 GiB No limite com 8 placas. Não cabe
Solar-Open-100B 103B (11,2B ativos) IQ2_XXS 29,4 GiB No limite com 8 placas. Não cabe
DeepSeek-R1-Distill-Llama-70B 70,6B Q2_K 29,4 GiB No limite com 8 placas. Não cabe
Llama-3.3-70B-Instruct 70,6B Q2_K 29,4 GiB No limite com 8 placas. Não cabe
Qwen3-Next-80B-A3B-Instruct 79,7B (3,6B ativos) Q2_K 30,3 GiB No limite com 8 placas. Não cabe
Qwen2.5-72B-Instruct 73,0B Q2_K 30,3 GiB No limite com 8 placas. Não cabe
Qwen3-Coder-Next 79,7B (3,6B ativos) Q2_K 30,4 GiB No limite com 8 placas. Não cabe
GLM-4.5-Air-REAP-82B-A12B 81,9B (12,8B ativos) IQ2_XXS 31,1 GiB No limite com 8 placas. Não cabe
Step-3.5-Flash-REAP-121B-A11B 121B (11,4B ativos) IQ2_XXS 32,9 GiB No limite com 8 placas. Não cabe
Mistral-Small-4-119B-2603 119B (6,1B ativos) IQ2_XXS 34,3 GiB No limite com 8 placas. Não cabe
Qwen3.5-122B-A10B 122B (9,0B ativos) IQ2_XXS 35,0 GiB No limite com 8 placas. Não cabe
Qwen-AgentWorld-35B-A3B 34,7B (2,9B ativos) Q8_0 37,6 GiB No limite com 8 placas. Não cabe
MiniMax-M2.5-REAP-139B-A10B 139B (10,4B ativos) IQ2_XXS 39,2 GiB No limite com 8 placas. Não cabe
INTELLECT-3 107B (12,8B ativos) IQ2_XXS 39,6 GiB No limite com 8 placas. Não cabe
Step-3.5-Flash-REAP-149B-A11B 149B (11,4B ativos) IQ2_XXS 40,1 GiB No limite com 8 placas. Não cabe
Llama-4-Scout-17B-16E-Instruct 108B (16,1B ativos) Q2_K 41,5 GiB No limite com 8 placas. Não cabe
GLM-4.5-Air 107B (12,8B ativos) Q2_K 45,6 GiB No limite com 8 placas. Não cabe
GLM-4.6V 107B (12,8B ativos) Q2_K 45,6 GiB No limite com 8 placas. Não cabe
Step-3.5-Flash 197B (11,5B ativos) IQ2_XXS 48,9 GiB No limite com 8 placas. Não cabe
Devstral-2-123B-Instruct-2512 125B Q2_K 49,3 GiB No limite com 8 placas. Não cabe
Mistral-Medium-3.5-128B 125B Q2_K 49,3 GiB No limite com 8 placas. Não cabe
NVIDIA-Nemotron-3-Super-120B-A12B-Base-BF16 121B (12,2B ativos) IQ2_XXS 49,8 GiB No limite com 8 placas. Não cabe
NVIDIA-Nemotron-3-Super-120B-A12B-BF16 121B (12,2B ativos) IQ2_XXS 51,0 GiB No limite com 8 placas. Não cabe
gpt-oss-120b 117B (5,1B ativos) Q2_K 62,8 GiB No limite com 8 placas. Não cabe
MiniMax-M2.7 229B (10,4B ativos) IQ2_XXS 62,9 GiB No limite com 8 placas. Não cabe
Baichuan-M3-235B 235B (21,6B ativos) IQ2_XXS 63,2 GiB No limite com 8 placas. Não cabe
Holo2-235B-A22B 235B (21,6B ativos) IQ2_XXS 63,2 GiB No limite com 8 placas. Não cabe
Qwen3-Nemotron-235B-A22B-GenRM 235B (21,6B ativos) IQ2_XXS 63,2 GiB No limite com 8 placas. Não cabe
command-a-plus-05-2026-bf16 218B (25,0B ativos) IQ2_XXS 63,6 GiB No limite com 8 placas. Não cabe
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 121B (12,2B ativos) Q4_0 71,8 GiB No limite com 8 placas. Não cabe
GLM-4.7-REAP-268B-A32B 269B (32,8B ativos) IQ2_XXS 73,0 GiB Não cabe nem em 8 placas. Não cabe
Step-3.7-Flash 197B (11,5B ativos) IQ3_XXS 76,1 GiB Não cabe nem em 8 placas. Não cabe
Hy3 295B (20,2B ativos) IQ2_XXS 82,2 GiB Não cabe nem em 8 placas. Não cabe
MiMo-V2.5 309B (14,8B ativos) IQ2_XXS 82,4 GiB Não cabe nem em 8 placas. Não cabe
GLM-4.7-REAP-218B-A32B 218B (32,8B ativos) Q2_K 82,9 GiB Não cabe nem em 8 placas. Não cabe
MiniMax-M2 229B (10,4B ativos) Q2_K 84,9 GiB Não cabe nem em 8 placas. Não cabe
MiniMax-M2.1 229B (10,4B ativos) Q2_K 84,9 GiB Não cabe nem em 8 placas. Não cabe
MiniMax-M2.5 229B (10,4B ativos) Q2_K 84,9 GiB Não cabe nem em 8 placas. Não cabe
Qwen3-235B-A22B-Instruct-2507 235B (21,6B ativos) Q2_K 86,7 GiB Não cabe nem em 8 placas. Não cabe
Qwen3-VL-235B-A22B-Instruct 235B (21,6B ativos) Q2_K 86,7 GiB Não cabe nem em 8 placas. Não cabe
GLM-5.3-Flash-BF16 313B (16,7B ativos) IQ2_XXS 92,0 GiB Não cabe nem em 8 placas. Não cabe
Laguna-S-2.1 118B (8,1B ativos) Q4_K_M 95,9 GiB Não cabe nem em 8 placas. Não cabe
Trinity-Large-Base 399B (12,8B ativos) IQ2_XXS 96,4 GiB Não cabe nem em 8 placas. Não cabe
Trinity-Large-TrueBase 399B (12,8B ativos) IQ2_XXS 96,4 GiB Não cabe nem em 8 placas. Não cabe
GLM-4.6-REAP-268B-A32B 269B (32,8B ativos) Q2_K 100,9 GiB Não cabe nem em 8 placas. Não cabe
Trinity-Large-Thinking 399B (12,8B ativos) IQ2_XXS 107,1 GiB Não cabe nem em 8 placas. Não cabe
MiMo-V2-Flash 309B (14,8B ativos) Q2_K 111,6 GiB Não cabe nem em 8 placas. Não cabe
Intern-S2-397B 396B (16,3B ativos) IQ2_XXS 114,3 GiB Não cabe nem em 8 placas. Não cabe
MiMo-V2.6-Flash-MOPD 309B (14,8B ativos) Q2_K 124,9 GiB Não cabe nem em 8 placas. Não cabe
MiMo-V2.6-Flash-RL 309B (14,8B ativos) Q2_K 124,9 GiB Não cabe nem em 8 placas. Não cabe
K-EXAONE-236B-A23B 237B (22,7B ativos) IQ4_XS 126,3 GiB Não cabe nem em 8 placas. Não cabe
GLM-4.5 353B (32,9B ativos) Q2_K 130,7 GiB Não cabe nem em 8 placas. Não cabe
GLM-4.7 353B (32,9B ativos) Q2_K 130,7 GiB Não cabe nem em 8 placas. Não cabe
Qwen3-Coder-REAP-363B-A35B 363B (34,5B ativos) Q2_K 132,7 GiB Não cabe nem em 8 placas. Não cabe
Qwen3-235B-A22B 235B (21,6B ativos) Q4_K_M 141,9 GiB Não cabe nem em 8 placas. Não cabe
Qwen3-Coder-480B-A35B-Instruct 480B (34,5B ativos) Q2_K 174,3 GiB Não cabe nem em 8 placas. Não cabe
Qwen3.5-397B-A17B 396B (16,3B ativos) Q3_K_M 175,6 GiB Não cabe nem em 8 placas. Não cabe
GLM-5.1 744B (40,8B ativos) IQ2_XXS 197,6 GiB Não cabe nem em 8 placas. Não cabe
DeepSeek-V3.2 671B (36,6B ativos) Q2_K 242,1 GiB Não cabe nem em 8 placas. Não cabe
cogito-671b-v2.1 671B (36,6B ativos) Q2_K 242,4 GiB Não cabe nem em 8 placas. Não cabe
DeepSeek-V3.1 671B (36,6B ativos) Q2_K 242,4 GiB Não cabe nem em 8 placas. Não cabe
Mistral-Large-3-675B-Instruct-2512 673B (39,0B ativos) Q2_K 243,8 GiB Não cabe nem em 8 placas. Não cabe
DeepSeek-V3 671B (36,6B ativos) Q2_K 257,8 GiB Não cabe nem em 8 placas. Não cabe
Kimi-K2.6 1,03T (31,7B ativos) IQ2_XXS 267,6 GiB Não cabe nem em 8 placas. Não cabe
GLM-5 744B (40,8B ativos) Q2_K 268,9 GiB Não cabe nem em 8 placas. Não cabe
MiMo-V2.5-Pro 1,02T (41,0B ativos) IQ2_XXS 270,4 GiB Não cabe nem em 8 placas. Não cabe
DeepSeek-R1 671B (36,6B ativos) Q2_K 280,3 GiB Não cabe nem em 8 placas. Não cabe
Muse-Spark-Open-816B-A42B 820B (44,4B ativos) Q2_K 301,0 GiB Não cabe nem em 8 placas. Não cabe
GLM-5.3-Flash 313B (16,7B ativos) Q8_0 327,9 GiB Não cabe nem em 8 placas. Não cabe
Ling-1T 1,00T (49,8B ativos) Q2_K 360,6 GiB Não cabe nem em 8 placas. Não cabe
Kimi-K2-Instruct 1,03T (31,7B ativos) Q2_K 367,4 GiB Não cabe nem em 8 placas. Não cabe
Kimi-K2.5 1,03T (31,7B ativos) Q2_K 368,0 GiB Não cabe nem em 8 placas. Não cabe
Kimi-K2-Thinking 1,03T (31,7B ativos) Q2_K 368,3 GiB Não cabe nem em 8 placas. Não cabe
MiMo-V2.6-Pro-MOPD 1,02T (41,0B ativos) Q2_K 411,6 GiB Não cabe nem em 8 placas. Não cabe
MiMo-V2.6-Pro-RL 1,02T (41,0B ativos) Q2_K 411,6 GiB Não cabe nem em 8 placas. Não cabe
Beam-1.0-501B-A23B 501B (22,7B ativos) Q8_0 523,6 GiB Não cabe nem em 8 placas. Não cabe
GLM-5.2 744B (40,8B ativos) Q8_0 776,4 GiB Não cabe nem em 8 placas. Não cabe
GLM-5.3 744B (40,8B ativos) Q8_0 776,4 GiB Não cabe nem em 8 placas. Não cabe
Qwen3.8-2.4T-A95B 2,42T (93,3B ativos) Q8_0 2.524,1 GiB Não cabe nem em 8 placas. Não cabe

O teto de velocidade é a largura de banda da memória dividida pelos bytes lidos por token gerado. É um limite superior teórico; os benchmarks públicos do llama.cpp normalmente atingem cerca de metade a quatro quintos desse valor, e modelos pequenos e modelos MoE (mistura de especialistas) costumam atingir menos. Benchmarks públicos

Outros dispositivos com 8 GB