A NVIDIA GeForce RTX 4060 Ti 16GB consegue executar DeepSeek-R1-Distill-Qwen-14B?

Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA

Cabe Pela verificação de carregamento padrão do llama.cpp, DeepSeek-R1-Distill-Qwen-14B cabe na NVIDIA GeForce RTX 4060 Ti 16GB em Q5_K_M com um contexto de 8.192 tokens. Uma placa precisa de 12,7 GiB disponíveis para “Cabe”.

Em Q5_K_M, o maior contexto que cabe é de 14.336 tokens.

“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos

Valores atualizados em 19 de out. de 2026 · Calculadora

Perfil de execução: llama.cpp, back end CUDA (GPU dedicada NVIDIA), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.

Memória considerada disponível para “Cabe” (C_low): 13,88 GiB por placa = 16 GiB nominais − 5 MiB (nominal menos o total que o llama.cpp informou para esta GPU em logs públicos) − 2.112 MiB (o maior uso de inicialização e de execução visto nos logs públicos deste perfil), arredondado para baixo para um múltiplo de 64 MiB.

Estes resultados se aplicam à configuração observada em logs públicos, nos quais o llama.cpp informou 16.379 MiB de memória total para esta GPU. Configurações que reduzem a memória utilizável (por exemplo, ECC, quando a placa oferece suporte) não estão incluídas.

Memória usada para “Não cabe” (C_high): os 16 GiB completos por placa. Perfis de execução e suas medições

Memória necessária por quantização e contexto

Memória disponível necessária para “Cabe” (X, GiB por placa) e o resultado na NVIDIA GeForce RTX 4060 Ti 16GB.
Quantização	4.096	8.192	32.768	131.072
F16	29,5 GiB Não cabe	30,3 GiB Não cabe	35,1 GiB Não cabe	54,3 GiB Não cabe
Q8_0	16,7 GiB No limite	17,5 GiB No limite	22,3 GiB Não cabe	41,4 GiB Não cabe
Q6_K	13,4 GiB Cabe	14,2 GiB No limite	18,9 GiB No limite	38,1 GiB Não cabe
Q5_K_M	11,9 GiB Cabe	12,7 GiB Cabe	17,5 GiB No limite	36,6 GiB Não cabe
Q4_K_M	10,5 GiB Cabe	11,3 GiB Cabe	16,1 GiB No limite	35,2 GiB Não cabe
Q3_K_M	9,0 GiB Cabe	9,8 GiB Cabe	14,5 GiB No limite	33,7 GiB Não cabe
Q2_K	7,5 GiB Cabe	8,3 GiB Cabe	13,1 GiB Cabe	32,2 GiB Não cabe

Qual a velocidade de geração?

Em Q5_K_M, o limite teórico é de cerca de 24,9 tokens por segundo (288 GB/s ÷ 11,58 GB lidos por token).

O teto de velocidade é a largura de banda da memória dividida pelos bytes lidos por token gerado. É um limite superior teórico; os benchmarks públicos do llama.cpp normalmente atingem cerca de metade a quatro quintos desse valor, e modelos pequenos e modelos MoE (mistura de especialistas) costumam atingir menos. Benchmarks públicos

Alternativas

Outras GPUs de 16 GB em que DeepSeek-R1-Distill-Qwen-14B cabe

Fontes

Página do modelo, com todas as quantizações e seus arquivos: DeepSeek-R1-Distill-Qwen-14B
Página da GPU, com cada especificação e suas fontes: NVIDIA GeForce RTX 4060 Ti 16GB
Arquivos do modelo no Hugging Face (revisões fixadas): deepseek-ai/DeepSeek-R1-Distill-Qwen-14B@1df8507, unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF@7b05b58
Tamanho da memória de NVIDIA GeForce RTX 4060 Ti 16GB segundo: Wikipedia: GeForce RTX 40 series (CC BY-SA 4.0), GetDeploying GPU Models (CC BY 4.0)
Metodologia