DeskGPU
Português (Brasil)

A NVIDIA GeForce RTX 4060 consegue executar gpt-oss-120b?

Esta página foi escrita e traduzida automaticamente por IA e verificada por software em relação às suas fontes, sem edição humana. As especificações vêm das fontes listadas; os requisitos de memória e as velocidades são estimativas calculadas com fórmulas publicadas. Como usamos IA

Não cabe Nem a menor quantização de gpt-oss-120b (Q2_K) cabe em uma NVIDIA GeForce RTX 4060 com um contexto de 8.192 tokens; ela precisa de 62,8 GiB disponíveis para “Cabe”. No limite com 8 placas.

“Cabe” significa que a verificação de carregamento padrão --fit do llama.cpp colocaria todas as camadas na GPU: nossa estimativa dos buffers do llama.cpp, mais a margem de erro, mais a reserva de 1 GiB por placa do llama.cpp, está dentro da memória contada como disponível. Isso não garante que a memória de pico durante a geração caiba. Como os resultados são definidos

Valores atualizados em 19 de out. de 2026 · Calculadora

Perfil de execução: llama.cpp, back end CUDA (GPU dedicada NVIDIA), todas as camadas na GPU, Flash Attention ativada, micro-batch (-ub) 512, KV cache em F16, contexto (-c) conforme indicado; “Cabe” é avaliado com as 4 sequências paralelas padrão do llama-server (-np auto, KV cache unificado) e “Não cabe” com 1 sequência; GPU ociosa, sem outros programas usando sua memória.

Memória considerada disponível para “Cabe” (C_low): 4,88 GiB por placa = 8 GiB nominais − 1.054 MiB (a maior diferença entre o nominal e o total informado medida em GPUs de consumo e de estações de trabalho neste perfil, usada porque nenhum log público informa o total desta GPU) − 2.112 MiB (o maior uso de inicialização e de execução visto nos logs públicos deste perfil), arredondado para baixo para um múltiplo de 64 MiB.

Estes resultados presumem a configuração padrão da placa. Configurações que reduzem a memória utilizável (por exemplo, ECC, quando a placa oferece suporte) não estão incluídas.

Memória usada para “Não cabe” (C_high): os 8 GiB completos por placa. Perfis de execução e suas medições

Memória necessária por quantização e contexto

Memória disponível necessária para “Cabe” (X, GiB por placa) e o resultado na NVIDIA GeForce RTX 4060.
Quantização4.0968.19232.768131.072
Q8_0 63,1 GiB Não cabe63,3 GiB Não cabe64,2 GiB Não cabe68,0 GiB Não cabe
Q6_K 63,0 GiB Não cabe63,2 GiB Não cabe64,1 GiB Não cabe67,9 GiB Não cabe
Q5_K_M 62,8 GiB Não cabe63,0 GiB Não cabe63,9 GiB Não cabe67,7 GiB Não cabe
Q4_K_M 62,7 GiB Não cabe62,9 GiB Não cabe63,8 GiB Não cabe67,6 GiB Não cabe
Q4_0 62,7 GiB Não cabe62,8 GiB Não cabe63,7 GiB Não cabe67,5 GiB Não cabe
Q3_K_M 62,7 GiB Não cabe62,8 GiB Não cabe63,8 GiB Não cabe67,5 GiB Não cabe
Q2_K 62,6 GiB Não cabe62,8 GiB Não cabe63,7 GiB Não cabe67,5 GiB Não cabe

Alternativas

Outras GPUs de 8 GB em que gpt-oss-120b cabe

Nenhuma outra GPU com o mesmo tamanho de memória comporta este modelo.

Fontes