按显存容量浏览模型

本页面由 AI 自动撰写和翻译，并由软件对照来源进行检查，没有人工编辑。规格来自所列来源；显存需求和速度是按已公布的公式计算出的估算值。 我们如何使用 AI

在 8,192 token 的上下文长度下，每种显存容量的通用消费级显卡（CUDA 运行档案，默认配置）能装下多少个模型。只列出数据库中消费级 NVIDIA 显卡所具有的显存容量。

数值更新于 2026年10月19日

• 8 GB — 137 个模型能装下
• 12 GB — 223 个模型能装下
• 16 GB — 260 个模型能装下
• 24 GB — 305 个模型能装下
• 32 GB — 311 个模型能装下

来源

这些结果使用 CUDA 运行档案；其预留量来自这些公开 llama.cpp 日志中的显存数据。 方法说明

• ggml-org/llama.cpp/issues/29811
• ggml-org/llama.cpp/issues/27680
• ggml-org/llama.cpp/issues/23679
• ggml-org/llama.cpp/issues/24608
• ggml-org/llama.cpp/issues/23472
• ggml-org/llama.cpp/issues/17931
• ggml-org/llama.cpp/issues/18181
• ggml-org/llama.cpp/issues/20308
• ggml-org/llama.cpp/issues/24758
• ggml-org/llama.cpp/issues/21984
• ggml-org/llama.cpp/issues/27892
• ggml-org/llama.cpp/issues/28167
• ggml-org/llama.cpp/issues/25594
• ggml-org/llama.cpp/issues/20761
• ggml-org/llama.cpp/pull/22546