メモリサイズでモデルを探す
このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について
コンテキスト長 8,192 トークンで、各メモリ容量の一般的なコンシューマー向け GPU（CUDA 実行プロファイル、既定の設定）に収まるモデルの数です。データベースにあるコンシューマー向け NVIDIA GPU が持つ容量のみを掲載しています。
- 8 GB — 137 個のモデルが収まる
- 12 GB — 223 個のモデルが収まる
- 16 GB — 260 個のモデルが収まる
- 24 GB — 305 個のモデルが収まる
- 32 GB — 311 個のモデルが収まる
出典
これらの結果は CUDA 実行プロファイルを使用しています。その予約分は、これらの公開された llama.cpp ログのメモリ値から得ています。 算出方法
- ggml-org/llama.cpp/issues/29811
- ggml-org/llama.cpp/issues/27680
- ggml-org/llama.cpp/issues/23679
- ggml-org/llama.cpp/issues/24608
- ggml-org/llama.cpp/issues/23472
- ggml-org/llama.cpp/issues/17931
- ggml-org/llama.cpp/issues/18181
- ggml-org/llama.cpp/issues/20308
- ggml-org/llama.cpp/issues/24758
- ggml-org/llama.cpp/issues/21984
- ggml-org/llama.cpp/issues/27892
- ggml-org/llama.cpp/issues/28167
- ggml-org/llama.cpp/issues/25594
- ggml-org/llama.cpp/issues/20761
- ggml-org/llama.cpp/pull/22546