NVIDIA GeForce RTX 2080 Ti で DeepSeek-R1-Distill-Qwen-7B を動かせる？

このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について

収まる llama.cpp の既定のロード確認では、DeepSeek-R1-Distill-Qwen-7B は Q6_K、コンテキスト 8,192 トークンで NVIDIA GeForce RTX 2080 Ti に収まります。「収まる」とするには、1 枚あたり 7.5 GiB の利用可能なメモリが必要です。

Q6_K では、収まる最長のコンテキスト長は 15,104 トークンです。

「収まる」とは、llama.cpp のデフォルトの --fit 読み込みチェックで、すべてのレイヤーが GPU に配置されることを意味します。つまり、当サイトによる llama.cpp のバッファの推定値に、誤差マージンと、llama.cpp のカード 1 枚あたり 1 GiB のリザーブを加えた値が、利用可能として計上されたメモリ以内であることを指します。生成中のピークメモリが収まることを保証するものではありません。結果の判定方法

値の更新日：2026年10月19日 · 計算ツール

実行プロファイル： llama.cpp、CUDA バックエンド（NVIDIA ディスクリート GPU）、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ（-ub）512、F16 の KV cache、コンテキスト長（-c）は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス（-np auto、統合 KV cache）で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。

「収まる」の判定で利用可能とみなすメモリ（C_low）：1枚あたり 7.88 GiB = 公称 11 GiB − 1,054 MiB（この実行プロファイルのコンシューマー向けおよびワークステーション向け GPU で測定された、公称値と報告された合計値との最大の差。この GPU 自体の合計値を報告する公開ログがないため使用）− 2,112 MiB（この実行プロファイルの公開ログで見られた最大の起動時および実行時の使用量）。64 MiB の倍数に切り捨てています。

これらの結果は、カードのデフォルト構成を前提としています。使用可能なメモリを減らす設定（たとえば、カードが対応している場合の ECC）は対象外です。

「収まらない」の判定に使うメモリ（C_high）：1 枚あたり全量の 11 GiB。実行プロファイルとその測定結果

量子化とコンテキスト長ごとの必要メモリ

「収まる」に必要な利用可能メモリ（X、カード単体あたりの GiB）と NVIDIA GeForce RTX 2080 Ti での結果。
量子化	4,096	8,192	32,768	131,072
F16	15.4 GiB 収まらない	15.6 GiB 収まらない	17.1 GiB 収まらない	22.8 GiB 収まらない
Q8_0	8.9 GiB 境界	9.1 GiB 境界	10.6 GiB 境界	16.3 GiB 収まらない
Q6_K	7.2 GiB 収まる	7.5 GiB 収まる	8.9 GiB 境界	14.6 GiB 収まらない
Q5_K_M	6.5 GiB 収まる	6.7 GiB 収まる	8.2 GiB 境界	13.9 GiB 収まらない
Q4_K_M	5.8 GiB 収まる	6.1 GiB 収まる	7.5 GiB 収まる	13.2 GiB 境界
Q3_K_M	5.0 GiB 収まる	5.3 GiB 収まる	6.7 GiB 収まる	12.4 GiB 境界
Q2_K	4.3 GiB 収まる	4.6 GiB 収まる	6.0 GiB 収まる	11.7 GiB 境界

どのくらいの速度で生成できる？

Q6_K では、理論上の上限は毎秒約 98.2 トークンです（616 GB/s ÷ トークンあたりの読み取り量 6.27 GB）。

速度の上限は、メモリ帯域幅を、生成されるトークン一つあたりに読み込まれるバイト数で割った値です。これは理論上の上限であり、公開されている llama.cpp のベンチマークでは通常、その半分から五分の四程度に達します。小さなモデルや MoE モデルでは、これより低くなることが多くあります。公開ベンチマーク

代替候補

DeepSeek-R1-Distill-Qwen-7Bが収まる、その他の11 GBのGPU

NVIDIA GeForce GTX 1080 Ti 11 GB

出典

モデルページ（すべての量子化とそのファイル）： DeepSeek-R1-Distill-Qwen-7B
GPU ページ（各スペックとその出典）： NVIDIA GeForce RTX 2080 Ti
Hugging Face 上のモデルファイル（固定されたリビジョン）： deepseek-ai/DeepSeek-R1-Distill-Qwen-7B@916b56a, unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF@097680e
NVIDIA GeForce RTX 2080 Ti のメモリ容量の出典： Wikipedia: GeForce RTX 20 series（CC BY-SA 4.0）、GetDeploying GPU Models（CC BY 4.0）
算出方法