NVIDIA GeForce RTX 5090 で DeepSeek-R1-Distill-Qwen-14B を動かせる？

このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について

収まる llama.cpp の既定のロード確認では、DeepSeek-R1-Distill-Qwen-14B は Q8_0、コンテキスト 8,192 トークンで NVIDIA GeForce RTX 5090 に収まります。「収まる」とするには、1 枚あたり 17.5 GiB の利用可能なメモリが必要です。

Q8_0 では、収まる最長のコンテキスト長は 68,608 トークンです。

「収まる」とは、llama.cpp のデフォルトの --fit 読み込みチェックで、すべてのレイヤーが GPU に配置されることを意味します。つまり、当サイトによる llama.cpp のバッファの推定値に、誤差マージンと、llama.cpp のカード 1 枚あたり 1 GiB のリザーブを加えた値が、利用可能として計上されたメモリ以内であることを指します。生成中のピークメモリが収まることを保証するものではありません。結果の判定方法

値の更新日：2026年10月19日 · 計算ツール

実行プロファイル： llama.cpp、CUDA バックエンド（NVIDIA ディスクリート GPU）、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ（-ub）512、F16 の KV cache、コンテキスト長（-c）は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス（-np auto、統合 KV cache）で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。

「収まる」の判定で利用可能とみなすメモリ（C_low）：1枚あたり 29.25 GiB = 公称 32 GiB − 659 MiB（公称値から、公開ログで llama.cpp がこの GPU について報告した合計値を引いた差）− 2,112 MiB（この実行プロファイルの公開ログで見られた最大の起動時および実行時の使用量）。64 MiB の倍数に切り捨てています。

これらの結果は、公開ログで確認された構成に当てはまります。そのログでは llama.cpp がこの GPU の合計メモリを 32,109 MiB と報告していました。使用可能なメモリを減らす設定（たとえば、カードが対応している場合の ECC）は対象外です。

「収まらない」の判定に使うメモリ（C_high）：1 枚あたり全量の 32 GiB。実行プロファイルとその測定結果

量子化とコンテキスト長ごとの必要メモリ

「収まる」に必要な利用可能メモリ（X、カード単体あたりの GiB）と NVIDIA GeForce RTX 5090 での結果。
量子化	4,096	8,192	32,768	131,072
F16	29.5 GiB 境界	30.3 GiB 境界	35.1 GiB 境界	54.3 GiB 収まらない
Q8_0	16.7 GiB 収まる	17.5 GiB 収まる	22.3 GiB 収まる	41.4 GiB 収まらない
Q6_K	13.4 GiB 収まる	14.2 GiB 収まる	18.9 GiB 収まる	38.1 GiB 収まらない
Q5_K_M	11.9 GiB 収まる	12.7 GiB 収まる	17.5 GiB 収まる	36.6 GiB 境界
Q4_K_M	10.5 GiB 収まる	11.3 GiB 収まる	16.1 GiB 収まる	35.2 GiB 境界
Q3_K_M	9.0 GiB 収まる	9.8 GiB 収まる	14.5 GiB 収まる	33.7 GiB 境界
Q2_K	7.5 GiB 収まる	8.3 GiB 収まる	13.1 GiB 収まる	32.2 GiB 境界

どのくらいの速度で生成できる？

Q8_0 では、理論上の上限は毎秒約 109 トークンです（1,792 GB/s ÷ トークンあたりの読み取り量 16.48 GB）。

速度の上限は、メモリ帯域幅を、生成されるトークン一つあたりに読み込まれるバイト数で割った値です。これは理論上の上限であり、公開されている llama.cpp のベンチマークでは通常、その半分から五分の四程度に達します。小さなモデルや MoE モデルでは、これより低くなることが多くあります。公開ベンチマーク

代替候補

DeepSeek-R1-Distill-Qwen-14Bが収まる、その他の32 GBのGPU

同じメモリ容量の他のGPUで、このモデルが収まるものはありません。

NVIDIA GeForce RTX 5090に収まる同じファミリーの最大のモデル

DeepSeek-R1-Distill-Qwen-32B 32.8B · Q6_K · 詳細ページ

同じファミリー：同じ公開元で、パラメータ数までのモデル名が同じもの。

出典

モデルページ（すべての量子化とそのファイル）： DeepSeek-R1-Distill-Qwen-14B
GPU ページ（各スペックとその出典）： NVIDIA GeForce RTX 5090
Hugging Face 上のモデルファイル（固定されたリビジョン）： deepseek-ai/DeepSeek-R1-Distill-Qwen-14B@1df8507, unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF@7b05b58
NVIDIA GeForce RTX 5090 のメモリ容量の出典： Wikipedia: List of Nvidia graphics processing units（CC BY-SA 4.0）、GetDeploying GPU Models（CC BY 4.0）
算出方法