NVIDIA GeForce RTX 4060 Ti 16GB で Qwen3.5-9B を動かせる？

このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について

収まる llama.cpp の既定のロード確認では、Qwen3.5-9B は Q8_0、コンテキスト 8,192 トークンで NVIDIA GeForce RTX 4060 Ti 16GB に収まります。「収まる」とするには、1 枚あたり 10.3 GiB の利用可能なメモリが必要です。

Q8_0 では、収まる最長のコンテキスト長は 114,176 トークンです。

「収まる」とは、llama.cpp のデフォルトの --fit 読み込みチェックで、すべてのレイヤーが GPU に配置されることを意味します。つまり、当サイトによる llama.cpp のバッファの推定値に、誤差マージンと、llama.cpp のカード 1 枚あたり 1 GiB のリザーブを加えた値が、利用可能として計上されたメモリ以内であることを指します。生成中のピークメモリが収まることを保証するものではありません。結果の判定方法

値の更新日：2026年10月19日 · 計算ツール

実行プロファイル： llama.cpp、CUDA バックエンド（NVIDIA ディスクリート GPU）、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ（-ub）512、F16 の KV cache、コンテキスト長（-c）は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス（-np auto、統合 KV cache）で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。

「収まる」の判定で利用可能とみなすメモリ（C_low）：1枚あたり 13.88 GiB = 公称 16 GiB − 5 MiB（公称値から、公開ログで llama.cpp がこの GPU について報告した合計値を引いた差）− 2,112 MiB（この実行プロファイルの公開ログで見られた最大の起動時および実行時の使用量）。64 MiB の倍数に切り捨てています。

これらの結果は、公開ログで確認された構成に当てはまります。そのログでは llama.cpp がこの GPU の合計メモリを 16,379 MiB と報告していました。使用可能なメモリを減らす設定（たとえば、カードが対応している場合の ECC）は対象外です。

「収まらない」の判定に使うメモリ（C_high）：1 枚あたり全量の 16 GiB。実行プロファイルとその測定結果

量子化とコンテキスト長ごとの必要メモリ

「収まる」に必要な利用可能メモリ（X、カード単体あたりの GiB）と NVIDIA GeForce RTX 4060 Ti 16GB での結果。
量子化	4,096	8,192	32,768	131,072
BF16	17.4 GiB 境界	17.5 GiB 境界	18.4 GiB 境界	21.7 GiB 収まらない
Q8_0	10.1 GiB 収まる	10.3 GiB 収まる	11.1 GiB 収まる	14.4 GiB 境界
Q6_K	8.3 GiB 収まる	8.5 GiB 収まる	9.3 GiB 収まる	12.7 GiB 収まる
Q5_K_M	7.6 GiB 収まる	7.7 GiB 収まる	8.6 GiB 収まる	11.9 GiB 収まる
Q4_K_M	6.8 GiB 収まる	7.0 GiB 収まる	7.8 GiB 収まる	11.2 GiB 収まる
Q4_0	6.5 GiB 収まる	6.7 GiB 収まる	7.5 GiB 収まる	10.9 GiB 収まる
IQ4_XS	6.3 GiB 収まる	6.5 GiB 収まる	7.3 GiB 収まる	10.7 GiB 収まる
Q3_K_M	6.0 GiB 収まる	6.1 GiB 収まる	7.0 GiB 収まる	10.3 GiB 収まる

どのくらいの速度で生成できる？

Q8_0 では、理論上の上限は毎秒約 33.1 トークンです（288 GB/s ÷ トークンあたりの読み取り量 8.70 GB）。

速度の上限は、メモリ帯域幅を、生成されるトークン一つあたりに読み込まれるバイト数で割った値です。これは理論上の上限であり、公開されている llama.cpp のベンチマークでは通常、その半分から五分の四程度に達します。小さなモデルや MoE モデルでは、これより低くなることが多くあります。公開ベンチマーク

代替候補

Qwen3.5-9Bが収まる、その他の16 GBのGPU

NVIDIA GeForce RTX 4060 Ti 16GBに収まる同じファミリーの最大のモデル

Qwen3.5-35B-A3B-Base 34.7B · IQ2_M

同じファミリー：同じ公開元で、パラメータ数までのモデル名が同じもの。

出典

モデルページ（すべての量子化とそのファイル）： Qwen3.5-9B
GPU ページ（各スペックとその出典）： NVIDIA GeForce RTX 4060 Ti 16GB
Hugging Face 上のモデルファイル（固定されたリビジョン）： Qwen/Qwen3.5-9B@c202236, unsloth/Qwen3.5-9B-GGUF@3885219
NVIDIA GeForce RTX 4060 Ti 16GB のメモリ容量の出典： Wikipedia: GeForce RTX 40 series（CC BY-SA 4.0）、GetDeploying GPU Models（CC BY 4.0）
算出方法