Qwen3-Coder-Next-Base:必要な VRAM はどれくらい?
このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について
Qwen3-Coder-Next-Base は、パラメータ数 79.7B の MoE(混合エキスパート)モデルで、1トークンあたり約 3.6B が有効になります(入力埋め込みの参照は含みません)。Q4_K_M で、コンテキスト長が 8,192 トークンの場合、結果が「収まる」となるには、1枚の GPU に 49.2 GiB の利用可能なメモリが必要です。
値の更新日:2026年10月19日
主な事実
- 元のリポジトリ
- Qwen/Qwen3-Coder-Next-Base@1b6df59
- 公開元
- Qwen
- ライセンス
- apache-2.0
- パラメータ数(GGUF テンソルテーブル:llama.cpp が読み込むテンソル。マルチトークン予測レイヤーは含みません)
- 79.7B
- トークンあたりのアクティブパラメータ数(入力埋め込みの参照は含みません)
- 3.6B
- 元のリポジトリが報告するパラメータ数(ビジョンエンコーダーや追加レイヤーを含む場合があります)
- 79.7B
- レイヤー数
- 48
- アテンション構成
- フルアテンションレイヤー 12 層;リカレント/線形アテンションレイヤー 36 層(固定サイズの状態)
- トークンあたりの KV キャッシュ(F16、全アテンションレイヤー)
- 24.0 KiB
- 対応する最長コンテキスト長
- 262,144
GGUF ファイルと必要メモリ
すべての量子化は、固定された1つのリビジョンの1つのGGUFリポジトリに由来します: mradermacher/Qwen3-Coder-Next-Base-i1-GGUF@a0275a0
ファイルサイズは Hugging Face 上の実ファイルのものです。その他の列は X、すなわち結果が「収まる」となるために GPU 単体で必要な利用可能メモリ(最大バッファの推定 ÷ 0.95 + 1 GiB)を示します。条件は llama.cpp を使用、Flash Attention 有効、F16 の KV cache、並列シーケンス 4、マイクロバッチ 512 です。特定の GPU には依存しません。 | 量子化 | ファイルサイズ | コンテキスト長 4,096 での X | コンテキスト長 8,192 での X | コンテキスト長 32,768 での X | コンテキスト長 131,072 での X |
| Q6_K | 61.03 GiB | 65.7 GiB | 65.8 GiB | 66.5 GiB | 69.0 GiB |
| Q5_K_M | 52.89 GiB | 57.2 GiB | 57.3 GiB | 57.9 GiB | 60.5 GiB |
| Q4_K_M | 45.16 GiB | 49.1 GiB | 49.2 GiB | 49.8 GiB | 52.4 GiB |
| Q4_0 | 42.17 GiB | 45.9 GiB | 46.0 GiB | 46.7 GiB | 49.3 GiB |
| IQ4_XS | 39.68 GiB | 43.3 GiB | 43.4 GiB | 44.1 GiB | 46.6 GiB |
| Q3_K_M | 35.65 GiB | 39.1 GiB | 39.2 GiB | 39.9 GiB | 42.4 GiB |
| IQ3_XXS | 28.68 GiB | 31.8 GiB | 31.9 GiB | 32.5 GiB | 35.1 GiB |
| Q2_K | 27.13 GiB | 30.2 GiB | 30.3 GiB | 30.9 GiB | 33.5 GiB |
| IQ2_M | 24.27 GiB | 27.1 GiB | 27.2 GiB | 27.9 GiB | 30.4 GiB |
| IQ2_XXS | 19.57 GiB | 22.2 GiB | 22.3 GiB | 23.0 GiB | 25.5 GiB |
各量子化で最小のGPU
各量子化について、コンテキスト長 8,192 トークンで、1枚のカードで推定が「収まる」となる掲載GPUのうち、メモリが最も少ないものです。結果が「不明」のGPU(実行プロファイルがないもの、ワークステーション向けおよびデータセンター向けカード、ユニファイドメモリ)は対象外です。 | 量子化 | 収まる最小のGPU(1枚) | メモリ |
| Q6_K | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q5_K_M | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q4_K_M | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q4_0 | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| IQ4_XS | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q3_K_M | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| IQ3_XXS | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q2_K | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| IQ2_M | NVIDIA GeForce RTX 5090 | 32 GB |
| IQ2_XXS | AMD Radeon RX 7900 XTX | 24 GB |
Qwen3-Coder-Next-Base を実行できる GPU
「収まる」とは、llama.cpp のデフォルトの --fit 読み込みチェックで、すべてのレイヤーが GPU に配置されることを意味します。つまり、当サイトによる llama.cpp のバッファの推定値に、誤差マージンと、llama.cpp のカード 1 枚あたり 1 GiB のリザーブを加えた値が、利用可能として計上されたメモリ以内であることを指します。生成中のピークメモリが収まることを保証するものではありません。 結果の判定方法
コンテキスト長 8,192 トークン。カード1枚に収まる最も高い量子化、その最長コンテキスト長、速度の上限を示します。 | GPU | メモリ | 実行プロファイル | 収まる最高の量子化 | 「収まる」に必要な利用可能メモリ | 最長コンテキスト長 | 速度の上限 | 結果 |
| AMD Radeon RX 7900 XTX | 24 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 22.3 GiB | 24,320 | — | 収まる |
| NVIDIA GeForce RTX 5090 | 32 GB | CUDA(NVIDIA) | IQ2_M | 27.2 GiB | 85,248 | ≤ 1,076 トークン/秒 | 収まる |
境界のGPU
カード1枚に収まらないGPU
判定のないGPU
コンテキスト長 8,192 トークン。これらのGPUには判定がありません(「判定がない理由」を参照)。表示している必要量は、最も低い量子化のものです。 | GPU | メモリ | 実行プロファイル | 最小の量子化 | 「収まる」に必要な利用可能メモリ | 判定がない理由 | 結果 |
| NVIDIA L4 | 24 GB | CUDA(NVIDIA) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA Tesla P40 | 24 GB | CUDA(NVIDIA) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Radeon AI PRO R9700 | 32 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Radeon PRO W7800 32GB | 32 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA Tesla V100 32GB | 32 GB | CUDA(NVIDIA) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Radeon PRO W7800 48GB | 48 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Radeon PRO W7900 | 48 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA L40 | 48 GB | CUDA(NVIDIA) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Instinct MI210 | 64 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA H100 PCIe | 80 GB | CUDA(NVIDIA) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA H100 NVL | 94 GB | CUDA(NVIDIA) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA H200 SXM | 141 GB | CUDA(NVIDIA) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA B200 | 180 GB | CUDA(NVIDIA) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Instinct MI300X | 192 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA B100 | 192 GB | CUDA(NVIDIA) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Instinct MI325X | 256 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Instinct MI350X | 288 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Instinct MI355X | 288 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 22.3 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
- CUDA(NVIDIA):llama.cpp、CUDA バックエンド(NVIDIA ディスクリート GPU)、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ(-ub)512、F16 の KV cache、コンテキスト長(-c)は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス(-np auto、統合 KV cache)で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。
- Linux 上の ROCm(AMD):llama.cpp、Linux 上の ROCm バックエンド(AMD ディスクリート GPU)、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ(-ub)512、F16 の KV cache、コンテキスト長(-c)は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス(-np auto、統合 KV cache)で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。
速度の上限は、メモリ帯域幅を、生成されるトークン一つあたりに読み込まれるバイト数で割った値です。これは理論上の上限であり、公開されている llama.cpp のベンチマークでは通常、その半分から五分の四程度に達します。小さなモデルや MoE モデルでは、これより低くなることが多くあります。 公開ベンチマーク
元の重み
このモデルの元の重みファイル(safetensors、算出方法は方法論に記載)の合計は148.4 GiBです。参考として掲載しているだけで、このページのすべての推定は、上記のGGUFファイルをllama.cppで実行した場合のものです。 Qwen/Qwen3-Coder-Next-Base · 算出方法
出典