GLM-4.5-Air-REAP-82B-A12B:必要な VRAM はどれくらい?
このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について
GLM-4.5-Air-REAP-82B-A12B は、パラメータ数 81.9B の MoE(混合エキスパート)モデルで、1トークンあたり約 12.8B が有効になります(入力埋め込みの参照は含みません)。Q4_K_M で、コンテキスト長が 8,192 トークンの場合、結果が「収まる」となるには、1枚の GPU に 56.0 GiB の利用可能なメモリが必要です。
主な事実
- 元のリポジトリ
- cerebras/GLM-4.5-Air-REAP-82B-A12B@6935605
- 公開元
- cerebras
- ライセンス
- mit
- パラメータ数(GGUF テンソルテーブル:llama.cpp が読み込むテンソル。マルチトークン予測レイヤーは含みません)
- 81.9B
- トークンあたりのアクティブパラメータ数(入力埋め込みの参照は含みません)
- 12.8B
- レイヤー数
- 46
- アテンション構成
- フルアテンションレイヤー 46 層
- トークンあたりの KV キャッシュ(F16、全アテンションレイヤー)
- 184.0 KiB
- 対応する最長コンテキスト長
- 131,072
含めていないもの:llama.cppがデフォルトでは読み込まない1個のマルチトークン予測(MTP / NextN)レイヤー(3.1Bパラメータ)。
GGUF ファイルと必要メモリ
すべての量子化は、固定された1つのリビジョンの1つのGGUFリポジトリに由来します: bartowski/cerebras_GLM-4.5-Air-REAP-82B-A12B-GGUF@d4ba84e
| 量子化 | ファイルサイズ | コンテキスト長 4,096 での X | コンテキスト長 8,192 での X | コンテキスト長 32,768 での X | コンテキスト長 131,072 での X |
|---|---|---|---|---|---|
| Q8_0 | 84.17 GiB(3 ファイル) | 86.8 GiB | 87.6 GiB | 92.2 GiB | 110.5 GiB |
| Q6_K | 70.98 GiB(2 ファイル) | 73.7 GiB | 74.4 GiB | 79.0 GiB | 97.4 GiB |
| Q5_K_M | 59.97 GiB(2 ファイル) | 62.5 GiB | 63.3 GiB | 67.8 GiB | 86.2 GiB |
| Q4_K_M | 52.68 GiB(2 ファイル) | 55.2 GiB | 56.0 GiB | 60.5 GiB | 78.9 GiB |
| Q4_0 | 45.78 GiB | 48.2 GiB | 48.9 GiB | 53.5 GiB | 71.9 GiB |
| IQ4_XS | 43.76 GiB | 46.2 GiB | 46.9 GiB | 51.5 GiB | 69.9 GiB |
| Q3_K_M | 39.93 GiB | 42.4 GiB | 43.1 GiB | 47.7 GiB | 66.1 GiB |
| IQ3_XXS | 36.30 GiB | 38.3 GiB | 39.1 GiB | 43.7 GiB | 62.0 GiB |
| Q2_K | 33.28 GiB | 35.7 GiB | 36.5 GiB | 41.1 GiB | 59.5 GiB |
| IQ2_M | 32.59 GiB | 34.4 GiB | 35.2 GiB | 39.8 GiB | 58.1 GiB |
| IQ2_XXS | 28.63 GiB | 30.3 GiB | 31.1 GiB | 35.7 GiB | 54.0 GiB |
各量子化で最小のGPU
| 量子化 | 収まる最小のGPU(1枚) | メモリ |
|---|---|---|
| Q8_0 | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q6_K | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q5_K_M | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q4_K_M | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q4_0 | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| IQ4_XS | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q3_K_M | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| IQ3_XXS | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| Q2_K | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| IQ2_M | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
| IQ2_XXS | 1枚のカードに収まる掲載GPUはありません。複数のカードを使う場合は、次を参照してください: 計算ツール | — |
GLM-4.5-Air-REAP-82B-A12B を実行できる GPU
データベース内に、このモデルが単一のカードに収まる GPU はありません。
境界のGPU
| GPU | メモリ | 実行プロファイル | 境界となる最高の量子化 | 「収まる」に必要な利用可能メモリ | 結果 |
|---|---|---|---|---|---|
| NVIDIA GeForce RTX 5090 | 32 GB | CUDA(NVIDIA) | Q2_K | 36.5 GiB | 境界 |
カード1枚に収まらないGPU
| GPU | メモリ | 実行プロファイル | 最小の量子化 | 「収まる」に必要な利用可能メモリ | 同一カード複数枚 | 結果 |
|---|---|---|---|---|---|---|
| NVIDIA GeForce GTX 1050 Ti | 4 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | — | 収まらない |
| NVIDIA GeForce GTX 1650 | 4 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | — | 収まらない |
| NVIDIA GeForce GTX 1060 | 6 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce GTX 1660 | 6 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce GTX 1660 SUPER | 6 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce RTX 2060 6GB | 6 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| AMD Radeon Pro V520 | 8 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | — | 収まらない |
| NVIDIA GeForce GTX 1070 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce GTX 1070 Ti | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce GTX 1080 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce RTX 2060 SUPER | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce RTX 2070 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce RTX 2080 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce RTX 3050 8GB | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce RTX 3060 Ti | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce RTX 3070 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce RTX 3070 Ti | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce RTX 4060 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA GeForce RTX 5060 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 8 枚では境界です。 | 収まらない |
| NVIDIA P4 | 8 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | — | 収まらない |
| NVIDIA GeForce RTX 3080 10GB | 10 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 7 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce GTX 1080 Ti | 11 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 5 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 2080 Ti | 11 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 5 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| AMD Radeon RX 7700 XT | 12 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 同一カード 4 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 3080 Ti | 12 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 5 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 4070 | 12 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 5 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 4070 Ti | 12 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 5 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 5070 | 12 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 5 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| AMD Radeon RX 7800 XT | 16 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 同一カード 3 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| AMD Radeon RX 7900 GRE | 16 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 同一カード 3 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 4060 Ti 16GB | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 3 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 4070 Ti SUPER | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 3 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 4080 | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 3 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 5060 Ti 16GB | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 3 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 5070 Ti | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 3 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA GeForce RTX 5080 | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 3 枚(既定の均等分割)で収まる見込みです。 それより少ない枚数では境界です。 | 収まらない |
| NVIDIA P100 | 16 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | — | 収まらない |
| AMD Radeon RX 7900 XT | 20 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 同一カード 2 枚(既定の均等分割)で収まる見込みです。 | 収まらない |
| AMD Radeon RX 7900 XTX | 24 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 同一カード 2 枚(既定の均等分割)で収まる見込みです。 | 収まらない |
| NVIDIA GeForce RTX 3090 | 24 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 2 枚(既定の均等分割)で収まる見込みです。 | 収まらない |
| NVIDIA GeForce RTX 3090 Ti | 24 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 同一カード 2 枚(既定の均等分割)で収まる見込みです。 | 収まらない |
| NVIDIA L4 | 24 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | — | 収まらない |
| NVIDIA Tesla P40 | 24 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | — | 収まらない |
判定のないGPU
| GPU | メモリ | 実行プロファイル | 最小の量子化 | 「収まる」に必要な利用可能メモリ | 判定がない理由 | 結果 |
|---|---|---|---|---|---|---|
| AMD Radeon AI PRO R9700 | 32 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Radeon PRO W7800 32GB | 32 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA Tesla V100 32GB | 32 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Radeon PRO W7800 48GB | 48 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Radeon PRO W7900 | 48 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA L40 | 48 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Instinct MI210 | 64 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA H100 PCIe | 80 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA H100 NVL | 94 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA H200 SXM | 141 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA B200 | 180 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Instinct MI300X | 192 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| NVIDIA B100 | 192 GB | CUDA(NVIDIA) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Instinct MI325X | 256 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Instinct MI350X | 288 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
| AMD Instinct MI355X | 288 GB | Linux 上の ROCm(AMD) | IQ2_XXS | 31.1 GiB | 不明:この GPU のメモリ構成が確定していないため、「収まらない」のみ表示されます。 | 不明 |
- CUDA(NVIDIA):llama.cpp、CUDA バックエンド(NVIDIA ディスクリート GPU)、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ(-ub)512、F16 の KV cache、コンテキスト長(-c)は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス(-np auto、統合 KV cache)で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。
- Linux 上の ROCm(AMD):llama.cpp、Linux 上の ROCm バックエンド(AMD ディスクリート GPU)、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ(-ub)512、F16 の KV cache、コンテキスト長(-c)は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス(-np auto、統合 KV cache)で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。
元の重み
このモデルの元の重みファイル(safetensors、算出方法は方法論に記載)の合計は158.3 GiBです。参考として掲載しているだけで、このページのすべての推定は、上記のGGUFファイルをllama.cppで実行した場合のものです。 cerebras/GLM-4.5-Air-REAP-82B-A12B · 算出方法