AMD Radeon RX 7900 XT で GLM-4.7-Flash を動かせる?
このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について
収まる llama.cpp の既定のロード確認では、GLM-4.7-Flash は Q4_0、コンテキスト 8,192 トークンで AMD Radeon RX 7900 XT に収まります。「収まる」とするには、1 枚あたり 18.5 GiB の利用可能なメモリが必要です。
Q4_0 では、収まる最長のコンテキスト長は 11,008 トークンです。
実行プロファイル: llama.cpp、Linux 上の ROCm バックエンド(AMD ディスクリート GPU)、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ(-ub)512、F16 の KV cache、コンテキスト長(-c)は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス(-np auto、統合 KV cache)で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。
「収まる」の判定で利用可能とみなすメモリ(C_low):1枚あたり 18.63 GiB = 公称 20 GiB − 144 MiB(この実行プロファイルのコンシューマー向けおよびワークステーション向け GPU で測定された、公称値と報告された合計値との最大の差。この GPU 自体の合計値を報告する公開ログがないため使用)− 1,216 MiB(この実行プロファイルの公開ログで見られた最大の起動時および実行時の使用量)。64 MiB の倍数に切り捨てています。
これらの結果は、カードのデフォルト構成を前提としています。使用可能なメモリを減らす設定(たとえば、カードが対応している場合の ECC)は対象外です。
「収まらない」の判定に使うメモリ(C_high):1 枚あたり全量の 20 GiB。 実行プロファイルとその測定結果
量子化とコンテキスト長ごとの必要メモリ
| 量子化 | 4,096 | 8,192 | 32,768 | 131,072 |
|---|---|---|---|---|
| BF16 | 59.6 GiB 収まらない | 59.9 GiB 収まらない | 61.2 GiB 収まらない | 66.6 GiB 収まらない |
| Q8_0 | 32.4 GiB 収まらない | 32.6 GiB 収まらない | 34.0 GiB 収まらない | 39.4 GiB 収まらない |
| Q6_K | 25.5 GiB 収まらない | 25.7 GiB 収まらない | 27.1 GiB 収まらない | 32.5 GiB 収まらない |
| Q5_K_M | 22.3 GiB 境界 | 22.5 GiB 境界 | 23.9 GiB 境界 | 29.3 GiB 収まらない |
| Q4_K_M | 19.3 GiB 境界 | 19.5 GiB 境界 | 20.9 GiB 境界 | 26.3 GiB 収まらない |
| Q4_0 | 18.2 GiB 収まる | 18.5 GiB 収まる | 19.8 GiB 境界 | 25.2 GiB 収まらない |
| IQ4_XS | 17.3 GiB 収まる | 17.5 GiB 収まる | 18.9 GiB 境界 | 24.3 GiB 収まらない |
| Q3_K_M | 15.7 GiB 収まる | 15.9 GiB 収まる | 17.3 GiB 収まる | 22.7 GiB 境界 |
| Q2_K | 12.5 GiB 収まる | 12.8 GiB 収まる | 14.1 GiB 収まる | 19.5 GiB 境界 |
代替候補
GLM-4.7-Flashが収まる、その他の20 GBのGPU
同じメモリ容量の他のGPUで、このモデルが収まるものはありません。
出典
- モデルページ(すべての量子化とそのファイル): GLM-4.7-Flash
- GPU ページ(各スペックとその出典): AMD Radeon RX 7900 XT
- Hugging Face 上のモデルファイル(固定されたリビジョン): zai-org/GLM-4.7-Flash@7dd2089, unsloth/GLM-4.7-Flash-GGUF@0d32489
- AMD Radeon RX 7900 XT のメモリ容量の出典: Wikipedia: Radeon RX 7000 series(CC BY-SA 4.0)、ROCm documentation gpu-specs.rst(MIT)
- 算出方法