AMD Radeon RX 7900 XTX で Mistral-Small-3.2-24B-Instruct-2506 を動かせる？
このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について
収まる llama.cpp の既定のロード確認では、Mistral-Small-3.2-24B-Instruct-2506 は Q6_K、コンテキスト 8,192 トークンで AMD Radeon RX 7900 XTX に収まります。「収まる」とするには、1 枚あたり 21.0 GiB の利用可能なメモリが必要です。
Q6_K では、収まる最長のコンテキスト長は 18,688 トークンです。
実行プロファイル： llama.cpp、Linux 上の ROCm バックエンド（AMD ディスクリート GPU）、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ（-ub）512、F16 の KV cache、コンテキスト長（-c）は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス（-np auto、統合 KV cache）で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。
「収まる」の判定で利用可能とみなすメモリ（C_low）：1枚あたり 22.75 GiB = 公称 24 GiB − 16 MiB（公称値から、公開ログで llama.cpp がこの GPU について報告した合計値を引いた差）− 1,216 MiB（この実行プロファイルの公開ログで見られた最大の起動時および実行時の使用量）。64 MiB の倍数に切り捨てています。
これらの結果は、公開ログで確認された構成に当てはまります。そのログでは llama.cpp がこの GPU の合計メモリを 24,560 MiB と報告していました。使用可能なメモリを減らす設定（たとえば、カードが対応している場合の ECC）は対象外です。
「収まらない」の判定に使うメモリ（C_high）：1 枚あたり全量の 24 GiB。 実行プロファイルとその測定結果
量子化とコンテキスト長ごとの必要メモリ
| 量子化 | 4,096 | 8,192 | 32,768 | 131,072 |
|---|---|---|---|---|
| BF16 | 46.8 GiB 収まらない | 47.5 GiB 収まらない | 51.5 GiB 収まらない | 67.5 GiB 収まらない |
| Q8_0 | 25.8 GiB 境界 | 26.5 GiB 境界 | 30.4 GiB 収まらない | 46.4 GiB 収まらない |
| Q6_K | 20.3 GiB 収まる | 21.0 GiB 収まる | 25.0 GiB 境界 | 41.0 GiB 収まらない |
| Q5_K_M | 17.9 GiB 収まる | 18.6 GiB 収まる | 22.6 GiB 収まる | 38.6 GiB 収まらない |
| Q4_K_M | 15.6 GiB 収まる | 16.3 GiB 収まる | 20.3 GiB 収まる | 36.3 GiB 収まらない |
| Q4_0 | 14.8 GiB 収まる | 15.4 GiB 収まる | 19.4 GiB 収まる | 35.4 GiB 収まらない |
| IQ4_XS | 14.1 GiB 収まる | 14.7 GiB 収まる | 18.7 GiB 収まる | 34.7 GiB 収まらない |
| Q3_K_M | 12.9 GiB 収まる | 13.6 GiB 収まる | 17.6 GiB 収まる | 33.5 GiB 収まらない |
| Q2_K | 10.4 GiB 収まる | 11.1 GiB 収まる | 15.1 GiB 収まる | 31.1 GiB 収まらない |
代替候補
Mistral-Small-3.2-24B-Instruct-2506が収まる、その他の24 GBのGPU
出典
- モデルページ（すべての量子化とそのファイル）： Mistral-Small-3.2-24B-Instruct-2506
- GPU ページ（各スペックとその出典）： AMD Radeon RX 7900 XTX
- Hugging Face 上のモデルファイル（固定されたリビジョン）： mistralai/Mistral-Small-3.2-24B-Instruct-2506@95a6d26, unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF@b750ec2
- AMD Radeon RX 7900 XTX のメモリ容量の出典： Wikipedia: Radeon RX 7000 series（CC BY-SA 4.0）、ROCm documentation gpu-specs.rst（MIT）
- 算出方法