Holotron4-30B-A3B：必要な VRAM はどれくらい？

このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について

Holotron4-30B-A3B は、パラメータ数 31.6B の MoE（混合エキスパート）モデルで、1トークンあたり約 3.2B が有効になります（入力埋め込みの参照は含みません）。Q4_K_M で、コンテキスト長が 8,192 トークンの場合、結果が「収まる」となるには、1枚の GPU に 25.3 GiB の利用可能なメモリが必要です。

値の更新日：2026年10月19日

主な事実

GGUF ファイルと必要メモリ

すべての量子化は、固定された1つのリビジョンの1つのGGUFリポジトリに由来します： mradermacher/Holotron4-30B-A3B-i1-GGUF@b78d115

各量子化で最小のGPU

Holotron4-30B-A3B を実行できる GPU

「収まる」とは、llama.cpp のデフォルトの --fit 読み込みチェックで、すべてのレイヤーが GPU に配置されることを意味します。つまり、当サイトによる llama.cpp のバッファの推定値に、誤差マージンと、llama.cpp のカード 1 枚あたり 1 GiB のリザーブを加えた値が、利用可能として計上されたメモリ以内であることを指します。生成中のピークメモリが収まることを保証するものではありません。 結果の判定方法

境界のGPU

カード1枚に収まらないGPU

判定のないGPU

• CUDA（NVIDIA）：llama.cpp、CUDA バックエンド（NVIDIA ディスクリート GPU）、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ（-ub）512、F16 の KV cache、コンテキスト長（-c）は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス（-np auto、統合 KV cache）で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。
• Linux 上の ROCm（AMD）：llama.cpp、Linux 上の ROCm バックエンド（AMD ディスクリート GPU）、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ（-ub）512、F16 の KV cache、コンテキスト長（-c）は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス（-np auto、統合 KV cache）で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。

速度の上限は、メモリ帯域幅を、生成されるトークン一つあたりに読み込まれるバイト数で割った値です。これは理論上の上限であり、公開されている llama.cpp のベンチマークでは通常、その半分から五分の四程度に達します。小さなモデルや MoE モデルでは、これより低くなることが多くあります。 公開ベンチマーク

元の重み

このモデルの元の重みファイル（safetensors、算出方法は方法論に記載）の合計は61.5 GiBです。参考として掲載しているだけで、このページのすべての推定は、上記のGGUFファイルをllama.cppで実行した場合のものです。 Hcompany/Holotron4-30B-A3B · 算出方法

出典

• Hugging Face: Hcompany/Holotron4-30B-A3B@5218431
• Hugging Face (GGUF): mradermacher/Holotron4-30B-A3B-i1-GGUF@b78d115
• 算出方法（llama.cpp 5aeac37a）