DeskGPU
日本語

NVIDIA GeForce RTX 4070 Ti で gemma-3-27b-it を動かせる?

このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について

境界 コンテキスト 8,192 トークンでは、gemma-3-27b-it のどの量子化も NVIDIA GeForce RTX 4070 Ti に明確に収まるとは言えません。「境界」となる最も高い量子化は Q2_K で、「収まる」には 14.4 GiB の利用可能なメモリが必要です。これは推定の誤差範囲内です。

「収まる」とは、llama.cpp のデフォルトの --fit 読み込みチェックで、すべてのレイヤーが GPU に配置されることを意味します。つまり、当サイトによる llama.cpp のバッファの推定値に、誤差マージンと、llama.cpp のカード 1 枚あたり 1 GiB のリザーブを加えた値が、利用可能として計上されたメモリ以内であることを指します。生成中のピークメモリが収まることを保証するものではありません。 結果の判定方法

値の更新日:2026年10月19日 · 計算ツール

実行プロファイル: llama.cpp、CUDA バックエンド(NVIDIA ディスクリート GPU)、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ(-ub)512、F16 の KV cache、コンテキスト長(-c)は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス(-np auto、統合 KV cache)で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。

「収まる」の判定で利用可能とみなすメモリ(C_low):1枚あたり 8.88 GiB = 公称 12 GiB − 1,054 MiB(この実行プロファイルのコンシューマー向けおよびワークステーション向け GPU で測定された、公称値と報告された合計値との最大の差。この GPU 自体の合計値を報告する公開ログがないため使用)− 2,112 MiB(この実行プロファイルの公開ログで見られた最大の起動時および実行時の使用量)。64 MiB の倍数に切り捨てています。

これらの結果は、カードのデフォルト構成を前提としています。使用可能なメモリを減らす設定(たとえば、カードが対応している場合の ECC)は対象外です。

「収まらない」の判定に使うメモリ(C_high):1 枚あたり全量の 12 GiB。 実行プロファイルとその測定結果

量子化とコンテキスト長ごとの必要メモリ

「収まる」に必要な利用可能メモリ(X、カード単体あたりの GiB)と NVIDIA GeForce RTX 4070 Ti での結果。
量子化4,0968,19232,768131,072
BF16 56.5 GiB 収まらない57.1 GiB 収まらない59.1 GiB 収まらない67.2 GiB 収まらない
Q8_0 31.7 GiB 収まらない32.3 GiB 収まらない34.3 GiB 収まらない42.4 GiB 収まらない
Q6_K 25.3 GiB 収まらない25.9 GiB 収まらない27.9 GiB 収まらない36.0 GiB 収まらない
Q5_K_M 22.5 GiB 収まらない23.0 GiB 収まらない25.0 GiB 収まらない33.1 GiB 収まらない
Q4_K_M 19.8 GiB 収まらない20.3 GiB 収まらない22.4 GiB 収まらない30.5 GiB 収まらない
Q4_0 18.9 GiB 収まらない19.4 GiB 収まらない21.5 GiB 収まらない29.6 GiB 収まらない
IQ4_XS 18.1 GiB 収まらない18.6 GiB 収まらない20.6 GiB 収まらない28.7 GiB 収まらない
Q3_K_M 16.7 GiB 収まらない17.3 GiB 収まらない19.3 GiB 収まらない27.4 GiB 収まらない
Q2_K 13.9 GiB 境界14.4 GiB 境界16.4 GiB 収まらない24.5 GiB 収まらない

代替候補

gemma-3-27b-itが収まる、その他の12 GBのGPU

同じメモリ容量の他のGPUで、このモデルが収まるものはありません。

NVIDIA GeForce RTX 4070 Tiに収まる同じファミリーの最大のモデル

同じファミリー:同じ公開元で、パラメータ数までのモデル名が同じもの。

出典