推定の作り方

このページはAIが自動的に作成・翻訳し、人手による編集なしに、ソフトウェアが出典と照合して確認したものです。仕様は記載の出典に基づいています。必要なメモリ量と速度は、公開されている計算式による推定です。 AIの利用について

このサイトに掲載している数値は、互いに独立した二つの公開情報源が一致している仕様か、以下に説明する決定論的なコードの結果のいずれかです。同じコードが、ページのビルド時とお使いのブラウザー上で実行されます。

値の更新日：2026年10月19日

モデル化の対象

モデル化の対象は、llama.cpp が GGUF ファイルを読み込む場合で、テキストのみ、すべてのレイヤーを GPU に載せ、Flash Attention 有効、マイクロバッチ 512、ユーザーは一人です。複数のカードの場合は、同一のカードを一台のマシンに搭載し、llama.cpp の既定のレイヤー分割を使うものとします。マルチモーダルモデルは、ビジョンプロジェクターと画像処理を含めずに計算しています。

Ollama と LM Studio は llama.cpp を使用しますが、既定値が異なる場合があります。vLLM、MLX、Transformers はメモリの割り当て方が異なるため、モデル化していません。「収まる」という結果は、特定のドライバーやバックエンドがそのモデルのアーキテクチャや量子化に対応していることを意味しません。

計算式（項ごとの説明）

各カード d について、推定値 Q_d は、llama.cpp がデバイスごとに出力するモデル + KV + RS + 計算バッファと同じ量です。レイヤーは llama.cpp の既定の分割方法でカードに割り当てられ、入力埋め込みはシステムメモリに残ります。

Q_d = W_d + KV_d + S_d + C_d
W_d = Σ_{il ∈ d} layer_bytes[il] + [d = N] × out_bytes
KV_d = Σ_{il ∈ d} (k_il + v_il) × b_kv × cells_il;   b_kv: F16 = 2, Q8_0 = 34/32, Q4_0 = 18/32
cells_full = ⌈ctx / 256⌉ × 256
cells_window = ⌈min(ctx, window × n_seq + 512) / 256⌉ × 256
S_d = Σ_{il ∈ d} state_il × 4 B × n_seq
M = (cells_full + cells_window) × 512 × 4 B
L = max(0.25 GiB, n_vocab × 512 × 4 B)
P = M + n_embd × 512 × 4 B
C_d = L + M                        (N = 1)
C_d = L + 3 × P                    (N > 1, d = N)
C_d = 0.25 GiB + 4 × P             (N > 1, d < N)

X = max_d (Q⁺_d ÷ 0.95 + 1 GiB)
収まる：∀ d: Q⁺_d ÷ 0.95 + 1 GiB ≤ C_low
収まらない：Q⁻ ÷ 1.10 > C_high (N = 1);   Σ_d Q⁻_d ÷ 1.10 > N × C_high (N > 1)
境界：それ以外
C_low = G − D_card − U;   C_high = G
tok/s ≤ B ÷ (R + R_KV)

W_d: カード d 上の重み：そのカードに配置されたレイヤーのバイト数（GGUF のテンソルテーブルから取得）に、最後のカードでは出力レイヤーを加えたもの。
KV_d: カード d 上の KV cache：カード上の各アテンション層について、トークンあたりの K と V の要素数に、要素あたりのバイト数とキャッシュされるセル数を掛けたもの。マルチヘッド潜在アテンションでは K のみを保存します。
S_d: リカレント状態：リカレントレイヤーおよび線形アテンションレイヤーの固定サイズの状態（32 ビット）。並列シーケンスごとに 1 つ。
C_d, L, M, P: 計算バッファ：L はロジットのバッファ、M はアテンションマスク、P は複数のカードを使う場合にパイプライン並列が各カードに保持するコピーごとの入力です。
Q⁺: Q⁺：「収まる」の判定に用いるカードごとの推定値。4 つの並列シーケンス（llama-server の既定値 -np auto）で、カードの境界にちょうどあるレイヤーは両方のカードで計上します。
Q⁻: Q⁻：「収まらない」の判定に用いる推定値。1 シーケンスで、ソースコードでの割り当てどおり各レイヤーを 1 回ずつ計上します。
X: X：「収まる」と判定するために必要なカードごとの利用可能メモリ。ページでは「「収まる」に必要な利用可能メモリ」として表示されます。
G, N: G：カード 1 枚の公称メモリ（メーカーの「24 GB」を 24 GiB として計上）。N：同一カードの枚数。
C_low: C_low：「収まる」の判定で利用可能とみなすメモリ。公称メモリから、そのカードの公称値と報告値の差（D_card）と、実行プロファイルの公開ログで見られた最大の起動時および実行時の使用量（U）を引き、64 MiB の倍数に切り捨てたもの。
C_high: C_high：公称メモリの全量。「収まらない」の判定に使用します。
B, R, R_KV: B：メモリ帯域幅（バイト/秒）。R：生成するトークン 1 つあたりに読み込む重みのバイト数（エキスパート以外のテンソルに、使用中のエキスパートの分を加えたもの）。R_KV：トークン 1 つあたりに読み込む KV cache のバイト数。

定数

定数	値	意味
`ubatch`	512	llama.cpp のデフォルトのマイクロバッチサイズ（-ub）。
`ctxPad`	256	KV cache のセルは、この数の倍数になるようにパディングされる。
`computeFloorBytes`	0.25 GiB	カード1枚あたりの最小の計算バッファ。
`maskBytesPerCell`	4 B	アテンションマスク（32ビット）のセルおよびマイクロバッチのトークンあたりのバイト数。
`fitReservePerDeviceBytes`	1.00 GiB	llama.cpp のデフォルトの --fit が各カードで空けておく予備領域（-fitt 1024 MiB）。
`underestimateTolerance`	5%	ゴールドスタンダードテストで許容される最大の過小推定。「収まる」は推定値を、1からこの値を引いた数で割る。
`overestimateTolerance`	10%	ゴールドスタンダードテストで許容される最大の過大推定。「収まらない」は推定値を、1にこの値を足した数で割る。
`stateBytesPerElem`	4 B	リカレント状態の要素あたりのバイト数。
`defaultCtx`	8,192	表のデフォルトのコンテキスト長：このトークン数、またはモデルの最大値がそれより短い場合はその最大値。
`defaultSeqs`	4	「収まる」で想定する並列シーケンス数（llama-server -np auto、統合 KV cache）。
`goldCoveredCtx`	262,144	ゴールドスタンダードのログが対象とする、カード1枚での最長コンテキスト長（セル数）。最長コンテキストの探索はここで止まる。
`maxCards`	8	考慮する同一カードの最大枚数。
`minUsefulCapacityBytes`	2.00 GiB	判定のために1枚のカードで利用可能とみなす最小のメモリ量。これを下回る場合、結果は「不明」になります（「8枚でも収まらない」を除く）。
`pipelineCopies`	4	複数カードでパイプライン並列を行う場合の、カードあたりのレイヤー入力のコピー数（GGML_SCHED_MAX_COPIES）。
`goldCoveredCtxMulti`	131,072	ゴールドスタンダードのログが対象とする、複数カードでの最長コンテキスト長（セル数）。
`cLowStepBytes`	64 MiB	ディスクリート GPU の C_low（公称 − D_card − U）は、この値の倍数に切り捨てられます。

重みはパラメータ数から推定しません。各量子化の GGUF ファイルを、固定したリビジョンでヘッダーとテンソルテーブルまで読み取り、各レイヤーのバイト数を合計します。llama.cpp がシステムメモリに置くテンソル（入力埋め込み）は除外します。

収まる、境界、収まらない

「収まる」が意味するのはこれだけです：llama.cpp のデフォルトの --fit による読み込みチェックで、すべてのレイヤーが GPU に配置されるということです。llama.cpp はモデルの読み込み時にこのチェックを行います（推定バッファにカード1枚あたり 1 GiB の予備領域を加えた値が、起動時の空きメモリ以下である必要があります）。このサイトは同じバッファ規則で再計算し、推定誤差の余裕を見込んでいます。推論中のピークメモリ（メモリプール、長いプロンプト、その他の実行時の割り当て）が収まることを保証するものではありません。

ゴールドスタンダードテストでは、推定値が最大 5% 低く、または最大 10% 高くなることが許容されているため、判定の各側でそれぞれの境界を使います：

収まるすべてのカードで、Q⁺ ÷ 0.95 + 1 GiB が C_low 以下の場合。Q⁺ は 4 個の並列シーケンスを想定しています。
収まらない Q⁻ ÷ 1.10 がメモリ全体 C_high を超える場合（複数カードの場合は、デフォルトの --fit が分割を自動調整するため、カードごとの合計を N × C_high と比較します）。
境界その中間：収まる場合も収まらない場合もあります。コンテキスト長を短くするか、より低い量子化を使ってください。
不明デバイスに対応する実行プロファイルがない場合、ワークステーション向けおよびデータセンター向けの GPU の場合（メモリ構成が公開ログから確認できないため）、または利用可能とみなすメモリが 2 GiB 未満の場合：X のみを表示し、モデルがメモリ全体でも大きすぎる場合は「収まらない」も表示します。

X = カードごとの最大の Q⁺ ÷ 0.95 + 1 GiB は、「収まる」に必要な利用可能メモリです。ページでは「少なくとも」ではなく「収まるために必要な利用可能メモリ」と表記します。境界の結果でも同じ量が必要だからです。

表では、デフォルトのコンテキスト長で量子化を高いものから低いものへ順に確認します。行には、収まる最も高い量子化（X、最長コンテキスト長、速度の上限を併記）、収まるものがない場合は境界の最も高いもの（X を併記）、すべて大きすぎる場合は最も低い量子化とその X のいずれかを表示します。

最長コンテキスト長は、デフォルトのコンテキスト長から、モデルの最大値と実測ログが対象とする最長コンテキスト長（1枚で 262,144 セル、複数枚で 131,072 セル）のうち小さい方までの間で探索します。そこでもまだ収まる場合、ページにはその値に「≥」を付けて表示します。それより長いコンテキスト長は確認していません。

同一のカードを複数枚で検討するのは、1枚では収まらない場合に限り、実行プロファイルのあるデスクトップ向け、ワークステーション向け、データセンター向けのGPUのみが対象で、2枚から 8 枚までの各枚数をそれぞれ個別に確認します（カードを追加しても、最も負荷の高いカードの負荷が下がるとは限らず、パイプライン並列では層入力のコピーが 4 個追加されます）。ページには、デフォルトの均等分割で収まる最小の枚数を示します。これは最小値ではありません。デフォルトの --fit は分割を調整できるため、より少ないカードで動作する場合があります。ワークステーション向けおよびデータセンター向けのGPU、ならびに利用可能とみなすメモリが 2 GiB 未満のGPUには、「8枚でも収まらない」（または枚数なし）のみが表示されます。

実行プロファイル

利用可能とみなすメモリ量は、公開されている llama.cpp のログのみから得ています。具体的には、各デバイスが報告する合計、llama.cpp の --fit チェック実行時の空きメモリ、および記録されている場合は実行後に説明のつかないメモリです。D_card = 公称値 − その GPU モデルの報告された合計（複数のログがある場合は最大値）。U = プロファイルのすべての有効な観測のうち、--fit チェック時の「合計 − 空き」と、実行後の正の説明のつかないメモリの最大値。ログにデバイス一覧の値しかない場合は、プロファイルで見られた一覧からチェックまでの最大の差を加えます。ディスプレイが接続されている、他のプログラムがすでに GPU を使用していた、空きが合計を超えている、共有サーバーで無関係な使用が加わっている場合、その観測は除外します。観測が十分でないプロファイルでは判定を行いません。

プロファイル	U (MiB)	独自データのないデスクトップ向け GPU の D（MiB）	観測数	判定
CUDA（NVIDIA）	2,112	1,054	17	あり
Vulkan（Intel）	832	0	1	なし：観測が不足
Linux 上の ROCm（AMD）	1,216	144	11	あり

独自の測定がないコンシューマー向け GPU には、デフォルト構成でコンシューマー向けおよびワークステーション向けカードで測定された、公称値と報告された合計との最大の差を使います。ワークステーション向けおよびデータセンター向けの GPU は、測定の有無にかかわらず、「収まる」も「境界」も表示されません。公開ログからメモリ構成（たとえば ECC が有効かどうか）が分からないためです。モデルがメモリ全体でも大きすぎる場合を除き「不明」となり、複数カードでは「8枚でも収まらない」のみを表示します。ノート向け GPU、Apple Silicon、その他のユニファイドメモリのコンピューターには、このバージョンでは実行プロファイルがありません。

CUDA（NVIDIA）

llama.cpp、CUDA バックエンド（NVIDIA ディスクリート GPU）、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ（-ub）512、F16 の KV cache、コンテキスト長（-c）は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス（-np auto、統合 KV cache）で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。

U = 2,112 MiB、独自の測定がないデスクトップ向け GPU の D = 1,054 MiB。

これらのログで実行後に説明のつかないメモリ：236–2,050 MiB（4件の観測）。実行時の割り当ては「収まる」に含まれません。Uはそれを余裕としてのみ含み、上限としては含みません。

D_card：公称メモリから、llama.cpp がその GPU モデルについて報告した合計を引いた値（MiB）。
GPU	D_card (MiB)
NVIDIA GeForce RTX 3060 12GB	251
NVIDIA GeForce RTX 3090	453
NVIDIA GeForce RTX 4060 Ti 16GB	5
NVIDIA GeForce RTX 4090	496
NVIDIA GeForce RTX 5060	484
NVIDIA GeForce RTX 5090	659
NVIDIA L4	2,098
NVIDIA RTX A4000	410
NVIDIA RTX PRO 6000 Blackwell Workstation Edition	1,054

公開されている llama.cpp のログからの観測と、引用したログ行。
デバイス	バックエンド	ビルド	公称	報告された合計（MiB）	起動時の空き（MiB）	読み込み前の使用量（MiB）	実行後の未計上分（MiB）	出典
NVIDIA GeForce RTX 3090 (x2, CUDA0)	CUDA	`b11415`	24 GB	24,575	23,054	1,522	—	llama.cpp issues/29811 ログの行 `0.00.573.399 I common_memory_breakdown_print: \| - CUDA0 (RTX 3090) \| 24575 = 23054 + (21234 = 17721 + 2964 + 549) + -19713 \|` `0.00.573.400 I common_memory_breakdown_print: \| - CUDA1 (RTX 3090) \| 24575 = 23206 + (20693 = 18689 + 1453 + 549) + -19323 \|` `0.00.969.460 I common_params_fit_impl: - CUDA0 (NVIDIA GeForce RTX 3090): 24575 total, 21234 used, 1819 free vs. target of 1024`
NVIDIA GeForce RTX 4090	CUDA	`b10567 (d7fa69b7d)`	24 GB	24,563	23,040	1,575	—	llama.cpp issues/27680 ログの行 `common_param: - CUDA0 : NVIDIA GeForce RTX 4090 (24563 MiB, 23040 MiB free)` `llama_prepare_model_devices: using device CUDA0 (NVIDIA GeForce RTX 4090) (0000:08:00.0) - 23040 MiB free` `load_tensors: offloaded 44/44 layers to GPU`
NVIDIA GeForce RTX 4090 (x2, CUDA0)	CUDA	`9293 (1acee6bf8)`	24 GB	24,080	23,672	460	—	llama.cpp issues/23679 ログの行 `0.00.205.036 I - CUDA0 : NVIDIA GeForce RTX 4090 (24080 MiB, 23672 MiB free)` `0.00.283.679 I - CUDA1 : NVIDIA GeForce RTX 4090 (24080 MiB, 23672 MiB free)` `0.00.691.813 I llama_prepare_model_devices: using device CUDA0 (NVIDIA GeForce RTX 4090) (0000:01:00.0) - 23672 MiB free`
NVIDIA GeForce RTX 3090 (x8)	CUDA	`build 1 (0f7fada) ≈ b9557`	24 GB	24,123	23,858	317	—	llama.cpp issues/24608 ログの行 `0.01.258.121 I - CUDA0 : NVIDIA GeForce RTX 3090 (24123 MiB, 23858 MiB free)`
NVIDIA GeForce RTX 3090	CUDA	`9274 (52fb93a)`	24 GB	24,126	23,403	775	—	llama.cpp issues/23472 ログの行 `0.00.797.657 I common_memory_breakdown_print: \| - CUDA0 (RTX 3090) \| 24126 = 23403 + (25610 = 15621 +`
NVIDIA GeForce RTX 3060	CUDA	`b7342`	12 GB	12,037	—	270	270	llama.cpp issues/17931 ログの行 `llama_memory_breakdown_print: \| - CUDA0 (RTX 3060) \| 12037 = 4510 + ( 7256 = 1224 + 4662 + 1369) + 270 \|`
NVIDIA GeForce RTX 4090	CUDA	`7474 (f9ec8858e)`	24 GB	24,082	23,687	447	—	llama.cpp issues/18181 ログの行 `llama_params_fit_impl: - CUDA0 (NVIDIA GeForce RTX 4090) : 24082 total,` `llama_model_load_from_file_impl: using device CUDA0 (NVIDIA GeForce RTX 4090) (0000:82:00.0) - 23687 MiB free`
NVIDIA GeForce RTX 5090	CUDA	`8241 (62b8143ad)`	32 GB	32,606	30,927	2,050	2,050	llama.cpp issues/20308 ログの行 `0.18.828.015 I llama_model_load_from_file_impl: using device CUDA0 (NVIDIA GeForce RTX 5090) (0000:08:00.0) - 30927 MiB free` `0.03.911.366 I llama_params_fit_impl: - CUDA0 (NVIDIA GeForce RTX 5090): 32606 total,` `0.22.996.049 I load_tensors: offloaded 61/61 layers to GPU`
NVIDIA GeForce RTX 4090	CUDA	`8241 (62b8143ad)`	24 GB	24,563	22,988	1,910	1,910	llama.cpp issues/20308 ログの行 `0.18.828.027 I llama_model_load_from_file_impl: using device CUDA1 (NVIDIA GeForce RTX 4090) (0000:01:00.0) - 22988 MiB free` `0.03.911.366 I llama_params_fit_impl: - CUDA1 (NVIDIA GeForce RTX 4090): 24563 total,`
NVIDIA GeForce RTX 5090	CUDA	`9692 (f3e182816)`	32 GB	32,109	31,585	576	—	llama.cpp issues/24758 ログの行 `0.01.070.150 I - CUDA0 : NVIDIA GeForce RTX 5090 (32109 MiB, 31585 MiB free)` `llama_prepare_model_devices: using device CUDA0 (NVIDIA GeForce RTX 5090) (0000:01:00.0) - 31583 MiB free`
NVIDIA GeForce RTX 5060	CUDA	`build 1 (fae3a28)`	8 GB	7,708	7,573	187	—	llama.cpp issues/21984 ログの行 `CUDA0: NVIDIA GeForce RTX 5060 (7708 MiB, 7573 MiB free)` `Device 0: NVIDIA GeForce RTX 5060, compute capability 12.0, VMM: yes, VRAM: 7708 MiB` `\| 0 N/A N/A 1448 G /usr/lib/xorg/Xorg 4MiB \|`
NVIDIA GeForce RTX 4060 Ti	CUDA	`0.3.0-dev build 10672 (511f9c1)`	16 GB	16,379	15,233	1,198	—	llama.cpp issues/27892 ログの行 `0.00.590.294 I cmn common_param: - CUDA0 : NVIDIA GeForce RTX 4060 Ti (16379 MiB, 15233 MiB free)` `0.01.250.688 I llama_prepare_model_devices: using device CUDA0 (NVIDIA GeForce RTX 4060 Ti) (0000:01:00.0) - 15233 MiB free` `0.01.820.045 I load_tensors: offloaded 35/35 layers to GPU`
NVIDIA GeForce RTX 3080 (20 GB variant)	CUDA	`build 1 (234a6eb) ≈ B10733`	20 GB	20,479	19,271	1,260	—	llama.cpp issues/28167 ログの行 `0.00.239.888 I cmn common_param: - CUDA0 : NVIDIA GeForce RTX 3080 (20479 MiB, 19271 MiB free)` `using device CUDA0 (NVIDIA GeForce RTX 3080) (0000:09:00.0) - 19271 MiB free` `0.01.318.328 I load_tensors: offloaded 37/37 layers to GPU`
NVIDIA RTX PRO 6000 Blackwell Workstation Edition	CUDA	`7474 (f9ec8858e)`	96 GB	97,250	96,688	614	—	llama.cpp issues/18181 ログの行 `llama_params_fit_impl: - CUDA3 (NVIDIA RTX PRO 6000 Blackwell Workstation Edition): 97250 total,` `llama_model_load_from_file_impl: using device CUDA3 (NVIDIA RTX PRO 6000 Blackwell Workstation Edition)` `(0000:01:00.0) - 96688 MiB free`
NVIDIA RTX A4000	CUDA	`9890 (74976e1)`	16 GB	15,974	15,791	235	—	llama.cpp issues/25594 ログの行 `0.00.322.214 I cmn common_param: - CUDA0 : NVIDIA RTX A4000 (15974 MiB, 15791 MiB free)` `0.01.255.214 I llama_prepare_model_devices: using device CUDA0 (NVIDIA RTX A4000) (0000:02:00.0) - 15791 MiB free`
NVIDIA A100-SXM4-40GB	CUDA	`8387 (45172df)`	40 GB	40,444	39,968	528	—	llama.cpp issues/20761 ログの行 `ggml_cuda_init: found 1 CUDA devices (Total VRAM: 40444 MiB):` `Device 0: NVIDIA A100-SXM4-40GB, compute capability 8.0, VMM: yes, VRAM: 40444 MiB` `llama_model_load_from_file_impl: using device CUDA0 (NVIDIA A100-SXM4-40GB) (0000:41:00.0) - 39968 MiB free`
NVIDIA L4	CUDA	`b9036-b863d41c7`	24 GB	22,478	22,286	244	236	llama.cpp pull/22546 ログの行 `Device 0: NVIDIA L4, compute capability 8.9, VMM: yes, VRAM: 22478 MiB` `llama_prepare_model_devices: using device CUDA0 (NVIDIA L4) (0000:00:03.0) - 22286 MiB free` `common_memory_breakdown_print: \| - CUDA0 (L4) \| 22478 = 22234 + (17095 = 8045 + 8242 + 808) + -16851 \|`

Vulkan（Intel）

llama.cpp、Vulkan バックエンド（Intel ディスクリート GPU）、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ（-ub）512、F16 の KV cache、コンテキスト長（-c）は表示のとおり。「収まる」は 4 並列シーケンスで判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態です。公開された測定結果がまだ十分でないため、このプロファイルによる判定はありません。

U = 832 MiB、独自の測定がないデスクトップ向け GPU の D = 0 MiB。

D_card：公称メモリから、llama.cpp がその GPU モデルについて報告した合計を引いた値（MiB）。
GPU	D_card (MiB)
Intel Arc Pro B70	138

公開されている llama.cpp のログからの観測と、引用したログ行。
デバイス	バックエンド	ビルド	公称	報告された合計（MiB）	起動時の空き（MiB）	読み込み前の使用量（MiB）	実行後の未計上分（MiB）	出典
Intel Arc Pro B70	Vulkan	`build_info: b8871-7fc1c4ef7`	32 GB	32,630	31,861	769	—	llama.cpp issues/22275 ログの行 `0.01.712.235 I llama_model_load_from_file_impl: using device Vulkan0 (Intel(R) Arc(TM) Pro B70 Graphics) (unknown id)` `- 31861 MiB free` `0.10.080.962 I load_tensors: offloaded 31/31 layers to GPU`

Linux 上の ROCm（AMD）

llama.cpp、Linux 上の ROCm バックエンド（AMD ディスクリート GPU）、全レイヤーを GPU 上に配置、Flash Attention 有効、マイクロバッチ（-ub）512、F16 の KV cache、コンテキスト長（-c）は表示のとおり。「収まる」は llama-server の既定である 4 並列シーケンス（-np auto、統合 KV cache）で判定し、「収まらない」は 1 シーケンスで判定します。GPU はアイドル状態で、他のプログラムがメモリを使用していないものとします。

U = 1,216 MiB、独自の測定がないデスクトップ向け GPU の D = 144 MiB。

このログで実行後に説明のつかないメモリ：279 MiB（1件の観測）。実行時の割り当ては「収まる」に含まれません。Uはそれを余裕としてのみ含み、上限としては含みません。

D_card：公称メモリから、llama.cpp がその GPU モデルについて報告した合計を引いた値（MiB）。
GPU	D_card (MiB)
AMD Radeon Instinct MI50 (32GB)	16
AMD Radeon AI PRO R9700	144
AMD Radeon RX 6800	16
AMD Radeon RX 6900 XT	16
AMD Radeon RX 7800 XT	16
AMD Radeon RX 7900 XTX	16

公開されている llama.cpp のログからの観測と、引用したログ行。
デバイス	バックエンド	ビルド	公称	報告された合計（MiB）	起動時の空き（MiB）	読み込み前の使用量（MiB）	実行後の未計上分（MiB）	出典
AMD Radeon RX 7900 XTX	ROCm	`version: 9744 (063d9c1)`	24 GB	24,560	24,494	266	—	llama.cpp issues/24858 ログの行 `[44157] 0.00.063.214 I - ROCm0 : Radeon RX 7900 XTX (24560 MiB, 24494 MiB free)` `[44157] 0.00.668.217 I llama_prepare_model_devices: using device ROCm0 (Radeon RX 7900 XTX) (0000:0a:00.0) - 24346 MiB free` `[44157] 0.02.978.818 I load_tensors: offloaded 33/33 layers to GPU`
AMD Radeon RX 7800 XT (x2, ROCm0)	ROCm	`version: b8929-9d34231bb`	16 GB	16,368	16,036	467	—	llama.cpp issues/22351 ログの行 `Device 0: AMD Radeon RX 7800 XT, gfx1101 (0x1101), VMM: no, Wave Size: 32, VRAM: 16368 MiB` `llama_model_load_from_file_impl: using device ROCm0 (AMD Radeon RX 7800 XT) (0000:01:00.0) - 16036 MiB free` `common_params_fit_impl: - ROCm0 (AMD Radeon RX 7800 XT): 16368 total, 10610 used, 5291 free vs. target of 1024`
AMD Radeon RX 7900 XTX	ROCm	`version: 9307 (549b9d8)`	24 GB	24,560	24,510	1,135	—	llama.cpp issues/23934 ログの行 `0.00.042.225 I - ROCm0 : AMD Radeon RX 7900 XTX (24560 MiB, 24510 MiB free)` `OS: Ubuntu 22.04.5 LTS` `Kernel: 6.8.0-117-generic`
AMD Radeon RX 7900 XTX (x4)	ROCm	`unknown`	24 GB	24,560	24,510	1,135	—	llama.cpp issues/27021 ログの行 `- ROCm0 : Radeon RX 7900 XTX (24560 MiB, 24510 MiB free)` `- ROCm1 : Radeon RX 7900 XTX (24560 MiB, 24518 MiB free)` `- ROCm2 : Radeon RX 7900 XTX (24560 MiB, 24518 MiB free)`
AMD Radeon AI PRO R9700 (x8)	ROCm	`build 43 (5854625)`	32 GB	32,624	32,534	1,175	—	llama.cpp issues/26208 ログの行 `0.00.089.438 I cmn common_param: - ROCm0 : AMD Radeon AI PRO R9700 (32624 MiB, 32534 MiB free)` `0.08.861.240 I load_tensors: offloaded 66/66 layers to GPU` `Host is a Debian 13 install with backports set to priority 500.`
AMD Radeon AI PRO R9700	ROCm	`build 10616 (45bfc6f91)`	32 GB	32,624	32,538	1,171	—	llama.cpp issues/26208 ログの行 `[44399] 0.00.093.902 I cmn common_param: - ROCm0 : AMD Radeon Graphics (32624 MiB, 32538 MiB free)` `[44399] 0.00.093.904 I cmn common_param: - ROCm1 : AMD Radeon Graphics (32624 MiB, 32558 MiB free)` `[44399] 0.00.562.846 I common_memory_breakdown_print: \| - ROCm0 (Graphics) \| 32624 = 31454 + (18994 = 7216 + 9095 + 2682) + -17824 \|`
AMD Instinct MI50 32GB	ROCm	`build 9943 (c15c5c77a)`	32 GB	32,752	32,722	1,115	—	llama.cpp issues/25487 ログの行 `0.00.046.167 I cmn common_param: - ROCm0 : AMD Instinct MI60 / MI50 (32752 MiB, 32722 MiB free)` `llama_prepare_model_devices: using device ROCm0 (AMD Instinct MI60 / MI50) (0000:43:00.0) - 32570 MiB free` `0.13.494.533 I load_tensors: offloaded 49/52 layers to GPU`
AMD Radeon RX 6800	ROCm	`version: 746 (da296d6)`	16 GB	16,368	—	660	—	llama.cpp issues/26038 ログの行 `\| - ROCm0 (RX 6800) \| 16368 = 15708 + (13826 = 13244 + 544 + 37) + -13166 \|` `\| - ROCm0 (RX 6800) \| 16368 = 16010 + (13527 = 13244 + 245 + 37) + -13169 \|` `GPU: AMD Radeon RX 6800`
AMD Radeon Pro VII (x3)	ROCm	`build: aa374175c (6969)`	16 GB	16,368	—	279	279	llama.cpp issues/17058 ログの行 `llama_memory_breakdown_print: \| memory breakdown [MiB] \| total free self model context compute unaccounted \|` `llama_memory_breakdown_print: \| - ROCm0 ((TM) Pro VII) \| 16368 = 10268 + (5820 = 5613 + 56 + 150) + 279 \|` `llama_memory_breakdown_print: \| - ROCm1 ((TM) Pro VII) \| 16368 = 10250 + (5852 = 5336 + 54 + 461) + 265 \|`
AMD Radeon RX 6900 XT	ROCm	`version: 9890 (74976e1)`	16 GB	16,368	16,342	1,111	—	llama.cpp issues/25594 ログの行 `0.00.322.247 I cmn common_param: - ROCm0 : AMD Radeon RX 6900 XT (16368 MiB, 16342 MiB free)` `0.01.255.231 I llama_prepare_model_devices: using device ROCm0 (AMD Radeon RX 6900 XT) (0000:03:00.0) - 16342 MiB free` `0.01.790.609 I load_tensors: offloaded 66/66 layers to GPU`
AMD Radeon RX 7900 XTX	ROCm	`version: 8707 (3bd9aa1)`	24 GB	24,560	24,376	219	—	llama.cpp issues/22052 ログの行 `Device 0: AMD Radeon RX 7900 XTX, gfx1100 (0x1100), VMM: no, Wave Size: 32, VRAM: 24560 MiB` `llama_model_load_from_file_impl: using device ROCm0 (AMD Radeon RX 7900 XTX) (0000:c4:00.0) - 24376 MiB free` `llama_params_fit_impl: - ROCm0 (AMD Radeon RX 7900 XTX): 24560 total, 9473 used, 14868 free vs. target of 1024`

ゴールドスタンダードのテスト

各ケースは、デバイスごとのバッファを出力する公開された llama.cpp のログです。そのログの GGUF ファイルを読み取り、ログ自身のコンテキスト、シーケンス、マイクロバッチ、KV タイプを用いてカードごとにバッファを再計算し、同じカードの model + KV + RS + compute と比較します。38 件のケース（50 枚のカード）がビルドごとに自動テストとして実行され、−5% から +10% の範囲内に収まる必要があります。最大の誤差は +8.85% です。

ケース	GGUF	バックエンド	カード	デバイス	コンテキスト長	シーケンス	KV	実測値	本サイトの推定	誤差
E01	unsloth/GLM-4.7-Flash-GGUF	Metal	1	MTL0	65,536	4	F16	34,053.1 MiB	34,173.1 MiB	+0.35%
E02	unsloth/GLM-4.7-Flash-GGUF	CUDA	1	CUDA0	380,416	2	F16	76,784.3 MiB	77,208.0 MiB	+0.55%
E03	bartowski/gemma-2-2b-it-GGUF	CUDA	1	CUDA0	4,096	1	F16	3,570.3 MiB	3,581.7 MiB	+0.32%
E05	ggml-org/gemma-3-4b-it-qat-GGUF	Vulkan	1	Vulkan0	131,072	4	F16	6,001.9 MiB	6,261.9 MiB	+4.33%
E06	unsloth/gemma-3-27b-it-GGUF	CUDA	1	CUDA0	8,192	1	Q8_0	14,257.9 MiB	14,266.4 MiB	+0.06%
E07	unsloth/gemma-4-26B-A4B-it-GGUF	ROCm	1	ROCm0	262,144	4	F16	54,994.9 MiB	55,203.4 MiB	+0.38%
E08	bartowski/google_gemma-4-E2B-it-GGUF	Vulkan	1	Vulkan0	12,032	4	F16	2,065.2 MiB	2,090.7 MiB	+1.23%
E10	lmstudio-community/gpt-oss-20b-GGUF	Metal	1	Metal	4,096	1	F16	12,048.6 MiB	12,052.4 MiB	+0.03%
E11	unsloth/gpt-oss-120b-GGUF	Vulkan	1	Vulkan0	131,072	1	F16	65,418.0 MiB	65,654.7 MiB	+0.36%
E12	unsloth/gpt-oss-120b-GGUF	ROCm	3	ROCm0	131,072	1	F16	24,085.8 MiB	24,118.2 MiB	+0.13%
E12	unsloth/gpt-oss-120b-GGUF	ROCm	3	ROCm1	131,072	1	F16	21,826.8 MiB	22,488.5 MiB	+3.03%
E12	unsloth/gpt-oss-120b-GGUF	ROCm	3	ROCm2	131,072	1	F16	21,101.6 MiB	21,325.3 MiB	+1.06%
E13	lmstudio-community/gpt-oss-120b-GGUF	ROCm	3	ROCm0	50,176	4	F16	22,570.5 MiB	22,681.7 MiB	+0.49%
E13	lmstudio-community/gpt-oss-120b-GGUF	ROCm	3	ROCm1	50,176	4	F16	20,664.3 MiB	21,033.4 MiB	+1.79%
E13	lmstudio-community/gpt-oss-120b-GGUF	ROCm	3	ROCm2	50,176	4	F16	19,914.5 MiB	20,003.2 MiB	+0.45%
E15	bartowski/nvidia_Nemotron-H-47B-Reasoning-128K-GGUF	Vulkan	1	Vulkan0	32,768	1	F16	27,959.0 MiB	27,988.9 MiB	+0.11%
E17	LiquidAI/LFM2.5-1.2B-Instruct-GGUF	CUDA	1	CUDA0	128,000	4	Q8_0	2,370.8 MiB	2,489.7 MiB	+5.02%
E18	unsloth/Qwen3.5-27B-GGUF	CUDA	1	CUDA0	10,240	1	F16	17,406.9 MiB	17,406.9 MiB	+0.00%
E19	unsloth/Qwen3.5-35B-A3B-GGUF	Vulkan	1	Vulkan0	16,384	1	F16	21,566.6 MiB	21,585.6 MiB	+0.09%
E20	unsloth/Qwen3.5-9B-GGUF	CUDA	1	CUDA0	256,000	4	Q8_0	20,381.1 MiB	20,576.0 MiB	+0.96%
E23	unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF	CUDA	2	CUDA0	131,072	1	Q8_0	21,254.9 MiB	21,294.9 MiB	+0.19%
E23	unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF	CUDA	2	CUDA1	131,072	1	Q8_0	4,032.3 MiB	4,280.2 MiB	+6.15%
E24	bartowski/Mistral-Large-Instruct-2411-GGUF	CUDA	4	CUDA0	32,768	1	F16	32,775.5 MiB	32,783.4 MiB	+0.02%
E24	bartowski/Mistral-Large-Instruct-2411-GGUF	CUDA	4	CUDA1	32,768	1	F16	15,712.7 MiB	15,856.7 MiB	+0.92%
E24	bartowski/Mistral-Large-Instruct-2411-GGUF	CUDA	4	CUDA2	32,768	1	F16	18,503.9 MiB	18,647.9 MiB	+0.78%
E24	bartowski/Mistral-Large-Instruct-2411-GGUF	CUDA	4	CUDA3	32,768	1	F16	15,874.9 MiB	15,930.9 MiB	+0.35%
E25	unsloth/Qwen3.5-27B-GGUF	CUDA	2	CUDA0	10,240	4	F16	13,661.2 MiB	13,738.2 MiB	+0.56%
E25	unsloth/Qwen3.5-27B-GGUF	CUDA	2	CUDA1	10,240	4	F16	14,767.9 MiB	14,423.6 MiB	-2.33%
E26	unsloth/Qwen3.5-27B-GGUF	Vulkan	2	Vulkan0	16,128	4	F16	6,805.8 MiB	6,908.0 MiB	+1.50%
E26	unsloth/Qwen3.5-27B-GGUF	Vulkan	2	Vulkan1	16,128	4	F16	11,830.8 MiB	11,842.3 MiB	+0.10%
E27	lmstudio-community/Qwen3-32B-GGUF	CUDA	1	CUDA0	32,768	1	Q4_0	21,034.4 MiB	21,088.4 MiB	+0.26%
E28	bartowski/Meta-Llama-3.1-8B-Instruct-GGUF	CUDA	1	CUDA0	132,096	4	F16	45,560.0 MiB	45,655.0 MiB	+0.21%
E29	lmstudio-community/granite-4.0-micro-GGUF	CUDA	1	CUDA0	2,050	1	F16	2,381.0 MiB	2,439.3 MiB	+2.45%
E30	unsloth/Llama-3.2-3B-Instruct-GGUF	CUDA	1	CUDA0	74,000	1	F16	10,294.9 MiB	10,439.4 MiB	+1.40%
E31	mradermacher/Sugoi-14B-Ultra-HF-i1-GGUF	CUDA	1	CUDA0	512	1	F16	6,674.4 MiB	6,665.4 MiB	-0.13%
E33	unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF	ROCm	1	ROCm0	4,096	20	F16	34,286.3 MiB	34,717.0 MiB	+1.26%
E35	mradermacher/Strawberrylemonade-70B-v1.2-i1-GGUF	ROCm	2	ROCm0	32,768	2	F16	23,499.4 MiB	23,651.3 MiB	+0.65%
E35	mradermacher/Strawberrylemonade-70B-v1.2-i1-GGUF	ROCm	2	ROCm1	32,768	2	F16	23,230.2 MiB	23,267.7 MiB	+0.16%
E37	Qwen/Qwen3-VL-30B-A3B-Instruct-GGUF	ROCm	1	ROCm0	20,224	4	F16	19,721.2 MiB	19,756.7 MiB	+0.18%
E38	unsloth/Llama-3.2-3B-Instruct-GGUF	ROCm	1	ROCm0	10,240	4	F16	3,300.9 MiB	3,314.4 MiB	+0.41%
E39	unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF	Vulkan	1	Vulkan0	100,864	4	Q8_0	22,043.4 MiB	22,215.6 MiB	+0.78%
E40	bartowski/Meta-Llama-3.1-8B-Instruct-GGUF	Vulkan	1	Vulkan0	8,448	1	F16	5,718.0 MiB	5,732.0 MiB	+0.24%
E41	unsloth/GLM-4.5-Air-GGUF	Vulkan	1	Vulkan0	24,576	4	Q8_0	46,141.9 MiB	46,179.1 MiB	+0.08%
E43	unsloth/Qwen3-VL-8B-Thinking-GGUF	Vulkan	2	Vulkan0	24,576	4	Q8_0	4,416.4 MiB	4,560.3 MiB	+3.26%
E43	unsloth/Qwen3-VL-8B-Thinking-GGUF	Vulkan	2	Vulkan1	24,576	4	Q8_0	2,734.4 MiB	2,766.3 MiB	+1.17%
E44	ggml-org/Qwen2.5-Coder-1.5B-Instruct-Q8_0-GGUF	Vulkan	1	Vulkan0	4,096	1	F16	1,976.4 MiB	1,981.4 MiB	+0.25%
E45	unsloth/Qwen3-30B-A3B-GGUF	Metal	1	Metal	4,096	1	F16	9,307.4 MiB	9,307.4 MiB	-0.00%
E46	bartowski/mistralai_Voxtral-Mini-3B-2507-GGUF	Metal	1	MTL0	16,384	4	F16	6,256.0 MiB	6,276.0 MiB	+0.32%
E47	unsloth/Qwen3-0.6B-GGUF	Metal	1	Metal	34,304	4	F16	4,425.4 MiB	4,488.4 MiB	+1.42%
E48	sweepai/sweep-next-edit-1.5B	Metal	1	Metal	32,768	4	F16	2,462.6 MiB	2,680.6 MiB	+8.85%

除外したログとその理由

E04：Flash Attention がオフでした。このサイトは Flash Attention がオンの場合を前提にしています。
E09：--swa-full を付けて実行されています。これはデフォルトではないスライディングウィンドウキャッシュです。
E16：統合された KV cache を使わない複数シーケンスです。そのキャッシュレイアウトはモデル化していません。
E32：Flash Attention がオフでした。このサイトは Flash Attention がオンの場合を前提にしています。
E34：Flash Attention がオフでした。このサイトは Flash Attention がオンの場合を前提にしています。
E42：Flash Attention がオフでした。このサイトは Flash Attention がオンの場合を前提にしています。

アーキテクチャ別の llama.cpp のルール

各アーキテクチャーが KV キャッシュと状態をどのように配置するかは、llama.cpp のソースコードのコミット 5aeac37a35 から書き写したものです。

アーキテクチャ	KV cache のレイアウト	出典
`llama`	すべてのレイヤーでフルアテンション	src/models/llama.cpp
`qwen2`	すべてのレイヤーでフルアテンション	src/models/qwen2.cpp
`qwen2moe`	すべてのレイヤーでフルアテンション	src/models/qwen2moe.cpp
`qwen2vl`	すべてのレイヤーでフルアテンション	src/models/qwen2vl.cpp
`qwen3`	すべてのレイヤーでフルアテンション	src/models/qwen3.cpp
`qwen3moe`	すべてのレイヤーでフルアテンション	src/models/qwen3moe.cpp
`qwen3vl`	すべてのレイヤーでフルアテンション	src/models/qwen3vl.cpp
`qwen3vlmoe`	すべてのレイヤーでフルアテンション	src/models/qwen3vlmoe.cpp
`mistral3`	すべてのレイヤーでフルアテンション	src/models/mistral3.cpp
`mistral4`	すべてのレイヤーでフルアテンション	src/models/mistral4.cpp
`phi2`	すべてのレイヤーでフルアテンション	src/models/phi2.cpp
`phi3`	すべてのレイヤーでフルアテンション	src/models/phi3.cpp
`phimoe`	すべてのレイヤーでフルアテンション	src/models/phimoe.cpp
`gemma`	すべてのレイヤーでフルアテンション	src/models/gemma.cpp
`glm4`	すべてのレイヤーでフルアテンション	src/models/glm4.cpp
`glm4moe`	すべてのレイヤーでフルアテンション	src/models/glm4-moe.cpp
`granite`	すべてのレイヤーでフルアテンション	src/models/granite.cpp
`granitemoe`	すべてのレイヤーでフルアテンション	src/models/granite-moe.cpp
`command-r`	すべてのレイヤーでフルアテンション	src/models/command-r.cpp
`olmo`	すべてのレイヤーでフルアテンション	src/models/olmo.cpp
`olmoe`	すべてのレイヤーでフルアテンション	src/models/olmoe.cpp
`starcoder2`	すべてのレイヤーでフルアテンション	src/models/starcoder2.cpp
`internlm2`	すべてのレイヤーでフルアテンション	src/models/internlm2.cpp
`minimax-m2`	すべてのレイヤーでフルアテンション	src/models/minimax-m2.cpp
`hunyuan-moe`	すべてのレイヤーでフルアテンション	src/models/hunyuan-moe.cpp
`hunyuan-dense`	すべてのレイヤーでフルアテンション	src/models/hunyuan-dense.cpp
`hy_v3`	すべてのレイヤーでフルアテンション	src/models/hy-v3.cpp
`ernie4_5`	すべてのレイヤーでフルアテンション	src/models/ernie4-5.cpp
`ernie4_5-moe`	すべてのレイヤーでフルアテンション	src/models/ernie4-5-moe.cpp
`seed_oss`	すべてのレイヤーでフルアテンション	src/models/seed-oss.cpp
`smollm3`	すべてのレイヤーでフルアテンション	src/models/smollm3.cpp
`apertus`	すべてのレイヤーでフルアテンション	src/models/apertus.cpp
`exaone`	すべてのレイヤーでフルアテンション	src/models/exaone.cpp
`nemotron`	すべてのレイヤーでフルアテンション	src/models/nemotron.cpp
`bailingmoe`	すべてのレイヤーでフルアテンション	src/models/bailingmoe.cpp
`bailingmoe2`	すべてのレイヤーでフルアテンション	src/models/bailingmoe2.cpp
`dots1`	すべてのレイヤーでフルアテンション	src/models/dots1.cpp
`arcee`	すべてのレイヤーでフルアテンション	src/models/arcee.cpp
`grovemoe`	すべてのレイヤーでフルアテンション	src/models/grovemoe.cpp
`nanbeige`	すべてのレイヤーでフルアテンション	src/models/nanbeige.cpp
`k2-horizon`	すべてのレイヤーでフルアテンション	src/models/k2-horizon.cpp
`deci`	キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/deci.cpp
`deepseek2`	すべてのレイヤーでフルアテンション	src/models/deepseek2.cpp
`deepseek`	すべてのレイヤーでフルアテンション	src/models/deepseek.cpp
`minicpm3`	すべてのレイヤーでフルアテンション	src/models/minicpm3.cpp
`deepseek32`	インデクサーキーを使うスパースアテンション（追加の K として計算）	src/models/deepseek32.cpp
`glm-dsa`	インデクサーキーを使うスパースアテンション（追加の K として計算）	src/models/glm-dsa.cpp
`gemma2`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 1 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/gemma2.cpp
`gemma3`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 5 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/gemma3.cpp
`gemma3n`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 4 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）；キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/gemma3n.cpp
`gemma4`	スライディングウィンドウ、レイヤーごとのパターンは GGUF ファイルから読み取り	src/models/gemma4.cpp
`cohere2`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 3 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/cohere2.cpp
`cohere2moe`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 3 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/cohere2moe.cpp
`gpt-oss`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 1 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/openai-moe.cpp
`exaone4`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 3 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/exaone4.cpp
`exaone-moe`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 3 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/exaone-moe.cpp
`afmoe`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 3 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/afmoe.cpp
`llama4`	チャンク化アテンション：フルレイヤー 1 つにつきチャンク化レイヤー 3 つ	src/models/llama4.cpp
`muse-glimmer`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 3 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/muse-glimmer.cpp
`muse-spark`	スライディングウィンドウ、レイヤーごとのパターンは GGUF ファイルから読み取り	src/models/muse-spark.cpp
`mellum`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 3 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/mellum.cpp
`smallthinker`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 3 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/smallthinker.cpp
`laguna`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 3 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/laguna.cpp
`granite_swa`	スライディングウィンドウ、レイヤーごとのパターンは GGUF ファイルから読み取り	src/models/granite-swa.cpp
`maple`	スライディングウィンドウ、レイヤーごとのパターンは GGUF ファイルから読み取り	src/models/maple.cpp
`spark2_5`	スライディングウィンドウ、レイヤーごとのパターンは GGUF ファイルから読み取り	src/models/spark2-5.cpp
`step35`	スライディングウィンドウ、レイヤーごとのパターンは GGUF ファイルから読み取り	src/models/step35.cpp
`mimo2`	スライディングウィンドウ、レイヤーごとのパターンは GGUF ファイルから読み取り	src/models/mimo2.cpp
`kolibri1`	スライディングウィンドウ、レイヤーごとのパターンは GGUF ファイルから読み取り	src/models/kolibri1.cpp
`beam`	スライディングウィンドウ、レイヤーごとのパターンは GGUF ファイルから読み取り	src/models/beam.cpp
`maion-coder`	スライディングウィンドウ、レイヤーごとのパターンは GGUF ファイルから読み取り	src/models/maion-coder.cpp
`olmo2`	スライディングウィンドウ：フルレイヤー 1 つにつきスライディングレイヤー 3 つ（GGUF ファイルにレイヤーごとのパターンがある場合を除く）	src/models/olmo2.cpp
`plamo3`	キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/plamo3.cpp
`qwen3next`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/qwen3next.cpp
`qwen35`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/qwen35.cpp
`qwen35moe`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/qwen35moe.cpp
`qwen4exp`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー；キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/qwen4exp.cpp
`nemotron_h`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/nemotron-h.cpp
`nemotron_h_moe`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/nemotron-h.cpp
`granitehybrid`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/granite-hybrid.cpp
`jamba`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/jamba.cpp
`lfm2`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/lfm2.cpp
`lfm2moe`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/lfm2moe.cpp
`falcon-h1`	キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/falcon-h1.cpp
`kimi-linear`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/kimi-linear.cpp
`kimi-k3`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー	src/models/kimi-k3.cpp
`glm5-next`	固定サイズの状態を持つ再帰型/線形アテンションレイヤー；インデクサーキーを使うスパースアテンション（追加の K として計算）	src/models/glm5-next.cpp
`minimax-01`	キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/minimax-01.cpp
`plamo2`	キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/plamo2.cpp
`deepseek4`	キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/deepseek4.cpp
`dots3note`	キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/dots3note.cpp
`hy_v4`	キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/hy-v4.cpp
`minimax-m3`	キャッシュレイアウトは未対応のため、このアーキテクチャのモデルは掲載していません	src/models/minimax-m3.cpp

出典と仕様の確認方法

メーカーのウェブサイトは、利用規約が自動アクセスを禁じているため、取得しません。メーカーの仕様は、メーカーのデータシートを行ごとにリンクしているオープンデータセット（GetDeploying と Epoch AI。データシートがメーカーのドメイン上、またはメーカー自身がデータシートに使用している文書ホスト上にある場合）と、AMD の ROCm ドキュメントから得ています。これらのデータシートへのリンクは「メーカー資料」として表示され、このサイトでは取得していないことを示しています。データシートへのリンクは、次のいずれかのドメイン（メーカーが使用する文書ホストを含む）にある場合にメーカーのものとして扱います： amd.com, apple.com, dam-cdn.nvd.orangelogic.com, geforce.com, intel.com, nvdam.widen.net, nvidia.com
Wikipedia は独立した照合用として使用しています。列や製品名の脚注では特定の項目の値の出どころが分からないため、脚注は値の出典としては使用していません。
メーカー仕様の票と照合の票は、互いに参照関係のない別の発行元からのものでなければなりません。照合に使う Wikipedia のページ（またはデータセットの行）がもう一方の発行元を引用している場合は、2つ目の票ではなく派生として数えます。他の出典を明示せずに複製した出典は、公開されている証拠からは検出できません。
メーカー仕様の票と独立した照合が一致し、問題のない出典に食い違いがない場合に、値が表示されます（two_source）。それ以外は「conflict」（出典間で不一致）、「single」（メーカー仕様の票がない、または独立した照合がない）、または「missing」になります。
オープンデータセットがTechPowerUpに帰属させている行（データシートのリンクがtechpowerup.comを指すEpoch AIの行）は、TechPowerUpの利用規約が派生データセットを禁じているため、まったく読み込みません。これらは投票にも不一致の数にも含めません。
一致とは、メモリ容量は完全に同じ、帯域幅は1%以内、その他の数値は2%以内、テキストは正規化後に同じであることを指します。
表示される値は、最も多くの出典が完全に一致して示している値です。各出典自身の数値とリンクは、その横に一覧表示されます。Wikipedia へのリンクは、使用した特定のリビジョンを指します。
Apple silicon、DGX Spark、Strix Halo のコンピューターは、このバージョンでは公開していません。これらについて、メーカーのデータシートを行ごとにリンクしているオープンな情報源がないためです。
モデルデータは、固定したリビジョンの Hugging Face から取得しています。各モデルは、すべての量子化について1つの GGUF リポジトリを使い、リポジトリは決められた発行元の順序で選びます。アーキテクチャは GGUF ヘッダーから読み取り、元の config.json が読める場合はそれと照合します。
元の重みは参考としてのみ表示され、リポジトリの最上位およびmodel*フォルダにあるsafetensorsファイルを数えます。model.safetensors.index.jsonがある場合は、そこに記載されたファイルと、他のmodel*フォルダにある完全なセットを数えます。ない場合は、完全なセットをすべて数え、統合ファイルと同一の分割コピーは1回だけ数えます。その他のフォルダ（例：別に保存されたデコーダ）、original/、consolidated*ファイル、LoRAアダプタ、.bin / .ptファイルは数えません。ファイルが曖昧さのない1つのセットにならない場合、サイズは示しません。

パラメータ数

パラメータ数は、選択した GGUF ファイルの GGUF テンソルテーブルから数えています。対象は llama.cpp が読み込むすべてのテンソルで、入力埋め込みテーブルも含みます。llama.cpp がデフォルトでは読み込まない複数トークン予測（MTP / NextN）レイヤーは数えていません。これらを持つモデルのページには、その数を記載しています。トークンあたりのアクティブパラメータ数は、非エキスパートのテンソルと、使用されるエキスパート（使用するエキスパート数 ÷ レイヤーあたりのエキスパート数）を数えたものです。入力埋め込みのルックアップは、トークンごとに読み取られるのがその 1 行だけであるため、数えていません。モデルが 1 つの行列を入力埋め込みと出力レイヤーの両方に使う場合（埋め込みの共有、tied embeddings）、すべてのトークンがその行列全体と乗算されるため、出力レイヤーとして 1 回だけ数えます。モデルカードでは入力埋め込みテーブルや MTP レイヤーも数えていることが多く、その数値はかなり大きくなることがあります。特に、語彙が大きい小型の MoE（Mixture of Experts）モデルで顕著です。元のリポジトリ自体の数値は別に表示しています。

有効パラメータ数は、混合エキスパートモデル、つまり GGUF ヘッダーにレイヤーあたり複数のエキスパートが記載されているモデルについてのみ示します。レイヤーあたりのエキスパートが1つ（エキスパート数 1）のモデルは密なモデル（全パラメータを使用するモデル）で、すべてのパラメータが毎トークンで使われるため、別途有効パラメータ数は表示しません。

元のリポジトリ自体のパラメータ数は、Hugging Face が safetensors の重みについて報告する合計値です。リポジトリによっては、メタデータにこの値を誤って記載している場合があります。この値は、確認できた場合にのみ表示され、ダウンロードにも含まれます。確認の条件は次のとおりです。100M を超えるパラメータ数であること、Hugging Face がリポジトリの重みファイルから読み取る型ごとのパラメータ数の 1% 以内であること、さらに GGUF ファイルがあるモデルでは、GGUF のパラメータ数の 0.5 倍から 2.5 倍の間であること。元のモデルにはビジョンエンコーダーや音声エンコーダー、またはマルチトークン予測レイヤーが含まれる場合があり、GGUF は、共有された埋め込みを出力層として 2 回目に保存する場合に大きくなることがあります。GGUF ファイルのないモデルでは、最初の 2 つの確認が必要です。条件を満たさない場合、このパラメータ数は掲載されません。

各ステータスの表示内容

ステータス	ページ上の表示
`two_source`	表示中：オープンな出典からリンクされているメーカー仕様が、独立したクロスチェックの結果と一致しています。
`conflict`	オープンな出典の間で値が一致しないため、この値は表示しません。この値に依存する推定（速度など）も示しません。
`single`	表示なし：公開されている情報源からは、メーカー資料への参照があり、互いに一致する独立した2つの値が得られません。
`missing`	表示なし：公開されている情報源からは、メーカー資料への参照があり、互いに一致する独立した2つの値が得られません。
`withheld`	このエントリは以前に公開されていましたが、現在は情報源の間で食い違いがある、情報源が変更された、または掲載ルールを満たさなくなっています。ページは出典へのリンクとともに残ります（インデックス対象外）が、値、推定、判定は非表示です。情報源が正常な状態で30日経過すると廃止されます。2つの情報源が再び一致すると復活します。
`retired`	情報源が正常な状態で30日間保留されました。ページは墓標として残り（インデックス対象外）、代わりとなるものがある場合はそこへのリンクを表示します。

速度の上限

トークンを一つ生成するたびに、アクティブな重みと KV キャッシュを一度ずつ読み込むため、毎秒のトークン数は、帯域幅を一トークンあたりに読み込むバイト数で割った値を超えられません。MoE（エキスパート混合）モデルでは、使用されるエキスパートの割合のみを、GGUF のテンソルテーブルから算出して計上します。これは理論上の上限です。帯域幅が二つの情報源で確認できない場合、速度は表示しません。

公開ベンチマーク

llama.cppプロジェクトがリポジトリで公開している、llama.cppの実測速度です（llama-bench、固定されたllama.cppのコミット時点）。これらの注記にあるマシン（DGX Spark、Apple M2 Ultra）には、このバージョンでは本サイトの判定は付きません。数値は、実測速度が帯域幅の上限とどう比較されるか、またコンテキストが長くなると速度がどう低下するかを示します： llama.cpp benches/ (5aeac37a)

公開されているllama-benchの結果（1秒あたりのトークン数。各数値に元ファイルへのリンクあり）。プロンプト処理=プロンプトの読み込み、生成=新しいトークンの生成。
マシン	モデル（GGUFリポジトリ）	バックエンド	テスト	トークン/秒（tokens/s）
NVIDIA DGX Spark (GB10)	ggml-org/gpt-oss-20b-GGUF (gpt-oss 20B MXFP4 MoE)	CUDA	プロンプト処理、2048トークン	4,505.8
NVIDIA DGX Spark (GB10)	ggml-org/gpt-oss-20b-GGUF (gpt-oss 20B MXFP4 MoE)	CUDA	生成、32トークン	83.4
NVIDIA DGX Spark (GB10)	ggml-org/gpt-oss-20b-GGUF (gpt-oss 20B MXFP4 MoE)	CUDA	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	2,689.4
NVIDIA DGX Spark (GB10)	ggml-org/gpt-oss-20b-GGUF (gpt-oss 20B MXFP4 MoE)	CUDA	生成、32トークン · 32,768トークンのコンテキストの後	61.7
NVIDIA DGX Spark (GB10)	ggml-org/gpt-oss-120b-GGUF (gpt-oss 120B MXFP4 MoE)	CUDA	プロンプト処理、2048トークン	2,443.9
NVIDIA DGX Spark (GB10)	ggml-org/gpt-oss-120b-GGUF (gpt-oss 120B MXFP4 MoE)	CUDA	生成、32トークン	58.7
NVIDIA DGX Spark (GB10)	ggml-org/gpt-oss-120b-GGUF (gpt-oss 120B MXFP4 MoE)	CUDA	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	1,567.1
NVIDIA DGX Spark (GB10)	ggml-org/gpt-oss-120b-GGUF (gpt-oss 120B MXFP4 MoE)	CUDA	生成、32トークン · 32,768トークンのコンテキストの後	42.8
NVIDIA DGX Spark (GB10)	ggml-org/Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF (qwen3moe 30B.A3B Q8_0)	CUDA	プロンプト処理、2048トークン	2,987.0
NVIDIA DGX Spark (GB10)	ggml-org/Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF (qwen3moe 30B.A3B Q8_0)	CUDA	生成、32トークン	61.1
NVIDIA DGX Spark (GB10)	ggml-org/Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF (qwen3moe 30B.A3B Q8_0)	CUDA	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	1,348.2
NVIDIA DGX Spark (GB10)	ggml-org/Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF (qwen3moe 30B.A3B Q8_0)	CUDA	生成、32トークン · 32,768トークンのコンテキストの後	30.2
NVIDIA DGX Spark (GB10)	ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF (qwen2 7B Q8_0)	CUDA	プロンプト処理、2048トークン	2,250.3
NVIDIA DGX Spark (GB10)	ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF (qwen2 7B Q8_0)	CUDA	生成、32トークン	29.4
NVIDIA DGX Spark (GB10)	ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF (qwen2 7B Q8_0)	CUDA	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	1,471.2
NVIDIA DGX Spark (GB10)	ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF (qwen2 7B Q8_0)	CUDA	生成、32トークン · 32,768トークンのコンテキストの後	22.5
NVIDIA DGX Spark (GB10)	ggml-org/gemma-3-4b-it-qat-GGUF (gemma3 4B Q4_0)	CUDA	プロンプト処理、2048トークン	5,948.7
NVIDIA DGX Spark (GB10)	ggml-org/gemma-3-4b-it-qat-GGUF (gemma3 4B Q4_0)	CUDA	生成、32トークン	81.1
NVIDIA DGX Spark (GB10)	ggml-org/gemma-3-4b-it-qat-GGUF (gemma3 4B Q4_0)	CUDA	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	5,023.3
NVIDIA DGX Spark (GB10)	ggml-org/gemma-3-4b-it-qat-GGUF (gemma3 4B Q4_0)	CUDA	生成、32トークン · 32,768トークンのコンテキストの後	62.3
NVIDIA DGX Spark (GB10)	ggml-org/GLM-4.7-Flash-GGUF (deepseek2 30B.A3B Q8_0)	CUDA	プロンプト処理、2048トークン	2,364.2
NVIDIA DGX Spark (GB10)	ggml-org/GLM-4.7-Flash-GGUF (deepseek2 30B.A3B Q8_0)	CUDA	生成、32トークン	48.7
NVIDIA DGX Spark (GB10)	ggml-org/GLM-4.7-Flash-GGUF (deepseek2 30B.A3B Q8_0)	CUDA	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	567.2
NVIDIA DGX Spark (GB10)	ggml-org/GLM-4.7-Flash-GGUF (deepseek2 30B.A3B Q8_0)	CUDA	生成、32トークン · 32,768トークンのコンテキストの後	32.7
NVIDIA DGX Spark (GB10)	ggml-org/Nemotron-3-Super-120B-GGUF (nemotron 120B.A12B Q4_K)	CUDA	プロンプト処理、2048トークン	768.8
NVIDIA DGX Spark (GB10)	ggml-org/Nemotron-3-Super-120B-GGUF (nemotron 120B.A12B Q4_K)	CUDA	生成、32トークン	19.9
NVIDIA DGX Spark (GB10)	ggml-org/Nemotron-3-Super-120B-GGUF (nemotron 120B.A12B Q4_K)	CUDA	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	724.4
NVIDIA DGX Spark (GB10)	ggml-org/Nemotron-3-Super-120B-GGUF (nemotron 120B.A12B Q4_K)	CUDA	生成、32トークン · 32,768トークンのコンテキストの後	19.5
NVIDIA DGX Spark (GB10)	ggml-org/Nemotron-3-Nano-4B-GGUF (nemotron 4B Q8_0)	CUDA	プロンプト処理、2048トークン	2,761.9
NVIDIA DGX Spark (GB10)	ggml-org/Nemotron-3-Nano-4B-GGUF (nemotron 4B Q8_0)	CUDA	生成、32トークン	52.9
NVIDIA DGX Spark (GB10)	ggml-org/Nemotron-3-Nano-4B-GGUF (nemotron 4B Q8_0)	CUDA	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	2,041.5
NVIDIA DGX Spark (GB10)	ggml-org/Nemotron-3-Nano-4B-GGUF (nemotron 4B Q8_0)	CUDA	生成、32トークン · 32,768トークンのコンテキストの後	46.7
Apple M2 Ultra	ggml-org/gpt-oss-20b-GGUF (gpt-oss 20B MXFP4 MoE)	MTL,BLAS	プロンプト処理、2048トークン	2,713.4
Apple M2 Ultra	ggml-org/gpt-oss-20b-GGUF (gpt-oss 20B MXFP4 MoE)	MTL,BLAS	生成、32トークン	130.0
Apple M2 Ultra	ggml-org/gpt-oss-20b-GGUF (gpt-oss 20B MXFP4 MoE)	MTL,BLAS	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	1,122.6
Apple M2 Ultra	ggml-org/gpt-oss-20b-GGUF (gpt-oss 20B MXFP4 MoE)	MTL,BLAS	生成、32トークン · 32,768トークンのコンテキストの後	98.3
Apple M2 Ultra	ggml-org/gpt-oss-120b-GGUF (gpt-oss 120B MXFP4 MoE)	MTL,BLAS	プロンプト処理、2048トークン	1,648.7
Apple M2 Ultra	ggml-org/gpt-oss-120b-GGUF (gpt-oss 120B MXFP4 MoE)	MTL,BLAS	生成、32トークン	85.6
Apple M2 Ultra	ggml-org/gpt-oss-120b-GGUF (gpt-oss 120B MXFP4 MoE)	MTL,BLAS	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	721.1
Apple M2 Ultra	ggml-org/gpt-oss-120b-GGUF (gpt-oss 120B MXFP4 MoE)	MTL,BLAS	生成、32トークン · 32,768トークンのコンテキストの後	65.5
Apple M2 Ultra	ggml-org/Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF (qwen3moe 30B.A3B Q8_0)	MTL,BLAS	プロンプト処理、2048トークン	2,453.1
Apple M2 Ultra	ggml-org/Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF (qwen3moe 30B.A3B Q8_0)	MTL,BLAS	生成、32トークン	79.0
Apple M2 Ultra	ggml-org/Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF (qwen3moe 30B.A3B Q8_0)	MTL,BLAS	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	431.3
Apple M2 Ultra	ggml-org/Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF (qwen3moe 30B.A3B Q8_0)	MTL,BLAS	生成、32トークン · 32,768トークンのコンテキストの後	45.3
Apple M2 Ultra	ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF (qwen2 7B Q8_0)	MTL,BLAS	プロンプト処理、2048トークン	1,565.9
Apple M2 Ultra	ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF (qwen2 7B Q8_0)	MTL,BLAS	生成、32トークン	79.7
Apple M2 Ultra	ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF (qwen2 7B Q8_0)	MTL,BLAS	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	612.2
Apple M2 Ultra	ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF (qwen2 7B Q8_0)	MTL,BLAS	生成、32トークン · 32,768トークンのコンテキストの後	56.8
Apple M2 Ultra	ggml-org/gemma-3-4b-it-qat-GGUF (gemma3 4B Q4_0)	MTL,BLAS	プロンプト処理、2048トークン	2,923.6
Apple M2 Ultra	ggml-org/gemma-3-4b-it-qat-GGUF (gemma3 4B Q4_0)	MTL,BLAS	生成、32トークン	134.3
Apple M2 Ultra	ggml-org/gemma-3-4b-it-qat-GGUF (gemma3 4B Q4_0)	MTL,BLAS	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	2,129.2
Apple M2 Ultra	ggml-org/gemma-3-4b-it-qat-GGUF (gemma3 4B Q4_0)	MTL,BLAS	生成、32トークン · 32,768トークンのコンテキストの後	113.1
Apple M2 Ultra	ggml-org/GLM-4.7-Flash-GGUF (deepseek2 30B.A3B Q8_0)	MTL,BLAS	プロンプト処理、2048トークン	1,629.3
Apple M2 Ultra	ggml-org/GLM-4.7-Flash-GGUF (deepseek2 30B.A3B Q8_0)	MTL,BLAS	生成、32トークン	59.6
Apple M2 Ultra	ggml-org/GLM-4.7-Flash-GGUF (deepseek2 30B.A3B Q8_0)	MTL,BLAS	プロンプト処理、2048トークン · 32,768トークンのコンテキストの後	151.4
Apple M2 Ultra	ggml-org/GLM-4.7-Flash-GGUF (deepseek2 30B.A3B Q8_0)	MTL,BLAS	生成、32トークン · 32,768トークンのコンテキストの後	21.8

Mac などのユニファイドメモリ搭載コンピューター

これらのコンピューターでは GPU が使えるのはメモリの一部のみで、それらについてのオープンな情報源は値ごとに出典を示していません。そのため、このバージョンでは公開していません。これらの実行プロファイルは、情報源が対応できるようになった時のために保持しています。

単位

ここで計算するメモリ量の単位は GiB（1,073,741,824 バイト）です。GPU メーカーが表記するビデオメモリの「24 GB」は 24 GiB に当たります。Hugging Face はファイルサイズを十進法の GB で表示するため、5.03 GB のファイルは、ここでは 4.68 GiB と表示されます。帯域幅は GB/s（毎秒 10⁹ バイト）です。

更新

Hugging Face は6時間ごとにスキャンされ、新しいモデルと新しい GGUF ファイルを確認します。GPU の仕様は毎日再確認されます。