Esta página fue escrita y traducida automáticamente por IA y verificada por software con respecto a sus fuentes, sin edición humana. Las especificaciones provienen de las fuentes indicadas; los requisitos de memoria y las velocidades son estimaciones calculadas con fórmulas publicadas. Cómo usamos la IA
UI-Mate-9B tiene 9,0B parámetros. Con Q4_K_M y un contexto de 8192 tokens, una sola GPU necesita 7,2 GiB de memoria disponible para que el resultado sea «Cabe».
Los tamaños de archivo son los de los archivos reales en Hugging Face. Las demás columnas indican X, la memoria disponible que una GPU necesita para que el resultado sea «Cabe» (estimación del búfer más grande ÷ 0.95 + 1 GiB), con llama.cpp, Flash Attention, KV cache en F16, 4 secuencias en paralelo y micro-lote de 512. No dependen de ninguna GPU en particular.
Cuantización
Tamaño del archivo
X con contexto de 4096
X con contexto de 8192
X con contexto de 32.768
X con contexto de 131.072
BF16
16,69 GiB
17,4 GiB
17,5 GiB
18,4 GiB
21,7 GiB
Q8_0
8,89 GiB
10,1 GiB
10,3 GiB
11,1 GiB
14,5 GiB
Q6_K
7,17 GiB
8,6 GiB
8,7 GiB
9,5 GiB
12,9 GiB
Q5_K_M
6,38 GiB
7,9 GiB
8,0 GiB
8,8 GiB
12,2 GiB
Q4_K_M
5,50 GiB
7,1 GiB
7,2 GiB
8,0 GiB
11,4 GiB
Q4_0
5,11 GiB
6,6 GiB
6,8 GiB
7,6 GiB
11,0 GiB
IQ4_XS
4,88 GiB
6,4 GiB
6,6 GiB
7,4 GiB
10,8 GiB
Q3_K_M
4,58 GiB
6,2 GiB
6,4 GiB
7,2 GiB
10,6 GiB
IQ3_XXS
3,98 GiB
5,6 GiB
5,7 GiB
6,6 GiB
9,9 GiB
Q2_K
3,79 GiB
5,5 GiB
5,6 GiB
6,5 GiB
9,8 GiB
IQ2_M
3,51 GiB
5,1 GiB
5,2 GiB
6,1 GiB
9,4 GiB
GPU más pequeña para cada cuantización
Para cada cuantización: la GPU de la lista con menos memoria cuya estimación es «Cabe» en una sola tarjeta con 8192 tokens de longitud de contexto. No se consideran las GPUs cuyo resultado es «Desconocido» (sin perfil de ejecución, tarjetas de estación de trabajo y de centro de datos, memoria unificada).
“Cabe” significa que la comprobación de carga predeterminada --fit de llama.cpp colocaría todas las capas en la GPU: nuestra estimación de los búferes de llama.cpp, más su margen de error, más la reserva de 1 GiB por tarjeta de llama.cpp, está dentro de la memoria contada como disponible. No garantiza que quepa el pico de memoria durante la generación. Cómo se deciden los resultados
Contexto de 8192 tokens. Cuantización más alta que cabe en una tarjeta, su mayor longitud de contexto y el techo de velocidad.
Desconocido: no se ha establecido la configuración de memoria de esta GPU; solo se mostraría «No cabe».
Desconocido
CUDA (NVIDIA): llama.cpp, motor de ejecución CUDA (GPU discreta NVIDIA), todas las capas en la GPU, Flash Attention activado, micro-lote (-ub) 512, KV cache F16, contexto (-c) según se indica; «Cabe» se determina con las 4 secuencias paralelas predeterminadas de llama-server (-np auto, KV cache unificada) y «No cabe» con 1 secuencia; GPU inactiva, sin otros programas que usen su memoria.
ROCm en Linux (AMD): llama.cpp, motor ROCm en Linux (GPU discreta AMD), todas las capas en la GPU, Flash Attention activado, micro-lote (-ub) 512, KV cache F16, contexto (-c) como se indica; «cabe» se evalúa con las 4 secuencias paralelas predeterminadas de llama-server (-np auto, KV cache unificada) y «no cabe» con 1 secuencia; GPU inactiva, sin otros programas que usen su memoria.
El techo de velocidad es el ancho de banda de memoria dividido entre los bytes leídos por cada token generado. Es un límite superior teórico; las pruebas de rendimiento públicas de llama.cpp suelen alcanzar entre la mitad y cuatro quintos de ese valor, y con modelos pequeños y modelos de mezcla de expertos a menudo alcanzan menos. Pruebas de rendimiento públicas
Pesos originales
Los archivos de pesos originales del modelo (safetensors, contados como se describe en la metodología) suman 17,5 GiB. Se indican solo como referencia; todas las estimaciones de esta página corresponden a los archivos GGUF anteriores, ejecutados con llama.cpp. tencent/UI-Mate-9B · Metodología