Herramientas · Inferencia de LLM

Tokens por segundo

Ancho de banda y bytes por token → tokens/s teóricos y realistas para cada equipo.

Cuantización de pesos 0,58 B/parám.

La KV cache de este contexto se relee en cada token generado.

Equipos a comparar

GPU de consumo

Workstation

Memoria unificada

Datacenter

—tok/s

Tokens por segundo realistas (decode)

Barra azul: el equipo más rápido en el que cabe el modelo. Gris: no cabe con esta cuantización y contexto. Rango realista: 55–80 % del límite teórico.

Detalle por equipo

EquipoMemoriaGB/sBytes/pasoLímite memoriaLímite cálculoRealistaPrefill del contexto

Cómo se calcula

Generar cada token nuevo (la fase de decode) obliga a leer de la memoria todos los pesos que participan en el cálculo y toda la KV cache del contexto ya procesado. Por eso el techo de velocidad de un LLM en local lo pone el ancho de banda de memoria, no los TFLOPS: es el ejemplo canónico de carga limitada por memoria.

Límite por memoria. Bytes por paso = parámetros activos × bytes por parámetro + KV cache por secuencia × secuencias simultáneas. Pasos por segundo = ancho de banda ÷ bytes por paso. Ejemplo: Llama 3.3 70B en Q4_K_M lee 70,6 × 10⁹ × 0,58 ≈ 41 GB de pesos por token, más 2,5 GB de KV cache con 8 192 tokens de contexto. Una RTX 5090 (1 792 GB/s) puede completar 1 792 ÷ 43,5 ≈ 41 pasos por segundo; en la práctica, entre 23 y 33 tokens/s. Con varias secuencias a la vez, los pesos se leen una sola vez por paso y el rendimiento agregado crece casi linealmente hasta chocar con el segundo límite.

Límite por cálculo. Cada token cuesta unos 2 FLOPs por parámetro activo. Tokens/s máximos = pico FP16 dense × MFU ÷ (2 × parámetros activos), con una utilización realista (MFU) del 50 %. En un modelo MoE solo cuentan los parámetros activos: Qwen3 235B-A22B lee 22 000 millones por token aunque en memoria haya 235 000 millones. El resultado teórico es el menor de los dos límites; el realista descuenta el sobrecoste de kernels, muestreo y sincronización.

Prefill. Procesar el contexto inicial (el prompt) sí es una operación de cálculo: se hacen todos los tokens a la vez en matrices grandes. Tiempo ≈ tokens × 2 × parámetros activos ÷ (pico × 0,6). Ahí una GPU con Tensor Cores destroza a un chip de memoria unificada aunque este tenga más ancho de banda.

Por qué un Mac con 128 GB va más lento que una 5090 aunque el modelo quepa

Porque cabe, pero se recorre despacio: 614 GB/s frente a 1 792 GB/s son tres veces menos tokens por segundo con el mismo modelo. La memoria unificada gana cuando el modelo no cabe en 32 GB: entonces la alternativa en la GPU es descargar capas a la RAM del sistema y pagar los 89,6 GB/s de la DDR5 o los 64 GB/s del PCIe, que son mucho peores. Los detalles están en memoria unificada y inferencia de LLM en local.

Supuestos y límites

  • KV cache en FP16. Cuantizarla a Q8 reduce a la mitad su lectura por token; en contextos largos es la diferencia entre 20 y 30 tokens/s.
  • Para los equipos sin cifra pública de FP16 con Tensor Cores (Apple, Strix Halo) se usa el pico FP32 o se omite el límite de cálculo; en ellos el prefill es claramente más lento de lo que sugiere el ancho de banda.
  • No se modela el speculative decoding, que puede multiplicar por 1,5–3 la velocidad aparente, ni la descarga a CPU.

Otras herramientas

Escribe para buscar en artículos, herramientas y glosario. Esc para cerrar.