Herramientas · Modelo mental

Explorador Roofline

Pico FLOPS, ancho de banda e intensidad aritmética en un gráfico log-log.

Precisión del techo

Escala logarítmica: de 0,1 a 10 000 FLOP por byte movido. Mover el control pasa a «Personalizada».

—TFLOPS alcanzables

Pico de cálculo (dense)
Ancho de banda de memoria
Punto de cruce (ridge point)
Intensidad de la carga
Porcentaje del pico aprovechado

Roofline (log-log)

    A la izquierda del punto de cruce manda el ancho de banda (pendiente); a la derecha, el pico de cálculo (techo plano). El punto es tu carga sobre el techo del equipo A.

    Qué dice el modelo Roofline

    Todo procesador tiene dos techos: cuántas operaciones por segundo puede ejecutar (su pico de cálculo) y cuántos bytes por segundo puede traer de la memoria (su ancho de banda). Qué techo toca una carga depende de una sola cifra: la intensidad aritmética, los FLOPs que hace por cada byte que mueve. Con intensidad baja, el procesador termina las operaciones antes de que llegue el siguiente dato y se queda esperando: está limitado por memoria y su rendimiento es ancho de banda × intensidad. Con intensidad alta, los datos llegan de sobra y el límite es el pico: está limitado por cálculo.

    El punto de cruce (ridge point) es la intensidad a partir de la cual se aprovecha todo el pico: pico ÷ ancho de banda. Una RTX 5090 en FP16 dense (419 TFLOPS, 1 792 GB/s) cruza en 419 × 10¹² ÷ 1,792 × 10¹² ≈ 234 FLOP/byte. Una H100 SXM (990 TFLOPS, 3 350 GB/s) en unos 295. Un Mac con M5 Max, con menos cálculo y menos ancho de banda, cruza mucho antes: sus cargas se vuelven «de cálculo» con intensidades más bajas, pero con un techo más bajo.

    Dónde cae cada carga

    La generación de texto con un LLM a batch 1 tiene una intensidad de 1 a 4 FLOP/byte según la cuantización: está a dos órdenes de magnitud del punto de cruce de cualquier GPU. Por eso un chip con Tensor Cores no ayuda ahí y el ancho de banda lo es todo. El prefill del prompt o el entrenamiento, en cambio, multiplican matrices enormes y viven a la derecha del punto de cruce: ahí sí se paga (y se cobra) el pico.

    Cómo mover una carga hacia la derecha

    • Batching: servir varias secuencias a la vez reutiliza cada lectura de pesos; con 32 secuencias la intensidad se multiplica por 32.
    • Cuantizar los pesos: menos bytes por parámetro con los mismos FLOPs; FP16 → Q4 triplica la intensidad.
    • Fusionar kernels y mantener los datos en caché o SRAM (FlashAttention) evita ir a la memoria entre operaciones.
    • KV cache en FP8: la mitad de bytes por token de contexto.

    Los supuestos: picos dense oficiales del fabricante, ancho de banda de la ficha y una utilización ideal; en la práctica se alcanza entre el 50 y el 80 % del techo. Sigue con el artículo el modelo Roofline y con ancho de banda de memoria; para números de tokens/s concretos, la herramienta tokens por segundo.

    Otras herramientas

    Escribe para buscar en artículos, herramientas y glosario. Esc para cerrar.