Fundamentos · Modelo mental

El modelo Roofline: ¿te limita el cálculo o la memoria?

Un gráfico de dos líneas dice si tu carga la frena la memoria o los núcleos. Cómo se calcula la intensidad aritmética, dónde está el punto de cruce de cada GPU y cómo mover una carga a la derecha.

Una GPU tiene dos techos, no uno. El primero es cuántas operaciones por segundo pueden hacer sus núcleos: los FLOPS. El segundo es cuántos bytes por segundo le entrega la memoria: el ancho de banda. Qué techo toca tu programa depende de una sola cifra de tu programa, no del hardware: cuántas operaciones hace con cada byte que lee. El modelo Roofline dibuja los dos techos en un gráfico y te dice, antes de comprar nada, qué número de la ficha te importa de verdad.

La cifra que describe una carga: FLOP por byte

Un procesador no puede calcular más rápido de lo que le llegan los datos. Si un kernel lee un byte y hace una operación con él, por muchos TFLOPS que tenga la GPU, su ritmo lo marca la memoria. Si lee un byte y hace mil operaciones, la memoria descansa y mandan los núcleos. Esa proporción se llama intensidad aritmética (o intensidad operacional, en el paper original) y se mide en FLOP por byte.

Intensidad aritmética

I (FLOP/byte) = operaciones realizadas ÷ bytes movidos desde la memoria

Decode de un LLM en BF16, batch 1: 2 FLOP por parámetro ÷ 2 bytes por parámetro = 1 FLOP/byte

Generar un token hace una multiplicación y una suma (una FMA, 2 FLOP) por cada parámetro del modelo, y para ello tiene que leer ese parámetro de la memoria. En BF16 cada parámetro ocupa 2 bytes. Da igual que el modelo tenga 8 000 millones o 70 000 millones de parámetros: la proporción es 1 FLOP por byte. Es de las cargas con menor intensidad que existen.

El detalle que importa es qué bytes cuentan. Williams, Waterman y Patterson definieron la intensidad sobre el tráfico con la DRAM, es decir, lo que sale de la memoria principal después de que las cachés hayan filtrado las lecturas repetidas. Por eso un mismo algoritmo puede tener distinta intensidad según lo bien que aproveche la jerarquía de memoria: si el dato ya está en la L2, no consume ancho de banda de la VRAM.

Los dos techos y el punto de cruce

El modelo es una función de una línea. El rendimiento alcanzable es el menor de dos valores: el pico de cálculo, que no depende de nada, y el ancho de banda multiplicado por la intensidad, que crece con ella.

Roofline

Rendimiento alcanzable (FLOPS) = mín(pico de cálculo, ancho de banda × intensidad)

H100 SXM, kernel a 10 FLOP/byte: mín(989,5 TFLOPS, 3 350 GB/s × 10) = 33,5 TFLOPS

Con 10FLOP/byte, la memoria de la H100 solo puede alimentar 33,5TFLOPS BF16: un 3,4 % del pico. Los Tensor Cores esperan el 96,6 % del tiempo. El mismo kernel a 1 000FLOP/byte daría 3 350 TFLOPS por la rama de memoria, así que gana la otra rama y el techo es el pico: 990TFLOPS.

Dibujado en ejes logarítmicos, el segundo término es una recta inclinada (la pendiente es el ancho de banda) y el primero, una horizontal (el pico). Se cruzan en un punto: el ridge point o punto de cruce. A su izquierda, la carga está limitada por memoria (memory-bound); a su derecha, por cálculo (compute-bound). La coordenada X de ese punto es la intensidad mínima que necesita un kernel para poder tocar el pico de la máquina.

Punto de cruce

Ridge (FLOP/byte) = pico de cálculo (FLOPS) ÷ ancho de banda (bytes/s)

H100 SXM BF16: 989,5 × 10¹² ÷ 3,35 × 10¹² = 295 FLOP/byte

Para la RTX 4090 con Tensor Cores en FP16 y acumulación FP32: 165,2 TFLOPS ÷ 1 008 GB/s = 164FLOP/byte. Para la RTX 5090 en la misma precisión: 209,5 ÷ 1 792 = 117FLOP/byte. La 5090 tiene el punto de cruce más a la izquierda que la 4090 porque su ancho de banda creció más (+78 %) que su cálculo FP16 (+27 %). Es una GPU relativamente más «equilibrada» hacia las cargas de memoria.

Roofline: rendimiento alcanzable frente a intensidad

  • H100 SXM · BF16
  • RTX 5090 · FP16
  • Strix Halo · FP32
  • Ryzen 9 9950X · FP32
0,00,11101001k0,11101001k10kIntensidad aritmética (FLOP/byte) (log)Rendimiento alcanzable (TFLOPS) (log)H100 SXM · BF16RTX 5090 · FP16Strix Halo · FP32Ryzen 9 9950X · FP32

RTX 5090 con acumulación FP32 (209,5 TFLOPS dense). Ryzen 9 9950X: 16 núcleos × 2 FMA AVX-512 × 16 FP32 × 2 × 4,3 GHz ≈ 4,4 TFLOPS, cifra aproximada.

Roofline de cuatro equipos en escala log-log. La parte inclinada es la memoria; la plana, el cálculo. El codo de cada línea es su punto de cruce (fuentes: fichas oficiales vía src/data; Ryzen 9 9950X estimado a frecuencia base).

Fíjate en que a la izquierda del gráfico, por debajo de 1 FLOP/byte, la H100 solo saca 3,7 veces más que una RTX 5090 aunque tenga 4,7 veces más TFLOPS BF16. Ahí la única cifra que separa a las dos máquinas es el ancho de banda: 3 350GB/s frente a 1 792GB/s.

Dónde cae cada GPU

El punto de cruce depende de la precisión porque el pico cambia y el ancho de banda no. Una misma H100 tiene el ridge en 295 FLOP/byte en BF16 y en 591 en FP8: al doblar el cálculo por byte de memoria, la GPU exige el doble de intensidad para saturarse. Eso significa que las precisiones bajas son más difíciles de aprovechar, no más fáciles: la memoria se queda igual de lenta mientras los núcleos corren el doble.

RTX 5090 · FP16117FLOP/B209,5 TFLOPS ÷ 1 792 GB/s
RTX 4090 · FP16164FLOP/B165,2 TFLOPS ÷ 1 008 GB/s
H100 SXM · BF16295FLOP/B989,5 TFLOPS ÷ 3 350 GB/s
B200 · BF16281FLOP/B2 250 TFLOPS ÷ 8 000 GB/s
H100 SXM · FP8591FLOP/B1 979 TFLOPS ÷ 3 350 GB/s

Punto de cruce en FP16/BF16 dense

0200400MI355X313 FLOP/byteH100 SXM295 FLOP/byteB200 SXM281 FLOP/byteRTX PRO 6000 Blackwell279 FLOP/byteMI300X247 FLOP/byteH200 SXM206 FLOP/byteRTX 4090 (GeForce, acum. FP32)164 FLOP/byteRTX 5090 (GeForce, acum. FP32)117 FLOP/byteRTX 5070 (GeForce, acum. FP32)92 FLOP/byteFLOP/byte

RTX 5070: 61,8 TFLOPS ÷ 672 GB/s. Con acumulación FP16 las GeForce doblan el pico y el punto de cruce (5090: 234; 4090: 328).

Punto de cruce de equipos actuales en FP16/BF16 con Tensor Cores (dense). Cuanto más a la derecha, más intensidad exige la máquina para no aburrirse (fuentes: fichas oficiales vía src/data; GeForce con acumulación FP32).

Dos lecturas de esa figura. La H200 tiene exactamente el mismo chip que la H100 y el mismo pico, pero un 43 % más de ancho de banda: su punto de cruce baja de 295 a 206. Para cualquier carga por debajo de 200 FLOP/byte, que es la inferencia de LLM casi siempre, la H200 rinde un 43 % más con los mismos Tensor Cores. Y la B200, con 2,3 veces el cálculo de la H100, mantiene el ridge casi en el mismo sitio porque NVIDIA subió el ancho de banda en la misma proporción: HBM3e de 8 pilas. Diseñar una GPU es, en buena parte, decidir dónde poner ese codo.

Ancho de banda y picos dense por precisión: el punto de cruce es la división entre columnas (fuente: src/data/gpus.json; GeForce con acumulación FP16 en esta tabla).
EquipoAncho de banda (GB/s)FP16/BF16 dense (TFLOPS)FP8 dense (TFLOPS)FP4 dense (TFLOPS)TDP (W)
GeForce RTX 50901 7924198381 676575
GeForce RTX 40901 008330661—450
NVIDIA RTX PRO 6000 Blackwell Workstation Edition1 7925001 0002 000600
NVIDIA H100 SXM5 80 GB3 3509901 979—700
NVIDIA H200 SXM 141 GB4 8009901 979—700
NVIDIA B200 SXM (HGX B200)8 0002 2504 5009 0001 000
AMD Instinct MI355X8 0002 5005 00010 1001 400

Ancho de banda y picos dense por precisión: el punto de cruce es la división entre columnas (fuente: src/data/gpus.json; GeForce con acumulación FP16 en esta tabla).

Dónde cae cada carga

El hardware pone el codo; la carga decide en qué lado del codo vive. Las cifras de la guía de rendimiento de NVIDIA son ilustrativas: una capa lineal de 4 096 × 1 024 con batch 512 hace 315 FLOP/byte y va limitada por cálculo; la misma capa con batch 1 hace 1 FLOP/byte y va limitada por memoria. Una ReLU hace 0,25 FLOP/byte: lee 4 bytes, compara, escribe 4 bytes. Ninguna GPU del mundo puede hacer una ReLU rápido; solo puede hacerla al ritmo de su memoria.

Intensidad de cargas típicas (FLOP/byte)

01k2kReLU (FP32)0,25 FLOP/byteLLM decode, batch 1, BF161 FLOP/byteMax-pool 3×32,25 FLOP/byteLLM decode, batch 1, Q43,53 FLOP/byteMatmul 64×64 BF1621 FLOP/byteLLM decode, batch 32, BF1632 FLOP/byteCapa lineal 4096×1024, batch 512315 FLOP/byteMatmul 4096×4096 BF161 365 FLOP/byteLLM prefill, 2 048 tokens2 048 FLOP/byteFLOP/byte

Referencia: punto de cruce RTX 5090 FP16 = 117; H100 BF16 = 295. Matmul cuadrada de N×N: intensidad ≈ N ÷ 3 FLOP/byte en BF16.

Intensidad aritmética de operaciones habituales frente al punto de cruce de dos GPU. Todo lo que queda a la izquierda de la línea de su máquina va limitado por memoria (fuentes: NVIDIA DL Performance Guide para capa lineal, ReLU y max-pool; cálculo propio para LLM y matmul).

La multiplicación de matrices es el caso feliz. Una matmul de N × N hace 2N³ operaciones y mueve tres matrices de N² elementos: su intensidad crece con N. Con N = 4 096 en BF16 son unos 1 365 FLOP/byte, muy a la derecha del codo de cualquier GPU: por eso el entrenamiento y el prefill de un LLM sí se acercan al pico de TFLOPS y por eso la MFU del 35–60 % que se ve en entrenamiento es un problema de utilización, no de memoria.

El decode de un LLM es el caso opuesto. Cada token nuevo obliga a leer todos los pesos una vez para hacer solo dos operaciones con cada uno. Un Llama 3.1 70B en BF16 pesa 141GB: en una H100 la lectura tarda 42 ms y el techo es 23,7 tokens por segundo. En ese tiempo los Tensor Cores ejecutan 3,3 TFLOPS efectivos, el 0,34 % de su pico. Toda la máquina, a efectos prácticos, es su ancho de banda.

70B BF16: 141 GB ÷ 3 350 GB/s = 42 ms por token → 23,7 tok/s · 0,34 % del pico

Puedes comprobar cualquier combinación de modelo y equipo en la herramienta de tokens por segundo, y ver el gráfico completo con tu carga en el explorador Roofline.

Cómo mover una carga a la derecha

Si tu carga vive a la izquierda del codo, comprar más TFLOPS no sirve de nada. Tienes dos opciones: comprar ancho de banda o cambiar la carga para que haga más operaciones por byte. Lo segundo es lo que hacen todas las técnicas de optimización de inferencia, aunque no lo digan así.

Batching. Si procesas 32 peticiones a la vez, lees los pesos una vez y los usas 32 veces: la intensidad pasa de 1 a unos 32 FLOP/byte. Los servidores de inferencia (vLLM, TensorRT-LLM, SGLang) viven de esto: con batch 128 en BF16 la carga cruza el codo de una RTX 5090 y con batch 256 está cerca del de una H100. A partir de ahí, y solo a partir de ahí, los TFLOPS empiezan a contar. El límite es la memoria: cada petición en vuelo necesita su propio KV cache.

Cuantización. Pasar los pesos de BF16 a Q4 los deja en unos 0,57 bytes por parámetro (40 GB para el 70B en Q4_K_M). Las operaciones no cambian, así que la intensidad sube de 1 a 3,5 FLOP/byte y la lectura del modelo es 3,5 veces más corta. La cuantización es, ante todo, una forma de ganar ancho de banda efectivo; la pérdida de calidad es el precio.

Fusión de kernels. Una capa que hace matmul, suma de sesgo, activación y normalización en cuatro kernels separados escribe y vuelve a leer el tensor intermedio tres veces. Fusionarlos en un kernel hace las mismas operaciones con una fracción del tráfico de DRAM. FlashAttention es el ejemplo canónico: la atención clásica tenía intensidad bajísima porque materializaba la matriz de scores en VRAM; la versión fusionada la mantiene en SRAM del SM y multiplica la intensidad por más de un orden de magnitud.

Reutilizar desde la caché. Las GPU modernas tienen L2 grandes (72 MB en la RTX 4090, 96 MB en la 5090, 50 MB en la H100) precisamente para que el tráfico que cuenta en la intensidad, el de DRAM, sea menor que el que ve el kernel. Nsight Compute dibuja rooflines jerárquicos, uno por nivel (DRAM, L2, L1), para separar qué techo toca cada kernel.

Batch 1, BF161 FLOP/byte · 23,7 tok/sBatch 1, Q43,5 FLOP/byte · ×3,5 tok/sBatch 32, Q4≈ 113 FLOP/byte · aún memory-boundBatch 128, Q4≈ 450 FLOP/byte · compute-boundcuantizar: menos bytesbatching: más FLOP por bytecruza el codo de 295
Cómo se desplaza el decode de un LLM 70B en una H100 al aplicar cada técnica. El punto de cruce BF16 está en 295 FLOP/byte (cálculo propio a partir de 2 FLOP por parámetro y bytes por parámetro).

Lo que el modelo no cuenta

El Roofline es una cota superior, no una predicción. Un kernel puede estar muy por debajo de ambos techos por razones que el gráfico no ve: latencia (pocas operaciones en vuelo para tapar los ~100 ns de la DRAM), sincronización entre bloques, ramas divergentes, o simplemente un tamaño de problema que no llena los 132 SM de una H100. También ignora que el ancho de banda de pico rara vez se sostiene: un 85–90 % del nominal es lo habitual en kernels bien escritos.

Y trata la máquina como un solo bloque. Cuando el modelo no cabe en la VRAM y parte se lee por PCIe, el «ancho de banda» del roofline pasa a ser el del bus: 64GB/s por dirección en PCIe 5.0 ×16, 28 veces menos que la GDDR7 de la RTX 5090. La pendiente se hunde y el codo se va a miles de FLOP/byte. Por eso una carga que se sale de la VRAM no va «algo más lenta»: cambia de roofline.

Con esas salvedades, la utilidad del modelo es que convierte una pregunta vaga («¿qué GPU necesito?») en dos cifras comparables: la intensidad de tu carga y el punto de cruce de la máquina. Si la primera es menor que el segundo, mira el ancho de banda de la ficha y solo el ancho de banda. Si es mayor, mira los TFLOPS dense de tu precisión. Casi nadie que ejecute LLM en local está en el segundo caso.

Lo que debes recordar

  • Intensidad aritmética = FLOP realizados ÷ bytes leídos de la memoria principal. Es una propiedad de la carga, no del hardware.
  • Rendimiento alcanzable = mín(pico de cálculo, ancho de banda × intensidad). El punto de cruce es pico ÷ ancho de banda: H100 BF16 ≈ 295 FLOP/byte, RTX 5090 FP16 ≈ 117, RTX 4090 FP16 ≈ 164.
  • El decode de un LLM con batch 1 está en 1–4 FLOP/byte: limitado por memoria en cualquier GPU. Matmul grandes, prefill y entrenamiento están a cientos o miles: limitados por cálculo.
  • Para mover una carga a la derecha: batching, cuantización, fusión de kernels y reutilización en caché. Más TFLOPS no ayuda a una carga memory-bound.
  • Cuando el modelo no cabe en VRAM, el ancho de banda que manda pasa a ser el de PCIe y el roofline se desploma.

Para mirar en una ficha técnica

  • Ancho de banda de memoria (GB/s): la cifra que manda si tu carga está a la izquierda del codo (inferencia LLM batch bajo, imagen, casi todo en local). Trampa: comparar GPU por TFLOPS cuando el trabajo es memory-bound.
  • Pico dense de tu precisión (TFLOPS): divídelo entre el ancho de banda y tienes el punto de cruce. Trampa: usar la cifra sparse («AI TOPS») o, en GeForce, el pico FP16 con acumulación FP16 si tu framework acumula en FP32.
  • Capacidad de VRAM (GB): no aparece en el roofline, pero decide en cuál estás. Trampa: un modelo que «cabe» con el KV cache fuera de la VRAM sale por PCIe y cambia de techo.

Fuentes

  1. Williams, Waterman, Patterson — Roofline: An Insightful Visual Performance Model for Multicore Architectures (CACM, 2009) — definición de intensidad operacional sobre tráfico de DRAM, fórmula mín(pico, ancho de banda × intensidad) y concepto de ridge point.
  2. NVIDIA — GPU Performance Background User’s Guide — condición math-limited vs memory-limited, y las intensidades de capa lineal batch 512 (315 FLOP/B) y batch 1 (1 FLOP/B), ReLU (0,25) y max-pool 3×3 (2,25).
  3. NVIDIA — Nsight Compute Profiling Guide — rooflines jerárquicos por nivel de memoria y por precisión (single, double, half, Tensor).
  4. NVIDIA H100 Tensor Core GPU — datasheet — 80 GB HBM3, 3,35 TB/s, picos Tensor publicados con sparsity (divididos entre 2 para el dense).
  5. NVIDIA GeForce RTX 5090 — especificaciones — 512 bits GDDR7 a 28 Gbps, 1 792 GB/s; picos dense del whitepaper Blackwell recogidos en src/data/gpus.json.

Escribe para buscar en artículos, herramientas y glosario. Esc para cerrar.