Fundamentos · Modelo mental
El modelo Roofline: ¿te limita el cálculo o la memoria?
Un gráfico de dos líneas dice si tu carga la frena la memoria o los núcleos. Cómo se calcula la intensidad aritmética, dónde está el punto de cruce de cada GPU y cómo mover una carga a la derecha.
Una GPU tiene dos techos, no uno. El primero es cuántas operaciones por segundo pueden hacer sus núcleos: los FLOPS. El segundo es cuántos bytes por segundo le entrega la memoria: el ancho de banda. Qué techo toca tu programa depende de una sola cifra de tu programa, no del hardware: cuántas operaciones hace con cada byte que lee. El modelo Roofline dibuja los dos techos en un gráfico y te dice, antes de comprar nada, qué número de la ficha te importa de verdad.
La cifra que describe una carga: FLOP por byte
Un procesador no puede calcular más rápido de lo que le llegan los datos. Si un kernel lee un byte y hace una operación con él, por muchos TFLOPS que tenga la GPU, su ritmo lo marca la memoria. Si lee un byte y hace mil operaciones, la memoria descansa y mandan los núcleos. Esa proporción se llama intensidad aritmética (o intensidad operacional, en el paper original) y se mide en FLOP por byte.
Intensidad aritmética
I (FLOP/byte) = operaciones realizadas ÷ bytes movidos desde la memoria
Decode de un LLM en BF16, batch 1: 2 FLOP por parámetro ÷ 2 bytes por parámetro = 1 FLOP/byte
Generar un token hace una multiplicación y una suma (una FMA, 2 FLOP) por cada parámetro del modelo, y para ello tiene que leer ese parámetro de la memoria. En BF16 cada parámetro ocupa 2 bytes. Da igual que el modelo tenga 8 000 millones o 70 000 millones de parámetros: la proporción es 1 FLOP por byte. Es de las cargas con menor intensidad que existen.
El detalle que importa es qué bytes cuentan. Williams, Waterman y Patterson definieron la intensidad sobre el tráfico con la DRAM, es decir, lo que sale de la memoria principal después de que las cachés hayan filtrado las lecturas repetidas. Por eso un mismo algoritmo puede tener distinta intensidad según lo bien que aproveche la jerarquía de memoria: si el dato ya está en la L2, no consume ancho de banda de la VRAM.
Los dos techos y el punto de cruce
El modelo es una función de una línea. El rendimiento alcanzable es el menor de dos valores: el pico de cálculo, que no depende de nada, y el ancho de banda multiplicado por la intensidad, que crece con ella.
Roofline
Rendimiento alcanzable (FLOPS) = mín(pico de cálculo, ancho de banda × intensidad)
H100 SXM, kernel a 10 FLOP/byte: mín(989,5 TFLOPS, 3 350 GB/s × 10) = 33,5 TFLOPS
Con 10FLOP/byte, la memoria de la H100 solo puede alimentar 33,5TFLOPS BF16: un 3,4 % del pico. Los Tensor Cores esperan el 96,6 % del tiempo. El mismo kernel a 1 000FLOP/byte daría 3 350 TFLOPS por la rama de memoria, así que gana la otra rama y el techo es el pico: 990TFLOPS.
Dibujado en ejes logarítmicos, el segundo término es una recta inclinada (la pendiente es el ancho de banda) y el primero, una horizontal (el pico). Se cruzan en un punto: el ridge point o punto de cruce. A su izquierda, la carga está limitada por memoria (memory-bound); a su derecha, por cálculo (compute-bound). La coordenada X de ese punto es la intensidad mínima que necesita un kernel para poder tocar el pico de la máquina.
Punto de cruce
Ridge (FLOP/byte) = pico de cálculo (FLOPS) ÷ ancho de banda (bytes/s)
H100 SXM BF16: 989,5 × 10¹² ÷ 3,35 × 10¹² = 295 FLOP/byte
Para la RTX 4090 con Tensor Cores en FP16 y acumulación FP32: 165,2 TFLOPS ÷ 1 008 GB/s = 164FLOP/byte. Para la RTX 5090 en la misma precisión: 209,5 ÷ 1 792 = 117FLOP/byte. La 5090 tiene el punto de cruce más a la izquierda que la 4090 porque su ancho de banda creció más (+78 %) que su cálculo FP16 (+27 %). Es una GPU relativamente más «equilibrada» hacia las cargas de memoria.
Roofline: rendimiento alcanzable frente a intensidad
- H100 SXM · BF16
- RTX 5090 · FP16
- Strix Halo · FP32
- Ryzen 9 9950X · FP32
RTX 5090 con acumulación FP32 (209,5 TFLOPS dense). Ryzen 9 9950X: 16 núcleos × 2 FMA AVX-512 × 16 FP32 × 2 × 4,3 GHz ≈ 4,4 TFLOPS, cifra aproximada.
Fíjate en que a la izquierda del gráfico, por debajo de 1 FLOP/byte, la H100 solo saca 3,7 veces más que una RTX 5090 aunque tenga 4,7 veces más TFLOPS BF16. Ahí la única cifra que separa a las dos máquinas es el ancho de banda: 3 350GB/s frente a 1 792GB/s.
Dónde cae cada GPU
El punto de cruce depende de la precisión porque el pico cambia y el ancho de banda no. Una misma H100 tiene el ridge en 295 FLOP/byte en BF16 y en 591 en FP8: al doblar el cálculo por byte de memoria, la GPU exige el doble de intensidad para saturarse. Eso significa que las precisiones bajas son más difíciles de aprovechar, no más fáciles: la memoria se queda igual de lenta mientras los núcleos corren el doble.
Punto de cruce en FP16/BF16 dense
RTX 5070: 61,8 TFLOPS ÷ 672 GB/s. Con acumulación FP16 las GeForce doblan el pico y el punto de cruce (5090: 234; 4090: 328).
Dos lecturas de esa figura. La H200 tiene exactamente el mismo chip que la H100 y el mismo pico, pero un 43 % más de ancho de banda: su punto de cruce baja de 295 a 206. Para cualquier carga por debajo de 200 FLOP/byte, que es la inferencia de LLM casi siempre, la H200 rinde un 43 % más con los mismos Tensor Cores. Y la B200, con 2,3 veces el cálculo de la H100, mantiene el ridge casi en el mismo sitio porque NVIDIA subió el ancho de banda en la misma proporción: HBM3e de 8 pilas. Diseñar una GPU es, en buena parte, decidir dónde poner ese codo.
| Equipo | Ancho de banda (GB/s) | FP16/BF16 dense (TFLOPS) | FP8 dense (TFLOPS) | FP4 dense (TFLOPS) | TDP (W) |
|---|---|---|---|---|---|
| GeForce RTX 5090 | 1 792 | 419 | 838 | 1 676 | 575 |
| GeForce RTX 4090 | 1 008 | 330 | 661 | — | 450 |
| NVIDIA RTX PRO 6000 Blackwell Workstation Edition | 1 792 | 500 | 1 000 | 2 000 | 600 |
| NVIDIA H100 SXM5 80 GB | 3 350 | 990 | 1 979 | — | 700 |
| NVIDIA H200 SXM 141 GB | 4 800 | 990 | 1 979 | — | 700 |
| NVIDIA B200 SXM (HGX B200) | 8 000 | 2 250 | 4 500 | 9 000 | 1 000 |
| AMD Instinct MI355X | 8 000 | 2 500 | 5 000 | 10 100 | 1 400 |
Ancho de banda y picos dense por precisión: el punto de cruce es la división entre columnas (fuente: src/data/gpus.json; GeForce con acumulación FP16 en esta tabla).
Dónde cae cada carga
El hardware pone el codo; la carga decide en qué lado del codo vive. Las cifras de la guía de rendimiento de NVIDIA son ilustrativas: una capa lineal de 4 096 × 1 024 con batch 512 hace 315 FLOP/byte y va limitada por cálculo; la misma capa con batch 1 hace 1 FLOP/byte y va limitada por memoria. Una ReLU hace 0,25 FLOP/byte: lee 4 bytes, compara, escribe 4 bytes. Ninguna GPU del mundo puede hacer una ReLU rápido; solo puede hacerla al ritmo de su memoria.
Intensidad de cargas típicas (FLOP/byte)
Referencia: punto de cruce RTX 5090 FP16 = 117; H100 BF16 = 295. Matmul cuadrada de N×N: intensidad ≈ N ÷ 3 FLOP/byte en BF16.
La multiplicación de matrices es el caso feliz. Una matmul de N × N hace 2N³ operaciones y mueve tres matrices de N² elementos: su intensidad crece con N. Con N = 4 096 en BF16 son unos 1 365 FLOP/byte, muy a la derecha del codo de cualquier GPU: por eso el entrenamiento y el prefill de un LLM sí se acercan al pico de TFLOPS y por eso la MFU del 35–60 % que se ve en entrenamiento es un problema de utilización, no de memoria.
El decode de un LLM es el caso opuesto. Cada token nuevo obliga a leer todos los pesos una vez para hacer solo dos operaciones con cada uno. Un Llama 3.1 70B en BF16 pesa 141GB: en una H100 la lectura tarda 42 ms y el techo es 23,7 tokens por segundo. En ese tiempo los Tensor Cores ejecutan 3,3 TFLOPS efectivos, el 0,34 % de su pico. Toda la máquina, a efectos prácticos, es su ancho de banda.
70B BF16: 141 GB ÷ 3 350 GB/s = 42 ms por token → 23,7 tok/s · 0,34 % del picoPuedes comprobar cualquier combinación de modelo y equipo en la herramienta de tokens por segundo, y ver el gráfico completo con tu carga en el explorador Roofline.
Cómo mover una carga a la derecha
Si tu carga vive a la izquierda del codo, comprar más TFLOPS no sirve de nada. Tienes dos opciones: comprar ancho de banda o cambiar la carga para que haga más operaciones por byte. Lo segundo es lo que hacen todas las técnicas de optimización de inferencia, aunque no lo digan así.
Batching. Si procesas 32 peticiones a la vez, lees los pesos una vez y los usas 32 veces: la intensidad pasa de 1 a unos 32 FLOP/byte. Los servidores de inferencia (vLLM, TensorRT-LLM, SGLang) viven de esto: con batch 128 en BF16 la carga cruza el codo de una RTX 5090 y con batch 256 está cerca del de una H100. A partir de ahí, y solo a partir de ahí, los TFLOPS empiezan a contar. El límite es la memoria: cada petición en vuelo necesita su propio KV cache.
Cuantización. Pasar los pesos de BF16 a Q4 los deja en unos 0,57 bytes por parámetro (40 GB para el 70B en Q4_K_M). Las operaciones no cambian, así que la intensidad sube de 1 a 3,5 FLOP/byte y la lectura del modelo es 3,5 veces más corta. La cuantización es, ante todo, una forma de ganar ancho de banda efectivo; la pérdida de calidad es el precio.
Fusión de kernels. Una capa que hace matmul, suma de sesgo, activación y normalización en cuatro kernels separados escribe y vuelve a leer el tensor intermedio tres veces. Fusionarlos en un kernel hace las mismas operaciones con una fracción del tráfico de DRAM. FlashAttention es el ejemplo canónico: la atención clásica tenía intensidad bajísima porque materializaba la matriz de scores en VRAM; la versión fusionada la mantiene en SRAM del SM y multiplica la intensidad por más de un orden de magnitud.
Reutilizar desde la caché. Las GPU modernas tienen L2 grandes (72 MB en la RTX 4090, 96 MB en la 5090, 50 MB en la H100) precisamente para que el tráfico que cuenta en la intensidad, el de DRAM, sea menor que el que ve el kernel. Nsight Compute dibuja rooflines jerárquicos, uno por nivel (DRAM, L2, L1), para separar qué techo toca cada kernel.
Lo que el modelo no cuenta
El Roofline es una cota superior, no una predicción. Un kernel puede estar muy por debajo de ambos techos por razones que el gráfico no ve: latencia (pocas operaciones en vuelo para tapar los ~100 ns de la DRAM), sincronización entre bloques, ramas divergentes, o simplemente un tamaño de problema que no llena los 132 SM de una H100. También ignora que el ancho de banda de pico rara vez se sostiene: un 85–90 % del nominal es lo habitual en kernels bien escritos.
Y trata la máquina como un solo bloque. Cuando el modelo no cabe en la VRAM y parte se lee por PCIe, el «ancho de banda» del roofline pasa a ser el del bus: 64GB/s por dirección en PCIe 5.0 ×16, 28 veces menos que la GDDR7 de la RTX 5090. La pendiente se hunde y el codo se va a miles de FLOP/byte. Por eso una carga que se sale de la VRAM no va «algo más lenta»: cambia de roofline.
Con esas salvedades, la utilidad del modelo es que convierte una pregunta vaga («¿qué GPU necesito?») en dos cifras comparables: la intensidad de tu carga y el punto de cruce de la máquina. Si la primera es menor que el segundo, mira el ancho de banda de la ficha y solo el ancho de banda. Si es mayor, mira los TFLOPS dense de tu precisión. Casi nadie que ejecute LLM en local está en el segundo caso.
Lo que debes recordar
- Intensidad aritmética = FLOP realizados ÷ bytes leídos de la memoria principal. Es una propiedad de la carga, no del hardware.
- Rendimiento alcanzable = mín(pico de cálculo, ancho de banda × intensidad). El punto de cruce es pico ÷ ancho de banda: H100 BF16 ≈ 295 FLOP/byte, RTX 5090 FP16 ≈ 117, RTX 4090 FP16 ≈ 164.
- El decode de un LLM con batch 1 está en 1–4 FLOP/byte: limitado por memoria en cualquier GPU. Matmul grandes, prefill y entrenamiento están a cientos o miles: limitados por cálculo.
- Para mover una carga a la derecha: batching, cuantización, fusión de kernels y reutilización en caché. Más TFLOPS no ayuda a una carga memory-bound.
- Cuando el modelo no cabe en VRAM, el ancho de banda que manda pasa a ser el de PCIe y el roofline se desploma.
Para mirar en una ficha técnica
- Ancho de banda de memoria (GB/s): la cifra que manda si tu carga está a la izquierda del codo (inferencia LLM batch bajo, imagen, casi todo en local). Trampa: comparar GPU por TFLOPS cuando el trabajo es memory-bound.
- Pico dense de tu precisión (TFLOPS): divídelo entre el ancho de banda y tienes el punto de cruce. Trampa: usar la cifra sparse («AI TOPS») o, en GeForce, el pico FP16 con acumulación FP16 si tu framework acumula en FP32.
- Capacidad de VRAM (GB): no aparece en el roofline, pero decide en cuál estás. Trampa: un modelo que «cabe» con el KV cache fuera de la VRAM sale por PCIe y cambia de techo.
Fuentes
- Williams, Waterman, Patterson — Roofline: An Insightful Visual Performance Model for Multicore Architectures (CACM, 2009) — definición de intensidad operacional sobre tráfico de DRAM, fórmula mín(pico, ancho de banda × intensidad) y concepto de ridge point.
- NVIDIA — GPU Performance Background User’s Guide — condición math-limited vs memory-limited, y las intensidades de capa lineal batch 512 (315 FLOP/B) y batch 1 (1 FLOP/B), ReLU (0,25) y max-pool 3×3 (2,25).
- NVIDIA — Nsight Compute Profiling Guide — rooflines jerárquicos por nivel de memoria y por precisión (single, double, half, Tensor).
- NVIDIA H100 Tensor Core GPU — datasheet — 80 GB HBM3, 3,35 TB/s, picos Tensor publicados con sparsity (divididos entre 2 para el dense).
- NVIDIA GeForce RTX 5090 — especificaciones — 512 bits GDDR7 a 28 Gbps, 1 792 GB/s; picos dense del whitepaper Blackwell recogidos en src/data/gpus.json.