Fundamentos · Unidades

FLOPS: qué miden y por qué el número del folleto suele ser el doble

Qué es un FLOP, cómo se calcula el pico teórico de una GPU o CPU, por qué NVIDIA publica cifras con sparsity que valen la mitad y cuánto de ese pico se usa de verdad al entrenar.

Los FLOPS son la cifra que abre casi todas las fichas de GPU y la que menos dice por sí sola. Miden cuántas operaciones en coma flotante puede ejecutar un chip cada segundo si todas sus unidades trabajan a la vez, sin esperar a la memoria y con la precisión que el fabricante haya elegido para el folleto. Ninguna de esas tres condiciones se cumple en una carga real, y la tercera es la que más engaña: la misma GPU tiene una docena de picos distintos y el marketing enseña el más alto.

Un FLOP, una FMA y el factor 2

Un FLOP (floating-point operation) es una operación aritmética sobre números en coma flotante: una suma, una multiplicación. FLOPS, con S mayúscula, es FLOP por segundo: una capacidad, no una cantidad. La distinción importa porque en IA se usan las dos: un modelo cuesta tantos FLOP entrenarlo, una GPU ofrece tantos FLOPS.

La operación que domina el cálculo numérico no es la suma ni la multiplicación sueltas, sino la combinación de ambas: a × b + c. Se llama FMA (fused multiply-add) y el hardware la ejecuta en un solo paso, con un solo redondeo. Multiplicar matrices, convolucionar imágenes, aplicar una capa de una red neuronal: todo se reduce a cadenas de FMA. Por eso cada unidad de cálculo de una GPU o de una CPU moderna se diseña para hacer una FMA por ciclo, y por convención una FMA cuenta como dos FLOP. De ahí sale el «× 2» que aparece en todas las fórmulas de pico.

1 FMA por ciclo = 2 FLOP por ciclo por unidad

Esa convención es honesta pero conviene tenerla presente al comparar con cifras antiguas o con fabricantes que cuentan de otra forma. Algunos aceleradores publican MAC/s (multiply-accumulate por segundo), que es la misma operación contada como una; el número parece la mitad sin ser peor hardware. Lo mismo pasa con los TOPS de las NPU, donde cada fabricante decide qué operación y qué precisión cuenta.

Cómo se calcula el pico teórico

El pico de una GPU es aritmética de tres factores: cuántas unidades tiene, cuántas operaciones hace cada una por ciclo y a qué frecuencia. Las tres cifras están en la ficha o en el whitepaper de la arquitectura.

Pico FP32 (CUDA cores)

TFLOPS = núcleos × 2 (FMA) × frecuencia boost (GHz) ÷ 1 000

RTX 4090: 16 384 × 2 × 2,52 ÷ 1 000 = 82,6 TFLOPS

La RTX 4090 tiene 128 SM con 128 CUDA cores cada uno: 16 384 núcleos. Cada uno completa una FMA en FP32 por ciclo. A la frecuencia boost de 2,52GHz el producto da 82 575 GFLOPS, los 82,6TFLOPS de la ficha oficial. La misma cuenta para la RTX 5090: 21 760 × 2 × 2,407 = 104,8TFLOPS. Y para la H100 SXM: 16 896 × 2 × 1,98 = 66,9TFLOPS en FP32, que NVIDIA redondea a 67.

La frecuencia que entra en la fórmula es la de boost, no la base. Una GPU sostiene ese reloj solo si tiene margen térmico y de potencia; en una carga que llena todos los SM durante minutos suele bajar. Es la primera razón por la que el pico es un techo, no una previsión.

Con los Tensor Cores el cálculo tiene la misma forma pero cambia el segundo factor. Un Tensor Core de cuarta generación (Ada) procesa un pequeño bloque de matriz por ciclo, y las operaciones por ciclo dependen de la precisión: la mitad de anchura de dato, el doble de operaciones. Por eso la RTX 4090 pasa de 82,6TFLOPS en FP32 a 165,2TFLOPS en FP16 con acumulación FP32 y a 330,3TFLOPS en FP8. Cada escalón hacia abajo en precisión numérica duplica el pico sin tocar la frecuencia ni el número de unidades.

La misma lógica sirve para una CPU. Un núcleo Zen 5 de sobremesa tiene un datapath vectorial nativo de 512 bits, que en FP32 son 16 valores por instrucción; con dos unidades FMA de esa anchura salen 64 FLOP por ciclo y núcleo. Para un Ryzen 9 9950X (16 núcleos, boost 5,7GHz) el pico teórico ronda los 5,8 TFLOPS en FP32. Es una cifra aproximada por dos motivos: el reloj con los 16 núcleos ejecutando AVX-512 queda claramente por debajo del boost de un solo núcleo, y AMD no publica el pico oficialmente. Aun así el orden de magnitud es el que importa: una GPU de consumo ofrece entre 15 y 20 veces más FLOPS FP32 que la mejor CPU de escritorio, y eso antes de contar Tensor Cores.

Ryzen 9 9950X (FP32, aprox.)5,8TFLOPS16 núcleos AVX-512 a boost
RTX 4090 (FP32)82,6TFLOPS16 384 CUDA cores
H100 SXM (BF16 dense)989,4TFLOPSTensor Cores, acumulación FP32
B200 (BF16 dense)2 250TFLOPSHGX B200, 1 000 W

Prefijos: de GFLOPS a EFLOPS

Los prefijos son los del Sistema Internacional y van de mil en mil. Un GFLOPS son 109 operaciones por segundo, el nivel de un núcleo de CPU. Un TFLOPS son 1012, el nivel de una GPU: de 5 a 100 en FP32, de 100 a 2 500 en Tensor Cores. Un PFLOPS son 1015: una sola B200 supera los 9 PFLOPS en FP4 dense, y un nodo de 8 GPU pasa de 70. Un EFLOPS son 1018: la escala de los superordenadores del Top500 en FP64 y de los clústeres de entrenamiento de IA en precisión baja.

Cuando una ficha salta de prefijo conviene mirar la precisión en la misma línea. Los «20 PFLOPS» de una GB200 son FP4 con sparsity; en BF16 dense, la precisión con la que se entrena, la misma GPU da 2,5 PFLOPS. Ocho veces menos, mismo chip.

Dense frente a sparse: el «doble» del folleto

Desde Ampere (2020) los Tensor Cores de NVIDIA soportan sparsity estructurada 2:4: en cada grupo de cuatro pesos consecutivos, dos deben ser cero. El hardware comprime la matriz a la mitad, guarda un índice pequeño de dónde estaban los valores no nulos y salta las multiplicaciones por cero. El resultado es que «completa el mismo cálculo efectivo en la mitad de tiempo», en palabras del propio blog de NVIDIA. Y de ahí la cifra: pico sparse = 2 × pico dense.

El truco no es que la sparsity sea mentira. Es que exige un modelo preparado para ella: hay que podar la red al patrón 2:4 y volver a entrenarla para recuperar la precisión, un proceso que NVIDIA describe y que casi nadie aplica fuera de despliegues muy optimizados. Los pesos de un Llama, un Qwen o un Stable Diffusion tal como los descargas son densos. Su techo es la cifra dense.

RTX 5090: picos publicados por precisión

02k4k«3 352 AI TOPS» = FP4 sparse3 352 TFLOPSFP4 dense1 676 TFLOPSFP8 · acum. FP16838 TFLOPSFP8 · acum. FP32419 TFLOPSFP16 · acum. FP32 (entrenamiento)210 TFLOPSFP32 (CUDA cores)105 TFLOPSFP641,64 TFLOPSTFLOPS
Una sola GPU, seis picos: cada escalón de precisión o de acumulación duplica el número, y el «AI TOPS» de la caja está en lo más alto (fuente: whitepaper NVIDIA RTX Blackwell, apéndice A; dense salvo la primera barra).

En GeForce hay una segunda capa además de la sparsity: la acumulación. Los Tensor Cores de consumo rinden el doble cuando acumulan el resultado en FP16 que cuando lo hacen en FP32, y NVIDIA publica ambas cifras en el whitepaper pero solo la alta en la caja. Para entrenar se acumula en FP32, así que la cifra útil de una RTX 5090 en FP16 son 209,5 TFLOPS, no 419. En las GPU de datacenter (H100, B200) las dos cifras coinciden: ese recorte es un rasgo del segmento de consumo, no de la arquitectura.

Picos dense a frecuencia boost. FP16 con acumulación FP16 en GeForce y RTX PRO (con FP32 es la mitad); en H100, B200 y MI300X ambas coinciden (fuente: src/data/gpus.json, a partir de las fichas oficiales).
EquipoFP32 (TFLOPS)FP16/BF16 dense (TFLOPS)FP8 dense (TFLOPS)FP64 (TFLOPS)TDP (W)
GeForce RTX 409082,63306611,29450
GeForce RTX 50901054198381,64575
NVIDIA RTX PRO 6000 Blackwell Workstation Edition1265001 0001,97600
NVIDIA H100 SXM5 80 GB679901 97934700
NVIDIA B200 SXM (HGX B200)752 2504 500371 000
AMD Instinct MI300X1631 3072 61581,7750

Picos dense a frecuencia boost. FP16 con acumulación FP16 en GeForce y RTX PRO (con FP32 es la mitad); en H100, B200 y MI300X ambas coinciden (fuente: src/data/gpus.json, a partir de las fichas oficiales).

Por qué el pico nunca se alcanza

Aunque uses la cifra dense y la precisión correcta, el pico sigue siendo un techo teórico. Para tocarlo, todas las unidades de cálculo tendrían que recibir operandos cada ciclo, sin pausas. Tres cosas lo impiden.

La primera es la memoria. Cada FMA necesita tres operandos que hay que traer de algún sitio, y el ancho de banda de la VRAM está tres órdenes de magnitud por debajo de lo que consumirían los Tensor Cores a pleno rendimiento. Solo las operaciones con mucha reutilización de datos, como la multiplicación de matrices grandes, mantienen las unidades ocupadas; el modelo roofline es la herramienta para saber cuánto te limita cada cosa. Nuestro explorador roofline lo calcula para tu equipo.

La segunda es la estructura del trabajo. Un modelo no es una matriz gigante sino miles de operaciones pequeñas encadenadas: normalizaciones, funciones de activación, softmax, copias. Muchas no usan Tensor Cores y entre kernel y kernel hay huecos de lanzamiento, sincronización y comunicación entre GPU.

La tercera es la potencia. Una carga que exprime los Tensor Cores empuja al chip contra su límite de vatios y el reloj baja del boost con el que se calculó el pico.

La forma estándar de medir todo esto junto es el MFU (model FLOPs utilization): los FLOP que el modelo necesita en teoría, divididos por el tiempo real, divididos por el pico dense de la GPU. Google introdujo la métrica con PaLM 540B en 2022 y reportó un 46,2 % en TPU v4. Meta, al entrenar Llama 3 405B en 16 384 H100, obtuvo entre 380 y 430 TFLOPS por GPU en BF16: un 38-43 % de MFU sobre los 989 TFLOPS dense. Y eso con uno de los equipos de infraestructura mejor dotados del sector. Un entrenamiento casero, con PyTorch sin afinar y un par de GPU sobre PCIe, se mueve más bien entre el 20 y el 40 %.

H100 SXM: pico frente a rendimiento sostenido en BF16

05001k1,5k2kFicha NVIDIA (sparse)1 979 TFLOPSPico dense989 TFLOPSLlama 3 405B · 8 192 GPU (43 %)430 TFLOPSLlama 3 405B · 16 384 GPU (40 %)400 TFLOPSLlama 3 405B · 16 384 GPU, CP=16 (38 %)380 TFLOPSTFLOPS
TFLOPS BF16 por H100 en el entrenamiento de Llama 3 405B frente al pico dense y al pico «con sparsity» de la ficha (fuentes: paper de Llama 3, tabla de configuraciones de paralelismo; ficha NVIDIA H100).

La conclusión práctica es una regla de tres con dos descuentos: divide la cifra del folleto por dos si lleva asterisco, y multiplica por 0,4 para estimar lo que sostendrás entrenando. Del titular de la H100 (3 958 TFLOPS FP8) a lo que se ve en el monitor de un entrenamiento BF16 (unos 400) hay casi un orden de magnitud.

FLOP como cantidad: cuánto cuesta entrenar

Hasta aquí FLOPS como capacidad. La otra cara es FLOP como cantidad de trabajo, y para un modelo de lenguaje existe una aproximación tan simple que se ha convertido en estándar: entrenar un transformer cuesta unas seis operaciones por parámetro y por token. Dos en la pasada hacia delante (una FMA por parámetro) y cuatro en la pasada hacia atrás (los gradientes respecto a activaciones y respecto a pesos).

Coste de entrenamiento de un LLM

FLOP ≈ 6 × N (parámetros) × D (tokens de entrenamiento)

Llama 3 405B: 6 × 405,85 × 10⁹ × 15,6 × 10¹² ≈ 3,8 × 10²⁵ FLOP

Meta publica las dos entradas y la salida: 405 850 millones de parámetros, 15,6 billones de tokens, 3,8 × 1025 FLOP totales. La fórmula clava el resultado, lo que confirma que la aproximación 6·N·D es la que la propia industria usa para presupuestar. Para un modelo de 8B entrenado con 15 billones de tokens: 6 × 8 × 109 × 15 × 1012 = 7,2 × 1023 FLOP, cincuenta veces menos.

Con el coste en FLOP, el pico dense y el MFU tienes la tercera fórmula, la que convierte todo en días de cálculo y en factura.

Tiempo de entrenamiento

tiempo (s) = FLOP totales ÷ (pico dense × MFU × n.º de GPU)

3,8 × 10²⁵ ÷ (989,4 × 10¹² × 0,40 × 16 384) ≈ 5,9 × 10⁶ s ≈ 68 días

Con 16 384 H100 a 989,4 TFLOPS BF16 dense y un MFU del 40 %, el clúster sostiene 6,5 × 1018 FLOP por segundo. Los 3,8 × 1025 FLOP de Llama 3 405B salen en unos 68 días de cálculo puro, sin contar reinicios ni evaluaciones. Si hubieras usado la cifra sparse del folleto y un MFU del 100 %, la estimación habría sido de 14 días: un error de factor 5 que en una nube a varios dólares por GPU y hora es una diferencia de decenas de millones. Para fine-tuning con LoRA la cuenta es la misma con otro N y otro D; la calculadora de memoria de entrenamiento y el artículo de entrenamiento y fine-tuning la desarrollan.

  • 6·N·D con D = 20 N
  • Llama 3 405B real (D = 15,6 T)
0,11101001k10k100k1101001kParámetros (miles de millones) (log)FLOP de entrenamiento (× 10²¹) (log)6·N·D con D = 20 NLlama 3 405B real (D = 15,6 T)
Coste de entrenamiento según 6·N·D con 20 tokens por parámetro (regla Chinchilla) y el punto real de Llama 3 405B, entrenado con 15,6 billones de tokens, muy por encima de esa proporción (fuentes: Hoffmann et al. 2022 para la regla; paper de Llama 3 para el punto).

Cuándo los FLOPS sí son la cifra que importa

Después de tanto matiz, una aclaración: los FLOPS no son una cifra inútil, son una cifra condicional. Mandan cuando la carga es limitada por cálculo: multiplicaciones de matrices grandes con lote alto, el prefill de un LLM (procesar el prompt), entrenamiento, render por path tracing, convoluciones de difusión con resolución alta. En esas cargas dos GPU con el mismo ancho de banda se separan exactamente por sus TFLOPS dense en la precisión que use el software.

Y no mandan cuando la carga es limitada por memoria, que es el caso de la inferencia de un LLM a lote 1: generar cada token exige leer todos los pesos, y el ritmo lo pone el ancho de banda, no el cálculo. Una RTX 5090 con 419 TFLOPS FP8 y una RTX 4090 con 330 no se llevan un 27 % en tokens por segundo; se llevan el 78 % que separa sus anchos de banda. La calculadora de tokens por segundo hace esa cuenta con tu modelo y tu GPU.

Un último aviso sobre FP64. Las GPU de consumo lo ejecutan a 1/64 del ritmo FP32: la RTX 5090 se queda en 1,64TFLOPS, menos que una CPU de gama alta, mientras que una H100 da 34 en CUDA cores y 67 en Tensor Cores y una MI300X 81,7 y 163,4. Si tu carga es CAE, química o cualquier solver que necesite doble precisión, el pico FP32 del folleto no te dice nada; mira la línea FP64 y consulta el artículo de simulación CAE.

Lo que debes recordar

  • Un FLOP es una operación en coma flotante; FLOPS son FLOP por segundo. Una FMA (a × b + c) cuenta como dos FLOP, de ahí el «× 2» de todas las fórmulas de pico.
  • Pico = unidades × operaciones por ciclo × frecuencia boost. RTX 4090: 16 384 × 2 × 2,52 GHz = 82,6 TFLOPS FP32.
  • NVIDIA publica los Tensor Cores «with sparsity»: dense es la mitad. En GeForce, además, la cifra de la caja acumula en FP16; para entrenar (acumulación FP32) vuelve a ser la mitad.
  • El pico no se alcanza: el MFU típico de un entrenamiento bien optimizado es del 38 al 46 %; Llama 3 405B sostuvo 380-430 TFLOPS por H100 de 989 dense.
  • Entrenar un LLM cuesta unos 6 × N × D FLOP; con el pico dense, el MFU y el número de GPU sale el tiempo.

Para mirar en una ficha técnica

  • TFLOPS por precisión: busca la línea FP16/BF16 con acumulación FP32 y el pie «dense» o «with sparsity». Trampa: un asterisco que divide la cifra por dos.
  • «AI TOPS»: en RTX 50 es FP4 sparse; en RTX 40, INT8 sparse. Trampa: comparar AI TOPS de una generación con TFLOPS FP16 de otra.
  • Frecuencia boost: es la que entra en el pico. Trampa: una tarjeta con menos refrigeración o menos vatios sostiene menos reloj y rinde por debajo del mismo pico nominal.
  • FP64: 1/64 en consumo, 1/2 en datacenter. Trampa: elegir por FP32 para una carga de simulación.
  • MAC/s frente a FLOPS: un MAC es una FMA. Trampa: un chip que publica MAC/s parece la mitad de rápido que uno que publica FLOPS.

Fuentes

  1. NVIDIA Ada GPU Architecture whitepaper — tabla de picos de la RTX 4090 por precisión, dense/sparse y acumulación FP16/FP32; 16 384 CUDA cores y boost de 2,52 GHz.
  2. NVIDIA RTX Blackwell GPU Architecture whitepaper — apéndice A: picos de la RTX 5090 (FP4 1 676/3 352, FP8 419/838, FP16 209,5/419, FP32 104,8).
  3. NVIDIA H100 Tensor Core GPU — ficha con cifras Tensor Core marcadas «with sparsity»; FP64 34 / 67, FP32 67 TFLOPS.
  4. NVIDIA Blackwell B200 datasheet — nota «Specifications in sparse. Dense is one-half of the sparse spec shown»; picos HGX B200 y GB200 NVL72.
  5. AMD Instinct MI300X — picos dense y sparse en columnas separadas (FP8 2 614,9 / 5 229,8; FP64 81,7 / 163,4).
  6. NVIDIA — Accelerating Inference with Sparsity Using the NVIDIA Ampere Architecture and NVIDIA TensorRT — definición del patrón 2:4, compresión y necesidad de podar y reentrenar.
  7. The Llama 3 Herd of Models (arXiv 2407.21783) — 405B parámetros, 15,6 T tokens, 3,8 × 10²⁵ FLOP; 380-430 TFLOPS por GPU y MFU BF16 del 38-43 % en 8 192 y 16 384 H100.
  8. PaLM: Scaling Language Modeling with Pathways (arXiv 2204.02311) — definición de MFU y 46,2 % reportado para PaLM 540B.
  9. Training Compute-Optimal Large Language Models (arXiv 2203.15556) — regla Chinchilla de ~20 tokens por parámetro usada en la figura de coste.
  10. Zen 5 — Wikipedia — datapath FP nativo de 512 bits en Ryzen 9000 y EPYC 9005, 256 bits en Ryzen AI 300; base de la estimación del pico FP32 del 9950X.
  11. AMD Ryzen 9 9950X — 16 núcleos, boost 5,7 GHz.

Escribe para buscar en artículos, herramientas y glosario. Esc para cerrar.