Fundamentos · Unidades

TOPS y NPUs: la unidad de la IA en el borde

Qué cuenta un TOPS (casi siempre INT8), cómo convertirlo a TFLOPS, por qué el umbral Copilot+ son 40 TOPS de NPU y qué esconde la cifra de «TOPS totales de plataforma».

Un TOPS es un billón de operaciones por segundo. La palabra que falta en la sigla es la importante: operaciones de qué tamaño. En un folleto de NPU casi siempre son enteros de 8 bits; en una GeForce, desde 2025, son flotantes de 4 bits con sparsity. Las dos cifras se llaman igual y no miden lo mismo. Este artículo explica qué cuenta un TOPS, cómo cruzarlo con los TFLOPS de una GPU y por qué una NPU de 45TOPS tiene sentido al lado de una GPU que multiplica ese número por veinte.

Qué cuenta un TOPS

TOPS significa tera operations per second: 1012 operaciones por segundo. A diferencia de FLOPS, la sigla no fija el tipo de dato. Puede ser INT8, INT4, FP8 o FP4, y la ficha no siempre lo dice. Por convención de la industria, cuando alguien escribe «TOPS» sin apellido se refiere a INT8 dense: multiplicaciones de enteros de 8 bits acumuladas en 32 bits, sin trucos de sparsity. Es lo que Microsoft exige para un Copilot+ PC, lo que Apple publica para el Neural Engine y lo que Qualcomm y AMD anuncian para sus NPUs.

La unidad de trabajo real es la MAC (multiply-accumulate): a × b + c. Igual que en la FMA de coma flotante, una MAC cuenta como dos operaciones, una multiplicación y una suma. Así que el pico teórico sale de la misma receta que los TFLOPS: unidades × 2 × frecuencia.

Pico INT8

TOPS = ops INT8 por ciclo (MAC × 2) × frecuencia (GHz) ÷ 1000

RTX 4090: 128 SM × 2 048 × 2,52 ÷ 1000 = 660,6 TOPS dense

Cada SM de Ada ejecuta 2 048 operaciones INT8 dense por ciclo en sus Tensor Cores (1 024 MAC). Con 128 SM a 2,52GHz de boost: 128 × 2 048 × 2,52 × 109 = 660,6 × 1012. NVIDIA publica 1 321TOPS para esta tarjeta: es la misma cuenta con sparsity 2:4, que dobla el resultado sobre el papel.

Para una NPU la fórmula es la misma, pero los fabricantes rara vez publican el número de MAC ni la frecuencia. Publican el resultado, y hay que fiarse de que sea INT8 dense. Cuando no lo dicen, sospecha.

De TOPS a TFLOPS y viceversa

Comparar los 45TOPS de una NPU con los 419TFLOPS FP16 de una RTX 5090 es comparar peras con manzanas, pero se puede hacer la conversión si conoces la regla del hardware. En los Tensor Cores de NVIDIA desde Turing hasta Ada, cada bajada de precisión a la mitad dobla el caudal: INT8 rinde 2× FP16 dense. En Blackwell la relación INT8 = FP8 = 2× FP16 se mantiene y FP4 vuelve a doblar.

Equivalencia en la misma GPU

TOPS INT8 dense ≈ 2 × TFLOPS FP16 dense ≈ TFLOPS FP8 dense

RTX 5090: 419 TFLOPS FP16 → 838 TOPS INT8 → 1 676 TFLOPS FP4

Los cuatro números de la ficha de la RTX 5090 son la misma unidad de silicio contada a distinta anchura: 419TFLOPS FP16, 838TOPS INT8, 838TFLOPS FP8 y 1 676TFLOPS FP4, todo dense. Los 3 352AI TOPS del folleto son el FP4 con sparsity.

La conversión sirve para una cosa: saber cuánto hardware hay detrás. No sirve para predecir rendimiento, porque el modelo que quieras correr tendrá una precisión concreta y una intensidad aritmética concreta, y eso decide qué unidad se usa y si llega a saturarse.

TOPS del folleto vs TOPS INT8 dense

  • Cifra del folleto
  • INT8 dense
02k4kRTX 5090 · folleto3 352 TOPSRTX 5090 · INT8 dense838 TOPSRTX 4090 · folleto1 321 TOPSRTX 4090 · INT8 dense661 TOPSJetson AGX Orin · folleto275 TOPSJetson AGX Orin · INT8 dense (GPU)85 TOPSRyzen AI Max+ 395 · folleto126 TOPSRyzen AI Max+ 395 · NPU INT850 TOPSTOPS

RTX 5090: FP4 sparse. RTX 4090: INT8 sparse. Jetson: GPU sparse + 2 DLA sparse. Ryzen AI Max+: CPU + GPU + NPU.

Cifra de folleto frente a INT8 dense en el mismo chip. La distancia entre barras es sparsity, precisión más baja o suma de bloques (fuentes: fichas de NVIDIA y AMD; src/data/gpus.json).

El umbral de los 40 TOPS

Microsoft definió en mayo de 2024 la categoría Copilot+ PC con un requisito de hardware concreto: una NPU capaz de más de 40TOPS. No la GPU, no la suma de todo el chip: la NPU sola. La cifra no es arbitraria. Las funciones que Windows ejecuta en local (Recall, subtítulos en directo, efectos de cámara, los modelos Phi-Silica) están dimensionadas para correr sin que se note en la batería, y 40 TOPS INT8 es el punto en que un modelo de lenguaje pequeño responde con latencia aceptable.

Requisito Copilot+40TOPSNPU sola, INT8
Snapdragon X Elite45TOPSHexagon, 2024
Ryzen AI 30050TOPSXDNA 2, 2024
Core Ultra 200V48TOPSNPU 4 (Lunar Lake), 2024
Apple M438TOPSNeural Engine 16 núcleos

Las tres plataformas de portátil de 2024 pasaron el listón por poco: 45TOPS el Hexagon del Snapdragon X Elite, 48TOPS la NPU 4 de Lunar Lake, 50TOPS la XDNA 2 de Ryzen AI 300. El Neural Engine del M4 se queda en 38TOPS, y Apple lo publica sin complejos porque no compite en esa categoría. Los chips de sobremesa quedan muy por debajo: la NPU del Core Ultra 9 285K rinde 13TOPS, suficiente para efectos de vídeo, insuficiente para Copilot+.

TOPS INT8 de la NPU

02040Ryzen AI 300 (XDNA 2)50 TOPSRyzen AI Max+ 395 (XDNA 2)50 TOPSCore Ultra 200V (NPU 4)48 TOPSSnapdragon X Elite (Hexagon)45 TOPSApple M4 (Neural Engine)38 TOPSCore Ultra 9 285K (NPU 3)13 TOPSTOPS

Resaltadas las que superan los 40 TOPS del requisito Copilot+.

NPUs integradas en SoC de consumo, TOPS INT8 dense según el fabricante. El umbral Copilot+ es 40 (fuentes: Qualcomm, AMD, Intel, Apple; src/data/cpus.json y gpus.json).

Por qué la GPU del portátil tiene más TOPS y la NPU importa igual

En cualquier portátil con gráfica dedicada, la GPU aplasta a la NPU en TOPS. Una RTX 5070 de sobremesa ofrece 247TOPS INT8 dense; un Jetson AGX Orin, que es un chip para robots, 85TOPS solo en su GPU. Incluso la GPU integrada de Lunar Lake anuncia más TOPS que su NPU. Si los TOPS fueran lo único que cuenta, la NPU sobraría.

Lo que cuenta es el coste energético por operación. Una GPU es un procesador general con miles de hilos, planificadores, cachés y un bus de memoria ancho; para hacer una multiplicación de matrices INT8 mueve mucha maquinaria alrededor de cada MAC. Una NPU es un array de MAC con la memoria pegada, sin planificador dinámico y con flujo de datos fijado en tiempo de compilación. Hace menos cosas, pero cada una le cuesta una fracción de la energía. La RTX 5090 rinde 838TOPS con 575W: 1,46 TOPS por vatio. El Jetson AGX Orin, en su modo de 15 W, sigue entregando una parte sustancial de sus 85 TOPS. Una NPU de portátil trabaja en el rango de unos pocos vatios (los fabricantes no publican la cifra exacta; es aproximada) y por eso puede estar encendida todo el día haciendo cancelación de ruido o desenfoque de fondo sin que la batería lo note.

RTX 5090: 838 TOPS ÷ 575 W ≈ 1,46 TOPS/W

Hay una segunda razón: la GPU discreta está apagada la mayor parte del tiempo en un portátil, y despertarla para una tarea de 20 ms cuesta más energía que la tarea. La NPU vive en el mismo die que la CPU, comparte su memoria y se despierta en microsegundos. Es la misma lógica por la que un móvil tiene un DSP para escuchar «oye Siri» sin encender el procesador principal.

LPDDR5X128 bits · 135 GB/sCPU12 × OryonGPUAdreno · 4,6 TFLOPS FP32NPUHexagon · 45 TOPS INT8compartidacompartidacompartida
Tres motores sobre una misma memoria en un SoC Copilot+ (Snapdragon X Elite X1E-84-100): la NPU no tiene VRAM propia y su techo de datos es el LPDDR5X compartido (fuente: Qualcomm; src/data/cpus.json).

Qué va a la NPU de verdad

La NPU corre lo que el sistema operativo o la aplicación le mandan explícitamente a través de una pila de software concreta: Windows ML y ONNX Runtime con el proveedor QNN (Qualcomm) u OpenVINO (Intel) en Windows, Core ML en macOS. No acelera nada por sí sola. Y los modelos tienen que estar cuantizados a INT8 (a veces INT4 en pesos) y compilados para ese hardware; un modelo FP16 genérico no corre en la NPU, corre en la GPU o en la CPU.

Con esas condiciones, la lista de cargas reales es corta y estable:

  • Efectos de cámara y audio en streaming: desenfoque de fondo, encuadre automático, supresión de ruido, contacto visual. Modelos pequeños, latencia fija, encendidos horas seguidas. La carga para la que se diseñó la NPU.
  • Subtítulos y traducción en directo: reconocimiento de voz (Whisper y derivados cuantizados) sobre el audio del sistema.
  • Indexación semántica (Recall en Windows, búsqueda de fotos en macOS): embeddings de imágenes y texto en segundo plano.
  • Modelos de lenguaje pequeños: Phi-Silica en Windows, los modelos de Apple Intelligence en macOS. Entre 1 000 y 4 000 millones de parámetros, cuantizados.

Lo que no va a la NPU: un LLM de 30 000 millones de parámetros, Stable Diffusion a resolución alta, cualquier cosa que entrenes. Para eso el techo no son los TOPS sino la memoria compartida, y aquí la cuenta es idéntica a la de una GPU limitada por memoria.

Techo de tokens por segundo en NPU

tokens/s ≈ ancho de banda (GB/s) ÷ tamaño del modelo (GB)

Snapdragon X Elite: 135 ÷ 3,84 ≈ 35 tokens/s con Phi-4-mini INT8

Phi-4-mini tiene 3 840 millones de parámetros; en INT8 ocupa unos 3,84GB. Generar cada token obliga a leerlos todos desde el LPDDR5X de 135GB/s: 3,84 ÷ 135 = 28 ms por token, unos 35 tokens por segundo. La NPU necesita 2 operaciones por byte leído para ese trabajo; a 135 GB/s son 270 GOPS, el 0,6 % de sus 45 TOPS. El 99 % del silicio está esperando a la memoria.

La misma cuenta explica por qué las NPUs se diseñan con tan «pocos» TOPS: por encima de cierto punto, en un chip con memoria LPDDR5X de 128 bits, añadir MAC no añade velocidad. Sirve para modelos convolucionales, que reutilizan cada byte cientos de veces, no para decodificar texto.

El truco de los «TOPS totales de plataforma»

Cuando el número de la NPU no impresiona, el folleto suma. Ryzen AI Max+ 395: «hasta 126 TOPS», de los que 50TOPS son de la NPU y el resto, una estimación INT8 de la GPU y de la CPU. Jetson AGX Orin: «275 TOPS», que son 170 de la GPU con sparsity más 105 de dos aceleradores DLA, también con sparsity. Intel y AMD publican cifras «de plataforma» equivalentes para Lunar Lake y Ryzen AI 300.

Una variante del mismo truco es la precisión. Un fabricante que publique TOPS INT4 presentará el doble de cifra que uno que publique INT8 en hardware idéntico, porque cada MAC de 8 bits se puede partir en dos de 4. Es la misma jugada que NVIDIA hace con FP4 en las RTX 50. Antes de comparar dos NPUs, iguala la precisión; si la ficha no la indica, asume que han elegido la que da el número más alto.

TOPS INT8 dense y contexto. En Ryzen AI Max+ y M4 Max el INT8 es de la NPU / Neural Engine; en el resto, de la GPU. FP4 solo existe en Blackwell (fuente: src/data/gpus.json).
EquipoINT8 (TOPS)FP16/BF16 dense (TFLOPS)FP4 dense (TFLOPS)Ancho de banda (GB/s)TDP (W)
GeForce RTX 50908384191 6761 792575
GeForce RTX 4090661330—1 008450
GeForce RTX 5070247124494672250
NVIDIA Jetson AGX Orin 64 GB8542,5—20560
AMD Ryzen AI Max+ 395 (Strix Halo, Radeon 8060S, 128 GB)50——25655
Apple M4 Max (GPU 40 núcleos, 128 GB)38——546—

TOPS INT8 dense y contexto. En Ryzen AI Max+ y M4 Max el INT8 es de la NPU / Neural Engine; en el resto, de la GPU. FP4 solo existe en Blackwell (fuente: src/data/gpus.json).

Cómo leer la línea de TOPS en 2026

Con Snapdragon X2 Elite, Ryzen AI 400 y Panther Lake ya en el mercado, las NPUs de portátil se mueven entre 50 y 80 TOPS INT8 según el fabricante (las cifras concretas de cada SKU no las hemos verificado para este artículo; consúltalas en la ficha oficial antes de citarlas). El listón de Microsoft sigue en 40. Y los modelos que Windows y macOS ejecutan en local siguen siendo pequeños, porque el ancho de banda de un portátil, entre 120GB/s y 135GB/s, no ha cambiado.

Para elegir hardware de IA local, la línea de TOPS es la última que hay que mirar. Primero, cuánta memoria tiene el sistema y a qué ancho de banda (calculadora de VRAM). Segundo, qué software va a usar esa NPU: un chip con 80 TOPS y sin soporte en la aplicación que usas rinde cero. Tercero, los TOPS, y solo INT8 dense de la NPU sola. Si lo que quieres es correr un modelo de 30 000 millones de parámetros, la NPU no entra en la ecuación: mira inferencia de LLM y NPUs y edge para saber qué equipo lo mueve y a cuántos tokens por segundo (calculadora).

Lo que debes recordar

  • Un TOPS es 1012 operaciones por segundo; sin apellido, INT8 dense. Un TOPS INT4 o FP4 vale la mitad de hardware.
  • En la misma GPU, TOPS INT8 dense ≈ 2 × TFLOPS FP16 dense. «AI TOPS» de GeForce es sparse: INT8 en RTX 40, FP4 en RTX 50.
  • Copilot+ exige más de 40 TOPS en la NPU sola: Snapdragon X Elite 45, Lunar Lake 48, Ryzen AI 300 50; Apple M4 38.
  • La NPU no gana en TOPS, gana en energía por operación y en estar siempre disponible. Corre efectos de cámara, voz, embeddings y LLM pequeños cuantizados.
  • Para un LLM el techo de la NPU es el LPDDR5X compartido: 135 GB/s ÷ 3,84 GB ≈ 35 tokens/s, con el 99 % de los TOPS parados.

Para mirar en una ficha técnica

  • TOPS de la NPU: la única cifra comparable con el umbral Copilot+. Trampa: «TOPS totales» o «TOPS de plataforma» suman CPU + GPU + NPU con precisiones distintas.
  • Precisión de la cifra: debe decir INT8. Trampa: INT4 o FP4 dobla el número; «AI TOPS» en GeForce lleva sparsity encima.
  • Ancho de banda de la memoria del sistema: LPDDR5X de 128 bits son 120-135 GB/s y es el techo real de cualquier modelo de lenguaje en la NPU. Trampa: un portátil con 80 TOPS y 8 GB de RAM no corre nada útil.
  • Pila de software: Windows ML / ONNX Runtime con QNN u OpenVINO, Core ML en Mac. Trampa: la aplicación que usas tiene que soportarla, o la NPU se queda a cero.

Fuentes

  1. Microsoft Learn — Copilot+ PCs developer guide — requisito de NPU de más de 40 TOPS, plataformas admitidas (Snapdragon X, Ryzen AI 300, Core Ultra 200V), acceso vía Windows ML / ONNX Runtime, cuantización a INT8.
  2. Apple Newsroom — Apple introduces M4 chip — Neural Engine de 16 núcleos, 38 billones de operaciones por segundo.
  3. Qualcomm — Snapdragon X Elite product brief — NPU Hexagon 45 TOPS INT8, LPDDR5X-8448 de 128 bits a 135 GB/s, Adreno 4,6 TFLOPS (vía src/data/cpus.json).
  4. AMD — Ryzen AI Max+ 395 — NPU XDNA 2 «hasta 50 TOPS», «hasta 126 TOPS» de plataforma, TDP 55 W (vía src/data/gpus.json).
  5. NVIDIA — RTX Blackwell GPU architecture whitepaper — picos FP16/FP8/INT8/FP4 dense y sparse de RTX 5090 y RTX 4090, 2 048 ops INT8 por SM y ciclo en Ada (vía src/data/gpus.json).
  6. NVIDIA — Jetson AGX Orin technical brief — 170 TOPS INT8 sparse en GPU + 105 en DLA = «275 TOPS», potencia configurable 15-60 W (vía src/data/gpus.json).
  7. Nootecnia — src/data/precisions.json — convenciones INT8/INT4/FP4 y qué cifra publica cada fabricante por defecto.

Escribe para buscar en artículos, herramientas y glosario. Esc para cerrar.