Fundamentos · Componentes
Anatomía de una GPU: SMs, Tensor Cores, RT Cores, L2 y controladores de memoria
Qué hay dentro de una GPU moderna, por qué los «CUDA cores» no se pueden comparar entre marcas ni generaciones, y cómo se reconstruye el pico de TFLOPS desde el SM.
Una GPU no es «miles de núcleos». Es unas decenas o centenares de bloques idénticos colgados de una L2 compartida y de un puñado de controladores de memoria. Todo lo que aparece en la ficha (CUDA cores, Tensor Cores, RT Cores, bus, TFLOPS) se deriva de cuántos bloques hay y de qué lleva cada uno. Si entiendes el bloque, entiendes el chip.
El bloque que se repite: SM o CU
NVIDIA llama a su bloque Streaming Multiprocessor (SM); AMD, Compute Unit (CU); Intel, Xe-core. Es la unidad que el fabricante fotocopia para hacer un chip grande o pequeño: la RTX 5090 activa 170 SM, la RTX 5070 activa 48, y el SM es el mismo.
Un SM de Ada o Blackwell tiene cuatro particiones, cada una con 32 unidades FP32, un Tensor Core, un planificador de warps y un fichero de registros. El SM completo suma 128unidades FP32, 4Tensor Cores, 1RT Core, 128KB de L1/memoria compartida y cuatro unidades de textura. Eso que NVIDIA vende como «CUDA cores» son las unidades FP32: 170 × 128 = 21 760, la cifra de la ficha de la RTX 5090.
Por encima, los SM se agrupan de dos en dos en un TPC y los TPC en un GPC, que aporta rasterizador y ROP. El GB202 completo tiene 12 GPC y 192 SM; el AD102 (RTX 4090), 12 GPC y 144 SM; el GH100 (H100), 8 GPC y 144 SM. Ningún producto vende el die completo: se desactivan SM defectuosos para salvar obleas, y así la RTX 5090 usa 170 de 192, la RTX 4090 128 de 144 y la H100 SXM 132 de 144.
CUDA cores y stream processors: por qué no se comparan
Un «CUDA core» no es un núcleo. Es una unidad FP32 que hace una multiplicación-suma (FMA) por ciclo cuando el planificador le da trabajo en grupos de 32 hilos (un warp). No tiene contador de programa ni caché propios. El núcleo real es el SM.
El recuento cambia de significado entre generaciones. En Turing (RTX 20) cada partición tenía 16 unidades FP32 y 16 INT32. Ampere (RTX 30) hizo que las INT32 también ejecutaran FP32 y NVIDIA pasó a contar 32 «CUDA cores» por partición: la RTX 3090 tiene 10 496 y la RTX 2080 Ti, con un chip de área parecida, 4 352. El número se dobló sin doblar el silicio, y como esas unidades extra se reparten entre enteros y flotantes, rinden bastante menos que el doble.
Con AMD pasa algo parecido. Un CU de RDNA tiene 64 stream processors que desde RDNA 3 emiten dos instrucciones FP32 por ciclo (dual issue) si el compilador encuentra pares independientes. Los 61,4TFLOPS FP32 de la RX 7900 XTX ya incluyen el dual issue; en cargas reales se acercan más a la mitad.
Del SM al pico de TFLOPS
El número grande de la ficha se reconstruye en una línea: cada unidad FP32 hace una FMA por ciclo (dos operaciones), multiplicada por SM y frecuencia. Es el pico de los shaders del artículo sobre FLOPS.
Pico FP32 de los shaders
TFLOPS = SM × 128 × 2 (FMA) × frecuencia boost (GHz) ÷ 1 000
RTX 5090: 170 × 128 × 2 × 2,407 ÷ 1 000 = 104,8 TFLOPS
La RTX 4090: 128 × 128 × 2 × 2,52 = 82,6TFLOPS. La H100 SXM, con 132 SM a 1,98 GHz: 66,9TFLOPS FP32. Menos que una tarjeta de juegos, porque la H100 gasta su silicio en otra cosa.
Esa «otra cosa» son los Tensor Cores. Su pico depende de cuántas FMA de matriz hace cada SM por ciclo, un dato que no está en la ficha pero se despeja de los TFLOPS que sí están. Es la cifra que de verdad separa datacenter de consumo.
Ancho del Tensor Core por SM/CU
- Consumo
- Datacenter
La H100 publica 989,5 TFLOPS dense; a 2 048 FMA/ciclo eso corresponde a ≈1,83 GHz, por debajo de su boost de 1,98 GHz: NVIDIA calcula el pico de datacenter a una frecuencia sostenida más conservadora.
Pico en Tensor Cores
TFLOPS = SM × FMA de matriz por ciclo × 2 × frecuencia (GHz) ÷ 1 000
RTX 5090 FP16: 170 × 512 × 2 × 2,407 ÷ 1 000 = 419 TFLOPS dense
Un SM GeForce hace 512 FMA FP16 por ciclo (128 por Tensor Core); un SM de Hopper, 2 048. Cuatro veces más trabajo de matriz por ciclo con los mismos 128 «CUDA cores». Por eso 132 SM de H100 rinden 990TFLOPS FP16 dense y 170 SM de RTX 5090, 419. La precisión multiplica de nuevo: FP8 dobla y FP4 cuadruplica, como se detalla en precisión numérica.
Base, boost y real
La ficha da dos frecuencias. La base es la mínima garantizada bajo carga a la potencia nominal (RTX 5090: 2,01 GHz); el boost es la esperada en cargas típicas (2,41 GHz) y la que se usa para calcular los TFLOPS. La real la decide el gestor de energía en cada milisegundo: sube mientras haya margen de potencia y temperatura, y baja si se agota. Una GeForce de sobremesa con su TGP completo suele medir por encima del boost en juegos; un portátil o una tarjeta con límite recortado, por debajo. En datacenter NVIDIA hace lo contrario: publica los picos de la H100 a una frecuencia inferior al boost porque un kernel de matrices al 100 % no la sostiene a 700 W.
Entre Ampere y Ada, la frecuencia (1,70 → 2,52 GHz) aportó casi tanto como los SM (82 → 128). Entre Ada y Blackwell bajó un poco (2,52 → 2,41 GHz) y todo vino de los SM (128 → 170) y del bus (384 → 512 bits).
Tensor Cores y RT Cores: aceleradores de una sola cosa
Un Tensor Core no ejecuta programas. Recibe dos matrices pequeñas (la instrucción básica de un warp opera sobre bloques de 16×8×16 elementos en FP16), las multiplica y acumula. Así una GPU multiplica matrices a cientos de TFLOPS mientras sus unidades FP32 se quedan en decenas. Solo sirve para eso: convoluciones, capas lineales, atención.
Las generaciones se distinguen por precisiones y ancho. La 3.ª (Ampere) añadió BF16, TF32 y sparsity 2:4; la 4.ª (Ada, Hopper), FP8; la 5.ª (Blackwell), FP4 y FP6. Cada formato más corto dobla la tasa: los 1 676TFLOPS FP4 dense de la RTX 5090 son sus 419 de FP16 por cuatro.
El RT Core es aún más especializado: recorre un BVH (cajas dentro de cajas) y calcula intersecciones rayo-caja y rayo-triángulo, lo que en un shader sería lentísimo. Hay uno por SM; la 4.ª generación (Blackwell) duplica la tasa rayo-triángulo respecto a Ada. NVIDIA lo resume en «318 TFLOPS de RT» para la RTX 5090, una unidad que no mide FLOPS de nada y solo sirve para comparar dentro de NVIDIA. Importa en render 3D con Cycles u Octane y en juegos con path tracing; en IA no se usa.
AMD tiene equivalentes: AI Accelerators en RDNA, Matrix Cores en CDNA y Ray Accelerators en cada CU. La RX 9070 XT alcanza 512 FMA FP16 por ciclo y CU, la tasa de un SM GeForce; RDNA 3 se quedaba en 256.
La L2: el gran cambio de 2022
Hasta Ampere la L2 de consumo era pequeña: 6 MB en la RTX 3090. Ada la multiplicó por doce (72 MB en la RTX 4090; 96 en el AD102 completo) y Blackwell sube a 96 MB en la RTX 5090 (128 en el die). AMD había hecho lo mismo antes con la Infinity Cache: 96 MB en la RX 7900 XTX, 256 MB en la MI300X.
Última caché en el die
- L2 (NVIDIA)
- Infinity Cache (AMD)
La razón es económica. Cada bit de bus cuesta pines, trazas y chips de GDDR; una caché grande cuesta área de silicio, más barata en 4 nm que ampliar el bus. Con 72 MB, buena parte de los accesos de un juego a 4K o de un kernel con reutilización se resuelven dentro del chip, a mucho más ancho de banda y sin gastar energía en sacar bits del die. Así una RTX 4070 de 192 bits iguala a tarjetas anteriores con buses más anchos. Cuando la carga no tiene localidad (leer 40 GB de pesos una vez por token), la L2 no ayuda: manda la memoria, como explican ancho de banda y jerarquía de memoria.
Controladores de memoria: de dónde sale el bus
El «bus de 512 bits» no es un cable. Son controladores independientes de 32 bits en GDDR, cada uno con su chip de memoria (o dos en modo clamshell, como hace la RTX PRO 6000 para llegar a 96 GB con el mismo bus). La RTX 5090 tiene 16; la RTX 4090, 12; la RTX 5070, 6. La L2 está partida en rebanadas ligadas a cada controlador: al recortar el bus (RTX 5080, 256 bits) se recorta la L2 (64 MB) porque van juntas.
Bus y ancho de banda desde los controladores
bus (bits) = controladores × 32 · GB/s = bus × Gbps por pin ÷ 8
RTX 5090: 16 × 32 = 512 bits · 512 × 28 ÷ 8 = 1 792 GB/s
En HBM la cuenta es por pila, cada una con 1 024 bits: la H100 SXM activa 5 de 6 (5 120 bits) y la B200 monta 8 (8 192 bits). Un bus diez veces más ancho que el de una GeForce con pines mucho más lentos: 8 192 × 7,8 Gbps ÷ 8 ≈ 8 000GB/s en la B200.
Cada controlador desactivado se lleva capacidad y ancho de banda: dos tarjetas del mismo chip con 12 y 16 GB no tienen chips distintos, tienen controladores activos distintos.
Cuatro chips, tres estrategias
| Equipo | Arquitectura | Bus (bits) | Ancho de banda (GB/s) | FP32 (TFLOPS) | FP16/BF16 dense (TFLOPS) | FP64 (TFLOPS) | TDP (W) |
|---|---|---|---|---|---|---|---|
| GeForce RTX 4090 | Ada Lovelace (AD102) | 384 | 1 008 | 82,6 | 330 | 1,29 | 450 |
| GeForce RTX 5090 | Blackwell (GB202) | 512 | 1 792 | 105 | 419 | 1,64 | 575 |
| NVIDIA RTX PRO 6000 Blackwell Workstation Edition | Blackwell (GB202) | 512 | 1 792 | 126 | 500 | 1,97 | 600 |
| NVIDIA H100 SXM5 80 GB | Hopper (GH100) | 5 120 | 3 350 | 67 | 990 | 34 | 700 |
| NVIDIA B200 SXM (HGX B200) | Blackwell (B200, 2 dies) | 8 192 | 8 000 | 75 | 2 250 | 37 | 1 000 |
Cuatro dies, tres estrategias: los mismos 128 FP32 por SM, pero Tensor Cores, bus y FP64 muy distintos (fuente: src/data/gpus.json; Tensor dense, en GeForce con acumulación FP16).
Los cuatro comparten proceso (TSMC 4N o su refinamiento 4NP) y el SM de 128 FP32; puedes ponerlos lado a lado en el comparador de GPUs. Se diferencian en dónde gastan el área:
- AD102 y GB202 (GeForce, RTX PRO): rasterización, RT Cores, motores de vídeo y L2 enorme. Tensor Cores estrechos y FP64 capada a 1/64 (1,64TFLOPS en la RTX 5090). Para render, juegos, vídeo e inferencia local.
- GH100: Tensor Cores cuatro veces más anchos, FP64 completa (34TFLOPS vector, 67 en Tensor Core), HBM y NVLink. Sin RT Cores ni salidas de vídeo. Para entrenamiento y simulación.
- B200 llega al límite físico: el GH100 ya medía 814 mm², rozando los 858 mm² que una máquina de litografía expone de una vez (el retículo). Para crecer, NVIDIA une dos dies con un enlace de 10 TB/s y los presenta como una sola GPU de 208 000 millones de transistores. AMD lo hizo antes y con más piezas: la MI300X apila 8 chiplets de cálculo (XCD) sobre 4 de E/S, 153 000 millones en total.
El nodo marca el ritmo. Pasar de 4N a N3 da más transistores por mm², pero la oblea encarece tanto que el coste por transistor apenas baja. Por eso la RTX 5090 mide 750 mm² en el mismo nodo que la 4090 en vez de encoger: la forma barata de añadir SM fue añadir área. Y por eso su TGP subió de 450 a 575W, como se ve en energía y térmica.
Lo que debes recordar
- La unidad de una GPU es el SM (NVIDIA) o CU (AMD). Un «CUDA core» es una unidad FP32 dentro del SM; su recuento no se compara entre marcas ni generaciones.
- Pico FP32 = SM × 128 × 2 × GHz. Pico Tensor = SM × FMA de matriz por ciclo × 2 × GHz, y esa tasa por SM es 4 veces mayor en Hopper que en GeForce.
- Tensor Cores solo multiplican matrices; RT Cores solo recorren BVH. Fuera de su carga no aportan nada.
- La L2 grande (72-96 MB) sustituye anchura de bus en juegos y kernels con localidad; no ayuda a leer 40 GB de pesos.
- El bus son controladores de 32 bits (GDDR) o pilas de 1 024 bits (HBM). Recortarlos recorta capacidad, ancho de banda y L2 a la vez.
Para mirar en una ficha técnica
- SM / CU: el recuento que sí escala dentro de una misma arquitectura. Trampa: comparar CUDA cores con stream processors, o Ampere con Turing.
- Boost clock: la frecuencia con la que se calculan los TFLOPS de la ficha. Trampa: en portátiles y modelos con TGP recortado la real queda por debajo.
- Generación de Tensor Core: qué precisiones acelera (FP8 desde la 4.ª, FP4 desde la 5.ª). Trampa: «AI TOPS» es FP4 (o INT4) con sparsity; entre 2 para dense, entre 4 para compararlo con FP8.
- L2 / Infinity Cache: en MB. Trampa: «ancho de banda efectivo» que suma la caché a la memoria.
- Bus (bits): ÷ 32 = controladores activos; × Gbps ÷ 8 = GB/s. Trampa: mismo nombre comercial con buses distintos en portátil y sobremesa.
- RT TFLOPS: cifra propia de NVIDIA. Trampa: no son FLOPS y no sirven contra AMD.
Fuentes
- NVIDIA RTX Blackwell GPU Architecture (whitepaper) — SM de 128 FP32 y 4 Tensor Cores, GB202 con 192 SM y 128 MB de L2, picos dense/sparse por precisión, 4.ª generación de RT Cores.
- NVIDIA Ada GPU Architecture (whitepaper) — AD102: 144 SM, 96 MB de L2, 76,3 mil millones de transistores, 3.ª generación de RT Cores, picos Tensor con acumulación FP16 y FP32.
- NVIDIA GeForce RTX 5090 — especificaciones — 21 760 CUDA cores, base 2,01 GHz y boost 2,41 GHz, 318 «RT TFLOPS», 3 352 AI TOPS, bus de 512 bits, 575 W.
- NVIDIA H100 Tensor Core GPU — picos por precisión (sparse en la ficha), 50 MB de L2, HBM3 a 3,35 TB/s, 700 W.
- NVIDIA HGX B200 — picos por GPU derivados de la plataforma de 8, 180 GB HBM3e y 8 TB/s.
- Wikipedia — Ada Lovelace (microarchitecture) — tabla de dies: AD102 609 mm², 12 GPC, 144 SM, 576 Tensor Cores y 144 RT Cores; comparación de L2 GA102 (6 MB) vs AD102 (72/96 MB).
- Wikipedia — Blackwell (microarchitecture) — GB202 750 mm², 12 GPC, 192 SM, 24 576 CUDA cores, L2 por die (128/64/48 MB), dos dies GB100 unidos a 10 TB/s, 4NP vs 4N.
- Wikipedia — Hopper (microarchitecture) — GH100 814 mm², 80 mil millones de transistores, 144 SM totales, 132 activos en H100 SXM a 1 980 MHz.
- AMD Radeon RX 9070 XT — especificaciones — 64 CU, 4 096 stream processors, boost 2 970 MHz, 64 MB de Infinity Cache, picos FP16/FP8/INT8 dense y sparse.
- AMD Instinct MI300X — 304 CU, 8 XCD + 4 IOD, 153 mil millones de transistores, 256 MB de Infinity Cache, picos matriciales dense/sparse.