Equipos para IA · Datacenter

Aceleradores de datacenter: H100, H200, B200, B300, MI300X, MI355X, TPU y Trainium

Qué diferencia a un acelerador de datacenter de una GPU de sobremesa: HBM, NVLink, 1 000 W y racks de 72 GPU. Las cifras dense reales, las trampas de ficha y por qué se alquilan por horas.

Un acelerador de datacenter no es una RTX 5090 con más memoria. Es un chip diseñado alrededor de dos cuellos de botella que en sobremesa no existen: alimentar miles de Tensor Cores con memoria HBM a 8 TB/s y hablar con otros 71 chips como si fueran uno solo. Todo lo demás, los petaFLOPS, los 1 000 W y los 30 000 dólares, se deriva de esas dos decisiones.

Qué cambia respecto a una GPU de sobremesa

Tres cosas, y ninguna es el número de núcleos. La primera es la memoria: en lugar de chips GDDR7 soldados alrededor de la GPU, el acelerador lleva pilas de HBM apiladas en el mismo sustrato, con buses de 5 120bits a 8 192bits frente a los 512bits de una RTX 5090. La segunda es la interconexión: NVLink, Infinity Fabric o ICI ofrecen entre 900GB/s y 1 800GB/s sumando sentidos entre chips, cuando PCIe 5.0 ×16 se queda en 128GB/s. La tercera es la forma física: módulos SXM (NVIDIA) u OAM (AMD, el estándar abierto del OCP) que se atornillan a una placa base de 8 GPU con refrigeración líquida y consumen entre 700W y 1 400W cada uno. Las versiones PCIe existen (H100 NVL, H200 NVL, MI300X en tarjeta), pero rinden un 15 % menos y pierden parte de la interconexión.

H100 SXM3 350GB/s80 GB HBM3 · 700 W
B200 SXM8 000GB/s180 GB HBM3e · 1 000 W
MI355X8 000GB/s288 GB HBM3e · 1 400 W
RTX 50901 792GB/s32 GB GDDR7 · 575 W

La tabla que importa: memoria, cómputo y vatios

Las cifras de abajo son dense, es decir, sin sparsity 2:4. NVIDIA publica casi todo con sparsity y AMD publica ambas columnas; para comparar hay que bajar todo al mismo suelo. Si te suena raro que la H200 rinda exactamente lo mismo que la H100, no es una errata: es el mismo chip GH100 con memoria distinta.

Aceleradores GPU de NVIDIA y AMD, cifras dense por chip en módulo SXM/OAM (fuente: src/data/gpus.json, a partir de fichas oficiales).
EquipoMemoria (GB)Ancho de banda (GB/s)FP16/BF16 dense (TFLOPS)FP8 dense (TFLOPS)FP4 dense (TFLOPS)TDP (W)
NVIDIA H100 SXM5 80 GB803 3509901 979—700
NVIDIA H200 SXM 141 GB1414 8009901 979—700
NVIDIA B200 SXM (HGX B200)1808 0002 2504 5009 0001 000
NVIDIA B300 (Blackwell Ultra)2888 0002 5005 00015 0001 400
AMD Instinct MI300X1925 3001 3072 615—750
AMD Instinct MI325X2566 0001 3072 615—1 000
AMD Instinct MI355X2888 0002 5005 00010 1001 400

Aceleradores GPU de NVIDIA y AMD, cifras dense por chip en módulo SXM/OAM (fuente: src/data/gpus.json, a partir de fichas oficiales).

Los aceleradores que no son GPU no caben en esa tabla porque sus fabricantes publican menos campos. Google y AWS dan capacidad, ancho de banda y un pico de cómputo, y poco más:

Chip HBM Ancho de banda Pico publicado Interconexión por chip
Google TPU v6e Trillium (2024) 32 GB 1 638 GB/s 918 TFLOPS BF16 · 1 836 TOPS INT8 ICI 800 GB/s bidireccional
Google TPU v7 Ironwood (2025) 192 GB HBM3e 7 380 GB/s 4 614 TFLOPS FP8 · 2 307 BF16 ICI 1 200 GB/s bidireccional
AWS Trainium2 (2024) 96 GB HBM3 ≈ 2 900 GB/s ≈ 1 300 TFLOPS FP8 NeuronLink (no publicado por chip)
AWS Trainium3 (2025) 144 GB HBM3e 4 900 GB/s ≈ 2 500 TFLOPS MXFP8 NeuronSwitch, 2× Trainium2

Las cifras de Trainium marcadas con ≈ están derivadas: AWS publica 20,8PFLOPS FP8 y 46TB/s por instancia de 16 chips Trainium2, y 362PFLOPS MXFP8 por UltraServer de 144 chips Trainium3. Dividir es todo lo que hemos hecho. Google no dice si sus TFLOPS son dense o sparse; los TPU no tienen sparsity estructurada al estilo NVIDIA, así que los tratamos como dense.

Ancho de banda HBM por chip

  • NVIDIA
  • AMD
  • Google
  • AWS
05k10kB3008 000 GB/sB2008 000 GB/sMI355X8 000 GB/sTPU v7 Ironwood7 380 GB/sMI325X6 000 GB/sMI300X5 300 GB/sTrainium34 900 GB/sH2004 800 GB/sH1003 350 GB/sTrainium22 900 GB/sTPU v6e Trillium1 638 GB/sGB/s
Ancho de banda de HBM por chip, en GB/s. Cuatro chips distintos de tres fabricantes convergen en los 8 TB/s: es el techo de 8 pilas HBM3e a ≈ 7,8 Gbps (fuentes: fichas oficiales de NVIDIA, AMD, Google y AWS).

Por qué la HBM decide más que los FLOPS

Un acelerador de 2026 puede hacer varios petaFLOPS por segundo, pero solo si los operandos llegan. El modelo roofline lo resume en un número: la intensidad aritmética a partir de la cual el chip deja de esperar a la memoria. Lo revelador es que ese punto de cruce apenas se ha movido de Hopper a Blackwell a la misma precisión: NVIDIA ha subido la HBM al mismo ritmo que los Tensor Cores porque, si no, los FLOPS extra no servirían de nada.

Punto de cruce (ridge point)

FLOP/byte = pico de cómputo (FLOPS) ÷ ancho de banda (B/s)

H100 FP8: 1 979 × 10¹² ÷ 3,35 × 10¹² ≈ 591 FLOP/byte · B200 FP8: 4 500 ÷ 8 ≈ 563 FLOP/byte

La H100 necesita 591 operaciones por cada byte leído para saturar sus Tensor Cores en FP8; la B200, 563. El cómputo creció 2,3 veces y la HBM 2,4: el equilibrio se conserva. Lo que sí desplaza el techo es bajar de precisión en el mismo chip: en BF16 la H100 cruza a 295 FLOP/byte y en NVFP4 la B200 a 1 125 (9 000 ÷ 8). Generar tokens uno a uno tiene una intensidad de 1 a 2 FLOP/byte, muy por debajo de cualquiera de esos techos: en decode la GPU está limitada por memoria y lo que cuenta es el GB/s.

La pareja H100/H200 es el experimento controlado perfecto. Mismo silicio, mismos 1 979TFLOPS FP8 dense, pero la H200 activa la sexta pila de HBM y pasa a HBM3e: 141GB y 4 800GB/s frente a 80GB y 3 350GB/s. En inferencia de un LLM, donde cada token obliga a leer todos los pesos, eso se traduce directo en tokens por segundo.

Techo de tokens por segundo (batch 1, decode)

tokens/s ≈ ancho de banda (GB/s) ÷ tamaño del modelo (GB)

Llama 3.3 70B en FP8 (≈ 70 GB): H100 3 350 ÷ 70 ≈ 48 tok/s · H200 4 800 ÷ 70 ≈ 69 tok/s

Un 43 % más de ancho de banda son un 43 % más de tokens con exactamente los mismos FLOPS. Además, en la H100 de 80 GB el modelo de 70 GB apenas deja sitio para el KV cache; en la H200 sobran 70 GB para contextos largos o más usuarios en paralelo. Puedes repetir el cálculo con cualquier modelo en el estimador de tokens por segundo.

  • NVIDIA
  • AMD
  • TPU / Trainium
02k4k02k4k6k8kAncho de banda HBM (GB/s)FP8 dense (TFLOPS)H100H200B200B300MI300XMI325XMI355XTPU v7Trainium2Trainium3
Ancho de banda de HBM frente a cómputo FP8 dense por chip. Casi todos los puntos caen sobre la misma diagonal de 500-630 FLOP/byte: los fabricantes escalan HBM y cómputo a la par (fuentes: fichas oficiales; Trainium derivado de cifras por instancia).

La MI355X y la B300 comparten esquina: 288GB de HBM3e en pilas de 12 capas, 8TB/s y 5PFLOPS FP8 dense. Se diferencian en lo que hay debajo. AMD conserva 78,6TFLOPS FP64 vector y matrix, útil en simulación científica; NVIDIA ha recortado el FP64 de Blackwell Ultra a unos 1,4TFLOPS por GPU y el INT8 a una fracción del B200, para dedicar el silicio a NVFP4 y a la atención. Un B300 no es un chip de HPC; es un chip de inferencia.

Lo que viene: HBM4 y Rubin

La siguiente palanca es el ancho de bus de la propia HBM. HBM4 duplica los bits por pila, de 1 024 a 2 048, de modo que 8 pilas suman 16 384bits; SK hynix y Micron ya fabrican en volumen pilas de 36 GB a 10-11 Gbps que superan los 2,5 TB/s cada una. NVIDIA ha anunciado Rubin con 288GB de HBM4 y unos 22 TB/s por GPU, y AMD la MI455X con 12 pilas, 432 GB y 23,3 TB/s. A fecha de este artículo son cifras anunciadas, no medidas en producto: las tratamos como orientativas hasta que existan fichas oficiales y unidades enviadas. Lo que sí es seguro es la dirección: el ancho de banda por chip se acerca a triplicarse en dos años, más deprisa de lo que ha crecido nunca, porque es la variable que el mercado de inferencia está pagando.

Un modelo de 671 000 millones de parámetros como DeepSeek-V3 pesa unos 671GB en FP8. No cabe en ningún chip, así que se reparte entre varios y cada capa intercambia activaciones con sus vecinos varias veces por token. El ancho de banda entre chips pasa a ser el segundo cuello de botella, y aquí las interconexiones de datacenter se separan del mundo PCIe por un orden de magnitud.

NVLink 4 (H100, H200) ofrece 900GB/s por GPU sumando sentidos; NVLink 5 (B200, B300) lo dobla a 1 800GB/s con el mismo número de enlaces, 18, gracias a SerDes de 200 Gb/s. AMD cuenta distinto: siete enlaces Infinity Fabric de 128GB/s bidireccionales en la MI300X, 896GB/s en total, casi lo mismo que NVLink 4; en la MI355X los enlaces suben a 153GB/s. Google conecta cada TPU v7 con 1 200GB/s de ICI en topología de toro 3D, sin switch central, y llega a 9 216 chips por pod. Por debajo de esos enlaces está siempre la red de scale-out: InfiniBand XDR o Ethernet de 800 Gb/s, 100GB/s por puerto y sentido, para unir racks.

HBM3e186 GB por GPUGPUB200 (GB200)NVLink Switch9 bandejas · 18 chipsRed scale-outInfiniBand XDR / 800 GbE8 TB/sNVLink 5 · 1,8 TB/s bidir.800 Gb/s por puerto · 100 GB/s
Ruta de datos de una GPU B200 dentro de un GB200 NVL72: cada salto es un orden de magnitud más lento que el anterior (fuentes: NVIDIA, IBTA).

El GB200 NVL72 es la consecuencia lógica: si el interconnect manda, vende el rack, no el chip. Son 36 superchips Grace-Blackwell, cada uno con una CPU Grace y dos GPU B200 unidas por NVLink-C2C, y nueve bandejas de NVLink Switch que hacen que las 72 GPU se vean entre sí a la velocidad completa de NVLink 5. El resultado es un dominio de 13,4TB de HBM y 576TB/s agregados que el software puede tratar como una sola GPU gigante.

NVLink agregado de un rack NVL72

TB/s = número de GPU × ancho de banda NVLink por GPU (bidireccional)

72 × 1,8 TB/s = 129,6 TB/s ≈ «130 TB/s»

La cifra de marketing sale de sumar el enlace de cada GPU en ambos sentidos. Por sentido son 64,8 TB/s, y el NVLink del rack es aproximadamente una cuarta parte de su ancho de banda de HBM agregado (576 TB/s). Ese ratio de 1:4 es lo que hace viable el tensor parallel a 72 vías: mover activaciones cuesta, pero no tanto como leer pesos. GB300 NVL72 mantiene los 130 TB/s y sube la HBM a 288 GB por GPU.

72 GPU × 186 GB = 13,4 TB de HBM en un solo dominio NVLink

TPU y Trainium: la otra manera de construir un acelerador

Google y AWS no fabrican GPU. Sus chips son ASIC de multiplicación de matrices: unidades sistólicas grandes, sin sombreadores, sin RT Cores, sin FP64 serio, con un compilador (XLA, Neuron) que decide de antemano cómo fluyen los datos. Eso les quita flexibilidad y les da eficiencia por vatio y por dólar, que es lo que importa cuando eres el único cliente de tu propio chip.

La TPU v7 Ironwood es la primera generación de Google con cifras de GPU grande: 4 614TFLOPS FP8, 192GB de HBM3e en 8 pilas y 7 380GB/s. Su punto de cruce en FP8 es ≈ 625 FLOP/byte, prácticamente el de la MI355X. El salto desde Trillium (v6e), con 918TFLOPS BF16, 32GB y 1 638GB/s, es de 4,5 veces en ancho de banda y 6 en capacidad: Google ha pasado de un chip pensado para entrenar en pods de 256 a uno pensado para servir modelos grandes con KV cache largo. Ironwood no está a la venta; solo se alquila en Google Cloud.

Trainium2 sigue la misma lógica con números más modestos por chip, ≈ 1 300TFLOPS FP8 y 96GB HBM3, compensados por la escala: la instancia trn2.48xlarge lleva 16 chips y el UltraServer une 64 con NeuronLink en un dominio de 6TB de HBM. Trainium3 pasa a HBM3e, 144GB y 4,9TB/s por chip, y el UltraServer escala a 144 chips con un switch dedicado. AWS vende estas instancias con un argumento único, un 30-40 % mejor precio por rendimiento que sus propias instancias con H100/H200, y el precio lo fija AWS, así que la comparación es tan verificable como cualquier folleto.

Las trampas de las fichas de datacenter

Hay una quinta que no está en la ficha sino en el titular: «30 veces más rápido que H100 en inferencia». NVIDIA lo mide con un modelo de 1,8 billones de parámetros, en FP4 contra FP8, en un NVL72 con NVLink contra 8 H100 conectadas por InfiniBand. Cada una de esas tres condiciones aporta parte del factor. Chip contra chip, misma precisión, la ganancia de B200 sobre H100 está más cerca de 2,3× en FLOPS y 2,4× en ancho de banda.

Cuánto cuesta y por qué se alquila

Ningún acelerador de esta página tiene precio de lista. Las cifras que circulan, unos 25 000-30 000 dólares por H100 y 30 000-40 000 por B200, salen de integradores y analistas, y los grandes clientes negocian muy por debajo. Lo que sí es público es el precio por hora en la nube, y es la referencia útil.

A100 80 GB2,79$/hLambda, on-demand, 8× GPU
H100 SXM4,29$/hLambda, on-demand, 1× GPU
B200 SXM6,99$/hLambda, on-demand, 1× GPU

Horas de alquiler que paga una compra

horas = precio de compra ($) ÷ precio por hora ($/h)

H100: 30 000 ÷ 4,29 ≈ 6 993 h ≈ 291 días a jornada completa

Si la vas a usar las 24 horas durante un año, comprar sale a cuenta antes de acabar el año, y eso sin contar el servidor de 8 bahías, la refrigeración, los 700 W por GPU y la persona que la mantiene. Si la usas 8 horas al día laborable, unas 2 000 al año, la compra tarda tres años y medio en amortizarse: para entonces hay dos generaciones nuevas y el chip vale una fracción. Por eso casi todo el mundo alquila, y por eso el mercado de segunda mano de A100 y H100 existe.

Dividir el precio por hora entre el cómputo cambia el orden de la tabla. Una H100 a 4,29 $/h son 2,17 $ por PFLOPS-hora FP8 dense; una B200 a 6,99 $/h son 1,55 $. El chip caro es el barato por unidad de trabajo, siempre que la carga sea capaz de saturarlo: un fine-tuning pequeño o una inferencia en batch 1 no lo hará, y entonces la H100 más barata rinde igual por dólar. La misma cuenta aplica al vatio: la B200 consume un 43 % más que la H100 y rinde 2,3 veces más, así que hace 4,5TFLOPS/W FP8 frente a 2,8TFLOPS/W. En un datacenter donde la potencia contratada es el recurso escaso, esa segunda cifra decide qué se instala.

B200: 6,99 $/h ÷ 4,5 PFLOPS = 1,55 $ por PFLOPS-hora · H100: 4,29 ÷ 1,979 = 2,17 $

Lo que debes recordar

  • Un acelerador de datacenter se define por su HBM (5 120-8 192 bits, 3,35-8 TB/s) y su interconexión (0,9-1,8 TB/s por chip), no por sus núcleos.
  • Compara siempre cifras dense y de la misma precisión: H100 son 1 979 TFLOPS FP8, no 3 958; B200 son 4 500, no 9 000.
  • H100 y H200 tienen el mismo cómputo; la H200 gana en inferencia solo por ancho de banda y capacidad. Es la mejor prueba de que la memoria manda.
  • GB200 NVL72 se vende como un rack porque el NVLink agregado (130 TB/s, 72 × 1,8) permite tratar 72 GPU como una; ese es el producto, no el chip.
  • TPU y Trainium no se compran: se alquilan. Compáralos con GPU en GB y GB/s, que es lo que sus fabricantes publican de forma comparable.
  • Alquilar cuesta 4-7 $/h por GPU; comprar sale a cuenta solo con uso continuo durante más de un año.

Para mirar en una ficha técnica

  • Memoria (GB) y ancho de banda (TB/s): son las dos líneas que separan generaciones. Trampa: «192 GB» brutos frente a 180 usables; «por GPU» que en realidad es por superchip.
  • TFLOPS por precisión: busca la palabra «dense» o «sin sparsity»; si la ficha solo da una cifra, en NVIDIA es sparse y hay que dividir entre 2 (salvo NVFP4 en B300). Trampa: comparar FP4 de uno con FP8 de otro.
  • Interconexión (GB/s): siempre es bidireccional en todos los fabricantes; por sentido es la mitad. Trampa: sumar los enlaces de todo el rack y llamarlo ancho de banda «del sistema».
  • TDP y forma (SXM/OAM/PCIe): la versión PCIe rinde ~15 % menos y pierde parte del NVLink. Trampa: cifras de la versión líquida de 1 200-1 400 W aplicadas a un servidor de aire.
  • FP64 e INT8: si haces HPC clásico, mira que no estén recortados (B300 los reduce ~27× respecto a B200; MI355X los mantiene).

Fuentes

  1. NVIDIA H100 Tensor Core GPU — 80 GB HBM3, 3,35 TB/s, cifras Tensor con sparsity (divididas entre 2), NVLink 900 GB/s, 700 W.
  2. NVIDIA H200 Tensor Core GPU — 141 GB HBM3e, 4,8 TB/s, mismo cómputo que H100.
  3. NVIDIA HGX platform (B200/B300) y DGX B200 — cifras por 8 GPU de las que se derivan 180 GB, 8 TB/s y 4,5 PFLOPS FP8 dense por B200.
  4. NVIDIA GB200 NVL72 — 72 GPU, 13,4 TB HBM3e, 576 TB/s, 130 TB/s de NVLink, cifras por superchip, claim de 30× frente a H100.
  5. Inside NVIDIA Blackwell Ultra (blog técnico de NVIDIA) — B300: 288 GB, NVFP4 15 dense / 20 sparse PFLOPS, recorte de FP64 e INT8.
  6. AMD Instinct MI300X — 192 GB HBM3, 5,3 TB/s, tabla dense/sparse, Infinity Fabric 7 × 128 GB/s, 750 W.
  7. AMD Instinct MI355X — 288 GB HBM3e, 8 TB/s, FP8 5 PFLOPS dense, FP64 78,6 TFLOPS, 1 400 W.
  8. Google Cloud — TPU7x (Ironwood) — 4 614 TFLOPS FP8, 2 307 BF16, 192 GiB, 7 380 GB/s, ICI 1 200 GB/s, 9 216 chips por pod.
  9. Google Cloud — TPU v6e (Trillium) — 918 TFLOPS BF16, 32 GB, 1 638 GB/s, ICI 800 GB/s, pods de 256 chips.
  10. Amazon EC2 Trn2 instances — 16 chips, 20,8 PFLOPS FP8, 1,5 TB HBM3, 46 TB/s; UltraServer de 64 chips; claim de 30-40 % de precio-rendimiento.
  11. AWS Trainium — Trainium3: 144 GB HBM3e, 4,9 TB/s por chip, 362 PFLOPS MXFP8 por UltraServer de 144 chips.
  12. Lambda GPU Cloud — precios — 4,29 $/h H100 SXM, 6,99 $/h B200, 2,79 $/h A100, on-demand a 22-09-2026.
  13. Datasets de Nootecnia: gpus.json, interconnects.json, memory-tech.json — cifras dense normalizadas, NVLink 4/5, XGMI, HBM2e-HBM4 y anuncios de Rubin/MI455X con sus fuentes primarias.

Escribe para buscar en artículos, herramientas y glosario. Esc para cerrar.