Fundamentos · Interconexión

PCIe, NVLink, Infinity Fabric, Thunderbolt y red: mover datos entre chips

Cuánto mueve de verdad cada enlace (por sentido, no sumado), por qué multi-GPU sin NVLink cojea, qué hacen los carriles de la CPU y cuándo la red es el cuello de botella.

Una GPU lee su propia memoria a 1 792GB/s o a 8 000GB/s. Todo lo que no está en esa memoria llega por un enlace veinte, cincuenta o cien veces más lento: PCIe desde la CPU, NVLink desde otra GPU, Thunderbolt desde fuera de la caja, Ethernet desde otro nodo. La jerarquía de memoria no termina en la DRAM: sigue por estos cables, y cada escalón cuesta un orden de magnitud. Este artículo pone cifras a cada escalón y explica por qué el número del folleto suele ser el doble del real.

Por sentido o sumado: la trampa antes de empezar

Casi todos estos enlaces son full-duplex: pueden transmitir y recibir a la vez, cada sentido con su propio cableado. Eso deja dos maneras de anunciar la velocidad. NVIDIA y AMD publican la suma de los dos sentidos: los «900 GB/s» de NVLink 4 son 450GB/s de ida más 450 de vuelta. Intel, USB-IF, IEEE e InfiniBand publican la cifra por sentido: los «80 Gbps» de Thunderbolt 5 son 80 transmitiendo y otros 80 recibiendo al mismo tiempo. Las dos convenciones usan la misma palabra, «bidireccional», para cosas distintas.

Con esa regla, el mapa completo cabe en una figura. Fíjate en que hay tres grupos separados por un orden de magnitud: lo que sale por un cable externo (Thunderbolt, Ethernet), lo que une CPU y tarjetas dentro de la caja (PCIe) y lo que une GPUs de datacenter entre sí (XGMI, NVLink).

GB/s por sentido

05001kNVLink 5 (B200)900 GB/sNVLink 4 (H100)450 GB/sNVLink-C2C (GH200)450 GB/sXGMI (MI300X)448 GB/sPCIe 6.0 ×16121 GB/s800 GbE / IB XDR100 GB/sPCIe 5.0 ×1663 GB/s400 GbE / IB NDR50 GB/sPCIe 4.0 ×1631,5 GB/sTB5 (túnel PCIe)8 GB/sGB/s

Cifras tras codificación de línea y sin descontar cabeceras; una copia real queda un 5-10 % por debajo.

Ancho de banda por sentido de los enlaces habituales, en GB/s. Thunderbolt 5 aparece por su túnel PCIe (64 Gbps), que es lo que ve una eGPU (fuentes: PCI-SIG, NVIDIA, AMD, Intel, IEEE, IBTA; ver src/data/interconnects.json).

PCIe: carriles, generaciones y la fórmula

PCI Express es el enlace universal: GPU, NVMe, tarjetas de red y el chipset cuelgan de él. Se vende en carriles (×1, ×4, ×8, ×16) y en generaciones, y cada generación dobla la velocidad por carril. La ficha da la tasa de transferencia en GT/s (gigatransferencias por segundo); para pasar a bytes hay que descontar la codificación de línea, que en PCIe 3.0-5.0 es 128b/130b (por cada 130 bits transmitidos, 128 son datos).

Ancho de banda PCIe por sentido

GB/s = carriles × GT/s × (128 ÷ 130) ÷ 8

PCIe 5.0 ×16: 16 × 32 × 0,985 ÷ 8 = 63,0 GB/s

Cada carril de PCIe 5.0 corre a 32GT/s. Con 16 carriles y la codificación 128b/130b salen 63GB/s por sentido, que NVIDIA redondea a 64 y suma a «128 GB/s». PCIe 4.0 ×16, a 16 GT/s, da la mitad: 31,5GB/s. Y un NVMe PCIe 5.0 ×4 tiene un techo de 4 × 32 × 0,985 ÷ 8 = 15,8GB/s, de ahí los «14 GB/s» de las fichas. PCIe 6.0 cambia a señalización PAM4 y paquetes FLIT con corrección de errores: 64 GT/s por carril, 121GB/s por sentido en ×16 tras descontar FEC y CRC.

PCIe por generación, configuración ×16. PCIe 7.0 está ratificado pero sin productos a septiembre de 2026 (fuente: src/data/interconnects.json).
EquipoGT/s por carrilGB/s por laneGB/s por direcciónGB/s bidireccional
PCI Express 4.0161,9731,563
PCI Express 5.0323,9463126
PCI Express 6.0647,56121242
PCI Express 7.0 (especificación, sin productos)12815,1242484

PCIe por generación, configuración ×16. PCIe 7.0 está ratificado pero sin productos a septiembre de 2026 (fuente: src/data/interconnects.json).

Dos cosas que la fórmula no dice. Primera: doblar la generación no baja la latencia. Una lectura de la GPU a memoria del host sigue costando del orden de 0,5-1 µs en PCIe 4.0 y 5.0 (Chips and Cheese midió 785 ns en Arrow Lake), unas diez veces más que un fallo de caché a DRAM. Segunda: la GPU y la ranura negocian el mínimo de ambos. Una RTX 4090 (PCIe 4.0) en una placa PCIe 5.0 va a 31,5 GB/s, y una RTX 5090 en una placa PCIe 4.0, también.

PCIe está pensado para que una CPU hable con muchos periféricos. Cuando ocho GPUs tienen que intercambiar gradientes decenas de veces por segundo, 63 GB/s por sentido y un salto por la CPU se quedan cortos. NVIDIA y AMD resolvieron el problema con enlaces propietarios GPU-a-GPU que no pasan por el host.

NVLink es una colección de enlaces punto a punto. La H100 SXM lleva 18 a 25GB/s por sentido cada uno: 450GB/s por sentido, «900 GB/s» en la ficha, siete veces PCIe 5.0 ×16. La B200 mantiene los 18 enlaces pero dobla el SerDes: 900GB/s por sentido, «1,8 TB/s» en la ficha. Los 18 enlaces no van cada uno a una GPU distinta: en un HGX de 8 GPUs todos entran en chips NVSwitch, que conmutan de forma que cualquier GPU habla con cualquier otra a los 450 (o 900) GB/s completos, sin bloqueo. NVIDIA anuncia el resultado como «NVLink total 7,2 TB/s» (H100) o «14,4 TB/s» (B200): es 8 GPUs × la cifra sumada por GPU, no un ancho de banda nuevo. El GB200 NVL72 escala la misma idea a 72 GPUs en un rack con «130 TB/s»: 72 × 1,8.

NVLink-C2C aplica la misma familia de SerDes a un enlace chip-a-chip dentro del sustrato: en GH200 une la CPU Grace y la GPU Hopper a 450GB/s por sentido con coherencia de memoria, de modo que la GPU ve los 480 GB de LPDDR5X de la CPU como memoria propia lenta. Rápido en ancho de banda, no en latencia: Chips and Cheese midió unos 800ns para que Grace lea la HBM del Hopper, peor que el Infinity Fabric entre sockets de AMD.

Infinity Fabric / XGMI es la respuesta de AMD. La MI300X tiene 7 enlaces de 64GB/s por sentido (AMD dice «128 GB/s bidirectional» por enlace): 448GB/s por sentido en total, prácticamente la cifra de NVLink 4. La diferencia está en la topología: la plataforma de 8 MI300X es una malla directa sin switch, cada par de GPUs comparte exactamente un enlace de 64 GB/s. El agregado es el mismo que en un HGX H100; el ancho de banda entre dos GPUs concretas es siete veces menor. En colectivos bien repartidos (anillos que usan todos los enlaces a la vez) apenas se nota; en patrones all-to-all, sí.

PCIe 5.0 ×1663GB/spor sentido · CPU ↔ GPU
XGMI MI300X448GB/spor sentido · 7 enlaces, malla
NVLink 4 (H100)450GB/spor sentido · vía NVSwitch
NVLink 5 (B200)900GB/spor sentido · vía NVSwitch

En consumo, NVLink murió con Ampere. La RTX 3090 fue la última GeForce con puente: 4 enlaces, 56,25GB/s por sentido, 1,8 veces PCIe 4.0 ×16, útil sobre todo para el pooling de memoria. RTX 40, RTX 50, RTX 6000 Ada y RTX PRO 6000 Blackwell no lo tienen. Si montas dos o cuatro de estas tarjetas, se hablan por PCIe y a través de la CPU.

Cuando un modelo no cabe en una GPU hay dos formas de repartirlo. Pipeline parallel asigna capas enteras a cada GPU; entre etapas solo viaja la activación de una capa, y solo una vez por paso. Tensor parallel parte cada capa entre GPUs; cada capa de un transformer necesita entonces dos all-reduce (uno tras la atención, otro tras el MLP) para recomponer el resultado. El primero mueve pocos datos y tolera un enlace lento; el segundo depende del enlace en cada capa.

Cuánto le pesa al enlace depende del régimen. En inferencia con batch 1 el volumen es minúsculo: para Llama 3.1 70B (80 capas, dimensión oculta 8 192) cada all-reduce mueve un vector de 8 192 × 2 bytes = 16KB por token; 160 all-reduce por token son unos 2,6 MB, nada para 31 GB/s. Lo que pesa es la latencia: 160 sincronizaciones a unos 10-20 µs cada una por PCIe son 2-3 ms por token. Sobre un token que tarda 40-50 ms en generarse, es un 5 % perdido. Por eso dos RTX 5090 en tensor parallel funcionan de manera aceptable por PCIe con batch pequeño. Al subir el batch o en el prefill del prompt los vectores se multiplican por los tokens del lote y PCIe empieza a limitar.

En entrenamiento la cuenta cambia de escala. Con datos paralelos, cada paso termina con un all-reduce de todos los gradientes del modelo, y el algoritmo en anillo obliga a cada GPU a enviar y recibir casi el doble del tamaño de los gradientes.

Tráfico por GPU en un all-reduce en anillo

Bytes por GPU = 2 × (N − 1) ÷ N × tamaño de los gradientes

Llama 3.1 8B en BF16, 8 GPUs: 2 × 7/8 × 16 GB = 28 GB por GPU y paso

Los gradientes de un modelo de 8 000 millones de parámetros en BF16 ocupan 16 GB. En anillo de 8 GPUs cada una mueve 28 GB por paso. Por PCIe 5.0 ×16 (63 GB/s) son 444ms; por PCIe 4.0, 889 ms; por NVLink 4 (450 GB/s), 62ms; por NVLink 5, 31 ms. Si el cómputo del paso dura 200 ms, con PCIe la GPU pasa más tiempo comunicando que calculando; con NVLink el all-reduce se solapa con el cómputo y casi desaparece.

All-reduce de 28 GB por GPU

05001kPCIe 4.0 ×16889 msPCIe 5.0 ×16444 msXGMI MI300X (448 GB/s)63 msNVLink 4 (H100)62 msNVLink 5 (B200)31 msms
Tiempo del all-reduce de gradientes de un modelo de 8B en BF16 entre 8 GPUs (28 GB por GPU), suponiendo el ancho de banda por sentido nominal de cada enlace y comunicación perfectamente solapada. Es un techo ideal: NCCL en PCIe suele quedar bastante más lejos del nominal que en NVLink (cálculo propio sobre src/data/interconnects.json).

Hay un agravante en GeForce: el driver oficial de NVIDIA no habilita el acceso directo entre tarjetas (P2P) por PCIe en las RTX 40 y 50, de modo que un all-reduce entre dos GeForce pasa por la memoria del host, con dos copias en vez de una. Las tarjetas profesionales (RTX PRO, L40S) sí lo permiten. La documentación de vLLM lo resume sin rodeos: si las GPUs del nodo no tienen NVLink (pone de ejemplo la L40S), usa pipeline parallel en lugar de tensor parallel para más caudal y menos sobrecarga de comunicación. Para dimensionar la memoria de un entrenamiento repartido tienes la calculadora de memoria de entrenamiento.

Carriles de CPU: por qué existen Threadripper y Xeon W

Los carriles PCIe salen de la CPU, y cada CPU tiene un presupuesto fijo. Un Ryzen 9 9950X tiene 28 carriles PCIe 5.0, de los que 4 van al chipset: quedan 24 utilizables, es decir, ×16 para la GPU, ×4 para un NVMe y ×4 para otro. Los puertos USB, la red 2,5 GbE y los NVMe adicionales cuelgan del chipset, que comparte con todos ellos su enlace ×4 de 15,8 GB/s. Un Core Ultra 9 285K está en la misma liga. Es suficiente para una GPU y dos SSD; se acaba en cuanto añades una segunda GPU.

NVMePCIe 5.0 ×4CPU24 carrilesGPURTX 5090VRAM32 GB GDDR7×4 · 15,8 GB/s×16 · 63 GB/s1 792 GB/s
Presupuesto de carriles de una CPU de escritorio (Ryzen 9 9950X): la GPU se lleva ×16 y el resto del sistema comparte un ×4 hacia el chipset (fuente: ficha de AMD).

Con dos GPUs en una placa AM5 o LGA1851 la única salida es partir el ×16 en ×8 + ×8: cada tarjeta se queda con 31,5 GB/s por sentido, lo mismo que PCIe 4.0 ×16. Con cuatro no hay carriles. Algunas tarjetas ya vienen recortadas de fábrica: la RTX 5060 Ti es ×8 y la Arc B580, ×8 en PCIe 4.0 (15,8 GB/s); en una placa antigua PCIe 3.0 se nota.

Las plataformas HEDT y de workstation existen para esto. Threadripper 9980X ofrece hasta 80 carriles PCIe 5.0 (88 utilizables en total); Threadripper PRO 9995WX, 128 carriles PCIe 5.0; Xeon w9-3595X, 112; un EPYC 9005, 128. Con 128 carriles caben cuatro GPUs a ×16 completo, varios NVMe y una tarjeta de red de 100 o 400 GbE sin que nadie comparta. Y vienen con otra ventaja que suele pesar más que los carriles: 4, 8 o 12 canales de memoria en lugar de 2, que se tratan en el artículo de CPU.

Carriles PCIe utilizables desde la CPU y canales de memoria. Los 80 del 9980X son los PCIe 5.0 de un total de 88 (fuente: src/data/cpus.json).
EquipoLanes PCIePCIe genCanalesAncho de banda (GB/s)TDP (W)
AMD Ryzen 9 9950X245289,6170
Intel Core Ultra 9 285K2052102125
AMD Ryzen Threadripper 9980X8054205350
AMD Ryzen Threadripper PRO 9995WX12858410350
Intel Xeon w9-3595X11258307385
AMD EPYC 9965128512614500

Carriles PCIe utilizables desde la CPU y canales de memoria. Los 80 del 9980X son los PCIe 5.0 de un total de 88 (fuente: src/data/cpus.json).

Thunderbolt, USB4 y la eGPU

Thunderbolt es PCIe (y DisplayPort y USB) tunelizado por un cable. Thunderbolt 4 da 40Gbps por sentido, de los que el túnel PCIe puede usar 32 (4 GB/s); Thunderbolt 5 sube el enlace a 80Gbps por sentido y el túnel PCIe a 64Gbps, o sea, PCIe 4.0 ×4: 8GB/s por sentido. Con Bandwidth Boost reasigna carriles para transmitir a 120 Gbps y recibir a 40, pero eso sirve para vídeo, no para PCIe. USB4 es la misma base cedida por Intel al USB-IF, con una diferencia importante: en USB4 el modo de 40 Gbps y el túnel PCIe son opcionales en el host, y en Thunderbolt son obligatorios. Dos puertos con el mismo conector no garantizan lo mismo.

Thunderbolt 5 (túnel PCIe) 8 GB/s ≈ 1/8 de PCIe 5.0 ×16

Para una eGPU, 8 GB/s es un octavo de la ranura de un sobremesa. Lo que se resiente es todo lo que cruza el cable: cargar 30 GB de pesos a la VRAM tarda unos 4 s en el mejor caso frente a medio segundo por ×16, y en juegos y render en tiempo real vuelve por el mismo cable cada fotograma si el monitor está en el portátil. Lo que no se resiente es lo que ocurre dentro de la tarjeta: una vez cargado el modelo, la inferencia de un LLM lee los pesos de la VRAM a 1 792 GB/s y del cable solo pasan tokens. Una eGPU por Thunderbolt 5 es un buen acelerador de IA local y un acelerador mediocre de juegos, y no por el mismo motivo.

Red: Ethernet, InfiniBand y RoCE

Cruzar a otra máquina es el último escalón, y el más lento por byte. Ethernet se anuncia en gigabits por sentido: 1 GbE son 0,125 GB/s, 10 GbE 1,25GB/s, 100 GbE 12,5, 400 GbE 50 y 800 GbE 100 GB/s. InfiniBand va en paralelo: HDR 200 Gb/s, NDR 400, XDR 800. Copiar un dataset de 100 GB por 1 GbE tarda unos 14 minutos a los 112 MB/s reales; por 10 GbE, minuto y medio; por 100 GbE, menos de diez segundos, si el disco de origen lo aguanta.

10 GbE1,25GB/spor sentido · NAS de estudio
100 GbE12,5GB/snecesita PCIe 4.0 ×8
400 GbE / NDR50GB/snecesita PCIe 5.0 ×16
800 GbE / XDR100GB/snecesita PCIe 6.0 ×16

En un clúster de GPUs el ancho de banda de red se compara con el de NVLink por GPU, y sale perdiendo por mucho. Un DGX H100 lleva 8 tarjetas ConnectX-7 NDR, una por GPU: 50 GB/s por sentido y GPU hacia el resto del clúster frente a 450 GB/s dentro del nodo, nueve veces menos. Por eso el software reparte primero dentro del nodo (tensor parallel por NVLink) y solo cruza la red con lo que menos tráfico genera (datos paralelos o pipeline). Y la tarjeta de red también consume carriles: una NIC de 400 Gb/s necesita PCIe 5.0 ×16 completo; en PCIe 4.0 ×16 queda capada a unos 250 Gb/s. Una de 800 Gb/s ya no cabe en PCIe 5.0, y por eso ConnectX-8 estrena PCIe 6.0.

RedConnectX-7 NDRCPUhost x86GPUH100 SXMHBM380 GB400 Gb/s · 50 GB/sPCIe 5.0 ×16 · 63 GB/s3 350 GB/s
Escalones de ancho de banda en un nodo de entrenamiento: la red aporta 50 GB/s por GPU, NVLink 450 y la HBM 3 350 (fuentes: NVIDIA, ficha H100 y ConnectX-7).

La otra dimensión es la latencia, y aquí Ethernet clásico e InfiniBand no se parecen. Con TCP/IP, un mensaje tarda decenas de microsegundos de aplicación a aplicación porque atraviesa el sistema operativo dos veces. InfiniBand usa RDMA: la tarjeta escribe directamente en la memoria del otro nodo sin pasar por la CPU, y baja a 1-2 µs. RoCE v2 (RDMA over Converged Ethernet) trae esa técnica a Ethernet: con la red bien configurada queda en 1,5-2,5 µs, comparable en ancho de banda a InfiniBand y algo peor en control de congestión y latencia de cola. Esa diferencia es la razón de que las redes de entrenamiento se anuncien como «InfiniBand» o «Ethernet para IA» y no como Ethernet a secas. Para una workstation con NAS, nada de esto aplica: 10 GbE y TCP/IP es el escalón razonable de 2026.

Lo que debes recordar

  • Reduce todo a GB/s por sentido. NVIDIA y AMD publican la suma de ida y vuelta; Intel, IEEE e InfiniBand, un solo sentido.
  • PCIe 5.0 ×16 = 63 GB/s por sentido; cada generación dobla el ancho de banda y no toca la latencia (~0,5-1 µs).
  • NVLink 4 = 450 GB/s por sentido, NVLink 5 = 900, XGMI de MI300X = 448 en malla sin switch. Ninguna GeForce actual tiene NVLink: multi-GPU de consumo va por PCIe y por la CPU.
  • Tensor parallel por PCIe sobrevive en inferencia con batch pequeño (latencia, no ancho de banda) y se hunde en entrenamiento; sin NVLink, pipeline parallel.
  • Una CPU de escritorio tiene 24 carriles utilizables; dos GPUs las deja a ×8. Para 2-4 GPUs a ×16 hacen falta Threadripper, Xeon W o EPYC.
  • Thunderbolt 5 da 8 GB/s de PCIe a una eGPU: vale para inferencia local, cojea para juegos. Red: 10 GbE = 1,25 GB/s; 400 GbE o NDR = 50 GB/s por GPU, nueve veces menos que NVLink.

Para mirar en una ficha técnica

  • «Interconexión: 900 GB/s» en una GPU de datacenter: es la suma de ambos sentidos; divide por dos. Trampa: compararlo con «80 Gbps» de Thunderbolt, que ya va por sentido.
  • «PCIe 5.0 ×16» en la GPU: mira también la generación de la placa y de la CPU; el enlace negocia al mínimo. Trampa: tarjetas ×8 de fábrica (RTX 5060 Ti, Arc B580) en placas PCIe 3.0.
  • Carriles PCIe de la CPU: cuenta los utilizables, no los totales (28 → 24 en AM5). Trampa: «hasta 88 carriles» sumando PCIe 4.0 y enlaces al chipset.
  • «NVLink» en una tarjeta: solo RTX 3090 y anteriores en GeForce, y las SXM/NVL de datacenter. Trampa: RTX 40/50 y RTX 6000 Ada/PRO 6000 no lo tienen aunque el fabricante del PC hable de «multi-GPU».
  • Thunderbolt 5 / USB4: busca la cifra del túnel PCIe (64 Gbps en TB5, opcional en USB4), no los 80 o 120 Gbps del enlace.
  • Tarjeta de red 100/400 Gb/s: necesita PCIe 4.0 ×8 / PCIe 5.0 ×16. Trampa: ponerla en una ranura ×4 del chipset.

Fuentes

  1. PCI Express — Wikipedia (tabla de generaciones y codificación) — GT/s por carril, 128b/130b, FLIT en 6.0, GB/s por sentido.
  2. NVIDIA Hopper Architecture In-Depth — NVLink 4: 18 enlaces, 900 GB/s sumados; NVSwitch gen3; PCIe 5.0 ×16 a 128 GB/s sumados.
  3. NVIDIA NVLink y NVLink Switch — NVLink 5: 1,8 TB/s por GPU, 130 TB/s en GB200 NVL72, convención «total NVLink bandwidth».
  4. NVIDIA Grace Hopper Superchip Architecture In-Depth — NVLink-C2C 450 GB/s por sentido, coherencia de memoria.
  5. Chips and Cheese — Grace Hopper: NVIDIA’s Halfway APU — latencia medida de ~800 ns de Grace a la HBM del Hopper por C2C.
  6. AMD Instinct MI300X — data sheet — 7 enlaces Infinity Fabric de 128 GB/s bidireccionales, PCIe 5.0 ×16 hacia el host.
  7. NVIDIA GA102 GPU Architecture whitepaper — puente NVLink de la RTX 3090: 4 enlaces, 112,5 GB/s sumados.
  8. vLLM — Parallelism and Scaling — sin NVLink (p. ej. L40S), pipeline parallel en lugar de tensor parallel.
  9. Intel — Thunderbolt Technology overview — TB5: 80 Gbps por sentido, Bandwidth Boost 120/40, PCIe 64 Gbps (Gen 4), 240 W.
  10. USB-IF — USB 80Gbps (USB4 v2.0) announcement — 80 Gbps por sentido, modo asimétrico 120/40.
  11. AMD Ryzen 9 9950X — especificaciones — 28 carriles PCIe 5.0, 24 utilizables.
  12. NVIDIA ConnectX-7 — data sheet — 400 Gb/s NDR/Ethernet sobre PCIe 5.0 ×16.
  13. IBTA — XDR InfiniBand specification — 800 Gb/s por puerto 4×, 200 Gb/s por carril.
  14. NADDOD — InfiniBand vs RoCE v2 — latencias orientativas TCP/IP (~50 µs) frente a RDMA (1-2 µs).

Escribe para buscar en artículos, herramientas y glosario. Esc para cerrar.