Fundamentos · Memoria

Ancho de banda de memoria: el cuello de botella real

Por qué una GPU con más TFLOPS puede ser más lenta, cómo se calcula el ancho de banda a partir del bus y la velocidad por pin, qué familia de memoria da cada cifra y qué mirar en la ficha.

Una GPU no calcula sobre lo que quiere, sino sobre lo que le llega. Cada operación necesita operandos que viven en la memoria, y el ritmo al que la memoria puede entregarlos tiene un techo físico: el ancho de banda, medido en gigabytes por segundo. Cuando ese techo queda por debajo de lo que los núcleos podrían consumir, los núcleos esperan. En la inferencia de modelos de lenguaje en local esperan casi todo el tiempo, y por eso una H200 con exactamente los mismos TFLOPS que una H100 genera bastantes más tokens por segundo.

Qué mide y de dónde sale

El ancho de banda de una memoria es el producto de dos cifras que sí aparecen en la ficha: la anchura del bus, en bits, y la velocidad por pin, en gigabits por segundo (o en megatransferencias por segundo, MT/s, que es lo mismo con otro prefijo). El bus dice cuántas líneas transportan datos a la vez; la velocidad, cuántos bits pasa cada línea por segundo. Dividir entre ocho convierte bits en bytes.

Ancho de banda de memoria

GB/s = anchura del bus (bits) × velocidad por pin (Gbps) ÷ 8

RTX 5090: 512 × 28 ÷ 8 = 1 792 GB/s

La RTX 5090 monta GDDR7 a 28Gbps por pin sobre un bus de 512bits. La RTX 4090 llevaba GDDR6X a 21Gbps sobre 384bits: 384 × 21 ÷ 8 = 1 008GB/s. Un bus un 33 % más ancho y pines un 33 % más rápidos se multiplican: 1,78 veces más ancho de banda con una generación de diferencia.

En una CPU la ficha no habla de bits sino de canales de 64 bits, y la velocidad viene en MT/s: DDR5-5600 son 5 600 millones de transferencias por segundo por línea, no 5 600 MHz (el reloj es de 2 800 MHz; la DRAM transfiere en los dos flancos).

Ancho de banda de una CPU

GB/s = canales × 64 bits × MT/s ÷ 8 ÷ 1000

Ryzen 9 9950X: 2 × 64 × 5 600 ÷ 8 ÷ 1000 = 89,6 GB/s

Un Threadripper PRO 9995WX con ocho canales de DDR5-6400 llega a 410GB/s: 8 × 64 × 6 400 ÷ 8 ÷ 1000. Los canales mandan más que los MT/s: cuatro a 6 400 (204,8 GB/s) baten a dos a 8 000 (128 GB/s).

La fórmula también sirve al revés. Apple no publica el bus del M4 Max, pero 546 GB/s con LPDDR5X-8533 solo cuadra con 512 bits. AMD no lista el de la MI355X, pero 8 pilas HBM3E de 1 024 bits a 7,8 Gbps dan 8 192 × 7,8 ÷ 8 = 7 987 GB/s, los «8 TB/s» del folleto.

Ancho de banda de memoria

  • GDDR
  • HBM
  • LPDDR5X unificada
  • DDR5
05k10kB200 / MI355X (HBM3E)8 000 GB/sH200 SXM (HBM3E)4 800 GB/sH100 SXM (HBM3)3 350 GB/sRTX 5090 (GDDR7)1 792 GB/sM5 Ultra (LPDDR5X)1 200 GB/sRTX 4090 (GDDR6X)1 008 GB/sM4 Max (LPDDR5X)546 GB/sThreadripper PRO 9995WX (8 ch DDR5-6400)409,6 GB/sDGX Spark (LPDDR5X)273 GB/sRyzen AI Max+ 395 (LPDDR5X)256 GB/sRyzen 9 9950X (2 ch DDR5-5600)89,6 GB/sGB/s
Ancho de banda de memoria de equipos representativos, pico teórico en GB/s (fuentes: fichas oficiales de NVIDIA, AMD, Apple y JEDEC; DDR5 calculado con la fórmula de canales).

Entre el sobremesa y el acelerador de datacenter hay casi dos órdenes de magnitud: 89,6 frente a 8 000 GB/s. No es una diferencia de generación ni de precio de la DRAM, sino de cuántos cables salen del chip.

Cuatro familias de memoria para cuatro problemas

Todas las memorias de la figura son DRAM. La celda que guarda el bit es la misma; lo que cambia es la interfaz, y cada interfaz resuelve un problema distinto.

  • DDR5 (escritorio, servidor): módulos intercambiables en zócalo, canales de 64 bits, capacidades enormes (un EPYC 9965 direcciona doce canales). Paga la flexibilidad con velocidad moderada (5 600 a 8 000 MT/s) y un bus estrecho en escritorio: dos canales, 128 bits.
  • LPDDR5X (portátiles, Apple, Strix Halo, DGX Spark): soldada junto al procesador, canales de 16 bits agrupados por decenas, optimizada en vatios por bit. Escala solo por anchura: 128 bits dan 136,5 GB/s, 256 dan 273 (M4 Pro, DGX Spark), 512 dan 546 (M4 Max) y 1 024 dan los 1,2 TB/s del M5 Ultra.
  • GDDR6/6X/7 (tarjetas gráficas): chips de 32 bits soldados alrededor de la GPU, velocidad por pin muy alta gracias a la señalización PAM4 (GDDR6X) o PAM3 (GDDR7). Una RTX 5090 lleva 16 chips de 2 GB: 16 × 32 = 512 bits.
  • HBM2E/3/3E/4 (aceleradores): pilas de 8 o 12 dies apilados con vías verticales (TSV), colocadas junto a la GPU sobre un interposer de silicio. Cada pila expone 1 024 bits (2 048 en HBM4) a una velocidad baja, de 3,2 a 9,6 Gbps. Ocho pilas son 8 192 bits: un bus de un kilobyte.
Velocidad, anchura y GB/s por unidad (canal, chip o pila) de cada familia de memoria; HBM4 al máximo JEDEC, sin producto verificado (fuente: src/data/memory-tech.json).
EquipoVelocidad por pinUnidadBits por unidadGB/s por unidadGB por unidad
DDR5-56005 600MT/s6444,832
LPDDR5X-85338 533MT/s1617,18
GDDR6X 21 Gbps21Gbps32842
GDDR7 28 Gbps28Gbps321122
HBM36,4Gbps1 02481924
HBM3E9,6Gbps1 0241 22936
HBM48Gbps2 0482 04836

Velocidad, anchura y GB/s por unidad (canal, chip o pila) de cada familia de memoria; HBM4 al máximo JEDEC, sin producto verificado (fuente: src/data/memory-tech.json).

La tabla explica la clave de HBM: una pila HBM3E a 9,6 Gbps entrega 1 229GB/s ella sola, once veces lo que un chip GDDR7 a 28 Gbps (112GB/s), con pines tres veces más lentos. Anchura en vez de velocidad: menos energía por bit movido, que en un chip de 1 000 W es lo que decide cuánto ancho de banda te puedes permitir.

También explica por qué es cara. Los 1 024 contactos por pila no caben en una placa de circuito impreso: hace falta un interposer de silicio (el empaquetado CoWoS de TSMC) y apilar los dies con miles de TSV. Según TrendForce, en el segundo trimestre de 2025 HBM3E costaba más de cuatro veces que DDR5 por bit, y SemiAnalysis señala que el empaquetado 2.5D llega a costar más que la DRAM que envuelve. La HBM no es más rápida por dentro: es un problema de empaquetado resuelto con dinero.

Por qué manda en la inferencia de un LLM

Generar un token con un modelo de lenguaje obliga a leer todos sus pesos una vez, para hacer con cada uno apenas dos operaciones (una multiplicación y una suma). Con lote 1, la cuenta que importa son los gigabytes por segundo divididos entre los gigabytes del modelo.

Techo de tokens por segundo (lote 1)

tokens/s ≈ ancho de banda (GB/s) ÷ tamaño de los pesos (GB)

M4 Max: 546 GB/s ÷ 40 GB ≈ 13,6 tokens/s

Llama 3.3 70B cuantizado a 4 bits ocupa unos 40GB (70 550 millones de parámetros a unos 4,5 bits de media, contando escalas). En un M4 Max de 128 GB, con 546GB/s, cada token exige leer esos 40 GB: 73 milisegundos, 13,6 tokens por segundo como máximo absoluto. El mismo modelo en una RTX PRO 6000 de 96 GB (1 792GB/s) tiene el techo en 45 tokens/s; en una H200 (4 800GB/s), en 120. Ninguna de esas cuentas ha usado los TFLOPS.

El techo es teórico. En la práctica se alcanza entre el 60 y el 85 %, y menos cuanto más pequeño es el modelo, porque lanzar cada kernel pesa proporcionalmente más. La tabla de llama.cpp en Apple Silicon lo muestra con datos medidos: LLaMA 7B en F16 (unos 13,4 GB) genera 17,2 tokens/s en un M4 Pro de 273 GB/s y 31,6 en un M4 Max de 546 GB/s; eso son 230 y 424 GB/s reales, el 84 % y el 78 % del pico. En Q4_0 (unos 3,8 GB) la eficiencia cae al 71 % y al 58 %, y el M3 Ultra de 800 GB/s no llega al 45 %: el modelo es demasiado pequeño para tener ocupada tanta memoria.

  • LLaMA 7B Q4_0 (≈3,8 GB)
  • LLaMA 7B F16 (≈13,4 GB)
0501000200400600800Ancho de banda de pico (GB/s)Generación (tokens/s)M4 ProM4 MaxM3 UltraM4 ProM4 MaxM3 Ultra
Tokens por segundo medidos en llama.cpp (LLaMA 7B, lote 1) frente al ancho de banda de pico de cada chip Apple. La pendiente es casi lineal en F16 y se aplana en Q4_0 (fuente: tabla de rendimiento Apple Silicon de llama.cpp, GitHub).

La consecuencia comercial es la H200: la misma GPU GH100 que la H100 SXM, con el mismo cómputo pico en todas las precisiones, y solo cambia la memoria: seis pilas HBM3E en vez de cinco HBM3, 141 GB y 4 800GB/s frente a 80 GB y 3 350GB/s. NVIDIA publica 1,9 veces más rendimiento en Llama 2 70B; parte viene de que la capacidad extra permite un lote mayor (32 frente a 8), y el 43 % de ancho de banda adicional explica el resto. Puedes repetir estas cuentas con tu modelo y tu equipo en la herramienta de tokens por segundo.

H200 SXM4 800GB/s141 GB HBM3E · misma GPU que H100
RTX 50901 792GB/s32 GB GDDR7
M4 Max546GB/shasta 128 GB unificados
2 × DDR5-560089,6GB/sescritorio, 2 canales

Bytes por FLOP: el ratio de equilibrio

Para saber si una carga irá limitada por memoria o por cálculo hay que comparar dos cocientes: cuántas operaciones hace la carga por cada byte que lee (su intensidad aritmética) y cuántas operaciones puede hacer el chip por cada byte que su memoria le entrega. Ese segundo número es el punto de cruce del modelo roofline.

Punto de cruce (ridge point)

FLOP/byte = pico de cálculo (FLOPS) ÷ ancho de banda (bytes/s)

H100 SXM BF16 dense: 989,5 × 10¹² ÷ 3,35 × 10¹² ≈ 295 FLOP/byte

Una H100 necesita hacer 295 operaciones BF16 con cada byte que lee de HBM para estar limitada por cálculo y no por memoria. RTX 5090 con FP16 dense en Tensor Cores (419 TFLOPS, acumulación FP16) y 1,792 TB/s: 234 FLOP/byte. B200 en FP8 dense (4 500 TFLOPS, 8 TB/s): 562. DGX Spark en FP4 dense (500 TFLOPS, 273 GB/s): 1 831. La inferencia de un LLM con lote 1 anda entre 1 y 2 FLOP/byte: queda a la izquierda del punto de cruce en todos ellos, por dos órdenes de magnitud.

La lectura inversa, bytes por FLOP, dice lo mismo desde el lado de la memoria: la H100 entrega 0,0034 bytes por cada operación que puede ejecutar. Como cada generación tiende a subir los FLOPS más deprisa que los GB/s (el DGX Spark es el caso extremo: cómputo Blackwell con memoria de portátil), el ratio empeora para cualquier carga que no sea una multiplicación de matrices grandes. Por eso existen el batching, la cuantización y la fusión de kernels: no crean FLOPS, reducen bytes.

Latencia no es ancho de banda

El ancho de banda dice cuántos bytes por segundo llegan en régimen estacionario; la latencia, cuánto tarda en llegar el primero. Son magnitudes independientes y las memorias que ganan en una suelen perder en la otra. Las mediciones de Chips and Cheese sitúan el acceso de una CPU a DDR5 de escritorio entre 70 y 100 ns (algo más de 70 en un Ryzen 9 9950X, unos 100 en un Core Ultra 9 285K por su diseño de chiplets); a LPDDR5X, en 130 a 140 ns (Lunar Lake, Strix Halo); y desde una GPU a su GDDR6 o HBM, con toda la jerarquía de cachés por medio, en 200 a 350 ns. La HBM no es rápida en latencia: es ancha.

Una GPU convive con esa latencia porque no espera: tiene decenas de miles de hilos en vuelo y mientras unos aguardan sus datos otros calculan. La ley de Little dice cuántos bytes tienen que estar «en el aire» para saturar un enlace.

Bytes en vuelo (ley de Little)

bytes en vuelo = ancho de banda (bytes/s) × latencia (s)

RTX 5090: 1 792 GB/s × 250 ns ≈ 448 KB en vuelo

Para mantener llenos los 1 792 GB/s de una RTX 5090 con 250 ns de latencia tiene que haber unos 448 KB de peticiones pendientes en cada instante: 7 000 líneas de caché de 64 bytes. Una CPU de escritorio con 89,6 GB/s y 80 ns solo necesita 7,2 KB, unas 112 líneas, y aun así le cuesta: un núcleo mantiene decenas de fallos pendientes, no cientos. Por eso un solo hilo rara vez llega al pico de su RAM y una GPU con un kernel bien escrito se acerca al 85-90 %.

De aquí sale una regla útil: subir los MT/s mejora el ancho de banda pero casi nunca la latencia (DDR5-5600 CL46 y DDR5-6400 CL52 tienen la misma latencia de columna, unos 16 ns). «Más MHz» cambia poco en cargas dominadas por latencia, como un juego, y mucho en las dominadas por caudal, como una simulación con mallas grandes. La jerarquía de memoria desarrolla esta parte.

Capacidad y ancho de banda son ejes distintos

Los equipos con memoria unificada ofrecen mucha capacidad a un ancho de banda medio; las GPU discretas, lo contrario; solo el datacenter tiene las dos cosas, y lo cobra. Un Mac Studio con 128 GB carga modelos que no caben en ninguna tarjeta de consumo, pero los recorre a un tercio de la velocidad de una RTX 5090. Un DGX Spark tiene cómputo Blackwell y CUDA nativo, pero sus 273 GB/s son una séptima parte: cabe un modelo de 120 000 millones de parámetros en FP4 y lo decodifica a unos 40 tokens/s según las reseñas.

  • GPU discreta (GDDR)
  • Memoria unificada (LPDDR5X)
  • Datacenter (HBM)
1001k10k101001kMemoria (GB) (log)Ancho de banda (GB/s) (log)RTX 5090RTX 4090RTX PRO 6000RTX 5060 TiM4 MaxM5 UltraStrix HaloDGX SparkH100H200B200MI355X
Capacidad frente a ancho de banda de memoria: la esquina superior derecha solo la ocupa el datacenter con HBM; la memoria unificada se queda abajo a la derecha (fuentes: fichas oficiales; M5 Ultra según Apple, sin medición independiente).
Capacidad, tipo de memoria, bus y ancho de banda de equipos representativos (fuente: src/data/gpus.json).
EquipoMemoria (GB)TipoBus (bits)Ancho de banda (GB/s)TDP (W)
GeForce RTX 5060 Ti 16 GB16GDDR7 28 Gbps128448180
GeForce RTX 509032GDDR7 28 Gbps5121 792575
NVIDIA RTX PRO 6000 Blackwell Workstation Edition96GDDR7 con ECC, 28 Gbps5121 792600
AMD Ryzen AI Max+ 395 (Strix Halo, Radeon 8060S, 128 GB)128LPDDR5X-8000 unificada (soldada)25625655
Apple M4 Max (GPU 40 núcleos, 128 GB)128LPDDR5X-8533 unificada (soldada)512546—
NVIDIA H200 SXM 141 GB141HBM3e6 1444 800700
AMD Instinct MI355X288HBM3E 8 Gbps (pilas de 12 capas)8 1928 0001 400

Capacidad, tipo de memoria, bus y ancho de banda de equipos representativos (fuente: src/data/gpus.json).

Hay un tercer eje que la ficha de la GPU no muestra: por dónde llegan los datos. Un modelo que no cabe en VRAM se lee desde la RAM del sistema a través de PCIe, el enlace más estrecho de toda la ruta.

RAMDDR5-5600 · 2 canalesCPURyzen 9 9950XGPURTX 5090 · L2 96 MBVRAM32 GB GDDR789,6 GB/sPCIe 5.0 ×16 · 63 GB/s por sentido1 792 GB/s
Ruta de los datos en un PC con GPU discreta. Cada salto tiene su propio ancho de banda y el más estrecho manda: todo lo que no quepa en VRAM viaja a 63 GB/s (fuentes: AMD, PCI-SIG, NVIDIA).
1 792 GB/s en VRAM · 63 GB/s por PCIe: 28 veces menos

Cuando llama.cpp «descarga» capas a la RAM del sistema, esas capas se leen a 89,6 GB/s como mucho y pasan por un enlace de 63 GB/s si las procesa la GPU. Un 70B en Q4 con la mitad de los pesos fuera de VRAM va, en el mejor caso, a la velocidad de esos 20 GB lentos: 63 ÷ 20 ≈ 3 tokens/s. La memoria unificada existe para borrar esa frontera; lo que pierde a cambio es el eje vertical de la figura. La interconexión detalla cada enlace.

Cómo leer la cifra en la ficha

  • Gbps por pin no son MHz. «28 Gbps» de GDDR7 es velocidad de datos; el reloj es varias veces menor gracias a PAM3. Algunas fichas citan GDDR6X de 21 Gbps como «10 500 MHz» o «2 625 MHz»: es lo mismo. En la fórmula entra siempre la velocidad de datos.
  • El nombre no fija el bus. La RTX 5090 Laptop lleva 256 bits y 896GB/s, la mitad de la de sobremesa. El M4 Max de 14 núcleos lleva 384 bits y 410 GB/s, no 546.
  • Pico frente a sostenido. Todas las cifras de este artículo son picos teóricos unidireccionales. Un kernel bien escrito mueve entre el 80 y el 92 %; en Strix Halo los 256 GB/s se quedan en unos 215 medidos. El ancho de banda «bidireccional» de PCIe o NVLink suma los dos sentidos: no lo compares con el de una memoria.
  • Si la ficha no da GB/s, calcúlalo. Bus × velocidad ÷ 8. Para no hacer la cuenta a mano está la calculadora de ancho de banda; para combinarla con el cómputo, la herramienta de roofline.

Lo que debes recordar

  • El ancho de banda es bus (bits) × velocidad por pin (Gbps o MT/s) ÷ 8. En CPU, canales × 64 bits. Las dos cifras están en la ficha o se deducen de ella.
  • DDR5, LPDDR5X, GDDR7 y HBM son la misma DRAM con interfaces distintas: HBM gana por anchura (1 024 bits por pila), no por velocidad, y lo paga en empaquetado.
  • En inferencia de LLM con lote 1 el techo de tokens por segundo es ancho de banda ÷ tamaño del modelo; los TFLOPS no entran en la cuenta.
  • El punto de cruce (FLOPS ÷ GB/s) sube cada generación: cada vez más cargas quedan limitadas por memoria.
  • Latencia y ancho de banda son ejes independientes; capacidad y ancho de banda, también. Ningún equipo de sobremesa tiene los tres.

Para mirar en una ficha técnica

  • Anchura del bus (bits): cuanto mayor, mejor. 128 bits en una GPU de 2026 es un recorte. Trampa: el mismo nombre comercial con buses distintos (RTX 5090 Laptop, M4 Max de 14 núcleos).
  • Velocidad de memoria (Gbps o MT/s): es por pin y de datos. Trampa: «MHz» que son MT/s, o relojes PAM4 citados como velocidad.
  • GB/s: si la ficha no lo da, calcúlalo; el marketing lo omite cuando no favorece. Trampa: «ancho de banda efectivo» que suma la caché.
  • Capacidad (GB): comprueba que el modelo cabe entero; lo que sobra viaja por PCIe a 63 GB/s. Trampa: más GB por clamshell con el mismo bus.
  • Canales (CPU): dos en escritorio, cuatro en HEDT, ocho o doce en workstation y servidor. Trampa: DDR5-8000 en dos canales sigue siendo menos que DDR5-6400 en cuatro.

Fuentes

  1. NVIDIA RTX Blackwell GPU Architecture (whitepaper) — RTX 5090: bus de 512 bits, GDDR7 a 28 Gbps, 1 792 GB/s, L2 de 96 MB, cifras Tensor dense.
  2. NVIDIA Ada GPU Architecture (whitepaper) — RTX 4090: 384 bits, GDDR6X a 21 Gbps, 1 008 GB/s.
  3. NVIDIA GeForce RTX 5060 family — 128 bits y 448 GB/s en las versiones de 8 y 16 GB.
  4. NVIDIA RTX PRO 6000 Blackwell Workstation Edition (datasheet) — 96 GB GDDR7 ECC, 512 bits, 1 792 GB/s.
  5. NVIDIA H100 Tensor Core GPU — 80 GB HBM3, 3,35 TB/s, BF16 1 979 TFLOPS con sparsity (989,5 dense).
  6. NVIDIA H200 Tensor Core GPU — 141 GB HBM3E, 4,8 TB/s, 1,9× en Llama 2 70B frente a H100 (lote 32 frente a 8).
  7. NVIDIA DGX B200 — 1 440 GB y 64 TB/s por 8 GPU: 180 GB y 8 TB/s por B200.
  8. NVIDIA DGX Spark — 128 GB LPDDR5X, 256 bits, 273 GB/s, 1 PFLOP FP4 con sparsity.
  9. AMD Instinct MI355X — 288 GB HBM3E, 8 TB/s.
  10. AMD Ryzen AI Max+ 395 — LPDDR5X-8000 de 256 bits, hasta 128 GB.
  11. AMD Ryzen 9 9950X — 2 canales DDR5-5600, 28 lanes PCIe 5.0.
  12. AMD Ryzen Threadripper PRO 9995WX — 8 canales DDR5-6400.
  13. Apple — Mac Studio, especificaciones técnicas — M4 Max 546 GB/s (410 en la versión de 14 núcleos), M5 Ultra 1,2 TB/s y hasta 512 GB.
  14. JEDEC publica el estándar GDDR7 — señalización PAM3, chips x32.
  15. Chips and Cheese — Strix Halo’s memory subsystem — latencia CPU→DRAM de unos 140 ns en vacío y más de 200 ns con la iGPU cargando el bus; Infinity Cache de 32 MB a algo menos de 1 TB/s.
  16. Chips and Cheese — Measuring GPU memory latency — latencias de VRAM desde la GPU del orden de 200 a 350 ns.
  17. Chips and Cheese — AMD’s Ryzen 9950X: Zen 5 on desktop — latencia DRAM de algo más de 70 ns con DDR5-6000.
  18. llama.cpp — Performance of llama.cpp on Apple Silicon M-series — tokens/s medidos (LLaMA 7B, Q4_0 y F16) para M4 Pro, M4 Max y M3 Ultra.
  19. TrendForce — precios de HBM y DRAM — HBM3E a más de 4× el coste por bit de DDR5 en 2Q25.
  20. SemiAnalysis — AI capacity constraints: CoWoS and HBM — el empaquetado 2.5D como factor de coste dominante frente a la DRAM.

Escribe para buscar en artículos, herramientas y glosario. Esc para cerrar.