Fundamentos · Memoria
Latencia, cachés y jerarquía de memoria: por qué un núcleo a 5,7 GHz pasa la mitad del tiempo esperando
Registros, L1, L2, L3, DRAM, VRAM y NVMe con latencias reales en nanosegundos, qué compra el 3D V-Cache, para qué sirve una L2 de 96 MB en una GPU y cuándo más MT/s no cambia nada.
Un núcleo Zen 5 a 5,7GHz ejecuta un ciclo cada 0,175 nanosegundos. Un acceso a la RAM tarda unos 70 ns: 400 ciclos parado. La única razón por la que un PC no va cuatrocientas veces más lento de lo que promete la frecuencia es una pila de memorias cada vez más pequeñas, más rápidas y más caras pegadas al núcleo: la jerarquía de memoria. Entenderla explica por qué el 3D V-Cache gana en juegos, por qué una GPU lleva 96 MB de L2 y por qué comprar RAM más rápida a veces no se nota.
Latencia y ancho de banda no son lo mismo
El ancho de banda dice cuántos bytes por segundo puede entregar una memoria si le pides muchos seguidos. La latencia dice cuánto tarda en llegar el primero. Son magnitudes independientes: la DDR5-6400 tiene un 14 % más de ancho de banda que la DDR5-5600 y exactamente la misma latencia de columna (16,25 frente a 16,4 ns con los CAS JEDEC). Un camión de discos duros tiene un ancho de banda enorme y una latencia de días.
Al procesador le importan las dos, según la carga. Un bucle que recorre un array grande en orden es cuestión de ancho de banda: el hardware ve el patrón y trae los datos por adelantado. Un motor de juego que salta de un objeto a otro siguiendo punteros es cuestión de latencia: cada salto depende del anterior y no hay nada que adelantar.
Latencia en nanosegundos
ns = ciclos ÷ frecuencia (GHz)
L2 de Zen 5: 14 ciclos ÷ 5,7 GHz ≈ 2,5 ns
Chips and Cheese mide 4 ciclos para la L1 de datos y 14 para la L2 en Zen 5. A la frecuencia de boost del Ryzen 9 9950X, 5,7GHz, son 0,7 y 2,5 ns. La cifra en ciclos es la que da el fabricante; la cifra en nanosegundos es la que se compara entre chips con frecuencias distintas. Al revés, la DRAM: unos 70 ns en el 9950X son 400 ciclos, y un núcleo moderno no tiene 400 instrucciones independientes con las que rellenar ese hueco.
Los peldaños de la escalera
Cada nivel es unas diez veces más grande y varias veces más lento que el anterior. Esa proporción no es casual: es el equilibrio entre la física (una SRAM grande tiene cables más largos, luego más retardo) y el coste (la SRAM de una L3 ocupa seis transistores por bit; la DRAM, uno y un condensador). Las cifras de la tabla son para un Zen 5 de escritorio; las de NVMe y red son órdenes de magnitud típicos, no mediciones de este equipo.
| Nivel | Tamaño típico | Latencia | Ciclos a 5,7 GHz | Fuente |
|---|---|---|---|---|
| Registros | ~1 KB | 0 (mismo ciclo) | 0 | arquitectura |
| L1 datos | 48 KB por núcleo | ~0,7 ns | 4 | Chips and Cheese, Zen 5 |
| L2 | 1 MB por núcleo | ~2,5 ns | 14 | Chips and Cheese, Zen 5 |
| L3 | 32 MB por CCD (96 MB con V-Cache) | ~10 ns (aprox.) | ~50-60 | estimación a partir de mediciones de Zen 4/Zen 5 |
| DRAM (DDR5-6000) | 32-192 GB | ~70 ns | ~400 | Chips and Cheese, 9950X |
| VRAM desde la GPU (GDDR6) | 16-32 GB | ~226 ns | — | Chips and Cheese, RDNA 2 |
| NVMe (lectura aleatoria 4K) | 1-8 TB | ~10-100 µs (aprox.) | ~100 000-500 000 | orden de magnitud habitual |
| Red 10 GbE (TCP/IP) | — | decenas de µs | — | ver interconexión |
Fíjate en el salto entre L3 y DRAM: siete veces más latencia. Y entre DRAM y NVMe: mil veces. Un programa que “cabe en caché” y otro que “va a disco” no viven en el mismo universo de rendimiento.
Por qué funciona: localidad y prefetch
Una caché del 0,03 % del tamaño de la RAM (32 MB frente a 96 GB) no debería servir para nada. Sirve porque los programas no acceden a la memoria al azar. Tienen localidad temporal: lo que acabas de usar lo vas a volver a usar (el contador de un bucle, la pila, el objeto que estás editando). Y localidad espacial: si has leído una dirección, es probable que leas la de al lado. La caché explota la segunda trayendo líneas de 64 bytes enteras aunque el programa haya pedido 4, y la primera guardando lo reciente y descartando lo antiguo.
El prefetcher va un paso más allá. Observa la secuencia de direcciones y, si detecta un patrón (cada 64 bytes, cada 1 024, un recorrido decreciente), pide las siguientes líneas antes de que el núcleo las necesite. Cuando acierta, la latencia de la DRAM desaparece: los datos ya están en L2 al llegar la instrucción. Cuando el patrón no existe, como al seguir punteros en un árbol o una lista enlazada, el prefetcher no puede adivinar y cada acceso paga los 70 ns completos.
Con esto se puede escribir la cuenta que de verdad ve el núcleo: el tiempo medio de acceso, que mezcla la latencia de cada nivel con la probabilidad de encontrar allí el dato.
Tiempo medio de acceso a memoria (AMAT)
AMAT = t_L3 + tasa de fallo en L3 × t_DRAM
90 % de aciertos: 10 + 0,10 × 70 = 17 ns · 97 % de aciertos: 10 + 0,03 × 70 = 12,1 ns
Simplificamos a dos niveles, L3 y DRAM, para una carga que ya ha fallado en L1 y L2. Con 32 MB de L3 supongamos que el 90 % de los accesos acierta: el tiempo medio es 17 ns. Si triplicar la L3 a 96 MB sube los aciertos al 97 %, baja a 12,1 ns, un 29 % menos. Reducir los fallos del 10 % al 3 % parece poco; en tiempo es casi un tercio, porque cada fallo cuesta siete veces más que un acierto. Las tasas son ilustrativas; la estructura de la cuenta es lo que importa.
3D V-Cache: comprar aciertos, no gigahercios
El Ryzen 7 9800X3D tiene un solo CCD de 8 núcleos con 32 MB de L3 y, apilados debajo del die, otros 64 MB de SRAM: 96 MB en total. Su boost es de 5,2GHz frente a los 5,7GHz del 9950X, y aun así es la referencia de CPU para juegos desde noviembre de 2024. La explicación es la fórmula anterior. Un motor de juego moderno mueve decenas de megabytes de estado (escena, física, IA, comandos de dibujo) que se recorren con patrones que el prefetcher no adivina. Con 32 MB una parte relevante de esos accesos cae a DRAM; con 96 MB, mucha menos. El 9 % de frecuencia perdido se paga con creces con los fallos ahorrados.
El mismo mecanismo ayuda en algunas simulaciones CAE: resolvedores de elementos finitos y CFD cuyas matrices dispersas saltan por la memoria. Y no ayuda nada en lo que ya era de ancho de banda o de cálculo puro: render 3D en CPU, compresión de vídeo, compilación masiva. Ahí el 9950X con sus 16 núcleos gana, y por eso AMD vende el 9950X3D con la V-Cache en un solo CCD: 128 MB en total, pero el planificador tiene que acertar a poner el juego en el CCD correcto.
Caché L3 total
El 285K compensa su L3 pequeña con 40 MB de L2 (3 MB por P-core).
La misma escalera dentro de una GPU
Una GPU tolera la latencia de otra forma: en vez de esperar, cambia de hilo. Con miles de warps en vuelo, cuando uno pide datos a la VRAM otro ocupa las unidades de cálculo. Por eso la VRAM puede permitirse ~226 ns desde la GPU (medición de Chips and Cheese en RDNA 2 con GDDR6; Ampere es similar), tres veces la DRAM de un PC, y la HBM3 de un acelerador de datacenter anda por los ~220-230 ns. La GDDR y la HBM están diseñadas para caudal, no para latencia.
Pero esconder latencia no es gratis: exige que haya suficientes hilos y que el ancho de banda dé para todos. Cuando no da, la GPU también necesita cachés. Ada Lovelace multiplicó por doce la L2 respecto a Ampere (de 6 a 72 MB en la RTX 4090) y bajó su latencia unos 30 ns; Blackwell sube a 96 MB en la RTX 5090. Un solo nivel de caché hace el trabajo que en AMD hacen la L2 y la Infinity Cache. El efecto se ve en el trazado de rayos, donde el recorrido del BVH es la versión gráfica de seguir punteros, y en cargas de IA con lotes pequeños, donde cada acceso a pesos repetido que se sirve desde L2 no consume los 1 792GB/s del bus.
Caché de último nivel en GPU
La H100 lleva menos L2 que una RTX 5090 porque su HBM3 a 3 350 GB/s necesita menos amortiguación por FLOP.
Hay una regla que une latencia y ancho de banda: para mantener un bus lleno hace falta tener en vuelo tantos bytes como quepan durante una latencia completa. Es la ley de Little aplicada a la memoria.
Bytes en vuelo para saturar un bus (ley de Little)
bytes en vuelo = ancho de banda × latencia
RTX 5090: 1 792 GB/s × 250 ns ≈ 448 KB en vuelo
Con una latencia de VRAM de unos 250 ns (aproximada; no hay medición independiente consolidada para GDDR7), la RTX 5090 necesita unos 448 KB de peticiones pendientes en todo momento, unas 3 500 líneas de 128 bytes. Un PC con DDR5 a 89,6 GB/s y 70 ns necesita solo 6,3 KB, unas 100 líneas de 64 bytes, y aun así un único núcleo no llega: por eso el ancho de banda de un solo hilo es una fracción del total de la plataforma, y por eso un núcleo solo no satura una memoria de servidor de 12 canales.
Por qué «más MHz de RAM» a veces no se nota
Volvemos al principio: subir de DDR5-5600 a DDR5-6400 da un 14 % más de ancho de banda y la misma latencia de columna. Si tu carga cabe en L3, la RAM apenas interviene y no notarás nada. Si tu carga es de punteros, lo que cuenta son los ~70 ns totales, de los que la latencia CAS son 16 ns; el resto es el viaje por el controlador, el die de E/S y la fila de la DRAM, que no cambia con los MT/s. Solo si tu carga es de ancho de banda puro y ya desborda las cachés (grandes matrices, compresión, ciertos renders) verás el 14 %.
Latencia CAS en nanosegundos
ns = CL ÷ (MT/s ÷ 2) × 1 000
DDR5-6000 CL30: 30 ÷ 3 000 × 1 000 = 10 ns · DDR5-5600 CL46 (JEDEC): 46 ÷ 2 800 × 1 000 = 16,4 ns
Los MT/s cuentan transferencias, dos por ciclo de reloj real; por eso se divide entre dos. El CAS se mide en esos ciclos. Un kit DDR5-6000 CL30 tiene mejor latencia que un DDR5-6400 CL52 de JEDEC (16,25 ns) aunque tenga menos MT/s. Lo que compras en un kit “rápido” de sobremesa es sobre todo un CAS bajo; lo desarrollamos en RAM: DDR5, canales y latencia.
Qué mirar según tu carga
Para elegir hardware, la jerarquía de memoria se resume en tres preguntas. Primero, cuánto pesa tu conjunto de trabajo y en qué peldaño cabe: un modelo de lenguaje de 40 GB no cabe en ninguna caché, así que manda el ancho de banda de la VRAM y puedes olvidarte de la L2 (hazlo con la calculadora de VRAM). Segundo, si tus accesos son predecibles: si lo son, mira GB/s y canales; si no, mira L3 por CCD. Tercero, cuántos hilos independientes tienes para tapar la latencia: muchos, GPU; pocos, CPU con caché grande y frecuencia alta.
| Equipo | Núcleos | Boost (GHz) | L2 total (MB) | L3 (MB) | Canales | Ancho de banda (GB/s) |
|---|---|---|---|---|---|---|
| AMD Ryzen 7 9800X3D | 8 | 5,2 | 8 | 96 | 2 | 89,6 |
| AMD Ryzen 9 9950X | 16 | 5,7 | 16 | 64 | 2 | 89,6 |
| AMD Ryzen 9 9950X3D | 16 | 5,7 | 16 | 128 | 2 | 89,6 |
| Intel Core Ultra 9 285K | 24 | 5,7 | 40 | 36 | 2 | 102 |
| AMD Ryzen Threadripper 9980X | 64 | 5,4 | 64 | 256 | 4 | 205 |
| AMD EPYC 9965 | 192 | 3,7 | 192 | 384 | 12 | 614 |
Caché y memoria de procesadores representativos de 2026. La L3 del 9950X3D y del Threadripper está repartida en varios CCD (fuente: src/data/cpus.json).
Intel apuesta por L2 privadas grandes (3 MB por P-core) y una L3 modesta; AMD por L2 de 1 MB y L3 compartida por CCD, con la opción de apilarla. Los chips de servidor no compiten en latencia (100-120 ns a DRAM con RDIMM y 8-12 canales) sino en ancho de banda total. Y las APU de memoria unificada pagan en latencia (128-140 ns) la eficiencia de la LPDDR5X soldada; lo tratamos en memoria unificada.
0,7 ns (L1) → 70 ns (DRAM) → 50 µs (NVMe): cinco órdenes de magnitud en el mismo PCLo que debes recordar
- Latencia (cuándo llega el primer byte) y ancho de banda (cuántos llegan por segundo) son independientes. Subir MT/s mejora lo segundo, casi nunca lo primero.
- Cada peldaño es ~10× más grande y varias veces más lento: L1 ~0,7 ns, L2 ~2,5 ns, L3 ~10 ns, DRAM ~70 ns, VRAM ~226 ns desde la GPU, NVMe decenas de µs.
- Las cachés funcionan por localidad y prefetch. Las cargas de punteros (juegos, compiladores, solvers dispersos) las derrotan y viven de la latencia.
- El 3D V-Cache sube los aciertos de L3 y por eso gana en juegos con menos GHz. Lo que cuenta es la L3 por CCD, no la suma.
- Las GPU esconden la latencia con miles de hilos, pero ley de Little manda: saturar 1 792 GB/s a 250 ns exige ~448 KB en vuelo. Por eso Ada y Blackwell llevan 72-96 MB de L2.
Para mirar en una ficha técnica
- L3 (MB) y en cuántos CCD: para juegos y solvers dispersos, cuanta más por CCD mejor; 96 MB en un CCD (X3D) gana a 256 MB en ocho. Trampa: sumar la L3 de todos los CCD.
- L2 por núcleo: 1 MB (Zen 5) o 3 MB (Lion Cove). Importa menos que la L3; no elijas por ella.
- Latencia DRAM medida (ns): no está en la ficha; búscala en revisiones. ~70 ns Zen 5, ~100 ns Arrow Lake, ~130 ns LPDDR5X. Trampa: el “CL30” de la caja no es la latencia total.
- L2 de la GPU (MB): 96 MB en RTX 5090, 72 en RTX 4090, 6 en RTX 3090. Trampa: compararla con la L3 de una CPU; sirve para amortiguar el bus, no para bajar la latencia a niveles de CPU.
- Latencia de VRAM: no se publica; las mediciones independientes dan 200-250 ns. Trampa: creer que HBM es “más rápida” en latencia; solo lo es en GB/s.
Fuentes
- Chips and Cheese — AMD’s Ryzen 9950X: Zen 5 on Desktop — latencia DRAM “algo más de 70 ns” con DDR5-6000, L1D de dos cargas de 512 bits por ciclo, ~1,4 TB/s de L3 por CCD con 8 núcleos, 32 MB de L3 por CCD.
- Chips and Cheese — AMD’s Strix Point: Zen 5 Hits Mobile — L1D de 48 KB a 4 ciclos, L2 de 1 MB a 14 ciclos, ~128 ns a DRAM con LPDDR5X.
- Chips and Cheese — Microbenchmarking Nvidia’s RTX 4090 — L2 de 72 MB frente a 6 MB en RTX 3090, ~30 ns menos de latencia de L2 que Ampere, un solo nivel que cubre L2 e Infinity Cache de AMD.
- AMD — Ryzen 7 9800X3D, especificaciones — 96 MB de L3 (32 + 64 apilados), boost 5,2 GHz, un CCD.
- Intel — Core Ultra 9 285K, especificaciones — 36 MB de L3, 40 MB de L2, 5,7 GHz.
- NVIDIA — GeForce RTX 5090, especificaciones — 32 GB GDDR7, bus de 512 bits, 1 792 GB/s; L2 de 96 MB según el whitepaper de Blackwell.
- Datasets internos
src/data/cpus.json,src/data/gpus.json,src/data/memory-tech.jsonesrc/data/interconnects.json— latencias de DDR5, LPDDR5X, GDDR6 y HBM3 (mediciones de Chips and Cheese recogidas con su contexto), tamaños de caché, anchos de banda de PCIe 5.0 por anchura.