Herramientas · Entrenamiento y fine-tuning
Memoria de entrenamiento
Pesos, gradientes, optimizador y activaciones → GB por GPU y cuántas GPUs.
- Parámetros entrenables
- Pesos (base + máster)
- Gradientes
- Estados del optimizador
- Activaciones (por GPU)
- Margen (runtime, buffers, fragmentación)
- Total por GPU
- Pesos
- Gradientes
- Optimizador
- Activaciones
- Margen
¿Dónde cabe?
- RTX 507012 GB
- RTX 508016 GB
- RTX 309024 GB
- RTX 409024 GB
- RTX 509032 GB
- AI PRO R970032 GB
- RTX 6000 Ada48 GB
- H100 SXM5 80 GB80 GB
- RTX PRO 6000 Blackwell96 GB
- Ryzen AI Max+ 395 (128 GB)128 GB
- DGX Spark (128 GB)128 GB
- M4 Max (128 GB)128 GB
- M5 Max (128 GB)128 GB
- H200 SXM 141 GB141 GB
- B200 SXM180 GB
- MI300X192 GB
- M5 Ultra (512 GB)512 GB
«N×» = unidades necesarias con ZeRO-3/FSDP para que quepa (el batch total se reparte y las activaciones por GPU bajan).
Los cuatro sumandos
Entrenar guarda mucho más que el modelo. Para cada parámetro entrenable hacen falta los pesos, su gradiente y los estados del optimizador; AdamW guarda dos momentos en FP32, 8 bytes por parámetro. En precisión mixta se suma además una copia máster de los pesos en FP32. El caso canónico: un modelo de 7 000 millones de parámetros en precisión mixta con AdamW ocupa 7 × (2 + 4 + 2 + 8) = 112 GB antes de contar activaciones. No cabe en ninguna GPU de consumo: por eso existen ZeRO, FSDP y LoRA.
El cuarto sumando, las activaciones, depende del batch y de la longitud de secuencia, no del tamaño del modelo. Con la estimación de Megatron-LM (Korthikanti et al., 2022), cada capa guarda s × b × h × (34 + 5 × a × s ÷ h) bytes en BF16; con gradient checkpointing se guarda solo la entrada de cada capa (2 × s × b × h) y se recomputa el resto en el paso hacia atrás, a cambio de un 20-30 % más de cálculo.
LoRA y QLoRA
LoRA congela los pesos base (solo se leen, 2 bytes por parámetro en BF16) y entrena dos matrices pequeñas de rango r por cada matriz objetivo; los gradientes y el optimizador solo existen para esos pocos millones de parámetros. QLoRA guarda además la base cuantizada a 4 bits (NF4 con doble cuantización, unos 0,6 bytes por parámetro): un 7B cabe en 6-8 GB y un 70B en unos 48 GB. Las activaciones son las mismas que en el entrenamiento completo, porque el paso hacia delante es idéntico.
Varias GPUs
Con réplica simple (DDP) cada GPU guarda todo y solo se reparte el batch. ZeRO-1 divide los estados del optimizador entre las N GPUs; ZeRO-2 también los gradientes; ZeRO-3 y FSDP reparten hasta los pesos, de modo que la memoria de modelo por GPU baja casi a 1/N a costa de más comunicación, y ahí importa el enlace: NVLink frente a PCIe.
Y el tiempo
El cálculo de un entrenamiento se estima con 6 × N × D FLOPs (N parámetros, D tokens): un 8B sobre 1 000 millones de tokens son 4,8 × 10¹⁹ FLOPs. Una RTX 5090 (419 TFLOPS BF16 dense) con una utilización (MFU) del 40 % rinde 1,7 × 10¹⁴ FLOP/s: unas 80 horas. Más en entrenamiento y fine-tuning y precisión numérica.
Otras herramientas
- Calculadora de VRAM — ¿Cabe este modelo en tu GPU?
- Tokens por segundo — Velocidad esperable de un LLM
- Explorador Roofline — ¿Te limita el cálculo o la memoria?
- Comparador de GPUs — Todas las cifras, ordenables
- Calculadora de ancho de banda — Bus × velocidad ÷ 8