Equipos para IA · Generativa

Modelos de imagen y vídeo: difusión, VRAM y FP8

Por qué FLUX, SDXL o Wan son cargas limitadas por cálculo y no por memoria, cuánta VRAM piden de verdad según precisión y resolución, y qué cambia FP8 y FP4 en una GPU de consumo.

Un modelo de difusión no lee sus pesos una vez por token, como un LLM: los recorre entre 20 y 50 veces por imagen y en cada pasada hace una montaña de multiplicaciones sobre miles de «tokens» de imagen. Eso invierte la regla de la inferencia de LLM. Aquí mandan los TFLOPS de los Tensor Cores, la VRAM decide qué modelo cabe y a qué resolución, y FP8 o FP4 son la palanca que convierte una GPU de 12 o 16 GB en una máquina útil.

Qué hace la GPU en cada paso

Un modelo de difusión parte de ruido y lo va limpiando en pasos. En cada paso, una red grande (la UNet de Stable Diffusion XL o el transformer DiT de FLUX, SD 3.5, Wan y HunyuanVideo) recibe la imagen latente entera y predice cuánto ruido quitar. La imagen no se procesa en píxeles sino en un espacio latente comprimido por un autoencoder (VAE): un factor 8 en cada eje para casi todos los modelos actuales. Una imagen de 1 024 × 1 024 se convierte en una rejilla de 128 × 128 valores con 16 canales en FLUX (4 en SDXL).

Los transformers de difusión agrupan además parches de 2 × 2 latentes en un token, que pasa por decenas de bloques de atención y capas densas como una palabra en un LLM. La diferencia decisiva: aquí hay miles de tokens a la vez y todos se procesan en cada paso.

Tokens de imagen en un DiT

tokens = (alto ÷ 8 ÷ 2) × (ancho ÷ 8 ÷ 2) = alto × ancho ÷ 256

1 024 × 1 024 ÷ 256 = 4 096 tokens por paso

FLUX comprime 8 × 8 píxeles por latente y agrupa 2 × 2 latentes por token: cada token representa 16 × 16 píxeles. A 1 024 × 1 024 el transformer trabaja con 4 096 tokens; a 2 048 × 2 048, con 16 384. Ese número, no los megapíxeles, es lo que ve la GPU.

Por qué es una carga limitada por cálculo

En el modelo roofline lo que decide si una carga espera a la memoria o a los núcleos es la intensidad aritmética: cuántas operaciones se hacen por cada byte que se lee. Un LLM en decodificación con batch 1 lee cada peso una vez y lo multiplica por un único vector: dos operaciones por peso, intensidad bajísima, y el techo lo pone el ancho de banda. Un DiT lee ese mismo peso una vez por paso pero lo multiplica por los 4 096 tokens de la imagen: unas 8 000 operaciones por peso. Con esa intensidad, hasta una RTX 5090 con 1 792GB/s está lejos del límite de memoria y son los Tensor Cores los que marcan el ritmo.

Decode LLM: ~2 FLOP por peso leído · DiT a 1 024²: ~8 000 FLOP por peso leído

Dos consecuencias prácticas. Entre dos GPU con la misma VRAM gana la de más TFLOPS en la precisión que uses, no la de más ancho de banda. Y cuantizar a FP8 o FP4 acelera solo si el hardware calcula en esa precisión: en un LLM bajar a Q4 acelera aunque el cálculo siga en FP16, porque ahorras bytes leídos; en difusión, sin ruta FP8 nativa el peso se descomprime al vuelo y solo ganas memoria.

Cuánta VRAM pide un modelo de imagen

La memoria se reparte en tres bloques: los pesos del modelo de difusión, los codificadores de texto y el VAE, y las activaciones del paso en curso (crecen con la resolución y el lote). Los pesos son el bloque grande y se calculan igual que en un LLM.

Memoria de los pesos

GB ≈ parámetros (miles de millones) × bytes por parámetro

FLUX.1 [dev]: 12 × 2 bytes (BF16) ≈ 24 GB → fichero real de 23,8 GB

El fichero flux1-dev.safetensors de Black Forest Labs ocupa 23,8GB, coherente con 12 000 millones de parámetros en BF16. En FP8 (1 byte por parámetro) baja a unos 12GB; en FP4 con escalas por bloque (NVFP4, 0,5625 bytes por parámetro) a unos 6,8GB. A eso hay que sumar el codificador de texto T5-XXL, que en FP16 pesa por sí solo cerca de la mitad que el transformer, más CLIP y el VAE, y las activaciones.

Pesos del modelo de difusión por precisión

  • BF16 / FP16
  • FP8
  • FP4 (NVFP4)
02040SDXL (3B)6 GBSDXL FP83 GBFLUX.1 dev (12B)24 GBFLUX.1 dev FP812 GBFLUX.1 dev FP46,8 GBHunyuanVideo (13B)26 GBHunyuanVideo FP813 GBWan 2.2 A14B (14B activos)28 GBWan 2.2 A14B FP814 GBGB
Memoria de los pesos del transformer o UNet según la precisión, calculada como parámetros × bytes por parámetro. Solo el modelo de difusión: los codificadores de texto y las activaciones van aparte (fuentes: fichas de Hugging Face de FLUX.1 [dev] y SDXL; parámetros de HunyuanVideo y Wan 2.2 según sus repositorios).

NVIDIA lo resume así en la presentación de las RTX 50: FLUX.1 [dev] «en FP16 necesita más de 23 GB de VRAM» y «con FP4 necesita menos de 10 GB», codificadores reducidos incluidos. Para el comprador: con 24 GB (RTX 4090, RTX 3090) FLUX cabe en FP16 descargando el T5 a la RAM entre pasos; con 16 GB cabe en FP8 con holgura; con 12 GB entra en FP8 sin margen para resolución alta, y FP4 es el camino natural en Blackwell.

SDXL es otra escala: la ficha de Hugging Face lo redondea a 3 000 millones de parámetros, unos 6GB en FP16, con codificadores CLIP pequeños. Corre en 8 GB sin trucos, y por eso sigue siendo la base de la mayoría de modelos afinados por la comunidad.

Resolución, pasos y lote: cómo escala el tiempo

El tiempo por imagen es el producto de dos factores. Los pasos los eliges tú (20-30 en FLUX.1 [dev], 4 en los destilados). El coste de cada paso lo fijan los tokens y lo que la GPU tarda en procesarlos en la precisión activa.

Tiempo por imagen

segundos ≈ pasos × tiempo por paso (a esa resolución y precisión)

RTX 4090, FLUX.1 dev FP16, 1 024²: 30 pasos × ~0,5 s ≈ 15 s

NVIDIA da 15 segundos con 30 pasos para una RTX 4090 en FP16: medio segundo por paso. Para una RTX 5090 en FP4 anuncia «algo más de cinco segundos»: unos 0,17 s por paso. Ojo: cambia la GPU y la precisión a la vez, así que el 3× no separa cuánto viene del silicio y cuánto de pasar de 16 a 4 bits.

  • Tokens (capas densas)
  • Atención (tokens²)
0510151k1,5k2kLado de la imagen (px, cuadrada)Relativo a 1 024² (×)Tokens (capas densas)Atención (tokens²)
Tokens de imagen y coste relativo de la atención según la resolución para un DiT con VAE ×8 y parches 2 × 2 (cálculo a partir de la fórmula de tokens; el coste de atención es proporcional al cuadrado de los tokens, normalizado a 1 024²).

El tamaño de lote actúa igual: cuatro imágenes a la vez son cuatro veces más tokens por paso. Como la carga ya está limitada por cálculo, el lote apenas mejora el rendimiento por imagen (no hay ociosidad que rellenar, al contrario que en un LLM) y sí multiplica las activaciones en VRAM. En una GPU de consumo, lote 1 y encadenar.

FP8 y FP4 en una GPU de consumo

La precisión numérica en difusión tiene dos caras: cuántos bytes ocupa cada peso y en qué formato multiplica el Tensor Core. Ambas dependen de la generación de la GPU.

VRAM y picos dense de Tensor/Matrix Cores por precisión. Un guion significa que el hardware no tiene esa ruta (fuente: src/data/gpus.json, whitepapers de NVIDIA y fichas de AMD).
EquipoMemoria (GB)Ancho de banda (GB/s)FP16/BF16 dense (TFLOPS)FP8 dense (TFLOPS)FP4 dense (TFLOPS)TDP (W)
GeForce RTX 309024936142——350
GeForce RTX 4090241 008330661—450
GeForce RTX 507012672124247494250
GeForce RTX 5070 Ti16896176352703300
GeForce RTX 508016960225450900360
GeForce RTX 5090321 7924198381 676575
NVIDIA RTX PRO 6000 Blackwell Workstation Edition961 7925001 0002 000600
Radeon RX 9070 XT16640195389—304

VRAM y picos dense de Tensor/Matrix Cores por precisión. Un guion significa que el hardware no tiene esa ruta (fuente: src/data/gpus.json, whitepapers de NVIDIA y fichas de AMD).

  • Ampere (RTX 3090): 24 GB y Tensor Cores de 3.ª generación sin FP8. Un checkpoint FP8 carga y ahorra memoria, pero cada multiplicación se hace en FP16. Sirve para que FLUX quepa, no para ir más rápido.
  • Ada (RTX 40): primera GeForce con FP8 nativo (E4M3 y E5M2) al doble del ritmo FP16. FLUX FP8 en una RTX 4090 gana tiempo además de memoria.
  • Blackwell (RTX 50): añade FP4 al doble del ritmo FP8, pensado para que un modelo de 12B corra en 12 o 16 GB sin arrastrar los pies.
  • RDNA 4 (RX 9070 XT): FP8 nativo con 389TFLOPS dense, por encima de una RTX 5070 Ti, pero el ecosistema (ROCm, nodos de ComfyUI) sigue por detrás de CUDA.

¿Qué pierdes al bajar de precisión? Menos de lo que parece. FP8 E4M3 conserva 3 bits de mantisa y un rango de ±448, suficiente para un DiT bien normalizado: BF16 y FP8 son casi indistinguibles a la vista. FP4 con escalas por bloque de 16 valores (NVFP4) ya se nota en detalles finos y texto dentro de la imagen, y depende de que se haya cuantizado con calibración. Pasar el codificador T5 a FP8 es en la práctica gratis.

Vídeo: la misma cuenta con un eje más

Un generador de vídeo es un DiT con dimensión temporal. El VAE comprime también en el tiempo (factor 4 en HunyuanVideo y Wan) y los tokens se multiplican por los fotogramas latentes: un clip corto tiene cientos de miles de tokens y la atención cuadrática domina el coste.

Tokens de un clip de vídeo

tokens ≈ (fotogramas ÷ 4 + 1) × (alto ÷ 16) × (ancho ÷ 16)

HunyuanVideo, 129 fotogramas a 720 × 1 280: 33 × 45 × 80 ≈ 118 800 tokens

Frente a los 4 096 tokens de una imagen de 1 024², un clip de 5 segundos a 720p tiene 29 veces más tokens y una atención unas 840 veces más cara por paso. La fórmula es aproximada (cada modelo elige su compresión temporal y su tamaño de parche), pero el orden de magnitud es el que importa: por eso el vídeo local vive en GPU de 24 GB o más y tarda minutos, no segundos.

Las cifras de los propios equipos lo confirman:

  • HunyuanVideo (Tencent, más de 13 000 millones de parámetros) declara un pico de 60GB de VRAM para 129 fotogramas a 720 × 1 280 y 45GB a 544 × 960, y recomienda 80 GB. Con pesos FP8 «ahorra unos 10 GB»: la mitad de 26 GB de pesos BF16, así que el resto (más de 30 GB) son activaciones y atención, no modelo.
  • Wan 2.2 (Alibaba): el TI2V-5B genera 5 segundos a 720p «en menos de 9 minutos en una sola GPU de consumo» sin optimizar; los A14B son un MoE de dos expertos (ruido alto y ruido fino) con 27 000 millones de parámetros totales y 14 000 millones activos por paso, así que en VRAM y cómputo se comportan como un 14B.
  • LTX-Video (Lightricks) va por el otro camino: un 13B destilado que genera «vídeo HD en 10 segundos en una H100» y un 2B destilado «15× más rápido que el no destilado», apto para tiempo real. Menos calidad de cuadro, pero responde en segundos en una tarjeta de consumo.
HunyuanVideo 720p · 129 f60GBpico de VRAM, BF16
HunyuanVideo FP850GBahorra ~10 GB
Wan 2.2 TI2V-5B 720p9min< 9 min, GPU de consumo
LTX 13B destilado10sHD en una H100

Para el comprador: con 16 GB entran los modelos pequeños (LTX 2B, Wan 5B con descarga a RAM); con 24-32 GB, los de 13-14B en FP8 con descarga parcial a 480-720p; los 60 GB de pico de HunyuanVideo sin optimizar solo caben en una RTX PRO 6000 (96GB) o en datacenter. Los trucos de la comunidad (atención por bloques, activaciones cuantizadas) rebajan esas cifras a costa de tiempo.

Cuando no cabe: offloading y qué GPU comprar

Cuando un modelo no cabe, ComfyUI y diffusers hacen offloading: mantienen en VRAM lo que se usa en cada momento y aparcan el resto en la RAM. La versión barata descarga los codificadores de texto (trabajan solo al principio) y el VAE (solo al final), lo que en FLUX libera cerca de 10 GB sin tocar el bucle de difusión. La agresiva mueve bloques del propio transformer en cada paso, y ahí el PCIe se convierte en el cuello de botella.

RAM del sistemaDDR5 · 64 GB · 89,6 GB/sPCIe 5.0 ×1664 GB/s por direcciónGPURTX 5090 · 838 TFLOPS FP8VRAM32 GB GDDR7bloques descargadoscada paso1 792 GB/s
Ruta de los datos con offloading: cada bloque del transformer que no cabe en VRAM cruza el PCIe en cada paso (fuentes: PCI-SIG, src/data/interconnects.json y gpus.json).

El coste se calcula rápido. Traer 6 GB de pesos por paso por PCIe 5.0 ×16 (64GB/s por dirección, en la práctica algo menos) cuesta unos 0,1 s; en PCIe 4.0 el doble. Con 30 pasos son 3-6 segundos añadidos a una imagen que sin offloading tarda 5-15: molesto pero utilizable. En vídeo, con pasos de varios segundos y activaciones enormes, el offloading del transformer puede multiplicar el tiempo: ahí la VRAM no se sustituye.

6 GB por paso ÷ 64 GB/s ≈ 0,1 s · × 30 pasos ≈ 3 s extra por imagen

La memoria unificada (Mac, Strix Halo, DGX Spark) evita el problema de capacidad pero cae por el otro lado: un DiT es una carga de cálculo, y esos chips rinden una fracción de los TFLOPS de una GPU discreta grande (Apple, además, sin unidades matriciales). Caben modelos que no caben en una RTX 5090, pero tardan varias veces más por imagen.

Qué GPU para imagen y vídeo en 2026

Tres preguntas, en este orden: qué modelo y en qué precisión (fija la VRAM mínima), a qué resolución (fija los TFLOPS) y si vas a hacer vídeo (sube el listón de VRAM de golpe). El comparador de GPU cruza VRAM y picos por precisión; la calculadora de VRAM hace la cuenta de parámetros × bytes.

  • 12 GB (RTX 5070): SDXL con holgura; FLUX justo en FP8 y cómodo en FP4. Nada de vídeo serio.
  • 16 GB (RTX 5070 Ti, RTX 5080): FLUX FP8 completo, vídeo con modelos de 2-5B. El punto de entrada razonable.
  • 24 GB (RTX 4090, RTX 3090 usada): FLUX en FP16 con offloading ligero, vídeo 13-14B en FP8 a 480p. En la 3090 el FP8 es solo de almacenamiento.
  • 32 GB (RTX 5090): la GPU de consumo para vídeo local; FP4 nativo, 838TFLOPS FP8 dense y VRAM para 720p con modelos de 14B cuantizados.
  • 96 GB (RTX PRO 6000 Blackwell): la única tarjeta de una ranura PCIe que corre HunyuanVideo o Wan A14B sin cuantizar ni descargar; más de 16 000 $ en septiembre de 2026.

La guía de compra completa el árbol con precio por GB y por TFLOPS.

Lo que debes recordar

  • La difusión procesa miles de tokens por paso y decenas de pasos por imagen: es una carga limitada por cálculo, no por ancho de banda. Cuenta TFLOPS dense en la precisión que uses.
  • VRAM de los pesos = parámetros × bytes por parámetro: FLUX.1 [dev] pasa de 23,8 GB (BF16) a ~12 GB (FP8) y ~7 GB (FP4); los codificadores y las activaciones van aparte.
  • Los tokens crecen con alto × ancho ÷ 256 y la atención con su cuadrado. Doblar el lado multiplica la atención por 16.
  • FP8 solo acelera en Ada, Blackwell y RDNA 4; FP4 solo en Blackwell. NF4 ahorra memoria en cualquier GPU pero no acelera en ninguna.
  • El vídeo añade el eje temporal: cientos de miles de tokens, 45-60 GB de pico en HunyuanVideo a 720p, minutos por clip. Empieza a ser cómodo en 24-32 GB con FP8.

Para mirar en una ficha técnica

  • VRAM (GB): la primera cifra a mirar. Trampa: la memoria compartida con el sistema que Windows suma en el gestor de tareas no es VRAM.
  • TFLOPS FP8 y FP4 dense: el ritmo real de un DiT en esa precisión. Trampa: «AI TOPS» es sparse y FP4 en Blackwell; divide entre dos para tener el dense y entre cuatro si tu flujo va en FP8.
  • Generación de Tensor Cores: 3.ª (Ampere) sin FP8; 4.ª (Ada) con FP8; 5.ª (Blackwell) con FP4. Trampa: un checkpoint FP8 carga en cualquier GPU; acelera solo en las que lo calculan.
  • PCIe ×16 y su generación: solo importa si haces offloading; entonces importa mucho. Trampa: ranuras ×8 disfrazadas de ×16 en placas con dos GPU.
  • Ancho de banda (GB/s): secundario en difusión. Trampa: pagar por HBM o GDDR7 esperando un salto que en imagen no llega si los TFLOPS no acompañan.

Fuentes

  1. FLUX.1 [dev] — ficha del modelo en Hugging Face — 12 000 millones de parámetros, transformer de flujo rectificado, BF16; tamaño del fichero flux1-dev.safetensors (23,8 GB) y ae.safetensors (335 MB) en el listado del repositorio.
  2. NVIDIA — GeForce RTX 50 Series y FP4 para FLUX.1 (CES 2025) — FLUX.1 [dev] «más de 23 GB en FP16» y «menos de 10 GB en FP4»; 15 s con 30 pasos en RTX 4090 FP16 frente a «algo más de 5 s» en RTX 5090 FP4.
  3. Stable Diffusion XL Base 1.0 — ficha en Hugging Face — ~3 000 millones de parámetros, codificadores OpenCLIP ViT-G y CLIP ViT-L, resolución nativa 1 024 × 1 024.
  4. Tencent — HunyuanVideo (repositorio) — más de 13 000 millones de parámetros; pico de 60 GB (720 × 1 280 × 129 f) y 45 GB (544 × 960 × 129 f); pesos FP8 ahorran unos 10 GB.
  5. Alibaba — Wan 2.2 (repositorio) — TI2V-5B, T2V/I2V-A14B (MoE de dos expertos, 27B totales, 14B activos), 720p en menos de 9 minutos en una GPU de consumo.
  6. Lightricks — LTX-Video (repositorio) — variantes 2B y 13B, destiladas y FP8; 13B destilado «HD en 10 s en H100»; 2B destilado 15× más rápido y apto para tiempo real.
  7. Datasets del sitio src/data/gpus.json, precisions.json e interconnects.json — picos dense por precisión (whitepapers de NVIDIA Ada y Blackwell, fichas de AMD), bytes por parámetro de FP8/NVFP4 y ancho de banda de PCIe 5.0.

Escribe para buscar en artículos, herramientas y glosario. Esc para cerrar.