Equipos para IA · Compra
Cómo elegir GPU para IA en 2026: consumer, prosumer, usado y cloud
Un árbol de decisión con números: cuánta VRAM necesitas, qué cuesta cada gigabyte y cada TB/s, cuándo compensan dos tarjetas usadas y a partir de cuántas horas el cloud sale más caro.
Elegir GPU para IA es responder tres preguntas en orden: cuántos gigabytes tiene que caber, a qué velocidad hay que recorrerlos y cuántas horas al año vas a tenerla encendida. La primera decide qué tarjetas entran en la lista; la segunda las ordena; la tercera dice si merece la pena comprar o alquilar. Todo lo demás (marca, generación, TFLOPS del folleto) va después.
Primero la VRAM: lo que no cabe no corre
Si el modelo no cabe en la VRAM, o se cuantiza más, o se parte entre varias tarjetas, o se descarga parte a la RAM del sistema por PCIe, entre 15 y 30 veces más lento que la memoria de la tarjeta. La capacidad es un filtro binario antes que una prestación.
VRAM para inferencia
VRAM (GB) ≈ parámetros (miles de millones) × bytes por parámetro × 1,15 + KV cache
Llama 3.1 70B en 4 bits: 70,55 × 0,5 × 1,15 ≈ 40,6 GB → no cabe en 32 GB
El 15 % extra cubre buffers, la pila de CUDA y las capas que la cuantización deja en más bits. El KV cache crece con el contexto: en Llama 3.1 70B son 2 × 80 capas × 8 cabezas KV × 128 × 2 bytes = 327 680bytes/token, unos 10,5GB con 32 768 tokens en FP16. Un 70B en Q4 pide unos 51 GB con ese contexto: no entra en una RTX 5090, entra en dos RTX 3090 o en cualquier equipo de memoria unificada de 128 GB. La calculadora de VRAM hace la cuenta con cualquier modelo del catálogo.
Regla rápida por tamaño de modelo, en cuantización de 4 bits y con contexto moderado: 8B cabe en 8 GB, 14B en 12 GB, 32B en 24 GB, 70B en 48 GB, 120B-MoE (GPT-OSS 120B en MXFP4) en 64 GB. La tabla completa está en inferencia LLM. Para entrenamiento multiplica: QLoRA de un 7B ronda los 8 GB; el fine-tuning completo pasa de 100 GB.
Segundo el ancho de banda: la velocidad a la que lees lo que cabe
Generar un token obliga a leer todos los pesos una vez. Con batch 1, los tokens por segundo son ancho de banda dividido por el tamaño del modelo; los TFLOPS apenas cuentan. Es la carga memory-bound de manual del roofline.
Techo de tokens por segundo (decode, batch 1)
tokens/s ≤ ancho de banda (GB/s) ÷ tamaño del modelo en memoria (GB)
Qwen3 32B Q4 (≈ 18 GB) en RTX 5090: 1 792 ÷ 18 ≈ 100 tokens/s
En la práctica se alcanza el 60-80 % del techo. El mismo modelo en un Ryzen AI Max+ 395 (256GB/s) se queda en 256 ÷ 18 ≈ 14 tokens/s teóricos, unos 10 reales: siete veces menos con la misma cuantización. El estimador de tokens por segundo compara equipos.
Aquí aparece el conflicto central de 2026: las tarjetas con mucha memoria son lentas y las rápidas tienen poca. Una RTX 5090 mueve 1 792GB/s sobre 32 GB; un DGX Spark tiene 128 GB a 273GB/s. La única tarjeta con las dos cosas es la RTX PRO 6000 Blackwell (96 GB a 1 792 GB/s) y su precio de lista pasó de 8 565 $ a 16 000 $ en septiembre de 2026 por el coste de la GDDR7.
- GeForce / Radeon
- Workstation
- Memoria unificada
| Equipo | Memoria (GB) | Ancho de banda (GB/s) | FP16/BF16 dense (TFLOPS) | FP8 dense (TFLOPS) | TDP (W) | Precio (USD) |
|---|---|---|---|---|---|---|
| GeForce RTX 5090 | 32 | 1 792 | 419 | 838 | 575 | 1 999 |
| GeForce RTX 5080 | 16 | 960 | 225 | 450 | 360 | 999 |
| GeForce RTX 4090 | 24 | 1 008 | 330 | 661 | 450 | 1 599 |
| GeForce RTX 3090 | 24 | 936 | 142 | — | 350 | 1 499 |
| NVIDIA RTX PRO 6000 Blackwell Workstation Edition | 96 | 1 792 | 500 | 1 000 | 600 | 8 565 |
| NVIDIA RTX 6000 Ada Generation | 48 | 960 | 364 | 729 | 300 | 6 800 |
| Radeon RX 7900 XTX | 24 | 960 | 123 | — | 355 | 999 |
| Radeon AI PRO R9700 | 32 | 640 | 191 | 383 | 300 | 1 299 |
| Apple M3 Ultra (GPU 80 núcleos, 512 GB) | 512 | 819 | — | — | — | 9 499 |
| AMD Ryzen AI Max+ 395 (Strix Halo, Radeon 8060S, 128 GB) | 128 | 256 | — | — | 55 | 1 999 |
| NVIDIA DGX Spark (GB10 Grace Blackwell, 128 GB) | 128 | 273 | — | — | 140 | 3 999 |
Candidatos de 2026: memoria, ancho de banda, pico FP16 y FP8 dense en unidades matriciales (GeForce y RTX PRO con acumulación FP16), TDP y precio de lanzamiento en EE. UU. Los aumentos posteriores (RTX PRO 6000 a 16 000 $, DGX Spark a 4 699 $, Framework Desktop a 3 449 $) se comentan en el texto (fuente: src/data/gpus.json).
La columna FP8 separa generaciones: RTX 3090 y RX 7900 XTX no lo tienen, así que los modelos de imagen en FP8 (FLUX, Wan) y los LLM servidos en FP8 con vLLM pierden ahí la mitad del ancho de banda efectivo o no arrancan. Y el TDP acumula: dos RTX 3090 son 700W de GPU; una RTX 6000 Ada, 300W con blower de dos ranuras, y por eso sigue siendo la tarjeta para meter cuatro en una caja.
Precio por gigabyte y por TB/s
Para ordenar candidatos con VRAM distinta hay que normalizar con dos cocientes: dólares por gigabyte (qué pagas por que quepa) y dólares por terabyte por segundo (qué pagas por velocidad).
Precio por GB de memoria
Precios de lista en EE. UU. sin impuestos; en España añade el 21 % de IVA.
Por ancho de banda el orden se invierte. Una RTX 5090 cuesta 1 999 ÷ 1,792 ≈ 1 116$/(TB/s); una RX 7900 XTX o una RTX 5080, unos 1 040 $/(TB/s); el DGX Spark, 3 999 ÷ 0,273 ≈ 14 648$/(TB/s), trece veces más por unidad de velocidad. La memoria unificada vende capacidad barata y velocidad cara; las GeForce, lo contrario. El cociente que manda es el que te falta.
RTX 5090: 62,5 $/GB · 1 116 $/(TB/s) — DGX Spark: 31,2 $/GB · 14 648 $/(TB/s)Usado: dos RTX 3090 frente a una RTX 5090
La RTX 3090 es la última GeForce con NVLink. Dos tarjetas dan 48 GB con un puente de 56,25GB/s por sentido entre ellas (112,5 GB/s sumados), 1,8 veces PCIe 4.0 ×16. Una RTX 4090 usada tiene los mismos 24 GB, un 8 % más de ancho de banda y FP8, pero sin NVLink: dos 4090 hablan por PCIe.
Con reparto por capas (el modo por defecto de llama.cpp) cada token recorre primero una GPU y luego la otra: el ancho de banda no se suma y un 70B Q4 sobre dos 3090 rinde como una 3090 leyendo 40 GB, 936 ÷ 40 ≈ 23 tokens/s teóricos. Con tensor parallel (vLLM, ExLlama) las dos leen a la vez y el techo sube a 1 872 ÷ 40 ≈ 47 tokens/s, a cambio de sincronizar cada capa por el enlace: ahí NVLink evita que PCIe se coma la ganancia.
Antes de comprar la segunda tarjeta, cuenta los lanes. Un Ryzen 9 9950X o un Core Ultra 9 285K tienen 24 y 20 lanes de CPU: con dos GPU cada una va a ×8, y la tercera cuelga del chipset. Un Threadripper 9970X tiene 80 y un Threadripper PRO, 128: la plataforma para cuatro tarjetas a ×16 (CPU).
Los precios de segunda mano no tienen fuente única y cambian cada semana; como orientación, en 2026 una RTX 3090 ronda entre un tercio y la mitad de su precio de lanzamiento y una RTX 4090 se mantiene cerca del suyo porque la demanda de 24 GB no ha bajado. Compra con prueba de carga: una hora de test de memoria y un render a TDP completo delatan minería y pasta térmica agotada.
Lo que no sale en la ficha: fuente, ruido y software
Una RTX 5090 tiene 575W de TGP y transitorios que doblan esa cifra durante milisegundos. Con un procesador de 200 W, la fuente sensata es de 1 000 W con conector 12V-2×6 y certificación ATX 3.1 (picos del 200 % durante 100 µs). Dos RTX 3090 (700 W) piden 1 200-1 300 W; cuatro RTX 6000 Ada (1 200 W), una fuente de 1 600 W. Un enchufe de 16 A a 230 V da 3 680 W y no es el límite (energía y térmica).
El ruido decide si la máquina vive en tu despacho o en un armario. Las GeForce de tres ventiladores expulsan el aire dentro de la caja: con dos apiladas, la de arriba respira el aire caliente de la de abajo y baja frecuencia. Las blower (RTX 6000 Ada, RTX PRO 6000 Max-Q, Radeon AI PRO R9700) sacan el aire por el panel trasero y se apilan bien, a cambio de un silbido constante a plena carga. Un Mac Studio o un DGX Spark a 140 W son inaudibles al lado de cualquiera de ellas.
El software de IA se escribe primero para CUDA. ROCm 7.14 soporta la RX 7900 XTX, la RX 9070 XT y la Radeon AI PRO R9700, y PyTorch, llama.cpp y vLLM funcionan sobre ellas; pero solo en Linux (Ubuntu 24.04/22.04 y RHEL), muchos kernels optimizados llegan meses tarde o no llegan, y cualquier tutorial asume NVIDIA. Una Radeon compra un 30-40 % más de gigabyte por dólar y lo paga en horas de configuración. Si tu tiempo vale más que esa diferencia, NVIDIA; si la carga es llama.cpp o vLLM estable en Linux, una R9700 con 32 GB a 1 299 $ es una opción real.
Apple es el tercer ecosistema: Metal y MLX corren bien la inferencia (llama.cpp, LM Studio, Ollama), regular el entrenamiento y mal lo que dependa de kernels CUDA (difusión de vídeo, casi toda la investigación). El DGX Spark tiene CUDA nativo, y ese es su argumento frente al Strix Halo con el mismo ancho de banda: el software arranca a la primera aunque el hardware sea lento.
Cuándo alquilar: el punto de equilibrio con el cloud
Alquilar por horas convierte el problema en aritmética: compras si las horas que esperas usar superan el punto de equilibrio.
Horas de equilibrio compra frente a cloud
horas = precio de compra ÷ (precio cloud por hora − coste eléctrico por hora)
RTX 5090: 1 999 ÷ (0,99 − 0,14) ≈ 2 350 h ≈ 8 meses a 10 h diarias
El coste eléctrico de una RTX 5090 a plena carga es 0,575 kW × 0,25 €/kWh ≈ 0,14 €/h (tomamos euro y dólar a la par para simplificar). Para una RTX PRO 6000 a 16 000 $: 16 000 ÷ (2,09 − 0,15) ≈ 8 250 h, once meses funcionando las 24 horas o casi tres años a jornada completa. Para una H100 no hay compra doméstica: 3,49 $/h son 30 500 $ al año a tiempo completo, el orden de magnitud del precio de la tarjeta, y por eso se alquila.
- RTX 5090 comprada
- RTX 5090 cloud 0,99 $/h
- RTX PRO 6000 comprada (16 000 $)
- H100 cloud 3,49 $/h
La recta no recoge dos matices: el cloud cobra además almacenamiento y el tiempo de subir datasets, y una GPU local sirve también para render, vídeo y juego. Pero el cloud da 80 GB de HBM a 3,35 TB/s y NVLink real, que ninguna compra por debajo de 16 000 $ ofrece: para un fine-tuning completo de 70B, o para saber si un proyecto merece hardware propio, se alquila primero y se compra después.
El árbol de decisión
- Inferencia de modelos de hasta 32B, imagen y vídeo, o cualquier fine-tuning con LoRA de hasta 14B: RTX 5090. Es el mejor cociente de dólar por TB/s del mercado y tiene FP4 y FP8. Si el presupuesto no llega, una RTX 5080 (16 GB) sirve para 14B y para difusión en FP8, pero se queda corta en cuanto el contexto crece.
- Modelos de 70B densos, o dos cargas a la vez, con presupuesto contenido: dos RTX 3090 usadas con puente NVLink en una placa con dos ranuras a ×8, o dos RTX 4090 si necesitas FP8 y aceptas ir por PCIe. Fuente de 1 300 W y caja con aire.
- De 70B a 120B con velocidad de GPU discreta, o entrenamiento serio en local: RTX PRO 6000 Blackwell. A 16 000 $ solo se justifica con más de 8 000 horas de uso o con restricciones de datos que impidan el cloud. La RTX 6000 Ada usada (48 GB, blower, sin FP4) es la alternativa para apilar cuatro.
- Modelos grandes en MoE (GPT-OSS 120B, Qwen3 235B-A22B) a velocidad moderada, sin ruido y en un solo chip: memoria unificada. Mac Studio con 128-512 GB si tu flujo es inferencia y MLX; DGX Spark si necesitas CUDA; Strix Halo si el precio manda y aceptas ROCm. Ninguno sirve para entrenar ni para difusión de vídeo con prisa.
- Uso esporádico o experimental, o cualquier cosa que pida H100/B200: cloud. Bajo el punto de equilibrio calculado arriba, comprar es pagar por horas que no vas a usar.
Lo que debes recordar
- La VRAM es un filtro binario: parámetros × bytes por parámetro × 1,15 más el KV cache. Lo que no cabe no corre a velocidad de GPU.
- Con batch 1, tokens/s ≈ ancho de banda ÷ tamaño del modelo. Los TFLOPS casi no cuentan en inferencia de LLM.
- Normaliza por dólar/GB y dólar/(TB/s): memoria unificada gana en el primero, GeForce en el segundo. El que manda es el que te falta.
- Dos GPU no suman ancho de banda salvo con tensor parallel, y entonces el enlace entre ellas (NVLink o PCIe ×8) decide.
- Compra si las horas esperadas superan precio ÷ (tarifa cloud − electricidad). Una RTX 5090 se amortiza en unas 2 350 horas; una RTX PRO 6000 a 16 000 $, en más de 8 000.
Para mirar en una ficha técnica
- Memoria (GB): la primera línea que mirar. Trampa: «memoria de sistema» o «hasta 96 GB compartidos» en un mini-PC no es VRAM a velocidad de GPU.
- Ancho de banda de memoria (GB/s): define los tokens por segundo. Trampa: «GB/s efectivos» sumando la caché del chip.
- Rendimiento en FP8 dense: si la ficha solo da «AI TOPS», divide entre dos por sparsity y entre dos más si es FP4.
- Interconexión: NVLink solo en RTX 3090 y en datacenter; en el resto, PCIe y sus lanes reales (×16 o ×8).
- TGP (W) y formato del disipador: suma las tarjetas y añade el 50 % para la fuente; blower para apilar, ventiladores abiertos para una sola.
- Soporte de software: CUDA funciona en todo; ROCm solo con las tarjetas de la lista de AMD y en Linux; Metal solo para inferencia.
Fuentes
- NVIDIA RTX Blackwell GPU Architecture (whitepaper) — cifras dense y sparse por precisión de RTX 5090 y RTX 5080, bus y GDDR7.
- NVIDIA RTX PRO 6000 Blackwell Workstation Edition (datasheet) — 96 GB GDDR7 ECC, 1 792 GB/s, 600 W, «4 000 AI TOPS».
- Tom’s Hardware — NVIDIA doubles RTX PRO 6000 Blackwell MSRP to $16 000 — precio de septiembre de 2026.
- NVIDIA Ampere GA102 GPU Architecture (whitepaper) — NVLink de la RTX 3090: 4 enlaces, 56,25 GB/s por sentido.
- NVIDIA RTX 6000 Ada Generation (datasheet) — 48 GB GDDR6 ECC, 960 GB/s, 300 W, blower.
- AMD Radeon RX 7900 XTX — especificaciones — 24 GB GDDR6, 960 GB/s, «3 500 GB/s efectivos» con Infinity Cache.
- AMD Radeon AI PRO R9700 — especificaciones — 32 GB, 640 GB/s, FP8 383 TFLOPS dense, 300 W, 1 299 $.
- ROCm 7.14 — system requirements (Linux) — lista de Radeon soportadas y distribuciones.
- NVIDIA DGX Spark — 128 GB LPDDR5X, 273 GB/s, «1 PFLOP FP4» (sparse), 3 999 $ de lanzamiento.
- Framework — Introducing the Framework Desktop — Ryzen AI Max+ 395 con 128 GB a 1 999 $ de lanzamiento.
- Apple — Mac Studio M3 Ultra (newsroom, marzo de 2025) — 512 GB, más de 800 GB/s, precios.
- RunPod — GPU pricing — tarifas por hora de H100 SXM, RTX PRO 6000, RTX 5090, RTX 4090 y RTX 3090 (consultado el 22-09-2026).
- Lambda — GPU cloud pricing — H100 SXM desde 3,99 $/h (8×) hasta 4,29 $/h (1×), B200 6,99 $/h (consultado el 22-09-2026).
- AMD Ryzen 9 9950X — especificaciones — 24 lanes PCIe 5.0 de CPU.