Ejecutar un chatbot en el propio ordenador ya no exige un laboratorio. Con Ollama o LM Studio se descarga un modelo, se arranca y se conversa con él sin cuota mensual, sin conexión a Internet y sin que los datos salgan del equipo. Lo que decide si eso funciona, y a qué velocidad, no es el software: la memoria disponible marca qué modelos de IA local caben y el ancho de banda marca cómo responden.

Un PC corriente con 16 GB de RAM puede con modelos pequeños, de siete u ocho mil millones de parámetros, como Llama 3.1 8B de Meta o Qwen3 8B de Alibaba. Con una tarjeta gráfica de 8 GB de VRAM se mueven a una velocidad decente. Son, eso sí, modelos muy lejos de los que hay detrás de ChatGPT o Claude.
Para acercarse a ese nivel, el listón sube a 32 GB de memoria y una GPU con 16 GB de VRAM o más. Y ahí aparece el problema: a los precios actuales, esa tarjeta no sale barata.
Cuánta memoria pide cada modelo de IA local
La memoria que necesita un modelo crece de forma casi lineal con su tamaño, medido en miles de millones de parámetros (B). La mayoría de la gente usa versiones cuantizadas a unos cuatro bits por parámetro, que dejan el archivo en aproximadamente una cuarta parte de su tamaño original. En la biblioteca de Ollama, eso se traduce en estas cifras:
- Llama 3.1 8B (Meta): 4,9 GB
- Phi-4 (Microsoft): 9,1 GB
- Gemma 3 27B (Google): 17 GB
- Llama 3.3 70B (Meta): 43 GB
La regla de Ollama es fácil de recordar: 8 GB de RAM para un modelo de 7B, 16 GB para uno de 13B y 32 GB para uno de 33B. Sirve como orientación, no como garantía.
A los pesos hay que sumar lo que nunca aparece en el tamaño del archivo: entre 0,5 y 2 GB de caché KV con un contexto de 4K, entre 2 y 4 GB que se reserva el sistema operativo y el margen propio del motor de inferencia. Con contextos largos, de 16K tokens o más, conviene añadir entre 4 y 8 GB extra.
Por qué el ancho de banda frena la IA local
Cada vez que un modelo genera una palabra, o más bien un token, tiene que recorrer todos sus parámetros. Por eso la velocidad depende mucho más del ancho de banda de memoria que de la potencia de cálculo. Los ingenieros de Nvidia describen esa fase como «memory-bound», limitada por memoria.
La VRAM de una tarjeta gráfica es varias veces más rápida que la RAM del resto del PC. De ahí que un modelo que cabe entero en la GPU vuele y uno que desborda a la memoria del sistema se arrastre. Las guías de referencia sitúan esa ventaja entre 5 y 20 veces más ancho de banda.
Las cifras ayudan a hacerse una idea. En pruebas de LMSYS, una RTX 5090 generó texto con gpt-oss-20b a 205 tokens por segundo. Los benchmarks de llama.cpp colocan el chip M4 base de Apple en unos 24 tokens por segundo con un modelo de 7B. Y el DGX Spark de Nvidia, un equipo para desarrolladores de 3.999 dólares, se quedó en 38 tokens por segundo con Llama 3.1 8B y bajó a 4,42 con la versión de 70B.

Para seguir el ritmo de lectura de la mayoría de la gente basta con superar los cinco o diez tokens por segundo. Todo lo que quede por debajo se nota al instante.
La mezcla de expertos no perdona la falta de memoria
Gpt-oss-20b de OpenAI tiene 21.000 millones de parámetros, pero solo activa 3.600 millones por token gracias a una arquitectura de mezcla de expertos. Eso lo hace rápido, aunque el modelo completo tiene que caber igualmente en la memoria disponible: OpenAI afirma que funciona «with just 16 GB of memory», pero en Ollama ocupa 14 GB, casi todo un equipo de 16 GB.
El patrón se repite en cuanto se sube de tamaño. Un 70B cuantizado ya son 43 GB, tres veces lo que ofrece un portátil de 16 GB, y los modelos abiertos de un billón de parámetros piden cientos de gigabytes entre RAM y VRAM para funcionar a cuatro bits. Ese terreno es de centro de datos, no de escritorio.
Cuándo merece la pena dar el salto a 32 GB
Para una consulta privada puntual o algo de ayuda con código sin conexión, 16 GB bastan. Si la idea es sustituir de verdad a un chatbot en la nube, toca mirar 32 GB de RAM o una gráfica de 16 GB.
El desembolso no es menor: un kit de 32 GB de DDR5 cuesta 434 dólares según el índice de precios de RAM de Tom’s Hardware, casi lo mismo que dos años de suscripción de 20 dólares al mes a ChatGPT Plus o Claude Pro.
La decisión depende de para qué se use. Un 8B cuantizado en un portátil de 16 GB resuelve resúmenes y pruebas de código. Un 27B o un 70B obliga a planificar la compra pensando en la VRAM antes que en la CPU, que en la mayoría de los casos solo tiene que alimentar a la gráfica. Quien quiera comprobarlo sin gastar nada puede empezar con un 7B u 8B, medir sus propios tokens por segundo y decidir con datos si la IA local le compensa.
Lee también
- Reino Unido no frenará la construcción de centros de datos de IA
- NVIDIA abre una investigación sobre su CEO y el espionaje chino
- Slate cobra 275 dólares por el módulo de telemetría opcional
Fuente: Engadget News