PC y Portátil para Ollama e IA Local: Cuánta VRAM, RAM DDR5 y GPU RTX Necesitas
Análisis técnico para devs en Colombia: VRAM vs RAM DDR5 en dual-channel, cuantización Q4_K_M en Ollama, offload CPU/GPU y SSD NVMe PCIe para flujos con RAG y VS Code.
Equipo de Ingeniería de Hardware — Modula
Especialistas en Configuración Modular & Compatibilidad
Desplegar modelos locales con Ollama para autocompletado en VS Code, flujos de automatización en n8n o bases vectoriales RAG exige entender un cuello de botella distinto al de la programación tradicional: el ancho de banda de memoria. Comprar un procesador de última generación con 16 GB de RAM en un solo canal o una tarjeta gráfica con poca VRAM provoca caídas drásticas en los tokens por segundo (tok/s), haciendo inviable usar el modelo como copiloto en tiempo real.
En el mercado colombiano, diseñar una estación de trabajo equilibrada —desde portátiles con 32 GB DDR5 ampliables alrededor de $3.400.000 COP hasta workstations con NVIDIA RTX y 64 GB de RAM por encima de $5.000.000 COP— requiere calcular exactamente cuánto pesan los pesos cuantizados (.gguf en Q4_K_M o Q8_0), cuánto reserva el KV cache de la ventana de contexto y cómo evitar el temido desbordamiento hacia disco.
En esta guía de arquitectura de hardware analizamos cómo dimensionar VRAM, RAM DDR5 vs. DDR4 y almacenamiento SSD NVMe PCIe para obtener inferencia local rápida y predecible.
El Cuello de Botella Real en Inferencia Local: Memoria sobre Cómputo
A diferencia del entrenamiento de redes neuronales o del renderizado 3D, la generación autorregresiva de tokens en modelos LLM es una carga limitada por el ancho de banda de memoria (memory-bandwidth bound). Cada token generado obliga a leer prácticamente todos los pesos activos del modelo desde la memoria hacia los núcleos de cómputo.
Cuando el modelo completo más su context window caben dentro de la VRAM de una GPU NVIDIA RTX (cuyo ancho de banda supera fácilmente los 250–400 GB/s), la inferencia vuela entre 40 y 110+ tokens/s. En cambio, si el modelo excede la VRAM disponible, Ollama divide las capas entre la GPU y la RAM del sistema (CPU offload). En ese escenario, la velocidad cae al ritmo del bus de tu memoria RAM (DDR5 dual-channel frente a DDR4 o single-channel).
Por eso, elegir un chasis con slots libres de memoria DDR5 y no quedarse atrapado en configuraciones soldadas es la decisión más rentable para cualquier desarrollador de IA en Colombia.
Arquitectura de Decisión: Dimensionamiento VRAM + RAM para Ollama
┌──────────────────────────────────────────────────────────────────────────┐
│ 1. PESO DEL MODELO Y CONTEXTO (Ollama Q4_K_M + KV Cache 8K–32K tokens) │
│ 7B/8B (~5.5 GB) · 14B (~9.5 GB) · 32B (~20 GB) │
└────────────────────────────────────┬─────────────────────────────────────┘
│ Cabe en VRAM?
▼
┌──────────────────────────────────────────────────────────────────────────┐
│ 2. ACELERACIÓN GPU (NVIDIA RTX 6 GB / 8 GB / 12 GB+ VRAM vía CUDA) │
│ 100% capas en VRAM = Tiempo real | Offload parcial = Depende de RAM │
└────────────────────────────────────┬─────────────────────────────────────┘
│ Ancho de Banda del Sistema
▼
┌──────────────────────────────────────────────────────────────────────────┐
│ 3. RAM DEL SISTEMA (32 GB–64 GB DDR5 Dual-Channel vs. DDR4) │
│ Respaldo para modelos 14B–32B, Docker, IDE y bases vectoriales │
└────────────────────────────────────┬─────────────────────────────────────┘
│ Carga de Pesos .gguf
▼
┌──────────────────────────────────────────────────────────────────────────┐
│ 4. ALMACENAMIENTO Y TÉRMICA (1 TB–2 TB SSD NVMe Gen4 + Chasis Modular) │
│ Swapping instantáneo entre modelos sin thermal throttling │
└──────────────────────────────────────────────────────────────────────────┘
Pilares de Ingeniería para Workstations de IA Local
1. VRAM Dedicada (NVIDIA RTX) y Cuantización en Ollama
La memoria de video de la tarjeta gráfica es el recurso más valioso cuando buscas baja latencia en agentes y chat de código.
- El Problema del Comprador: Fijarse solo en el nombre comercial (“RTX”) sin validar si la tarjeta trae 4 GB, 6 GB u 8 GB+ de VRAM, quedando corto para modelos de 8B con ventanas de contexto amplias.
- La Recomendación Técnica: Apunta mínimo a una NVIDIA RTX con 8 GB de VRAM si quieres correr modelos
7B/8B(Llama 3.1,Qwen 2.5 Coder,Mistral) íntegramente en GPU con contexto de 16K–32K tokens, o 12 GB+ en escritorio si apuntas a modelos de14Bsin offload a CPU. - Especificaciones Clave: Capacidad de
VRAMGDDR6, soporteCUDA, TGP real del portátil (potencia asignada a la GPU) y capacidad térmica del chasis para cargas sostenidas. - Impacto en Rendimiento y Presupuesto: Pasar de 4 GB a 8 GB de VRAM marca la diferencia entre tener que usar modelos pequeños con poco contexto o disfrutar inferencia fluida en modelos de código de nivel profesional.
2. RAM DDR5 Dual-Channel vs. DDR4 y LPDDR5
Cuando corres modelos de 14B o 32B con offload parcial a CPU —o cuando ejecutas Ollama junto con Docker, PostgreSQL/pgvector y tu IDE— la RAM del sistema toma el control.
- El Problema del Comprador: Comprar equipos con
16 GBen un solo módulo (single-channel), reduciendo a la mitad el ancho de banda efectivo de memoria y estrangulando los tokens por segundo en CPU. - La Recomendación Técnica: Configura 32 GB o 64 GB en
DDR5Dual-Channel (dos módulos idénticos). Si optas por un portátil de entrada conDDR4, asegúrate de habilitar ambos canales (2x16 GB) para maximizar el flujo hacia el procesador. - Especificaciones Clave: Arquitectura
DDR5(4800–5600 MT/s) frente aDDR4(3200 MT/s), configuración simétrica en doble canal y capacidad máxima admitida por la placa base. - Impacto en Rendimiento y Presupuesto: Un bus
DDR5en doble canal mejora significativamente la velocidad de inferencia en CPU frente aDDR4single-channel, además de permitir mantener contenedores y modelos cargados simultáneamente.
3. Almacenamiento SSD NVMe PCIe Gen 4 para Pesos e Índices RAG
Cada vez que cambias entre un modelo de embeddings (nomic-embed-text), un modelo de visión y un LLM principal, Ollama lee gigabytes completos desde el disco hacia la RAM/VRAM.
- El Problema del Comprador: Usar unidades
SATA SSDlentas o discos de 256–512 GB llenos al 90 %, donde el controlador reduce su velocidad de lectura y escritura. - La Recomendación Técnica: Instala 1 TB o 2 TB
SSD NVMe PCIe(preferiblemente Gen 4) para almacenar tus modelos.gguf, índices vectoriales y volúmenes Docker sin degradación de rendimiento. - Especificaciones Clave: Lectura secuencial superior a 3.500–5.000 MB/s, formato M.2 2280 y disponibilidad de segunda ranura M.2 para separar sistema operativo de repositorios de modelos.
- Impacto en Rendimiento y Presupuesto: Reduce los tiempos de carga en frío de Ollama de decenas de segundos a un parpadeo, haciendo ágiles los pipelines multi-agente.
Metodología de Selección Paso a Paso
Paso 1: Calcula el Footprint de tu Stack Completo
Suma el peso del modelo en Q4_K_M (ej. ~5.5 GB para 8B o ~9.5 GB para 14B), añade 2–4 GB para el KV cache de contexto, y reserva al menos 12–16 GB libres para tu sistema operativo, navegador, Docker y editor de código.
Paso 2: Decide Portátil RTX vs. Escritorio Modular
Si viajas o trabajas desde cafés y oficinas, un portátil con RTX 8 GB + 32 GB DDR5 ofrece el mejor balance. Si trabajas fijo desde casa o estudio, un PC de escritorio te permite instalar mejor refrigeración, fuentes de mayor vataje y escalar a 64 GB de RAM o tarjetas RTX de 12 GB / 16 GB VRAM por menor costo por gigabyte.
Paso 3: Valida Reglas de Compatibilidad Antes de Ensamblar
Un módulo de RAM con voltaje o frecuencia incompatible arruina el doble canal. Usa el Configurador de Modula o consulta al Asesor IA para armar tu equipo con cruce automático por referencia exacta.
“En Ollama, la GPU te da la velocidad en tiempo real y la RAM DDR5 en doble canal te da la capacidad de correr modelos grandes y mantener tu entorno de desarrollo vivo sin swapping.”
Matriz Comparativa Técnica y de Presupuesto
| Criterio / Perfil | Dev Backend + Copiloto Ligero | Ingeniero Full-Stack & RAG | Workstation IA / Modelos 14B–32B |
|---|---|---|---|
| Presupuesto Estimado (COP) | $2.800.000 – $3.600.000 |
$3.800.000 – $5.400.000 |
>$5.500.000 |
| Memoria RAM | 32 GB DDR4/DDR5 Dual-Channel |
32 GB DDR5 (ampliable a 64 GB) |
64 GB DDR5 Dual-Channel |
| GPU / VRAM | Integrados altos o RTX 4–6 GB |
NVIDIA RTX 6–8 GB VRAM |
NVIDIA RTX 8–12 GB+ VRAM (Torre) |
| Almacenamiento | 1 TB SSD NVMe PCIe |
1 TB SSD NVMe PCIe Gen4 |
2 TB SSD NVMe PCIe Gen4 |
| Carga Ideal en Ollama | 7B/8B + embeddings + IDE |
8B–14B en GPU + Docker/RAG |
14B–32B + multi-agente local |
Preguntas Frecuentes (FAQ)
¿Qué importa más para la velocidad de Ollama: el procesador, la RAM DDR5 o la VRAM de la GPU?
Si el modelo completo cabe en la tarjeta gráfica, la VRAM de la GPU NVIDIA RTX es el factor determinante porque multiplica la velocidad frente al procesador. Si el modelo es más grande que la VRAM y Ollama descarga capas hacia el sistema, el ancho de banda de tu RAM DDR5 en doble canal pesa mucho más que tener un procesador con más núcleos.
¿Qué modelos de Ollama puedo correr con 8 GB de VRAM frente a 16 GB o 32 GB de RAM?
Con 8 GB de VRAM corres de forma nativa en GPU modelos cuantizados de 7B y 8B parámetros (como llama3.1:8b, qwen2.5-coder:7b o deepseek-r1:8b) a alta velocidad. Para modelos de 14B o 32B, necesitarás al menos 32 GB de RAM del sistema si vas a combinar GPU + CPU offload sin que la aplicación se cierre por falta de memoria.
¿Es mejor un portátil con NVIDIA RTX o un PC de escritorio modular para desarrollo con IA local?
Depende de tu movilidad y techo térmico. Un portátil RTX te permite programar con IA local desde cualquier lugar, pero suele limitar la VRAM a 6–8 GB y recalienta bajo sesiones largas. Un PC de escritorio modular disipa mejor el calor, soporta cargas continuas de agentes 24/7 y te permite escalar hasta 64 GB de RAM y GPUs de mayor VRAM con mejor relación costo-beneficio en COP.
¿Cómo evito cuellos de botella al usar Ollama junto con Docker, VS Code y bases vectoriales?
La clave es no trabajar justo al límite de los 16 GB. Configura 32 GB de RAM en doble canal para que Docker, tu base vectorial y tu editor no compitan con Ollama, y utiliza un SSD NVMe PCIe de al menos 1 TB para que la lectura de pesos .gguf e índices de embeddings sea instantánea.
Conclusión: Diseña tu Estación de IA Local sin Errores de Compatibilidad
Dimensionar correctamente VRAM, ancho de banda DDR5 y almacenamiento NVMe convierte a Ollama en una herramienta diaria productiva y no en un experimento lento. En Modula validamos la compatibilidad real de cada módulo antes de despachar tu equipo.
- Cuéntale qué modelos e IDE usas al Asesor IA de Modula para recibir configuraciones verificadas en segundos.
- Personaliza tu equipo base, RAM DDR5 y SSD NVMe en el Configurador Paso a Paso o revisa referencias listas en la Tienda Modula.
- Complementa tu decisión leyendo nuestra guía sobre RAM DDR4 vs. DDR5 y LPDDR5 y los mejores portátiles para programación en Colombia.