Modula
Hardware & Rendimiento 9 min de lectura ·

PC y Portátil para Ollama e IA Local: Cuánta VRAM, RAM DDR5 y GPU RTX Necesitas

Análisis técnico para devs en Colombia: VRAM vs RAM DDR5 en dual-channel, cuantización Q4_K_M en Ollama, offload CPU/GPU y SSD NVMe PCIe para flujos con RAG y VS Code.

Equipo de Ingeniería de Hardware — Modula

Especialistas en Configuración Modular & Compatibilidad

PC y Portátil para Ollama e IA Local: Cuánta VRAM, RAM DDR5 y GPU RTX Necesitas

Desplegar modelos locales con Ollama para autocompletado en VS Code, flujos de automatización en n8n o bases vectoriales RAG exige entender un cuello de botella distinto al de la programación tradicional: el ancho de banda de memoria. Comprar un procesador de última generación con 16 GB de RAM en un solo canal o una tarjeta gráfica con poca VRAM provoca caídas drásticas en los tokens por segundo (tok/s), haciendo inviable usar el modelo como copiloto en tiempo real.

En el mercado colombiano, diseñar una estación de trabajo equilibrada —desde portátiles con 32 GB DDR5 ampliables alrededor de $3.400.000 COP hasta workstations con NVIDIA RTX y 64 GB de RAM por encima de $5.000.000 COP— requiere calcular exactamente cuánto pesan los pesos cuantizados (.gguf en Q4_K_M o Q8_0), cuánto reserva el KV cache de la ventana de contexto y cómo evitar el temido desbordamiento hacia disco.

En esta guía de arquitectura de hardware analizamos cómo dimensionar VRAM, RAM DDR5 vs. DDR4 y almacenamiento SSD NVMe PCIe para obtener inferencia local rápida y predecible.


El Cuello de Botella Real en Inferencia Local: Memoria sobre Cómputo

A diferencia del entrenamiento de redes neuronales o del renderizado 3D, la generación autorregresiva de tokens en modelos LLM es una carga limitada por el ancho de banda de memoria (memory-bandwidth bound). Cada token generado obliga a leer prácticamente todos los pesos activos del modelo desde la memoria hacia los núcleos de cómputo.

Cuando el modelo completo más su context window caben dentro de la VRAM de una GPU NVIDIA RTX (cuyo ancho de banda supera fácilmente los 250–400 GB/s), la inferencia vuela entre 40 y 110+ tokens/s. En cambio, si el modelo excede la VRAM disponible, Ollama divide las capas entre la GPU y la RAM del sistema (CPU offload). En ese escenario, la velocidad cae al ritmo del bus de tu memoria RAM (DDR5 dual-channel frente a DDR4 o single-channel).

Por eso, elegir un chasis con slots libres de memoria DDR5 y no quedarse atrapado en configuraciones soldadas es la decisión más rentable para cualquier desarrollador de IA en Colombia.


Arquitectura de Decisión: Dimensionamiento VRAM + RAM para Ollama

┌──────────────────────────────────────────────────────────────────────────┐
│ 1. PESO DEL MODELO Y CONTEXTO (Ollama Q4_K_M + KV Cache 8K–32K tokens)   │
│    7B/8B (~5.5 GB) · 14B (~9.5 GB) · 32B (~20 GB)                        │
└────────────────────────────────────┬─────────────────────────────────────┘
                                     │ Cabe en VRAM?
                                     ▼
┌──────────────────────────────────────────────────────────────────────────┐
│ 2. ACELERACIÓN GPU (NVIDIA RTX 6 GB / 8 GB / 12 GB+ VRAM vía CUDA)       │
│    100% capas en VRAM = Tiempo real | Offload parcial = Depende de RAM   │
└────────────────────────────────────┬─────────────────────────────────────┘
                                     │ Ancho de Banda del Sistema
                                     ▼
┌──────────────────────────────────────────────────────────────────────────┐
│ 3. RAM DEL SISTEMA (32 GB–64 GB DDR5 Dual-Channel vs. DDR4)              │
│    Respaldo para modelos 14B–32B, Docker, IDE y bases vectoriales        │
└────────────────────────────────────┬─────────────────────────────────────┘
                                     │ Carga de Pesos .gguf
                                     ▼
┌──────────────────────────────────────────────────────────────────────────┐
│ 4. ALMACENAMIENTO Y TÉRMICA (1 TB–2 TB SSD NVMe Gen4 + Chasis Modular)   │
│    Swapping instantáneo entre modelos sin thermal throttling             │
└──────────────────────────────────────────────────────────────────────────┘

Pilares de Ingeniería para Workstations de IA Local

1. VRAM Dedicada (NVIDIA RTX) y Cuantización en Ollama

La memoria de video de la tarjeta gráfica es el recurso más valioso cuando buscas baja latencia en agentes y chat de código.

  • El Problema del Comprador: Fijarse solo en el nombre comercial (“RTX”) sin validar si la tarjeta trae 4 GB, 6 GB u 8 GB+ de VRAM, quedando corto para modelos de 8B con ventanas de contexto amplias.
  • La Recomendación Técnica: Apunta mínimo a una NVIDIA RTX con 8 GB de VRAM si quieres correr modelos 7B/8B (Llama 3.1, Qwen 2.5 Coder, Mistral) íntegramente en GPU con contexto de 16K–32K tokens, o 12 GB+ en escritorio si apuntas a modelos de 14B sin offload a CPU.
  • Especificaciones Clave: Capacidad de VRAM GDDR6, soporte CUDA, TGP real del portátil (potencia asignada a la GPU) y capacidad térmica del chasis para cargas sostenidas.
  • Impacto en Rendimiento y Presupuesto: Pasar de 4 GB a 8 GB de VRAM marca la diferencia entre tener que usar modelos pequeños con poco contexto o disfrutar inferencia fluida en modelos de código de nivel profesional.

2. RAM DDR5 Dual-Channel vs. DDR4 y LPDDR5

Cuando corres modelos de 14B o 32B con offload parcial a CPU —o cuando ejecutas Ollama junto con Docker, PostgreSQL/pgvector y tu IDE— la RAM del sistema toma el control.

  • El Problema del Comprador: Comprar equipos con 16 GB en un solo módulo (single-channel), reduciendo a la mitad el ancho de banda efectivo de memoria y estrangulando los tokens por segundo en CPU.
  • La Recomendación Técnica: Configura 32 GB o 64 GB en DDR5 Dual-Channel (dos módulos idénticos). Si optas por un portátil de entrada con DDR4, asegúrate de habilitar ambos canales (2x16 GB) para maximizar el flujo hacia el procesador.
  • Especificaciones Clave: Arquitectura DDR5 (4800–5600 MT/s) frente a DDR4 (3200 MT/s), configuración simétrica en doble canal y capacidad máxima admitida por la placa base.
  • Impacto en Rendimiento y Presupuesto: Un bus DDR5 en doble canal mejora significativamente la velocidad de inferencia en CPU frente a DDR4 single-channel, además de permitir mantener contenedores y modelos cargados simultáneamente.

3. Almacenamiento SSD NVMe PCIe Gen 4 para Pesos e Índices RAG

Cada vez que cambias entre un modelo de embeddings (nomic-embed-text), un modelo de visión y un LLM principal, Ollama lee gigabytes completos desde el disco hacia la RAM/VRAM.

  • El Problema del Comprador: Usar unidades SATA SSD lentas o discos de 256–512 GB llenos al 90 %, donde el controlador reduce su velocidad de lectura y escritura.
  • La Recomendación Técnica: Instala 1 TB o 2 TB SSD NVMe PCIe (preferiblemente Gen 4) para almacenar tus modelos .gguf, índices vectoriales y volúmenes Docker sin degradación de rendimiento.
  • Especificaciones Clave: Lectura secuencial superior a 3.500–5.000 MB/s, formato M.2 2280 y disponibilidad de segunda ranura M.2 para separar sistema operativo de repositorios de modelos.
  • Impacto en Rendimiento y Presupuesto: Reduce los tiempos de carga en frío de Ollama de decenas de segundos a un parpadeo, haciendo ágiles los pipelines multi-agente.

Metodología de Selección Paso a Paso

Paso 1: Calcula el Footprint de tu Stack Completo

Suma el peso del modelo en Q4_K_M (ej. ~5.5 GB para 8B o ~9.5 GB para 14B), añade 2–4 GB para el KV cache de contexto, y reserva al menos 12–16 GB libres para tu sistema operativo, navegador, Docker y editor de código.

Paso 2: Decide Portátil RTX vs. Escritorio Modular

Si viajas o trabajas desde cafés y oficinas, un portátil con RTX 8 GB + 32 GB DDR5 ofrece el mejor balance. Si trabajas fijo desde casa o estudio, un PC de escritorio te permite instalar mejor refrigeración, fuentes de mayor vataje y escalar a 64 GB de RAM o tarjetas RTX de 12 GB / 16 GB VRAM por menor costo por gigabyte.

Paso 3: Valida Reglas de Compatibilidad Antes de Ensamblar

Un módulo de RAM con voltaje o frecuencia incompatible arruina el doble canal. Usa el Configurador de Modula o consulta al Asesor IA para armar tu equipo con cruce automático por referencia exacta.

“En Ollama, la GPU te da la velocidad en tiempo real y la RAM DDR5 en doble canal te da la capacidad de correr modelos grandes y mantener tu entorno de desarrollo vivo sin swapping.”


Matriz Comparativa Técnica y de Presupuesto

Criterio / Perfil Dev Backend + Copiloto Ligero Ingeniero Full-Stack & RAG Workstation IA / Modelos 14B–32B
Presupuesto Estimado (COP) $2.800.000 – $3.600.000 $3.800.000 – $5.400.000 >$5.500.000
Memoria RAM 32 GB DDR4/DDR5 Dual-Channel 32 GB DDR5 (ampliable a 64 GB) 64 GB DDR5 Dual-Channel
GPU / VRAM Integrados altos o RTX 4–6 GB NVIDIA RTX 6–8 GB VRAM NVIDIA RTX 8–12 GB+ VRAM (Torre)
Almacenamiento 1 TB SSD NVMe PCIe 1 TB SSD NVMe PCIe Gen4 2 TB SSD NVMe PCIe Gen4
Carga Ideal en Ollama 7B/8B + embeddings + IDE 8B–14B en GPU + Docker/RAG 14B–32B + multi-agente local

Preguntas Frecuentes (FAQ)

¿Qué importa más para la velocidad de Ollama: el procesador, la RAM DDR5 o la VRAM de la GPU?

Si el modelo completo cabe en la tarjeta gráfica, la VRAM de la GPU NVIDIA RTX es el factor determinante porque multiplica la velocidad frente al procesador. Si el modelo es más grande que la VRAM y Ollama descarga capas hacia el sistema, el ancho de banda de tu RAM DDR5 en doble canal pesa mucho más que tener un procesador con más núcleos.

¿Qué modelos de Ollama puedo correr con 8 GB de VRAM frente a 16 GB o 32 GB de RAM?

Con 8 GB de VRAM corres de forma nativa en GPU modelos cuantizados de 7B y 8B parámetros (como llama3.1:8b, qwen2.5-coder:7b o deepseek-r1:8b) a alta velocidad. Para modelos de 14B o 32B, necesitarás al menos 32 GB de RAM del sistema si vas a combinar GPU + CPU offload sin que la aplicación se cierre por falta de memoria.

¿Es mejor un portátil con NVIDIA RTX o un PC de escritorio modular para desarrollo con IA local?

Depende de tu movilidad y techo térmico. Un portátil RTX te permite programar con IA local desde cualquier lugar, pero suele limitar la VRAM a 6–8 GB y recalienta bajo sesiones largas. Un PC de escritorio modular disipa mejor el calor, soporta cargas continuas de agentes 24/7 y te permite escalar hasta 64 GB de RAM y GPUs de mayor VRAM con mejor relación costo-beneficio en COP.

¿Cómo evito cuellos de botella al usar Ollama junto con Docker, VS Code y bases vectoriales?

La clave es no trabajar justo al límite de los 16 GB. Configura 32 GB de RAM en doble canal para que Docker, tu base vectorial y tu editor no compitan con Ollama, y utiliza un SSD NVMe PCIe de al menos 1 TB para que la lectura de pesos .gguf e índices de embeddings sea instantánea.


Conclusión: Diseña tu Estación de IA Local sin Errores de Compatibilidad

Dimensionar correctamente VRAM, ancho de banda DDR5 y almacenamiento NVMe convierte a Ollama en una herramienta diaria productiva y no en un experimento lento. En Modula validamos la compatibilidad real de cada módulo antes de despachar tu equipo.

#Ollama #VRAM #NVIDIA RTX #RAM DDR5 #SSD NVMe #Programación #Colombia