Un ordenador con 8 o 16 GB de RAM puede ejecutar modelos de lenguaje, transcribir grabaciones, resumir documentos y ofrecer un asistente privado sin depender permanentemente de servicios externos
La inteligencia artificial local suele asociarse con ordenadores de miles de euros, tarjetas gráficas profesionales y enormes cantidades de memoria. Sin embargo, no necesitamos montar un pequeño centro de datos para experimentar con modelos de lenguaje en Linux.
Un ordenador relativamente corriente puede ejecutar modelos compactos capaces de responder preguntas, resumir textos, traducir, generar código o clasificar documentos. No ofrecerá la velocidad ni la capacidad de los grandes servicios comerciales, pero puede resultar perfectamente funcional para aprender, desarrollar herramientas o trabajar con información que preferimos no enviar a servidores externos.
La clave no está en comprar el componente más caro, sino en escoger un modelo proporcionado para nuestro equipo.
¿Qué ordenador necesitamos?
Los requisitos dependen del tamaño del modelo, de su cuantización y de la longitud de los textos que deseemos procesar.
Como orientación general:
| Memoria disponible | Modelos recomendados | Uso aproximado |
|---|---|---|
| 8 GB de RAM | 1B a 3B cuantizados | Consultas sencillas, clasificación, traducción y resúmenes breves |
| 16 GB de RAM | 3B a 8B cuantizados | Asistente general, programación y análisis de documentos |
| 32 GB de RAM | 8B a 14B cuantizados | Respuestas más elaboradas y contextos mayores |
| 64 GB o más | Modelos grandes o varios servicios | Desarrollo avanzado, RAG y múltiples usuarios |
Estas cifras no constituyen límites absolutos. Parte de la memoria debe permanecer disponible para Linux, el escritorio, el navegador y los demás programas. Un modelo que ocupa 5 GB en el disco puede necesitar más memoria durante su ejecución, especialmente si utilizamos una ventana de contexto grande.
Con 8 GB se puede comenzar, pero habrá que elegir modelos pequeños y cerrar aplicaciones pesadas. Los 16 GB representan una configuración mucho más cómoda para experimentar.
La GPU ayuda, pero no es imprescindible
Ollama y otros motores pueden ejecutar modelos directamente sobre la CPU. Esto permite utilizar IA local en equipos que carecen de una tarjeta gráfica dedicada.
La diferencia principal es la velocidad. Una GPU compatible puede generar las respuestas mucho más deprisa, especialmente con modelos medianos o grandes. Sin ella, el procesador tendrá que realizar todo el trabajo y posiblemente tengamos que esperar varios segundos antes de obtener la primera palabra.
Eso no significa que la experiencia resulte inútil. Para resumir un documento, redactar un correo, consultar notas o generar un pequeño fragmento de código, un modelo ejecutado sobre CPU puede ser suficiente.
La GPU comienza a tener más sentido cuando queremos:
- Utilizar modelos de mayor tamaño.
- Generar respuestas extensas con rapidez.
- Procesar imágenes.
- Atender a varios usuarios simultáneamente.
- Ejecutar agentes que realicen numerosas consultas.
- Trabajar de forma continuada con modelos de IA.
También importa más la cantidad de VRAM que el precio o la potencia gráfica empleada en videojuegos. Una tarjeta muy rápida con poca memoria puede impedirnos cargar determinados modelos.
Por tanto, antes de gastar una cantidad considerable, conviene probar la IA local con el equipo que ya tenemos y comprobar si su rendimiento cubre nuestras necesidades.
El SSD mejora la carga, no hace pensar más rápido al modelo
Los modelos de lenguaje ocupan desde unos cientos de megabytes hasta decenas de gigabytes. Utilizar un SSD evita esperas prolongadas durante su descarga, lectura y carga en memoria.
Un disco NVMe será más rápido que un SSD SATA, mientras que un disco mecánico puede ralentizar notablemente el arranque del modelo.
Sin embargo, una vez cargado completamente en la memoria RAM o en la VRAM, el disco deja de ser el componente determinante. La velocidad con la que se generan las palabras dependerá principalmente del procesador, de la GPU, del ancho de banda de la memoria y del propio modelo.
Por esta razón, el orden razonable de prioridades sería:
- Disponer de suficiente memoria RAM.
- Elegir un modelo adecuado para esa memoria.
- Guardarlo en un SSD.
- Añadir una GPU solamente cuando necesitemos mayor velocidad o modelos más grandes.
La cuantización permite reducir los requisitos
Los modelos originales suelen utilizar pesos con una precisión de 16 bits. Esto ofrece una gran calidad, pero también necesita mucha memoria.
La cuantización reduce la precisión numérica de esos pesos para disminuir el tamaño del modelo y acelerar su ejecución. Una versión de cuatro bits puede ocupar aproximadamente una cuarta parte que su equivalente de 16 bits, aunque la relación exacta depende del formato y de otros datos incluidos.
Las variantes Q4 suelen ofrecer un buen equilibrio entre consumo de memoria y calidad. Las versiones Q8 conservan algo más de precisión, pero necesitan más espacio. Las cuantizaciones de dos o tres bits permiten cargar modelos mayores en equipos limitados, aunque la pérdida de calidad puede ser perceptible.
Para empezar en un ordenador doméstico, un modelo Q4 suele ser la elección más sensata.
Ollama facilita la IA local en Linux
Una de las maneras más sencillas de descargar y ejecutar modelos en Linux es utilizar Ollama. Esta herramienta administra los modelos y proporciona tanto una interfaz de terminal como una API para integrarlos en otros programas.
Su instalador oficial puede ejecutarse con:
curl -fsSL https://ollama.com/install.sh | sh
Antes de canalizar cualquier script descargado directamente hacia el intérprete conviene inspeccionarlo. Podemos guardarlo primero y revisar su contenido:
curl -fsSL https://ollama.com/install.sh -o install-ollama.sh less install-ollama.sh sh install-ollama.sh
Después de la instalación comprobaremos el servicio:
systemctl status ollama
También podemos consultar sus últimos mensajes:
journalctl -u ollama --no-pager -n 30
De manera predeterminada, su API local utiliza el puerto 11434. No debería exponerse directamente a Internet sin autenticación, control de acceso y una configuración adecuada del cortafuegos.
Primeros modelos para probar
No existe un único modelo perfecto. La elección depende del idioma, la tarea y los recursos disponibles.
Para un equipo modesto podemos comenzar con modelos como los siguientes:
ollama run gemma3:1b
Gemma 3 de 1.000 millones de parámetros ocupa poco espacio y permite comprobar rápidamente si Ollama funciona correctamente.
Para disponer de un asistente general algo más capaz:
ollama run llama3.2:3b
Si tenemos 16 GB de RAM, podemos probar un modelo de aproximadamente 4.000 millones de parámetros:
ollama run gemma3:4b
Esta variante de Gemma 3 también puede trabajar con imágenes, aunque esa función necesitará más recursos que una conversación exclusivamente textual.
Ollama descargará automáticamente el modelo la primera vez. En las ejecuciones posteriores utilizará la copia almacenada localmente.
Para conocer los modelos instalados:
ollama list
Para ver cuáles permanecen cargados en memoria:
ollama ps
Y para eliminar uno que ya no utilicemos:
ollama rm nombre-del-modelo
Cómo comprobar el rendimiento real
No debemos valorar el funcionamiento únicamente por el tiempo total de una respuesta. Ollama puede mostrar información más útil mediante su modo detallado:
ollama run llama3.2:3b --verbose
Cuando terminemos la consulta aparecerán métricas como el tiempo de carga, la duración de la evaluación y la velocidad de generación.
La velocidad suele expresarse en tokens por segundo. Un token no equivale exactamente a una palabra: puede representar una palabra completa, una parte de ella o un signo de puntuación.
Una velocidad modesta puede ser aceptable para una conversación individual. En cambio, un servidor para varios usuarios necesitará más capacidad porque deberá atender varias solicitudes simultáneas.
Los resultados publicados por otras personas deben tomarse como una referencia. El rendimiento cambia según el procesador, la memoria, la cuantización, el tamaño del contexto, la versión del programa y la aceleración disponible.
Evitar que Ollama consuma toda la memoria
Ollama mantiene temporalmente los modelos cargados para responder más deprisa a futuras consultas. En equipos con poca RAM podemos hacer que los descargue inmediatamente después de utilizarlos:
OLLAMA_KEEP_ALIVE=0 ollama run gemma3:1b
Otra opción consiste en reducir el contexto. Una ventana muy grande permite introducir más información, pero aumenta el consumo de memoria y puede reducir el rendimiento.
No tiene sentido configurar decenas de miles de tokens si únicamente queremos redactar correos o resumir textos breves. Un contexto moderado suele ofrecer una experiencia más estable en equipos limitados.
También debemos evitar cargar varios modelos simultáneamente. Podemos comprobar su estado con:
ollama ps
Añadir una interfaz parecida a ChatGPT
Aunque Ollama funciona desde el terminal, algunos usuarios preferirán una interfaz web. Open WebUI permite mantener conversaciones, administrar modelos, adjuntar documentos y organizar diferentes usuarios.
Si ya tenemos Ollama funcionando en el equipo, podemos desplegar Open WebUI mediante Docker:
docker run -d \ -p 3000:8080 \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart unless-stopped \ ghcr.io/open-webui/open-webui:main
Después accederemos desde el navegador:
http://localhost:3000
El primer usuario creado tendrá permisos de administración. Si la interfaz va a estar disponible para otros equipos o a través de Internet, tendremos que configurar HTTPS, autenticación robusta, copias de seguridad y un proxy inverso.
No conviene publicar directamente los puertos 3000 o 11434 sin protección.
Podman también puede utilizarse como alternativa a Docker. Su funcionamiento sin privilegios resulta especialmente interesante en estaciones de trabajo y servidores Linux.
Más allá de conversar con un modelo
Un laboratorio local no tiene que limitarse a mantener conversaciones. El mismo ordenador puede ejecutar otras herramientas de inteligencia artificial.
Entre las posibilidades encontramos:
- Transcribir grabaciones mediante Whisper o faster-whisper.
- Crear subtítulos para vídeos.
- Resumir documentos privados.
- Clasificar correos, registros y solicitudes.
- Generar embeddings para búsquedas semánticas.
- Consultar manuales mediante un sistema RAG.
- Ayudar con scripts y tareas de programación.
- Automatizar procesos utilizando la API de Ollama.
- Crear un asistente interno para una pequeña empresa.
Estas tareas pueden dividirse entre varios modelos pequeños. Uno puede encargarse de las conversaciones, otro de los fragmentos de código y un tercero de generar los vectores utilizados para buscar información.
Un modelo especializado y ligero puede superar a otro mucho mayor cuando la tarea está bien definida.
IA local no significa seguridad automática
Ejecutar un modelo en nuestro ordenador evita enviar cada consulta a un proveedor externo, pero no elimina todos los riesgos.
La interfaz web puede contener vulnerabilidades, los contenedores necesitan actualizaciones y los modelos proceden de repositorios que debemos verificar. Además, una aplicación conectada a Ollama podría recopilar información o enviarla a otros servicios aunque el modelo se ejecute localmente.
Debemos aplicar las mismas precauciones que con cualquier servidor:
- Descargar programas y modelos desde fuentes conocidas.
- Mantener el sistema y los contenedores actualizados.
- No exponer la API directamente a Internet.
- Limitar los permisos sobre archivos y directorios.
- Realizar copias de seguridad de configuraciones y documentos.
- Revisar qué aplicaciones pueden conectarse al servicio.
- Comprobar la licencia de cada modelo antes de utilizarlo comercialmente.
También hay que recordar que un modelo local puede inventar información. La privacidad no garantiza la exactitud de sus respuestas.
¿Cuándo merece la pena comprar una GPU?
La mejor forma de decidirlo es comenzar con la CPU y medir.
Si el modelo responde a una velocidad aceptable y resuelve las tareas previstas, no necesitamos comprar nada. Si la espera interrumpe nuestro trabajo, necesitamos más contexto o queremos utilizar modelos que no caben en la memoria disponible, entonces sí puede resultar conveniente una GPU.
Antes de elegirla tendremos que comprobar:
- La cantidad de VRAM.
- La compatibilidad con Linux.
- El soporte ofrecido por el motor de inferencia.
- El consumo eléctrico.
- La refrigeración y la fuente de alimentación.
- El tamaño de los modelos que realmente utilizaremos.
- La posibilidad de ampliar la memoria del sistema por menos dinero.
Comprar primero una tarjeta de 3.000 euros y buscar después para qué utilizarla no es una estrategia especialmente sensata.
Empezar pequeño suele ser la mejor opción
Con Linux, un SSD, 8 o 16 GB de RAM y Ollama podemos construir un laboratorio de IA local perfectamente aprovechable. Será necesario aceptar algunas limitaciones, especialmente en velocidad y complejidad, pero podremos aprender y desarrollar aplicaciones sin realizar una gran inversión.
Los modelos compactos continúan mejorando y cada nueva generación ofrece más capacidad utilizando menos recursos. Para la mayoría de los usuarios, el primer paso no debería ser comprar una GPU profesional, sino instalar un modelo pequeño, probarlo con tareas reales y observar dónde aparece el verdadero cuello de botella.
Quizá descubramos que el ordenador que ya tenemos es mucho más capaz de lo que pensábamos.