Docker Ollama: ejecuta LLMs en local con privacidad y coste cero

La mayoría de desarrolladores quieren probar LLMs locales, pero no saben por dónde empezar.

El auge de modelos open source como Llama y Mistral ha hecho que la IA en local sea más accesible que nunca. No necesitas gastar ni un céntimo en OpenAI o Anthropic ni preocuparte por enviar tus datos a terceros. El reto es que muchas guías de instalación implican gestionar entornos de Python, drivers de CUDA y dependencias que suelen fallar al cambiar de máquina.

Ollama resuelve esto ofreciendo una forma sencilla de ejecutar LLMs en local con una configuración mínima. Si lo combinas con Docker, obtienes una solución limpia y portable que funciona igual en distintos sistemas.

En esta guía te mostraré cómo configurar Ollama en Docker, descargar tu primer modelo y empezar a ejecutar LLMs locales a los que podrás acceder desde cualquier aplicación.

Si eres totalmente nuevo en Docker, te recomendamos inscribirte en nuestro curso Introduction to Docker para asentar los fundamentos.

¿Qué es Ollama?

Piensa en Ollama como la manera más simple de ejecutar modelos de lenguaje en tu propio hardware.

Es un runtime ligero que se encarga de todo lo difícil para LLMs locales. No tienes que gestionar entornos de Python, instalar drivers de CUDA a mano ni pelearte con pesos de modelos y tokenizadores. Ollama se ocupa de descargar, cargar y servir modelos como LLaMA, Mistral y Gemma con un único comando.

La privacidad viene de serie. Tus conversaciones nunca salen de tu máquina. Sin claves de API, sin seguimiento de uso, sin datos enviados a servidores externos. Es perfecto para trabajos sensibles en los que no puedes arriesgarte a exponer código propietario o información personal a servicios de terceros.

La herramienta está pensada primero para desarrolladores. Se ejecuta de forma nativa en macOS y Linux, ofrece una API REST sencilla para integraciones y ahora funciona dentro de contenedores Docker. Eso significa que puedes usar la misma configuración en local durante el desarrollo y desplegarla dondequiera que corra Docker.

Obtienes un servidor de LLM listo para producción que arranca con un comando y funciona sin conexión.

Ollama no es el único runtime de LLM: prueba también n8n y Qdrant.

¿Por qué usar Docker con Ollama?

La respuesta es sencilla: te llevas todas las ventajas de Ollama manteniendo tu sistema limpio.

Ejecutar Ollama directamente en tu máquina funciona bien: viene con instaladores empaquetados (.exe para Windows, .dmg para Mac) que lo gestionan todo por ti. Pero Docker ofrece una ventaja clave: aislamiento.

Con Docker, Ollama se ejecuta en su propio contenedor. Así mantienes tu sistema anfitrión limpio. Sin rastro de instalación en tu equipo principal, sin archivos residuales al terminar de probar y eliminación sencilla cuando quieras cambiar de versión o limpiar por completo.

La misma configuración vale para todo tu equipo gracias a la reproducibilidad. Comparte un comando de Docker y cualquiera podrá ejecutar exactamente el mismo entorno de Ollama, ya estén en macOS, Linux o Windows.

El despliegue se simplifica gracias a la compatibilidad multiplataforma. El mismo contenedor que corre en tu portátil funcionará en un servidor en la nube, en una canalización de CI o en el equipo de un compañero sin cambios.

Puedes levantar Ollama en segundos y eliminarlo igual de rápido con una configuración y limpieza simplificadas. Sin scripts de desinstalación, sin perseguir archivos de configuración, sin saneos del sistema.

Esto hace que Docker sea ideal para:

• Probar distintos modelos sin comprometerte con una instalación completa
• Crear aplicaciones que se integren con LLMs locales
• Montar entornos de desarrollo compartidos por varios miembros del equipo
• Ejecutar Ollama en servidores donde no quieras modificar el sistema base

En resumen, te llevas todas las ventajas de los LLMs en local sin los quebraderos de cabeza de la instalación.

¿Buscas más recursos prácticos de Docker? Estas 12 imágenes de contenedor Docker para machine learning e IA te pondrán en marcha.

Configurar Ollama en Docker

Vas a necesitar exactamente tres comandos para ejecutar Ollama en Docker.

Primero, descarga la imagen oficial de Ollama desde Docker Hub:

docker pull ollama/ollamaCon la tecnología de

Descargando la imagen de ollama

Después, ejecuta el contenedor con los puertos y volúmenes adecuados:

docker run -d --name my-ollama-docker -p 11434:11434 -v ollama:/root/.ollama ollama/ollamaCon la tecnología de

Ejecutando ollama

Esto es lo que hace cada flag:

• -d ejecuta el contenedor en segundo plano
• --name my-ollama.docker asigna un nombre amigable al contenedor
• -p 11434:11434 mapea el puerto por defecto de Ollama a tu máquina anfitriona
• -v ollama:/root/.ollama crea un volumen persistente para los modelos descargados

El contenedor arranca inmediatamente y queda a la escucha en http://localhost:11434.

Ollama ejecutándose en local

Ahora descarga un modelo para comprobar que todo funciona:

docker exec -it my-ollama-docker  ollama pull llama3.1Con la tecnología de

Descargando el modelo Llama3.1

Esto descarga el modelo Llama 3.1 8B dentro de tu contenedor. El modelo ocupa unos 5 GB, así que la descarga puede tardar un par de minutos.

Puedes verificar la configuración listando los modelos disponibles:

docker exec -it my-ollama-docker ollama listCon la tecnología de

Listado de modelos disponibles

El mapeo del volumen es importante. Sin él, perderás todos los modelos descargados al detener el contenedor. El volumen ollama:/root/.ollama mantiene tus modelos entre reinicios y actualizaciones del contenedor.

Para entornos de producción, quizá quieras crear imágenes personalizadas con modelos precargados. Crea un Dockerfile que descargue los modelos durante el build:

FROM ollama/ollama
RUN ollama serve & sleep 5 && ollama pull llama3.1 && pkill ollama
CMD ["ollama", "serve"]Con la tecnología de

Así incrustas el modelo en tu imagen, y los nuevos contenedores arrancan con todo listo.

Usar Ollama desde Docker

Una vez el contenedor está en marcha, Ollama funciona como cualquier API REST.

El servicio escucha en http://localhost:11434 y acepta peticiones HTTP estándar. No necesitas clientes ni SDKs especiales: basta con enviar JSON y recibir las respuestas.

Así puedes generar texto con un simple comando curl:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "Why is the sky blue?",
  "stream": false
}'Con la tecnología de

Accediendo a ollama con curl

La API devuelve una respuesta JSON con el texto generado. Establece "stream": false para obtener la respuesta completa de una vez, o "stream": true para recibir los tokens a medida que se generan.

La integración con Python es igual de sencilla:

import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={
        "model": "llama3.1",
        "prompt": "Explain Docker containers in one sentence.",
        "stream": False,
    },
)

print(response.json()["response"])Con la tecnología de

Accediendo a ollama con Python

Esto hace que Ollama sea perfecto como backend para aplicaciones locales. Puedes crear interfaces de chat, herramientas de autocompletado de código o sistemas de análisis de documentos que hablen con tu LLM en contenedor sin enviar datos a servicios externos.

Para flujos más complejos, la integración con LangChain funciona de forma nativa:

from langchain_ollama import ChatOllama

llm = ChatOllama(model="llama3.1", base_url="http://localhost:11434")
response = llm.invoke("Explain the benefits of containerization in 2 sentences")
print(response)Con la tecnología de

Accediendo a ollama con LangChain

Tienes todo el poder de los LLMs locales con la sencillez de las peticiones HTTP.

¿Alguna vez te has preguntado cómo se despliegan las aplicaciones con LLMs? Lee nuestra guía paso a paso sobre despliegue de aplicaciones con LLM usando Docker.

Aspectos de rendimiento

Los LLMs locales necesitan hardware serio para rendir bien, y Docker añade su propia sobrecarga.

CPU vs GPU marca una gran diferencia. Ollama puede correr solo con CPU, pero la inferencia será lenta; espera más de 30 segundos para respuestas sencillas. Con una GPU moderna, la misma consulta se resuelve en menos de 5 segundos. Las GPUs de NVIDIA funcionan mejor, pero los Mac con Apple Silicon también rinden bien y pueden ser una opción con mejor relación calidad-precio.

La RAM necesaria escala con el tamaño del modelo. Modelos pequeños como Llama3.1 8B requieren al menos 8 GB de RAM del sistema, mientras que versiones de 70B necesitan 64 GB o más. El modelo permanece cargado en memoria, así que no puedes ejecutar un 13B en una máquina con 8 GB de RAM.

El espacio en disco crece rápido. Cada modelo ocupa gigabytes de disco:

• Modelos de 7B parámetros: 4-8 GB
• Modelos de 13B parámetros: 8-16 GB
• Modelos de 70B parámetros: 40-80 GB

Múltiples versiones y cuantizaciones multiplican muy rápido las necesidades de almacenamiento. Si te falta espacio, puedes mover los modelos a una unidad externa.

La sobrecarga del contenedor es mínima en cómputo, pero importa en almacenamiento. La imagen base de Ollama ocupa menos de 1 GB, pero los modelos persisten en volúmenes de Docker. Si creas imágenes personalizadas con modelos precargados, espera que cada imagen pese varios gigas más que la base.

Eso sí, la asignación de memoria en Docker probablemente requiera ajustes. Por defecto, Docker Desktop limita la memoria de los contenedores. Para modelos grandes, tendrás que aumentar esos límites o usar la flag --memory al ejecutar los contenedores.

El cuello de botella suele ser la RAM, no la CPU ni la velocidad del disco.

Casos de uso populares

Docker + Ollama te da capacidades de IA manteniendo tus datos privados y con un coste de inferencia de LLM exactamente de 0 $ (sin contar electricidad y mantenimiento).

Los asistentes de IA en local son donde esta configuración brilla. Puedes crear herramientas de autocompletado de código, generadores de documentación o asistentes de escritura que funcionen íntegramente en tu equipo. Sin costes de API, sin límites de uso, sin datos saliendo de tu red. Solo apunta tu editor o IDE a localhost:11434 y ponte a construir.

Las tuberías RAG privadas también se vuelven mucho más fáciles de desplegar. 

Puedes cargar documentos de tu empresa en una base vectorial y usar Ollama para responder preguntas sobre ellos. Toda la base de conocimiento permanece interna, algo clave para información legal, financiera o propietaria que no puede pasar por APIs externas.

El desarrollo de chatbots sin conexión te permite prototipar y probar IA conversacional sin depender de internet. Es perfecto para despliegues en el edge, entornos aislados o situaciones con conectividad poco fiable. Tu bot funciona igual estés online o a 10.000 metros de altura.

La experimentación con modelos antes del despliegue en la nube ahorra dinero y tiempo. Puedes probar distintos modelos, prompts y configuraciones en local antes de comprometerte con inferencia en la nube costosa. Puedes hacer benchmarks, ajustar parámetros y validar salidas sin quemar créditos de API.

Los equipos también usan esta combinación de Docker y Ollama para:

• Generación de datos de entrenamiento cuando necesitas grandes volúmenes de texto sintético
• Moderación de contenido que procese material sensible internamente
• Entornos de investigación donde la reproducibilidad y el aislamiento importan
• Aplicaciones de demo que funcionan sin dependencias externas

Obtienes capacidades de IA de nivel empresarial sin las facturas de nivel empresarial.

Trucos, limitaciones y resolución de problemas

Hay un par de detalles que pueden darte guerra al ejecutar Ollama en Docker.

El soporte de GPU requiere configuración extra. La imagen oficial de Docker de Ollama admite GPUs NVIDIA, pero primero tienes que instalar NVIDIA Container Toolkit y pasar la flag --gpus all al ejecutar el contenedor:

docker run -d --gpus all --name ollama -p 11434:11434 -v ollama:/root/.ollama ollama/ollamaCon la tecnología de

Sin esto, Ollama cae en modo solo CPU: funciona, pero mucho más lento. Si usas un MacBook con Apple Silicon, esto no te afecta.

Los permisos de archivos pueden causar problemas con volúmenes de Docker. Si montas un directorio del host en lugar de usar un volumen con nombre, es posible que Ollama no pueda escribir los archivos del modelo por desajustes de permisos. Volúmenes con nombre como -v ollama:/root/.ollama evitan por completo este problema.

La caché de modelos entre reinicios funciona automáticamente con un volumen bien montado. Tus modelos descargados persisten en el volumen de Docker, así que al parar y arrancar contenedores no tendrás que volver a descargarlos. Pero si borras el volumen por accidente u olvidas la flag -v, perderás todos tus modelos.

Recuerda estos atajos:

• ¿El contenedor no arranca? Comprueba si el puerto 11434 ya está en uso
• ¿Los modelos descargan lento? Verifica tu conexión a internet y los recursos asignados a Docker
• ¿Las peticiones a la API expiran? Aumenta los límites de memoria de Docker para modelos grandes
• ¿No detecta la GPU? Verifica los drivers de NVIDIA y la instalación de Container Toolkit

El problema más común es olvidar montar el volumen y preguntarte por qué desaparecen los modelos.

Conclusión

Docker hace que ejecutar LLMs en local sea sencillo, portable y limpio.

Obtienes privacidad por diseño: tus datos nunca salen de tu equipo. Obtienes costes predecibles: sin sustos en la factura de API ni límites de uso. Y obtienes control total sobre tu stack de IA, sin dependencia de proveedores ni de internet.

La configuración lleva minutos. 

Descarga la imagen, ejecuta el contenedor, baja un modelo y listo para construir. Ya sea que estés prototipando un asistente de IA, ejecutando tuberías RAG privadas o simplemente experimentando con modelos, esta combinación te da capacidades de nivel empresarial en tu portátil.

Pruébalo ya. Elige un modelo que se ajuste a tu hardware, levanta el contenedor de Ollama y ponte a crear. La barrera de entrada no existe.

Como siguiente paso, te recomendamos configurar y ejecutar DeepSeek R1 en local con Ollama.