Ollama

Ollama hizo sencilla la IA en local. Lo instalas, ejecutas un comando como ollama run con el nombre de un modelo, y descarga el modelo e inicia un chat en la terminal. Se encarga de los detalles de la cuantización y de la aceleración por GPU, de modo que modelos como Llama, Mistral, Gemma, Qwen y muchos más funcionan en portátiles y equipos de sobremesa normales. Todo se queda en tu máquina, así que es privado y funciona sin conexión.

Es una pieza de construcción para desarrolladores. Ollama expone una API REST local, con un endpoint compatible con OpenAI, de modo que apps y herramientas pueden usar tus modelos locales, y muchos proyectos como Open WebUI, asistentes de programación y frameworks de agentes se integran con él. Los Modelfiles permiten personalizar los prompts de sistema y los parámetros, y las versiones recientes añaden una app de escritorio, compatibilidad con modelos multimodales y modelos opcionales alojados en la nube para los que son demasiado grandes para ejecutarlos en local.

Ollama es gratuito y de código abierto bajo la licencia MIT. El rendimiento depende del hardware, y los modelos más grandes necesitan mucha memoria o una GPU potente. Los modelos locales suelen ser menos capaces que los mejores modelos en la nube. Entre las alternativas están LM Studio, que tiene interfaz gráfica, Jan, GPT4All, llama.cpp y vLLM para servicio en producción. Ollama sirve para desarrolladores y aficionados que quieren una forma sencilla de ejecutar modelos en local.