Ollama

Ollama a rendu l’IA locale simple. Tu l’installes, tu lances une commande comme ollama run avec un nom de modèle, et il télécharge le modèle puis démarre un chat dans le terminal. Il gère les détails de la quantification et de l’accélération GPU, donc des modèles comme Llama, Mistral, Gemma, Qwen et beaucoup d’autres tournent sur des portables et des ordinateurs de bureau ordinaires. Tout reste sur ta machine, donc c’est privé et ça marche hors ligne.

C’est un bloc de construction pour les développeurs. Ollama expose une API REST locale, dont un endpoint compatible OpenAI, pour que des apps et des outils utilisent tes modèles locaux, et beaucoup de projets comme Open WebUI, des assistants de code et des frameworks d’agents s’y intègrent. Les Modelfiles permettent de personnaliser les prompts système et les paramètres, et les versions récentes ajoutent une app de bureau, le support des modèles multimodaux, et des modèles hébergés dans le cloud en option pour ceux qui sont trop gros pour tourner en local.

Ollama est gratuit et open source sous licence MIT. Les performances dépendent du hardware, et les plus grands modèles demandent beaucoup de mémoire ou un GPU solide. Les modèles locaux sont en général moins capables que les meilleurs modèles cloud. Parmi les alternatives : LM Studio, qui a une interface graphique, Jan, GPT4All, llama.cpp, et vLLM pour le service en production. Ollama convient aux développeurs et aux passionnés qui veulent un moyen simple de faire tourner des modèles en local.