Ollama

Ollama hat lokale KI einfach nutzbar gemacht. Nach der Installation genügt ein Befehl wie „ollama run“ mit einem Modellnamen; Ollama lädt das Modell herunter und startet einen Chat im Terminal. Quantisierung und GPU-Beschleunigung werden automatisch behandelt. So laufen Modelle wie Llama, Mistral, Gemma und Qwen auf gewöhnlichen Laptops und Desktoprechnern. Alles bleibt lokal und funktioniert offline.

Ollama ist ein Baustein für Entwickler. Eine lokale REST-API, darunter ein OpenAI-kompatibler Endpunkt, ermöglicht anderen Apps und Werkzeugen den Zugriff auf die Modelle. Viele Projekte wie Open WebUI, Programmierassistenten und Agentenframeworks integrieren Ollama. Modelfiles passen Systemprompts und Parameter an. Neuere Versionen bieten eine Desktop-App, multimodale Modelle und optionale Cloudmodelle für Modelle, die lokal zu groß sind.

Ollama ist kostenlos und unter MIT-Lizenz quelloffen. Die Leistung hängt von der Hardware ab; große Modelle benötigen viel Arbeitsspeicher oder eine starke GPU. Lokale Modelle sind generell weniger leistungsfähig als die besten Cloudmodelle. Alternativen sind LM Studio mit grafischer Oberfläche, Jan, GPT4All, llama.cpp und vLLM für den Produktivbetrieb. Ollama eignet sich für Entwickler und Interessierte, die Modelle einfach lokal ausführen möchten.