Ollamaは、ローカルAIを簡単にしました。インストールして、モデル名を付けてollama runのようなコマンドを実行すると、モデルをダウンロードし、ターミナルでチャットを始めます。量子化やGPU高速化の細かい部分は任せられるので、Llama、Mistral、Gemma、Qwenなど多くのモデルが、普通のノートPCやデスクトップで動きます。すべてがマシン上にとどまるため、プライベートで、オフラインでも使えます。
開発者にとっては部品にもなります。OllamaはローカルのREST API(OpenAI互換のエンドポイントを含む)を公開しているので、アプリやツールからローカルのモデルを使えます。Open WebUI、コーディングアシスタント、エージェントフレームワークなど、多くのプロジェクトが連携しています。Modelfileでシステムプロンプトやパラメータをカスタマイズでき、最近のバージョンではデスクトップアプリ、マルチモーダルモデルへの対応、ローカルで動かすには大きすぎるモデル向けのクラウドホスト型モデルも加わっています。
OllamaはMITライセンスの無料のオープンソースです。性能はハードウェアで決まり、最大級のモデルには大きなメモリか高性能なGPUが必要です。ローカルのモデルは、一般に最良のクラウドモデルより能力が低くなります。代替には、グラフィカルなインターフェースを持つLM Studio、Jan、GPT4All、llama.cpp、本番運用向けのvLLMがあります。モデルをローカルで動かす簡単な方法を求める開発者や愛好家に向いています。
