OpenVINOは、Intelのハードウェアでモデルを効率よく動かす手助けをします。開発者はPyTorch、TensorFlow、ONNXのモデルを変換し、量子化などの手法で最適化して、CPU、内蔵GPUと単体GPU、ニューラルプロセッシングユニットで動かします。ハイエンドのグラフィックスカードがなくても、ノートPCやエッジデバイスでAIが実用になります。
新しい部分は生成AIを対象にしており、言語モデルや画像生成への対応、GenAIライブラリ、Hugging Faceとの連携があります。モデルサーバーやツールが、アプリケーションへのデプロイを支えます。
OpenVINOは無料のオープンソースです。Intelのシリコンで最も性能が出ますが、他のハードウェアへの対応は限られます。代替にはONNX Runtime、NVIDIA向けのTensorRT、Apple向けのCore ML、llama.cpp、QualcommのAIツールがあります。OpenVINOは、Intelのプラットフォームにモデルをデプロイする開発者に向いています。
