OpenVINO

OpenVINO hilft, Modelle auf Intel-Hardware effizient auszuführen. Entwickler:innen übernehmen ein Modell aus PyTorch, TensorFlow oder ONNX, konvertieren und optimieren es etwa durch Quantisierung und betreiben es dann auf CPUs, integrierten und separaten GPUs sowie neuronalen Verarbeitungseinheiten. So wird KI auch auf Laptops und Edge-Geräten ohne High-End-Grafikkarte praktikabel.

Neuere Funktionen zielen auf generative KI, darunter Sprachmodelle und Bildgenerierung, eine GenAI-Bibliothek und die Integration mit Hugging Face. Modellserver und weitere Werkzeuge unterstützen den Einsatz in Anwendungen.

OpenVINO ist kostenlos und quelloffen. Die beste Leistung erzielt es auf Intel-Chips; die Unterstützung anderer Hardware ist eingeschränkter. Alternativen sind ONNX Runtime, TensorRT für NVIDIA, Core ML für Apple, llama.cpp und KI-Werkzeuge von Qualcomm. OpenVINO eignet sich für Entwickler:innen, die Modelle auf Intel-Plattformen bereitstellen.