Groq

Groq ist für Geschwindigkeit bekannt. Die Chips heißen Language Processing Units und wurden von Grund auf für die Ausführung von KI-Modellen entwickelt, statt von Grafikprozessoren abgewandelt zu werden. Sie erzeugen Text viel schneller als typische GPU-Dienste. Das macht sich bei Chat bemerkbar, der sich sofort anfühlt, bei Sprachassistenten ohne Wartezeit und bei Agenten, die viele Modellaufrufe hintereinander ausführen. Groq ist kein Modelllabor, sondern hostet Modelle anderer Anbieter.

Die meisten erreichen Groq über GroqCloud, eine Entwicklerplattform mit OpenAI-kompatibler API. Sie stellt offene Modelle wie Llama, Qwen und OpenAIs gpt-oss sowie Speech-to-Text-Modelle bereit. Zum Testen gibt es einen kostenlosen Tarif, für den Produktivbetrieb nutzungsabhängige Preise. Eine bestehende Anwendung muss oft nur durch eine geänderte Basis-URL und einen neuen API-Schlüssel angepasst werden. Unternehmen können auch dedizierte Kapazität kaufen.

Die Geschwindigkeit hat Nachteile. Der Katalog ist auf Modelle beschränkt, die Groq hostet. Die neuesten oder größten Spitzenmodelle geschlossener Labore sind nicht verfügbar. Zu Stoßzeiten können Kapazität und Ratenlimits knapp sein. Außerdem hat sich das Unternehmen stark verändert, nachdem Nvidia seine Inferenztechnologie lizenziert und Führungskräfte eingestellt hat. GroqCloud sollte dennoch unabhängig weiterbetrieben werden. Zu den ähnlichsten Alternativen gehören Cerebras, SambaNova, Together AI und Fireworks.