Groq

Groqが知られているのは速さです。Language Processing Unitと呼ばれるチップは、グラフィックス向けハードウェアの転用ではなく、AIモデルを動かすために一から設計され、一般的なGPUベースのサービスよりずっと速くテキストを出します。待ちを感じさせないチャット、待てない音声アシスタント、モデルを立て続けに何度も呼ぶエージェントで、その差が出ます。この会社はモデルの研究所ではなく、ほかが作ったモデルをホストします。

多くの人がGroqにたどり着くのは、OpenAI互換のAPIを備えた開発者向けプラットフォーム、GroqCloud経由です。Llama、Qwen、OpenAIのgpt-ossなどのオープンウェイトのモデルと、音声をテキストにするモデルを提供し、試し用の無料枠と、本番向けの使った分だけの料金があります。既存のアプリケーションの切り替えは、多くの場合、ベースURLとAPIキーを変えるだけで足ります。企業は専用の容量も買えます。

速さには引き換えがあります。カタログはGroqがホストすると選んだモデルに限られ、クローズドな研究所の最新または最大のフロンティアモデルはそこでは使えません。忙しい時期には、容量とレート制限が厳しくなることがあります。Nvidiaが推論技術のライセンスを受け、経営陣の一部を雇ったあと、会社は大きな変化を経ました。ただしGroqCloudは独立して運営を続けると言われていました。最も近い代替はCerebras、SambaNova、Together AI、Fireworksです。