Cerebrasは、AIハードウェアにあまり見ないやり方を取りました。シリコンウェハーを多くの小さなチップに切らず、ウェハー全体で一つの巨大なチップを作ります。計算量もオンチップメモリも、非常に大きく載ります。この設計は、大規模モデルを遅くするチップ間のデータ移動を減らし、とても高い速度でトークンを生成できます。
同社はシステムを販売し、開発者がAPIでオープンモデルを呼ぶクラウド推論サービスも運営しています。応答は速く、エージェント、コーディングツール、リアルタイムのアプリに向きます。AIラボやクラウド事業者と提携し、推論に加え学習も扱います。開発者は無料枠でAPIを試し、その後は利用量に応じて支払います。トークンあたりの料金は、しばしば競争力があります。
CerebrasはNVIDIAが優勢な分野で競います。モデルの一覧は、一般的なクラウド事業者と比べると限られます。容量と対応モデルは変わり、大口の顧客が事業の中心です。速い推論の代替には、別のハードウェアで動くGroq、SambaNova、Together AI、Fireworksと、NVIDIAベースのクラウドがあります。Cerebrasは、非常に低い遅延が必要な開発者と、GPU以外の選択肢に関心のあるチームに向いています。
