Diffbot

Diffbotはコンピュータビジョンと自然言語処理を使い、人が読むようにウェブページを読みます。サイトごとにスクレイパーを書く代わりに、開発者はURLをAPIに送り、ページのレイアウトに関係なく、記事、商品、人物についての構造化データを受け取ります。

同社は大きなナレッジグラフも構築しました。組織、人物、商品などのエンティティと、ウェブ全体から集めた関係を持つデータベースです。顧客はこれを問い合わせ、レコードを補完したり、ニュースを監視したり、条件に合う企業を見つけたり、言語モデルに根拠のある事実を渡したりします。抽出ツールは大規模なクロールに対応します。

Diffbotは有料で、API呼び出し数によるプランとトライアルがあります。ウェブデータの収集は、サイトの利用規約とプライバシー法を守る必要があります。代替にはApify、Bright Data、Firecrawl、Zyte、企業データ向けのCrunchbaseがあります。Diffbotは、構造化されたウェブデータとエンティティグラフが必要なチームに向いています。