ScrapeGraph AIでは、開発者がページから欲しいものを言葉で説明します。URLと、すべての商品名と価格を一覧にして、といったプロンプトを渡すと、ライブラリがページを取得して言語モデルに渡し、構造化データを返します。複数ページのスクレイピング用に、グラフのパイプラインも作れます。
この方式は、レイアウトが変わると壊れるセレクタ型のスクレイパーの脆さを減らします。ローカルとクラウドのモデルに対応し、ホスト型のAPIとノーコードの選択肢もあります。
ScrapeGraph AIはオープンソースで、クラウドサービスは有料です。通常のスクレイピングと比べると、言語モデルの呼び出しでコストと遅延が増えます。スクレイピングはサイトの規約と法律を守って行う必要があります。代替にはFirecrawl、Crawl4AI、Apify、Jina Reader、Browse AIがあります。セレクタを保守せずにデータを抽出したい開発者に向いています。
