Firecrawlが解くのは、AIプロジェクトでよくある段階です。ウェブの内容を、言語モデルが使える形にすることです。開発者がURLを渡すと、ページを取得し、JavaScriptの描画に対応し、定型部分を除いて、きれいなMarkdownを返します。サイト全体のクロール、リンクの一覧化、スキーマを使ったページからの構造化フィールドの抽出もできます。
検索とエージェントの機能が、使い道を広げます。1回の呼び出しでウェブを検索し、結果をスクレイピングできます。平易な説明から、多数のページにわたってデータを集めるエンドポイントもあります。連携先は、LangChainやLlamaIndexなどのフレームワークと、Model Context Protocol経由のツールです。中核はオープンソースで、自分でホストできます。
Firecrawlには無料枠と、クレジット単位の有料プランがあります。スクレイピングはサイトの利用規約とrobotsの規則を守る必要があり、自動アクセスをブロックするサイトもあります。代替にはApify、Jina Reader、Crawl4AI、Browserbase、Diffbotがあります。Firecrawlは、ウェブデータが必要なAIアプリを作る開発者に向いています。
