Diffbot

Diffbot utilise la vision par ordinateur et le traitement du langage naturel pour lire les pages web comme le ferait une personne. Au lieu d’écrire un scraper pour chaque site, les développeurs envoient une URL à ses API et reçoivent des données structurées sur des articles, des produits ou des personnes, quel que soit le layout de la page.

L’entreprise a aussi construit un grand graphe de connaissances, une base d’entités comme des organisations, des personnes et des produits, avec des relations collectées sur le web. Les clients l’interrogent pour enrichir des fiches, surveiller l’actualité, trouver des entreprises qui correspondent à des critères, ou donner aux modèles de langage des faits ancrés. Ses outils d’extraction prennent en charge le crawl à grande échelle.

Diffbot est payant, avec des offres selon les appels d’API, et un essai. La collecte de données web doit respecter les conditions des sites et les lois sur la vie privée. Les alternatives incluent Apify, Bright Data, Firecrawl, Zyte et Crunchbase pour les données d’entreprises. Diffbot convient aux équipes qui ont besoin de données web structurées et d’un graphe d’entités.