Diffbot

Diffbot usa visión por computador y procesamiento del lenguaje natural para leer las páginas web como lo haría una persona. En lugar de escribir un scraper para cada sitio, los desarrolladores envían una URL a sus API y reciben datos estructurados sobre artículos, productos o personas, sea cual sea el diseño de la página.

La empresa también construyó un gran grafo de conocimiento: una base de datos de entidades como organizaciones, personas y productos, con relaciones recopiladas de toda la web. Los clientes lo consultan para enriquecer registros, seguir noticias, encontrar empresas que cumplan ciertos criterios o dar a los modelos de lenguaje datos fundamentados. Sus herramientas de extracción permiten rastrear la web a gran escala.

Diffbot es de pago, con planes según las llamadas a la API, y ofrece una prueba. Recopilar datos de la web exige respetar los términos de los sitios y las leyes de privacidad. Entre las alternativas están Apify, Bright Data, Firecrawl, Zyte y Crunchbase para datos de empresas. Diffbot sirve a equipos que necesitan datos web estructurados y un grafo de entidades.