Cleanlab

Cleanlab parte de la idea de que la calidad de un modelo depende de la calidad de los datos. Los conjuntos de datos reales tienen errores: imágenes con etiquetas incorrectas, ejemplos duplicados y valores atípicos. La biblioteca de código abierto de Cleanlab usa métodos estadísticos y predicciones de modelos para encontrar los ejemplos con más probabilidad de estar mal, de modo que el equipo pueda corregirlos en lugar de revisarlo todo.

La plataforma comercial, Cleanlab Studio, lo amplía con una interfaz no-code para limpiar y mejorar conjuntos de datos y entrenar modelos con el resultado. La empresa también ha entrado en la fiabilidad de la IA generativa, con herramientas para puntuar la confiabilidad de las respuestas de los modelos de lenguaje y detectar alucinaciones en sistemas en producción.

La biblioteca de código abierto es gratuita, y la plataforma tiene niveles gratuitos y de pago. Limpiar datos requiere criterio humano para saber cuál es la etiqueta correcta. Entre las alternativas están Snorkel AI, Label Studio, Argilla, Encord y Labelbox. Cleanlab encaja con equipos de machine learning que tienen conjuntos de datos desordenados.