W&B Weave

Weave aborda un problema habitual de las apps con LLM: es difícil saber qué están haciendo. Con unas pocas líneas de código se registra cada llamada con sus entradas, salidas, latencia, coste y las llamadas a funciones que la rodean, de modo que un desarrollador puede inspeccionar paso a paso una respuesta fallida en lugar de adivinar. Las trazas cubren llamadas anidadas, algo importante para los agentes que encadenan varios modelos y herramientas.

También se ocupa de la evaluación. Los equipos crean conjuntos de datos con casos de prueba, definen evaluadores (incluidos jueces basados en LLM) y ejecutan experimentos para comparar prompts, modelos y versiones de la app antes de publicar. Los resultados se siguen a lo largo del tiempo, lo que facilita saber si un cambio ayudó de verdad. Las evaluaciones en línea pueden puntuar el tráfico real y avisar de regresiones en producción.

Weave forma parte de Weights & Biases, que ahora pertenece a CoreWeave, y se conecta con el resto de la plataforma W&B para los experimentos de entrenamiento. Tiene un nivel gratuito para particulares y planes de pago para equipos, con opciones de alojamiento propio para empresas. Entre las alternativas están LangSmith, Langfuse, Arize Phoenix, Braintrust y Helicone. Weave es adecuado para desarrolladores que ya usan W&B o que quieren trazado y evaluación en un único lugar.