W&B Weave

Weave löst ein häufiges Problem bei LLM-Anwendungen: Es ist schwer nachzuvollziehen, was sie tun. Wenige Zeilen Code reichen, um jeden Aufruf samt Eingaben, Ausgaben, Latenz, Kosten und umgebenden Funktionsaufrufen zu protokollieren. Entwickler:innen können so eine fehlerhafte Antwort Schritt für Schritt untersuchen, statt zu raten. Die Traces zeigen verschachtelte Aufrufe, was für Agenten mit mehreren Modellen und Werkzeugen wichtig ist.

Weave unterstützt auch Evaluierungen. Teams erstellen Datensätze mit Testfällen, legen Bewertungsfunktionen fest, darunter LLM-basierte Prüfer, und vergleichen vor der Veröffentlichung Prompts, Modelle und App-Versionen. Ergebnisse werden über die Zeit erfasst, sodass sich beurteilen lässt, ob Änderungen geholfen haben. Online-Evaluierungen können Live-Traffic bewerten und Rückschritte im Produktivbetrieb markieren.

Weave gehört zu Weights & Biases, das inzwischen CoreWeave besitzt, und lässt sich mit der übergreifenden W&B-Plattform für Trainingsexperimente verbinden. Einzelpersonen können es kostenlos nutzen; für Teams gibt es kostenpflichtige Tarife und für Unternehmen Optionen zum Selbsthosting. Alternativen sind LangSmith, Langfuse, Arize Phoenix, Braintrust und Helicone. Weave eignet sich für Entwickler:innen, die bereits W&B nutzen oder Tracing und Evaluierung an einem Ort bündeln möchten.