LangSmith

LangSmith hilft Teams, KI-Anwendungen zu verstehen und zu verbessern. Entwickler:innen senden Traces aus ihren Anwendungen; LangSmith zeigt jeden Schritt mit Prompts, abgerufenen Dokumenten, Werkzeugaufrufen und Modellausgaben samt Zeit- und Kostenangaben. So lässt sich nachvollziehen, wo ein Agent einen Fehler gemacht hat.

Der zweite Schwerpunkt ist die Evaluierung. Teams erstellen Datensätze aus echtem Datenverkehr, führen Experimente mit verschiedenen Prompt- oder Modellversionen aus und bewerten Ergebnisse automatisiert oder durch menschliche Prüfung. Dashboards und Warnungen überwachen die Qualität im Produktivbetrieb. Ein Bereitstellungsprodukt hostet Agenten, die mit LangGraph gebaut wurden.

LangSmith bietet einen kostenlosen Tarif und kostenpflichtige Pläne; Unternehmen können selbst hosten. Die Integration ist mit LangChain-Werkzeugen besonders eng, andere Frameworks werden aber ebenfalls unterstützt. Alternativen sind Langfuse, Braintrust, Arize Phoenix, Helicone und Weights & Biases Weave. LangSmith eignet sich für Teams, die Agenten mit LangChain und LangGraph entwickeln.