LLM Application Evaluation with LangSmith

Sie werden lernen, umfassende Evaluierungssysteme für KI-Anwendungen zu entwerfen, die die Performance in den Dimensionen Genauigkeit, Kosten und Latenz messen. Dabei kommen Evaluierungsdatensätze und verschiedene Evaluatortypen zum Einsatz – von algorithmischem Matching bis hin zu LLM-as-a-Judge-Ansätzen. Dies ermöglicht es Ihnen, Erfolgskriterien vorab festzulegen und den Fortschritt auf dem Weg zu releasefähigen Anwendungen messbar zu machen.

Sie lernen, Evaluierungssysteme in der Praxis unter Verwendung von LangSmith für die Erstellung von Datasets, die Definition von Evaluatoren und die Durchführung von Experimenten zu implementieren – dabei entwickeln Sie algorithmische Evaluatoren für objektive Vergleiche, LLM-as-judge-Evaluatoren für subjektive Bewertungen und Multi-Metrik-Evaluatoren für umfassende Qualitätsanalysen.

Sie lernen, Conversational-AI-Anwendungen mittels Online-Evaluation mit kriterienbasierter Bewertung zu evaluieren — durch die Implementierung von Evaluationsmustern auf Turn-Ebene und für die gesamte Konversation über LLM-as-Judge-Evaluatoren — was Ihnen ermöglicht, die Chatbot-Qualität hinsichtlich Kohärenz, Aufgabenvollständigkeit und Effizienz systematisch zu messen.