Nach diesen Kursen fühle ich mich sicher, professionelle Visualisierungen und Dashboards zu erstellen.
Shoebur RahmanBeschaffungsspezialist, Giz Bangladesh
Kursbeschreibung
A description of the course.
Voraussetzungen
Lernprogramm
Kursübersicht
1
Evaluierung von LLM-Anwendungen
Grundlagen der Evaluation
Sie werden lernen, umfassende Evaluierungssysteme für KI-Anwendungen zu entwerfen, die die Performance in den Dimensionen Genauigkeit, Kosten und Latenz messen. Dabei kommen Evaluierungsdatensätze und verschiedene Evaluatortypen zum Einsatz – von algorithmischem Matching bis hin zu LLM-as-a-Judge-Ansätzen. Dies ermöglicht es Ihnen, Erfolgskriterien vorab festzulegen und den Fortschritt auf dem Weg zu releasefähigen Anwendungen messbar zu machen.
Implementierung der Evaluation
Sie lernen, Evaluierungssysteme in der Praxis unter Verwendung von LangSmith für die Erstellung von Datasets, die Definition von Evaluatoren und die Durchführung von Experimenten zu implementieren – dabei entwickeln Sie algorithmische Evaluatoren für objektive Vergleiche, LLM-as-judge-Evaluatoren für subjektive Bewertungen und Multi-Metrik-Evaluatoren für umfassende Qualitätsanalysen.
Konversationsbewertung
Sie lernen, Conversational-AI-Anwendungen mittels Online-Evaluation mit kriterienbasierter Bewertung zu evaluieren — durch die Implementierung von Evaluationsmustern auf Turn-Ebene und für die gesamte Konversation über LLM-as-Judge-Evaluatoren — was Ihnen ermöglicht, die Chatbot-Qualität hinsichtlich Kohärenz, Aufgabenvollständigkeit und Effizienz systematisch zu messen.
LLM Application Evaluation with LangSmith
Kurs
abgeschlossen
