After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
A description of the course.
Wymagania wstępne
Program kursu
Plan kursu
1
Ewaluacja aplikacji LLM
Podstawy ewaluacji
Nauczysz się projektować kompleksowe systemy ewaluacji aplikacji AI, które mierzą wydajność w wymiarach dokładności, kosztów i opóźnień (latency), wykorzystując zbiory danych ewaluacyjnych oraz wiele typów ewaluatorów — od dopasowania algorytmicznego po podejście LLM-as-judge — co pozwoli Ci na ustalenie kryteriów sukcesu już na samym początku i mierzenie postępów w tworzeniu aplikacji gotowych do wdrożenia.
Implementacja ewaluacji
Nauczysz się wdrażać systemy ewaluacji w praktyce, wykorzystując LangSmith do tworzenia zbiorów danych, definiowania ewaluatorów i przeprowadzania eksperymentów — budując ewaluatory algorytmiczne do obiektywnych porównań, ewaluatory typu LLM-as-judge do ocen subiektywnych oraz ewaluatory wielometryczne do kompleksowej analizy jakości.
Ocena konwersacji
Nauczysz się oceniać aplikacje Conversational AI, wykorzystując ewaluację online z oceną opartą na kryteriach — wdrażając wzorce ewaluacji na poziomie pojedynczych wypowiedzi (turn-level) oraz całych konwersacji za pomocą ewaluatorów typu LLM-as-judge — co umożliwi Ci systematyczne mierzenie jakości chatbotów pod kątem spójności, stopnia realizacji zadań oraz wydajności.
LLM Application Evaluation with LangSmith
Kurs
ukończony
