LLM Application Evaluation with LangSmith

Nauczysz się projektować kompleksowe systemy ewaluacji aplikacji AI, które mierzą wydajność w wymiarach dokładności, kosztów i opóźnień (latency), wykorzystując zbiory danych ewaluacyjnych oraz wiele typów ewaluatorów — od dopasowania algorytmicznego po podejście LLM-as-judge — co pozwoli Ci na ustalenie kryteriów sukcesu już na samym początku i mierzenie postępów w tworzeniu aplikacji gotowych do wdrożenia.

Nauczysz się wdrażać systemy ewaluacji w praktyce, wykorzystując LangSmith do tworzenia zbiorów danych, definiowania ewaluatorów i przeprowadzania eksperymentów — budując ewaluatory algorytmiczne do obiektywnych porównań, ewaluatory typu LLM-as-judge do ocen subiektywnych oraz ewaluatory wielometryczne do kompleksowej analizy jakości.

Nauczysz się oceniać aplikacje Conversational AI, wykorzystując ewaluację online z oceną opartą na kryteriach — wdrażając wzorce ewaluacji na poziomie pojedynczych wypowiedzi (turn-level) oraz całych konwersacji za pomocą ewaluatorów typu LLM-as-judge — co umożliwi Ci systematyczne mierzenie jakości chatbotów pod kątem spójności, stopnia realizacji zadań oraz wydajności.