After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Kursbeskrivning
A description of the course.
Förkunskapskrav
Kursplan
Kursöversikt
1
Utvärdering av LLM-applikationer
Grunderna i utvärdering
Du kommer att lära dig att designa omfattande utvärderingssystem för AI-applikationer som mäter prestanda utifrån dimensionerna noggrannhet, kostnad och latens med hjälp av utvärderingsdataset och flera typer av utvärderare – från algoritmisk matchning till LLM-as-judge-metoder – vilket gör det möjligt för dig att fastställa framgångskriterier i förväg och mäta framsteg mot applikationer som är redo för lansering.
Implementering av utvärdering
Du kommer att lära dig att implementera utvärderingssystem i praktiken med hjälp av LangSmith för skapande av dataset, definition av utvärderare och exekvering av experiment — genom att bygga algoritmiska utvärderare för objektiva jämförelser, LLM-as-judge-utvärderare för subjektiva bedömningar och multimetriska utvärderare för omfattande kvalitetsanalys.
Konversationsutvärdering
Du kommer att lära dig att utvärdera applikationer inom konversations-AI genom online-utvärdering med kriteriebaserad bedömning – genom att implementera utvärderingsmönster på både turn-nivå och för hela konversationer via LLM-as-judge-utvärderare – vilket gör det möjligt för dig att systematiskt mäta chattbottens kvalitet utifrån koherens, uppgiftskompletthet och effektivitet.
LLM Application Evaluation with LangSmith
Kurs
slutförd
