After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Cursusbeschrijving
A description of the course.
Vereisten
Curriculum
Cursusoverzicht
1
Evaluatie van LLM-applicaties
Grondbeginselen van evaluatie
Je leert uitgebreide evaluatiesystemen voor AI-applicaties te ontwerpen die prestaties meten op dimensies als nauwkeurigheid, kosten en latency met behulp van evaluatiedatasets en verschillende soorten evaluatoren — van algoritmische matching tot LLM-as-judge-benaderingen — waardoor je vooraf succescriteria kunt vaststellen en voortgang kunt meten naar applicaties die klaar zijn voor release.
Evaluatie-implementatie
Je leert hoe je in de praktijk evaluatiesystemen implementeert met behulp van LangSmith voor het maken van datasets, het definiëren van evaluatoren en het uitvoeren van experimenten. Je bouwt hierbij algoritmische evaluatoren voor objectieve vergelijkingen, LLM-as-judge-evaluatoren voor subjectieve beoordelingen en multi-metrische evaluatoren voor een uitgebreide kwaliteitsanalyse.
Conversatie-evaluatie
Je leert conversational AI-toepassingen te evalueren met behulp van online evaluatie met een op criteria gebaseerde beoordeling — door evaluatiepatronen op turn-niveau en voor het volledige gesprek te implementeren via LLM-as-judge evaluators — waardoor je systematisch de chatbotkwaliteit kunt meten op basis van coherentie, taakvoltooiing en efficiëntie.
LLM Application Evaluation with LangSmith
Cursus
voltooid
