LLM Application Evaluation with LangSmith

Je leert uitgebreide evaluatiesystemen voor AI-applicaties te ontwerpen die prestaties meten op dimensies als nauwkeurigheid, kosten en latency met behulp van evaluatiedatasets en verschillende soorten evaluatoren — van algoritmische matching tot LLM-as-judge-benaderingen — waardoor je vooraf succescriteria kunt vaststellen en voortgang kunt meten naar applicaties die klaar zijn voor release.

Je leert hoe je in de praktijk evaluatiesystemen implementeert met behulp van LangSmith voor het maken van datasets, het definiëren van evaluatoren en het uitvoeren van experimenten. Je bouwt hierbij algoritmische evaluatoren voor objectieve vergelijkingen, LLM-as-judge-evaluatoren voor subjectieve beoordelingen en multi-metrische evaluatoren voor een uitgebreide kwaliteitsanalyse.