LLM Application Evaluation with LangSmith

Du kommer att lära dig att designa omfattande utvärderingssystem för AI-applikationer som mäter prestanda utifrån dimensionerna noggrannhet, kostnad och latens med hjälp av utvärderingsdataset och flera typer av utvärderare – från algoritmisk matchning till LLM-as-judge-metoder – vilket gör det möjligt för dig att fastställa framgångskriterier i förväg och mäta framsteg mot applikationer som är redo för lansering.

Du kommer att lära dig att implementera utvärderingssystem i praktiken med hjälp av LangSmith för skapande av dataset, definition av utvärderare och exekvering av experiment — genom att bygga algoritmiska utvärderare för objektiva jämförelser, LLM-as-judge-utvärderare för subjektiva bedömningar och multimetriska utvärderare för omfattande kvalitetsanalys.

Du kommer att lära dig att utvärdera applikationer inom konversations-AI genom online-utvärdering med kriteriebaserad bedömning – genom att implementera utvärderingsmönster på både turn-nivå och för hela konversationer via LLM-as-judge-utvärderare – vilket gör det möjligt för dig att systematiskt mäta chattbottens kvalitet utifrån koherens, uppgiftskompletthet och effektivitet.