Efter att ha gått de här kurserna känner jag mig trygg med att skapa professionella visualiseringar och dashboards
Shoebur RahmanInköpsspecialist, Giz Bangladesh
Kursbeskrivning
En beskrivning av kursen.
Förkunskapskrav
Kursplan
Kursöversikt
1
Utvärdering av LLM-applikationer
Grunderna i utvärdering
Du kommer att lära dig att designa omfattande utvärderingssystem för AI-applikationer som mäter prestanda utifrån dimensionerna noggrannhet, kostnad och latens med hjälp av utvärderingsdataset och flera typer av utvärderare – från algoritmisk matchning till LLM-as-judge-metoder – vilket gör det möjligt för dig att fastställa framgångskriterier i förväg och mäta framsteg mot applikationer som är redo för lansering.
Implementering av utvärdering
Du kommer att lära dig att implementera utvärderingssystem i praktiken med hjälp av LangSmith för skapande av dataset, definition av utvärderare och exekvering av experiment — genom att bygga algoritmiska utvärderare för objektiva jämförelser, LLM-as-judge-utvärderare för subjektiva bedömningar och multimetriska utvärderare för omfattande kvalitetsanalys.
Konversationsutvärdering
Du kommer att lära dig att utvärdera applikationer inom konversations-AI genom online-utvärdering med kriteriebaserad bedömning – genom att implementera utvärderingsmönster på både turn-nivå och för hela konversationer via LLM-as-judge-utvärderare – vilket gör det möjligt för dig att systematiskt mäta chattbottens kvalitet utifrån koherens, uppgiftskompletthet och effektivitet.
Utvärdering av LLM-applikationer med LangSmith
Kurs
slutförd
