After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrierea cursului
A description of the course.
Cerințe prealabile
Curriculum
Structura cursului
1
Evaluarea aplicațiilor LLM
Fundamentele evaluării
Vei învăța să proiectezi sisteme cuprinzătoare de evaluare a aplicațiilor AI care măsoară performanța pe dimensiuni de acuratețe, cost și latență, utilizând seturi de date de evaluare și multiple tipuri de evaluatori — de la potrivirea algoritmică la abordări de tip LLM-as-a-judge — permițându-ți să stabilești criterii de succes încă de la început și să măsori progresul către aplicații gata de lansare.
Implementarea evaluării
Vei învăța să implementezi sisteme de evaluare în practică folosind LangSmith pentru crearea seturilor de date, definirea evaluatorilor și execuția experimentelor — construind evaluatori algoritmici pentru comparații obiective, evaluatori de tip LLM-as-judge pentru evaluări subiective și evaluatori multi-metrici pentru o analiză cuprinzătoare a calității.
Evaluarea conversației
Vei învăța să evaluezi aplicațiile de AI conversațional utilizând evaluarea online bazată pe criterii — implementând tipare de evaluare la nivel de replică (turn-level) și de conversație completă prin intermediul evaluatorilor de tip LLM-as-judge — ceea ce îți va permite să măsori sistematic calitatea chatbot-ului în funcție de coerență, gradul de finalizare a sarcinilor și eficiență.
LLM Application Evaluation with LangSmith
Curs
finalizat
