After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Deskripsi Kursus
A description of the course.
Prasyarat
Kurikulum
Garis besar kursus
1
Evaluasi Aplikasi LLM
Dasar-dasar Evaluasi
Anda akan belajar merancang sistem evaluasi aplikasi AI yang komprehensif untuk mengukur performa pada dimensi akurasi, biaya, dan latensi menggunakan dataset evaluasi dan berbagai tipe evaluator — mulai dari *algorithmic matching* hingga pendekatan *LLM-as-judge* — yang memungkinkan Anda menetapkan kriteria kesuksesan sejak awal dan mengukur progres menuju aplikasi yang siap dirilis.
Implementasi Evaluasi
Anda akan belajar mengimplementasikan sistem evaluasi secara praktis menggunakan LangSmith untuk pembuatan dataset, pendefinisian evaluator, dan eksekusi eksperimen — membangun evaluator algoritmik untuk perbandingan objektif, evaluator *LLM-as-judge* untuk penilaian subjektif, dan evaluator multi-metrik untuk analisis kualitas yang komprehensif.
Evaluasi Percakapan
Anda akan belajar mengevaluasi aplikasi conversational AI menggunakan evaluasi online dengan penilaian berbasis kriteria — menerapkan pola evaluasi tingkat giliran (*turn-level*) dan percakapan penuh melalui evaluator *LLM-as-judge* — yang memungkinkan Anda untuk mengukur kualitas chatbot secara sistematis berdasarkan koherensi, kelengkapan tugas, dan efisiensi.
LLM Application Evaluation with LangSmith
Kursus
Selesai
