LLM Application Evaluation with LangSmith

Anda akan belajar merancang sistem evaluasi aplikasi AI yang komprehensif untuk mengukur performa pada dimensi akurasi, biaya, dan latensi menggunakan dataset evaluasi dan berbagai tipe evaluator — mulai dari *algorithmic matching* hingga pendekatan *LLM-as-judge* — yang memungkinkan Anda menetapkan kriteria kesuksesan sejak awal dan mengukur progres menuju aplikasi yang siap dirilis.

Anda akan belajar mengimplementasikan sistem evaluasi secara praktis menggunakan LangSmith untuk pembuatan dataset, pendefinisian evaluator, dan eksekusi eksperimen — membangun evaluator algoritmik untuk perbandingan objektif, evaluator *LLM-as-judge* untuk penilaian subjektif, dan evaluator multi-metrik untuk analisis kualitas yang komprehensif.

Anda akan belajar mengevaluasi aplikasi conversational AI menggunakan evaluasi online dengan penilaian berbasis kriteria — menerapkan pola evaluasi tingkat giliran (*turn-level*) dan percakapan penuh melalui evaluator *LLM-as-judge* — yang memungkinkan Anda untuk mengukur kualitas chatbot secara sistematis berdasarkan koherensi, kelengkapan tugas, dan efisiensi.