LLM Application Evaluation with LangSmith

คุณจะได้เรียนรู้วิธีการออกแบบระบบประเมินผลแอปพลิเคชัน AI ที่ครอบคลุม เพื่อวัดผลประสิทธิภาพในมิติต่าง ๆ ทั้งความแม่นยำ (accuracy), ต้นทุน (cost) และความหน่วง (latency) โดยใช้ชุดข้อมูลสำหรับการประเมิน (evaluation datasets) และตัวประเมินหลากหลายประเภท ตั้งแต่การใช้ algorithmic matching ไปจนถึงแนวทางแบบ LLM-as-judge ซึ่งจะช่วยให้คุณสามารถกำหนดเกณฑ์ความสำเร็จ (success criteria) ได้ล่วงหน้า และวัดผลความคืบหน้าในการพัฒนาแอปพลิเคชันให้พร้อมสำหรับการใช้งานจริง (release-ready)

คุณจะได้เรียนรู้วิธีการนำระบบการประเมินไปใช้งานจริงโดยใช้ LangSmith สำหรับการสร้าง dataset, การกำหนดตัวประเมิน (evaluator definition) และการดำเนินการทดลอง (experiment execution) — โดยครอบคลุมตั้งแต่การสร้างตัวประเมินแบบอัลกอริทึม (algorithmic evaluators) เพื่อการเปรียบเทียบเชิงวัตถุวิสัย (objective comparisons), ตัวประเมินแบบ LLM-as-judge สำหรับการประเมินเชิงอัตวิสัย (subjective assessments) และตัวประเมินแบบหลายตัวชี้วัด (multi-metric evaluators) เพื่อการวิเคราะห์คุณภาพอย่างครอบคลุม

คุณจะได้เรียนรู้วิธีการประเมินแอปพลิเคชัน Conversational AI โดยใช้ online evaluation ร่วมกับการประเมินตามเกณฑ์ (criteria-based assessment) — ผ่านการนำรูปแบบการประเมินระดับ turn-level และแบบทั้งการสนทนา (full-conversation) มาปรับใช้ด้วยตัวประเมินแบบ LLM-as-judge — ซึ่งจะช่วยให้คุณสามารถวัดผลคุณภาพของแชทบอทในด้านความสอดคล้อง (coherence), ความสำเร็จของงาน (task completeness) และประสิทธิภาพ (efficiency) ได้อย่างเป็นระบบ