After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
รายละเอียดคอร์ส
A description of the course.
ข้อกำหนดเบื้องต้น
หลักสูตร
โครงสร้างคอร์ส
1
การประเมินผลแอปพลิเคชัน LLM
พื้นฐานการประเมินผล
คุณจะได้เรียนรู้วิธีการออกแบบระบบประเมินผลแอปพลิเคชัน AI ที่ครอบคลุม เพื่อวัดผลประสิทธิภาพในมิติต่าง ๆ ทั้งความแม่นยำ (accuracy), ต้นทุน (cost) และความหน่วง (latency) โดยใช้ชุดข้อมูลสำหรับการประเมิน (evaluation datasets) และตัวประเมินหลากหลายประเภท ตั้งแต่การใช้ algorithmic matching ไปจนถึงแนวทางแบบ LLM-as-judge ซึ่งจะช่วยให้คุณสามารถกำหนดเกณฑ์ความสำเร็จ (success criteria) ได้ล่วงหน้า และวัดผลความคืบหน้าในการพัฒนาแอปพลิเคชันให้พร้อมสำหรับการใช้งานจริง (release-ready)
การดำเนินการประเมินผล
คุณจะได้เรียนรู้วิธีการนำระบบการประเมินไปใช้งานจริงโดยใช้ LangSmith สำหรับการสร้าง dataset, การกำหนดตัวประเมิน (evaluator definition) และการดำเนินการทดลอง (experiment execution) — โดยครอบคลุมตั้งแต่การสร้างตัวประเมินแบบอัลกอริทึม (algorithmic evaluators) เพื่อการเปรียบเทียบเชิงวัตถุวิสัย (objective comparisons), ตัวประเมินแบบ LLM-as-judge สำหรับการประเมินเชิงอัตวิสัย (subjective assessments) และตัวประเมินแบบหลายตัวชี้วัด (multi-metric evaluators) เพื่อการวิเคราะห์คุณภาพอย่างครอบคลุม
การประเมินการสนทนา
คุณจะได้เรียนรู้วิธีการประเมินแอปพลิเคชัน Conversational AI โดยใช้ online evaluation ร่วมกับการประเมินตามเกณฑ์ (criteria-based assessment) — ผ่านการนำรูปแบบการประเมินระดับ turn-level และแบบทั้งการสนทนา (full-conversation) มาปรับใช้ด้วยตัวประเมินแบบ LLM-as-judge — ซึ่งจะช่วยให้คุณสามารถวัดผลคุณภาพของแชทบอทในด้านความสอดคล้อง (coherence), ความสำเร็จของงาน (task completeness) และประสิทธิภาพ (efficiency) ได้อย่างเป็นระบบ
LLM Application Evaluation with LangSmith
เรียนจบแล้ว
