Build your ultimate AI agent
รายละเอียดคอร์ส
แนวคิดการมอนิเตอร์แมชชีนเลิร์นนิง
โมเดลแมชชีนเลิร์นนิงมีอิทธิพลต่อการตัดสินใจในโลกจริงมากขึ้นเรื่อยๆ โมเดลเหล่านี้จำเป็นต้องได้รับการตรวจสอบติดตามเพื่อป้องกันความล้มเหลวและเพื่อให้แน่ใจว่าโมเดลเหล่านี้มอบคุณค่าทางธุรกิจให้กับบริษัทของคุณ คอร์สนี้จะพาคุณไปรู้จักแนวคิดพื้นฐานในการสร้างระบบมอนิเตอร์ที่แข็งแกร่งสำหรับโมเดลของคุณในสภาพแวดล้อมการใช้งานจริงค้นพบเวิร์กโฟลว์การมอนิเตอร์ที่เหมาะสมที่สุด
คอร์สนี้เริ่มต้นด้วยพิมพ์เขียวว่าควรเริ่มต้นการมอนิเตอร์ในสภาพแวดล้อมการใช้งานจริงที่ใด และควรจัดโครงสร้างกระบวนการรอบ ๆ สิ่งนั้นอย่างไร เราจะครอบคลุมเวิร์กโฟลว์พื้นฐาน โดยแสดงให้คุณเห็นวิธีตรวจจับปัญหา ระบุสาเหตุรากเหง้า และแก้ไขด้วยตัวอย่างจากสถานการณ์จริงสำรวจความท้าทายของการมอนิเตอร์โมเดลในสภาพแวดล้อมการใช้งานจริง
การนำโมเดลไปใช้งานจริงในสภาพแวดล้อมการผลิตเป็นเพียงจุดเริ่มต้นของวงจรชีวิตของโมเดล แม้ว่าจะทำงานได้ดีในระหว่างการพัฒนา แต่ก็อาจล้มเหลวได้เนื่องจากข้อมูลในสภาพแวดล้อมการใช้งานจริงที่เปลี่ยนแปลงอย่างต่อเนื่อง ในหลักสูตรนี้ คุณจะได้สำรวจความยากลำบากในการติดตามประสิทธิภาพของโมเดล โดยเฉพาะอย่างยิ่งเมื่อไม่มีข้อมูลจริงอ้างอิงทำความเข้าใจ Covariate Shift และ Concept Drift อย่างละเอียด
ส่วนสุดท้ายของหลักสูตรนี้จะมุ่งเน้นไปที่ความล้มเหลวของโมเดลแบบเงียบ 2 ประเภท คุณจะเข้าใจอย่างละเอียดถึงความแตกต่างของการเปลี่ยนแปลงของโควาเรียตและคอนเซ็ปต์ดริฟต์แต่ละประเภท ผลกระทบที่มีต่อประสิทธิภาพของโมเดล และวิธีตรวจจับและป้องกันสิ่งเหล่านี้ข้อกำหนดเบื้องต้น
หลักสูตร
โครงสร้างคอร์ส
1
ML Monitoring คืออะไร
บทแรกจะอธิบายว่าเหตุใดธุรกิจจึงต้อง monitor โมเดล machine learning ใน production คุณจะได้เรียนรู้เกี่ยวกับเวิร์กโฟลว์การ monitoring ที่เหมาะสมและขั้นตอนต่าง ๆ ที่เกี่ยวข้อง รวมถึงความท้าทายบางประการที่ระบบ monitoring อาจเผชิญใน production
- เหตุใดจึงต้องตรวจสอบโมเดลของคุณ50 XP
- โมเดลล้มเหลวได้อย่างไร?50 XP
- ประโยชน์ของระบบการติดตามโมเดล50 XP
- ขั้นตอนการติดตามตรวจสอบโมเดลที่เหมาะสมที่สุด50 XP
- ความสำคัญของการติดตาม KPI50 XP
- ขั้นตอนการมอนิเตอร์ที่เหมาะสม100 XP
- ขั้นตอนการติดตามในสถานการณ์จริง100 XP
- ความท้าทายในการติดตามตรวจสอบโมเดล ML50 XP
- Ground truth ที่ล่าช้า100 XP
- Covariate shift vs Concept drift100 XP
2
แนวคิดเชิงทฤษฎีของการ Monitoring
ในบทที่ 2 จะได้ค้นพบความสำคัญพื้นฐานของการ monitor ประสิทธิภาพในระบบ monitoring ที่เชื่อถือได้ เราจะสำรวจความท้าทายทั่วไปในสภาพแวดล้อม production จริง เช่น ความพร้อมใช้งานของ ground truth เมื่อจบบทนี้ คุณจะรู้วิธีรับมือกับสถานการณ์ที่ข้อมูล ground truth ล่าช้าหรือไม่มีเลย โดยใช้อัลกอริทึมสำหรับประมาณค่าประสิทธิภาพ
3
การตรวจจับ Covariate Shift และ Concept Drift
เมื่อเข้าใจพื้นฐานของ covariate shift และ concept drift ใน production แล้ว มาเจาะลึกกันมากขึ้น เมื่อจบบทนี้ คุณจะรู้จักวิธีต่าง ๆ ในการตรวจจับและรับมือกับปัญหาเหล่านี้ในสถานการณ์จริง
แนวคิดการ Monitoring Machine Learning
เรียนจบแล้ว

