After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
कोर्स विवरण
A description of the course.
पूर्वापेक्षाएँ
पाठ्यक्रम
कोर्स रूपरेखा
1
LLM एप्लिकेशन मूल्यांकन
मूल्यांकन के बुनियादी सिद्धांत
आप व्यापक AI एप्लीकेशन इवैल्यूएशन सिस्टम डिजाइन करना सीखेंगे जो इवैल्यूएशन डेटासेट्स और विभिन्न इवैल्यूएटर प्रकारों — एल्गोरिद्मिक मैचिंग से लेकर LLM-as-judge दृष्टिकोणों तक — का उपयोग करके accuracy, cost और latency आयामों पर परफॉरमेंस को मापते हैं — जिससे आप सफलता के मानदंड पहले ही निर्धारित कर सकेंगे और रिलीज के लिए तैयार एप्लीकेशन्स की दिशा में अपनी प्रगति को माप सकेंगे।
मूल्यांकन कार्यान्वयन
आप LangSmith का उपयोग करके dataset creation, evaluator definition, और experiment execution के लिए व्यावहारिक रूप से evaluation systems को लागू करना सीखेंगे — जिसमें objective comparisons के लिए algorithmic evaluators, subjective assessments के लिए LLM-as-judge evaluators, और comprehensive quality analysis के लिए multi-metric evaluators बनाना शामिल है।
वार्तालाप मूल्यांकन
आप क्राइटेरिया-आधारित असेसमेंट के साथ ऑनलाइन इवैल्यूएशन का उपयोग करके कन्वर्सेशनल AI एप्लिकेशन्स का मूल्यांकन करना सीखेंगे — LLM-as-judge इवैल्यूएटर्स के माध्यम से टर्न-लेवल और फुल-कन्वर्सेशन इवैल्यूएशन पैटर्न्स को लागू करते हुए — जिससे आप कोहेरेंस, टास्क कम्पलीटनेस और एफिशिएंसी के आधार पर व्यवस्थित रूप से चैटबॉट क्वालिटी को मापने में सक्षम होंगे।
LLM Application Evaluation with LangSmith
कोर्स
पूरा
