पिछले कुछ वर्षों में, संगठनों में AI के उपयोग और प्रभावशीलता में उल्लेखनीय वृद्धि हुई है। इसके अनुप्रयोग भविष्यवाणी विश्लेषण से लेकर, जो व्यापार संचालन को अधिक कुशल और सटीक बनाता है, मशीन विज़न तक हैं जो दुनिया के साथ सीधे संपर्क में आता है, और नैचुरल लैंग्वेज प्रोसेसिंग (NLP) तक जो भाषा के जरिए तकनीक के साथ अधिक प्रभावी संवाद सक्षम करता है। Accenture की रिपोर्ट है कि सर्वेक्षित 84% अधिकारी मानते हैं कि अपने विकास लक्ष्यों को हासिल करने के लिए उन्हें AI का लाभ उठाने की आवश्यकता है।
इस अपेक्षाकृत नई और परिपक्व होती तकनीक की तेज़ी से वृद्धि के साथ काफी जिम्मेदारी और नैतिक चिंताएं भी आती हैं। Capgemini ने पाया कि 70% ग्राहक अपनी AI अंतःक्रियाओं में पारदर्शिता और निष्पक्षता की अपेक्षा करते हैं। साथ ही, नियामक भी AI की पारदर्शिता और निष्पक्षता पर नियम कड़े करने लगे हैं। यूरोपीय संघ ने हाल ही में AI विनियमों का एक सेट जारी किया है जिसका उद्देश्य AI प्रणालियों के हानिकारक प्रभावों को कम करना है, और FTC ने पक्षपाती एल्गोरिदम बेचने वाली कंपनियों के खिलाफ कार्रवाई की योजना की घोषणा की है (MIT Tech Review).
नैतिक चिंताओं में यह वृद्धि वाजिब है और उन AI उपयोग मामलों से प्रेरित है जो बढ़ते हुए स्वास्थ्य देखभाल, न्यायिक प्रणाली और वित्त जैसे अत्यंत संवेदनशील क्षेत्रों में शामिल हैं। संभावित नैतिक जोखिमों की समुचित समझ और ट्यूनिंग के बिना, AI ऐतिहासिक पक्षपात और भेदभाव को दोहराने और बढ़ाने का कारण बन सकता है। उदाहरण के तौर पर, ProPublica ने COMPAS एल्गोरिदम की जांच की जो अपराधियों के पुनः अपराध करने की संभावना का अनुमान लगाकर सजा निर्धारण में सहायक था। उन्होंने पाया कि अश्वेत अभियुक्तों को गलत-सकारात्मक सिफारिशें मिलने की संभावना काफी अधिक थी, जो यह सुझाती थीं कि वे दोबारा अपराध करेंगे जबकि वे नहीं करते; वहीं श्वेत अभियुक्तों को गलत-नकारात्मक सिफारिशें मिलने की संभावना अधिक थी, जो यह सुझाती थीं कि वे दोबारा अपराध नहीं करेंगे।
इसी तरह, OpenAI का GPT-3 NLP ट्रांसफॉर्मर मॉडल, जिसमें 175 बिलियन पैरामीटर हैं, ने धर्म से जुड़े वाक्य जनरेट करने में उल्लेखनीय पक्षपात दिखाया है। इस मॉडल ने अन्य समूहों, जैसे लिंग और नस्ल, के प्रति भी पक्षपात दिखाया है, जिसकी चर्चा मूल शोधपत्र में की गई है।
जैसे-जैसे AI सर्वव्यापी होता जा रहा है, AI का जिम्मेदार उपयोग सुनिश्चित करना अत्यंत महत्वपूर्ण है। यदि हमें इन प्रणालियों पर महत्वपूर्ण और संवेदनशील निर्णयों के लिए भरोसा करना है, तो इनमें पक्षपात या ऐतिहासिक रूढ़ियाँ शामिल नहीं होनी चाहिए।
एल्गोरिद्मिक पक्षपात क्या है?
समाचारों में एल्गोरिद्मिक पक्षपात काफी प्रमुखता से आता है, जैसे पुरुषों के पक्ष में लिंग पक्षपात के कारण भर्ती निर्णय, ऑनलाइन विज्ञापन जो नक्शे पर रेडलाइ닝 को दोहराते हैं (आवास भेदभाव), और स्वास्थ्य देखभाल एल्गोरिदम जिनमें नस्लीय पक्षपात शामिल है। ये सभी उदाहरण स्पष्ट रूप से दिखाते हैं कि एक समूह के साथ मॉडल द्वारा दूसरे समूह की तुलना में अलग व्यवहार किया जाता है।
एल्गोरिद्मिक पक्षपात को औपचारिक रूप से परिभाषित करने के लिए कई मीट्रिक मौजूद हैं। बुनियादी परिभाषा यह है कि एक एल्गोरिदम डेटा में समूहों के साथ अलग व्यवहार करता है। जिन समूहों की हमें चिंता है, जैसे नस्ल, लिंग, धर्म, और गर्भावस्था या वेटरन का दर्जा, इन्हें संरक्षित या संवेदनशील विशेषताएं कहा जाता है। किसी एल्गोरिदम का विश्लेषण करते समय, यह समझना आवश्यक है कि मॉडल के हानिकारक प्रभावों के प्रति कौन से समूह संभावित रूप से सबसे अधिक संवेदनशील हैं।
किसी एल्गोरिदम के पक्षपात और निष्पक्षता को निर्धारित करने के लिए दो श्रेणियों के मीट्रिक होते हैं: प्रतिनिधित्व-आधारित निष्पक्षता और त्रुटि-आधारित निष्पक्षता।
प्रतिनिधित्व-आधारित निष्पक्षता
ये मीट्रिक अलग-अलग समूहों के लिए मॉडल के परिणामों का आकलन करते हैं। उदाहरण के लिए, ये मीट्रिक यह देख सकते हैं कि किसी भर्ती एल्गोरिदम में इंटरव्यू के लिए कॉल-बैक पाने वाले पुरुषों और महिलाओं का अनुपात क्या है।
त्रुटि-आधारित निष्पक्षता
त्रुटि-आधारित निष्पक्षता मीट्रिक प्रत्येक समूह के लिए की गई त्रुटि दरों के अनुपात के अंतर का निरीक्षण करते हैं। उदाहरण के लिए, ऊपर वर्णित COMPAS एल्गोरिदम पक्षपात में, अश्वेत अभियुक्तों के लिए गलत-सकारात्मक दर अन्य समूहों की तुलना में काफी अधिक थी, और श्वेत अभियुक्तों के लिए गलत-नकारात्मक दर काफी कम थी।
एल्गोरिद्मिक पक्षपात के कारण
किसी एल्गोरिदम में पक्षपात का कारण उसका आधारभूत डेटा होता है। सरल मॉडल जैसे लीनियर रिग्रेशन और अधिक जटिल ट्रांसफॉर्मर मॉडल अपने आप में पक्षपाती नहीं होते; वे उन्हें दिए गए डेटा के आधार पर आउटपुट उत्पन्न करते हैं। नीचे डेटा में पक्षपात के पांच कारण दिए गए हैं।
- तिरछा डेटासेट: किसी डेटासेट में प्रत्येक समूह के लिए डेटा का अनुपात या प्रशिक्षण उदाहरण अलग-अलग हो सकते हैं, जिससे पक्षपाती मॉडल आउटपुट आ सकते हैं।
- दूषित उदाहरण: डेटा में अविश्वसनीय लेबल हो सकते हैं या डेटा में ऐतिहासिक पक्षपात मौजूद हो सकता है।
- सीमित फीचर्स: एकत्रित फीचर्स खराब डेटा संग्रह प्रथाओं के कारण कुछ समूहों के लिए अविश्वसनीय या अल्प-सूचनात्मक हो सकते हैं।
- नमूना आकार: AI एल्गोरिदम छोटे डेटासेट के साथ अच्छा प्रदर्शन करने में संघर्ष करते हैं।
- प्रॉक्सी फीचर्स: कुछ फीचर्स संरक्षित चर के बारे में जानकारी लीक कर सकते हैं, भले ही संरक्षित चर डेटा में शामिल न हो। शोध से पता चला है कि ज़िप कोड, खेल गतिविधि, और जिस विश्वविद्यालय में किसी ने पढ़ाई की है, जैसे चर, मॉडल को संरक्षित चर के बारे में परोक्ष रूप से सूचित कर सकते हैं, जिससे एल्गोरिद्मिक पक्षपात हो सकता है।
कौन-सी शमन तकनीकें उपयोग की जा सकती हैं?
अब हमारे पास एल्गोरिद्मिक पक्षपात क्या है और इसके कारण क्या हैं, इसकी एक औपचारिक समझ है। एल्गोरिद्मिक पक्षपात को कम करने के दो संभावित मार्ग हैं: तकनीकी तकनीकें और AI गवर्नेंस। संभवतः इन दोनों तकनीकों का संयोजन किसी एल्गोरिदम में पक्षपात की मौजूदगी को कम करने में सर्वोत्तम परिणाम देगा।
तकनीकी शमन तकनीकें
तकनीकी तकनीकों के भीतर, तीन दृष्टिकोण हैं: प्री-प्रोसेसिंग तकनीकें जो प्रशिक्षण से पहले मूल डेटा में पक्षपात कम करती हैं, इन-प्रोसेसिंग विधियां जो मॉडल प्रशिक्षण के दौरान पक्षपात कम करती हैं, और पोस्ट-प्रोसेसिंग एल्गोरिदम जो भविष्यवाणियों को संशोधित करके पक्षपात कम करते हैं।
यह शोधपत्र प्रस्तावना में साहित्य में उपयोग की जाने वाली चार सामान्य प्री-प्रोसेसिंग तकनीकों का वर्णन करता है:
- सप्रेशन: उस चर को हटाना जो किसी संवेदनशील चर से सबसे अधिक सहसम्बद्ध हो
- मसाजिंग: इनपुट डेटा से भेदभाव हटाने के लिए रैंकर का उपयोग कर डेटा में कुछ ऑब्जर्वेशनों को कुशलता से पुनः-लेबल करना
- रीवेटिंग: प्रशिक्षण डेटा में प्रत्येक ट्यूपल को ऐसे वज़न सौंपना जिससे भेदभाव हटाया जा सके
- सैंपलिंग: प्रत्येक समूह से सैंपल लेकर प्रत्येक समूह का अधिक संतुलित प्रतिनिधित्व प्राप्त करना, या तो यूनिफॉर्म सैंपलिंग से या वरीयतापूर्ण सैंपलिंग से, जिसमें ऑब्जर्वेशन डुप्लिकेट या स्किप किए जा सकते हैं।
अन्य तकनीकें जैसे इस शोधपत्र की प्रायिकतात्मक रूपरेखा और यह शोधपत्र, जो दो “मरम्मत प्रक्रियाओं” का वर्णन करता है, प्री-प्रोसेसिंग चरण में पक्षपात हटाने के अच्छे तरीके प्रदान करते हैं।
इन-प्रोसेसिंग तकनीकें प्रशिक्षण के दौरान पक्षपात हटाने पर केंद्रित होती हैं। ये तकनीकें आमतौर पर निष्पक्षता बाधाओं को शामिल करती हैं जो अनुकूलन समस्या को प्रभावित करती हैं और अधिक निष्पक्ष परिणामों की ओर ले जाती हैं। इन-प्रोसेस विधियों पर चर्चा करने वाले उदाहरणों में निष्पक्षता बाधाओं पर शोध और निष्पक्षता-सचेत वर्गीकरण पर अध्ययन शामिल हैं।
अंत में, पोस्ट-प्रोसेसिंग एल्गोरिदम मॉडल आउटपुट को संशोधित करके पक्षपात कम करते हैं। ये एल्गोरिदम या तो Pleiss et al. और Hardt et al. में दिखाए अनुसार, विशेषाधिकार प्राप्त या गैर-विशेषाधिकार प्राप्त समूहों के लिए भविष्यवाणियां बदल सकते हैं, या जब किसी एल्गोरिदम का आउटपुट निर्णय सीमा के पास हो (जहां वह परिणाम को लेकर कम सुनिश्चित हो) तब पक्षपात कम कर सकते हैं, जैसा कि इस निर्णय सिद्धांत पर शोधपत्र में दिखाया गया है।
इनमें से किसी भी तकनीक के लिए, सभी संबंधित हितधारकों के साथ सटीकता में समझौतों और आधारभूत डेटा या मॉडल परिणामों को बदलने से उठने वाले जोखिमों पर चर्चा करना आवश्यक है। ये तकनीकें ऐसे परिणामों की भविष्यवाणी करा सकती हैं जो ऐतिहासिक रूप से नहीं देखे गए हैं या डेटा में मौजूद नहीं हैं।
गवर्नेंस और जवाबदेही
संगठनों में AI के उपयोग के बहुत लाभ हैं। हालांकि, जैसा कि इस ब्लॉग पोस्ट में देखा गया, AI प्रणालियों से उत्पन्न नैतिक जोखिम संगठनात्मक जोखिमों, जैसे साख को नुकसान, की ओर ले जाते हैं, जो अंततः राजस्व हानि का कारण बनते हैं। कोई भी फर्म यह सुर्खियां नहीं देखना चाहेगी कि उन्होंने पक्षपाती एल्गोरिदम का उपयोग करके ऐसे व्यावसायिक निर्णय लिए जिन्होंने ग्राहकों या कर्मचारियों के किसी समूह पर नकारात्मक असर डाला।
समुचित AI गवर्नेंस व्यापक जोखिम प्रबंधन के माध्यम से की जाती है। AI निर्णय के विशिष्ट उपयोग मामले और प्रत्येक हितधारक के लिए संबंधित प्रभाव आकलन की पहचान करना आवश्यक है। उपयोग मामले से जुड़े संभावित मौद्रिक और मानवीय जोखिमों को समझना महत्वपूर्ण है। एक बार जब प्रत्येक जोखिम की परिमाण का प्रत्येक हितधारक के लिए सटीक आकलन हो जाए, तो इन दुष्परिणामों की संभावना की गणना की जानी चाहिए।
AI गवर्नेंस की सर्वश्रेष्ठ प्रथाओं में हितधारकों के लिए व्यापक चेकलिस्ट, स्वचालित और मैनुअल परीक्षण, व्यावसायिक मानकों के अनुपालन का परीक्षण, विस्तृत रिपोर्ट, और उन व्यक्तियों व समूहों के वक्तव्य शामिल हैं जो मॉडल के लिए सीधे जिम्मेदार हैं। अधिक विवरण के लिए हमारा श्वेतपत्र अवश्य डाउनलोड करें।
जिम्मेदार AI डेटा साक्षरता पर निर्भर है
संगठनों में जिम्मेदार AI को स्केल करने के लिए संगठन के भीतर डेटा साक्षरता का विकास आवश्यक है। सफल AI गवर्नेंस में कई हितधारक शामिल होते हैं जो एकल रूपरेखा को अपनाते हैं। परियोजनाओं के दायरे, उनके परिनियोजन और गवर्नेंस के तरीके, तथा उनके प्रभाव और संभावित जोखिमों को समझना सभी संबंधित हितधारकों के लिए जिम्मेदार AI की एक आवश्यकता है। Accenture का तर्क है कि डेटा साक्षरता भरोसा बनाती है और विविध दृष्टिकोणों को शामिल करके जिम्मेदार AI की अनुमति देती है, जो लगातार बेहतर परिणामों की ओर ले जाती है।
किसी संगठन में आधारभूत डेटा साक्षरता बढ़ाने से, वे विषय-वस्तु विशेषज्ञ जो AI प्रणालियों के साथ लगातार काम नहीं करते, अपनी विशेषज्ञता इन प्रणालियों में शामिल कर सकते हैं और तकनीकी हितधारकों के साथ अधिक प्रभावी ढंग से संवाद कर सकते हैं। यह बेहतर संवाद सभी हितधारकों के लिए संगठन भर में अधिक भरोसे की ओर ले जाता है।
किसी संगठन में जिम्मेदार AI को बढ़ावा देने के लिए डेटा साक्षरता के महत्वपूर्ण पहलुओं में निम्न क्षेत्रों की समझ शामिल है: डेटा साइंस और मशीन लर्निंग का कार्य प्रवाह, अलग-अलग डेटा भूमिकाएं, किसी संगठन में डेटा का प्रवाह, विभिन्न प्रकार की AI प्रणालियों के बीच अंतर, और मशीन लर्निंग मॉडलों के मूल्यांकन मीट्रिक।
जिम्मेदार AI को स्केल करने के लिए आधारभूत डेटा साक्षरता बढ़ाएं
किसी संगठन में सभी हितधारकों को प्रशिक्षित करना जिम्मेदार AI को बढ़ावा देने के लिए आवश्यक है। एल्गोरिद्मिक पक्षपात से जुड़े जोखिमों से बचना आवश्यक है ताकि कोई संगठन व्यावसायिक संदर्भों में AI का लाभ उठाने के अनेक फायदों का सफलतापूर्वक उपयोग कर सके। डेटा साक्षरता हितधारकों के बीच सफल संवाद, संगठन के भीतर भरोसा, और जिम्मेदार AI के लिए विविध समाधानों की खोज की कुंजी है। EU अपने Skills Agenda पर €1.1 ट्रिलियन आवंटित कर रहा है, जिसमें नियामकों के लिए AI कौशल और डेटा साक्षरता पर विशेष जोर है, जो संगठनों में इन उपकरणों के महत्व को दर्शाता है। कई कार्यक्रम डेटा साक्षरता की बुनियाद सिखाते हैं। यह जानने के लिए कि डेटा साक्षरता कैसे जिम्मेदार AI को गति दे सकती है — हमारा नवीनतम श्वेतपत्र देखें।
