नेम्ड एंटिटी रिकग्निशन (NER) नैचुरल लैंग्वेज प्रोसेसिंग (NLP) में सूचना निष्कर्षण का एक उप-कार्य है, जो नामित इकाइयों को पूर्वनिर्धारित श्रेणियों—जैसे व्यक्ति के नाम, संगठन, स्थान, चिकित्सीय कोड, समय अभिव्यक्तियाँ, मात्राएँ, मौद्रिक मूल्य इत्यादि—में वर्गीकृत करता है। NLP के दायरे में, इन इकाइयों को समझना कई अनुप्रयोगों के लिए महत्त्वपूर्ण है, क्योंकि किसी पाठ में अक्सर सबसे महत्वपूर्ण जानकारी इन्हीं में निहित होती है।
नेम्ड एंटिटी रिकग्निशन समझाया गया
नेम्ड एंटिटी रिकग्निशन (NER) असंरचित पाठ और संरचित डेटा के बीच एक सेतु का काम करता है, जिससे मशीनें विशाल पाठ्य सामग्री में से छानकर वर्गीकृत रूप में मूल्यवान डेटा निकाल सकें। शब्दों के समंदर में विशिष्ट इकाइयों को चिन्हित करके, NER इस बात को बदल देता है कि हम पाठ्य डेटा को कैसे संसाधित और उपयोग करते हैं।
उद्देश्य: NER का प्राथमिक लक्ष्य असंरचित पाठ को खंगालकर विशिष्ट हिस्सों की पहचान करना और उन्हें नामित इकाइयों के रूप में पूर्वनिर्धारित श्रेणियों में वर्गीकृत करना है। कच्चे पाठ को संरचित जानकारी में बदलने से डेटा अधिक क्रियाशील बनता है और डेटा विश्लेषण, सूचना पुनर्प्राप्ति, तथा नॉलेज ग्राफ निर्माण जैसे कार्यों को सुगम बनाता है।
यह कैसे काम करता है: NER की बारीकियों को कई चरणों में बाँटा जा सकता है:
- टोकनाइज़ेशन। इकाइयों की पहचान से पहले, पाठ को टोकन में विभाजित किया जाता है, जो शब्द, वाक्यांश, या वाक्य भी हो सकते हैं। उदाहरण के लिए, "Steve Jobs co-founded Apple" को "Steve", "Jobs", "co-founded", "Apple" जैसे टोकन में बाँटा जाएगा।
- इकाई पहचान। विभिन्न भाषाई नियमों या सांख्यिकीय तरीकों का उपयोग करके संभावित नामित इकाइयों का पता लगाया जाता है। इसमें पैटर्न पहचानना शामिल है, जैसे नामों में बड़े अक्षर ("Steve Jobs") या विशिष्ट स्वरूप (जैसे तिथियाँ)।
- इकाई वर्गीकरण। इकाइयों की पहचान के बाद, उन्हें "Person", "Organization" या "Location" जैसी पूर्वनिर्धारित श्रेणियों में वर्गीकृत किया जाता है। यह अक्सर लेबल किए गए डाटासेट पर प्रशिक्षित मशीन लर्निंग मॉडलों से हासिल किया जाता है। हमारे उदाहरण में, "Steve Jobs" को "Person" और "Apple" को "Organization" के रूप में वर्गीकृत किया जाएगा।
- प्रासंगिक विश्लेषण। सटीकता बढ़ाने के लिए NER सिस्टम अक्सर आस-पास के संदर्भ पर विचार करते हैं। उदाहरण के लिए, वाक्य "Apple released a new iPhone" में संदर्भ प्रणाली को यह पहचानने में मदद करता है कि "Apple" फल नहीं बल्कि एक संगठन है।
- पोस्ट-प्रोसेसिंग। प्रारंभिक पहचान और वर्गीकरण के बाद, परिणामों को परिष्कृत करने के लिए पोस्ट-प्रोसेसिंग की जा सकती है। इसमें अस्पष्टताओं का समाधान, बहु-टोकन इकाइयों का सम्मिलन, या नॉलेज बेस का उपयोग करके इकाई डेटा को समृद्ध करना शामिल हो सकता है।
NER की खूबी इसकी यह क्षमता है कि यह असंरचित पाठ को समझ और व्याख्यायित कर सकता है—जो डिजिटल दुनिया के डेटा का एक बड़ा हिस्सा है, जैसे वेब पेज, समाचार लेख, सोशल मीडिया पोस्ट और शोध पत्र। नामित इकाइयों की पहचान और वर्गीकरण करके, NER इस विशाल पाठ्य परिदृश्य में संरचना और अर्थ की एक परत जोड़ता है।
नेम्ड एंटिटी रिकग्निशन के तरीक़े
नेम्ड एंटिटी रिकग्निशन (NER) के लिए वर्षों में कई तरीक़े विकसित हुए हैं, जिनमें से प्रत्येक को विशाल पाठ्य परिदृश्यों से नामित इकाइयों को निकालने और वर्गीकृत करने की अनूठी चुनौतियों से निपटने के लिए तैयार किया गया है।
रूल-आधारित तरीक़े
रूल-आधारित तरीक़े मैन्युअल रूप से बनाए गए नियमों पर आधारित होते हैं। वे भाषाई पैटर्न, रेगुलर एक्सप्रेशन, या शब्दकोशों के आधार पर नामित इकाइयों की पहचान और वर्गीकरण करते हैं। ये उन विशिष्ट डोमेन में उत्कृष्ट रहते हैं जहाँ इकाइयाँ अच्छी तरह परिभाषित होती हैं, जैसे क्लीनिकल नोट्स से मानक चिकित्सीय शब्द निकालना, पर इनकी स्केलेबिलिटी सीमित होती है। पूर्वनिर्धारित नियमों की कठोरता के कारण वे बड़े या विविध डाटासेट्स के साथ जूझ सकते हैं।
सांख्यिकीय तरीक़े
मैन्युअल नियमों से आगे बढ़ते हुए, सांख्यिकीय तरीक़े Hidden Markov Models (HMM) या Conditional Random Fields (CRF) जैसे मॉडलों का उपयोग करते हैं। ये प्रशिक्षण डेटा से व्युत्पन्न संभावनाओं के आधार पर नामित इकाइयों की भविष्यवाणी करते हैं। जहाँ पर्याप्त लेबल वाला डेटा उपलब्ध हो, वहाँ ये उपयुक्त हैं। इनकी ताकत विविध पाठों में सामान्यीकरण करने में है, परन्तु इनका प्रदर्शन उतना ही अच्छा होता है जितना अच्छा प्रशिक्षण डेटा।
मशीन लर्निंग तरीक़े
मशीन लर्निंग तरीक़े इसे एक कदम आगे ले जाते हैं और decision trees या support vector machines जैसे एल्गोरिद्म उपयोग करते हैं। ये लेबल किए गए डेटा से सीखकर नामित इकाइयों की भविष्यवाणी करते हैं। आधुनिक NER सिस्टमों में इनका व्यापक अपनाव बड़ी डाटासेट्स और जटिल पैटर्न संभालने की क्षमता के कारण है। हालाँकि, इन्हें बड़े पैमाने पर लेबल वाले डेटा की आवश्यकता होती है और ये संगणकीय रूप से मांगलिक हो सकते हैं।
डीप लर्निंग तरीक़े
सबसे नवीन तरीक़े डीप लर्निंग पर आधारित हैं, जो न्यूरल नेटवर्क्स की शक्ति का लाभ उठाते हैं। Recurrent Neural Networks (RNN) और transformers लंबे संदर्भ-निर्भरताओं को मॉडल करने की क्षमता के कारण लोकप्रिय हो चुके हैं। ये प्रचुर प्रशिक्षण डेटा वाले बड़े पैमाने के कार्यों के लिए आदर्श हैं, लेकिन इनके लिए पर्याप्त संगणकीय संसाधनों की भी ज़रूरत होती है।
हाइब्रिड तरीक़े
अंततः, NER में एक ही समाधान सब पर लागू नहीं होता, इसलिए हाइब्रिड तरीक़ों का उदय हुआ है। ये तकनीकें रूल-आधारित, सांख्यिकीय और मशीन लर्निंग तरीक़ों को मिलाती हैं ताकि सभी दुनियाओं के सर्वश्रेष्ठ पहलुओं को समेटा जा सके। विविध स्रोतों से इकाइयाँ निकालते समय ये विशेष रूप से उपयोगी हैं, क्योंकि ये अनेक तरीक़ों की लचीलेपन देती हैं। हालाँकि, इनकी अंतर्संबद्ध प्रकृति इन्हें लागू करने और बनाए रखने में जटिल बना सकती है।
नेम्ड एंटिटी रिकग्निशन के उपयोग के मामले
NER ने विभिन्न क्षेत्रों में उपयोग पाया है, जिससे हम जानकारी निकालने और उपयोग करने के तरीक़ों को बदल रहे हैं। इसके कुछ प्रमुख अनुप्रयोगों की एक झलक:
- समाचार एकत्रीकरण। NER का उपयोग समाचार लेखों को प्रमुख उल्लिखित इकाइयों के आधार पर वर्गीकृत करने में किया जाता है। यह वर्गीकरण पाठकों को विशिष्ट लोगों, स्थानों या संगठनों से जुड़े समाचारों तक शीघ्रता से पहुँचने में मदद करता है और समाचार उपभोग को सरल बनाता है।
- ग्राहक सहायता। ग्राहक प्रश्नों का विश्लेषण NER से अधिक कुशल हो जाता है। कंपनियाँ विशिष्ट उत्पादों या सेवाओं से संबंधित आम समस्याओं को जल्दी से चिन्हित कर सकती हैं, जिससे शिकायतों का त्वरित और प्रभावी समाधान संभव होता है।
- अनुसंधान। शिक्षाविदों और शोधकर्ताओं के लिए NER वरदान है। यह उन्हें विशाल मात्रा के पाठ में उनके अध्ययन से संबंधित विशिष्ट इकाइयों के उल्लेख खोजने देता है। यह स्वचालित निष्कर्षण शोध प्रक्रिया को तेज करता है और व्यापक डेटा विश्लेषण सुनिश्चित करता है।
- कानूनी दस्तावेज़ विश्लेषण। कानूनी क्षेत्र में, लंबे दस्तावेज़ों में नाम, तिथियाँ या स्थान जैसी प्रासंगिक इकाइयाँ ढूँढना श्रमसाध्य हो सकता है। NER इसे स्वचालित कर देता है, जिससे कानूनी शोध और विश्लेषण अधिक कुशल हो जाता है।
नेम्ड एंटिटी रिकग्निशन की चुनौतियाँ
असंरचित डेटा से संरचित अंतर्दृष्टियों का वादा करने के बावजूद, नेम्ड एंटिटी रिकग्निशन (NER) के क्षेत्र में अपनी चुनौतियाँ हैं। इस डोमेन की कुछ प्रमुख बाधाएँ इस प्रकार हैं:
- अस्पष्टता। शब्द भ्रामक हो सकते हैं। "Amazon" जैसे शब्द का अर्थ संदर्भ के आधार पर नदी भी हो सकता है और कंपनी भी, जिससे इकाई पहचान कठिन हो जाती है।
- संदर्भ-निर्भरता। शब्द अक्सर अपने आस-पास के पाठ से अर्थ ग्रहण करते हैं। टेक लेख में "Apple" संभवतः कंपनी को दर्शाता है, जबकि रेसिपी में वह फल होगा। ऐसी बारीकियाँ समझना सटीक इकाई पहचान के लिए आवश्यक है।
- भाषाई विविधताएँ। मानव भाषा का रंग-बिरंगा ताना-बाना—स्लैंग, बोलियाँ, क्षेत्रीय विविधताएँ—चुनौतियाँ खड़ी कर सकता है। जो एक क्षेत्र में सामान्य बोलचाल है, वह दूसरे में अनजाना हो सकता है, जिससे NER जटिल हो जाता है।
- डेटा विरलता। मशीन लर्निंग-आधारित NER तरीक़ों के लिए व्यापक लेबल वाले डेटा की उपलब्धता अहम है। हालाँकि, विशेषकर कम प्रचलित भाषाओं या विशिष्ट डोमेनों के लिए ऐसा डेटा प्राप्त करना चुनौतीपूर्ण हो सकता है।
- मॉडल सामान्यीकरण। कोई मॉडल एक डोमेन में इकाइयों को पहचानने में उत्कृष्ट हो सकता है, पर दूसरे में चूक सकता है। विभिन्न डोमेनों में NER मॉडलों का अच्छा सामान्यीकरण सुनिश्चित करना एक निरंतर चुनौती है।
इन चुनौतियों का समाधान भाषाई विशेषज्ञता, उन्नत एल्गोरिद्म, और गुणवत्तापूर्ण डेटा के समन्वय से संभव है। जैसे-जैसे NER विकसित होता रहेगा, इन बाधाओं से पार पाने हेतु तकनीकों का परिष्कार अनुसंधान और विकास के केंद्र में रहेगा।
NER का उपयोग करके रेज़्यूमे विश्लेषण बनाना
इस अनुभाग में, हम ऐसा सिस्टम बनाना सीखेंगे जो रेज़्यूमे का विश्लेषण करके हायरिंग मैनेजरों को कौशल और गुणों के आधार पर उम्मीदवारों को फ़िल्टर करने में मदद करे।
आवश्यक पैकेज आयात करना
- इकाई पहचान के लिए, हम spaCy का उपयोग करेंगे।
- विज़ुअलाइज़ेशन के लिए, हम pyLDAvis, wordcloud, plotly, और matplotlib.pyplot का उपयोग करेंगे।
- डेटा लोडिंग और मैनिपुलेशन के लिए, हम pandas और numpy का उपयोग करेंगे।
- स्टॉपवर्ड्स और वर्ड लेम्माटाइज़र के लिए, हम nltk का उपयोग करेंगे।
डेटा और NER मॉडल लोड करना
हम एक CSV फ़ाइल लोड करके शुरू करेंगे जिसमें एक यूनिक ID, रेज़्यूमे टेक्स्ट, और श्रेणी शामिल है। फिर हम spacy का "en_core_web_sm" मॉडल लोड करेंगे।
एंटिटी रूलर
सबसे पहले, हमें अपने मॉडल ऑब्जेक्ट में एक एंटिटी रूलर पाइपलाइन जोड़ने की आवश्यकता है। फिर, हम एक JSON फ़ाइल लोड करके एंटिटी रूलर बना सकते हैं जिसमें लेबल और पैटर्न शामिल हों, जैसे कौशल ".net", "cloud" और "aws"।
पाठ को साफ़ करना
इस अनुभाग में, हम NLTK लाइब्रेरी का उपयोग करके कुछ चरणों का पालन करते हुए अपने डाटासेट को साफ़ करेंगे:
- रेगेक्स का उपयोग करके हाइपरलिंक, विशेष अक्षर, या विराम-चिह्न हटाएँ।
- पाठ को लोअरकेस में बदलें।
- स्पेस के आधार पर पाठ को ऐरे में विभाजित करें।
- सामान्यीकरण के लिए पाठ को उसके मूल रूप में लेम्माटाइज़ करें।
- अंग्रेज़ी स्टॉप वर्ड्स हटाएँ।
- परिणामों को एक ऐरे में संकलित करें।
इकाई पहचान
अपने मॉडल में नया पाइपलाइन जोड़ने के बाद, हम spaCy के डिस्प्ले फ़ंक्शन का उपयोग करके अपने पाठ में नामित इकाइयों का विज़ुअलाइज़ेशन कर सकते हैं। इनपुट टेक्स्ट को भाषा मॉडल से गुजारकर, आप displacy.render(obj, style="ent", jupyter=True, options=options) का उपयोग करके शब्दों को उनके लेबल के साथ हाइलाइट कर सकते हैं।
मैच स्कोर
आइए रेज़्यूमे को कंपनी की आवश्यकताओं से मिलाएँ। सिस्टम समानता स्कोर के आधार पर सबसे मिलते-जुलते रेज़्यूमे दिखाता है। उदाहरण के लिए, यदि कोई कंपनी AWS क्लाउड इंजीनियर ढूँढ रही है, तो यह सबसे प्रासंगिक रेज़्यूमे प्रदर्शित करेगा।
हमें समानता स्कोर कैसे मिलता है?
हमें एक Python फ़ंक्शन बनाना है जो एंटिटी रूलर की मदद से रेज़्यूमे से कौशल निकालता है, उन्हें आवश्यक कौशल से मिलाता है, और समानता स्कोर जनरेट करता है। यह एप्लिकेशन एक साधारण लूप और if-else स्टेटमेंट की आवश्यकता रखता है। हायरिंग मैनेजर इसका उपयोग कई PDF पढ़ने के बजाय कौशल के आधार पर उम्मीदवारों को फ़िल्टर करने के लिए कर सकते हैं।
क्या आप AI और मशीन लर्निंग के बारे में और जानना चाहते हैं? निम्न संसाधन देखें:
नेम्ड एंटिटी रिकग्निशन (NER) नैचुरल लैंग्वेज प्रोसेसिंग (NLP) में सूचना निष्कर्षण का एक उप-कार्य है, जो नामित इकाइयों को पूर्वनिर्धारित श्रेणियों—जैसे व्यक्ति के नाम, संगठन, स्थान, चिकित्सीय कोड, समय अभिव्यक्तियाँ, मात्राएँ, मौद्रिक मूल्य इत्यादि—में वर्गीकृत करता है। NLP के दायरे में, इन इकाइयों को समझना कई अनुप्रयोगों के लिए महत्त्वपूर्ण है, क्योंकि किसी पाठ में अक्सर सबसे महत्वपूर्ण जानकारी इन्हीं में निहित होती है।
नेम्ड एंटिटी रिकग्निशन समझाया गया
नेम्ड एंटिटी रिकग्निशन (NER) असंरचित पाठ और संरचित डेटा के बीच एक सेतु का काम करता है, जिससे मशीनें विशाल पाठ्य सामग्री में से छानकर वर्गीकृत रूप में मूल्यवान डेटा निकाल सकें। शब्दों के समंदर में विशिष्ट इकाइयों को चिन्हित करके, NER इस बात को बदल देता है कि हम पाठ्य डेटा को कैसे संसाधित और उपयोग करते हैं।
उद्देश्य: NER का प्राथमिक लक्ष्य असंरचित पाठ को खंगालकर विशिष्ट हिस्सों की पहचान करना और उन्हें नामित इकाइयों के रूप में पूर्वनिर्धारित श्रेणियों में वर्गीकृत करना है। कच्चे पाठ को संरचित जानकारी में बदलने से डेटा अधिक क्रियाशील बनता है और डेटा विश्लेषण, सूचना पुनर्प्राप्ति, तथा नॉलेज ग्राफ निर्माण जैसे कार्यों को सुगम बनाता है।
यह कैसे काम करता है: NER की बारीकियों को कई चरणों में बाँटा जा सकता है:
NER की खूबी इसकी यह क्षमता है कि यह असंरचित पाठ को समझ और व्याख्यायित कर सकता है—जो डिजिटल दुनिया के डेटा का एक बड़ा हिस्सा है, जैसे वेब पेज, समाचार लेख, सोशल मीडिया पोस्ट और शोध पत्र। नामित इकाइयों की पहचान और वर्गीकरण करके, NER इस विशाल पाठ्य परिदृश्य में संरचना और अर्थ की एक परत जोड़ता है।
नेम्ड एंटिटी रिकग्निशन के तरीक़े
नेम्ड एंटिटी रिकग्निशन (NER) के लिए वर्षों में कई तरीक़े विकसित हुए हैं, जिनमें से प्रत्येक को विशाल पाठ्य परिदृश्यों से नामित इकाइयों को निकालने और वर्गीकृत करने की अनूठी चुनौतियों से निपटने के लिए तैयार किया गया है।
रूल-आधारित तरीक़े
रूल-आधारित तरीक़े मैन्युअल रूप से बनाए गए नियमों पर आधारित होते हैं। वे भाषाई पैटर्न, रेगुलर एक्सप्रेशन, या शब्दकोशों के आधार पर नामित इकाइयों की पहचान और वर्गीकरण करते हैं। ये उन विशिष्ट डोमेन में उत्कृष्ट रहते हैं जहाँ इकाइयाँ अच्छी तरह परिभाषित होती हैं, जैसे क्लीनिकल नोट्स से मानक चिकित्सीय शब्द निकालना, पर इनकी स्केलेबिलिटी सीमित होती है। पूर्वनिर्धारित नियमों की कठोरता के कारण वे बड़े या विविध डाटासेट्स के साथ जूझ सकते हैं।
सांख्यिकीय तरीक़े
मैन्युअल नियमों से आगे बढ़ते हुए, सांख्यिकीय तरीक़े Hidden Markov Models (HMM) या Conditional Random Fields (CRF) जैसे मॉडलों का उपयोग करते हैं। ये प्रशिक्षण डेटा से व्युत्पन्न संभावनाओं के आधार पर नामित इकाइयों की भविष्यवाणी करते हैं। जहाँ पर्याप्त लेबल वाला डेटा उपलब्ध हो, वहाँ ये उपयुक्त हैं। इनकी ताकत विविध पाठों में सामान्यीकरण करने में है, परन्तु इनका प्रदर्शन उतना ही अच्छा होता है जितना अच्छा प्रशिक्षण डेटा।
मशीन लर्निंग तरीक़े
मशीन लर्निंग तरीक़े इसे एक कदम आगे ले जाते हैं और decision trees या support vector machines जैसे एल्गोरिद्म उपयोग करते हैं। ये लेबल किए गए डेटा से सीखकर नामित इकाइयों की भविष्यवाणी करते हैं। आधुनिक NER सिस्टमों में इनका व्यापक अपनाव बड़ी डाटासेट्स और जटिल पैटर्न संभालने की क्षमता के कारण है। हालाँकि, इन्हें बड़े पैमाने पर लेबल वाले डेटा की आवश्यकता होती है और ये संगणकीय रूप से मांगलिक हो सकते हैं।
डीप लर्निंग तरीक़े
सबसे नवीन तरीक़े डीप लर्निंग पर आधारित हैं, जो न्यूरल नेटवर्क्स की शक्ति का लाभ उठाते हैं। Recurrent Neural Networks (RNN) और transformers लंबे संदर्भ-निर्भरताओं को मॉडल करने की क्षमता के कारण लोकप्रिय हो चुके हैं। ये प्रचुर प्रशिक्षण डेटा वाले बड़े पैमाने के कार्यों के लिए आदर्श हैं, लेकिन इनके लिए पर्याप्त संगणकीय संसाधनों की भी ज़रूरत होती है।
हाइब्रिड तरीक़े
अंततः, NER में एक ही समाधान सब पर लागू नहीं होता, इसलिए हाइब्रिड तरीक़ों का उदय हुआ है। ये तकनीकें रूल-आधारित, सांख्यिकीय और मशीन लर्निंग तरीक़ों को मिलाती हैं ताकि सभी दुनियाओं के सर्वश्रेष्ठ पहलुओं को समेटा जा सके। विविध स्रोतों से इकाइयाँ निकालते समय ये विशेष रूप से उपयोगी हैं, क्योंकि ये अनेक तरीक़ों की लचीलेपन देती हैं। हालाँकि, इनकी अंतर्संबद्ध प्रकृति इन्हें लागू करने और बनाए रखने में जटिल बना सकती है।
नेम्ड एंटिटी रिकग्निशन के उपयोग के मामले
NER ने विभिन्न क्षेत्रों में उपयोग पाया है, जिससे हम जानकारी निकालने और उपयोग करने के तरीक़ों को बदल रहे हैं। इसके कुछ प्रमुख अनुप्रयोगों की एक झलक:
नेम्ड एंटिटी रिकग्निशन की चुनौतियाँ
असंरचित डेटा से संरचित अंतर्दृष्टियों का वादा करने के बावजूद, नेम्ड एंटिटी रिकग्निशन (NER) के क्षेत्र में अपनी चुनौतियाँ हैं। इस डोमेन की कुछ प्रमुख बाधाएँ इस प्रकार हैं:
इन चुनौतियों का समाधान भाषाई विशेषज्ञता, उन्नत एल्गोरिद्म, और गुणवत्तापूर्ण डेटा के समन्वय से संभव है। जैसे-जैसे NER विकसित होता रहेगा, इन बाधाओं से पार पाने हेतु तकनीकों का परिष्कार अनुसंधान और विकास के केंद्र में रहेगा।
NER का उपयोग करके रेज़्यूमे विश्लेषण बनाना
इस अनुभाग में, हम ऐसा सिस्टम बनाना सीखेंगे जो रेज़्यूमे का विश्लेषण करके हायरिंग मैनेजरों को कौशल और गुणों के आधार पर उम्मीदवारों को फ़िल्टर करने में मदद करे।
आवश्यक पैकेज आयात करना
डेटा और NER मॉडल लोड करना
हम एक CSV फ़ाइल लोड करके शुरू करेंगे जिसमें एक यूनिक ID, रेज़्यूमे टेक्स्ट, और श्रेणी शामिल है। फिर हम spacy का "en_core_web_sm" मॉडल लोड करेंगे।
एंटिटी रूलर
सबसे पहले, हमें अपने मॉडल ऑब्जेक्ट में एक एंटिटी रूलर पाइपलाइन जोड़ने की आवश्यकता है। फिर, हम एक JSON फ़ाइल लोड करके एंटिटी रूलर बना सकते हैं जिसमें लेबल और पैटर्न शामिल हों, जैसे कौशल ".net", "cloud" और "aws"।
पाठ को साफ़ करना
इस अनुभाग में, हम NLTK लाइब्रेरी का उपयोग करके कुछ चरणों का पालन करते हुए अपने डाटासेट को साफ़ करेंगे:
इकाई पहचान
अपने मॉडल में नया पाइपलाइन जोड़ने के बाद, हम spaCy के डिस्प्ले फ़ंक्शन का उपयोग करके अपने पाठ में नामित इकाइयों का विज़ुअलाइज़ेशन कर सकते हैं। इनपुट टेक्स्ट को भाषा मॉडल से गुजारकर, आप
displacy.render(obj, style="ent", jupyter=True, options=options)का उपयोग करके शब्दों को उनके लेबल के साथ हाइलाइट कर सकते हैं।मैच स्कोर
आइए रेज़्यूमे को कंपनी की आवश्यकताओं से मिलाएँ। सिस्टम समानता स्कोर के आधार पर सबसे मिलते-जुलते रेज़्यूमे दिखाता है। उदाहरण के लिए, यदि कोई कंपनी AWS क्लाउड इंजीनियर ढूँढ रही है, तो यह सबसे प्रासंगिक रेज़्यूमे प्रदर्शित करेगा।
हमें समानता स्कोर कैसे मिलता है?
हमें एक Python फ़ंक्शन बनाना है जो एंटिटी रूलर की मदद से रेज़्यूमे से कौशल निकालता है, उन्हें आवश्यक कौशल से मिलाता है, और समानता स्कोर जनरेट करता है। यह एप्लिकेशन एक साधारण लूप और if-else स्टेटमेंट की आवश्यकता रखता है। हायरिंग मैनेजर इसका उपयोग कई PDF पढ़ने के बजाय कौशल के आधार पर उम्मीदवारों को फ़िल्टर करने के लिए कर सकते हैं।
क्या आप AI और मशीन लर्निंग के बारे में और जानना चाहते हैं? निम्न संसाधन देखें: