कोर्स
MeetUp एक सोशल मीडिया वेबसाइट है जो सदस्यों को अपने स्थानीय भौगोलिक क्षेत्र में कार्यक्रम आयोजित करने वाली वर्चुअल कम्युनिटीज़ बनाने की अनुमति देती है। MeetUp की अवधारणा नई नहीं है, लेकिन हाल के वर्षों में इसका UI और UX सबसे अधिक नवीन रहा है। किसी समुदाय के लिए दैनिक, साप्ताहिक, मासिक या द्वि-मासिक मिलने वाले कार्यक्रमों के आयोजन के कार्यों को सुव्यवस्थित करना आसान हो गया है।
MeetUp का API उपयोगकर्ताओं को सीधे वेबसाइट से डेटा एकत्र करने की अनुमति देता है। अधिकांश API की तरह, कई डोमेन मालिक इस बात पर सीमा लगाते हैं कि आप कितना डेटा कॉल कर सकते हैं। कुछ डोमेन अपने API के प्रलेखन को बनाए रखने में उत्कृष्ट काम नहीं करते। कुछ इसे यथासंभव उपयोगकर्ता-अनुकूल बनाने में अद्भुत काम करते हैं। MeetUp इन दोनों के बीच कहीं आता है। आप उनके API का उपयोग कई तरीकों से कर सकते हैं।
मैंने MeetUp के API का उपयोग नॉर्थ टेक्सास के डलास-फोर्ट वर्थ क्षेत्र के भीतर तीन अलग-अलग समूहों से डेटा एकत्र करने के लिए किया। MeetUp के डोमेन पर API तक पहुँचने के लिए मैंने Python का उपयोग किया। आपकी सुविधा के अनुसार, C++ या Python किसी वेबसाइट के API का उपयोग करने के लिए पर्याप्त हो सकता है।
यदि आप अभी तक Python से परिचित नहीं हैं, तो हमारे Intro to Python for Data Science कोर्स पर अवश्य नज़र डालें।
इस ट्यूटोरियल में, आप सीखेंगे कि Python का उपयोग करके MeetUp का API कैसे कॉल करें। मैं दिखाऊँगा कि आप किसी समूह का ID कैसे प्राप्त कर सकते हैं, और उस ID को अपने API Key के साथ मिलाकर किसी समूह के डेटा को JSON फ़ॉर्मेट में रिक्वेस्ट कैसे कर सकते हैं। अंत में, मैं प्रदर्शित करूँगा कि आप कैप्चर किए गए डेटा को JSON फ़ाइल में कैसे लिखें जो आपके PC/Mac पर सेव होगी।
आप API Key कैसे प्राप्त करते हैं?
MeetUp की वेबसाइट पर, API key प्राप्त करने के लिए आपका खाता सक्रिय होना आवश्यक है। वेबसाइट पर सभी उपयोगकर्ताओं को एक key दी जाती है। जिनके पास खाता नहीं है, उनके लिए पहला कदम MeetUp पर एक खाता बनाना है। पूरा हो जाने पर आप अपनी API key यहाँ प्राप्त कर सकते हैं।
आप किसी भी समय अपनी key रीसेट करने का विकल्प रखते हैं। यह महत्वपूर्ण है कि आप अपनी API key को गोपनीय रखें।
शुरूआत करें
सबसे पहले, आप उन सभी Python लाइब्रेरियों को इम्पोर्ट करना चाहेंगे जिनका उपयोग आपके साधारण py स्क्रिप्ट में होगा।
import meetup.api
import json
import requests
import time
import codecs
import sys
import io
API इंस्टॉल करना
इस इनपुट को चलाने से पहले सुनिश्चित करें कि meetup.api आपकी मशीन पर इंस्टॉल है। यदि आप UNIX आधारित कमांड प्रॉम्प्ट का उपयोग कर रहे हैं, तो एक साधारण pip इंस्टॉल पर्याप्त है, जैसा कि नीचे दिया गया है:
pip install meetup.api
यदि आप Jupyter Notebooks का उपयोग कर रहे हैं तो आप इस प्रकार लाइब्रेरी इंस्टॉल कर सकते हैं:
!pip install meetup.api
यह Python के लिए MeetUp की API लाइब्रेरी इंस्टॉल कर देगा।
क्योंकि Python एक इंटरप्रेटेटिव भाषा है, इसलिए डिफाइन करना सिंटैक्स में महत्वपूर्ण भूमिका निभाता है। उदाहरण के लिए, client को डिफाइन करके अब आप कोई भी रिक्वेस्ट लिख सकते हैं और केवल client शब्द का उपयोग करके API key को कॉल कर सकते हैं, इसलिए API Key को बार-बार टाइप करने की आवश्यकता नहीं रहती। यह Python में कोडिंग का एक महत्वपूर्ण पहलू है। पहले, आप अपनी API key को client के रूप में इस प्रकार डिफाइन करेंगे:
client = meetup.api.Client('API Key Here')
group_info को डिफाइन करने से आप MeetUp की वेबसाइट पर समूह के नाम के आधार पर समूह का URL खींच सकते हैं।
group_info = client.GetGroup({'urlname': 'Group Name Here No Spaces'})
समूह का ID प्राप्त करना
एक बार यह हो जाने के बाद, आप अब group_info को कॉल कर सकते हैं और इससे कई रिक्वेस्ट कर सकते हैं। लाइन group_info.link टाइप करने पर आउटपुट समूह का पूरा URL पता होगा।
group_info.link
अगली पंक्ति में group_info.id को कॉल करने पर आपको समूह का ID नंबर मिलेगा।
group_info.id
अगले चरण पर आगे बढ़ने के लिए आपको समूह का ID नंबर चाहिए।
रिक्वेस्ट करना
अब आपको अपने समूह का ID नंबर पता है। आप df को डिफाइन करके और अपने group id तथा API key को url में डालकर रिक्वेस्ट खींच सकते हैं। इसे request.get कहा जाता है।
df = requests.get('https://api.meetup.com/2/members?group_id=GROUP_ID&key=API_KEY')
df डिफाइन होने के साथ, अब आप status_code, हेडर्स, एन्कोडिंग कॉल कर सकते हैं, और json को कॉल करके सीधे डेटा देख सकते हैं।
सबसे पहले, आप df.status_code टाइप करेंगे, status_code का आउटपुट होना चाहिए: 200
हेडर्स के लिए आप टाइप करेंगे df.headers['content-type'] हेडर्स का आउटपुट: application/json;charset=utf-8
अपनी एन्कोडिंग जाँचने के लिए टाइप करें df.encoding एन्कोडिंग का आउटपुट: utf-8
इस बिंदु पर, df के रूप में डिफाइन किया गया आपका डेटा मौजूद है। उसे इनलाइन देखने के लिए टाइप करें df.json()
डेटा को JSON फ़ाइल में लिखना
इस समय आपके पास डेटा है। अगला कदम यह है कि आप डेटा को एक json फ़ाइल में लिखें जो आपके PC/MAC पर सेव हो जाए। यह एक महत्वपूर्ण कदम है। आपके पास डेटा है, लेकिन वह आपके लोकल हार्ड-ड्राइव पर सेव नहीं है। आप डेटा को फ़ाइल में लिखने के लिए निम्नलिखित कोड का उपयोग कर सकते हैं।
try:
to_unicode = unicode
except NameError:
to_unicode = str
with io.open('df.json', 'w', encoding='utf8') as outfile:
str_ = json.dumps(data,
indent=4, sort_keys=True,
separators=(',', ': '), ensure_ascii=False)
outfile.write(to_unicode(str_))
इसे चलाने से पहले, import io चलाकर io लाइब्रेरी इम्पोर्ट करें।
जैसे ही आप इस कोड को चलाते हैं, यह MeetUp के API का उपयोग करके की गई आपकी Request से डेटा को JSON फ़ाइल में लिख देगा, जो आपके हार्ड-ड्राइव डायरेक्टरी में सेव होगी। विशेष रूप से उसी डायरेक्टरी में जहाँ आपकी .ipynb या .py फ़ाइल है जिसका आप उपयोग कर रहे हैं।
यदि आप Jupyter Notebook का उपयोग कर रहे हैं, तो यदि आप Jupyter Notebook में अपनी डायरेक्टरी को last modified के क्रम में व्यवस्थित करते हैं, तो आपको यह तुरंत मिल जाना चाहिए। भविष्य में उपयोग के लिए इसे अधिक सुविधाजनक स्थान पर सेव करने के लिए स्वतंत्र महसूस करें।
JSON फ़ाइल के क्या उपयोग हैं? JSON फ़ाइल में वह डेटा होता है जिसे आपने MeetUp के API का उपयोग करके खींचा है। आप इस डेटा का विभिन्न तरीकों से उपयोग कर सकते हैं। यदि डेटा में मान गायब हैं, तो आप Python का उपयोग करके डेटा को साफ कर सकते हैं। आप एक डेटासेट बना सकते हैं और डेटा विश्लेषण में संलग्न होने के लिए कई तकनीकों को लागू कर सकते हैं। या आप डेटा का विज़ुअलाइज़ेशन कर सकते हैं और डैशबोर्ड तथा ग्राफ़ बना सकते हैं जो डेटासेट के भीतर सहसम्बंध दिखाते हैं। अंत में, एक अच्छा डेटासेट भविष्यवाणी मॉडल बनाने के लिए मशीन लर्निंग एल्गोरिदम पर लागू किया जा सकता है। ये कुछ चीजें हैं जिनके लिए आप MeetUp के API से लिखी गई JSON फ़ाइल का उपयोग कर सकते हैं। आपकी एकमात्र सीमा आपकी कल्पना है। निष्कर्षतः, किसी वेबसाइट के API से डेटा खींचना डेटासेट प्राप्त करने के कई तरीकों में से एक है। अंतिम लक्ष्य डेटा विश्लेषण, मॉडलिंग और विज़ुअलाइज़ेशन में डेटासेट का अच्छे से उपयोग करना है।
निष्कर्ष
सारांश के रूप में, MeetUp के API का उपयोग करके डेटा खींचने में कई चरण शामिल होते हैं। पहला चरण है अपनी API Key को ढूँढना और पहचानना, अगला चरण है इच्छित समूह का ID प्राप्त करना। इस जानकारी के साथ आप किसी भी समूह से डेटा खींच सकते हैं। एक बार pull request हो जाने के बाद, आपको उसे JSON फ़ाइल में लिखना होगा। API को एक टूल के रूप में उपयोग करना डेटा एकत्र करने का एक उपयोगी और किफायती तरीका है। आप ऐसा डेटा एकत्र कर रहे हैं जिसके साथ आप भविष्य की परियोजनाओं पर काम कर सकते हैं। किसी वेबसाइट के API का उपयोग अक्सर अन्य तरीकों, जैसे डेटा स्क्रैपिंग, की तुलना में सबसे कम हस्तक्षेप वाला तरीका होता है। एक बार आपके पास JSON फ़ाइल हो जाने पर, इसके साथ अभी भी काम बाकी रहता है। आपको डेटा को साफ करना होगा। एक शुरुआती के रूप में आपको डेटा साफ करने की अवधारणा समझनी होगी। डेटा की सफाई वह प्रक्रिया है जिसमें आप डेटासेट को इस तरह व्यवस्थित करते हैं कि उसकी कॉलम और पंक्तियों में कुछ भी गायब न हो। आप गुम संख्यात्मक डेटा और श्रेणीय डेटा (नाम, स्थान आदि) पर नज़र डालेंगे। अब आपके पास MeetUp के API से डेटा खींचना शुरू करने के लिए उपकरण मौजूद हैं।
API से अनुरोधित डेटा के साथ काम करना शुरू करने से पहले, आपको डेटा को साफ करना होगा। यदि आप सीखना चाहते हैं कि यह कैसे करना है, तो हमारा Cleaning Data in Python कोर्स ज़रूर लें।
किसी वेबसाइट के API का उपयोग करते समय, कृपया API के उपयोग पर लगाए गए प्रतिबंधों से अवगत रहें। डोमेन मालिक ये नियम स्वयं तय करते हैं। आत्म-जागरूक रहें और सजगता से काम लें।
हमारा Beginner's Guide to Google's Vision API in Python ट्यूटोरियल देखें।