Python (और Beautiful Soup) का उपयोग करके वेब स्क्रैपिंग

वेब स्क्रैपिंग वह प्रक्रिया है जिसमें किसी प्रोग्राम या एल्गोरिदम का उपयोग करके वेब से बड़े पैमाने पर डेटा निकाला और प्रोसेस किया जाता है। चाहे आप डेटा साइंटिस्ट हों, इंजीनियर हों, या बड़े डेटासेट का विश्लेषण करने वाले कोई भी पेशेवर हों—वेब से डेटा स्क्रैप करने की क्षमता एक उपयोगी कौशल है। मान लीजिए आपको वेब पर डेटा मिलता है और उसे सीधे डाउनलोड करने का कोई तरीका नहीं है, तो Python का उपयोग करके वेब स्क्रैपिंग ऐसा कौशल है जिसकी मदद से आप डेटा को ऐसे रूप में निकाल सकते हैं जिसे आयात किया जा सके।

इस ट्यूटोरियल में, आप निम्नलिखित सीखेंगे:

• Python के Beautiful Soup मॉड्यूल का उपयोग करके वेब से डेटा निकालना
• Python की Pandas लाइब्रेरी का उपयोग करके डेटा में बदलाव और सफाई
• Python की Matplotlib लाइब्रेरी का उपयोग करके डेटा विज़ुअलाइज़ेशन

इस ट्यूटोरियल में उपयोग किया गया डेटासेट जून 2017 में Hillsboro, OR में आयोजित 10K रेस से लिया गया है। विशेष रूप से, आप 10K धावकों के प्रदर्शन का विश्लेषण करेंगे और निम्नलिखित प्रश्नों के उत्तर देंगे:

• धावकों का औसत फिनिश समय क्या था?
• क्या धावकों के फिनिश समय सामान्य वितरण का पालन करते थे?
• क्या विभिन्न आयु समूहों में पुरुषों और महिलाओं के प्रदर्शन में कोई अंतर था?

Beautiful Soup का उपयोग करके वेब स्क्रैपिंग

Jupyter Notebook का उपयोग करते हुए, आपको आवश्यक मॉड्यूल (pandas, numpy, matplotlib.pyplot, Seaborn) इम्पोर्ट करके शुरू करना चाहिए। यदि आपके पास Jupyter Notebook इंस्टॉल नहीं है, तो मैं इंटरनेट पर उपलब्ध Anaconda Python डिस्ट्रीब्यूशन के जरिए इसे इंस्टॉल करने की सलाह देता/देती हूं। प्लॉट्स को आसानी से दिखाने के लिए, नीचे दिखाए अनुसार लाइन %matplotlib inline शामिल करना सुनिश्चित करें।

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

वेब स्क्रैपिंग करने के लिए, आपको नीचे दिखाए गए लाइब्रेरी भी इम्पोर्ट करनी चाहिए। urllib.request मॉड्यूल URLs खोलने के लिए उपयोग किया जाता है। BeautifulSoup पैकेज html फाइलों से डेटा निकालने के लिए उपयोग होता है। BeautifulSoup लाइब्रेरी का नाम bs4 है, जिसका अर्थ है BeautifulSoup, संस्करण 4।

from urllib.request import urlopen
from bs4 import BeautifulSoup

आवश्यक मॉड्यूल इम्पोर्ट करने के बाद, आपको डेटासेट वाला URL निर्दिष्ट करना चाहिए और पेज का html पाने के लिए उसे urlopen() में पास करना चाहिए।

url = "http://www.hubertiming.com/results/2017GPTR10K"
html = urlopen(url)

पेज का html पाना सिर्फ पहला चरण है। अगला चरण html से एक BeautifulSoup ऑब्जेक्ट बनाना है। यह BeautifulSoup() फंक्शन में html पास करके किया जाता है। BeautifulSoup पैकेज html को पार्स करने के लिए उपयोग होता है, यानी कच्चे html टेक्स्ट को लेकर उसे Python ऑब्जेक्ट्स में तोड़ना। दूसरा आर्ग्युमेंट lxml एक html पार्सर है, जिसकी बारीकियों की चिंता आपको अभी करने की ज़रूरत नहीं है।

soup = BeautifulSoup(html, 'lxml')
type(soup)

bs4.BeautifulSoup

soup ऑब्जेक्ट आपको उस वेबसाइट के बारे में रोचक जानकारी निकालने देता है जिसे आप स्क्रैप कर रहे हैं—जैसे कि नीचे दिखाए अनुसार पेज का शीर्षक प्राप्त करना।

# Get the title
title = soup.title
print(title)

<title>2017 Intel Great Place to Run 10K \ Urban Clash Games Race Results</title>

आप वेबपेज का टेक्स्ट भी ले सकते हैं और जल्दी से प्रिंट कर सकते हैं ताकि जांच सकें कि यह वैसा ही है जैसा आप अपेक्षा करते हैं।

# Print out the text
text = soup.get_text()
#print(soup.text)

आप वेबपेज का html देखने के लिए वेबपेज पर कहीं भी राइट-क्लिक करके "Inspect" चुन सकते हैं। परिणाम कुछ ऐसा दिखता है।

आप वेबपेज के भीतर उपयोगी html टैग्स निकालने के लिए soup की find_all() मेथड का उपयोग कर सकते हैं। उपयोगी टैग्स के उदाहरणों में हाइपरलिंक के लिए < a >, तालिकाओं के लिए < table >, टेबल रो के लिए < tr >, टेबल हेडर के लिए < th >, और टेबल सेल्स के लिए < td > शामिल हैं। नीचे दिया गया कोड वेबपेज के भीतर सभी हाइपरलिंक्स निकालना दिखाता है।

soup.find_all('a')

[<a class="btn btn-primary btn-lg" href="/results/2017GPTR" role="button">5K</a>,
 <a href="http://hubertiming.com">Huber Timing Home</a>,
 <a href="#individual">Individual Results</a>,
 <a href="#team">Team Results</a>,
 <a href="mailto:timing@hubertiming.com">timing@hubertiming.com</a>,
 <a href="#tabs-1" style="font-size: 18px">Results</a>,
 <a name="individual"></a>,
 <a name="team"></a>,
 <a href="http://www.hubertiming.com"><img height="65" src="/sites/all/themes/hubertiming/images/clockWithFinishSign_small.png" width="50"/>Huber Timing</a>,
 <a href="http://facebook.com/hubertiming"><img src="/results/FB-f-Logo__blue_50.png"/></a>]

जैसा कि आप ऊपर के आउटपुट से देख सकते हैं, html टैग्स कभी-कभी class, src आदि जैसे एट्रिब्यूट्स के साथ आते हैं। ये एट्रिब्यूट्स html एलिमेंट्स के बारे में अतिरिक्त जानकारी प्रदान करते हैं। आप एक for लूप और get("href") मेथड का उपयोग करके केवल हाइपरलिंक्स निकालकर प्रिंट कर सकते हैं।

all_links = soup.find_all("a")
for link in all_links:
    print(link.get("href"))

/results/2017GPTR
http://hubertiming.com/
#individual
#team
mailto:timing@hubertiming.com
#tabs-1
None
None
http://www.hubertiming.com/
http://facebook.com/hubertiming/

सिर्फ टेबल की रो प्रिंट करने के लिए, soup.find_all() में tr आर्ग्युमेंट पास करें।

# Print the first 10 rows for sanity check
rows = soup.find_all('tr')
print(rows[:10])

[<tr><td>Finishers:</td><td>577</td></tr>, <tr><td>Male:</td><td>414</td></tr>, <tr><td>Female:</td><td>163</td></tr>, <tr class="header">
<th>Place</th>
<th>Bib</th>
<th>Name</th>
<th>Gender</th>
<th>City</th>
<th>State</th>
<th>Chip Time</th>
<th>Chip Pace</th>
<th>Gender Place</th>
<th>Age Group</th>
<th>Age Group Place</th>
<th>Time to Start</th>
<th>Gun Time</th>
<th>Team</th>
</tr>, <tr>
<td>1</td>
<td>814</td>
<td>JARED WILSON</td>
<td>M</td>
<td>TIGARD</td>
<td>OR</td>
<td>00:36:21</td>
<td>05:51</td>
<td>1 of 414</td>
<td>M 36-45</td>
<td>1 of 152</td>
<td>00:00:03</td>
<td>00:36:24</td>
<td></td>
</tr>, <tr>
<td>2</td>
<td>573</td>
<td>NATHAN A SUSTERSIC</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:36:42</td>
<td>05:55</td>
<td>2 of 414</td>
<td>M 26-35</td>
<td>1 of 154</td>
<td>00:00:03</td>
<td>00:36:45</td>
<td>INTEL TEAM F</td>
</tr>, <tr>
<td>3</td>
<td>687</td>
<td>FRANCISCO MAYA</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:37:44</td>
<td>06:05</td>
<td>3 of 414</td>
<td>M 46-55</td>
<td>1 of 64</td>
<td>00:00:04</td>
<td>00:37:48</td>
<td></td>
</tr>, <tr>
<td>4</td>
<td>623</td>
<td>PAUL MORROW</td>
<td>M</td>
<td>BEAVERTON</td>
<td>OR</td>
<td>00:38:34</td>
<td>06:13</td>
<td>4 of 414</td>
<td>M 36-45</td>
<td>2 of 152</td>
<td>00:00:03</td>
<td>00:38:37</td>
<td></td>
</tr>, <tr>
<td>5</td>
<td>569</td>
<td>DEREK G OSBORNE</td>
<td>M</td>
<td>HILLSBORO</td>
<td>OR</td>
<td>00:39:21</td>
<td>06:20</td>
<td>5 of 414</td>
<td>M 26-35</td>
<td>2 of 154</td>
<td>00:00:03</td>
<td>00:39:24</td>
<td>INTEL TEAM F</td>
</tr>, <tr>
<td>6</td>
<td>642</td>
<td>JONATHON TRAN</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:39:49</td>
<td>06:25</td>
<td>6 of 414</td>
<td>M 18-25</td>
<td>1 of 34</td>
<td>00:00:06</td>
<td>00:39:55</td>
<td></td>
</tr>]

इस ट्यूटोरियल का लक्ष्य किसी वेबपेज से एक तालिका लेकर उसे Python के जरिए आसान हेरफेर हेतु एक डेटाफ़्रेम में बदलना है। वहां तक पहुंचने के लिए, पहले आपको सभी टेबल रो एक सूची के रूप में लेनी चाहिए और फिर उस सूची को डेटाफ़्रेम में बदलना चाहिए। नीचे एक for लूप दिया गया है जो टेबल रो पर इटेरेट करता है और रो की कोशिकाओं (सेल्स) को प्रिंट करता है।

for row in rows:
    row_td = row.find_all('td')
print(row_td)
type(row_td)

[<td>14TH</td>, <td>INTEL TEAM M</td>, <td>04:43:23</td>, <td>00:58:59 - DANIELLE CASILLAS</td>, <td>01:02:06 - RAMYA MERUVA</td>, <td>01:17:06 - PALLAVI J SHINDE</td>, <td>01:25:11 - NALINI MURARI</td>]

bs4.element.ResultSet

ऊपर का आउटपुट दिखाता है कि प्रत्येक रो html टैग्स के साथ प्रिंट होती है। यह वह नहीं है जो आप चाहते हैं। आप Beautiful Soup या रेगुलर एक्सप्रेशंस का उपयोग करके html टैग्स हटा सकते हैं।

html टैग्स हटाने का सबसे आसान तरीका BeautifulSoup का उपयोग करना है, और यह सिर्फ एक लाइन कोड से हो जाता है। इच्छित स्ट्रिंग को BeautifulSoup() में पास करें और get_text() मेथड का उपयोग करके बिना html टैग्स के टेक्स्ट निकालें।

str_cells = str(row_td)
cleantext = BeautifulSoup(str_cells, "lxml").get_text()
print(cleantext)

[14TH, INTEL TEAM M, 04:43:23, 00:58:59 - DANIELLE CASILLAS, 01:02:06 - RAMYA MERUVA, 01:17:06 - PALLAVI J SHINDE, 01:25:11 - NALINI MURARI]

रेगुलर एक्सप्रेशंस का उपयोग करना काफ़ी हतोत्साहित किया जाता है क्योंकि इसमें कई लाइनों का कोड लगता है और गलती करना आसान है। इसके लिए re (रेगुलर एक्सप्रेशंस) मॉड्यूल इम्पोर्ट करना होता है। नीचे दिया गया कोड दिखाता है कि कैसे एक रेगुलर एक्सप्रेशन बनाया जाए जो < td > html टैग्स के भीतर के सभी कैरेक्टर्स ढूंढे और हर टेबल रो के लिए उन्हें खाली स्ट्रिंग से बदल दे। पहले, re.compile() में मिलान करने वाली स्ट्रिंग पास करके रेगुलर एक्सप्रेशन कम्पाइल करें। डॉट, स्टार और प्रश्नचिह्न (.*?) एक प्रारंभिक एंगल ब्रैकेट, उसके बाद कुछ भी, और फिर समापन एंगल ब्रैकेट से मेल खाएगा। यह नॉन-ग्रीडी ढंग से टेक्स्ट मैच करता है, यानी सबसे छोटा संभव स्ट्रिंग। यदि आप प्रश्नचिह्न हटा दें, तो यह पहले ओपनिंग एंगल ब्रैकेट और आखिरी क्लोज़िंग एंगल ब्रैकेट के बीच का सारा टेक्स्ट मैच करेगा। रेगुलर एक्सप्रेशन कम्पाइल करने के बाद, आप re.sub() मेथड का उपयोग करके उन सभी सबस्ट्रिंग्स को खोजते हैं जहां रेगुलर एक्सप्रेशन मैच करता है और उन्हें खाली स्ट्रिंग से बदलते हैं। नीचे दिया गया पूरा कोड एक खाली सूची बनाता है, प्रत्येक रो के html टैग्स के बीच का टेक्स्ट निकालता है, और उसे निर्दिष्ट सूची में जोड़ता है।

import re

list_rows = []
for row in rows:
    cells = row.find_all('td')
    str_cells = str(cells)
    clean = re.compile('<.*?>')
    clean2 = (re.sub(clean, '',str_cells))
    list_rows.append(clean2)
print(clean2)
type(clean2)

[14TH, INTEL TEAM M, 04:43:23, 00:58:59 - DANIELLE CASILLAS, 01:02:06 - RAMYA MERUVA, 01:17:06 - PALLAVI J SHINDE, 01:25:11 - NALINI MURARI]

str

अगला चरण सूची को डेटाफ़्रेम में बदलना है और Pandas का उपयोग करके पहले 10 रो का एक त्वरित दृश्य प्राप्त करना है।

df = pd.DataFrame(list_rows)
df.head(10)