Webscraping met Python (en Beautiful Soup)

Webscraping is een term voor het gebruik van een programma of algoritme om grote hoeveelheden data van het web te halen en te verwerken. Of je nu data scientist, engineer, of iemand bent die grote datasets analyseert: de vaardigheid om data van het web te scrapen is erg handig. Stel dat je data op het web vindt, maar er is geen directe manier om het te downloaden: met webscraping in Python kun je de data extraheren naar een bruikbaar formaat dat je kunt importeren.

In deze tutorial leer je het volgende:

• Data-extractie van het web met de Beautiful Soup-module van Python
• Datamanipulatie en opschonen met de Pandas-bibliotheek van Python
• Datavisualisatie met de Matplotlib-bibliotheek van Python

De dataset in deze tutorial komt van een 10K-wedstrijd die plaatsvond in Hillsboro, OR in juni 2017. Je analyseert specifiek de prestaties van de 10K-lopers en beantwoordt vragen zoals:

• Wat was de gemiddelde finishtijd van de lopers?
• Volgden de finishtijden van de lopers een normale verdeling?
• Waren er prestatieverschillen tussen mannen en vrouwen in verschillende leeftijdsgroepen?

Webscraping met Beautiful Soup

Gebruikmakend van Jupyter Notebook begin je met het importeren van de benodigde modules (pandas, numpy, matplotlib.pyplot, Seaborn). Als je Jupyter Notebook niet hebt geïnstalleerd, raad ik aan om het te installeren via de Anaconda Python-distributie, die online beschikbaar is. Om de plots eenvoudig te tonen, voeg je de regel %matplotlib inline toe, zoals hieronder weergegeven.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

Voor webscraping importeer je ook de onderstaande libraries. De module urllib.request wordt gebruikt om URL's te openen. Het BeautifulSoup-pakket wordt gebruikt om data uit html-bestanden te extraheren. De naam van de BeautifulSoup-bibliotheek is bs4, wat staat voor BeautifulSoup, versie 4.

from urllib.request import urlopen
from bs4 import BeautifulSoup

Nadat je de nodige modules hebt geïmporteerd, geef je de URL met de dataset op en geef je die door aan urlopen() om de html van de pagina op te halen.

url = "http://www.hubertiming.com/results/2017GPTR10K"
html = urlopen(url)

De html van de pagina ophalen is slechts de eerste stap. De volgende stap is een BeautifulSoup-object maken van de html. Dit doe je door de html door te geven aan de functie BeautifulSoup(). Het BeautifulSoup-pakket wordt gebruikt om de html te parsen, oftewel: de ruwe html-tekst omzetten en opdelen in Python-objecten. Het tweede argument lxml is de html-parser; de details daarvan hoef je nu niet te kennen.

soup = BeautifulSoup(html, 'lxml')
type(soup)

bs4.BeautifulSoup

Met het soup-object kun je interessante informatie halen over de website die je scraped, zoals de titel van de pagina, zoals hieronder.

# Get the title
title = soup.title
print(title)

<title>2017 Intel Great Place to Run 10K \ Urban Clash Games Race Results</title>

Je kunt ook de tekst van de webpagina ophalen en snel uitprinten om te checken of het is wat je verwacht.

# Print out the text
text = soup.get_text()
#print(soup.text)

Je kunt de html van de webpagina bekijken door met de rechtermuisknop ergens op de pagina te klikken en "Inspect" te selecteren. Zo ziet het resultaat eruit.

Je kunt de methode find_all() van soup gebruiken om nuttige html-tags binnen een webpagina te extraheren. Voorbeelden van nuttige tags zijn < a > voor hyperlinks, < table > voor tabellen, < tr > voor tabelrijen, < th > voor tabelkoppen en < td > voor tabelcellen. De onderstaande code laat zien hoe je alle hyperlinks binnen de webpagina ophaalt.

soup.find_all('a')

[<a class="btn btn-primary btn-lg" href="/results/2017GPTR" role="button">5K</a>,
 <a href="http://hubertiming.com">Huber Timing Home</a>,
 <a href="#individual">Individual Results</a>,
 <a href="#team">Team Results</a>,
 <a href="mailto:timing@hubertiming.com">timing@hubertiming.com</a>,
 <a href="#tabs-1" style="font-size: 18px">Results</a>,
 <a name="individual"></a>,
 <a name="team"></a>,
 <a href="http://www.hubertiming.com"><img height="65" src="/sites/all/themes/hubertiming/images/clockWithFinishSign_small.png" width="50"/>Huber Timing</a>,
 <a href="http://facebook.com/hubertiming"><img src="/results/FB-f-Logo__blue_50.png"/></a>]

Zoals je in de output hierboven ziet, hebben html-tags soms attributen zoals class, src, enzovoort. Deze attributen geven extra informatie over html-elementen. Je kunt een for-loop en de methode get("href") gebruiken om alleen hyperlinks te extraheren en te printen.

all_links = soup.find_all("a")
for link in all_links:
    print(link.get("href"))

/results/2017GPTR
http://hubertiming.com/
#individual
#team
mailto:timing@hubertiming.com
#tabs-1
None
None
http://www.hubertiming.com/
http://facebook.com/hubertiming/

Om alleen tabelrijen te printen, geef je het argument tr door in soup.find_all().

# Print the first 10 rows for sanity check
rows = soup.find_all('tr')
print(rows[:10])

[<tr><td>Finishers:</td><td>577</td></tr>, <tr><td>Male:</td><td>414</td></tr>, <tr><td>Female:</td><td>163</td></tr>, <tr class="header">
<th>Place</th>
<th>Bib</th>
<th>Name</th>
<th>Gender</th>
<th>City</th>
<th>State</th>
<th>Chip Time</th>
<th>Chip Pace</th>
<th>Gender Place</th>
<th>Age Group</th>
<th>Age Group Place</th>
<th>Time to Start</th>
<th>Gun Time</th>
<th>Team</th>
</tr>, <tr>
<td>1</td>
<td>814</td>
<td>JARED WILSON</td>
<td>M</td>
<td>TIGARD</td>
<td>OR</td>
<td>00:36:21</td>
<td>05:51</td>
<td>1 of 414</td>
<td>M 36-45</td>
<td>1 of 152</td>
<td>00:00:03</td>
<td>00:36:24</td>
<td></td>
</tr>, <tr>
<td>2</td>
<td>573</td>
<td>NATHAN A SUSTERSIC</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:36:42</td>
<td>05:55</td>
<td>2 of 414</td>
<td>M 26-35</td>
<td>1 of 154</td>
<td>00:00:03</td>
<td>00:36:45</td>
<td>INTEL TEAM F</td>
</tr>, <tr>
<td>3</td>
<td>687</td>
<td>FRANCISCO MAYA</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:37:44</td>
<td>06:05</td>
<td>3 of 414</td>
<td>M 46-55</td>
<td>1 of 64</td>
<td>00:00:04</td>
<td>00:37:48</td>
<td></td>
</tr>, <tr>
<td>4</td>
<td>623</td>
<td>PAUL MORROW</td>
<td>M</td>
<td>BEAVERTON</td>
<td>OR</td>
<td>00:38:34</td>
<td>06:13</td>
<td>4 of 414</td>
<td>M 36-45</td>
<td>2 of 152</td>
<td>00:00:03</td>
<td>00:38:37</td>
<td></td>
</tr>, <tr>
<td>5</td>
<td>569</td>
<td>DEREK G OSBORNE</td>
<td>M</td>
<td>HILLSBORO</td>
<td>OR</td>
<td>00:39:21</td>
<td>06:20</td>
<td>5 of 414</td>
<td>M 26-35</td>
<td>2 of 154</td>
<td>00:00:03</td>
<td>00:39:24</td>
<td>INTEL TEAM F</td>
</tr>, <tr>
<td>6</td>
<td>642</td>
<td>JONATHON TRAN</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:39:49</td>
<td>06:25</td>
<td>6 of 414</td>
<td>M 18-25</td>
<td>1 of 34</td>
<td>00:00:06</td>
<td>00:39:55</td>
<td></td>
</tr>]

Het doel van deze tutorial is om een tabel van een webpagina om te zetten naar een dataframe, zodat je die makkelijker kunt bewerken met Python. Om daar te komen, haal je eerst alle tabelrijen op in lijstvorm en zet je die lijst daarna om naar een dataframe. Hieronder staat een for-loop die door de tabelrijen itereert en de cellen van de rijen print.

for row in rows:
    row_td = row.find_all('td')
print(row_td)
type(row_td)

[<td>14TH</td>, <td>INTEL TEAM M</td>, <td>04:43:23</td>, <td>00:58:59 - DANIELLE CASILLAS</td>, <td>01:02:06 - RAMYA MERUVA</td>, <td>01:17:06 - PALLAVI J SHINDE</td>, <td>01:25:11 - NALINI MURARI]

bs4.element.ResultSet

De output hierboven laat zien dat elke rij wordt geprint met html-tags in elke rij. Dat is niet wat je wilt. Je kunt de html-tags verwijderen met Beautiful Soup of met reguliere expressies.

De makkelijkste manier om html-tags te verwijderen is met BeautifulSoup, en dat kost maar één regel code. Geef de string van interesse door aan BeautifulSoup() en gebruik de methode get_text() om de tekst zonder html-tags te extraheren.

str_cells = str(row_td)
cleantext = BeautifulSoup(str_cells, "lxml").get_text()
print(cleantext)

[14TH, INTEL TEAM M, 04:43:23, 00:58:59 - DANIELLE CASILLAS, 01:02:06 - RAMYA MERUVA, 01:17:06 - PALLAVI J SHINDE, 01:25:11 - NALINI MURARI]

Het gebruik van reguliere expressies wordt sterk afgeraden, omdat het meerdere regels code vergt en je makkelijk fouten maakt. Het vereist het importeren van de module re (voor reguliere expressies). De code hieronder laat zien hoe je een reguliere expressie maakt die alle tekens binnen de < td >-html-tags vindt en ze voor elke tabelrij vervangt door een lege string. Eerst compileer je een reguliere expressie door een string met het patroon door te geven aan re.compile(). De punt, ster en vraagteken (.*?) matchen een openingshoekhaakje gevolgd door alles en gevolgd door een sluitingshoekhaakje. Het matcht tekst op een non-greedy manier, dus het matcht de kortst mogelijke string. Als je het vraagteken weglaat, matcht het alle tekst tussen de eerste openingshoekhaak en de laatste sluitingshoekhaak. Na het compileren van een reguliere expressie kun je de methode re.sub() gebruiken om alle substrings waar de regex op matcht te vinden en ze te vervangen door een lege string. De volledige code hieronder genereert een lege lijst, extraheert tekst tussen html-tags voor elke rij en voegt die toe aan de toegewezen lijst.

import re

list_rows = []
for row in rows:
    cells = row.find_all('td')
    str_cells = str(cells)
    clean = re.compile('<.*?>')
    clean2 = (re.sub(clean, '',str_cells))
    list_rows.append(clean2)
print(clean2)
type(clean2)

[14TH, INTEL TEAM M, 04:43:23, 00:58:59 - DANIELLE CASILLAS, 01:02:06 - RAMYA MERUVA, 01:17:06 - PALLAVI J SHINDE, 01:25:11 - NALINI MURARI]

str

De volgende stap is de lijst omzetten naar een dataframe en snel de eerste 10 rijen bekijken met Pandas.

df = pd.DataFrame(list_rows)
df.head(10)