Web scraping con Python (e Beautiful Soup)

Web scraping è un termine usato per descrivere l’uso di un programma o di un algoritmo per estrarre ed elaborare grandi quantità di dati dal web. Che tu sia un data scientist, un ingegnere o chiunque analizzi grandi moli di dati, la capacità di fare scraping dal web è una competenza utile. Mettiamo che trovi dei dati online e non ci sia un modo diretto per scaricarli: lo scraping con Python è un’abilità che puoi usare per estrarre i dati in un formato utile e importabile.

In questo tutorial imparerai a:

• Estrarre dati dal web usando il modulo Beautiful Soup di Python
• Manipolare e pulire i dati con la libreria Pandas di Python
• Visualizzare i dati con la libreria Matplotlib di Python

Il dataset usato in questo tutorial proviene da una gara da 10 km che si è tenuta a Hillsboro, OR, a giugno 2017. In particolare, analizzerai le prestazioni dei corridori dei 10 km e risponderai a domande come:

• Qual è stato il tempo medio di arrivo dei corridori?
• I tempi di arrivo hanno seguito una distribuzione normale?
• C’erano differenze di prestazione tra uomini e donne in varie fasce d’età?

Web scraping con Beautiful Soup

Usando Jupyter Notebook, inizia importando i moduli necessari (pandas, numpy, matplotlib.pyplot, Seaborn). Se non hai installato Jupyter Notebook, ti consiglio di installarlo tramite la distribuzione Anaconda di Python, disponibile online. Per visualizzare facilmente i grafici, assicurati di includere la riga %matplotlib inline come mostrato sotto.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

Per eseguire il web scraping, importa anche le librerie qui sotto. Il modulo urllib.request serve per aprire URL. Il pacchetto BeautifulSoup è usato per estrarre dati da file HTML. Il nome della libreria BeautifulSoup è bs4, che sta per BeautifulSoup, versione 4.

from urllib.request import urlopen
from bs4 import BeautifulSoup

Dopo aver importato i moduli necessari, specifica l’URL che contiene il dataset e passalo a urlopen() per ottenere l’HTML della pagina.

url = "http://www.hubertiming.com/results/2017GPTR10K"
html = urlopen(url)

Ottenere l’HTML della pagina è solo il primo passo. Il successivo è creare un oggetto BeautifulSoup a partire dall’HTML. Questo si fa passando l’HTML alla funzione BeautifulSoup(). Il pacchetto BeautifulSoup serve a effettuare il parsing dell’HTML, cioè a prendere il testo HTML grezzo e convertirlo in oggetti Python. Il secondo argomento lxml è il parser HTML: per ora non serve conoscerne i dettagli.

soup = BeautifulSoup(html, 'lxml')
type(soup)

bs4.BeautifulSoup

L’oggetto soup ti permette di estrarre informazioni interessanti sul sito che stai analizzando, ad esempio ottenere il titolo della pagina come mostrato sotto.

# Get the title
title = soup.title
print(title)

<title>2017 Intel Great Place to Run 10K \ Urban Clash Games Race Results</title>

Puoi anche ricavare il testo della pagina web e stamparlo rapidamente per verificare che sia quello che ti aspetti.

# Print out the text
text = soup.get_text()
#print(soup.text)

Puoi visualizzare l’HTML della pagina facendo clic con il tasto destro in un punto qualsiasi della pagina e selezionando "Inspect". Il risultato appare così.

Puoi usare il metodo find_all() di soup per estrarre tag HTML utili all’interno di una pagina. Esempi di tag utili includono < a > per i collegamenti ipertestuali, < table > per le tabelle, < tr > per le righe, < th > per le intestazioni e < td > per le celle. Il codice seguente mostra come estrarre tutti i collegamenti ipertestuali presenti nella pagina.

soup.find_all('a')

[<a class="btn btn-primary btn-lg" href="/results/2017GPTR" role="button">5K</a>,
 <a href="http://hubertiming.com">Huber Timing Home</a>,
 <a href="#individual">Individual Results</a>,
 <a href="#team">Team Results</a>,
 <a href="mailto:timing@hubertiming.com">timing@hubertiming.com</a>,
 <a href="#tabs-1" style="font-size: 18px">Results</a>,
 <a name="individual"></a>,
 <a name="team"></a>,
 <a href="http://www.hubertiming.com"><img height="65" src="/sites/all/themes/hubertiming/images/clockWithFinishSign_small.png" width="50"/>Huber Timing</a>,
 <a href="http://facebook.com/hubertiming"><img src="/results/FB-f-Logo__blue_50.png"/></a>]

Come vedi dall’output sopra, i tag HTML a volte hanno attributi come class, src, ecc. Questi attributi forniscono informazioni aggiuntive sugli elementi HTML. Puoi usare un ciclo for e il metodo get("href") per estrarre e stampare solo i link.

all_links = soup.find_all("a")
for link in all_links:
    print(link.get("href"))

/results/2017GPTR
http://hubertiming.com/
#individual
#team
mailto:timing@hubertiming.com
#tabs-1
None
None
http://www.hubertiming.com/
http://facebook.com/hubertiming/

Per stampare solo le righe della tabella, passa l’argomento tr in soup.find_all().

# Print the first 10 rows for sanity check
rows = soup.find_all('tr')
print(rows[:10])

[<tr><td>Finishers:</td><td>577</td></tr>, <tr><td>Male:</td><td>414</td></tr>, <tr><td>Female:</td><td>163</td></tr>, <tr class="header">
<th>Place</th>
<th>Bib</th>
<th>Name</th>
<th>Gender</th>
<th>City</th>
<th>State</th>
<th>Chip Time</th>
<th>Chip Pace</th>
<th>Gender Place</th>
<th>Age Group</th>
<th>Age Group Place</th>
<th>Time to Start</th>
<th>Gun Time</th>
<th>Team</th>
</tr>, <tr>
<td>1</td>
<td>814</td>
<td>JARED WILSON</td>
<td>M</td>
<td>TIGARD</td>
<td>OR</td>
<td>00:36:21</td>
<td>05:51</td>
<td>1 of 414</td>
<td>M 36-45</td>
<td>1 of 152</td>
<td>00:00:03</td>
<td>00:36:24</td>
<td></td>
</tr>, <tr>
<td>2</td>
<td>573</td>
<td>NATHAN A SUSTERSIC</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:36:42</td>
<td>05:55</td>
<td>2 of 414</td>
<td>M 26-35</td>
<td>1 of 154</td>
<td>00:00:03</td>
<td>00:36:45</td>
<td>INTEL TEAM F</td>
</tr>, <tr>
<td>3</td>
<td>687</td>
<td>FRANCISCO MAYA</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:37:44</td>
<td>06:05</td>
<td>3 of 414</td>
<td>M 46-55</td>
<td>1 of 64</td>
<td>00:00:04</td>
<td>00:37:48</td>
<td></td>
</tr>, <tr>
<td>4</td>
<td>623</td>
<td>PAUL MORROW</td>
<td>M</td>
<td>BEAVERTON</td>
<td>OR</td>
<td>00:38:34</td>
<td>06:13</td>
<td>4 of 414</td>
<td>M 36-45</td>
<td>2 of 152</td>
<td>00:00:03</td>
<td>00:38:37</td>
<td></td>
</tr>, <tr>
<td>5</td>
<td>569</td>
<td>DEREK G OSBORNE</td>
<td>M</td>
<td>HILLSBORO</td>
<td>OR</td>
<td>00:39:21</td>
<td>06:20</td>
<td>5 of 414</td>
<td>M 26-35</td>
<td>2 of 154</td>
<td>00:00:03</td>
<td>00:39:24</td>
<td>INTEL TEAM F</td>
</tr>, <tr>
<td>6</td>
<td>642</td>
<td>JONATHON TRAN</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:39:49</td>
<td>06:25</td>
<td>6 of 414</td>
<td>M 18-25</td>
<td>1 of 34</td>
<td>00:00:06</td>
<td>00:39:55</td>
<td></td>
</tr>]

L’obiettivo di questo tutorial è prendere una tabella da una pagina web e convertirla in un dataframe per manipolarla più facilmente con Python. Per arrivarci, prima recupera tutte le righe della tabella sotto forma di lista e poi converti quella lista in un dataframe. Sotto trovi un ciclo for che itera sulle righe della tabella e stampa le celle delle righe.

for row in rows:
    row_td = row.find_all('td')
print(row_td)
type(row_td)

[<td>14TH</td>, <td>INTEL TEAM M</td>, <td>04:43:23</td>, <td>00:58:59 - DANIELLE CASILLAS</td>, <td>01:02:06 - RAMYA MERUVA</td>, <td>01:17:06 - PALLAVI J SHINDE</td>, <td>01:25:11 - NALINI MURARI</td>]

bs4.element.ResultSet

L’output sopra mostra che ogni riga è stampata con i tag HTML incorporati. Non è quello che vogliamo. Puoi rimuovere i tag HTML usando Beautiful Soup o le espressioni regolari.

Il modo più semplice per rimuovere i tag HTML è usare BeautifulSoup, e basta una riga di codice. Passa la stringa di interesse a BeautifulSoup() e usa il metodo get_text() per estrarre il testo senza i tag HTML.

str_cells = str(row_td)
cleantext = BeautifulSoup(str_cells, "lxml").get_text()
print(cleantext)

[14TH, INTEL TEAM M, 04:43:23, 00:58:59 - DANIELLE CASILLAS, 01:02:06 - RAMYA MERUVA, 01:17:06 - PALLAVI J SHINDE, 01:25:11 - NALINI MURARI]

Usare le espressioni regolari è fortemente sconsigliato, perché richiede diverse righe di codice ed è facile sbagliare. Serve importare il modulo re (per le espressioni regolari). Il codice sotto mostra come costruire un’espressione regolare che trovi tutti i caratteri all’interno dei tag HTML < td > e li sostituisca con una stringa vuota per ogni riga della tabella. Per prima cosa compili un’espressione regolare passando a re.compile() una stringa da cercare. Il punto, l’asterisco e il punto interrogativo (.*?) corrispondono a una parentesi angolare aperta seguita da qualsiasi cosa e poi da una parentesi angolare chiusa. Effettua il match in modo non avido, cioè sul testo più corto possibile. Se ometti il punto interrogativo, verrà fatto il match di tutto il testo tra la prima parentesi angolare aperta e l’ultima chiusa. Dopo aver compilato l’espressione regolare, puoi usare il metodo re.sub() per trovare tutte le sottostringhe che corrispondono all’espressione e sostituirle con una stringa vuota. Il codice completo qui sotto genera una lista vuota, estrae il testo tra i tag HTML per ogni riga e lo aggiunge alla lista.

import re

list_rows = []
for row in rows:
    cells = row.find_all('td')
    str_cells = str(cells)
    clean = re.compile('<.*?>')
    clean2 = (re.sub(clean, '',str_cells))
    list_rows.append(clean2)
print(clean2)
type(clean2)

[14TH, INTEL TEAM M, 04:43:23, 00:58:59 - DANIELLE CASILLAS, 01:02:06 - RAMYA MERUVA, 01:17:06 - PALLAVI J SHINDE, 01:25:11 - NALINI MURARI]

str

Il passo successivo è convertire la lista in un dataframe e dare un’occhiata rapida alle prime 10 righe con Pandas.

df = pd.DataFrame(list_rows)
df.head(10)