Web Scraping menggunakan Python (dan Beautiful Soup)

Web scraping adalah istilah yang digunakan untuk menggambarkan penggunaan program atau algoritme untuk mengekstrak dan memproses sejumlah besar data dari web. Baik Anda seorang data scientist, engineer, atau siapa pun yang menganalisis dataset berukuran besar, kemampuan untuk melakukan scraping data dari web adalah keterampilan yang berguna. Misalnya, Anda menemukan data di web, tetapi tidak ada cara langsung untuk mengunduhnya; web scraping menggunakan Python adalah keterampilan yang dapat Anda gunakan untuk mengekstrak data tersebut ke dalam bentuk yang berguna dan dapat diimpor.

Dalam tutorial ini, Anda akan mempelajari hal-hal berikut:

• Ekstraksi data dari web menggunakan modul Beautiful Soup di Python
• Manipulasi dan pembersihan data menggunakan pustaka Pandas di Python
• Visualisasi data menggunakan pustaka Matplotlib di Python

Dataset yang digunakan dalam tutorial ini diambil dari lomba lari 10K yang berlangsung di Hillsboro, OR pada Juni 2017. Secara khusus, Anda akan menganalisis performa pelari 10K dan menjawab pertanyaan seperti:

• Berapa rata-rata waktu finis para pelari?
• Apakah waktu finis para pelari mengikuti distribusi normal?
• Apakah ada perbedaan performa antara laki-laki dan perempuan pada berbagai kelompok usia?

Web Scraping menggunakan Beautiful Soup

Menggunakan Jupyter Notebook, Anda sebaiknya mulai dengan mengimpor modul yang diperlukan (pandas, numpy, matplotlib.pyplot, Seaborn). Jika Anda belum menginstal Jupyter Notebook, saya sarankan menginstalnya menggunakan distribusi Anaconda Python, yang tersedia di internet. Agar mudah menampilkan plot, pastikan menyertakan baris %matplotlib inline seperti di bawah ini.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

Untuk melakukan web scraping, Anda juga perlu mengimpor pustaka yang ditunjukkan di bawah. Modul urllib.request digunakan untuk membuka URL. Paket BeautifulSoup digunakan untuk mengekstrak data dari file html. Nama pustaka BeautifulSoup adalah bs4, yang merupakan singkatan dari BeautifulSoup versi 4.

from urllib.request import urlopen
from bs4 import BeautifulSoup

Setelah mengimpor modul yang diperlukan, Anda harus menentukan URL yang berisi dataset dan meneruskannya ke urlopen() untuk mendapatkan html dari halaman tersebut.

url = "http://www.hubertiming.com/results/2017GPTR10K"
html = urlopen(url)

Mendapatkan html dari halaman adalah langkah pertama saja. Langkah berikutnya adalah membuat objek BeautifulSoup dari html tersebut. Ini dilakukan dengan meneruskan html ke fungsi BeautifulSoup(). Paket BeautifulSoup digunakan untuk mengurai html, yaitu mengambil teks html mentah dan memecahnya menjadi objek Python. Argumen kedua lxml adalah parser html yang detailnya tidak perlu Anda khawatirkan pada tahap ini.

soup = BeautifulSoup(html, 'lxml')
type(soup)

bs4.BeautifulSoup

Objek soup memungkinkan Anda mengekstrak informasi menarik tentang situs yang Anda scrap, misalnya mendapatkan judul halaman seperti ditunjukkan di bawah.

# Get the title
title = soup.title
print(title)

<title>2017 Intel Great Place to Run 10K \ Urban Clash Games Race Results</title>

Anda juga dapat mengambil teks halaman web dan mencetaknya dengan cepat untuk memeriksa apakah sesuai dengan yang Anda harapkan.

# Print out the text
text = soup.get_text()
#print(soup.text)

Anda dapat melihat html dari halaman web dengan klik kanan di mana saja pada halaman lalu pilih "Inspect." Hasilnya akan terlihat seperti ini.

Anda dapat menggunakan metode find_all() dari soup untuk mengekstrak tag html yang berguna dalam sebuah halaman web. Contoh tag yang berguna termasuk < a > untuk hyperlink, < table > untuk tabel, < tr > untuk baris tabel, < th > untuk header tabel, dan < td > untuk sel tabel. Kode di bawah ini menunjukkan cara mengekstrak semua hyperlink dalam halaman web.

soup.find_all('a')

[<a class="btn btn-primary btn-lg" href="/results/2017GPTR" role="button">5K</a>,
 <a href="http://hubertiming.com">Huber Timing Home</a>,
 <a href="#individual">Individual Results</a>,
 <a href="#team">Team Results</a>,
 <a href="mailto:timing@hubertiming.com">timing@hubertiming.com</a>,
 <a href="#tabs-1" style="font-size: 18px">Results</a>,
 <a name="individual"></a>,
 <a name="team"></a>,
 <a href="http://www.hubertiming.com"><img height="65" src="/sites/all/themes/hubertiming/images/clockWithFinishSign_small.png" width="50"/>Huber Timing</a>,
 <a href="http://facebook.com/hubertiming"><img src="/results/FB-f-Logo__blue_50.png"/></a>]

Seperti terlihat dari output di atas, tag html terkadang memiliki atribut seperti class, src, dan sebagainya. Atribut ini memberikan informasi tambahan tentang elemen html. Anda dapat menggunakan for loop dan metode get("href") untuk mengekstrak dan mencetak hanya hyperlink-nya.

all_links = soup.find_all("a")
for link in all_links:
    print(link.get("href"))

/results/2017GPTR
http://hubertiming.com/
#individual
#team
mailto:timing@hubertiming.com
#tabs-1
None
None
http://www.hubertiming.com/
http://facebook.com/hubertiming/

Untuk mencetak hanya baris tabel, berikan argumen tr dalam soup.find_all().

# Print the first 10 rows for sanity check
rows = soup.find_all('tr')
print(rows[:10])

[<tr><td>Finishers:</td><td>577</td></tr>, <tr><td>Male:</td><td>414</td></tr>, <tr><td>Female:</td><td>163</td></tr>, <tr class="header">
<th>Place</th>
<th>Bib</th>
<th>Name</th>
<th>Gender</th>
<th>City</th>
<th>State</th>
<th>Chip Time</th>
<th>Chip Pace</th>
<th>Gender Place</th>
<th>Age Group</th>
<th>Age Group Place</th>
<th>Time to Start</th>
<th>Gun Time</th>
<th>Team</th>
</tr>, <tr>
<td>1</td>
<td>814</td>
<td>JARED WILSON</td>
<td>M</td>
<td>TIGARD</td>
<td>OR</td>
<td>00:36:21</td>
<td>05:51</td>
<td>1 of 414</td>
<td>M 36-45</td>
<td>1 of 152</td>
<td>00:00:03</td>
<td>00:36:24</td>
<td></td>
</tr>, <tr>
<td>2</td>
<td>573</td>
<td>NATHAN A SUSTERSIC</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:36:42</td>
<td>05:55</td>
<td>2 of 414</td>
<td>M 26-35</td>
<td>1 of 154</td>
<td>00:00:03</td>
<td>00:36:45</td>
<td>INTEL TEAM F</td>
</tr>, <tr>
<td>3</td>
<td>687</td>
<td>FRANCISCO MAYA</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:37:44</td>
<td>06:05</td>
<td>3 of 414</td>
<td>M 46-55</td>
<td>1 of 64</td>
<td>00:00:04</td>
<td>00:37:48</td>
<td></td>
</tr>, <tr>
<td>4</td>
<td>623</td>
<td>PAUL MORROW</td>
<td>M</td>
<td>BEAVERTON</td>
<td>OR</td>
<td>00:38:34</td>
<td>06:13</td>
<td>4 of 414</td>
<td>M 36-45</td>
<td>2 of 152</td>
<td>00:00:03</td>
<td>00:38:37</td>
<td></td>
</tr>, <tr>
<td>5</td>
<td>569</td>
<td>DEREK G OSBORNE</td>
<td>M</td>
<td>HILLSBORO</td>
<td>OR</td>
<td>00:39:21</td>
<td>06:20</td>
<td>5 of 414</td>
<td>M 26-35</td>
<td>2 of 154</td>
<td>00:00:03</td>
<td>00:39:24</td>
<td>INTEL TEAM F</td>
</tr>, <tr>
<td>6</td>
<td>642</td>
<td>JONATHON TRAN</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:39:49</td>
<td>06:25</td>
<td>6 of 414</td>
<td>M 18-25</td>
<td>1 of 34</td>
<td>00:00:06</td>
<td>00:39:55</td>
<td></td>
</tr>]

Tujuan tutorial ini adalah mengambil tabel dari halaman web dan mengonversinya menjadi dataframe agar lebih mudah dimanipulasi menggunakan Python. Untuk mencapainya, Anda harus mengambil semua baris tabel dalam bentuk daftar terlebih dahulu dan kemudian mengonversi daftar tersebut menjadi dataframe. Di bawah ini ada for loop yang melakukan iterasi melalui baris tabel dan mencetak sel-sel dari baris tersebut.

for row in rows:
    row_td = row.find_all('td')
print(row_td)
type(row_td)

[<td>14TH</td>, <td>INTEL TEAM M</td>, <td>04:43:23</td>, <td>00:58:59 - DANIELLE CASILLAS</td>, <td>01:02:06 - RAMYA MERUVA</td>, <td>01:17:06 - PALLAVI J SHINDE</td>, <td>01:25:11 - NALINI MURARI</td>]

bs4.element.ResultSet

Output di atas menunjukkan bahwa setiap baris dicetak dengan tag html yang tertanam pada setiap baris. Ini bukan yang Anda inginkan. Anda dapat menghapus tag html menggunakan Beautiful Soup atau regular expression.

Cara termudah untuk menghapus tag html adalah menggunakan BeautifulSoup, dan ini hanya memerlukan satu baris kode. Teruskan string yang diminati ke BeautifulSoup() dan gunakan metode get_text() untuk mengekstrak teks tanpa tag html.

str_cells = str(row_td)
cleantext = BeautifulSoup(str_cells, "lxml").get_text()
print(cleantext)

[14TH, INTEL TEAM M, 04:43:23, 00:58:59 - DANIELLE CASILLAS, 01:02:06 - RAMYA MERUVA, 01:17:06 - PALLAVI J SHINDE, 01:25:11 - NALINI MURARI]

Menggunakan regular expression sangat tidak dianjurkan karena memerlukan beberapa baris kode dan mudah terjadi kesalahan. Ini membutuhkan impor modul re (untuk regular expression). Kode di bawah ini menunjukkan cara membangun regular expression yang menemukan semua karakter di dalam tag html < td > dan menggantinya dengan string kosong untuk setiap baris tabel. Pertama, Anda menyusun regular expression dengan meneruskan string yang akan dicocokkan ke re.compile(). Titik, bintang, dan tanda tanya (.*?) akan mencocokkan tanda kurung sudut pembuka diikuti apa pun dan diakhiri dengan tanda kurung sudut penutup. Ini mencocokkan teks secara non-greedy, yaitu mencocokkan string terpendek yang mungkin. Jika Anda menghilangkan tanda tanya, ini akan mencocokkan semua teks antara tanda kurung sudut pembuka pertama dan tanda kurung sudut penutup terakhir. Setelah menyusun regular expression, Anda dapat menggunakan metode re.sub() untuk menemukan semua substring yang cocok dengan regular expression dan menggantinya dengan string kosong. Kode lengkap di bawah menghasilkan daftar kosong, mengekstrak teks di antara tag html untuk setiap baris, dan menambahkannya ke daftar yang ditetapkan.

import re

list_rows = []
for row in rows:
    cells = row.find_all('td')
    str_cells = str(cells)
    clean = re.compile('<.*?>')
    clean2 = (re.sub(clean, '',str_cells))
    list_rows.append(clean2)
print(clean2)
type(clean2)

[14TH, INTEL TEAM M, 04:43:23, 00:58:59 - DANIELLE CASILLAS, 01:02:06 - RAMYA MERUVA, 01:17:06 - PALLAVI J SHINDE, 01:25:11 - NALINI MURARI]

str

Langkah berikutnya adalah mengonversi daftar tersebut menjadi dataframe dan melihat sekilas 10 baris pertama menggunakan Pandas.

df = pd.DataFrame(list_rows)
df.head(10)