使用 Python（和 Beautiful Soup）进行网页抓取

网页抓取（Web scraping）是指使用程序或算法从网络中提取并处理大量数据的过程。无论您是数据科学家、工程师，还是需要分析大规模数据集的从业者，具备从网页抓取数据的能力都非常有用。举个例子，您在网上找到了数据，但没有直接的下载方式，此时就可以使用 Python 进行网页抓取，把数据提取成便于导入的可用格式。

在本教程中，您将学习以下内容：

• 使用 Python 的 Beautiful Soup 模块从网页提取数据
• 使用 Python 的 Pandas 库进行数据处理与清洗
• 使用 Python 的 Matplotlib 库进行数据可视化

本教程所用数据集来自 2017 年 6 月在俄勒冈州希尔斯伯勒举行的一场 10 公里赛。您将分析 10 公里跑者的表现，并回答以下问题：

• 跑者的平均完赛时间是多少？
• 跑者的完赛时间是否符合正态分布？
• 不同年龄组的男女之间是否存在表现差异？

使用 Beautiful Soup 进行网页抓取

在 Jupyter Notebook 中，首先应导入必要的模块（pandas、numpy、matplotlib.pyplot、Seaborn）。如果您尚未安装 Jupyter Notebook，建议通过 Anaconda Python 发行版进行安装。为便于直接显示图表，请确保包含如下所示的 %matplotlib inline 语句。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
技术支持

要进行网页抓取，还需要导入下列库。urllib.request 模块用于打开 URL。BeautifulSoup 包用于从 html 文件中提取数据。BeautifulSoup 库的名称为 bs4，表示 BeautifulSoup 第 4 版。

from urllib.request import urlopen
from bs4 import BeautifulSoup
技术支持

在导入必要模块后，指定包含数据集的 URL，并将其传递给 urlopen() 以获取页面的 html。

url = "http://www.hubertiming.com/results/2017GPTR10K"
html = urlopen(url)
技术支持

获取页面的 html 只是第一步。接下来需要从 html 创建一个 BeautifulSoup 对象。方法是将 html 传入 BeautifulSoup() 函数。BeautifulSoup 包用于解析 html，即将原始 html 文本拆解为 Python 对象。第二个参数 lxml 是 html 解析器，暂时无需关心其细节。

soup = BeautifulSoup(html, 'lxml')
type(soup)
技术支持

bs4.BeautifulSoup
技术支持

soup 对象可以让您提取被抓取网站的关键信息，例如如下所示获取页面标题。

# Get the title
title = soup.title
print(title)
技术支持

<title>2017 Intel Great Place to Run 10K \ Urban Clash Games Race Results</title>
技术支持

您也可以获取网页的纯文本，并快速打印出来，检查是否符合预期。

# Print out the text
text = soup.get_text()
#print(soup.text)
技术支持

您可以通过在网页任意位置右键并选择 "Inspect" 来查看网页的 html。结果大致如下图所示。

可以使用 soup 的 find_all() 方法提取网页中的有用 html 标签。常用的标签包括 < a >（超链接）、< table >（表格）、< tr >（表格行）、< th >（表头）和 < td >（单元格）。下面的代码演示如何提取网页中的所有超链接。

soup.find_all('a')
技术支持

[<a class="btn btn-primary btn-lg" href="/results/2017GPTR" role="button">5K</a>,
 <a href="http://hubertiming.com">Huber Timing Home</a>,
 <a href="#individual">Individual Results</a>,
 <a href="#team">Team Results</a>,
 <a href="mailto:[email protected]">timing@hubertiming.com</a>,
 <a href="#tabs-1" style="font-size: 18px">Results</a>,
 <a name="individual"></a>,
 <a name="team"></a>,
 <a href="http://www.hubertiming.com"><img height="65" src="/sites/all/themes/hubertiming/images/clockWithFinishSign_small.png" width="50"/>Huber Timing</a>,
 <a href="http://facebook.com/hubertiming"><img src="/results/FB-f-Logo__blue_50.png"/></a>]
技术支持

如上所示，html 标签有时会带有 class、src 等属性，这些属性为元素提供了附加信息。您可以用 for 循环和 get("href") 方法，仅提取并打印出超链接。

all_links = soup.find_all("a")
for link in all_links:
    print(link.get("href"))
技术支持

/results/2017GPTR
http://hubertiming.com/
#individual
#team
mailto:timing@hubertiming.com
#tabs-1
None
None
http://www.hubertiming.com/
http://facebook.com/hubertiming/
技术支持

若只打印表格行，请在 soup.find_all() 中传入 tr 参数。

# Print the first 10 rows for sanity check
rows = soup.find_all('tr')
print(rows[:10])
技术支持

[<tr><td>Finishers:</td><td>577</td></tr>, <tr><td>Male:</td><td>414</td></tr>, <tr><td>Female:</td><td>163</td></tr>, <tr class="header">
<th>Place</th>
<th>Bib</th>
<th>Name</th>
<th>Gender</th>
<th>City</th>
<th>State</th>
<th>Chip Time</th>
<th>Chip Pace</th>
<th>Gender Place</th>
<th>Age Group</th>
<th>Age Group Place</th>
<th>Time to Start</th>
<th>Gun Time</th>
<th>Team</th>
</tr>, <tr>
<td>1</td>
<td>814</td>
<td>JARED WILSON</td>
<td>M</td>
<td>TIGARD</td>
<td>OR</td>
<td>00:36:21</td>
<td>05:51</td>
<td>1 of 414</td>
<td>M 36-45</td>
<td>1 of 152</td>
<td>00:00:03</td>
<td>00:36:24</td>
<td></td>
</tr>, <tr>
<td>2</td>
<td>573</td>
<td>NATHAN A SUSTERSIC</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:36:42</td>
<td>05:55</td>
<td>2 of 414</td>
<td>M 26-35</td>
<td>1 of 154</td>
<td>00:00:03</td>
<td>00:36:45</td>
<td>INTEL TEAM F</td>
</tr>, <tr>
<td>3</td>
<td>687</td>
<td>FRANCISCO MAYA</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:37:44</td>
<td>06:05</td>
<td>3 of 414</td>
<td>M 46-55</td>
<td>1 of 64</td>
<td>00:00:04</td>
<td>00:37:48</td>
<td></td>
</tr>, <tr>
<td>4</td>
<td>623</td>
<td>PAUL MORROW</td>
<td>M</td>
<td>BEAVERTON</td>
<td>OR</td>
<td>00:38:34</td>
<td>06:13</td>
<td>4 of 414</td>
<td>M 36-45</td>
<td>2 of 152</td>
<td>00:00:03</td>
<td>00:38:37</td>
<td></td>
</tr>, <tr>
<td>5</td>
<td>569</td>
<td>DEREK G OSBORNE</td>
<td>M</td>
<td>HILLSBORO</td>
<td>OR</td>
<td>00:39:21</td>
<td>06:20</td>
<td>5 of 414</td>
<td>M 26-35</td>
<td>2 of 154</td>
<td>00:00:03</td>
<td>00:39:24</td>
<td>INTEL TEAM F</td>
</tr>, <tr>
<td>6</td>
<td>642</td>
<td>JONATHON TRAN</td>
<td>M</td>
<td>PORTLAND</td>
<td>OR</td>
<td>00:39:49</td>
<td>06:25</td>
<td>6 of 414</td>
<td>M 18-25</td>
<td>1 of 34</td>
<td>00:00:06</td>
<td>00:39:55</td>
<td></td>
</tr>]
技术支持

本教程的目标是将网页中的一个表格转换为 dataframe，以便用 Python 更容易地进行处理。为此，先以列表形式获取所有表格行，然后将该列表转换为 dataframe。下面的 for 循环遍历表格行，并打印各行的单元格。

for row in rows:
    row_td = row.find_all('td')
print(row_td)
type(row_td)
技术支持

[<td>14TH</td>, <td>INTEL TEAM M</td>, <td>04:43:23</td>, <td>00:58:59 - DANIELLE CASILLAS</td>, <td>01:02:06 - RAMYA MERUVA</td>, <td>01:17:06 - PALLAVI J SHINDE</td>, <td>01:25:11 - NALINI MURARI]

bs4.element.ResultSet
技术支持

上面的输出显示每一行都带有嵌入的 html 标签，这并不是我们想要的结果。您可以使用 Beautiful Soup 或正则表达式去除 html 标签。

最简单的去除 html 标签的方法是使用 BeautifulSoup，只需一行代码。将目标字符串传入 BeautifulSoup()，再使用 get_text() 方法提取不含 html 标签的文本。

str_cells = str(row_td)
cleantext = BeautifulSoup(str_cells, "lxml").get_text()
print(cleantext)
技术支持

[14TH, INTEL TEAM M, 04:43:23, 00:58:59 - DANIELLE CASILLAS, 01:02:06 - RAMYA MERUVA, 01:17:06 - PALLAVI J SHINDE, 01:25:11 - NALINI MURARI]
技术支持

不建议使用正则表达式，因为代码更长且容易出错。它需要导入 re（正则表达式）模块。下面的代码展示了如何构建一个正则表达式来匹配 < td > html 标签中的所有字符，并为每一行替换为空字符串。首先，将要匹配的字符串传给 re.compile() 编译为正则表达式。点、星号和问号（.*?) 会匹配一个左尖括号，后跟任意内容，再跟一个右尖括号。它以非贪婪方式匹配，即匹配尽可能短的字符串。如果省略问号，它将匹配从第一个左尖括号到最后一个右尖括号之间的所有文本。编译正则后，可用 re.sub() 方法查找所有匹配子串并替换为空字符串。以下完整代码会生成一个空列表，提取每行 html 标签之间的文本，并将其追加到指定列表中。

import re

list_rows = []
for row in rows:
    cells = row.find_all('td')
    str_cells = str(cells)
    clean = re.compile('<.*?>')
    clean2 = (re.sub(clean, '',str_cells))
    list_rows.append(clean2)
print(clean2)
type(clean2)
技术支持

[14TH, INTEL TEAM M, 04:43:23, 00:58:59 - DANIELLE CASILLAS, 01:02:06 - RAMYA MERUVA, 01:17:06 - PALLAVI J SHINDE, 01:25:11 - NALINI MURARI]

str
技术支持

下一步是将列表转换为 dataframe，并使用 Pandas 快速查看前 10 行。

df = pd.DataFrame(list_rows)
df.head(10)
技术支持