Scikit-Learn 教學：Python 與機器學習

讀入資料

跟任何的資料科學專案相同，我們在教學的一開始就是將資料讀入 Python 的開發環境。如果您是一位機器學習的初學者，我們推薦三個很棒的資料來源，分別是加州大學 Irvine 分校的機器學習資料集、Kaggle 網站與 KD Nuggets 整理的資料集資源。

好，讓我們來暖身一下，利用 Python 的機器學習套件 scikit-learn 將一個叫作 digits 的資料讀入。

冷知識：scikit-learn 源於於 SciPy，事實上 scikit 有很多個，我們使用的 scikit-learn 套件是專門用來實作機器學習以及資料採礦的，這也是為什麼使用 learn 來命名:)

我們首先由 sklearn 套件載入 datasets 模組，然後使用 datasets 模組的 load_digits() 方法來輸入資料，試著依照註解的提示完成程式後點選 Run 觀察結果，如果沒有頭緒，可以點選 Solution 將程式完成後再點選 Run 觀察結果：

datasets 模組還有其他讀取資料的方法，您也可以用它來產生虛擬資料。我們現在所使用的資料集 digits 也可以從加州大學 Irvine 分校的機器學習資料集載入，您可以在這個連結找到。假如您想要從加州大學 Irvine 分校的機器學習資料集載入 digits，讀入資料的程式寫法會變得像這樣，試著依照註解的提示完成程式後點選 Run 觀察結果，如果沒有頭緒，可以點選 Solution 將程式完成後再點選 Run 觀察結果：

值得注意的是，從檔名的 .tra 與 .tes 可以得知，加州大學 Irvine 分校的機器學習資料集已經切分好訓練與測試資料，而上面這段程式中我們只讀入了訓練資料，如果要實作機器學習則還需要再讀入測試資料，

秘訣：想學習更多使用 Python 的 Pandas 套件來讀入與整理資料的技巧，可以參閱 Importing Data in Python course。

探索資料

仔細閱讀資料的文件或描述是很好的習慣，加州大學 Irvine 分校的機器學習資料集針對每個資料都有提供文件，閱讀文件可以提高我們對資料的瞭解程度。然而光是初步認識還是略嫌不足，接著我們要進行的是探索性分析（Exploratory data analysis），我們又該從何開始探索這些手寫數字圖片資料呢？

# 從 `sklearn` 載入 `datasets`
from sklearn import datasets
# 載入 matplotlib
import matplotlib.pyplot as plt

# 載入 `digits`
digits = datasets.load_digits()

# 設定圖形的大小（寬, 高）
fig = plt.figure(figsize=(4, 2))

# 調整子圖形 
fig.subplots_adjust(left=0, right=1, bottom=0, top=1, hspace=0.05, wspace=0.05)

# 把前 8 個手寫數字顯示在子圖形
for i in range(8):
    # 在 2 x 4 網格中第 i + 1 個位置繪製子圖形，並且關掉座標軸刻度
    ax = fig.add_subplot(2, 4, i + 1, xticks = [], yticks = [])
    # 顯示圖形，色彩選擇灰階
    ax.imshow(digits.images[i], cmap = plt.cm.binary)
    # 在左下角標示目標值
    ax.text(0, 7, str(digits.target[i]))

# 顯示圖形
plt.show()

# 從 `sklearn` 載入 `datasets`
from sklearn import datasets
# 載入 matplotlib
import matplotlib.pyplot as plt

# 載入 `digits`
digits = datasets.load_digits()

# 將觀測值與目標值放入一個 list
images_and_labels = list(zip(digits.images, digits.target))

# list 中的每個元素
for i, (image, label) in enumerate(images_and_labels[:8]):
    # 在 i + 1 的位置初始化子圖形
    plt.subplot(2, 4, i + 1)
    # 關掉子圖形座標軸刻度
    plt.axis('off')
    # 顯示圖形，色彩選擇灰階
    plt.imshow(image, cmap = plt.cm.binary)
    # 加入子圖形的標題
    plt.title('Training: ' + str(label))

# 顯示圖形
plt.show()

from sklearn import datasets
digits = datasets.load_digits()
import matplotlib.pyplot as plt

colors = ['black', 'blue', 'purple', 'yellow', 'white', 'red', 'lime', 'cyan', 'orange', 'gray']
for i in range(len(colors)):
    x = reduced_data_rpca[:, 0][digits.target == i]
    y = reduced_data_rpca[:, 1][digits.target == i]
    plt.scatter(x, y, c=colors[i])
plt.legend(digits.target_names, bbox_to_anchor=(1.05, 1), loc=2, borderaxespad=0.)
plt.xlabel('First Principal Component')
plt.ylabel('Second Principal Component')
plt.title("PCA Scatter Plot")
plt.show()

下一步呢？

在對資料本身有了一定認知後，我們必須思索的是如何應用，以及使用什麼樣的機器學習演算法來建立預測模型。

秘訣：對資料的認知程度愈高，愈容易找到應用與合適的機器學習演算法。

然而對於 scikit-learn 的初學者來說，這個套件的內容有點過於龐大，這時您可以參考scikit-learn 機器學習地圖來獲得額外的幫助。

我們想要對 digits 資料使用非監督式學習演算法，在這個機器學習地圖上我們沿著資料超過 50 個觀測值（確認！）、預測類別（確認！）、沒有目標值（只要不使用 digits.target 即可，確認！）、需要知道有幾個類別要預測（確認！）以及需要小於 1 萬個觀測值（確認！），我們可以順利應用 K-Means！

但是 K-Means 演算法究竟是什麼？K-Means 演算法是最簡單且最廣泛被運用來解決分群問題的非監督式學習演算法。演算法首先隨意設定 k 個中心點，然後計算各個觀測值與這 k 個中心點的距離，然後將觀測值分配給距離最近的中心點貼上標籤，形成 k 個群集。接著這 k 個中心點的位置會被重新計算並移動到各個群集目前的中心，然後再重新計算各個觀測值與這 k 個中心點的距離，更新各個觀測值的群集標籤。前述的流程會重複進行，一直到各個觀測值的群集標籤穩定不更動為止。k 值由使用者指定，而一開始這 k 個中心點的位置則是隨機擺放，這些隨機擺放的位置會影響 K-Means 演算法的結果，可以透過設定 n-init 參數來處理這個問題。

資料的預處理

在開始使用 K-Means 演算法之前，我們應該先學習關於資料的預處理（Preprocessing）。

digits 資料的分群

經過標準化與切分之後，我們就可以開始使用 K-Means 演算法，透過 cluster 模組的 KMeans() 方法來建立模型，在這裡要注意三個參數：init、n_clusters 與 random_state。您一定還記得 random_state，這個參數能夠確保我們每次執行這段程式得到的結果相同，試著依照註解的提示完成程式後點選 Run 觀察結果，如果沒有頭緒，可以點選 Solution 將程式完成後再點選 Run 觀察結果：

init 參數指定我們使用的 K-Means 演算法 k-means++，init 參數預設就是使用 K-Means 演算法，所以這個參數其實是可以省略的。

n_clusters 參數被設定為 10，這呼應了我們有 0 到 9 這 10 個相異目標值。假使在未知群集的情況下，通常會嘗試幾個不同的 n_clusters 參數值，分別計算平方誤差和（Sum of the Squared Errors, SSE），然後選擇平方誤差和最小的那個 n_clusters 作為群集數，換句話說就是讓各個群集中的每個觀測值到群集中心點的距離最小化。

再提醒一下，不需要將測試資料放入模型中，測試資料是用來評估模型的表現。接著我們可以利用將各個群集的中心圖片視覺化：

# 建立 K-Means 模型
from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import scale
import numpy as np
from sklearn import cluster

digits = datasets.load_digits()
data = scale(digits.data)
X_train, X_test, y_train, y_test, images_train, images_test = train_test_split(data, digits.target, digits.images, test_size=0.25, random_state=42)
clf = cluster.KMeans(init='k-means++', n_clusters=10, random_state=42)
clf.fit(X_train)

# 載入 matplotlib
import matplotlib.pyplot as plt

# 設定圖形的大小
fig = plt.figure(figsize=(8, 3))

# 圖形標題
fig.suptitle('Cluster Center Images', fontsize=14, fontweight='bold')

# 對所有的目標值（0 - 9）
for i in range(10):
    # 在 2x5 的網格上繪製子圖形
    ax = fig.add_subplot(2, 5, i + 1)
    # 顯示圖片
    ax.imshow(clf.cluster_centers_[i].reshape((8, 8)), cmap=plt.cm.binary)
    # 將座標軸刻度關掉
    plt.axis('off')

# 顯示圖形
plt.show()

接下來我們要預測測試資料的目標值，試著依照註解的提示完成程式後點選 Run 觀察結果，如果沒有頭緒，可以點選 Solution 將程式完成後再點選 Run 觀察結果：

在上述的程式中，我們預測 450 筆測試資料的目標值並將結果儲存於 y_pred 之中，接著將 y_pred 與 y_test 的前 100 個元素印出，很快就可以看到一些結果，知道哪幾個觀測值預測正確，哪幾個觀測值預測錯誤。

接著我們來將預測的目標值視覺化：

# 建立 K-Means 模型
from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import scale
import numpy as np
from sklearn import cluster
# 載入 `Isomap()`
from sklearn.manifold import Isomap

digits = datasets.load_digits()
data = scale(digits.data)
X_train, X_test, y_train, y_test, images_train, images_test = train_test_split(data, digits.target, digits.images, test_size=0.25, random_state=42)
clf = cluster.KMeans(init='k-means++', n_clusters=10, random_state=42)
clf.fit(X_train)

# 使用 Isomap 對 `X_train` 資料降維
X_iso = Isomap(n_neighbors=10).fit_transform(X_train)

# 使用 K-Means 演算法
clusters = clf.fit_predict(X_train)

# 在 1x2 的網格上繪製子圖形
fig, ax = plt.subplots(1, 2, figsize=(8, 4))

# 調整圖形的外觀
fig.suptitle('Predicted Versus Training Labels', fontsize=14, fontweight='bold')
fig.subplots_adjust(top=0.85)

# 加入散佈圖 
ax[0].scatter(X_iso[:, 0], X_iso[:, 1], c=clusters)
ax[0].set_title('Predicted Training Labels')
ax[1].scatter(X_iso[:, 0], X_iso[:, 1], c=y_train)
ax[1].set_title('Actual Training Labels')

# 顯示圖形
plt.show()

這次我們改用 Isomap() 來對 digits 資料進行降維，跟主成份分析不同的地方是 Isomap 屬於非線性的降維方法。

# 建立 K-Means 模型
from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import scale
import numpy as np
from sklearn import cluster
# 載入 `PCA()`
from sklearn.decomposition import PCA

# 使用 PCA 對 `X_train` 資料降維
X_pca = PCA(n_components=2).fit_transform(X_train)

# 使用 K-Means 演算法
clusters = clf.fit_predict(X_train)

# 在 1x2 的網格上繪製子圖形
fig, ax = plt.subplots(1, 2, figsize=(8, 4))

# 調整圖形的外觀
fig.suptitle('Predicted Versus Training Labels', fontsize=14, fontweight='bold')
fig.subplots_adjust(top=0.85)

# 加入散佈圖 
ax[0].scatter(X_pca[:, 0], X_pca[:, 1], c=clusters)
ax[0].set_title('Predicted Training Labels')
ax[1].scatter(X_pca[:, 0], X_pca[:, 1], c=y_train)
ax[1].set_title('Actual Training Labels')

# 顯示圖形
plt.show()

評估分群模型的表現

評估模型的表現是機器學習很重要的課題，我們首先將混淆矩陣（Confusion matrix）印出，試著依照註解的提示完成程式後點選 Run 觀察結果，如果沒有頭緒，可以點選 Solution 將程式完成後再點選 Run 觀察結果：

我們可以看到 41 個 5 被正確預測，11 個 8 被正確預測，但混淆矩陣並不是唯一的評估方式，還有非常多的評估指標可以參考，直接點選 Run 觀察結果：

這些指標包含了：

• Homogeneity score
• Completeness score
• V-measure score
• Adjusted rand score
• Adjusted Mutual Info score, AMI score
• Silhouette score

但這些評估指標都不是太好，像是 silhouette score 接近 0，代表很多的觀測值都接近分群邊界而可能被分到錯誤的群集中；而 ARI 則告訴我們同一群集中的觀測值沒有完全相同；Completeness score 則告訴我們一定有觀測值被分在錯誤的群集。

這提示我們針對 digits 資料也許應該嘗試另外一種演算法。

嘗試另外一種演算法：支持向量機（Support Vector Machines, SVM）

當訓練資料沒有目標值的時候適用前述的分群演算法，當訓練資料具有目標值的時候就能夠適用分類演算法。我們再回顧一下 scikit-learn 機器學習地圖，在分類演算的區域第一個看到的是線性 SVC，讓我們對 digits 資料使用這個演算法試試看，直接點選 Run 觀察結果：

在這段程式中我們手動設定了 gamma 參數，但其實透過網格搜索（Grid search）或交叉驗證（Cross validation）都可以自動找出合適的參數設定，但這些方法並不是這份教學的重點，所以我們只是很快地展示一下如何使用網格搜索來調整參數而不去深究，直接點選 Run 觀察結果：

接下來，我們會比較手動設定參數與使用網格搜索調整參數的兩個分類器，看看網格搜索找出來的參數是不是真的比較好，直接點選 Run 觀察結果：

在這樣的參數設定下準確率高達 99%！

在使用網格搜索以前，我們將 kernel 參數指定為 linear，在 SVM 演算法 kernel 參數預設為 rbf，而除了前面指定的 linear，尚可以設定為 poly。但是究竟 kernel 是什麼？kernel 是一種計算訓練資料觀測值相似度的函數，SVM 演算法利用這個函數來進行分類，我們先假設這些觀測值線性可分，所以設定 kernel = linear，但是網格搜索的結果則建議我們使用 kernel = rbf 的參數設定。

我們接著使用 kernel = linear 的分類器來預測測試資料，試著依照註解的提示完成程式後點選 Run 觀察結果，如果沒有頭緒，可以點選 Solution 將程式完成後再點選 Run 觀察結果：

視覺化手寫數字圖片與預測的結果：

# 使用 SVC 演算法
from sklearn import datasets
from sklearn.preprocessing import scale
from sklearn import cluster
digits = datasets.load_digits()
data = scale(digits.data)
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test, images_train, images_test = train_test_split(digits.data, digits.target, digits.images, test_size=0.25, random_state=42)
from sklearn import svm
svc_model = svm.SVC(gamma=0.001, C=100., kernel='linear')
svc_model.fit(X_train, y_train)

# 載入 matplotlib
import matplotlib.pyplot as plt

# 將預測結果指派給 `predicted`
predicted = svc_model.predict(X_test)

# 將 `images_test` 與 `predicted` 存入 `images_and_predictions`
images_and_predictions = list(zip(images_test, predicted))

# 繪製前四個元素
for index, (image, prediction) in enumerate(images_and_predictions[:4]):
    # 在 1x4 的網格上繪製子圖形
    plt.subplot(1, 4, index + 1)
    # 關掉座標軸的刻度
    plt.axis('off')
    # 色彩用灰階
    plt.imshow(image, cmap=plt.cm.binary)
    # 加入標題
    plt.title('Predicted: ' + str(prediction))

# 顯示圖形
plt.show()

這跟我們在探索性分析時作的視覺化非常相似，只是這次我們只顯示了前面四個測試資料與預測結果。

那麼這個模型的表現如何呢？試著依照註解的提示完成程式後點選 Run 觀察結果，如果沒有頭緒，可以點選 Solution 將程式完成後再點選 Run 觀察結果：

我們很明顯地看出 SVC 表現得比先前的 K-Means 分群好得太多，接著我們利用 Isomap() 視覺化預測結果與目標值：

# 使用 SVC 演算法
from sklearn import datasets
from sklearn.preprocessing import scale
from sklearn import cluster
import matplotlib.pyplot as plt
from sklearn.manifold import Isomap

digits = datasets.load_digits()
data = scale(digits.data)
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test, images_train, images_test = train_test_split(digits.data, digits.target, digits.images, test_size=0.25, random_state=42)
from sklearn import svm
svc_model = svm.SVC(gamma=0.001, C=100., kernel='linear')
svc_model.fit(X_train, y_train)

# 對 `digits` 資料降維
X_iso = Isomap(n_neighbors=10).fit_transform(X_train)

# 使用 SVC 演算法
predicted = svc_model.predict(X_train)

# 在 1x2 的網格上繪製子圖形
fig, ax = plt.subplots(1, 2, figsize=(8, 4))

# 調整外觀
fig.subplots_adjust(top=0.85)

# 繪製散佈圖 
ax[0].scatter(X_iso[:, 0], X_iso[:, 1], c=predicted)
ax[0].set_title('Predicted labels')
ax[1].scatter(X_iso[:, 0], X_iso[:, 1], c=y_train)
ax[1].set_title('Actual Labels')

# 加入標題
fig.suptitle('Predicted versus actual labels', fontsize=14, fontweight='bold')

# 顯示圖形
plt.show()

完成後我們可以看到這張散佈圖：

從上圖我們可以看到非常好的分類結果，這真是天大的好消息 :)

下一步呢？