Trong hướng dẫn này, bạn sẽ được giới thiệu về thế giới Machine Learning (ML) với Python. Để hiểu ML một cách thực tiễn, bạn sẽ dùng một thuật toán machine learning nổi tiếng gọi là K-Nearest Neighbor (KNN) với Python.
Bạn sẽ triển khai KNN trên bộ dữ liệu Iris nổi tiếng.
Lưu ý: Bạn có thể cân nhắc tham gia khóa học Machine Learning với Python hoặc để có bối cảnh về cách ML phát triển cùng nhiều nội dung khác, hãy đọc bài viết này.
Giới thiệu
Machine Learning phát triển từ khoa học máy tính, chủ yếu nghiên cứu thiết kế các thuật toán có thể học từ kinh nghiệm. Để học, chúng cần dữ liệu có các thuộc tính nhất định dựa trên đó các thuật toán cố gắng tìm ra những mẫu dự đoán có ý nghĩa. Nhìn chung, các tác vụ ML có thể được phân loại như học khái niệm, phân cụm, mô hình dự đoán, v.v. Mục tiêu cuối cùng của các thuật toán ML là có thể đưa ra quyết định chính xác mà không cần can thiệp của con người. Dự đoán cổ phiếu hay thời tiết là một vài ứng dụng của các thuật toán machine learning.
Có nhiều thuật toán machine learning như Cây quyết định, Naive Bayes, Rừng ngẫu nhiên, Máy véc-tơ hỗ trợ, Láng giềng gần nhất k, Phân cụm K-means, v.v.
Trong lớp thuật toán machine learning, hôm nay bạn sẽ sử dụng k-láng giềng gần nhất.
Vậy chính xác thuật toán K-Nearest Neighbor là gì? Hãy cùng tìm hiểu!
K-Nearest Neighbor là gì?
KNN hay k-láng giềng gần nhất là một thuật toán học có giám sát; “có giám sát” nghĩa là nó sử dụng nhãn lớp của dữ liệu huấn luyện trong giai đoạn học. Đây là một thuật toán học dựa trên thể hiện (instance-based), trong đó các điểm dữ liệu mới được phân loại dựa trên các thể hiện (điểm dữ liệu) đã lưu trữ và gán nhãn. KNN có thể dùng cho cả phân loại và hồi quy; tuy vậy, nó được dùng rộng rãi hơn cho mục đích phân loại.
Biến k trong KNN là một biến quan trọng, còn gọi là siêu tham số, giúp phân loại chính xác một điểm dữ liệu. Cụ thể hơn, k là số lượng láng giềng gần nhất mà bạn muốn “lấy phiếu” khi phân loại một điểm dữ liệu mới.
Bạn có thể thấy khi giá trị k tăng từ 1 lên 7, ranh giới quyết định giữa hai lớp có một số điểm dữ liệu trở nên mượt hơn.
Giờ câu hỏi là: làm sao mọi thứ “kỳ diệu” này diễn ra, khi mỗi lần có một điểm dữ liệu mới xuất hiện, nó được phân loại dựa trên các điểm đã lưu trữ?
Hãy hiểu nhanh theo các bước sau:
Đầu tiên, bạn nạp toàn bộ dữ liệu và khởi tạo giá trị k,
Sau đó, tính khoảng cách giữa các điểm dữ liệu đã lưu và điểm dữ liệu mới mà bạn muốn phân loại bằng các độ đo tương đồng hay khoảng cách như khoảng cách Manhattan (L1), khoảng cách Euclid (L2), độ tương đồng Cosine, khoảng cách Bhattacharyya, khoảng cách Chebyshev, v.v.
Tiếp theo, sắp xếp các giá trị khoảng cách theo thứ tự tăng hoặc giảm và xác định k láng giềng gần nhất ở đầu hoặc cuối danh sách.
Thu thập nhãn của k láng giềng gần nhất, và dùng đa số phiếu hoặc phiếu có trọng số để phân loại điểm dữ liệu mới. Điểm dữ liệu mới được gán nhãn lớp dựa trên điểm có số phiếu cao nhất trong tất cả các điểm đã lưu.
Cuối cùng, trả về lớp dự đoán cho thể hiện mới.
Dự đoán có thể thuộc hai loại: phân loại trong đó gán nhãn lớp cho điểm dữ liệu mới, hoặc hồi quy trong đó gán một giá trị cho điểm dữ liệu mới. Khác với phân loại, trong hồi quy, trung bình của k láng giềng gần nhất sẽ được gán cho điểm dữ liệu mới.
Nhược điểm của KNN: Thứ nhất, độ phức tạp khi tìm láng giềng gần nhất cho mỗi điểm dữ liệu mới. Thứ hai, việc xác định giá trị k đôi khi là một nhiệm vụ khó khăn. Cuối cùng, cũng không rõ nên dùng loại độ đo khoảng cách nào khi tính láng giềng gần nhất.
Lý thuyết thế là đủ rồi nhỉ? Giờ hãy nạp, phân tích và tìm hiểu dữ liệu bạn sẽ dùng trong hướng dẫn nhỏ hôm nay.
Nạp dữ liệu Iris
Bộ dữ liệu Iris gồm 150 mẫu với ba lớp là Iris-Setosa, Iris-Versicolor và Iris-Virginica. Bốn đặc trưng/thuộc tính giúp nhận dạng duy nhất một trong ba lớp gồm sepal-length, sepal-width, petal-length và petal-width.
Bạn có thể thoải mái dùng bộ dữ liệu công khai khác hoặc dữ liệu riêng của bạn.
Sklearn là thư viện machine learning cho Python được dùng rộng rãi trong các tác vụ khoa học dữ liệu. Nó cung cấp nhiều thuật toán phân loại, hồi quy và phân cụm bao gồm support vector machines, random forests, gradient boosting, k-means, KNN, v.v. Trong sklearn có thư viện datasets chứa nhiều bộ dữ liệu sẵn dùng cho các tác vụ khác nhau, bao gồm cả Iris; tất cả có thể nạp sẵn “out of the box”. Rất trực quan và đơn giản. Vậy hãy nhanh chóng nạp bộ dữ liệu iris.
Tiếp theo, bạn cần kết hợp dữ liệu và nhãn lớp; để làm vậy, bạn sẽ dùng thư viện Python tuyệt vời là NumPy. NumPy bổ sung hỗ trợ cho mảng và ma trận lớn, đa chiều, cùng một tập hợp phong phú các hàm toán học cấp cao để thao tác trên các mảng này. Hãy import nhanh nó!
Tiếp theo, bạn sẽ import thư viện phân tích dữ liệu của Python là pandas — hữu ích khi bạn muốn sắp xếp dữ liệu theo dạng bảng và thực hiện một số thao tác, biến đổi trên dữ liệu. Cụ thể, nó cung cấp các cấu trúc dữ liệu và thao tác cho bảng số và chuỗi thời gian.
Trong hướng dẫn hôm nay, bạn sẽ dùng pandas khá nhiều.
Bây giờ bạn đã có khung dữ liệu dataset gồm cả dữ liệu & nhãn lớp bạn cần!
Trước khi đi tiếp, hãy nhớ rằng biến labels có nhãn lớp dưới dạng số, nhưng bạn sẽ chuyển các giá trị số này thành tên hoa hay loài.
Để làm điều đó, bạn sẽ chỉ chọn cột class và thay thế mỗi trong ba giá trị số bằng loài tương ứng. Bạn sẽ dùng inplace=True để sửa đổi trực tiếp khung dữ liệu dataset.
dataset['species'].replace(0,'Iris-setosa',inplace=True)
dataset['species'].replace(1,'Iris-versicolor',inplace=True)
dataset['species'].replace(2,'Iris-virginica',inplace=True)Được hỗ trợ bởi
Hãy in 5 hàng đầu của dataset để xem trông thế nào!
Hãy trực quan hóa dữ liệu bạn đã nạp ở trên bằng scatterplot để xem một biến bị ảnh hưởng bởi biến kia như thế nào, hay nói cách khác là mức độ tương quan giữa hai biến.
Bạn sẽ dùng thư viện matplotlib để trực quan hóa dữ liệu bằng biểu đồ phân tán.
Từ biểu đồ trên, có thể thấy rõ có tương quan cao giữa các hoa Iris setosa xét theo chiều dài và chiều rộng đài hoa. Ngược lại, tương quan giữa Iris versicolor và Iris virginica thấp hơn. Các điểm dữ liệu của versicolor & virginica phân tán hơn so với setosa vốn dày đặc.
Hãy nhanh chóng vẽ thêm biểu đồ cho petal-length và petal-width.
Từ ba bảng trên, có thể thấy rõ tương quan giữa petal-length và petal-width của setosa và virginica lần lượt là 0.33 và 0.32. Trong khi đó, với versicolor là 0.78.
Tiếp theo, hãy trực quan hóa phân phối đặc trưng bằng cách vẽ các biểu đồ histogram:
petal-length, petal-width và sepal-length cho thấy phân phối đơn đỉnh, trong khi sepal-width có kiểu phân phối gần Gaussian. Tất cả phân tích này đều hữu ích vì từ đó bạn có thể cân nhắc dùng thuật toán phù hợp với loại phân phối này.
Tiếp theo, bạn sẽ phân tích xem bốn thuộc tính có cùng thang đo hay không; đây là khía cạnh quan trọng trong ML. Khung dữ liệu pandas có hàm dựng sẵn describe cung cấp count, mean, max, min của dữ liệu theo dạng bảng.
species
Iris-setosa 50
Iris-versicolor 50
Iris-virginica 50dtype: int64
Được hỗ trợ bởi
Tiền xử lý dữ liệu
Sau khi nạp và phân tích dữ liệu kỹ lưỡng, đã đến lúc chuẩn bị dữ liệu để đưa vào mô hình ML. Trong phần này, bạn sẽ tiền xử lý dữ liệu theo hai cách: chuẩn hóa dữ liệu và chia dữ liệu thành tập huấn luyện và kiểm tra.
Chuẩn hóa dữ liệu
Có hai cách để bạn chuẩn hóa dữ liệu:
Chuẩn hóa theo mẫu trong đó bạn chuẩn hóa từng mẫu riêng lẻ,
Chuẩn hóa theo đặc trưng trong đó bạn chuẩn hóa mỗi đặc trưng theo cùng một cách trên tất cả các mẫu.
Vì sao hoặc khi nào bạn cần chuẩn hóa dữ liệu? Và bạn có cần chuẩn hóa dữ liệu Iris không?
Câu trả lời là hầu như luôn luôn. Chuẩn hóa dữ liệu là một thực hành tốt vì nó đưa tất cả mẫu về cùng thang đo và phạm vi. Chuẩn hóa đặc biệt quan trọng khi dữ liệu của bạn không nhất quán. Bạn có thể kiểm tra sự không nhất quán bằng hàm describe() như đã học ở trên — hàm này cho bạn giá trị max và min. Nếu giá trị max và min của một đặc trưng lớn hơn đáng kể so với đặc trưng khác thì việc đưa cả hai về cùng thang đo là rất quan trọng.
Giả sử X là một đặc trưng có phạm vi lớn và Y là đặc trưng thứ hai có phạm vi nhỏ. Khi đó, ảnh hưởng của Y có thể bị lấn át bởi ảnh hưởng của X. Trong trường hợp đó, việc chuẩn hóa cả X và Y trở nên quan trọng.
Với dữ liệu Iris, không cần chuẩn hóa.
Hãy in lại kết quả describe() để xem vì sao bạn không cần chuẩn hóa.
Thuộc tính sepal-length có giá trị từ 4,3 đến 7,9; sepal-width có giá trị từ 2 đến 4,4; petal-length từ 1 đến 6,9; và petal-width từ 0,1 đến 2,5. Giá trị của tất cả đặc trưng nằm trong khoảng 0,1 đến 7,9 — có thể coi là chấp nhận được. Do đó, bạn không cần áp dụng chuẩn hóa cho bộ dữ liệu Iris.
Chia dữ liệu
Đây là một khía cạnh quan trọng khác của machine learning vì mục tiêu của bạn là tạo ra một mô hình đủ khả năng đưa ra quyết định hoặc phân loại dữ liệu trong môi trường kiểm tra mà không cần can thiệp của con người. Do vậy, trước khi triển khai mô hình ML trong thực tế, bạn cần đảm bảo mô hình có thể khái quát hóa tốt trên dữ liệu kiểm tra.
Với dữ liệu Iris, bạn có 150 mẫu; bạn sẽ huấn luyện mô hình ML trên 80% dữ liệu và 20% còn lại dùng để kiểm tra.
Trong khoa học dữ liệu, bạn sẽ thường gặp thuật ngữ Overfitting (quá khớp), nghĩa là mô hình học rất tốt dữ liệu huấn luyện nhưng không hoạt động tốt trên dữ liệu kiểm tra. Vì vậy, việc chia dữ liệu thành tập huấn luyện và kiểm tra hay xác thực sẽ giúp bạn biết mô hình có bị quá khớp hay không.
Để chia tập huấn luyện và kiểm tra, bạn sẽ dùng thư viện sklearn với hàm tách dựng sẵn train_test_split. Hãy chia dữ liệu.
from sklearn.model_selection import train_test_split
train_data, test_data, train_label, test_label = train_test_split(dataset.iloc[:,:3], dataset.iloc[:,3], test_size=0.2, random_state=42)Được hỗ trợ bởi
Lưu ý random_state là hạt giống ngẫu nhiên; nếu bạn thay đổi số này thì cách chia dữ liệu cũng thay đổi. Tuy nhiên, nếu giữ nguyên random_state và chạy lại nhiều lần thì kết quả chia dữ liệu vẫn không đổi.
Hãy in nhanh kích thước dữ liệu huấn luyện và kiểm tra cùng với nhãn của chúng.
train_data.shape,train_label.shape,test_data.shape,test_label.shape
Được hỗ trợ bởi
Cuối cùng, đã đến lúc đưa dữ liệu vào thuật toán k-láng giềng gần nhất!
Mô hình KNN
Sau khi nạp, phân tích và tiền xử lý dữ liệu, giờ là lúc bạn đưa dữ liệu vào mô hình KNN. Để làm vậy, bạn sẽ dùng hàm dựng sẵn neighbors của sklearn với lớp KNeigborsClassifier.
Hãy bắt đầu bằng cách import bộ phân loại.
from sklearn.neighbors import KNeighborsClassifier
Được hỗ trợ bởi
Lưu ý: tham số k (n_neighbors) thường là số lẻ để tránh hòa khi bỏ phiếu.
Để quyết định giá trị tốt nhất cho siêu tham số k, bạn sẽ thực hiện grid-search. Bạn sẽ huấn luyện và kiểm tra mô hình trên 10 giá trị k khác nhau và cuối cùng dùng giá trị cho kết quả tốt nhất.
Hãy khởi tạo biến neighbors(k) với các giá trị từ 1–9 và hai ma trận zero của numpy là train_accuracy và test_accuracy tương ứng cho độ chính xác huấn luyện và kiểm tra. Bạn sẽ cần chúng sau để vẽ đồ thị chọn giá trị neighbor tốt nhất.
Đoạn mã tiếp theo là nơi “phép màu” diễn ra. Bạn sẽ enumerate qua cả chín giá trị láng giềng và với mỗi giá trị, bạn dự đoán trên cả dữ liệu huấn luyện và kiểm tra. Cuối cùng, lưu độ chính xác vào các mảng numpy train_accuracy và test_accuracy.
for i,k inenumerate(neighbors):
knn = KNeighborsClassifier(n_neighbors=k)#Fit the model
knn.fit(train_data, train_label)#Compute accuracy on the training set
train_accuracy[i]= knn.score(train_data, train_label)#Compute accuracy on the test set
test_accuracy[i]= knn.score(test_data, test_label)Được hỗ trợ bởi
Tiếp theo, bạn sẽ vẽ độ chính xác huấn luyện và kiểm tra bằng matplotlib. Với đồ thị accuracy vs. varying number of neighbors, bạn sẽ chọn được giá trị k mà tại đó mô hình hoạt động tốt nhất.
plt.figure(figsize=(10,6))
plt.title('KNN accuracy with varying number of neighbors',fontsize=20)
plt.plot(neighbors, test_accuracy, label='Testing Accuracy')
plt.plot(neighbors, train_accuracy, label='Training accuracy')
plt.legend(prop={'size':20})
plt.xlabel('Number of neighbors',fontsize=20)
plt.ylabel('Accuracy',fontsize=20)
plt.xticks(fontsize=20)
plt.yticks(fontsize=20)
plt.show()Được hỗ trợ bởi
Nhìn vào đồ thị trên, có vẻ khi n_neighbors=3, cả hai độ chính xác của mô hình đều tốt nhất. Hãy giữ n_neighbors=3 và huấn luyện lại một lần nữa.
knn = KNeighborsClassifier(n_neighbors=3)#Fit the model
knn.fit(train_data, train_label)#Compute accuracy on the training set
train_accuracy = knn.score(train_data, train_label)#Compute accuracy on the test set
test_accuracy = knn.score(test_data, test_label)Được hỗ trợ bởi
Đánh giá mô hình
Ở phần cuối của hướng dẫn này, bạn sẽ đánh giá mô hình trên dữ liệu kiểm tra bằng một vài kỹ thuật như confusion_matrix và classification_report.
Trước tiên, hãy kiểm tra độ chính xác của mô hình trên dữ liệu kiểm tra.
Tuyệt vời! Có vẻ mô hình phân loại đúng 96,66% dữ liệu kiểm tra. Thật ấn tượng phải không? Chỉ với vài dòng mã, bạn đã huấn luyện được một mô hình ML có thể cho biết tên loài hoa chỉ bằng bốn đặc trưng với độ chính xác 96,66%. Biết đâu nó còn làm tốt hơn cả con người.
Ma trận nhầm lẫn
Ma trận nhầm lẫn chủ yếu dùng để mô tả hiệu năng mô hình trên dữ liệu kiểm tra mà ở đó các giá trị hoặc nhãn thực tế đã biết.
Scikit-learn cung cấp một hàm tính ma trận nhầm lẫn cho bạn.
Từ biểu đồ confusion_matrix trên, bạn có thể thấy mô hình phân loại đúng tất cả các hoa ngoại trừ một bông virginica bị phân loại thành versicolor.
Báo cáo phân loại
Báo cáo phân loại giúp bạn xác định các lớp bị phân loại sai chi tiết hơn bằng cách cung cấp precision, recall và F1 score cho từng lớp. Bạn sẽ dùng thư viện sklearn để hiển thị báo cáo phân loại.
from sklearn.metrics import classification_report
Được hỗ trợ bởi
print(classification_report(test_label, prediction))Được hỗ trợ bởi
Trước hết, xin chúc mừng tất cả những ai đã đi đến cuối! Nhưng đây mới chỉ là khởi đầu. Vẫn còn chặng đường dài phía trước!
Hướng dẫn này chủ yếu đề cập đến những điều cơ bản của machine learning và triển khai một loại thuật toán ML gọi là KNN với Python. Bộ dữ liệu Iris mà bạn dùng khá nhỏ và tương đối đơn giản.
Nếu hướng dẫn này khơi gợi hứng thú muốn học thêm, bạn có thể thử dùng các bộ dữ liệu khác hoặc tìm hiểu thêm về một số thuật toán ML khác và có thể áp dụng lên bộ dữ liệu Iris để quan sát tác động đến độ chính xác. Cách này giúp bạn học được nhiều hơn là chỉ hiểu lý thuyết!
Nếu bạn đã thử nghiệm đủ với các kiến thức cơ bản trong hướng dẫn này và các thuật toán machine learning khác, bạn có thể muốn đi sâu hơn vào Python và phân tích dữ liệu.
Bạn sẽ triển khai KNN trên bộ dữ liệu Iris nổi tiếng.
Lưu ý: Bạn có thể cân nhắc tham gia khóa học Machine Learning với Python hoặc để có bối cảnh về cách ML phát triển cùng nhiều nội dung khác, hãy đọc bài viết này.
Giới thiệu
Machine Learning phát triển từ khoa học máy tính, chủ yếu nghiên cứu thiết kế các thuật toán có thể học từ kinh nghiệm. Để học, chúng cần dữ liệu có các thuộc tính nhất định dựa trên đó các thuật toán cố gắng tìm ra những mẫu dự đoán có ý nghĩa. Nhìn chung, các tác vụ ML có thể được phân loại như học khái niệm, phân cụm, mô hình dự đoán, v.v. Mục tiêu cuối cùng của các thuật toán ML là có thể đưa ra quyết định chính xác mà không cần can thiệp của con người. Dự đoán cổ phiếu hay thời tiết là một vài ứng dụng của các thuật toán machine learning.
Có nhiều thuật toán machine learning như Cây quyết định, Naive Bayes, Rừng ngẫu nhiên, Máy véc-tơ hỗ trợ, Láng giềng gần nhất k, Phân cụm K-means, v.v.
Trong lớp thuật toán machine learning, hôm nay bạn sẽ sử dụng k-láng giềng gần nhất.
Vậy chính xác thuật toán K-Nearest Neighbor là gì? Hãy cùng tìm hiểu!
K-Nearest Neighbor là gì?
KNN hay k-láng giềng gần nhất là một thuật toán học có giám sát; “có giám sát” nghĩa là nó sử dụng nhãn lớp của dữ liệu huấn luyện trong giai đoạn học. Đây là một thuật toán học dựa trên thể hiện (instance-based), trong đó các điểm dữ liệu mới được phân loại dựa trên các thể hiện (điểm dữ liệu) đã lưu trữ và gán nhãn. KNN có thể dùng cho cả phân loại và hồi quy; tuy vậy, nó được dùng rộng rãi hơn cho mục đích phân loại.
Biến k trong KNN là một biến quan trọng, còn gọi là siêu tham số, giúp phân loại chính xác một điểm dữ liệu. Cụ thể hơn, k là số lượng láng giềng gần nhất mà bạn muốn “lấy phiếu” khi phân loại một điểm dữ liệu mới.
Bạn có thể thấy khi giá trị k tăng từ 1 lên 7, ranh giới quyết định giữa hai lớp có một số điểm dữ liệu trở nên mượt hơn.
Giờ câu hỏi là: làm sao mọi thứ “kỳ diệu” này diễn ra, khi mỗi lần có một điểm dữ liệu mới xuất hiện, nó được phân loại dựa trên các điểm đã lưu trữ?
Hãy hiểu nhanh theo các bước sau:
Dự đoán có thể thuộc hai loại: phân loại trong đó gán nhãn lớp cho điểm dữ liệu mới, hoặc hồi quy trong đó gán một giá trị cho điểm dữ liệu mới. Khác với phân loại, trong hồi quy, trung bình của k láng giềng gần nhất sẽ được gán cho điểm dữ liệu mới.
Nhược điểm của KNN: Thứ nhất, độ phức tạp khi tìm láng giềng gần nhất cho mỗi điểm dữ liệu mới. Thứ hai, việc xác định giá trị k đôi khi là một nhiệm vụ khó khăn. Cuối cùng, cũng không rõ nên dùng loại độ đo khoảng cách nào khi tính láng giềng gần nhất.
Lý thuyết thế là đủ rồi nhỉ? Giờ hãy nạp, phân tích và tìm hiểu dữ liệu bạn sẽ dùng trong hướng dẫn nhỏ hôm nay.
Nạp dữ liệu Iris
Bộ dữ liệu Iris gồm 150 mẫu với ba lớp là
Iris-Setosa,Iris-VersicolorvàIris-Virginica. Bốn đặc trưng/thuộc tính giúp nhận dạng duy nhất một trong ba lớp gồmsepal-length,sepal-width,petal-lengthvàpetal-width.Bạn có thể thoải mái dùng bộ dữ liệu công khai khác hoặc dữ liệu riêng của bạn.
Sklearnlà thư viện machine learning cho Python được dùng rộng rãi trong các tác vụ khoa học dữ liệu. Nó cung cấp nhiều thuật toán phân loại, hồi quy và phân cụm bao gồmsupport vector machines,random forests,gradient boosting,k-means,KNN, v.v. Trongsklearncó thư việndatasetschứa nhiều bộ dữ liệu sẵn dùng cho các tác vụ khác nhau, bao gồm cảIris; tất cả có thể nạp sẵn “out of the box”. Rất trực quan và đơn giản. Vậy hãy nhanh chóng nạp bộ dữ liệuiris.load_iriscó cả dữ liệu và nhãn lớp cho mỗi mẫu. Hãy trích xuất nhanh tất cả.Biến
datasẽ là một mảng numpy có dạng (150,4) gồm 150 mẫu, mỗi mẫu có bốn thuộc tính khác nhau. Mỗi lớp có 50 mẫu.Hãy trích xuất nhãn lớp.
Tiếp theo, bạn cần kết hợp dữ liệu và nhãn lớp; để làm vậy, bạn sẽ dùng thư viện Python tuyệt vời là
NumPy.NumPybổ sung hỗ trợ cho mảng và ma trận lớn, đa chiều, cùng một tập hợp phong phú các hàm toán học cấp cao để thao tác trên các mảng này. Hãy import nhanh nó!Vì
datalà mảng 2 chiều, bạn cũng sẽ phải reshapelabelsthành mảng 2 chiều.Bây giờ, bạn sẽ dùng hàm
concatenatetrong thư việnnumpy, và dùngaxis=-1để nối theo chiều thứ hai.Tiếp theo, bạn sẽ import thư viện phân tích dữ liệu của Python là
pandas— hữu ích khi bạn muốn sắp xếp dữ liệu theo dạng bảng và thực hiện một số thao tác, biến đổi trên dữ liệu. Cụ thể, nó cung cấp các cấu trúc dữ liệu và thao tác cho bảng số và chuỗi thời gian.Trong hướng dẫn hôm nay, bạn sẽ dùng
pandaskhá nhiều.Bây giờ bạn đã có khung dữ liệu
datasetgồm cả dữ liệu & nhãn lớp bạn cần!Trước khi đi tiếp, hãy nhớ rằng biến
labelscó nhãn lớp dưới dạng số, nhưng bạn sẽ chuyển các giá trị số này thành tên hoa hay loài.Để làm điều đó, bạn sẽ chỉ chọn cột
classvà thay thế mỗi trong ba giá trị số bằng loài tương ứng. Bạn sẽ dùnginplace=Trueđể sửa đổi trực tiếp khung dữ liệudataset.Hãy in 5 hàng đầu của
datasetđể xem trông thế nào!Phân tích dữ liệu của bạn
Hãy nhanh chóng xem ba loài hoa trông như thế nào khi trực quan hóa và chúng khác nhau ra sao — không chỉ về con số mà cả “ngoài đời”!
Hãy trực quan hóa dữ liệu bạn đã nạp ở trên bằng
scatterplotđể xem một biến bị ảnh hưởng bởi biến kia như thế nào, hay nói cách khác là mức độ tương quan giữa hai biến.Bạn sẽ dùng thư viện
matplotlibđể trực quan hóa dữ liệu bằng biểu đồ phân tán.Mẹo: Bạn muốn học các cách khác nhau để trực quan hóa dữ liệu trong Python? Hãy xem khóa Giới thiệu trực quan hóa dữ liệu với matplotlib.
Từ biểu đồ trên, có thể thấy rõ có tương quan cao giữa các hoa Iris setosa xét theo chiều dài và chiều rộng đài hoa. Ngược lại, tương quan giữa Iris versicolor và Iris virginica thấp hơn. Các điểm dữ liệu của versicolor & virginica phân tán hơn so với setosa vốn dày đặc.
Hãy nhanh chóng vẽ thêm biểu đồ cho
petal-lengthvàpetal-width.Ngay cả với
petal-lengthvàpetal-width, biểu đồ trên cũng cho thấy tương quan mạnh đối với hoa setosa vốn cụm lại dày đặc.Tiếp theo, để củng cố nhận định về mức độ tương quan giữa
petal-lengthvàpetal-width, hãy vẽ ma trận tương quan cho cả ba loài.Bảng trên cho thấy tương quan mạnh ở mức
0.96giữapetal-lengthvàpetal-widthkhi gộp cả ba loài.Hãy phân tích tương quan giữa ba loài riêng rẽ.
Từ ba bảng trên, có thể thấy rõ tương quan giữa
petal-lengthvàpetal-widthcủasetosavàvirginicalần lượt là0.33và0.32. Trong khi đó, vớiversicolorlà0.78.Tiếp theo, hãy trực quan hóa phân phối đặc trưng bằng cách vẽ các biểu đồ histogram:
petal-length,petal-widthvàsepal-lengthcho thấy phân phối đơn đỉnh, trong khisepal-widthcó kiểu phân phối gần Gaussian. Tất cả phân tích này đều hữu ích vì từ đó bạn có thể cân nhắc dùng thuật toán phù hợp với loại phân phối này.Tiếp theo, bạn sẽ phân tích xem bốn thuộc tính có cùng thang đo hay không; đây là khía cạnh quan trọng trong ML. Khung dữ liệu
pandascó hàm dựng sẵndescribecung cấpcount,mean,max,mincủa dữ liệu theo dạng bảng.Bạn có thể thấy cả bốn thuộc tính đều có thang đo tương tự giữa 0 & 8 và tính theo đơn vị cm; nếu muốn bạn có thể chuẩn hóa thêm về khoảng 0 đến 1.
Mặc dù chúng ta biết mỗi lớp có 50 mẫu, tức ~33,3% của toàn bộ phân phối, nhưng hãy kiểm tra lại!
Tiền xử lý dữ liệu
Sau khi nạp và phân tích dữ liệu kỹ lưỡng, đã đến lúc chuẩn bị dữ liệu để đưa vào mô hình ML. Trong phần này, bạn sẽ tiền xử lý dữ liệu theo hai cách: chuẩn hóa dữ liệu và chia dữ liệu thành tập huấn luyện và kiểm tra.
Chuẩn hóa dữ liệu
Có hai cách để bạn chuẩn hóa dữ liệu:
Vì sao hoặc khi nào bạn cần chuẩn hóa dữ liệu? Và bạn có cần chuẩn hóa dữ liệu
Iriskhông?Câu trả lời là hầu như luôn luôn. Chuẩn hóa dữ liệu là một thực hành tốt vì nó đưa tất cả mẫu về cùng thang đo và phạm vi. Chuẩn hóa đặc biệt quan trọng khi dữ liệu của bạn không nhất quán. Bạn có thể kiểm tra sự không nhất quán bằng hàm
describe()như đã học ở trên — hàm này cho bạn giá trịmaxvàmin. Nếu giá trịmaxvàmincủa một đặc trưng lớn hơn đáng kể so với đặc trưng khác thì việc đưa cả hai về cùng thang đo là rất quan trọng.Giả sử X là một đặc trưng có phạm vi lớn và Y là đặc trưng thứ hai có phạm vi nhỏ. Khi đó, ảnh hưởng của Y có thể bị lấn át bởi ảnh hưởng của X. Trong trường hợp đó, việc chuẩn hóa cả X và Y trở nên quan trọng.
Với dữ liệu
Iris, không cần chuẩn hóa.Hãy in lại kết quả
describe()để xem vì sao bạn không cần chuẩn hóa.Thuộc tính
sepal-lengthcó giá trị từ 4,3 đến 7,9;sepal-widthcó giá trị từ 2 đến 4,4;petal-lengthtừ 1 đến 6,9; vàpetal-widthtừ 0,1 đến 2,5. Giá trị của tất cả đặc trưng nằm trong khoảng 0,1 đến 7,9 — có thể coi là chấp nhận được. Do đó, bạn không cần áp dụng chuẩn hóa cho bộ dữ liệuIris.Chia dữ liệu
Đây là một khía cạnh quan trọng khác của machine learning vì mục tiêu của bạn là tạo ra một mô hình đủ khả năng đưa ra quyết định hoặc phân loại dữ liệu trong môi trường kiểm tra mà không cần can thiệp của con người. Do vậy, trước khi triển khai mô hình ML trong thực tế, bạn cần đảm bảo mô hình có thể khái quát hóa tốt trên dữ liệu kiểm tra.
Với dữ liệu
Iris, bạn có 150 mẫu; bạn sẽ huấn luyện mô hình ML trên 80% dữ liệu và 20% còn lại dùng để kiểm tra.Trong khoa học dữ liệu, bạn sẽ thường gặp thuật ngữ
Overfitting(quá khớp), nghĩa là mô hình học rất tốt dữ liệu huấn luyện nhưng không hoạt động tốt trên dữ liệu kiểm tra. Vì vậy, việc chia dữ liệu thành tập huấn luyện và kiểm tra hay xác thực sẽ giúp bạn biết mô hình có bị quá khớp hay không.Để chia tập huấn luyện và kiểm tra, bạn sẽ dùng thư viện
sklearnvới hàm tách dựng sẵntrain_test_split. Hãy chia dữ liệu.Lưu ý
random_statelà hạt giống ngẫu nhiên; nếu bạn thay đổi số này thì cách chia dữ liệu cũng thay đổi. Tuy nhiên, nếu giữ nguyênrandom_statevà chạy lại nhiều lần thì kết quả chia dữ liệu vẫn không đổi.Hãy in nhanh kích thước dữ liệu huấn luyện và kiểm tra cùng với nhãn của chúng.
Cuối cùng, đã đến lúc đưa dữ liệu vào thuật toán k-láng giềng gần nhất!
Mô hình KNN
Sau khi nạp, phân tích và tiền xử lý dữ liệu, giờ là lúc bạn đưa dữ liệu vào mô hình KNN. Để làm vậy, bạn sẽ dùng hàm dựng sẵn
neighborscủasklearnvới lớpKNeigborsClassifier.Hãy bắt đầu bằng cách import bộ phân loại.
Lưu ý: tham số k (n_neighbors) thường là số lẻ để tránh hòa khi bỏ phiếu.
Để quyết định giá trị tốt nhất cho siêu tham số k, bạn sẽ thực hiện
grid-search. Bạn sẽ huấn luyện và kiểm tra mô hình trên 10 giá trị k khác nhau và cuối cùng dùng giá trị cho kết quả tốt nhất.Hãy khởi tạo biến
neighbors(k)với các giá trị từ 1–9 và hai ma trận zero của numpy làtrain_accuracyvàtest_accuracytương ứng cho độ chính xác huấn luyện và kiểm tra. Bạn sẽ cần chúng sau để vẽ đồ thị chọn giá trịneighbortốt nhất.Đoạn mã tiếp theo là nơi “phép màu” diễn ra. Bạn sẽ
enumeratequa cả chín giá trị láng giềng và với mỗi giá trị, bạn dự đoán trên cả dữ liệu huấn luyện và kiểm tra. Cuối cùng, lưu độ chính xác vào các mảng numpytrain_accuracyvàtest_accuracy.Tiếp theo, bạn sẽ vẽ độ chính xác huấn luyện và kiểm tra bằng
matplotlib. Với đồ thịaccuracy vs. varying number of neighbors, bạn sẽ chọn được giá trị k mà tại đó mô hình hoạt động tốt nhất.Nhìn vào đồ thị trên, có vẻ khi
n_neighbors=3, cả hai độ chính xác của mô hình đều tốt nhất. Hãy giữn_neighbors=3và huấn luyện lại một lần nữa.Đánh giá mô hình
Ở phần cuối của hướng dẫn này, bạn sẽ đánh giá mô hình trên dữ liệu kiểm tra bằng một vài kỹ thuật như
confusion_matrixvàclassification_report.Trước tiên, hãy kiểm tra độ chính xác của mô hình trên dữ liệu kiểm tra.
Tuyệt vời! Có vẻ mô hình phân loại đúng 96,66% dữ liệu kiểm tra. Thật ấn tượng phải không? Chỉ với vài dòng mã, bạn đã huấn luyện được một mô hình ML có thể cho biết tên loài hoa chỉ bằng bốn đặc trưng với độ chính xác 96,66%. Biết đâu nó còn làm tốt hơn cả con người.
Ma trận nhầm lẫn
Ma trận nhầm lẫn chủ yếu dùng để mô tả hiệu năng mô hình trên dữ liệu kiểm tra mà ở đó các giá trị hoặc nhãn thực tế đã biết.
Scikit-learncung cấp một hàm tính ma trận nhầm lẫn cho bạn.Hàm
plot_confusion_matrix()dưới đây đã được chỉnh sửa và tham khảo từ nguồn này.Từ biểu đồ
confusion_matrixtrên, bạn có thể thấy mô hình phân loại đúng tất cả các hoa ngoại trừ một bông virginica bị phân loại thành versicolor.Báo cáo phân loại
Báo cáo phân loại giúp bạn xác định các lớp bị phân loại sai chi tiết hơn bằng cách cung cấp
precision,recallvàF1 scorecho từng lớp. Bạn sẽ dùng thư việnsklearnđể hiển thị báo cáo phân loại.Đi xa hơn!
Trước hết, xin chúc mừng tất cả những ai đã đi đến cuối! Nhưng đây mới chỉ là khởi đầu. Vẫn còn chặng đường dài phía trước!
Hướng dẫn này chủ yếu đề cập đến những điều cơ bản của machine learning và triển khai một loại thuật toán ML gọi là KNN với Python. Bộ dữ liệu Iris mà bạn dùng khá nhỏ và tương đối đơn giản.
Nếu hướng dẫn này khơi gợi hứng thú muốn học thêm, bạn có thể thử dùng các bộ dữ liệu khác hoặc tìm hiểu thêm về một số thuật toán ML khác và có thể áp dụng lên bộ dữ liệu Iris để quan sát tác động đến độ chính xác. Cách này giúp bạn học được nhiều hơn là chỉ hiểu lý thuyết!
Nếu bạn đã thử nghiệm đủ với các kiến thức cơ bản trong hướng dẫn này và các thuật toán machine learning khác, bạn có thể muốn đi sâu hơn vào Python và phân tích dữ liệu.