Hướng dẫn Xử lý Dữ liệu Phân loại trong Machine Learning với Python

Tập dữ liệu Phân loại

Thông tin được biểu diễn bằng hai dạng dữ liệu khác nhau: dữ liệu phân loại và dữ liệu số. Dữ liệu có thể được phân loại hoặc gom nhóm được gọi là dữ liệu phân loại. Nam và nữ thuộc nhóm giới tính, đỏ, xanh lá và xanh dương thuộc nhóm màu sắc, và nhóm quốc gia có thể gồm Mỹ, Canada, Mexico, v.v.

Dữ liệu số là dữ liệu có thể biểu diễn bằng con số. Ví dụ về dữ liệu số gồm chiều cao, cân nặng và nhiệt độ. 

Nói đơn giản, dữ liệu phân loại là thông tin có thể đưa vào các nhóm, còn dữ liệu số là thông tin có thể biểu diễn bằng con số. Vì phần lớn thuật toán machine learning được thiết kế để làm việc với dữ liệu số, dữ liệu phân loại sẽ được xử lý khác với dữ liệu số trong lĩnh vực này. Trước khi dữ liệu phân loại có thể dùng làm đầu vào cho mô hình machine learning, nó phải được chuyển đổi thành dữ liệu số. Quá trình chuyển dữ liệu phân loại sang dạng số này gọi là mã hóa.

Dữ liệu định tính và định lượng - Nguồn ảnh

Có hai loại dữ liệu phân loại: danh định (nominal) và thứ bậc (ordinal).

Dữ liệu danh định

Dữ liệu danh định là dữ liệu phân loại có thể chia thành các nhóm nhưng các nhóm này không có thứ bậc hay trật tự nội tại. Ví dụ gồm tên thương hiệu (Coca-Cola, Pepsi, Sprite), các loại topping pizza (pepperoni, nấm, hành tây), và màu tóc (vàng, nâu, đen, v.v.). Xem hướng dẫn về biến danh định để tìm hiểu thêm. 

Dữ liệu thứ bậc

Ngược lại, dữ liệu thứ bậc mô tả thông tin có thể phân loại và có trật tự hoặc xếp hạng rõ ràng. Trình độ học vấn (trung học, cử nhân, thạc sĩ), mức độ hài lòng công việc (rất hài lòng, hài lòng, trung lập, không hài lòng, rất không hài lòng), và xếp hạng sao (1 sao, 2 sao, 3 sao, 4 sao, 5 sao) là vài ví dụ về dữ liệu thứ bậc.

Bằng cách gán cho mỗi hạng mục một giá trị số phản ánh thứ tự hay xếp hạng của nó, dữ liệu thứ bậc có thể được chuyển thành dữ liệu số và dùng trong machine learning. Điều này có thể hữu ích với các thuật toán nhạy với độ lớn của dữ liệu đầu vào.

Trên thực tế, ranh giới giữa dữ liệu danh định và thứ bậc không phải lúc nào cũng rõ ràng và có thể thay đổi tùy trường hợp sử dụng cụ thể. Ví dụ, trong khi có người xem "xếp hạng sao" là dữ liệu thứ bậc, người khác lại xem đó là dữ liệu danh định. Điều quan trọng nhất là hiểu rõ bản chất dữ liệu của bạn và chọn chiến lược mã hóa phản ánh tốt nhất các mối quan hệ trong dữ liệu.

Tìm hiểu kiểu dữ liệu trong pandas

pandas là thư viện mã nguồn mở Python được dùng rộng rãi cho phân tích và xử lý dữ liệu. Nó có khả năng mạnh mẽ để xử lý dữ liệu có cấu trúc, bao gồm data frame và series có thể làm việc với dữ liệu dạng bảng với các hàng và cột có nhãn. 

pandas cũng cung cấp nhiều hàm để đọc và ghi các định dạng tệp khác nhau (csv, parquet, cơ sở dữ liệu, v.v.). Khi bạn đọc một tệp bằng pandas, mỗi cột sẽ được gán một kiểu dữ liệu dựa trên suy diễn. Dưới đây là tất cả các kiểu dữ liệu mà pandas có thể gán:

1. Số: Bao gồm số nguyên và số thực dấu phẩy động. Dữ liệu số thường dùng cho phân tích định lượng và các phép toán.
2. Chuỗi: Dùng để biểu diễn dữ liệu văn bản như tên, địa chỉ và mô tả.
3. Boolean: Chỉ có hai giá trị có thể: True hoặc False. Dữ liệu Boolean thường dùng cho các phép logic và lọc.
4. Datetime: Dùng để biểu diễn ngày và giờ. pandas có công cụ mạnh để thao tác dữ liệu thời gian.
5. Phân loại (Categorical): Biểu diễn dữ liệu chỉ nhận một số lượng giá trị giới hạn. Dữ liệu phân loại thường dùng để nhóm và tổng hợp dữ liệu.
6. Object: Kiểu dữ liệu bao trùm cho những gì không thuộc các loại khác. Có thể bao gồm nhiều kiểu khác nhau như list, dictionary và các đối tượng khác.

Nguồn ảnh

Dữ liệu không phù hợp với các kiểu dữ liệu khác, bao gồm chuỗi, kiểu hỗn hợp, hay các đối tượng khác, được biểu diễn bởi kiểu dữ liệu category và object trong pandas. Tuy nhiên, chúng có vài khác biệt quan trọng ảnh hưởng đến cách hoạt động và hiệu năng.

Kiểu dữ liệu Categorical

Kiểu dữ liệu phân loại được tạo ra cho thông tin chỉ có một số ít giá trị có thể, như hạng mục hay nhãn. Nội bộ, dữ liệu phân loại được biểu diễn như một tập hợp số, có thể tăng tốc một số thao tác và tiết kiệm bộ nhớ so với kiểu dữ liệu object tương ứng. Ngoài ra, dữ liệu phân loại có thể sắp xếp theo logic và hỗ trợ hiệu quả các thao tác nhóm và tổng hợp.

Kiểu dữ liệu Object

Ngược lại, kiểu dữ liệu object đóng vai trò bao trùm cho thông tin không phù hợp với các kiểu khác. Nó có thể bao gồm nhiều loại dữ liệu khác nhau như list, dictionary và các đối tượng khác. Mặc dù kiểu object rất linh hoạt, nó cũng có thể chậm hơn và tốn bộ nhớ hơn so với dữ liệu phân loại cùng kích thước, và không thể áp dụng một số thao tác chuyên biệt khả dụng với dữ liệu category.

Nói chung, bạn có thể cân nhắc sử dụng kiểu dữ liệu phân loại nếu dữ liệu của bạn chỉ có một số lượng giá trị có thể nhỏ và bạn dự định thực hiện nhiều thao tác nhóm hay tổng hợp. Kiểu object thường là lựa chọn an toàn trong các trường hợp khác. Tuy vậy, kiểu dữ liệu tối ưu cuối cùng phụ thuộc vào bài toán cụ thể và đặc điểm dữ liệu của bạn.

Hãy xem một ví dụ bằng cách đọc một tệp csv từ GitHub.

# read csv using pandas
data = pd.read_csv(‘https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/diamond.csv’)

# check the head of dataframe
data.head()

Kết quả:

Bạn có xác định được cột nào là phân loại và cột nào là số không? Trong ví dụ này, tất cả các cột đều là phân loại ngoại trừ `Carat Weight` và `Price.` Hãy kiểm tra xem nhận định này có đúng không bằng cách xem các kiểu dữ liệu mặc định.

# check the data types
data.dtypes

Kết quả:

Lưu ý `Price` được gán kiểu `int64`, `Carat Weight` là `float64`, và các cột còn lại là object, đúng như kỳ vọng.

Phân tích Đặc trưng Phân loại trong Python

Trong pandas, thư viện phân tích dữ liệu phổ biến của Python, có một vài hàm cho phép bạn nhanh chóng phân tích các kiểu dữ liệu phân loại trong tập dữ liệu. Hãy xem lần lượt:

Value Counts

`value_counts()` là một hàm trong thư viện pandas trả về tần suất của mỗi giá trị duy nhất trong một cột dữ liệu phân loại. Hàm này hữu ích khi bạn muốn nắm nhanh phân bố của một biến phân loại, như các hạng mục phổ biến nhất và tần suất của chúng.

# read csv using pandas
import pandas as pd
data = pd.read_csv('https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/diamond.csv')

# check value counts of Cut column
data['Cut'].value_counts()

Kết quả:

Nếu bạn muốn trực quan hóa phân bố, bạn có thể dùng thư viện `plotly` để vẽ biểu đồ cột tương tác.

import plotly.express as px
cut_counts = data['Cut'].value_counts()
fig = px.bar(x=cut_counts.index, y=cut_counts.values)
fig.show()

Kết quả:

Group by

`groupby()` là một hàm trong Pandas cho phép bạn nhóm dữ liệu theo một hoặc nhiều cột và áp dụng các hàm tổng hợp như sum, mean và count. Hàm này hữu ích khi bạn muốn thực hiện phân tích phức tạp hơn trên dữ liệu phân loại, chẳng hạn tính trung bình của một biến số cho từng hạng mục. Ví dụ:

# read csv using pandas
import pandas as pd
data = pd.read_csv('https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/diamond.csv')

# average carat weight and price by Cut
data.groupby(by = 'Cut').mean()

Kết quả:

Kết quả chỉ trả về một data frame với các cột số. Tham số `by` trong phương thức `groupby` xác định cột bạn muốn nhóm theo, và `mean()` bên ngoài dấu ngoặc là phương thức tổng hợp.

Có thể diễn giải rằng giá trung bình của một viên kim cương có kiểu cắt Fair là 5.886, và trọng lượng trung bình là 1,05 so với giá trung bình 11.485 cho viên kim cương có kiểu cắt Very Good. 

Cross tab

`crosstab()` là một hàm trong pandas tạo bảng chéo, hiển thị phân bố tần suất của hai hoặc nhiều biến phân loại. Hàm này hữu ích khi bạn muốn thấy mối quan hệ giữa hai hoặc nhiều biến phân loại, chẳng hạn tần suất của một biến liên quan thế nào đến biến khác.

# read csv using pandas
import pandas as pd
data = pd.read_csv('https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/diamond.csv')

# cross tab of Cut and Color
pd.crosstab(index=data['Cut'], columns=data['Color'])

Kết quả:

Kết quả từ hàm crosstab trong pandas là một bảng hiển thị phân bố tần suất của hai hoặc nhiều biến phân loại. Mỗi hàng của bảng biểu diễn một hạng mục duy nhất ở một biến, và mỗi cột biểu diễn một hạng mục duy nhất ở biến còn lại. Các ô trong bảng là số đếm tần suất của các tổ hợp hạng mục giữa hai biến.

Pivot Table

`pivot_table()` là một hàm trong Pandas để tạo pivot table, tương tự bảng chéo nhưng linh hoạt hơn. Hàm này hữu ích khi bạn muốn phân tích nhiều biến phân loại và mối quan hệ của chúng với một hoặc nhiều biến số. Pivot table cho phép bạn tổng hợp dữ liệu theo nhiều cách và hiển thị kết quả cô đọng.

# read csv using pandas
import pandas as pd
data = pd.read_csv('https://raw.githubusercontent.com/pycaret/pycaret/master/datasets/diamond.csv')

# create pivot table
pd.pivot_table(data, values='Price', index='Cut', columns='Color', aggfunc=np.mean)

Kết quả:

Bảng này hiển thị giá trung bình của mỗi kiểu cắt kim cương theo từng màu sắc. Các hàng biểu diễn các kiểu cắt khác nhau, các cột biểu diễn các màu sắc khác nhau, và các ô trong bảng là giá trung bình của kim cương.

Hàm pivot_table hữu ích khi bạn muốn tóm tắt và so sánh dữ liệu số trên nhiều biến trong định dạng bảng. Hàm cho phép tổng hợp dữ liệu bằng nhiều hàm (như mean, sum, count, v.v.) và tổ chức thành định dạng dễ đọc và phân tích.

Mã hóa Đặc trưng Phân loại trong Python

Các thuật toán machine learning thường không thể xử lý trực tiếp dữ liệu phân loại, vì hầu hết thuật toán chủ yếu được thiết kế để làm việc với dữ liệu số. Do đó, trước khi các đặc trưng phân loại có thể dùng làm đầu vào cho thuật toán, chúng phải được mã hóa thành giá trị số.

Có một số kỹ thuật để mã hóa đặc trưng phân loại, bao gồm one-hot encoding, ordinal encoding và target encoding. Lựa chọn kỹ thuật mã hóa phụ thuộc vào đặc điểm cụ thể của dữ liệu và yêu cầu của thuật toán machine learning đang dùng.

One-hot encoding

One-hot encoding là quá trình biểu diễn dữ liệu phân loại dưới dạng tập các giá trị nhị phân, trong đó mỗi hạng mục được ánh xạ tới một giá trị nhị phân duy nhất. Ở biểu diễn này, chỉ một bit được đặt là 1 và phần còn lại là 0, do đó có tên "one hot." Cách này thường dùng trong machine learning để chuyển dữ liệu phân loại sang định dạng mà thuật toán có thể xử lý.

Nguồn ảnh

pandas categorical sang số

Một cách thực hiện trong pandas là dùng phương thức `pd.get_dummies()`. Đây là một hàm trong thư viện Pandas dùng để thực hiện one-hot encoding trên các biến phân loại trong DataFrame. Nó nhận một DataFrame và trả về một DataFrame mới với các cột nhị phân cho mỗi hạng mục. Ví dụ cách sử dụng:

Giả sử chúng ta có một data frame với cột "fruit" chứa dữ liệu phân loại:

import pandas as pd

# generate df with 1 col and 4 rows
data = {
    "fruit": ["apple", "banana", "orange", "apple"]
}

# show head
df = pd.DataFrame(data)
df.head()

Kết quả:

# apply get_dummies function
df_encoded = pd.get_dummies(df["fruit"])
df_encoded .head()

Kết quả:

Mặc dù `pandas.get_dummies` rất dễ dùng, một cách phổ biến hơn là sử dụng `OneHotEncoder` từ thư viện sklearn, đặc biệt khi bạn làm các tác vụ machine learning. Khác biệt chính là `pandas.get_dummies` không thể học ánh xạ mã hóa; nó chỉ thực hiện one-hot encoding trên tập dữ liệu bạn truyền vào. Ngược lại, `sklearn.OneHotEncoder` là một lớp có thể lưu lại và dùng để biến đổi các tập dữ liệu đến trong tương lai.

import pandas as pd

# generate df with 1 col and 4 rows
data = {
    "fruit": ["apple", "banana", "orange", "apple"]
}

# one-hot-encode using sklearn
from sklearn.preprocessing import OneHotEncoder
encoder = OneHotEncoder()
encoded_results = encoder.fit_transform(df).toarray()

Kết quả:

Label encoding

Label encoding là kỹ thuật mã hóa các biến phân loại thành giá trị số, trong đó mỗi hạng mục được gán một số nguyên duy nhất. Ví dụ, giả sử ta có biến phân loại "color" với ba hạng mục: "red," "green," và "blue." Ta có thể mã hóa các hạng mục này bằng label encoding như sau (red: 0, green: 1, blue: 2).

Label encoding có thể hữu ích cho một số thuật toán machine learning yêu cầu đầu vào là số, vì nó cho phép biểu diễn dữ liệu phân loại theo cách thuật toán có thể hiểu. Tuy nhiên, cần lưu ý rằng label encoding đưa vào một thứ tự tùy ý giữa các hạng mục, điều này có thể không phản ánh bất kỳ mối quan hệ ý nghĩa nào giữa chúng. Trong một số trường hợp, điều này có thể dẫn đến vấn đề trong phân tích, đặc biệt nếu thứ tự đó bị diễn giải như có quan hệ thứ bậc.

Dữ liệu đã Label Encode. Nguồn ảnh

So sánh One-hot và Label Encoding

One-hot encoding và label encoding đều là kỹ thuật mã hóa biến phân loại thành giá trị số, nhưng chúng có đặc tính khác nhau và phù hợp với các trường hợp sử dụng khác nhau.

One-hot encoding biểu diễn mỗi hạng mục như một cột nhị phân, với 1 thể hiện sự có mặt của hạng mục và 0 thể hiện sự vắng mặt. Ví dụ, với biến phân loại "color" có ba hạng mục: "red," "green," và "blue," one-hot encoding sẽ biểu diễn biến này bằng ba cột nhị phân:

One-hot encoding phù hợp khi các hạng mục không có thứ tự hay mối liên hệ nội tại với nhau. Bởi vì one-hot encoding xem mỗi hạng mục là một thực thể riêng, không liên hệ với các hạng mục khác. One-hot encoding cũng hữu ích khi số lượng hạng mục tương đối nhỏ, vì số lượng cột có thể trở nên cồng kềnh nếu số hạng mục rất lớn.

Ngược lại, label encoding biểu diễn mỗi hạng mục bằng một số nguyên duy nhất. Ví dụ, biến "color" với ba hạng mục có thể được label-encode như sau:

Label encoding phù hợp khi các hạng mục có thứ tự tự nhiên hay mối quan hệ với nhau, như trường hợp biến thứ bậc kiểu "small," "medium," và "large." Trong các trường hợp này, giá trị số gán cho các hạng mục nên phản ánh thứ tự của chúng. Label encoding cũng hữu ích khi số lượng hạng mục rất lớn, vì nó giảm chiều dữ liệu.

Nói chung, one-hot encoding được dùng phổ biến hơn trong các ứng dụng machine learning, vì nó linh hoạt hơn và tránh được sự mơ hồ và thứ tự tùy ý có thể phát sinh với label encoding. Tuy vậy, label encoding vẫn hữu ích trong bối cảnh các hạng mục có thứ tự tự nhiên hoặc khi xử lý số lượng hạng mục rất lớn.

Xử lý Dữ liệu Phân loại có Cardinality Cao

Cardinality cao đề cập đến số lượng hạng mục duy nhất lớn trong một đặc trưng phân loại. Xử lý cardinality cao là thách thức phổ biến khi mã hóa dữ liệu phân loại cho mô hình machine learning. Cardinality cao có thể dẫn đến biểu diễn dữ liệu thưa và ảnh hưởng tiêu cực đến hiệu năng của một số mô hình. Dưới đây là vài kỹ thuật có thể dùng để xử lý cardinality cao trong các đặc trưng phân loại:

Kết hợp các hạng mục hiếm

Điều này liên quan đến việc gộp các hạng mục ít xuất hiện thành một hạng mục chung. Cách này giảm số lượng hạng mục duy nhất và cũng giảm độ thưa trong biểu diễn dữ liệu.

Target Encoding

Target encoding thay thế các giá trị phân loại bằng giá trị trung bình của biến đích (target) theo từng hạng mục đó. Nó cung cấp biểu diễn liên tục hơn cho dữ liệu phân loại và có thể giúp nắm bắt mối quan hệ giữa đặc trưng phân loại và biến đích.

Nguồn ảnh

Mã hóa Weight of Evidence (WOE)

Mã hóa Weight of Evidence tương tự target encoding, nhưng tính đến phân bố của biến đích cho mỗi hạng mục. WOE của một hạng mục được tính là logarit của tỷ số giữa trung bình biến đích của hạng mục đó trên trung bình của toàn bộ quần thể.

Kỹ thuật Xây dựng Đặc trưng cho Dữ liệu Phân loại

Xây dựng đặc trưng là bước quan trọng trong việc chuẩn bị dữ liệu cho các mô hình machine learning. Nó bao gồm việc tạo đặc trưng mới từ các đặc trưng hiện có để cải thiện hiệu năng mô hình. Dưới đây là một vài cách bạn có thể xây dựng đặc trưng trên dữ liệu phân loại:

Tạo biến tương tác

Biến tương tác là các đặc trưng mới được tạo bằng cách kết hợp hai hoặc nhiều đặc trưng hiện có. Ví dụ, nếu ta có hai đặc trưng phân loại, 'Gender' và 'Marital Status', ta có thể tạo đặc trưng mới 'Gender-Marital Status' để nắm bắt tương tác giữa hai đặc trưng này. Điều này có thể giúp nắm bắt các mối quan hệ phi tuyến giữa đặc trưng và biến đích.

Chia bin cho biến số

Chia bin (binning) là quá trình chia các biến số liên tục thành các khoảng rời rạc. Điều này có thể giúp giảm số lượng giá trị duy nhất của đặc trưng, có lợi cho việc mã hóa dữ liệu phân loại. Binning cũng có thể giúp nắm bắt các mối quan hệ phi tuyến giữa đặc trưng và biến đích.

Mã hóa biến tuần hoàn

Biến tuần hoàn là các biến lặp lại theo một chu kỳ nhất định. Ví dụ, giờ trong ngày là một biến tuần hoàn vì lặp lại mỗi 24 giờ. Mã hóa biến tuần hoàn có thể giúp nắm bắt các mẫu mang tính chu kỳ trong dữ liệu. Một cách phổ biến là tạo hai đặc trưng mới, một biểu diễn sin của biến và một biểu diễn cos của biến.

Kết luận

Xử lý dữ liệu phân loại là một khía cạnh quan trọng của nhiều dự án machine learning. Trong hướng dẫn này, chúng tôi đã khám phá các kỹ thuật khác nhau để phân tích và mã hóa biến phân loại trong Python, bao gồm one-hot encoding và label encoding, là hai kỹ thuật thường dùng.

Chúng tôi bắt đầu bằng việc giới thiệu khái niệm dữ liệu phân loại và lý do vì sao cần xử lý đúng cách trong các mô hình machine learning. Sau đó, chúng tôi cung cấp hướng dẫn từng bước về cách thực hiện one-hot encoding bằng cả pandas và scikit-learn, kèm ví dụ mã minh họa.

Hướng dẫn này cũng bàn về một số khái niệm nâng cao như xử lý dữ liệu phân loại có cardinality cao, xây dựng đặc trưng, mã hóa WOE, và hơn thế nữa. Nếu bạn muốn tìm hiểu sâu hơn, hãy xem khóa học Làm việc với Dữ liệu Phân loại trong Python. 

Nếu bạn ưa thích ngôn ngữ R, bạn có thể quan tâm đến các khóa học Dữ liệu Phân loại trong Tidyverse hoặc Suy luận cho Dữ liệu Phân loại trong R. Cả hai đều là những khóa học tuyệt vời cho người dùng R.