Tiền xử lý trong Khoa học Dữ liệu (Phần 2): Chuẩn hóa tâm, Chuẩn hóa tỷ lệ và Hồi quy Logistic

Hồi quy tuyến tính trong Python

Như đã đề cập, hồi quy thường được dùng để dự đoán giá trị của một biến số từ biến số khác. Ví dụ, dưới đây chúng ta thực hiện một hồi quy tuyến tính trên dữ liệu nhà ở Boston (một bộ dữ liệu dựng sẵn trong scikit-learn): trong trường hợp này, biến độc lập (trục x) là số phòng và biến phụ thuộc (trục y) là giá.

Hồi quy như vậy hoạt động thế nào? Tóm lược cơ chế như sau: chúng ta muốn khớp một mô hình \(y = ax + b\) với dữ liệu \((x_i,y_i)\), tức là chúng ta muốn tìm \(a\) và \(b\) tối ưu dựa trên dữ liệu. Trong công thức bình phương tối thiểu thông thường (OLS, phổ biến nhất), có giả định rằng sai số xảy ra ở biến phụ thuộc. Vì vậy, các giá trị \(a\) và \(b\) tối ưu được tìm bằng cách tối thiểu hóa \[SSE = \sum_i (y_i - (ax_i + b))^2\] và tối ưu hóa này thường đạt được bằng thuật toán hạ dốc. Ở đây chúng ta thực hiện một hồi quy tuyến tính đơn giản với dữ liệu nhà ở Boston:

# Import necessary packages
import pandas as pd
%matplotlib inline
import matplotlib.pyplot as plt
plt.style.use('ggplot')
from sklearn import datasets
from sklearn import linear_model
import numpy as np

# Load data
boston = datasets.load_boston()
yb = boston.target.reshape(-1, 1)
Xb = boston['data'][:,5].reshape(-1, 1)

# Plot data
plt.scatter(Xb,yb)
plt.ylabel('value of house /1000 ($)')
plt.xlabel('number of rooms')

# Create linear regression object
regr = linear_model.LinearRegression()
# Train the model using the training sets
regr.fit( Xb, yb)

# Plot outputs
plt.scatter(Xb, yb,  color='black')
plt.plot(Xb, regr.predict(Xb), color='blue',
         linewidth=3)
plt.show()

Hồi quy này nắm bắt xu hướng tăng tổng quát của dữ liệu nhưng không nhiều hơn. Chúng ta mới chỉ dùng một biến dự báo và có thể dùng nhiều hơn, khi đó ta sẽ có \(n\) hệ số \(a_1,\ldots,a_n\) trong mô hình, mỗi hệ số cho một biến dự báo. Đáng chú ý là độ lớn của biến \(a_i\) cho biết biến tương ứng tương quan mạnh thế nào với biến mục tiêu.

Hồi quy logistic trong Python

Hồi quy cũng có thể dùng cho bài toán phân loại. Ví dụ tự nhiên đầu tiên là hồi quy logistic. Trong phân loại nhị phân (hai nhãn), ta có thể coi các nhãn là 0 & 1. Một lần nữa, ký hiệu biến dự báo là \(x\), mô hình hồi quy logistic được cho bởi hàm logistic \[F(x) = \frac{1}{1+e^{-(ax+b)}}.\] Đây là một đường cong hình chữ S (sigmoid) và bạn có thể xem ví dụ bên dưới. Với bất kỳ \(x\) nào, nếu \(F(x) <0.5\) thì mô hình logistic dự đoán y = 0 và ngược lại, nếu \(F(X) > 0.5\) mô hình dự đoán \(y = 1\). Một lần nữa, nếu có nhiều hơn một biến dự báo, chúng ta cũng có \(n\) hệ số \(a_1,\ldots,a_n\), mỗi hệ số cho một biến dự báo. Trong trường hợp này, độ lớn của biến \(a_i\) cho biết biến tương ứng ảnh hưởng mạnh thế nào đến biến dự báo.

# Synthesize data
X1 = np.random.normal(size=150)
y1 = (X1 > 0).astype(np.float)
X1[X1 > 0] *= 4
X1 += .3 * np.random.normal(size=150)
X1= X1.reshape(-1, 1)

# Run the classifier
clf = linear_model.LogisticRegression()
clf.fit(X1, y1)

# Plot the result
plt.scatter(X1.ravel(), y1, color='black', zorder=20 , alpha = 0.5)
plt.plot(X1_ordered, clf.predict_proba(X1_ordered)[:,1], color='blue' , linewidth = 3)
plt.ylabel('target variable')
plt.xlabel('predictor variable')
plt.show()

Thuật ngữ

Học có giám sát: Nhiệm vụ suy luận một biến mục tiêu từ các biến dự báo. Ví dụ, suy luận biến mục tiêu ‘có bệnh tim’ từ các biến dự báo như ‘tuổi’, ‘giới tính’ và ‘tình trạng hút thuốc’.

Nhiệm vụ phân loại: Một nhiệm vụ học có giám sát là nhiệm vụ phân loại nếu biến mục tiêu bao gồm các hạng mục (ví dụ: ‘nhấp’ hoặc ‘không’, khối u ‘ác tính’ hoặc ‘lành tính’).

Nhiệm vụ hồi quy: Một nhiệm vụ học có giám sát là nhiệm vụ hồi quy nếu biến mục tiêu là biến thay đổi liên tục (ví dụ: giá nhà) hoặc biến phân loại có thứ tự như ‘đánh giá chất lượng rượu’.

k-Nearest Neighbors: Một thuật toán cho nhiệm vụ phân loại, trong đó một điểm dữ liệu được gán nhãn theo quyết định đa số của k láng giềng gần nhất.

Tiền xử lý: Bất kỳ số thao tác nào mà nhà khoa học dữ liệu sử dụng để đưa dữ liệu vào dạng phù hợp hơn với mục đích của họ. Ví dụ, trước khi phân tích cảm xúc dữ liệu Twitter, bạn có thể muốn loại bỏ thẻ html, khoảng trắng, mở rộng chữ viết tắt và tách tweet thành danh sách các từ chứa trong đó.

Chuẩn hóa tâm và Chuẩn hóa tỷ lệ: Cả hai đều là các hình thức tiền xử lý dữ liệu số, tức dữ liệu gồm các con số, trái ngược với hạng mục hay chuỗi, chẳng hạn; chuẩn hóa tâm một biến là trừ đi giá trị trung bình của biến khỏi mỗi điểm dữ liệu để biến mới có trung bình bằng 0; chuẩn hóa tỷ lệ một biến là nhân mỗi điểm dữ liệu với một hằng số nhằm thay đổi khoảng giá trị của dữ liệu. Xem phần nội dung bài viết để biết tầm quan trọng của chúng kèm ví dụ.

Bài viết này được tạo từ một sổ tay Jupyter. Bạn có thể tải sổ tay tại đây.