Kiểm định giả thuyết trong Machine Learning

Quy trình kiểm định giả thuyết nhằm rút ra suy luận hoặc kết luận về toàn bộ quần thể hoặc dữ liệu bằng cách thực hiện một số phép kiểm định thống kê trên mẫu. Những suy luận tương tự cũng được rút ra cho các mô hình machine learning khác nhau thông qua kiểm định T (T-test), mà tôi sẽ trình bày trong hướng dẫn này.

Để rút ra một số suy luận, chúng ta cần đưa ra một số giả định, dẫn đến hai thuật ngữ được sử dụng trong kiểm định giả thuyết.

• Giả thuyết không: Đây là giả định rằng không có mẫu hình bất thường, hoặc tin theo giả định đã nêu.

• Giả thuyết đối: Trái ngược với giả thuyết không, giả thuyết này cho rằng quan sát là kết quả của một hiệu ứng thực sự.

Giá trị p

Giá trị p cũng có thể được xem là mức bằng chứng hay mức ý nghĩa đối với giả thuyết không hoặc trong các thuật toán machine learning. Nó thể hiện mức độ quan trọng của các biến dự báo đối với biến đích.

Thông thường, chúng ta chọn mức ý nghĩa là 5%, nhưng trong một số trường hợp đây cũng là chủ đề cần cân nhắc. Nếu bạn có hiểu biết tiên nghiệm vững chắc về cách vận hành dữ liệu của mình, bạn có thể quyết định mức ý nghĩa.

Ngược lại, nếu giá trị p nhỏ hơn 0,05 trong một mô hình machine learning đối với một biến độc lập, thì biến đó được xem xét, nghĩa là có hành vi không đồng nhất với biến đích, điều này hữu ích và có thể được các thuật toán machine learning học được.

Các bước trong kiểm định giả thuyết như sau:

• Giả định một giả thuyết không, thường trong các thuật toán machine learning chúng ta coi như không có bất thường giữa biến đích và biến độc lập.

• Thu thập một mẫu

• Tính thống kê kiểm định

• Quyết định chấp nhận hay bác bỏ giả thuyết không

Tính thống kê kiểm định hoặc T

Để tính thống kê T, chúng ta tạo một kịch bản.

Giả sử có một công ty sản xuất container vận chuyển tuyên bố rằng mỗi container nặng 1000 kg, không ít hơn, không nhiều hơn. Những tuyên bố như vậy có vẻ đáng ngờ, nên chúng ta tiến hành thu thập dữ liệu và tạo một mẫu.

Sau khi thu thập mẫu gồm 30 container, chúng ta thấy rằng trọng lượng trung bình của container là 990 kg và độ lệch chuẩn là 12,5 kg.

Vậy tính thống kê kiểm định:

T = (Trung bình - Giá trị tuyên bố)/ (Độ lệch chuẩn / Cỡ mẫu^(1/2))

Sau khi thay các số vào, kết quả là -4,3818.

Giờ chúng ta tính giá trị t cho mức ý nghĩa 0,05 và bậc tự do.

Lưu ý: Degree of Freedom = Sample Size - 1

From T table the value will be -1.699.

Sau khi so sánh, có thể thấy thống kê thu được nhỏ hơn thống kê ở mức ý nghĩa mong muốn. Vì vậy, chúng ta có thể bác bỏ tuyên bố đã nêu.

Bạn có thể tính giá trị t bằng hàm stats.t.ppf() của lớp stats trong thư viện scipy.

Lỗi

Vì kiểm định giả thuyết được thực hiện trên một mẫu dữ liệu thay vì toàn bộ quần thể do hạn chế về nguồn lực dữ liệu. Do suy luận được rút ra trên dữ liệu mẫu, kiểm định giả thuyết có thể dẫn đến sai lầm, có thể phân loại thành hai loại:

• Lỗi loại I: Trong lỗi này, chúng ta bác bỏ giả thuyết không khi nó đúng.

• Lỗi loại II: Trong lỗi này, chúng ta chấp nhận giả thuyết không khi nó sai.

Các cách tiếp cận khác

Có nhiều cách tiếp cận khác nhau để kiểm định giả thuyết của hai mô hình, chẳng hạn như tạo hai mô hình trên các đặc trưng hiện có. Một mô hình bao gồm tất cả đặc trưng và mô hình còn lại thiếu một đặc trưng. Như vậy, chúng ta có thể kiểm tra mức độ quan trọng của từng đặc trưng. Tuy nhiên, sự phụ thuộc lẫn nhau giữa các đặc trưng ảnh hưởng đến các phương pháp đơn giản như vậy.

Trong các bài toán hồi quy, chúng ta thường theo quy tắc giá trị p: các đặc trưng vi phạm mức ý nghĩa sẽ bị loại bỏ, từ đó cải thiện mô hình một cách lặp dần.

Các thuật toán khác nhau có những cách tiếp cận riêng để kiểm định giả thuyết trên các đặc trưng khác nhau.

Nếu bạn muốn tìm hiểu thêm về nền tảng suy luận Bayes, hãy tham gia khóa học Fundamentals of Bayesian Data Analysis in R của DataCamp.

Xem thêm hướng dẫn Cơ bản về Machine Learning của chúng tôi.