Hơn bảy mươi năm đã trôi qua kể từ khi nhà toán học người Mỹ lừng danh Samuel S. Wilks phát biểu nổi tiếng rằng, "Tư duy thống kê một ngày nào đó sẽ cần thiết cho công dân hiệu quả như khả năng đọc và viết," phỏng theo cuốn Mankind in the Making của HG Wells. Dù phát biểu này có phần cường điệu, thông điệp cốt lõi về tầm quan trọng của thống kê vẫn còn nguyên giá trị trong kỷ nguyên thông tin ngày nay.
Nguồn ảnh: Hiệp hội Thống kê Hoa Kỳ
Với tốc độ tiến bộ công nghệ nhanh chóng và sự đổi mới chưa từng có, học máy và Generative AI đã trở thành tâm điểm. Những tiến bộ này đã tác động sâu sắc đến đời sống cá nhân của chúng ta và thúc đẩy việc ra quyết định dựa trên dữ liệu ở quy mô lớn.
Giữa tất cả những ồn ào xung quanh các công nghệ tiên tiến này, thống kê vẫn là nền tảng của vô số đột phá trong học máy. Nó gắn liền với bản chất của dữ liệu, vốn là nền móng cho tất cả các công nghệ mới thú vị xung quanh chúng ta.
Học máy Thống kê là gì?
Đúng như tên gọi, học máy thống kê liên quan đến việc sử dụng các kỹ thuật thống kê để xây dựng các mô hình có thể học từ dữ liệu và đưa ra dự đoán hoặc quyết định.
Cốt lõi của học máy thống kê là sự kết hợp giữa hiệu quả tính toán và khả năng thích ứng của các thuật toán học máy với suy luận thống kê và năng lực mô hình hóa. Bạn có thể đã nghe các thuật ngữ kỹ thuật như học có giám sát, không giám sát và bán giám sát – tất cả đều dựa trên nền tảng thống kê vững chắc.
Bằng cách áp dụng các phương pháp thống kê, chúng ta có thể trích xuất những mẫu hình, mối quan hệ và hiểu biết có ý nghĩa từ các tập dữ liệu phức tạp, qua đó nâng cao hiệu quả của các thuật toán học máy.
Vai trò của Thống kê trong Học máy
Tôi đã nói rằng về bản chất, thống kê cung cấp khung lý thuyết để xây dựng các thuật toán học máy. Giờ đây, tôi muốn xem xét kỹ hơn sự khác biệt của chúng và cách chúng kết hợp với nhau.
Thống kê là khoa học cho phép chúng ta thu thập, phân tích, diễn giải, trình bày và tổ chức dữ liệu. Nó cung cấp một bộ công cụ để hiểu các mẫu hình và xu hướng, cũng như công cụ để suy luận và dự đoán dựa trên dữ liệu. Khi xử lý các tập dữ liệu lớn, thống kê giúp chúng ta hiểu và tóm tắt dữ liệu, cho phép nắm bắt các mẫu hình phức tạp.
Ngược lại, học máy là một công cụ mạnh mẽ cho phép máy tính học hỏi và đưa ra quyết định hoặc dự đoán dựa trên dữ liệu. Mục tiêu cuối cùng của học máy là tạo ra các mô hình có thể thích nghi và cải thiện theo thời gian, cũng như khái quát hóa từ những ví dụ cụ thể sang các trường hợp rộng hơn.
Đây chính là vẻ đẹp của sự hòa quyện giữa thống kê và học máy. Các nguyên lý thống kê là những trụ cột nâng đỡ cấu trúc của học máy.
- Xây dựng mô hình học máy: Thống kê cung cấp phương pháp và nguyên lý để tạo mô hình trong học máy. Ví dụ, mô hình hồi quy tuyến tính tận dụng phương pháp bình phương tối thiểu để ước lượng các hệ số.
- Diễn giải kết quả: Các khái niệm thống kê cho phép chúng ta diễn giải kết quả do mô hình học máy tạo ra. Các thước đo như p-value, khoảng tin cậy, R-bình phương và các thước đo khác mang đến góc nhìn thống kê về hiệu năng của mô hình học máy.
- Thẩm định mô hình: Các kỹ thuật thống kê rất quan trọng để thẩm định và tinh chỉnh mô hình học máy. Ví dụ, kiểm định giả thuyết, cross-validation và bootstrapping giúp định lượng hiệu năng mô hình và tránh các vấn đề như quá khớp.
- Nền tảng cho kỹ thuật nâng cao: Ngay cả một số thuật toán học máy phức tạp hơn như Mạng nơ-ron cũng có các nguyên lý thống kê ở cốt lõi. Các kỹ thuật tối ưu hóa như hạ dốc (gradient descent) dùng để huấn luyện các mô hình này dựa trên lý thuyết thống kê.
Vì vậy, hiểu biết vững chắc về thống kê không chỉ giúp chúng ta xây dựng và thẩm định tốt hơn các mô hình học máy mà còn cho phép diễn giải đầu ra của chúng một cách có ý nghĩa và hữu ích.
Hãy cùng điểm qua một số khái niệm thống kê then chốt gắn bó chặt chẽ với học máy. Bạn có thể tìm hiểu sâu hơn trong lộ trình kỹ năng Statistics Fundamentals with Python của chúng tôi để thực hành trực tiếp.
Xác suất
Lý thuyết xác suất cực kỳ quan trọng trong học máy vì nó cung cấp nền tảng để mô hình hóa sự bất định và đưa ra dự đoán xác suất. Làm sao chúng ta định lượng khả năng xảy ra của các kết quả, sự kiện hay đơn giản là các giá trị số? Xác suất giúp làm điều đó! Ngoài ra, các phân phối xác suất đặc biệt quan trọng trong học máy và làm nên điều kỳ diệu.
Một số phân phối thường dùng gồm Gaussian (Chuẩn), Bernoulli, Poisson và phân phối Mũ. Chúng tôi có một cheat sheet về xác suất tiện dụng để bạn tra cứu nhanh các quy tắc xác suất.
Thống kê mô tả
Thống kê mô tả giúp chúng ta hiểu các đặc điểm và thuộc tính của tập dữ liệu. Chúng hỗ trợ tóm tắt và trực quan hóa dữ liệu, nhận diện mẫu hình, phát hiện ngoại lệ và có được những hiểu biết ban đầu để định hướng mô hình hóa và phân tích tiếp theo.
Cheat sheet thống kê mô tả của chúng tôi có thể giúp bạn học các khái niệm này
Thước đo khuynh hướng trung tâm
Trung bình, trung vị và mốt cung cấp cái nhìn giá trị về giá trị trung tâm hoặc đại diện của một tập dữ liệu. Trong học máy, chúng hỗ trợ tiền xử lý dữ liệu bằng cách giúp bù khuyết giá trị thiếu và xác định các ngoại lệ tiềm ẩn.
Trong quá trình kỹ thuật đặc trưng, chúng cũng hữu ích để nắm bắt các giá trị điển hình hoặc thường gặp nhất có ảnh hưởng đến hiệu năng mô hình.
Phương sai và độ lệch chuẩn
Phương sai và độ lệch chuẩn định lượng độ phân tán của các điểm dữ liệu quanh khuynh hướng trung tâm. Chúng là chỉ báo về tính nhất quán và biến thiên của dữ liệu trong học máy.
Những thước đo này hữu ích cho chọn đặc trưng hoặc giảm chiều, nhằm nhận diện các đặc trưng có sức dự báo hạn chế.
Ngoài ra, chúng hỗ trợ đánh giá hiệu năng mô hình bằng cách phân tích độ biến thiên của dự đoán hoặc phần dư, tạo điều kiện để đánh giá và so sánh các thuật toán khác nhau.
Thước đo độ phân tán
Khoảng, khoảng tứ phân vị và phần trăm vị là các thước đo độ phân tán cung cấp hiểu biết về phân phối giá trị dữ liệu. Chúng đặc biệt hữu ích trong phát hiện ngoại lệ, vì giúp xác định và xử lý các ngoại lệ có thể ảnh hưởng lớn đến quá trình huấn luyện và dự đoán của mô hình. Trong những trường hợp cần biến đổi hoặc chuẩn hóa dữ liệu để thuật toán hoạt động tốt hơn, các thước đo này có thể định hướng thực hiện.
Lấy mẫu
Các mô hình học máy được huấn luyện dựa trên dữ liệu được lấy mẫu. Nếu mẫu không được chọn cẩn thận, độ tin cậy của mô hình sẽ trở nên đáng ngờ. Lý tưởng nhất, chúng ta mong muốn chọn các tập con dữ liệu đại diện cho quần thể lớn hơn.
Áp dụng các kỹ thuật lấy mẫu phù hợp cũng đảm bảo các mô hình học máy được huấn luyện trên dữ liệu đa dạng và không thiên lệch, thúc đẩy việc sử dụng công nghệ có đạo đức và trách nhiệm.
Hãy xem khóa học Sampling in Python của chúng tôi để tìm hiểu thêm về kỹ năng mạnh mẽ này.
Ước lượng
Các kỹ thuật ước lượng rất quan trọng trong học máy để xác định các tham số quần thể chưa biết dựa trên dữ liệu mẫu. Chúng cho phép ước lượng tham số mô hình, đánh giá hiệu năng mô hình và đưa ra dự đoán về dữ liệu chưa thấy.
Phương pháp ước lượng phổ biến nhất dùng trong học máy là ước lượng Hợp lý Tối đa (Maximum Likelihood - ML), tìm bộ ước lượng của tham số chưa biết bằng cách tối đa hóa hàm hợp lý.
Kiểm định giả thuyết
Kiểm định giả thuyết cung cấp cách tiếp cận có hệ thống để đánh giá ý nghĩa của các mối quan hệ hoặc khác biệt trong các tác vụ học máy. Nó cho phép chúng ta kiểm tra tính hợp lệ của các giả định, so sánh mô hình và đưa ra quyết định có ý nghĩa thống kê dựa trên bằng chứng sẵn có.
Cross-validation
Cross-Validation (CV) là một kỹ thuật thống kê được sử dụng trong học máy để đánh giá hiệu năng và sai số khái quát hóa của một thuật toán. Mục đích chính là ngăn ngừa quá khớp, hiện tượng mô hình hoạt động tốt trên dữ liệu huấn luyện nhưng không khái quát hóa được sang dữ liệu chưa thấy.
Bằng cách chia tập dữ liệu thành nhiều tập con và lặp lại việc huấn luyện và đánh giá mô hình trên các tổ hợp khác nhau, CV cung cấp ước lượng đáng tin cậy hơn về hiệu năng của thuật toán trên dữ liệu chưa thấy.
Các Kỹ thuật Học máy Thống kê Phổ biến
Những khái niệm thống kê phức tạp này là những bước đầu tiên hướng tới các thuật toán học máy hiệu quả. Giờ hãy khám phá một số mô hình học máy phổ biến nhất và xem thống kê đã giúp đạt được năng lực đáng chú ý của chúng như thế nào.
Hồi quy tuyến tính
Hồi quy tuyến tính là một thuật ngữ thường gặp trong tài liệu thống kê, nhưng không chỉ có thế. Nó còn được xem như một thuật toán học có giám sát nắm bắt mối liên hệ giữa biến phụ thuộc và một hoặc nhiều biến độc lập.
Thống kê hỗ trợ ước lượng hệ số, thực hiện kiểm định giả thuyết và đánh giá ý nghĩa của các mối quan hệ, cung cấp những hiểu biết giá trị và hiểu sâu hơn về dữ liệu. Khám phá chủ đề này sâu hơn với hướng dẫn cốt lõi hồi quy tuyến tính bằng Python hoặc khóa học Introduction to Regression in R của chúng tôi.
Hồi quy logistic
Tương tự hồi quy tuyến tính, hồi quy logistic là một thuật toán phân loại thống kê ước tính xác suất của các kết quả phân loại dựa trên các biến độc lập. Bằng cách áp dụng hàm logistic, nó dự đoán khả năng xảy ra của một lớp cụ thể.
Hồi quy logistic và hồi quy tuyến tính
Cây quyết định
Cây quyết định là các thuật toán linh hoạt sử dụng thống kê để chia tách dữ liệu theo đặc trưng, tạo nên cấu trúc dạng cây cho phân loại hoặc hồi quy. Chúng trực quan, dễ diễn giải và xử lý được cả dữ liệu phân loại lẫn số.
Các thước đo dựa trên thống kê như độ thuần Gini hoặc độ lợi thông tin thường được sử dụng để định hướng các phép chia tách trong suốt quá trình xây dựng cây.
Bạn có thể tìm hiểu Phân loại bằng Cây quyết định trong Python trong một hướng dẫn riêng, hoặc khám phá Cây quyết định trong Học máy bằng R.
Rừng ngẫu nhiên
Random Forest là một phương pháp học tổ hợp giúp cải thiện độ chính xác dự đoán bằng cách kết hợp nhiều cây quyết định. Nó sử dụng lấy mẫu để chọn ngẫu nhiên các tập con đặc trưng và dữ liệu nhằm xây dựng cây. Dự đoán của từng cây sau đó được tổng hợp để đưa ra dự đoán cuối cùng.
Thuật toán này là lựa chọn mạnh mẽ vì nó đưa vào tính đa dạng và giảm quá khớp. Việc đưa vào đa dạng cho phép mô hình vững chắc và toàn diện hơn, nắm bắt nhiều mẫu hình dữ liệu; trong khi giảm quá khớp giúp mô hình khái quát hóa tốt với dữ liệu chưa thấy, khiến nó trở thành công cụ đáng tin cậy và chính xác cho phân tích dự báo.
Chúng tôi có hướng dẫn riêng về phân loại bằng rừng ngẫu nhiên, bao gồm cách và thời điểm sử dụng kỹ thuật thống kê này trong học máy.
Ví dụ về phân loại bằng rừng ngẫu nhiên
Máy vectơ hỗ trợ (SVM)
SVM là một thuật toán mạnh mẽ có thể dùng cho cả bài toán phân loại và hồi quy. Nó sử dụng các nguyên lý thống kê để tạo ra ranh giới giữa các nhóm điểm dữ liệu khác nhau, giúp phân biệt chúng dễ dàng hơn. Bằng cách tối ưu hóa ranh giới này, SVM giảm khả năng mắc lỗi và cải thiện độ chính xác tổng thể.
Chúng tôi có các hướng dẫn về máy vectơ hỗ trợ với SciKit learn trong Python, cũng như SVM trong R.
K-láng giềng gần nhất (KNN)
KNN là một thuật toán đơn giản nhưng hiệu quả được dùng để phân loại các điểm dữ liệu dựa trên lá phiếu đa số của các láng giềng gần nhất. Nó phù hợp cho cả bài toán phân loại và hồi quy, và không cần huấn luyện.
Trong KNN, các thước đo thống kê được sử dụng để xác định độ gần giữa các điểm dữ liệu, hỗ trợ nhận diện các láng giềng gần nhất. Lá phiếu đa số của các láng giềng gần nhất sau đó được dùng để phân loại hoặc dự đoán biến mục tiêu.
Bạn cũng có thể khám phá khái niệm KKN chi tiết hơn qua hướng dẫn K-Nearest Neighbors Classification với scikit-learn của chúng tôi.
Kết luận
Khi chúng ta bước qua kỷ nguyên đầy hứng khởi của công nghệ tiến bộ và ra quyết định dựa trên dữ liệu, việc nắm vững thống kê trở nên vô giá để nâng cao kỹ năng học máy. Bằng cách đi sâu vào những nền tảng của thống kê, chúng ta mở cánh cửa giải phóng tiềm năng thực sự của học máy.
Dù bạn là người mới hay chuyên gia dày dạn, hãy bắt đầu hành trình học tập của mình ngay hôm nay với các lộ trình Statistics Fundamentals with Python và Machine Learning Fundamentals with Python để tìm hiểu thêm về lĩnh vực hấp dẫn của học máy thống kê!
Nguồn
- All of Statistics (A Concise Course in Statistical Inference) của Larry Wasserman
- The Elements of Statistical Learning của Jerome H. Friedman, Robert Tibshirani và Trevor Hastie
