Courses
Support Vector Machines bằng R
4 giờ
11K
Các mô hình tuyến tính đơn giản và trực quan, nhưng sẽ thất bại ngay khi dữ liệu của bạn không thể phân tách tuyến tính.
Và phần lớn dữ liệu thực tế là như vậy. Dù bạn tinh chỉnh trọng số thế nào, một ranh giới quyết định thẳng cũng không phù hợp – các lớp hoặc chồng lấn, hoặc tạo thành các mẫu mà không đường thẳng nào có thể tách ra mà không mắc lỗi. Nếu bạn biết mô hình quá đơn giản cho bài toán, nhưng chưa muốn nhảy thẳng sang mạng nơ-ron, thì có một lựa chọn trung gian hợp lý.
Support Vector Machines đưa ra một “mẹo”. Bạn có thể chiếu dữ liệu vào một không gian chiều cao hơn, và những gì trông như không thể tách được thường sẽ trở nên tách được. Kernel trick là một lối tắt tính toán cho phép các mô hình dựa trên kernel như SVM hoạt động như thể dữ liệu đã được biến đổi, mà không cần thực hiện phép biến đổi đó một cách tường minh.
Trong bài viết này, bạn sẽ hiểu chính xác kernel trick hoạt động thế nào bên trong SVM, các hàm kernel cần biết, và khi nào nên dùng các phương pháp kernel.
Nhưng SVM chính xác là gì? Hãy đọc bài viết trên blog của chúng tôi về Support Vector Machines với Scikit-learn để tìm hiểu mọi thứ về thuật toán và cách áp dụng.
Kernel Trick là gì?
Kernel trick là một phương pháp tính tích vô hướng trong một không gian đặc trưng có số chiều cao hơn mà không cần ánh xạ dữ liệu vào đó một cách tường minh.
Vậy nên, bạn không thực sự biến đổi các điểm dữ liệu rồi mới tính toán trên chúng. Bạn tính toán kết quả của phép toán đó sẽ là gì, bằng cách dùng một hàm kernel hoạt động trực tiếp trên các đầu vào gốc.
Điều bạn cần nhớ là kernel trick chỉ áp dụng cho các mô hình dựa vào tích vô hướng giữa các điểm dữ liệu. Đây không phải là một kỹ thuật ML dùng chung. Nếu một mô hình không sử dụng tích vô hướng bên trong, kernel trick không áp dụng. Hầu hết các mô hình không sử dụng nó.
SVM, gaussian processes và kernel PCA là vài ví dụ tốt nơi kernel trick sẽ hiệu quả. Nhưng đừng để ai nói với bạn rằng đây là thứ “đa số mô hình ML dùng”.
Vì sao Kernel Trick tồn tại
Các mô hình tuyến tính chỉ có thể học ranh giới quyết định tuyến tính. Đó là ràng buộc cứng của chúng, và cũng là lý do khiến chúng dễ hiểu, dễ diễn giải.
Nhưng hầu hết bộ dữ liệu thực tế không thể phân tách tuyến tính. Không có đường thẳng (hay siêu phẳng) nào có thể tách gọn gàng các lớp. Nhưng với kernel trick, nếu bạn chiếu dữ liệu đó vào một không gian chiều cao hơn, cùng dữ liệu đó có thể trở nên tách được.
Cách tiếp cận hiển nhiên là biến đổi dữ liệu một cách tường minh bằng cách tạo đặc trưng mới, ánh xạ từng điểm vào không gian chiều cao hơn, rồi huấn luyện mô hình từ đó. Cách này hiệu quả, nhưng chi phí tỷ lệ theo độ lớn. Nếu bạn ánh xạ sang một không gian hàng nghìn chiều, việc lưu trữ và tính toán trên các vector đã biến đổi sẽ trở nên tốn kém.
Với kernel trick, thay vì tính toàn bộ phép biến đổi φ(x) cho mọi điểm dữ liệu, bạn tính K(x, x′) – một hàm kernel cho bạn kết quả tích vô hướng tương tự trực tiếp.
Kernel Trick trong Support Vector Machines
Một SVM tìm ranh giới quyết định tối đa hóa biên giữa hai lớp.
Để tìm ranh giới đó, SVM giải một bài toán tối ưu hóa. Và ở dạng đối ngẫu, tối ưu hóa chỉ phụ thuộc vào tích vô hướng giữa các điểm dữ liệu, không phụ thuộc bản thân các điểm. Hàm mục tiêu đối ngẫu trông như sau:
Hàm mục tiêu đối ngẫu
Trong đó α_i là các trọng số được học, y_i là nhãn lớp, và ⟨x_i, x_j⟩ là tích vô hướng giữa hai điểm dữ liệu. SVM chỉ cần độ tương đồng cặp giữa các điểm dữ liệu.
Nếu SVM chỉ cần tích vô hướng, bạn không phải cung cấp các tích vô hướng tính từ không gian gốc. Bạn thay ⟨x_i, x_j⟩ bằng một hàm kernel K(x_i, x_j):
Công thức với hàm kernel
SVM chạy y hệt như cũ. Nó chỉ “nghĩ” rằng mình đang hoạt động trong một không gian đặc trưng phong phú hơn.
Và đó chính là bản chất của kernel trick.
Kernel Trick hoạt động thế nào (Góc nhìn khái niệm)
Cách tiếp cận tiêu chuẩn là định nghĩa một ánh xạ φ(x) để biến đổi từng điểm dữ liệu vào một không gian chiều cao hơn, rồi tính tích vô hướng ở đó:
Ánh xạ
Nhưng việc tính φ(x) một cách tường minh có thể rất tốn kém, và trong vài trường hợp không gian đã ánh xạ có hàng nghìn, thậm chí vô hạn chiều.
Kernel trick bỏ qua bước đó.
Thay vì tính φ(x) rồi mới lấy tích vô hướng, bạn tính trực tiếp K(x, x′) – một hàm kernel thỏa mãn:
Tính toán bằng hàm kernel
Kết quả là như nhau, nhưng chi phí thấp hơn.
Hãy coi K(x, x′) như một hàm đo độ tương đồng. Nó nhận hai điểm dữ liệu trong không gian gốc và trả về một con số phản ánh mức độ giống nhau – nhưng theo cách tương ứng với việc so sánh chúng trong một không gian phong phú hơn nhiều. Mô hình hành xử như thể dữ liệu đã được biến đổi. Thực tế thì không.
Các hàm Kernel phổ biến
Không phải mọi hàm kernel đều hoạt động giống nhau. Mỗi hàm định nghĩa một khái niệm tương đồng khác nhau giữa các điểm dữ liệu, đồng nghĩa với việc mỗi hàm cho ra một kiểu ranh giới quyết định khác nhau. Sau đây là một vài ví dụ.
Kernel tuyến tính
Kernel tuyến tính
Kernel tuyến tính chỉ là tích vô hướng chuẩn. Mô hình ở nguyên trong không gian đặc trưng gốc và học một ranh giới tuyến tính, tương đương với một SVM tuyến tính tiêu chuẩn.
Hãy dùng kernel này khi dữ liệu của bạn đã có thể phân tách tuyến tính. Đây là lựa chọn nhanh nhất và dễ diễn giải nhất.
Kernel đa thức
Kernel đa thức
Trong đó c là hằng số và d là bậc của đa thức.
Kernel đa thức ghi nhận các tương tác giữa đặc trưng. Ví dụ, một kernel bậc 2 sẽ xét mọi tổ hợp cặp đặc trưng. Điều này cho phép mô hình học các ranh giới cong mà bạn không cần tự tạo các biến tương tác đó.
Bậc càng cao thì ranh giới càng linh hoạt, nhưng rủi ro quá khớp cũng tăng.
Kernel RBF (Gaussian)
Kernel RBF
Kernel RBF (Radial Basis Function) là kernel được dùng rộng rãi nhất trong thực tế. Nó đo độ tương đồng dựa trên khoảng cách. Hai điểm gần nhau sẽ có điểm số cao, hai điểm xa nhau có điểm gần bằng không.
Điểm thú vị là nó ngầm ánh xạ dữ liệu vào không gian vô hạn chiều. Điều này cho nó đủ linh hoạt để nắm bắt các ranh giới phức tạp, phi tuyến mà các kernel khác không xử lý được.
Kernel sigmoid
Kernel sigmoid
Kernel sigmoid ít được dùng hơn so với RBF hay đa thức, và không phải lúc nào cũng thỏa các điều kiện toán học để là một hàm kernel hợp lệ, tùy lựa chọn tham số.
Thỉnh thoảng nó xuất hiện trong các tài liệu cũ, nhưng trong thực tế, RBF gần như luôn là điểm khởi đầu tốt hơn.
Kernel Trick ngoài SVM
SVM là thuật toán phổ biến nhất cho kernel trick, nhưng không phải duy nhất.
Một vài mô hình khác dùng cùng ý tưởng:
- Hồi quy sườn kernel (kernel ridge regression) áp dụng ridge regression trong một không gian chiều cao hơn bằng cách dùng hàm kernel thay vì đặc trưng tường minh
- Gaussian processes dùng các hàm kernel để định nghĩa hiệp phương sai giữa các điểm dữ liệu. Kernel mã hóa giả định về độ trơn và hình dạng của hàm bạn đang cố học
- Kernel PCA mở rộng PCA tiêu chuẩn cho các cấu trúc phi tuyến bằng cách tìm các thành phần chính trong một không gian đặc trưng đã biến đổi
Ở tất cả các mô hình này, mô hình chỉ cần các tích vô hướng, nên bạn có thể thay bằng một hàm kernel và có được hành vi phi tuyến mà không cần thay đổi phần toán học còn lại.
Nhưng SVM vẫn là ví dụ dễ hiểu nhất, và là nơi tốt nhất để xây dựng trực giác của bạn.
Kernel Trick so với Kỹ thuật đặc trưng
Cả hai cách tiếp cận đều giải quyết vấn đề các đặc trưng của bạn chưa đủ biểu đạt. Nhưng chúng giải quyết theo cách khác nhau.
Với kỹ thuật đặc trưng, bạn tường minh tạo đặc trưng mới từ các đặc trưng hiện có. Bạn quyết định những tổ hợp nào quan trọng, tính toán chúng, thêm vào tập dữ liệu, và huấn luyện trên tập đặc trưng mở rộng. Bạn thấy rõ những gì đã đưa vào mô hình.
Kernel trick ngầm hoạt động trong một không gian chiều cao hơn mà bạn không bao giờ định nghĩa hay lưu trữ các đặc trưng bổ sung đó. Phép biến đổi được mô tả bởi hàm kernel.
Sự đánh đổi nằm ở khả năng diễn giải so với tính linh hoạt.
Kỹ thuật đặc trưng giữ mọi thứ minh bạch, vì bạn biết mỗi đặc trưng đại diện cho điều gì. Kernel trick cho bạn khả năng biểu đạt mạnh hơn, nhưng không gian đặc trưng ngầm thường khó kiểm tra hay giải thích.
Nếu khả năng diễn giải quan trọng với trường hợp sử dụng của bạn, kỹ thuật đặc trưng là lựa chọn an toàn hơn. Nếu bạn cần nắm bắt các mẫu phức tạp và không cần giải thích từng quyết định của mô hình, kernel trick sẽ giúp bạn đạt được điều đó nhanh hơn.
Ưu điểm của Kernel Trick
Ưu điểm rõ ràng nhất là nó cho phép các mô hình tuyến tính học các ranh giới phi tuyến. Không có nó, SVM chỉ có thể tách lớp bằng một siêu phẳng thẳng. Có nó, cùng mô hình đó có thể xử lý các ranh giới quyết định cong, phức tạp.
Nó cũng tránh được chi phí tính toán tường minh ở không gian cao chiều. Bạn nhận được sức biểu đạt của một không gian đặc trưng phong phú mà không cần lưu trữ hay tính toán các chiều bổ sung. Với các bài toán mà không gian đặc trưng ngầm có hàng nghìn hay vô hạn chiều, đây là yếu tố giúp cách tiếp cận trở nên khả thi.
Các phương pháp kernel cũng thường hiệu quả trên các bộ dữ liệu cỡ vừa. Khi bạn không có hàng triệu mẫu nhưng dữ liệu không thể phân tách tuyến tính, một SVM với kernel phù hợp thường là lựa chọn vững chắc, đáng tin cậy.
Hạn chế của Kernel Trick
Vấn đề lớn nhất là khả năng mở rộng. Huấn luyện một kernel SVM đòi hỏi tính K(x_i, x_j) cho mọi cặp điểm dữ liệu. Đó là phép toán O(n²) – và còn tệ hơn khi tính đến bộ nhớ. Trên các bộ dữ liệu lớn, đây có thể trở thành nút thắt nghiêm trọng.
Việc chọn kernel cũng không hề đơn giản. RBF là mặc định tốt, nhưng không phải lúc nào cũng đúng. Chọn sai kernel – hoặc sai siêu tham số cho một kernel – có thể dẫn đến hiệu suất còn tệ hơn lúc đầu.
Khả năng diễn giải là một vấn đề khác. Với kỹ thuật đặc trưng, bạn biết mỗi đặc trưng có ý nghĩa gì. Với kernel trick, không gian đặc trưng ngầm không rõ ràng. Mô hình hoạt động, nhưng việc giải thích vì sao nó đưa ra một quyết định cụ thể là khó.
Và trong nhiều lĩnh vực, deep learning đơn giản là đã chiếm ưu thế. Mạng nơ-ron xử lý các bộ dữ liệu lớn, tự học biểu diễn đặc trưng, và thường vượt trội hơn các phương pháp kernel mà không cần lựa chọn kernel thủ công. Với phân loại ảnh, NLP, hoặc bất kỳ tác vụ nào có lượng dữ liệu khổng lồ, các phương pháp kernel hiếm khi còn là lựa chọn hàng đầu.
Khi nào nên dùng các phương pháp Kernel
Các phương pháp kernel không lỗi thời vào năm 2026, nhưng chúng trở nên chuyên biệt hơn so với trước đây.
Bạn nên chọn phương pháp kernel như SVM với kernel RBF khi:
- Dữ liệu của bạn có cấu trúc phi tuyến mà mô hình tuyến tính không thể hiểu
- Bộ dữ liệu của bạn có quy mô nhỏ đến vừa – khoảng hàng nghìn mẫu, không phải hàng triệu
- Bạn không cần giải thích từng dự đoán, nên tính diễn giải thấp hơn là một đánh đổi chấp nhận được
Chúng phù hợp với các bài toán dữ liệu có cấu trúc, dạng bảng khi bạn có dữ liệu hạn chế và cần một mô hình khái quát hóa tốt mà không cần quá nhiều tinh chỉnh. Trong các trường hợp đó, một kernel SVM vẫn có thể vượt trội so với các mô hình phức tạp hơn.
Nhưng nếu bộ dữ liệu của bạn lớn, hoặc bạn cần các dự đoán có thể giải thích, các phương pháp kernel không phải là giải pháp tốt nhất.
Ví dụ: SVM với và không có Kernel
Cách tốt nhất để thấy kernel trick thực sự làm gì là quan sát một SVM tuyến tính thất bại, rồi sửa nó bằng một kernel.
Trong ví dụ dưới đây, bạn có một bộ dữ liệu đơn giản với hai vòng tròn đồng tâm, trong đó một lớp tạo thành vòng trong và lớp kia tạo thành vòng ngoài. Không có đường thẳng nào có thể tách chúng. Một SVM tuyến tính sẽ luôn thất bại
Với kernel RBF, cùng SVM đó sẽ vẽ một ranh giới tròn tách biệt các lớp. Điều duy nhất thay đổi là hàm kernel.
Dưới đây là ví dụ đầy đủ:
import numpy as np
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.datasets import make_circles
# Generate concentric circles dataset
np.random.seed(42)
X, y = make_circles(n_samples=300, noise=0.1, factor=0.4)
# Train both SVMs
svm_linear = SVC(kernel="linear", C=1)
svm_rbf = SVC(kernel="rbf", C=1, gamma="scale")
svm_linear.fit(X, y)
svm_rbf.fit(X, y)
print(f"Linear SVM accuracy: {svm_linear.score(X, y):.0%}")
print(f"RBF SVM accuracy: {svm_rbf.score(X, y):.0%}")
Độ chính xác SVM tuyến tính so với RBF
SVM tuyến tính vẽ một ranh giới thẳng xuyên qua giữa dữ liệu. Nó chia mặt phẳng thành hai nửa, điều này không khớp chút nào với cấu trúc thực sự của bài toán. Ngược lại, kernel RBF tạo ra một ranh giới tròn bám theo hình dạng của dữ liệu.
Trực quan SVM tuyến tính so với RBF
Kết lại, mô hình không học một cấu trúc phức tạp hơn – nó chỉ hoạt động trong một không gian nơi cấu trúc đó đơn giản hơn để tìm ra.
Những hiểu lầm thường gặp về Kernel Trick
Có vài hiểu lầm về kernel trick thường xuyên xuất hiện, nên tôi sẽ làm rõ ở đây.
"Kernel trick hoạt động cho mọi mô hình." Không. Kernel trick chỉ áp dụng cho các mô hình dựa vào tích vô hướng giữa các điểm dữ liệu trong quá trình tối ưu. Đa số mô hình – cây quyết định, rừng ngẫu nhiên, mạng nơ-ron, hồi quy tuyến tính – không dùng tích vô hướng theo cách đó, nên kernel trick không áp dụng cho chúng.
"Nó thực sự biến đổi dữ liệu." Không tường minh. Các điểm dữ liệu gốc của bạn giữ nguyên. Hàm kernel tính toán tích vô hướng sẽ là gì trong một không gian chiều cao hơn, nhưng trên thực tế không có phép biến đổi nào diễn ra. Dữ liệu không bao giờ được mở rộng hay lưu trữ khác đi.
"Nó luôn cải thiện hiệu suất." Còn tùy. Với các bài toán phi tuyến và bộ dữ liệu nhỏ đến vừa, một kernel tốt có thể tạo khác biệt. Với bộ dữ liệu lớn, chi phí tính toán thường lấn át lợi ích. Và nếu dữ liệu của bạn đã phân tách tuyến tính, thêm kernel chỉ làm tăng độ phức tạp.
Vì sao Kernel Trick vẫn quan trọng
Kernel trick không phải là ý tưởng được nhắc đến nhiều nhất trong ML hiện nay. Deep learning đứng đầu trên hầu hết các bảng xếp hạng, và các phương pháp kernel hiếm khi xuất hiện.
Nhưng đây vẫn là một khái niệm nền tảng đáng để hiểu.
SVM và kernel trick từng là trung tâm của ML cổ điển vì chúng hoạt động tốt trên dữ liệu có cấu trúc, dạng bảng với số mẫu hạn chế, và phần toán học đằng sau gọn gàng, dễ hiểu. Nếu bạn muốn hiểu cách học dựa trên tương đồng hoạt động ra sao, hoặc vì sao tích vô hướng quan trọng trong tối ưu hóa, kernel trick là một trong những ví dụ rõ ràng nhất để nghiên cứu.
Nó cũng vẫn có những ứng dụng thực tế. Các bộ dữ liệu nhỏ, các lĩnh vực chuyên biệt như tin sinh học hoặc phân loại văn bản với đặc trưng tự xây dựng, và các bài toán cần mô hình khái quát hóa tốt mà không cần nhiều dữ liệu – đó là những nơi các phương pháp kernel còn phù hợp.
Kernel bị thay thế ở những lĩnh vực mà quy mô và khối lượng dữ liệu thô là yếu tố then chốt. Trong bối cảnh phù hợp, nó vẫn là một công cụ tốt.
Kết luận
Kernel trick giải quyết một vấn đề cụ thể: làm thế nào để có hành vi phi tuyến từ một mô hình chỉ biết làm việc với các tích vô hướng. Câu trả lời là thay các tích vô hướng đó bằng một hàm kernel tính cùng kết quả trong một không gian đặc trưng phong phú hơn – mà không cần thực sự đi vào đó.
Nó hữu ích nhất khi hiểu trong ngữ cảnh SVM, nơi dạng đối ngẫu khiến phép thay thế trở nên rõ ràng và tường minh. Khi bạn đã quen với điều đó, họ hàng rộng lớn của các phương pháp kernel sẽ trở nên dễ hiểu hơn nhiều.
Ngày nay deep learning nhận được phần lớn sự chú ý, và với các bài toán quy mô lớn, điều đó là hợp lý. Nhưng kernel trick đại diện cho một lối tư duy khác – dựa trên hình học và tương đồng. Đáng để hiểu, nhưng trừ khi bạn làm trong một lĩnh vực chuyên biệt, có lẽ bạn sẽ ít dùng nó trong thực tế.
Nhưng vì sao deep learning lại chiếm ưu thế? Hãy đăng ký lộ trình Deep Learning in Python của chúng tôi để xem cách các mạng nơ-ron cho phép bạn xây dựng các mô hình phức tạp ở quy mô lớn.
