อธิบาย Kernel Trick: SVM เรียนรู้รูปแบบไม่เป็นเชิงเส้นได้อย่างไร

โมเดลเชิงเส้นนั้นเรียบง่ายและเข้าใจง่าย แต่จะล้มเหลวทันทีที่ข้อมูลของคุณไม่สามารถแยกเชิงเส้นได้

และข้อมูลในโลกความเป็นจริงส่วนใหญ่ก็ไม่เป็นเชิงเส้น ไม่ว่าปรับน้ำหนักอย่างไร เส้นตัดสินใจแบบตรงก็ไม่เหมาะชัดๆ - คลาสซ้อนทับกันหรือเกิดเป็นรูปแบบที่ไม่มีเส้นตรงใดจะแยกได้โดยไม่ผิดพลาด หากรู้ว่าโมเดลเรียบง่ายเกินงาน แต่ยังไม่อยากกระโดดไปใช้โครงข่ายประสาทเทียมทันที ก็ยังมีทางสายกลางที่ดีอยู่

Support Vector Machines มีหนึ่ง “กลเม็ด” คุณสามารถฉายข้อมูลไปยังปริภูมิมิติที่สูงกว่า และสิ่งที่ดูว่าแยกไม่ได้ก็มักจะแยกได้ Kernel trick เป็นทางลัดเชิงคำนวณที่ทำให้โมเดลเชิงเคอร์เนลอย่าง SVM ทำงานราวกับว่าข้อมูลถูกแปลงแล้ว โดยไม่ต้องแปลงจริงๆ

ในบทความนี้ จะอธิบายอย่างชัดเจนว่า kernel trick ทำงานภายใน SVM อย่างไร ควรรู้จักฟังก์ชันเคอร์เนลใดบ้าง และเมื่อใดที่วิธีเชิงเคอร์เนลคุ้มค่าน่าใช้

แล้ว SVM คืออะไรกันแน่? อ่านบล็อกโพสต์ของเราเรื่อง Support Vector Machines ด้วย Scikit-learn เพื่อเรียนรู้ทั้งหมดเกี่ยวกับอัลกอริทึมและวิธีประยุกต์ใช้

Kernel Trick คืออะไร?

Kernel trick คือวิธีการคำนวณ inner product ในปริภูมิฟีเจอร์มิติที่สูงกว่าโดยไม่ต้องแม็ปข้อมูลไปที่นั่นอย่างชัดเจน

ดังนั้นจึงไม่ใช่การแปลงจุดข้อมูลจริงแล้วค่อยคำนวณ แต่เป็นการคำนวณผลลัพธ์ที่การคำนวณนั้นจะได้ โดยใช้ฟังก์ชันเคอร์เนลที่ทำงานกับอินพุตดั้งเดิมโดยตรง

สิ่งที่ควรจำคือ kernel trick ใช้ได้เฉพาะกับโมเดลที่อาศัยดอทโปรดักต์ระหว่างจุดข้อมูล ไม่ใช่เทคนิค ML แบบครอบจักรวาล หากโมเดลไม่ได้ใช้ดอทโปรดักต์ภายใน Kernel trick ก็ใช้ไม่ได้ และส่วนใหญ่ก็ไม่ได้ใช้

SVM, Gaussian processes และ kernel PCA เป็นตัวอย่างที่ดีที่ kernel trick ใช้ได้ แต่อย่าให้ใครบอกว่านี่คือสิ่งที่ “โมเดล ML ส่วนใหญ่ใช้”

เหตุผลที่มี Kernel Trick

โมเดลเชิงเส้นเรียนรู้ขอบเขตการตัดสินใจเชิงเส้นเท่านั้น นั่นคือข้อจำกัดที่ชัดเจน และเป็นเหตุผลที่ทำให้เข้าใจและตีความได้ง่าย

แต่ชุดข้อมูลในโลกจริงส่วนมากไม่สามารถแยกเชิงเส้นได้ ไม่มีเส้นตรง (หรือไฮเปอร์เพลน) ที่จะแยกคลาสได้อย่างสะอาด แต่ด้วย kernel trick หากฉายข้อมูลไปยังปริภูมิมิติที่สูงกว่า ข้อมูลเดิมอาจแยกได้

วิธีตรงไปตรงมาคือแปลงข้อมูลอย่างชัดเจนโดยสร้างฟีเจอร์ใหม่ แม็ปแต่ละจุดไปยังปริภูมิมิติสูง แล้วค่อยฝึกโมเดล วิธีนี้ใช้ได้แต่ต้นทุนจะเพิ่มตามสเกล หากแม็ปไปยังปริภูมิที่มีหลายพันมิติ การเก็บและคำนวณกับเวกเตอร์ที่แปลงแล้วจะมีค่าใช้จ่ายสูง

ด้วย kernel trick แทนที่จะคำนวณการแปลงเต็มรูปแบบ φ(x) สำหรับทุกจุดข้อมูล คุณจะคำนวณ K(x, x′) - ฟังก์ชันเคอร์เนลที่ให้ผลลัพธ์ของ inner product แบบเดียวกันโดยตรง

Kernel Trick ใน Support Vector Machines

SVM จะหาขอบเขตการตัดสินใจที่เพิ่มมาร์จินระหว่างสองคลาสให้มากที่สุด

เพื่อหาขอบเขตนั้น SVM จะแก้ปัญหาการหาค่าที่เหมาะที่สุด และในรูปแบบดูอัล การเหมาะที่สุดนั้นขึ้นอยู่กับดอทโปรดักต์ระหว่างจุดข้อมูล ไม่ได้ขึ้นอยู่กับจุดข้อมูลเอง ฟังก์ชันวัตถุประสงค์แบบดูอัลมีหน้าตาแบบนี้:

ฟังก์ชันวัตถุประสงค์แบบดูอัล

โดยที่ α_i คือเวทที่เรียนรู้ได้ y_i คือป้ายกำกับคลาส และ ⟨x_i, x_j⟩ คือดอทโปรดักต์ระหว่างจุดข้อมูลสองจุด SVM ต้องการเพียงความคล้ายคลึงกันแบบจับคู่ระหว่างจุดข้อมูลเท่านั้น

หาก SVM ต้องการแค่ดอทโปรดักต์ ก็ไม่จำเป็นต้องให้ดอทโปรดักต์ที่คำนวณจากปริภูมิดั้งเดิม คุณสามารถแทนที่ ⟨x_i, x_j⟩ ด้วยฟังก์ชันเคอร์เนล K(x_i, x_j) ได้ดังนี้:

สูตรที่มีฟังก์ชันเคอร์เนล

SVM จะทำงานแบบเดิมทุกประการ เพียงแต่ “คิดว่า” กำลังทำงานอยู่ในปริภูมิฟีเจอร์ที่สมบูรณ์ยิ่งขึ้น

และนั่นคือแก่นของ kernel trick

Kernel Trick ทำงานอย่างไร (มุมมองเชิงแนวคิด)

แนวทางมาตรฐานคือกำหนดแม็ปปิง φ(x) ที่แปลงแต่ละจุดข้อมูลไปยังปริภูมิมิติที่สูงกว่า แล้วค่อยคำนวณดอทโปรดักต์ที่นั่น:

การแม็ปปิง

แต่การคำนวณ φ(x) อย่างชัดเจนอาจมีต้นทุนสูง และบางกรณีปริภูมิที่แม็ปไปมีมิติจำนวนมากหรือแม้แต่อนันต์

Kernel trick ข้ามขั้นตอนนั้นไปเลย

แทนที่จะคำนวณ φ(x) แล้วค่อยนำดอทโปรดักต์ คุณจะคำนวณ K(x, x′) โดยตรง ซึ่งเป็นฟังก์ชันเคอร์เนลที่เป็นไปตาม:

การคำนวณด้วยฟังก์ชันเคอร์เนล

ผลลัพธ์เหมือนเดิม แต่ต้นทุนต่ำกว่า

มอง K(x, x′) เป็นฟังก์ชันวัดความคล้ายคลึง มันรับจุดข้อมูลสองจุดในปริภูมิดั้งเดิมแล้วคืนค่าตัวเลขที่สะท้อนความคล้ายคลึงกัน — แต่ในลักษณะที่สอดคล้องกับการเปรียบเทียบในปริภูมิที่สมบูรณ์ยิ่งกว่า โมเดลจะทำงานราวกับว่าข้อมูลถูกแปลงแล้ว ทั้งที่จริงๆ ไม่ได้แปลง

ฟังก์ชันเคอร์เนลที่พบบ่อย

ฟังก์ชันเคอร์เนลไม่ได้ทำงานเหมือนกันทั้งหมด แต่ละตัวนิยามแนวคิดของความคล้ายคลึงระหว่างจุดข้อมูลต่างกัน ทำให้ได้ขอบเขตการตัดสินใจคนละแบบ มาดูตัวอย่างกันสักสองสามตัว

Linear kernel

Linear kernel

Linear kernel คือดอทโปรดักต์มาตรฐาน โมเดลยังอยู่ในปริภูมิฟีเจอร์เดิมและเรียนรู้ขอบเขตเชิงเส้น เทียบเท่ากับ SVM เชิงเส้นมาตรฐาน

ใช้เคอร์เนลนี้เมื่อข้อมูลแยกเชิงเส้นได้อยู่แล้ว เร็วที่สุดและตีความได้ง่ายที่สุด

Polynomial kernel

Polynomial kernel

โดยที่ c เป็นค่าคงที่ และ d คือดีกรีของพหุนาม

Polynomial kernel จับปฏิสัมพันธ์ระหว่างฟีเจอร์ ดีกรี 2 ตัวอย่างเช่น จะพิจารณาการจับคู่ฟีเจอร์ทุกคู่ ทำให้โมเดลเรียนรู้ขอบเขตโค้งได้โดยไม่ต้องสร้างตัวแปรปฏิสัมพันธ์เอง

ยิ่งดีกรีสูงขึ้น ขอบเขตยิ่งยืดหยุ่น แต่ความเสี่ยงที่จะฟิตเกินก็เพิ่มขึ้น

RBF (Gaussian) kernel

RBF kernel

RBF (Radial Basis Function) kernel เป็นเคอร์เนลที่ใช้กันกว้างขวางที่สุดในทางปฏิบัติ วัดความคล้ายคลึงจากระยะห่าง จุดที่อยู่ใกล้กันจะได้คะแนนสูง จุดที่อยู่ห่างกันจะได้คะแนนใกล้ศูนย์

จุดที่น่าสนใจคือมันแม็ปข้อมูลไปยังปริภูมิอนันต์มิติอย่างไม่ชัดแจ้ง จึงยืดหยุ่นพอจะจับขอบเขตที่ซับซ้อนและไม่เป็นเชิงเส้นที่เคอร์เนลอื่นๆ จัดการไม่ได้

Sigmoid kernel

Sigmoid kernel

Sigmoid kernel ใช้ไม่บ่อยเท่า RBF หรือ Polynomial และไม่ได้เป็นไปตามเงื่อนไขทางคณิตศาสตร์ของเคอร์เนลที่ถูกต้องเสมอไป ขึ้นอยู่กับค่าพารามิเตอร์ที่เลือก

พอพบในวรรณกรรมเก่าอยู่บ้าง แต่ในทางปฏิบัติ RBF มักเป็นจุดเริ่มต้นที่ดีกว่าแทบทุกครั้ง

Kernel Trick นอกเหนือจาก SVM

SVM เป็นอัลกอริทึมที่ใช้ kernel trick มากที่สุด แต่ไม่ใช่อันเดียว

ยังมีโมเดลอื่นที่ใช้แนวคิดเดียวกัน ได้แก่

• Kernel ridge regression นำ ridge regression ไปใช้ในปริภูมิมิติสูงโดยใช้ฟังก์ชันเคอร์เนลแทนฟีเจอร์ที่นิยามชัดเจน
• Gaussian processes ใช้ฟังก์ชันเคอร์เนลเพื่อกำหนดโควาเรียนซ์ระหว่างจุดข้อมูล เคอร์เนลเข้ารหัสสมมติฐานเกี่ยวกับความเรียบและรูปร่างของฟังก์ชันที่ต้องการเรียนรู้
• Kernel PCA ขยาย PCA มาตรฐานให้รองรับโครงสร้างไม่เป็นเชิงเส้นโดยหาส่วนประกอบหลักในปริภูมิฟีเจอร์ที่แปลงแล้ว

สำหรับทั้งหมดนี้ โมเดลต้องการเพียงดอทโปรดักต์ จึงสามารถแทนที่ด้วยฟังก์ชันเคอร์เนลและได้พฤติกรรมไม่เป็นเชิงเส้นโดยไม่ต้องเปลี่ยนคณิตศาสตร์ส่วนอื่น

แต่ SVM ยังเป็นตัวอย่างที่ชัดที่สุด และเป็นจุดเริ่มต้นในการสร้างสัญชาตญาณที่ดี

Kernel Trick กับการทำฟีเจอร์เอนจิเนียริง

ทั้งสองแนวทางแก้ปัญหาที่ฟีเจอร์ของคุณยังไม่แสดงศักยภาพมากพอ แต่แก้ต่างวิธีกัน

ด้วยฟีเจอร์เอนจิเนียริง คุณสร้างฟีเจอร์ใหม่จากของเดิมอย่างชัดเจน คุณตัดสินใจว่าการผสมแบบใดสำคัญ คำนวณ เพิ่มเข้าไปในชุดข้อมูล แล้วฝึกบนชุดฟีเจอร์ที่ขยาย คุณจะเห็นชัดว่าอะไรเข้าโมเดลบ้าง

Kernel trick ทำงานอย่างไม่ชัดแจ้งในปริภูมิมิติสูงโดยที่คุณไม่ต้องนิยามหรือเก็บฟีเจอร์พิเศษเหล่านั้น การแปลงถูกอธิบายด้วยฟังก์ชันเคอร์เนล

การแลกเปลี่ยนจึงอยู่ระหว่างความสามารถในการตีความกับความยืดหยุ่น

ฟีเจอร์เอนจิเนียริงทำให้สิ่งต่างๆ โปร่งใส เพราะรู้ว่าฟีเจอร์แต่ละตัวหมายถึงอะไร Kernel trick ให้พลังการแสดงออกที่มากกว่า แต่ปริภูมิฟีเจอร์โดยนัยมักยากต่อการตรวจสอบหรืออธิบาย

หากความสามารถในการตีความสำคัญต่อกรณีใช้งานของคุณ ฟีเจอร์เอนจิเนียริงย่อมปลอดภัยกว่า หากต้องเข้าใจรูปแบบที่ซับซ้อนและไม่จำเป็นต้องอธิบายทุกการตัดสินใจของโมเดล Kernel trick จะพาคุณไปถึงเป้าหมายได้เร็วกว่า

ข้อดีของ Kernel Trick

ข้อดีที่เด่นที่สุดคือช่วยให้โมเดลเชิงเส้นเรียนรู้ขอบเขตไม่เป็นเชิงเส้นได้ หากไม่มีมัน SVM จะคั่นคลาสได้ด้วยไฮเปอร์เพลนตรงเท่านั้น แต่เมื่อมีแล้ว โมเดลเดียวกันรองรับขอบเขตการตัดสินใจที่โค้งและซับซ้อนได้

นอกจากนี้ยังหลีกเลี่ยงต้นทุนของการคำนวณมิติสูงอย่างชัดแจ้ง ได้พลังการแสดงออกของปริภูมิฟีเจอร์ที่สมบูรณ์ยิ่งขึ้น โดยไม่ต้องเก็บหรือคำนวณมิติเพิ่ม สำหรับปัญหาที่ปริภูมิโดยนัยมีหลายพันหรืออนันต์มิติ นี่คือสิ่งที่ทำให้แนวทางนี้เป็นไปได้เลย

วิธีเชิงเคอร์เนลยังมักทำงานได้ดีกับชุดข้อมูลขนาดกลาง เมื่อไม่มีตัวอย่างนับล้านแต่ข้อมูลไม่แยกเชิงเส้น SVM ที่เลือกเคอร์เนลดีๆ มักเป็นตัวเลือกที่มั่นคงและเชื่อถือได้

ข้อจำกัดของ Kernel Trick

ปัญหาที่ใหญ่ที่สุดคือการสเกล การเทรน SVM แบบเคอร์เนลต้องคำนวณ K(x_i, x_j) สำหรับทุกคู่ของจุดข้อมูล นั่นคือการดำเนินการ O(n²) — และจะแย่ลงเมื่อคำนึงถึงหน่วยความจำ สำหรับชุดข้อมูลขนาดใหญ่ นี่อาจกลายเป็นคอขวดที่แก้ยาก

การเลือกเคอร์เนลก็ไม่ใช่เรื่องเล็ก RBF เป็นค่าตั้งต้นที่ดี แต่ไม่ใช่คำตอบเสมอไป เลือกเคอร์เนลผิด — หรือพารามิเตอร์ของเคอร์เนลไม่เหมาะ — ผลลัพธ์อาจแย่กว่าตอนเริ่มต้น

ความสามารถในการตีความก็เป็นอีกประเด็น ด้วยฟีเจอร์เอนจิเนียริง คุณรู้ว่าฟีเจอร์แต่ละตัวหมายถึงอะไร แต่กับ kernel trick ปริภูมิฟีเจอร์โดยนัยไม่ชัดเจน โมเดลทำงานได้ แต่การอธิบายว่าทำไมถึงตัดสินใจแบบหนึ่งจึงยาก

และในหลายโดเมน ดีปเลิร์นนิงก็เข้ามาครอง โครงข่ายประสาทจัดการชุดข้อมูลขนาดใหญ่ เรียนรู้การแทนฟีเจอร์ของตัวเอง และมักให้ผลดีกว่าวิธีเชิงเคอร์เนลโดยไม่ต้องเลือกเคอร์เนลเอง สำหรับการจำแนกรูปภาพ NLP หรือภารกิจที่มีข้อมูลจำนวนมหาศาล วิธีเชิงเคอร์เนลแทบไม่ใช่ตัวเลือกแรกแล้ว

ควรใช้วิธีเชิงเคอร์เนลเมื่อใด

วิธีเชิงเคอร์เนลไม่ได้ล้าสมัยในปี 2026 แต่มีความเฉพาะทางมากขึ้นกว่าเดิม

ควรเลือกใช้วิธีเชิงเคอร์เนลอย่าง SVM กับ RBF kernel เมื่อ:

• ข้อมูลมีโครงสร้างไม่เป็นเชิงเส้นที่โมเดลเชิงเส้นเข้าใจไม่ได้
• ชุดข้อมูลมีขนาดเล็กถึงปานกลาง — ระดับหลักพันตัวอย่าง ไม่ใช่หลักล้าน
• ไม่จำเป็นต้องอธิบายการพยากรณ์รายรายการ ดังนั้นความสามารถในการตีความที่ต่ำกว่าเป็นการแลกเปลี่ยนที่ยอมรับได้

เหมาะกับปัญหาข้อมูลเชิงตารางที่มีโครงสร้าง ซึ่งมีข้อมูลจำกัดและต้องการโมเดลที่ทั่วไปได้ดีโดยไม่ต้องปรับแต่งมาก ในกรณีเหล่านี้ SVM แบบเคอร์เนลยังคงชนะโมเดลที่ซับซ้อนกว่าได้

แต่ถ้าชุดข้อมูลมีขนาดใหญ่ หรือจำเป็นต้องอธิบายการทำนาย Kernel methods ก็ไม่ใช่วิธีที่ดีที่สุด

ตัวอย่าง: SVM ที่มีและไม่มีเคอร์เนล

วิธีที่ดีที่สุดในการเห็นว่า kernel trick ทำอะไรจริงๆ คือดู SVM เชิงเส้นล้มเหลว แล้วแก้ด้วยเคอร์เนล

ในตัวอย่างด้านล่าง มีชุดข้อมูลง่ายๆ เป็นวงกลมร่วมศูนย์สองวง คลาสหนึ่งเป็นวงใน อีกคลาสเป็นวงนอก ไม่มีเส้นตรงใดแยกได้ SVM เชิงเส้นจะล้มเหลวทุกครั้ง

ด้วย RBF kernel SVM เดิมจะวาดขอบเขตเป็นวงกลมที่แยกคลาสได้ สิ่งเดียวที่เปลี่ยนคือฟังก์ชันเคอร์เนล

นี่คือตัวอย่างเต็ม:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.datasets import make_circles

# Generate concentric circles dataset
np.random.seed(42)
X, y = make_circles(n_samples=300, noise=0.1, factor=0.4)

# Train both SVMs
svm_linear = SVC(kernel="linear", C=1)
svm_rbf = SVC(kernel="rbf", C=1, gamma="scale")
svm_linear.fit(X, y)
svm_rbf.fit(X, y)

print(f"Linear SVM accuracy: {svm_linear.score(X, y):.0%}")
print(f"RBF SVM accuracy:    {svm_rbf.score(X, y):.0%}")

ความแม่นยำของ SVM แบบเชิงเส้นเทียบกับ RBF

SVM เชิงเส้นจะวาดขอบเขตตรงกลางข้อมูล แบ่งระนาบออกเป็นสองส่วน ซึ่งไม่สอดคล้องกับโครงสร้างจริงของปัญหาเลย ตรงกันข้าม RBF kernel ให้ขอบเขตเป็นวงกลมที่ตามรูปทรงของข้อมูล

ภาพเปรียบเทียบ SVM เชิงเส้นและ RBF

โดยสรุป โมเดลไม่ได้เรียนรู้โครงสร้างที่ซับซ้อนกว่า เพียงแต่ทำงานในปริภูมิที่โครงสร้างนั้นหาได้ง่ายกว่า

ความเข้าใจผิดที่พบบ่อยเกี่ยวกับ Kernel Trick

มีความเข้าใจผิดอยู่สองสามประเด็นที่พบได้บ่อย พอจะสรุปตอบไว้ที่นี่

"Kernel trick ใช้ได้กับทุกโมเดล" ไม่จริง ใช้ได้เฉพาะกับโมเดลที่อาศัยดอทโปรดักต์ระหว่างจุดข้อมูลในกระบวนการหาค่าที่เหมาะที่สุด โมเดลส่วนใหญ่ — ต้นไม้ตัดสินใจ เรนดอมฟอเรสต์ โครงข่ายประสาท การถดถอยเชิงเส้น — ไม่ได้ใช้ดอทโปรดักต์ในลักษณะนั้น จึงใช้ kernel trick ไม่ได้

"มันแปลงข้อมูลจริงๆ" ไม่ได้แปลงอย่างชัดแจ้ง จุดข้อมูลเดิมยังเหมือนเดิม ฟังก์ชันเคอร์เนลคำนวณว่าดอทโปรดักต์จะเป็นอย่างไรในปริภูมิมิติที่สูงกว่า แต่ไม่มีการแปลงเกิดขึ้นจริง ข้อมูลไม่ถูกขยายหรือเก็บต่างไป

"มันช่วยประสิทธิภาพเสมอ" ขึ้นอยู่กับกรณี ในปัญหาไม่เป็นเชิงเส้นที่มีชุดข้อมูลเล็กถึงปานกลาง เคอร์เนลที่ดีอาจช่วยได้มาก แต่กับชุดข้อมูลใหญ่ ต้นทุนคำนวณมักเกินประโยชน์ และถ้าข้อมูลแยกเชิงเส้นได้อยู่แล้ว การเพิ่มเคอร์เนลก็แค่เพิ่มความซับซ้อน

เหตุใดยังควรใส่ใจ Kernel Trick

Kernel trick อาจไม่ใช่แนวคิดที่ถูกพูดถึงมากที่สุดใน ML ปัจจุบัน ดีปเลิร์นนิงครองชาร์ตสำหรับเบนช์มาร์กส่วนใหญ่ และแทบไม่เห็นวิธีเชิงเคอร์เนลในหลายที่

แต่มันก็ยังเป็นแนวคิดฐานรากที่ควรเข้าใจ

SVM และ kernel trick เป็นศูนย์กลางของ ML แบบคลาสสิก เพราะทำงานได้ดีกับข้อมูลเชิงตารางที่มีโครงสร้างและตัวอย่างจำกัด และคณิตศาสตร์เบื้องหลังนั้นสะอาดและเข้าใจได้ หากอยากเข้าใจการเรียนรู้ที่อิงความคล้ายคลึง หรือเหตุใดดอทโปรดักต์จึงสำคัญในออปติไมเซชัน Kernel trick คือหนึ่งในตัวอย่างที่ชัดที่สุดที่ควรศึกษา

นอกจากนี้ยังมีการใช้งานจริงอยู่ ชุดข้อมูลขนาดเล็ก โดเมนเฉพาะอย่างชีวสารสนเทศ หรือการจัดหมวดหมู่ข้อความที่ใช้ฟีเจอร์ทำมือ และปัญหาที่ต้องการโมเดลที่ทั่วไปได้ดีโดยไม่ต้องใช้ข้อมูลมาก — ทั้งหมดนี้ยังเป็นบริเวณที่วิธีเชิงเคอร์เนลเกี่ยวข้องอยู่

เคอร์เนลถูกแทนที่ในโดเมนที่ขนาดและปริมาณข้อมูลดิบสำคัญที่สุด แต่ในบริบทที่เหมาะสม มันยังเป็นเครื่องมือที่ดี

สรุป

Kernel trick แก้ปัญหาเฉพาะ: จะทำให้โมเดลที่รู้จักแค่ดอทโปรดักต์มีพฤติกรรมไม่เป็นเชิงเส้นได้อย่างไร คำตอบคือแทนที่ดอทโปรดักต์เหล่านั้นด้วยฟังก์ชันเคอร์เนลที่คำนวณผลแบบเดียวกันในปริภูมิฟีเจอร์ที่สมบูรณ์กว่า — โดยไม่ต้องไปที่นั่นจริงๆ

มีประโยชน์ที่สุดเมื่อเข้าใจในบริบทของ SVM ซึ่งฟอร์มูเลชันแบบดูอัลทำให้การแทนที่ชัดและตรงไปตรงมา เมื่อคุ้นเคยกับสิ่งนั้น ครอบครัวของวิธีเชิงเคอร์เนลโดยรวมจะเริ่มเข้าใจได้มากขึ้น

ทุกวันนี้ดีปเลิร์นนิงได้รับความสนใจส่วนใหญ่ และสำหรับปัญหาขนาดใหญ่ก็สมเหตุสมผล แต่ kernel trick แทนวิธีคิดอีกแบบ — ที่ยึดโยงกับเรขาคณิตและความคล้ายคลึง ควรทำความเข้าใจ แม้อาจไม่ได้ใช้บ่อยในทางปฏิบัติหากไม่ได้ทำงานในสายเฉพาะทาง

แต่ว่าทำไมดีปเลิร์นนิงจึงครองเวที? ลงทะเบียนเรียนหลักสูตรDeep Learning in Python เพื่อดูว่าโครงข่ายประสาทช่วยให้สร้างโมเดลซับซ้อนได้ในสเกลใหญ่เพียงใด