Phương trình đặc trưng: Tất cả những gì bạn cần biết cho khoa học dữ liệu

Với sự bùng nổ về lượng dữ liệu sẵn có và các kỹ thuật học máy, đại số tuyến tính đã trở thành nền tảng trong toán học của học máy và khoa học dữ liệu. Vì vậy, những người theo đuổi lĩnh vực này sẽ được hưởng lợi rất nhiều khi nắm vững các khái niệm cơ bản của đại số tuyến tính, bao gồm vectơ và ma trận, các thuộc tính của chúng, và những phép toán thường dùng.

Chúng tôi khuyến khích bạn học khóa Linear Algebra for Data Science in R để xây dựng nền tảng toán học vững chắc cho khoa học dữ liệu và học máy. Qua khóa học, bạn sẽ thấy đại số tuyến tính là một chủ đề đẹp và thú vị, kết hợp giữa đại số và hình học (thông qua đường thẳng, mặt phẳng và thể tích). Đặc biệt, bạn sẽ thấy dữ liệu không gian chiều cao rất phù hợp để biểu diễn dưới dạng các đối tượng vectơ (ví dụ: văn bản, hình ảnh, âm thanh và đặc trưng), và các đối tượng toán học này dưới dạng vectơ có ứng dụng rộng rãi trong khoa học và kỹ thuật, như vật lý, thống kê và khoa học máy tính.

Trong bài viết này, chúng ta sẽ xem xét kỹ một trong những đối tượng cơ bản trong đại số tuyến tính gọi là ma trận. Giống các đối tượng toán học khác, ma trận có một số thuộc tính đặc trưng cho chúng. Cụ thể, tôi sẽ điểm lại và trình bày một thuộc tính đặc trưng của ma trận vuông: đa thức đặc trưng hay phương trình đặc trưng. Hãy cùng tìm hiểu.

Định nghĩa phương trình đặc trưng

Đa thức là một hàm với ẩn có lũy thừa bậc n. Thông thường ẩn được ký hiệu là x, nhưng trong các trường hợp chuyên biệt, một ký hiệu khác được dùng, chẳng hạn chữ cái Hy Lạp 𝝀 (lambda), mà chúng ta sẽ dùng trong ký hiệu. Đa thức đặc trưng của một ma trận vuông A ∈R^n×n và ẩn số 𝝀 được định nghĩa như sau:

Trong đó det(.) là định thức của ma trận vuông và I là ma trận đơn vị. 

Khi đặt đa thức đặc trưng này bằng không (để giải 𝝀), ta gọi đó là phương trình đặc trưng. Nghiệm của phương trình đa thức này gọi là các trị riêng (eigenvalue), là những khái niệm quan trọng trong phép biến đổi ma trận và học máy (ví dụ: giảm số chiều). Nếu bạn chưa rõ về vector riêng và trị riêng, chúng tôi có một hướng dẫn: Eigenvectors and Eigenvalues: Key Insights for Data Science.

Suy ra và tính phương trình đặc trưng

Chúng ta minh họa cách hình thành đa thức đặc trưng cho ma trận vuông 2x2 A, với:

Theo định nghĩa của đa thức đặc trưng, ta có:

Vậy, đa thức đặc trưng cho ma trận A ở trên là p_A(𝝀)=𝝀²-7𝝀+10. Ta có thể tìm nghiệm của đa thức này bằng cách cho nó bằng không.

Dùng phương trình đặc trưng để tìm trị riêng và vectơ riêng

Đa thức đặc trưng của ma trận vuông chứa các đặc trưng quan trọng về ma trận đó, bao gồm trị riêng và định thức. Do đó, có thể trích xuất các trị riêng từ đa thức đặc trưng bằng cách giải ẩn số. Chúng ta minh họa quy trình tìm trị riêng từ đa thức đặc trưng cho ma trận vuông 2x2 A ở trên. Như đã chỉ ra, đa thức đặc trưng của ma trận này là:

Bây giờ, để tìm các trị riêng, ta cho đa thức này bằng không và tìm nghiệm bằng các phương pháp đại số (hoặc tính toán):

Vì vậy, các trị riêng là 𝝀₁=5 và 𝝀₂=2 (theo thông lệ, các trị riêng được liệt kê theo thứ tự giảm dần vì chúng cho biết lượng thông tin trong một số ma trận dữ liệu). Tập hợp tất cả trị riêng của một ma trận được gọi là phổ riêng (eigenspectrum) hay phổ của ma trận đó. Từ các trị riêng, ta có thể suy ra các vectơ riêng của ma trận trong không gian không nhờ giải (A-𝝀I)x=0 cho mỗi trị riêng:

Với 𝝀₁=5 ta thay 5 vào và giải hệ phương trình thuần nhất:

Điều này cho một không gian riêng một chiều (tức một vectơ cơ sở). Ta thực hiện tương tự với 𝝀₂=2 và thu được:

Trong ví dụ này, chúng ta có hai trị riêng phân biệt. Một ma trận cũng có thể có nhiều trị riêng trùng nhau, cho một không gian riêng nhiều chiều (tức nhiều vectơ cơ sở). Khi đó, số chiều của không gian riêng được trải bởi các vectơ riêng phân biệt được gọi là bội hình học (geometric multiplicity) của trị riêng i. 

Mặt khác, số lần một trị riêng của ma trận bị lặp lại được gọi là bội đại số (algebraic multiplicity). Có lẽ một trong những ứng dụng thú vị nhất của trị riêng và vectơ riêng là thuật toán PageRank mà Google dùng để xếp hạng mức độ quan trọng của kết quả tìm kiếm. Khóa học Predictive Analytics using Networked Data in R của chúng tôi có một chương thú vị về thuật toán PageRank nếu bạn quan tâm. 

Kỹ thuật tính toán

Đa thức đặc trưng thực chất là một đa thức toán học với các tính chất đặc biệt (ví dụ: bao hàm vết, định thức và các trị riêng của ma trận vuông). Do đó, việc tìm nghiệm của phương trình đặc trưng trở nên cồng kềnh khi bậc n lớn. 

Ngoài ra, suy ra đa thức đặc trưng đòi hỏi bạn phải tính định thức của ma trận vuông. Mặc dù vì mục đích giảng dạy, chúng tôi đã cung cấp ví dụ và cách suy ra, giải đa thức đặc trưng bằng giấy bút, nhưng trong các ứng dụng khoa học dữ liệu thực tế, các phương pháp số (tính toán) được dùng để tính hoặc xấp xỉ nghiệm của đa thức đặc trưng. Khai triển Laplace, khử Gauss và phân rã QR là một số phương pháp có thể tìm định thức bằng số. 

Để tìm nghiệm của đa thức đặc trưng, các thuật toán phổ biến gồm phương pháp Newton–Raphson, chia đôi, dây cung (secant) và phương pháp Muller.

Ứng dụng của phương trình đặc trưng

Trị riêng và vectơ riêng là những đặc trưng toán học nền tảng của ma trận có thể được suy ra từ phương trình đặc trưng của ma trận vuông. Trong thống kê và học máy, phương trình đặc trưng được sử dụng trong các thuật toán dựa trên trị riêng nhằm giảm dữ liệu và trích xuất thông tin, chẳng hạn:

• Phân tích thành phần chính (PCA) và giảm số chiều, trong đó một tập dữ liệu được rút gọn về một số vectơ ít hơn dựa trên giá trị các trị riêng trích xuất.
• Phân cụm phổ (Spectral Clustering), một kỹ thuật dựa trên phổ riêng của ma trận tương đồng của tập dữ liệu để giảm số chiều dữ liệu như một bước trước khi chạy các thuật toán phân cụm, chẳng hạn k-means.
• Lý thuyết đồ thị và phân tích mạng, nơi các trị riêng và vectơ riêng được dùng để phân hoạch đồ thị thành các cộng đồng (thành phần chính), nhúng đồ thị vào không gian có số chiều thấp hơn để trực quan hóa, và thưa hóa phổ để xấp xỉ một đồ thị có phổ riêng tương tự.
• Chuỗi thời gian, trong đó phân tích phổ kỳ dị được dùng để khám phá các mẫu tiềm ẩn trong chuỗi, như xu hướng, chu kỳ và bất thường.

Các tính chất của đa thức đặc trưng

Là một đối tượng toán học, đa thức đặc trưng có một số tính chất thú vị, bao gồm:

• Đơn thức chuẩn (Monic): Hệ số đầu của đa thức đặc trưng luôn bằng một (đơn thức chuẩn).
• Bậc: Bậc n của đa thức đặc trưng luôn bằng kích thước của ma trận nxn tương ứng.
• Bất biến theo phép tương tự ma trận: Nếu ta biến đổi một ma trận và thu được một ma trận tương tự, thì cả hai có đa thức đặc trưng giống hệt nhau (tức ma trận tương tự sau biến đổi giữ nguyên đa thức đặc trưng ban đầu).
• Các hệ số: Hệ số tự do đầu tiên của đa thức đặc trưng là định thức của ma trận tương ứng, và hệ số áp chót là vết không dấu của ma trận tương ứng c₀=det(A) và c_n-1=-1^n-1tr(A)
• Trong đa thức đặc trưng, nếu thay mỗi ẩn bằng chính ma trận vuông ban đầu, kết quả sẽ là ma trận không (định lý Cayley–Hamilton). Nói cách khác, đa thức đặc trưng là một đa thức triệt tiêu đối với ma trận vuông. Ở dạng này, các trị riêng có thể được suy ra trực tiếp từ ma trận vuông. Theo đó, có thể phát biểu rằng mọi ma trận vuông đều thỏa mãn phương trình đặc trưng của chính nó.

Chủ đề nâng cao

Cuối cùng, tôi muốn cung cấp thêm một vài chi tiết nâng cao liên quan đến đa thức đặc trưng và các thuộc tính của ma trận để bạn nhìn sâu hơn vào phần toán học, nhưng không đi quá chi tiết.

• Đa thức tối tiểu (Minimal Polynomial): Một đa thức đơn thức chuẩn có liên hệ chặt chẽ với đa thức đặc trưng là đa thức tối tiểu, tức đa thức có bậc dương nhỏ nhất triệt tiêu ma trận vuông A. Vì đa thức đặc trưng cũng có thể triệt tiêu ma trận của nó, nên đa thức tối tiểu có thể được suy ra từ đa thức đặc trưng đó.
• Tương tự và chéo hóa (Similarity and Diagonalization): Hai ma trận được gọi là tương tự nếu chúng liên hệ với nhau thông qua một phép biến đổi tuyến tính chung. Nếu hai ma trận tương tự, thì chúng cũng có cùng hạng, vết, định thức, các trị riêng, đa thức đặc trưng và đa thức tối tiểu. 
• Phương trình đặc trưng của lũy thừa và hàm ma trận: Với lũy thừa ma trận, các trị riêng được nâng lên lũy thừa k của ma trận A^k và đa thức đặc trưng tương ứng được suy ra là det(A^k-λI). Với một hàm ma trận f(x), đa thức đặc trưng có thể được suy ra bằng cách đánh giá f() tại các trị riêng của A.

Kết luận

Trong bài viết này, chúng ta đã tìm hiểu về đa thức đặc trưng và cách nó bao hàm các thuộc tính quan trọng của một ma trận vuông, như trị riêng, vết và định thức. Với vai trò quan trọng của trị riêng trong khoa học dữ liệu và học máy, việc hiểu phương trình đặc trưng giúp chúng ta nắm bắt cách các thuật toán học máy và thống kê trích xuất các thành phần chính từ một ma trận dữ liệu để tìm mẫu và nâng cao hiệu quả tính toán.

Nếu bạn muốn đọc thêm về các phương trình quan trọng và nổi tiếng khác trong khoa học dữ liệu và học máy, hãy xem Hướng dẫn Phương trình chuẩn cho Hồi quy tuyến tính. DataCamp cũng có những khóa học tuyệt vời cho lộ trình học toàn diện và có cấu trúc, như khóa Linear Algebra for Data Science in R mà tôi đã đề cập và rất khuyến nghị.