Ma trận Hessian: Hướng dẫn về đạo hàm bậc hai trong tối ưu hóa và hơn thế nữa

Khi nói về tối ưu hóa, huấn luyện mô hình, hay hiểu độ cong của bề mặt hàm mất mát, chúng ta thường nghĩ đến hàm chi phí và gradient. Trong khi hàm chi phí cho biết mô hình hoạt động tốt đến đâu, gradient, tức đạo hàm bậc nhất, chỉ ra hướng thay đổi dốc nhất để giảm mất mát. Tuy nhiên, gradient chỉ cho biết độ dốc chứ không cho biết bản thân độ dốc thay đổi như thế nào.

Đây là lúc ma trận Hessian, thường bị bỏ qua, trở nên quan trọng. Đó là một ma trận vuông gồm các đạo hàm riêng bậc hai của một hàm vô hướng, mô tả cách gradient biến thiên, từ đó bộc lộ độ cong của bề mặt mất mát. Trong khoa học dữ liệu, nó quan trọng đối với các tác vụ liên quan đến thuật toán tối ưu hóa tiên tiến, chẩn đoán mô hình, cũng như đánh giá độ ổn định và hội tụ của các mô hình học máy.

Ma trận Hessian khái quát khái niệm đạo hàm bậc hai từ hàm một biến sang bối cảnh nhiều biến. Nó mã hóa thông tin về độ cong cục bộ của một hàm để định lượng mức độ uốn cong của hàm gần một điểm cho trước. Hessian giúp phân tích các điểm tới hạn như cực tiểu, cực đại và yên ngựa, và định hướng các kỹ thuật tối ưu hóa số học nâng cao.

Bài viết này tập trung vào việc hiểu ma trận Hessian, yếu tố giúp lý giải cách các thuật toán tối ưu hóa vận hành và tốc độ hội tụ của chúng. Nó đặc biệt hữu ích khi làm việc với các mô hình phức tạp có nhiều biến. Với những ai quen thuộc với vectơ gradient và ma trận Jacobian, Hessian là bước tiếp theo. Nó cho bạn biết các hàm hành xử thế nào trong không gian nhiều chiều.

Ma trận Hessian là gì?

Xem xét phương trình này như một hàm vô hướng khả vi hai lần:

Điều này có nghĩa hàm này có thể lấy đạo hàm hai lần và trả về một giá trị vô hướng. Ma trận Hessian của f, ký hiệu H_f(x), là một ma trận vuông n x n chứa tất cả các đạo hàm riêng bậc hai của f.

Một cách chính thức, mỗi phần tử của ma trận Hessian được định nghĩa như sau:

Điều này có nghĩa Hessian cho chúng ta biết gradient (đạo hàm bậc nhất) của một hàm thay đổi như thế nào theo từng biến đầu vào.

Nếu tất cả các đạo hàm riêng bậc hai của f liên tục trong một lân cận quanh một điểm, định lý Clairaut (còn gọi là định lý Schwarz) cho biết các đạo hàm riêng hỗn hợp là bằng nhau, tức thứ tự vi phân không quan trọng:

Tính chất đối xứng này có nghĩa ma trận Hessian là ma trận đối xứng trong các trường hợp như vậy.

Lưu ý, ma trận Hessian chỉ được định nghĩa cho các hàm vô hướng, tức các hàm trả về một giá trị. Khi làm việc với các hàm nhận giá trị vectơ, như sau:

thì khái niệm đạo hàm bậc hai mở rộng thành một tensor bậc ba thay vì ma trận. Tensor này mô tả cách từng thành phần đầu ra của F thay đổi theo từng cặp biến đầu vào.

Gọi Rⁿ -> R là một hàm vô hướng khả vi hai lần. Ma trận Hessian của f là ma trận n x n được định nghĩa như sau:

Mỗi phần tử H_ij là đạo hàm riêng bậc hai:

Ví dụ về ma trận Hessian

Xét hàm:

Đạo hàm riêng bậc nhất:

Đạo hàm riêng bậc hai:

Ma trận Hessian

Tính tại (x,y) = (1,1)

Biệt thức (Discriminant)

Một biệt thức âm hàm ý điểm tới hạn là điểm yên ngựa. Hãy xem kỹ thuật điểm yên ngựa trong khoá học Introduction to Optimization in Python để tìm hiểu các ứng dụng thực tế của Hessian.

Dưới đây là cùng ví dụ đó được hiện thực bằng Python:

import sympy as sp

x, y = sp.symbols('x y')
f = x**3 - 2*x*y - y**6

# Compute gradient
grad_f = [sp.diff(f, var) for var in (x, y)]

# Compute Hessian
hessian_f = sp.hessian(f, (x, y))

# Evaluate at point (1,1)
eval_hessian = hessian_f.subs({x: 1, y: 1})
determinant = eval_hessian.det()

print("Gradient:")
sp.pprint(grad_f)
print("")
print("Hessian matrix:")
sp.pprint(hessian_f)
print("")
print("Hessian at (1,1):")
sp.pprint(eval_hessian)
print("")
print("Discriminant:", determinant)Được hỗ trợ bởi

Đoạn mã này sử dụng vi phân ký hiệu để tính ma trận Hessian và đánh giá nó tại một điểm cụ thể. Các công cụ như SymPy đóng vai trò là một "máy tính ma trận Hessian" hữu ích cho cả mục đích học tập và nghiên cứu ứng dụng.

Biệt thức và phép thử đạo hàm bậc hai

Phép thử đạo hàm bậc hai trong không gian nhiều chiều phân loại các điểm tới hạn bằng ma trận Hessian:

Gọi X₀ là một điểm tới hạn thỏa mãn điều kiện sau.

Gọi Hessian là

Việc diễn giải phụ thuộc vào tính xác định của Hessian:

• Xác định dương (mọi trị riêng > 0): X₀ là một cực tiểu địa phương.
• Xác định âm (mọi trị riêng < 0): X₀ là một cực đại địa phương.
• Bất định (trị riêng trái dấu): X₀ là một điểm yên ngựa.
• Suy biến (định thức bằng 0): Phép thử không kết luận được.

Hãy hiểu điều này bằng các ví dụ của bốn trường hợp trên:

import numpy as np
import matplotlib.pyplot as plt
from sympy import symbols, diff, hessian, lambdify

# Define symbols
x, y = symbols('x y')

# List of 4 functions for different discriminant cases
functions = [
    ("x**2 + y**2", "Positive definite (local minimum)"),
    ("-x**2 - y**2", "Negative definite (local maximum)"),
    ("x**2 - y**2", "Indefinite (saddle point)"),
    ("x**4 + y**4", "Zero determinant (inconclusive)")
]

# Prepare plots
fig, axes = plt.subplots(2, 2, figsize=(12, 10))
axes = axes.ravel()

for i, (func_str, title) in enumerate(functions):
    f = eval(func_str)
    
    # Compute gradients and Hessian
    fx = diff(f, x)
    fy = diff(f, y)
    H = hessian(f, (x, y))
    
    # Evaluate Hessian at (0,0) (critical point for all these functions)
    H0 = H.subs({x: 0, y: 0})
    det_H0 = H0.det()
    fxx0 = H0[0, 0]
    
    # Classification
    if det_H0 > 0 and fxx0 > 0:
        classification = "Local Minimum"
    elif det_H0 > 0 and fxx0 < 0:
        classification = "Local Maximum"
    elif det_H0 < 0:
        classification = "Saddle Point"
    else:
        classification = "Inconclusive"

    # Prepare function for plotting
    f_lamb = lambdify((x, y), f, 'numpy')
    X, Y = np.meshgrid(np.linspace(-2, 2, 100), np.linspace(-2, 2, 100))
    Z = f_lamb(X, Y)

    # Plot
    ax = axes[i]
    cp = ax.contourf(X, Y, Z, levels=50, cmap='coolwarm')
    ax.set_title(f"{title}\n{func_str}\nDet(H)={det_H0}, fxx={fxx0} → {classification}")
    ax.plot(0, 0, 'ko')  # critical point
    fig.colorbar(cp, ax=ax)

plt.tight_layout()
plt.show()Được hỗ trợ bởi

Trong biểu đồ đường đồng mức ở trên, độ cao tăng dần từ “Xanh lam” là thấp nhất đến “Đỏ” là cao nhất.

Phép thử này là phần mở rộng của phép thử đạo hàm bậc hai cho hàm một biến và thường được bàn cùng các chủ đề như chuỗi Taylor và tối ưu hóa lồi.

Ma trận Hessian trong tối ưu hóa

Ma trận Hessian xuất hiện tự nhiên trong khai triển Taylor bậc hai của một hàm vô hướng:

Xấp xỉ bậc hai này cho phép các phương pháp kiểu Newton tìm điểm tới hạn hiệu quả. Phương pháp Newton cập nhật biến theo:

Trong các bài toán nhiều chiều, việc tính toán và lưu trữ toàn bộ Hessian có thể rất tốn kém. Vì vậy, các phương pháp quasi-Newton như BFGS và L-BFGS xấp xỉ Hessian một cách lặp bằng cách dùng chênh lệch gradient.

Ngoài ra, tích Hessian-vectơ H_v có thể được xấp xỉ mà không cần tính toàn bộ ma trận bằng sai phân hữu hạn:

Xấp xỉ này đặc biệt hữu ích trong các framework học sâu tận dụng vi phân tự động.

Ứng dụng trong Học máy và Khoa học dữ liệu

Trong học máy, ma trận Hessian cung cấp cái nhìn về độ cong của bề mặt mất mát:

• Trong mạng nơ-ron, phân tích Hessian có thể cho thấy sự hiện diện của các điểm yên ngựa và vùng phẳng.
• Trong các bài toán tối ưu hóa lồi, Hessian giúp kiểm tra tính lồi và định hướng các bộ giải bậc hai.
• Khi tinh chỉnh mô hình, hiểu biết về Hessian giúp điều chỉnh tốc độ học dựa trên độ cong cục bộ.

Ngoài tối ưu hóa, Hessian còn được dùng trong:

• Chẩn đoán thống kê (ví dụ: ma trận thông tin Fisher trong ước lượng hợp lý cực đại).
• Thị giác máy tính, chẳng hạn bộ phát hiện blob Determinant of Hessian (DoH) dùng để phát hiện đặc trưng.
• Động lực học phân tử, đặc biệt trong phân tích mode chuẩn cho phổ dao động.

Hiểu Hessian cho phép người thực hành vượt ra ngoài hạ gradient và áp dụng các thuật toán tinh vi hơn như BFGS, được sử dụng trong các khóa học như Machine Learning Fundamentals in Python. Những kỹ thuật này dựa trên các chủ đề giải tích nâng cao như chuỗi Taylor và đại số ma trận.

Kết luận

Ma trận Hessian bao hàm thông tin bậc hai về các hàm vô hướng và cung cấp khung phân tích phong phú để khảo sát độ cong, nhận diện điểm tới hạn và giải quyết bài toán tối ưu. Nếu gradient chỉ dẫn hướng đi, thì Hessian tinh chỉnh hiểu biết về hình dạng và độ sắc cạnh, đặc biệt trong các bài toán nhiều chiều phổ biến trong học máy.

Với những người đã quen với Jacobian và gradient, làm chủ Hessian mang lại cái nhìn đầy đủ hơn về hành vi thuật toán và cấu trúc bài toán.