Hessian Matrisi: Optimizasyonda ve Ötesinde İkinci Mertebe Türevler için Bir Rehber

Optimizasyon, model eğitimi ya da bir kayıp yüzeyinin eğriliğini anlamaktan bahsettiğimizde, genellikle maliyet fonksiyonları ve gradyanlar akla gelir. Maliyet fonksiyonu modelimizin ne kadar iyi performans gösterdiğini açıklarken, birinci türevi olan gradyan, kaybı azaltmak için en dik değişim yönünü gösterir. Ancak gradyanlar yalnızca eğimi söyler; eğimin kendisinin nasıl değiştiğini söylemez.

İşte sıkça göz ardı edilen Hessian matrisi burada önem kazanır. Bir skaler değerli fonksiyonun ikinci mertebeden kısmi türevlerinden oluşan kare bir matristir ve gradyanın nasıl evrildiğini yakalayarak kayıp yüzeyinin eğriliğini ortaya koyar. Veri biliminde, gelişmiş optimizasyon algoritmalarını içeren görevlerde, model tanılamasında ve makine öğrenimi modellerinin kararlılığını ve yakınsamasını değerlendirmede önemli hale gelir.

Hessian matrisi, tek değişkenli fonksiyonlardaki ikinci türev kavramını çok değişkenli bağlama genelleştirir. Bir fonksiyonun yerel eğriliğine ilişkin bilgiyi kodlayarak, fonksiyonun belirli bir noktanın yakınında nasıl büküldüğünü veya eğrildiğini niceler. Minima, maksima ve eyer noktaları gibi kritik noktaları analiz etmeye yardımcı olur ve gelişmiş sayısal optimizasyon tekniklerine yön verir.

Bu makalenin odağı, optimizasyon algoritmalarının nasıl davrandığını ve ne kadar hızlı yakınsadığını anlamaya yardımcı olan Hessian matrisini kavramaktır. Özellikle çok sayıda değişken içeren karmaşık modellerle çalışırken faydalıdır. Gradyan vektörleri ve Jacobi matrislerine aşina olanlar için, Hessian bir sonraki adımdır. Fonksiyonların yüksek boyutlu uzayda nasıl davrandığını gösterir.

Hessian Matrisi Nedir?

Şu denkleme,s iki kez türevlenebilir bir skaler değerli fonksiyon olarak bakın:

Bu, fonksiyonun iki kez türevlenebildiği ve tek bir sayı döndürdüğü anlamına gelir. f'in Hessian matrisi, H_f(x) ile gösterilir ve n x n boyutlarında, f'nin tüm ikinci mertebeden kısmi türevlerini içeren kare bir matristir.

Resmen, Hessian matrisinin her bir elemanı şu şekilde tanımlanır:

Bu, Hessian'ın bir fonksiyonun gradyanının (birinci türev) her bir girdi değişkenine göre nasıl değiştiğini anlattığı anlamına gelir.

Eğer f'nin tüm ikinci kısmi türevleri bir noktanın etrafındaki bir bölgede süreklilik gösteriyorsa, Clairaut teoremi (Schwarz teoremi olarak da bilinir) karışık kısmi türevlerin eşit olduğunu, yani türev alma sırasının önemli olmadığını söyler:

Bu simetri özelliği, böyle durumlarda Hessian matrisinin simetrik olduğu anlamına gelir.

Önemli olarak, Hessian matrisi yalnızca skaler değerli fonksiyonlar için tanımlıdır; yani, tek bir sayı döndüren fonksiyonlar için. Şu şekilde vektör değerli fonksiyonlarla çalışırken:

bu durumda ikinci türev kavramı, matris yerine üçüncü mertebe bir tensöre genişler. Bu tensör, F'nin her bir çıktı bileşeninin her bir girdi çiftiyle nasıl değiştiğini yakalar.

Rⁿ -> R iki kez türevlenebilir bir skaler değerli fonksiyon olsun. Hessian matrisi, f'nin şu şekilde tanımlanan n x n boyutlarında matrisidir:

Her bir H_ij elemanı ikinci kısmi türevdir:

Hessian Matrisi Örneği

Şu fonksiyonu ele alın:

Birinci mertebeden kısmi türevler:

İkinci mertebeden kısmi türevler:

Hessian matrisi

(x,y) = (1,1) noktasında değerlendir

Ayrımcı

Negatif bir ayrımcı, kritik noktanın bir eyer noktası olduğunu ima eder. Hessian'ın pratik uygulamalarını öğretmek için Python ile Optimizasyona Giriş kursumuzdaki eyer noktası tekniğine göz atın.

Aynı örneğin Python ile uygulanmış hali aşağıdadır:

import sympy as sp

x, y = sp.symbols('x y')
f = x**3 - 2*x*y - y**6

# Compute gradient
grad_f = [sp.diff(f, var) for var in (x, y)]

# Compute Hessian
hessian_f = sp.hessian(f, (x, y))

# Evaluate at point (1,1)
eval_hessian = hessian_f.subs({x: 1, y: 1})
determinant = eval_hessian.det()

print("Gradient:")
sp.pprint(grad_f)
print("")
print("Hessian matrix:")
sp.pprint(hessian_f)
print("")
print("Hessian at (1,1):")
sp.pprint(eval_hessian)
print("")
print("Discriminant:", determinant)Altyapı:

Bu kod, Hessian matrisini sembolik türev alma ile hesaplar ve belirli bir noktada değerlendirir. SymPy gibi araçlar, hem eğitim hem de uygulamalı araştırma amaçları için pratik bir "Hessian matrisi hesaplayıcısı" işlevi görür.

Ayrımcı ve İkinci Türev Testi

Çok boyutlu ikinci türev testi, kritik noktaları Hessian matrisini kullanarak sınıflandırır:

X₀ bu koşulun sağlandığı bir kritik nokta olsun.

Hessian şöyle olsun

Yorum, Hessian'ın belirlenişliğine bağlıdır:

• Pozitif belirli (tüm özdeğerler > 0): X₀ bir yerel minimumdur.
• Negatif belirli (tüm özdeğerler < 0): X₀ bir yerel maksimumdur.
• Belirsiz (karma işaretli özdeğerler): X₀ bir eyer noktasıdır.
• Tekil (determinant sıfır): Test sonuçsuzdur.

Dört durumun her birine örneklerle bakalım:

import numpy as np
import matplotlib.pyplot as plt
from sympy import symbols, diff, hessian, lambdify

# Define symbols
x, y = symbols('x y')

# List of 4 functions for different discriminant cases
functions = [
    ("x**2 + y**2", "Positive definite (local minimum)"),
    ("-x**2 - y**2", "Negative definite (local maximum)"),
    ("x**2 - y**2", "Indefinite (saddle point)"),
    ("x**4 + y**4", "Zero determinant (inconclusive)")
]

# Prepare plots
fig, axes = plt.subplots(2, 2, figsize=(12, 10))
axes = axes.ravel()

for i, (func_str, title) in enumerate(functions):
    f = eval(func_str)
    
    # Compute gradients and Hessian
    fx = diff(f, x)
    fy = diff(f, y)
    H = hessian(f, (x, y))
    
    # Evaluate Hessian at (0,0) (critical point for all these functions)
    H0 = H.subs({x: 0, y: 0})
    det_H0 = H0.det()
    fxx0 = H0[0, 0]
    
    # Classification
    if det_H0 > 0 and fxx0 > 0:
        classification = "Local Minimum"
    elif det_H0 > 0 and fxx0 < 0:
        classification = "Local Maximum"
    elif det_H0 < 0:
        classification = "Saddle Point"
    else:
        classification = "Inconclusive"

    # Prepare function for plotting
    f_lamb = lambdify((x, y), f, 'numpy')
    X, Y = np.meshgrid(np.linspace(-2, 2, 100), np.linspace(-2, 2, 100))
    Z = f_lamb(X, Y)

    # Plot
    ax = axes[i]
    cp = ax.contourf(X, Y, Z, levels=50, cmap='coolwarm')
    ax.set_title(f"{title}\n{func_str}\nDet(H)={det_H0}, fxx={fxx0} → {classification}")
    ax.plot(0, 0, 'ko')  # critical point
    fig.colorbar(cp, ax=ax)

plt.tight_layout()
plt.show()Altyapı:

Yukarıdaki kontur grafiğinde yükseklik, en düşük olan “Mavi”den en yüksek olan “Kırmızı”ya doğru artar.

Bu test, tek değişkenli fonksiyonlar için ikinci türev testinin bir uzantısıdır ve Taylor serileri ile dışbükey optimizasyon gibi konularla birlikte ele alınır.

Optimizasyonda Hessian Matrisi

Hessian matrisi, bir skaler fonksiyonun ikinci mertebe Taylor açılımında doğal olarak ortaya çıkar:

Bu kuadratik yaklaşım, Newton türü yöntemlerin kritik noktaları verimli biçimde bulmasını sağlar. Newton yöntemi değişkenleri şu şekilde günceller:

Yüksek boyutlu ortamlarda, tam Hessian'ın hesaplanması ve saklanması hesaplama açısından maliyetli olabilir. Bu nedenle, BFGS ve L-BFGS gibi yarı-Newton yöntemleri, Hessian'ı gradyan farklarını kullanarak yinelemeli biçimde yaklaştırır.

Ayrıca, Hessian-vektör çarpımı H_v, tam matrisi hesaplamadan sonlu farklar kullanılarak yaklaştırılabilir:

Bu yaklaşım, otomatik türev alma kullanan derin öğrenme çatıları içinde özellikle faydalıdır.

Makine Öğrenimi ve Veri Biliminde Uygulamalar

Makine öğreniminde, Hessian matrisi kayıp manzarasının eğriliğine dair içgörü sağlar:

• Sinir ağlarında, Hessian'ı analiz etmek eyer noktalarının ve düz bölgelerin varlığını ortaya çıkarabilir.
• Dışbükey optimizasyon problemlerinde, Hessian dışbükeyliği doğrulamaya yardımcı olur ve ikinci mertebe çözücülere yol gösterir.
• Modelleri ince ayarlarken, Hessian bilgisi yerel eğriliğe göre öğrenme oranlarını uyarlamaya yardımcı olur.

Optimizasyonun ötesinde, Hessian şu alanlarda kullanılır:

• İstatistiksel tanılama (ör. en çok olabilirlik tahmininde Fisher bilgi matrisi).
• Bilgisayarlı görü: Özellik tespitinde kullanılan Hessian'ın Determinantı (DoH) blob algılayıcısı gibi.
• Moleküler dinamik: Özellikle titreşim spektrumları için normal mod analizinde.

Hessian'ı anlamak, uygulayıcıların gradyan inişinin ötesine geçerek, Python ile Makine Öğrenimi Temelleri gibi kurslarda kullanılan BFGS gibi daha sofistike algoritmaları uygulamasını sağlar. Bu teknikler, Taylor serileri ve matris cebiri gibi ileri kalkülüs konularına dayanır.

Sonuç

Hessian matrisi, skaler değerli fonksiyonlar hakkında ikinci mertebe bilgiyi kapsar ve eğriliği analiz etmek, kritik noktaları belirlemek ve optimizasyon problemlerini çözmek için zengin bir çerçeve sunar. Gradyanlar yönü gösterirken, Hessian özellikle makine öğreniminde yaygın olan yüksek boyutlu problemler için şekil ve keskinlik anlayışını derinleştirir.

Jacobians ve gradyanlarla zaten rahat olan uygulayıcılar için, Hessian'ı ustalıkla kullanmak algoritma davranışına ve problem yapısına daha bütünlüklü bir bakış sunar.