Taylor Serileri: Yaklaşıklardan Optimizasyona

Bilgisayarın sin(x) veya eˣ gibi bir fonksiyonu gerçekte nasıl hesapladığını hiç merak ettiniz mi?

Bilgisayarlar çoğu matematiksel fonksiyonu doğrudan değerlendiremez. Yalnızca toplama, çıkarma, çarpma ve bölme yapabilirler. Dolayısıyla Python'da math.sin(0.5) çağırdığınızda, bunun temel aritmetik işlemler dizisine dönüştürülmesi gerekir. Bunu sağlayan şey polinom yaklaşımıdır ve Taylor serileri bunun ardındaki matematiksel temeldir.

Bir Taylor serisi, neredeyse her düzgün (smooth) fonksiyonu, tek bir noktadaki türevlerinden oluşturulan daha basit terimlerin sonsuz toplamı olarak yeniden yazmanıza olanak tanır. Bu fikri anladığınızda, veri bilimi ve makine öğrenimindeki birçok şey yerine oturur — gradyan inişinin nasıl çalıştığından, belirli aktivasyon fonksiyonlarının neden belirli şekilde davrandığına kadar.

Bu yazıda, Taylor serilerinin ne olduğunu, matematiksel olarak nasıl çalıştığını, veri bilimi ve makine öğreniminde nerelerde karşımıza çıktığını ve göreceğiniz diğer seri türleriyle nasıl ilişkili olduğunu adım adım anlatacağım.

Taylor Serilerinin Tanımlanması

Taylor serileri yüzyıllardır biliniyor. Brook Taylor bunları 1715'te tanıttı; James Gregory ve Colin Maclaurin de bu fikre önemli katkılar yaptı.

Amaç, karmaşık fonksiyonları, üzerinde çalışması çok daha kolay olan polinomlarla temsil etmenin bir yolunu bulmaktı.

Bir Taylor serisi, bir fonksiyonu tek bir noktadaki türevlerinden elde edilen terimlerin sonsuz toplamı olarak ifade ederek yaklaşıklar. Ne kadar çok terim eklerseniz, yaklaşım gerçek fonksiyona o kadar yaklaşır.

Genel formül şöyledir:

Genel Taylor serisi formülü

Bu toplamın her terimini üç bileşen oluşturur:

• f⁽ⁿ⁾(a) - fonksiyonun n'inci türevinin merkez nokta a üzerindeki değeri

• n! - n faktöriyeli; terimlerin kontrolsüz büyümesini engeller

• (x - a)ⁿ - açılım terimi; x'in merkez noktadan ne kadar uzakta olduğunu ölçer

Merkez nokta a, seriyi sabitlediğiniz (ankerlediğiniz) noktadır. a = 0 olduğunda, Maclaurin serisi denen özel bir durumu elde edersiniz — buna birazdan değineceğiz.

Somut bir örnek: eˣ

Üstel fonksiyon eˣ mükemmel bir ilk örnektir. Türevi kendisidir; dolayısıyla her n için f⁽ⁿ⁾(0) = 1'dir. a = 0 merkezli Taylor serisi şu hale gelir:

Somut örnek

Diyelim ki e⁰·⁵'i yaklaşık hesaplamak istiyorsunuz. x = 0.5'i ilk dört terime yerleştirmeniz yeterli — işte bir Python örneği:

x = 0.5
approx = 1 + x + x**2/2 + x**3/6
print(approx)

Python'da somut örnek

e⁰·⁵'in gerçek değeri yaklaşık 1.6487'dir. Yalnızca dört terimle, şimdiden gerçek cevabın yüzde 0,2'si içinde kalıyorsunuz. Daha fazla terim eklendikçe yaklaşım sıkılaşır.

Taylor serilerinin gücü budur.

eˣ, sin(x) ve cos(x) gibi fonksiyonları doğrudan değerlendirmek zordur; ancak bunların Taylor serileri, onları temel aritmetiğe indirger. Bilgisayarın tam da üzerinde çalışabildiği şey budur.

Taylor Serilerinin Matematiksel Özellikleri

Bir Taylor serisi, yalnızca yaklaşıklamak istediğiniz fonksiyona gerçekten yakınsıyorsa işe yarar. Bunun ne anlama geldiğine ve yakınsamadığında ne olduğuna bakalım.

Taylor serisi açılımı

Bir Taylor serisini açtığınızda, polinomu terim terim inşa edersiniz. Her terim, fonksiyonun merkez nokta a çevresindeki davranışı hakkında daha fazla bilgi ekler.

a = 0 merkezli sin(x) fonksiyonunu ele alalım:

Taylor serisi açılımı

İlk terim x kaba bir doğrusal yaklaşıktır. İkinci terimi ekleyin, eğri yaklaşır. Daha fazla terim ekleyin, polinom x = 0 yakınında tam olarak sin(x) gibi görünmeye başlar.

Basitçe söylemek gerekirse, açılım; hesaplaması zor ama tam bir fonksiyonu, üzerinde gerçekten çalışabileceğiniz bir polinomla değiştirmek demektir.

Taylor serisi yaklaşımı

Sonsuz sayıda terimi asla hesaplamazsınız. Pratikte birkaç terimde durur ve küçük bir hatayı kabul edersiniz. Ortaya çıkan şeye kırpılmış (truncated) Taylor serisi denir ve bunun getirdiği hataya kırpma hatası denir.

Lagrange kalanı bu hataya bir sınır verir. n terimde kesilen bir seri için:

Lagrange kalanı

Burada c, x ile a arasında bir noktadır. c'yi tam olarak bilmezsiniz, ancak fonksiyonunuzun türevlerinin ne kadar büyük olabileceğini biliyorsanız f⁽ⁿ⁺¹⁾(c) için bir üst sınır koyabilirsiniz.

Bunu şöyle yorumlayabilirsiniz

• x merkez nokta a'dan ne kadar uzaksa, hata o kadar büyür

• Daha fazla terim ekledikçe hata küçülür

• Türevleri büyük ve hızlı büyüyen fonksiyonları doğru biçimde yaklaşıklamak daha zordur

Diyelim ki sin(0.1)'i üç terimle yaklaşıkliyorsunuz:

x = 0.1
approx = x - x**3/6 + x**5/120
print(approx)       
print(np.sin(0.1))  

Python'da yaklaşım

Üç terim, x 0'a yakınken on ondalık basamağa kadar doğruluk sağlar. Bu, kırpma hatasının iş başındaki hâlidir — küçük ama sıfır değil.

Taylor serisinin yakınsaması

Bir Taylor serisi, kısmi toplamları daha fazla terim ekledikçe sabit bir değere yaklaşırsa bir x noktasında yakınsar. Bu sabit değer f(x) olmalıdır — ancak bu her zaman garanti değildir.

Yakınsama yarıçapı R, serinin merkez noktadan ne kadar uzakta geçerli kaldığını söyler. Bu yarıçapın içinde seri yakınsar. Dışında ise terimler küçülmek yerine büyür ve yaklaşım bozulur.

Yakınsama formülü

Farklı fonksiyonların farklı yarıçapları vardır:

• eˣ, sin(x) ve cos(x) tüm x değerleri için yakınsar; dolayısıyla R = ∞

• ln(1 + x) yalnızca -1 < x <= 1 için yakınsar; dolayısıyla R = 1

• 1/1-x |x| < 1 için yakınsar; dolayısıyla R = 1

Bir fonksiyon, sonsuz yakınsama yarıçapına sahip olup yine de bazı noktalarda Taylor serisine eşit olmayabilir. Bunlara analitik olmayan fonksiyonlar denir; veri biliminde nadiren görseniz de bilmeye değer bir uç durumdur.

Bu yüzden, bir Taylor yaklaşımına güvenmeden önce x'in yakınsama yarıçapının içinde olup olmadığını her zaman kontrol edin.

Veri Bilimi ve Makine Öğreniminde Taylor Serileri

Taylor serileri beklediğinizden daha çok yerde karşınıza çıkar — fiziki simülasyonlardan ing diferansiyel denklemleri çözmeye kadar. Ancak bir veri bilimci olarak günlük işinizde en büyük etkisi optimizasyon ve model yaklaşımındadır.

Optimizasyon ve gradyan inişi

Bir makine öğrenimi modelini her eğittiğinizde bir tür optimizasyon çalıştırıyorsunuz. Ve bu optimizasyonun arkasında çoğu zaman Taylor serileri vardır

Gradyan inişi birinci dereceden Taylor yaklaşımı kullanır. Geçerli parametrelerde θ bir kayıp fonksiyonunun L(θ) gradyanını hesapladığınızda özünde şunu sorarsınız: "Bu yönde küçük bir adım atarsam kayıp ne kadar değişir?" Bu, geçerli nokta etrafındaki birinci dereceden bir Taylor açılımıdır:

Optimizasyonda Taylor serileri

Bu işe yarar, ancak eğriliği göz ardı eder. Kayıp yüzeyi eğriliyorsa, birinci dereceden yaklaşım aşırı adım atabilir veya verimsiz adımlar alabilir.

Newton yöntemi bunu ikinci dereceden terimi — eğriliği izleyen Hessian matrisi H'yi — dahil ederek düzeltir:

Optimizasyonda Taylor serileri (2)

Bu ifadenin türevini sıfıra eşitlemek, atılacak en iyi adımı verir. Dezavantajı, büyük modeller için tam Hessian'ı hesaplamanın maliyetli olmasıdır. L-BFGS gibi yöntemler bunun yerine yaklaşıklar; böylece maliyetin küçük bir kısmına faydanın çoğunu sağlar.

Aktivasyon fonksiyonu yaklaşımları

Bazı aktivasyon fonksiyonlarının hesaplanması maliyetlidir. Taylor serileri, çoğu amaç için yeterince doğru olan daha ucuz alternatifler sunar.

Sigmoid fonksiyonu σ(x) = 1 / (1 + e⁻ˣ) bir üstel hesaplamayı gerektirir ve bu maliyetlidir. x = 0 yakınında Taylor açılımı şöyledir:

Yaklaşımda Taylor serileri

Kenar cihazlar veya FPGA'ler gibi donanım kısıtlı ortamlarda, bu tür polinom yaklaşımlar, kesin hesaplamaların yerini az sayıda çarp-topla işlemiyle alabilir.

GELU, BERT ve GPT gibi dönüştürücü modellerde kullanılır ve çoğunlukla hata fonksiyonunun erf(x) Taylor tabanlı bir yaklaşımıyla uygulanır; zira tam biçimi kapalı formu olmayan bir integral içerir.

XGBoost ve ikinci dereceden optimizasyon

XGBoost, en yaygın kullanılan gradyan artırma kütüphanelerinden biridir ve her yeni ağacı uydurmak için kayıp fonksiyonunun ikinci dereceden Taylor açılımını kullanır.

Her artırma adımında, XGBoost kaybı şu şekilde yaklaşıklar:

XGBoost kayıp yaklaşımı

Burada g_i birinci dereceden gradyan, h_i ise mevcut tahmine göre kaybın ikinci dereceden gradyanıdır (Hessian). Her iki terimi de kullanmak, XGBoost'un ağaçları birinci dereceden yöntemlere göre daha hızlı ve daha doğru uydurmasını sağlar; bu da, tablo verilerinde neden bu kadar iyi performans gösterdiğinin önemli bir parçasıdır.

Zorluklar ve sınırlamalar

Taylor serileri veri biliminin her yerinde kullanılabilir olsa da bu, gördüğünüz her çiviye vurulacak mecazi bir çekiç oldukları anlamına gelmez. Birkaç şey ters gidebilir.

• Yaklaşım hatası birikir: Derin ağlarda pek çok işlemi ard arda zincirlersiniz. Bir katmandaki küçük bir Taylor yaklaşım hatası katmanlar boyunca bileşik hâle gelir ve bu, eğitimin kararlılığını etkileyebilir

• Yakınsama yarıçapı önemlidir: Taylor yaklaşımları yalnızca açılım noktasının yakınında güvenilirdir. Girdileriniz, yaklaşımın kurulduğu bölgeden çok uzaklaşırsa — örneğin, dağılım dışı veriler üzerinde çıkarım sırasında — yaklaşım çözülebilir

• Yüksek boyutlu Hessian'lar pahalıdır: İkinci dereceden yöntemler güçlüdür ancak iyi ölçeklenmez. n parametreli bir modelin n × n boyutunda bir Hessian'ı vardır. Milyonlarca parametreli bir modelde bu matrisi saklamak ve tersini almak, yaklaşımlar olmadan pratik değildir.

Bu ödünleşimleri (trade-off) anlarsanız, ne zaman Taylor tabanlı bir yaklaşımın değerli olduğunu ve ne zaman daha basit bir birinci dereceden yöntemin yeterli olduğunu bilirsiniz.

İyi Bilinen Taylor Serileri

Birkaç Taylor serisi, matematik, fizik ve makine öğreniminin her yerinde karşımıza çıkar. Veri bilimi konusunda ciddiyseniz bilinmeye değer olanlar bunlardır.

Üstel fonksiyon

Üstel fonksiyon eˣ türetmesi en kolay Taylor serisidir; çünkü eˣ'in her türevi yine eˣ'tir. a = 0'da değerlendirildiğinde, her katsayı 1'dir:

Üstel fonksiyon

Bu seri tüm x değerleri için yakınsar; bu da onu güvenilir ve kullanımı kolay kılar. Sınıflandırma modellerinde kullanılan sigmoid ve softmax fonksiyonlarının temelidir.

Sinüs fonksiyonu

Sinüs fonksiyonu yalnızca tek kuvvetler içerir; bu, sin(x)'in tek fonksiyon olmasından gelir — yani sin(-x) = -sin(x):

Sinüs fonksiyonu

eˣ gibi bu da tüm x değerleri için yakınsar. Alternatif işaretler, sin(x)'in türevlerinin cos(x), -sin(x), -cos(x) ve tekrar başa dönecek şekilde döngüsel olmasından gelir.

Kosinüs fonksiyonu

Kosinüs, sinüsün çift karşılığıdır — yalnızca çift kuvvetler içerir:

Kosinüs fonksiyonu

Sinüs ve kosinüs serilerini birlikte incelerseniz birbirini tamamladıklarını fark edersiniz. Bu ilişki, Euler'in ünlü özdeşliğine yol açar: eⁱˣ = cos(x) + i·sin(x).

Doğal logaritma

Doğal logaritma ln(1 + x), x = 0 merkezli bir Taylor serisine sahiptir:

Doğal logaritma fonksiyonu

Önceki üçünden farklı olarak, bu seri yalnızca -1 < x <= 1 aralığında yakınsar. x'i bu aralığın dışına iterseniz seri ıraksar. Bu durum, log olasılıkların geçerli bir aralıkta kalması gereken çapraz entropi kaybında karşımıza çıkar.

Geometrik seri

Geometrik seri, matematikteki en eski ve en çok kullanılan sonuçlardan biridir:

Geometrik seri

Bu seri yalnızca |x| < 1 için yakınsar. Birçok diğer Taylor serisini türetmenin başlangıç noktasıdır ve olasılık kuramında, sinyal işlemede ve iskonto edilmiş gelecekteki değerlerin toplamının yapıldığı her yerde karşımıza çıkar.

Hızlı başvuru

Eldeki, basılabilir ve yatağınızın yanındaki duvara asılabilir bir şey arıyorsanız, sizi düşündüm:

Taylor serileri hızlı başvuru

Bu beş seri, veri bilimi ve makine öğreniminde karşılaşacağınız durumların çoğunu kapsar.

Taylor Serileri ve Diğer İlgili Seri Türleri

Taylor, Fourier ve Maclaurin serileri, fonksiyonları yaklaşıklar; ancak farklı sorunları çözer ve farklı bağlamlarda en iyi sonucu verirler.

Taylor serileri vs. Fourier serileri

Taylor ve Fourier serileri, fonksiyonları sonsuz toplamlar olarak temsil eder; fakat bunu tamamen farklı şekillerde yaparlar.

Bir Taylor serisi, (x - a) kuvvetlerinden — yani polinomlardan — bir fonksiyon inşa eder. Tek bir noktaya yakınlaştırarak, fonksiyonun yerel davranışını türevleri aracılığıyla yakalar. Sonuç, merkez nokta a çevresinde doğrudur; ancak uzaklaştıkça doğruluk azalır.

Bir Fourier serisi ise yapıtaşı olarak sinüs ve kosinüsleri kullanır:

Fourier serileri

Bir noktadaki yerel davranışı yakalamak yerine, Fourier serileri bir aralık boyunca küresel periyodik davranışı yakalar. Tekrar eden fonksiyonlar için tasarlanmıştır — ses sinyalleri, mevsimsel kalıplar veya salınım yapan her şey gibi.

İkisini yan yana şöyle karşılaştırabilirsiniz:

Taylor vs. Fourier karşılaştırması

Fourier serileri, sinyal işleme ve zaman serisi analizi alanlarında yer alır — spektral analiz, frekans ayrıştırma ve hatta dikkati Fourier dönüşümleriyle değiştiren FNet gibi bazı sinir ağı mimarileri.

Tablo verileri, görüntüler veya optimizasyonla çalışıyorsanız Taylor serileri daha alakalı bir araçtır. Ses, zaman serileri veya periyodik yapıya sahip herhangi bir şeyle çalışıyorsanız Fourier serileri daha uygun olur.

Taylor serileri vs. Maclaurin serileri

Bu basittir. Maclaurin serisi, a = 0 için merkezlenmiş bir Taylor serisidir.

Genel Taylor serisi formülü şöyledir:

Maclaurin serisi

a = 0 koyarsanız şunu elde edersiniz:

a = 0 için Maclaurin serisi

Colin Maclaurin bu özel durumu çalışmalarında o kadar sık kullandı ki kendi adını aldı; ancak matematiksel olarak belirli bir merkez noktadaki bir Taylor serisinden ibarettir.

Pratikte göreceğiniz serilerin çoğu — eˣ, sin(x), cos(x), ln(1 + x) — Maclaurin serileridir; çünkü sıfıra merkezlemek cebiri temiz tutar. Bir fonksiyonu farklı bir noktanın yakınında yaklaşıklamak gerektiğinde merkezi a ≠ 0 olacak şekilde kaydırır ve genel Taylor serisini elde edersiniz.

Sonuç olarak, her Maclaurin serisi bir Taylor serisidir; ancak her Taylor serisi bir Maclaurin serisi değildir.

Taylor Serileri ve Doğrusal Modeller

Taylor serileri ile doğrusal modeller ilk bakışta ilgisiz görünebilir; fakat bilmeye değer bir bağlantı vardır ve bu, birinci dereceden Taylor yaklaşımıyla başlar.

Bir Taylor serisini ilk terimden sonra kestiğinizde, bir fonksiyonun a noktası yakınındaki doğrusal bir yaklaşımını elde edersiniz:

Taylor serileri ve doğrusal modeller (1)

Bu, düz bir doğrudur. Bir eğime (f'(a)) ve bir kestiye (f(a) - f'(a) ⋅ a) sahiptir. Tanıdık geldi mi? Bu, bir basit doğrusal regresyon modelinin yapısıyla aynıdır:

Taylor serileri ve doğrusal modeller (2)

Fark, her birinin nereden geldiğidir. Bir Taylor yaklaşımında eğim ve kesme, tek bir noktadaki fonksiyonun türevleri tarafından belirlenir. Doğrusal regresyonda ise tahmin hatasını en aza indirmek için veriden kestirilir. Ancak yapısal olarak aynı şeyi yaparlar.

Bu bağlantının işe yaradığı yer

Bu, doğrusal modellerin neden bazı durumlarda iyi çalıştığını ve bazılarında başarısız olduğunu açıklar.

Doğrusal regresyon, girdi ile çıktı arasındaki ilişkinin doğrusal olduğunu — ya da doğrusal olarak ele alınabileceğini — varsayar. Taylor serileri, bu varsayımın ne zaman geçerli olduğunu size tam olarak söyler — girdileriniz sabit bir noktaya yakın kaldığında ve yaklaşıklandığınız fonksiyon düzgün olduğunda. Girdilerinizi bu noktadan çok uzaklaştırırsanız, doğrusal bir yaklaşım bozulur; bu da güçlü doğrusal olmayan örüntülere sahip verilerde doğrusal regresyonun sıklıkla neden başarısız olduğunun aynı nedenidir.

Genelleştirilmiş doğrusal modeller (GLM'ler) bu bağlantıyı daha da belirgin kılar.

Örneğin lojistik regresyon, bir sonucun olasılık oranlarının logaritmasını doğrusal bir fonksiyon olarak modeller. Doğrusal kestirici ile çıktı olasılığı arasındaki bağlantı sigmoid fonksiyonundan geçer — ve daha önce gördüğünüz gibi sigmoid, sıfır yakınında iyi huylu bir Taylor açılımına sahiptir.

Doğrusaldan doğrusala olmayan modele

Birinci dereceden Taylor açılımının size doğrusal bir model verdiğini anladıktan sonra, bir sonraki adım daha fazla terim eklemektir; böylece bir polinom model elde edersiniz.

İkinci dereceden bir Taylor açılımı size şunu verir:

İkinci dereceden Taylor serisi

Bu, kare terimli bir polinom regresyon modelidir (kuadratik). Her ek Taylor terimi daha yüksek dereceden bir polinoma karşılık gelir; polinom regresyonun, eğrisel ilişkileri yakalamak için doğrusal regresyonu nasıl genişlettiği de budur.

Dolayısıyla Taylor serileri, regresyondaki yanlılık-varyans ödünleşimi hakkında ilkeli bir düşünme yolu sunar. Birinci dereceden yaklaşım (doğrusal model) hızlı ve yorumlanabilirdir; ancak gerçek ilişki doğrusal değilse yüksek yanlılığa sahiptir. Daha yüksek dereceden yaklaşımlar, açılım noktasına yakın veriyi daha iyi uydurur; fakat terim ekledikçe aşırı uyum riski taşır.

Doğrusal regresyonun ve ne zaman işe yaradığının derinine inmek isterseniz, Python ile Doğrusal Regresyonun Temelleri öğreticisi iyi bir sonraki adımdır. R kullanıcıları için R ile Orta Düzey Regresyon kursu polinom regresyonu ve model tanılarını ayrıntılı biçimde ele alır.

Sonuç

Taylor serileri, bir kez nerede arayacağınızı bildiğinizde, tekrar tekrar karşınıza çıkan matematiksel araçlardandır.

Bilgisayarların eˣ ve sin(x) gibi fonksiyonları temel aritmetik yoluyla nasıl değerlendirebildiğini, bir yaklaşımın ne kadar doğru olduğunu yakınsama ve kırpma hatasının nasıl belirlediğini ve aynı fikrin gradyan inişi, XGBoost ve modern makine öğrenimindeki aktivasyon fonksiyonu yaklaşımlarını nasıl güçlendirdiğini gördünüz.

Beş iyi bilinen seri — üstel, sinüs, kosinüs, logaritma, geometrik — ezberlemeye değerdir. Yeterince sık karşınıza çıkarlar; onları gördüğünüz anda tanımak gerçek zaman kazandırır.

Buradan sonra, bu tür matematiğin yanında yer alan algoritmik düşünceyle rahat etmeye başlamak sonraki adımdır. Python'da Veri Yapıları ve Algoritmalar kursumuz bu temeli oluşturmak için sağlam bir başlangıçtır. Matematiksel fikirlerin çalışan ve ölçeklenen koda nasıl dönüştüğünü anlamanıza yardımcı olacaktır.