Günün sonunda, bir sinir ağını eğittiğinizde ya da bir regresyon modeli kurduğunuzda diferansiyel denklemlerin sonuçlarını kullanıyorsunuz. Altında çalışan matematik analizdir ve diferansiyel denklemler tam merkezinde yer alır. Gradyan inişin neden işe yaradığını ya da bir Kalman filtresinin hareketli bir nesneyi nasıl izlediğini hiç merak ettiyseniz, yanıtınız diferansiyel denklemlerdir.
Diferansiyel denklemler, şeylerin zaman içinde nasıl değiştiğini modellemenizi sağlar — ve veri biliminin özü tam olarak budur. Temel fikirleri anladığınızda, onları her yerde görmeye başlarsınız: minimize ettiğiniz kayıp fonksiyonlarında, tahmin ettiğiniz zaman serilerinde ve çalıştırdığınız simülasyonlarda.
Bu yazıda, diferansiyel denklemlerin ne olduğunu, karşınıza çıkacak başlıca türleri, nasıl çözüleceklerini ve — en önemlisi — gündelik veri bilimi ve makine öğreniminde nasıl karşımıza çıktıklarını adım adım anlatacağım.
Diferansiyel Denklemler Nedir?
Bir diferansiyel denklem, bir fonksiyonu kendi türevleriyle ilişkilendiren denklemdir.
Basitçe, bir türev size bir şeyin belirli bir anda ne kadar hızlı değiştiğini söyler. Bir diferansiyel denklem ise bir büyüklüğün değişim hızının o büyüklüğün kendisine, zamana ya da her ikisine birden bağlı olduğunu söyler.
Diyelim ki bir bakteri popülasyonunu modelliyorsunuz. Ne kadar çok bakteri varsa, o kadar hızlı ürerler. Yani büyüme hızı mevcut popülasyon büyüklüğüne bağlıdır. Bunu bir denklem olarak yazdığınızda, bir diferansiyel denkleminiz olur.
Resmî olarak şu şekilde görünür:
Diferansiyel denklem gösterimi
Burada P popülasyonu, t zamanı ve r büyüme hızını ifade eder. Sol taraf türevdir — P’nin zamanla ne kadar hızlı değiştiği. Sağ taraf ise bu değişimin P’nin kendisiyle orantılı olduğunu söyler.
Gördüğünüz her diferansiyel denklemin arkasındaki temel fikir budur.
Diferansiyel denklemler; fizik, biyoloji ve mühendislikte — bir sistemin zamanla evrildiği her yerde — karşımıza çıkar. Isının bir metal çubukta yayılması, bir sarkacın salınımı, bir virüsün popülasyona yayılması. Bunların hepsi diferansiyel denklemlerle modellenir.
Veri bilimciler için diferansiyel denklemleri; kayıp fonksiyonlarında, gradyan inişte, zaman serisi modellerinde, nöral ODE’lerde görürsünüz — hepsinin altında diferansiyel denklemler çalışır. Her zaman açıkça görünmezler ama oradadırlar.
Onları anladığınızda, her gün kullandığınız araçların neden ve nasıl çalıştığına dair daha net bir zihinsel modele sahip olursunuz.
Diferansiyel Denklemlerin Tarihi
17. yüzyılın sonlarında Isaac Newton ve Gottfried Wilhelm Leibniz bağımsız olarak analizi geliştirdi. Her ikisinin de fiziksel büyüklüklerin zaman içinde nasıl değiştiğini ifade etmeye ihtiyacı vardı ve bunun sonucu diferansiyel denklemler oldu. Newton bunları hareket ve yerçekimini modellemek için kullandı. Leibniz ise bugün hâlâ kullandığımız gösterimin büyük kısmını, her analiz kitabında gördüğünüz d/dt dâhil, bize kazandırdı.
18. ve 19. yüzyıllar yeni tekniklerin dalgasını getirdi.
Leonhard Euler, ODE’leri sayısal olarak çözme yöntemleri geliştirdi — bu yazının ilerleyen kısımlarında göreceğiniz Euler yönteminin arkasındaki aynı Euler. Joseph-Louis Lagrange ve Pierre-Simon Laplace kuramı daha karmaşık sistemlere genişletti. Jean-Baptiste Joseph Fourier, fonksiyonları sinüs ve kosinüs bileşenlerine ayırmanın bir yolunu tanıttı; bu da kısmi diferansiyel denklemlerin çözümünde temel taşlardan biri oldu.
20. yüzyıla gelindiğinde diferansiyel denklemler akışkanlar mekaniğinden kuantum mekaniğine, elektrik mühendisliğine kadar her yerdeydi. Birçok gerçek dünya denkleminin temiz bir analitik çözümü yoktu. İşte burada sayısal yöntemler devreye girdi ve bilgisayarlar bunları ölçekli olarak uygulanabilir kıldı.
Bugün alan gelişmeye devam ediyor. Nöral sıradan diferansiyel denklemler (Neural ODE’ler), bir sinir ağının katmanlarını bir diferansiyel denklemle tanımlanan sürekli bir süreç olarak ele alır. Bu, derin öğrenme ile klasik matematik arasındaki çizgiyi bulanıklaştıran yeni bir gelişmedir. Aynı zamanda modern ML araştırmalarındaki en heyecan verici alanlardan biridir.
Özetle, temel fikir aynı kalır: şeylerin nasıl değiştiğini modelleyin, nereye gittiklerini öngörebilirsiniz.
Diferansiyel Denklemlerin Türleri
Tüm diferansiyel denklemler aynı değildir. İlk bilmeniz gereken, onları nasıl ayırt edeceğinizdir.
Ana ayrım sıradan diferansiyel denklemler (ODE) ile kısmi diferansiyel denklemler (PDE) arasındadır. Fark, fonksiyonun kaç bağımsız değişkene bağlı olduğuna dayanır.
Sıradan diferansiyel denklemler (ODE)
Bir sıradan diferansiyel denklem, tek bir bağımsız değişkenin fonksiyonunu ve onun türevlerini içerir.
Önceki bakteri popülasyonu örneği bir ODE’dir. Popülasyon P yalnızca zamana t — tek bir değişken — bağlıdır. Dolayısıyla denklem yalnızca dP/dt olarak yazılan sıradan türevler içerir.
Sisteminiz tek bir boyut boyunca — genellikle zaman — evriliyorsa ODE’ler doğru araçtır. İşte birkaç klasik örnek:
- Popülasyon büyümesi — bir popülasyonun değişim hızı mevcut popülasyon büyüklüğüne bağlıdır
- Radyoaktif bozunma — bir maddenin bozunma hızı, geriye ne kadar kaldığına bağlıdır
- Newton’un ikinci yasası — bir cismin ivmesi, üzerine etki eden kuvvetlere bağlıdır
Her durumda, değişimi tek bir değişken sürer. Onu “sıradan” yapan da budur.
Kısmi diferansiyel denklemler (PDE)
Bir kısmi diferansiyel denklem, birden fazla bağımsız değişkenin fonksiyonunu ve onun kısmi türevlerini içerir.
Diyelim ki ısının bir metal çubuk boyunca nasıl yayıldığını modellemek istiyorsunuz. Herhangi bir noktadaki sıcaklık, hem çubuk üzerindeki konumunuza hem de zamana bağlıdır. Bu da iki bağımsız değişken demektir: konum x ve zaman t. Bunun için bir denklem yazdığınızda, biri x’e, biri t’ye göre olmak üzere kısmi türevler elde edersiniz.
Bu bir PDE’dir. Isı denklemi en bilinen örneklerden biridir:
Kısmi diferansiyel denklem örneği
Burada u(x, t) konum x ve zaman t’deki sıcaklıktır, α malzemenin ısıl yayınım katsayısıdır, ∂u/∂t sıcaklığın zamanla ne kadar hızlı değiştiğini, ∂²u/∂x² ise sıcaklık profilinin uzay boyunca ne kadar kavisli olduğunu gösterir. Denklem, sıcaklık eğrisinin keskin büküldüğü yerlerde ısının hızlıca yeniden dağıldığını; düz olduğu yerlerde ise pek bir şey olmadığını söyler.
PDE’ler, bir sistemin uzay ve zaman boyunca değiştiği her yerde karşımıza çıkar:
- Isı dağılımı — sıcaklık hem konuma hem zamana göre değişir
- Dalga yayılımı — ses veya ışık dalgaları zaman içinde uzayda yayılır
- Akışkanlar dinamiği — akış hızları 3B uzaydaki konuma ve zamana bağlıdır
PDE’leri çözmek ODE’lerden daha zordur. Analitik çözümler yalnızca belirli biçimler için vardır ve çoğu zaman pratik tek yol sayısal yöntemlerdir.
Çoğu veri bilimi çalışmasında ODE’lerle daha sık karşılaşırsınız. Ancak PDE’ler, görüntü işleme, fizik simülasyonları ve bazı derin öğrenme mimarilerinde karşımıza çıkar; bu yüzden aralarındaki farkları bilmeniz gerekir.
Diferansiyel Denklemlerin Mertebesi ve Derecesi
Her diferansiyel denklemin karmaşıklığını anlatan iki özelliği vardır: mertebesi ve derecesi.
Bunlar, hangi çözüm yöntemlerinin uygulanabileceğini belirler; bu yüzden bir şeyi çözmeyi denemeden önce bunları tespit etmelisiniz.
Mertebeyi anlamak
Bir diferansiyel denklemin mertebesi, denklemdeki en yüksek dereceli türevin mertebesidir.
En yüksek türev birinci türevse (dy/dx), bu bir birinci mertebe denklemdir. En yüksek türev ikinci türevse (d²y/dx²), bu bir ikinci mertebe denklemdir. Ve böyle devam eder.
İşte önceki bakteri büyümesi denklemi:
Bakteri büyümesi denklemi
Buradaki en yüksek türev dP/dt — birinci türevdir. Dolayısıyla bu bir birinci mertebe ODE’dir.
Şimdi bunu sallanan bir sarkacı tanımlayan denklemle karşılaştırın:
Sallanan sarkaç denklemi
En yüksek türev d²θ/dt² — ikinci türevdir. Bu da onu ikinci mertebe bir ODE yapar.
Daha yüksek mertebe daha fazla karmaşıklık demektir. İkinci mertebe denklemler, çözüm için bir yerine iki başlangıç koşulu ister. Pratikte, çoğu fiziksel sistem — mekanik hareket, elektrik devreleri, yörünge dinamikleri — ikinci mertebe denklemlerle modellenir.
Dereceyi anlamak
Bir diferansiyel denklemin derecesi, denklem türevler içeren kökler veya kesirler olmadan polinom biçimde yazıldığında, en yüksek mertebeli türevin üst kuvvetidir.
Şu denklemi ele alın:
Örnek diferansiyel denklem
En yüksek türev dy/dx ve 3. kuvvete yükseltilmiştir. Dolayısıyla mertebe 1 ve derece 3’tür.
Şimdi de bunu ele alın:
Örnek diferansiyel denklem (2)
En yüksek mertebeli türev d²y/dx² ve 1. kuvvettedir. Daha düşük mertebeli bir türev daha yüksek bir kuvvetle görünse bile derece 1’dir.
Derece her zaman en yüksek mertebeli türevi takip eder; denklemin içindeki en yüksek kuvveti değil.
Bir kenar durum, denklem sin(dy/dx) veya e^(d²y/dx²) gibi terimler içeriyorsa ortaya çıkar. O durumda derece tanımsızdır — bu biçimler, türevler cinsinden polinom olarak ifade edilemez.
Diferansiyel Denklemleri Çözme Yöntemleri
Her diferansiyel denklem için işe yarayan tek bir yöntem yoktur. Doğru yaklaşım, denklemin türüne, mertebesine ve tam bir çözümün olup olmadığına bağlıdır.
Genel olarak iki kategori vardır: analitik yöntemler ve sayısal yöntemler.
Analitik yöntemler
Analitik yöntemler size tam, kapalı formda bir çözüm verir — herhangi bir noktada değerini hesaplayabileceğiniz bir formül. Uygulanabildiklerinde tercih edilirler; çünkü sonuç hassastır ve çözümün yapısı hakkında fikir verir.
Ancak yalnızca belirli denklem biçimlerinde çalışırlar. Denklem çok karmaşıklaştığında analitik yöntemler duvara çarpar.
Değişkenlerin ayrılması
Değişkenlerin ayrılması, y içeren tüm terimleri bir tarafa, x (veya t) içeren tüm terimleri diğer tarafa izole edebildiğiniz denklemlerde çalışır.
Şu birinci mertebe ODE’yi ele alın:
Basit diferansiyel denklem
Adım 1 — değişkenleri ayırın:
Analitik çözüm (adım 1)
Adım 2 — her iki tarafı da integre edin:
Analitik çözüm (adım 2)
Adım 3 — y için çözün:
Analitik çözüm (adım 3)
Burada A başlangıç koşullarıyla belirlenen bir sabittir. Bu genel çözümdür.
Bu, bakteri büyümesi denklemiyle aynı biçimdedir. Popülasyonların — ve büyüme hızı büyüklüğüyle orantılı olan diğer her şeyin — üssel olarak büyüdüğünü söyler.
İntegrasyon faktörleri
İntegrasyon faktörleri, şu biçimdeki birinci mertebe lineer ODE’leri ele alır:
İntegrasyon faktörleri örnek (1)
Fikir, her iki tarafı dikkatle seçilmiş bir fonksiyonla — integrasyon faktörü μ(x) — çarpmaktır; böylece sol taraf doğrudan integre edilebilen mükemmel bir türeve dönüşür.
İntegrasyon faktörü daima şudur:
İntegrasyon faktörleri örnek (2)
Çarptıktan sonra denklem şu hâle gelir:
İntegrasyon faktörleri örnek (3)
Sonra her iki tarafı integre edin ve y için çözün. Sol taraf, μ(x)’in seçilme biçimi nedeniyle her zaman temiz bir şekilde çöker — yöntemin tüm amacı budur.
Sayısal yöntemler
Gerçek dünyadaki diferansiyel denklemlerin çoğunun temiz bir analitik çözümü yoktur. Sayısal yöntemler çözümü adım adım yaklaştırır; ayrık noktalarda değerler hesaplar.
Kesinlikten genelliğe doğru bir takas yaparlar. Pratikte, çoğu zaman ihtiyacınız olan da budur.
Euler yöntemi
Euler yöntemi en basit sayısal yaklaşımdır. Fikir; bilinen bir noktadan başlamak, eğimi tahmin etmek için türevi kullanmak, o yönde küçük bir adım atmak ve tekrarlamaktır.
Birinci mertebe ODE dy/dx = f(x, y) ve başlangıç koşulu y(x₀) = y₀ verildiğinde, her adım şöyle görünür:
Euler’ün yöntemi örnek (1)
Burada h adım boyudur. Daha küçük adımlar daha iyi doğruluk demektir — fakat daha fazla hesaplama gerektirir.
İşte y(0) = 1 ile dy/dx = y denklemini çözen bir Python uygulaması (tam çözüm y = eˣ’tir):
import numpy as np
import matplotlib.pyplot as plt
def euler_method(f, x0, y0, h, n_steps):
x = np.zeros(n_steps + 1)
y = np.zeros(n_steps + 1)
x[0], y[0] = x0, y0
for i in range(n_steps):
y[i+1] = y[i] + h * f(x[i], y[i])
x[i+1] = x[i] + h
return x, y
f = lambda x, y: y # dy/dx = y
x_euler, y_euler = euler_method(f, x0=0, y0=1, h=0.2, n_steps=20)
x_exact = np.linspace(0, 4, 200)
y_exact = np.exp(x_exact)
Euler yönteminin tam çözümle karşılaştırması
İki çizgi arasındaki fark yaklaşım hatasıdır. h=0.2 ile hata başlangıçta küçüktür ancak adımlar boyunca birikir — Euler yönteminin temel zayıflığı budur.
Runge-Kutta yöntemleri
Runge-Kutta yöntemleri, her adım içinde eğimi birden fazla noktada örnekleyip ağırlıklı ortalamasını alarak bu birikimli hata sorununu giderir. En yaygın sürüm RK4 — dördüncü mertebe Runge-Kutta yöntemidir.
Euler gibi adım başına tek bir eğim tahmini yapmak yerine RK4 dört tane hesaplar:
Runge-Kutta yöntemi örnek (1)
Sonra bunları birleştirir:
Runge-Kutta yöntemi örnek (2)
Pratikte, RK4’ü elle uygulamazsınız. SciPy’nin solve_ivp işinizi görür:
from scipy.integrate import solve_ivp
import numpy as np
import matplotlib.pyplot as plt
f = lambda x, y: y # dy/dx = y
sol = solve_ivp(f, t_span=[0, 4], y0=[1], max_step=0.2)
RK45’in tam çözümle karşılaştırması
RK45 eğrisi, neredeyse mükemmel şekilde tam çözümün üzerine oturur. Euler örneğiyle aynı adım boyu ama çok daha iyi doğruluk — ağırlıklı eğim örneklemesinin farkı budur.
Python’da çoğu pratik iş için varsayılan RK45 çözücüsüyle solve_ivp tercih edilir. Euler yöntemi, sayısal çözücülerin nasıl çalıştığını anlamak için faydalıdır; ancak üretimde kullanmazsınız.
Veri Bilimi ve Makine Öğreniminde Diferansiyel Denklemlerin Uygulamaları
Mühendisler elektrik devrelerini ve mekanik sistemleri modellemek için diferansiyel denklemler kullanır. Biyologlar popülasyon dinamiklerini ve hastalık yayılımını izlemek için kullanır. Fizikçiler, ısı transferinden kuantum mekaniğine kadar her şeyi tanımlamak için kullanır.
Ama siz veri bilimi için buradasınız, o hâlde oraya gelelim.
Makine öğrenimi ve optimizasyon
Diferansiyel denklemler ile ML arasındaki en doğrudan bağlantı gradyan iniştir — neredeyse kuracağınız her modelin eğitimindeki algoritma.
Bir modeli eğitirken bir kayıp fonksiyonu L’yi minimize edersiniz. Bunu yapmak için, her parametreyi ayarladıkça L’nin nasıl değiştiğini bilmeniz gerekir. Bu değişim hızı bir türevdir. Modelinizin birden çok parametresi olduğunda, her biri için bir kısmi türev hesaplarsınız — ve bunlar birlikte gradyanı oluşturur.
Gradyan iniş, parametreleri adım adım güncellemek için bu türevleri kullanır:
Gradyan iniş
Burada θ parametreyi, η öğrenme oranını ve ∂L/∂θ ilgili parametreye göre kaybın kısmi türevini ifade eder.
İşte gradyan iniş kullanarak veriye doğru bir doğru uyduran basit bir Python örneği:
import numpy as np
import matplotlib.pyplot as plt
np.random.seed(42)
X = np.linspace(0, 10, 100)
y = 2.5 * X + np.random.randn(100) * 2
# Initialize parameters
theta = 0.0
bias = 0.0
eta = 0.001
n = len(X)
losses = []
for _ in range(500):
y_pred = theta * X + bias
loss = np.mean((y_pred - y) ** 2)
losses.append(loss)
# Partial derivatives
d_theta = (2/n) * np.sum((y_pred - y) * X)
d_bias = (2/n) * np.sum(y_pred - y)
theta -= eta * d_theta
bias -= eta * d_bias
Gradyan iniş ile veriye doğru uydurma ve iterasyonlar boyunca kayıp eğrisi
Her yineleme, parametreleri kaybı azaltan yöne doğru taşır. Kısmi türevler size bu yönü söyler. Onlar olmadan gradyan iniş çalışmaz — ve katmanlar boyunca zincir kuralının tekrarlı uygulanmasından ibaret olan geri yayılım da çalışmaz.
Zaman serisi analizi
Birçok zaman serisi sistemi dinamiktir — mevcut değer, geçmiş değerlere ve değişim hızına bağlıdır. Diferansiyel denklemler bunu ifade etmenizi sağlar.
Kalman filtresi, izleme ve tahminlemede yaygın olarak kullanılır; gizli bir durumun zaman içinde nasıl evrildiğini ve gürültülü gözlemlerin bu durumla nasıl ilişkili olduğunu modelleyen bir diferansiyel denklemler sistemine dayanır. GPS sistemlerinde, finansta ve hava tahmininde kullanılır.
ARIMA modelleri, zaman serisi tahmini için kullanılır ve fark alma kavramı üzerinden diferansiyel denklemlerle bağ kurar. Bir zaman serisinin birinci ya da ikinci farkını almak, birinci ve ikinci türevlerin ayrık bir yaklaşımıdır. Bir seriyi durağan yapmak için türev alırken, şu soruyu sorarsınız: bu seri zamanla nasıl değişiyor?
İstatistiksel modelleme ve regresyon
Sıklıkla insanları şaşırtan bir bağlantı: bir diferansiyel denklemler sistemini çözmek, lineer regresyon katsayılarını türetmenin yollarından biridir.
Bir lineer regresyon modeli kurduğunuzda, artıkların kareleri toplamını minimize edersiniz. Bu kaybın her bir katsayıya göre kısmi türevini alın, sıfıra eşitleyin ve çözün. Bu size Normal Denklemi verir:
Normal denklem
Bugüne kadar hesapladığınız her regresyon katsayısı, bir türevi sıfıra eşitleyip çözmekten gelir. Bu analizdir — ve kurduğunuz her parametrik modelin ardındaki aynı ilkedir.
Lojistik regresyon için kayıp fonksiyonu kuadratiktir değildir; bu nedenle kapalı formda bir çözüm yoktur. Gradyan iniş gibi yinelemeli yöntemler kullanmanız gerekir ki, bu da yine her adımda kısmi türevlere dayanır.
Bağ daha da ileri gider. QR ayrışımı, Normal Denklemi çözmek için standart sayısal yöntemlerden biridir ve doğrusal cebirde; diferansiyel olanlar dâhil denklem sistemlerinin pratikte nasıl çözüldüğüyle doğrudan kesişir.
Dinamik sistemlerin simülasyonu
Bir sistemin zaman içinde nasıl evrildiğini modellemeniz gerektiğinde — ve analitik bir çözüm yoksa — onu sayısal olarak simüle edersiniz.
Bu, iş ve operasyon bağlamlarında yaygındır. Müşteri kaybı, envanter seviyeleri ve tedarik zinciri dinamikleri, mevcut duruma bağlı olarak değişen büyüklükleri içerir. Bu ilişkileri diferansiyel denklemler olarak yazabilir ve solve_ivp ile simüle edebilirsiniz.
İşte envanter I’ın talep D ile orantılı bir hızda azaldığı ve talebin zaman içinde değiştiği basit bir arz-talep sisteminin simülasyonu örneği:
import numpy as np
from scipy.integrate import solve_ivp
import matplotlib.pyplot as plt
def supply_chain(t, y):
I, D = y
dD_dt = 0.1 * np.sin(0.5 * t) # demand fluctuates over time
dI_dt = -D # inventory depletes at the demand rate
return [dI_dt, dD_dt]
sol = solve_ivp(
supply_chain,
t_span=[0, 20],
y0=[100, 5], # initial inventory=100, demand=5
max_step=0.1
)
Zaman içinde dalgalanan talep ile birlikte simüle edilmiş envanter tükenmesi
Aynı desen, müşteri davranışı modellemesinde, bir kullanıcı tabanında salgın yayılımında ya da değişim hızının mevcut duruma bağlı olduğu herhangi bir sistemde geçerlidir. İlişkileri yazarsınız, bir sayısal çözücüye verirsiniz ve bir simülasyon alırsınız.
Ve bu, veri biliminde diferansiyel denklemlerin pratik gücüdür. Değişen sistemleri modellemek için doğrudan bir araçtır.
Sonuç
Gradyan inişin arkasında kısmi türevler vardır. Zaman serisi tahmininin arkasında dinamik sistemler vardır. Lineer regresyon katsayılarının arkasında sıfıra eşitlenen türevler vardır. Nereye bakacağınızı bilmeniz yeter.
Bu yazıda, diferansiyel denklemlerin ne olduğunu; ODE ve PDE arasındaki farkı; mertebe ve derecenin onları nasıl sınıflandırdığını ve hem analitik hem sayısal başlıca çözüm yöntemlerini açıkladım. Ardından, veri bilimi ve makine öğreniminde günlük olarak nerede karşımıza çıktıklarına baktık.
Bu yalnızca temeldir. Daha fazla matematik konusu keşfetmek isterseniz, R ile Veri Bilimi için Lineer Cebir kursu iyi bir sonraki adımdır. Bu kavramları gerçek veri problemlerine uygulamak için pratik yapmak isterseniz, R ile Kantitatif Analist kursumuza göz atın.
