Ternyata, Anda menggunakan hasil persamaan diferensial setiap kali melatih neural network atau bahkan memasang model regresi. Matematika yang berjalan di baliknya adalah kalkulus, dan persamaan diferensial berada tepat di pusatnya. Jika Anda pernah bertanya-tanya mengapa gradient descent bekerja, atau bagaimana filter Kalman melacak objek bergerak, persamaan diferensial adalah jawabannya.
Persamaan diferensial memungkinkan Anda memodelkan bagaimana sesuatu berubah seiring waktu - dan itulah inti dari data science. Setelah memahami gagasan utamanya, Anda akan mulai melihatnya di mana-mana: dalam fungsi loss yang Anda minimalkan, deret waktu yang Anda ramalkan, dan simulasi yang Anda jalankan.
Dalam artikel ini, saya akan memandu Anda tentang apa itu persamaan diferensial, tipe-tipe utamanya, cara menyelesaikannya, dan - yang terpenting - bagaimana kemunculannya dalam praktik data science dan machine learning sehari-hari.
Apa Itu Persamaan Diferensial?
Persamaan diferensial adalah persamaan yang mengaitkan suatu fungsi dengan turunan-turunannya sendiri.
Secara sederhana, turunan memberi tahu seberapa cepat sesuatu berubah pada saat tertentu. Persamaan diferensial menyatakan bahwa laju perubahan suatu kuantitas bergantung pada kuantitas itu sendiri, atau pada waktu, atau keduanya.
Misalkan Anda memodelkan populasi bakteri. Semakin banyak bakterinya, semakin cepat mereka bereproduksi. Jadi laju pertumbuhan bergantung pada ukuran populasi saat ini. Tuliskan itu sebagai persamaan, dan Anda mendapatkan persamaan diferensial.
Secara formal, bentuknya seperti ini:
Representasi persamaan diferensial
Di mana P adalah populasi, t adalah waktu, dan r adalah laju pertumbuhan. Sisi kiri adalah turunan - seberapa cepat P berubah terhadap waktu. Sisi kanan menyatakan perubahan tersebut sebanding dengan P itu sendiri.
Itulah gagasan inti di balik setiap persamaan diferensial yang akan Anda temui.
Persamaan diferensial muncul di fisika, biologi, dan teknik - di mana pun suatu sistem berevolusi seiring waktu. Panas yang menyebar melalui batang logam, bandul yang berayun, virus yang menyebar di populasi. Semuanya dimodelkan dengan persamaan diferensial.
Bagi data scientist, Anda akan melihat persamaan diferensial dalam fungsi loss, gradient descent, model deret waktu, Neural ODE - semuanya memiliki persamaan diferensial di bawahnya. Anda tidak selalu melihatnya secara eksplisit, tetapi mereka ada di sana.
Ketika Anda memahaminya, Anda akan memiliki model mental yang lebih jelas tentang mengapa dan bagaimana alat yang Anda gunakan setiap hari bekerja.
Sejarah Persamaan Diferensial
Pada akhir abad ke-17, Isaac Newton dan Gottfried Wilhelm Leibniz secara independen mengembangkan kalkulus. Keduanya membutuhkan cara untuk menggambarkan bagaimana besaran fisik berubah seiring waktu, dan persamaan diferensial adalah hasilnya. Newton menggunakannya untuk memodelkan gerak dan gravitasi. Leibniz memberi kita banyak notasi yang masih digunakan hingga kini, termasuk d/dt yang Anda lihat di setiap buku teks kalkulus.
Abad ke-18 dan ke-19 menghadirkan gelombang teknik baru.
Leonhard Euler mengembangkan metode untuk menyelesaikan ODE secara numerik - Euler yang sama di balik metode Euler yang akan Anda lihat nanti di artikel ini. Joseph-Louis Lagrange dan Pierre-Simon Laplace memperluas teori ke sistem yang lebih kompleks. Jean-Baptiste Joseph Fourier memperkenalkan cara menguraikan fungsi menjadi komponen sinus dan cosinus, yang menjadi landasan dalam menyelesaikan persamaan diferensial parsial.
Memasuki abad ke-20, persamaan diferensial ada di mana-mana mulai dari dinamika fluida, mekanika kuantum, hingga teknik elektro. Banyak persamaan dunia nyata tidak memiliki solusi analitik yang rapi. Di sinilah metode numerik mengambil peran, dan komputer membuatnya praktis dalam skala besar.
Saat ini, bidangnya terus bergerak. Neural ordinary differential equations (Neural ODE) memperlakukan lapisan sebuah neural network sebagai proses kontinu yang dijelaskan oleh persamaan diferensial. Ini adalah perkembangan terbaru yang mengaburkan batas antara deep learning dan matematika klasik. Ini juga salah satu area yang lebih menarik dalam riset ML modern.
Meski begitu, gagasan inti tetap sama: modelkan bagaimana sesuatu berubah, dan Anda dapat memprediksi ke mana arahnya.
Jenis-Jenis Persamaan Diferensial
Tidak semua persamaan diferensial sama. Hal pertama yang perlu Anda ketahui adalah cara membedakannya.
Pembagian utama adalah antara ordinary differential equations (ODE) dan partial differential equations (PDE). Perbedaannya terletak pada berapa banyak variabel bebas yang menjadi acuan fungsi.
Ordinary differential equations (ODE)
Ordinary differential equation melibatkan fungsi dari satu variabel bebas dan turunan-turunannya.
Contoh populasi bakteri sebelumnya adalah ODE. Populasi P hanya bergantung pada waktu t - satu variabel. Jadi persamaan tersebut hanya memiliki turunan biasa, ditulis sebagai dP/dt.
ODE adalah alat yang tepat ketika sistem Anda berevolusi sepanjang satu dimensi, biasanya waktu. Berikut beberapa contoh klasik:
- Pertumbuhan populasi - laju perubahan populasi bergantung pada ukuran populasi saat ini
- Pelarutan radioaktif - laju peluruhan suatu zat bergantung pada seberapa banyak yang tersisa
- Hukum kedua Newton - percepatan suatu objek bergantung pada gaya-gaya yang bekerja padanya
Dalam setiap kasus, satu variabel mendorong perubahan. Itulah yang membuatnya "ordinary".
Partial differential equations (PDE)
Partial differential equation melibatkan fungsi dari beberapa variabel bebas dan turunan parsialnya.
Misal Anda ingin memodelkan bagaimana panas menyebar melalui batang logam. Suhu pada titik mana pun bergantung pada posisi Anda di sepanjang batang dan pada waktunya. Itu dua variabel bebas: posisi x dan waktu t. Saat Anda menuliskan persamaan untuk itu, Anda mendapatkan turunan parsial - satu terhadap x, satu terhadap t.
Itu adalah PDE. Persamaan panas adalah salah satu contoh yang paling dikenal:
Contoh persamaan diferensial parsial
Di mana u(x, t) adalah suhu pada posisi x dan waktu t, α adalah difusivitas termal material, ∂u/∂t adalah seberapa cepat suhu berubah terhadap waktu, dan ∂²u/∂x² adalah seberapa melengkung profil suhu di ruang. Persamaan ini menyatakan bahwa ketika kurva suhu membengkok tajam, panas terdistribusi ulang dengan cepat. Ketika datar, tidak banyak yang terjadi.
PDE muncul di mana pun suatu sistem bervariasi melintasi ruang dan waktu:
- Distribusi panas - suhu berubah di seluruh posisi dan waktu
- Perambatan gelombang - gelombang suara atau cahaya menyebar di ruang seiring waktu
- Dinamika fluida - kecepatan fluida bergantung pada posisi di ruang 3D dan waktu
PDE lebih sulit diselesaikan daripada ODE. Solusi analitik hanya ada untuk bentuk-bentuk tertentu, dan metode numerik sering kali menjadi satu-satunya jalan praktis.
Untuk sebagian besar pekerjaan data science, Anda akan lebih sering menemui ODE. Namun PDE muncul dalam pemrosesan citra, simulasi fisika, dan beberapa arsitektur deep learning, jadi Anda perlu mengetahui perbedaannya.
Orde dan Derajat Persamaan Diferensial
Setiap persamaan diferensial memiliki dua properti yang memberi tahu Anda seberapa kompleksnya: orde dan derajatnya.
Keduanya menentukan metode solusi mana yang berlaku, jadi Anda perlu mengidentifikasinya sebelum mencoba menyelesaikan apa pun.
Memahami orde
Orde persamaan diferensial adalah orde turunan tertinggi dalam persamaan tersebut.
Jika turunan tertinggi adalah turunan pertama (dy/dx), itu adalah persamaan orde pertama. Jika turunan tertingginya adalah turunan kedua (d²y/dx²), itu adalah persamaan orde kedua. Dan seterusnya.
Berikut persamaan pertumbuhan bakteri dari sebelumnya:
Persamaan pertumbuhan bakteri
Turunan tertinggi di sini adalah dP/dt - turunan pertama. Jadi ini adalah ODE orde pertama.
Sekarang bandingkan dengan persamaan yang menggambarkan bandul yang berayun:
Persamaan bandul berayun
Turunan tertingginya adalah d²θ/dt² - turunan kedua. Itu membuatnya menjadi ODE orde kedua.
Orde yang lebih tinggi berarti lebih kompleks. Persamaan orde kedua membutuhkan dua kondisi awal untuk diselesaikan alih-alih satu. Dalam praktiknya, sebagian besar sistem fisik - gerak mekanik, rangkaian listrik, dinamika orbit - dimodelkan dengan persamaan orde kedua.
Memahami derajat
Derajat persamaan diferensial adalah pangkat dari turunan berorde tertinggi, setelah persamaan ditulis dalam bentuk polinomial (tanpa akar atau pecahan yang melibatkan turunan).
Ambil persamaan ini:
Contoh persamaan diferensial
Turunan tertinggi adalah dy/dx, dan dipangkatkan 3. Jadi ordenya 1 dan derajatnya 3.
Sekarang ambil yang ini:
Contoh persamaan diferensial (2)
Turunan berorde tertinggi adalah d²y/dx², berpangkat 1. Derajatnya 1, meskipun turunan berorde lebih rendah muncul dengan pangkat lebih tinggi.
Derajat selalu mengikuti turunan berorde tertinggi, bukan pangkat tertinggi dalam persamaan.
Satu kasus tepi adalah jika persamaan berisi suku seperti sin(dy/dx) atau e^(d²y/dx²). Maka, derajat tidak terdefinisi - bentuk-bentuk itu tidak dapat dinyatakan sebagai polinomial dalam turunan.
Metode Menyelesaikan Persamaan Diferensial
Tidak ada satu metode pun yang bekerja untuk setiap persamaan diferensial. Pendekatan yang tepat bergantung pada jenis persamaan, ordenya, dan apakah solusi eksak memang ada.
Secara garis besar, Anda memiliki dua kategori: metode analitik dan metode numerik.
Metode analitik
Metode analitik memberi Anda solusi eksak dalam bentuk tertutup - rumus yang dapat Anda evaluasi di titik mana pun. Mereka lebih disukai ketika berlaku karena hasilnya presisi dan memberi wawasan tentang struktur solusi.
Namun metode ini hanya bekerja untuk bentuk persamaan tertentu. Ketika persamaan terlalu kompleks, metode analitik mencapai batasnya.
Pemisahan variabel
Pemisahan variabel bekerja pada persamaan di mana Anda dapat mengisolasi semua suku yang melibatkan y di satu sisi dan semua suku yang melibatkan x (atau t) di sisi lainnya.
Ambil ODE orde pertama ini:
Persamaan diferensial sederhana
Langkah 1 - pisahkan variabel:
Solusi analitik (langkah 1)
Langkah 2 - integralkan kedua sisi:
Solusi analitik (langkah 2)
Langkah 3 - selesaikan untuk y:
Solusi analitik (langkah 3)
Di mana A adalah konstanta yang ditentukan oleh kondisi awal. Itulah solusi umum.
Bentuk ini sama dengan persamaan pertumbuhan bakteri. Ini memberi tahu Anda bahwa populasi - dan apa pun yang laju pertumbuhannya sebanding dengan ukurannya - tumbuh secara eksponensial.
Faktor integrasi
Faktor integrasi menangani ODE linier orde pertama dalam bentuk berikut:
Contoh faktor integrasi (1)
Gagasannya adalah mengalikan kedua sisi dengan fungsi yang dipilih dengan cermat - faktor integrasi μ(x) - yang membuat sisi kiri menjadi turunan sempurna yang dapat Anda integralkan langsung.
Faktor integrasi selalu:
Contoh faktor integrasi (2)
Setelah dikalikan, persamaannya menjadi:
Contoh faktor integrasi (3)
Lalu integralkan kedua sisi dan selesaikan untuk y. Sisi kiri selalu menyederhana dengan rapi karena cara μ(x) dipilih - itulah inti dari metodenya.
Metode numerik
Sebagian besar persamaan diferensial dunia nyata tidak memiliki solusi analitik yang rapi. Metode numerik mengaproksimasi solusi selangkah demi selangkah, menghitung nilai pada titik-titik diskret.
Metode ini menukar keakuratan eksak dengan generalitas. Dan dalam praktik, sering kali itulah yang Anda butuhkan.
Metode Euler
Metode Euler adalah pendekatan numerik paling sederhana. Idenya adalah memulai dari titik yang diketahui, menggunakan turunan untuk memperkirakan kemiringan, mengambil langkah kecil ke arah itu, dan mengulanginya.
Diberikan ODE orde pertama dy/dx = f(x, y) dengan kondisi awal y(x₀) = y₀, setiap langkah terlihat seperti:
Contoh metode Euler (1)
Di mana h adalah ukuran langkah. Langkah lebih kecil berarti akurasi lebih baik - tetapi komputasi lebih banyak.
Berikut implementasi Python yang menyelesaikan dy/dx = y dengan y(0) = 1 (solusi eksaknya adalah y = eˣ):
import numpy as np
import matplotlib.pyplot as plt
def euler_method(f, x0, y0, h, n_steps):
x = np.zeros(n_steps + 1)
y = np.zeros(n_steps + 1)
x[0], y[0] = x0, y0
for i in range(n_steps):
y[i+1] = y[i] + h * f(x[i], y[i])
x[i+1] = x[i] + h
return x, y
f = lambda x, y: y # dy/dx = y
x_euler, y_euler = euler_method(f, x0=0, y0=1, h=0.2, n_steps=20)
x_exact = np.linspace(0, 4, 200)
y_exact = np.exp(x_exact)
Metode Euler versus solusi eksak
Celah antara dua garis adalah galat aproksimasi. Dengan h=0.2, galatnya kecil di awal tetapi terakumulasi seiring langkah - itulah kelemahan utama metode Euler.
Metode Runge-Kutta
Metode Runge-Kutta mengatasi masalah akumulasi galat itu dengan mengambil sampel kemiringan di beberapa titik dalam setiap langkah dan mengambil rata-rata berbobot. Versi yang paling umum adalah RK4 - Runge-Kutta orde keempat.
Alih-alih satu estimasi kemiringan per langkah seperti Euler, RK4 menghitung empat:
Contoh metode Runge-Kutta (1)
Lalu menggabungkannya:
Contoh metode Runge-Kutta (2)
Dalam praktiknya, Anda tidak mengimplementasikan RK4 secara manual. solve_ivp dari SciPy menangani itu untuk Anda:
from scipy.integrate import solve_ivp
import numpy as np
import matplotlib.pyplot as plt
f = lambda x, y: y # dy/dx = y
sol = solve_ivp(f, t_span=[0, 4], y0=[1], max_step=0.2)
RK45 versus solusi eksak
Garis RK45 hampir tepat bertumpuk dengan solusi eksak. Ukuran langkah sama seperti contoh Euler, tetapi akurasinya jauh lebih baik - itulah perbedaan yang dihasilkan oleh pengambilan sampel kemiringan berbobot.
Untuk sebagian besar pekerjaan praktis di Python, solve_ivp dengan solver default RK45 adalah andalan Anda. Metode Euler berguna untuk memahami cara kerja solver numerik, tetapi Anda tidak akan menggunakannya di produksi.
Aplikasi Persamaan Diferensial dalam Data Science dan Machine Learning
Insinyur menggunakan persamaan diferensial untuk memodelkan rangkaian listrik dan sistem mekanik. Ahli biologi menggunakannya untuk melacak dinamika populasi dan penyebaran penyakit. Fisikawan menggunakannya untuk menggambarkan segala hal dari perpindahan panas hingga mekanika kuantum.
Namun Anda di sini untuk data science, jadi mari kita masuk ke sana.
Machine learning dan optimasi
Koneksi paling langsung antara persamaan diferensial dan ML adalah gradient descent - algoritma di balik pelatihan hampir setiap model yang akan Anda bangun.
Saat Anda melatih model, Anda meminimalkan fungsi loss L. Untuk melakukannya, Anda perlu mengetahui bagaimana L berubah saat Anda menyesuaikan tiap parameter. Laju perubahan tersebut adalah turunan. Ketika model Anda memiliki banyak parameter, Anda menghitung turunan parsial untuk masing-masing - dan bersama-sama, mereka membentuk gradien.
Gradient descent menggunakan turunan-turunan itu untuk memperbarui parameter selangkah demi selangkah:
Gradient descent
Di mana θ adalah parameter, η adalah laju pembelajaran, dan ∂L/∂θ adalah turunan parsial loss terhadap parameter tersebut.
Berikut contoh Python sederhana memasang garis ke data menggunakan gradient descent:
import numpy as np
import matplotlib.pyplot as plt
np.random.seed(42)
X = np.linspace(0, 10, 100)
y = 2.5 * X + np.random.randn(100) * 2
# Initialize parameters
theta = 0.0
bias = 0.0
eta = 0.001
n = len(X)
losses = []
for _ in range(500):
y_pred = theta * X + bias
loss = np.mean((y_pred - y) ** 2)
losses.append(loss)
# Partial derivatives
d_theta = (2/n) * np.sum((y_pred - y) * X)
d_bias = (2/n) * np.sum(y_pred - y)
theta -= eta * d_theta
bias -= eta * d_bias
Gradient descent memasang garis ke data, dan kurva loss sepanjang iterasi
Setiap iterasi menggerakkan parameter ke arah yang menurunkan loss. Turunan parsial memberi tahu Anda arah mana yang tepat. Tanpa itu, gradient descent tidak bekerja - begitu pula backpropagation dalam neural network, yang hanyalah aturan rantai yang diterapkan berulang kali melalui lapisan.
Analisis deret waktu
Banyak sistem deret waktu bersifat dinamis - nilai saat ini bergantung pada nilai masa lalu dan seberapa cepat perubahan terjadi. Persamaan diferensial memungkinkan Anda mendeskripsikannya.
Filter Kalman, yang banyak digunakan dalam pelacakan dan peramalan, dibangun di atas sistem persamaan diferensial yang memodelkan bagaimana suatu keadaan tersembunyi berevolusi seiring waktu dan bagaimana observasi yang berisik berkaitan dengan keadaan itu. Ini digunakan dalam sistem GPS, keuangan, dan prakiraan cuaca.
Model ARIMA digunakan untuk peramalan deret waktu, dan terhubung ke persamaan diferensial melalui konsep pembedaan (differencing). Mengambil beda pertama atau kedua dari deret waktu adalah pendekatan diskret terhadap turunan pertama dan kedua. Saat Anda mendiferensiasikan deret agar stasioner, Anda bertanya: bagaimana deret ini berubah seiring waktu?
Pemodelan statistik dan regresi
Berikut satu hal yang sering mengejutkan orang: menyelesaikan sistem persamaan diferensial adalah salah satu cara menurunkan koefisien regresi linier.
Saat Anda memasang model regresi linier, Anda meminimalkan jumlah kuadrat residu. Ambil turunan parsial dari loss tersebut terhadap setiap koefisien, tetapkan menjadi nol, dan selesaikan. Itu memberi Anda Persamaan Normal:
Persamaan normal
Setiap koefisien regresi yang pernah Anda hitung berasal dari menetapkan turunan ke nol dan menyelesaikannya. Itulah kalkulus - dan prinsip yang sama di balik setiap model parametrik yang Anda pasang.
Untuk regresi logistik, fungsi loss tidak kuadratik, sehingga tidak ada solusi bentuk tertutup. Anda harus menggunakan metode iteratif seperti gradient descent, yang lagi-lagi bergantung pada turunan parsial di setiap langkah.
Koneksinya lebih jauh. Dekomposisi QR, salah satu metode numerik standar untuk menyelesaikan Persamaan Normal, berlandaskan aljabar linier yang beririsan langsung dengan cara sistem persamaan - termasuk yang diferensial - diselesaikan dalam praktik.
Simulasi sistem dinamis
Saat Anda perlu memodelkan bagaimana suatu sistem berevolusi seiring waktu - dan solusi analitik tidak ada - Anda mensimulasikannya secara numerik.
Ini umum dalam konteks bisnis dan operasional. Churn pelanggan, tingkat persediaan, dan dinamika rantai pasok semuanya melibatkan kuantitas yang berubah berdasarkan keadaan saat ini. Anda dapat menuliskan hubungan-hubungan itu sebagai persamaan diferensial dan mensimulasikannya dengan solve_ivp.
Berikut contoh mensimulasikan sistem penawaran-permintaan sederhana di mana persediaan I berkurang pada laju yang sebanding dengan permintaan D, dan permintaan berubah seiring waktu:
import numpy as np
from scipy.integrate import solve_ivp
import matplotlib.pyplot as plt
def supply_chain(t, y):
I, D = y
dD_dt = 0.1 * np.sin(0.5 * t) # demand fluctuates over time
dI_dt = -D # inventory depletes at the demand rate
return [dI_dt, dD_dt]
sol = solve_ivp(
supply_chain,
t_span=[0, 20],
y0=[100, 5], # initial inventory=100, demand=5
max_step=0.1
)
Simulasi penurunan persediaan bersamaan dengan fluktuasi permintaan dari waktu ke waktu
Pola yang sama berlaku untuk pemodelan perilaku pelanggan, penyebaran epidemi di basis pengguna, atau sistem apa pun di mana laju perubahan bergantung pada keadaan saat ini. Anda menuliskan relasinya, menyerahkannya ke solver numerik, dan mendapatkan simulasi kembali.
Dan itulah kekuatan praktis persamaan diferensial dalam data science. Ini adalah alat langsung untuk memodelkan sistem yang berubah.
Kesimpulan
Di balik gradient descent, ada turunan parsial. Di balik peramalan deret waktu, ada sistem dinamis. Di balik koefisien regresi linier, ada turunan yang diset ke nol. Anda hanya perlu tahu di mana mencarinya.
Dalam artikel ini, saya menjelaskan apa itu persamaan diferensial, perbedaan antara ODE dan PDE, bagaimana orde dan derajat mengklasifikasikannya, dan metode utama untuk menyelesaikannya - baik analitik maupun numerik. Lalu kita melihat di mana mereka benar-benar muncul dalam data science dan machine learning sehari-hari.
Ini baru fondasinya. Jika Anda ingin mengeksplorasi lebih banyak topik matematika, kursus Linear Algebra for Data Science in R adalah langkah lanjutan yang baik. Untuk latihan langsung menerapkan konsep-konsep ini ke masalah data nyata, lihat kursus Quantitative Analyst in R.
