미분방정식: 기초부터 ML 응용까지

사실, 신경망을 학습하거나 회귀 모델을 적합할 때마다 여러분은 미분방정식의 결과를 사용하고 있습니다. 그 아래에서 작동하는 수학은 미적분이며, 미분방정식은 그 중심에 있습니다. 경사하강법이 왜 작동하는지, 칼만 필터가 움직이는 물체를 어떻게 추적하는지 궁금했다면, 답은 미분방정식입니다.

미분방정식은 사물이 시간이 지남에 따라 어떻게 변화하는지를 모델링할 수 있게 해줍니다. 데이터 과학의 본질이 바로 그것입니다. 핵심 아이디어를 이해하면, 손실 함수를 최소화할 때나 시계열을 예측할 때, 시뮬레이션을 수행할 때 등 어디에서나 이를 보게 될 것입니다.

이 글에서는 미분방정식이 무엇인지, 자주 접하는 주요 유형, 풀이 방법, 그리고 무엇보다도 데이터 과학과 머신러닝의 일상적인 작업에서 어떻게 나타나는지를 설명합니다.

미분방정식이란 무엇인가?

미분방정식은 어떤 함수와 그 함수의 도함수들 사이의 관계를 나타내는 방정식입니다.

쉽게 말해, 도함수는 주어진 순간에 어떤 것이 얼마나 빠르게 변하는지를 알려줍니다. 미분방정식은 어떤 양의 변화율이 그 양 자체나 시간, 혹은 그 둘 모두에 의해 결정된다고 말합니다.

박테리아 개체군을 모델링한다고 해봅시다. 개체 수가 많을수록 증식 속도는 빨라집니다. 즉 성장률은 현재 개체 수에 달려 있습니다. 이를 식으로 쓰면 미분방정식이 됩니다.

형식적으로는 다음과 같습니다:

미분방정식 표현

여기서 P는 개체수, t는 시간, r은 성장률입니다. 왼쪽은 도함수로, P가 시간에 따라 얼마나 빠르게 변하는지를 나타냅니다. 오른쪽은 그 변화가 P 자체에 비례한다고 말합니다.

이것이 여러분이 보게 될 모든 미분방정식의 핵심 아이디어입니다.

미분방정식은 물리학, 생물학, 공학 전반에 등장합니다. 시간이 지나며 진화하는 어떤 시스템이든 말이죠. 금속 막대에 열이 퍼지는 현상, 진자가 흔들리는 운동, 바이러스가 개체군에 퍼지는 과정 등은 모두 미분방정식으로 모델링됩니다.

데이터 과학자에게는 손실 함수, 경사하강법, 시계열 모형, Neural ODE 등에서 미분방정식을 접하게 됩니다. 항상 노골적으로 보이진 않지만, 그 아래에 존재합니다.

이를 이해하면, 매일 사용하는 도구가 왜, 어떻게 작동하는지 더 선명한 사고 모델을 갖게 됩니다.

미분방정식의 역사

17세기 후반, 아이작 뉴턴과 고트프리트 라이프니츠가 각각 독립적으로 미적분학을 발전시켰습니다. 두 사람 모두 물리량이 시간에 따라 어떻게 변하는지 기술할 방법이 필요했고, 그 결과가 미분방정식이었습니다. 뉴턴은 운동과 중력을 모델링하는 데 이를 사용했고, 라이프니츠는 오늘날까지 사용하는 표기법, 즉 모든 미적분 교과서에서 보이는 d/dt를 정립했습니다.

18~19세기에는 새로운 기법이 물결처럼 등장했습니다.

레온하르트 오일러는 ODE를 수치적으로 푸는 방법을 개발했습니다. 이 글에서 나중에 보게 될 오일러 방법의 그 오일러입니다. 조제프루이 라그랑주와 피에르시몽 라플라스는 이론을 더 복잡한 시스템으로 확장했습니다. 장바티스트 조제프 푸리에는 함수를 사인과 코사인 성분으로 분해하는 방법을 도입했는데, 이는 편미분방정식을 푸는 핵심 도구가 되었습니다.

20세기에 이르러 미분방정식은 유체역학, 양자역학, 전기공학 등 곳곳에 자리 잡았습니다. 많은 실제 방정식은 깔끔한 해석해를 갖지 않았고, 그때 수치해법이 대두되었으며 컴퓨터가 이를 대규모로 실용화했습니다.

오늘날에도 이 분야는 계속 발전 중입니다. Neural ODE(신경 상미분방정식)는 신경망의 층을 미분방정식으로 기술되는 연속 과정으로 취급합니다. 이는 딥러닝과 고전 수학의 경계를 흐리는 최근의 발전으로, 현대 ML 연구에서 가장 흥미로운 영역 중 하나입니다.

그렇다 해도 핵심 아이디어는 같습니다. 변화 과정을 모델링하면, 다음에 어디로 갈지 예측할 수 있습니다.

미분방정식의 유형

모든 미분방정식이 같은 것은 아닙니다. 먼저 구분하는 법을 알아야 합니다.

가장 큰 구분은 상미분방정식(ODE)과 편미분방정식(PDE)입니다. 함수가 의존하는 독립변수의 개수에 따른 차이입니다.

상미분방정식(ODE)

상미분방정식은 하나의 독립변수에 대한 함수와 그 도함수들을 포함합니다.

앞서의 박테리아 개체수 예는 ODE입니다. 개체수 P는 시간 t에만 의존합니다. 즉 하나의 변수죠. 따라서 방정식에는 dP/dt처럼 상미분만 등장합니다.

ODE는 보통 시간처럼 하나의 차원을 따라 시스템이 진화할 때 적합한 도구입니다. 고전적 예는 다음과 같습니다:

• 개체수 성장 - 개체수 변화율은 현재 개체수에 달려 있음
• 방사성 붕괴 - 붕괴 속도는 남아 있는 물질의 양에 달려 있음
• 뉴턴의 제2법칙 - 물체의 가속도는 작용하는 힘에 달려 있음

각 경우에 하나의 변수가 변화를 주도합니다. 그래서 "상(ordinary)"입니다.

편미분방정식(PDE)

편미분방정식은 여러 독립변수에 대한 함수와 그 편도함수들을 포함합니다.

금속 막대에서 열이 퍼지는 현상을 모델링한다고 해봅시다. 어느 한 점의 온도는 막대 위의 위치와 시간 모두에 의존합니다. 즉 독립변수는 위치 x와 시간 t 두 개입니다. 이를 식으로 쓰면 x와 t에 대한 편도함수가 등장합니다.

이것이 PDE입니다. 열 방정식이 가장 잘 알려진 예 중 하나입니다:

편미분방정식 예시

여기서 u(x, t)는 위치 x와 시간 t에서의 온도, α는 재료의 열 확산율, ∂u/∂t는 시간에 따른 온도 변화 속도, ∂²u/∂x²는 공간에서의 온도 곡률을 뜻합니다. 이 방정식은 온도 곡선이 급하게 휘어진 곳에서는 열이 빠르게 재분배되고, 평평한 곳에서는 변동이 적음을 말해줍니다.

PDE는 공간과 시간에 따라 변하는 시스템 어디서나 나타납니다:

• 열 분포 - 위치와 시간 모두에 따른 온도 변화
• 파동 전파 - 소리 또는 빛의 파동이 시간이 지나며 공간을 따라 퍼짐
• 유체역학 - 유체 속도는 3차원 공간의 위치와 시간에 의존

PDE는 ODE보다 풀기 더 어렵습니다. 해석해는 특정 형태에서만 존재하며, 실용적으로는 수치해법이 유일한 길인 경우가 많습니다.

대부분의 데이터 과학 작업에서는 ODE를 더 자주 접합니다. 하지만 PDE는 영상 처리, 물리 시뮬레이션, 일부 딥러닝 아키텍처에서도 등장하므로 차이를 알아둘 필요가 있습니다.

미분방정식의 차수와 차원

모든 미분방정식에는 복잡도를 알려주는 두 가지 속성이 있습니다. 차수(order)와 차원(degree)입니다.

이는 적용 가능한 풀이 방법을 결정하므로, 해를 구하기 전에 반드시 파악해야 합니다.

차수 이해하기

미분방정식의 차수는 방정식에 나타나는 최고차 도함수의 차수입니다.

최고차 도함수가 1차 도함수(dy/dx)면 1차 방정식입니다. 최고차가 2차 도함수(d²y/dx²)면 2차 방정식입니다. 계속해서 마찬가지입니다.

앞서의 박테리아 성장 방정식을 다시 보겠습니다:

박테리아 성장 방정식

여기서 최고차 도함수는 dP/dt로 1차입니다. 따라서 1차 ODE입니다.

이번에는 진자의 운동을 기술하는 방정식을 보겠습니다:

진자 운동 방정식

최고차 도함수는 d²θ/dt²로 2차입니다. 따라서 2차 ODE입니다.

차수가 높을수록 복잡합니다. 2차 방정식은 해를 구하려면 초기 조건이 하나가 아니라 둘 필요합니다. 실제로 기계적 운동, 전기회로, 궤도 역학 등 대부분의 물리 시스템은 2차 방정식으로 모델링됩니다.

차원 이해하기

미분방정식의 차원은, 방정식을 도함수가 루트나 분수 형태 없이 다항식 형태로 썼을 때, 최고차 도함수에 걸린 지수입니다.

다음 방정식을 보겠습니다:

미분방정식 예시

최고차 도함수는 dy/dx이며 3제곱입니다. 따라서 차수는 1, 차원은 3입니다.

이번에는 다음을 보겠습니다:

미분방정식 예시 (2)

최고차 도함수는 d²y/dx²이고 지수는 1입니다. 낮은 차수의 도함수가 더 높은 지수로 나타나더라도 차원은 1입니다.

차원은 항상 최고차 도함수에 따르며, 식 전체에서 가장 큰 지수에 따르지 않습니다.

한 가지 예외는 sin(dy/dx)나 e^(d²y/dx²) 같은 항이 포함된 경우입니다. 이때는 도함수의 다항식 형태로 쓸 수 없으므로 차원이 정의되지 않습니다.

미분방정식 풀이 방법

모든 미분방정식에 통하는 단 하나의 방법은 없습니다. 적절한 접근법은 방정식의 유형, 차수, 그리고 정확한 해가 존재하는지에 달려 있습니다.

크게 보면 해석적 방법과 수치적 방법이 있습니다.

해석적 방법

해석적 방법은 정확한 폐형식 해, 즉 어떤 점에서도 값을 계산할 수 있는 공식을 제공합니다. 적용 가능하다면 선호되는데, 결과가 정확하고 해의 구조에 대한 통찰을 주기 때문입니다.

하지만 특정 형태의 방정식에만 통합니다. 방정식이 너무 복잡해지면 해석적 방법은 한계에 부딪힙니다.

변수 분리법

변수 분리법은 y와 관련된 항을 한쪽으로, x(또는 t)와 관련된 항을 다른 쪽으로 분리할 수 있는 방정식에 적용됩니다.

다음과 같은 1차 ODE를 보겠습니다:

단순 미분방정식

1단계 - 변수를 분리합니다:

해석적 해 (1단계)

2단계 - 양변을 적분합니다:

해석적 해 (2단계)

3단계 - y에 대해 풉니다:

해석적 해 (3단계)

여기서 A는 초기 조건에 의해 결정되는 상수입니다. 이것이 일반해입니다.

이는 박테리아 성장 방정식과 같은 형태입니다. 즉 개체수처럼 크기에 비례한 성장률을 가진 것은 지수적으로 성장한다는 것을 알려줍니다.

적분인자법

적분인자법은 다음 형태의 1차 선형 ODE를 다룹니다:

적분인자 예시 (1)

아이디어는 양변에 적절히 선택된 함수, 즉 적분인자 μ(x)를 곱해 왼쪽을 직접 적분할 수 있는 완전미분 형태로 만드는 것입니다.

적분인자는 항상 다음과 같습니다:

적분인자 예시 (2)

이를 곱해주면 방정식은 다음과 같이 됩니다:

적분인자 예시 (3)

그다음 양변을 적분하고 y를 구합니다. 왼쪽은 μ(x)의 선택 덕분에 항상 깔끔하게 정리됩니다. 그것이 이 방법의 요체입니다.

수치적 방법

대부분의 실제 미분방정식은 깔끔한 해석해가 없습니다. 수치적 방법은 해를 한 걸음씩 근사하며, 이산적 지점에서 값을 계산합니다.

정확성을 희생하는 대신 일반성을 얻습니다. 실무에서는 그것이 필요한 경우가 많습니다.

오일러 방법

오일러 방법은 가장 단순한 수치적 접근입니다. 알려진 한 점에서 시작해 도함수로 기울기를 추정하고, 그 방향으로 작은 보폭을 옮기며 반복합니다.

1차 ODE dy/dx = f(x, y)와 초기 조건 y(x₀) = y₀가 주어지면, 각 단계는 다음과 같습니다:

오일러 방법 예시 (1)

여기서 h는 보폭입니다. 보폭이 작을수록 정확도는 높아지지만 계산량은 늘어납니다.

다음은 dy/dx = y를 y(0) = 1로 푸는 Python 구현입니다(정확한 해는 y = eˣ):

import numpy as np
import matplotlib.pyplot as plt

def euler_method(f, x0, y0, h, n_steps):
    x = np.zeros(n_steps + 1)
    y = np.zeros(n_steps + 1)
    x[0], y[0] = x0, y0

    for i in range(n_steps):
        y[i+1] = y[i] + h * f(x[i], y[i])
        x[i+1] = x[i] + h

    return x, y

f = lambda x, y: y  # dy/dx = y

x_euler, y_euler = euler_method(f, x0=0, y0=1, h=0.2, n_steps=20)
x_exact = np.linspace(0, 4, 200)
y_exact = np.exp(x_exact)

오일러 방법과 정확한 해의 비교

두 선 사이의 간격이 근사 오차입니다. h=0.2에서는 처음엔 오차가 작지만 단계가 진행될수록 누적됩니다. 이것이 오일러 방법의 주요 약점입니다.

룬게-쿠타 방법

룬게-쿠타 방법은 각 단계 내에서 여러 지점의 기울기를 샘플링해 가중평균을 취함으로써 누적 오차 문제를 완화합니다. 가장 일반적인 버전은 RK4(4차 룬게-쿠타)입니다.

오일러가 단계마다 하나의 기울기만 사용하는 것과 달리, RK4는 네 번 계산합니다:

룬게-쿠타 방법 예시 (1)

그다음 이들을 결합합니다:

룬게-쿠타 방법 예시 (2)

실무에서는 RK4를 직접 구현하지 않습니다. SciPy의 solve_ivp가 이를 처리해 줍니다:

from scipy.integrate import solve_ivp
import numpy as np
import matplotlib.pyplot as plt

f = lambda x, y: y  # dy/dx = y

sol = solve_ivp(f, t_span=[0, 4], y0=[1], max_step=0.2)

RK45와 정확한 해의 비교

RK45 곡선은 거의 완벽하게 정확한 해 위에 겹쳐집니다. 오일러 예시와 같은 보폭이지만 정확도는 훨씬 높습니다. 가중 기울기 샘플링의 차이입니다.

Python 실무에서는 기본 RK45 해법이 적용된 solve_ivp가 표준입니다. 오일러 방법은 수치 해법의 작동 원리를 이해하는 데 유용하지만, 프로덕션에서는 쓰지 않습니다.

데이터 과학과 머신러닝에서의 미분방정식 응용

엔지니어는 전기회로와 기계 시스템을, 생물학자는 개체군 동태와 질병 확산을, 물리학자는 열전달부터 양자역학까지 모든 것을 미분방정식으로 모델링합니다.

하지만 여러분은 데이터 과학을 위해 이 글을 읽고 있으니, 그 이야기를 해봅시다.

머신러닝과 최적화

미분방정식과 ML의 가장 직접적인 연결고리는 거의 모든 모델 학습의 근간인 경사하강법입니다.

모델을 학습할 때는 손실 함수 L을 최소화합니다. 그러려면 각 파라미터를 조정할 때 L이 어떻게 변하는지 알아야 합니다. 그 변화율이 도함수입니다. 파라미터가 여러 개면 각각에 대해 편도함수를 계산하고, 이들이 함께 그래디언트를 이룹니다.

경사하강법은 이 도함수를 이용해 파라미터를 한 걸음씩 업데이트합니다:

경사하강법

여기서 θ는 파라미터, η는 학습률, ∂L/∂θ는 해당 파라미터에 대한 손실의 편도함수입니다.

다음은 경사하강법으로 데이터에 직선을 적합하는 간단한 Python 예시입니다:

import numpy as np
import matplotlib.pyplot as plt

np.random.seed(42)
X = np.linspace(0, 10, 100)
y = 2.5 * X + np.random.randn(100) * 2

# Initialize parameters
theta = 0.0
bias = 0.0
eta = 0.001
n = len(X)
losses = []

for _ in range(500):
    y_pred = theta * X + bias
    loss = np.mean((y_pred - y) ** 2)
    losses.append(loss)

    # Partial derivatives
    d_theta = (2/n) * np.sum((y_pred - y) * X)
    d_bias  = (2/n) * np.sum(y_pred - y)

    theta -= eta * d_theta
    bias  -= eta * d_bias

경사하강법으로 직선을 적합하고, 반복에 따른 손실 곡선을 표시

각 반복은 손실을 줄이는 방향으로 파라미터를 이동시킵니다. 편도함수가 그 방향을 알려줍니다. 이것이 없으면 경사하강법은 작동하지 않으며, 층을 따라 연쇄법칙을 반복 적용하는 역전파도 마찬가지로 작동하지 않습니다.

시계열 분석

많은 시계열 시스템은 동적입니다. 현재 값은 과거 값과 변화 속도에 의존합니다. 미분방정식은 이를 기술할 수 있게 합니다.

칼만 필터는 추적과 예측에 널리 쓰이며, 숨은 상태가 시간에 따라 어떻게 진화하는지와 잡음이 있는 관측이 그 상태와 어떻게 연결되는지를 기술하는 미분방정식 체계 위에 구축됩니다. GPS, 금융, 일기예보 등에서 사용됩니다.

ARIMA 모델은 시계열 예측에 사용되며, 차분 개념을 통해 미분방정식과 연결됩니다. 1차 또는 2차 차분을 취하는 것은 1차와 2차 도함수의 이산적 근사입니다. 시계를 정상화하기 위해 미분(차분)할 때, 본질적으로 "이 시계열이 시간에 따라 어떻게 변하는가?"를 묻는 것입니다.

통계 모델링과 회귀

많은 이가 놀라는 점 하나: 미분방정식 체계를 푸는 것은 선형 회귀 계수를 도출하는 한 방법입니다.

선형 회귀 모델을 적합할 때, 제곱 오차 합을 최소화합니다. 각 계수에 대해 그 손실의 편도함수를 구해 0으로 두고 풉니다. 그러면 정규방정식이 나옵니다:

정규방정식

지금까지 계산한 모든 회귀 계수는 도함수를 0으로 두고 푼 결과입니다. 이것이 미적분이며, 여러분이 적합하는 모든 모수적 모델의 동일한 원리입니다.

로지스틱 회귀에서는 손실 함수가 이차식이 아니므로 폐형식 해가 없습니다. 따라서 경사하강법 같은 반복적 방법을 사용해야 하며, 이 역시 매 단계마다 편도함수에 의존합니다.

연결은 더 깊습니다. QR 분해는 정규방정식을 푸는 표준 수치적 방법 중 하나로, 실제로 연립방정식(미분방정식을 포함) 해결과 맞닿은 선형대수에 기반합니다.

동적 시스템 시뮬레이션

시간에 따라 시스템이 어떻게 진화하는지를 모델링해야 하고 해석해가 없다면, 수치적으로 시뮬레이션합니다.

이는 비즈니스와 운영 환경에서 흔합니다. 이탈(churn), 재고 수준, 공급망 동학 등은 모두 현재 상태에 따라 변하는 양을 포함합니다. 이러한 관계를 미분방정식으로 적고, solve_ivp로 시뮬레이션할 수 있습니다.

다음은 재고 I가 수요 D에 비례하여 감소하고, 수요가 시간이 지나며 변하는 단순한 수요-공급 시스템 시뮬레이션 예시입니다:

import numpy as np
from scipy.integrate import solve_ivp
import matplotlib.pyplot as plt

def supply_chain(t, y):
    I, D = y
    dD_dt = 0.1 * np.sin(0.5 * t)   # demand fluctuates over time
    dI_dt = -D                      # inventory depletes at the demand rate
    return [dI_dt, dD_dt]

sol = solve_ivp(
    supply_chain,
    t_span=[0, 20],
    y0=[100, 5],  # initial inventory=100, demand=5
    max_step=0.1
)

시간에 따른 변동 수요와 동반된 재고 감소 시뮬레이션

같은 패턴이 고객 행동 모델링, 사용자 기반의 전염 확산, 혹은 변화율이 현재 상태에 의존하는 어떤 시스템에도 적용됩니다. 관계를 적어 수치 해석기에 넘기면, 시뮬레이션 결과를 얻을 수 있습니다.

이것이 데이터 과학에서 미분방정식의 실용적인 힘입니다. 변하는 시스템을 직접적으로 모델링하는 도구입니다.

마무리

경사하강법 뒤에는 편도함수가 있습니다. 시계열 예측 뒤에는 동적 시스템이 있습니다. 선형 회귀 계수 뒤에는 도함수를 0으로 두는 과정이 있습니다. 어디를 봐야 하는지만 알면 됩니다.

이 글에서는 미분방정식이 무엇인지, ODE와 PDE의 차이, 차수와 차원이 분류에 어떻게 쓰이는지, 그리고 해석적·수치적 풀이의 주요 방법을 설명했습니다. 이어서 데이터 과학과 머신러닝의 일상 업무에서 그것들이 어디에 나타나는지도 살펴봤습니다.

이는 기초에 불과합니다. 더 많은 수학 주제를 탐구하고 싶다면 Linear Algebra for Data Science in R 강좌가 좋은 다음 단계입니다. 실제 데이터 문제에 이러한 개념을 적용해보는 실습을 원하시면 Quantitative Analyst in R 강좌를 확인하세요.