Phương trình vi phân: Từ cơ bản đến ứng dụng trong ML

Hóa ra bạn đang sử dụng kết quả của các phương trình vi phân mỗi khi huấn luyện mạng nơ-ron hoặc thậm chí khi khớp một mô hình hồi quy. Phần toán học vận hành bên dưới là giải tích, và phương trình vi phân nằm ngay trung tâm của nó. Nếu bạn từng thắc mắc vì sao gradient descent hoạt động, hoặc Kalman filter theo dõi một vật thể chuyển động như thế nào, thì câu trả lời nằm ở phương trình vi phân.

Phương trình vi phân cho phép bạn mô hình hóa cách các đại lượng thay đổi theo thời gian - và đó chính là cốt lõi của khoa học dữ liệu. Khi hiểu được các ý tưởng then chốt, bạn sẽ thấy chúng ở khắp nơi: trong các hàm mất mát bạn tối thiểu hóa, trong chuỗi thời gian bạn dự báo, và trong các mô phỏng bạn chạy.

Trong bài viết này, tôi sẽ dẫn bạn qua khái niệm phương trình vi phân, các kiểu chính bạn sẽ gặp, cách giải chúng và - quan trọng nhất - cách chúng xuất hiện trong công việc khoa học dữ liệu và machine learning hàng ngày.

Phương trình vi phân là gì?

Phương trình vi phân là một phương trình liên hệ một hàm với các đạo hàm của chính nó.

Nói đơn giản, đạo hàm cho biết tốc độ một đại lượng đang thay đổi tại một thời điểm. Một phương trình vi phân nói rằng tốc độ thay đổi của một đại lượng phụ thuộc vào chính đại lượng đó, vào thời gian, hoặc cả hai.

Giả sử bạn đang mô hình hóa quần thể vi khuẩn. Càng nhiều vi khuẩn thì chúng sinh sản càng nhanh. Vậy tốc độ tăng trưởng phụ thuộc vào quy mô quần thể hiện tại. Viết điều đó thành phương trình, bạn có một phương trình vi phân.

Về mặt hình thức, nó trông như sau:

Biểu diễn phương trình vi phân

Trong đó P là quần thể, t là thời gian và r là tốc độ tăng trưởng. Vế trái là đạo hàm - tốc độ P thay đổi theo thời gian. Vế phải nói rằng sự thay đổi đó tỉ lệ với chính P.

Đó là ý tưởng cốt lõi đằng sau mọi phương trình vi phân bạn sẽ gặp.

Phương trình vi phân xuất hiện khắp vật lý, sinh học và kỹ thuật - ở bất cứ đâu hệ thống tiến hóa theo thời gian. Nhiệt lan truyền qua một thanh kim loại, con lắc dao động, virus lan trong quần thể. Tất cả đều được mô hình hóa bằng phương trình vi phân.

Với nhà khoa học dữ liệu, bạn sẽ thấy phương trình vi phân trong các hàm mất mát, gradient descent, mô hình chuỗi thời gian, neural ODEs - tất cả đều có phương trình vi phân chạy bên dưới. Bạn không phải lúc nào cũng thấy chúng một cách tường minh, nhưng chúng luôn hiện diện.

Khi hiểu chúng, bạn sẽ có một mô hình tư duy rõ ràng hơn về lý do và cách các công cụ bạn dùng hàng ngày hoạt động.

Lịch sử của phương trình vi phân

Cuối thế kỷ 17, Isaac Newton và Gottfried Wilhelm Leibniz đã độc lập phát triển giải tích. Cả hai đều cần một cách để mô tả sự thay đổi của các đại lượng vật lý theo thời gian, và phương trình vi phân ra đời. Newton dùng chúng để mô hình hóa chuyển động và hấp dẫn. Leibniz cho chúng ta phần lớn ký hiệu vẫn dùng đến nay, bao gồm d/dt bạn sẽ thấy trong mọi giáo trình giải tích.

Thế kỷ 18 và 19 mang đến một làn sóng kỹ thuật mới.

Leonhard Euler phát triển các phương pháp giải ODE bằng số - chính là Euler trong phương pháp Euler bạn sẽ thấy sau trong bài này. Joseph-Louis Lagrange và Pierre-Simon Laplace mở rộng lý thuyết cho các hệ phức tạp hơn. Jean-Baptiste Joseph Fourier giới thiệu cách phân rã hàm thành thành phần sin và cos, trở thành nền tảng để giải phương trình vi phân riêng phần.

Tới thế kỷ 20, phương trình vi phân hiện diện khắp nơi từ động lực học chất lưu, cơ học lượng tử đến kỹ thuật điện. Nhiều phương trình thực tế không có nghiệm giải tích gọn gàng. Khi đó, phương pháp số chiếm ưu thế, và máy tính khiến chúng khả thi ở quy mô lớn.

Ngày nay, lĩnh vực này vẫn tiến triển. Neural ordinary differential equations (Neural ODEs) coi các lớp của mạng nơ-ron là một quá trình liên tục được mô tả bởi phương trình vi phân. Đây là một phát triển gần đây làm mờ ranh giới giữa học sâu và toán học cổ điển. Nó cũng là một trong những mảng thú vị trong nghiên cứu ML hiện đại.

Dù vậy, ý tưởng cốt lõi vẫn không đổi: mô hình hóa cách mọi thứ thay đổi, và bạn có thể dự đoán chúng sẽ đi về đâu.

Các loại phương trình vi phân

Không phải mọi phương trình vi phân đều giống nhau. Điều đầu tiên bạn cần biết là cách phân biệt chúng.

Phân nhánh chính là giữa phương trình vi phân thường (ODE) và phương trình vi phân riêng phần (PDE). Sự khác biệt nằm ở số lượng biến độc lập mà hàm phụ thuộc vào.

Phương trình vi phân thường (ODE)

Một phương trình vi phân thường liên quan đến một hàm của một biến độc lập duy nhất và các đạo hàm của nó.

Ví dụ quần thể vi khuẩn ở trên là một ODE. Quần thể P chỉ phụ thuộc vào thời gian t - một biến. Vì vậy phương trình chỉ có các đạo hàm thường, viết là dP/dt.

ODE là công cụ phù hợp khi hệ thống của bạn tiến hóa theo một chiều duy nhất, thường là thời gian. Dưới đây là vài ví dụ kinh điển:

• Tăng trưởng quần thể - tốc độ thay đổi của quần thể phụ thuộc vào quy mô hiện tại
• Phân rã phóng xạ - tốc độ phân rã của một chất phụ thuộc vào lượng còn lại
• Định luật II Newton - gia tốc của một vật phụ thuộc vào các lực tác dụng lên nó

Trong mỗi trường hợp, một biến chi phối sự thay đổi. Đó là lý do gọi là "thường".

Phương trình vi phân riêng phần (PDE)

Một phương trình vi phân riêng phần liên quan đến một hàm của nhiều biến độc lập và các đạo hàm riêng của nó.

Giả sử bạn muốn mô hình hóa cách nhiệt lan qua một thanh kim loại. Nhiệt độ tại một điểm phụ thuộc cả vào vị trí trên thanh và thời gian. Đó là hai biến độc lập: vị trí x và thời gian t. Khi bạn viết phương trình cho điều đó, bạn có các đạo hàm riêng - một theo x, một theo t.

Đó là một PDE. Phương trình nhiệt là một trong những ví dụ nổi tiếng nhất:

Ví dụ phương trình vi phân riêng phần

Trong đó u(x, t) là nhiệt độ tại vị trí x và thời gian t, α là hệ số khuếch tán nhiệt của vật liệu, ∂u/∂t là tốc độ nhiệt độ thay đổi theo thời gian, và ∂²u/∂x² là độ cong của phân bố nhiệt theo không gian. Phương trình nói rằng nơi đường cong nhiệt độ uốn mạnh, nhiệt tái phân bố nhanh. Nơi phẳng, ít có biến động.

PDE xuất hiện ở bất cứ đâu hệ thống biến thiên theo không gian và thời gian:

• Phân bố nhiệt - nhiệt độ thay đổi theo cả vị trí và thời gian
• Lan truyền sóng - sóng âm hoặc ánh sáng lan qua không gian theo thời gian
• Động lực học chất lưu - vận tốc chất lưu phụ thuộc vào vị trí trong không gian 3D và thời gian

PDE khó giải hơn ODE. Nghiệm giải tích chỉ tồn tại cho các dạng cụ thể, và phương pháp số thường là con đường khả thi duy nhất.

Đối với hầu hết công việc khoa học dữ liệu, bạn sẽ gặp ODE thường xuyên hơn. Nhưng PDE xuất hiện trong xử lý ảnh, mô phỏng vật lý và một số kiến trúc học sâu, nên bạn cần biết sự khác biệt.

Bậc và cấp của phương trình vi phân

Mỗi phương trình vi phân có hai đặc trưng cho biết độ phức tạp: bậc và cấp.

Chúng quyết định phương pháp giải áp dụng, vì vậy bạn cần xác định trước khi bắt đầu giải.

Hiểu về bậc

Bậc của một phương trình vi phân là bậc của đạo hàm cao nhất trong phương trình.

Nếu đạo hàm cao nhất là đạo hàm bậc nhất (dy/dx), đó là phương trình bậc nhất. Nếu cao nhất là đạo hàm bậc hai (d²y/dx²), đó là phương trình bậc hai. Và cứ thế.

Dưới đây là phương trình tăng trưởng vi khuẩn đã nêu:

Phương trình tăng trưởng vi khuẩn

Đạo hàm cao nhất ở đây là dP/dt - đạo hàm bậc nhất. Vậy đây là ODE bậc nhất.

Giờ so sánh với phương trình mô tả con lắc dao động:

Phương trình con lắc dao động

Đạo hàm cao nhất là d²θ/dt² - đạo hàm bậc hai. Điều đó khiến nó là ODE bậc hai.

Bậc cao hơn đồng nghĩa phức tạp hơn. Phương trình bậc hai cần hai điều kiện ban đầu để giải, thay vì một. Trong thực tế, hầu hết hệ vật lý - chuyển động cơ học, mạch điện, động lực quỹ đạo - được mô hình hóa bằng phương trình bậc hai.

Hiểu về cấp

Cấp của một phương trình vi phân là lũy thừa của đạo hàm bậc cao nhất, khi phương trình được viết dưới dạng đa thức (không có căn hay phân số chứa đạo hàm).

Xét phương trình sau:

Phương trình vi phân minh họa

Đạo hàm cao nhất là dy/dx, và được nâng lũy thừa 3. Vậy bậc là 1 và cấp là 3.

Giờ xét phương trình này:

Phương trình vi phân minh họa (2)

Đạo hàm bậc cao nhất là d²y/dx², với lũy thừa 1. Cấp là 1, dù đạo hàm bậc thấp hơn xuất hiện với lũy thừa cao hơn.

Cấp luôn theo đạo hàm bậc cao nhất, không phải lũy thừa cao nhất trong phương trình.

Một trường hợp biên là nếu phương trình chứa các hạng như sin(dy/dx) hoặc e^(d²y/dx²). Khi đó, cấp không xác định - các dạng này không thể biểu diễn như đa thức theo các đạo hàm.

Phương pháp giải phương trình vi phân

Không có một phương pháp duy nhất phù hợp cho mọi phương trình vi phân. Cách tiếp cận đúng phụ thuộc vào kiểu, bậc và liệu có tồn tại nghiệm chính xác hay không.

Nhìn chung, có hai nhóm: phương pháp giải tích và phương pháp số.

Phương pháp giải tích

Phương pháp giải tích cho bạn nghiệm chính xác, dạng khép kín - một công thức có thể tính tại mọi điểm. Chúng được ưu tiên khi áp dụng được vì kết quả chính xác và cho bạn hiểu về cấu trúc của nghiệm.

Nhưng chúng chỉ hoạt động cho các dạng phương trình cụ thể. Khi phương trình quá phức tạp, phương pháp giải tích tới giới hạn.

Tách biến

Tách biến áp dụng cho các phương trình mà bạn có thể cô lập mọi hạng chứa y về một phía và mọi hạng chứa x (hoặc t) về phía còn lại.

Xét ODE bậc nhất này:

Phương trình vi phân đơn giản

Bước 1 - tách biến:

Giải tích (bước 1)

Bước 2 - tích phân hai vế:

Giải tích (bước 2)

Bước 3 - giải y:

Giải tích (bước 3)

Trong đó A là hằng số được xác định bởi điều kiện ban đầu. Đó là nghiệm tổng quát.

Đây là cùng dạng với phương trình tăng trưởng vi khuẩn. Nó cho biết quần thể - và bất cứ thứ gì có tốc độ tăng tỉ lệ với kích thước - tăng theo cấp số mũ.

Hệ số tích phân

Hệ số tích phân xử lý ODE bậc nhất tuyến tính có dạng:

Ví dụ hệ số tích phân (1)

Ý tưởng là nhân cả hai vế với một hàm được chọn khéo léo - hệ số tích phân μ(x) - để biến vế trái thành một đạo hàm hoàn hảo mà bạn có thể tích phân trực tiếp.

Hệ số tích phân luôn là:

Ví dụ hệ số tích phân (2)

Sau khi nhân, phương trình trở thành:

Ví dụ hệ số tích phân (3)

Rồi tích phân hai vế và giải y. Vế trái luôn rút gọn gọn gàng nhờ cách chọn μ(x) - đó là mục đích của phương pháp.

Phương pháp số

Hầu hết các phương trình vi phân trong thực tế không có nghiệm giải tích gọn gàng. Phương pháp số xấp xỉ nghiệm theo từng bước, tính các giá trị tại những điểm rời rạc.

Chúng đánh đổi tính chính xác lấy tính tổng quát. Và trong thực tế, đó thường là điều bạn cần.

Phương pháp Euler

Phương pháp Euler là cách tiếp cận số đơn giản nhất. Ý tưởng là bắt đầu từ một điểm đã biết, dùng đạo hàm để ước lượng độ dốc, tiến một bước nhỏ theo hướng đó, rồi lặp lại.

Cho ODE bậc nhất dy/dx = f(x, y) với điều kiện ban đầu y(x₀) = y₀, mỗi bước như sau:

Phương pháp Euler so với nghiệm chính xác

Khoảng cách giữa hai đường là sai số xấp xỉ. Với h=0.2, sai số ban đầu nhỏ nhưng tích lũy qua các bước - đó là điểm yếu chính của phương pháp Euler.

Các phương pháp Runge-Kutta

Các phương pháp Runge-Kutta khắc phục vấn đề sai số tích lũy bằng cách lấy mẫu độ dốc tại nhiều điểm trong mỗi bước và lấy trung bình có trọng số. Phiên bản phổ biến nhất là RK4 - Runge-Kutta bậc bốn.

Thay vì một ước lượng độ dốc mỗi bước như Euler, RK4 tính bốn ước lượng:

Ví dụ phương pháp Runge-Kutta (1)

Rồi kết hợp chúng:

Ví dụ phương pháp Runge-Kutta (2)

Trong thực tế, bạn không tự cài đặt RK4 bằng tay. solve_ivp của SciPy xử lý giúp bạn:

from scipy.integrate import solve_ivp
import numpy as np
import matplotlib.pyplot as plt

f = lambda x, y: y  # dy/dx = y

sol = solve_ivp(f, t_span=[0, 4], y0=[1], max_step=0.2)

RK45 so với nghiệm chính xác

Đường RK45 gần như trùng khít với nghiệm chính xác. Cùng kích thước bước như ví dụ Euler, nhưng độ chính xác tốt hơn nhiều - đó là khác biệt do lấy mẫu độ dốc có trọng số.

Trong hầu hết công việc thực tế với Python, solve_ivp với bộ giải mặc định RK45 là lựa chọn ưu tiên. Phương pháp Euler hữu ích để hiểu cách bộ giải số hoạt động, nhưng bạn sẽ không dùng nó trong sản xuất.

Ứng dụng của phương trình vi phân trong Khoa học dữ liệu và Machine Learning

Kỹ sư dùng phương trình vi phân để mô hình hóa mạch điện và hệ cơ. Nhà sinh học dùng chúng để theo dõi động lực quần thể và sự lây lan dịch bệnh. Nhà vật lý dùng chúng để mô tả mọi thứ từ truyền nhiệt đến cơ học lượng tử.

Nhưng bạn ở đây vì khoa học dữ liệu, vậy hãy đi vào trọng tâm.

Machine learning và tối ưu hóa

Kết nối trực tiếp nhất giữa phương trình vi phân và ML là gradient descent - thuật toán đằng sau việc huấn luyện gần như mọi mô hình bạn xây dựng.

Khi bạn huấn luyện mô hình, bạn đang tối thiểu hóa một hàm mất mát L. Để làm vậy, bạn cần biết L thay đổi thế nào khi điều chỉnh từng tham số. Tốc độ thay đổi đó là đạo hàm. Khi mô hình có nhiều tham số, bạn tính đạo hàm riêng cho từng tham số - và gộp lại, chúng tạo thành gradient.

Gradient descent dùng các đạo hàm đó để cập nhật tham số theo từng bước:

Gradient descent

Trong đó θ là tham số, η là tốc độ học, và ∂L/∂θ là đạo hàm riêng của hàm mất mát theo tham số đó.

Dưới đây là ví dụ Python khớp một đường thẳng với dữ liệu bằng gradient descent:

import numpy as np
import matplotlib.pyplot as plt

np.random.seed(42)
X = np.linspace(0, 10, 100)
y = 2.5 * X + np.random.randn(100) * 2

# Initialize parameters
theta = 0.0
bias = 0.0
eta = 0.001
n = len(X)
losses = []

for _ in range(500):
    y_pred = theta * X + bias
    loss = np.mean((y_pred - y) ** 2)
    losses.append(loss)

    # Partial derivatives
    d_theta = (2/n) * np.sum((y_pred - y) * X)
    d_bias  = (2/n) * np.sum(y_pred - y)

    theta -= eta * d_theta
    bias  -= eta * d_bias

Gradient descent khớp đường thẳng với dữ liệu và đường cong mất mát theo vòng lặp

Mỗi vòng lặp di chuyển các tham số theo hướng làm giảm mất mát. Các đạo hàm riêng cho bạn biết đó là hướng nào. Không có chúng, gradient descent không hoạt động - và backpropagation trong mạng nơ-ron cũng vậy, vốn chỉ là quy tắc dây chuyền áp dụng lặp qua các lớp.

Phân tích chuỗi thời gian

Nhiều hệ chuỗi thời gian có tính động - giá trị hiện tại phụ thuộc vào các giá trị quá khứ và tốc độ thay đổi. Phương trình vi phân cho phép bạn mô tả điều đó.

Bộ lọc Kalman, được dùng rộng rãi trong theo dõi và dự báo, được xây dựng trên một hệ phương trình vi phân mô hình hóa cách trạng thái ẩn tiến hóa theo thời gian và cách các quan sát nhiễu liên hệ với trạng thái đó. Nó được dùng trong hệ thống GPS, tài chính và dự báo thời tiết.

Mô hình ARIMA dùng cho dự báo chuỗi thời gian, và kết nối với phương trình vi phân qua khái niệm sai phân. Lấy sai phân bậc nhất hoặc bậc hai của chuỗi là một xấp xỉ rời rạc của đạo hàm bậc nhất và bậc hai. Khi bạn vi phân một chuỗi để làm nó dừng, bạn đang hỏi: chuỗi này đang thay đổi thế nào theo thời gian?

Mô hình thống kê và hồi quy

Đây là điều thường khiến nhiều người bất ngờ: giải một hệ phương trình vi phân là một cách để suy ra các hệ số hồi quy tuyến tính.

Khi bạn khớp một mô hình hồi quy tuyến tính, bạn đang tối thiểu hóa tổng bình phương phần dư. Lấy đạo hàm riêng của hàm mất mát theo từng hệ số, đặt chúng bằng 0 và giải. Điều đó cho bạn Phương trình chuẩn (Normal Equation):

Phương trình chuẩn

Mọi hệ số hồi quy bạn từng tính đều đến từ việc đặt một đạo hàm bằng 0 và giải. Đó là giải tích - và là nguyên lý đứng sau mọi mô hình tham số bạn khớp.

Với hồi quy logistic, hàm mất mát không phải bậc hai, nên không có nghiệm dạng đóng. Bạn phải dùng các phương pháp lặp như gradient descent, vốn lại dựa vào đạo hàm riêng ở mỗi bước.

Sự kết nối còn đi xa hơn. Phân rã QR, một trong các phương pháp số tiêu chuẩn để giải Phương trình chuẩn, dựa trên đại số tuyến tính và giao thoa trực tiếp với cách giải các hệ phương trình - bao gồm cả phương trình vi phân - trong thực tế.

Mô phỏng hệ động lực

Khi bạn cần mô hình hóa cách một hệ tiến hóa theo thời gian - và không có nghiệm giải tích - bạn mô phỏng nó bằng số.

Điều này phổ biến trong bối cảnh kinh doanh và vận hành. Rời rạc khách hàng, mức tồn kho và động lực chuỗi cung ứng đều liên quan các đại lượng thay đổi dựa trên trạng thái hiện tại. Bạn có thể viết các mối quan hệ đó thành phương trình vi phân và mô phỏng bằng solve_ivp.

Dưới đây là ví dụ mô phỏng một hệ cung-cầu đơn giản, trong đó tồn kho I cạn kiệt với tốc độ tỉ lệ với cầu D, và cầu thay đổi theo thời gian:

import numpy as np
from scipy.integrate import solve_ivp
import matplotlib.pyplot as plt

def supply_chain(t, y):
    I, D = y
    dD_dt = 0.1 * np.sin(0.5 * t)   # demand fluctuates over time
    dI_dt = -D                      # inventory depletes at the demand rate
    return [dI_dt, dD_dt]

sol = solve_ivp(
    supply_chain,
    t_span=[0, 20],
    y0=[100, 5],  # initial inventory=100, demand=5
    max_step=0.1
)

Mô phỏng tồn kho cạn kiệt song song với cầu dao động theo thời gian

Mẫu hình tương tự áp dụng cho mô hình hành vi khách hàng, sự lây lan dịch trong tập người dùng, hoặc bất kỳ hệ nào mà tốc độ thay đổi phụ thuộc vào trạng thái hiện tại. Bạn viết xuống các mối quan hệ, đưa cho bộ giải số và nhận lại một mô phỏng.

Và đó là sức mạnh thực tiễn của phương trình vi phân trong khoa học dữ liệu. Nó là công cụ trực tiếp để mô hình hóa các hệ thay đổi.

Kết luận

Đằng sau gradient descent là các đạo hàm riêng. Đằng sau dự báo chuỗi thời gian là các hệ động lực. Đằng sau hệ số hồi quy tuyến tính là các đạo hàm được đặt bằng 0. Bạn chỉ cần biết nhìn ở đâu.

Trong bài viết này, tôi đã giải thích phương trình vi phân là gì, khác biệt giữa ODE và PDE, cách bậc và cấp phân loại chúng, và các phương pháp chính để giải - cả giải tích lẫn số. Sau đó, chúng ta xem chúng thực sự xuất hiện ở đâu trong khoa học dữ liệu và machine learning hàng ngày.

Đây mới chỉ là nền tảng. Nếu bạn muốn khám phá thêm các chủ đề toán, khóa học Đại số tuyến tính cho Khoa học dữ liệu bằng R là bước tiếp theo tốt. Để thực hành áp dụng các khái niệm này vào bài toán dữ liệu thực, hãy xem khóa Chuyên viên phân tích định lượng bằng R của chúng tôi.