Hiểu về Phân phối Nhị thức Âm: Hướng dẫn Đầy đủ

Trong suốt mười năm làm việc với tài chính định lượng, tôi đã gặp rất nhiều phân phối thống kê, nhưng ít có phân phối nào vừa có tên gọi gợi tò mò vừa hữu ích thực tiễn như phân phối nhị thức âm. Khi phân tích các mẫu giao dịch và mô hình rủi ro, tôi nhận ra rằng phân phối này, dù tên nghe có vẻ bi quan, lại cung cấp những hiểu biết về các quá trình đếm mà nhiều mô hình đơn giản hơn không nắm bắt được.

Phân phối nhị thức âm mang đến một khung mô hình hóa tinh vi cho các kịch bản như vậy, linh hoạt hơn so với các đối thủ đơn giản như phân phối Poisson. Nó là sự mở rộng tự nhiên của phân phối nhị thức, thích ứng với các tình huống cần mô hình hóa số lần thử cho đến khi xảy ra một số lượng sự kiện nhất định, thay vì số sự kiện trong một số lần thử cố định.

Trong hướng dẫn toàn diện này, chúng ta sẽ khám phá nền tảng toán học, các ứng dụng thực tiễn và cách triển khai phân phối nhị thức âm trong Python và R. Bắt đầu từ các tính chất cơ bản đến những ứng dụng nâng cao, chúng ta sẽ xây dựng hiểu biết vững chắc về công cụ thống kê mạnh mẽ này.

Phân phối Nhị thức Âm là gì?

Phân phối nhị thức âm xuất hiện từ thế kỷ 18 thông qua việc nghiên cứu xác suất trong các trò chơi may rủi. Đây là một phân phối xác suất rời rạc mô hình hóa số lần thất bại trong một chuỗi các thử nghiệm Bernoulli độc lập trước khi đạt được một số lần thành công định trước. Mỗi lần thử phải độc lập và có cùng xác suất thành công.

Để hiểu trực quan, hãy xét một thí nghiệm đơn giản: phỏng vấn ứng viên cho đến khi tìm được ba người đạt yêu cầu cho một vị trí. Phân phối này sẽ mô hình hóa số cuộc phỏng vấn không đạt (thất bại) cần thiết trước khi tìm đủ ba ứng viên đạt yêu cầu (thành công). Điều này khác căn bản với phân phối nhị thức, vốn mô hình hóa số lần thành công trong một số lần thử cố định — như số ứng viên đạt yêu cầu tìm được trong đúng 20 cuộc phỏng vấn.

Vì vậy, bạn có thể thấy, dù tên gọi "nhị thức âm" có thể khiến người ta thắc mắc, nó không hàm ý điều gì tiêu cực theo nghĩa thông thường. Từ "âm" xuất phát từ cách suy diễn lịch sử có liên quan đến số mũ âm.

Phân phối Nhị thức Âm được dùng ở đâu

Phân phối nhị thức âm được sử dụng theo nhiều cách khác nhau. Trong tài chính, lĩnh vực tôi ứng dụng nhiều nhất, nó mô hình hóa các kịch bản như số ngày giao dịch cần thiết để đạt mức lợi nhuận mục tiêu, hoặc số hồ sơ tín dụng cần xem xét trước khi tìm được một số lượng người vay đủ điều kiện nhất định.

Nói chung hơn, phân phối nhị thức âm cũng tỏ ra hữu ích khi mô hình hóa dữ liệu đếm có phương sai lớn hơn trung bình, hiện tượng được gọi là quá phân tán (overdispersion). Trong khi phân phối Poisson giả định trung bình bằng phương sai, dữ liệu đếm ngoài đời thực thường có độ biến thiên lớn hơn. Chẳng hạn, trong dịch tễ học, số ca bệnh thường biến động nhiều hơn so với dự báo của mô hình Poisson, khiến phân phối nhị thức âm phù hợp hơn để mô hình hóa sự lây lan dịch bệnh.

Các nhà di truyền học dựa vào phân phối này khi phân tích dữ liệu giải trình tự. Trong các thí nghiệm giải trình tự RNA, các gen thể hiện mức biểu hiện khác nhau với độ biến thiên cao. Nhị thức âm mô hình hóa số lượt đọc (reads) ánh xạ đến mỗi gen, tính đến cả biến thiên kỹ thuật lẫn sinh học. Điều này giúp xác định các gen biểu hiện khác biệt chính xác hơn so với các phương pháp giả định phương sai không đổi.

Trong các nghiên cứu sinh thái, các nhà nghiên cứu dùng nó để mô hình hóa mức độ phong phú của loài. Hãy xét việc nghiên cứu quần thể chim: một số khu vực có ít cá thể trong khi nơi khác lại tụ tập thành cụm lớn, tạo ra phương sai cao hơn kỳ vọng. Phân phối nhị thức âm mô hình hóa hiệu quả các phân bố theo cụm này, giúp nhà sinh thái hiểu động lực quần thể và lập kế hoạch bảo tồn.

Đặc trưng của Phân phối Nhị thức Âm

Phân phối nhị thức âm được đặc trưng bởi hai tham số chính quyết định hình dạng và hành vi của nó. Hiểu các tham số này và biểu diễn toán học sẽ giúp chúng ta nắm bắt cách phân phối này mô hình hóa các hiện tượng thực tế. Hãy cùng xem xét có hệ thống các đặc điểm này.

Biểu diễn toán học và tham số

Phân phối nhị thức âm có hai tham số cơ bản:

1. r - Số lần thành công mục tiêu (số nguyên dương)
2. p - Xác suất thành công ở mỗi lần thử (giữa 0 và 1)

Các tham số này định hình cách phân phối vận hành. Hãy xem xét theo dõi số cuộc gọi bán hàng cần thiết để có được năm khách hàng mới (r = 5) khi mỗi cuộc gọi có 20% cơ hội thành công (p = 0,2). Giá trị r xác định điểm dừng của chúng ta, còn p ảnh hưởng đến việc ta có thể kỳ vọng phải gọi bao lâu.

Khi tăng r trong khi giữ p không đổi, phân phối dịch sang phải và dàn rộng hơn, phản ánh việc cần nhiều lần thử hơn để đạt nhiều lần thành công hơn. Ngược lại, khi tăng p trong khi giữ r không đổi, phân phối dịch sang trái và tập trung hơn, cho thấy thường cần ít lần thử hơn khi xác suất thành công cao hơn.

Hàm khối xác suất (PMF) và hàm phân phối tích lũy (CDF)

Hàm khối xác suất cho ta xác suất cần đúng k lần thất bại trước khi đạt r lần thành công. Đối với phân phối nhị thức âm, PMF là:

Trong đó:

• X là số lần thất bại trước khi đạt r lần thành công
• (k+r-1 chọn k) là hệ số nhị thức, biểu thị số cách sắp xếp k lần thất bại và r-1 lần thành công
• p là xác suất thành công
• r là số lần thành công mong muốn
• K là số lần thất bại

Ví dụ: Trong kiểm soát chất lượng, nếu chúng ta cần 3 sản phẩm lỗi (r = 3) và mỗi sản phẩm có 10% khả năng bị lỗi (p = 0,1), ta có thể tính các xác suất cụ thể. Chẳng hạn, xác suất có đúng 5 sản phẩm không lỗi (k = 5) trước khi tìm được sản phẩm lỗi thứ ba là:

Phép tính này cho thấy khoảng 1,24% khả năng cần đúng 5 sản phẩm không lỗi trước khi tìm được sản phẩm lỗi thứ ba.

Hàm phân phối tích lũy (CDF) xây dựng dựa trên PMF, cho ta xác suất cần k lần thất bại hoặc ít hơn trước khi đạt số lần thành công mục tiêu:

Điều này có nghĩa F(k) cho ta xác suất cần nhiều nhất k sản phẩm không lỗi trước khi tìm được sản phẩm lỗi thứ ba. Ví dụ, F(5) sẽ cho xác suất cần 5 sản phẩm không lỗi hoặc ít hơn.

Kỳ vọng và phương sai

Giá trị trung bình (kỳ vọng) và phương sai của phân phối nhị thức âm có các công thức gọn gàng, làm rõ những tính chất quan trọng về trung bình (μ) và phương sai (σ^²).  

Những công thức này cho thấy vì sao phân phối này vượt trội khi mô hình hóa dữ liệu quá phân tán. Lưu ý rằng phương sai luôn lớn hơn trung bình theo hệ số 1/p. Tính chất sẵn có này khiến nó phù hợp tự nhiên cho các tập dữ liệu có độ biến thiên vượt quá giá trị trung bình.

Ví dụ, nếu chúng ta mô hình hóa các cuộc gọi dịch vụ khách hàng, nơi kỳ vọng xử lý 5 trường hợp (r = 5) với tỷ lệ thành công 20% mỗi lần thử (p = 0,2), số lần thất bại kỳ vọng sẽ là:

• Trung bình = 5(1-0,2)/0,2 = 20 lần thất bại
• Phương sai = 5(1-0,2)/0,2² = 100

Phương sai cao hơn này phản ánh thực tế rằng một số trường hợp có thể được giải quyết nhanh chóng trong khi số khác cần nhiều nỗ lực hơn, một mô thức thường thấy trong thực tế.

Hiểu các đặc trưng này giúp chúng ta nhận biết khi nào nên áp dụng phân phối nhị thức âm và cách diễn giải kết quả hiệu quả. Nền tảng toán học này đặt cơ sở cho các ứng dụng thực tiễn và triển khai, mà chúng ta sẽ khám phá ở các phần sau.

Triển khai trong Python và R

Hãy kiểm chứng ví dụ trước đó: tính xác suất có đúng 5 sản phẩm không lỗi trước khi tìm được sản phẩm lỗi thứ ba (r=3, p=0,1).

Triển khai bằng Python

import scipy.stats as stats
import math

def calculate_nb_pmf(k, r, p):
    # Calculate binomial coefficient (k+r-1 choose k)
    binom_coef = math.comb(k + r - 1, k)
    # Calculate p^r * (1-p)^k
    prob = (p ** r) * ((1 - p) ** k)
    return binom_coef * prob

# Our example parameters
k = 5  # failures (non-defective units)
r = 3  # successes (defective units)
p = 0.1  # probability of success (defective)

# Calculate using our function
prob_manual = calculate_nb_pmf(k, r, p)
print(f"Manual calculation: {prob_manual:.4f}")

# Verify using scipy
prob_scipy = stats.nbinom.pmf(k, r, p)
print(f"SciPy calculation: {prob_scipy:.4f}")

Đoạn mã trên sẽ in ra như dưới đây: 

Manual calculation: 0.0124
SciPy calculation: 0.0124

Triển khai bằng R

# Calculate probability mass function
k <- 5  # failures (non-defective units)
r <- 3  # successes (defective units)
p <- 0.1  # probability of success (defective)

# Using dnbinom
prob_r <- dnbinom(k, size = r, prob = p)
print(sprintf("R calculation: %.4f", prob_r))

# Manual calculation for verification
manual_calc <- choose(k + r - 1, k) * p^r * (1-p)^k
print(sprintf("Manual calculation: %.4f", manual_calc))

Đoạn mã trên sẽ cho ra cùng con số như ví dụ Python của chúng ta:

R calculation: 0.0124
Manual Calculation: 0.0124

Cả hai cách triển khai đều xác nhận xác suất đã tính trước đó khoảng 0,0124 hay 1,24%.

Mối liên hệ với các Phân phối khác

Hiểu cách phân phối nhị thức âm liên hệ với các phân phối xác suất khác giúp làm rõ khi nào nên dùng mỗi phân phối. Phân phối nhị thức âm có kết nối đặc biệt với một số phân phối quan trọng trong thống kê.

Nhị thức âm so với nhị thức

Phân phối nhị thức là điểm khởi đầu nền tảng. Trong khi phân phối nhị thức đếm số lần thành công trong một số lần thử cố định, nhị thức âm đảo chiều khái niệm này bằng cách đếm số lần thử cần thiết để đạt một số lần thành công cố định. Hai phân phối này mang tính bổ trợ — nếu bạn cần đúng 3 lần thành công và muốn biết xác suất đạt được điều đó trong đúng 8 lần thử, hãy dùng phân phối nhị thức. Nếu bạn muốn biết xác suất cần đúng 8 lần thử để có 3 lần thành công, hãy dùng nhị thức âm.

Nhị thức âm so với Poisson

Phân phối Poisson thường được so sánh với nhị thức âm khi mô hình hóa dữ liệu đếm. Cả hai đều xử lý các sự kiện rời rạc, nhưng khác nhau ở giả định về phương sai. Đặc trưng của Poisson là trung bình bằng phương sai. Tuy nhiên, dữ liệu đếm ngoài đời thực thường thể hiện quá phân tán, tức phương sai vượt trung bình. Phân phối nhị thức âm tự nhiên bao quát được độ biến thiên bổ sung này, khiến nó phù hợp hơn cho các hiện tượng như:

• Mẫu bùng phát dịch bệnh nơi một số ca dẫn đến nhiều ca lây nhiễm hơn
• Dữ liệu khiếu nại khách hàng nơi một số vấn đề kéo theo nhiều khiếu nại liên quan
• Đột biến lưu lượng truy cập web khi một số sự kiện gây hoạt động tăng cao

Nhị thức âm so với hình học

Phân phối hình học là một trường hợp đặc biệt của nhị thức âm khi đặt r=1, nghĩa là chúng ta chỉ chờ một lần thành công. Điều này rất phù hợp để mô hình hóa các bối cảnh như:

• Số lần thử cho đến lần thành công đầu tiên
• Thời gian đến lần hỏng đầu tiên trong kiểm định độ tin cậy
• Số lần thử cho đến đột phá đầu tiên trong nghiên cứu

Nhị thức âm như hỗn hợp Gamma-Poisson

Cuối cùng, nhị thức âm có thể được suy ra như một hỗn hợp Gamma-Poisson, cung cấp nền tảng lý thuyết cho khả năng xử lý quá phân tán của nó. Mối liên hệ này giúp giải thích vì sao phân phối nhị thức âm hoạt động tốt trong các mô hình phân cấp, nơi tốc độ xảy ra sự kiện cá thể biến thiên theo phân phối gamma.

Ưu điểm và Hạn chế

Phân phối nhị thức âm mang lại những ưu điểm nổi bật giúp nó hữu ích khi mô hình hóa các hiện tượng thực, đồng thời cũng có những hạn chế quan trọng mà các nhà khoa học dữ liệu cần cân nhắc.

Hồi quy nhị thức âm mở rộng hồi quy truyền thống cho dữ liệu đếm, đặc biệt khi dữ liệu thể hiện quá phân tán. Trong khi hồi quy Poisson giả định trung bình bằng phương sai, hồi quy nhị thức âm nới lỏng ràng buộc này, khiến nó phù hợp hơn với ứng dụng thực tế.

Hãy xét bối cảnh tổng đài: Chúng ta muốn dự đoán số cuộc gọi dịch vụ khách hàng mỗi giờ. Các biến dự báo có thể gồm:

• Thời điểm trong ngày
• Ngày trong tuần
• Tình trạng ngày nghỉ/lễ
• Hoạt động chiến dịch marketing
• Điều kiện thời tiết

Hồi quy Poisson tiêu chuẩn có thể đánh giá thấp biến thiên của lưu lượng cuộc gọi, đặc biệt trong giờ cao điểm hoặc các sự kiện đặc biệt. Hồi quy nhị thức âm tính đến biến thiên bổ sung này, cung cấp dự báo và khoảng tin cậy thực tế hơn.

Kết luận

Nhờ khả năng mô hình hóa dữ liệu đếm phức tạp và xử lý quá phân tán, phân phối nhị thức âm vẫn là công cụ thiết yếu để hiểu và dự đoán các hiện tượng ngoài đời thực. Như bạn đã thấy, nó vượt trội khi mô hình hóa dữ liệu quá phân tán, mang lại sự linh hoạt để mô hình hóa vô số kịch bản khác nhau và thậm chí mở rộng một cách tự nhiên sang phân tích hồi quy.

Nếu bạn muốn đào sâu hiểu biết về các phân phối xác suất và ứng dụng của chúng, các khóa học Xác suất và Thống kê của chúng tôi cung cấp nội dung toàn diện về các chủ đề này. Khóa học gồm các bài tập thực hành với tập dữ liệu thực, giúp bạn nắm vững cả khái niệm lý thuyết lẫn triển khai thực tế trong Python và R. Ngoài ra, hãy cân nhắc lộ trình Nhà khoa học Học máy với Python. Tôi cam kết, bạn sẽ học được rất nhiều.