Hồi quy Poisson: Cách mô hình hóa dữ liệu đếm

Khi phân tích dữ liệu liên quan đến việc đếm các sự kiện - như số lượng khiếu nại của khách hàng mỗi ngày, số ca nhập viện mỗi tháng, hoặc số lượt nhấp chuột trên website mỗi giờ - hồi quy tuyến tính thông thường thường cho ra kết quả sai lệch. Dữ liệu đếm có những đặc tính riêng cần các phương pháp mô hình hóa chuyên biệt.

Hồi quy Poisson cung cấp một phương pháp thống kê được thiết kế riêng cho dữ liệu đếm. Không giống hồi quy tuyến tính, vốn có thể dự đoán giá trị âm, hồi quy Poisson đảm bảo dự đoán luôn là các số nguyên không âm. Điều này đặc biệt hữu ích trong bất kỳ lĩnh vực nào mà việc đếm sự kiện đóng vai trò trung tâm cho ra quyết định.

Nếu bạn mới làm quen với phân tích hồi quy, khóa học Introduction to Regression in R của chúng tôi cung cấp các khái niệm nền tảng thiết yếu mà bạn sẽ cần cho hướng dẫn này. Với những ai sẵn sàng khám phá họ kỹ thuật hồi quy rộng hơn, Generalized Linear Models in R mang đến cái nhìn toàn diện về khung thống kê bao gồm cả hồi quy Poisson.

Hiểu về dữ liệu đếm và các thách thức

Điểm đặc biệt của dữ liệu đếm

Dữ liệu đếm biểu diễn số lần một điều gì đó xảy ra trong một khoảng thời gian hoặc không gian cố định. Ví dụ gồm số yêu cầu bồi thường bảo hiểm trên mỗi hợp đồng mỗi năm hoặc số tai nạn giao thông tại một ngã tư mỗi tháng.

Dữ liệu đếm có một số đặc điểm khiến hồi quy tuyến tính thông thường không phù hợp:

• Chỉ gồm số nguyên không âm: Số đếm không thể âm hoặc phân số. 
• Phân phối lệch phải: Phần lớn bộ dữ liệu đếm có nhiều giá trị thấp với thỉnh thoảng xuất hiện giá trị cao, tạo ra cái đuôi lệch phải đặc trưng.
• Phương sai tăng theo trung bình: Khi số đếm trung bình tăng, độ biến thiên thường cũng tăng theo. 

Vì sao hồi quy tuyến tính thất bại

Hãy xem xét việc dự đoán số khiếu nại của khách hàng dựa trên các yếu tố như độ phức tạp sản phẩm và điểm hài lòng của khách hàng. Hồi quy tuyến tính xử lý điều này như một kết quả liên tục, có thể dự đoán các giá trị bất khả thi như -1,5 khiếu nại hoặc 14,7 khiếu nại.

Nghiêm trọng hơn, hồi quy tuyến tính giả định phương sai không đổi trên mọi mức dự đoán. Trên thực tế, các tuần có số khiếu nại dự đoán cao hơn nhiều khả năng sẽ có độ biến thiên lớn hơn so với các tuần có số dự đoán thấp. Mẫu này, gọi là phương sai thay đổi, dẫn đến khoảng tin cậy và kiểm định giả thuyết thiếu tin cậy.

Nền tảng phân phối Poisson

Hồi quy Poisson được xây dựng trên phân phối xác suất Poisson, vốn mô tả tự nhiên dữ liệu đếm. Phân phối Poisson có một tham số duy nhất (lambda) đại diện đồng thời cho cả trung bình và phương sai của số đếm. Tính chất trung bình bằng phương sai này, gọi là đồng phân tán (equidispersion), là một giả định then chốt cần được kiểm định trong thực tế.

Phân phối này đặc biệt hiệu quả khi mô hình hóa các sự kiện “hiếm” - không nhất thiết là ít xảy ra, mà là các sự kiện có mỗi lần xảy ra độc lập và tốc độ xảy ra tương đối ổn định trong các điều kiện tương tự.

Khi nào nên dùng hồi quy Poisson

Trước hết, hãy nói về các điều kiện lý tưởng để hồi quy Poisson hoạt động tốt. Sau đó, ta bàn đến các ứng dụng thực tế. 

Kịch bản lý tưởng

Hồi quy Poisson hoạt động tốt nhất khi dữ liệu đáp ứng một số điều kiện:

• Các sự kiện độc lập: Mỗi lần xảy ra không ảnh hưởng đến lần khác. Một yêu cầu bồi thường không làm yêu cầu khác có khả năng xảy ra cao hơn hay thấp hơn (giả sử không có mô hình gian lận).
• Tốc độ ổn định: Dưới các điều kiện tương tự, tốc độ trung bình của sự kiện duy trì ổn định. Số lượt vào phòng cấp cứu có thể khác nhau theo ngày trong tuần, nhưng các ngày thứ Ba trong những tháng tương tự nên có mẫu hình nhất quán.
• Khung thời gian hoặc không gian phù hợp: Các sự kiện được đếm trong các khoảng thời gian hoặc khu vực xác định rõ. “Khiếu nại mỗi tháng” tốt hơn “khiếu nại lúc đếm theo ngày, lúc theo tuần”.
• Không dư thừa số 0 rõ rệt: Dù một số 0 là kỳ vọng, nếu dữ liệu có nhiều số 0 hơn nhiều so với phân phối Poisson dự đoán, bạn có thể cần các mô hình “lạm phát số 0”.

Ứng dụng phổ biến

Trong y tế và dịch tễ học, các nhà nghiên cứu theo dõi số ca bệnh theo vùng hoặc theo thời gian, điều chỉnh theo dân số. Chẳng hạn, họ có thể nghiên cứu cách tỷ lệ tiêm chủng ảnh hưởng đến số ca nhiễm trên 100.000 người.

Trong kinh doanh và marketing, các nhóm phân tích hành vi khách hàng như tần suất mua hàng, phiếu hỗ trợ, hoặc mức độ tương tác. Các công ty thương mại điện tử thường mô hình hóa số đơn hàng hằng ngày dựa trên chi tiêu marketing, tính thời vụ, và khuyến mãi.

Hoặc đây là ví dụ thường được nhắc đến với hồi quy Poisson: Các nhóm sản xuất theo dõi tỷ lệ lỗi theo kích thước lô hoặc giai đoạn kiểm tra để sớm phát hiện vấn đề chất lượng và cải tiến quy trình.

Hiểu cấu trúc mô hình và các giả định

Kết nối qua hàm liên kết log

Hồi quy Poisson không mô hình hóa trực tiếp số đếm. Thay vào đó, nó mô hình hóa logarit của số đếm kỳ vọng như một tổ hợp tuyến tính của các biến dự báo.

Phép biến đổi logarit này đảm bảo dự đoán luôn dương. Cụ thể, hàm liên kết log biến đổi số đếm kỳ vọng sang thang log, đảm bảo dự đoán của mô hình cho trung bình số đếm luôn dương. Khi đảo biến đổi (bằng cách lấy mũ), ta được:

Cấu trúc này có nghĩa là thay đổi ở các biến dự báo tác động nhân lên số đếm kỳ vọng. 

Diễn giải hiệu ứng nhân

Trong hồi quy tuyến tính, tăng một đơn vị ở biến dự báo sẽ cộng một lượng hằng số vào kết quả. Trong hồi quy Poisson, tăng một đơn vị ở biến dự báo sẽ nhân số đếm kỳ vọng với một hệ số hằng.

Ví dụ, nếu hệ số cho “chi tiêu marketing” là 0,1, thì mỗi đô la marketing bổ sung sẽ nhân số khách hàng kỳ vọng với e^0,1 ≈ 1,105, tương ứng mức tăng khoảng 10,5%.

Dù có vẻ phức tạp hơn, đặc tính này lại trực quan trong các ứng dụng kinh doanh, nơi ta thường suy nghĩ theo phần trăm thay đổi và hiệu ứng tương đối.

Các giả định chính cần kiểm tra

Như bất kỳ mô hình nào, có một số giả định cần lưu ý: 

• Tính độc lập: Các quan sát không nên ảnh hưởng lẫn nhau. Nếu bạn phân tích số đếm theo ngày theo thời gian, các mẫu hình thời gian mạnh có thể cho thấy sự phụ thuộc cần mô hình hóa tinh vi hơn.
• Đồng phân tán: Phương sai xấp xỉ bằng trung bình. Hãy tính tỷ lệ này cho dữ liệu của bạn - giá trị lớn hơn 1 nhiều gợi ý hiện tượng quá phân tán cần xử lý.
• Dạng hàm đúng: Quan hệ giữa biến dự báo và log-số đếm nên gần tuyến tính. Quan hệ phi tuyến có thể cần các hạng đa thức hoặc biến đổi.
• Không có ngoại lệ nghiêm trọng: Các giá trị đếm cực đoan có thể ảnh hưởng quá mức đến kết quả. Hãy kiểm tra xem ngoại lệ là lỗi dữ liệu hay sự kiện cực đoan thực sự.

Làm việc với độ phơi nhiễm và offset

Hiểu biến độ phơi nhiễm

Nhiều bộ dữ liệu đếm có các mức độ phơi nhiễm khác nhau - khác biệt về khoảng thời gian, quy mô dân số, hoặc cường độ quan sát. Ví dụ, so sánh số tai nạn giữa các thành phố cần tính đến chênh lệch dân số, hoặc so sánh doanh số theo tháng cần lưu ý một số tháng có số ngày khác nhau.

Biến độ phơi nhiễm đại diện cho “mẫu số” giúp các số đếm có thể so sánh. Nếu không điều chỉnh đúng, các thành phố lớn sẽ đương nhiên có nhiều tai nạn hơn, và các tháng dài hơn sẽ có doanh số cao hơn, có thể che mờ các quan hệ thực sự bạn muốn nghiên cứu.

Triển khai offset

Offset cung cấp cách đưa biến độ phơi nhiễm vào với hệ số cố định bằng 1. Thay vì mô hình hóa số đếm thô, offset cho phép bạn mô hình hóa các tỷ lệ trong khi vẫn giữ cấu trúc dữ liệu đếm.

Dạng toán học trở thành:

Sắp xếp lại phương trình này:

Điều này cho thấy bạn đang mô hình hóa log-tỷ lệ, với tỷ lệ = số đếm/độ phơi nhiễm.

Khi nào cách nghĩ này hữu ích

• Tỷ lệ bệnh đã điều chỉnh dân số: Khi so sánh số ca COVID-19 giữa các hạt, đưa log(dân số) vào làm offset. Khi đó, các hệ số biểu thị tác động lên số ca trên mỗi người thay vì tổng số ca.
• Chỉ số kinh doanh đã điều chỉnh theo thời gian: Nếu phân tích doanh số theo tháng với một số tháng có số ngày khuyến mãi khác nhau, hãy đưa log(ngày_khuyến_mãi) làm offset để nghiên cứu doanh số trên mỗi ngày khuyến mãi.
• Dữ liệu môi trường đã điều chỉnh theo diện tích: Khi đếm số lần bắt gặp loài giữa các mảng sinh cảnh khác nhau, đưa log(diện_tích_khảo_sát) làm offset để mô hình hóa mật độ loài thay vì số đếm thô.

Offset đảm bảo rằng khi độ phơi nhiễm tăng gấp đôi thì số đếm kỳ vọng cũng tăng gấp đôi (các yếu tố khác không đổi), điều này là tự nhiên đối với các hiện tượng dựa trên tỷ lệ.

Diễn giải hệ số và kết quả

Từ hệ số đến tỷ số tỷ lệ mắc (IRR)

Các hệ số hồi quy Poisson thô biểu thị thay đổi trên thang log-số đếm, vốn khó diễn giải trực tiếp. Lấy mũ các hệ số sẽ biến chúng thành tỷ số tỷ lệ mắc (IRR), có diễn giải trực quan hơn.

IRR biểu diễn mức thay đổi nhân lên trong số đếm kỳ vọng khi biến dự báo tăng một đơn vị:

• IRR = 1,0: Không ảnh hưởng (biến dự báo không làm thay đổi tỷ lệ)
• IRR = 1,2: Tăng 20% tỷ lệ
• IRR = 0,8: Giảm 20% tỷ lệ
• IRR = 2,0: Tăng 100% (gấp đôi tỷ lệ)

Diễn giải các loại biến dự báo khác nhau

• Biến liên tục: Nếu tuổi có IRR là 1,03, mỗi năm tuổi tăng thêm sẽ nhân số đếm kỳ vọng với 1,03, tương ứng tăng 3%. Với chênh lệch 10 năm, hiệu ứng sẽ là 1,03^10 ≈ 1,34, tức tăng khoảng 34%.
• Biến nhị phân: Nếu giới tính (nam so với nữ) có IRR là 1,5, nam giới có tỷ lệ kết cục cao gấp 1,5 lần so với nữ, tương ứng cao hơn 50%.
• Biến phân loại: Với nhiều hạng mục, mỗi mức được so sánh với một hạng tham chiếu. Nếu “mùa đông” có IRR là 0,7 so với “mùa hè”, các tháng mùa đông có số sự kiện ít hơn 30% so với mùa hè.

Hiểu khoảng tin cậy

Khoảng tin cậy của IRR cung cấp ước lượng bất định quanh các tỷ số. Một IRR là 1,25 với khoảng tin cậy 95% [1,10, 1,42] gợi ý bạn có thể khá tin rằng hiệu ứng thực nằm trong khoảng tăng 10% đến 42% của tỷ lệ.

Nếu khoảng tin cậy bao gồm 1,0, hiệu ứng có thể không có ý nghĩa thống kê. Ví dụ, một IRR là 1,15 với CI [0,95, 1,39] gợi ý biến dự báo có thể không có tác động.

Chiến lược truyền đạt thực tiễn

Khi trình bày kết quả cho đối tượng không chuyên, hãy tập trung vào phần trăm thay đổi thay vì các tỷ số. Thay vì nói “IRR là 1,3”, hãy nói “yếu tố này liên quan đến mức tăng 30% trong tỷ lệ sự kiện”.

Đưa ra ví dụ cụ thể: “Dựa trên mô hình, tăng chi tiêu marketing thêm $1000 liên quan đến khoảng 15% khách hàng mới nhiều hơn, từ trung bình 20 lên khoảng 23 khách hàng mỗi tháng.”

Triển khai hồi quy Poisson trong R

Giờ chúng ta đã đi qua chi tiết phần diễn giải, hãy triển khai trong R.

Chuẩn bị và khám phá dữ liệu

Trước khi khớp bất kỳ mô hình nào, hãy xem xét kỹ dữ liệu đếm của bạn. Bắt đầu bằng cách nạp các thư viện cần thiết và khám phá phân phối:

library(ggplot2)
library(dplyr)

# Example: Website daily visitor counts
data <- data.frame(
  visitors = c(42, 48, 39, 52, 44, 58, 51, 47, 41, 49, 40, 46, 43, 54, 50),
  day_of_week = factor(c("Mon", "Tue", "Wed", "Thu", "Fri", "Sat", "Sun",
                        "Mon", "Tue", "Wed", "Thu", "Fri", "Sat", "Sun", "Mon")),
  marketing_spend = c(200, 150, 180, 250, 220, 400, 350, 300, 160, 190,
                     140, 210, 380, 420, 170),
  temperature = c(22, 25, 19, 24, 26, 28, 30, 27, 21, 23, 18, 25, 29, 31, 20)
)

# Check mean vs variance (should be similar for Poisson)
mean(data$visitors)
var(data$visitors)
var(data$visitors) / mean(data$visitors) # Should be close to 1

# Visualize the distribution
ggplot(data, aes(x = visitors)) +
  geom_histogram(bins = 8, fill = "lightblue", color = "black") +
  labs(title = "Distribution of Daily Visitors",
       x = "Number of Visitors", y = "Frequency")Được hỗ trợ bởi

> mean(data$visitors)
[1] 46.93333
> var(data$visitors)
[1] 30.35238
> var(data$visitors) / mean(data$visitors)
[1] 0.6467127Được hỗ trợ bởi

Tỷ lệ phương sai trên trung bình là 0,65 tương đối gần 1, cho thấy dữ liệu của chúng ta phù hợp với hồi quy Poisson. Dù không bằng nhau tuyệt đối, các tỷ lệ trong khoảng 0,5 đến 1,5 thường chấp nhận được và gợi ý phân phối Poisson là nền tảng tốt để mô hình hóa dữ liệu đếm này.

Phân phối số lượt truy cập website theo ngày. Ảnh: Tác giả.

Biểu đồ tần suất cho thấy phân phối xấp xỉ đối xứng của số lượt truy cập, tập trung quanh 47 lượt mỗi ngày, với giá trị dao động từ khoảng 39 đến 58. Mẫu phân phối này nhất quán với dữ liệu đếm và có thể được mô hình hóa hiệu quả bằng hồi quy Poisson.

Khớp mô hình

Hàm glm() với family = poisson dùng để khớp các mô hình hồi quy Poisson:

# Basic Poisson regression
model <- glm(visitors ~ day_of_week + marketing_spend + temperature,
             family = poisson, data = data)

# View key model results
summary(model)

# Calculate Incidence Rate Ratios (IRRs)
exp(coefficients(model))Được hỗ trợ bởi

Đây là bảng hệ số:

Coefficients:
                 Estimate Std. Error z value Pr(>|z|)    
(Intercept)     3.2978122  0.5556601   5.935 2.94e-09 ***
day_of_weekMon  0.0724036  0.1635467   0.443    0.658    
day_of_weekSat  0.0316265  0.2872878   0.110    0.912    
day_of_weekSun  0.0339621  0.2502578   0.136    0.892    
day_of_weekThu  0.1068756  0.1870821   0.571    0.568    
day_of_weekTue  0.0442967  0.1633032   0.271    0.786    
day_of_weekWed  0.0653789  0.1813230   0.361    0.718    
marketing_spend 0.0001593  0.0018211   0.087    0.930    
temperature     0.0186099  0.0317682   0.586    0.558Được hỗ trợ bởi

Dưới đây là các tỷ số tỷ lệ mắc (IRR):

(Intercept)  day_of_weekMon  day_of_weekSat  day_of_weekSun  day_of_weekThu  day_of_weekTue  day_of_weekWed marketing_spend 
27.053386        1.075089        1.032132        1.034545        1.112796        1.045292        1.067563        1.000159 
temperature 
1.018784 Được hỗ trợ bởi

Các hệ số cho thấy hiệu ứng trên thang log, nhưng IRR mang lại diễn giải trực quan hơn. Ví dụ, thứ Năm (day_of_weekThu) có IRR là 1,11, gợi ý khoảng 11% khách truy cập nhiều hơn so với thứ Sáu (hạng tham chiếu). Chi tiêu marketing có IRR là 1,0002, cho thấy mỗi đô la bổ sung tăng số khách kỳ vọng khoảng 0,02%.

Lưu ý rằng nếu ta tính khoảng tin cậy cho các IRR này, nhiều khoảng sẽ bao gồm 1,0, cho thấy các hiệu ứng không có ý nghĩa thống kê với cỡ mẫu nhỏ này. Điều này thường gặp với bộ dữ liệu nhỏ và cho thấy tầm quan trọng của kích thước mẫu.

Bổ sung độ phơi nhiễm bằng offset

Nếu dữ liệu có các giai đoạn phơi nhiễm khác nhau, hãy đưa chúng vào làm offset:

# Example with exposure data
data$exposure_days <- c(rep(7, 10), rep(6, 5))  # Some weeks had 6 observation days

# Model with offset
model_offset <- glm(visitors ~ day_of_week + marketing_spend + temperature + 
                   offset(log(exposure_days)), 
                   family = poisson, data = data)

summary(model_offset)Được hỗ trợ bởi

Call:
glm(formula = visitors ~ day_of_week + marketing_spend + temperature + 
    offset(log(exposure_days)), family = poisson, data = data)

Coefficients:
                  Estimate Std. Error z value Pr(>|z|)   
(Intercept)      1.734e+00  5.579e-01   3.109  0.00188 **
day_of_weekMon   2.371e-02  1.637e-01   0.145  0.88485   
day_of_weekSat   9.873e-02  2.898e-01   0.341  0.73338   
day_of_weekSun   1.208e-01  2.472e-01   0.489  0.62513   
day_of_weekThu   5.642e-02  1.871e-01   0.302  0.76297   
day_of_weekTue  -6.713e-02  1.634e-01  -0.411  0.68128   
day_of_weekWed  -6.073e-02  1.825e-01  -0.333  0.73934   
marketing_spend -4.231e-05  1.823e-03  -0.023  0.98149   
temperature      8.210e-03  3.179e-02   0.258  0.79623Được hỗ trợ bởi

Hãy để ý cách các hệ số thay đổi đáng kể khi chúng ta đưa offset vào. Hệ số chặn giảm từ 3,30 xuống 1,73, và các hiệu ứng khác đều nhỏ hơn. Sự chuyển đổi này xảy ra vì hiện tại ta đang mô hình hóa tỷ lệ theo ngày thay vì tổng số đếm qua các giai đoạn khác nhau.

Offset đảm bảo so sánh công bằng bằng cách điều chỉnh cho độ dài phơi nhiễm khác nhau. Nếu không điều chỉnh, các giai đoạn có nhiều ngày quan sát sẽ có vẻ có nhiều khách hơn một cách giả tạo, có thể che mờ các quan hệ thực sự chúng ta muốn nghiên cứu. Mô hình giờ đây trả lời “Tỷ lệ khách theo ngày là bao nhiêu?” thay vì “Tổng số khách là bao nhiêu?”

Tạo dự đoán

Tạo dự đoán cho các kịch bản mới:

# Create new data for prediction
new_data <- data.frame(
  day_of_week = factor("Fri", levels = levels(data$day_of_week)),
  marketing_spend = 300,
  temperature = 25
)

# Predict expected counts
predicted_counts <- predict(model, newdata = new_data, type = "response")
print(paste("Expected visitors:", round(predicted_counts, 1)))Được hỗ trợ bởi

[1] "Expected visitors: 45.2"Được hỗ trợ bởi

Mô hình dự đoán 45,2 lượt khách cho một ngày thứ Sáu với chi tiêu marketing $300 và nhiệt độ 25°C. Dự đoán này nằm trong phạm vi hợp lý của dữ liệu quan sát (39-58 lượt) và gần với trung bình chung 46,9 lượt.

Hồi quy Poisson tự nhiên đảm bảo dự đoán luôn dương và là số nguyên khi làm tròn, không như hồi quy tuyến tính có thể cho ra giá trị âm bất khả thi. Tham số type = "response" trả về dự đoán trên thang số đếm gốc thay vì thang log được dùng nội bộ trong mô hình.

Chẩn đoán mô hình thiết yếu

Kiểm tra quá phân tán

Quá phân tán xảy ra khi phương sai vượt quá trung bình, vi phạm một giả định then chốt của Poisson:

# Calculate dispersion statistic
residual_deviance <- model$deviance
df_residual <- model$df.residual
dispersion <- residual_deviance / df_residual

print(paste("Dispersion statistic:", round(dispersion, 3)))

if (dispersion > 1.5) {
  print("Possible overdispersion detected")
  print("Consider quasi-Poisson or negative binomial models")
}Được hỗ trợ bởi

[1] "Dispersion statistic: 0.849"Được hỗ trợ bởi

Thống kê phân tán bằng 0,849 gần 1, cho thấy mô hình phù hợp dữ liệu tốt mà không có quá phân tán đáng kể. Giá trị gần 1 gợi ý giả định Poisson về trung bình và phương sai bằng nhau là hợp lý với bộ dữ liệu này.

Vì giá trị dưới 1,5, không có cảnh báo xuất hiện, xác nhận hồi quy Poisson chuẩn là phù hợp. Nếu giá trị này lớn hơn 1 nhiều (thường trên 1,5), chúng ta cần cân nhắc mô hình quasi-Poisson hoặc nhị thức âm để tính đến độ biến thiên dư thừa.

Phân tích phần dư

Xem xét phần dư để phát hiện các mẫu hình hoặc vi phạm mô hình:

# Calculate Pearson residuals
fitted_values <- fitted(model)
pearson_residuals <- residuals(model, type = "pearson")

# Plot residuals vs fitted values
plot(fitted_values, pearson_residuals,
     xlab = "Fitted Values", ylab = "Pearson Residuals",
     main = "Residuals vs Fitted")
abline(h = 0, col = "red", lty = 2)Được hỗ trợ bởi

Biểu đồ phần dư cho thấy phân tán ngẫu nhiên quanh 0. Ảnh: Tác giả.

Biểu đồ phần dư cho thấy các điểm phân tán ngẫu nhiên quanh đường 0 mà không có mẫu hình rõ ràng, cho thấy mô hình phù hợp dữ liệu tốt. Phần dư dao động xấp xỉ từ -1 đến +1, hợp lý với cỡ mẫu này.

Một biểu đồ phần dư tốt nên có: phân tán ngẫu nhiên quanh 0 (không có mẫu hình cong), độ trải khá đồng đều theo giá trị khớp (không có hình phễu), và không có ngoại lệ cực đoan. Biểu đồ này đáp ứng các tiêu chí đó, xác nhận các giả định hồi quy Poisson được thỏa mãn và mô hình cho kết quả đáng tin cậy.

Xử lý quá phân tán

Nếu phát hiện quá phân tán, hãy cân nhắc mô hình quasi-Poisson để điều chỉnh sai số chuẩn:

# Fit quasi-Poisson model
quasi_model <- glm(visitors ~ day_of_week + marketing_spend + temperature, 
                   family = quasipoisson, data = data)Được hỗ trợ bởi

Vì mô hình của chúng ta cho thấy độ phân tán tốt (0,849), điều chỉnh quasi-Poisson không cần thiết ở đây. Tuy nhiên, cách tiếp cận này cung cấp khoảng tin cậy và p-value thận trọng hơn khi phương sai vượt quá trung bình, nên là công cụ hữu ích cho dữ liệu đếm thực tế vốn thường có quá phân tán.

Trình bày và diễn giải kết quả

Tạo tóm tắt kết quả rõ ràng

Chuyển đầu ra mô hình thành insight liên quan đến kinh doanh bằng cách tập trung vào ý nghĩa thực tiễn của IRR. Khi mô hình cho thấy cuối tuần có IRR là 1,4 so với ngày thường, hãy truyền đạt là “cuối tuần có khoảng 40% khách nhiều hơn ngày thường”. Khi chi tiêu marketing có IRR là 1,002, giải thích rằng “mỗi đô la marketing bổ sung gắn với mức tăng khoảng 0,2% số lượt khách”.

Với biến liên tục, hãy cân nhắc trình bày hiệu ứng ở các khoảng có ý nghĩa. Thay vì bàn về tác động của thay đổi 1 độ nhiệt độ, hãy cho thấy tác động của chênh lệch 10 độ, có thể phù hợp hơn cho lập kế hoạch kinh doanh.

Hiểu các giới hạn của mô hình

Hồi quy Poisson xác định mối liên hệ, không phải quan hệ nhân quả. Một liên hệ mạnh giữa chi tiêu marketing và số lượt khách không chứng minh rằng marketing gây ra tăng trưởng.  Các yếu tố khác có thể ảnh hưởng đến cả hai biến. Hãy thừa nhận giới hạn này khi trình bày kết quả.

Mô hình giả định tỷ lệ duy trì ổn định với các giá trị biến dự báo cho trước. Nếu doanh nghiệp của bạn có xu hướng thời vụ không được nắm bắt bởi các biến, hoặc nếu quan hệ giữa biến dự báo và kết quả thay đổi theo thời gian, mô hình có thể không khái quát tốt cho các giai đoạn tương lai.

Thách thức thường gặp và giải pháp

Xử lý số đếm bằng 0

Dữ liệu đếm thường có số 0, điều này hoàn toàn hợp lệ trong hồi quy Poisson. Tuy nhiên, nếu dữ liệu có nhiều số 0 hơn đáng kể so với dự đoán của phân phối Poisson, điều này có thể chỉ ra một quá trình sinh dữ liệu khác. Một số quan sát có thể đại diện cho các giai đoạn hoặc điều kiện mà sự kiện đơn giản là không thể xảy ra, thay vì các giai đoạn có thể xảy ra nhưng đã không xảy ra.

Ví dụ, số lượt truy cập website có thể bao gồm số 0 vào những ngày website ngừng hoạt động để bảo trì. Những “số 0 cấu trúc” này khác với “số 0 ngẫu nhiên” xuất hiện tự nhiên trong các quá trình Poisson.

Chiến lược xây dựng mô hình

Bắt đầu với các biến dự báo quan trọng nhất dựa trên hiểu biết miền. Thêm biến từng cái một và đánh giá liệu chúng có cải thiện hiểu biết về dữ liệu không. Mô hình phức tạp hơn không phải lúc nào cũng tốt hơn.

Chú ý đến ý nghĩa thực tiễn của các hiệu ứng, không chỉ ý nghĩa thống kê. Một thay đổi 1% có ý nghĩa thống kê trong tỷ lệ sự kiện có thể không đủ để hành động kinh doanh, trong khi một thay đổi 20% chỉ hơi không có ý nghĩa thống kê vẫn có thể đáng để điều tra thêm với nhiều dữ liệu hơn.

Xử lý vi phạm

Khi đồng phân tán thất bại (phương sai lớn hơn nhiều so với trung bình), hồi quy quasi-Poisson cung cấp giải pháp đơn giản. Nó giữ nguyên cấu trúc mô hình nhưng điều chỉnh sai số chuẩn để tính đến độ biến thiên dư thừa. Điều này tạo ra khoảng tin cậy và p-value thận trọng hơn.

Với quá phân tán nghiêm trọng, hồi quy nhị thức âm mô hình hóa rõ ràng độ biến thiên bổ sung. Cách tiếp cận này ước lượng cả quan hệ trung bình và biến thiên bổ sung.

Thực hành tốt và khuyến nghị

Tránh sai lầm thường gặp

Đừng bỏ qua quá phân tán - đây là một trong những vi phạm phổ biến nhất của giả định Poisson và có thể ảnh hưởng nghiêm trọng đến kết luận của bạn. Luôn kiểm tra tỷ lệ phương sai trên trung bình và cân nhắc các phương án thay thế khi cần.

Thận trọng khi nội suy vượt ngoài phạm vi dữ liệu. Nếu dữ liệu chi tiêu marketing của bạn nằm trong khoảng $100 đến $1000, đừng tự tin dự đoán hiệu ứng ở mức $5000. Quan hệ có thể không còn log-tuyến tính ở các giá trị cực đoan.

Tránh coi mọi biến phân loại đều có khoảng cách bằng nhau giữa các mức. Các hạng mục giáo dục (trung học, một phần đại học, tốt nghiệp đại học) có thể không có tác động bằng nhau lên biến kết quả.

Tài liệu hóa và quy trình làm việc

Ghi chép lại các quyết định mô hình hóa của bạn, đặc biệt là các vi phạm giả định và cách bạn xử lý chúng. Nếu bạn phát hiện quá phân tán nhưng chọn điều chỉnh quasi-Poisson, hãy ghi lại quyết định này và các hàm ý đối với diễn giải.

Kết luận

Hồi quy Poisson mang đến một khung hiệu quả để phân tích dữ liệu đếm trong nhiều lĩnh vực. Khi áp dụng các kỹ thuật này cho dữ liệu của bạn, hãy bắt đầu với các mô hình đơn giản và tăng dần độ phức tạp dựa trên cả bằng chứng thống kê và chuyên môn miền. Khi các giả định bị vi phạm, các phần mở rộng như quasi-Poisson hoặc nhị thức âm là những lựa chọn tốt. Mục tiêu không chỉ là ý nghĩa thống kê, mà là insight thực tiễn để ra quyết định tốt hơn.

Nếu bạn muốn đào sâu chuyên môn về hồi quy, khóa học Intermediate Regression in R của chúng tôi bao quát các kỹ thuật chẩn đoán nâng cao và chiến lược mô hình hóa bổ trợ cho kỹ năng hồi quy Poisson mà bạn đã học ở đây. Generalized Linear Models in R cũng là một lựa chọn tuyệt vời.