Phân tích Khám phá Dữ liệu về Bia Thủ công: Data Profiling

Biến của Beers

print_categories(beers)Được hỗ trợ bởi

Lệnh trên trả về kết quả sau:

abv :  Numerical
ibu :  Numerical
id :  Numerical
name :  Categorical
style :  Categorical
brewery_id :  Numerical
ounces :  NumericalĐược hỗ trợ bởi

Biến của Breweries

print_categories(breweries)Được hỗ trợ bởi

Điều này cho kết quả sau:

name :  Categorical
city :  Categorical
state :  Categorical
id :  NumericalĐược hỗ trợ bởi

Với thông tin này, bạn đã có thể hiểu rõ hơn về tập dữ liệu. Bạn biết rằng mình chỉ làm việc với dữ liệu phân loại và dữ liệu số. Các biến số có thể dùng để trích xuất nhiều thước đo khác nhau như trung bình, độ lệch chuẩn, v.v. Các biến phân loại thường là cách thú vị để phân đoạn và nhóm dữ liệu. Ví dụ, bạn có thể muốn hiểu IBU khác nhau thế nào giữa các phong cách bia.

Độ dài

Hàm len đếm số lượng quan sát trong một Series. Hàm sẽ đếm tất cả quan sát, bất kể có giá trị thiếu hay null.

length = len(beers["ibu"])
print(length)Được hỗ trợ bởi

Trong Series này, chúng ta có tổng cộng 2410 quan sát.

Số lượng (Count)

Hàm count sẽ trả về số lượng quan sát không phải NA/không phải null trong một Series.

count = beers["ibu"].count()
print(count)Được hỗ trợ bởi

Như bạn thấy, bạn có 1405 quan sát không null trong Series.

Giá trị thiếu

Với Length và Count, giờ đây chúng ta có thể tính số lượng giá trị thiếu. Số giá trị thiếu là hiệu giữa Length và Count.

number_of_missing_values = length - count
pct_of_missing_values = float(number_of_missing_values / length)
pct_of_missing_values = "{0:.1f}%".format(pct_of_missing_values*100)
print(pct_of_missing_values)Được hỗ trợ bởi

Để xuất phần trăm giá trị thiếu, bạn chỉ cần chia số giá trị thiếu cho tổng số quan sát, tức độ dài. Hàm float được dùng để đảm bảo phần thập phân được giữ trong phép chia. Hàm format dùng để định dạng đẹp con số dưới dạng phần trăm.

Trong trường hợp này, bạn thiếu gần 42% biến IBU. Điều này quan trọng vì nó sẽ ảnh hưởng đến phân tích. Hầu hết các thống kê mô tả sẽ bỏ qua các giá trị thiếu và điều này chắc chắn gây sai lệch.

Giá trị nhỏ nhất/lớn nhất

Giá trị nhỏ nhất và lớn nhất của một tập dữ liệu có thể dễ dàng lấy được với các hàm min và max trên một Series.

print("Minimum value: ", beers["ibu"].min())
print("Maximum value: ", beers["ibu"].max())Được hỗ trợ bởi

Giá trị min/max hữu ích để hiểu phạm vi giá trị của một biến. Trong trường hợp này, IBU dao động từ 4 đến 138.

Mode

Mode là giá trị xuất hiện thường xuyên nhất trong một tập dữ liệu. Có thể lấy được bằng cách dùng hàm mode trên một Series.

print(beers["ibu"].mode())Được hỗ trợ bởi

Trong một phân phối chuẩn, mode bằng với mean và median.

Trong trường hợp này, mode của biến IBU là 20. Đây là giá trị IBU xuất hiện thường xuyên nhất trong tập dữ liệu.

Mean

Trung bình là một thước đo xu hướng trung tâm. Nó là tổng các giá trị chia cho số lượng quan sát không thiếu.

Có thể lấy bằng hàm mean trên một Series.

mean = beers["ibu"].mean()Được hỗ trợ bởi

Trung bình dễ bị ảnh hưởng bởi ngoại lệ. Một vài giá trị cực đoan có thể làm thay đổi trung bình đáng kể, kéo nó lên hoặc xuống.

Median

Trung vị cũng là một thước đo xu hướng trung tâm. Đó là số nằm chính giữa trong một danh sách các giá trị số đã được sắp xếp.

median = beers["ibu"].median()Được hỗ trợ bởi

Trong trường hợp phân phối lệch, trung vị là thước đo xu hướng trung tâm tốt hơn nhiều so với trung bình.

Với phân phối IBU, trung bình và trung vị ở cùng bậc độ lớn.

Độ lệch chuẩn

Độ lệch chuẩn là một thước đo độ phân tán. Độ lệch chuẩn cao cho thấy các điểm dữ liệu phân tán trên một phạm vi giá trị rộng. Độ lệch chuẩn được biểu diễn cùng đơn vị với các giá trị.

standarddev = beers["ibu"].std()Được hỗ trợ bởi

Trong trường hợp này, độ lệch chuẩn xấp xỉ 26. Chính xác là 25.954065911259324. Nếu phân phối của IBU là phân phối chuẩn, bạn sẽ biết rằng khoảng ~68% số quan sát nằm trong một độ lệch chuẩn quanh trung bình.

Thống kê phân vị

Các phân vị là những điểm cắt chia một phân phối thành các phần bằng nhau. Nhiều phân vị có tên riêng. Nếu bạn chia một phân phối thành bốn nhóm bằng nhau, phân vị bạn tạo ra được gọi là quartile. Bạn có thể dễ dàng tạo phân vị bằng hàm quantile trên một Series. Bạn có thể truyền vào hàm đó một mảng các phân vị cần tính. Ở ví dụ dưới đây, chúng ta muốn chia phân phối thành bốn nhóm bằng nhau.

quantile = beers["ibu"].quantile([.25, .5, .75])Được hỗ trợ bởi

Như bạn thấy ở trên, phân vị 50% bằng trung vị. Đây là giá trị chia tập dữ liệu làm đôi. Bạn cũng có thể nhận thấy rằng 75% số quan sát nhỏ hơn hoặc bằng 64 IBU. Hơn nữa, 50% phân phối nằm giữa 21 và 64 IBU. Lưu ý rằng các giá trị thiếu không được tính trong các chỉ số này.

Biểu đồ phân phối

Trực quan hóa rất hữu ích trong phân tích khám phá dữ liệu. Trong bài viết này, chúng ta sẽ không đi sâu vào chủ đề trực quan hóa. Tuy nhiên, không thể nói về data profiling mà không nhắc tới tầm quan trọng của biểu đồ tần suất phân phối. Đây là một trong những hình trực quan đơn giản nhưng mạnh mẽ nhất. Nó cho thấy tần suất của từng giá trị trong tập dữ liệu.

Để tạo hình trực quan này, chúng ta dùng thư viện seaborn`` với hàmdisplot. Hàm này kỳ vọng mộtSeries` không có giá trị thiếu.

import seaborn as sns
sns.set(color_codes=True)
sns.set_palette(sns.color_palette("muted"))

sns.distplot(beers["ibu"].dropna());Được hỗ trợ bởi

Trong biểu đồ phân phối này, bạn có thể thấy rõ một vài giá trị chúng ta đã tính trước đó. Giá trị nhỏ nhất gần 0 IBU và giá trị lớn nhất gần 140 IBU. Bạn thấy rõ giá trị xuất hiện thường xuyên nhất gần 20 IBU. Bên cạnh đó, chúng ta còn thấy một đỉnh gần 60 IBU.

Tại sao có hai đỉnh trong phân phối này?

Điều gì có thể giải thích điều đó? Đây là khía cạnh mà chúng ta có thể khám phá trong giai đoạn thứ hai của phân tích khám phá dữ liệu.

Tương quan

Tương quan là cách tuyệt vời để khám phá mối quan hệ giữa các biến số. Có nhiều cách tính tương quan. Hệ số tương quan Pearson là phương pháp được dùng rộng rãi đo lường sự phụ thuộc tuyến tính giữa hai biến. Hệ số tương quan nằm trong khoảng từ -1 đến 1. Tương quan bằng 1 là tương quan dương hoàn toàn, bằng -1 là tương quan âm hoàn toàn và bằng 0 là không có tương quan tuyến tính. Chúng ta có thể thực hiện phép tính này bằng hàm corr trên một Series. Mặc định, hàm này dùng cách tính hệ số tương quan Pearson. Có thể dùng các phương pháp tính khác với hàm này.

beers[["abv", "ibu", "ounces"]].corr()Được hỗ trợ bởi

Như bạn thấy ở trên, tương quan giữa IBU và chính nó là 1. Dĩ nhiên, các biến số hoàn toàn tương quan với chính chúng. Thú vị hơn, bạn có thể thấy tương quan giữa ABV và IBU bằng 0.670621. Dù không phải tương quan dương hoàn toàn, mức này vẫn là khá cao. Đây là một khía cạnh đáng để chúng ta khám phá sâu hơn.

Một vài lưu ý về biến không phải số

Các chỉ số đã trích xuất trước đó chủ yếu áp dụng cho giá trị số. Nếu bạn đang xử lý các kiểu dữ liệu khác như dữ liệu phân loại, bạn vẫn có thể thu thập vài phép đo thú vị. Bạn có thể tính tần suất của từng giá trị trong tập dữ liệu.

DataFrame có một hàm tên là describe để tóm tắt tập dữ liệu. Nếu DataFrame của bạn chỉ có giá trị phân loại hoặc văn bản, bản tóm tắt sẽ được điều chỉnh đặc thù cho kiểu dữ liệu này.

beers[["name", "style"]].describe()Được hỗ trợ bởi