Chỉ mục phân cấp, groupby và pandas

Bạn có thể thấy Index ở bên trái của DataFrame và nó gồm các số nguyên. Đây là một RangeIndex:

# Check out index
df.index
Được hỗ trợ bởi

RangeIndex(start=0, stop=3, step=1)
Được hỗ trợ bởi

Chúng ta có thể dùng index này để cắt lấy một hay nhiều hàng của df:

# Slice and dice data
df.loc[:1]
Được hỗ trợ bởi

Tuy nhiên, index này không mấy thông tin. Nếu bạn định gắn nhãn cho các hàng của DataFrame, sẽ tốt hơn nếu gắn nhãn theo cách có ý nghĩa, nếu có thể. Bạn có thể làm điều này với bộ dữ liệu đang xét không? Một cách nghĩ hay cho bài toán này là bạn muốn một định danh vừa duy nhất vừa có ý nghĩa cho mỗi hàng. Hãy xem các cột và kiểm tra xem có cột nào đáp ứng tiêu chí này không. Lưu ý rằng cột date chứa các ngày không trùng lặp, nên hợp lý khi dùng cột này để gắn nhãn mỗi hàng. Tức là, bạn có thể đặt cột date làm index của DataFrame bằng phương thức .set_index() (lưu ý: inplace=True nghĩa là bạn thực sự thay đổi DataFrame df tại chỗ):

# Set new index
df.set_index(pd.DatetimeIndex(df['date']), inplace=True)
df
Được hỗ trợ bởi

Việc này giúp df có một DateTimeIndex:

# Check out new index
df.index
Được hỗ trợ bởi

DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03'], dtype='datetime64[ns]', name='date', freq=None)
Được hỗ trợ bởi

Giờ đây bạn có thể cắt lấy các hàng bằng DateTimeIndex vừa tạo:

# Slice and dice data w/ new index
df.loc['2017-01-02']
Được hỗ trợ bởi

date           2017-01-02
language           python
ex_complete             5
Name: 2017-01-02 00:00:00, dtype: object
Được hỗ trợ bởi

Cũng lưu ý rằng thuộc tính .columns trả về một index chứa tên các cột của df:

# Check out columns
df.columns
Được hỗ trợ bởi

Index(['date', 'language', 'ex_complete'], dtype='object')
Được hỗ trợ bởi

Điều này có thể hơi gây nhầm lẫn vì nó cho biết df.columns thuộc kiểu Index. Điều này không có nghĩa là các cột là index của DataFrame. Index của df luôn được cho bởi df.index. Xem thêm hướng dẫn về pandas DataFrame của chúng tôi để biết thêm về index: pandas DataFrames tutorial. Giờ là lúc gặp gỡ chỉ mục phân cấp.

Multi-index của một pandas DataFrame

Nếu bộ dữ liệu có nhiều ngôn ngữ như trên DataCamp thì sao? Xem thử nhé:

# Import and check out data
df = pd.read_csv('data/user_ex.csv')
df
Được hỗ trợ bởi

Mỗi ngày giờ đây tương ứng với nhiều hàng, mỗi hàng cho một ngôn ngữ. Ví dụ, ngày '2017-01-02' xuất hiện ở hàng 1 và 4, lần lượt cho Python và R. Vì vậy, cột date không còn duy nhất xác định hàng nữa. Tuy nhiên, kết hợp 'date' và 'language' thì xác định duy nhất các hàng. Do đó, chúng ta dùng cả hai làm index:

# Set index
df.set_index(['date', 'language'], inplace=True)
df
Được hỗ trợ bởi

Bây giờ bạn đã tạo một multi-index, hay chỉ mục phân cấp (hãy quen với cả hai thuật ngữ vì chúng được dùng thay thế cho nhau), và bạn có thể kiểm tra index như sau:

# Check out multi-index
df.index
Được hỗ trợ bởi

MultiIndex(levels=[['2017-01-01', '2017-01-02', '2017-01-03'], ['python', 'r']],
           labels=[[0, 1, 2, 0, 1, 2], [0, 0, 0, 1, 1, 1]],
           names=['date', 'language'])
Được hỗ trợ bởi

Phần trên cho biết DataFrame df hiện có một MultiIndex với hai cấp (level), cấp đầu theo ngày, cấp sau theo ngôn ngữ. Nhớ rằng ở trên bạn có thể cắt DataFrame bằng index và bộ truy cập .loc: df.loc['2017-01-02']. Để có thể cắt bằng multi-index, bạn cần sắp xếp index trước:

# Sort index
df.sort_index(inplace=True)
df
Được hỗ trợ bởi

Giờ bạn có thể cắt lấy số bài tập R đã hoàn thành vào ngày 2017-01-02 bằng cách truyền một tuple vào bộ truy cập .loc:

# Slice & dice your DataFrame
df.loc[('2017-01-02', 'r')]
Được hỗ trợ bởi

ex_complete 8 Name: (2017-01-02, r), dtype: int64

Khi nào và vì sao nên dùng multi-index

Multi-index là một công cụ mạnh để phân tích và tổ chức dữ liệu trong pandas. Chúng cho phép bạn tạo các chỉ mục phân cấp, có thể dùng để nhóm và tổng hợp dữ liệu theo nhiều chiều. Multi-index đặc biệt hữu ích khi làm việc với các bộ dữ liệu phức tạp có nhiều cấp phân loại, như dữ liệu tài chính hoặc chuỗi thời gian.

Bằng cách tạo multi-index, bạn có thể nhóm dữ liệu theo nhiều biến đồng thời, từ đó khám phá những insight có thể không lộ rõ khi chỉ nhóm một cấp. Ví dụ, multi-index có thể dùng để nhóm dữ liệu theo cả thời gian và địa điểm, cho phép nhà phân tích xem các xu hướng theo từng khu vực theo thời gian.

Ngoài ra, multi-index còn giúp chọn lọc và trích xuất dữ liệu hiệu quả, vì index cung cấp một cách tiện lợi để truy cập các tập con cụ thể. Nhìn chung, multi-index là công cụ mạnh mẽ để tổ chức, nhóm và phân tích các bộ dữ liệu phức tạp trong pandas, và là kỹ năng thiết yếu cho mọi nhà phân tích hoặc nhà khoa học dữ liệu làm việc với dữ liệu phân cấp.

Bây giờ bạn đã biết đôi chút về chỉ mục phân cấp (hay multi-index). Đã đến lúc xem chúng xuất hiện thế nào khi làm việc với các đối tượng groupby.

Chỉ mục phân cấp, đối tượng groupby và nguyên tắc tách - áp dụng - kết hợp

Trong một bài viết trước, chúng tôi đã khám phá các đối tượng groupby và nguyên tắc phân tích dữ liệu tách - áp dụng - kết hợp bằng dữ liệu netflix. Hãy cùng ôn nhanh với một bộ dữ liệu khác, bộ dữ liệu tips (tiền boa) được tích hợp trong gói seaborn. 'Tips' chứa các đặc trưng như tip, total_bill, ngày trong tuần và thời điểm trong ngày. Đầu tiên tải và khám phá dữ liệu:

# Import and check out data
import seaborn as sns
tips = sns.load_dataset("tips")
tips.head()
Được hỗ trợ bởi

Lưu ý rằng index của tips là một RangeIndex:

# Check out index
tips.index
Được hỗ trợ bởi

RangeIndex(start=0, stop=244, step=1)
Được hỗ trợ bởi

Luôn hữu ích khi làm một chút EDA trực quan trước khi đi vào tính toán, và hàm pairplot của seaborn cho phép bạn có cái nhìn tổng quan về tất cả biến số:

# Import pyplot, figures inline, set style, plot pairplot
import matplotlib.pyplot as plt
%matplotlib inline
sns.set()
sns.pairplot(tips, hue='day');
Được hỗ trợ bởi

Nếu bạn muốn xem tiền boa trung bình khác nhau thế nào giữa 'smokers' và 'non-smokers', bạn có thể tách DataFrame gốc theo 'smoker' (dùng groupby), áp dụng hàm 'mean' và kết hợp thành một DataFrame mới:

# Get mean of smoker/non-smoker groups
df = tips.groupby('smoker').mean()
df
Được hỗ trợ bởi

Index của DataFrame df thu được chính là cột/thuộc tính 'smoker' của DataFrame 'tips' gốc:

# Check out new index
df.index
Được hỗ trợ bởi

CategoricalIndex(['Yes', 'No'], categories=['Yes', 'No'], ordered=False, name='smoker', dtype='category')
Được hỗ trợ bởi

Nếu muốn, bạn có thể reset index để 'smoker' trở thành một cột của DataFrame:

# Reset the index
df.reset_index()
Được hỗ trợ bởi

Giờ là lúc tìm hiểu cách chỉ mục phân cấp hình thành từ split-apply-combine và các thao tác groupby.

Nhóm theo nhiều cột và chỉ mục phân cấp

Ở trên, bạn đã nhóm bộ dữ liệu tips theo thuộc tính 'smoker'. Đôi khi bạn sẽ cần nhóm theo hai thuộc tính. Ví dụ, tự nhiên là nhóm bộ dữ liệu tips thành hút thuốc/không hút & bữa tối/bữa trưa. Để làm vậy, bạn truyền danh sách tên cột muốn nhóm theo:

# Group by two columns
df = tips.groupby(['smoker','time']).mean()
df
Được hỗ trợ bởi

Nhìn vào trên, bạn có thể thấy cả 'smoker' và 'time' đều là index của df. Điều này là đúng và hợp lý: nếu nhóm theo 'smoker' khiến index là cột 'smoker' ban đầu, thì nhóm theo hai cột sẽ cho bạn hai index. Kiểm tra index để xác nhận đây là chỉ mục phân cấp:

# Check out index
df.index
Được hỗ trợ bởi

MultiIndex(levels=[['Yes', 'No'], ['Lunch', 'Dinner']],
           labels=[[0, 0, 1, 1], [0, 1, 0, 1]],
           names=['smoker', 'time'])
Được hỗ trợ bởi

Và đúng như vậy. Giờ bạn có thể làm nhiều việc hữu ích, như đếm số phần tử trong mỗi nhóm:

# Group by two features
tips.groupby(['smoker','time']).size()
Được hỗ trợ bởi

smoker  time  
Yes     Lunch      23
        Dinner     70
No      Lunch      45
        Dinner    106
dtype: int64
Được hỗ trợ bởi

Bạn cũng có thể hoán đổi các cấp của chỉ mục phân cấp để 'time' đứng trước 'smoker' trong index:

# Swap levels of multi-index
df.swaplevel()
Được hỗ trợ bởi

Sau đó bạn có thể muốn loại bỏ một trong các thuộc tính này khỏi chỉ mục phân cấp và tạo thành các cột khác nhau theo thuộc tính đó. Bạn có thể làm vậy bằng phương thức unstack:

# Unstack your multi-index
df.unstack()
Được hỗ trợ bởi

Bạn có thể unstack theo thuộc tính ngoài của index bằng tham số 'level':

# Unsstack the outer index
df.unstack(level=0)
Được hỗ trợ bởi

Kết quả của unstack là một index không phân cấp, như bạn có thể kỳ vọng:

# Check out index
df.unstack().index
Được hỗ trợ bởi

CategoricalIndex(['Yes', 'No'], categories=['Yes', 'No'], ordered=False, name='smoker', dtype='category')
Được hỗ trợ bởi

Nhờ đó, giờ bạn có thể thực hiện mọi kiểu phân tích dữ liệu theo các nhóm này. Tôi khuyến khích bạn thử.

Chỉ mục phân cấp trong sử dụng hằng ngày

Trong bài viết này, bạn đã được giới thiệu về chỉ mục phân cấp (hay multi-index) và thấy cách chúng xuất hiện như một hệ quả tự nhiên của mong muốn index của DataFrame gán nhãn các hàng một cách duy nhất và có ý nghĩa. Bạn cũng đã thấy cách chúng hình thành khi cần nhóm dữ liệu theo nhiều cột, vận dụng nguyên tắc tách - áp dụng - kết hợp. Hy vọng bạn sẽ thấy thú vị khi sử dụng chỉ mục phân cấp trong công việc.

Bài viết này được tạo từ một Jupyter Notebook; bạn có thể tìm thấy tại kho lưu trữ này. Nếu bạn có bất kỳ suy nghĩ, phản hồi và/hoặc trăn trở nào, hãy cứ liên hệ với tôi trên Twitter: @hugobowne.

Xem thêm các hướng dẫn pandas hữu ích khác của DataCamp, bao gồm:

• Sử dụng phương thức .apply() của pandas
• Nhập dữ liệu CSV vào pandas với read_csv()
• Hướng dẫn toàn diện về pandas cho người mới bắt đầu