5 Tips Menulis Kode Pandas yang Idiomatis

Tentu saja, tutorial ini tidak mencakup semuanya; Paket Pandas sangat kaya dan tidak diragukan ada cara lain untuk membuat kode Pandas Anda lebih idiomatis.

Tanpa berlama-lama lagi, mari mulai!

# If you're working with a notebook, don't forget to use Matplotlib magic! 
%matplotlib inline

# Import pandas under the alias pd import pandas as pd # Import seaborn under the alias sns import seaborn as sns # Set the Seaborn theme if desired sns.set_style('darkgrid')

# Import Times Higher Education World University Rankings data
times_df = pd.read_csv('data/timesData.csv', thousands=",")

# Import Academic Ranking of World Universities data
shanghai_df = pd.read_csv('data/shanghaiData.csv')

Tips Kami untuk Kode Pandas yang Idiomatis

1. Indexing

Pertama, menulis kode Pandas yang lebih idiomatis berarti memanfaatkan kekuatan indexing. Indexing berarti Anda memilih subset dari DataFrame Anda.

Saat baru mulai menggunakan Pandas, Anda mungkin butuh waktu untuk membiasakan diri dengan cara kerja index. Jika Anda pernah bekerja dengan list (Python), Anda mungkin sudah terbiasa menggunakan tanda kurung siku [] dikombinasikan dengan titik dua : untuk memilih elemen. Metode ini juga berfungsi pada DataFrame.

Selain itu, ada dua cara lain yang lebih idiomatis untuk memilih subset DataFrame, yaitu iloc dan loc:

• loc berbasis label. Artinya jika Anda menulis loc[2], Anda mencari nilai dari DataFrame yang memiliki index berlabel 2.
• iloc berbasis posisi. Artinya jika Anda menulis iloc[2], Anda mencari nilai dari DataFrame pada posisi index 2.

Cobalah di potongan DataCamp Light di bawah ini dengan mengetik times_df.loc[2] dan times_df.iloc[2] di konsol IPython untuk melihat perbedaannya. Selanjutnya, coba selesaikan latihan di bawah dengan bantuan loc, iloc, dan kurung siku tradisional!

Tentu, eksplorasi Anda bisa melangkah lebih jauh daripada sekadar memilih baris dan kolom. Hal menjadi menarik saat Anda menggabungkan loc dan iloc dengan, misalnya, array boolean.

Anda melihat ini melampaui pemilihan data berdasarkan kolom atau indexing; Ini mirip seperti melakukan query pada data!

loc dan iloc sangat bagus untuk mengindeks data Anda, tetapi berhati-hatilah saat mulai menggunakan dua set kurung siku berturut-turut! Pandas bisa mengembalikan salinan dari tampilan (copy of a view) dan dalam kasus tersebut, Anda tidak yakin lagi sedang bekerja dengan apa! Jadi pikirkan dua kali jika Anda menggunakan dua set kurung siku bersamaan dengan loc atau iloc.

Catatan juga bahwa, untuk melakukan query pada data Anda, Pandas menyediakan fungsi query() yang bisa Anda gunakan untuk menginspeksi data dengan cepat (tersedia sejak versi 0,13). Misalnya, Anda dapat menyusun query untuk melihat universitas mana yang memiliki total_score sedikit di bawah 50:

Tentu, ada jauh lebih banyak kemungkinan saat melakukan query pada data Anda! Mengapa tidak mencoba menyusun beberapa query dan mengujinya di konsol IPython pada potongan DataCamp Light di atas?

Jika Anda kehabisan ide, cobalah query yang mengembalikan universitas dengan peringkat nasional pertama dan peringkat dunia pertama. Selain itu, Anda juga dapat melakukan query pada jumlah alumni universitas.

Tidak yakin bagaimana menyusun query? Lihat beberapa contoh di bawah ini:

shanghai_df.query("national_rank == 1 and world_rank == 1")
shanghai_df.query("alumni < 20")

2. Method chaining

Method chaining adalah hal yang khas di Pandas, namun saat Anda baru mulai menggunakan paket manipulasi data Python ini, mungkin belum jelas bagaimana cara kerjanya. Intinya adalah memanggil metode pada sebuah objek satu demi satu.

Pada bagian ini, Anda akan mendalami method chaining dengan membuat pipeline data menggunakan pipe().

Seperti yang sudah Anda perhatikan, kedua dataset cukup berbeda. Berikut beberapa perbedaannya:

• Dataset Times memiliki 14 kolom sedangkan Shanghai memiliki 11
• Dataset Times memiliki 2603 baris sedangkan Shanghai memiliki 4897
• Salah satu kolom penting yang hilang dari dataset Shanghai adalah negara universitas. Anda akan mengambil informasi ini dari dataset Times nanti jika diperlukan.

Jadi, agar dapat menggunakan keduanya, kita perlu hanya memilih kolom-kolom yang sama. Semoga kolom umum ini memiliki konten yang serupa.

Kolom yang sama adalah:

• total_score: Skor yang digunakan untuk menentukan peringkat. Seperti disebutkan di halaman deskripsi Kaggle, kolom ini berisi rentang peringkat (mis. antara dua nilai) dan peringkat setara (ada tanda = di depannya)
• university_name: Nama universitas
• world_rank: Peringkat universitas
• year: Tahun peringkat dilakukan

Untuk menggabungkan kedua data, kita perlu melakukan pembersihan terlebih dahulu. Terapkan pipeline lengkap sekarang untuk membersihkan data:

Seperti yang mungkin Anda perhatikan, saya sering menggunakan metode .pipe di tutorial ini. Jika Anda berasal dari dunia R, Anda mungkin (agak) familier dengannya.

Ini adalah metode baru yang praktis di Pandas (sejak versi 0.16.2) yang memungkinkan Anda merangkai operasi sehingga menghilangkan kebutuhan akan DataFrame perantara. Kode Anda menjadi lebih mudah dibaca.

Faktanya, tanpa operator ini, alih-alih menulis df.pipe(f).pipe(g).pipe(h) Anda akan menulis: h(g(f(df))). Ini menjadi makin sulit diikuti saat jumlah fungsi bertingkat makin banyak.

Untuk mempelajari lebih lanjut, saya sangat merekomendasikan membaca tulisan blog berikut.

Sekarang kedua DataFrame sudah bersih, kita bisa menggabungkannya menjadi satu DataFrame. Jangan lupa juga membersihkan data yang hilang:

Karena sekitar 38% data hilang pada kolom total_score, sebaiknya kolom ini dihapus dengan metode .drop.

3. Optimasi memori

Cara ketiga untuk membuat kode Pandas Anda lebih “idiomatis” —yang dalam hal ini juga berarti lebih “performan”— adalah dengan mengoptimalkan penggunaan memori. Terutama saat Anda mulai membuat pipeline data menggunakan method chaining, Anda akan melihat memori dapat sangat memengaruhi kecepatan pipeline dijalankan. Anda akan melihat lebih jauh tentang ini di sini.

Mungkin ini berlebihan untuk dataset kecil ini, tetapi sering kali praktik yang baik untuk mengubah tipe beberapa kolom ke tipe tertentu untuk mengoptimalkan penggunaan memori. Untuk mulai, mari cari berapa banyak memori yang dialokasikan untuk ranking_df menggunakan metode .info.

Hasil baris kode pertama memberi tahu kita bahwa data memakan 144 KB. Namun, setelah meninjau argumen metode .info, Anda akan menemukan argumen opsional yaitu memory_usage yang default-nya None. Apa yang terjadi jika Anda set argumen memory_usage menjadi deep?

Jejak memori baru menjadi 6 —lebih tepatnya 5,6— kali lebih besar daripada jawaban awal Anda.

Apa yang terjadi?

Perbedaan estimasi memori berasal dari fakta bahwa tanpa flag “deep” aktif, Pandas tidak akan memperkirakan konsumsi memori untuk dtype object. Tipe data (Python) ini memakan ruang lebih besar dibanding dtypes numpy yang dioptimalkan. Karena itu disarankan untuk mengubah tipe object ke tipe yang lebih sesuai (misalnya category saat menangani data kategorikal).

Mari kita lakukan!

def memory_change(input_df, column, dtype):
    df = input_df.copy()
    old = round(df[column].memory_usage(deep=True) / 1024, 2) # In KB
    new = round(df[column].astype(dtype).memory_usage(deep=True) / 1024, 2)# In KB
    change = round(100 * (old - new) / (old), 2)
    report = ("The inital memory footprint for {column} is: {old}KB.\n" 
              "The casted {column} now takes: {new}KB.\n"
              "A change of {change} %.").format(**locals())
    return report

print(memory_change(ranking_df,'world_rank', 'int16'))
print(memory_change(ranking_df,'university_name', 'category'))
print(memory_change(ranking_df,'name', 'category'))

Sekarang Anda tahu bahwa, dengan mengubah world_rank ke int16 misalnya, memori Anda akan digunakan lebih efisien, saatnya menerapkan perubahan tersebut. Anda dapat menggunakan fungsi astype() untuk melakukannya. Akhiri dengan memeriksa ulang seperti apa penggunaan memori Anda sekarang:

Itu jauh lebih baik. Anda bahkan dapat mengoptimalkan lebih lanjut dengan mengubah kolom year menjadi int32.

4. GroupBy

Sekarang kita memiliki dataset yang tertata baik (yaitu dalam keadaan rapi) dengan jejak memori yang teroptimasi, analisis data bisa dimulai.

Ada beberapa pertanyaan yang mungkin ingin Anda jawab:

• Apa 5 universitas teratas menurut masing-masing sistem peringkat dari tahun ke tahun?
• Seberapa berbeda peringkat tersebut tiap tahun?

Mari cari tahu dengan menangani pertanyaan pertama menggunakan kiat Pandas yang lebih idiomatis yang sudah Anda lihat di bagian sebelumnya!

Sebelum mulai, perhatikan bahwa ‘Massachusetts Institute of Technology (MIT)’ dan ‘Massachusetts Institute of Technology’ adalah dua catatan berbeda untuk universitas yang sama. Karena itu, ubahlah nama pertama menjadi yang kedua.

Catat bahwa dalam kasus seperti ini, fungsi loc yang telah Anda lihat sebelumnya sangat berguna!

Untuk menemukan 5 (atau secara umum n) universitas teratas dari tahun ke tahun untuk setiap sistem peringkat, berikut cara melakukannya dalam pseudo-code:

• Untuk setiap tahun (di kolom year) dan untuk setiap sistem peringkat (di kolom name):
• Pilih subset data untuk tahun dan sistem peringkat tersebut
• Pilih 5 universitas teratas dan simpan dalam sebuah list
• Simpan hasilnya dalam sebuah dictionary dengan kunci (year, name) dan nilai berupa list universitas (urut menurun)

Mari terapkan.

Sekarang setelah kita memiliki dictionary peringkat ini, mari cari tahu seberapa besar (dalam persentase) kedua metode peringkat berbeda dari tahun ke tahun: keduanya 100% mirip-set jika 5 universitas teratas yang dipilih sama walaupun urutannya berbeda.

Seperti yang Anda lihat, ini cukup melelahkan. Adakah cara yang lebih baik, lebih idiomatis di Pandas?

Tentu saja ada! Pertama, saring DataFrame peringkat agar hanya menyisakan 5 universitas teratas untuk setiap tahun dan metode peringkat. Periksa juga hasilnya dengan fungsi head():

Sekarang setelah Anda memiliki DataFrame yang tepat untuk dikerjakan, mari gunakan metode .groupby untuk membandingkan kedua metode peringkat menggunakan kemiripan set yang didefinisikan di atas.

Anda mendapatkan hasil yang sama seperti di atas dengan lebih sedikit kerepotan.

5. Visualisasi

Setelah melalui beberapa analisis awal terhadap dataset Anda, saatnya juga mengeksplorasi data secara visual. Kode Pandas yang lebih idiomatis juga berarti memanfaatkan integrasi plotting Pandas dengan paket Matplotlib. Berkat ini, Anda akan membuat plot yang bagus dalam waktu singkat!

Di bagian ini, Anda akan kembali ke dataset times_df dan shanghai_df untuk membuat beberapa visualisasi dasar dengan Matplotlib dan Seaborn.

Plot di atas langsung memperlihatkan adanya beberapa nilai 0 pada kolom alumni. Ini hal yang perlu benar-benar diperhatikan saat mengeksplorasi data: dengan bantuan data profiling, Anda akan dapat melihat nilai 0 tersebut dan menanganinya. Jika Anda ingin tahu lebih lanjut, lihat Data Profiling Tutorial dari DataCamp.

Atau, jika ada nilai yang tidak semestinya ada dalam dataset Anda, Anda bisa menggantinya dengan NaN lalu menghapus semua nilai NaN pada kolom yang dapat menyulitkan proses plotting data. Perhatikan bahwa ini hanya cara cepat menyesuaikan data dan Anda mungkin memerlukan langkah data profiling yang lebih mendalam untuk benar-benar meningkatkan kualitas data karena Anda masih melihat nilai 0 pada kolom num_students di plot berikut:

Tentu, Anda tidak harus membatasi diri pada Matplotlib untuk memvisualisasikan data. Ada pustaka lain yang memungkinkan Anda memvisualisasikan data dengan cepat, seperti Seaborn.

Alat plotting Seaborn terutama digunakan untuk membuat plot statistik yang menarik secara visual (sesuai pernyataan situs resminya). Faktanya, sebelum Matplotlib versi 2.0, cukup merepotkan (meski bisa) untuk membuat plot yang indah.

Kombinasi Pandas dengan Seaborn juga memungkinkan Anda beriterasi cepat terhadap data lewat visualisasi.

Mari eksplor beberapa contoh!

Lihat plot berikut, di mana Anda menghitung frekuensi kemunculan suatu negara dalam data, mengambil sepuluh observasi pertama, dan memastikan jumlahnya diurutkan dari tertinggi ke terendah saat memplot barplot:

Kemudian, Anda bisa melanjutkan dan memplot negara-negara tersebut beserta skor rata-ratanya:

Plot Anda juga bisa menjadi cukup kompleks. Lihat pairplot berikut, yang dirancang untuk memperlihatkan hubungan berpasangan dalam sebuah dataset dengan lebih jelas:

import numpy as np

np.seterr(invalid='ignore')

sns.pairplot(times_df, hue='country')

plt.show()

Demikian pula, Anda bisa mencoba kombinasi FacetGrid dan regplot berikut, yang memberi wawasan tentang evolusi total_score dari tahun ke tahun untuk 5 negara teratas:

Terakhir, plot korelasi juga bisa berguna saat Anda mengeksplorasi data. Anda dapat menggunakan fungsi heatmap() dari Seaborn untuk melakukannya:

Anda bisa terus melanjutkan visualisasi seperti ini, jadi mungkin sebaiknya kita akhiri dulu untuk saat ini :)