Menggabungkan DataFrame di pandas: merge(), concat() & join()

Mulailah dengan mengimpor pustaka yang akan Anda gunakan sepanjang tutorial: pandas

import pandas as pd

Anda akan melakukan semua operasi dalam tutorial ini pada DataFrame dummy yang Anda buat. Untuk membuat DataFrame, Anda dapat menggunakan dictionary Python seperti:

dummy_data1 = {
        'id': ['1', '2', '3', '4', '5'],
        'Feature1': ['A', 'C', 'E', 'G', 'I'],
        'Feature2': ['B', 'D', 'F', 'H', 'J']}

Di sini, key pada dictionary dummy_data1 adalah nama kolom, dan nilai dalam daftar merupakan data yang sesuai untuk setiap observasi atau baris. Untuk mengubahnya menjadi DataFrame pandas, Anda akan menggunakan fungsi DataFrame() dari pandas, beserta argumen columns untuk menamai kolom Anda:

df1 = pd.DataFrame(dummy_data1, columns = ['id', 'Feature1', 'Feature2'])

df1

Seperti yang Anda lihat, sekarang Anda memiliki DataFrame dengan tiga kolom id, Feature1, dan Feature2. Ada satu kolom tambahan tanpa nama yang secara intrinsik dibuat pandas sebagai label baris. Serupa dengan DataFrame sebelumnya df1, Anda akan membuat dua DataFrame lagi yaitu df2 dan df3:

dummy_data2 = {
        'id': ['1', '2', '6', '7', '8'],
        'Feature1': ['K', 'M', 'O', 'Q', 'S'],
        'Feature2': ['L', 'N', 'P', 'R', 'T']}

df2 = pd.DataFrame(dummy_data2, columns = ['id', 'Feature1', 'Feature2'])

df2

dummy_data3 = {
        'id': ['1', '2', '3', '4', '5', '7', '8', '9', '10', '11'],
        'Feature3': [12, 13, 14, 15, 16, 17, 15, 12, 13, 23]}

df3 = pd.DataFrame(dummy_data3, columns = ['id', 'Feature3'])

df3

 concat()

Untuk sekadar menggabungkan DataFrame sepanjang baris, Anda dapat menggunakan fungsi concat() di pandas. Anda harus meneruskan nama-nama DataFrame dalam sebuah daftar sebagai argumen ke fungsi concat():

df_row = pd.concat([df1, df2])

df_row

Anda dapat melihat bahwa dua DataFrame df1 dan df2 kini telah digabungkan menjadi satu DataFrame df_row sepanjang baris. Namun, label baris tampak salah. Jika Anda ingin label baris menyesuaikan secara otomatis sesuai hasil join, Anda harus mengatur argumen ignore_index sebagai True saat memanggil fungsi concat():

df_row_reindex = pd.concat([df1, df2], ignore_index=True)

df_row_reindex

Sekarang label baris sudah benar!

pandas juga memberi Anda opsi untuk memberi label pada DataFrame setelah konkatenasi dengan sebuah key sehingga Anda tahu data mana berasal dari DataFrame yang mana. Anda dapat melakukannya dengan meneruskan argumen tambahan keys yang menentukan nama label DataFrame dalam sebuah daftar. Di sini Anda akan melakukan konkatenasi yang sama dengan key x dan y masing-masing untuk DataFrame df1 dan df2.

frames = [df1,df2]
df_keys = pd.concat(frames, keys=['x', 'y'])

df_keys

Mencantumkan key juga memudahkan pengambilan data yang sesuai dengan DataFrame tertentu. Anda dapat mengambil data dari DataFrame df2 yang berlabel y menggunakan metode loc:

df_keys.loc['y']

Anda juga dapat meneruskan dictionary ke concat(); dalam hal ini, key dictionary akan digunakan sebagai argumen keys (kecuali Anda menentukan keys lain):

pieces = {'x': df1, 'y': df2}

df_piece = pd.concat(pieces)

df_piece

Perlu dicatat bahwa concat() membuat salinan penuh data, dan penggunaan fungsi ini berulang-ulang dapat menimbulkan penurunan performa yang signifikan. Untuk operasi data skala besar, pertimbangkan mengeksplor pandas 2.0 vs polars untuk manipulasi data berkinerja tinggi. Jika Anda perlu menggunakan operasi ini pada beberapa dataset, gunakan list comprehension.

frames = [ process_your_file(f) for f in files ]
result = pd.concat(frames)

Untuk menggabungkan DataFrame sepanjang kolom, Anda dapat menentukan parameter axis sebagai 1:

df_col = pd.concat([df1,df2], axis=1)

df_col

Merge DataFrame di pandas

Operasi lain yang sangat umum terkait DataFrame adalah merge. Dua DataFrame bisa menyimpan jenis informasi berbeda tentang entitas yang sama dan dihubungkan oleh fitur/kolom yang sama. Untuk menggabungkan DataFrame tersebut, pandas menyediakan beberapa fungsi seperti concat(), merge(), join(), dan lain-lain. Pada bagian ini, Anda akan berlatih menggunakan fungsi merge() dari pandas.

Anda dapat menggabungkan DataFrame df_row (yang Anda buat dengan menggabungkan df1 dan df2 sepanjang baris) dan df3 pada kolom (atau key) umum id. Untuk melakukannya, teruskan nama DataFrame dan argumen tambahan on sebagai nama kolom umum, di sini id, ke fungsi merge():

df_merge_col = pd.merge(df_row, df3, on='id')

df_merge_col

Anda dapat melihat bahwa DataFrame kini digabungkan menjadi satu DataFrame berdasarkan nilai umum yang ada di kolom id pada kedua DataFrame. Sebagai contoh, di sini nilai id 1 muncul bersama A, B dan K, L di DataFrame df_row sehingga id ini muncul dua kali di DataFrame akhir df_merge_col dengan nilai 12 pada Feature3 yang berasal dari DataFrame df3.

Mungkin saja kolom yang ingin Anda gunakan untuk merge memiliki nama berbeda (tidak seperti pada kasus ini). Untuk merge seperti itu, Anda harus menentukan argumen left_on sebagai nama kolom pada DataFrame kiri dan right_on sebagai nama kolom pada DataFrame kanan, seperti:

df_merge_difkey = pd.merge(df_row, df3, left_on='id', right_on='id')

df_merge_difkey

Anda juga dapat menambahkan baris ke DataFrame menggunakan pd.concat(). Pertama, buat DataFrame baru dengan data baris tersebut, lalu konkatenasikan dengan DataFrame asli:

add_row = pd.DataFrame([['10', 'X1', 'X2', 'X3']], 
                       columns=['id', 'Feature1', 'Feature2', 'Feature3'])

df_add_row = pd.concat([df_merge_col, add_row], ignore_index=True)

df_add_row

Jenis-jenis Join di pandas

Pada bagian ini, Anda akan mempraktikkan berbagai logika join yang tersedia untuk menggabungkan DataFrame pandas berdasarkan kolom/key umum. Logika di balik join ini sama seperti di SQL saat Anda melakukan join antar tabel. Jika Anda familier dengan inner vs outer join di SQL, konsep-konsep ini akan terasa akrab.

Full Outer Join

FULL OUTER JOIN menggabungkan hasil dari left dan right outer join. DataFrame hasil gabungan akan berisi semua rekaman dari kedua DataFrame dan mengisi nilai NaN untuk kecocokan yang hilang di salah satu sisi. Anda dapat melakukan full outer join dengan menentukan argumen how sebagai outer pada fungsi merge():

df_outer = pd.merge(df1, df2, on='id', how='outer')

df_outer

Anda dapat melihat bahwa DataFrame hasil berisi semua entri dari kedua tabel dengan nilai NaN untuk kecocokan yang hilang di salah satu sisi. Namun, satu hal lagi yang perlu diperhatikan adalah sufiks yang ditambahkan ke nama kolom untuk menunjukkan kolom berasal dari DataFrame yang mana. Sufiks default adalah x dan y, tetapi Anda dapat mengubahnya dengan menentukan argumen suffixes pada fungsi merge():

df_suffix = pd.merge(df1, df2, left_on='id',right_on='id',how='outer',suffixes=('_left','_right'))

df_suffix

Inner Join

INNER JOIN hanya menghasilkan kumpulan rekaman yang cocok di kedua DataFrame A dan DataFrame B. Anda harus meneruskan inner pada argumen how di fungsi merge() untuk melakukan inner join:

df_inner = pd.merge(df1, df2, on='id', how='inner')

df_inner

Right Join

RIGHT JOIN menghasilkan kumpulan rekaman lengkap dari DataFrame B (DataFrame kanan), dengan rekaman yang cocok (bila ada) di DataFrame A (DataFrame kiri). Jika tidak ada kecocokan, sisi kanan akan berisi nilai null. Anda harus meneruskan right pada argumen how di fungsi merge() untuk melakukan right join:

df_right = pd.merge(df1, df2, on='id', how='right')

df_right

Left Join

LEFT JOIN menghasilkan kumpulan rekaman lengkap dari DataFrame A (DataFrame kiri), dengan rekaman yang cocok (bila ada) di DataFrame B (DataFrame kanan). Jika tidak ada kecocokan, sisi kiri akan berisi nilai null. Anda harus meneruskan left pada argumen how di fungsi merge() untuk melakukan left join:

df_left = pd.merge(df1, df2, on='id', how='left')

df_left

Join berdasarkan indeks

Terkadang Anda perlu melakukan join pada indeks atau label baris. Untuk melakukannya, Anda harus menentukan right_index (untuk indeks DataFrame kanan) dan left_index (untuk indeks DataFrame kiri) sebagai True:

df_index = pd.merge(df1, df2, right_index=True, left_index=True)

df_index

pandas Join

Metode pandas DataFrame.join() digunakan untuk melakukan join DataFrame pada indeks yang unik. Anda dapat menggunakan argumen opsional `on` untuk men-join nama kolom pada indeks dan argumen how untuk menentukan operasi kedua objek. Secara default, metode ini menggunakan inner join. 

pandas Join Dua DataFrame

Mari kita join dua data frame menggunakan .join. Kita memberikan `lsuffix` dan `rsuffix` untuk menghindari error tumpang tindih kolom. Metode ini melakukan join berdasarkan indeks, bukan kolom, sehingga kita perlu mengubah kolom ‘id’ atau menyediakan sufiks.

df2.join(df3, lsuffix='_left', rsuffix='_right')

Kita juga dapat men-join kolom pada indeks menggunakan argumen `on`. Agar join berhasil, kita harus mengubah kolom df3 ‘id’ menjadi indeks dan memberikan argumen `on` dengan kolom ‘id’. Secara default, metode ini akan menggunakan left join.   

df2.join(df3.set_index('id'), on='id')

Sama seperti fungsi merge, kita dapat mengubah jenis operasi join dengan memberikan argumen `how`. Dalam kasus kita, kita akan menggunakan inner join. 

df2.join(df3.set_index('id'), on='id', how = "inner")

Penggabungan yang Ramah Time Series

pandas menyediakan fungsi khusus untuk menggabungkan DataFrame time series. Mungkin yang paling berguna dan populer adalah fungsi merge_asof(). Fungsi merge_asof() mirip dengan ordered left-join, kecuali Anda mencocokkan key terdekat alih-alih key yang sama persis. Untuk setiap baris di DataFrame kiri, Anda memilih baris terakhir di DataFrame kanan di mana key on lebih kecil daripada key di sisi kiri. Kedua DataFrame harus diurutkan berdasarkan key tersebut.

Opsional, asof merge dapat melakukan merge per grup. Ini mencocokkan key by secara sama, selain kecocokan terdekat pada key on.

Misalnya, Anda mungkin memiliki trades dan quotes, dan Anda ingin melakukan asof merge atas keduanya. Di sini DataFrame kiri dipilih sebagai trades dan DataFrame kanan sebagai quotes. Keduanya di-asof merge pada key time dan di-merge per grup berdasarkan simbol ticker-nya.

trades = pd.DataFrame({
    'time': pd.to_datetime(['20160525 13:30:00.023',
                            '20160525 13:30:00.038',
                            '20160525 13:30:00.048',
                            '20160525 13:30:00.048',
                            '20160525 13:30:00.048']),
    'ticker': ['MSFT', 'MSFT','GOOG', 'GOOG', 'AAPL'],
    'price': [51.95, 51.95,720.77, 720.92, 98.00],
    'quantity': [75, 155,100, 100, 100]},
    columns=['time', 'ticker', 'price', 'quantity'])

quotes = pd.DataFrame({
    'time': pd.to_datetime(['20160525 13:30:00.023',
                            '20160525 13:30:00.023',
                            '20160525 13:30:00.030',
                            '20160525 13:30:00.041',
                            '20160525 13:30:00.048',
                            '20160525 13:30:00.049',
                            '20160525 13:30:00.072',
                            '20160525 13:30:00.075']),
    'ticker': ['GOOG', 'MSFT', 'MSFT','MSFT', 'GOOG', 'AAPL', 'GOOG','MSFT'],
    'bid': [720.50, 51.95, 51.97, 51.99,720.50, 97.99, 720.50, 52.01],
    'ask': [720.93, 51.96, 51.98, 52.00,720.93, 98.01, 720.88, 52.03]},
    columns=['time', 'ticker', 'bid', 'ask'])

trades

quotes

df_merge_asof = pd.merge_asof(trades, quotes,
              on='time',
              by='ticker')

df_merge_asof

Jika Anda perhatikan, Anda dapat melihat alasan munculnya NaN pada baris ticker AAPL. Karena DataFrame kanan quotes tidak memiliki nilai time yang lebih kecil dari 13:30:00.048 (waktu pada tabel kiri) untuk ticker AAPL, maka NaN dimasukkan ke kolom bid dan ask.

Anda juga dapat menetapkan tingkat toleransi yang telah ditentukan untuk kolom waktu. Misalnya Anda hanya ingin melakukan asof merge dalam rentang 2 ms antara waktu quote dan waktu trade, maka Anda harus menentukan argumen tolerance:

df_merge_asof_tolerance = pd.merge_asof(trades, quotes,
              on='time',
              by='ticker',
              tolerance=pd.Timedelta('2ms'))

df_merge_asof_tolerance

Perhatikan perbedaan antara hasil di atas dan sebelumnya. Baris tidak digabungkan jika toleransi waktu tidak memenuhi 2 ms.

Kesimpulan

Pada tutorial ini, Anda mempelajari cara melakukan konkatenasi dan merge DataFrame berdasarkan beberapa logika menggunakan fungsi concat() dan merge() dari pustaka pandas. Di bagian akhir, Anda juga mempraktikkan fungsi khusus merge_asof() untuk menggabungkan DataFrame Time series. Sepanjang proses, Anda juga belajar bekerja dengan indeks DataFrame. Masih banyak opsi lain yang bisa Anda jelajahi untuk melakukan join DataFrame di pandas, dan saya mendorong Anda untuk melihat dokumentasinya yang luar biasa. Selamat menjelajah!

Tutorial ini menggunakan dokumentasi pandas ini sebagai referensi penulisan.

Jika Anda ingin mempelajari lebih lanjut tentang pandas, ikuti kursus Data Manipulation with pandas di DataCamp dan lihat Tutorial DataFrame di Python Pandas kami.

DataCamp juga memiliki beberapa tutorial pandas praktis lainnya, termasuk:

• Mengimpor data CSV ke dalam pandas
• Menambahkan kolom di pandas
• Mengurutkan nilai di pandas
• Menghapus duplikasi di pandas dengan drop_duplicates
• Mengelompokkan data dengan pandas groupby
• Mereset indeks DataFrame di pandas

Selamat belajar!