Clustering dalam Machine Learning: 5 Algoritma Clustering Esensial

Clustering sendiri bukan satu algoritma khusus melainkan tugas umum yang harus diselesaikan. Tujuan ini dapat dicapai dengan berbagai algoritma yang sangat berbeda dalam pemahaman mereka tentang apa yang dimaksud dengan cluster dan bagaimana menemukannya secara efisien. 

Membangun intuisi di balik clustering

Sebelum masuk ke detail algoritmik, mari bangun terlebih dahulu intuisi di balik clustering menggunakan contoh sederhana dataset buah. Misalkan kita memiliki kumpulan besar dataset gambar yang berisi tiga buah: (i) stroberi, (ii) pir, dan (iii) apel. 

Dalam dataset, semua gambar tercampur, dan use case Anda adalah mengelompokkan buah-buah yang serupa, yaitu membuat tiga kelompok yang masing-masing berisi satu jenis buah. Inilah tepatnya yang akan dilakukan algoritma clustering. 

Kriteria sukses utama untuk analisis clustering

Tidak seperti use case supervised learning seperti klasifikasi atau regresi, clustering tidak dapat diotomatisasi sepenuhnya dari awal hingga akhir. Sebaliknya, ini adalah proses iteratif penemuan informasi yang memerlukan keahlian domain dan penilaian manusia, yang sering digunakan untuk menyesuaikan data dan parameter model guna mencapai hasil yang diinginkan. 

Yang paling penting, karena clustering adalah pembelajaran tanpa pengawasan dan tidak menggunakan data berlabel, kita tidak dapat menghitung metrik kinerja seperti akurasi, AUC, RMSE, dll., untuk membandingkan berbagai algoritma atau teknik prapemrosesan data. Akibatnya, hal ini membuat penilaian kinerja model clustering menjadi sangat menantang dan subjektif. 

Kriteria sukses utama dalam model clustering berkisar pada:

• Apakah dapat diinterpretasikan?
• Apakah keluaran clustering berguna untuk bisnis?
• Apakah Anda mempelajari informasi baru atau menemukan pola baru dalam data yang sebelumnya tidak Anda ketahui sebelum melakukan clustering?

Mengukur kualitas clustering

Tanpa data berlabel, Anda tidak bisa menghitung akurasi atau AUC. Dua metrik membantu mengkuantifikasi seberapa baik cluster Anda terpisah. Dua ukuran umum:

• Silhouette Score mengukur seberapa mirip suatu titik dengan clusternya sendiri dibandingkan dengan cluster tetangga terdekat. Nilainya berkisar -1 hingga 1; skor di atas 0,5 menunjukkan cluster yang terpisah dengan baik.
• Davies-Bouldin Index mengukur rata-rata kemiripan antara tiap cluster dan cluster yang paling mirip dengannya — semakin rendah semakin baik.

Keduanya tersedia di scikit-learn: sklearn.metrics.silhouette_score(X, labels) dan sklearn.metrics.davies_bouldin_score(X, labels).

1. K-Means

K-Means adalah algoritma yang paling luas digunakan untuk tugas clustering, terutama karena langkah-langkahnya mudah diikuti dan implementasi di scikit-learn sederhana. Ini adalah algoritma berbasis centroid di mana pengguna harus menentukan jumlah cluster yang ingin dibuat. 

Ini biasanya berasal dari use case bisnis atau dengan mencoba berbagai nilai jumlah cluster lalu mengevaluasi hasilnya. 

Clustering K-Means adalah algoritma iteratif yang membuat cluster tidak tumpang tindih, artinya setiap instance dalam dataset Anda hanya dapat termasuk ke satu cluster secara eksklusif. Cara termudah untuk mendapatkan intuisi K-Means adalah memahami langkah-langkahnya beserta diagram contoh di bawah. Anda juga bisa mendapatkan deskripsi proses yang lebih rinci di tutorial kami K-Means Clustering in Python dan K-Means Clustering in R. 

1. Pengguna menentukan jumlah cluster.
2. Inisialisasi centroid secara acak berdasarkan jumlah cluster. Pada diagram di bawah, pada Iterasi 1, perhatikan tiga centroid diinisialisasi secara acak dalam warna biru, merah, dan hijau.
3. Hitung jarak antara titik data dan masing-masing centroid dan tetapkan setiap titik data ke centroid terdekat.
4. Hitung ulang rata-rata centroid berdasarkan semua titik data yang ditetapkan, dan ini akan mengubah posisi centroid, seperti yang terlihat pada Iterasi 2 - 9, hingga akhirnya konvergen.
5. Iterasi terus berlangsung sampai tidak ada perubahan pada rata-rata centroid atau parameter max_iter tercapai, yaitu jumlah iterasi maksimum yang ditentukan pengguna saat pelatihan. Di scikit-learn, nilai default max_iter adalah 300.

Sumber Gambar: Learnbymarketing.com

2. MeanShift

Tidak seperti algoritma K-Means, algoritma MeanShift tidak memerlukan penentuan jumlah cluster. Algoritma ini secara otomatis menentukan jumlah cluster, yang merupakan keunggulan jelas dibanding K-Means ketika Anda tidak tahu berapa banyak cluster yang dikandung data Anda. 

MeanShift juga berbasis centroid dan secara iteratif menetapkan setiap titik data ke cluster. Use case paling umum untuk clustering MeanShift adalah tugas segmentasi citra.

Algoritma MeanShift didasarkan pada estimasi kerapatan kernel. Mirip dengan K-Means, algoritma MeanShift secara iteratif mengarahkan setiap titik data ke centroid cluster terdekat, yang diinisialisasi secara acak, dan setiap titik dipindahkan secara iteratif dalam ruang menuju tempat dengan titik terbanyak, yaitu Mode (mode adalah kepadatan tertinggi titik data di suatu wilayah, dalam konteks MeanShift). 

Inilah mengapa algoritma MeanShift juga dikenal sebagai algoritma pencari-mode (Mode-seeking). Langkah-langkah algoritma MeanShift adalah sebagai berikut:

• Pilih titik acak mana pun, dan buat jendela di sekitar titik acak tersebut.
• Hitung rata-rata semua titik di dalam jendela ini.
• Geser jendela mengikuti arah mode. 
• Ulangi langkah-langkah hingga konvergen.

Sumber Gambar: ResearchGate

Untuk panduan langkah demi langkah MeanShift dalam praktik, lihat tutorial Mean Shift Clustering kami.

3. DBSCAN

DBSCAN, atau Density-Based Spatial Clustering of Applications with Noise, adalah algoritma clustering tanpa pengawasan yang bekerja dengan premis bahwa cluster adalah ruang padat dalam wilayah yang dipisahkan oleh wilayah berkepadatan lebih rendah. 

Keunggulan terbesar algoritma ini dibanding K-Means dan MeanShift adalah ketahanannya terhadap outlier, artinya algoritma ini tidak akan memasukkan titik data outlier ke dalam cluster mana pun. 

Algoritma DBSCAN hanya memerlukan dua parameter dari pengguna: 

• Jari-jari lingkaran yang dibuat di sekitar setiap titik data, juga dikenal sebagai epsilon

• minPoints, yang mendefinisikan jumlah minimum titik data yang diperlukan di dalam lingkaran itu agar titik data tersebut diklasifikasikan sebagai titik Inti (Core).

Setiap titik data dikelilingi oleh lingkaran dengan jari-jari epsilon, dan DBSCAN mengidentifikasi apakah titik-titik tersebut merupakan titik Inti (Core), titik Batas (Border), atau titik Noise. Suatu titik data dianggap titik Inti jika lingkaran yang mengelilinginya memiliki jumlah titik minimal yang ditentukan oleh parameter minPoints. 

Ini dianggap sebagai Titik Batas jika jumlah titik lebih rendah dari minimum yang disyaratkan, dan dianggap Noise jika tidak ada titik data tambahan yang berada dalam jari-jari epsilon dari titik data mana pun. Titik data Noise tidak dikategorikan dalam cluster mana pun (pada dasarnya, mereka adalah outlier).

Beberapa use case umum untuk algoritma clustering DBSCAN adalah:

• Sangat baik dalam memisahkan cluster berkepadatan tinggi versus rendah;
• Bekerja sangat baik pada dataset non-linear, dan
• Dapat digunakan untuk deteksi anomali karena memisahkan titik noise dan tidak menugaskannya ke cluster mana pun.

DBSCAN vs K-Means

Membandingkan DBSCAN dengan K-Means, perbedaan paling umum adalah: 

• Algoritma K-Means mengelompokkan semua instance dalam dataset, sedangkan DBSCAN tidak menugaskan titik noise (outlier) ke cluster yang valid
• K-Means kesulitan dengan cluster yang tidak global, sedangkan DBSCAN dapat menanganinya dengan mulus
• Algoritma K-Means membuat asumsi bahwa semua titik data dalam dataset berasal dari distribusi Gaussian, sedangkan DBSCAN tidak membuat asumsi apa pun tentang data.

Anda dapat mempelajari lebih lanjut di panduan algoritma clustering DBSCAN kami, yang membahas penalaan parameter dan contoh terapan. 

Sumber Gambar: Medium

4. Hierarchical Clustering

Hierarchical clustering adalah metode clustering yang membangun hierarki cluster. Ada dua jenis metode ini. 

• Agglomerative: Ini adalah pendekatan bottom-up di mana setiap observasi pada awalnya diperlakukan sebagai clusternya sendiri, dan saat kita bergerak dari bawah ke atas, tiap observasi digabungkan berpasangan, dan pasangan digabungkan menjadi cluster. 
• Divisive: Ini adalah pendekatan "top-down": semua observasi dimulai dalam satu cluster, dan pemisahan dilakukan secara rekursif saat kita bergerak dari atas ke bawah.

Dalam menganalisis data dari jejaring sosial, hierarchical clustering sejauh ini merupakan metode clustering yang paling umum dan populer. Node (cabang) pada grafik dibandingkan satu sama lain bergantung pada derajat kemiripan yang ada di antara mereka. Dengan menghubungkan kelompok-kelompok node kecil yang saling terkait, dapat dibentuk pengelompokan yang lebih besar.

Keunggulan terbesar hierarchical clustering adalah mudah dipahami dan diimplementasikan. Biasanya, keluaran metode clustering ini dianalisis dalam sebuah gambar, seperti di bawah ini. Ini disebut Dendrogram.

Anda dapat mempelajari lebih lanjut di tutorial hierarchical clustering kami, yang memandu pembuatan dan pembacaan dendrogram di Python. 

Sumber Gambar: ResearchGate

5. BIRCH

BIRCH adalah singkatan dari Balanced Iterative Hierarchical Based Clustering. Algoritma ini digunakan pada dataset yang sangat besar di mana K-Means tidak dapat diskalakan secara praktis. Algoritma BIRCH membagi data besar menjadi cluster kecil dan berupaya mempertahankan informasi sebanyak mungkin. Kelompok-kelompok kecil kemudian dikelompokkan untuk keluaran akhir alih-alih langsung mengelompokkan dataset besar. 

BIRCH sering digunakan untuk melengkapi algoritma clustering lain dengan menghasilkan ringkasan informasi yang dapat dimanfaatkan algoritma clustering lainnya. Pengguna harus menentukan jumlah cluster untuk melatih algoritma BIRCH, mirip dengan yang kita lakukan di K-Means.

Salah satu keuntungan menggunakan BIRCH adalah kemampuannya untuk mengelompokkan titik data multi-dimensi secara progresif dan dinamis. Ini dilakukan untuk membuat cluster berkualitas tertinggi dengan batasan memori dan waktu tertentu. Dalam banyak kasus, BIRCH hanya perlu melakukan satu kali pencarian di seluruh basis data, yang membuat BIRCH dapat diskalakan. 

Use case paling umum algoritma clustering BIRCH adalah alternatif K-Means yang hemat memori yang dapat digunakan untuk mengelompokkan dataset besar yang tidak dapat ditangani K-Means karena keterbatasan memori atau komputasi.

Penerapan Bisnis dari Clustering

Clustering memiliki penerapan luas di berbagai industri: media, layanan kesehatan, manufaktur, ritel, dan di mana pun Anda memiliki sejumlah besar data tanpa label. Berikut beberapa contoh praktis.

Segmentasi Pelanggan

Pelanggan dikategorikan menggunakan algoritma clustering berdasarkan perilaku pembelian atau minat untuk menyusun kampanye pemasaran yang terarah. 

Bayangkan Anda memiliki 10 juta pelanggan, dan Anda ingin mengembangkan kampanye pemasaran yang disesuaikan atau terfokus. Tidak mungkin Anda akan mengembangkan 10 juta kampanye pemasaran, jadi apa yang kita lakukan? Kita bisa menggunakan clustering untuk mengelompokkan 10 juta pelanggan menjadi 25 cluster lalu merancang 25 kampanye pemasaran alih-alih 10 juta.

Sumber Gambar: Medium

Retail Clustering

Ada banyak peluang untuk clustering dalam bisnis ritel. Misalnya, Anda dapat mengumpulkan data pada setiap toko dan melakukan clustering di tingkat toko untuk menghasilkan insight yang dapat menunjukkan lokasi mana yang serupa satu sama lain berdasarkan atribut seperti lalu lintas pengunjung, rata-rata penjualan toko, jumlah SKU, dll. 

Contoh lain bisa berupa clustering di tingkat kategori. Pada diagram di bawah, kita memiliki delapan toko. Warna berbeda mewakili cluster berbeda. Ada empat cluster dalam contoh ini. 

Perhatikan bahwa kategori deodoran di Toko 1 diwakili oleh cluster merah, sedangkan kategori deodoran di Toko 2 diwakili oleh cluster biru. Ini menggambarkan bahwa Toko 1 dan Toko 2 memiliki target pasar yang sepenuhnya berbeda untuk kategori deodoran.

Sumber gambar: dotactiv.com

Clustering dalam Perawatan Klinis / Manajemen Penyakit

Bidang kesehatan dan ilmu klinis menawarkan penerapan clustering yang sangat kuat. Salah satu contohnya adalah penelitian yang dipublikasikan oleh Komaru & Yoshida dkk. 2020, di mana mereka mengumpulkan data demografi dan laboratorium untuk 101 pasien lalu membaginya menjadi 3 cluster. 

Setiap cluster diwakili oleh kondisi yang berbeda. Misalnya, cluster 1 berisi pasien dengan WBC & CRP Rendah. Cluster 2 berisi pasien dengan BMP & Serum Tinggi, dan Cluster 3 berisi pasien dengan Serum Rendah. Setiap cluster merepresentasikan lintasan kelangsungan hidup yang berbeda mengingat mortalitas 1 tahun setelah hemodialisis.

Sumber gambar: elsevierhealth.com

Segmentasi Citra

Segmentasi citra adalah pengklasifikasian suatu gambar ke dalam kelompok yang berbeda. Banyak penelitian telah dilakukan di bidang segmentasi citra menggunakan clustering. Jenis clustering ini berguna jika Anda ingin mengisolasi objek dalam gambar untuk menganalisis tiap objek secara individual guna memeriksa apa objek tersebut. 

Pada contoh di bawah, sisi kiri merepresentasikan gambar asli, dan sisi kanan adalah hasil algoritma clustering. Anda dapat melihat jelas ada 4 cluster yang merupakan 4 objek berbeda dalam gambar yang ditentukan berdasarkan piksel (harimau, rumput, air, dan pasir).

Membandingkan Algoritma Clustering

Ada 10 algoritma clustering tanpa pengawasan yang diimplementasikan di scikit-learn, sebuah pustaka machine learning populer di Python. Ada perbedaan mendasar dalam cara tiap algoritma menentukan dan menetapkan cluster dalam dataset. 

Perbedaan mendasar dalam modalitas matematis algoritma ini bermuara pada empat aspek yang dapat kita gunakan untuk membandingkan dan mengontraskan algoritma tersebut:

• Parameter yang diperlukan untuk model 
• Skalabilitas 
• Use case, 
• Geometri, yaitu metrik yang digunakan untuk perhitungan jarak. 

Pada diagram di bawah, setiap kolom merepresentasikan keluaran dari algoritma clustering yang berbeda, seperti K-Means, Affinity Propagation, MeanShift, dll. Ada total 10 algoritma yang dilatih pada dataset yang sama.

Beberapa algoritma menghasilkan keluaran yang sama. Perhatikan bahwa Agglomerative Clustering, DBSCAN, OPTICS, dan Spectral Clustering menghasilkan cluster yang sama. 

Namun, jika Anda memperhatikan dan membandingkan keluaran K-Means dengan keluaran algoritma MeanShift, Anda akan melihat bahwa kedua algoritma menghasilkan hasil yang berbeda. Pada kasus K-Means, hanya ada dua kelompok (cluster: biru dan oranye), sedangkan pada MeanShift, ada tiga, yaitu biru, hijau, dan oranye. 

Sumber Gambar: scikit-learn

Sayangnya (atau untungnya), tidak ada jawaban yang benar atau salah dalam Clustering. Akan sangat sederhana jika bisa menyimpulkan dan membuat pernyataan seperti “Algoritma X berkinerja terbaik di sini.” 

Hal itu tidak mungkin, dan karena alasan inilah clustering merupakan tugas yang sangat menantang. 

Pada akhirnya, algoritma mana yang bekerja lebih baik tidak bergantung pada metrik yang mudah diukur, melainkan pada interpretasi dan seberapa berguna keluaran tersebut untuk use case yang dihadapi.

Cara Memilih Algoritma Clustering yang Tepat

Setiap algoritma cocok untuk kondisi data yang berbeda. Gunakan tabel ini sebagai titik awal, lalu uji setidaknya dua algoritma pada data Anda yang sebenarnya sebelum memutuskan.

Titik awal yang praktis: coba K-Means terlebih dahulu untuk kecepatan, beralih ke DBSCAN jika data Anda memiliki bentuk tak beraturan atau outlier, dan gunakan Hierarchical clustering saat Anda ingin mengeksplorasi struktur cluster secara visual melalui dendrogram sebelum memilih k.

Pikiran penutup

Clustering lebih sulit diterapkan dibanding teknik supervised seperti klasifikasi dan regresi karena dua alasan: Anda tidak dapat mengukur kinerja terhadap target berlabel, dan parameter seperti jumlah cluster memerlukan penilaian domain alih-alih pemilihan algoritmik. 

Clustering adalah keterampilan berharga lintas peran: data scientist, ML engineer, dan analis semua menemui masalah yang dapat diselesaikan oleh clustering. 

Jika Anda ingin mempelajari lebih lanjut tentang Clustering dan unsupervised machine learning serta implementasinya menggunakan bahasa Python dan R, kursus di bawah ini dapat membantu Anda berkembang: 

• Cluster Analysis in Python
• Cluster Analysis in R
• Unsupervised Learning in Python
• Unsupervised Learning in R