Kursus
Manipulasi Data dengan pandas
4 jam
567.9K
Seiring revolusi data terus mengubah dunia seperti yang kita kenal, bisnis mulai menyadari bahwa untuk berkembang di era ini dibutuhkan arsitektur data yang dijalankan dengan baik. Arsitektur data menggambarkan struktur aset data suatu organisasi dan memetakan bagaimana data mengalir di seluruh organisasi. Pada dasarnya, arsitektur data berfungsi sebagai cetak biru untuk mengelola data guna memastikan seluruh data bisnis dikelola sebagaimana mestinya dan memenuhi kebutuhan bisnis. Namun, apa yang terjadi ketika mereka menemui data buruk?
Tanpa arsitektur data yang terdefinisi dengan baik, bisnis kecil kemungkinan dapat membuka nilai sebenarnya dari data mereka dan berpotensi membuang banyak sumber daya dalam prosesnya. Mereka juga bisa kalah bersaing dari kompetitor dengan strategi data yang lebih matang. Untuk menghindari nasib tersebut, salah satu hal terpenting yang harus disadari para pemimpin bisnis adalah bahwa data buruk itu ada dan membawa konsekuensi.
Di sini, kita membahas apa itu data buruk, mengapa kualitas data penting, dan apa saja tanda-tanda data buruk.
Apa itu Data Buruk?
Jika kita mendefinisikan data berkualitas baik sebagai data yang sesuai dengan tujuan, maka dapat dikatakan bahwa data berkualitas buruk adalah data yang tidak sesuai dengan tujuan. Artinya, data tersebut tidak cukup baik untuk mendukung hasil yang ingin dicapai.
Sering kali, data mentah dapat dianggap sebagai data buruk. Misalnya, data yang diekstraksi dari jejaring sosial seperti Twitter bersifat tidak terstruktur dan, dalam keadaan mentahnya, belum siap untuk dianalisis atau digunakan untuk tujuan berwawasan lainnya.
Namun, data mentah dapat menjadi data yang baik melalui pembersihan dan pemrosesan data, yang umumnya memerlukan waktu.
Cara paling sederhana untuk mengungkapkannya adalah data apa pun yang kurang struktur dan mengalami masalah kualitas seperti ketidakakuratan, ketidaklengkapan, inkonsistensi, dan duplikasi dapat dianggap sebagai data buruk.
Mengapa Kualitas Data Penting
Kualitas data mengacu pada kondisi potongan data kualitatif atau kuantitatif: ini mengukur kondisi data berdasarkan faktor-faktor tertentu seperti akurasi, kelengkapan, konsistensi, keandalan, dan apakah data diperbarui. Selain data pelanggan, ini mencakup data produk, data perusahaan, data vendor, dan banyak lagi.
Memastikan bahwa data yang Anda miliki berkualitas baik sangatlah penting. Untuk mendapatkan nilai dari data, kita memerlukannya akurat, cukup bermanfaat untuk mendukung hasil yang ingin kita capai, dan cukup baik untuk memaksimalkan pemanfaatan sumber daya yang tersedia.
Mengapa kualitas data yang buruk terjadi?
Ada tiga jenis utama masalah kualitas data yang berdampak langsung pada efisiensi operasional:
- Kesalahan manusia. Salah satu penyebab paling umum dari kualitas data yang buruk adalah kesalahan manusia; ini biasanya terjadi ketika proses entri data tidak memiliki standardisasi atau akibat karyawan memasukkan nilai secara manual ke dalam spreadsheet. Kedua skenario tersebut meningkatkan peluang terjadinya kesalahan.
- Sistem yang terpisah-pisah. Organisasi sering menyimpan data dalam beberapa sistem terpisah yang masing-masing memiliki aturannya sendiri. Membangun satu dataset mungkin melibatkan pengintegrasian beberapa sumber dari berbagai sistem, yang mengakibatkan data terduplikasi, kolom hilang, atau label tidak konsisten. Ada juga kemungkinan kolom berbeda memiliki makna yang sama tetapi diperlakukan berbeda oleh sistem lain.
- Data tidak valid. Perubahan terjadi, dan bisnis berevolusi. Saat ini terjadi, perubahan pada data harus dilakukan (mis., mengubah tingkat detail dalam struktur data, menonaktifkan kolom, atau memperbarui kolom data). Namun, analis mungkin baru menyadari perubahan yang diperlukan ketika mereka akan menggunakan data tersebut.
Faktor-faktor ini adalah penyebab utama data buruk dan menjadi hambatan ketika tiba saatnya data digunakan.
Anda dapat mempelajari cara meningkatkan kualitas data di Python dalam Tutorial Data Cleaning dari DataCamp ini.
Biaya dari Data yang Buruk
Biaya dari data yang buruk dapat bervariasi bergantung pada beberapa faktor. Dalam skenario tertentu, biaya dapat menumpuk pada proses hilir atau penundaan dalam operasi kritis. Dalam skenario terburuk, Anda dapat mengharapkan kegagalan seluruh proses.
Mari kita tinjau beberapa biaya dari data yang buruk.
Wawasan yang cacat
Wawasan yang kita peroleh dari data bergantung pada kualitas data itu sendiri. Misalnya, pemimpin bisnis dapat mengambil keputusan penting berdasarkan wawasan dari data mereka tanpa menyadari bahwa beberapa sumber yang digunakan untuk menarik wawasan berisi duplikasi. Redundansi dapat membelokkan temuan sehingga tidak mencerminkan kenyataan, menghasilkan wawasan yang cacat.
Beban finansial
Dalam sebuah artikel tentang membangun justifikasi bisnis untuk perbaikan kualitas data, riset Gartner menyatakan bahwa “organisasi meyakini kualitas data yang buruk bertanggung jawab atas rata-rata kerugian sebesar $15 juta per tahun” dan “kemungkinan akan memburuk seiring lingkungan informasi menjadi semakin kompleks — tantangan yang dihadapi organisasi dari berbagai ukuran.”
Efisiensi organisasi
Seiring semakin banyak bisnis beroperasi dengan data sebagai inti, data yang buruk berdampak langsung pada organisasi secara keseluruhan. Misalnya, tim penjualan dapat menawarkan produk kepada target audiens yang salah, yang sebenarnya bisa dihindari jika mereka memiliki akses ke data berkualitas baik.
Masalah selama migrasi
Bayangkan sebuah skenario ketika sebuah organisasi memutuskan untuk bermigrasi dari satu platform ke platform lain; platform baru mungkin memiliki aturan tata kelola dan standardisasi data yang berbeda dibandingkan yang lama, yang akan menyebabkan masalah migrasi. Anda juga dapat menghadapi situasi di mana platform menyimpan data dalam format yang berbeda: ini akan mempersulit pemetaan data secara akurat.
Hambatan secara keseluruhan
Kualitas data yang buruk dapat dengan cepat menyebabkan hambatan serius selama transformasi digital organisasi. Masalah yang muncul harus diperbaiki, yang berarti proyek transformasi ditangguhkan. Mengulang ini beberapa kali akan sangat mempengaruhi laju adopsi, sekaligus sumber daya.
10 Tanda Data Buruk
Kualitas masukan akan menentukan kualitas keluaran. Hampir tidak mungkin menghasilkan laporan yang akurat dan andal dengan data yang tidak lengkap, tidak konsisten, atau rusak: sampah masuk, sampah keluar.
Lalu, bagaimana Anda menentukan apakah organisasi Anda mengalami masalah kualitas data? Berikut sepuluh tanda yang perlu diwaspadai (tidak berurutan):
#1 Informasi penting hilang
Ada beberapa penyebab data hilang, misalnya, kerusakan peralatan, berkas hilang, entri data tidak lengkap, dll. Meski bukan hal yang aneh terdapat sebagian data hilang dalam dataset mana pun, hilangnya informasi penting menimbulkan banyak tantangan. Berikut tiga tantangan utamanya:
- Tidak adanya data akan mengurangi kekuatan statistik, yang menurunkan peluang mendeteksi efek yang sebenarnya.
- Data yang hilang dapat mengakibatkan bias pada parameter estimasi
- Hilangnya informasi krusial dapat mengurangi keterwakilan sampel.
Anda dapat mempelajari lebih lanjut tentang menangani data hilang di Python melalui kursus online kami.
#2 Upaya dan waktu berlebihan dibutuhkan untuk tugas remeh
Jika Anda merasa sebagian besar waktu dihabiskan untuk tugas manual, kemungkinan Anda memiliki data yang buruk. Strategi manajemen data yang tidak efektif (atau bahkan tidak ada) dapat berujung pada Anda harus mengatur data secara manual dari berbagai sumber, mengejar orang untuk mengisi kekosongan, dan memasukkan data itu ke spreadsheet.
#3 Wawasan yang dapat ditindaklanjuti tidak memadai
Wawasan yang dapat ditindaklanjuti adalah kesimpulan dari data yang dapat langsung diterjemahkan menjadi tindakan atau respons. Karena itu, wawasan yang dapat ditindaklanjuti harus relevan, spesifik, dan bernilai bagi pengambil keputusan.
Yang membuat wawasan seperti itu bernilai adalah informasi baru yang dihadirkannya. Namun, ini tidak berarti harus berasal dari dataset yang sepenuhnya baru. Jika data Anda hanya mengungkap hal-hal yang sudah pasti Anda ketahui, maka itu tidak bernilai dan tidak relevan.
#4 Menganalisis data sulit
Normalisasi data Anda diperlukan untuk:
- Memastikan tabel hanya berisi data yang terkait langsung dengan kunci utama
- Memastikan setiap kolom data hanya berisi satu elemen data
- Memastikan data yang redundan dihilangkan
Tanpa data yang ternormalisasi, melakukan analisis bisa sangat sulit karena setiap sumber data berpotensi memiliki format, kolom, dan labelnya masing-masing yang berbeda-beda.
#5 Peluang terlewat
Pikiran bahwa Anda tidak mendapatkan manfaat maksimal dari data yang dimiliki mungkin terus terngiang di benak Anda – terutama jika Anda tidak mempercayai strategi manajemen data saat ini. Tanda jelas Anda bergantung pada data yang buruk adalah meningkatnya paparan terhadap risiko yang tidak perlu, yang membuat Anda rentan ketika terjadi perubahan mendadak.
#6 Wawasan terlambat hadir
Anda harus memiliki akses instan ke data dalam repositori terpusat. Ini memungkinkan Anda membuat laporan dengan cepat dan mudah, serta manfaat lainnya. Misalnya, mengurangi redundansi, sehingga meminimalkan kesalahan dan mempermudah akses ke informasi.
Data terpusat berarti seluruh organisasi bekerja dari cetak biru yang sama dan mengikuti aturan yang sama. Gagasannya adalah menghindari perbedaan yang timbul dari penggunaan data yang terpisah-pisah dan alat yang berbeda.
#7 Terlalu banyak kesalahan dalam data
Manusia rawan kesalahan. Tidak tepat mengharapkan data yang sempurna setiap kali manusia bertanggung jawab mengentri data secara manual ke dalam sistem. Data harus diaudit. Ini juga akan memperjelas apakah kesalahan dalam data Anda berasal dari penyedia utilitas atau kesalahan manusia.
#8 Pengambil keputusan kurang percaya diri
Data seharusnya menumbuhkan kepercayaan. Memiliki data yang dapat dipercaya adalah prasyarat mendasar untuk membuat keputusan berbasis data. Ketika pengambil keputusan kurang percaya pada data, nalurinya adalah kembali ke cara lama, yang berarti Anda bisa mengharapkan keputusan berbasis firasat dan perkiraan terdidik.
Pelajari lebih lanjut tentang pentingnya Pengambilan Keputusan Berbasis Data untuk Bisnis melalui kursus online kami.
#9 Kurangnya visibilitas metrik bisnis kunci
Ketika Key Performance Indicator (KPI) tidak tersedia secara real-time, menjadi tidak jelas tindakan apa yang akan mendorong dampak terbesar.
#10 Pengalaman pelanggan yang terputus-putus
Tanda yang jelas (dan mungkin mahal) bahwa Anda memiliki data yang buruk adalah ketika pelanggan menerima konten yang tidak selaras dengan posisi mereka dalam perjalanan pembelian. Di zaman sekarang, konsumen tidak lagi “menginginkan” pengalaman yang dipersonalisasi; mereka mengharapkannya. Jika pelanggan tidak menerima pengalaman yang dipersonalisasi di seluruh touchpoint, pengalaman pelanggan dapat dianggap terputus-putus.
Mengenali lebih dari beberapa gejala ini di organisasi Anda adalah alasan untuk khawatir: Kemungkinan besar ada masalah kualitas data. Pelajari lebih lanjut tentang membangun recommendation engine di Python melalui kursus online kami.
Cara Mengelola Data Buruk
Semoga sekarang Anda menyadari bahwa tidak semua data itu baik. Cara optimal untuk mengelola data buruk adalah mencegah kualitas yang buruk sejak sumbernya. Namun, solusi ini mungkin sulit diterapkan jika Anda sudah berhadapan dengan data yang buruk.
Langkah-langkah berikut dirancang untuk membantu Anda mengelola data buruk jika Anda sudah mengumpulkan data yang buruk:
Langkah 1: Terima kenyataan
Anda memiliki data yang buruk. Terimalah. Jika Anda gagal mengenali data buruk sebagai masalah, maka sangat kecil kemungkinan Anda bersedia mengambil langkah untuk memperbaikinya.
Langkah 2: Perbarui data buruk Anda
Menggunakan pengetahuan Anda tentang cara mengidentifikasi data buruk, data Anda harus dibersihkan – ini kemungkinan mencakup memperbarui catatan yang ada.
Langkah 3: Perkenalkan program kualitas data
Program kualitas data digunakan untuk mengurangi risiko kesalahan sekaligus menetapkan proses yang umum dan andal untuk mendukung penggunaan dan produksi data.
Langkah 4: Perbaiki teknik pengumpulan data
Terapkan teknik yang lebih baik untuk memperoleh data: ini mungkin melibatkan menahan diri untuk tidak meminta informasi jika tidak diperlukan dan memberikan penjelasan mengapa Anda memerlukan data tertentu, bagaimana Anda bermaksud menggunakannya, dan apa manfaatnya bagi pelanggan jika mereka membagikan data mereka kepada Anda.
Langkah 5: Edukasi orang-orang di sekitar Anda
Untuk mengelola data dengan lebih baik, karyawan harus mengetahui cara mengumpulkan, menangani, membuang, dan mengelola data.
Kunci mengelola data buruk adalah menanganinya di sumbernya. Jika Anda sudah mengumpulkan data yang buruk, Anda harus menerima bahwa data Anda buruk lalu melakukan pembersihan dan pembaruan data sesuai kebutuhan. Setelah Anda merapikan data, penting untuk mengurangi risiko menghadapi masalah serupa lagi dengan memperkenalkan program kualitas data yang meningkatkan teknik manajemen data organisasi Anda. Apakah Anda memiliki Keterampilan Data yang memadai? Anda dapat mempelajari cara menjawab pertanyaan dunia nyata menggunakan data melalui jalur keterampilan Data Skills for Business dari DataCamp.
FAQ Data Buruk
Apa itu kualitas data?
Kualitas data adalah ukuran kondisi data berdasarkan akurasi, kelengkapan, konsistensi, keandalan, dan apakah data diperbarui.
Apa saja penyebab umum masalah kualitas data?
Masalah kualitas data dapat muncul karena beberapa faktor, namun tiga penyebab utama yang berdampak langsung pada efisiensi operasional adalah: 1) kesalahan manusia, 2) sistem yang terpisah-pisah, dan 3) data tidak valid.
Apa konsekuensi dari data buruk?
Kualitas data yang buruk dapat merusak bisnis Anda secara serius karena merupakan hambatan besar. Biaya dari data yang buruk mencakup wawasan yang cacat, biaya finansial yang tinggi, masalah migrasi, dan menurunnya efisiensi organisasi.
Bagaimana Anda tahu jika data Anda buruk?
Tanda peringatan yang menunjukkan Anda memiliki data buruk meliputi:
- Pertanyaan yang sama menghasilkan jawaban berbeda
- Wawasan terlambat hadir / Peluang terlewat
- Upaya dan waktu berlebihan dibutuhkan untuk tugas remeh
- Keluhan pelanggan tentang pengetahuan karyawan atas transaksi sebelumnya
- Ketidaksepakatan antar tim mengenai kinerja organisasi
- Kegagalan konsisten pada aktivitas migrasi data akibat data yang buruk
- Angka kinerja tidak andal meskipun memiliki banyak data warehouse dan data lake
- Karyawan tidak mempercayai sistem – sehingga mereka memelihara penyimpanan data sendiri.
- Menganalisis data sulit
- Informasi penting hilang
Topik
