Apa Itu Data Lineage?

Bagaimana Data Lineage Mengatasi Tantangan Kepercayaan

Ketika teman Anda menyampaikan sebuah statistik yang tidak Anda percayai, Anda bisa meminta sumbernya untuk memverifikasi kebenarannya. Menelusuri informasi hingga ke sumbernya sangat penting untuk membangun kepercayaan. Prinsip yang sama berlaku untuk data.

Transparansi melalui visibilitas

Data lineage adalah riwayat lengkap data Anda, mulai dari sumber, melalui setiap transformasi, hingga titik akhir. Catatan ini memberikan gambaran yang jelas tentang perjalanan data.

Data lineage menawarkan transparansi penuh dengan mendokumentasikan setiap langkah dalam pipeline data, dari pengumpulan awal hingga analisis akhir. Visibilitas ini penting untuk membangun kepercayaan, memungkinkan para pemangku kepentingan melihat dengan tepat bagaimana data Anda diproses dan diubah.

Anggap saja ini seperti “menunjukkan cara kerja” saat pelajaran matematika. Di kelas, menunjukkan langkah-langkah pengerjaan memungkinkan guru melihat setiap tahap proses pemecahan masalah Anda dan membuktikan bahwa Anda tidak menyontek. Data lineage seperti menunjukkan langkah kerja untuk pipeline Anda.

Debugging lebih cepat dan kualitas meningkat

Menunjukkan langkah pengerjaan PR matematika juga membantu guru (dan Anda) memahami di mana letak kesalahan jika jawabannya salah. Ini dapat membantu Anda memperbaiki kesalahan dan meningkatkan pemahaman ke depannya.

Demikian pula, menunjukkan langkah kerja dalam data lineage dapat membantu Anda menemukan kesalahan dalam pipeline. Menelusuri error hingga ke sumbernya sering kali menakutkan ketika error terjadi pada data. Data lineage yang komprehensif menyederhanakan proses ini dengan memungkinkan Anda mengikuti jejak data untuk menemukan di mana hal yang salah terjadi. Dengan proses debugging yang lebih cepat, kualitas data akan meningkat, yang pada akhirnya menumbuhkan kepercayaan.

Anda dapat mempelajari lebih lanjut tentang memastikan kualitas data dalam kursus Introduction to Data Quality ini.

Mendemonstrasikan asal-usul data (data provenance)

Data provenance adalah catatan metadata mengenai garis keturunan (lineage) data. Banyak industri memiliki regulasi yang mewajibkan bukti data provenance, terutama yang menangani informasi sensitif, seperti layanan kesehatan dan keuangan.

Menunjukkan bukti data provenance melibatkan penjelasan dari mana data berasal dan bagaimana data tersebut diperlakukan. Data lineage menyediakan jejak audit yang memenuhi persyaratan ini, menunjukkan seluruh siklus hidup data. Selain membangun kepercayaan, jejak audit dapat menunjukkan kepatuhan data Anda terhadap undang-undang privasi data, kebijakan tata kelola, dan regulasi lainnya.

Data Lineage Melacak Aliran Data

Data lineage yang lengkap mencatat jalur yang dilalui data pada setiap langkah. Berikut contoh bagaimana data dapat mengalir dari sumber ke visualisasi.

Sumber Data: Apa konteksnya?

Data lineage dimulai dari sumber, yang dapat mencakup basis data, API, sensor, survei, atau titik pengumpulan data lainnya. Memahami dari mana data berasal adalah langkah pertama dan terpenting dalam menelusuri perjalanannya.

Sumber data memberikan konteks dan latar belakang bagi data. Sumber juga bisa memberi petunjuk tentang adanya bias dan keterbatasan dalam pengumpulan data.

Untuk menunjukkan pentingnya sumber data, pertimbangkan dataset hipotetis berikut dan sumbernya.

Transformasi: Bagaimana data diubah?

Saat seorang teman saya dari Amerika Serikat mengunjungi Australia, ia mengatakan kepada warga lokal bahwa di kampung halamannya saat itu suhunya lebih dari 100°. Mereka lebih kaget dari yang ia kira sampai semua menyadari bahwa AS menggunakan Fahrenheit dan Australia menggunakan Celsius. Mereka mengira maksudnya 100 °C, yang setara 212 °F! Padahal ia bermaksud 100 °F, sekitar 37 °C.

Untungnya, kesalahpahaman ini cepat teratasi karena disampaikan langsung, tetapi bayangkan skenario serupa terjadi dalam sebuah dataset. Bayangkan dataset berisi suhu yang diubah dari Fahrenheit ke Celsius, tetapi label satuannya tidak diubah, sehingga tetap tertulis Fahrenheit. Itu bisa menghasilkan hasil yang sangat aneh!

Ini menunjukkan mengapa pendokumentasian transformasi data merupakan bagian penting dari data lineage. Jika pengguna akhir data, seperti analis data, melihat hasil analisis yang tidak masuk akal (misalnya sebuah kota secara rutin mengalami suhu udara mendidih), mereka bisa dengan mudah meninjau data lineage, melihat transformasi yang tidak diberi label, dan memperbaiki masalahnya.

Saat data bergerak dari sumber ke tujuan akhir, data sering mengalami banyak transformasi, termasuk proses pembersihan, penyaringan, dan agregasi yang membentuk data sesuai tujuan penggunaannya. Namun, setiap transformasi juga mengubah cara data ditafsirkan dan perlu didokumentasikan.

Data lineage yang jelas mendokumentasikan transformasi ini, memastikan setiap perubahan tercatat dan dapat ditelusuri kembali, sehingga meningkatkan transparansi. Ini meningkatkan kepercayaan pada data Anda dan memudahkan debugging.

Tujuan: Ke mana data pergi?

Tahap terakhir dalam aliran data Anda adalah tempat data disimpan dan digunakan. Ini bisa berupa data warehouse, alat pelaporan, atau platform analitik lainnya. Data lineage melacak data hingga ke titik-titik akhir ini, memberikan gambaran lengkap tentang perjalanannya dan memastikan para pemangku kepentingan dapat mempercayai data yang mereka lihat.

Mendokumentasikan tujuan data Anda juga penting untuk tujuan keamanan, karena memberikan catatan tentang siapa yang memiliki akses ke data tertentu.

Tantangan dalam Menerapkan Data Lineage

Menyiapkan data lineage mungkin tampak mudah—cukup lacak dari mana data berasal dan apa yang dilakukan terhadapnya. Namun, ada sejumlah tantangan yang dapat memperumit proses ini. Mari kita lihat beberapa di antaranya.

Pipeline data yang kompleks

Salah satu tantangan utama dalam membuat data lineage adalah ukuran dan kompleksitas banyak pipeline data modern. Lingkungan data modern sering melibatkan aliran data rumit yang menjangkau banyak sistem dan platform. Melacak jalur terperinci ini memerlukan alat yang andal dan perencanaan yang matang.

Pipeline sederhana dengan satu sumber input dan transformasi terbatas mungkin relatif mudah dibuatkan data lineage. Namun, jika Anda memiliki pipeline kompleks dengan banyak input, banyak transformasi, dan mungkin beberapa tujuan, melacak semuanya dalam data lineage menjadi lebih rumit—namun juga semakin diperlukan.

Dokumentasi manual

Data lineage dapat didokumentasikan secara manual atau otomatis. Dokumentasi manual data lineage bisa memakan waktu dan rentan kesalahan. Melacak perpindahan dan transformasi data secara manual, terutama dalam operasi besar, tidak hanya tidak efisien tetapi juga meningkatkan risiko ketidakakuratan, yang justru merusak kepercayaan yang ingin dibangun oleh data lineage.

Untuk pipeline yang sangat kecil dan sepenuhnya dikendalikan oleh satu orang, data lineage manual mungkin sudah cukup. Namun, seiring meningkatnya kompleksitas, dokumentasi data lineage sebaiknya lebih otomatis. Pada bagian berikutnya, kami akan membahas beberapa sumber daya untuk membantu Anda melakukannya.

Integrasi dengan sistem yang ada

Jika data lineage tidak diintegrasikan sejak awal ke dalam pipeline data, mengintegrasikannya secara retroaktif dapat memakan waktu dan sumber daya. Menyesuaikan infrastruktur saat ini untuk mendukung pelacakan data lineage yang komprehensif sering kali membutuhkan perubahan signifikan, yang mungkin menjadi hambatan bagi sebagian organisasi. Inilah salah satu alasan mengapa penting untuk mengintegrasikan solusi data lineage sejak awal.

Bagaimana Cara Membangun Data Lineage?

Jika Anda tidak berencana mendokumentasikan data lineage secara manual, Anda memerlukan beberapa komponen kunci untuk membuatnya: Anda perlu mengumpulkan metadata tentang dataset Anda dan memiliki katalog untuk metadata tersebut.

Pengumpulan dan pengelolaan metadata

Metadata pada dasarnya adalah data tentang data. Ini merujuk pada informasi seperti asal-usul, struktur, transformasi, dan penggunaan data Anda. Pengelolaan metadata yang efektif mencakup pengumpulan metadata dari berbagai sumber, pelacakan transformasi data, dan pendokumentasian perpindahan data. Pengumpulan dan pengelolaan ini sering diotomatiskan, memastikan setiap perubahan tercatat dan dapat ditelusuri. Ini memberikan pandangan komprehensif atas data lineage Anda.

Katalog data

Katalog data adalah repositori komprehensif yang menyimpan metadata tentang aset data organisasi, termasuk asal-usul, transformasi, dan tujuannya. Katalog ini sering mengotomatiskan penemuan, deskripsi, dan pengorganisasian aset data, sehingga memudahkan pengelolaan data lineage, membangun kepercayaan, dan memastikan kepatuhan terhadap kebijakan tata kelola data.

Alat Data Lineage

Ada banyak alat siap pakai untuk membantu Anda melacak data lineage. Berikut daftar singkat alat populer.

Fitur data lineage yang tertanam dalam alat lain

Selain alat di atas, banyak alat ETL/ELT, alat visualisasi data, dan platform tata kelola data menyertakan fitur lineage. Alat-alat ini mengotomatiskan dokumentasi proses ekstraksi, transformasi, dan pemuatan data serta membantu memvisualisasikan aliran data lintas sistem.

Sebagai contoh, tahukah Anda bahwa Anda bisa melihat data lineage Anda di PowerBI? Coba telusuri alat yang saat ini Anda gunakan dalam pipeline data dan lihat seberapa banyak data lineage Anda yang sudah terlacak!

Membangun Solusi Data Lineage Kustom

Terkadang, solusi siap pakai kurang praktis, dan solusi yang lebih kustom lebih disukai. Jika itu kasus Anda, berikut beberapa opsi yang bisa Anda jelajahi untuk menyiapkan data lineage bagi pipeline Anda.

Dokumentasi manual

Pertama, coba dokumentasikan secara manual aliran dan transformasi data dalam sistem Anda dengan membuat catatan terperinci tentang asal-usul, proses, dan tujuan data. Metode ini mungkin cukup untuk dataset yang lebih kecil atau lingkungan data sederhana yang dikelola oleh satu orang atau tim kecil.

Namun, jika lanskap data Anda lebih besar atau lebih kompleks, Anda mungkin hanya ingin mendokumentasikan gambaran tingkat tinggi pipeline Anda secara manual untuk keperluan sendiri sehingga Anda bisa menentukan titik penambahan pelacakan lineage otomatis. Dokumentasi manual memungkinkan tingkat kustomisasi tinggi tetapi bisa menyita banyak tenaga untuk sistem yang besar.

Skrip kustom

Anda dapat mengembangkan skrip kustom menggunakan bahasa pemrograman seperti Python untuk menangkap dan mencatat transformasi serta perpindahan data. Skrip ini dapat diintegrasikan ke dalam pipeline pemrosesan data untuk mengotomatiskan sebagian proses dokumentasi. Pendekatan ini berguna bagi organisasi dengan kebutuhan khusus yang tidak sepenuhnya terpenuhi oleh alat yang ada atau yang memiliki kompleksitas data sedang.

Trigger basis data

Menerapkan trigger basis data untuk secara otomatis mencatat perubahan dan perpindahan data di dalam basis data adalah teknik lain yang bisa Anda terapkan. Trigger ini dapat mencatat setiap operasi insert, update, atau delete yang dieksekusi pada basis data, menyediakan log evolusi data dari waktu ke waktu. Teknik ini ideal bagi organisasi dengan lanskap data besar dan kompleks di mana pelacakan perubahan data secara real-time sangat krusial.

Version control untuk data

Anda mungkin sudah akrab dengan version control sebagai cara melacak garis keturunan versi kode. Praktik version control serupa juga dapat digunakan untuk data. Dengan melacak versi dataset dan mendokumentasikan perubahan antarversi tersebut, Anda dapat menelusuri data lineage dari waktu ke waktu. Alat seperti Git dapat diadaptasi untuk versioning data. Metode ini sangat bermanfaat bagi organisasi yang perlu menjaga integritas data historis dan melacak perubahan dalam jangka panjang.

Alat visualisasi kustom

Anda dapat membuat visualisasi kustom untuk memetakan data lineage menggunakan pustaka visualisasi jaringan seperti networkx di Python. Dengan pustaka ini, Anda dapat menghasilkan diagram yang merepresentasikan aliran dan transformasi data, sehingga lebih mudah memahami dan melacak data lineage. Pendekatan ini cocok bagi organisasi yang membutuhkan visualisasi yang sangat disesuaikan dan memiliki keahlian teknis untuk mengembangkan solusi kustom tersebut.

Repositori metadata

Jika Anda melacak banyak metadata, masuk akal untuk menyiapkan repositori metadata terpusat untuk menyimpan semua metadata terkait aset data Anda. Repositori ini dapat dibangun menggunakan basis data relasional atau solusi NoSQL dan sebaiknya dirancang agar mudah berintegrasi dengan sistem pemrosesan data untuk menjaga metadata tetap mutakhir.

Pendekatan ini ideal bagi organisasi dengan aset data yang luas dan beragam yang membutuhkan solusi manajemen metadata yang skalabel dan fleksibel. Untuk memulai, lihat OpenMetadata untuk beberapa alat open-source.

Data Lineage vs. Dokumentasi Kode

Saya sering menulis tentang pentingnya dokumentasi dalam kode, dan itu beralasan. Dokumentasi adalah bagian krusial dari praktik pengkodean yang baik. Data lineage penting karena banyak alasan yang sama dengan dokumentasi kode. Dalam banyak hal, Anda dapat memandang data lineage seperti dokumentasi—jejak bukti yang mendokumentasikan setiap langkah yang dilalui data Anda.

Namun, berbeda dengan dokumentasi kode, data lineage sering mengandalkan metadata dan otomasi untuk pembuatannya. Sementara dokumentasi sering dilakukan secara manual (atau oleh AI saat ini), data lineage sering terlalu kompleks dan besar untuk dikerjakan secara manual.

Dokumentasi juga sering muncul dalam bentuk komentar di dalam kode, bersama dengan berkas README. Data lineage sering divisualisasikan melalui diagram dan laporan otomatis untuk memahami aliran data dalam sistem Anda.

Data Lineage vs. Tata Kelola Data

Data lineage dan tata kelola data adalah konsep yang saling terkait dalam manajemen data. Data lineage menelusuri perjalanan data melalui transformasi dan sistem, menyediakan catatan historis yang memastikan transparansi dan keterlacakan. Sementara itu, tata kelola data mencakup kebijakan dan standar yang lebih luas untuk kualitas, keamanan, dan kepatuhan data. Data lineage dapat mendukung penegakan kebijakan tata kelola data.

Organisasi dapat meningkatkan upaya tata kelola dengan memanfaatkan alat dan teknik data lineage, memastikan integritas data dan kepatuhan terhadap persyaratan regulasi. Bersama-sama, data lineage dan tata kelola membentuk pendekatan komprehensif untuk mengelola dan mengamankan data.

Anda dapat mempelajari lebih lanjut tentang tata kelola data dalam kursus Data Governance Concepts. Anda juga dapat menyimak bahasan yang lebih lanjut tentang How Data Leaders Can Make Data Governance a Priority.

Kesimpulan

Seiring lanskap data menjadi semakin kompleks, data lineage semakin vital. Data lineage membangun kepercayaan dengan menyediakan transparansi, memungkinkan debugging lebih cepat, dan mendemonstrasikan asal-usul data.

Dengan kemajuan otomasi dan visualisasi, pentingnya alat data lineage akan terus meningkat, mendukung praktik tata kelola dan manajemen data yang kuat.

Jika Anda ingin belajar lebih jauh, coba kursus Understanding Data Engineering. Saya juga mendorong Anda untuk melihat Responsible AI Data Management dan Making Data Governance Fun.