Organisasi yang paling sukses saat ini sangat bergantung pada data untuk mengambil keputusan. Banyak organisasi yang fasih data menghasilkan jutaan baris data setiap hari yang digunakan dan dianalisis oleh berbagai tim. Salah satu tantangan utama untuk membekali tim dengan kemampuan mengakses dan bekerja dengan data adalah memastikan data dikumpulkan, tepercaya, andal, dapat ditindaklanjuti, dan mudah ditemukan.
Untuk menavigasi lanskap data yang kompleks ini, banyak organisasi telah mengembangkan dan membuka sumber teknologi internal yang disebut alat penemuan data.
Dalam sebuah webinar terbaru, Ramnath Vaidyanathan, VP of Product Research di DataCamp, menjelaskan bagaimana organisasi dapat beralih dari reaktif terhadap data, di mana tidak ada yang memiliki keterampilan atau akses untuk bekerja dengan data, menjadi fasih data, di mana setiap orang memiliki akses dan keterampilan untuk bekerja dengan data dan mengambil keputusan berbasis data. Organisasi dapat meningkatkan kematangan data mereka melalui investasi pada kerangka IPTOP: infrastruktur, people (SDM), tools (alat), organisasi, dan proses. Saat organisasi memperluas akses ke data melalui investasi pada infrastruktur data, mereka perlu menyediakan kemudahan penemuan data dengan alat penemuan data.
Data tidak berguna jika orang tidak dapat mengaksesnya, jika mereka tidak memahami konteks data yang dikumpulkan, dan jika mereka tidak dapat menemukan apa yang mereka butuhkan. Inilah mengapa alat penemuan data sangat krusial. Ramnath Vaidyanathan, VP of Product Research di DataCamp
Bagaimana perusahaan yang fasih data menggunakan alat penemuan data
Banyak perusahaan berbasis data telah menerapkan alat penemuan data dalam infrastruktur data mereka. Mari kita telaah motivasi dan pendorong di balik alat penemuan data terkemuka seperti Uber Databook dan Lyft Amundsen.
Tantangan penemuan data yang perlu dipertimbangkan
Salah satu tantangan utama dalam penemuan data adalah produktivitas dan kepatuhan. Lyft menguraikan bahwa mereka menghadapi tantangan ini seiring ukuran datanya tumbuh secara eksponensial dan diproyeksikan terus tumbuh pada laju serupa setidaknya selama 10 tahun ke depan. Saat mengembangkan Amundsen, mereka mencatat sekitar 25% waktu analis dihabiskan untuk penemuan data. Mereka juga melihat tuntutan kepatuhan yang semakin ketat di negara-negara tempat mereka beroperasi.
Uber menyampaikan kekhawatiran serupa saat mulai berekspansi melampaui fungsi utamanya sebagai aplikasi ride-sharing ke layanan seperti Uber Eats, Uber Freight, dan Jump Bikes. Saat mengembangkan Databook, Uber memiliki lebih dari 15 juta perjalanan per hari dan 18.000 karyawan di berbagai tim. Tantangan lainnya adalah data mereka berada dalam berbagai bentuk termasuk Hive, Presto, dan Vertica. Analis perlu dapat mengakses dan memahami berbagai sumber data secara efisien untuk mencapai kefasihan data.
Facebook membangun platform penemuan data Nemo untuk memenuhi kebutuhan akan data berkualitas tinggi dan tepercaya seiring ukuran dan kompleksitas data meningkat lintas peran dan lokasi geografis. Karena kekhawatiran privasi yang terkait dengan data yang mereka analisis, Facebook juga menghadapi isu kepatuhan signifikan yang harus ditangani saat menawarkan tabel kepada analis tertentu.
John Bodley dari Airbnb mengatakan dalam sebuah presentasi pada konferensi tahun 2017, “Seiring Airbnb tumbuh, begitu pula tantangan terkait volume, kompleksitas, dan ketaksaan data.” Ini berarti karyawan sering kali mendapati data “tersilokan, tidak dapat diakses, dan kurang konteks.” Akibatnya, karyawan membuat tabel duplikat dan tidak menggunakan data jika mereka tidak mempercayainya. Airbnb mengembangkan Dataportal untuk membantu membuat proses penemuan data jauh lebih efisien dengan menghapus hambatan-hambatan ini terhadap analisis data yang produktif.
Tantangan-tantangan ini tersebar luas, tidak bergantung industri, dan berlaku bagi organisasi mana pun yang ingin meningkatkan pengambilan keputusan berbasis data. Kebutuhan akan data yang mudah ditemukan akan menjadi yang utama saat organisasi berupaya menjadi fasih data.
Empat tujuan utama alat penemuan data
Sekarang kita memahami tantangan penemuan data, mari lihat bagaimana berbagai alat penemuan data mengatasinya. Uber menguraikan tujuan platform penemuan data yang sukses menjadi empat komponen:
- Ekstensibilitas: Kemampuan untuk dengan mudah menambahkan metadata, penyimpanan, dan entitas ke tabel
- Aksesibilitas: Kemampuan untuk mengakses semua metadata secara terprogram
- Skalabilitas: Kemampuan untuk mendukung banyak permintaan baca secara bersamaan
- Daya: Kemampuan untuk mendukung permintaan baca dan tulis di berbagai pusat data
Pencapaian tujuan penemuan data ini meningkat seiring organisasi mematangkan kompetensi data mereka. Seiring skala data bertambah, masing-masing komponen ini menjadi semakin penting.
Lyft dan Airbnb menyediakan metadata terperinci
Tim engineering Lyft berpendapat bahwa “metadata adalah grail suci aplikasi masa depan.” Mereka membagi metadata menjadi dua subkategori. Pertama adalah himpunan data deskriptif yang terdiri dari konteks aplikasi (yaitu, apa yang perlu diketahui manusia tentang data untuk mengoperasikannya), perilaku (yaitu, siapa pemilik suatu dataset dan pola penggunaannya yang umum), dan perubahan (yaitu, bagaimana dataset berubah dari waktu ke waktu). Komponen kedua adalah data yang dideskripsikan, yaitu data apa pun yang disimpan di organisasi dalam format apa pun seperti penyimpanan data, dasbor, aliran data, dan lainnya.
Saat mengembangkan Dataportal, platform penemuan data Airbnb, metadata menjadi bagian integral dari nilai tambah platform terhadap pipeline data. Sebelum Dataportal diperkenalkan, banyak karyawan tidak mempercayai data yang mereka gunakan karena kurangnya konteks dan metadata. Airbnb berpendapat bahwa “pemahaman atas keseluruhan ekosistem data, dari produksi log peristiwa hingga konsumsinya dalam visualisasi, memberikan nilai lebih besar daripada jumlah bagian-bagiannya.”
Sumber: Airbnb
Pastikan hasil penelusuran berkualitas tinggi dengan penemuan data
Setelah konteks ini tersedia, penemuan data membutuhkan pencarian yang efektif. Tidak peduli seberapa tepercaya dan mudah dipahami setiap tabel, platform penemuan data hanya berguna jika analis dapat menemukan data yang mereka butuhkan dengan cepat.
Halaman utama Lyft Amundsen memungkinkan pengguna menelusuri tabel menggunakan kueri bahasa alami dan memberikan visibilitas terhadap tabel paling populer yang digunakan di organisasi untuk akses cepat. Selain itu, analis dapat memberikan umpan balik pada tabel untuk menyetel hasil pencarian di masa depan.
Solusi penemuan data Facebook, Nemo, memungkinkan analis memfilter berdasarkan penggunaan, pembatasan privasi, dan kebaruan data sekaligus memanfaatkan kompetensi Facebook dalam pemrosesan bahasa alami dengan memungkinkan pengguna mengetik pertanyaan di kolom pencarian untuk mendapatkan tabel yang relevan.
Uber Databook memungkinkan kemampuan pemfilteran penelusuran serupa dengan memungkinkan analis memfilter berdasarkan dimensi seperti nama, pemilik, kolom, dan kolom bertingkat. Uber memanfaatkan Elasticsearch untuk menghadirkan hasil penelusuran dengan cepat dan efektif.
Mencapai demokratisasi data melalui penemuan data
Penskalaan kefasihan data dan ketertemuan data berjalan beriringan, karena analis perlu memiliki akses mudah ke data untuk mengambil keputusan berbasis data.
Organisasi dengan kematangan data rendah sebaiknya berfokus pada pengembangan keterampilan dan budaya data serta penskalaan infrastruktur data. Namun, seiring kemajuan organisasi dalam perjalanan kematangan data dan memperluas akses data, memungkinkan penemuan data yang ekstensibel dan skalabel akan menjadi kunci untuk menjadi organisasi berbasis data. Untuk pembahasan mendalam tentang seluruh tuas untuk menumbuhkan kematangan data organisasi, tonton webinar kami tentang jalur menuju kefasihan data atau ikuti asesmen kematangan data.
