Rekayasa data tetap menjadi prioritas utama bagi perusahaan, dan pada 2021 akan ada perkembangan menarik di ranah infrastruktur data. Dalam sebuah webinar baru-baru ini, Maksim Percherskiy, Data Engineer di The World Bank dan mantan Chief Data Officer Kota San Diego, menyoroti tiga tren yang perlu diperhatikan khususnya: platform orkestrasi data, mesin penemuan data, dan data lakehouse.
Platform orkestrasi data
Meskipun platform orkestrasi telah ada selama bertahun-tahun untuk mengelola sistem komputer dan perangkat lunak, orkestrasi data adalah konsep yang relatif baru yang melakukan abstraksi akses data di berbagai sistem penyimpanan, memvirtualisasi data, dan menyajikan data kepada aplikasi berbasis data. Platform orkestrasi data membantu perusahaan menjadi lebih berbasis data dengan menggabungkan data yang terkotak-kotak dari berbagai lokasi penyimpanan dan membuatnya dapat digunakan. Contohnya termasuk Apache Airflow, Prefect, Luigi, dan Stitch, yang kompatibel dengan pendekatan perangkat lunak modern seperti version control, DevOps, dan continuous integration.
Kursus DataCamp Introduction to Airflow in Python adalah titik awal yang sangat baik untuk mempelajari cara mengimplementasikan dan menjadwalkan ETL serta alur kerja rekayasa data dengan cara yang mudah dan dapat diulang.
Mesin penemuan data
Masuk akal bahwa seiring meningkatnya data, perusahaan akan menginvestasikan lebih banyak waktu untuk membantu tim mereka menemukan data yang dibutuhkan, mendokumentasikannya, dan mengurangi pekerjaan ulang. Mesin penemuan data seperti Amundsen milik Lyft dan Databook milik Uber bertujuan meningkatkan produktivitas pengguna data dengan menyediakan antarmuka pencarian untuk data. Alat-alat ini bergantung pada metadata, yang mendukung produktivitas dan kepatuhan dengan memungkinkan infrastruktur data dapat diskalakan seiring pertumbuhan perusahaan. Tujuan penemuan data adalah membuat data semakin FAIR: findable, accessible, interoperable, dan reusable.
Data lakehouse
Ada berbagai kasus penggunaan untuk data lake versus data warehouse. Keduanya dirancang untuk tujuan dan pengguna akhir yang berbeda. Misalnya, data warehouse biasanya digunakan oleh analis untuk tujuan mengumpulkan business intelligence—mereka berisi file datar yang telah diproses secara khusus untuk pekerjaan mereka. Di sisi lain, data lake disiapkan dan dikelola oleh data engineer yang mengintegrasikannya ke dalam pipeline data. Data scientist bekerja lebih dekat dengan data lake karena data tersebut mencakup cakupan yang lebih luas dan lebih mutakhir.
Data lakehouse persis seperti namanya: kombinasi antara data lake dan data warehouse. Platform seperti Snowflake dan Delta Lake milik Databrick telah menciptakan solusi untuk menyediakan single source of truth bagi data yang menggabungkan manfaat data lake dan data warehouse. Data lakehouse menerapkan struktur data dan fitur manajemen dari data warehouse pada data lake, yang umumnya lebih hemat biaya untuk penyimpanan data. Pada saat yang sama, mereka mempertahankan skema dan versi data. Dengan data lakehouse, data scientist akan dapat melakukan pembelajaran mesin sekaligus business intelligence.
Sumber: Databricks
Ketiga tren ini akan krusial bagi perusahaan untuk menskalakan infrastruktur data pada 2021. Tren ini bermanfaat bagi perusahaan yang dibangun berlandaskan data maupun bagi yang masih berjuang mengintegrasikan data secara berkelanjutan ke dalam alur kerja mereka. Pelajari lebih lanjut tantangan yang dihadapi perusahaan besar untuk mengoperasionalkan data mereka dan menjadi berbasis data.
