Seperti Apa Infrastruktur Data yang Matang

Kondisi transformasi digital berbasis data

Seiring organisasi menjalani transformasi digital yang dipercepat di tengah pandemi COVID-19, urgensi memanfaatkan data, machine learning, dan analitik menjadi semakin penting.

Survei Global McKinsey 2020 tentang Kondisi Kecerdasan Buatan melaporkan bahwa 50% bisnis telah mengadopsi kecerdasan buatan setidaknya pada satu fungsi bisnis, dan 22% organisasi mengatribusikan sedikitnya 5% laba sebelum bunga dan pajak pada inisiatif kecerdasan buatan.

Namun, untuk membuka nilai data dan kecerdasan buatan dalam skala besar, organisasi harus mendemokratisasi data mereka dan membuka kefasihan data di seluruh organisasi. Salah satu caranya adalah dengan menyediakan akses ke data tepercaya dan dapat ditindaklanjuti di berbagai tim dan tingkat keterampilan sehingga semua orang dapat membuat keputusan bisnis yang berlandaskan data.

Infrastruktur data sebagai inti demokratisasi data

Sebelum mencapai kefasihan data, organisasi perlu menata fondasinya dengan benar. Ini dimulai dengan memahami bagaimana data mengalir di dalam organisasi dan kemudian membangun menuju infrastruktur data yang tertata dan terpadu.

Dalam sebuah webinar tentang tren dan prediksi data 2021, Ramnath Vaidyanathan, Wakil Presiden Riset Produk di DataCamp, menggambarkan bagaimana data biasanya mengalir melalui sebuah organisasi. Aliran ini memerlukan alat rekayasa data untuk menerima data mentah, mengimpor dan mentransformasikannya, menyimpannya di lokasi terpusat, serta menghasilkan wawasan data dalam bentuk dasbor dan laporan, keluaran machine learning, dan lainnya.

Penskalaan akses ke data dalam organisasi sangat bergantung pada keberadaan arsitektur infrastruktur data yang kokoh dan penggunaan perangkat infrastruktur data terbaru, yang memungkinkan organisasi mengubah data mentah menjadi wawasan data yang mudah diakses dan bernilai.

Kondisi perangkat infrastruktur data

Pentingnya infrastruktur dan perangkat data tercermin dari pertumbuhan dan evolusi pasar infrastruktur data yang pesat. Banyak solusi dirancang untuk merapikan pekerjaan pada elemen tertentu dari infrastruktur data organisasi, sehingga menghasilkan lanskap perangkat yang semakin terfragmentasi dan menantang untuk dinavigasi.

Visual berikut yang dibuat oleh Dataiku secara tepat menggambarkan bagaimana pasar infrastruktur data telah tersegmentasi ke dalam banyak kategori yang rinci, dengan daftar solusi yang bersaing dan terus bertambah dalam setiap segmen.

Sumber: Dataiku

Masa depan perangkat infrastruktur data

Menjelang akhir tahun lalu, Andreessen Horowitz berupaya memberi kejelasan pada lanskap infrastruktur data yang membingungkan ini dengan mengembangkan kerangka arsitektur terpadu. Dengan kebutuhan yang kian meningkat untuk mengelola data dalam volume besar dan banyaknya solusi yang tersedia, kerangka ini menawarkan rujukan praktis saat memodernisasi, memetakan, dan membangun tumpukan data organisasi.

Sumber: Andreessen Horowitz

Seiring ruang dan tren ini berkembang, kita akan melihat konsolidasi dan standardisasi berbagai alat dalam tumpukan infrastruktur data. Bersama adopsi cloud, alat penemuan data, dan platform tata kelola data terpusat, hal ini akan memungkinkan organisasi menyediakan akses data yang dapat diskalakan di seluruh tim dan fungsi.

Lantas, apa yang diberikan oleh infrastruktur data masa depan yang ideal? Menurut Maksim Pecherskiy, Data Engineer di Bank Dunia dan mantan CDO kota San Diego, data harus terkumpul, dapat ditemukan, andal, dipahami, patuh, dan dapat ditindaklanjuti. Pada akhirnya, tujuannya adalah membuat data dapat digunakan dan tepercaya, yang pada gilirannya mendorong kefasihan data di seluruh organisasi.

Infrastruktur data yang matang mencakup adopsi cloud, alat penemuan data, dan platform tata kelola data terpusat

Seiring perangkat infrastruktur data matang di sekitar demokratisasi data pada 2021 dan seterusnya, adopsi dan pertumbuhan teknologi berikut juga akan meningkat:

1. Adopsi Cloud

Penggunaan teknologi cloud menjadi hal yang lumrah, terutama menyusul percepatan transformasi digital berbasis data yang kita lihat pada 2020.

Selain meningkatkan penyimpanan dan akses data, solusi cloud juga menawarkan banyak produk yang mudah digunakan untuk mengumpulkan, mengimpor, mentransformasikan, menyimpan, dan menciptakan wawasan dari data.

Ada banyak penyedia di ranah platform cloud, dan salah satu pemain kuncinya adalah Amazon Web Services (AWS), yang memiliki lebih dari 100 produk yang memungkinkan perusahaan memaksimalkan data mereka dengan kecepatan tinggi, dalam skala besar, dan dengan biaya rendah.

2. Alat Penemuan Data

Penskalaan infrastruktur data akan krusial seiring tabel, laporan, dan model data ditambahkan ke lanskap data organisasi. Para pemangku kepentingan harus dapat dengan mudah menemukan data dan wawasan yang andal, dipahami, patuh, dan dapat ditindaklanjuti untuk menghasilkan kinerja terbaik.

Untuk mengatasi tantangan ini, (juga disebut sebagai alat manajemen metadata atau katalog data) dapat berfungsi sebagai mesin pencari serbaguna bagi himpunan data ini di dalam organisasi. Metadata pada dasarnya merujuk pada sekumpulan data yang mendeskripsikan data tertentu, dan bermanfaat untuk mengindeks beragam jenis data yang tersedia.

Lyft membuka sumber alat penemuan data mereka sendiri, Amundsen, untuk menawarkan solusi mesin metadata yang bertujuan membantu organisasi menemukan, memahami, berbagi, dan memercayai data yang mereka gunakan untuk analisis. Kapabilitas ini sangat penting bagi organisasi mana pun yang ingin meningkatkan kompetensi datanya.

3. Platform Tata Kelola Data Terpusat

Seperti disebutkan sebelumnya, membangun kepercayaan pada data sangat penting untuk mendorong demokratisasi data. Di sinilah tata kelola data berperan besar. Dengan volume dan ragam data yang terus bertambah, pengawasan terpusat atas kualitas, konsistensi, dan relevansi data menjadi krusial.

Layanan platform tata kelola data terpusat yang ditawarkan oleh perusahaan seperti Collibra dan Alation membantu organisasi mengelola ketersediaan, konsistensi, dan integritas data mereka secara efektif. Hal ini kemudian memungkinkan semua pemangku kepentingan bekerja dari satu sumber kebenaran yang tepercaya.

Mematangkan infrastruktur data hanyalah salah satu tren data yang kami perkirakan untuk 2021 dan seterusnya. Untuk informasi lebih lanjut, unduh kertas putih kami tentang Tren dan Prediksi Data 2021: Tahun Kefasihan Data atau tonton webinar kami.