Apa itu Data Engineering?

Pendahuluan

Data ada di mana-mana. Dalam beberapa tahun terakhir, dengan semakin banyaknya perangkat yang terhubung dan meluasnya penggunaan perangkat tersebut, dunia menghasilkan jumlah data yang sangat besar yang tidak lagi dapat ditangani dengan metode tradisional.

Menurut Statista, per 2021 terdapat 23,8 miliar perangkat yang terhubung ke internet dan 58% di antaranya adalah perangkat IoT (perangkat rumah pintar, mobil swakemudi yang terhubung, perangkat industri, dll.) dan 42% sisanya adalah perangkat non-IoT (laptop, ponsel pintar, dll.). Ini berarti bahwa saat ini data dapat berasal dari berbagai sumber. Beberapa di antaranya adalah:

1. Aktivitas pengguna: Setiap tindakan pengguna menghasilkan data, bahkan data yang merefleksikan di mana dan seberapa sering kita mengetuk pada aplikasi seluler yang kita gunakan pun bernilai. Setiap potongan data yang memuat informasi seperti ini perlu disimpan dan didistribusikan ke pusat data aplikasi.
2. Perangkat “Internet of Things”: Perangkat-perangkat ini menghasilkan jumlah informasi yang sangat besar, seperti data sensor yang dihasilkan di banyak lokasi berbeda. Semua data ini perlu diambil dan dikirim ke kolam data untuk analisis lebih lanjut.
3. Log program: Aplikasi komputer saat ini terdiri atas banyak komponen dan semua komponen tersebut menghasilkan log program. Log ini dikirim ke pipeline data engineering untuk dianalisis lebih lanjut.

Beragam data terstruktur yang dihasilkan dunia perlu dikirimkan ke komponen lain dalam struktur perangkat lunak, atau divisualisasikan dan ditafsirkan oleh analis bisnis dan data scientist. Namun, pengiriman ini bukan tugas yang sederhana. Ada beberapa persyaratan penting tentang cara mengirimkan data:

1. Data perlu dikirim dalam struktur yang terstandarisasi
2. Data tidak boleh menimbulkan konflik
3. Duplikasi data mungkin perlu dihapus
4. Data harus andal
5. Pengiriman data harus dilakukan dengan keterlambatan seminimal mungkin

Oleh karena itu, pengiriman informasi ini adalah proses yang kompleks dan, jika tidak dilakukan dengan benar, dapat menjadi sangat bermasalah, terutama bagi perusahaan skala menengah dan besar. Di sinilah peran data engineer menjadi penting.

Dalam artikel ini Anda akan mempelajari dasar-dasar data engineering, yaitu:

1. Apa itu data engineering dan mengapa memastikan pipeline data yang tangguh
2. Perbedaan antara data science dan data engineering
3. Alasan di balik meningkatnya popularitas data engineering
4. Keterampilan seorang data engineer yang baik
5. Bagaimana DataCamp dapat membantu Anda menjadi data engineer

Apa tanggung jawab seorang data engineer?

Sederhananya, data engineer:

1. Berupaya membuat data mudah diakses dan tersedia bagi data scientist dan insinyur business intelligence (atau siapa pun yang bekerja dengan data)
2. Mengoptimalkan arsitektur sistem big data perusahaan
3. Merancang dan mengonfigurasi basis data
4. Berbagi kolaborasi dengan tim insinyur business intelligence, data scientist, dan analis data
5. Menjelajah dan mentransformasi data Untuk melakukan semua tugas ini, data engineer pertama-tama perlu menyiapkan pipeline ETL.

Anda dapat mengetahui lebih lanjut tentang apa yang dilakukan seorang data engineer dalam artikel lengkap kami. 

Pipeline ETL

Pipeline ETL menerima data kompleks pada interval waktu tertentu dan memprosesnya dengan tujuan menyimpan data dalam bentuk yang dapat digunakan. Membuat dan memelihara pipeline ini merupakan tanggung jawab para data engineer.

Ada 3 jenis pipeline ETL:

1. Extract Sejumlah besar data yang dibuat oleh sumber data dikumpulkan dalam berbagai format.
2. Transform Karena data datang dalam format berbeda dan dari sumber yang tidak konsisten, data diproses agar menjadi seterendah mungkin tingkat ketidakseragamannya. Ini meningkatkan ketertemuan dan kegunaan data untuk langkah selanjutnya.
3. Load Setelah data berada dalam format yang mudah ditemukan dan digunakan, data biasanya disimpan di gudang data. Ini membuat data selalu tersedia untuk analisis lebih lanjut.

Gudang data

Gudang data adalah tempat data yang terstandarisasi disimpan. Gudang data dioptimalkan untuk memfilter dan membaca volume data yang besar. Di gudang data modern, baik data terstruktur maupun tidak terstruktur dapat disimpan, karena penting juga untuk menyimpan data yang tidak dapat dikategorikan, seperti foto dan video.

Data engineering vs data science

Perbedaan antara peran data engineer dan data scientist itu penting. Di satu sisi, data scientist memiliki peran penting dalam perusahaan karena mereka berkontribusi pada pengambilan keputusan berbasis data. Namun demikian, keberhasilan data scientist hanya sebaik data yang tersedia bagi mereka.

Di sisi lain, data engineer adalah pihak yang merancang sistem yang menyediakan data kepada data scientist secara terorganisasi dan konsisten. Setelah data engineer menyediakan informasi tersebut, data scientist kemudian mencoba menemukan pola dalam data untuk menarik kesimpulan, menggunakan format yang disediakan oleh data engineer.

Data engineer dan data scientist jelas bekerja sama secara erat. Kita dapat mengibaratkannya seperti pertandingan sepak bola. Dalam sepak bola, pelatihlah yang menyusun strategi untuk menciptakan peluang gol, dan pelatih yang menempatkan pemain pada posisi tertentu. Dalam konteks ini, pelatih adalah data engineer, sehingga kita dapat menganggap bahwa bola adalah data dan pemain yang mencetak gol adalah data scientist. Sisanya adalah infrastruktur.

Mengapa data engineering semakin populer?

Menurut riset yang dilakukan pada platform Burning Glass Nova, lowongan pekerjaan untuk "data engineer" meningkat sebesar 88,3% pada 2019. Menurut riset ini, permintaan untuk data engineer meningkat sejak 2016. Informasi menarik lainnya adalah jumlah lowongan untuk data engineer hampir 5 kali lebih tinggi daripada lowongan untuk data scientist. Gaji seorang data engineer juga 20–30% lebih tinggi daripada gaji data scientist.

Seperti disebutkan di atas, data scientist adalah mata rantai terakhir dalam rantai pemrosesan data. Mereka memerlukan data yang telah diproses oleh data engineer untuk dapat menjalankan pekerjaannya. Seiring bertambahnya jumlah sumber dan jenis data, kebutuhan akan data engineer semakin besar. Karena alasan ini, perusahaan belakangan ini mulai lebih banyak berinvestasi dalam ekstraksi dan distribusi data.

Pada Gambar 4.1, sebuah bagan piramida menampilkan hierarki kebutuhan data science. Dalam hierarki ini, tugas yang diberikan kepada data engineer berada di dasar piramida, yang menjelaskan betapa krusialnya peran data engineer bagi perusahaan.

Gambar 4.1: Hierarki kebutuhan data science.

Apa saja keterampilan seorang data engineer?

Keterampilan data engineer umumnya bersinggungan dengan keterampilan software engineer dan data scientist, seperti terlihat pada Gambar 5.1.

Gambar 5.1: Peran data dan himpunan keterampilan

Apakah peran data engineer lebih dekat ke software engineer atau data scientist?

Pekerjaan sebelumnya dari sekelompok data engineer ditampilkan pada Gambar 5.2. Menurut gambar ini, lebih dari 40% di antaranya memiliki latar belakang rekayasa perangkat lunak. Ini tidak hanya berarti bahwa data engineering dan software engineering ternyata jauh lebih dekat daripada yang mungkin kita pikirkan sebelumnya, tetapi juga bahwa software engineer saat ini jauh lebih mungkin beralih ke data engineering dibandingkan bidang lainnya.

Gambar 5.2: Data engineer berdasarkan peran sebelumnya (10 teratas).

Di DataCamp kami meyakini keterampilan berikut sebagai kompetensi seorang data engineer yang baik:

1. Latar belakang rekayasa perangkat lunak Data engineer perlu memiliki latar belakang rekayasa perangkat lunak, karena mereka harus menyikapi tantangan data engineering dengan pengetahuan pemrograman berorientasi objek, struktur data, dan algoritme. Data engineer harus berpengalaman dalam Python, Scala, atau Java.
2. Perangkat Data engineer perlu terbiasa dengan perangkat data engineering seperti Airflow, Apache, atau Kafka.
3. Teknologi basis data Seorang data engineer harus memiliki pengetahuan tentang berbagai jenis basis data.
4. Teknologi cloud Data engineer harus nyaman menggunakan berbagai platform cloud seperti Amazon Web Services, Google Cloud Platform, dan Microsoft Azure. Mereka juga perlu memiliki pengalaman dalam arsitektur cloud dan alat DevOps, karena mereka bertanggung jawab atas otomatisasi bagian aliran data dari sistem.

Cara mempelajari data engineering

Jika Anda ingin mengembangkan diri di bidang data engineering, Anda dapat mulai dengan menyelesaikan kursus DataCamp yang direkomendasikan berikut. Dengan menyelesaikan kursus dan proyek ini, kemungkinan Anda akan menjadi kandidat yang lebih cocok untuk magang atau posisi pekerjaan di bidang data engineering.

1. Pengantar Python
2. Python Tingkat Menengah
3. Pengantar Basis Data Relasional di SQL
4. Pengantar Scala
5. Pengantar Data Engineering
6. Pengantar Airflow di Python
7. Konsep Cloud AWS
8. Menjelajahi Jaringan Transportasi London (Proyek Snowflake, Redshift, BigQuery)
9. Membangun Pipeline Data Engineering di Python
10. Konsep NoSQL
11. ETL di Python
12. Konsep Streaming
13. Streaming Data dengan AWS Kinesis dan Lambda

Selain itu, Sertifikasi Data Engineer kami diakui industri dan memungkinkan Anda membuktikan keterampilan kepada pemberi kerja.

Jika Anda tertarik dengan jalur karier ini, Anda dapat mempelajari cara menjadi data engineer dalam artikel terpisah kami.