Kursus
Pengantar Python
4 jam
7.1M
Ilmu data terus berkembang, begitu pula jabatan dan peran dalam tim data modern. Pada masa awal ilmu data, banyak jabatan mengandung istilah “big data”.
Dalam dua tahun terakhir, seiring pembelajaran mesin semakin teroperasionalisasi, MLOps mulai muncul di berbagai jabatan. Dan saat ini, ketika organisasi semakin maju dalam literasi data dan kematangan analitik, kita melihat meningkatnya peran analytics engineering.
Singkatnya, analytics engineer bertindak sebagai jembatan antara fungsi engineering dan analis. Peran mereka adalah menerapkan praktik terbaik rekayasa untuk menyediakan set data yang bersih dan tertransformasi, siap untuk dianalisis.
Artikel ini bertujuan menjelaskan apa itu analytics engineer dan apa yang mereka lakukan, membandingkan peran ini dengan peran data umum lainnya, serta menyediakan sumber daya untuk memulai karier di analytics engineering.
Apa Itu Analytics Engineer?
Dataform memberikan analogi yang sangat bagus tentang bagaimana analytics engineer cocok dalam tim data yang lebih luas, menggunakan contoh yang familier—lemari. Ingat analogi ini saat kita menelaah mengapa peran analytics engineer kian dibutuhkan.
“Data engineer membangun lemari, mereka mengumpulkan kayu dan peralatan lalu merakitnya. Analytics engineer membuka lemari itu dan mulai memasukkan piring, cangkir, dan mangkuk, kemudian menatanya menurut urutan tertentu. Ini bisa berupa penataan berdasarkan warna, bentuk, atau ukuran. Data analyst lalu masuk ke lemari dan mereka tahu letak semuanya karena tertata rapi. Mereka bisa mengambil cangkir biru kecil yang mereka cari dan membuat secangkir teh!”
Josie Hall, Program Manager at Google
Sebelum munculnya analytics engineering, data analyst menggunakan alat visualisasi seperti Tableau atau Power BI untuk menyajikan insight kepada pemangku kepentingan. Alat ini sangat baik untuk menampilkan data tetapi bukan cara terbaik untuk mentransformasi dan menyimpan data.
Bayangkan skenario ketika seorang data engineer menerapkan pipeline data yang memuat data pemasaran, tetapi kualitas datanya kurang. Hanya data analyst di tim pemasaran yang memiliki pengetahuan domain untuk mentransformasi dan meningkatkan kualitas data tersebut. Namun, mereka tidak akan menggunakan tumpukan teknologi yang sama dengan data engineer.
Sementara itu, data engineer tidak memiliki pengetahuan domain untuk cepat memahami transformasi apa yang dibutuhkan dan kemungkinan besar kewalahan dengan tugas prioritas lebih tinggi dari berbagai lini bisnis. Akibatnya, analis mungkin harus mentransformasi data di Tableau atau Power BI dengan membangun tabel sementara mereka sendiri di database relasional. Ini menghasilkan waktu menuju insight yang tidak efisien dan lebih lambat.
Di sinilah analytics engineer berperan. Analytics engineer berada di antara data analyst dan data engineer. Dalam skenario di atas, mereka memiliki keterampilan teknis untuk mengoptimalkan transformasi data, sekaligus pengetahuan domain.
Dengan bekerja erat bersama data analyst, analytics engineer dapat menyajikan data yang bersih untuk digunakan analis dengan mentransformasi data menggunakan alat dan teknologi yang tepat.
Bagaimana Perbedaan Analytics Engineer dari Peran Data Lain?
Batas antara peran-peran ini samar, jadi bagaimana analytics engineer berbeda dari peran data lainnya, dan apakah mereka bekerja sama?
Analytics Engineer vs Data Analyst
Data analyst bertanggung jawab menganalisis data dan melaporkan insight dari analisis mereka. Mereka memahami alur kerja analisis data secara mendalam dan melaporkan insight melalui kombinasi alat berbasis kode dan non-kode. Data analyst umumnya sangat mahir dalam SQL dan alat business intelligence seperti Power BI atau Tableau, dengan penggunaan terbatas alat seperti R atau Python.
Analytics engineer bekerja dengan data analyst untuk mengoptimalkan model data yang siap dikonsumsi. Mereka juga bertanggung jawab memelihara dokumentasi seputar data, yang memungkinkan data analyst menemukan insight lebih cepat.
Analytics Engineer vs Data Engineer
Data engineer bertanggung jawab memastikan data yang tepat sampai ke tangan orang yang tepat. Mereka membuat dan memelihara infrastruktur serta pipeline data yang membawa terabita data mentah dari berbagai sumber ke satu lokasi terpusat berisi data bersih dan relevan untuk organisasi.
Memang, definisi ini memiliki tumpang tindih yang besar dengan peran analytics engineering. Namun, merujuk kembali pada contoh lemari, data engineer bertanggung jawab memastikan analytics engineer memiliki sumber data yang tepat untuk diatur dan dimodelkan agar dapat dikonsumsi oleh data analyst dalam tim data.
Selain itu, data engineer bertanggung jawab menyiapkan API kustom dan pipeline ETL dari sumber proprietari—sementara analytics engineer lebih banyak memusatkan waktu pada peningkatan pipeline dari vendor API seperti Google Analytics.
Analytics Engineer vs Data Scientist
Data scientist menyelidiki, mengekstrak, dan melaporkan insight bermakna dari data organisasi. Mereka mengomunikasikan insight ini kepada pemangku kepentingan non-teknis dan memiliki pemahaman yang baik tentang alur kerja pembelajaran mesin serta bagaimana mengaitkannya dengan aplikasi bisnis. Mereka hampir sepenuhnya bekerja dengan alat berbasis kode seperti SQL, Python, dan R, melakukan analisis, dan sering bekerja dengan alat big data.
Hubungan antara data scientist dan analytics engineer mirip dengan hubungan antara data analyst dan analytics engineer. Analytics engineer memungkinkan data scientist lebih fokus pada insight dan lebih sedikit pada pembersihan serta pengoptimalan set data.
Analytics Engineer vs Machine Learning Engineer
Machine learning engineer merancang dan menerapkan sistem pembelajaran mesin yang membuat prediksi dari data organisasi. Mereka menyelesaikan masalah seperti memprediksi churn pelanggan dan nilai seumur hidup, serta bertanggung jawab menerapkan model untuk digunakan organisasi. Mereka bekerja sepenuhnya dengan alat berbasis kode dan jauh lebih berfokus pada teknologi dibanding rekan-rekannya.
Analytics engineer jauh lebih berfokus pada pemberdayaan data analyst dan data scientist, yang bertanggung jawab menyampaikan insight kepada pemangku kepentingan bisnis.
Perbandingan Pekerjaan Analytics Engineer
|
Data Analyst |
Data Engineer |
Data Scientist |
Machine Learning Engineer |
Analytics Engineer |
|
Menganalisis data dan melaporkan insight kepada pemangku kepentingan Membangun dasbor yang dikonsumsi oleh organisasi secara luas Memanfaatkan keahlian materi dan pengetahuan domain untuk rekomendasi |
Membangun dan memelihara pipeline data ETL menggunakan API vendor dan proprietari Mengoptimalkan dan memusatkan data di data lake atau gudang data Mengalirkan data ke pipeline pembelajaran mesin Memproses data di cloud |
Menganalisis data dan melaporkan insight kepada pemangku kepentingan Merancang eksperimen seperti uji A/B Menerapkan dasbor yang dikonsumsi oleh organisasi secara luas Mengembangkan alur kerja pembelajaran terawasi dan tidak terawasi Menganalisis tipe data non-standar seperti deret waktu, teks, geospasial, atau data citra |
Melatih dan menerapkan model pembelajaran mesin Memantau dan meningkatkan kinerja model pembelajaran mesin di produksi Menerapkan praktik terbaik rekayasa perangkat lunak pada alur kerja pembelajaran mesin (CI/CD) |
Mengoptimalkan pipeline yang dibangun oleh data engineer agar siap dikonsumsi Menerapkan praktik terbaik engineering pada model data yang digunakan oleh data analyst dan data scientist Mengembangkan, menstandarkan, dan meningkatkan dokumentasi tentang data |
|
R atau Python SQL, Power BI, Tableau |
R atau Python SQL Git, Shell dan alat baris perintah Alat big data seperti Airflow atau Spark Alat berbasis cloud seperti AWS, Azure, GCP, atau Snowflake |
R atau Python SQL Git, Shell, dan alat baris perintah Alat big data seperti Airflow atau Spark |
R atau Python SQL Git, Shell, dan alat baris perintah Alat big data seperti Airflow atau Spark |
R atau Python SQL Git, Shell, dan alat baris perintah Alat berbasis cloud seperti AWS, Azure, GCP, Snowflake atau dbt |
Gaji Analytics Engineer
Peran analytics engineer masih baru, yang berarti hanya sedikit orang di pasar dengan perpaduan tepat antara kemampuan engineering dan keterampilan analitik yang diperlukan untuk sukses dalam peran ini. Hal ini membuat peran analytics engineer sangat menarik dari sisi kompensasi. Di bawah ini adalah kisaran gaji yang dapat Anda harapkan untuk peran analytics engineering di Amerika Serikat.
- Glassdoor: Menurut Glassdoor, Analytics Engineer berpenghasilan rata-rata $91.080 per tahun. Selain itu, tergantung lokasi dan perusahaan, gaji dapat mencapai hingga $208.000 per tahun.
- Comparably: Menurut Comparably, Analytics Engineer berpenghasilan rata-rata $100.305 per tahun. Selain itu, tergantung lokasi dan perusahaan, gaji dapat mencapai hingga $185.000 per tahun.
Walau angka di atas mewakili kisaran kasar untuk berbagai peran analytics engineering, perlu dicatat juga bahwa perusahaan dengan kematangan data tinggi seperti Netflix membayar di kisaran teratas pasar kompensasi untuk peran data. Misalnya, menurut levels.FYI, Analytics Engineer di Netflix berpenghasilan hingga $375.000 per tahun.
Bagaimana Menjadi Analytics Engineer?
Seiring peran data makin terspesialisasi, jalur peningkatan keterampilan juga kian menyempit. Berbeda dengan banyak peran data yang dibahas di atas, analytics engineer memerlukan seperangkat keterampilan luas yang menuntut mereka mempelajari alat dan konsep seperti berikut ini
SQL
SQL bisa dibilang salah satu alat yang paling banyak digunakan di seluruh analitik untuk berbagai peran data. Untungnya, ini juga salah satu yang termudah untuk dipelajari dan dikuasai. Lihat artikel ini untuk mengetahui cara belajar SQL, beserta sumber belajar tambahan di sini.
- Career Track: Data Analyst in SQL
- Skill Track: SQL Fundamentals
Python
Python adalah bahasa pemrograman serbaguna yang saat ini menjadi yang paling populer. Baik untuk peran analytics engineering maupun peran data lain yang disebutkan di atas, Python pasti berguna. Temukan semua sumber yang Anda perlukan untuk belajar Python di sini dan mulai dengan kursus berikut.
- Career Track: Python Programmer
- Career Track: Data Analyst with Python
Alat ETL
ETL adalah singkatan dari “Extract, Transform, and Load”. Ini adalah alat yang memungkinkan engineer menyiapkan pipeline data yang mengekstrak data dari berbagai sumber, mentransformasikannya menjadi data yang siap dikonsumsi, dan memuatnya ke dalam database. Salah satu alat ETL open-source paling populer adalah Airflow. Lihat Airflow secara langsung dalam kursus ini.
Alat Komputasi Cloud
Istilah “alat komputasi cloud” memang merupakan istilah payung, namun analytics engineer dan peran data lainnya kerap memanfaatkan layanan komputasi cloud seperti AWS, Azure, Google Cloud, atau Snowflake secara rutin. Alat-alat ini memungkinkan tim data untuk menyimpan, memproses, dan menerapkan data serta solusi data di cloud. Alat komputasi cloud yang paling populer adalah AWS. Anda dapat mempelajari lebih lanjut tentang AWS dengan melihat Kursus AWS dari DataCamp di bawah ini.
- Course: AWS Cloud Concepts
- Course: Introduction to AWS Boto in Python
Version Control
Version control bisa dibilang adalah tulang punggung praktik terbaik rekayasa perangkat lunak. Singkatnya, ini memungkinkan praktisi melacak apa yang mereka lakukan dan kapan, membatalkan perubahan yang tidak diinginkan, serta berkolaborasi dalam skala besar dengan orang lain.
Alat baris perintah seperti Git memungkinkan Anda menerapkan praktik terbaik version control. Pelajari lebih lanjut tentang Git dengan melihat lembar contekan ini!
Keterampilan Komunikasi
Walau setiap peran data membutuhkan keterampilan komunikasi hingga tingkat tertentu, analytics engineering memerlukan tingkat keterampilan komunikasi yang sama seperti peran data analyst, di samping kemampuan teknis seorang data engineer. Menjadi komunikator yang lebih baik adalah keterampilan, bukan bakat. Lihat Data Communication Concepts untuk meningkatkan keterampilan komunikasi teknis Anda.
Jadilah Analytics Engineer
Analytics Engineering, seperti halnya MLOps, masih sangat baru. Untuk tetap selangkah di depan, lihat sumber daya di bawah ini.
