Tutorial Databricks: 7 Konsep Wajib Diketahui untuk Setiap Spesialis Data

Pertama, ada data warehouse. Mereka menyimpan data dalam baris dan kolom karena pada masa itu Internet dan komputer hanya mampu mendistribusikan informasi teks sederhana. Jauh kemudian hadir data lake — yang dapat menyimpan hampir semua jenis data yang dapat Anda kumpulkan. Ini sangat cocok untuk era media sosial dan YouTube.

Namun, keduanya memiliki kelemahan — data warehouse mahal dan tidak cocok untuk ilmu data modern, sementara data lake berantakan dan sering berubah menjadi data swamp. Jadi, perusahaan mulai memiliki dua tumpukan teknologi terpisah — warehouse untuk BI dan analitik serta lake untuk machine learning.

Akan tetapi, mengelola dua arsitektur data yang berbeda begitu merepotkan sehingga perusahaan sering mendapatkan hasil yang kurang baik. Masalah ini memunculkan arsitektur lakehouse, yang menjadi alasan utama Databricks terkenal.

Databricks adalah platform berbasis cloud yang memungkinkan pengguna mendapatkan nilai dari warehouse dan lake dalam lingkungan terpadu. Artikel ini akan memberikan gambaran umum tentang platform tersebut, menampilkan fitur-fitur terpentingnya dan cara menggunakannya.

Apa yang Akan Kita Bahas dalam Tutorial Databricks ini

Databricks adalah platform yang begitu besar hingga dokumentasinya saja bisa dijadikan buku. Jadi, tujuan artikel ini adalah memberikan hierarki konsep — penjelasan berurutan tentang fitur-fitur Databricks yang akan membawa Anda dari pemula menjadi praktisi Databricks yang mumpuni. Jika Anda benar-benar baru, Anda juga dapat melihat kursus Introduction to Databricks kami.

Mari kita mulai!

1. Apa itu Databricks?

Saat Anda membaca kata Databricks, Anda harus langsung memikirkannya sebagai sebuah platform, bukan sekadar framework atau pustaka Python. Biasanya, platform menawarkan beragam fitur, dan Databricks tidak terkecuali. Ini adalah salah satu dari sedikit platform yang dapat digunakan oleh profesional data mana pun, dari data engineer hingga machine learning engineer modern (atau yang kini sering disebut media sebagai programmer AI).

Databricks memiliki komponen inti berikut:

1. Workspace: Databricks menyediakan lingkungan terpusat tempat tim dapat berkolaborasi tanpa hambatan. Lingkungan ini dapat diakses melalui antarmuka web yang ramah pengguna.
2. Notebook: Databricks memiliki versi notebook Jupyter yang dirancang khusus untuk kolaborasi dan fleksibilitas.
3. Apache Spark: Databricks mengandalkan Apache Spark. Inilah mesin yang menjalankan pemrosesan paralel untuk set data yang sangat besar, membuatnya cocok untuk analitik big data.
4. Delta Lake: Peningkatan pada data lake dengan menyediakan transaksi ACID. Delta Lake memastikan keandalan dan konsistensi data, mengatasi tantangan tradisional yang terkait dengan data lake.
5. Skalabilitas: Platform ini melakukan skala horizontal, bukan vertikal, yang sangat sesuai untuk organisasi dengan kebutuhan data yang terus meningkat.

Manfaat Databricks

Kombinasi komponen-komponen ini membuka berbagai manfaat:

• Kolaborasi lintas tim: engineer, analis, ilmuwan data, dan ML engineer dapat bekerja mulus dalam platform yang sama.
• Konsistensi: dengan notebook, pengguna dapat berpindah antar tugas dan bahasa pemrograman tanpa perlu beralih konteks.
• Alur kerja efisien: Pengguna dapat melakukan tugas seperti pembersihan data, transformasi, dan machine learning secara terpadu.
• Manajemen data terintegrasi: pengguna dapat mengimpor data ke dalam platform dari berbagai sumber, membuat tabel, dan menjalankan SQL.
• Kolaborasi waktu nyata: notebook bersama dan fitur penyuntingan kolaboratif memungkinkan kolaborasi secara real-time. Beberapa anggota tim dapat mengerjakan notebook yang sama secara bersamaan.

Jika saya sudah berhasil meyakinkan Anda tentang pentingnya Databricks di dunia data, mari kita mulai menggunakan platform ini.

2. Menyiapkan Akun

Untuk menyiapkan akun Anda, buka https://www.databricks.com/try-databricks dan daftar untuk Community Edition.

Community Edition memiliki fitur yang lebih sedikit dibandingkan versi Enterprise, tetapi tidak memerlukan penyiapan penyedia cloud, yang sangat cocok untuk penggunaan kecil seperti tutorial.

Jika Anda melihat halaman ini setelah verifikasi email, berarti Anda siap memulai:

3. Workspace Databricks

Antarmuka yang Anda lihat adalah Workspace untuk alamat email Anda (workspace Community Edition dapat ditemukan dengan mudah). Dalam praktiknya, biasanya admin akun dari perusahaan Anda membuat satu akun Databricks dan mengelola akses ke workspace.

Sekarang, mari pahami UI platform. Di panel kiri, ada menu untuk berbagai komponen yang ditawarkan Databricks. Versi enterprise akan memiliki lebih banyak tombol:

Pilihan pertama di menu adalah jenis workspace, yang secara bawaan disetel ke data science and engineering. Jika Anda mengubahnya ke machine learning, opsi Experiments baru akan muncul:

Sekilas, tampaknya tidak banyak yang berubah, tetapi setelah Anda meningkatkan akun dan mulai bereksperimen, Anda akan melihat beberapa fitur platform yang hebat:

• Hub pusat untuk sumber daya: notebook, cluster, tabel, pustaka, dan dasbor
• Notebook dalam berbagai bahasa
• Manajemen cluster: mengelola sumber daya komputasi untuk workspace guna mengeksekusi kode
• Manajemen tabel
• Pembuatan dasbor: pengguna DB dapat mengumpulkan visualisasi ke dalam dasbor langsung di dalam workspace
• Penyuntingan notebook secara kolaboratif dan real-time
• Kontrol versi untuk notebook
• Penjadwalan job (fitur yang kuat): pengguna dapat mengeksekusi notebook dan skrip pada interval tertentu

dan seterusnya.

Sekarang, mari kita lihat beberapa komponen ini lebih dekat.

4. Cluster Databricks

Cluster di Databricks mengacu pada sumber daya komputasi yang digunakan untuk mengeksekusi tugas pemrosesan data. Biasanya, cluster disediakan oleh penyedia cloud pilihan Anda saat menyiapkan akun.

Cluster Community Edition terbatas dalam RAM dan daya CPU, serta tidak menyertakan GPU. Namun, pengguna premium sering kali dapat melakukan tugas-tugas berikut dengan cluster secara mudah:

• Pemrosesan data: Cluster digunakan untuk memproses dan mentransformasi data dalam jumlah besar, dengan memanfaatkan kekuatan pemrosesan paralel Spark.
• Machine learning: Anda dapat menggunakan Python (atau bahasa lain) beserta pustakanya untuk pelatihan dan inferensi model.
• Alur kerja ETL: Cluster juga mendukung alur kerja Extract, Transform, Load dengan memproses dan mentransformasi data dari sumber ke tujuan secara efisien.

Untuk membuat cluster, Anda dapat menggunakan tombol “Create” atau opsi “Compute” dari menu:

Saat membuat cluster, pilih versi Spark yang sesuai untuk lingkungan Anda dan tunggu beberapa menit hingga siap digunakan.

5. Notebook Databricks

Setelah Anda memiliki cluster yang berjalan, Anda siap membuat notebook. Jika Anda pernah menggunakan Jupyter, Colab, atau DataCamp Workspaces, tampilan ini akan terasa familiar:

Namun di dunia yang sudah memiliki Jupyter, mengapa memilih sesuatu yang “mirip Jupyter”? Nah, notebook Databricks memiliki keunggulan berikut dibandingkan notebook Jupyter:

• Kolaborasi: Fitur kolaboratif bawaan memungkinkan banyak pengguna bekerja pada notebook yang sama secara bersamaan. Perubahan dilacak secara real-time.
• Lingkungan eksekusi: Kebanyakan penyedia lingkungan Jupyter atau instance lokal bergantung pada mesin tunggal dengan perangkat keras yang telah ditetapkan. Pengguna harus memasang pustaka dan dependensi eksternal sendiri. Sebaliknya, notebook Databricks berjalan di atas cluster, yang secara otomatis menangani sumber daya dan skala sesuai beban kerja. Lingkungan juga sudah dipraisiapkan.
• Integrasi dengan teknologi Big Data: Jupyter dapat bekerja dengan Apache Spark, tetapi pengguna perlu mengelola sesi Spark dan dependensi secara manual. Karena Databricks didirikan oleh para pembuat Spark, platform ini mendukung framework tersebut secara native. Sesi Spark dan cluster dikelola otomatis oleh platform Databricks.

Ada banyak keunggulan lain dari notebook Databricks dibandingkan Jupyter, jadi berikut tabel yang merangkum perbedaannya:

Pada akhirnya, keunggulan notebook Databricks di atas akan terasa pada kasus penggunaan tertentu. Jika Anda ingin bereksperimen dengan dataset CSV menggunakan Pandas di laptop, Jupyter jauh lebih baik.

Namun, untuk aplikasi tingkat perusahaan, Databricks sebagai platform bisa menjadi pilihan yang lebih baik.

6. Ingesti Data ke Databricks

Ingesti data mengacu pada proses mengimpor data dari berbagai sumber. Databricks mendukung ingest dari berbagai sumber, termasuk:

• AWS S3
• Azure Blob Storage
• Google Cloud Storage
• Database relasional (MySQL, PostgreSQL, dll.)
• Data lake (Delta Lake, Parquet, Avro, dll.)
• Platform streaming (Apache Kafka)
• Google BigQuery
• File CSV lokal Anda

dan seterusnya.

Sekarang, mari kita lihat bagaimana Anda dapat memuat jenis data tertentu ke Databricks. Kita akan mulai dengan file lokal:

Setelah mengikuti langkah-langkah dalam GIF, Anda akan memiliki file yang tersimpan di workspace. Berikut cara memuatnya dengan Spark:

# Importing necessary libraries
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder.appName("S3ImportExample").getOrCreate()

# Defining the CSV path to the data
path = "dbfs:/FileStore/tables/diamonds.csv"

# Reading data from S3 into a DataFrame
data_from_s3 = spark.read.csv(path, header=True, inferSchema=True)

# Displaying the imported data
data_from_s3.show()

Perhatikan awalan dbfs:. Semua file workspace harus menyertakannya agar file dapat dimuat dengan benar menggunakan Spark. DBFS adalah singkatan dari databricks file system.

Mengimpor data dari bucket S3 serupa (untuk akun enterprise):

# Importing necessary libraries
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder.appName("S3ImportExample").getOrCreate()

# Defining the S3 path to the data
s3_path = "s3://your-bucket/your-data.csv"

# Reading data from S3 into a DataFrame
data_from_s3 = spark.read.csv(s3_path, header=True, inferSchema=True)

# Displaying the imported data
data_from_s3.show()

Untuk jenis data lainnya, Anda dapat melihat bagian Data engineering dan Connect to data sources pada dokumentasi Databricks.

7. Menjalankan SQL di Databricks

Saat kita mengunggah file diamonds.csv, file tersebut menjadi tabel Databricks dalam database bernama default:

Database default ini dibuat setiap kali kita mencoba memuat file terstruktur tanpa membuat database terlebih dahulu.

Jika kita sudah memiliki database, artinya kita dapat menanyakannya dengan SQL, tidak hanya dengan Spark. Untuk melakukannya, buat notebook baru atau ubah bahasa notebook saat ini ke SQL. Lalu, coba cuplikan kode berikut:

SELECT * FROM default.diamonds_1_csv
LIMIT 5;

Perintah ini akan mengembalikan lima baris teratas dari tabel diamonds:

Catatan: Saya menggunakan notebook SQL untuk cuplikan di atas

Anda juga dapat memuat tabel ini di Pandas. Dalam notebook yang sama, tempel cuplikan berikut:

%python
# Import the necessary libraries
import pandas as pd

# Assuming 'default' is the database name and 'diamonds' is the table name
# Use the spark.sql function to query the table and retrieve the data
table_df = spark.sql("SELECT * FROM default.diamonds_1_csv")

# Convert the Spark DataFrame to a Pandas DataFrame
pandas_df = table_df.toPandas()

# Display the Pandas DataFrame
pandas_df.head()

Ini akan menampilkan head dari tabel:

Sekarang, Anda dapat melakukan tugas analisis data apa pun pada tabel tersebut baik dengan SQL maupun Pandas.

Kesimpulan dan Langkah Lanjutan

Kita berhasil mempelajari dan melakukan banyak hal hanya dengan akun Databricks Community Edition yang minimal. Untuk terus belajar tentang platform ini, langkah pertama adalah menggunakan uji coba gratis dua minggu yang ditawarkan Databricks untuk akun premium.

Setelah itu, Anda dapat sepenuhnya menikmati pelajaran dari kursus Introduction to Databricks yang ditawarkan oleh DataCamp. Selain penyiapan akun, Anda akan belajar dan berlatih menggunakan fitur inti berikut dari DataCamp:

• Mengelola workspace Databricks
• Membaca dan menulis ke database eksternal
• Transformasi data
• Orkestrasi data, alias penjadwalan job
• Tinjauan komprehensif tentang Databricks SQL
• Menggunakan Lakehouse AI untuk machine learning skala besar.