Databricks CLI: Gunakan Databricks dari Command Line

Databricks Command Line Interface (CLI) adalah alat yang andal yang memungkinkan pengguna mengotomatiskan tugas di platform Databricks langsung dari terminal atau command prompt. Dengan CLI, pengguna dapat mengeksekusi perintah untuk mengelola cluster, job, dan notebook tanpa perlu menavigasi antarmuka grafis, sehingga meningkatkan efisiensi dan integrasi ke dalam alur kerja otomatis.

Saat ini, Databricks CLI berada dalam Public Preview untuk versi 0.205 ke atas. Pengguna yang menggunakan versi lama perlu mencatat bahwa versi tersebut dianggap warisan (legacy) dan mungkin tidak mendukung fitur atau peningkatan terbaru yang tersedia di versi yang lebih baru.

Dalam tutorial ini, saya akan menunjukkan cara menginstal CLI dan cara menavigasi CLI dengan perintah utama untuk mengotomatiskan alur kerja Anda. Saat kita mulai, saya sangat menyarankan membaca artikel blog DataCamp How to Learn Databricks: A Beginner’s Guide to the Unified Data Platform untuk membantu Anda memahami fitur inti dan penerapan Databricks serta menyediakan jalur terstruktur untuk memulai pembelajaran Anda. 

Mengapa Kita Menggunakan Databricks CLI

Sebagai pengguna yang sering, saya menemukan alasan berikut mengapa Anda sebaiknya menggunakan Databricks CLI.

• Otomatisasi: CLI memungkinkan Anda menskrip operasi seperti pembuatan cluster, pengiriman job, dan pengelolaan notebook. Otomatisasi ini menghemat waktu dan mengurangi kemungkinan kesalahan. Misalnya, Anda dapat membuat dan menjalankan job dengan satu perintah.
• Integrasi: Databricks CLI memungkinkan Anda berintegrasi mulus dengan pipeline DevOps dan proses CI/CD. Dengan memanfaatkan fungsi ini, Anda dapat dengan mudah mengonfigurasi lingkungan untuk mengotomatisasi deployment dan pembaruan ke alur kerja Databricks tanpa intervensi manual. Misalnya, Anda dapat memicu job otomatis langsung dari alat seperti Jenkins, GitHub Actions, atau Azure DevOps.
• Kesederhanaan: Anda dapat mengeksekusi tugas langsung dari mesin lokal Anda, tanpa perlu menavigasi UI web untuk tugas rutin. Fungsi ini memudahkan pengelolaan alur kerja dengan menjalankan perintah untuk melakukan operasi seperti mengunggah notebook atau mengelola cluster tanpa beban antarmuka grafis.
• Fleksibilitas: Databricks CLI mendukung berbagai sistem operasi dan lingkungan, seperti Windows, macOS, dan Linux, sehingga dapat diakses oleh tim yang beragam. CLI juga mendukung autentikasi multi-profil, memungkinkan Anda mengelola beberapa akun atau workspace Databricks secara efisien. 

Menginstal dan Memperbarui Databricks CLI

Untuk mulai menggunakan Databricks CLI, Anda perlu memenuhi prasyarat lingkungan dan mengikuti instruksi instalasi yang spesifik untuk sistem operasi Anda. Saya akan menunjukkan cara menyiapkan lingkungan dan memperbarui CLI di Linux, macOS, dan Windows.

Prasyarat lingkungan

Sebelum menginstal Databricks CLI, pastikan sistem Anda memenuhi persyaratan dasar berikut:

• Package manager: Meskipun package manager seperti Homebrew (untuk macOS) atau WinGet (untuk Windows) dapat mempermudah instalasi, Anda juga dapat menginstal langsung menggunakan binary atau source code.
• Python: CLI memerlukan Python 3.6 atau yang lebih baru.
• Akses jaringan ke workspace Databricks.
• Curl: Untuk beberapa metode instalasi di Linux dan macOS, pastikan curl terinstal.
• Hak administrator (untuk beberapa metode instalasi).

Menginstal di Linux

Ada beberapa pendekatan untuk menginstal Databricks CLI di Linux, termasuk berikut ini:

Menggunakan Homebrew

Jika Anda telah menginstal Homebrew, jalankan:

brew install databricks-cli

Menggunakan curl

Anda dapat mengunduh dan menginstal Databricks CLI menggunakan curl dengan menjalankan perintah berikut:

curl -Lo databricks-cli.tar.gz https://github.com/databricks/databricks-cli/releases/latest/download/databricks-cli.tar.gz
tar -xzf databricks-cli.tar.gz -C /usr/local/bin

Unduhan manual

Sebagai alternatif, Anda dapat mengunduh binary CLI dari repositori GitHub Databricks CLI resmi dan memindahkannya ke direktori dalam PATH Anda.

Menginstal di macOS

Jika Anda menggunakan macOS, Anda dapat menginstal Databricks CLI menggunakan perintah berikut.

Menggunakan Homebrew

Jalankan perintah di bawah ini untuk menginstal Databricks CLI;

brew install databricks-cli

Instalasi binary langsung

Unduh binary terbaru dari rilis GitHub, ekstrak, dan tempatkan di PATH lokal Anda. Jadikan executable menggunakan perintah di bawah ini:

chmod +x /usr/local/bin/databricks

Unduhan manual

Demikian pula, Anda dapat mengunduh binary CLI dari repositori GitHub Databricks CLI resmi dan memindahkannya ke direktori dalam PATH Anda.

Menginstal di Windows

Jika Anda menggunakan sistem operasi Windows, Anda dapat memilih untuk menginstal Databricks CLI melalui metode berikut:

Menggunakan WinGet

Jalankan perintah berikut di command prompt:

winget install Databricks.DatabricksCLI

Menggunakan Chocolatey

Jika Anda telah menginstal Chocolatey, gunakan:

choco install databricks-cli

Menggunakan Windows Subsystem for Linux (WSL)

Jika WSL telah disiapkan, ikuti langkah instalasi Linux.

Instalasi Binary langsung

Unduh file .exe dari repositori GitHub Databricks CLI.

Tambahkan direktori yang berisi file tersebut ke PATH sistem Anda agar mudah diakses.

Memverifikasi instalasi

Setelah instalasi, Anda harus memverifikasi bahwa Databricks CLI telah terinstal dengan benar. Buka terminal atau command prompt dan jalankan:

databricks --version

Autentikasi dan Konfigurasi Databricks CLI

Untuk menggunakan Databricks CLI secara efektif, Anda perlu melakukan autentikasi dengan workspace Databricks Anda. Pada bagian ini, saya akan membahas cara menyiapkan autentikasi dan mengelola konfigurasi.

Membuat personal access token

Personal access token (PAT) diperlukan untuk melakukan autentikasi dengan Databricks CLI. Ikuti langkah-langkah berikut untuk membuatnya:

Langkah 1: Akses pengaturan pengguna 

Masuk ke workspace Databricks Anda dan klik nama pengguna Anda di bilah atas. Pilih Settings dari menu dropdown.

Pengaturan pengguna workspace Databricks. Gambar oleh Penulis.

Langkah 2: Navigasi ke pengaturan developer 

Klik Developer.

Pengaturan Developer Databricks. Gambar oleh Penulis.

Langkah 3: Kelola access token

Di sebelah Access tokens, klik Manage.

Access tokens Databricks. Gambar oleh Penulis

Langkah 4: Hasilkan token baru

Klik Generate new token.

Membuat Databricks Access token baru. Gambar oleh Penulis.

Langkah 5: Masukkan detail dan simpan token

Berikan komentar untuk mengidentifikasi token dan atur masa berlakunya dalam hari. Jika dibiarkan kosong, akan menggunakan masa berlaku maksimum (biasanya 730 hari). Klik Generate, salin token dengan aman, lalu klik Done.

Membuat Databricks Access token baru. Gambar oleh Penulis.

Mengonfigurasi profil

Setelah Anda memiliki token, konfigurasikan CLI agar dapat berkomunikasi dengan workspace Anda. Proses ini melibatkan penyiapan profil yang mencakup URL workspace dan token Anda.

Konfigurasi dasar

Jalankan perintah berikut untuk menyiapkan profil default Anda:

databricks configure --token

Anda akan diminta memasukkan:

URL host Databricks (mis., https://<databricks-instance>.cloud.databricks.com).

Personal Access Token yang Anda buat sebelumnya.

Mengonfigurasi profil Databricks CLI. Gambar oleh Penulis.

Beberapa profil

Anda dapat mengonfigurasi beberapa profil untuk lingkungan berbeda (mis., dev, staging, production):

databricks configure --profile <profile-name> --token

Untuk menggunakan profil tertentu, sertakan flag --profile dalam perintah CLI Anda:

databricks clusters list --profile staging

Autentikasi lanjutan

Databricks CLI mendukung Databricks Unified Authentication, yang terintegrasi dengan sistem manajemen identitas enterprise seperti Single Sign-On (SSO) dan OAuth. Ini memungkinkan autentikasi yang aman dan skalabel di seluruh API Databricks. Unified authentication menyederhanakan manajemen pengguna dengan memungkinkan satu konfigurasi SSO untuk beberapa workspace, sehingga lebih mudah mengelola akses dan mengotomatisasi tugas menggunakan service principal.

Perintah Utama Databricks CLI

Databricks CLI mengatur fungsionalitasnya ke dalam kategori tingkat tinggi, masing-masing dengan subperintah yang disesuaikan untuk tugas tertentu. Berikut adalah rincian kategori utama dan contoh praktis untuk membantu Anda memulai. Jika Anda perlu menyegarkan pengetahuan tentang fitur utama Databricks, saya sarankan melihat tutorial kami tentang 7 Konsep yang Wajib Diketahui untuk Setiap Spesialis Data.

Clusters

Perintah clusters digunakan untuk mengelola cluster Databricks, termasuk pembuatan, daftar, memulai, dan penghapusan. Subperintah umum meliputi berikut ini:

• create: Membuat cluster baru.

• list: Menampilkan semua cluster di workspace.

• start dan delete: Memulai atau menghapus cluster.

Sebagai contoh, perintah berikut membuat cluster baru bernama my-cluster dengan 4 worker bertipe Standard_D2_v2.

databricks clusters create --cluster-name my-cluster --node-type-id Standard_D2_v2 --num-workers 4

Anda juga dapat menggunakan perintah berikut untuk menampilkan semua cluster di workspace Databricks Anda.

databricks clusters list

Jobs

Ini adalah perintah untuk mengelola job Databricks, termasuk pembuatan, menjalankan, dan menampilkan daftar. Subperintah umum dalam jobs meliputi berikut ini:

• create: Membuat job baru.

• run-now: Memicu job yang ada segera.

• list: Menampilkan semua job yang tersedia.

Sebagai contoh, Anda dapat membuat job baru bernama my-job yang menjalankan tugas notebook.

databricks jobs create --job-name my-job --notebook-task /path/to/notebook

Anda juga dapat memicu job yang ada berdasarkan ID-nya menggunakan perintah di bawah ini.

databricks jobs run-now --job-id 12345

Workspace

Ini adalah perintah untuk mengelola sumber daya workspace, seperti mengimpor dan mengekspor notebook. Subperintah umum dalam kategori ini meliputi berikut ini:

• import: Mengimpor notebook atau library.

• export: Mengekspor notebook ke mesin lokal Anda.

• list: Menampilkan konten direktori workspace.

Sebagai contoh, Anda dapat mengekspor notebook ke file lokal menggunakan perintah di bawah ini.

databricks workspace export /Users/username/notebook /local/path/notebook.py

Demikian pula, Anda dapat mengimpor notebook menggunakan perintah di bawah ini.

databricks workspace import /local/path/notebook.py /Users/username/notebook

Sistem file (DBFS)

Ini adalah perintah untuk berinteraksi dengan Databricks File System (DBFS), termasuk mengunggah dan mengunduh file. Subperintah umum dalam kategori ini meliputi berikut ini:

• cp: Menyalin file ke atau dari DBFS.

• ls: Menampilkan file dalam direktori DBFS.

• rm: Menghapus file atau direktori dari DBFS.

Sebagai contoh, Anda dapat menggunakan perintah di bawah ini untuk mengunggah file lokal ke DBFS.

databricks fs cp /local/path/file.txt dbfs:/path/in/dbfs/

Demikian pula, perintah berikut memungkinkan Anda mengunduh file dari DBFS ke path lokal.

databricks fs cp dbfs:/path/in/dbfs/file.txt /local/path/

Repos

Perintah repos memungkinkan Anda mengelola repository dalam Databricks, mendukung version control. Subperintah umum meliputi berikut ini:

• list: Menampilkan semua repository.

• create: Menambahkan repository baru.

Sebagai contoh, perintah berikut akan menampilkan semua Databricks Repos di workspace Anda.

databricks repos list

Permissions

Anda dapat menggunakan perintah ini untuk menetapkan dan mengelola izin untuk workspace, job, dan cluster. Subperintah permissions yang umum meliputi berikut ini:

• get: Melihat izin saat ini.

• update: Mengubah izin.

Sebagai contoh, perintah di bawah ini memungkinkan Anda melihat izin untuk sumber daya tertentu.

databricks permissions get --type cluster --id 12345

Perintah Databricks SQL

Perintah ini memungkinkan Anda berinteraksi dengan Databricks SQL untuk melakukan query database dan mengelola SQL warehouse.

Query berikut mengambil dan menampilkan 10 baris pertama dari sales_table.

databricks sql query --query "SELECT * FROM sales_table LIMIT 10;"

Jika Anda perlu menyegarkan pengetahuan tentang Databricks SQL, saya sarankan membaca tutorial Databricks SQL kami untuk mempelajari cara menggunakan SQL untuk melakukan query data dari Databricks SQL Warehouse.

Kasus Penggunaan Umum dan Skenario Contoh

Databricks CLI menawarkan solusi praktis untuk mengotomatiskan tugas rutin. Di bawah ini adalah contoh terperinci dari skenario umum yang menunjukkan fleksibilitasnya.

Membuat atau mengedit cluster

Untuk membuat cluster, gunakan file konfigurasi JSON, seperti cluster-config.json, yang menentukan pengaturan cluster.

{
  "cluster_name": "example-cluster",
  "spark_version": "11.3.x-scala2.12",
  "node_type_id": "Standard_DS3_v2",
  "num_workers": 2
}

Lalu jalankan perintah berikut untuk membuat cluster:

databricks clusters create --json-file cluster-config.json

Untuk memperbarui konfigurasi cluster yang sudah ada, pertama ekspor pengaturan cluster saat ini menggunakan perintah di bawah:

databricks clusters get --cluster-id <cluster-id> > cluster-config.json

Selanjutnya, edit file cluster-config.json sesuai kebutuhan dan terapkan perubahan ke cluster.

databricks clusters edit --json-file cluster-config.json

Mengelola notebook

Dalam beberapa skenario, Anda mungkin ingin mengekspor notebook dari Databricks ke direktori lokal lalu mengimpornya kembali. Gunakan perintah berikut untuk mengimpor mengekspor notebook:

databricks workspace export /path/to/notebook.ipynb /local/path/notebook.ipynb

Perintah di bawah ini digunakan untuk mengunggah notebook kembali ke Databricks.

databricks workspace import /local/path/notebook.ipynb /path/to/notebook.ipynb

Memicu job

Saat Anda ingin membuat tugas otomatis, Anda mungkin perlu membuat job yang menjalankan notebook atau skrip dan menjadwalkannya untuk berjalan setiap hari. Pertama, gunakan file JSON seperti job-config.json untuk mendefinisikan job yang menjalankan notebook tertentu.

{
  "name": "example-job",
  "new_cluster": {
    "spark_version": "11.3.x-scala2.12",
    "node_type_id": "Standard_DS3_v2",
    "num_workers": 1
  },
  "notebook_task": {
    "notebook_path": "/Users/username/my-notebook"
  },
  "schedule": {
    "quartz_cron_expression": "0 0 * * * ?",
    "timezone_id": "UTC"
  }
}

Buat job menggunakan perintah di bawah ini:

databricks jobs create --json-file job-config.json

Anda kemudian dapat menjalankan job berdasarkan job ID-nya.

databricks jobs run-now --job-id <job-id>

Operasi file di DBFS

Jika Anda perlu menampilkan, menyalin, atau menghapus file di DBFS gunakan perintah berikut.

Untuk melihat file dalam direktori:

databricks fs ls dbfs:/path/to/directory

Unggah file lokal ke DBFS:

databricks fs cp /local/path/file.txt dbfs:/path/to/remote-file.txt

Hapus file atau direktori:

databricks fs rm dbfs:/path/to/file.txt

Praktik Terbaik dan Tips

Pertimbangkan untuk menerapkan praktik terbaik berikut untuk memaksimalkan efisiensi, keamanan, dan keandalan Databricks CLI.

• Selalu gunakan versi terbaru: Pastikan Anda menggunakan Databricks CLI versi 0.200 atau yang lebih baru untuk mendapatkan manfaat pengembangan aktif dan fitur baru. Versi lama dianggap legacy dan mungkin tidak mendukung fungsionalitas terbaru.
• Keamanan: Hindari menyimpan personal access token dalam teks biasa. Sebagai gantinya, gunakan variabel lingkungan atau metode penyimpanan aman seperti file terenkripsi atau alat manajemen secrets.
• Scripting: Gunakan skrip Bash atau Python untuk mengotomatiskan tugas dengan merangkai beberapa perintah CLI. Pendekatan ini menyederhanakan alur kerja yang kompleks dan meningkatkan reprodusibilitas.
• Logging/Debugging: Gunakan flag --debug untuk mengaktifkan output rinci untuk tujuan debugging. Ini dapat membantu mendiagnosis masalah dengan menyediakan pesan kesalahan yang detail.

databricks --debug clusters create --cluster-name my-cluster --node-type-id Standard_D2_v2 --num-workers 4

Membandingkan Databricks CLI dengan Pendekatan Lain

Saat bekerja dengan Databricks, pengguna memiliki beberapa opsi untuk berinteraksi dengan platform, termasuk Databricks CLI, REST API, Databricks Python SDK, dan web UI. Setiap metode memiliki kelebihan dan kekurangan, tergantung pada kebutuhan dan preferensi spesifik pengguna atau organisasi.

REST API

Databricks REST API menyediakan akses langsung dan tingkat rendah ke fungsionalitas Databricks, menawarkan fleksibilitas tertinggi untuk integrasi yang tidak bergantung bahasa.

Databricks Python SDK

Databricks Python SDK menyediakan antarmuka Pythonic untuk berinteraksi dengan Databricks, menawarkan abstraksi tingkat tinggi di atas REST API.

Web UI

Databricks Web UI menyediakan antarmuka grafis interaktif untuk mengelola cluster, job, notebook, dan banyak lagi.

Saya akan merangkum keunggulan, kelemahan, dan kasus penggunaan dari metode di atas dalam tabel berikut:

Pemecahan Masalah dan Isu yang Diketahui

Saat menggunakan Databricks CLI, Anda mungkin menemui kesalahan dan tantangan umum. Di bawah ini adalah ringkasan isu yang sering terjadi dan solusi praktis, beserta tips untuk mendiagnosis masalah terkait jaringan.

Kesalahan yang sering terjadi

Kesalahan yang sering terjadi saat menggunakan Databricks CLI meliputi berikut ini:

• Authorization Failed: Kesalahan dapat disebabkan oleh personal access token yang salah atau kedaluwarsa. Untuk memperbaikinya, pastikan token Anda valid dan dikonfigurasi dengan benar di pengaturan CLI Anda. Jika perlu, buat token baru.
• CLI Tidak Ditemukan di PATH: Kesalahan ini terjadi ketika executable Databricks CLI tidak ada di PATH sistem Anda. Untuk memperbaikinya, selalu tambahkan direktori yang berisi executable CLI ke variabel lingkungan PATH sistem Anda.
• Token Kedaluwarsa: Token memiliki masa berlaku terbatas dan berakhir setelah periode tertentu. Untuk menghindari ini, selalu perbarui token Anda secara berkala atau siapkan mekanisme untuk menyegarkan token secara otomatis.

Mendiagnosis masalah jaringan

Di lingkungan dengan jaringan terbatas atau daftar izin IP (IP allowlists), Anda mungkin mengalami masalah saat terhubung ke Databricks. Berikut beberapa langkah untuk mendiagnosis dan menyelesaikan masalah ini:

• Periksa Konfigurasi Jaringan: Pastikan jaringan Anda mengizinkan koneksi keluar ke URL workspace Databricks. Verifikasi bahwa firewall atau proxy telah dikonfigurasi dengan benar.

• IP Allowlists: Jika workspace Anda memerlukan allowlisting IP, pastikan alamat IP Anda termasuk dalam daftar. Gunakan alat seperti curl untuk menguji konektivitas dari mesin Anda ke API Databricks.

• Verifikasi SSL: Jika Anda mengalami kesalahan verifikasi SSL, coba nonaktifkan verifikasi SSL sementara menggunakan opsi —k pada curl untuk mengisolasi masalah.

Kesimpulan dan Sumber Daya Lanjutan

Saya harap saya telah meyakinkan Anda bahwa mempraktikkan penggunaan Databricks CLI sangat bermanfaat. Seperti yang Anda lihat, Databricks CLI memungkinkan otomatisasi tugas yang cepat dan dapat diskript seperti manajemen cluster, pemicu job, dan operasi file, sehingga mengurangi ketergantungan pada web UI dan menghemat waktu. Saya terkesan dengan fleksibilitasnya dan fakta bahwa ia terintegrasi dengan pipeline DevOps.

Tentu ada banyak detail spesifik yang tidak bisa saya bahas dalam satu artikel, jadi cobalah melihat dokumentasi resmi Databricks atau halaman GitHub CLI jika Anda sedang mencari jawaban untuk pertanyaan tertentu. Untuk mempelajari lebih banyak konsep dasar yang penting, coba kursus Introduction to Databricks kami. Kursus ini mengajarkan Anda tentang Databricks sebagai solusi data warehousing untuk Business Intelligence. Saya juga merekomendasikan, jika Anda menempuh jalur belajar Databricks, untuk membaca panduan kami tentang Sertifikasi Databricks, sehingga Anda tidak hanya mempelajari Databricks tetapi juga memposisikan diri dengan baik di pasar kerja.