Databricks CLI: Komut Satırından Databricks Kullanımı

Databricks Komut Satırı Arayüzü (CLI), kullanıcıların Databricks platformundaki görevleri doğrudan terminalden veya komut isteminden otomatikleştirmesine olanak tanıyan güçlü bir araçtır. CLI ile kullanıcılar kümeleri, işleri ve defterleri yönetmek için komutlar çalıştırabilir; böylece grafiksel arayüzde gezinmeye gerek kalmaz, verimlilik artar ve otomatik iş akışlarına entegrasyon kolaylaşır.

Şu anda Databricks CLI, 0.205 ve üzeri sürümler için Genel Önizleme aşamasındadır. Daha eski sürümleri kullanan kullanıcılar, bu sürümlerin eski (legacy) kabul edildiğini ve yeni sürümlerde sunulan en son özellikleri veya iyileştirmeleri desteklemeyebileceğini unutmamalıdır.

Bu eğitimde, CLI’yi nasıl kuracağınızı ve iş akışlarınızı otomatikleştirmek için temel komutlarla CLI’de nasıl gezinileceğini göstereceğim. Başlarken, Databricks’in temel özelliklerini ve kullanım alanlarını anlamanıza ve öğrenmeye başlamak için yapılandırılmış bir yol sunmasına yardımcı olacak DataCamp’in Databricks Nasıl Öğrenilir: Birleşik Veri Platformuna Başlangıç Rehberi blog yazısına göz atmanızı özellikle öneririm. 

Databricks CLI’yi Neden Kullanırız

Sık bir kullanıcı olarak, Databricks CLI’yi kullanmanız için başlıca nedenleri şöyle görüyorum.

• Otomasyon: CLI, küme oluşturma, iş gönderimi ve defter yönetimi gibi işlemleri betik haline getirmenizi sağlar. Bu otomasyon zaman kazandırır ve hata olasılığını azaltır. Örneğin tek bir komutla işler oluşturup çalıştırabilirsiniz.
• Entegrasyon: Databricks CLI, DevOps hatları ve CI/CD süreçleriyle sorunsuz entegrasyon sağlar. Bu sayede, ortamlara yönelik yapılandırmaları kolayca yaparak Databricks iş akışlarına dağıtımları ve güncellemeleri manuel müdahale olmadan otomatikleştirebilirsiniz. Örneğin Jenkins, GitHub Actions veya Azure DevOps gibi araçlardan doğrudan otomatik işleri tetikleyebilirsiniz.
• Basitlik: Rutin görevler için web arayüzünde gezinmeye gerek kalmadan doğrudan yerel makinenizden işlemler yürütebilirsiniz. Bu işlev, komutlar çalıştırarak defter yükleme veya kümeleri yönetme gibi işlemleri grafiksel arayüzün yükü olmadan yapmanızı kolaylaştırır.
• Esneklik: Databricks CLI; Windows, macOS ve Linux gibi pek çok işletim sistemi ve ortamı destekleyerek farklı ekipler için erişilebilir kılar. CLI ayrıca çoklu profil kimlik doğrulamayı destekleyerek birden fazla Databricks hesabını veya çalışma alanını verimli şekilde yönetmenize olanak tanır. 

Databricks CLI’yi Yükleme ve Güncelleme

Databricks CLI ile çalışmaya başlamak için ortam önkoşullarını karşılamanız ve işletim sisteminize özel kurulum adımlarını izlemeniz gerekir. Bu bölümde Linux, macOS ve Windows üzerinde ortamı nasıl hazırlayacağınızı ve CLI’yi nasıl güncelleyeceğinizi göstereceğim.

Ortam önkoşulları

Databricks CLI’yi kurmadan önce sisteminizin şu temel gereksinimleri karşıladığından emin olun:

• Bir paket yöneticisi: macOS için Homebrew veya Windows için WinGet gibi bir paket yöneticisi kurulumu kolaylaştırabilir; ancak ikili dosyalar veya kaynak kod üzerinden doğrudan kurulum da yapabilirsiniz.
• Python: CLI, Python 3.6 veya üzerini gerektirir.
• Databricks çalışma alanına ağ erişimi.
• Curl: Linux ve macOS üzerindeki bazı kurulum yöntemleri için curl’ün kurulu olduğundan emin olun.
• Yönetici ayrıcalıkları (bazı kurulum yöntemleri için).

Linux’a kurulum

Databricks CLI’yi Linux’a kurmanın birkaç yolu vardır, örneğin şunlar:

Homebrew kullanma

Homebrew kuruluysa şu komutu çalıştırın:

brew install databricks-cli

curl kullanma

Aşağıdaki komutu çalıştırarak curl ile Databricks CLI’yi indirip kurabilirsiniz:

curl -Lo databricks-cli.tar.gz https://github.com/databricks/databricks-cli/releases/latest/download/databricks-cli.tar.gz
tar -xzf databricks-cli.tar.gz -C /usr/local/bin

Manuel indirme

Alternatif olarak, CLI ikilisini resmi Databricks CLI GitHub deposundan indirip PATH ortam değişkeninizde yer alan bir dizine taşıyabilirsiniz.

macOS’a kurulum

macOS kullanıyorsanız, Databricks CLI’yi aşağıdaki komutlarla kurabilirsiniz.

Homebrew kullanma

Databricks CLI’yi kurmak için aşağıdaki komutu çalıştırın;

brew install databricks-cli

Doğrudan ikili kurulum

GitHub sürümlerinden en güncel ikiliyi indirin, çıkarın ve yerel PATH dizininize yerleştirin. Aşağıdaki komutla çalıştırılabilir hale getirin:

chmod +x /usr/local/bin/databricks

Manuel indirme

Benzer şekilde, CLI ikilisini resmi Databricks CLI GitHub deposundan indirip PATH içinde yer alan bir dizine taşıyabilirsiniz.

Windows’a kurulum

Windows işletim sistemi kullanıyorsanız, Databricks CLI’yi aşağıdaki yöntemlerden biriyle kurabilirsiniz:

WinGet kullanma

Komut isteminde şu komutu çalıştırın:

winget install Databricks.DatabricksCLI

Chocolatey kullanma

Chocolatey kuruluysa şunu kullanın:

choco install databricks-cli

Windows için Linux Alt Sistemi (WSL) kullanma

WSL kuruluysa, Linux kurulum adımlarını izleyin.

Doğrudan ikili kurulum

.exe dosyasını Databricks CLI GitHub deposundan indirin.

Kolay erişim için dosyanın bulunduğu dizini sisteminizin PATH değişkenine ekleyin.

Kurulumu doğrulama

Kurulumdan sonra, Databricks CLI’nin doğru kurulduğunu doğrulamalısınız. Bir terminal veya komut istemi açıp şunu çalıştırın:

databricks --version

Databricks CLI Kimlik Doğrulama ve Yapılandırma

Databricks CLI’yi etkili kullanmak için onu Databricks çalışma alanınızla kimlik doğrulamasından geçirmeniz gerekir. Bu bölümde kimlik doğrulamanın nasıl ayarlanacağını ve yapılandırmaların nasıl yönetileceğini ele alacağım.

Kişisel erişim belirteci oluşturma

Databricks CLI ile kimlik doğrulamak için kişisel erişim belirteci (PAT) gereklidir. Aşağıdaki adımları izleyerek bir tane oluşturun:

Adım 1: Kullanıcı ayarlarına erişin 

Databricks çalışma alanınıza giriş yapın ve üst çubuktaki kullanıcı adınıza tıklayın. Açılır menüden Settings’i seçin.

Databricks çalışma alanı kullanıcı ayarları. Görsel: Yazar.

Adım 2: Geliştirici ayarlarına gidin 

Developer’a tıklayın.

Databricks Geliştirici ayarları. Görsel: Yazar.

Adım 3: Erişim belirteçlerini yönetin

Access tokens yanında Manage’a tıklayın.

Databricks Erişim belirteçleri. Görsel: Yazar

Adım 4: Yeni belirteç oluşturun

Generate new token’a tıklayın.

Yeni Databricks Erişim belirteci oluşturma. Görsel: Yazar.

Adım 5: Ayrıntıları girin ve belirteci kaydedin

Belirteci tanımlamak için bir yorum girin ve ömrünü gün cinsinden belirleyin. Boş bırakılırsa varsayılan olarak azami ömür (genellikle 730 gün) atanır. Generate’e tıklayın, belirteci güvenli şekilde kopyalayın ve ardından Done’a tıklayın.

Yeni Databricks Erişim belirteci oluşturma. Görsel: Yazar.

Profilleri yapılandırma

Belirteci aldıktan sonra, CLI’yi çalışma alanınızla iletişim kuracak şekilde yapılandırın. Bu süreç, çalışma alanı URL’si ve belirtecinizi içeren bir profil ayarlamayı kapsar.

Temel yapılandırma

Varsayılan profilinizi ayarlamak için aşağıdaki komutu çalıştırın:

databricks configure --token

Sizden şunları girmeniz istenecektir:

Databricks ana makine URL’si (ör. https://<databricks-instance>.cloud.databricks.com).

Önceden oluşturduğunuz Kişisel Erişim Belirteci.

Databricks CLI profilini yapılandırma. Görsel: Yazar.

Birden fazla profil

Farklı ortamlar (ör. geliştirme, hazırlık, üretim) için birden çok profil yapılandırabilirsiniz:

databricks configure --profile <profile-name> --token

Belirli bir profili kullanmak için CLI komutlarınıza --profile bayrağını ekleyin:

databricks clusters list --profile staging

Gelişmiş kimlik doğrulama

Databricks CLI, Single Sign-On (SSO) ve OAuth gibi kurumsal kimlik yönetim sistemleriyle entegre olan Databricks Birleşik Kimlik Doğrulamasını destekler. Bu, tüm Databricks API’lerinde güvenli ve ölçeklenebilir kimlik doğrulama sağlar. Birleşik kimlik doğrulama, birden çok çalışma alanı için tek bir SSO yapılandırmasına imkan vererek kullanıcı yönetimini basitleştirir; erişim yönetimini ve hizmet asılları (service principal) ile otomasyonu kolaylaştırır.

Başlıca Databricks CLI Komutları

Databricks CLI işlevselliğini üst düzey kategorilere ayırır; her biri belirli görevlere yönelik alt komutlar içerir. Aşağıda başlıca kategoriler ve başlamanız için pratik örneklerin bir dökümü yer alır. Databricks’in temel özelliklerini tazelemeniz gerekiyorsa, Her Veri Uzmanının Bilmesi Gereken 7 Kavram adlı eğitimimize göz atmanızı öneririm.

Kümeler (Clusters)

Kümeler komutları; Databricks kümelerini oluşturma, listeleme, başlatma ve silmeyi kapsar. Yaygın alt komutlar şunlardır:

• create: Yeni bir küme oluşturur.

• list: Çalışma alanındaki tüm kümeleri listeler.

• start ve delete: Bir kümeyi başlatır veya siler.

Örneğin, aşağıdaki komut my-cluster adlı ve Standard_D2_v2 türünde 4 işçiye sahip yeni bir küme oluşturur.

databricks clusters create --cluster-name my-cluster --node-type-id Standard_D2_v2 --num-workers 4

Aşağıdaki komutla Databricks çalışma alanınızdaki tüm kümeleri listeleyebilirsiniz.

databricks clusters list

İşler (Jobs)

Bunlar, işler oluşturma, çalıştırma ve listelemeyi kapsayan Databricks işleri için komutlardır. İşlerdeki yaygın alt komutlar şunlardır:

• create: Yeni bir iş oluşturur.

• run-now: Mevcut bir işi anında tetikler.

• list: Tüm mevcut işleri listeler.

Örneğin, bir defter görevi çalıştıran my-job adlı yeni bir iş oluşturabilirsiniz.

databricks jobs create --job-name my-job --notebook-task /path/to/notebook

Aşağıdaki komutla bir işi kimliğine göre tetikleyebilirsiniz.

databricks jobs run-now --job-id 12345

Çalışma alanı (Workspace)

Bunlar, defter içe/dışa aktarma gibi çalışma alanı kaynaklarını yönetmeye yönelik komutlardır. Bu kategorideki yaygın alt komutlar şunlardır:

• import: Bir defter veya kitaplık içe aktarır.

• export: Bir defteri yerel makinenize dışa aktarır.

• list: Bir çalışma alanı dizininin içeriğini listeler.

Örneğin, aşağıdaki komutla bir defteri yerel bir dosyaya dışa aktarabilirsiniz.

databricks workspace export /Users/username/notebook /local/path/notebook.py

Benzer şekilde, aşağıdaki komutla bir defteri içe aktarabilirsiniz.

databricks workspace import /local/path/notebook.py /Users/username/notebook

Dosya sistemi (DBFS)

Bunlar Databricks Dosya Sistemi (DBFS) ile etkileşim kurmaya yönelik; dosya yükleme ve indirmeyi içeren komutlardır. Yaygın alt komutlar şunlardır:

• cp: DBFS’ye veya DBFS’den dosya kopyalar.

• ls: Bir DBFS dizinindeki dosyaları listeler.

• rm: DBFS’den dosya veya dizin kaldırır.

Örneğin, aşağıdaki komutla yerel bir dosyayı DBFS’ye yükleyebilirsiniz.

databricks fs cp /local/path/file.txt dbfs:/path/in/dbfs/

Benzer şekilde, aşağıdaki komut DBFS’den bir dosyayı yerel bir yola indirmenizi sağlar.

databricks fs cp dbfs:/path/in/dbfs/file.txt /local/path/

Depolar (Repos)

Repos komutları, Databricks içindeki depoları yönetmenize ve sürüm kontrolü yapmanıza olanak tanır. Yaygın alt komutlar şunlardır:

• list: Tüm depoları listeler.

• create: Yeni bir depo ekler.

Örneğin, aşağıdaki komut çalışma alanınızdaki tüm Databricks Repos öğelerini listeler.

databricks repos list

İzinler (Permissions)

Çalışma alanları, işler ve kümeler için izinleri ayarlamak ve yönetmek üzere bu komutları kullanabilirsiniz. Yaygın izin alt komutları şunlardır:

• get: Mevcut izinleri görüntüler.

• update: İzinleri değiştirir.

Örneğin, aşağıdaki komut belirli bir kaynak için izinleri görüntülemenizi sağlar.

databricks permissions get --type cluster --id 12345

Databricks SQL komutları

Bu komutlar, veritabanlarını sorgulamak ve SQL depolarını (warehouse) yönetmek için Databricks SQL ile etkileşime geçmenizi sağlar.

Aşağıdaki sorgu sales_table’dan ilk 10 satırı getirip görüntüler.

databricks sql query --query "SELECT * FROM sales_table LIMIT 10;"

Databricks SQL bilginizi tazelemeniz gerekirse, Databricks SQL Warehouse’dan veriyi SQL ile nasıl sorgulayacağınızı öğrenmek için Databricks SQL eğitimimizi okumanızı öneririm.

Yaygın Kullanım Senaryoları ve Örnekler

Databricks CLI, rutin görevleri otomatikleştirmek için pratik çözümler sunar. Aşağıda, çok yönlülüğünü gösteren yaygın senaryolara ilişkin ayrıntılı örnekler yer almaktadır.

Bir küme oluşturma veya düzenleme

Bir küme oluşturmak için, küme ayarlarını belirten cluster-config.json gibi bir JSON yapılandırma dosyası kullanın.

{
  "cluster_name": "example-cluster",
  "spark_version": "11.3.x-scala2.12",
  "node_type_id": "Standard_DS3_v2",
  "num_workers": 2
}

Ardından kümeyi oluşturmak için şu komutu çalıştırın:

databricks clusters create --json-file cluster-config.json

Mevcut bir kümenin yapılandırmasını güncellemek için önce aşağıdaki komutla mevcut küme ayarlarını dışa aktarın:

databricks clusters get --cluster-id <cluster-id> > cluster-config.json

Sonra cluster-config.json dosyasını gerektiği gibi düzenleyin ve değişiklikleri kümeye uygulayın.

databricks clusters edit --json-file cluster-config.json

Defterleri yönetme

Bazı durumlarda bir defteri Databricks’ten yerel bir dizine dışa aktarıp daha sonra geri içe aktarmak isteyebilirsiniz. Aşağıdaki komutu kullanarak defteri dışa aktarın:

databricks workspace export /path/to/notebook.ipynb /local/path/notebook.ipynb

Aşağıdaki komut, defteri Databricks’e geri yüklemek için kullanılır.

databricks workspace import /local/path/notebook.ipynb /path/to/notebook.ipynb

İş tetikleme

Otomatik görevler oluşturmak istediğinizde, bir defteri veya betiği çalıştıran ve günlük olarak zamanlanan bir iş oluşturmanız gerekebilir. Öncelikle job-config.json gibi bir JSON dosyasıyla belirli bir defteri çalıştıran bir iş tanımlayın.

{
  "name": "example-job",
  "new_cluster": {
    "spark_version": "11.3.x-scala2.12",
    "node_type_id": "Standard_DS3_v2",
    "num_workers": 1
  },
  "notebook_task": {
    "notebook_path": "/Users/username/my-notebook"
  },
  "schedule": {
    "quartz_cron_expression": "0 0 * * * ?",
    "timezone_id": "UTC"
  }
}

İşi aşağıdaki komutla oluşturun:

databricks jobs create --json-file job-config.json

Ardından işi iş kimliğine göre çalıştırabilirsiniz.

databricks jobs run-now --job-id <job-id>

DBFS üzerinde dosya işlemleri

DBFS’de dosyaları listelemek, kopyalamak veya kaldırmak için aşağıdaki komutları kullanın.

Bir dizindeki dosyaları görüntülemek için:

databricks fs ls dbfs:/path/to/directory

Yerel bir dosyayı DBFS’ye yükleyin:

databricks fs cp /local/path/file.txt dbfs:/path/to/remote-file.txt

Bir dosya veya dizini silin:

databricks fs rm dbfs:/path/to/file.txt

En İyi Uygulamalar ve İpuçları

Databricks CLI’nin verimlilik, güvenlik ve güvenilirliğini en üst düzeye çıkarmak için şu en iyi uygulamaları benimsemeyi düşünün.

• Sürümlerde Güncel Kalın: Aktif geliştirme ve yeni özelliklerden yararlanmak için Databricks CLI 0.200 veya üzeri bir sürüm kullanın. Daha eski sürümler eski (legacy) kabul edilir ve en yeni işlevleri desteklemeyebilir.
• Güvenlik: Kişisel erişim belirteçlerini düz metin olarak saklamaktan kaçının. Bunun yerine ortam değişkenleri veya şifreli dosyalar ve gizli yönetim araçları gibi güvenli depolama yöntemlerini kullanın.
• Betikleme: Birden çok CLI komutunu zincirleyerek görevleri otomatikleştirmek için Bash veya Python betikleri kullanın. Bu yaklaşım karmaşık iş akışlarını basitleştirir ve tekrarlanabilirliği artırır.
• Günlükleme/Hata ayıklama: Hata ayıklama amacıyla ayrıntılı çıktı için --debug bayrağını kullanın. Bu, ayrıntılı hata iletileri sağlayarak sorunların teşhis edilmesine yardımcı olur.

databricks --debug clusters create --cluster-name my-cluster --node-type-id Standard_D2_v2 --num-workers 4

Databricks CLI’yi Diğer Yaklaşımlarla Karşılaştırma

Databricks ile çalışırken, kullanıcıların platformla etkileşim kurmak için Databricks CLI, REST API’leri, Databricks Python SDK’sı ve web arayüzü dahil çeşitli seçenekleri vardır. Her yöntem, kullanıcı veya kuruluşun belirli ihtiyaç ve tercihlerine bağlı olarak artı ve eksilere sahiptir.

REST API’leri

Databricks REST API’leri, Databricks işlevlerine doğrudan, düşük seviyeli erişim sağlayarak dil bağımsız entegrasyonlar için en fazla esnekliği sunar.

Databricks Python SDK

Databricks Python SDK, REST API’lerinin üzerine yüksek seviyeli soyutlamalar sunan, Databricks ile etkileşim için Pythonik bir arayüz sağlar.

Web arayüzü

Databricks Web arayüzü; kümeler, işler, defterler ve daha fazlasını yönetmek için etkileşimli bir grafiksel arayüz sağlar.

Yukarıdaki yöntemlerin avantajlarını, zayıf yönlerini ve kullanım alanlarını aşağıdaki tabloda özetleyeceğim:

Sorun Giderme ve Bilinen Sorunlar

Databricks CLI’yi kullanırken yaygın hatalar ve zorluklarla karşılaşabilirsiniz. Aşağıda, sık görülen sorunların ve pratik çözümlerin bir özeti ile ağla ilgili sorunları teşhis etmeye yönelik ipuçları yer almaktadır.

Sık görülen hatalar

Databricks CLI kullanırken sık karşılaşılan hatalar şunlardır:

• Yetkilendirme Başarısız: Hata, yanlış veya süresi dolmuş kişisel erişim belirtecinden kaynaklanabilir. Bu hatayı düzeltmek için belirtecinizin geçerli ve CLI ayarlarınızda doğru yapılandırılmış olduğundan emin olun. Gerekirse yeni bir belirteç oluşturun.
• CLI PATH’te Bulunamadı: Bu hata, Databricks CLI çalıştırılabilir dosyasının sisteminizin PATH’inde olmaması durumunda oluşur. Sorunu gidermek için CLI çalıştırılabilir dosyasını içeren dizini sisteminizin PATH ortam değişkenine ekleyin.
• Belirteç Süre Aşımı: Belirteçlerin sınırlı bir ömrü vardır ve belirli bir süreden sonra sona erer. Bu hatadan kaçınmak için belirtecinizi düzenli olarak yenileyin veya otomatik yenileme mekanizması kurun.

Ağ sorunlarını teşhis etme

Kısıtlı ağlar veya IP izin listeleri olan ortamlarda, Databricks’e bağlanırken sorunlarla karşılaşabilirsiniz. Bu sorunları teşhis ve çözmek için şu adımları izleyin:

• Ağ Yapılandırmasını Kontrol Edin: Ağınızın Databricks çalışma alanı URL’sine giden bağlantılara izin verdiğinden emin olun. Güvenlik duvarları veya proxy sunucuların doğru yapılandırıldığını doğrulayın.

• IP İzin Listeleri: Çalışma alanınız IP izin listesi gerektiriyorsa, IP adresinizin listede olduğundan emin olun. Makinenizden Databricks API’sine bağlantıyı test etmek için curl gibi araçları kullanın.

• SSL Doğrulama: SSL doğrulama hatalarıyla karşılaşırsanız, sorunu izole etmek için curl ile geçici olarak —k seçeneğini kullanarak SSL doğrulamasını devre dışı bırakmayı deneyin.

Sonuç ve Ek Kaynaklar

Databricks CLI’yi kullanma pratiğinin değerli olduğuna sizi ikna edebildiğimi umuyorum. Gördüğünüz gibi Databricks CLI; küme yönetimi, iş tetikleme ve dosya işlemleri gibi görevlerde hızlı ve betiklenebilir otomasyon sağlar, web arayüzüne bağımlılığı azaltır ve zaman kazandırır. Esnekliği ve DevOps hatlarıyla entegrasyonu beni etkiledi.

Tek bir yazıda ele alamadığım birçok ayrıntı kesinlikle var; bu nedenle belirli bir sorunun yanıtını arıyorsanız resmi Databricks belgelerine veya CLI’nın GitHub sayfasına bakmayı deneyin. Temel kavramlar hakkında daha fazlasını öğrenmek için Introduction to Databricks kursumuzu deneyin. Bu kurs, Databricks’i İş Zekası için bir veri ambarı çözümü olarak öğretir. Ayrıca, Databricks öğrenme yoluna giriyorsanız Databricks Sertifikaları rehberimizi de okumanızı öneririm; böylece Databricks’i öğrenmenin yanı sıra iş piyasasında kendinizi iyi konumlandırabilirsiniz.