Databricks CLI: कमांड लाइन से Databricks का उपयोग करें

Databricks Command Line Interface (CLI) एक शक्तिशाली टूल है जो उपयोगकर्ताओं को टर्मिनल या कमांड प्रॉम्प्ट से सीधे Databricks प्लेटफ़ॉर्म पर कार्यों को स्वचालित करने देता है। CLI के साथ, उपयोगकर्ता क्लस्टर, जॉब्स, और नोटबुक्स को प्रबंधित करने के लिए कमांड चला सकते हैं, जिससे ग्राफ़िकल इंटरफ़ेस में नेविगेट करने की आवश्यकता कम होती है—यह दक्षता बढ़ाता है और स्वचालित वर्कफ़्लो में एकीकरण को आसान बनाता है।

वर्तमान में, Databricks CLI संस्करण 0.205 और उससे ऊपर के लिए Public Preview में है। पुराने संस्करणों का उपयोग करने वाले उपयोगकर्ताओं को ध्यान देना चाहिए कि उन्हें लेगेसी माना जाता है और वे नए संस्करणों में उपलब्ध नवीनतम फीचर्स या सुधारों का समर्थन नहीं कर सकते।

इस ट्यूटोरियल में, मैं आपको CLI इंस्टॉल करने और अपने वर्कफ़्लोज़ को स्वचालित करने के लिए मुख्य कमांड्स के साथ CLI में नेविगेट करने का तरीका दिखाऊंगा। शुरू करते समय, मैं दृढ़ता से DataCamp का Databricks कैसे सीखें: यूनिफ़ाइड डेटा प्लेटफ़ॉर्म के लिए शुरुआती मार्गदर्शिका ब्लॉग पोस्ट देखने की सलाह देता/देती हूँ, जो Databricks की प्रमुख विशेषताओं और उपयोगों को समझने और अपनी सीखने की यात्रा शुरू करने के लिए एक संरचित मार्ग प्रदान करने में मदद करेगा। 

हम Databricks CLI का उपयोग क्यों करते हैं

एक नियमित उपयोगकर्ता के रूप में, मुझे निम्नलिखित कारण महत्वपूर्ण लगते हैं कि आपको Databricks CLI का उपयोग क्यों करना चाहिए।

• ऑटोमेशन: CLI आपको क्लस्टर बनाना, जॉब सबमिट करना, और नोटबुक प्रबंधन जैसे ऑपरेशंस की स्क्रिप्टिंग करने देता है। यह स्वचालन समय बचाता है और गलतियों की संभावना कम करता है। उदाहरण के लिए, आप एक ही कमांड से जॉब्स बना और चला सकते हैं।
• इंटीग्रेशन: Databricks CLI आपको DevOps पाइपलाइनों और CI/CD प्रक्रियाओं के साथ सहजता से एकीकृत करने देता है। इस फ़ंक्शनैलिटी का उपयोग करके, आप अपने वातावरण आसानी से कॉन्फ़िगर कर सकते हैं ताकि डिप्लॉयमेंट्स और Databricks वर्कफ़्लोज़ में अपडेट्स को बिना मैनुअल हस्तक्षेप के स्वचालित किया जा सके। उदाहरण के लिए, आप Jenkins, GitHub Actions, या Azure DevOps जैसे टूल्स से सीधे स्वचालित जॉब्स ट्रिगर कर सकते हैं।
• सरलता: आप अपने लोकल मशीन से सीधे कार्य चला सकते हैं, नियमित कार्यों के लिए वेब UI में नेविगेट करने की जरूरत नहीं रहती। यह सुविधा कमांड चलाकर नोटबुक अपलोड करने या क्लस्टर्स प्रबंधित करने जैसे ऑपरेशंस करना आसान बनाती है, वह भी ग्राफ़िकल इंटरफ़ेस के ओवरहेड के बिना।
• लचीलापन: Databricks CLI Windows, macOS, और Linux जैसे कई ऑपरेटिंग सिस्टम्स और वातावरणों का समर्थन करता है, जिससे यह विविध टीमों के लिए सुलभ बनता है। CLI मल्टी-प्रोफ़ाइल ऑथेंटिकेशन भी सपोर्ट करता है, जिससे आप कई Databricks अकाउंट्स या वर्कस्पेसेज़ को कुशलतापूर्वक प्रबंधित कर सकते हैं। 

Databricks CLI इंस्टॉल और अपडेट करना

Databricks CLI के साथ शुरुआत करने के लिए, आपको अपने वातावरण की पूर्व आवश्यकताओं को पूरा करना होगा और अपने ऑपरेटिंग सिस्टम के अनुसार इंस्टॉलेशन निर्देशों का पालन करना होगा। मैं Linux, macOS, और Windows पर वातावरण सेट करने और CLI अपडेट करने का तरीका दिखाऊंगा।

Environment prerequisites

Databricks CLI इंस्टॉल करने से पहले, सुनिश्चित करें कि आपका सिस्टम ये बुनियादी आवश्यकताएँ पूरी करता है:

• एक पैकेज मैनेजर: macOS के लिए Homebrew या Windows के लिए WinGet जैसे पैकेज मैनेजर इंस्टॉलेशन को सरल बना सकते हैं, लेकिन आप बाइनरीज़ या सोर्स कोड से सीधे भी इंस्टॉल कर सकते हैं।
• Python: CLI के लिए Python 3.6 या उससे नया संस्करण आवश्यक है।
• Databricks वर्कस्पेस तक नेटवर्क एक्सेस।
• Curl: Linux और macOS पर कुछ इंस्टॉलेशन विधियों के लिए, सुनिश्चित करें कि curl इंस्टॉल है।
• एडमिनिस्ट्रेटर विशेषाधिकार (कुछ इंस्टॉलेशन विधियों के लिए)।

Linux पर इंस्टॉल करना

Linux पर Databricks CLI इंस्टॉल करने के कई तरीके हैं, जिनमें निम्न शामिल हैं:

Homebrew का उपयोग

यदि आपके पास Homebrew इंस्टॉल है, तो चलाएँ:

brew install databricks-cli

curl का उपयोग

आप निम्न कमांड चलाकर curl के माध्यम से Databricks CLI डाउनलोड और इंस्टॉल कर सकते हैं:

curl -Lo databricks-cli.tar.gz https://github.com/databricks/databricks-cli/releases/latest/download/databricks-cli.tar.gz
tar -xzf databricks-cli.tar.gz -C /usr/local/bin

मैनुअल डाउनलोड

वैकल्पिक रूप से, आप आधिकारिक Databricks CLI GitHub रिपॉज़िटरी से CLI बाइनरी डाउनलोड कर सकते हैं और इसे अपने PATH में किसी डायरेक्टरी में स्थानांतरित कर सकते हैं।

macOS पर इंस्टॉल करना

यदि आप macOS का उपयोग कर रहे हैं, तो आप निम्न कमांड्स का उपयोग करके Databricks CLI इंस्टॉल कर सकते हैं।

Homebrew का उपयोग

Databricks CLI इंस्टॉल करने के लिए नीचे दिया गया कमांड चलाएँ;

brew install databricks-cli

सीधा बाइनरी इंस्टॉलेशन

GitHub रिलीज़ से नवीनतम बाइनरी डाउनलोड करें, उसे एक्सट्रैक्ट करें, और अपने लोकल PATH में रखें। नीचे दिए कमांड से उसे executable बनाएँ:

chmod +x /usr/local/bin/databricks

मैनुअल डाउनलोड

इसी तरह, आप आधिकारिक Databricks CLI GitHub रिपॉज़िटरी से CLI बाइनरी डाउनलोड कर सकते हैं और उसे अपने PATH में किसी डायरेक्टरी में स्थानांतरित कर सकते हैं।

Windows पर इंस्टॉल करना

यदि आप Windows ऑपरेटिंग सिस्टम का उपयोग कर रहे हैं, तो आप निम्न तरीकों से Databricks CLI इंस्टॉल कर सकते हैं:

WinGet का उपयोग

कमांड प्रॉम्प्ट में निम्न कमांड चलाएँ:

winget install Databricks.DatabricksCLI

Chocolatey का उपयोग

यदि आपके पास Chocolatey इंस्टॉल है, तो उपयोग करें:

choco install databricks-cli

Windows Subsystem for Linux (WSL) का उपयोग

यदि WSL सेटअप है, तो Linux इंस्टॉलेशन के चरणों का पालन करें।

सीधा बाइनरी इंस्टॉलेशन

.exe फ़ाइल डाउनलोड करें Databricks CLI GitHub रिपॉज़िटरी से।

आसान एक्सेस के लिए फ़ाइल वाली डायरेक्टरी को अपने सिस्टम के PATH में जोड़ें।

इंस्टॉलेशन सत्यापित करना

इंस्टॉलेशन के बाद, आपको सत्यापित करना चाहिए कि Databricks CLI सही से इंस्टॉल हुआ है। एक टर्मिनल या कमांड प्रॉम्प्ट खोलें और चलाएँ:

databricks --version

Databricks CLI ऑथेंटिकेशन और कॉन्फ़िगरेशन

Databricks CLI का प्रभावी उपयोग करने के लिए, आपको इसे अपने Databricks वर्कस्पेस के साथ प्रमाणित करना होगा। इस अनुभाग में, मैं ऑथेंटिकेशन सेटअप और कॉन्फ़िगरेशन प्रबंधन को कवर करूंगा।

पर्सनल एक्सेस टोकन जनरेट करना

Databricks CLI के साथ ऑथेंटिकेट करने के लिए एक पर्सनल एक्सेस टोकन (PAT) आवश्यक है। एक टोकन जनरेट करने के लिए ये चरण अपनाएँ:

चरण 1: यूज़र सेटिंग्स खोलें 

अपने Databricks वर्कस्पेस में लॉगिन करें और टॉप बार में अपने यूज़रनेम पर क्लिक करें। ड्रॉपडाउन मेनू से Settings चुनें।

Databricks वर्कस्पेस यूज़र सेटिंग्स। चित्र: लेखक द्वारा।

चरण 2: डेवलपर सेटिंग्स पर जाएँ 

Developer पर क्लिक करें।

Databricks डेवलपर सेटिंग्स। चित्र: लेखक द्वारा।

चरण 3: एक्सेस टोकन प्रबंधित करें

Access tokens के बगल में, Manage पर क्लिक करें।

Databricks एक्सेस टोकन। चित्र: लेखक द्वारा

चरण 4: नया टोकन जनरेट करें

Generate new token पर क्लिक करें।

नया Databricks एक्सेस टोकन जनरेट करना। चित्र: लेखक द्वारा।

चरण 5: विवरण दर्ज करें और टोकन सहेजें

टोकन की पहचान के लिए एक टिप्पणी दें और इसका लाइफटाइम दिनों में सेट करें। यदि खाली छोड़ा, तो यह अधिकतम लाइफटाइम (आमतौर पर 730 दिन) पर डिफ़ॉल्ट होगा। Generate पर क्लिक करें, टोकन को सुरक्षित रूप से कॉपी करें, और फिर Done पर क्लिक करें।

नया Databricks एक्सेस टोकन जनरेट करना। चित्र: लेखक द्वारा।

प्रोफ़ाइल्स कॉन्फ़िगर करना

टोकन मिलने के बाद, CLI को अपने वर्कस्पेस से संवाद करने के लिए कॉन्फ़िगर करें। इस प्रक्रिया में आपके वर्कस्पेस URL और टोकन वाला एक प्रोफ़ाइल सेट करना शामिल है।

बेसिक कॉन्फ़िगरेशन

अपनी डिफ़ॉल्ट प्रोफ़ाइल सेट करने के लिए निम्न कमांड चलाएँ:

databricks configure --token

आपसे निम्न दर्ज करने को कहा जाएगा:

Databricks होस्ट URL (उदा., https://<databricks-instance>.cloud.databricks.com)।

वह पर्सनल एक्सेस टोकन जो आपने पहले जनरेट किया था।

Databricks CLI प्रोफ़ाइल कॉन्फ़िगर करना। चित्र: लेखक द्वारा।

एकाधिक प्रोफ़ाइल्स

आप अलग-अलग वातावरणों (उदा., dev, staging, production) के लिए कई प्रोफ़ाइल्स कॉन्फ़िगर कर सकते हैं:

databricks configure --profile <profile-name> --token

किसी विशिष्ट प्रोफ़ाइल का उपयोग करने के लिए, अपने CLI कमांड्स में --profile फ़्लैग शामिल करें:

databricks clusters list --profile staging

एडवांस्ड ऑथेंटिकेशन

Databricks CLI, Databricks Unified Authentication को सपोर्ट करता है, जो Single Sign-On (SSO) और OAuth जैसे एंटरप्राइज़ आइडेंटिटी मैनेजमेंट सिस्टम्स के साथ इंटीग्रेट होता है। यह सभी Databricks APIs में सुरक्षित और स्केलेबल ऑथेंटिकेशन सक्षम करता है। यूनिफ़ाइड ऑथेंटिकेशन, कई वर्कस्पेसेज़ के लिए एक सिंगल SSO कॉन्फ़िगरेशन सक्षम करके यूज़र प्रबंधन को सरल बनाता है, जिससे एक्सेस प्रबंधन और सर्विस प्रिंसिपल्स का उपयोग करके कार्यों का स्वचालन आसान हो जाता है।

मुख्य Databricks CLI कमांड्स

Databricks CLI अपनी कार्यक्षमता को उच्च-स्तरीय श्रेणियों में व्यवस्थित करता है, जिनमें प्रत्येक में विशिष्ट कार्यों के लिए सब-कमांड्स होते हैं। नीचे मुख्य श्रेणियों का विभाजन और शुरुआत करने के लिए व्यावहारिक उदाहरण दिए गए हैं। यदि आपको Databricks की मुख्य विशेषताओं के बारे में अपना ज्ञान ताज़ा करने की ज़रूरत है, तो मैं हमारे किसी भी डेटा विशेषज्ञ के लिए 7 ज़रूरी कॉन्सेप्ट्स पर ट्यूटोरियल को देखने की सलाह देता/देती हूँ।

क्लस्टर्स

क्लस्टर्स कमांड्स Databricks क्लस्टर्स का प्रबंधन करने के लिए हैं, जिनमें बनाना, सूची देखना, शुरू करना और हटाना शामिल है। सामान्य सब-कमांड्स इस प्रकार हैं:

• create: एक नया क्लस्टर बनाएँ।

• list: वर्कस्पेस में सभी क्लस्टर्स की सूची।

• start और delete: किसी क्लस्टर को शुरू करें या हटाएँ।

उदाहरण के लिए, निम्न कमांड my-cluster नाम का एक नया क्लस्टर बनाता है जिसमें Standard_D2_v2 प्रकार के 4 वर्कर्स होते हैं।

databricks clusters create --cluster-name my-cluster --node-type-id Standard_D2_v2 --num-workers 4

आप निम्न कमांड का उपयोग करके अपने Databricks वर्कस्पेस में सभी क्लस्टर्स की सूची भी देख सकते हैं।

databricks clusters list

जॉब्स

ये कमांड्स Databricks जॉब्स का प्रबंधन करने के लिए हैं, जिनमें जॉब बनाना, चलाना, और सूची देखना शामिल है। जॉब्स में सामान्य सब-कमांड्स निम्नलिखित हैं:

• create: नया जॉब बनाएँ।

• run-now: किसी मौजूदा जॉब को तुरंत ट्रिगर करें।

• list: सभी उपलब्ध जॉब्स की सूची।

उदाहरण के लिए, आप एक नया जॉब my-job बना सकते हैं जो एक नोटबुक टास्क चलाता है।

databricks jobs create --job-name my-job --notebook-task /path/to/notebook

आप नीचे दिए गए कमांड से किसी मौजूदा जॉब को उसके ID द्वारा ट्रिगर भी कर सकते हैं।

databricks jobs run-now --job-id 12345

वर्कस्पेस

ये कमांड्स वर्कस्पेस संसाधनों का प्रबंधन करने के लिए हैं, जैसे नोटबुक्स को इम्पोर्ट और एक्सपोर्ट करना। इस श्रेणी में सामान्य सब-कमांड्स निम्नलिखित हैं:

• import: किसी नोटबुक या लाइब्रेरी को इम्पोर्ट करें।

• export: किसी नोटबुक को अपनी लोकल मशीन पर एक्सपोर्ट करें।

• list: वर्कस्पेस डायरेक्टरी की सामग्री सूचीबद्ध करें।

उदाहरण के लिए, आप नीचे दिए कमांड से किसी नोटबुक को लोकल फ़ाइल में एक्सपोर्ट कर सकते हैं।

databricks workspace export /Users/username/notebook /local/path/notebook.py

इसी तरह, आप नीचे दिए कमांड से किसी नोटबुक को इम्पोर्ट कर सकते हैं।

databricks workspace import /local/path/notebook.py /Users/username/notebook

फ़ाइल सिस्टम (DBFS)

ये कमांड्स Databricks फ़ाइल सिस्टम (DBFS) के साथ इंटरैक्ट करने के लिए हैं, जिनमें फ़ाइल अपलोड और डाउनलोड शामिल हैं। इस श्रेणी में सामान्य सब-कमांड्स निम्नलिखित हैं:

• cp: DBFS में या DBFS से फ़ाइलें कॉपी करें।

• ls: किसी DBFS डायरेक्टरी में फ़ाइलों की सूची।

• rm: DBFS से फ़ाइलें या डायरेक्टरियाँ हटाएँ।

उदाहरण के लिए, आप नीचे दिए कमांड का उपयोग करके किसी लोकल फ़ाइल को DBFS पर अपलोड कर सकते हैं।

databricks fs cp /local/path/file.txt dbfs:/path/in/dbfs/

इसी तरह, निम्न कमांड आपको DBFS से किसी फ़ाइल को लोकल पाथ पर डाउनलोड करने देता है।

databricks fs cp dbfs:/path/in/dbfs/file.txt /local/path/

Repos

Repos कमांड्स आपको Databricks के भीतर रिपॉज़िटरीज़ प्रबंधित करने देते हैं, जिससे वर्ज़न कंट्रोल सक्षम होता है। सामान्य सब-कमांड्स निम्न हैं:

• list: सभी रिपॉज़िटरीज़ की सूची।

• create: एक नई रिपॉज़िटरी जोड़ें।

उदाहरण के लिए, निम्न कमांड आपके वर्कस्पेस में सभी Databricks Repos सूचीबद्ध करेगा।

databricks repos list

परमिशन्स

आप इन कमांड्स का उपयोग वर्कस्पेसेज़, जॉब्स, और क्लस्टर्स के लिए परमिशन्स सेट और प्रबंधित करने के लिए कर सकते हैं। सामान्य परमिशन्स सब-कमांड्स निम्नलिखित हैं:

• get: वर्तमान परमिशन्स देखें।

• update: परमिशन्स संशोधित करें।

उदाहरण के लिए, नीचे दिया कमांड किसी विशिष्ट संसाधन के लिए परमिशन्स देखने देता है।

databricks permissions get --type cluster --id 12345

Databricks SQL कमांड्स

ये कमांड्स आपको Databricks SQL के साथ इंटरैक्ट करने, डेटाबेस क्वेरी करने और SQL वेयरहाउसेज़ को प्रबंधित करने देते हैं।

निम्न क्वेरी sales_table से पहले 10 पंक्तियाँ फ़ेच कर प्रदर्शित करती है।

databricks sql query --query "SELECT * FROM sales_table LIMIT 10;"

यदि आपको Databricks SQL के बारे में अपना ज्ञान ताज़ा करने की आवश्यकता है, तो हमारा Databricks SQL ट्यूटोरियल पढ़ने की सलाह देता/देती हूँ, ताकि आप Databricks SQL Warehouse से डेटा क्वेरी करने के लिए SQL का उपयोग करना सीख सकें।

सामान्य उपयोग के मामले और उदाहरण परिदृश्य

Databricks CLI नियमित कार्यों को स्वचालित करने के लिए व्यावहारिक समाधान प्रदान करता है। नीचे सामान्य परिदृश्यों के विस्तृत उदाहरण दिए गए हैं, जो इसकी बहुमुखी प्रतिभा दिखाते हैं।

किसी क्लस्टर को बनाना या संपादित करना

क्लस्टर बनाने के लिए, cluster-config.json जैसे JSON कॉन्फ़िगरेशन फ़ाइल का उपयोग करें जो क्लस्टर सेटिंग्स निर्दिष्ट करती है।

{
  "cluster_name": "example-cluster",
  "spark_version": "11.3.x-scala2.12",
  "node_type_id": "Standard_DS3_v2",
  "num_workers": 2
}

फिर क्लस्टर बनाने के लिए निम्न कमांड चलाएँ:

databricks clusters create --json-file cluster-config.json

किसी मौजूदा क्लस्टर की कॉन्फ़िगरेशन अपडेट करने के लिए, पहले नीचे दिए कमांड से वर्तमान क्लस्टर सेटिंग्स एक्सपोर्ट करें:

databricks clusters get --cluster-id <cluster-id> > cluster-config.json

इसके बाद, आवश्यकतानुसार cluster-config.json फ़ाइल संपादित करें और बदलाव क्लस्टर पर लागू करें।

databricks clusters edit --json-file cluster-config.json

नोटबुक्स प्रबंधन

कुछ स्थितियों में, आप Databricks से किसी नोटबुक को लोकल डायरेक्टरी में एक्सपोर्ट करना और फिर उसे वापस इम्पोर्ट करना चाह सकते हैं। नोटबुक एक्सपोर्ट करने के लिए निम्न कमांड का उपयोग करें:

databricks workspace export /path/to/notebook.ipynb /local/path/notebook.ipynb

नीचे दिया कमांड नोटबुक को वापस Databricks पर अपलोड करने के लिए उपयोग होता है।

databricks workspace import /local/path/notebook.ipynb /path/to/notebook.ipynb

जॉब्स ट्रिगर करना

जब आप स्वचालित कार्य बनाना चाहते हैं, तो आपको एक जॉब बनाना पड़ सकता है जो किसी नोटबुक या स्क्रिप्ट को चलाता है और उसे प्रतिदिन चलाने के लिए शेड्यूल करता है। पहले, job-config.json जैसी JSON फ़ाइल का उपयोग करें जो किसी विशिष्ट नोटबुक को चलाने वाला जॉब परिभाषित करती है।

{
  "name": "example-job",
  "new_cluster": {
    "spark_version": "11.3.x-scala2.12",
    "node_type_id": "Standard_DS3_v2",
    "num_workers": 1
  },
  "notebook_task": {
    "notebook_path": "/Users/username/my-notebook"
  },
  "schedule": {
    "quartz_cron_expression": "0 0 * * * ?",
    "timezone_id": "UTC"
  }
}

नीचे दिए कमांड से जॉब बनाएँ:

databricks jobs create --json-file job-config.json

इसके बाद आप जॉब को उसकी जॉब ID द्वारा चला सकते हैं।

databricks jobs run-now --job-id <job-id>

DBFS पर फ़ाइल ऑपरेशंस

यदि आपको DBFS में फ़ाइलों की सूची देखनी, कॉपी करनी या हटानी है, तो निम्न कमांड्स का उपयोग करें।

किसी डायरेक्टरी में फ़ाइलें देखने के लिए:

databricks fs ls dbfs:/path/to/directory

किसी लोकल फ़ाइल को DBFS पर अपलोड करें:

databricks fs cp /local/path/file.txt dbfs:/path/to/remote-file.txt

किसी फ़ाइल या डायरेक्टरी को हटाएँ:

databricks fs rm dbfs:/path/to/file.txt

श्रेष्ठ अभ्यास और टिप्स

Databricks CLI की दक्षता, सुरक्षा और विश्वसनीयता को अधिकतम करने के लिए निम्न श्रेष्ठ अभ्यास अपनाने पर विचार करें।

• संस्करण अद्यतन रखें: सक्रिय विकास और नए फीचर्स का लाभ उठाने के लिए सुनिश्चित करें कि आप Databricks CLI संस्करण 0.200 या बाद का उपयोग कर रहे हैं। पुराने संस्करण लेगेसी माने जाते हैं और नवीनतम फ़ंक्शनैलिटी का समर्थन नहीं कर सकते।
• सुरक्षा: पर्सनल एक्सेस टोकन को सादे टेक्स्ट में स्टोर करने से बचें। इसके बजाय, environment variables या एन्क्रिप्टेड फ़ाइलों या सीक्रेट मैनेजमेंट टूल्स जैसे सुरक्षित तरीकों का उपयोग करें।
• स्क्रिप्ट: कई CLI कमांड्स को चेन करके कार्यों को स्वचालित करने के लिए Bash या Python स्क्रिप्ट्स का उपयोग करें। यह दृष्टिकोण जटिल वर्कफ़्लोज़ को सरल बनाता है और पुनरुत्पादन क्षमता बढ़ाता है।
• लॉगिंग/डीबगिंग: डीबगिंग के लिए विस्तृत आउटपुट सक्षम करने हेतु --debug फ़्लैग का उपयोग करें। यह विस्तृत त्रुटि संदेश प्रदान करके समस्याओं का निदान करने में मदद कर सकता है।

databricks --debug clusters create --cluster-name my-cluster --node-type-id Standard_D2_v2 --num-workers 4

Databricks CLI की अन्य तरीकों से तुलना

Databricks के साथ काम करते समय, उपयोगकर्ताओं के पास प्लेटफ़ॉर्म के साथ इंटरैक्ट करने के कई विकल्प होते हैं, जिनमें Databricks CLI, REST APIs, Databricks Python SDK, और वेब UI शामिल हैं। उपयोगकर्ता या संगठन की विशिष्ट आवश्यकताओं और प्राथमिकताओं के आधार पर प्रत्येक विधि के अपने फायदे और सीमाएँ हैं।

REST APIs

Databricks REST APIs, Databricks कार्यक्षमता तक प्रत्यक्ष, लो-लेवल एक्सेस प्रदान करती हैं, जो भाषा-अज्ञेय इंटीग्रेशंस के लिए सर्वाधिक लचीलापन देती हैं।

Databricks Python SDK

Databricks Python SDK, Databricks के साथ इंटरैक्ट करने के लिए पायथॉनिक इंटरफ़ेस प्रदान करता है, जो REST APIs के ऊपर उच्च-स्तरीय एब्स्ट्रैक्शंस देता है।

वेब UI

Databricks वेब UI क्लस्टर्स, जॉब्स, नोटबुक्स आदि को प्रबंधित करने के लिए एक इंटरैक्टिव ग्राफ़िकल इंटरफ़ेस प्रदान करता है।

मैं नीचे दी गई तालिका में ऊपर बताई विधियों के लाभ, कमज़ोरियाँ, और सर्वोत्तम उपयोग के मामलों का सारांश दूंगा/दूँगी:

ट्रबलशूटिंग और ज्ञात समस्याएँ

Databricks CLI का उपयोग करते समय, आपको सामान्य त्रुटियाँ और चुनौतियाँ मिल सकती हैं। नीचे बार-बार आने वाली समस्याओं और व्यावहारिक समाधानों का सारांश दिया गया है, साथ ही नेटवर्क-संबंधी समस्याओं के निदान के टिप्स भी।

सामान्य त्रुटियाँ

Databricks CLI का उपयोग करते समय सामान्य त्रुटियाँ इस प्रकार हैं:

• Authorization Failed: यह त्रुटि गलत या एक्सपायर हो चुके पर्सनल एक्सेस टोकन के कारण हो सकती है। त्रुटि को ठीक करने के लिए सुनिश्चित करें कि आपका टोकन वैध है और CLI सेटिंग्स में सही ढंग से कॉन्फ़िगर किया गया है। आवश्यकता पड़ने पर नया टोकन जनरेट करें।
• CLI Not Found in PATH: यह त्रुटि तब होती है जब Databricks CLI executable आपके सिस्टम के PATH में नहीं होता। समस्या को ठीक करने के लिए, CLI executable वाली डायरेक्टरी को हमेशा अपने सिस्टम के PATH environment वेरिएबल में जोड़ें।
• Token Expiration: टोकन का सीमित लाइफटाइम होता है और वे एक तय अवधि के बाद एक्सपायर हो जाते हैं। इस त्रुटि से बचने के लिए, हमेशा अपने टोकन को समय-समय पर नवीनीकृत करें या टोकन को स्वचालित रूप से रिफ़्रेश करने की व्यवस्था करें।

नेटवर्क समस्याओं का निदान

प्रतिबंधित नेटवर्क या IP अलाउलिस्ट वाले वातावरण में, आपको Databricks से कनेक्ट करने में समस्याएँ आ सकती हैं। इन समस्याओं का निदान और समाधान करने के लिए ये चरण अपनाएँ:

• नेटवर्क कॉन्फ़िगरेशन जाँचें: सुनिश्चित करें कि आपका नेटवर्क Databricks वर्कस्पेस URL के लिए आउटगोइंग कनेक्शंस की अनुमति देता है। किसी भी फ़ायरवॉल या प्रॉक्सी सर्वर का सही कॉन्फ़िगरेशन सत्यापित करें।

• IP अलाउलिस्ट्स: यदि आपका वर्कस्पेस IP अलाउलिस्टिंग की आवश्यकता रखता है, तो सुनिश्चित करें कि आपका IP पता सूची में शामिल है। अपनी मशीन से Databricks API तक कनेक्टिविटी जाँचने के लिए curl जैसे टूल्स का उपयोग करें।

• SSL वेरिफ़िकेशन: यदि आपको SSL वेरिफ़िकेशन त्रुटियाँ मिलती हैं, तो समस्या को अलग-थलग करने के लिए अस्थायी रूप से curl के साथ -k विकल्प का उपयोग करके SSL वेरिफ़िकेशन को डिसेबल करने का प्रयास करें।

निष्कर्ष और आगे के संसाधन

आशा है कि मैंने आपको यह भरोसा दिलाया है कि Databricks CLI का अभ्यास करना सार्थक है। जैसा कि आपने देखा, Databricks CLI क्लस्टर प्रबंधन, जॉब ट्रिगरिंग, और फ़ाइल ऑपरेशंस जैसे कार्यों का तेज़, स्क्रिप्टेबल स्वचालन सक्षम करता है, जिससे वेब UI पर निर्भरता कम होती है और समय बचता है। मैं इसकी लचीलापन और DevOps पाइपलाइनों के साथ इसके इंटीग्रेशन से प्रभावित रहा/रही हूँ।

कई विशिष्ट विवरण निश्चित रूप से एक लेख में कवर नहीं किए जा सकते, इसलिए यदि आप किसी खास प्रश्न का उत्तर खोज रहे हैं, तो आधिकारिक Databricks दस्तावेज़ या CLI का GitHub पेज देखें। और अधिक महत्वपूर्ण बुनियादी कॉन्सेप्ट्स सीखने के लिए हमारा Introduction to Databricks कोर्स आज़माएँ। यह कोर्स आपको Business Intelligence के लिए डेटा वेयरहाउसिंग समाधान के रूप में Databricks के बारे में सिखाता है। यदि आप Databricks सीखने के मार्ग पर आगे बढ़ रहे हैं, तो मैं हमारे Databricks Certifications गाइड को भी पढ़ने की सलाह देता/देती हूँ, ताकि आप न केवल Databricks सीखें बल्कि नौकरी बाज़ार में खुद को बेहतर ढंग से स्थापित कर सकें।