डेटा साइंस के लिए Bard बनाम ChatGPT

प्रोग्रामिंग वर्कफ़्लोज़

Bard कहाँ अच्छा प्रदर्शन करता है?

कोड ऑप्टिमाइज़ेशन एक आम लेकिन पेचीदा काम है। अक्सर कोड को अधिक कुशल बनाने या तेज़ चलाने के कई तरीके होते हैं, और आमतौर पर कोई एक सही उत्तर नहीं होता। कोड ऑप्टिमाइज़ेशन के अनुरोध पर एक अच्छा उत्तर विभिन्न समाधान प्रदान करना चाहिए। इस कार्य में Bard से कुछ SQL कोड को ऑप्टिमाइज़ करने के लिए कहा गया है।

Bard यहाँ 10 विकल्प देता है। वे सभी समझदारी भरे हैं, हालांकि उनमें से कुछ एक ही थीम के विविध रूप हैं (इंडेक्स बनाने के पाँच प्रकार), और सभी डेटाबेस प्रबंधन पर केंद्रित हैं न कि क्वेरी कोड में सुधार पर।

यूनिट टेस्ट लिखना एक महत्वपूर्ण कार्य है जिसे कम लोग पसंद करते हैं, इसलिए यदि AI यह आपके लिए कर दे तो यह संभवतः वरदान है। बेशक, उसे अच्छे टेस्ट लिखने होंगे! इस उदाहरण में, Bard से एक फ़ंक्शन के लिए टेस्ट लिखने को कहा गया जो फैक्टोरियल्स की गणना करता है।

कोड अच्छी तरह संरचित है, और अधिकांश टेस्ट समझ में आते हैं। एक चिंता का क्षेत्र यह है कि स्ट्रिंग इनपुट्स के लिए टेस्ट फ़ंक्शन से संख्यात्मक मान लौटाने के लिए कहता है। एक मानव प्रोग्रामर शायद ऐसे टेस्ट लिखेगा जो स्ट्रिंग इनपुट होने पर त्रुटि उठाएँ, क्योंकि टेक्स्ट का फैक्टोरियल निरर्थक है। प्रॉम्प्ट ने यह निर्दिष्ट नहीं किया था कि स्ट्रिंग इनपुट का व्यवहार क्या होना चाहिए, इसलिए यह समस्या संभवतः अधिक विस्तृत प्रॉम्प्ट से सुधारी जा सकती है, फिर भी, मैं इस उत्तर को अच्छा लेकिन परिपूर्ण नहीं मानूँगा।

Bard कहाँ खराब प्रदर्शन करता है?

शायद ChatGPT के लिए सबसे व्यापक रूप से उपयोग किया जाने वाला डेटा साइंस उपयोग मामला कोड में त्रुटियों की व्याख्या करना है। इसका मतलब है कि मुझे उम्मीद थी कि Bard उस कार्य में उत्कृष्ट करेगा जहाँ उससे कुछ R कोड में एक साधारण सिंटैक्स त्रुटि समझाने के लिए कहा गया था।

दुर्भाग्यवश, Bard ने प्रश्न का उत्तर देने से इनकार कर दिया (और जब उससे Python और SQL त्रुटियों को समझाने के लिए कहा गया तो भी इसी तरह की प्रतिक्रिया दी)। यह निराशाजनक है। हालाँकि, सुकून की बात यह है कि उत्तर देने से इनकार करना असफल होने का सबसे अच्छा तरीका है। AI मॉडलों के साथ एक बड़ी समस्या तब होती है जब वे आत्मविश्वास से गलत उत्तर उगलते हैं जो आपको गुमराह कर सकते हैं। Bard में सावधानी भरने के लिए Google को बधाई।

जब कुछ Python कोड समझाने के लिए कहा गया तो Bard ने भी इसी तरह की प्रतिक्रिया दी।

फ़ैसला: ChatGPT विजेता

हालाँकि प्रोग्रामिंग प्रश्नों के लिए Bard के कुछ उत्तर ठीक-ठाक थे, इसमें कोड और त्रुटि व्याख्या के आसपास बहुत स्पष्ट खामियाँ हैं, जिससे यह आपके कोड के बारे में सीखने में सहायता के लिए अनुपयुक्त हो जाता है।

डेटा विश्लेषण वर्कफ़्लोज़

Bard कहाँ अच्छा प्रदर्शन करता है?

प्राकृतिक भाषा (यानी, मानवीय वाक्यों) का उपयोग करके SQL क्वेरी लिखना एक अत्यंत महत्वपूर्ण उपयोग मामला है क्योंकि यह कम तकनीकी समझ वाले व्यावसायिक उपयोगकर्ताओं को डेटाबेस में डेटा तक पहुँचने देता है। यहाँ, Bard से ग्राहक विवरणों को समेकित करने वाली एक सरल क्वेरी लिखने के लिए कहा गया है।

कोड और व्याख्याएँ सही हैं, और यह एक कदम आगे बढ़कर पंक्तियों को सबसे आम ईमेल प्रकार से लेकर सबसे कम आम तक सॉर्ट भी करता है, जो परिणाम देखने वाले के लिए उपयोगी है।

कॉमन टेबल एक्सप्रेशंस (CTEs) SQL में Python या R के वेरिएबल्स के समकक्ष हैं: वे आपको चरणों में लंबी क्वेरी बनाने देते हैं। नेस्टेड सबक्वेरी वाली जटिल क्वेरियों को फिर से लिखना आपके कोड को अधिक पठनीय बनाने की एक उपयोगी तरकीब है। निम्न उदाहरण में, मैं चाहता था कि Bard सबक्वेरी (वह अंदरूनी कोड जो SELECT से शुरू होता है) को एक कॉमन टेबल एक्सप्रेशन में स्थानांतरित करे।

यहाँ, Bard ने समस्या को पूरी तरह गलत समझा, और सब कुछ एक CTE में डाल दिया। हालाँकि, Bard के पास एक चाल है। जब भी आप Bard से उत्तर उत्पन्न करने के लिए कहते हैं, यह वास्तव में तीन उत्तर बनाता है और आपको एक चुनने देता है। यहाँ, तीसरा उत्तर सही है। 

डेटा विश्लेषण के लिए एक और दिलचस्प उपयोग मामला डेटा की सफाई है। यह मनुष्यों के लिए मज़ेदार काम नहीं है, इसलिए यदि AI यह आपके लिए कर दे तो मददगार है। हालाँकि, अक्सर डेटा को साफ करने के कई तरीके होते हैं बजाय इसके कि कोई एकल समाधान हो। 

इस मामले में, कोड सही है लेकिन दो उल्लेखनीय पेच हैं। पहली बात, यह मानता है कि customer_id DataFrame इंडेक्स में है। जबकि कुछ pandas उपयोगकर्ता इसे डेटा संग्रहीत करने का सर्वोत्तम तरीका मानते हैं, प्रॉम्प्ट में कहा गया था कि customer_id एक कॉलम है। दूसरी बात, .replace()/.isnull() का संयोजन .fillna() की तुलना में भारी है। फिर से, Bard के "तीन समाधान" दृष्टिकोण से इसकी बचत होती है; दूसरा समाधान मेरी दोनों शिकायतों का समाधान करता है।

Bard कहाँ खराब प्रदर्शन करता है?

एक शिक्षा कंपनी के रूप में, DataCamp में, हमारे पास उपयोगकर्ताओं को विश्लेषण करने के लिए लगभग असीमित नए डेटासेट्स की आवश्यकता है। इसका मतलब है कि यदि AI तुरंत डेटासेट्स जनरेट कर सके तो वह गेम-चेंजर विशेषता है। बाकी सबके लिए भी, अपने विश्लेषण कोड का टेस्ट करने हेतु जल्दी से डेटासेट्स जनरेट कर पाना बड़ा लाभ है। ChatGPT यह बहुत अच्छी तरह करता है, लेकिन देखते हैं कि Bard कैसा करता है।

फिर से, यह प्रश्न का उत्तर देने से इनकार करता है। प्रोग्रामिंग उदाहरणों की तरह, मैं AI द्वारा दिखाई गई संयम से प्रभावित हूँ, लेकिन थोड़ा निराश भी कि यह कार्य पूरा नहीं कर सकता।

चूँकि डेटा विश्लेषण का एक बड़ा हिस्सा डेटा मैनिप्युलेशन है, यदि AI आपका कोड लिख सके तो बहुत अच्छा होगा। निम्न उदाहरण थोड़ा पेचीदा है क्योंकि इसमें AI को समझना पड़ता है कि वर्ष जॉइन डेट से गणना किया जाना चाहिए।

दुर्भाग्यवश, इस बारीकी को नहीं पकड़ा गया, और कोड गलत है। वास्तव में, उत्पन्न किए गए तीनों समाधान गलत हैं। यह गलत होने का बुरा मामला है: AI अपने उत्तर में आत्मविश्वास से गलत है।

फ़ैसला: ChatGPT विजेता

मुझे यह पसंद है कि Bard तीन समाधान प्रदान करता है, जिससे आपके पास उपयुक्त कुछ मिलने की बेहतर संभावना होती है। हालाँकि, डेटासेट्स जनरेट करने और (हल्के से पेचीदे) डेटा मैनिप्युलेशंस करने में असमर्थता बाधक है।

डेटा विज़ुअलाइज़ेशन वर्कफ़्लोज़

Bard कहाँ अच्छा प्रदर्शन करता है?

मैंने एक सरल "स्कैटर प्लॉट बनाएँ" कार्य आज़माया जिसमें एक ट्विस्ट था: प्लॉट की रंग थीम बदलना। समाचार साइट FiveThirtyEight अपनी रंग थीम प्रकाशित करती है, जो लोकप्रिय Matplotlib पैकेज में उपलब्ध है।

कोड सही है, हालांकि एक पेच है कि mcolors इम्पोर्ट किया गया है लेकिन कभी उपयोग नहीं हुआ।

Bard कहाँ खराब प्रदर्शन करता है?

एक और काफ़ी सीधे-साधे प्लॉटिंग कार्य में एक लाइन प्लॉट बनाना है जिसमें कई लाइनें हों। उपयोग किया गया डेटासेट gapminder कहलाता है, और इसे अक्सर डेमोंस्ट्रेशन उद्देश्यों के लिए उपयोग किया जाता है। 

यहाँ, कोड लगभग सही है लेकिन पहले जैसी ही समस्या शामिल है: Bard अनिश्चित है कि country कॉलम होना चाहिए या इंडेक्स (हालाँकि यह प्रॉम्प्ट में बताया गया है)। plt.plot() लाइन में रो सबसेटिंग मानती है कि country इंडेक्स में है, जो पिछली लाइन के साथ असंगत है।

मैंने Bard से R के ggplot2 पैकेज का उपयोग करके वही कार्य करने को कहा। 

यहाँ Bard विनम्रता से इनकार करता है। मुझे यह थोड़ा आश्चर्यजनक लगा क्योंकि ggplot2 एक दशक से अधिक समय से R में सबसे लोकप्रिय प्लॉटिंग पैकेज रहा है, और बहुत सारे कोड उदाहरण उपलब्ध हैं।

फ़ैसला: ChatGPT विजेता

मैं pandas इंडेक्स का उपयोग करने के आसपास Bard की उलझन को माफ़ कर सकता था, लेकिन एक साधारण ggplot2 प्लॉट खींचने में असमर्थता इसे R उपयोगकर्ताओं के लिए अनुपयुक्त बना देती है।

मशीन लर्निंग वर्कफ़्लोज़

Bard कहाँ अच्छा प्रदर्शन करता है?

मैंने कुछ कार्य आज़माए, और दुर्भाग्यवश, उन सभी में समस्याएँ थीं। यह Bard के लिए बड़ा लाल झंडा है क्योंकि Python में मशीन लर्निंग बेहद लोकप्रिय है।

Bard कहाँ खराब प्रदर्शन करता है?

मशीन लर्निंग के लिए शायद सबसे स्पष्ट शुरुआत Python में एक मॉडल ट्रेन करना और भविष्यवाणियाँ करना है। 

कोड अधिकांशतः अच्छा है, लेकिन ट्रेनिंग और टेस्टिंग सेट्स बनाने के तरीके में समस्या है। अच्छा अभ्यास यह है कि पंक्तियों को यादृच्छिक रूप से एक सेट या दूसरे में चुना जाए, लेकिन Bard बस आखिरी एक हज़ार पंक्तियाँ टेस्टिंग सेट में डाल देता है (और बाकी सब ट्रेनिंग में डाल देता है)। यह तभी ठीक होगा जब डेटासेट में फ़िल्में यादृच्छिक क्रम में हों।

रुचि का एक और बड़ा क्षेत्र मॉडल एक्सप्लनेबिलिटी है। डिसीजन ट्रीज़ को Shap मानों का उपयोग करके काफ़ी आसानी से समझाया जा सकता है, और इसके लिए एक काफ़ी मानक वर्कफ़्लो है। 

दुर्भाग्यवश, कोड में shap.explain() कॉल शामिल है, जो एक अस्तित्वहीन फ़ंक्शन है। इस तरह की समस्या को पहचानना अपेक्षाकृत आसान है क्योंकि आप कोड चलाने की कोशिश कर सकते हैं, और यह विफल हो जाएगा। हालाँकि, न चलने वाला कोड जनरेट करना आपका समय बर्बाद करता है।

मैं एक अधिक अवधारणात्मक मशीन लर्निंग कार्य भी आज़माना चाहता था। मशीन लर्निंग की कला का बहुत हिस्सा डोमेन नॉलेज का उपयोग करके अपने मॉडलों में इनपुट के लिए सार्थक फीचर्स बनाने में है। फीचर्स के लिए विचारों के साथ आना पेचीदा हो सकता है, इसलिए यह ऐसा क्षेत्र है जहाँ AI बहुत सहायक हो सकता है। 

यहाँ, प्रतिक्रिया बुरी नहीं है क्योंकि यह फीचर्स के दो उपयोगी विचार पेश करता है (जॉनर और बजट)। हालाँकि, अन्य दो विचार सिर्फ वे ही थे जो प्रॉम्प्ट में निर्दिष्ट थे, और दूसरी सूची का अनुरोध नहीं किया गया था। यह "डेटा इंजीनियरिंग तकनीकों" का भी उल्लेख करता है न कि "मशीन लर्निंग तकनीकों" का, जो गलत है।

फ़ैसला: ChatGPT विजेता

Bard ने यहाँ बहुत खराब प्रदर्शन किया; कोई मुकाबला नहीं।

टाइम सीरीज़ विश्लेषण वर्कफ़्लोज़

Bard कहाँ अच्छा प्रदर्शन करता है?

दुर्भाग्यवश, मैं Bard को कोई भी टाइम सीरीज़ कार्य पूरा करने के लिए राज़ी नहीं कर सका।

Bard कहाँ खराब प्रदर्शन करता है?

मैंने टाइम सीरीज़ के लिए डेटा मैनिप्युलेशन कार्य आज़माए जिनमें दैनिक डेटा को साप्ताहिक और मासिक डेटा में बदलना शामिल था। 

Bard ने इनकार कर दिया।

अगला, मैंने इसे स्थिरता के लिए एक परीक्षण करने के लिए कहने की कोशिश की। 

फिर से, Bard ने इनकार कर दिया। पहले की तरह, मैं AI में बनाए गए संयम से प्रसन्न हूँ जो Bard को गलत उत्तरों की संख्या कम करने में मदद करता है।

फ़ैसला: ChatGPT विजेता

लगता है कि Bard अभी टाइम सीरीज़ विश्लेषण नहीं कर सकता।

नेचुरल लैंग्वेज प्रोसेसिंग वर्कफ़्लोज़

Bard कहाँ अच्छा प्रदर्शन करता है?

आप कल्पना कर सकते हैं कि बड़े भाषा मॉडल भाषा के साथ अच्छा काम करेंगे। सेंटिमेंट एनालिसिस (यह निर्धारित करना कि टेक्स्ट का रुझान सकारात्मक है या नकारात्मक) शॉपिंग साइट्स पर उत्पाद समीक्षाओं को परिमाणित करने के लिए महत्वपूर्ण है और टेक्स्ट विश्लेषण के लिए बुनियादी माना जाता है। यह कार्य इमोजी और एक स्लैंग वाक्यांश शामिल करके थोड़ा पेचीदा बना दिया गया था। 

Bard की पहली प्रतिक्रिया ठीक है, लेकिन उसने यह बात मिस कर दी कि प्रॉम्प्ट की प्रत्येक पंक्ति को अलग-अलग माना जाना चाहिए। (न्यायोचित रूप से कहें तो, यह स्पष्ट रूप से नहीं कहा गया था, हालांकि कोई मानव सहज रूप से ऐसा मान सकता था।) Bard की तीसरी प्रतिक्रिया ने इस बारीकी को पकड़ लिया। 

दोनों ही मामलों में, इमोजी और स्लैंग का सही अर्थ निकाला गया।

Bard कहाँ खराब प्रदर्शन करता है?

एक मानव भाषा से दूसरी में टेक्स्ट का अनुवाद करना ट्रांसफॉर्मर मॉडलों के लिए मूल उपयोग मामला है। मैंने Bard से फ़्रेंच में प्रतिक्रिया देने को कहा। 

दुर्भाग्यवश, Bard ने मशीन लर्निंग की अंग्रेज़ी में व्याख्या और वाक्यांश "machine learning" का फ़्रेंच में अनुवाद प्रदान किया, न कि पूरे आउटपुट को फ़्रेंच में।

फ़ैसला: ChatGPT विजेता

यह अनुवाद असफलता मेरे लिए बड़ा आश्चर्य थी।

अवधारणात्मक और करियर-उन्मुख कार्य

Bard कहाँ अच्छा प्रदर्शन करता है?

अपने विश्लेषण से तकनीकी विचारों को उन लोगों को समझाना जिनका डेटा पृष्ठभूमि नहीं है, डेटा साइंस के कठिन हिस्सों में से एक है। मैंने Bard से किसी कार्यकारी को A/B परीक्षण समझाने के लिए कहा। 

व्याख्या काफ़ी अच्छी है। यह थोड़ा संदिग्ध मान लेता है कि नए फ़ॉन्ट से उच्चतर कन्वर्ज़न रेट प्राप्त हुआ (यह इस बात पर निर्भर करता है कि टेस्ट कैसे सेटअप किया गया; यह केवल अलग कन्वर्ज़न रेट भी हो सकता है)। अन्य दो प्रतिक्रियाओं ने इस बारीकी को पकड़ लिया, इसलिए मैं यहाँ अंक नहीं काटूँगा।

AI का एक और उपयोगी कार्य लंबी रचनाओं को संक्षेपित करना है। यहाँ, मैंने Bard से ट्रांसफॉर्मर मॉडलों पर मूल जर्नल लेख (जो Google कर्मचारियों द्वारा लिखा गया) का सारांश देने को कहा। 

यह एक अच्छा, आसानी से पढ़ा जाने वाला सारांश है। एक पेच यह है कि कुछ लिंक्स मूल पेपर के बजाय पेपर के बारे में ब्लॉग लेखों की ओर हैं।

डेटा में करियर चाहने वाले लोगों के लिए, वह सपनों की नौकरी पाने के तरीकों पर विचार पाना महत्वपूर्ण करियर सलाह है। मैंने Bard से प्रोजेक्ट आइडियाज देने को कहा। यह एक और रचनात्मक कार्य है जहाँ कोई एक सही उत्तर नहीं होता। 

अंत में, लंबी रचनाओं के लिए प्रस्तावना लिखना उन थोड़े परेशान करने वाले कार्यों में से एक है जिसे मैं AI को सौंपना पसंद करूँगा। 

फिर से, केवल न्यूनतम संदर्भ के साथ, AI एक अच्छी तरह से लिखा हुआ अंश प्रदान करता है।

Bard कहाँ खराब प्रदर्शन करता है?

इस मामले में, मैंने जो भी कार्य दिए, उन सभी पर Bard ने अच्छा प्रदर्शन किया।

फ़ैसला: टाई

हालाँकि इन रचनात्मक कार्यों के लिए ChatGPT या Bard में से कौन बेहतर है, इसे मापना कठिन है, मुझे खुशी है कि मुझे एक ऐसा क्षेत्र मिला जहाँ Bard ने लगातार उच्च-गुणवत्ता का आउटपुट प्रदान किया।

सारांश

Bard के डेटा साइंस वर्कफ़्लोज़ के ज्ञान में कुछ उल्लेखनीय खामियाँ हैं: कोड त्रुटियों की व्याख्या करने में असमर्थ होना और Python मशीन लर्निंग कार्यों में खराब प्रदर्शन करना बड़े मुद्दे हैं।

मुझे यह पसंद है कि आपको चुनने के लिए तीन प्रतिक्रियाएँ मिलती हैं, और यह भी कि यह अपनी सीमाएँ जानने के लिए पर्याप्त संयमित है। गलत उत्तर देने की तुलना में किसी प्रश्न का उत्तर देने से इनकार करना कहीं बेहतर है।

आखिरकार, फिलहाल ChatGPT का राज है, लेकिन मैं बेसब्री से Bard के सुधार को देखने की प्रतीक्षा कर रहा हूँ। जनरेटिव AI के क्षेत्र में प्रतिस्पर्धा केवल दुनिया को लाभ पहुँचा सकती है।

अगले स्तर पर जाएँ

यदि आप डेटा साइंस के लिए जनरेटिव AI का उपयोग करने के बारे में अधिक सीखना चाहते हैं, तो निम्न संसाधनों को देखें: 

• सीखें कि Introduction to ChatGPT कोर्स में ChatGPT का प्रभावी उपयोग कैसे करें।
• हमारा डेटा साइंस प्रोजेक्ट्स के लिए ChatGPT उपयोग गाइड देखें।
• डेटा साइंस के लिए ChatGPT प्रॉम्प्ट्स की इस उपयोगी चीट शीट को डाउनलोड करें।
• इस पॉडकास्ट एपिसोड को सुनें: How ChatGPT and GPT-3 Are Augmenting Workflows ताकि समझ सकें कि ChatGPT आपके व्यवसाय को कैसे लाभ पहुँचा सकता है।
• GPT-4 क्या है और यह क्यों महत्वपूर्ण है के बारे में और जानें