Bard vs ChatGPT untuk Data Science

Alur Kerja Pemrograman

Di mana Bard berkinerja baik?

Optimasi kode adalah tugas yang umum namun rumit. Sering kali ada banyak cara untuk membuat kode lebih efisien atau berjalan lebih cepat, dan biasanya tidak ada satu jawaban yang benar. Respons yang baik untuk permintaan optimasi kode harus memberikan berbagai solusi. Tugas ini meminta Bard untuk mengoptimalkan beberapa kode SQL.

Bard memberikan 10 opsi di sini. Semuanya masuk akal, meskipun beberapa di antaranya adalah variasi pada satu tema (lima jenis pembuatan indeks), dan semuanya berpusat pada manajemen basis data alih-alih meningkatkan kode kueri.

Menulis unit test adalah tugas penting yang tidak banyak disukai orang, jadi membiarkan AI melakukannya untuk Anda berpotensi menjadi berkah. Tentu saja, AI harus menulis pengujian yang baik! Dalam contoh ini, Bard diminta menulis pengujian untuk fungsi yang menghitung faktorial.

Kodenya terstruktur dengan baik, dan sebagian besar pengujiannya masuk akal. Satu hal yang mungkin mengkhawatirkan adalah bahwa pengujian untuk input string meminta fungsi mengembalikan nilai numerik. Seorang programmer manusia mungkin akan menulis pengujian yang memunculkan error saat string diinput karena faktorial teks tidak bermakna. Prompt tidak menentukan seperti apa perilaku input string seharusnya, jadi masalah ini mungkin dapat diperbaiki dengan prompt yang lebih terperinci. Namun demikian, saya menilai respons ini baik tetapi tidak sempurna.

Di mana Bard berkinerja buruk?

Mungkin kasus penggunaan data science yang paling luas untuk ChatGPT adalah menjelaskan error dalam kode. Itu berarti saya berharap Bard unggul dalam tugas saat diminta menjelaskan error sintaks sederhana pada beberapa kode R.

Sayangnya, Bard menolak menjawab pertanyaan (dan memberikan respons serupa saat diminta menjelaskan error Python dan SQL). Ini mengecewakan. Namun, sisi positifnya adalah menolak menjawab adalah cara terbaik untuk gagal. Masalah besar dengan model AI adalah ketika mereka dengan percaya diri menyampaikan jawaban yang salah yang dapat menyesatkan Anda. Bagus untuk Google karena membekali Bard dengan kehati-hatian.

Bard memberikan respons serupa saat diminta menjelaskan beberapa kode Python.

Putusan: ChatGPT menang

Meskipun beberapa jawaban Bard untuk pertanyaan pemrograman cukup baik, ada celah yang sangat jelas terkait penjelasan kode dan error, sehingga tidak cocok untuk membantu Anda mempelajari kode Anda.

Alur Kerja Analisis Data

Di mana Bard berkinerja baik?

Menggunakan bahasa alami (yaitu kalimat manusia) untuk menulis kueri SQL adalah kasus penggunaan yang sangat penting karena memungkinkan pengguna bisnis yang kurang teknis mengakses data di basis data. Di sini, Bard diminta menulis kueri sederhana yang mengagregasi detail pelanggan.

Kode dan penjelasannya benar, dan melangkah lebih jauh dengan mengurutkan baris dari jenis email yang paling umum ke yang paling tidak umum, yang berguna bagi siapa pun yang harus melihat hasilnya.

Common table expressions (CTE) adalah padanan SQL untuk variabel di Python atau R: CTE memungkinkan Anda membangun kueri yang lebih panjang secara bertahap. Menulis ulang kueri kompleks yang berisi subkueri bersarang adalah trik berguna untuk membuat kode Anda lebih mudah dibaca. Pada contoh berikut, saya ingin Bard memindahkan subkueri (kode bagian dalam yang dimulai dengan SELECT) ke common table expression.

Di sini, Bard sama sekali salah paham masalahnya, dan memindahkan semuanya ke CTE. Namun, Bard punya trik andalan. Setiap kali Anda meminta Bard menghasilkan respons, sebenarnya ia menghasilkan tiga respons dan membiarkan Anda memilih salah satunya. Di sini, respons ketiganya benar. 

Kasus penggunaan menarik lainnya untuk analisis data adalah pembersihan data. Ini bukan tugas yang menyenangkan bagi manusia, jadi akan sangat membantu jika AI dapat melakukannya untuk Anda. Namun, sering kali ada beberapa cara untuk membersihkan data, bukan satu solusi tunggal. 

Dalam kasus ini, kodenya benar tetapi memiliki dua keunikan yang perlu dicatat. Pertama, kode mengasumsikan bahwa customer_id berada di indeks DataFrame. Sementara beberapa pengguna pandas menganggap ini cara terbaik untuk menyimpan data, prompt menyebutkan bahwa customer_id adalah sebuah kolom. Kedua, kombinasi .replace()/.isnull() terasa kikuk dibanding menggunakan .fillna(). Sekali lagi, pendekatan Bard "tiga solusi" menyelamatkannya; solusi kedua menanggapi kedua keluhan saya.

Di mana Bard berkinerja buruk?

Sebagai perusahaan pendidikan, di DataCamp, kami hampir tak ada habisnya membutuhkan dataset baru untuk memungkinkan pengguna melakukan analisis. Itu berarti kemampuan AI untuk menghasilkan dataset secara instan adalah fitur yang mengubah permainan. Bagi yang lain, kemampuan menghasilkan dataset dengan cepat untuk menguji kode analisis mereka adalah manfaat besar. ChatGPT melakukan ini dengan sangat baik, tetapi mari lihat bagaimana kinerja Bard.

Sekali lagi, ia menolak menjawab pertanyaan. Seperti pada contoh pemrograman, saya terkesan dengan pengendalian diri yang ditunjukkan AI tetapi sedikit kecewa karena tidak dapat menyelesaikan tugas.

Karena sebagian besar analisis data adalah manipulasi data, akan sangat bagus jika AI dapat menulis kode Anda. Contoh berikut sedikit rumit karena mengharuskan AI memahami bahwa tahun perlu dihitung dari tanggal bergabung.

Sayangnya, kehalusan ini tidak tertangkap, dan kodenya salah. Faktanya, ketiga solusi yang dihasilkan salah. Ini adalah kasus buruk karena salah juga: AI dengan percaya diri salah dalam responsnya.

Putusan: ChatGPT menang

Saya senang Bard menyediakan tiga solusi, sehingga Anda memiliki peluang lebih baik mendapatkan sesuatu yang sesuai. Namun, ketidakmampuan untuk menghasilkan dataset dan melakukan manipulasi data (yang sedikit rumit) menjadi penghalang.

Alur Kerja Visualisasi Data

Di mana Bard berkinerja baik?

Saya mencoba tugas sederhana "buat scatter plot" dengan sedikit variasi: mengubah tema warna plot. Situs berita FiveThirtyEight menerbitkan tema warnanya sendiri, yang tersedia di paket Matplotlib populer.

Kodenya benar, meskipun ada keunikan bahwa mcolors diimpor tetapi tidak pernah digunakan.

Di mana Bard berkinerja buruk?

Tugas plotting yang cukup lugas lainnya adalah menggambar line plot dengan beberapa garis di dalamnya. Dataset yang digunakan bernama gapminder, dan umum digunakan untuk tujuan demonstrasi. 

Di sini, kodenya hampir benar tetapi menyertakan masalah serupa seperti sebelumnya: Bard tidak yakin apakah country harus menjadi kolom atau indeks (meskipun sudah disebutkan dalam prompt). Penyubsetan baris pada baris plt.plot() mengira country berada di indeks, yang tidak konsisten dengan baris sebelumnya.

Saya meminta Bard melakukan tugas yang sama menggunakan paket ggplot2 di R. 

Bard menolak dengan sopan di sini. Saya agak terkejut karena ggplot2 telah menjadi paket plotting paling populer di R selama lebih dari satu dekade, dan ada banyak contoh kode yang tersedia.

Putusan: ChatGPT menang

Saya mungkin bisa memaklumi kebingungan Bard seputar penggunaan indeks pandas, tetapi ketidakmampuan menggambar plot ggplot2 sederhana membuatnya tidak cocok bagi pengguna R.

Alur Kerja Machine Learning

Di mana Bard berkinerja baik?

Saya mencoba beberapa tugas, dan sayangnya, semuanya bermasalah. Ini tanda bahaya besar untuk Bard karena machine learning di Python sangat populer.

Di mana Bard berkinerja buruk?

Mungkin tempat paling jelas untuk memulai machine learning adalah melatih model dan membuat prediksi di Python. 

Kodenya sebagian besar bagus, tetapi ada masalah pada cara pembuatan set pelatihan dan pengujian. Praktik yang baik adalah memilih baris secara acak untuk masuk ke salah satu set, tetapi Bard hanya memilih seribu baris terakhir untuk masuk ke set pengujian (dan menempatkan sisanya ke pelatihan). Itu hanya boleh dilakukan jika film dalam dataset diurutkan secara acak.

Area minat besar lainnya adalah keterjelasan model. Decision tree cukup mudah dijelaskan menggunakan nilai Shap, dan ada alur kerja yang cukup standar untuk melakukannya. 

Sayangnya, kode menyertakan pemanggilan shap.explain(), fungsi yang tidak ada. Masalah seperti ini cukup mudah dikenali karena saat dijalankan, kode akan gagal. Namun, menghasilkan kode yang tidak berfungsi adalah pemborosan waktu Anda.

Saya juga ingin mencoba tugas machine learning yang lebih konseptual. Banyak seni dalam machine learning terletak pada penggunaan pengetahuan domain untuk membuat fitur yang bermakna sebagai masukan ke model Anda. Mencari ide fitur bisa jadi rumit, sehingga ini area di mana AI dapat sangat membantu. 

Di sini, responsnya tidak buruk karena berhasil menghasilkan dua ide fitur yang berguna (genre dan anggaran). Namun, dua ide lainnya hanya yang disebutkan dalam prompt, dan daftar kedua tidak diminta. Ia juga merujuk pada "teknik rekayasa data" alih-alih "teknik machine learning", yang tidak tepat.

Putusan: ChatGPT menang

Bard berkinerja sangat buruk di sini; sama sekali tidak ada tandingan.

Alur Kerja Analisis Deret Waktu

Di mana Bard berkinerja baik?

Sayangnya, saya tidak dapat meyakinkan Bard untuk menyelesaikan tugas deret waktu apa pun.

Di mana Bard berkinerja buruk?

Saya mencoba tugas manipulasi data untuk deret waktu yang melibatkan mengubah data harian menjadi data mingguan dan bulanan. 

Bard menolak.

Selanjutnya, saya mencoba memintanya melakukan uji kestasioneran. 

Sekali lagi, Bard menolak. Seperti sebelumnya, saya senang dengan pengendalian diri yang ditanamkan pada AI Bard untuk mengurangi jumlah jawaban yang salah.

Putusan: ChatGPT menang

Tampaknya analisis deret waktu belum menjadi kemampuan Bard.

Alur Kerja Pemrosesan Bahasa Alami

Di mana Bard berkinerja baik?

Anda mungkin membayangkan bahwa model bahasa besar akan bekerja baik dengan bahasa. Analisis sentimen (menentukan apakah teks bernuansa positif atau negatif) penting untuk mengkuantifikasi ulasan produk di situs belanja dan dianggap sebagai kemampuan dasar untuk analisis teks. Tugas ini dibuat sedikit rumit dengan menyertakan emoji dan frasa slang. 

Respons pertama Bard baik-baik saja, tetapi melewatkan gagasan bahwa setiap baris dalam prompt harus dipertimbangkan secara terpisah. (Secara adil, ini tidak dinyatakan eksplisit, meski manusia mungkin secara intuitif mengasumsikannya.) Respons ketiga Bard menangkap detail ini. 

Dalam kedua kasus, emoji dan slang diinterpretasikan dengan benar.

Di mana Bard berkinerja buruk?

Menerjemahkan teks dari satu bahasa manusia ke bahasa lain adalah kasus penggunaan asli untuk model transformer. Saya meminta Bard memberikan respons dalam bahasa Prancis. 

Sayangnya, Bard memberikan penjelasan berbahasa Inggris tentang machine learning dan terjemahan frasa "machine learning" ke dalam bahasa Prancis alih-alih memberikan seluruh output dalam bahasa Prancis.

Putusan: ChatGPT menang

Kegagalan penerjemahan ini sangat mengejutkan bagi saya.

Tugas Konseptual dan Berorientasi Karier

Di mana Bard berkinerja baik?

Menjelaskan ide teknis dari analisis Anda kepada orang yang tidak berlatar belakang data adalah salah satu bagian tersulit dari data science. Saya meminta Bard menjelaskan A/B testing kepada seorang eksekutif. 

Penjelasannya cukup baik. Ada asumsi yang agak meragukan bahwa font baru menghasilkan tingkat konversi yang lebih tinggi (tergantung pada bagaimana pengujian disetel; bisa saja tingkat konversi yang berbeda). Dua respons lainnya menangkap kehalusan ini, jadi saya tidak akan menguranginya di sini.

Tugas AI berguna lainnya adalah meringkas karya yang lebih panjang. Di sini, saya meminta Bard untuk merangkum artikel jurnal asli tentang model transformer (ditulis oleh karyawan Google). 

Ini ringkasan yang bagus dan mudah dibaca. Satu keunikan adalah beberapa tautan mengarah ke artikel blog tentang paper tersebut alih-alih ke paper aslinya.

Bagi orang yang menginginkan karier di bidang data, mendapatkan ide tentang cara meraih pekerjaan impian adalah saran karier yang penting. Saya meminta Bard menghasilkan ide proyek. Ini adalah tugas kreatif lainnya di mana tidak ada satu jawaban yang benar. 

Terakhir, membuat pengantar untuk karya yang lebih panjang adalah salah satu tugas yang agak mengganggu yang saya lebih suka serahkan ke AI. 

Sekali lagi, dengan konteks minimal, AI memberikan tulisan yang baik.

Di mana Bard berkinerja buruk?

Dalam kasus ini, Bard berkinerja baik pada semua tugas yang saya berikan.

Putusan: Imbang

Walau sulit mengukur apakah ChatGPT atau Bard lebih baik untuk tugas-tugas kreatif ini, saya senang menemukan satu area di mana Bard secara konsisten memberikan keluaran berkualitas tinggi.

Ringkasan

Ada beberapa celah mencolok dalam pengetahuan Bard tentang alur kerja data science: ketidakmampuan menjelaskan error kode dan kinerja buruk pada tugas machine learning Python adalah masalah besar.

Saya suka bahwa Anda mendapatkan tiga respons untuk dipilih yang terbaik, dan saya suka bahwa ia cukup menahan diri untuk mengetahui batasannya. Menolak menjawab pertanyaan jauh lebih baik daripada memberikan jawaban yang salah.

Pada akhirnya, ChatGPT masih berkuasa untuk saat ini, tetapi saya sangat menantikan peningkatan Bard. Persaingan di ruang AI generatif hanya akan menguntungkan dunia.

Tingkatkan ke level berikutnya

Jika Anda ingin mempelajari lebih lanjut tentang penggunaan AI generatif untuk data science, lihat sumber daya berikut: 

• Pelajari cara menggunakan ChatGPT secara efektif dalam kursus Introduction to ChatGPT.
• Lihat Panduan Menggunakan ChatGPT untuk Proyek Data Science kami.
• Unduh cheat sheet prompt ChatGPT praktis ini untuk data science.
• Dengarkan episode podcast tentang Bagaimana ChatGPT dan GPT-3 Meningkatkan Alur Kerja untuk memahami bagaimana ChatGPT dapat menguntungkan bisnis Anda.
• Pelajari lebih lanjut tentang Apa itu GPT-4 dan Mengapa Penting?