Kursus
Memahami Ilmu Data
2 jam
875.4K
Notebook telah menjadi hal yang lazim dalam data science selama hampir 10 tahun terakhir dan setiap data scientist pernah menggunakannya. Notebook memungkinkan data scientist bereksperimen dengan cepat dan berbagi wawasan melalui pembuatan lingkungan yang cepat, keluaran interaktif, serta cuplikan kode yang dapat dieksekusi dalam urutan apa pun.
Organisasi telah berinvestasi besar-besaran dalam data science dan analitik, dan area investasi kunci adalah alat yang memungkinkan data scientist bekerja secara efisien serta cepat bereksperimen dengan data. Notebook berada di inti hal ini dan menjadi komponen dari banyak inovasi tooling yang kita lihat pada modern data stack saat ini. Lebih penting lagi, notebook juga memberdayakan citizen data scientist untuk mendemokratisasi wawasan data.
Artikel ini melihat masa lalu, masa kini, dan masa depan notebook serta bagaimana notebook meruntuhkan silo dalam pekerjaan data dan kolaborasi.
Sejarah Notebook Data Science
Hampir setiap data scientist saat ini pernah menggunakan notebook, dengan yang paling populer adalah Jupyter Notebooks. Namun, notebook memiliki sejarah panjang yang mendahului data science—berakar pada awal 1980-an.
Bangkitnya Literate Programming
Diperkenalkan pada tahun 1984 oleh Donald Knuth, literate programming dimaksudkan sebagai metodologi untuk membuat program yang dapat dibaca manusia. Gagasannya adalah menuliskan logika program dalam bahasa manusia dengan cuplikan kode dan makro yang ditulis sebagai komentar terpisah, dikenal sebagai “WEB”. Makro ini mirip dengan pseudocode yang digunakan untuk mengajarkan ilmu komputer.
Sebuah preprocessor kemudian mengurai WEB untuk membuat source code (“tangle”) dan dokumentasi (“weave”). Literate programming masih digunakan hingga kini, misalnya dalam Axiom, namun gagasan kunci di dalamnya memicu pengembangan notebook yang sangat mirip dengan yang kita lihat saat ini.
Notebook Awal
Notebook awal yang penting adalah Wolfram Mathematica dan Maple, dirilis pada akhir 1980-an. Keduanya beroperasi dengan front end dan kernel di back end. Gambar di bawah menunjukkan plot 3D yang dihasilkan menggunakan Mathematica dengan notasi In[ ] dan Out[ ] yang familier dan terus kita lihat di notebook masa kini.
Notebook Wolfram Mathematica Awal
Alat-alat ini memiliki perbedaan halus, seperti menggunakan enter alih-alih shift + enter untuk menjalankan kode dan variasi dalam cara operasi matematis ditampilkan. Namun, keduanya memuat gagasan yang memengaruhi desain notebook modern.
Hambatan utama adopsi luas adalah biaya, karena alat-alat ini mahal dan memerlukan lisensi untuk digunakan. Ini menjadi masalah di seluruh industri yang mendorong berdirinya Open Source Initiative pada 1998, yang mengantarkan banyak alat gratis namun bertenaga yang kita gunakan saat ini (misalnya Jupyter Notebooks!).
Fondasi Awal Notebook Data Science Modern
Pada 2001, IPython dan SciPy dirilis, disusul Matplotlib pada 2003. SciPy memungkinkan berbagai perhitungan ilmiah dilakukan di Python, sementara IPython meningkatkan pengalaman pengguna di terminal dan menambahkan dukungan komputasi terdistribusi. Seperti sekarang, Matplotlib memudahkan pembuatan visualisasi data di Python.
Baru pada 2005, alat open-source ini (dan lainnya) dihimpun dalam satu alat bernama SageMath. Tujuannya adalah menyediakan alternatif open-source untuk Mathematica dan Maple, menggabungkan serta membangun di atas alat ilmiah open-source lainnya, dan menyediakan fitur berbasis web yang menjadi andalan notebook modern saat ini.
Pada 2011, IPython merilis notebook yang secara jelas membedakan antara front end aplikasi web dan dokumen notebook yang mendasarinya.
IPython Notebook
Lahirnya Jupyter Notebooks
Jupyter dipisahkan dari IPython pada 2014, memperkenalkan antarmuka notebook dan mengambil bagian IPython yang agnostik bahasa. Namanya diambil dari bahasa-bahasa awal yang didukungnya: Julia, Python, dan R. Jupyter notebooks kini menjadi andalan para data scientist dan tak diragukan lagi merupakan antarmuka notebook yang paling luas digunakan saat ini.
Area pengembangan kunci dalam beberapa tahun terakhir adalah aplikasi yang memisahkan front end dari kernel sehingga front end diakses pengguna melalui browser tetapi kernel berjalan di pusat data berbasis cloud. Contoh hebat dari alat semacam ini adalah DataCamp Workspace, tempat Anda dapat mulai bekerja dengan instance Jupyter Notebook langsung di browser.
JupyterLab di DataCamp Workspace
Seiring meningkatnya adopsi dan popularitas notebook, beberapa tahun terakhir menghadirkan gelombang antarmuka notebook modern yang memungkinkan siapa pun bekerja dengan data secara mudah. Pada bagian berikutnya, kita akan mengulas bagaimana notebook modern meruntuhkan hambatan untuk bekerja dengan data.
Bagaimana Notebook Data Science Modern Memberdayakan Citizen Data Scientist
Gagasan Citizen Data Scientist diperkenalkan oleh Gartner pada 2016. Citizen Data Scientist memiliki keterampilan teknis tetapi mungkin tidak memiliki latar belakang tradisional dalam data science, statistika, atau ilmu komputer.
Seiring data science kian berkembang dari sebuah bidang menjadi metodologi untuk memecahkan masalah bisnis, Citizen Data Scientist menjadi wajah organisasi modern yang berorientasi data. Notebook adalah alat yang sangat baik bagi Citizen Data Scientist karena memungkinkan eksperimen cepat dan wawasan yang mudah dibagikan dengan hambatan masuk yang sangat rendah.
Walau notebook sejak dulu unggul untuk eksplorasi dan analisis cepat suatu dataset, sebelumnya notebook kurang pada aspek seperti kolaborasi dan berbagi wawasan. Pada 2022, hal ini tak lagi berlaku karena notebook modern dan ekosistem di sekelilingnya menjawab banyak titik buta historis tersebut. Berikut beberapa cara notebook menghadirkan peningkatan produktivitas, efisiensi, dan kolaborasi.
Notebook Data Science Modern Bersifat Kolaboratif
Salah satu contoh jelas alat kolaboratif modern adalah Google Docs. Banyak pengguna dapat memakai dan mengedit dokumen, meski pengguna juga dapat mengatur siapa yang bisa mengedit dan siapa yang hanya bisa memberi saran komentar. Perubahan disimpan secara berkala untuk mencegah hal-hal yang tidak diinginkan.
Teknologi serupa kini tersedia untuk notebook dengan alat seperti Deepnote dan Datacamp Workspace. Banyak pengguna dapat mengedit dan menjalankan notebook serta meninggalkan komentar. Semua kolaborasi ini terjadi secara real time, membuat keseluruhan proses jauh lebih efisien.
Kolaborasi di DataCamp Workspace
Kolaborasi sangat penting bagi siapa pun yang bekerja dengan data. Mengurangi hambatan kolaborasi juga berarti mengurangi silo data dengan berbagi pengetahuan dan keahlian. Sementara secara tradisional, berkolaborasi menggunakan notebook bisa lambat, modern data stack kini cepat dan efisien. Banyak alat terintegrasi mulus ke dalam tumpukan teknologi yang ada, artinya pengguna bisa bekerja dengan alat yang sudah mereka kenal sambil tetap berkolaborasi dengan rekan kerja.
Mereka Membantu Mendemokratisasi Wawasan Data
Berbagi analisis dengan pengguna lain bisa jadi sulit—baik mereka pemangku kepentingan bisnis maupun individu yang lebih teknis. Secara historis, praktisi berbagi laporan notebook berisi wawasan melalui email, Slack, presentasi, atau aplikasi web yang dibuat khusus.
Namun, notebook modern mendemokratisasi wawasan dengan memungkinkan notebook dibagikan secara mulus. Misalnya, IPyWidgets memungkinkan widget interaktif ditambahkan ke notebook, yang berarti pengguna dapat menyeret slider untuk mengubah grafik dan lebih berinteraksi dengan wawasan. Binder mengubah repo menjadi notebook interaktif yang dihosting, sehingga notebook interaktif dapat dibagikan dan dijalankan oleh siapa pun. Voila mengubah notebook menjadi aplikasi web yang dihosting, sekali lagi memungkinkan pengguna berinteraksi penuh tanpa perlu melihat semua kode. Datacamp Workspace memungkinkan pengguna membagikan notebook dan menyediakan templat untuk menambahkan alur cerita pada data.
Menerbitkan Laporan di DataCamp Workspace
Mereka Dapat Menjembatani Kesenjangan Talenta
Data science itu luas dan mendalam: begitu banyak yang harus dipelajari di banyak area berbeda. Menjadi pakar NLP tidak serta merta membuat Anda ahli data engineering atau memahami computer vision.
Kaitan kunci antar subbidang data science adalah data dan infrastruktur. Tanpa data yang baik, model tidak akan berkinerja baik. Demikian pula, tanpa infrastruktur untuk mendukung pengembangan model dan pembersihan data, sangat sulit untuk memulai.
Bagi Citizen Data Scientist, keterampilan engineering tidak wajib. Notebook modern memungkinkan siapa pun mulai bekerja dengan cepat dengan memanfaatkan infrastruktur berbasis cloud. Lingkungan dan paket dikelola dengan baik dan dapat dengan mudah diperbarui serta dimodifikasi oleh sebagian besar pengguna. Ini memastikan kesenjangan keterampilan engineering tidak perlu diisi, dan praktisi dapat menghabiskan waktu untuk menyajikan wawasan.
Selain itu, sebagian besar teknik data science sepenuhnya kompatibel dengan notebook—model dapat dilatih, grafik 3D dapat dibuat, dan pipeline data dapat dibangun. Ini memastikan Citizen Data Scientist dapat bereksperimen dengan seluruh rentang teknik dan dengan mudah mengomunikasikan hasilnya kepada pemangku kepentingan atau membagikan kodenya kepada pengguna teknis lain.
Notebook Modern Terintegrasi dengan Alat Lain
Kita telah melihat bagaimana notebook modern meruntuhkan silo data antar tim dan menurunkan hambatan untuk mulai bekerja dengan data. Namun, titik nyeri historis lain pada notebook adalah kurangnya integrasi dengan alat lain yang digunakan dalam alur kerja data science. Contoh kuncinya adalah SQL.
Secara historis, praktisi menyiapkan koneksi basis data dengan paket seperti `mysql.connector` di Python atau `DBI` di R. Paket-paket ini mengharuskan penyiapan koneksi basis data secara manual, serta memasukkan kredensial akses data secara manual.
Notebook modern, sebaliknya, menyediakan dukungan SQL native. Misalnya, menggunakan DataCamp Workspace, pengguna dapat menyiapkan koneksi aman langsung dari DataCamp Notebook Editor ke basis data seperti PostgreSQL, MySQL, dan Amazon Redshift. Data yang diekstraksi dari basis data terintegrasi kemudian dapat dianalisis menggunakan R atau Python.
Sel SQL di DataCamp Workspace
Masa Depan Notebook Data Science
Notebook Modern berada di jantung revolusi data. Notebook membekali praktisi dengan berbagai tingkat keterampilan untuk dengan mudah bereksperimen dengan data, berbagi wawasan, dan menjembatani kesenjangan antara bisnis dan tim data. Lebih jauh lagi, notebook memberdayakan citizen data scientist, mengantarkan gelombang baru kefasihan data di organisasi saat ini.
Organisasi yang berorientasi data seperti Netflix terkenal dengan inovasi notebook mereka, karena notebook adalah alat paling populer untuk bekerja dengan data lintas persona dan tim. Masa Depan Notebook akan ditentukan oleh kelincahan yang meningkat, integrasi yang lebih baik dengan sisa data stack, serta kolaborasi dan berbagi yang tangguh untuk mendemokratisasi wawasan data. Untuk mempelajari lebih lanjut tentang notebook, lihat sumber daya berikut:
Topik
