IPython atau Jupyter?

Sage Notebook

Sage notebook sebagai sistem berbasis peramban pertama kali dirilis pertengahan 2000-an dan kemudian pada 2007, dirilis versi baru yang lebih kuat, memiliki akun pengguna, dan bisa digunakan untuk memublikasikan dokumen. Desain UI-nya menyerupai Google Docs karena tata letak Sage notebook didasarkan pada tata letak Google Notebook.

Pencipta Sage notebook mengonfirmasi bahwa mereka adalah pengguna setia notebook Mathematica dan lembar kerja Maple. Pendorong lain yang penting dalam pengembangan Sage notebook antara lain: pertama, para pengembang memiliki kontak dekat dengan tim di balik IPython, juga karena versi Sage berbasis terminal menggunakan IPython. Kedua, ada “upaya yang gagal” oleh dua mahasiswa untuk menyediakan GUI bagi IPython, dan ketiga, bangkitnya aplikasi web “AJAX” (pseudo-akronim dari “Asynchronous JavaScript And XML”), yang tidak mengharuskan pengguna memuat ulang seluruh halaman setiap kali melakukan sesuatu.

Ini, misalnya, terjadi saat Anda mengisi formulir di situs: tanpa AJAX, Anda akan diarahkan ke halaman baru dengan informasi baru dari server saat menekan tombol submit. Dengan AJAX, JavaScript akan mengirim permintaan ke server, mendapatkan hasilnya, dan memperbarui layar. Anda tidak perlu memuat ulang, juga tidak diarahkan.

Aplikasi AJAX lain yang mungkin Anda kenal antara lain Gmail, Google Maps, Facebook, Twitter,… Seperti yang Anda lihat, hampir semuanya kini menggunakan AJAX.

IPython dan Jupyter Notebook

Akhir 2001, kurang lebih dua puluh tahun setelah Guido van Rossum mulai mengembangkan Python di National Research Institute for Mathematics and Computer Science di Belanda, Fernando Pérez mulai mengembangkan IPython. Proyek ini sangat dipengaruhi oleh notebook Mathematica dan lembar kerja Maple, seperti halnya Sage notebook dan banyak proyek lain yang mengikutinya.

Pada 2005, ada upaya pertama membangun sistem notebook dengan Wx, sebuah toolkit widget dan pustaka alat untuk membuat GUI aplikasi lintas platform. Dua mahasiswa Google Summer of Code mengerjakan prototipe ini di bawah arahan Robert Kern dan Fernando Pérez. Setelah itu, Robert menambahkan pekerjaan pada masalah tersebut. Ini lebih merupakan pembersihan kode inti IPython dengan tujuan memudahkan penulisan antarmuka depan GUI wxPython untuk shell IPython dibandingkan prototipe sistem notebook. Pembersihan ini juga membantu mewujudkan sistem notebook yang rapi dan sebagian diantaranya digabungkan sedikit demi sedikit ke IPython saat upaya notebook yang akhirnya berhasil dimulai.

Prototipe kedua IPython dibangun pada musim panas 2006 oleh Min Ragan-Kelley dan dibimbing oleh Brian Granger. Prototipe ini berbasis web dan memiliki backend basis data SQL tetapi pekerjaan dihentikan karena implementasinya akhirnya terbukti terlalu kompleks untuk teknologi web saat itu.

Prototipe ketiga IPython notebook datang pada Oktober 2010 dan dibuat pihak ketiga dalam beberapa hari hack. Akhirnya, pada Musim Semi–Musim Panas 2011, Brian Granger bekerja penuh waktu pada prototipe web notebook, berdasarkan pekerjaan yang dia lakukan pada 2010, saat ia membuat arsitektur kernel dan spesifikasi pesan IPython bersama Fernando Pérez dan PyZMQ bersama Min Ragan Kelley.

PyZMQ adalah pustaka yang menyediakan binding Python untuk ZeroMQ; Pustaka ini dibutuhkan untuk fitur komputasi paralel IPython, konsol qt, dan notebook.

PyZMQ dan websockets adalah teknologi utama yang memungkinkan notebook terwujud. Menjelang musim gugur tahun yang sama, kontributor lain (seperti Matthias Bussonnier, Min, dan Fernando) juga ikut berkontribusi. Pada 21 Desember 2011, dirilis versi pertama IPython Notebook (0.12).

Pada tahun-tahun berikutnya, tim memperoleh penghargaan, seperti Advancement of Free Software untuk Fernando Pérez pada 23 Maret 2013 dan Jolt Productivity Award, serta pendanaan dari Alfred P. Sloan Foundations, antara lain.

Terakhir, pada 2014, Project Jupyter dimulai sebagai proyek turunan dari IPython.

Rilis terakhir IPython sebelum pemisahan berisi shell interaktif, server notebook, konsol Qt, dan lain-lain dalam satu repositori. Proyeknya besar, dengan komponen-komponen yang semakin menjadi proyek berbeda yang kebetulan terkait pada proyek yang sama.

Perlu dicatat ukuran proyek bukan satu-satunya alasan Project Jupyter dimulai: dari 2011 hingga 2014, IPython notebook mulai bekerja dengan bahasa pemrograman lain. Yang pertama adalah Julia, lalu R. Fakta bahwa IPython notebook, yang menyiratkan notebook berbasis Python saja, juga bekerja dengan kernel bahasa lain seperti Julia dan R, membuat orang bingung.

Mengapa namanya “IPython” jika ada bahasa pemrograman lain yang terlibat?

Nama “Jupyter” terinspirasi dari bahasa terbuka utama untuk sains (yaitu Julia, Python, dan R), dan meskipun tampak seperti akronim lain, ini tidak pernah berarti bahasa lain tidak diterima. Lebih dari itu, nama ini lebih merepresentasikan proyek yang dikembangkan para pengembang dan memberi isyarat pada akar ilmiah proyek tersebut!

Setelah Project Jupyter dimulai, bagian-bagian IPython yang bebas-bahasa, seperti format notebook, protokol pesan, konsol Qt, aplikasi web notebook, dan lain-lain dipindahkan ke proyek Jupyter. Anda dapat menemukan organisasi utama Jupyter di GitHub di sini.

Di komunitas Jupyter dan IPython, ini disebut “The Big Split”.

Kini IPython hanya memiliki dua peran: menjadi backend Python untuk Jupyter Notebook, yang juga dikenal sebagai kernel, dan shell Python interaktif. Namun bukan hanya itu: dalam ekosistem IPython, Anda juga akan menemukan kerangka kerja komputasi paralel. Anda akan membacanya lebih lanjut nanti!

Dan seperti IPython, Project Jupyter sebenarnya adalah satu nama untuk sekumpulan proyek: tiga aplikasi yang dikandungnya adalah Notebook itu sendiri, Console, dan Qt console, namun juga ada sub-proyek seperti JupyterHub untuk mendukung penerapan notebook, nbgrader untuk tujuan edukasi, dan lain-lain. Anda dapat melihat ikhtisar arsitektur Jupyter di sini.

Perlu dicatat bahwa evolusi proyek inilah yang menjelaskan kebingungan banyak Pythonista terkait IPython dan Jupyter: karena yang satu lahir dari yang lain (dan cukup baru), masih ada yang kesulitan menggunakan nama yang tepat untuk konsep-konsepnya. Namun, faktor yang mungkin lebih mempersulit adalah evolusi itu sendiri: karena yang satu lahir dari yang lain, terdapat tumpang tindih yang cukup besar antara fitur IPython dan Jupyter Notebook yang kadang sulit dibedakan! Cara membedakannya akan jelas di bagian-bagian selanjutnya dari tulisan ini. Jika Anda ingin mengetahui detail lebih banyak tentang bagaimana IPython dikembangkan, lihat kisah pribadi Fernando Pérez dan William Stein tentang sejarah notebook mereka.

R Notebooks

R Markdown dan Jupyter Notebook sama-sama menghadirkan alur kerja yang dapat direproduksi, merajut kode, keluaran, dan teks dalam satu dokumen, mendukung widget interaktif, dan mengekspor ke berbagai format.

Namun, keduanya juga berbeda: yang pertama berfokus pada eksekusi batch yang dapat direproduksi, representasi teks biasa, kendali versi, keluaran produksi, serta menawarkan editor dan alat yang sama dengan yang Anda gunakan untuk skrip R. Yang kedua berfokus pada keluaran inline bersama kode, caching keluaran lintas sesi, berbagi kode dan keluaran dalam satu berkas. Notebook menekankan model eksekusi interaktif. Notebook tidak menggunakan representasi teks biasa, melainkan representasi data terstruktur, seperti JSON.

Semua ini menjelaskan tujuan aplikasi notebook RStudio: menggabungkan semua keunggulan R Markdown dengan hal-hal baik yang ditawarkan computational notebook.

Untuk mempelajari lebih lanjut cara bekerja dengan R notebook dan perbedaan tepat antara Jupyter dan R Markdown notebook dalam hal berbagi notebook, manajemen proyek, kendali versi, dan lainnya, lihat tulisan DataCamp Jupyter dan R: Notebooks dengan R.

Notebook Data Science Lainnya

Tentu saja, ada lebih banyak notebook yang bisa Anda pertimbangkan saat mulai mendalami data science. Dalam beberapa tahun terakhir, banyak alternatif baru hadir untuk ilmuwan data dan penggemar data science: bukan hanya Beaker Notebook, Apache Zeppelin, Spark Notebook, DataBricks Cloud, dan sebagainya, tetapi juga alat lain seperti Rodeo IDE atau nteract yang juga membuat analisis data science Anda interaktif dan dapat direproduksi. Perlu dicatat bahwa nteract berbeda dari alat lain yang disebutkan di sini karena memanfaatkan arsitektur Jupyter, seperti protokol dan formatnya.

Pemodelan Grafik

Salah satu fitur utama kernel IPython adalah kemampuan menampilkan plot yang merupakan keluaran dari menjalankan sel kode. Kernel dirancang bekerja mulus dengan pustaka visualisasi data matplotlib untuk menyediakan fungsionalitas ini. Untuk menggunakannya, gunakan perintah magic %matplotlib.

Dengan demikian, plot Anda secara bawaan akan ditampilkan di jendela terpisah. Selain itu, Anda juga dapat menentukan backend, seperti inline atau qt, sehingga keluaran perintah plotting akan ditampilkan inline atau melalui backend GUI yang berbeda. Anda dapat membaca lebih lanjut di sini.

Navigasi FileSystem

Perintah magic kernel juga menyediakan cara menavigasi sistem berkas Anda. Magic %cd dan %bookmark dapat digunakan untuk mengubah direktori atau menandai folder agar akses ke direktori yang sering digunakan lebih cepat.

Akses Debugger

Selanjutnya, Anda juga dapat menggunakan magic untuk memanggil debugger Python %pdb setiap kali ada pengecualian yang tidak tertangkap. Ini akan menuntun Anda melalui bagian kode yang memicu pengecualian, sehingga memungkinkan Anda dengan cepat menemukan sumber bug.

Anda juga dapat menggunakan perintah magic %run dengan opsi -d untuk menjalankan skrip di bawah kendali debugger Python. Ini akan otomatis menyiapkan breakpoint awal untuk Anda. Terakhir, Anda juga dapat menggunakan magic %debug untuk akses debugger yang lebih mudah.

Ekstensi IPython

Anda dapat menggunakan magic %load_ext untuk memuat ekstensi IPython berdasarkan nama modulnya. Ekstensi IPython adalah modul Python yang memodifikasi perilaku shell: ekstensi dapat mendaftarkan magics, mendefinisikan variabel, dan secara umum memodifikasi namespace pengguna untuk menyediakan fitur baru yang dapat digunakan dalam sel kode. Berikut beberapa contohnya:

• Gunakan %load_ext oct2py.ipython untuk memanggil M-file dan fungsi Octave dari Python secara mulus,
• Gunakan %load_ext rpy2.ipython untuk menggunakan antarmuka ke R yang berjalan tertanam dalam proses Python,
• Gunakan %load_ext Cython untuk menggunakan kompiler Python ke C,
• Gunakan sympy.init_printing() untuk mencetak objek Sympy Basic dengan indah secara otomatis, dan
• Untuk menggunakan Fortran dalam sesi interaktif Anda, gunakan %load_ext fortranmagic.

… Masih banyak lagi! Anda dapat membuat dan mendaftarkan ekstensi IPython Anda sendiri dan mendaftarkannya di PyPi: ini juga berarti ada banyak ekstensi dan magic buatan pengguna lainnya! Salah satu contohnya adalah ipython_unittest, namun lihat juga Indeks Ekstensi ini.

Salah satu ekstensi lain yang patut Anda perhatikan adalah sparkmagic, seperangkat alat untuk bekerja secara interaktif dengan cluster Spark jarak jauh melalui Livy, server REST Spark, di Jupyter Notebook. Pustaka sparkmagic menyediakan magic %%spark yang dapat Anda gunakan untuk dengan mudah menjalankan kode ke cluster Spark jarak jauh dari notebook IPython biasa.

# Load in sparkmagic
%load_ext sparkmagic.magics
 
# Set the endpoint
%manage_spark
 
# Ask for help
%spark?

Kunjungi di sini untuk lebih banyak contoh bagaimana Anda dapat menggunakan magic ini untuk bekerja dengan cluster Spark secara interaktif.

Perhatikan bahwa IPython memiliki dua magic lain selain %load_ext yang memungkinkan Anda mengelola ekstensi dari dalam Jupyter Notebook: %reload_ext dan %unload_ext untuk memuat ulang, mengimpor ulang, dan memuat ekstensi serta untuk membongkar ekstensi.

Kernel Berbeda, Magic Lain

Namun, pada bahasa lain, elemen sintaks dalam magic command mungkin memiliki makna. Kernel R, IRKernel, tidak memiliki sistem magics. Untuk menjalankan perintah bash, misalnya, Anda akan menggunakan fungsi R seperti system() untuk memanggil perintah OS. Contohnya adalah system("head -5 *.csv", intern=TRUE). Perhatikan bahwa dengan menyertakan argumen intern, Anda menyatakan ingin menangkap keluaran perintah sebagai vektor karakter di R. Untuk menampilkan input markdown, Anda menggunakan display_markdown(), yang menerima kode Markdown sebagai vektor karakter. Demikian pula, Kernel Julia IJulia juga tidak menggunakan “magics”. Alih-alih, sintaks lain untuk mencapai tujuan yang sama lebih alami di Julia, berfungsi di lingkungan di luar sel kode IJulia, dan seringkali lebih kuat. Namun, pengembang kernel IJulia memastikan bahwa kapan pun Anda memasukkan magic command IPython dalam sel kode IJulia, Anda akan melihat keluaran bantuan yang menjelaskan cara mencapai efek serupa di Julia jika memungkinkan.

Misalnya, analog dari %load IPython di IJulia adalah IJulia.load().

Di sisi lain, ada kernel seperti kernel Scala IScala yang mendukung magic command, mirip IPython. Namun, kumpulan magics-nya berbeda karena harus menyesuaikan spesifik Scala dan JVM. Magic command terdiri dari tanda persen % diikuti pengenal dan masukan opsional untuk sebuah magic. Beberapa magic yang paling menonjol adalah:

# Type Information
%type 1
 
# Library Management
%libraryDependencies
%update

Seperti yang Anda baca di atas, pustaka sparkmagic juga menyediakan serangkaian kernel Scala dan Python yang memungkinkan Anda terhubung otomatis ke cluster Spark jarak jauh, menjalankan kode dan kueri SQL, mengelola server Livy dan konfigurasi job Spark, serta menghasilkan visualisasi otomatis. Dan itu tanpa membutuhkan kode apa pun!

Misalnya, Anda dapat dengan mudah mengeksekusi kueri SparkSQL dengan %%sql atau mengakses informasi aplikasi Spark dan log melalui magic %%info.

Jika Anda bekerja dengan kernel lain dan bertanya-tanya apakah Anda dapat menggunakan magic command, ada baiknya diketahui bahwa beberapa kernel dibangun di atas proyek metakernel dan dalam banyak kasus akan menggunakan magic yang sama seperti yang juga Anda temukan di kernel IPython. Anda dapat menemukan daftar magic metakernel di sini. Metakernel adalah templat kernel Jupyter/IPython yang menyertakan fungsi magic inti.

Beberapa contoh:

• Kernel MATLAB matlab_kernel,
• Kernel Octave octave_kernel,
• Kernel Java9 java9_kernel,
• Kernel Wolfram wolfram_kernel,
• Kernel SAS. … Dan masih banyak lagi!

Ini berarti bahwa, misalnya, saat Anda menggunakan kernel MATLAB, Anda akan memiliki magic berikut yang tersedia:

Available line magics:
%cd  %connect_info  %download  %edit  %get  %help  %html  %install  %install_magic  %javascript  %kernel  %kx  %latex  %load  %ls  %lsmagic  %magic  %parallel  %plot  %pmap  %px  %python  %reload_magics  %restart  %run  %set  %shell  %spell
 
Available cell magics:
%%debug  %%file  %%help  %%html  %%javascript  %%kx  %%latex  %%processing  %%px  %%python  %%shell  %%show  %%spell

Jika Anda melihat potongan yang dicetak di atas, Anda akan melihat beberapa magic command tersebut terasa sangat familiar. Bagi yang belum terlalu mengenal magics, bandingkan potongan di atas dengan magics yang tersedia secara bawaan di kernel IPython dan Anda akan melihat beberapa magic yang sama:

Available line magics:
%alias  %alias_magic  %autocall  %automagic  %autosave  %bookmark  %cat  %cd  %clear  %colors  %config  %connect_info  %cp  %debug  %dhist  %dirs  %doctest_mode  %ed  %edit  %env  %gui  %hist  %history  %killbgscripts  %ldir  %less  %lf  %lk  %ll  %load  %load_ext  %loadpy  %logoff  %logon  %logstart  %logstate  %logstop  %ls  %lsmagic  %lx  %macro  %magic  %man  %matplotlib  %mkdir  %more  %mv  %notebook  %page  %pastebin  %pdb  %pdef  %pdoc  %pfile  %pinfo  %pinfo2  %popd  %pprint  %precision  %profile  %prun  %psearch  %psource  %pushd  %pwd  %pycat  %pylab  %qtconsole  %quickref  %recall  %rehashx  %reload_ext  %rep  %rerun  %reset  %reset_selective  %rm  %rmdir  %run  %save  %sc  %set_env  %store  %sx  %system  %tb  %time  %timeit  %unalias  %unload_ext  %who  %who_ls  %whos  %xdel  %xmode
 
Available cell magics:
%%!  %%HTML  %%SVG  %%bash  %%capture  %%debug  %%file  %%html  %%javascript  %%js  %%latex  %%perl  %%prun  %%pypy  %%python  %%python2  %%python3  %%ruby  %%script  %%sh  %%svg  %%sx  %%system  %%time  %%timeit  %%writefile

Pada intinya, Anda dapat menggunakan satu pertanyaan untuk membedakan magics mana yang spesifik untuk IPython dan mana yang dapat digunakan di kernel lain: apakah fungsionalitas ini spesifik untuk Python atau hal umum yang juga dapat digunakan dalam bahasa yang sedang Anda gunakan?

Misalnya, %pdb atau Python Debugger atau %matplotlib adalah sesuatu yang spesifik untuk Python yang tidak masuk akal saat Anda bekerja dengan kernel JavaScript. Namun, mengganti direktori dengan %cd adalah hal yang sangat umum dan seharusnya berfungsi di bahasa apa pun, karena ini perintah yang “umum”. Jadi, kemungkinan besar ini adalah magic yang dapat digunakan di kernel lain. Tentu saja, Anda tetap perlu mengetahui apakah kernel Anda menggunakan magics.