IPython mı Jupyter mı?

Sage Notebook

Tarayıcı tabanlı bir sistem olarak Sage not defteri ilk kez 2000’lerin ortasında yayımlandı ve ardından 2007’de, kullanıcı hesaplarına sahip, daha güçlü ve belgeleri herkese açık yapmaya imkân veren yeni bir sürüm geldi. Sage not defterinin düzeni Google not defterlerinin düzenine dayandığı için kullanıcı arayüzü Google Docs’a benziyordu.

Sage not defterlerinin geliştiricileri, Mathematica not defterlerinin ve Maple çalışma sayfalarının sıkı kullanıcıları olduklarını doğruladılar. Sage not defterlerinin geliştirilmesini düşünürken önemli olan diğer itici güçler şunlardı: birincisi, geliştiriciler IPython ekibiyle yakın temas halindeydi; ayrıca Sage’in terminal tabanlı sürümü IPython’ı kullanıyordu. İkincisi, iki öğrencinin IPython için bir GUI sağlamaya yönelik “başarısız bir girişimi” vardı ve üçüncüsü, kullanıcıların her işlemde tüm sayfayı yenilemesini gerektirmeyen “AJAX” (Asynchronous JavaScript And XML’in sözde kısaltması) web uygulamalarının yükselişiydi.

Bu örneğin, bir web sitesinde bir form doldurduğunuzda geçerli olduğunu düşünün: AJAX olmadan, gönder düğmesine bastığınızda, sunucudan gelen yeni bilgilerle yeni bir sayfaya yönlendirilirsiniz. AJAX ile JavaScript, isteği sunucuya yapar, yanıtı alır ve ekranı günceller. Sayfayı yenilemenize gerek yoktur ve yönlendirilmezsiniz.

Bildik olduğunuz diğer AJAX uygulamaları örneğin Gmail, Google Maps, Facebook, Twitter,… Gördüğünüz gibi neredeyse her şey AJAX.

IPython ve Jupyter Notebook

2001’in sonlarında, Guido van Rossum’un Hollanda’daki Ulusal Matematik ve Bilgisayar Bilimleri Araştırma Enstitüsü’nde Python üzerinde çalışmaya başlamasından yaklaşık yirmi yıl sonra, Fernando Pérez IPython’ı geliştirmeye başladı. Proje, Sage not defteri ve onu takip eden birçok proje gibi, Mathematica not defterleri ve Maple çalışma sayfalarından büyük ölçüde etkilendi.

2005’te, çapraz platform uygulamalar için grafiksel kullanıcı arayüzleri (GUI) oluşturmaya yönelik bir bileşen araç takımı ve araçlar kütüphanesi olan Wx ile bir not defteri sistemi kurmaya yönelik ilk girişim yapıldı. İki Google Summer of Code öğrencisi, Robert Kern ve Fernando Pérez’in yönlendirmesiyle prototip üzerinde çalıştı. Ardından, Robert bu konu üzerinde biraz daha çalıştı. Bu, bir not defteri sistemi prototipinden ziyade, IPython çekirdek kodunun, IPython kabuğuna bir wxPython GUI ön yüzü yazmayı kolaylaştırma amacıyla temizlenmesiydi. Bu temizlikler, temiz bir not defteri sistemini mümkün kılmaya yardımcı oldu ve bunların bazıları, nihayet başarıya ulaşan not defteri çalışması başlatıldığında parça parça IPython’a eklendi.

IPython için ikinci prototip, 2006 yazında Min Ragan-Kelley tarafından geliştirildi ve Brian Granger tarafından danışmanlık yapıldı. Web tabanlıydı ve bir SQL veritabanı arka ucuna sahipti, ancak dönemin web teknolojileriyle uygulaması çok karmaşık hale geldiği için çalışma durduruldu.

IPython not defterinin üçüncü prototipi Ekim 2010’da, birkaç günlük bir hack ile üçüncü bir tarafça yapıldı. Sonunda, 2011 İlkbahar-Yaz döneminde, Brian Granger 2010’da yaptığı çalışmaya dayanarak web not defteri prototipi üzerinde tam zamanlı çalışıyordu; burada Fernando Pérez ile birlikte IPython çekirdek mimarisini ve mesaj belirtimini ve Min Ragan Kelley ile birlikte PyZMQ’yu oluşturmuştu.

PyZMQ, ZeroMQ için Python bağlamaları sağlayan bir kütüphanedir; Bu kütüphane, IPython’ın paralel hesaplama özellikleri, qt konsolu ve not defteri için gerekliydi.

PyZMQ ve websockets, not defterini mümkün kılan başlıca teknolojilerdi. Aynı yılın sonbaharına gelindiğinde, diğer katkıcılar (Matthias Bussonnier, Min ve Fernando gibi) da katkıda bulunuyordu. 21 Aralık 2011’e gelindiğinde, IPython Notebook’un ilk sürümü (0.12) yayımlandı.

Sonraki yıllarda ekip, 23 Mart 2013’te Fernando Pérez’e verilen Advancement of Free Software ve Jolt Productivity Award gibi ödüller aldı ve Alfred P. Sloan Foundations gibi kurumlardan fon sağladı.

Son olarak, 2014’te Jupyter Projesi, IPython’dan ayrılan bir proje olarak başladı.

Ayrılıktan önceki son IPython sürümü, tek bir depoda etkileşimli bir kabuk, not defteri sunucusu, Qt konsolu vb. içeriyordu. Proje büyüktü ve bileşenler giderek aynı projeye ait olan, ancak birbirinden ayrışan alt projeler haline geliyordu.

Ancak, Jupyter Projesi’nin başlatılmasının tek nedeni projenin büyüklüğü değildi: 2011’den 2014’e kadar, IPython not defteri diğer programlama dilleriyle de çalışmaya başladı. İlk olarak Julia geldi, ardından R. Not defterinin sadece Python’a dayalı olduğunu ima eden IPython not defterinin Julia ve R gibi diğer programlama dillerinin çekirdekleriyle de çalışması insanları şaşırtıyordu.

Eğer başka programlama dilleri de işin içindeyse neden adı “IPython”dı?

“Jupyter” adı, bilimin önde gelen açık dilleri düşünülerek ilham alındı (yani Julia, Python ve R) ve her ne kadar başka bir kısaltma gibi görünse de, asla diğer dillere kapalı olduğu anlamına gelmiyordu. Dahası, bu ad, geliştiricilerin üzerinde çalıştığı projeyi daha iyi temsil ediyor ve projenin bilimsel köklerine gönderme yapıyordu!

Jupyter Projesi başladıktan sonra, IPython projesinin dilden bağımsız kısımları, örneğin not defteri formatı, mesaj protokolü, Qt konsolu, not defteri web uygulaması vb. Jupyter projesine taşındı. Ana Jupyter GitHub organizasyonunu burada bulabilirsiniz.

Jupyter ve IPython topluluklarında buna “Büyük Ayrılık” denir.

IPython’ın artık sadece iki rolü var: Jupyter Notebook’un Python arka ucu olmak, ki buna çekirdek (kernel) de denir, ve etkileşimli bir Python kabuğu olmak. Ancak bu kadarla sınırlı değil: IPython ekosistemi içinde ayrıca bir paralel hesaplama çerçevesi de bulacaksınız. Buna daha sonra tekrar değineceksiniz!

IPython gibi, Jupyter Projesi de aslında birçok projenin ortak adıdır: barındırdığı üç uygulama Not Defteri’nin kendisi, bir Konsol ve bir Qt konsoludur; ancak ayrıca not defteri dağıtımını destekleyen JupyterHub, eğitim amaçlı nbgrader gibi alt projeler de vardır. Jupyter mimarisine genel bir bakışı buradan görebilirsiniz.

Python camiasında IPython ve Jupyter konusundaki kafa karışıklığını açıklayan şey tam olarak bu projenin evrimidir: biri diğerinden çıktığı (hem de oldukça yakın zamanda) için, kavramlar için doğru adları benimsemekte zorlananlar var. Ancak belki de daha da karmaşıklaştıran etmen evrimin kendisi: biri diğerinden çıktığı için, bazen ayırt edilmesi güç olan IPython ve Jupyter Notebook özellikleri arasında hatırı sayılır bir örtüşme var! İkisini nasıl ayırt edeceğiniz bu yazının sonraki bölümlerinde netleşecek. IPython’ın gelişiminin nasıl ortaya çıktığı hakkında daha fazla ayrıntı öğrenmek isterseniz, not defterlerinin tarihine ilişkin Fernando Pérez ve William Stein’in kişisel anlatımlarına göz atın.

R Not Defterleri

R Markdown ile Jupyter Notebook, tekrarlanabilir bir iş akışı sunma, kodu, çıktıyı ve metni tek bir belgede örerek bir araya getirme, etkileşimli bileşenleri destekleme ve birden çok formata çıktı verme açısından ortaktır.

Ancak ikisi farklılık da gösterir: ilki tekrarlanabilir toplu yürütmeye, düz metin temsiline, sürüm kontrolüne, üretim çıktısına odaklanır ve R betikleri için kullandığınız aynı düzenleyici ve araçları sunar. İkincisi ise çıktıyı kodla satır içi göstermeye, oturumlar arasında çıktıyı önbelleğe almaya, kodu ve çıktıyı tek bir dosyada paylaşmaya odaklanır. Not defterleri etkileşimli bir yürütme modeline vurgu yapar. Düz metin temsili kullanmazlar; JSON gibi yapılandırılmış bir veri temsili kullanırlar.

Tüm bunlar, RStudio’nun not defteri uygulamasının amacını açıklar: R Markdown’ın tüm avantajlarını hesaplamalı not defterlerin sunduğu güzelliklerle birleştirir.

R not defterleriyle nasıl çalışabileceğiniz ve not defteri paylaşımı, proje yönetimi, sürüm kontrolü ve daha fazlası açısından Jupyter ile R Markdown not defterleri arasındaki tam farkları öğrenmek için DataCamp’in Jupyter ve R: R ile Not Defterleri yazısına göz atın.

Diğer Veri Bilimi Not Defterleri

Elbette, veri bilimine başlarken göz önünde bulundurabileceğiniz daha pek çok not defteri var. Son yıllarda, veri bilimcilere ve veri bilimi meraklılarına birçok yeni alternatif sunuldu: sadece Beaker Notebook, Apache Zeppelin, Spark Notebook, DataBricks Cloud gibi seçenekleri değil, aynı zamanda veri bilimi analizlerinizi etkileşimli ve tekrarlanabilir kılan Rodeo IDE veya nteract gibi diğer araçları da düşünün. Burada dikkat edilmesi gereken güzel bir nokta, nteract’ın burada bahsedilen diğer araçlardan farklı olduğudur; çünkü Jupyter mimarisini, örneğin protokoller ve formatlar gibi bileşenleri kullanır.

Grafikleme

IPython çekirdeğinin önemli bir özelliği, kod hücrelerini çalıştırmanın çıktısı olan grafiklerin görüntülenebilmesidir. Çekirdek, bu işlevi sağlamak için matplotlib veri görselleştirme kütüphanesiyle sorunsuz çalışacak şekilde tasarlanmıştır. Bunu kullanmak için %matplotlib sihirli komutunu kullanın.

Böylece, grafiğiniz varsayılan olarak ayrı bir pencerede görüntülenecektir. Ek olarak, inline veya qt gibi bir arka uç da belirtebilirsiniz; böylece grafik komutlarının çıktısı satır içi veya farklı bir GUI arka ucu üzerinden gösterilir. Daha fazlasını buradan okuyabilirsiniz.

Dosya Sistemi Gezinme

Çekirdeğin sihirli komutları, dosya sisteminizde gezinmenin bir yolunu da sağlar. %cd ve %bookmark sihirleri, dizin değiştirmek veya sık kullandığınız dizinlere daha hızlı erişmek için bir klasörü yer imlerine eklemek üzere kullanılabilir.

Hata Ayıklayıcı Erişimi

Sonraki olarak, bir yakalanmamış istisna olduğunda her seferinde bir Python hata ayıklayıcısını %pdb çağırmak için sihirleri kullanabilirsiniz. Bu, istisnayı tetikleyen kod bölümünde sizi yönlendirir ve böylece bir hatanın kaynağını hızla bulmanızı mümkün kılar.

Ayrıca, betikleri Python hata ayıklayıcısının denetimi altında çalıştırmak için %run sihirli komutunu -d seçeneğiyle kullanabilirsiniz. Başlangıç kesme noktalarını sizin için otomatik olarak ayarlayacaktır. Son olarak, daha kolay hata ayıklayıcı erişimi için %debug sihrini de kullanabilirsiniz.

IPython Uzantıları

%load_ext sihrini kullanarak bir IPython uzantısını modül adıyla yükleyebilirsiniz. IPython uzantıları, kabuğun davranışını değiştiren Python modülleridir: uzantılar sihirler kaydedebilir, değişkenler tanımlayabilir ve genel olarak kullanıcı ad alanını değiştirerek kod hücreleri içinde kullanılacak yeni özellikler sağlayabilir. İşte bazı örnekler:

• %load_ext oct2py.ipython kullanarak M dosyalarını ve Octave fonksiyonlarını Python’dan sorunsuz bir şekilde çağırın,
• %load_ext rpy2.ipython kullanarak bir Python sürecine gömülü çalışan R için bir arayüz kullanın,
• %load_ext Cython kullanarak bir Python’dan C’ye derleyici kullanın,
• sympy.init_printing() ile Sympy Basic nesnelerini otomatik olarak güzel yazdırın ve
• Etkileşimli oturumunuzda Fortran kullanmak için %load_ext fortranmagic kullanabilirsiniz.

… Daha birçoğu var! Kendi IPython uzantılarınızı oluşturup kaydedebilir ve bunları PyPi’ye kaydedebilirsiniz: bu da orada başka birçok kullanıcı tanımlı uzantı ve sihir olduğu anlamına gelir! Bir örnek ipython_unittest olsa da, bu Uzantılar Dizinine de bakın.

Dikkat etmeniz gereken diğer uzantılardan biri de sparkmagic’tir; Livy (bir Spark REST sunucusu) aracılığıyla uzak Spark kümeleriyle Jupyter not defterlerinde etkileşimli olarak çalışmak için bir araç setidir. sparkmagic kütüphanesi, normal bir IPython not defterinden uzak bir Spark kümesine kolayca kod çalıştırmanızı sağlayan bir %%spark sihri sunar.

# Load in sparkmagic
%load_ext sparkmagic.magics
 
# Set the endpoint
%manage_spark
 
# Ask for help
%spark?

Bu sihirleri kullanarak Spark kümesiyle etkileşimli çalışmanın daha fazla örneği için buraya gidin.

IPython’ın, Jupyter Notebook’unuzdan uzantıları yönetmenize olanak tanıyan %load_ext dışında iki sihri daha olduğunu unutmayın: bir uzantıyı boşaltmak, yeniden içe aktarmak ve yüklemek için %reload_ext ve uzantıyı boşaltmak için %unload_ext.

Farklı Çekirdekler, Diğer Sihirler

Ancak, diğer dillerde sihirli komutlardaki söz dizimi öğesinin bir anlamı olabilir. R çekirdeği IRKernel’in bir sihir sistemi yoktur. Örneğin bash komutlarını yürütmek için, bir işletim sistemi komutunu çağırmak üzere system() gibi R fonksiyonlarını kullanırsınız. Örneğin system("head -5 *.csv", intern=TRUE) olabilir. intern argümanını ekleyerek, komutun çıktısını R’de bir karakter vektörü olarak yakalamak istediğinizi belirtmiş olursunuz. Markdown girdisini görüntülemek için, Markdown kodunu karakter vektörü olarak ilettiğiniz display_markdown() kullanırsınız. Benzer şekilde, Julia çekirdeği IJulia da “sihirler” kullanmaz. Bunun yerine, aynı hedeflere ulaşmak için diğer söz dizimleri Julia’da daha doğaldır, IJulia kod hücreleri dışında da çalışır ve genellikle daha güçlüdür. Ancak, IJulia çekirdeğinin geliştiricileri, bir IJulia kod hücresine bir IPython sihir komutu girdiğinizde, mümkünse Julia’da benzer bir etkiyi nasıl elde edebileceğinizi açıklayan bir yardım çıktısı görmenizi sağlamıştır.

Örneğin, IJulia’da IPython’ın %load komutunun karşılığı IJulia.load()’dır.

Öte yandan, IPython’a benzer şekilde sihirli komutları destekleyen Scala çekirdeği IScala gibi çekirdekler de vardır. Ancak, sihirlerin kümesi Scala ve JVM’in özelliklerine uyacak şekilde farklıdır. Sihirli komutlar, yüzde işaretini (%) bir tanımlayıcı ve isteğe bağlı bir girdi izler. En dikkat çekici sihirlerden bazıları şunlardır:

# Type Information
%type 1
 
# Library Management
%libraryDependencies
%update

Yukarıda okuduğunuz gibi, sparkmagic kütüphanesi ayrıca uzak bir Spark kümesine otomatik olarak bağlanmanıza, kod ve SQL sorguları çalıştırmanıza, Livy sunucunuzu ve Spark iş yapılandırmanızı yönetmenize ve otomatik görselleştirmeler üretmenize olanak tanıyan bir Scala ve bir Python çekirdeği seti sunar. Hem de herhangi bir koda ihtiyaç duymadan!

Örneğin, %%sql ile SparkSQL sorgularını kolayca çalıştırabilir veya %%info sihri aracılığıyla Spark uygulama bilgilerine ve günlüklerine erişebilirsiniz.

Başka bir çekirdekle çalışıyorsanız ve sihirli komutları kullanıp kullanamayacağınızı merak ediyorsanız, metakernel projesi üzerine inşa edilen ve çoğu durumda IPython çekirdeğinde de bulacağınız aynı sihirleri kullanan bazı çekirdeklerin olduğunu bilmek faydalı olabilir. Metakernel sihirlerinin bir listesini burada bulabilirsiniz. Metakernel, temel sihir fonksiyonlarını içeren bir Jupyter/IPython çekirdek şablonudur.

Bazı örnekler:

• MATLAB çekirdeği matlab_kernel,
• Octave çekirdeği octave_kernel,
• Java9 çekirdeği java9_kernel,
• Wolfram çekirdeği wolfram_kernel,
• SAS çekirdeği. … Ve daha niceleri!

Bu, örneğin MATLAB çekirdeğini kullanırken aşağıdaki sihirlerin mevcut olacağı anlamına gelir:

Available line magics:
%cd  %connect_info  %download  %edit  %get  %help  %html  %install  %install_magic  %javascript  %kernel  %kx  %latex  %load  %ls  %lsmagic  %magic  %parallel  %plot  %pmap  %px  %python  %reload_magics  %restart  %run  %set  %shell  %spell
 
Available cell magics:
%%debug  %%file  %%help  %%html  %%javascript  %%kx  %%latex  %%processing  %%px  %%python  %%shell  %%show  %%spell

Yukarıda yazdırılan parçaya bakarsanız, bu sihirli komutlardan bazılarının çok tanıdık göründüğünü göreceksiniz. Sihirleri çok iyi bilmeyenler için, yukarıdaki parçayı IPython çekirdeğinde varsayılan olarak mevcut sihirlerle karşılaştırın; bazı sihirlerin aynı olduğunu göreceksiniz:

Available line magics:
%alias  %alias_magic  %autocall  %automagic  %autosave  %bookmark  %cat  %cd  %clear  %colors  %config  %connect_info  %cp  %debug  %dhist  %dirs  %doctest_mode  %ed  %edit  %env  %gui  %hist  %history  %killbgscripts  %ldir  %less  %lf  %lk  %ll  %load  %load_ext  %loadpy  %logoff  %logon  %logstart  %logstate  %logstop  %ls  %lsmagic  %lx  %macro  %magic  %man  %matplotlib  %mkdir  %more  %mv  %notebook  %page  %pastebin  %pdb  %pdef  %pdoc  %pfile  %pinfo  %pinfo2  %popd  %pprint  %precision  %profile  %prun  %psearch  %psource  %pushd  %pwd  %pycat  %pylab  %qtconsole  %quickref  %recall  %rehashx  %reload_ext  %rep  %rerun  %reset  %reset_selective  %rm  %rmdir  %run  %save  %sc  %set_env  %store  %sx  %system  %tb  %time  %timeit  %unalias  %unload_ext  %who  %who_ls  %whos  %xdel  %xmode
 
Available cell magics:
%%!  %%HTML  %%SVG  %%bash  %%capture  %%debug  %%file  %%html  %%javascript  %%js  %%latex  %%perl  %%prun  %%pypy  %%python  %%python2  %%python3  %%ruby  %%script  %%sh  %%svg  %%sx  %%system  %%time  %%timeit  %%writefile

Özünde, hangi sihirlerin IPython’a özgü olduğunu ve hangilerinin diğer çekirdeklerde de kullanılabileceğini ayırt etmek için tek bir soru kullanabilirsiniz: bu işlev Python’a özgü mü, yoksa çalıştığınız dilde de kullanılabilecek genel bir şey mi?

Örneğin, %pdb yani Python Hata Ayıklayıcı veya %matplotlib, JavaScript çekirdeğiyle çalışırken anlam ifade etmeyecek Python’a özgü şeylerdir. Ancak, %cd ile dizin değiştirmek tipik olarak çok genel bir şeydir ve herhangi bir dilde çalışmalıdır; çünkü bu kadar “genel” bir komuttur. Dolayısıyla, bunun diğer çekirdeklerde de kullanılabilecek bir sihir olma olasılığı yüksektir. Elbette, çekirdeğinizin sihirleri kullanıp kullanmadığını yine de bilmeniz gerekir.