IPython hay Jupyter?

Sage Notebook

Sage notebook, dưới dạng hệ thống chạy trên trình duyệt, được phát hành lần đầu vào giữa những năm 2000 và đến năm 2007, một phiên bản mới mạnh mẽ hơn ra mắt, có tài khoản người dùng và có thể dùng để công khai tài liệu. Nó giống giao diện Google Docs vì bố cục của Sage notebook dựa trên bố cục của Google notebooks.

Các tác giả của Sage notebook xác nhận họ là người dùng thường xuyên của Mathematica notebook và Maple worksheet. Những động lực quan trọng khác khi phát triển Sage notebook gồm: thứ nhất, các nhà phát triển có liên hệ chặt chẽ với đội ngũ IPython, một phần vì phiên bản Sage chạy trên terminal dùng IPython. Thứ hai, có “một nỗ lực thất bại” của hai sinh viên nhằm cung cấp GUI cho IPython, và thứ ba, sự trỗi dậy của các ứng dụng web “AJAX” (viết tắt cho “Asynchronous JavaScript And XML”), vốn không yêu cầu người dùng tải lại toàn bộ trang mỗi lần thực hiện thao tác.

Ví dụ, khi bạn điền vào biểu mẫu trên trang web: không có AJAX, bạn sẽ được chuyển hướng sang trang mới với thông tin mới từ máy chủ khi nhấn nút gửi. Với AJAX, JavaScript sẽ gửi yêu cầu tới máy chủ, nhận kết quả và cập nhật màn hình. Bạn không cần tải lại trang, cũng không bị chuyển hướng.

Các ứng dụng AJAX khác mà bạn có thể biết: Gmail, Google Maps, Facebook, Twitter,… Như bạn thấy, gần như mọi thứ đều là AJAX.

IPython và Jupyter Notebook

Cuối năm 2001, khoảng hai mươi năm sau khi Guido van Rossum bắt đầu làm việc với Python tại Viện Nghiên cứu Quốc gia về Toán học và Khoa học Máy tính ở Hà Lan, Fernando Pérez bắt đầu phát triển IPython. Dự án chịu ảnh hưởng mạnh mẽ từ Mathematica notebook và Maple worksheet, giống như Sage notebook và nhiều dự án tiếp nối sau đó.

Năm 2005, có nỗ lực đầu tiên xây dựng hệ thống notebook bằng Wx, một bộ công cụ widget và thư viện để tạo GUI cho ứng dụng đa nền tảng. Hai sinh viên Google Summer of Code đã làm việc trên nguyên mẫu này dưới sự hướng dẫn của Robert Kern và Fernando Pérez. Sau đó, Robert tiếp tục đầu tư công sức vào vấn đề. Đây ít mang dáng dấp nguyên mẫu notebook hơn là một đợt dọn dẹp mã lõi IPython nhằm giúp việc viết một frontend wxPython cho shell IPython trở nên dễ dàng hơn. Chính những đợt dọn dẹp này đã giúp hình thành một hệ thống notebook sạch sẽ, và một phần trong số đó được hợp nhất dần vào IPython khi nỗ lực notebook cuối cùng cũng thành công.

Nguyên mẫu thứ hai cho IPython được xây dựng mùa hè 2006 bởi Min Ragan-Kelley dưới sự cố vấn của Brian Granger. Nó dựa trên web và có backend cơ sở dữ liệu SQL nhưng công việc bị dừng lại vì hiện thực hoá cuối cùng tỏ ra quá phức tạp với công nghệ web lúc bấy giờ.

Nguyên mẫu thứ ba của IPython notebook xuất hiện vào tháng 10/2010 và do bên thứ ba thực hiện trong vài ngày hack. Cuối cùng, vào mùa xuân–hè 2011, Brian Granger làm toàn thời gian trên nguyên mẫu notebook web, dựa trên công việc anh thực hiện năm 2010, nơi anh cùng Fernando Pérez tạo ra kiến trúc kernel và đặc tả thông điệp của IPython, và với Min Ragan Kelley tạo PyZMQ.

PyZMQ là thư viện cung cấp các ràng buộc Python cho ZeroMQ; Thư viện này cần thiết cho các tính năng tính toán song song của IPython, qt console và notebook.

PyZMQ và websockets là công nghệ chính giúp notebook khả thi. Vào mùa thu cùng năm, các cộng tác viên khác (như Matthias Bussonnier, Min và Fernando) cũng đóng góp. Đến ngày 21/12/2011, phiên bản đầu tiên của IPython Notebook (0.12) được phát hành.

Những năm sau đó, nhóm nhận được các giải thưởng như Advancement of Free Software dành cho Fernando Pérez vào ngày 23/03/2013 và Jolt Productivity Award, cùng nguồn tài trợ từ Alfred P. Sloan Foundation, v.v.

Cuối cùng, năm 2014, Dự án Jupyter bắt đầu như một dự án tách ra từ IPython.

Bản phát hành cuối của IPython trước khi tách bao gồm shell tương tác, notebook server, Qt console, v.v… trong một kho mã. Dự án đã lớn, với các thành phần ngày càng trở thành những dự án riêng biệt nhưng vẫn thuộc cùng một dự án.

Nhưng lưu ý rằng quy mô dự án không phải là lý do duy nhất để khởi động Dự án Jupyter: từ 2011 đến 2014, IPython notebook bắt đầu làm việc với các ngôn ngữ lập trình khác. Julia là ngôn ngữ đầu tiên, sau đó là R. Việc IPython notebook — ngụ ý notebook chỉ dựa trên Python — cũng hoạt động với kernel của các ngôn ngữ khác như Julia và R, đã gây bối rối cho mọi người.

Tại sao lại mang tên “IPython” nếu còn có các ngôn ngữ khác tham gia?

Tên “Jupyter” được gợi cảm hứng từ các ngôn ngữ mở hàng đầu cho khoa học (Julia, Python và R), và dù có vẻ như một từ viết tắt, nó không bao hàm rằng các ngôn ngữ khác không được chào đón. Hơn nữa, cái tên phản ánh tốt hơn dự án mà các nhà phát triển đã và đang xây dựng, đồng thời gợi nhắc nguồn gốc khoa học của dự án!

Sau khi Dự án Jupyter bắt đầu, các phần không phụ thuộc ngôn ngữ của IPython, như định dạng notebook, giao thức thông điệp, Qt console, ứng dụng web notebook, v.v. được chuyển sang dự án Jupyter. Bạn có thể tìm tổ chức Jupyter chính trên GitHub tại đây.

Trong cộng đồng Jupyter và IPython, điều này được gọi là “The Big Split”.

Hiện IPython chỉ còn hai vai trò: làm backend Python cho Jupyter Notebook, còn gọi là kernel, và một shell Python tương tác. Nhưng chưa hết: trong hệ sinh thái IPython, bạn cũng sẽ thấy khung tính toán song song. Bạn sẽ đọc thêm ở phần sau!

Và giống như IPython, Dự án Jupyter thực ra là tên gọi chung cho một loạt dự án: ba ứng dụng chính gồm Notebook, Console và Qt console, cùng các dự án con như JupyterHub để hỗ trợ triển khai notebook, nbgrader cho giáo dục, v.v. Bạn có thể xem tổng quan kiến trúc Jupyter tại đây.

Lưu ý rằng chính quá trình phát triển này giải thích sự nhầm lẫn mà nhiều Pythonista gặp phải khi nói về IPython và Jupyter: do cái này tách ra từ cái kia (khá gần đây), một số người vẫn khó dùng đúng tên cho các khái niệm. Còn một yếu tố gây rối hơn là tiến hóa của dự án: vì cái này sinh ra từ cái kia, có sự chồng lấn đáng kể giữa các tính năng của IPython và Jupyter Notebook mà đôi khi khó phân biệt! Cách phân biệt sẽ rõ hơn trong các phần tiếp theo. Nếu muốn biết thêm chi tiết về quá trình phát triển IPython, hãy xem ghi chép cá nhân của Fernando Pérez và William Stein về lịch sử notebook của họ.

R Notebooks

R Markdown và Jupyter Notebook đều cung cấp quy trình làm việc có thể tái lập, đan xen mã, đầu ra và văn bản trong một tài liệu duy nhất, hỗ trợ widget tương tác và xuất ra nhiều định dạng.

Tuy nhiên, hai công cụ cũng khác nhau: công cụ thứ nhất tập trung vào thực thi theo lô có thể tái lập, biểu diễn văn bản thuần, quản lý phiên bản, đầu ra sản xuất và cung cấp cùng trình soạn thảo, công cụ mà bạn dùng cho script R. Công cụ thứ hai tập trung vào việc hiển thị xen kẽ cùng mã, lưu đệm đầu ra qua các phiên, chia sẻ mã và đầu ra trong một tệp duy nhất. Notebook nhấn mạnh mô hình thực thi tương tác. Chúng không dùng biểu diễn văn bản thuần, mà dùng biểu diễn dữ liệu có cấu trúc như JSON.

Điều đó giải thích mục đích của ứng dụng notebook của RStudio: kết hợp mọi ưu điểm của R Markdown với những gì tốt đẹp mà notebook tính toán mang lại.

Để tìm hiểu cách làm việc với R notebook và những khác biệt chính xác giữa Jupyter và R Markdown notebook về chia sẻ notebook, quản lý dự án, kiểm soát phiên bản và hơn thế nữa, hãy xem bài Jupyter và R: Notebooks với R của DataCamp.

Các Data Science Notebook khác

Tất nhiên, còn nhiều notebook khác để bạn cân nhắc khi bước vào khoa học dữ liệu. Những năm gần đây, rất nhiều lựa chọn mới đã đến tay các nhà khoa học dữ liệu và người đam mê: không chỉ Beaker Notebook, Apache Zeppelin, Spark Notebook, DataBricks Cloud, v.v., mà còn các công cụ khác như Rodeo IDE hoặc nteract, cũng giúp phân tích dữ liệu của bạn mang tính tương tác và có thể tái lập. Một điểm đáng chú ý là nteract khác với các công cụ còn lại ở chỗ nó sử dụng kiến trúc Jupyter, như các giao thức và định dạng.

Vẽ biểu đồ

Một tính năng lớn của kernel IPython là khả năng hiển thị biểu đồ do các cell mã tạo ra. Kernel được thiết kế để hoạt động trơn tru với thư viện trực quan hóa dữ liệu matplotlib nhằm cung cấp chức năng này. Để sử dụng, hãy dùng magic %matplotlib.

Theo mặc định, biểu đồ sẽ hiển thị trong một cửa sổ riêng. Ngoài ra, bạn có thể chỉ định backend, như inline hoặc qt, để đầu ra của các lệnh vẽ hiển thị nội tuyến hoặc qua backend GUI khác. Bạn có thể đọc thêm tại đây.

Điều hướng hệ thống tệp

Các magic của kernel cũng cung cấp cách điều hướng qua hệ thống tệp. Magic %cd và %bookmark có thể dùng để đổi thư mục hoặc đánh dấu thư mục để truy cập nhanh các thư mục bạn thường dùng.

Truy cập Debugger

Tiếp theo, bạn có thể dùng magic để gọi trình gỡ lỗi Python %pdb mỗi khi có ngoại lệ không được bắt. Điều này sẽ dẫn bạn qua phần mã gây ra ngoại lệ, giúp nhanh chóng tìm nguồn gốc lỗi.

Bạn cũng có thể dùng magic %run với tùy chọn -d để chạy script dưới sự điều khiển của trình gỡ lỗi Python. Nó sẽ tự động thiết lập các breakpoint ban đầu cho bạn. Cuối cùng, bạn có thể dùng magic %debug để truy cập debugger còn dễ hơn.

Phần mở rộng IPython

Bạn có thể dùng magic %load_ext để nạp một phần mở rộng IPython theo tên module. Phần mở rộng IPython là các module Python sửa đổi hành vi của shell: chúng có thể đăng ký magic, định nghĩa biến và nói chung là chỉnh sửa không gian tên người dùng để cung cấp tính năng mới trong các cell mã. Ví dụ:

• Dùng %load_ext oct2py.ipython để gọi liền mạch các tệp M và hàm Octave từ Python,
• Dùng %load_ext rpy2.ipython để dùng giao diện tới R chạy nhúng trong tiến trình Python,
• Dùng %load_ext Cython để sử dụng trình biên dịch từ Python sang C,
• Dùng sympy.init_printing() để tự động in đẹp các đối tượng Sympy Basic, và
• Để dùng Fortran trong phiên tương tác, bạn có thể dùng %load_ext fortranmagic.

… Còn nhiều nữa! Bạn có thể tạo và đăng ký phần mở rộng IPython của riêng mình và đăng ký chúng trên PyPi: điều này cũng có nghĩa là có rất nhiều phần mở rộng và magic do người dùng tạo ra ngoài kia! Một ví dụ là ipython_unittest, và hãy xem cả Extensions Index.

Một trong những phần mở rộng khác đáng để ý là sparkmagic, bộ công cụ làm việc tương tác với các cụm Spark từ xa thông qua Livy, một máy chủ REST của Spark, trong Jupyter notebook. Thư viện sparkmagic cung cấp magic %%spark để bạn dễ dàng chạy mã lên cụm Spark từ xa từ một notebook IPython thông thường.

# Load in sparkmagic
%load_ext sparkmagic.magics
 
# Set the endpoint
%manage_spark
 
# Ask for help
%spark?

Truy cập tại đây để xem thêm ví dụ về cách dùng các magic này để làm việc tương tác với cụm Spark.

Lưu ý IPython có hai magic khác ngoài %load_ext để cho phép bạn quản lý phần mở rộng ngay trong Jupyter Notebook: %reload_ext và %unload_ext để lần lượt dỡ, nhập lại và nạp phần mở rộng, và để dỡ phần mở rộng.

Kernel khác, Magic khác

Tuy nhiên, trong các ngôn ngữ khác, phần tử cú pháp trong magic command có thể mang ý nghĩa riêng. Kernel R, IRKernel, không có hệ thống magic. Để thực thi lệnh bash, chẳng hạn, bạn sẽ dùng các hàm R như system() để gọi lệnh hệ điều hành. Ví dụ là system("head -5 *.csv", intern=TRUE). Lưu ý khi thêm đối số intern, bạn chỉ rõ rằng muốn lấy đầu ra của lệnh thành một vector ký tự trong R. Để hiển thị đầu vào markdown, bạn dùng display_markdown(), truyền mã Markdown dưới dạng vector ký tự. Tương tự, Kernel Julia là IJulia cũng không dùng “magic”. Thay vào đó, các cú pháp khác để đạt cùng mục tiêu lại tự nhiên hơn trong Julia, hoạt động ngoài các ô mã IJulia và thường mạnh mẽ hơn. Tuy nhiên, các nhà phát triển kernel IJulia đã đảm bảo rằng bất cứ khi nào bạn nhập một magic của IPython trong ô mã IJulia, bạn sẽ thấy thông báo trợ giúp giải thích cách đạt hiệu ứng tương tự trong Julia nếu có thể.

Ví dụ, tương đương với %load của IPython trong IJulia là IJulia.load().

Mặt khác, có các kernel như kernel Scala IScala hỗ trợ magic tương tự IPython. Tuy nhiên, tập magic khác nhau vì phải phù hợp với đặc thù của Scala và JVM. Magic gồm dấu phần trăm % theo sau là một định danh và đầu vào tùy chọn. Một số magic đáng chú ý:

# Type Information
%type 1
 
# Library Management
%libraryDependencies
%update

Như bạn đã đọc ở trên, thư viện sparkmagic cũng cung cấp một tập kernel Scala và Python cho phép bạn tự động kết nối đến cụm Spark từ xa, chạy mã và truy vấn SQL, quản lý máy chủ Livy và cấu hình job Spark, và tạo trực quan hóa tự động. Tất cả mà không cần viết thêm mã!

Ví dụ, bạn có thể dễ dàng thực thi truy vấn SparkSQL với %%sql hoặc truy cập thông tin ứng dụng và log Spark qua magic %%info.

Nếu bạn đang làm việc với một kernel khác và muốn biết có thể dùng magic hay không, sẽ hữu ích khi biết rằng có một số kernel xây dựng dựa trên dự án metakernel và trong đa số trường hợp sẽ dùng cùng các magic mà bạn cũng thấy trong kernel IPython. Bạn có thể tìm danh sách magic của metakernel tại đây. Metakernel là một mẫu kernel Jupyter/IPython bao gồm các hàm magic cốt lõi.

Một vài ví dụ:

• Kernel MATLAB matlab_kernel,
• Kernel Octave octave_kernel,
• Kernel Java9 java9_kernel,
• Kernel Wolfram wolfram_kernel,
• Kernel SAS. … Và còn nhiều nữa!

Điều này có nghĩa là, ví dụ khi bạn dùng kernel MATLAB, bạn sẽ có các magic sau khả dụng:

Available line magics:
%cd  %connect_info  %download  %edit  %get  %help  %html  %install  %install_magic  %javascript  %kernel  %kx  %latex  %load  %ls  %lsmagic  %magic  %parallel  %plot  %pmap  %px  %python  %reload_magics  %restart  %run  %set  %shell  %spell
 
Available cell magics:
%%debug  %%file  %%help  %%html  %%javascript  %%kx  %%latex  %%processing  %%px  %%python  %%shell  %%show  %%spell

Nếu bạn nhìn vào khối được in ở trên, bạn sẽ thấy một số magic trông rất quen thuộc. Với những ai chưa rành về magic, hãy so sánh khối trên với các magic có sẵn theo mặc định trong kernel IPython và bạn sẽ thấy có một số magic trùng nhau:

Available line magics:
%alias  %alias_magic  %autocall  %automagic  %autosave  %bookmark  %cat  %cd  %clear  %colors  %config  %connect_info  %cp  %debug  %dhist  %dirs  %doctest_mode  %ed  %edit  %env  %gui  %hist  %history  %killbgscripts  %ldir  %less  %lf  %lk  %ll  %load  %load_ext  %loadpy  %logoff  %logon  %logstart  %logstate  %logstop  %ls  %lsmagic  %lx  %macro  %magic  %man  %matplotlib  %mkdir  %more  %mv  %notebook  %page  %pastebin  %pdb  %pdef  %pdoc  %pfile  %pinfo  %pinfo2  %popd  %pprint  %precision  %profile  %prun  %psearch  %psource  %pushd  %pwd  %pycat  %pylab  %qtconsole  %quickref  %recall  %rehashx  %reload_ext  %rep  %rerun  %reset  %reset_selective  %rm  %rmdir  %run  %save  %sc  %set_env  %store  %sx  %system  %tb  %time  %timeit  %unalias  %unload_ext  %who  %who_ls  %whos  %xdel  %xmode
 
Available cell magics:
%%!  %%HTML  %%SVG  %%bash  %%capture  %%debug  %%file  %%html  %%javascript  %%js  %%latex  %%perl  %%prun  %%pypy  %%python  %%python2  %%python3  %%ruby  %%script  %%sh  %%svg  %%sx  %%system  %%time  %%timeit  %%writefile

Tựu trung, bạn có thể dùng một câu hỏi để phân biệt magic nào đặc thù IPython và magic nào có thể dùng ở kernel khác: chức năng này có đặc thù Python hay là thứ chung chung cũng dùng được trong ngôn ngữ bạn đang làm việc?

Ví dụ, %pdb hay Python Debugger hoặc %matplotlib là thứ đặc thù Python và sẽ không hợp lý khi bạn dùng kernel JavaScript. Tuy nhiên, đổi thư mục với %cd là việc rất chung và nên hoạt động ở bất kỳ ngôn ngữ nào, vì nó là một lệnh “chung”. Vì vậy, khả năng cao đây là magic có thể dùng ở kernel khác. Tất nhiên, bạn vẫn cần biết kernel của mình có dùng magic hay không.