IPython 还是 Jupyter？

Sage Notebook

浏览器版的 Sage notebook 首发于 2000 年代中期，2007 年又发布了功能更强的新版本，支持用户账户并可将文档公开。其界面设计与 Google Docs 相似，因为 Sage notebook 的布局借鉴了 Google notebooks。

Sage notebook 的创建者曾表示，他们是 Mathematica notebooks 与 Maple 工作表的忠实用户。推动 Sage notebook 开发的其他动因包括：其一，开发者与 IPython 团队关系密切，且 Sage 的终端版就使用了 IPython。其二，曾有两名学生“尝试未果”为 IPython 提供 GUI。其三，“AJAX”（“Asynchronous JavaScript And XML”的伪首字母缩写）的兴起，使得每次操作不再需要整页刷新。

比如在网站上填写表单：没有 AJAX 时，点击提交后会被重定向到由服务器返回新信息的新页面；有了 AJAX，JavaScript 会向服务器发起请求、获取结果并更新屏幕。您无需刷新，也不会被重定向。

其他您可能熟悉的 AJAX 应用还有 Gmail、Google 地图、Facebook、Twitter……可以说，几乎处处可见 AJAX。

IPython 与 Jupyter Notebook

2001 年底，距 Guido van Rossum 在荷兰国家数学与计算机科学研究所开始开发 Python 大约二十年后，Fernando Pérez 开始开发 IPython。与 Sage notebook 和后续许多项目一样，该项目受 Mathematica notebooks 与 Maple 工作表的深刻影响。

2005 年，首次尝试用 Wx（用于跨平台 GUI 的组件工具包与工具库）构建 notebook 系统。两名 Google Summer of Code 学生在 Robert Kern 与 Fernando Pérez 的指导下完成了原型。之后，Robert 又进一步推进。与其说是 notebook 原型，不如说是清理了 IPython 核心代码，以便更容易为 IPython shell 编写 wxPython GUI 前端。这些清理也助力了后续更干净的 notebook 系统的诞生，其中一些改动最终以碎片化方式合并进了 IPython，推动了 notebook 的成功落地。

第二个 IPython 原型由 Min Ragan-Kelley 在 2006 年夏完成，导师为 Brian Granger。它基于 Web，后端使用 SQL 数据库。但由于当时的 Web 技术实现过于复杂，工作被中止。

第三个 IPython notebook 原型出现在 2010 年 10 月，由第三方在数日内黑客式完成。最终，在 2011 年春夏之交，Brian Granger 全职开发基于 Web 的 notebook 原型，基础是他在 2010 年与 Fernando Pérez 一起创建的 IPython 内核架构与消息规范，以及与 Min Ragan Kelley 合作的 PyZMQ。

PyZMQ 是为 ZeroMQ 提供 Python 绑定的库；该库是 IPython 并行计算、qt 控制台与 notebook 功能所需。

PyZMQ 与 websockets 是促成 notebook 成为可能的关键技术。同年秋天，其他贡献者（如 Matthias Bussonnier、Min 和 Fernando）也开始参与。2011 年 12 月 21 日，第一版 IPython Notebook（0.12）正式发布。

随后几年，团队获得了诸多奖项，如 2013 年 3 月 23 日授予 Fernando Pérez 的自由软件推进奖、Jolt 生产力奖，以及来自阿尔弗雷德·P·斯隆基金会等机构的资助。

最终在 2014 年，Jupyter 项目作为 IPython 的衍生项目启动。

分家前的最后一个 IPython 版本将交互式 shell、notebook 服务器、Qt 控制台等都放在一个仓库中。项目规模庞大，而其中组件正逐渐演化为彼此独立的子项目，只是恰好归于同一伞形之下。

但请注意，项目规模并非启动 Jupyter 的唯一原因：从 2011 到 2014 年，IPython notebook 开始支持其他编程语言。第一个加入的是 Julia，此后是 R。名为“IPython”的 notebook 却能运行 Julia 与 R 等其他语言的内核，这让人困惑。

既然还有其他语言参与，为什么还叫“IPython”？

“Jupyter”这个名字的灵感来自科学计算领域的三大开放语言（Julia、Python 与 R）。尽管看似首字母缩写，它从未意味着排斥其他语言。更重要的是，这个名字更贴切地代表了开发者们所打造的项目，并向其科学根源致意！

Jupyter 项目启动后，IPython 项目中与语言无关的部分（如 notebook 格式、消息协议、Qt 控制台、notebook Web 应用等）被划归到Jupyter 项目。Jupyter 的主 GitHub 组织在这里。

在 Jupyter 与 IPython 社区中，这被称为“大分裂”（The Big Split）。

如今 IPython 只承担两项职责：作为 Jupyter Notebook 的 Python 后端（即内核），以及作为交互式 Python shell。但不止于此：在 IPython 生态中，您还会发现一个并行计算框架。稍后您会读到更多！

与 IPython 类似，Jupyter 项目实际上也是一系列子项目的统称：其下包含 Notebook 本身、Console 与 Qt console 等应用，还包括支持 Notebook 部署的 JupyterHub、面向教育用途的 nbgrader 等子项目。您可以在这里查看 Jupyter 架构概览。

需要指出，正是这种演进导致许多 Python 开发者对 IPython 与 Jupyter 感到困惑：由于二者相互衍生（而且时间并不久远），一些人仍难以用准确名称指代概念。更复杂的是演化本身：由于一者源于另一者，IPython 与 Jupyter Notebook 的功能存在显著重叠，有时不易区分！如何区分将在下文明确说明。若想了解 IPython 的更多发展细节，可阅读 Fernando Pérez 与 William Stein 关于其 notebook 历史的个人记述。

R Notebooks

R Markdown 与 Jupyter Notebook 都旨在提供可复现的工作流，将代码、输出与文本编织到单一文档中，支持交互式控件，并可输出为多种格式。

但二者也有差异：前者侧重可复现的批处理执行、纯文本表示、版本控制与生产级输出，并提供与您编写 R 脚本相同的编辑器与工具。后者更注重与代码内联输出、跨会话缓存输出、在单个文件中共享代码与输出。Notebooks 强调交互式执行模型。它们不是纯文本表示，而是结构化数据表示，如 JSON。

这也解释了 RStudio 笔记本应用的目标：它将 R Markdown 的全部优势与计算型笔记本的优点结合起来。

想了解如何使用 R notebooks，以及在共享、项目管理、版本控制等方面 Jupyter 与 R Markdown notebooks 的具体差异，请查看 DataCamp 的Jupyter 与 R：使用 R 的 Notebooks一文。

其他数据科学笔记本

当然，当您入门数据科学时，还有更多 notebook 可供考虑。近年来，许多新替代品走进数据科学家的视野：不仅有 Beaker Notebook、Apache Zeppelin、Spark Notebook、DataBricks Cloud 等，还有诸如 Rodeo IDE 或 nteract 之类同样能让数据科学分析更具交互性与可复现性的工具。值得注意的是，nteract 与此处提到的其他工具不同之处在于它采用了 Jupyter 架构（如协议与格式）。

绘图

IPython 内核的一大特性是能够显示由代码单元运行产生的图形。该内核与数据可视化库 matplotlib 无缝协作以提供此功能。要使用它，请调用魔法命令 %matplotlib。

默认情况下，您的图将显示在单独窗口中。此外，您也可以指定后端，如 inline 或 qt，则绘图命令的输出将以内联或其他 GUI 后端的方式展示。详情可在这里阅读。

文件系统导航

内核的魔法命令也提供了在文件系统中导航的方式。%cd 与 %bookmark 可用于切换目录或为常用文件夹加书签，以便更快访问。

调试器访问

接着，您还可以使用魔法命令在每次出现未捕获异常时调用 Python 调试器 %pdb。它会引导您定位触发异常的代码位置，从而更快找到 Bug 的根源。

您也可以在 %run 魔法命令中使用 -d 选项，在 Python 调试器控制下运行脚本。它会自动为您设置初始断点。最后，您还可以使用 %debug 魔法以更便捷地访问调试器。

IPython 扩展

您可以使用 %load_ext 通过模块名加载 IPython 扩展。IPython 扩展是修改 shell 行为的 Python 模块：扩展可以注册魔法命令、定义变量，并总体上修改用户命名空间，以便在代码单元中提供新功能。示例包括：

• 使用 %load_ext oct2py.ipython 从 Python 无缝调用 M 文件与 Octave 函数，
• 使用 %load_ext rpy2.ipython 在嵌入 Python 进程中运行 R 的接口，
• 使用 %load_ext Cython 启用 Python 到 C 的编译器，
• 使用 sympy.init_printing() 自动美观打印 Sympy Basic 对象，
• 在交互式会话中使用 Fortran，可用 %load_ext fortranmagic。

……还有很多！您可以创建并在 PyPi 上注册自己的 IPython 扩展：这也意味着还有许多用户自定义的扩展与魔法命令！一个示例是 ipython_unittest，另外也可查看这个扩展索引。

另一个值得关注的扩展示例是 sparkmagic，它是一套通过 Livy（Spark 的 REST 服务器）在 Jupyter notebooks 中交互式使用远程 Spark 集群的工具。sparkmagic 库提供了 %%spark 魔法，可让您在普通 IPython notebook 中轻松对远程 Spark 集群运行代码。

# Load in sparkmagic
%load_ext sparkmagic.magics
 
# Set the endpoint
%manage_spark
 
# Ask for help
%spark?

前往这里查看更多如何使用这些魔法命令交互式操作 Spark 集群的示例。

注意，除 %load_ext 外，IPython 还有另外两个魔法命令可在 Jupyter Notebook 内管理扩展：%reload_ext 与 %unload_ext，分别用于卸载后重载与卸载扩展。

不同内核，不同魔法命令

然而，在其他语言中，魔法命令的语法元素可能本身就有意义。R 内核 IRKernel 并没有魔法命令系统。比如要执行 bash 命令，您会使用 R 函数 system() 来调用操作系统命令。例如 system("head -5 *.csv", intern=TRUE)。注意，包含 intern 参数表示您希望以 R 字符向量捕获命令输出。要显示 Markdown 输入，使用 display_markdown() 并传入 Markdown 代码的字符向量。同样，Julia 内核 IJulia 也不使用“魔法命令”。相反，Julia 中更自然的其他语法可以实现相同目标，且能在 IJulia 代码单元之外的环境中工作，通常也更强大。不过，IJulia 的开发者确保：当您在 IJulia 代码单元中输入 IPython 的魔法命令时，会打印出帮助，尽可能解释在 Julia 中如何实现类似效果。

例如，IJulia 中对应于 IPython %load 的是 IJulia.load()。

另一方面，也有像 Scala 内核 IScala 这样的内核，类似于 IPython 支持魔法命令。但其魔法命令集合会不同，以匹配 Scala 与 JVM 的特性。魔法命令由百分号 % 加标识符与可选输入构成。一些值得注意的魔法命令有：

# Type Information
%type 1
 
# Library Management
%libraryDependencies
%update

如上文所述，sparkmagic 库还提供一组 Scala 与 Python 内核，让您无需编写任何代码，即可自动连接远程 Spark 集群、运行代码与 SQL 查询、管理 Livy 服务器与 Spark 作业配置，并自动生成可视化。

例如，您可以使用 %%sql 轻松执行 SparkSQL 查询，或通过 %%info 魔法访问 Spark 应用信息与日志。

如果您在使用其他内核并想知道能否使用魔法命令，了解这一点会很有帮助：有些内核构建于 metakernel 项目之上，通常会使用与 IPython 内核中相同的魔法命令。metakernel 的魔法命令列表在这里。metakernel 是一个 Jupyter/IPython 内核模板，包含核心魔法函数。

一些示例：

• MATLAB 内核 matlab_kernel，
• Octave 内核 octave_kernel，
• Java9 内核 java9_kernel，
• Wolfram 内核 wolfram_kernel，
• SAS 内核。……还有更多！

这意味着，例如当您使用 MATLAB 内核时，将会拥有如下魔法命令：

Available line magics:
%cd  %connect_info  %download  %edit  %get  %help  %html  %install  %install_magic  %javascript  %kernel  %kx  %latex  %load  %ls  %lsmagic  %magic  %parallel  %plot  %pmap  %px  %python  %reload_magics  %restart  %run  %set  %shell  %spell
 
Available cell magics:
%%debug  %%file  %%help  %%html  %%javascript  %%kx  %%latex  %%processing  %%px  %%python  %%shell  %%show  %%spell

如果您查看上面打印的内容，会发现其中一些魔法命令非常眼熟。对不熟悉魔法命令的人来说，不妨将上面这段与 IPython 内核默认可用的魔法命令对比，会发现部分命令是相同的：

Available line magics:
%alias  %alias_magic  %autocall  %automagic  %autosave  %bookmark  %cat  %cd  %clear  %colors  %config  %connect_info  %cp  %debug  %dhist  %dirs  %doctest_mode  %ed  %edit  %env  %gui  %hist  %history  %killbgscripts  %ldir  %less  %lf  %lk  %ll  %load  %load_ext  %loadpy  %logoff  %logon  %logstart  %logstate  %logstop  %ls  %lsmagic  %lx  %macro  %magic  %man  %matplotlib  %mkdir  %more  %mv  %notebook  %page  %pastebin  %pdb  %pdef  %pdoc  %pfile  %pinfo  %pinfo2  %popd  %pprint  %precision  %profile  %prun  %psearch  %psource  %pushd  %pwd  %pycat  %pylab  %qtconsole  %quickref  %recall  %rehashx  %reload_ext  %rep  %rerun  %reset  %reset_selective  %rm  %rmdir  %run  %save  %sc  %set_env  %store  %sx  %system  %tb  %time  %timeit  %unalias  %unload_ext  %who  %who_ls  %whos  %xdel  %xmode
 
Available cell magics:
%%!  %%HTML  %%SVG  %%bash  %%capture  %%debug  %%file  %%html  %%javascript  %%js  %%latex  %%perl  %%prun  %%pypy  %%python  %%python2  %%python3  %%ruby  %%script  %%sh  %%svg  %%sx  %%system  %%time  %%timeit  %%writefile

本质上，您可以通过一个问题来区分哪些魔法命令特属 IPython，哪些可用于其他内核：该功能是否特定于 Python，或是否属于您所用语言也能使用的通用功能？

例如，%pdb（Python 调试器）或 %matplotlib 都是 Python 特定功能，在 JavaScript 内核中并无意义。而 %cd 切换目录通常非常通用，应该适用于任何语言，因为它是非常“通用”的命令。所以，这类魔法命令很可能可用于其他内核。当然，前提仍是您的内核支持魔法命令。