大数跨境

2020年如何使用Jupyter Notebooks(第二部分:生态系统的增长)

2020年如何使用Jupyter Notebooks(第二部分:生态系统的增长) Python程序员
2020-03-27
0
导读:这是关于Jupyter Notebooks生态系统的三篇博文中的第二篇。在此,我将讨论与Notebooks一起使用的各种工具,以及如何将它们融入到我的日常工作中。

这是关于Jupyter Notebooks生态系统的三篇博文中的第二篇。在此,我将讨论与Notebooks一起使用的各种工具,以及如何将它们融入到我的日常工作中。你可以点击下面链接查看第一部分:

2020年如何使用Jupyter Notebooks(第一部分:数据科学领域)


大家好,感谢您关注本系列的第二部分!我们直接开始吧。


还记得在第一部分中,我们确定了(1)生态系统增长的两个方向:云计算的采用和软件的生产(2)推动我们的工具进化的三股力量,尤其是在Jupyter Notebooks生态系统中的力量:


 

图示:Notebook生态系统的成长被这些力量所推动


在第二部分中,我们将详细阐述这些关键的驱动因素,并研究Jupyter生态系统的成长是如何响应这些力量的——可能是通过插件、新工具或新工作流。最后,我们将把它们放在一起,我将分享我如何在日常生活中使用Notebook。



目录

  • 三股力量的合力

    • 在云端进行实验

    • 支持开发人员工作流

    • 从原型到生产的快速周转

  • 把它放在一起

  • 结论


三股力量的合力


在云端进行试验


数据科学工作流程的一个重要组成部分是实验。它包括特征工程、超参数优化和测试模型。随着数据越来越大,模型越来越趋向计算密集型,在笔记本电脑上完成所有工作是不够的。因此,试验工作负荷通常会委托给云。


工具箱纲要


下图展示了一组用于基于云的实验的工具。我是根据这些服务的管理方式来排序的:下面的服务仍然需要设置和安装才能部署,而上面的服务则可以让你立即开始。请记住:没有完美的工具,只有适合您需要的工具。在接下来的部分中,我将讨论如何将它们合并到我的日常工作流程中。




建议

工具的最佳选择

Google Colaboratory。使用Colab,您可以立即访问强大的硬件进行实验。

备选

如果您使用的是云平台,我建议在AWS Sagemaker或Goolge Cloud的AI平台上检出您托管的notebook实例。

检出

Binder用于“发布”已完成的工作,如果你希望设置自己的托管notebook实例,可以使用JupyterHub。

 

我强烈推荐Google Colaboratory作为你的日常工作主力。它支持最新的硬件(GPU、TPU等等,应有尽有!),同时又提供了熟悉的用户界面。有了Colab,你可以用GDrive整理你的笔记本,并分享它们,就像你分享任何谷歌文档或幻灯片一样。我想说的是,这几乎涵盖了你以前使用Notebook场景的60%1。


剩下的40%各不相同:如果您习惯于编写Python模块以实现代码重用,那么Colab可能会让您觉得用起来笨拙。此外,Git集成是单向的,并会在空闲时重启内核。你不能把你自己的工作流程推送到Colab上去——你必须按照他们的方式去做。


现在,如果您正在使用诸如Amazon Web Services (AWS)或Google Cloud (GCP)之类的云平台,我建议您查看一下Notebook实例。它们可以托管Jupyter Notebooks,并允许您定制您的机器的规格。他们还提供了开箱即用的Git集成,因此很容易将任何Git存储库集成到平台中。在这两者之中,我更喜欢SageMaker笔记本,它比谷歌的AI平台笔记本有更少的bug,而且更无缝衔接。


SageMaker和AI平台的笔记本可以被认为是托管版的JupyterHub,这是一个多用户的Jupyter基础设施。如果您只是单独工作,我不建议您部署自己的Jupyter服务器——安装和维护可能会更昂贵。我敢说,即使你在一个机器学习研究/工程团队中,并且你正在积极地使用AWS、Azure或GCP,那么只要使用这些服务就可以了,而不需要麻烦地去拆建你自己的服务器。


最后,Binder是一个工具,我虽然只使用过一次,但我看到了它在未来有巨大的希望。我在Seagull中使用了它们,Seagull是我的Python库,用于Conway的生命游戏(Game of Life)项目。在那个项目中,我有一些Jupyter Notebooks的例子,可能更好地阅读和互动,所以我在README中增加了一个“装订启动器”(“binder launcher”)。请到我的repo的README中,点击“Launch Binder”的标记,看奇迹发生!


通过在云中工作和访问大型机器,我能够提高我的生产力并缩短实验周转时间。然而,将文件从我的计算机移动到远程机器是一个大麻烦。我曾在研究生院(2016年)做过安全拷贝,scp,但那也变得很笨拙。通过学习Git和一些基本的软件实践,我能够优化我的工作流程。在下一节中,我将讨论如何将开发人员工作流集成到Notebook生态系统中的不同工具。

支持开发人员工作流


随着数据科学团队的成长,我们看到了研究人员和工程师们共同工作的融合。不幸的是,他们的工具集和工作方式千差万别。大多数工程师使用文本编辑器和IDE都很舒服,而一些研究人员发现Jupyter Notebooks很方便。此外,我还遇到了一些工程师,他们对笔记本不屑一顾,我还遇到了一些研究人员,他们对DRY、12-Factor或KISS2等概念并不熟悉。


在一个理想的世界里,每个人都用同样的东西,我们都很快乐。然而在实践中,我们看到两种可能的情况(1)工程师支持适合于研究人员的工具(2)研究人员学习基本的软件工程原理。本节更多地关注后者,而下一节将关注前者。


工具箱纲要


如下图所示,本节中的大多数工具已经可以作为Jupyter插件或扩展获得。它们使数据科学家能够在软件工程的环境之外实践开发人员工作流。我还介绍了一些外部工具,因为它们与Notebook一起使用效果最好!


 



在Jupyter生态系统中

在外部生态系统中

工具的最佳选择

用nbdime和nbstripout来模拟Git开发人员的工作流程

用cookiecutter-datascience建立一个更有组织的项目结构

备选

用nbconvert将您的文件转换为更友好的文本格式

使用数据版本控制(DVC),这样您就不会用模型文件(文件大小可达GB)或非必要的文档类型(Excel表格、pdf文件等)“污染”您的Git repo

检出

fastAI的nbdev工具作为一种高度开放的方式,可以在Notebook的背景下开发一切



与Git工作流和标准化的项目结构相似的本地工具总是能够达到目的。首先,我推荐在组织数据科学项目时使用datascience cookiecutter。它绝对是开箱即用的,而且您可以按照自己喜欢的方式配置它!


关于它们的目录结构,值得注意的一点是它鼓励做两件事:模块化和文档化。把这些看作是软件工作的基本要素:

  • 模块化意味着,如果您将复制粘贴的函数分散在多个笔记本上,那么就不要自己重复地操作(Don’t Repeat Yourself,DRY原则),而是将它们放在一个模块中,在这个模块中,您可以一次性定义它们,然后在任何地方导入它们。

  • 文档化,是编写文本以配合分析和代码的实践。我的经验法则是积极地编写文档:学习Python文档字符串、Sphinx和简单的Markdown。


现在,Jupyter Notebooks本身并不适合git式的工作流程。即便它们只是一个JSON文本文件,但是在检查差异或*gulps*解决冲突时也会变得难以控制。在这里,我推荐使用nbstripout和nbdime的组合。


 

命令行工具nbstripout去掉了笔记本的输出,以便更容易地进行解析和比较。请注意,即使两个笔记本内的代码或文本完全相同,输出或行数仍然可能是可变的——这使得差异更加难以区分。我经常添加nbstripout作为预提交钩子:

 


因为nbstripout还删除了执行编号,所以它“正常化”了单元格执行的顺序。作为一名用户,我现在不得不确保我的笔记本从上到下运行流畅。反过来,现在其他人复制我的笔记本会更加无缝,因为他们只需要点击“重启内核并运行”,而不用担心哪个单元应该先运行或别的什么。


nbdime是nbstripout的绝配。我喜欢它的地方在于它会内容感知式地在我的笔记本上比较我队友的变更。的确,即使您有图像或表格之类的输出单元,您也可以使用它们的变更,但是我更喜欢将它们去掉。有了这两个,我在Git上使用笔记本的体验就和使用普通的源文件差不多了。


接下来,我想谈谈nbconvert和DVC,因为它们是我曾经使用过的工具,而且希望再次使用它们。使用命令行工具nbconvert是将您的笔记本转换成Markdown、Python文件3或LaTeX文档的好方法。我见过配合使用nbconvert的案例,比如,在提交之前,你可以把笔记本文件(git-ignore的)转化成Python(.py)文件,这样能更容易地比较文件之间的差异。您的经验可能有所不同,但是我并不特别喜欢这种工作流,因为笔记本不仅仅是关于代码的,它更是标记、元数据和魔法命令的集合。相反,我更喜欢使用nbconvert作为我分析的最后一步,将笔记本转换成演示文稿或报告,其中只有单元格内容才重要。


数据版本控制(DVC)同样有前途——不管我们是否使用笔记本。我还没有使用过它,但是它的用例有助于进行更多的探索。到目前为止,我只在Amazon S3或云存储等文件系统中存储大文件(模型、大数据集等)。版本控制只能通过它的描述性文件名来完成(通常是YYYYMMDDTHHMMSS-{标签})。我目前正在研究这个工具,将来可能会写一些关于它的文章!

 


最后,我想讨论一下nbdev。它似乎是一个使用Jupyter Notebooks做一切的、全能的解决方案。我试过一次,有几个用例我喜欢(但不赞同):


  • 对于一个纯粹的笔记本研究/分析工作流程,nbdev是强大的。我的愿望列表中有一个项目,它包括一个集成的工具,结合了所有的东西来支持一个类似开发的工作流程——nbdev完全支持它!

  • 对于软件开发工作流程,我有点儿怀疑。您可以从您的Jupyter Notebook中创建Python库,这是一个特性,它可以去除在Notebook中开发时写入的很多标记。在我看来,如果数据科学家热衷于开发他们自己的库,那么最好是直接使用传统的软件工程开发流程。


我觉得nbdev具备很大的潜力成为“Jupyter Notebook IDE”领域的主角。我预测它将与Pycharm的笔记本支持项目或潜在的VSCode“笔记本扩展”项目相竞争。我喜欢Notebook IDE的发展方向,只要他们不变得笨拙和沉重。


随着这些工具的不断发展,数据科学家和研究人员可以接触到软件工程原理并采用开发人员的思维方式。如今,研究人员的输出(模型、新特性等)成为了软件的输入,因此需要工程师和研究人员之间的无缝集成。正如本节介绍的数据科学家如何学习软件原理,下一节将重点介绍软件工程师如何将笔记本合并到生产工作中。


从原型到产品的快速转换


改变的第三种力量把Jupyter Notebooks从一个分析工具变成了一个软件组件。这意味着,工程师可以将笔记本视为一个黑箱,拥有预期的输入和输出,然后像运行其他进程一样运行它。在本节中,我们将探讨笔记本作为软件组件的行为,以及它如何与一些标准的工程工具集成。


工具箱纲要


在生产中使用笔记本是一个备受争议的话题。使用笔记本可能有一些优点,但是对于数据科学团队来说,评估笔记本或标准堆栈是否适合这项工作是非常重要的。无论哪种方式,都有大量的工具支持将笔记本投入生产环境。我为这个用例确定了三个场景:


  • 作为数据管道的组件:笔记本可以被视为接收输入、转换输入并返回输出的函数。例如,它可以用于在将映像存储到分布式文件系统之前从映像获取嵌入结果,可以用于在数据管道的最后一层生成模板化的报告,或者用于为下游任务输出一些预测的批量ML服务。

  • 作为web应用程序:交互性是Jupyter Notebooks的主要特点之一。在一端,您可以将代码与文本穿插在一起,另一端,您可以放置用于控制的小部件。现在,有一些工具可以将笔记本转换成功能齐全的web应用程序。

  • 作为大数据处理接口:我们过去常常使用SQL、Hive或其他DSL4来分析大数据,现在我们可以用一个类似记事本的联系点来代替这个接口。这提供了足够的表达能力(因为我们使用Python)来快速分析peta-byte级的数据集。



推荐

工具的最佳选择

Papermill用于参数化和运行笔记本,就像您对Python脚本所做的那样。虽然Streamlit不是Jupyter原生的,但可以用来与nbconvert一起创建web应用程序。

备选

Voila以Jupyter原生的体验构建web应用程序,同时Apache Spark可用于大数据分析。

检出

Dagster   (Dagstermill)和Airflow(Papermill Operator)用于基于笔记本的数据管道。尽管我建议对于关键的ETL,应该考虑传统的Python脚本。


我在生产环境中使用的笔记本的首选工具是Papermill。它是改变规则的人。此外,它是网飞笔记本创新博客(Netflix’s Notebook Innovation blogpost)的核心组件之一。Papermill允许您参数化您的笔记本并运行它们,就像您对任何Python脚本所做的那样。我不是Netflix的人,但我看到了将Papermill纳入工作流程的两个好处:参数化和正念分析。


  • 使用参数化,我“被迫”考虑分析的输入和输出。建模时,我的框架是这样的:“这是我的假设,这是我的输入,我的输出是……”。参数化也加快了我的实验工作流程,一旦我完成了我的Papermill处理后的笔记本,我只需要设置一个配置文件,并按我的意愿修改它——非常方便!

  • 在正念分析中,我慢慢地思考如何将我的特别的分析转化成可重复的东西。这意味着我必须确保每次我按“重启内核并运行所有”时,没有任何东西会崩溃。它还帮助我检查代码的哪些部分可以作为模块化的Python实用程序更好地使用。


请注意,在这个阶段,我们看到了两种类型的笔记本:(1)探索性的笔记本,它包含了粗略的或特别的分析。它们不需要从上到下完美地运行,我们也不将它们用于下游任务——除了一些输出工件,以及(2)生产性的笔记本,它们是“Papermill处理后的”,参数化良好,并且可以随时插入到数据管道中。


如果数据科学家希望重新运行多个实验,而不需要提前将实验重构到Python模块中,那么Papermill对他们非常有用。对于工程师来说,它把笔记本抽象成一组输入和输出,同时建立一个软件契约,上面写着:“嘿,这个笔记本将始终工作,它总是接受这个然后输出那个。”


生产性笔记本的下一阶段用例是将它们链接在一起,以创建提取-转换-加载(ETL)管道。幸运的是,像Dagster和Airfolw这样的必需品可以满足这些需求。实际上,这两种工具都依赖于Papermill来执行笔记本。但是,我强烈建议对于ETL工作负载,如果需要基于记事本的工作流,应该进行彻底的调查。在大多数情况下,将笔记本转换成Python脚本可以减少技术债务。


对于web应用程序来说,Streamlit或者Voila都是可行之道。Voila是Jupyter原生的,但Streamlit吸引了相当一部分用户。令人兴奋的是,您不需要任何前端web开发知识来为您的模型或仪表板创建交互式用户界面。我认为这对于快速简单的演示非常有用,在这种演示中,您可以用比静态图表或表格更具交互性的方式展示您的分析。


最后,我想谈谈使用笔记本作为与大数据交互的主要界面。最常见的例子是托管一个连接到Hadoop集群的JupyterHub服务器,然后使用Pyspark访问数据。这就提供了表达性的优势,因为我们可以使用Python在规模上做我们想做的事情。通常,您会使用OLAP(在线分析处理)工具,如Google Bigquery、Amazon Redshift或Amazon Athena来完成这些任务,但是Spark设置肯定可以增强您的分析。


生产软件(无论它是否涉及笔记本),需要了解工具集、常用用例和需要解决的问题。在本节中,我们探讨了如何将笔记本投入生产。在下一节中,我将分享一些关于Jupyter Notebooks的工作流程和原则。


把它放在一起


当我们把这些东西放在一起,我来谈论一些用Notebook工作时的原则和工作流程。假设我决定使用Jupyter Notebook完成一项任务,我的一般原则是:


努力地开发您的笔记本,使它们成为量产型,并能处理大规模的数据。


这意味着,即使我从一些特别的和不可靠的分析开始,我也总是需要更新它们,以便我(或其他人)能够无缝地重新运行它们,并在将来理解我的方法。如图所示:


最后,我还有一个模块化的阈值,在这个阈值中,我决定将我的笔记本转换成Python脚本或模块是否会更好。在我这边,一旦我看到我的工作负荷变成了生产和云计算,我就会努力将我的笔记本转换成Python脚本。其目标是减少技术债务,增加合作。


此外,模块化的阈值还降低了过早优化的风险(在项目早期编写脚本,可能只使用一次)和工程不足(使用不可维护的、笨拙的代码来支持关键任务的工作负荷)的风险。如果你在一个团队中,确定这个界限可能是有益的,这样你就有了一个内部协议,“在这个阶段使用笔记本是可以的,但是一旦我们达到了这个规模,就应该转换它们。”


那么,我们如何确保从探索性的笔记本顺利过渡到生产性的笔记本呢?以下是我的一些工作流程/原则:

原则

  1. 保持一个标准的项目结构和gitflow。我强烈建议采用cookiecutter-datascience。通过在一开始就设置项目结构,您已经为协作打开了思路。最后,我鼓励研究人员学习gitflow并使用这里的一些工具来促进更好的协作。

  2. 将经常重复的函数重构为Python模块。大多数情况下,我们有加载数据、创建图表或清理分散在多个笔记本上的数据框的功能。如果可能,我们可以将它们重构到Python模块中,这样就可以多次导入它们。这也有助于将你的探索性笔记本转化为长期的生产性笔记本。

  3. 确保你的笔记本从上到下运行。虽然笔记本提供了我们想要的方式来重新排列单元的灵活性,但是当笔记本不是我们的时候,它就变成了一个麻烦!这个原则需要一些原则:在您分析之后,在单击“重启内核并运行所有”时,确保您的笔记本正确运行(不会出现错误,或多或少给出了预期的结果)。一旦你度过了最初的低迷期,你就能开始把你的笔记本变成量产型的了。

  4. 对于数据管道,使用Papermill并配置您的笔记本来发挥它的优势。Papermill改变了人们的生活。一旦我完成了原则#3,我要做的就是参数化我的笔记本,根据这些参数创建一个配置文件,然后用配置文件作为输入重新运行这些笔记本。它是如此强大,以至于它可以成为从开发到生产的项目生命周期中的主要部分!


结论


在本系列的第二部分中,我们更深入地研究了Jupyter生态系统中的各种工具,它们对三种增长力量作出了贡献(或作出了响应)。我们从允许在云上进行更快速试验的工具、支持开发人员工作流的工具开始,最后讲到了将笔记本从分析矢量转换为生产组件的工具。


我们也简要地描述了探索性笔记和生产性笔记的区别,以及我们如何从前者过渡到后者。最后,我讨论了我的笔记本原则,例如,努力地开发您的笔记本,使它们成为量产型,并能处理大规模的数据。然后,我引入了模块化阈值的概念,我强烈建议数据团队考虑并设置这个阈值。


在本系列的最后一部分中,我将讨论数据团队如何从技术管理的角度更好地利用笔记本,我对Jupyter笔记本生态系统的期望列表,以及对Jupyter笔记本未来的展望。

脚注

  1. 生成图和图表,快速而不可靠的探索性数据分析(EDA),检查数据集,训练模型等。

  2. 还有另一种类型的数据专业人员:机器学习工程师(MLE)或研究工程师。他们要么是拥有中级(或高级)软件工程技能的研究人员,要么是冒险进入ML/AI的工程师。

  3. 有一个类似的工具,jupytext,它解决了相同的用例。我不会详细说明这一点,因为nbconvert似乎也在这个领域工作。

  4. 这仍然是一个常见的用例。例如,Google BigQuery允许我们使用SQL以“超快的、不需要任何系统开销的速度”分析PB级的数据。


英文原文:https://ljvmiranda921.github.io/notebook/2020/03/16/jupyter-notebooks-in-2020-part-2/ 
译者:弹性小胖子

【声明】内容源于网络
0
0
Python程序员
1234
内容 2525
粉丝 0
Python程序员 1234
总阅读0
粉丝0
内容2.5k