AI开发效率倍增!让JupyterLab成为无所不能的开发神器
Python开发到底应该用哪款开发工具?
Jupyter Notebook一定会是众多回答之一,它以交互式调试、支持富文本等特性使得它在教学、科学计算等方面备受欢迎。如果经常浏览GitHub都应该了解,Jupyter Notebook已经成为GitHub一大热门开发工具。
而伴随Jupyter Notebook同时会被提及的就是另外一款工具,JupyterLab,它被称为是下一代Jupyter Notebook。
它不仅继承了Jupyter Notebook的优点,还在Jupyter Notebook的基础上集成了更多实用、提升开发效率的功能。
因此,JupyterLab这两年也逐渐开始被大家认可、欢迎。
而今天要介绍的这款神器,就是在JupyterLab上的一组强大的扩展组件,它就是Elyra。
Elyra是JupyterLab的一组以AI为中心的扩展,它具有如下特性:
- 可视化流水线和编辑器
- 能够将Notebook作为批处理作业运行
- 支持混合运行
- 在编辑器中能够同时执行Python脚本
- 可重用的代码片段
- 集成Git版本控制
- 自动生成目录导航
下面,就逐一来介绍Elyra的这些特性:
可视化流水线和编辑器
在AI项目中,会分解为多个步骤:
- 数据预处理
- 特征抽取
- 训练
- 模型评估
- 部署
很多成熟的机器学习平台引入了可视化Pipline的方式来把这些过程给串联在一起,能够清晰看到每个执行步骤的状态。
Elyra提供了一个Notebook Pipeline可视化编辑器,用于构建基于Notebook的AI流水线,简化了将多个Notebook转换为批处理作业或工作流的过程。
可视化编辑器还可以对流水线进行详细的自定义,从而允许用户选择在执行笔记本时使用哪个docker映像,设置正确运行笔记本所需的环境变量以及配置子笔记本需要的依赖文件。
能够将Notebook作为批处理作业运行
Elyra还扩展了JupyterLab用户界面,以简化单个Notebook作为批处理作业的提交。
支持混合运行
Elyra利用Jupyter Enterprise Gateway来使Jupyter Notebook在跨分布式集群(例如Apache Spark,Kubernetes,OpenShift等)间共享资源。
它无缝地利用了GPU和TPU等基于云的资源的功能,简化了在云计算机上交互运行笔记本的任务。
在编辑器中能够同时执行Python脚本
Elyra引入了直接从工作区启动器创建python脚本的功能,并利用Hybrid Runtime Support允许用户在本地编辑其脚本并针对本地或基于云的资源无缝执行它们。
可重用代码片段
Elyra支持Beta版本的代码片段功能。这使用户可以添加可重用的自定义代码段,从而通过减少重复工作来提高JupyterLab中的编程效率。
集成Git版本控制
Elyra集成了Git版本控制,它支持代码回滚、备份、协作等功能,提高开发效率。
自动生成目录导航
增强的Notebook导航功能,自动生成提供增强导航功能的Notebook目录。
推荐阅读
爬取10000+招聘网站数据,告诉你算法工程师应该选择哪个方向!