Spark 代码线上维护 实现【janino】

Spark 的job 运行 都是 执行spark-submit命令 执行 的。因此需要将自己 编写的代码 打成jar包 放在平台上运行。

后来在阅读spark2的源码的时候发现了 gencode的方法，发现内部是动态生成代码，然后 通过jannio 去生成class。

从这里收到启发 既然 spark内部可以 构建动态代码。

那我能否 将 代码维护在网站上，在网站上编辑代码，每次job 去运行的时候，去读取 网上的代码 自动生成class文件，这样就 免去了我每次重复打jar包上传到网上的流程了。因此说干就干，花了几周的时间 设计完工具类，终于成型。

第一：开发一个网站，作用是编辑代码

第二步：

让运行的job 去读取 网上的代码 去运行。

中间遇到了很多坑，最终将代码存储在数据库，网页上进行展现，而job直接去读取 数据库中的代码 进行操作。

虽然中间 设计 工具类 和 网站开发 花了很久，但是最终成型后，受益颇多，每次都只要在网上编辑代码即可，极大了节省了我的时间。

大家如果想找 大数据开发的工作岗位，可以私聊我进行内推哦。 qq:1729874221