flinkx的web管理界面-LarkMidTable篇
LarkMidTable
gitHub地址: https://github.com/wxgzgl/LarkMidTable
方便推广开源产品,希望觉得不错的可以Star项目,可以加入我们一起研发!!!
中文 | English
Lark中文名称 云雀,云代表大数据,雀代表平凡和自由。
LarkMidTable 是一站式开源的数据中台,实现元数据管理,数据仓库开发,数据质量管理,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。
产品愿景
1.满足许多的小企业,提供一站式的解决方案。
2.做出世界级别,能够媲美BAT大厂的产品。
3.创造价值,产生价值,让世界变得更加美好。
技术选型
框架名称 | 框架用途 | 主要功能 |
---|---|---|
Dolphin | 任务调度 | Task以DAG形式关联,实时监控任务的状态,支持Shell、MR、Spark、SQL、依赖等10多种任务类型,支持每日十万数据量级任务稳定运行 |
Flink | 离线和实时计算框架 | Flink实现流批一体化、机器学习(FlinkML)、图分析(Gelly)、复杂事件处理(CEP)、关系数据处理(Table) |
Hive | 数据仓库 | 将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句语句转变成MapReduce任务来执行。 |
Kylin | 分析数据库 | Kylin 支持 SQL,Kylin 的 SQL on Hbase |
Kafka | 消息中间件 | 应用解耦、异步处理、流量削峰、日志处理、消息通信 |
Kubernetes | 容器部署 | 重新启动失败的容器、弹性伸缩、服务的自动发现和负载均衡、滚动升级和一键回滚 |
Zookeeper | 分布式协调服务 | 统一命名服务、配置管理、集群管理、队列管理 |
产品架构图
目前支持的数据库
数据库类型 | 读取类型 | 写入类型 | |
---|---|---|---|
批处理同步 | Mysql | 支持 | 支持 |
PostgreSql | 支持 | 支持 | |
Mongodb | 支持 | 支持 | |
SqlServer | |||
ClickHouse | |||
Hive | 支持 | ||
Hbase | 支持 | 支持 | |
Hdfs | 支持 | 支持 | |
ElasticSearch | |||
Kudu | |||
Redis | |||
流处理同步 | Kafka | ||
MySQL Binlog | |||
MongoDB Oplog | |||
PostgreSQL WAL |
快速开始
请点击 快速开始
前端代码 前端代码
资源库 研发资源库
开发规范 唯品会开发规范
特别鸣谢
本项目在datax-web代码的基础上进行二次重构开发,在此特别感谢datax-web团队。
技术交流
搜索QQ群号[678097205]或者扫描下面的二维码进入LarkMidTable 社区的QQ群,目前正是开源的初期阶段,群里达到91人