某故障管理平台架构
ELKB相关技术不再赘述。
重点说明Spark,图数据库相关内容。
1.故障引擎
故障引擎基于Spark Streaming进行实现,实时拉取kafka中数据进行处理,比对规则图谱数据,对发现的问题进行告警。
告警数据存储在图数据库neo4j中。
2.规则提取
日志数据存储在ES,HDFS中,通过spark core,spark mlib对日志进行统计,聚类,分类处理,获得规则模型。
解决方案数据存储在图数据库或文本中,通过spark mlib进行相关性分析,优化规则模型。
规则模型存储在图数据库neo4j中。
3.图数据库存储方案