黑马智慧学成----1.项目介绍-技术架构

学习目标：

• 1.了解项目的背景和项目概述。
• 2.理解项目的业务流程。
• 3.了解项目的功能模块。
• 4.理解项目的技术架构。

1、项目介绍 

       智慧学成项目是对在线教育平台业务进行大数据统计分析的系统，对课程、用户、教育机构三个业务领域进行数据挖掘，采用企业级ETL的规范化研发流程，以及企业级数据仓库建模思想，

对课程、用户、机构三个主题的不同维度进行数据分析，挖掘数据的价值，为在线教育平台运营提供参考数据依据。

       本项目是一个基于微服务与大数据实现的统计系统，后台大数据分析系统根据用户的指标进行统计分析，包括: 课程统计、机构统计、用户统计。

重点业务流程如下图所示:

 

2、技术架构

整个系统架构包括:数据源、数据采集、数据清洗，数据存储、数据分析、数据服务，如下图:

3、采用微服务技术栈

采集系统使用SpringBoot框架完成。

Kafka作为数据中转，集成各各采集层。

编写Spark程序完成数据清洗任务。

支持数据库、数据文件、网络数据等各数据源的数据采集。
...../.........
 

4、整体功能：

 

数据服务
采用vue.js+echarts+SpringBoot开发报表系统。数据服务数据存储至MySQL及Redis共其它系统调用。

数据存储
主要使用Hive进行数据仓库建模，包括资源库数据，主题库数据和业务库数据，以及为支持复杂业务而创建的中间数据库等。
对于需要即时查询的数据存放在Hbase和Elasticsearch中。

数据分析
数据离线分析:主要通过使用SparkSQL实现对历史数据分析;
数据实时分析:主要使用SparkStreaming实现对实时数据的处理及分析;

1.日志服务器采集用户行为数据保存到hdfs中/NiFi采集业务数据

⒉.根据采集的原始数据数据进行清洗
3.根据清洗的结果进行统计分析

4.统计分析的进行数据存储
5.结果数据提供给业务使用:报表系统展示