网站流量项目分析(二)系统架构设计
为什么要设置日志服务器?
1.并非传统的应用服务器的业务范畴
2.导致应用服务器访问压力大
3.导致大数据代码和前台应用服务器代码混在一起,日常工作会出现很多不便
处理方式是:在应用服务器上嵌入js代码收集用户日常访问信息,传入日志服务器中。
网站流量项目分析架构主要分为:
1.网页埋点;
2.日志收集;
3.数据存储、数据清洗、数据处理、导出结果;
4.可视化展示。
技术架构:Nginx+Tomcat+Flume+HDFS+MR+Hive+kafka+Hbase+...+mysql+Echarts