Spark电商平台数据分析之 基础数据结构分析 以及业务流程5
表结构
以下表结构均为简化版，仅仅为了实现项目结构而来，可以实现业务逻辑即可
表名： user_visit_action Hive表
| 表名 | user_visit_action |
|---|---|
| date | 日期，代表这个用户点击行为 日子 |
| userid | 用户 |
| session_id | 唯一标示 sessionId |
| action_time | 点击行为发生的时间点 |
| page_id | 点击某个商品 页面id |
| search_keyword | 搜索关键词 |
| click_category_id | 点击品类（食品、电脑） |
| click_product_id | 某个商品id |
| order_category_ids | 代表商品加入购物车，比如6个商品但是商品对应的品类只有2个 |
| order_product_ids | 某次下单，具体对商品下的订单 |
| pay_category_ids | 某个订单，某几个订单，进行了一次支付，对应哪些品类 |
| pay_product_ids | 支付行为下，对应哪些具体商品 |
user_visit_action表，其实就是放，比如说网站，或者是app，每天的点击流的数据。可以理解为，用户对网站/app每点击一下，就会代表在这个表里面的一条数据。
表名： user_info表 Hive表
| 表名 | user_info |
|---|---|
| user_id | 通常是long类型，用户唯一标识 |
| username | 用户登录名称 |
| name | 每个用户自己昵称 |
| age | 年龄 |
| professional | 职业 |
| city | 用户所在城市 |
userinfo表，实际上普通用户信息表，省略掉很多基本信息
表名： task表 mysql表
| 表名 | task |
|---|---|
| task_id | 主键 |
| taskname | 任务名称 |
| create_time | 创建时间 |
| start_time | 开始运行时间 |
| finish_time | 结束运行时间 |
| task_type | 任务类型；各种分析任务，比如session分析任务，页面单跳转化率统计任务 |
| task_status | 任务状态；新建、正在运行、已完毕 |
| task_param | 使用的json格式，封装用户提交任务对应特殊筛选参数 |
task表，其实是用来保存平台的使用者，通过J2EE系统，提交的基于特定筛选参数的分析任务，的信息，就会通过J2EE系统保存到task表中来。之所以使用MySQL表，是因为J2EE系统是要实现快速的实时插入和查询的。
业务流程
重点掌握
需要掌握spark 编写作业程序，spark-submit脚本；数据表的设计；spark从mysql表中读取任务参数，执行作业逻辑，持久化作业结果数据。