基于阿里云MaxCompute实现游戏数据运营

摘要: 一、总览 一个游戏/系统的业务数据分析,总体可以分为图示的几个关键步骤:   1、数据采集:通过SDK埋点或者服务端的方式获取业务数据,并通过分布式日志收集系统,将各个服务器中的数据收集起来并送到指定的地方去,比如HDFS等;(注:本文Demo中,使用flume,也可选用logstash、Flue.

点此查看原文:http://click.aliyun.com/m/42633/

一、总览


基于阿里云MaxCompute实现游戏数据运营
一个游戏/系统的业务数据分析,总体可以分为图示的几个关键步骤:
 基于阿里云MaxCompute实现游戏数据运营

1、数据采集:通过SDK埋点或者服务端的方式获取业务数据,并通过分布式日志收集系统,将各个服务器中的数据收集起来并送到指定的地方去,比如HDFS等;(注:本文Demo中,使用flume,也可选用logstash、Fluentd等)
2、数据同步:构建数据通道,接受数据采集agent的数据流,并且分发到不同的存储/计算引擎中去;(注:本文Demo中,使用阿里云datahub作为通道,MaxCompute作为存储/计算引擎)
3、数据开发:按照日志格式、业务领域,构建数据模型;(注:本文Demo中,在MaxCompute中创建对应的project、table)
4、数据计算/分析:按照业务场景的分析要求,编写SQL脚本 或者 使用工具,完成数据的分析及展现;(注:本文Demo中,基于阿里云quickBI,完成多维分析、仪表盘的配置)
接下来按照上述步骤,给大家具体介绍,如何利用相关的平台/工具,实现一个简单的数据分析场景。

二、环境准备

首先,需要准备一台服务器,作为日志采集的agent,此处选用阿里云的ECS(具体ECS选购过程不再赘述),服务器配置信息:
实例规格:4 核 16GB
地域:华东 1(华东 1 可用区 F)
操作系统:CentOS 7.4 64位
网络类型:专有网络
安全组:允许远程ssh
本地远程登录ECS服务器
ssh  {username}@{host}
基于阿里云MaxCompute实现游戏数据运营

Step1:安装JDK

Flume运行依赖java环境,因此需要在服务器安装SDK,本文采用先下载到本地,再上传服务器的方式安装。
1、下载并上传SDK (demo选用jdk1.8.0_151,可至oracle官网下载)
scp {本地文件路径}  {username}@{host}:{服务器目录}
基于阿里云MaxCompute实现游戏数据运营
2、上传完成,解压并设置相应的环境变量:
1、tar -zxvf  {jdk压缩包名}
2、环境变量设置
# vi /etc/profile
增加:
export JAVA_HOME={jdk目录}
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME JRE_HOME CLASS_PATH PATH
#source /etc/profile
3、检查SDK是否安装完成:
java -version
基于阿里云MaxCompute实现游戏数据运营

Step2:安装flume

同样,对于flume,也可采用先下载到本地,再上传服务器的方式安装。
1、下载并上传flume安装文件 (demo选用apache-flume-1.8.0,可至apache官网下载)
scp {本地文件路径}  {username}@{host}:{服务器目录}
2、上传完成,解压并设置相应的环境变量
1、tar -zxvf  {flume压缩包名}
2、环境变量设置
# vi /etc/profile
增加:
export FLUME_HOME=/usr/local/flume
修改:
path= $path :$FLUME_HOME/bin
#source /etc/profile
3、检查flume是否安装完成:
#此处注意,需要写flume安装的全路径
{flume安装路径}/bin/flume-ng version
基于阿里云MaxCompute实现游戏数据运营

Step3:安装Datahub Sink插件

因为Demo选用datahub作为数据通道,所以还需要安装flume-datahub的插件,该文件不大,此处可以选择直接在服务器下载安装。
1、下载flume-datahub插件包
基于阿里云MaxCompute实现游戏数据运营
2、解压并部署插件
1、tar zxvf flume-datahub-sink-1.1.0.tar.gz
2、将解压后的插件文件夹移动到Flume安装目录下
# mkdir /usr/local/flume/plugins.d
# mv flume-datahub-sink  /usr/local/flume/plugins.d/
OK,环境准备工作,到此就基本完成了。

三、数据开发

Demo使用阿里云大数据服务MaxCompute作为存储计算引擎。

Step1:开通MaxCompute服务

阿里云实名认证账号访问https://www.aliyun.com/product/odps ,开通MaxCompute,此处选择按量付费进行购买。
基于阿里云MaxCompute实现游戏数据运营

Step2:创建项目及业务模型

1、进入数加控制台 https://data.aliyun.com/console ,点击“dataworks->项目列表” ;
基于阿里云MaxCompute实现游戏数据运营
2、点击页面“创建项目”按钮,输入project的基本信息,点击确定,会有一个短暂的初始化过程;
基于阿里云MaxCompute实现游戏数据运营
3、点击项目列表下对应项目操作栏,进入dataworks的数据开发页面;
基于阿里云MaxCompute实现游戏数据运营
4、创建脚本文件:点击顶部菜单栏中的数据开发,点击“新建”处新建脚本,也可直接点击“新建脚本”任务框;
基于阿里云MaxCompute实现游戏数据运营
5、按照需求,设计对应的业务模型,并通过脚本完成模型创建;
#此处按照场景示例,选择创建
1、 事实表:充值记录,与日志文件recharge_record_log对应;
2、 维表:商品信息;
#建表语句示例(同时维表可做数据初始化)
create table if not exists recharge_record_log(
recharge_time string comment '充值时间',
…     
item_id string   comment '商品ID'   
)
注:具体可以参考对应的建表脚本(建表及维表初始化脚本.sql)
可在数据开发的IDE环境编写、调测脚本:
基于阿里云MaxCompute实现游戏数据运营
OK,数据建模的工作,到此就基本完成了。

四、数据同步

step1:数据通道设置

Demo使用阿里云datahub作为数据同步的通道。
1、首先,申请开通datahub服务(公测中,链接);
2、进入Datahub的管理控制台-项目管理(链接),创建project;
基于阿里云MaxCompute实现游戏数据运营
3、进入创建好的project,点击“创建topic”;
需要注意,此处的topic内容需要与日志文件、表的结构一致,此处可以选择“导入MaxCompute表结构”的方式,填写相应信息,快速完成创建;
基于阿里云MaxCompute实现游戏数据运营

step2:数据采集agent配置及启动

登录安装了flume环境的ECS服务器,配置、启动日志采集agent,并对接datahub的数据通道;
1、数据准备:通过手工方式,上传准备好的日志文件(实际应用场景中,应该是通过服务写入);
2、Flume作业配置:
1)在Flume安装目录的conf文件夹下,创建任务的conf文件;
vi  {任务名称}.conf
2)输入任务的配置信息
#示例如下(重点关注{}中的内容)
#a1是要启动的agent的名字
 a1.sources = r1   #命名agent的sources为r1
a1.sinks = k1     #命名agent的sinks为k1
a1.channels = c1  #命名agent的channels为c1
# Describe/configure the source
a1.sources.r1.type = exec #指定r1的类型为exec
a1.sources.r1.command =cat {日志文件的位置}   #写入本地文件路径
# Describe the sink
a1.sinks.k1.type = com.aliyun.datahub.flume.sink.DatahubSink #指定k1的类型
a1.sinks.k1.datahub.accessID ={ accessID }
a1.sinks.k1.datahub.accessKey ={ accessKey }
a1.sinks.k1.datahub.endPoint = http://dh-cn-hangzhou.aliyuncs.com
a1.sinks.k1.datahub.project = {datahub_project_name}
a1.sinks.k1.datahub.topic ={datahub_ topic _name}
a1.sinks.k1.batchSize = 100 #一次写入文件条数
a1.sinks.k1.serializer = DELIMITED
a1.sinks.k1.serializer.delimiter = {字段间隔符}
a1.sinks.k1.serializer.fieldnames= {字段 “,” 隔开,注意需要与日志文件的顺序、datahub topic的顺序保持一致}
a1.sinks.k1.serializer.charset = {文字编码格式}
a1.sinks.k1.shard.number =  {分片数,需要与datahub 的topic配置一致}
a1.sinks.k1.shard.maxTimeOut = 60
# Use a channel which buffers events in memory
a1.channels.c1.type = memory  #指定channel的类型为memory
a1.channels.c1.capacity = 1000  #设置channel的最大存储数量为1000
a1.channels.c1.transactionCapacity = 1000 #每次最大可从source中拿到或送到sink中的event数量是1000
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
3、检查无误后,启动flume日志采集agent;
bin/flume-ng agent -n a1 -c conf -f conf/ {任务名称}
.conf -Dflume.root.logger=INFO,console
如果能正常启动,可以看到数据正在按照配置往datahub中同步;
基于阿里云MaxCompute实现游戏数据运营

step3:数据检查

在datahub的topic页面,可以看到数据同步的情况:
基于阿里云MaxCompute实现游戏数据运营

可以通过两种方式来检查数据:

1、topic的数据抽样,查看数据格式是否正常;

基于阿里云MaxCompute实现游戏数据运营

2、因为已经配置了datahub到MaxCompute的数据链路,可以在MaxCompute中检查数据入库情况;

基于阿里云MaxCompute实现游戏数据运营

OK,数据同步的工作,到此就基本完成了。


五、数据分析&报表制作

接下来需要基于日志,做业务分析,那么这里我们可以选择quickBI工具,来快速完成多维分析报表、仪表盘等数据产品的配置;

通过 链接 ,打开quickBI的产品页面,并开通对应服务。

Step1:分析模型设置(数据集)

1、进入数据工作台https://das.base.shuju.aliyun.com/console.htm,点击左侧QuickBI;

基于阿里云MaxCompute实现游戏数据运营

2、在引导页,点击“添加数据源”;

基于阿里云MaxCompute实现游戏数据运营

3、设置数据源的属性

按demo场景,选择MaxCompute;

基于阿里云MaxCompute实现游戏数据运营

并设置对应的peoject信息:

基于阿里云MaxCompute实现游戏数据运营

4、数据源连接成功后,可以看到project下的表,选择需要分析的表,创建数据集;

基于阿里云MaxCompute实现游戏数据运营

5、按照分析场景需求,可以对数据集的逻辑模型做设置;

demo的分析场景,需要 基于事实表(充值数据,recharge_record_log)和维表(商品信息表,t_item_record)关联,来完成业务分析,因此可以点击编辑数据集:

基于阿里云MaxCompute实现游戏数据运营

完成:

1)构建关联模型

基于阿里云MaxCompute实现游戏数据运营

基于阿里云MaxCompute实现游戏数据运营

基于阿里云MaxCompute实现游戏数据运营

2)可以对时间维度做拆分,会自动生成多个level

基于阿里云MaxCompute实现游戏数据运营

Step2:多维分析报表配置

1、分析模型设置好之后,接下来就可以开始分析了,点击“表格分析”:

基于阿里云MaxCompute实现游戏数据运营

2、进入多维分析报表的IDE工作台:

基于阿里云MaxCompute实现游戏数据运营

3、可以看到,左侧的字段属性区,会自动加载物理表的对应字段(默认加载comment描述):

基于阿里云MaxCompute实现游戏数据运营

4、具体分析操作,比较简单,按需双击、拖拽需要分析的字段,点击查询即可看到报表,比如:

1)按商品(维度),看充值(计量)的整体情况

基于阿里云MaxCompute实现游戏数据运营

2)增加角色等级(维度),做交叉表

基于阿里云MaxCompute实现游戏数据运营

3)同时也支持各种查询条件的设置

按时间

基于阿里云MaxCompute实现游戏数据运营

多层嵌套的高级查询

基于阿里云MaxCompute实现游戏数据运营

Step3:仪表盘、数据产品配置

灵活性较强的数据探查类场景,可以通过多维报表支撑,对于展现形式要求较高的,可以通过仪表盘来灵活实现;

1、数据集List页面,点击“新建仪表盘”:

基于阿里云MaxCompute实现游戏数据运营

2、进入仪表盘的IDE工作台,页面分为左、中、右三栏:

基于阿里云MaxCompute实现游戏数据运营

3、同样,可以通过拖拽的方式,快速完成仪表盘页面的配置:

1)拖拽/双击 选择需要作图的字段:

基于阿里云MaxCompute实现游戏数据运营

2)点击更新,刷新图表,同时可以*设置图表的样式

基于阿里云MaxCompute实现游戏数据运营

3)拖拽设置页面布局

基于阿里云MaxCompute实现游戏数据运营

比如,可以做一个专门的充值分析页面,效果示例:

基于阿里云MaxCompute实现游戏数据运营

数据产品是类似于分析专题、报表门户,具体配置就不再赘述:

基于阿里云MaxCompute实现游戏数据运营


六、架构总结

一、Demo涉及的产品 以及 数据流

如图所示:

基于阿里云MaxCompute实现游戏数据运营

二、如何实现生产场景下的动态数据采集及常见问题处理

和Demo不同的是,在生产场景下,我们的日志文件是动态的,因此需要实现如下逻辑:

1、 监控日志目录下的文件变化;

2、 根据配置的频率,采集日志;

1、flume1.7及以上版本

包含TaildirSource组件,可以实现监控目录,并且使用正则表达式匹配该目录中的文件名进行实时收集。

Flume作业配置:

1)在Flume安装目录的conf文件夹下,创建任务的conf文件;

vi  {任务名称}.conf

2)输入任务的配置信息(注意,此处差异较大)

#示例如下(重点关注{}中的内容)

#a1是要启动的agent的名字

 a1.sources = r1   #命名agent的sources为r1

a1.sinks = k1     #命名agent的sinks为k1

a1.channels = c1  #命名agent的channels为c1

# TaildirSource配置

a1.sources.r1.type = org.apache.flume.source.taildir.TaildirSource

a1.sources.r1.channels = memory_channel

a1.sources.r1.positionFile = /tmp/taildir_position.json

a1.sources.r1.filegroups = f1

a1.sources.r1.filegroups.f1 = {/usr/logfile/s51/mylog/*}

a1.sources.r1.batchSize = 100

a1.sources.r1.backoffSleepIncrement  = 1000

a1.sources.r1.maxBackoffSleep  = 5000

a1.sources.r1.recursiveDirectorySearch = true

# Describe/configure the source

a1.sources.r1.type = exec #指定r1的类型为exec

a1.sources.r1.command =cat {日志文件的位置}   #写入本地文件路径

# Describe the sink

a1.sinks.k1.type = com.aliyun.datahub.flume.sink.DatahubSink #指定k1的类型

a1.sinks.k1.datahub.accessID ={ accessID }

a1.sinks.k1.datahub.accessKey ={ accessKey }

a1.sinks.k1.datahub.endPoint = http://dh-cn-hangzhou.aliyuncs.com

a1.sinks.k1.datahub.project = {datahub_project_name}

a1.sinks.k1.datahub.topic ={datahub_ topic _name}

a1.sinks.k1.batchSize = 100 #一次写入文件条数

a1.sinks.k1.serializer = DELIMITED

a1.sinks.k1.serializer.delimiter = {字段间隔符}

a1.sinks.k1.serializer.fieldnames= {字段 “,” 隔开,注意需要与日志文件的顺序、datahub topic的顺序保持一致}

a1.sinks.k1.serializer.charset = {文字编码格式}

a1.sinks.k1.shard.number =  {分片数,需要与datahub 的topic配置一致}

a1.sinks.k1.shard.maxTimeOut = 60

# Use a channel which buffers events in memory

a1.channels.c1.type = memory  #指定channel的类型为memory

a1.channels.c1.capacity = 1000  #设置channel的最大存储数量为1000

a1.channels.c1.transactionCapacity = 1000 #每次最大可从source中拿到或送到sink中的event数量是1000

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1


3、检查无误后,启动flume日志采集agent;

bin/flume-ng agent -n a1 -c conf -f conf/ {任务名称}

.conf -Dflume.root.logger=INFO,console


2、flume 1.6 

原生不支持TaildirSource,需要自行下载集成:

下载地址:http://7xipth.com1.z0.glb.clouddn.com/flume-taildirfile-source.zip

将源码单独编译,打成jar包,上传到$FLUME_HOME/lib/目录下,之后配置方法可以参考上文;


3、常见问题:

1、日志文件解析错误

异常信息截图:

基于阿里云MaxCompute实现游戏数据运营

原因分析及解决方法

出现图示异常的原因,一般是因为解析日志文件得到的属性数量和配置文件不一致所致,此时需要重点排查:

1) 配置文件的间隔符、属性是否正确

a1.sinks.k1.serializer.delimiter = {字段间隔符}

a1.sinks.k1.serializer.fieldnames= {字段 “,” 隔开,注意需要与日志文件的顺序、datahub topic的顺序保持一致}

a1.sinks.k1.serializer.charset = {文字编码格式}

2) 日志文件格式是否符合预期、是否包含特殊字符


2、文件适配符模式下,找不到文件

异常信息截图:

基于阿里云MaxCompute实现游戏数据运营

基于阿里云MaxCompute实现游戏数据运营

原因分析及解决方法

出现图示异常的原因,一般是因为按照通配符设置,未找到文件导致异常退出,此时需要重点检查配置文件中的日志路径设置:

a1.sources.r1.filegroups.f1 = {/usr/logfile/s51/mylog/*}


3、 修改配置文件后,重新启动,无异常信息但是不加载数据

异常信息截图:

基于阿里云MaxCompute实现游戏数据运营

原因分析及解决方法

该问题比较隐秘,任务可以启动,没有明显的异常日志,但是到sink环节后不再加载数据,一般是因为修改了配置文件设置,但是没有删除对应的描述文件,需要:

1) 找到配置的描述文件路径

a1.sources.r1.positionFile = /tmp/taildir_position.json

2) 删除描述文件,重启任务

基于阿里云MaxCompute实现游戏数据运营

可正常加载数据;

三、扩展场景的产品架构&数据流

基于阿里云MaxCompute实现游戏数据运营

扫码获取更多资讯:

基于阿里云MaxCompute实现游戏数据运营