【Hadoop应用案例】针对运营商支付业务的渠道推荐系统

. 所用技术:

模块

技术

用途

大数据平台

hadoop

记录每日分析数据,并运行MR算法分析结果

数据库

SQL Server

存储业务数据,以及计算结果数据

开发语言

java

MR算法,以及数据抽取和接收服务

C#

大数据后台管理站点

Shell

MR脚本定时执行

大数据分析算法

贝叶斯

数据分析

 

. 背景

目前大部分支付业务,涉及到大数据分析的主要是针对C端用户的支付行为进行分析。

而基于运营商支付的业务,会涉及到众多的支付渠道,所有的订单都要在众多的支付渠道中选择一个来进行交互。而运营商的支付渠道并不是所有的支付都能成功,会受到风控,地理位置,时间段,系统质量等多方面的原因。所以如何针对众多的支付渠道,选择一个针对当前的订单的渠道并进行交互,就是业务的关键。

所以针对支付渠道的渠道推荐系统,比基于C端用户的推荐系统更加重要。

 

. 项目介绍

大数据平台基于hadoop搭建,并在此基础上做了二次开发,包括统一接入数据接口,数据分析监控,以及数据转化率监控。同时数据分析结果,通过二次开发的接口回传。

数据分析以贝叶斯算法为基础,在此基础上做出加权分析,算出给维度的成功率。同时通过不断尝试,设定加权变动值规则,以天为单位,系统自动设定每天加权值,通过加权值进行新订单的渠道推荐。

 

. 架构介绍

大数据平台和支付平台的架构图如下:

【Hadoop应用案例】针对运营商支付业务的渠道推荐系统

由上图所示,大数据平台保证了支付平台的无缝集成。具体流程如下:

1. 每日,支付平台在后台数据库中抽取增量的订单数据,推送至大数据平台

2. 大数据平台进行数据存储

3. 针对前一个月的订单数据,进行贝叶斯计算分析,按照指定维度

4. 针对贝叶斯分析结果,对各维度数据进行加权计算

5. 算出各维度组合的加权分值,并将计算结果回传至小额支付平台

6. 小额支付平台针对大数据分析结果进行集成,针对所有新的订单,通过分析结果,进行订单准确性匹配。

        

. 算法介绍

在该专利中,针对每条订单的地区,下单时间段,面值,风控大小属性,分为各不同维度,同时针对每个渠道,结合订单的成功或失败进行分析,分析出每个渠道的,每个维度的组合对应的成功几率,并且通过加权算法,算出每一个渠道,在每一个维度组合下,对应的加权分值。

【Hadoop应用案例】针对运营商支付业务的渠道推荐系统


1. 获取全部数据后,从全部数据中针对所有渠道进行分类。

2. 分类后,在每一个渠道中,按照不同维度进行贝叶斯算法分析;针对订单维度,包括省份,面值,时间等。

3. 计算完成后,将结果按照维度组合进行重新整理,针对每一个维度组合,将各渠道加权成功率进行排序。

4. 维度组合结果规整

业务系统针对大数据推荐的结果,反向转化,分析出在各维度组合下,记录所有渠道的成功几率分值排序。

关于贝叶斯理论,在博客专栏之前有专门的文章介绍。

 

六. 业务集成

具体业务实现上,需要集成大数据的推选结果,具体的交互流程如下:

1. 支付系统根据省份,面值,时间段等维度推选出所有可用渠道。

2. 支付系统剔除达到渠道类别风控的所有渠道。

3. 取出该订单对应的维度组合中,所有可行的渠道的成功率加权值。

4. 取出加权值最大的渠道,和该渠道进行支付的交互。

 

七. 分析结果展示

针对渠道推荐的分析结果,将每天订单分为两份,如下图所示,蓝色部分为根据大数据分析结果进行推荐渠道的订单,黄色为不通过大数据分析结果进行推荐渠道的订单。进行测试90天,每天的成功率都是通过大数据的分析结果进行推荐的高,平均高5%左右。

【Hadoop应用案例】针对运营商支付业务的渠道推荐系统


如果读者感兴趣,欢迎关注公众号-智能化IT系统,进行进一步的沟通交流。