【大数据部落】(数据挖掘)如何用大数据做用户异常行为分析

"Today we have witnessed the explosive growth of data: social media data, system data, CRM data, and a lot of network data.However, in most cases, these data tell us about the common patterns of user behavior. The "crux of the fault" in our system or the loss of the user.

How to identify the "reef" in the ocean of data is a question to be explored in the behavior analysis of user behavior.

▼

▍什么是异常检测？

异常检测是在数据中找到不符合“正常”的行为模式的过程。在时间序列数据中检测到与预期行为有偏差的数据对于确保系统的正常运行非常重要。

一般来说，异常可以分成两种：

▍全局异常/局部异常

局部异常

很多时候我们可以看到数据的潜在趋势，看起来像一个“波浪”：早上的活动不足，白天很高，晚上很低。 局部异常发生在这种情况下。 例如：晚上的高活动意味着异常。

全局异常

这是我们最熟悉的那种异常现象。 这是一个随机出现在平常时间的异常现象。 一般使用95%分位数就可以检测到。

▍异常检测方法

我们使用历史数据来构建由每个被监测的数据的估计值。将实时数据与这些值进行比较，并分配一个分数。

基于从最近的数据观察得到的阈值，决定实时数据是否为异常。这种方法的优点是阈值不是静态的，而是实时的。

检测场景：

tecdat的解决方案从收集网站的行为数据开始。衡量趋势的三个主要组成部分，即固定趋势、周期趋势和季节性数据，分别进行了总结，该算法查找到数据中的异常，向用户发送自动实时警报。

通过实时的异常数据监测，我们可以清楚地看到网站流量的差异，在发生异常状况时迅速进行故障排除和修复，减少网站停机，减少潜在客户的流失。