轻松实现日志可视化?— 95后阿里云 MVP 王鹏翰的答案

背景

在数据时代,人、人与物、物与物之间每时每刻都在产生大量的数据,而日志就是其中最有代表性的载体。例如:

  • 工作中:访问网站、应用流向访问日志
  • 地铁中:在手机应用中看视频、点击产生点击
  • 就餐时:支付、订单中的购买行为
  • 通勤中:骑着共享单车产生的位置信息与轨迹等等。

与海量的日志产生的,是日益加剧的日志分析需求:

痛点

当我们通过各式各样的工具对海量的日志处理聚合之后,得到一堆数据,随之而来的问题是?

这些数据之间有着什么样的联系?数据和时间之间的关系是什么?人和物品之间的关系如何?

这些都很难直接通过观察来感知,我们需要合适的可视化图表来帮助感知数据背后的价值,例如

  • 使用折线图可以直观的感知数据在一个连续的时间跨度中的变化,反映事物随时间或有序类别而变化的趋势
  • 饼图可以很好地帮助用户快速了解数据的占比分配

一个有效的方案

如何轻松实现日志可视化?

Grafana 作为一个开源的指标量监测与可视化工具,对实时,准实时数据处理友好,操作简洁。阿里云MVP王鹏翰给出了一个快速而有效的解决方案,并已经加入阿里云官方版本中:

细心的同学应该能发现,阿里云日志服务首页添加了Grafana对接教程。

轻松实现日志可视化?— 95后阿里云 MVP 王鹏翰的答案

阿里云日志服务提供了对日志数据基础解决方案,用户只需要将精力集中在分析上,过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作等都可以交给服务。其中LogSearch/Analytics功能可以提供1秒10亿查询能力、以及完整SQL92分析语法进行实时分析。在对接可视化上原先以阿里云DataV、QuickBI 以及商业化JDBC软件为主。

阿里云MVP王鹏翰开发的Grafana插件,填补了开源软件对接的空白,通过安装插件+配置可以轻松进行可视化。

Grafana插件的效果:

轻松实现日志可视化?— 95后阿里云 MVP 王鹏翰的答案

当然也有操作视频:

详细配置和视频可参见:

可视化-对接Grafana_最佳实践_日志服务-阿里云

贡献者

王鹏翰(WPH95)在加入阿里云MVP之前就一直是一个技术爱好者,成为MVP之后,得到阿里云内部的众多资源,促成了这个开源的插件。并且他还在继续开发新的解决方案Demo,2017年12月19号,北京云栖大会·Tech Insight MVP Demo Show环节,他又将带来新的内容,请大家拭目以待。

日志服务Grafana插件已在AliCloud官方GitHub提供下载,README最后感谢WPH95的贡献!

轻松实现日志可视化?— 95后阿里云 MVP 王鹏翰的答案

欢迎一起来发掘新的玩法:

阿里云MVP(Most Valuable Professional),是专注于帮助他人充分了解和使用阿里云技术的意见领袖,阿里云 MVP 奖项为我们提供了这样一个机会,向杰出的意见领袖表示感谢,更希望通过 MVP 将开发者的声音反映到我们的技术路线图上。

目前正在进行全球招募,已经加入的33位MVP正在持续地和阿里云一起推动产品优化、挖掘解决方案等,欢迎来和我们一起谱写云计算的技术图谱。