【Spark Summit East 2017】为Walmart Search学习使用Streaming和DataFrames

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Nirmal Sharma与Yan Zheng在Spark Summit East 2017上的演讲，主要介绍了Walmart使用Spark Streaming和DataFrames构建的搜索产品的情况，Walmart Lab目前已经能够成功地使用多个微型批处理spark streaming管道对于可获取的产品信息进行近乎实时的更新，并分享了仅依靠Spark Data Frames建立的可伸缩的异常检测框架，该框架能够用于检测异常搜索信息。最后，还分享了Walmart Lab得出的观点：Spark Streaming与Data Frames是处理大规模实时数据流的关键技术。