推荐系统介绍
推荐系统存在的前提： 信息过载，用户需求不明确
推荐系统使用的场景：猜你喜欢，相似物品推荐等
推荐系统的评估方法
问卷调查、离线模型评估、在线评估A/B test
实践：利息按评估和在线评估相结合，定期做问卷调查
A/B test 单层实验： 将用户分流，根据uid取模,将用户进行分组，给每个实验组分配一定的流量。但是流量比较少，策略比较多，不利于迭代。而且实验之间是不独立的，策略之间可能相互影响。 分流方式不灵活。然后google推出了一个多层重叠实验框架。
多层重叠实验框架 ： 这个问题要深入讨论，具体看google的这篇论文《Overlapping Experiment Infrastructure:More,Better,Faster Experimentation》 Google @KDD2010
推荐系统架构（演变）
下图是netfix-2013的架构图
offline: 一天跑一次 nearline: 一个小时跑一次 online:更轻量级
Taobao-2015 推荐系统架构
YouTube-2016
推荐系统发展阶段
1.0 关联规则、热门推荐等统计方法
2.0 矩阵分解等ML方法，离线计算推荐列表
3.0 召回+learning to rank 重排序
4.0 召回&排序实时化
5.0 end2end 深度学习，一切皆embedding
6.0 智能化推荐系统