七大数据陷阱之认知错误（3）：不能一致的评价
引子
大家都有这样的感觉，同一曲音乐，有时候听很好听，有时候听就听不进去。这一定是什么东西影响了我们的感知状态。人类的主观想法真的是非常嬗变，盲目以主观判断作为标准，恐怕不是作决策支持的靠谱手段。所以平时只要碰到“我以为”，“他以为”，“谁谁以为”什么的，不要浪费时间去做可爱的倾听者，而是赶紧问问客观依据到底是什么。
在互联网世界里，特别流行各种人为的等级排名或榜单，比如美食排行，音乐排名，畅销书榜单，如是种种，数不胜数。 但恕我直言，很多这种评级的东西都非常肤浅，甚至不具备必要的专业性，它们更多是为了用来表达某些观点，所以看看就好，不必当真。可见，时下与数据相关的工作，问题太多了。但在讨论之前，我们先来聊聊香蕉。
Ben Jones 喜欢时不时在社交媒体上做一些有趣的民意调查， 有时他把粉丝对他的投票数据可视化一下，如图所示:
上图的结果显示：在社交媒体上进行民意调查的人中，有五分之一的人表示他们不愿意在社交媒体上进行民意调查。 另外三分之一的人回答说，他们宁愿不说自己是否愿意回答。以此看来，即使是参加调查的样本受众，并不能代表受众全体，但以此可以揭示出一些有趣的现象，那么引出本文的另一个“意味深长”的调查。
陷阱1C：评价不一致
稍微离题了一小下之后。现在还是回到刚才提及的 香蕉。2018年，Ben Jones又做了一个他自认为不太科学的小调查：让他的粉丝根据香蕉的成熟度给10张香蕉照片打分。 每张照片被受访者分为未成熟、几乎成熟、成熟、非常成熟和过熟。 这五种不同的成熟度类别都没有经过全国香蕉评级协会或其他类似机构的审查。所以称之为不太科学的小调查。
如上图所示，每张照片展示一次，每个被调查者都以同样的顺序看到了完全相同的香蕉。 当然，人们对香蕉成熟度的看法不会完全一致。比如，一个对我来说熟了的香蕉，对你来说可能是差不多熟了，而对另一个人来说可能会是太熟了。 不过，有点令人吃惊的是，受访者对它们的评价竟如此众说纷纭。在231名受访者中，唯一能看出点一致性的，就是认为十张照片中只有两张照片的成熟度低于另外三张的。余下数据简直一团乱麻，其中四张照片被分为四类，还有一张照片被至少放在五个熟透的组里。结果如下图所示：
但这个是此次看似不太靠谱的调查的重点。不知道读者能否意识到一些有意思的东西，在目前如此大的数据结果不一致的表象下，其实埋伏着一些尚不为人知的设计。 提示一下，调查目标不是组间评价者的不一致，而是组内评价者的不一致。好，待我们慢慢看来。
现在注意到Ben Jones所作的把戏了吧?再看一遍照片。这十幅画中有一幅和另一幅完全一样，只是它是另一幅的旋转镜像。 在调查中第二张展示的香蕉的图片在调查结束时再次展示，但它是水平翻转的。 这项调查没有提到这一点，只是简单地要求对每一个成熟度评分。
这个调查的真正“险恶用心”在于，有多少人给这两张照片打分相同，又有多少人打分不同。该调查地假设是10%或者5%的人会改变他们的评级。 事实上，超过三分之一(整整37%)的人改变了他们的评级。在231名受访者中， 有146人对第十张照片的评价和对第二张照片的评价一样，但其中85人对照片的评价不同。
这张桑基图显示了评级者给左边的照片2和右边的照片10打分的变化。
从另一种角度来看这种变化，可以察觉导致这种流向的一些线索。 如果我们把被调查者对第二张照片按行打分的方式画出来，把他们对第十张照片按列打分的方式画出来， 我们会注意到，大多数改变评分的人都提高了照片中香蕉的成熟度。
事实上，在85名改变评分的人中，有77人提高了他们的成熟度(例如，从“几乎成熟”到“成熟”，或者从“成熟”到“非常成熟”)， 而只有8人降低了他们的评分。
那么，为什么改变评分的评分者中有这么多的人提高了他们的成熟度呢? 这里，让我们看一下第九张的照片。 这些香蕉看起来有点绿，不是吗?是不是意识到什么了。
但是,再一次强调,这此调查是非常不科学的和非正式的，完全没有严格的实验控制，仅作启发之用，过于执着于此，则又要跌落陷坑了。 虽然从理论上讲，受访者可能只是随机选择来度过这段时间， 但也很难确定是真的随机。而且受访者没有奖励，所以很难说他们是完全认真对待的。但这个调查中所打开的视角确实是有些参考意义的。
这说明人为的评价，即使在涉及客观对象的时，也会存在巨大的不一致。而且，当有噪声信息进入时，很容易受其影响， 或者产生偏差，或者徒增无意义的看法。可见人们需要对认知过程有一定把握和了解。
那这与当前的香蕉主题有什么关系? 已经提过，每个测量系统都有一定程度的误差，因此需要对测量过程进行重复和再现，以尽量减少偏差；而这不仅适用于给香蕉成熟度评级。 数据是由测量系统创建的，但并不存在完美的测量系统。而且不同的人执行测量过程会得到不同的结果， 即使同一个人重复这个过程，有时也会由于噪声和随机误差的原因而得到不同的读数。那么，这是事实，意味着我们要接受—数据并不能完美地反映现实。 于是引入下一个问题。
如何避免混淆数据和现实的边际？
从上述案例中可以看到，存在于数据本身的某些状况，令我们觉察到一些潜在的数据与现实的差距问题，而利用可视化的方法则有助于形象地找出问题缘由。 从之前的例子，可以见证这种方法指导我们找到了哪些或是机械故障，或是人为造成的数据问题。在实际数据工作中，涉及采集，处理，分析等过程，数据可视化绝对是最好的问题检测和诊断的方法之一。进一步地，我们对数据工作的内容，如设备的使用、遵循的协议、涉及的人员、采取的步骤、工作动机，了解得越多，就越能更好地评估数据真实性差距。这里有7条建议，有助于避免混淆数据和现实的边际:
1、清楚了解所有指标的操作定义。
2、绘制数据收集步骤流程图。
3、了解流程中每个步骤的局限性和不准确性
4、识别所用方法或设备伴随时间的变化数据。
5、试图了解收集和报告人员的动机，查看是否有任何偏见或动机牵涉其中?
6、可视化数据，调查记录任何变化、异常值和可能的差异趋势。
7、仔细考虑数据格式、处理和转换。
当然，任何一次的数据工作都可能是不同的，而可能的错误来源又实在太多，这里无法一一列出，以上是一些典型的问题，期待读者能有自己的思考。
实质而言，数据-现实差距陷阱的核心事关我们对数据的态度。我们没有必要傲慢或天真地自认为是某个话题领域的专家或是可以摆平相关的所有数据问题— 千万不要这样想；而是谦虚地认识到我们的知识是不完善的，还有很多很多并不了解的事情就在周围。
绝对而言，人们永远无法完全了解数据与现实之间的差距，因为这需要完美的数据。 然而，我们所能做的是寻找可能存在的任何差距，加以评价，使所用的数据尽可能的接近事实本身。 同时，在我们使用数据来塑造对世界的理解时，一定要把这种差距作为考虑的必要元素。
如果说，数据-现实差距涉及的是：什么是数据？什么不是数据？；那么下一节将试图阐明：哪些数据可以用！哪些数据不能用！
想获取更多内容，请关注海数据实验室公众号。
本期分享到这里，我们会每天更新内容，咱们下期再见，期待您的再次光临。有什么建议，比如想了解的知识、内容中的问题、想要的资料、下次分享的内容、学习遇到的问题等，请在下方留言。如果喜欢请关注。
社群推荐：
更多有关数据分析的精彩内容欢迎加入海数据在线数据分析交流群，有什么想法
或者疑问都可在里面提出，与同行零距离交流，共同成长进步，请识别下面二维码
加火星小海马微信，邀你进群。