数据分析&标注 | 让你的机器人更聪明

前两期推送我们介绍了智能客服转人工的服务升级，客服小程序的上线使随时随地回复用户留言更加便利。

那么如何看到机器人使用的整体情况呢？如何衡量我们工作的准确性呢？如何评判我们服务能力的质量呢？

让数据说话

统计模块是平台为开发者跟踪观测已发布技能的服务能力所提供的数据分析后台，通过数据反馈，帮助开发者进一步管理、优化和创新技能。

根据对技能不同关注点、不同时间范围的需要，开发者可以查看或下载基础概况、技能、未命中话术和模型标注的数据统计情况。

基础概况

基础概况主要收录了三项数据：会话数据、用户数据、命中率。

• 会话数据
  从用户向公众号/小程序发出请求到退出对话框计算为一次会话，展示昨日日会话数，并可按时间维度展示日会话数波动情况。

• 用户数据
  统计了一段时间内使用技能的粉丝数量，展示昨日的用户数量，并可按时间维度展示每日用户数量波动情况。

• 命中率
  统计了一段时间内技能整体命中情况，并展示未命中话术与未命中话术占比。

技能详情

这里收录了该机器人的技能总数，同时统计了该机器人不同技能的命中次数，以及各意图的命中情况；

点击“技能名称”，还可调起浮窗，查看各技能详情，以折线图形式直观展示近期命中情况;

未命中话术

当机器人回复为默认回答时，即统计为未命中话术;

在这里可查看未命中话术中的具体 query 及该 query 未命中次数，同时统计了未命中话术总数；针对未命中的query是有聚类功能的，点击可以查看此类query中的所有未命中话术，进而帮助开发者更好的完善机器人的语料库。

模型标注

模型标注包括“用户问法和命中回答”手动标注部分和准确率、召回率、F1、AUC 四项数据的展示。

• 用户问法和命中回答：

用户问法（人物头像 icon）：用户真实的 query；

命中回答（机器人头像 icon）：模型中命中的标准问题；

在这里可对机器人与用户的对话进行正确与错误的标注，通过手动标注用户真实 query 与命中 question 是否一致，从而优化机器人模型，提高机器人回答正确率。

• 准确率：
  准确率§ = 标注的正确信息条数 / 标注的所有信息条数。

• 召回率：
  召回率（R）= 标注的正确信息条数 / 样本中所有信息条数。

• F1：
  准确率和召回率的调和平均数，F1 = (2 _ P _ R) / (P + R)。

• AUC(Area Under Curve)：
  代表不同类别的区分度，AUC 值越大代表标注正确的概率越大。
  

同步移动端

除了PC端，数据分析功能也同步到了OpenAI客服小程序，方便用户在移动端进行数据的监测。

以上就是本次更新的全部内容啦，如果大家有什么其他想法，欢迎与我们留言互动，或者扫描下方二维码，添加我们的官方客服的微信号，邀请您进入到我们的用户答疑群，进行面对面的交流。

客服微信二维码