读多模态眼凝视控制界面的应用有感

模态是心理学领域中的一个标准术语，指感知信息的感觉，也就是感觉模态。

所谓多模态人机交互，就是基于智能接口技术，充分利用人的多种感知通道，以并行的、精准的方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。多模态人机交互技术所涉及的研究范围包括感知模型，语音识别，手写识别，姿势识别，表情识别，眼动追踪，自然语言理解，触觉感知与表示，多模态通道信息融合，高性能视觉和听觉处理平台等。

这里我们要来谈一下多模态眼动追踪系统的应用。
一、操纵杆与Leap motion
《The Wiley Handbook of Human Computer Interaction》中对操纵杆和Leap motion进行比较试验发现，用户更倾向于Leap motion下的多模态眼动追踪系统，而不是操纵杆下的多模态眼动追踪系统。这是因为用户使用基于Leap motion的系统可以比基于操纵杆的系统更快地进行指向和选择任务，更能追踪视线。这是因为操纵杆需要在X-Y平面上有光标的情况下，否则就很难进行选择，而且用户对于操纵杆切换模式也很陌生，这都为操纵杆的使用造成了局限，使用户的感知负担加重。而Leap motion的使用方法则相对简单很多，因为有一个单独的硬件开关可供进行选择，用户只需要把手放在Leap motion的上方，然后拿开，使用视线追踪，就可以轻松地切换模式。要说缺点，那么Leap motion存在延迟在某些其他的方面可能就更为吃亏了。

二、地图浏览
你是否设想过只用眼睛，释放双手就可以进行地图的浏览？
这里我们就来介绍一下眼动追踪在地图浏览中的神奇效果。当想要查看屏幕的左边缘，你的眼睛就会盯着左侧，那么地图会自动向右滚动。当你盯着地图上的某个特定点一直看，它就会放大显示。当你有意识的眨眼的时候，地图会缩小。这里我为什么提及“有意识”三个字呢？大家都知道眨眼在医学上分为两种，其中最为频繁发生的就是不自主的眨眼运动，也就是我们这里提及的“无意识的眨眼”，正常人平均每分钟要眨眼十几次，所以在设置中需要有区别的功能分区，否则地图一下子就变成了米粒般的大小。
文中将视线追踪的方法与触摸板进行了比较试验，由于参与者第一次尝试视线追踪，认知负担会相对较重，但是最后都很好的完成任务，所以新的方法还是值得尝试的。也很期待在未来，Leap motion与操纵杆与它的结合会带来更加高效使用方法。

三、电子商务
自从电子商务普及，大家越来越习惯于使用电子产品进行购物，如果你可以不再使用鼠标上下滑动浏览商品，是不是一件很有趣的事呢？
本文分别使用视线追踪器和鼠标进行向购物车中添加商品的行为，当然我们的购物界面是相对而言更为简洁的一种状态，结果发现，两种方法的错误率都很低。并且对于下图这么一个易于使用的界面，新手用户使用视线追踪器比鼠标更快地完成任务，尽管视线追踪器往往比鼠标产生更多的认知负荷。

上面两组实验中，虽然用户的认知负担都会比传统的方法更重，但都能够完成试验，视线追踪是易于上手的。尽管眼球注视跟踪已经有100年的研究历史，但它还没有被标准化。眼动跟踪的未来发展需要集中于标准化使用什么眼动指标，如何引用它们，以及如何在界面设计的上下文中解释它们。例如，目前还没有关于固定的最小持续时间的标准。减少设备的干扰，让用户感觉更舒适。数据捕获的健壮性和准确性需要提高，眼球注视跟踪系统需要变得更便宜，以便使它们成为小型商业机构和研究实验室可行的可用性工具。