题目：Video-based eyetracking methods and algorithms in head-mounted displays
作者：Hong Hua and Prasanna Krishnaswamy
来源：Opt Express. 2006 May 15;14(10):4328-50.

摘要

在大多数使用头戴式显示器（HMD）的3D可视化应用程序中，使用头姿势来近似用户的视线以进行实时图像渲染和交互。在大多数头部运动完成之前，眼睛通常会到达感兴趣的对象。非常需要将眼动追踪功能集成到各种应用中的HMD中。尽管眼动追踪HMD（ET-HMD）的复杂性给设计紧凑，便携式和耐用的系统带来了挑战，但这种集成为改善眼动追踪的准确性和耐用性提供了机会。在本文中，基于眼睛成像和跟踪系统的建模，我们研究了挑战并确定了ET-HMD设计中基于视频的瞳孔闪烁跟踪方法的参数要求，并预测了这些参数如何影响跟踪精度，分辨率和鲁棒性。我们进一步提出了新颖的方法和相关算法，可以有效地提高眼睛的跟踪精度并扩展跟踪范围。

1.简介

功能集成方法：整合HMD和eye tracker，在使用的后期，将两个单独的工具放在一起。
系统完全集成方法：ET-HMD仪器。

2.相关工作

2.1眼动追踪技术概述

眼睛可以进行三种动作：水平旋转，垂直旋转和绕视轴旋转。但是，后者仅在特殊情况下发生，并且大多数眼睛运动监视技术仅测量前两个旋转。现有的眼睛跟踪方法可以大致分为两类：二维（2D）跟踪和三维（3D）跟踪。在2D跟踪方法中，眼睛的3D位置通常是未知的，也无法通过眼睛跟踪器本身进行测量，并且仅测量相对于用户头部的相对视线。通常，由于其2D性质，这些2D跟踪方法要求用户相对于监视设备非常稳定地握住其头部，以实现良好的精度。在要求高精度的应用中，除了添加辅助设备（例如下巴托或咬合棒）之外，将成像设备连接到头饰是一种典型的做法。与2D跟踪相反，3D眼睛跟踪方法确定眼睛的3D位置，因此能够提供相对于固定参考的视线的完整3D表示。这样的方法自然地在一定程度上容忍了头部的移动，并且对用户的限制较小。

2D跟踪技​​术可以分类为非成像或基于成像的方法。非成像方法包括电眼（EOG）方法和基于巩膜搜索线圈的方法，该方法基于眼睛周围的电位差来检测眼睛的运动，该电极附着在被检者的眼睛周围，巩膜搜索线圈方法通过记录眼睛的运动来确定眼睛的运动。嵌入到对象眼睛中的微小感应线圈或隐形眼镜的确切位置。两种方法都具有很强的侵入性，几乎不用于人类受试者。

利用各种眼睛特征的基于图像的跟踪方法是最广泛使用的技术。大多数基于图像的方法通常在近红外（NIR）照明下利用眼睛的光谱特性。当近红外光照射到眼睛上时，它会从眼睛的不同结构反射出来，并产生几种类型的红外照明的眼睛特征。可以跟踪的典型特征包括角膜和眼睛晶状体形成的角膜缘，瞳孔和反射图像，它们在眼睛旋转时相对于眼窝成比例地移动。例如，角膜缘跟踪可检测虹膜和白色巩膜之间的边界。由于眼睑、瞳孔跟踪比角膜缘跟踪更可靠，可监视瞳孔和虹膜之间的边界。根据红外照明器的配置，可能会创建不同的瞳孔跟踪方案。当红外光从相对于成像设备光轴的偏轴位置射入眼睛时，会产生暗瞳孔效应，瞳孔成为红外光的沉陷，看起来比虹膜和另一只眼睛暗特征。另一方面，由于视网膜的逆向反射特性，使用同轴红外照明器可以观察到明亮的瞳孔效果，其中瞳孔看起来比虹膜在摄影中用红眼观察的要亮。除了产生暗或明亮的瞳孔效果外，还通过前角膜的约2.4％镜面反射形成角膜反射图像（也称为闪烁图像或第一浦肯野图像）。角膜反射跟踪（也称为闪烁跟踪）对瞳孔跟踪的敏感度低于瞳孔跟踪。

跟踪检测瞳孔中心和第一张Purkinje图像之间的矢量差[ 21]。与仅使用瞳孔或角膜反射的方法相比，瞳孔和闪光跟踪的组合在较小程度上可容忍头部运动。结合明亮和黑暗的瞳影像的方法已经被报道[ 22，23，24 ]。在这些方法中，多组红外照明器交替闪烁并与CCD相机的奇数和偶数场同步闪烁，其中一组在轴上用于创建明亮的光瞳，另一组在轴上用于创建黑暗的光瞳。将奇数场和偶数场的图像相减以检测瞳孔特征。

3D跟踪技术比2D跟踪更为复杂。近年来，在对人机交互应用程序的需求不断增长的推动下，对它们进行了探索[ 11 ]。尽管大多数2D跟踪方法可以扩展到3D跟踪，但是3D跟踪系统通常需要多个眼睛特征或其他面部特征以及多个摄像头来估计眼睛旋转中心，或者需要其他机制来确定眼睛位置。例如，Shih和Liu提出了一个系统，该系统由多个摄像头和多个点光源组成，而无需使用任何用户相关参数来估计眼球旋转中心并因此输出3D凝视方向[ 25]。由于其3D性质，3D跟踪系统通常是远程安装的。跟踪摄像机的视场（FOV）必须足够大，以允许用户在指定区域内自由移动其头部。但是，使用大型FOV相机只能产生有限的人眼特征分辨率。几个研究人员提出的系统，要么使用平移-倾斜-变焦摄像机或宽的组合，缩小FOV相机[ 25，26 ]。

2.2在HMD中整合眼动追踪功能

最早是由CAE Corporation的高分辨率插图显示[ 27 ]开始的。

只有极少数，并初步作出了努力朝着系统化的方法ET-HMD集成在系统设想和优化作为一个文件，而不是在利用[的后期汇集了两个单独的工具[28，14，15，29 ]。

3. ET-HMD系统架构：建模和仿真

本文将重点关注眼睛照明成像子系统的成像方面，并研究如何利用多个NIR光源及其合成特征来开发新的跟踪方法，从而提高跟踪精度并扩展跟踪范围。

为了便于相关的眼部特征和眼睛旋转之间的动态关系的理解和分析，我们开发了一个Matlab ®眼睛拍摄子系统基于模拟。成像过程可分解为两个步骤：（1）通过眼睛光学器件形成相关特征（例如，通过角膜前表面反射产生的LED闪烁以及通过屈光度的折射形成虚拟瞳孔虹膜。角膜表面和房水）; （2）通过成像光学器件捕获这些特征和其他眼睛结构。

3.1眼睛模型

在一阶分析的上下文中，通过抑制曲面的圆锥系数，简化了光学系统与Arizona Eye模型的比较[ 31 ]。眼睛光学器件的横截面和相关参数如图2（a）所示。假定角膜是球体的一部分，其前半径r_c1等于7.8mm，后半径r_c2等于6.5mm，厚度t_c等于0.55mm，并且折射率n_c等于1.3771。房水的折射率为n_a等于1.3374。虹膜是带有中心孔的着色膜片，即瞳孔，是眼睛光学器件的孔径光阑。根据光照水平和心理因素，瞳孔直径从2毫米到8毫米不等。给定HMD中的主要亮度水平，在模拟中假设瞳孔为4mm。由于考虑到巩膜和闪烁物之间的图像对比度低以及巩膜发生镜面反射，虹膜与巩膜的外边界通常被认为是可以可靠地检测闪烁的极限。基于人体测量[ 32]，虹膜外边界的直径假定为11mm。虽然在不同距离处观察物体时眼透镜的形状会发生变化，但它不会影响第4节和第5节中分析的准确性，因为我们将仅使用角膜前表面的反射来形成闪烁和角膜表面的折射。用于瞳孔/虹膜成像。

尽管从严格意义上讲眼睛不是旋转对称的，但是以最小二乘意义上穿过光学表面的曲率中心的线被假定为眼睛的光轴。轴穿过眼球的旋转中心E。眼球半径r_e介于12至13mm [ 31]，假定为12.5mm。从固定点开始，实际的视线等于眼睛光学系统的主光线。由于中央凹偏离光轴约4°，因此视线偏离光轴该角度。在下文中，我们将使用光轴代表视轴。实际的视线将通过典型的校准过程获得。上眼睑和下眼睑根据人体测量法建模为两个抛物线[ 32 ]。令E代表眼睛旋转中心，让EXYZ代表相关的眼睛参考（图2（a））。指向角膜的眼睛参考的Z轴与眼睛光学系统的光轴对齐。

图2. 眼睛照明和成像系统的仿真：（a）示意性眼睛模型；（b）坐标系和参数说明。

3.2成像光学模型