基于眼动追踪技术的数字界面人机交互效能评价研究综述

田晨智, 宋 敏, 王 崴, 田继伟, 郭代言

(空军工程大学,a.空管领航学院; b.防空反导学院,西安 710000)

0 引言

人机交互(Human-Computer Interaction,HCI)是20世纪80年代由美国计算机学会人机交互专业组织提出的概念,指人与计算机之间的信息交换过程[1-3]。数字界面作为人机交互的载体与媒介经历了从批处理界面、命令行界面再到图形用户界面的演变[4-5],良好的界面设计能够促进用户的工作效率并产生和谐的人机交互体验。因此,为确保数字界面的设计质量,需要对其人机交互效能进行充分评价。合理评价人机界面交互效能是界面设计的前提和基础,目前常用的主要评价方法可分为主观评价法、客观评价法及综合评价法[6]。其中:主观评价法包括AHP,Delphi和问卷调查等[7-9];客观评价法包括生理测量法、任务绩效法和仿真评价法等[10-12];综合评价法包括多属性决策、多目标决策和多元统计法等[13-15]。各种方法均有其优势及适用范围。

国内研究方面,周蕾等[16]建立了界面美度意向评价指标体系,并将每一指标进行量化计算,最后运用灰色关联分析对界面美度进行评价;金涛等[17]利用粗糙集灰色分析建立复杂界面可用性评估模型,将复杂界面拆分成多个子界面进行评价,并通过脑电实验验证该评价方法的有效性;田晨智等[18]利用眼动追踪技术,使用瞳孔直径、眼跳次数和注视点数量等眼动指标构建了指挥控制系统人机交互效能评估模型。国外研究方面,LI等[19]从飞行员态势感知角度出发,对不同显示方式的加压系统人机界面进行了评估;CHEN等[20]从降低心理负荷的角度出发,综合考虑主观评分、性能指标、眼动指标三部分建立评估指标体系,将熵权法与变异系数法相结合计算指标权重,运用模糊综合评价对核电站用户界面进行评价;GAO等[21]构建了人机交互可用性评估软件,不仅能够对人机交互效能进行打分,而且具有数据显示处理、结果可视化以及试验回顾等功能。总体而言,国内在界面设计评估领域的研究起步较晚,国外对该领域研究更加深入,值得学习借鉴。

眼动追踪技术属于生理测量法,是一种较为精准的评价手段,通过测量被试的眼动数据,能够有效评价数字界面的人机交互效能。本文首先对眼动追踪技术在数字界面人机交互中的评价机理进行深入分析,然后对当前研究现状进行了归纳梳理,最后指出算法优化、模型计算、多元融合和无感交互是眼动追踪技术在数字界面人机交互效能评价中的未来发展趋势。

1 眼动追踪技术在数字界面人机交互中的评价机理

如表1所示,衡量数字界面人机交互效能的影响因素及评估指标可根据用户进行信息感知、获取、理解以及操作输入互动等一系列任务流程来确定,并可以从用户操作效能、数字界面显示和人机交互模式3方面对其进行划分。传统的人机界面交互效能评估方法通常包括测量被试的任务完成时间、对被试进行问卷调查、专家依据个人经验进行评分等,然而上述方法都无法客观、准确地反映被试的认知思维过程,故其评估结果误差较大。

表1 数字界面人机交互影响因素及评估指标

眼睛是信息交互的主要渠道,人的眼球运动能够充分反映其思想情绪和行为意图,对眼球运动进行跟踪能够推测其认知活动[22]。眼动测量的方法历史悠久,早在古希腊时期,科学家们就开始对眼动进行研究,现代意义的眼动追踪始于20世纪30年代[23-24],并被广泛应用于人机交互、电子商务和医疗保障等领域[25-27]。近年来,随着人工智能、人机融合等新兴技术的发展,眼动追踪技术成为研究的热点。在数字界面人机交互研究领域,眼动追踪技术能够采集人在界面操作过程中的眼球运动数据,通过对各项眼动指标的分析,可以判断操作人员的注意力资源分配、认知负荷、搜索效率和思维逻辑规律,以及数字界面设计的复杂性、吸引性、引导性和交互的高效性等特点,从而对数字界面的人机交互效能进行全面、客观的评价,为后续的优化设计指明方向。

1.1 眼动评价机理

使用眼动追踪技术测量用户在人机交互中的眼球运动轨迹、注视时间、注视点数量及坐标位置等指标能够从多维度对其进行精准评估[28]。用户在人机交互过程中,需要经历观察、思考、决策、操作等阶段,研究人员能够根据其眼球运动轨迹分析用户的注意力分配策略[29],根据注视时间和注视点数量判断用户的信息感知、获取以及理解的效率[30],根据瞳孔直径、眨眼次数及眼跳频率测算用户的认知负荷[31-32],并综合以上指标评估人机界面设计的合理性。此外,还能够对照用户的鼠标点击时刻和频率对其操作输入互动效能进行评估。

具体而言,通过检测用户在数字界面中的注视点能够确定其关注的方向和区域,根据其兴趣区的具体位置及呈现内容可以进一步识别该用户的行为意图[33];通过监控眼球跳动的频率可以推断用户的疲劳程度和轻松、焦虑等情绪状态,从而预测用户对界面进行控制的效能[18];通过记录用户在数字界面中的注视点数量和注视时间,对比其使用鼠标的点击位置及操作时刻,能够分析出用户的信息感知、获取及理解等一系列认知活动的效率[34]。如图1所示,用户在与数字界面进行交互的过程中,眼睛、手指、鼠标键盘和数字界面四者间构成了人机交互的闭环。其中,眼睛作为用户的输出传感器,能够反映其逻辑思维活动,利用眼动追踪技术可以测算用户承受的认知负荷,推测其行为意图,判断其操作效能,并对数字界面设计的优劣进行准确评估。

图1 人机交互闭环

1.2 眼动指标选取

如图2所示,眼动指标按其特点可划分为可视化指标、注视类指标、眼跳类指标、眨眼类指标、扫描路径类指标和瞳孔类指标6种类型。除本文分类方法外,闫国利等[35]按照时间维度和空间维度对眼动指标进行了分类;POOLE等[36]将眼动指标划分为基本指标和衍生指标2种类型,并将基本指标细化为注视、眼跳、眨眼和瞳孔直径等指标,将衍生指标细化为扫描路径、凝视等指标。本文对眼动指标的划分参考了文献[37]中提出的分类方法。

图2 主要眼动指标类型

如表2所示,在数字界面人机交互效能的评价中,可视化指标能够表示被试的注意力分配及思维逻辑规律,其中,注视点热区颜色越深代表该区域的关注度越高;注视点轨迹排列越清晰代表被试的思维逻辑性越强[29]。注视类指标能够表示数字界面的吸引性和复杂性,其中,首次注视时间和累计注视时间越长、注视点数量越多代表数字界面越复杂或越具有吸引性[30]。眼跳和扫描类指标能够表示被试的搜索效率,其中,眼跳次数越多、扫描路径长度和扫描路径时间越长,代表被试的搜索效率越低[37-38]。眨眼和瞳孔类指标能够表示被试的认知负荷,其中,被试的眨眼率越高、眨眼时间越短、瞳孔直径越大代表被试的人机交互认知负荷越大[31-32]。每种类型的眼动指标具有不同的意义,研究人员在选取指标时应充分考虑数字界面人机交互的性质与特点,综合分析各种因素带来的影响,从多维度选取各类眼动指标,建立合适的评价指标体系。

1.3 眼动数据测算

如图3所示,眼动数据的测算方法可分为传统眼动数据测算方法和当代眼动数据测算方法两大类。早期眼动追踪技术主要采取较为原始的测算方法,这些方法所测得的眼动数据不够准确,且实施流程复杂,经常容易出现较大误差,故已被淘汰。随着计算机的出现,硬件设施获得极大改善,眼动追踪技术迎来蓬勃发展,各种新的测量方法相继诞生,测量精度及可操作性等都得到极大的提升[39-41]。经过长时间的实践检验和技术的不断革新发展,考虑高精度、易操作等优势,现阶段主要依托电流记录、电磁感应、视频采集、红外线反射等技术对眼动数据进行测算[42-45]。

图3 眼动追踪技术类别

本文对常用的8种眼动数据测算方法进行了梳理,对其基本原理及优缺点进行了简要介绍,如表3所示。经过对比不难发现,传统的眼动追踪技术大多采用简单易行的方法,但是普遍精度低、误差大,当代眼动追踪技术准确性高、操作性强,但是测量设备价格贵、成本高。因此,研究人员在进行数字界面人机交互眼动追踪实验时应综合考虑各种方法的利弊,根据实际情况及预期效果选取最合适的眼动数据测算方法。

表3 眼动数据测算方法对比

2 眼动追踪技术在数字界面人机交互效能评价中的研究现状

影响数字界面人机交互效能的因素非常广泛,包括界面显示、交互模式、设备布局和操作环境等[47-50],使用眼动追踪技术主要从界面显示的角度对人机界面交互效能进行评价,界面显示可以划分为布局显示、格式显示、元素和编码显示以及基本控制,通过对操作人员的眼动指标进行分析能够发现当前界面显示中存在的问题。目前,眼动追踪技术主要从定性分析、定量计算、综合评估3方面对数字界面人机交互效能进行评价。下面从上述3方面出发,结合近年来的最新研究进展,对其研究现状进行详细述评。

2.1 定性分析

在科研工作中,研究人员通常采取定性分析的方法对相关问题进行研究,该方法具有简单直观、高效便捷等优点,但是测试精度较低、准确性较差。在数字界面人机交互效能评价中,基于眼动追踪技术,根据眼动指标相关规律能够直接对其交互效能进行定性分析。在军事航空领域,眼动追踪技术已广泛应用于新式战机人机界面的设计与评估。如F-35战机将眼动技术融合于飞行员头盔显示器,使其能够通过视线对战机进行控制[51];陈晓皎等[29]基于注视点数量、瞳孔直径等眼动指标建立了面向数字界面的质量评估模型,并以F-18战斗机显控界面为例进行验证;杨坤等[52]选取注视轨迹长度、平均注视时间、瞳孔直径和反应时间这4项指标研究了飞机平视显示器中字符颜色对平视显示器与下视显示器间相容性的影响;孙宇航[53]通过对比飞行员在模拟飞行任务中对舱内仪表和外部景象的平均注视时间和瞳孔直径等指标,对其注意力分配策略以及舱内仪表设计进行了评价;WANG等[54]使用眼动追踪技术评估飞机客舱人机界面的可用性,并建立了静态眼动测试数据模型;ZHANG等[55]在飞行模拟器中借助眼动仪评估了界面显示布局及色彩编码对用户信息识别的影响;美国海军采用眼动仪记录分析操作人员完成作战任务时的视线焦点,对“宙斯盾”系统人机界面进行优化。以上研究表明,使用眼动追踪技术进行定性分析能够有效评价人机界面的交互效能,但是当评价体系涉及眼动指标较多时,可能会出现指标间此消彼长、相互矛盾的情况,此时若不能对指标权重进行清晰判断,则无法得出准确结论。

2.2 定量计算

当面对较为复杂的问题时,仅凭借定性分析无法对其进行有效解决,此时,需要建立相应的数学模型,结合各类算法,通过定量计算的方式加以处理。该方法具有结果准确、可信度高等优点,但是计算步骤相对复杂,要求研究人员有一定的数学基础作为支撑。张宝等[56]采用优序法对视觉感知元素进行赋权,并根据人眼视锥感知细胞的分布特性,构建了数字界面视觉感知强度划分模型;肖旭等[57]使用元分析和综合绩效评价法对数字界面上的多维视觉编码进行归一化处理,结合G1法确定权重,并运用模糊加权平均算子,建立了界面多维视觉编码评价模型;胡文婷等[58]采用模糊聚类法计算用户对界面的关注度,并根据注意力分配策略来预测用户在界面中的兴趣区;王淼等[59]选择注视时间、注视点数量、瞳孔直径等作为评价指标,结合熵权法对其进行赋权,并对各方案进行优异度排序,从而选择最优的控舱界面;ZHANG等[60]为了探讨移动学习平台对用户学习效率的影响,使用眼动追踪技术,计算用户的凝视熵、注视次数比例和每个兴趣区中的注视持续时间,得出了垂直布局面板设计比水平布局面板设计更有效的结论;YAN等[61]记录了被试的眨眼率、注视率和扫视率等眼动指标,使用人工神经网络模型,预测了操作人员在船用发动机数字界面完成任务时的心理负荷。根据上述文献不难发现,基于眼动追踪技术能够获得丰富的眼动数据,在此基础上使用数学模型,建立评价指标体系能够很好地对数字界面人机交互效能进行深入分析,不仅易于解决此类复杂问题,还可以得到更加精准的评价结果。

2.3 综合评估

眼动追踪技术作为常用的生理测量手段之一,具有测试简单、数据丰富等优点[62-64],但也存在着易受干扰、米达斯接触等问题[65-66],因此将其应用于数字界面人机交互效能的评价具有一定的局限性,此时需要结合其他多种手段进行综合评估。王崴等[67]基于脑电和眼动信号对人机交互意图进行识别;杨星灿等[68]基于眼动、肌电等数据建立了核电厂主控界面人机交互效能评价模型;江明尹等[69]利用眼动、脉搏、呼吸频率等多种生理指标对放疗软件操作界面进行可用性评价;CHENG等[70]提出了一种结合用户眼动和脑电数据来驱动交互式遗传算法,并自动优化界面设计方案的新方法;CHEN等[20]将任务绩效测试、NASA-TLX问卷调查、眼动生理测量3种方法相结合对核电站用户界面设计的心理负荷进行了评估;ZHOU等[71]通过分析任务完成时间、瞳孔直径和脑电波幅度变化等数据,研究了界面元素设计对老年人任务绩效的影响。明显地,相较于使用单一的眼动追踪技术,通过多种测试手段从不同维度对数字界面的人机交互效能进行评价,虽然实验设置、操作步骤相对复杂,但是能够有效弥补各种方法的固有缺陷,达到优势互补、科学准确的效果。

3 眼动追踪技术在数字界面人机交互效能评价中的发展趋势

随着人工智能的快速演进,数字界面从单一的按键开关式人机交互媒介转化为多通道融合虚拟仿真、媒体交互技术的人机沟通平台,数字界面人机交互与其他学科的交叉融合愈加紧密,对于其交互效能的评估方式也日趋多样[72-74]。其中,生理测量法是一种通过测量人体生理指标的变化来反映认知功能改变的方法,具体包括眼动、脑电、心电、肌电、血压、呼吸等测量方式[75-77]。近年来,眼动追踪技术不断发展优化,其在数字界面人机交互效能评价中的应用也越来越广泛,随着研究的不断深入,该技术在人机界面效能评价领域呈现出算法优化、模型计算、多元融合和无感交互等发展趋势。下面结合眼动追踪技术的最新研究进展,对其在界面设计评估中的发展应用进行深入剖析。

3.1 算法优化

目前,眼动追踪技术还不够成熟,存在着诸多短板局限[78-80],眼动数据测算方式的不同,导致误差精度相差较大。以软件为基础的眼动追踪技术能够赋予用户充分的自由度,但测试精度明显不足;以硬件为基础的眼动追踪技术测试精度较高,但使用不便,对用户的操作造成了不小的干扰。同时,眼球运动时的抖动、眨眼等行为易造成数据采集的中断,致使眼动数据丢失。特别地,在复杂空中作战环境下,如将眼动追踪技术应用于航空装备时,此类问题尤为明显。基于上述局限,使用眼动追踪技术对数字界面人机交互效能进行评价往往会出现测算数据不准确、评价结果误差大等一系列问题。

未来,眼动追踪技术将持续优化[81-83]。首先,解决测试精度与自由度相互矛盾的问题,使得用户能够在自然状态下完成数字界面人机交互任务的同时提高测试精度,为其顺利开展人机界面眼动评估实验奠定基础;其次,对眼动数据的采集算法进行全面优化升级,确保能够精准测量各项眼动指标,避免出现“错漏丢”等现象,并尽可能克服各种极端外部环境对眼动分析带来的不良影响;最后,拓展眼动追踪技术的应用范围,例如添加用户情感分析、交互意图识别、注视点预测等功能,进一步加强在飞机座舱仪表布局优化、飞行员头盔瞄准显示系统设计、特种车辆装备驾驶界面交互效能评估等领域中的运用。

3.2 模型计算

现阶段,对眼动追踪技术的研究主要停留在定性分析的层面上,定量计算也仅是借助其他现有数学模型建立指标体系,总体而言,利用该技术测量出的眼动指标缺乏数学公式的表达,致使无法清晰地表征出眼动数据与其他事物数量之间的联系。由于这一限制,使得眼动追踪技术只能解决人机界面交互效能评价中的表层问题,对于内部机制的解释则无从下手。国内外一些学者正在进行眼动指标数学模型计算方面的研究。薛耀锋等[84]结合注视时间、注视点数量、瞳孔直径等眼动指标,构建了在线学习认知负荷量化模型;RIGAS等[85]将眼球动态扫视特征纳入了眼动驱动生物识别模型。但这些数学公式及模型由于使用限制较多、测试样本不足,并没有得到业内的广泛认可。目前,在航空装备的设计研发中,眼动追踪主要用于反映用户的注意力分配策略及逻辑思维过程,从而定性分析装备性能的优劣,由于这种评估方式误差较大,往往被当作辅助测量手段,极大降低了使用效率。因此,为了能够更加精准地对数字界面的人机交互效能进行评价,眼动追踪技术亟需建立其特有的数学模型及公式,使其可以直接对研究对象进行计算,通过数学公式的推理变换得出相应的评估结果,最大限度地避免定性分析带来的误差。

3.3 多元融合

由于研究人员无法在短时间内克服眼动追踪技术的种种缺陷,因此通过融合其他技术来改进自身性能成为新的发展方向。眼动追踪与MEMS技术的融合,使得眼动追踪设备小型化、便携化,为眼动实验的开展带来极大的便利[86]。当处于昏暗、低能见度等复杂环境时,通过激光、音频等多模态数据融合能够有效提升眼动追踪的精度,避免了外部环境因素对实验设置的影响[87]。将神经网络模型应用于眼动追踪技术,使其无需添加任何外部附件就能在手机、平板电脑等移动设备上顺畅运行,大大提高了测试效率[88]。尽管视觉是人的主要感知通道,但忽视其他通道的影响,单独对其进行研究显然难以得出准确的评估结果,例如飞行员在驾驶战机作战时必须综合多通道信息才能精准判断当前战场态势[89]。因此,在眼动追踪的基础上,通过测量用户的脑电、肌电等多种生理指标,综合评价数字界面的人机交互效能,对于提升评估的准确率大有裨益[90]。通过多种技术手段相互融合,能够有效增强眼动追踪技术的精度、自由度及准确率,解决了该技术在人机界面交互实验中面临的一系列问题,是当前快速提升眼动追踪技术自身效能的主要方法。

3.4 无感交互

当今主流的眼动追踪设备包括Eyelink、Tobii、iView系列[91-93]等,各种设备的追踪原理、使用方式以及数据处理算法都不尽相同,按其测量方式可分为头戴式和遥测式两种类型[94-95]。头戴式眼动追踪设备最大的缺点在于会影响被试的交互体验,进而可能限制其在数字界面人机交互眼动实验中的操作效能,而遥测式眼动追踪设备对被试的头部移动范围和速度均存在一定的要求,否则将无法准确测量眼动数据。上述问题都会对用户与数字界面的人机交互产生不良影响,致使相关实验难以取得预期效果。因此,无感交互将成为眼动追踪技术未来的主要应用与发展趋势。无感交互指用户能够在最自然、舒适的状态下进行交互,并以此达到最佳的交互体验[96-97]。飞行员头盔瞄准显示系统不仅要求眼动追踪能够精准定位、捕捉目标,同时还要避免对飞行员的信息感知及作战决策等认知活动造成影响,这就需要眼动追踪必须达到无感交互的标准。当研究人员使用眼动追踪技术评估数字界面人机效能时,无感交互就是让用户在不受该技术影响的状态下顺畅地进行人机交互,从而反映出最真实的交互状态,以达到对其进行精准评价的目的。

4 结论

本文从眼动追踪技术在数字界面人机交互中的评价机理出发,根据眼动指标的含义、规律以及眼动测量方法的类型和原理,对于眼动指标的选取和眼动数据的测算进行了详细介绍,并从定性分析、定量计算和综合评估3方面对该技术在人机界面交互效能评价领域中的研究现状进行了述评。最后根据当前眼动追踪技术存在的种种问题,推测了其在该领域中的未来发展趋势。

日常生活中,约80%的外部信息通过视觉获取[22,98],眼睛作为人类与外界进行沟通的媒介发挥着至关重要的作用。利用眼动追踪技术监测用户与数字界面交互时的眼球运动状态,可以准确分析用户的注意力分配、心理负荷及行为意图,从而全面评价数字界面的设计布局、功能设置及交互方式的合理性。虽然该技术仍存在算法精度不足、数据处理复杂等缺点,但其能够直观表示用户认知思维过程的独特优势,使其成为人机界面交互效能评价中不可或缺的重要方法。此外,眼动技术还广泛应用于飞行员战场态势感知、航空装备眼控交互等方面,甚至更多的研究人员已不满足于仅仅将其作为一种评估手段,而是致力于将其作为一种新兴交互方式融于飞行座舱智能化人机交互系统的研发中[89,99]。总体而言,眼动追踪技术的发展日新月异,相应的软硬件设备也在不断更新完善,其技术上的短板缺陷一定会被弥补优化,未来该技术将拥有更为广阔的应用空间和发展前景,同时必将凭借其优异特性在人因工程、航空工业和界面设计等领域发挥出更大的作用。