时代眼动研究的变与不变

本文聚焦于AI交互中的眼动研究和传统互联网眼动研究的异同,从眼动技术本身、研究内容的延展、眼动分析思路的差异、眼动研究注意事项,这四个方面,来探讨AI时代眼动研究的变与不变。

AI时代,人机交互研究面临新的命题与新的挑战,研究方法也需要不断丰富升级。

眼动研究是我们探索人类注意和认知规律的主要手段:它通过记录眼球的真实运动,描述人的视觉行为,反映人的认知加工和心理活动。面向AI时代的交互设计研究,眼动研究有哪些升级,可以帮助我们解决哪些问题,在方法层面上又有哪些延展?

眼动仪经历百余年的发展历程,从最初的用镜子直接观察,到中间通过机械转动将眼球与记录装置连接,到现在的高精测量,实现了准确度、精确度和被试自由度的大幅提升。

目前主流的眼动仪采用的都是基于光电记录法的瞳孔角膜反射技术;根据眼动仪的外形结构差异,可将其分为桌面固定式、桌面遥测式、可穿戴式。

眼动仪分类

AI技术在可穿戴式的基础上,发展了VR嵌入式眼动仪。

Tobii Pro VR 集成方案

通过搭建3D虚拟场景,眼动研究可以兼容更多实验场景,为用户提供沉浸式的临场感,并能以较低成本实现实验物料的快速切换。

以传统的汽车外观研究为例,其可能需要开模等复杂的工序,耗时长、成本高。而利用3D建模,就能够以较低成本构建等比例立体模型,并提供360°的全方位查看视角。

传统研究需要用户到搭建好的实验现场进行测试,3D建模则打破了实验场景对用户的限制,使多人多地同时执行成为可能,极大提高了眼动数据的样本采集效率。

VR技术使多种研究方案的快速切换和自由控制成为可能,极大丰富了实验内容。如传统市场研究中的货架摆放研究,实验准备需要大量工作,要提前将货架摆置好。

此外受空间限制,测试方案也比较有限。

但通过3D建模,就可以低成本得到多种摆放方案,并且实现较细颗粒度的不同方案对比。

过去由于行业危险性而较少涉足的研究领域,会在VR技术的协助下获得发展。如车载相关研究,在真实道路测试比较危险,搭建模拟驾驶实验室的成本又高,VR既可以解决实验的安全问题与成本问题,还可以控制道路的复杂程度。

百度AI交互设计院曾在18年7月开发者大会上定义AI时代的人因工程研究(详见《百度AI交互设计院前沿探路 打造类人交互智能体》),强调AI时代的2.0研究我们更多关注智能体的自然交互及情感交互。

根据人因学、工程心理学泰斗Wickens教授提出的多资源理论模型,人接受信息及执行或表达信息是一个立体交互过程。

根据多资源理论,在衡量多通道交互的用户体验时,我们要特别注意这两个问题:

多资源理论模型

眼动研究主要研究在多通道的配合中,视觉单通道的资源占用情况。

这些次级任务会在不同程度上占用驾驶员的视觉资源、认知资源和动作资源,影响驾驶绩效。

为了研究车机系统对司机视觉资源的占用,我们采用Tobii Glasses2眼动仪,采集驾驶员在真实路况上驾驶时的眼动信息,得到行车状态下两种智能语音车机在执行交互任务时,对用户注意资源的占用情况。

用户注视资源分配情况

试听通道的配合,是多通道研究的重点内容。同样以智能车机研究为例,车机的交互流程、语音交互体验,包括响应速度、引导话术、屏幕UI设计等都会影响到用户视听资源的分配。在研究中,我们通过眼动热力图的分布和密度衡量不同引导话术对用户视觉资源使用的影响。

眼动研究数据收集现场

情感交互是AI研究的重要领域,情绪识别和情绪应对构成了情感研究的两大块内容。眼动研究除描述和分析注视等数据之外,也可以利用瞳孔直径观察情绪刺激的反应。

因为瞳孔的扩大和收缩受到自主神经系统的支配,而情感的处理也受到自主神经系统的支配,因此瞳孔直径被用来分析由不同情绪刺激材料所诱发的情感反应。在国外和国内的相关研究中,有结论表明:瞳孔的放大与情感唤醒度呈线性关系,即瞳孔直径越大代表唤醒度越高。

比如发布在《人类工效学》上的《基于眼动和脑电技术的机器人情绪行为对用户交互情感的影响研究》一文,用眼动测量得到瞳孔直径判断人和机器人交互时的情绪唤醒度,用脑电测量得到的额中线theta波和额区alpha波的不对称性判断用户的情绪效价。

基于眼动和脑电技术的机器人情绪行为对用户交互情感的影响研究

澳大利亚大学和斯图加特大学联合公布了一个人工智能项目实验结果,研究人员采用SensorMotoric Instruments的视频眼动仪监测42名参与实验的人类眼球运动,最后采用人工智能机器学习算法准确的预测出每个人的个性。

常用基础眼动类型:注视(fixation)、扫视(sacccade)和追随(persuit movement)。因为互联网应用研究一般不涉及到通过眼动探索更深层次的生理原因,使用指标较少,本文暂讨论常用指标。

常用眼动类型

可视化方法有热力图(heatmap)、轨迹图(gaze plot),及眼动录像(gaze video):

热力图(heatmap)示意

轨迹图(gaze plot)示意

对于AI智能产品交互中的眼动研究,常见指标是一样的。不同的,是体验目标和分析思路。

PC和移动产品的交互体验有“强注意力”的特点,我们希望获取用户更多的注意力。因此传统的网页研究或者广告研究,通常为视觉单一通道的研究,在热力图的分析中以用户注视多的方案为优。

而AI交互希望打造自然、低成本、接近用户本能的交互体验。这种体验往往是多感官通道的,要达到组合体验最优就需要探索不同通道间的配合与平衡,视觉通道的占用就不是越多越好。

研究发现:当语音的引导明确、屏幕内容和语音引导配合一致时,用户花费较少的视觉资源便可获得所需信息(见方案一热力图);而当语音交互缺乏有效引导,屏幕内容与语音引导配合不当时,用户会花更多视觉资源在车机屏幕的信息加工上(见方案二热力图)。

不同引导话术下的用户眼动热力图

除眼动研究实验设计和实施的通用注意事项外,AI交互设计的研究中还需注意:

基于自然交互的目标,打造真实体验场景是AI交互设计研究中重要的一环,是研究自然交互的基础。我们越来越少的使用过去基于静态网页静态物料的实验室研究设计。

比如在车载环境下,变化的路况占据了行车过程中90%的视觉资源,信息多,变化快,这是一个不可忽略的因素。我们会让被试在相对安全的时段在真实道路上进行驾驶测试,累计样本时长不低于900分钟。而眼动仪技术的发展也使得实验情景更趋于自然,提高了眼动研究的生态学效度。

在保证生态学效度的同时,要兼顾研究数据的准确性。从桌面端研究到自然场景下的研究,日光是眼动数据收集中无法回避的问题。由于大多数眼动仪是依靠红外线反射原理,日光中的红外线会对眼动的校准和捕捉造成影响,导致校准通过率低。

涉及到多种测量仪器的同时应用,在研究设计环节要特别注意流程设计,提前做好内容聚焦和研究规划。例如仪器是否全程佩戴;基线数据的获取放在哪一环节;由于眼动校准存在一定的失败率,那么是否需要把校准放在最先步骤等等。

此外,还要注意任务设置和时长控制,如通过眼镜式眼动仪进行眼动测试,要避免被试中途摘下眼镜导致数据丢失。

综上,我们把AI交互设计中的眼动研究于传统互联网眼动研究的变与不变总结为以下几点:

眼动研究作为探索人类视觉的工具,在PC和移动时代都发挥了重要作用。

我们这一代做用户研究的人经历了传统的桌面研究,做过需要准备上百实验素材的实验室静态研究,目前正在探索基于真实场景的高自由度眼动研究,并引入脑电等更多生理测量仪器,辅以机器学习,赋予眼动研究更高价值。

本文由 @AIID(百度) 原创发布于人人都是产品经理。未经许可,禁止转载。

THE END
0.【2025年高考作文素材积累】最新热点深度分析:AI时代我们还需要在AI时代,数据成为决策的核心依据。通过收集、分析和利用大量数据,Al系统能够做出更准确、更快速的决策,从而优化各种流程和服务。 3、人机交互的变革: AI时代带来了人机交互方式的根本变革。传统的键盘、鼠标输入逐渐被语音、手势、面部表情等更自然、更直观的交互方式所取代,极大地提升了用户体验。 jvzq<84yyy4489iqe0ipo8hqpvkov876136368661:973=<85a725@:2;;780|mvon
1.为AI而生!中科虹霸全球顶级AI独角兽!AI人机交互,安全,支付。站在$林州重机(SZ002535)$为AI而生!中科虹霸全球顶级AI独角兽!AI人机交互,安全,支付。站在世界最前端!$剑桥科技(SH603083)$$鸿博股份(SZ002229)$都是跟随欧美公司,中科虹霸才是超越欧美! 林重(SZ002535)摘帽点评:AI时代全球王者!比肩CHATGPT的全球AI独角兽降临! 核心逻辑如下: 1,AI时代科幻电影里你 jvzquC41ecogwqfq0ggtvvtpg{4dqv4pgyy0497528762B:733856@74356
2.大模型时代的操作系统:融合Rust和大模型,vivo打造AI操作系统实际上,国内 AI 手机起风更早,vivo 去年发布了自研 AI 大模型矩阵“蓝心大模型”,以及面向通用人工智能时代自主研发的蓝河操作系统 BlueOS。BlueOS 的系统架构选择了用 Rust 语言编写,减少安全漏洞,并引入大模型的能力,支持复杂的意图识别和声音、图片、手势等多模态交互方式,还并为开发者提供了自动编码等应用开发新jvzquC41zwkrk~3eqo5:4:<3;365287;;;93;>5
3.“所想所说即所见”!AI时代如何玩转家居新场景?AI时代如何玩转家居新场景? AI的浪潮席卷而来,不仅催生了智慧家居产品的繁荣,如智慧卫浴、智慧安防、智慧睡眠等,更将传统家居建材商业领域推向了前所未有的变革。这股不可小觑的力量,正在逐步改变着我们的生活方式,引领着家居行业向着更加智能化、便捷化的方向发展。jvzquC41yy}/zrfplkiikwf0eqs0uyjekcr0fnyckne66<=950nuou
4.美银AI深度报告:AI时代的算力机会在哪?实际上,我们正在到达人机交互的一个转折点:从传统的键盘和鼠标配置转向触摸手势、对话式AI和增强视觉计算交互的边缘。 美银认为,继PC和智能手机之后,空间计算有潜力推动下一波颠覆性变革——使技术成为我们日常行为的一部分,用实时数据和通信连接我们的物理和数字生活。 比如苹果的Vision Pro就迈出了关键一步。 边缘计算 jvzquC41ycrmu}wggvio0lto1cxuklqgu1983:76:
5.让开发者获利百度DuerOS率先开启AI时代商业化这其中,小度智能音箱发布后,业内首创的更安全健康的儿童模式与一次唤醒、多次交互的极客模式成为了业界关注的焦点,现在这两种模式也完全向业界进行开放,未来基于DuerOS3.0的设备的人机交互体验将更加智能。 在AI时代,用户获取内容与服务的门槛越来越低,用户的体验应该是“以需求为中⼼,张⼝即得”的,百度度秘事业jvzquC41yy}/eqnpcpkxu7hqo0io1kzukpktu8723:5196571:;69:820unuou
6.论教育与机器的关系“人工智能是引领新一轮科技革命和产业变革的重要驱动力,正深刻改变着人们的生产、生活、学习方式,推动人类社会迎来人机协同、跨界融合、共创分享的智能时代。”[1]这个时代最典型的特征就是人工智能技术的快速进展、智能机器的产生及大量应用、人与智能机器的交互甚至融合。这些特征具体体现在以下几个方面。一是人工jvzquC41gri/u€z0gf{/ew4kphu03:6314<9:7mvo
7.人工智能时代背景下,如何发展与应用自动化测试?大语言模型(LLM)提供了一个非常强大的人机交互方式,让机器的语言理解能力追上人类,它能相对准确地理解人类语言,并基于GPT的方式为用户提供准确的预测结果。 思寒介绍,在ChatGPT快速发展的同时,基于代码分析的codex项目也自然顺势推出。具备敏锐嗅觉的GitHub 很快与Openai合作推出了IT届的王炸 GitHub Copilot,可以说是“jvzquC41dnuh0lxfp0tfv8hufpjfxywguu615?4ctvodnn4fgvgjn|4357=55;93