报告嘉宾：王曦耀博士 作者：王湛 审核：黄鎔 日期：2022年4月15日
2022年4月15日星期五上午，HKUST-CIVAL课题组邀请了加拿大维多利亚大学王曦耀博士做特邀报告。王曦耀博士曾在法国国家信息与自动化研究所与法国巴黎萨克雷大学攻读人机交互的博士。在此之前，获巴黎萨克雷大学的硕士学位，法国高等电力学院的工程师学位，及巴黎第六大学和中国海洋大学的学士学位。目前主要研究方向是与三维环境相结合的数据可视化，及相关的交互技术。
王曦耀博士带来了题为《结合增强现实技术的科学数据探索》的精彩报告。首先，讲者介绍了科学数据可视化的背景以及使用2D可视化的方法探索科学数据的局限性。交互式的可视化对于科学研究是非常重要的，尤其是三维的科学数据，例如物体的模拟、医学、天文学等自然学科都依赖可视化来探索数据。传统的工作方式是在电脑上进行，使用鼠标键盘进行输入，在2D屏幕输出，研究者可以使用非常丰富的交互功能来观测数据，如精确地调整视角、添加切片等操作。但是科学数据往往包含三维信息，投射到2D屏幕中容易互相覆盖、失去深度信息，常需要使用切片的方式来理解三维立体结构，这些局限性使得二维的可视化方式对于观测大型数据有一定的困难。
为弥补二维可视化的不足，近年来涌现了许多基于V/AR设备的可视化尝试，该类设备提供了沉浸式的视觉体验，研究者不再需要将可视化投射到二维中，可以直接通过双目观测到三维可视化的整体且不会丢失深度信息。基于此，研究者们开始思考：如何将这些新设备更好地融合到现实的科学工作中？
其后，王曦耀博士介绍了他所在的研究团队和高能物理领域的合作工作。高能物理领域的数据在科学数据中具有代表性。首先，该领域研究者既需要理解空间结构的三维数据，也需要借助传统图表显示抽象的数据。其次，他们经常使用代码、纸笔以及图表等多样的工作方式来进行研究分析。讲者以粒子碰撞为例，介绍了高能物理数据，表示在实际工作中，高能物理数据难以通过二维的形式看到细节的内容，因此物理学家对于如何在三维中沉浸式地观测这些数据非常感兴趣。
通过和物理学家们的交流，王曦耀博士发现，该领域研究者通常需要先进行传统的数据分析，找到感兴趣的区域，再进行局部可视化探索细节信息。该过程中两种任务不断切换，因此不能单独使用电脑环境或者虚拟环境进行工作，他们需要一种将传统环境和可视化环境相结合的方法。该类研究过程中，代码的编写依赖于传统环境，无法完全使用VR设备解决，因此他们选择采用AR设备，探索如何在保留原有的工作环境的同时增加混合环境。为了避免学习和维护的成本，他们选择了头戴式AR设备HoloLens，这种小型设备能更方便使用者和周围的人交流。讲者强调他们研究的重点在于交互，即应该使用什么样的设备、技术对混合环境进行交互。
接下来，王曦耀博士介绍了他们对于现实环境和虚拟环境结合的探索。
在日常办公中，物理学家们通常使用两个屏幕进行工作，分别承担不同的任务却互相关联。讲者所在团队将其中一个屏幕换成了AR环境，并保持与电脑连接。虽然AR设备提供了自带的输入方式，但并不适合与电脑进行长时间的精确交互。因此，他们连接了AR环境和鼠标键盘，用一套交互方案操控两个环境。
首先，他们设计了一个简单的原型，在电脑和AR上使用了同样的界面，对数据进行简单控制（平移、旋转、放大、缩小），以理解物理学家如何AR环境，以助于后续的实验设计。他们对7位高能物理学家进行了用户实验。结果表明AR设备作为电脑的延续是一种可行的方式。专家普遍表示这种方式简单易用，能够保持深度信息，可以更方便地理解细节信息（如：粒子的运动方向）。此外，因研究过程常依赖于多视图的比较分析，AR设备中无限大的画布有助于对此类任务。同时，研究者通过身体移动可在不同的视角下观测数据，相较于传统设备中需要通过键鼠来进行的交互调整，“人体走动”对于角度变化的感知更加直观，且调整速度更快。此外，被试者也提到重复的交互界面不是必须的，建议在AR环境中提供更多三维相关的交互方式，如使用手势进行一些简单的交互等。
进一步，针对AR中精确交互的问题，王曦耀博士介绍了他们关于比较2D和3D交互工具的用户实验。在需要一些高精确度的任务中，鼠标键盘这类能够灵活输入的传统工具最受欢迎。那么，3D工具是否能有助于提升交互体验和效率？他们选择了一些市场上易得的交互工具，如鼠标、3D鼠标和平板等设备作为输入端，与2D屏幕、AR眼镜等输出设备两两匹配，观察用户的操作。
为量化设备的使用效率，他们设置了两个用户任务。任务一是控制两个相同物体在视觉上尽量重合（模拟旋转、移动等操作）；任务二是操作平面使其尽可能贴近一个类流体的多面体的斜面（模拟切片操作）。实验结论表明3D的输入设备有助于提高交互效率，但该实验并未验证输入设备与输出设备的维度匹配是否对最后结果有影响。
讲者提到在之前的实验中，用户可以站起来移动以调整观测角度，但此过程缺乏精确的控制，也看不到电脑屏幕，缺失了背景信息。因此在后续实验中，他们引入了移动平板此类便携设备作为补足，这类设备的交互方式主要是在2D平面中触碰，若需要控制三维数据，用户需要多指同时操作。但是，由于移动平板的屏幕比较小，多指操作容易遮挡信息，且杂糅多种交互方式的操作模式降低了控制的精度。因此他们考虑对输入压力进行判断，增加了压力的检测，每个手势只能对一个维度进行操作，同时还添加了背景变化、震动等操作反馈，以提升用户体验。实验结果表明用压力区分交互维度可以提高操作精度，但是会减慢操作过程。
通过对实验设计与结果的讲述，王曦耀博士总结了他的经验与看法：AR可以作为输出端的扩展；鼠标键盘依然是主要的交互工具；可以针对特殊的使用场景添加其他的输入方式；移动平板可以作为站立、走动时保留背景信息的精确控制方式。
最后，王曦耀博士简单介绍了他现在的研究工作——如何将现实场景的渲染和可视化相结合。他提到现在很难使用V/AR设备直接进行操作，依然需要电脑作为主要设备，V/AR设备作为辅助。这项工作的主要困难点在于对渲染细节的较高要求，这对于数据可视化产生了较多的限制。
在提问环节，王曦耀博士和CIVAL课题组进行了热烈的讨论。针对AR环境中鼠标的设计，王曦耀博士提到，目前虚拟环境中基于鼠标的交互设计依然是比较困难的，在他们的实验中，鼠标被限制在2D平面中进行移动，还不能进行深度的交互。在谈及V/AR中的交互任务和目标用户时，王曦耀博士提到沉浸式可视化对于科学数据研究还是一种辅助性的探索手段，三维可视化虽然具有深度信息，但是复杂多维的信息也往往更难理解。关于V/AR的前景，王曦耀博士分享了自己的经验，提到大部分公司会投资一些V/AR的方案，但是工业中的需求还是主要以工程为主。