苹果新的空间计算设备 Apple Vision Pro 没有物理控制器,依靠眼动追踪和手势来与虚拟物体进行交互。在 WWDC23 开发者会议上,苹果设计师概述了可以与 Vision Pro 一起使用的六种特定手势,以及一些交互的工作原理。
- Tap:同时点击拇指和食指会向头显示设备发出信号,表示你要点击显示屏上的虚拟元素。用户也将其描述为一种捏合,相当于点击 iPhone 的屏幕。
- Double Tap:拇指轻触食指两次将启动双击手势。
- Pinch and Hold:拇指和食指捏合一段时间,类似于点击并按住手势,它执行突出显示文本等操作
- Pinch and Drag:拇指和食指捏合并拖动,可用于滚动和移动窗口。你可以水平或垂直滚动,如果更快地移动手,将能够更快地滚动。
- Zoom:两种主要的双手手势之一。你可以把手指捏在一起,向两边拉开是放大窗口,回收则是缩小窗口。
- Rotate:另一种双手手势,根据苹果的图表,它将涉及将手指捏在一起并旋转双手以操纵虚拟对象。
手势将与眼球运动协同工作,Vision Pro 中的许多摄像头将非常准确地追踪用户的视线。眼睛位置将是确定用户想要使用手势进行交互的对象的关键因素。例如,查看应用图标或屏幕上的元素会定位并突出显示它,然后用户可以使用手势跟进。
手势不需要很隆重,可以把手放在膝盖上。事实上,苹果鼓励这样做,因为它可以防止手和手臂因被举在空中而感到疲倦。用户只需要一个微小的捏合手势就可以相当于点击,因为摄像头可以追踪精确的运动。
用户正在查看的内容将允许用户选择和操作离用户很近与很远的对象,苹果确实预测了用户可能希望使用更大的手势来控制面前对象的情况。用户可以伸出手并使用指尖与对象进行交互,例如,如果用户面前有一个 Safari 浏览器窗口,可以伸出手并从那里滚动,而不是用膝盖上的手指。
除了手势之外,头显还将支持空气打字等手部动作,但那些收到演示的人似乎还没有能够尝试此功能。当然,手势可以协同工作,比如创建绘图,用户需要查看画布上的一个点,用手选择画笔,然后在空中使用手势进行绘制。如果查看其他地方,用户将能够立即将光标移动到要查找的位置。
虽然这些是苹果描述的六个主要系统手势,但开发人员可以为他们的应用程序创建自定义手势,以执行其他操作。开发人员需要确保自定义手势与人们可能使用的系统手势或常见手部动作不同,并且这些手势可以频繁重复而不会使手部疲劳。
为了补充手势和眼动,可以将蓝牙键盘、触控板、鼠标和游戏控制器连接到头显,并且还有基于语音的搜索和听写工具。
能够尝试 Vision Pro 的用户都用同一个词来描述控制系统:直观。苹果的设计师似乎已经创造了它,使其类似于 iPhone 和 iPad 上的多点触控手势,到目前为止,反应是积极的。