苹果 iOS 18这一功能，可能会改变。 iPad 的使用方式

iPad眼动跟踪 将来交互

毫无疑问，新款 iPad Pro 它仍然是阅读、游戏、观看视频和绘画的最佳平板电脑。但是随着 M4 芯片，妙控键盘和 Apple Pencil Pro 的加入，iPad 一台笔记本电脑比以往任何时候都更接近。

那么，是否 iPad 未来将逐步成为一款具有触摸功能的产品。 MacBook？

答案可能是否定的。

在最新的 iOS 18 中国，苹果使用这个项目「辅助功能」，一种关于我们的预言 iPad 互动的新未来。

眼动跟踪：从 Vision Pro 到 iPad

近日，苹果公司宣布其 iPadOS 18 新增加的操作系统「眼球追踪」功能，这个看似不起眼的功能却被放在了介绍页面的第一位。

谈到眼动追踪，也许大家首先想到的还是苹果之前发布的。 Vision Pro，这种设备最突出的特点之一就是用眼动跟踪代替传统的摇杆。

使用者可以通过移动眼球来控制应用程序，进行菜单导航，甚至玩游戏，不需要依靠触摸或外围设备，大大提高了使用的便利性，展现了这一交互技术的魅力。

这个主要得益于 Vision Pro 多个红外摄像头分布在内 M2、R1 双芯设计，使其能利用图像处理技术提取与眼动相关的特性，并通过建立模型来实现眼动跟踪。

Vision Pro 摄像头分布，图片来自苹果

而且不久前发布的新款 iPad Pro 形态上的一个重要变化，就是把摄像机从窄边移到长边。

点阵投影仪、泛光感应元件、前摄像头和红外摄像头组合在摄像头模组中。 M4 现在看来，芯片也许是在为后续计划铺平道路。

更新描述还显示，苹果的眼球跟踪功能都是通过设备上的机器学习来实现的，这意味着它可以立即在所有操作中运行，而不需要任何额外的硬件。 iPadOS 18 在设备中使用，证实了这个判断。

图片来自哔哩哔哩博主：微机分 WekiHome

当前业界公认的眼动跟踪方法，有两种：基于外观的眼动跟踪方法和基于二维投影的眼动跟踪方法。

前者主要从人脸图像或眼睛图像中提取特征，然后通过机器学习将这些特征与视线方向联系起来。这种方法设备简单，只需要摄像头就可以完成，但是需要大量的训练数据来建立精确的模型，然后正确的解读你的视线方向。

另外一种基于两位投射的眼动跟踪方法，主要是通过分析眼球与角膜反射的位置关系变化来决定眼球运动。

由于角膜反射光点的位置在眼球运动时不会发生变化，因此可作为眼瞳运动的参考点，根据两者位置关系的变化，计算实现方向。

校正时需要盯着屏幕上的特定点，系统会记录这些点和你的眼睛数据，建立投影模型。将来，当你看其他地方时，系统可以通过这个模型准确地知道你在看哪里。

眼睛-角膜反射向量法示意图，图片来自网络

现在看来，眼动跟踪的原理并不是很复杂，现有的硬件条件足以满足需求。事实上，苹果实际上经历了一个漫长的过程来实现这个功能。

多年来布局的最后一步

很久以前，苹果就开始布局眼动跟踪、网络相关人才和技术。

2013 2000年，苹果从以色列收购。 PrimeSense，这家公司曾经为微软提供 Xbox 的 Kinect 支持动作控制技术。

PrimeSense 创始人合影

该公司曾经推出了一款非常小巧的设备，可以嵌入手机、平板电脑等设备。 3D 摄像头——Capri。这是 PimeSense 在 2013 年 Google I/O 会议展示的内容：

Capri 在谷歌安装 Nexus 平板电脑上

Capri 进行真实的场景 3D 对场景中的物体进行建模，并获得具体的数据，如长度、宽度和高度。

通过 AR 技术模拟真实空间中椅子的冲击信息

将 3D 图像传输到 3D 打印机完成 3D 打印

当时也有一起推出的，声称在当时。「全球最小」的 3D 由于性能好，体积小，感知芯片可以部署到手机、电视等众多电子产品上。

2017 2008年，苹果收购了一家来自德国的老牌眼球跟踪技术企业 SensoMotoric Instruments，曾经是世界上最大的眼动设备制造商。

凭着「钞能力」一系列关于眼动跟踪的硬件和软件，苹果在同年首次将眼动跟踪功能应用于其 Face ID 为了提高解锁的安全性，中。

在那之后的几年里，苹果不断流出与眼动跟踪相关的专利申请，苹果也在不断探索，这不仅促成了 Vision Pro 以眼动跟踪为基础的交互技术，也催生了其它苹果设备上对眼动跟踪的无限可能。

关于眼动跟踪和早期「注意力检验」专利内容

眼动追踪的未来畅想

与传统的交互技术(鼠标、键盘、触摸等)相比，眼动跟踪具有以下优点：

自然直观:眼动跟踪利用人眼的自然运动进行交互，无需额外的操作设备。用户只需要盯着目标就可以完成相应的操作，降低了学习成本，使得交互更加直观。

提高效率:眼肌是身体反应最快的肌肉之一。通过眼动跟踪，客户可以更快地选择和控制界面元素，减少手部动作，提高操作速度和效率。

结合其它输入方式：眼动跟踪可以结合语音控制和手势操作等其它输入方式，提供更丰富、更灵活的交互技术。

多任务处理:用户在执行其他任务(如驾驶或行走)或同时处理多个任务后，只能使用眼动跟踪控制，不需要额外的动作，从而提高操作效率。

数据分析和个性化:眼动跟踪可以为客户的注意力和兴趣提供宝贵的数据。这些信息可以用来提高界面设计、广告营销和客户体验的个性化，使系统更加智能和友好。

增强现实（AR）：在 AR 在环境中，眼动跟踪可以提供更加沉浸式和自然的交互体验。使用者可以通过凝视来选择和使用虚拟对象，从而提高使用体验。

同样得益于这些优点，在很多具体场景中也显示出巨大的潜力。

例如，在许多游戏中，除了带来更方便的操作外，眼动跟踪还能给玩家带来更好的沉浸感，让玩家只需通过实现就可以控制游戏中的角色进行互动。

使用眼动跟踪控制游戏，图片来自网络

此外，在实现眼动跟踪功能后，开发者还可以根据眼动数据调整场景照明、角度变化等诸多参数，适应客户的个人视觉习惯，使游戏画面更加真实。

游戏中的社交活动也可以通过虚拟形象实现各种动作状态，如方向、眨眼、眯眼等。，可以随玩家的面部瞬间变化，丰富人物的情感表达，从各个方面提高游戏的沉浸力。

除游戏外，这种技术给日常生活带来的变化也许更值得期待。

Vision Pro 发布后，教育、医疗等场景是一个重要的应用领域，这无疑实现了眼动跟踪。 iPad 同样适用于上面。

比如飞行员模拟、手术模拟等职业训练领域，通过跟踪学员的眼球运动来评估决策速度和准确性。

眼动跟踪可以为教师提供关于学生学习过程中注意力集中点和理解度的实时反馈，有利于指定和优化个性化教学策略的教学内容。

眼动跟踪设备安装在航行驾驶模拟教学设备上。

还有一些特别适合眼动跟踪的交互技术，比如家居环境就是其中之一。通过眼动跟踪， iPad 成为智能家居中控台，实现对家居的控制；或在手上有其他东西，手上有油渍的情况下，提供另一种控制方式等等。

虽然眼动跟踪的应用潜力很大，但也有一些业内人士对该技术的安全性提出了质疑。

数据表明，一个人的眼睛数据会隐含各种各样的信息，如年龄、性别、种族、情绪状态、性格特征等。

技术、法律、政策研究所加州大学洛杉矶分校创始人及教职联席主任 John Villasenor 表示：

眼动跟踪技术一旦成熟，就会收集到更多的信息：我们在网上阅读的内容，甚至我们的阅读过程。举例来说，我们有没有看到网页广告，想了一会儿，最后没有点击？当我们阅读整个网页时，眼球是如何移动的？哪些单词、单词、主题是我们更喜欢或绕过的？将来，展示在我们面前的广告，是否不仅取决于我们买了什么，还取决于我们眼球的运动状态？

加州大学洛杉矶分校电气工程教授 John Villasenor

显然，如果我们能够理解用户注意力的持续时间和焦点偏好，并结合瞳孔大小、眼睛跳动等多个维度的数据，我们希望更准确「猜你喜欢」毫无疑问，隐私保护的难度将会更加精确，直线升级。

对此，苹果的回答是在设备中使用所有的捕捉和解读，苹果看不到摄像头捕捉到的任何内容，无需使用其他外部硬件，如眼镜等专门用于捕捉眼动数据的设施。

然而，在当前用户隐私安全越来越受到重视，信息泄露总是时有发生的大环境下，客户的担忧可能仍然难以解决，也可能成为难以实施眼动跟踪功能的重要因素。

专门用来捕获眼动数据的 Tobii Pro Glasses 图片来自Tobiiiii2

此外，还有一个更大的问题，那就是如何保证眼动跟踪在不同的环境中稳定准确地运行，适应佩戴眼镜、眼睛特征独特的人群等。

而且因为人的视线一般都是快速移动的，运动也常常是不规则的，或者是跳跃的，这也是一个必须解决的难题。

为了解决这个问题，苹果可能会使用。 AI 来解决。

一个人曾经负责开发 Vision Pro 苹果前员工 Sterling Crispin 据透露，苹果利用大量的神经科学来开发它的一些关键功能，例如， AI 对用户的操作行为进行预测：

AI 模型会试图预测你是否感到好奇、分心、害怕、集中注意力、回忆过去的经历或其他认知状态。这些可以通过眼睛跟踪...测量来推断。

他还说，这主要是因为：

你的眼睛会在点击前做出反应，部分原因是你估计点击后会有事情发生。因此，UI可以通过测试用户的眼睛行为并实时互动。 为了创建更多这一预期的眼瞳反应，创建用户大脑的生物反馈。

同时，他也兴奋地说，这种加入 AI 眼动跟踪反馈的算法和实时反馈，正在使之成为一种「脑机接口粗糙」，非常酷。

对 iPad 扩展功能，重塑地位？

当然，眼动跟踪变成了眼动跟踪「脑机接口」描述可能有点夸张，但无法掩盖的是其扩展交互技术的潜力。

iPad 诞生之初曾被寄予厚望，但至今仍被许多人视为「买后爱奇艺」造成这种情况的根本原因在于缺乏互动。

事实上，苹果在这方面做了很多努力，例如 Apple Pencil、加入妙控键盘，在一定程度上可以看作是苹果在丰富平板交互技术方面的尝试。

但这些努力似乎并没有从根本上改变。 iPad 毕竟，如果你想用键盘，为什么不直接选择呢？ MacBook？而 Apple Pencil 尽管发掘出 iPad 形态在专业领域的潜力，但由于行业领域狭小，无法拯救。 iPad 的关键。

此外，从「辅助功能」寻找新的互动，也一直是苹果发掘商品潜力、提供新突破的重要途径。

比如 Apple Watch Series 9 双击功能可以感应手指动作，无需触摸即可控制手表。推出后受到很多用户的好评，但也隐藏了很久。「辅助触摸」的角落。

类似于眼动跟踪的互动，实际上隐藏在苹果里。「辅助功能」例如，现在有许多目录， Mac 电脑的「辅助功能」中间，已经出现了「头控指针」，使用者可通过移动头部来调整指针的移动。

随着 iOS 18 更新，眼动跟踪也同样很有可能也会从「辅助触摸」走向舞台中央的角落，在一段时间后成为你每天使用的一个重要功能，打开它 iPad 互动新时代。

或许，不只是用手指来控制， iPad 的未来。

本文来自微信公众号“爱范儿”（ID：ifanr），作者：王萌，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com