Facebook提交控制器追踪技术专利申请：包含视场追踪器和非视场追踪

控制器是XR的重要交互方式，同时是体验沉浸式的关键一环。所以，如何精确地映射追踪控制器成为了各家厂商积极研究的课题。

日前，美国专利商标局公布了一份Facebook于2019年5月提交的控制器追踪技术专利申请，其介绍了一种包含视场追踪器和非视场追踪器的控制器追踪系统。

对于Quest等采用内向外追踪的VR一体机而言，控制器追踪是一个巨大的挑战，因为摄像头是嵌入至头显而非摆在外部，所以红外LED的检测和追踪变得相当困难。再加上控制器追踪圆环容易被遮挡或离开头显摄像头视场，所以问题正在成倍地增加。

名为“Multi-Layered Artificial Reality Controller Pose Tracking Architecture Having Prioritized Motion Models(具有优先运动模型的多层人造现实控制器姿态追踪架构)”的Facebook专利申请主要介绍了一种包括视场追踪器和非视场追踪器的控制器追踪系统。

具体来说，当可在传感器/摄像头的视场内追踪控制器时，系统可以根据传感器/摄像头提供的图像数据来确定其姿态，亦即以视场追踪器的方式来追踪控制器。

当不可在传感器/摄像头视场内追踪控制器时(如控制器离开摄像头视场)，或者如果控制器被视场的另一个对象遮挡时，系统可以利用其他数据和运动模型来确定控制器的姿态。

例如，控制器追踪子系统可以具有两个组件，一个视场追踪组件(Constellation追踪组件)和一个非视场追踪组件(“Corner-Case”追踪组件)。

特别是，在典型操作条件下，视场追踪器接收用于头显的状态数据和控制器的控制器状态数据(速度、加速度等)，以计算控制器的估计姿态。如果控制器可追踪(如在视场范围内且未被遮挡)，则使用视场追踪器计算的姿态，并绕过非视场追踪器。如果控制器在视场内不可追踪，并且控制器状态数据满足一个或多个角点追踪情况的激活条件，则非视场追踪器应用一个或多个专门的运动模型来计算控制器的控制器姿态。

Corner-Case是指不易追踪控制器的情况，这包括：控制器的位置不可靠以及控制器处于静止状态，控制器离开传感器/摄像头视场;控制器被遮挡等等。每个Corner-Case可以具有确定是否评估与激活条件相关联的运动模型的激活和停用条件。在显示帧生成周期中，可以激活多个Corner-Case的行为。通过评估与最高优先级行为相关的激活模型而得到的控制器状态数据，其可用于确定控制器的姿态。

然后，所得到的控制器姿态可用于通过人造现实系统提供更精确的内容渲染。

在一个或多个进一步的示例中，一种方法包括：图像捕捉组件获取表示物理环境的图像数据;通过非视场追踪器根据与手持控制器的不同运动行为相关联的多个运动模型的运动模型来确定控制器状态数据。其中，每个运动模型与一个或多个相应激活条件相关联。

根据运动模型确定控制器状态数据是响应于确定控制器在图像数据中不可追踪，并且指示用于控制器运动行为的控制器测量数据满足一个或多个激活条件。

相关专利：Facebook Patent | Multi-Layered Artificial Reality Controller Pose Tracking Architecture Having Prioritized Motion Models

名为“Multi-Layered Artificial Reality Controller Pose Tracking Architecture Having Prioritized Motion Models(具有优先运动模型的多层人造现实控制器姿态追踪架构)”的Facebook专利申请最初在2019年5月提交。