2021 年，苹果申请了一项名为“基于房间扫描的平面图生成”的专利。然后在 2022 年，苹果推出了“RoomPlan”，这是一种新的 Swift API，利用 iPhone 和 iPad 上的摄像头和 LiDAR 扫描仪来创建房间的 3D 平面图，包括尺寸和家具类型等关键特征。

　　近日，美国专利商标局授予了苹果公司这项专利，该专利涵盖了使用基于传感器数据生成的物理环境 3D 表示来生成平面图和测量的设备、系统和方法。

　　苹果专利涵盖使用物理环境的 3D 表示生成平面图和测量的设备、系统和方法。物理环境的 3D 表示可以基于传感器数据生成，例如图像和深度传感器数据。在一些实施方案中，使用物理环境的语义标记 3D 表示有助于生成平面图和测量值。一些实施方案对物理环境的 3D 点云执行语义分割和标记。本文公开的技术可以通过使用语义 3D 表示来实现各种优点，例如将语义标注的 3D 点云编码到 2D 横向域上。在 2D 横向域中使用语义 3D 表示有助于有效识别用于生成平面图或测量的结构。

　　该专利指出，平面图可以以各种格式提供。在某些实施方案中，平面图包括房间的 2D 俯视图。平面图可以图形方式描绘房间的边界，例如，通过使用线条或其他图形特征以图形方式描绘墙壁、障碍物或房间范围的其他限制。平面图可以图形方式描绘墙壁边缘、门和窗等墙壁特征的位置和几何形状。平面图可以图形方式描绘房间内的物体，例如沙发、桌子、椅子、电器等。平面图可能包括标识房间中的边界、墙壁、门、窗和物体的标识符，例如，包括标识此类元素的文本标签或参考标记。平面图可能包括对房间中边界、墙壁边缘、门、窗和物体的测量指示，例如，包括指定墙壁长度、桌子直径、窗户宽度等的数字。

　　根据某些实施方案，基于执行房间扫描的用户创建平面图，例如，移动移动设备以捕获房间中用户周围的图像和深度数据。一些实施方案在房间扫描期间提供初步 2D 平面图的预览。例如，当用户在捕获传感器数据的房间中走动时，用户的设备可能会显示正在生成的初步 2D 平面图的预览。预览是“实时”的，因为它是在持续捕获用于生成初步 2D 平面图的数据流或数据集期间提供的。

　　要启用初步 2D 平面图的实时预览，预览的生成方式（至少在最初）可能与最终扫描后平面图不同。在一个示例中，预览是在没有某些后处理技术（例如，微调、角校正等）的情况下生成的，这些技术用于生成最终的扫描后平面图。在其他示例中，实时预览可以使用计算密集度低于生成最终扫描后平面图的神经网络。使用 2D 语义数据（例如，针对房间的不同层）也可以有助于使预览确定对于实时显示足够有效。

　　在一些实施方案中，可以基于单独识别墙结构（例如，墙边缘、门和窗）和检测对象（例如，家具、电器等）的边界框来生成平面图。可以分别检测墙体结构和物体，从而使用不同的技术和结果组合，以生成代表墙体结构和物体的平面图。

　　在某些实施方案中，平面图创建流程根据多层3D语义数据编码的2D表示法来识别墙体结构（例如墙边）。例如，3D 语义数据可以分割成多个水平层，用于识别房间墙壁边缘所在的位置。

　　苹果专利图 1 是示例操作环境 #100 的框图。用户可以用 iPhone、iPad 或 Apple Vision Pro 扫描房间；图 4 是使用基于深度和光强度图像信息的 3D 数据和语义分割生成语义 3D 表示的示例系统流程图；图 6 是基于物理环境的 3D 表示生成物理环境的 2D 平面图的实时预览的示例系统流程图。