从ARKit获取特征点

问题描述:

我想抓取ARkit找到的原始特征点,该API公开了稀疏点云​​:https://developer.apple.com/documentation/arkit/arframe/2887449-rawfeaturepoints,并将其输出为vector_float3的列表。我还希望在这些点云坐标的每一个坐标上都有特征点的矢量表示,例如它可以是SIFT,SURF,BRIEF或任何内部使用的任意点。我可以从视频输入中抓取图像并在图像上运行特征检测器,但不能保证特征点与稀疏点云处于相同的三维坐标!从ARKit获取特征点

Apple不公开定位/生成特征点的内部机制。这对于Apple API来说是典型的 - 它们倾向于公开结果而不公开任何底层算法的细节,因为这样可以让他们在将来改变这些算法,自动改善所有使用该API的发货产品的体验。

事实上,苹果引用这个原因,并暗示应该避免使用解析点云的......在那里你链接的文档页面:

ARKit不保证数量和原始特征点的排列在软件版本之间或甚至在同一会话中的后续帧之间保持稳定。