ARToolKit on HoloLens介绍
HoloLens with ARToolKit v0.2
概括:
HoloLensARToolKit是将ARToolKit(v5.3.2)与HoloLens或通常为UWP(通用Windows平台)集成的成功实验。
通过ARToolKit提供的基准标记跟踪,以及HoloLens的室内定位,许多增强现实应用程序将成为可能。
v0.2比v0.1新增了什么?
HoloLensARToolKit v0.2涉及重写视频管道,利用Windows.Media.Capture API。
与通过Unity WebcamTexture实现帧数据的v0.1相比,Windows UWP API提供了对视频控制的直接访问。
当前实现广泛使用基于.NET任务的异步模式,以并行化视频捕获,跟踪和Unity渲染。 放松每个模块之间的依赖关系。 HoloLensARToolKit v0.2能够实现:以45-60 fps渲染,30 fps的视频捕获,以及25-30 fps的性能跟踪。
新增的分支:feature-grayscale进一步提高了性能。
另外,矩阵码不匹配问题是固定的,并且坐标系表示更加一致。
感谢Daniel Anderson:现在支持IL2CPP脚本后端。
HoloLens可定位相机姿势被集成以使跟踪更稳定。
例子
下面的例子是用HoloLensARToolKit v0.1实现的
视频链接:https://youtu.be/cMzNyJkr3X0 多维数据集的小兵
https://youtu.be/PqT90QfgP-U HoloLensARToolKit 样例
运行例子
-
确保安装了HoloLens开发工具。
HoloLens仿真器和Vuforia不是必需的。
Visual Studio 2017是首选。 -
启动Unity3D,导入ARToolKitUWP.unitypackage打开项目文件夹HoloLensARSample。
-
然后打开其中一个示例场景
Assets/Sample/HoloLensARToolKitSingle.unity
Assets/Sample/HoloLensARToolKitCube.unity
Assets/Sample/HoloLensARToolKitMulti.unity
Assets/Sample/HoloLensARToolKitCoords.unity -
配置Unity播放器设置以构建Visual Studio 2017解决方案。
-
使用Visual Studio构建应用程序并将其部署到HoloLens。
-
准备ARToolKit的相应印刷标记。
标记图像在这里。 https://github.com/artoolkit/artoolkit5/tree/master/doc/patterns
确保打印的标记大小与Unity中配置的相同。 -
移动标记并查看效果。
HoloLens点击器或空中分流器可以禁用和启用视频预览。 禁用预览会加速渲染。
兼容性测试
A. Unity 2018.3.1.f1
B. Visual Studio 2017 (Toolset v141)
C. ARToolKit 5.3.2
D.Windows 10 SDK 10.0.10240.0 to 10.0.17134.0
理解HoloLensARToolKit v0.2
- HoloLens上的ARToolKit http://longqian.me/2017/01/20/artoolkit-on-hololens/
- Unity原生编程 http://longqian.me/2017/01/29/unity-native-programming/
- ARUWPController options v0.2 http://longqian.me/2017/05/15/hololens-artoolkit-controller-v02/
- ARUWPMarker options v0.2 http://longqian.me/2017/05/15/hololens-artoolkit-marker-v02/
- ARUWPVideo options v0.2 http://longqian.me/2017/05/15/hololens-artoolkit-video-v02/
- 在HoloLensARToolKit v0.2中协调系统 http://longqian.me/2017/05/15/hololens-artoolkit-coordinates-v02/
学术引文
如果这项工作有助于您的研究,请引用以下论文:
@article{azimiqian2018alignment,
title={Alignment of the Virtual Scene to the 3D Display Space of a Mixed Reality Head-Mounted Display},
author={Azimi, Ehsan and Qian, Long and Navab, Nassir and Kazanzides, Peter},
journal={arXiv preprint arXiv:1703.05834},
year={2018}
}
执照
HoloLensARToolKit由两个独立的项目组成:ARToolKitUWP和ARToolKitUWP-Unity(包括样本)。
它们都可以使用,符合GNU宽通用公共许可证(LGPL v3.0)。 https://www.gnu.org/licenses/lgpl-3.0.en.html
有关许可证详细信息,请参阅COPYING和COPYING.LESSER。
ARToolKitUWP是ARToolKit的修改版本,静态链接到ARToolKit二进制文件,因此符合ARToolKit的许可限制(请参阅详细信息)。 https://github.com/artoolkit/artoolkit5