FacebookRealityLabs最新的一篇论文3D模型+材质重建。该方法以物体的多视图照片为输入，利用MonteCarlo可微渲染联合重构一组PBR纹理和一个三角形网格，可以方便地在传统的计算机图形管道(如路径跟踪器或AR/VR环境)中重用。

应用场景1:在Blender中使用其重建的3D模型（循环渲染）。

应用场景2:在基于AR的对象插入中使用其重建的3D模型。

应用场景3:使用iPadProLiDAR深度传感器，可以对对象进行快速3D扫描（尝试使用Scaniverse应用程序获得的右侧的WebGL对象）。关于LiDAR详细说明请查看：移动端三维重建APP汇总LiDAR扫描技巧

然后，我们可以使用管道共同完善其几何形状和外观，并在AR/VR中重新使用重建的3D模型。

应用场景4:使用其他低成本的深度传感器，例如MicrosoftAzureKinect或StructureCore，还可以获得对象的快速3D扫描（尝试使用SkanectPro获得的右侧的WebGL对象）。同样，我们可以优化和重用AR/VR中重建的3D模型。

利用二维测量图像重建真实世界物体的形状和外观一直是计算机视觉中一个长期存在的问题。在本文中介绍了一种新的综合分析技术，通过鲁棒的从粗到细的优化和基于物理的可微分渲染，能够产生高质量的重建。

不像大多数以前的方法，几何和反射率很大程度上分开处理，该方法统一优化，利用图像梯度与物体反射率和几何。为了获得物理上精确的梯度估计值，作者开发了一个新的基于gpu的MonteCarlo可微渲染器，利用可微渲染理论的最新进展，同时享受比现有工具(如PyTorch3D和redner)更好的性能。为了进一步提高鲁棒性，我们利用多个形状和材料先验以及从粗到细的优化策略来重构几何。证明了其技术可以产生更高质量的重建比以前的方法，如COLMAP和Kinect融合。

论文下载

转载请注明:http://www.aideyishus.com/lkgx/261.html