本文参加百家号#科学了不起#系列征文赛。

估计物体的物理属性的能力对于机器人来说是非常重要的，因为它可以让机器人更有效地与周围环境进行交互。近年来，许多机器人研究人员一直在专门尝试开发能够让机器人估计物体或表面的触觉属性的技术，这可能最终让机器人拥有类似于人类触觉的技能。

罗格斯大学计算机视觉与人工智能专业的博士生MatthewPurri在之前研究基础上，开发出了一种基于卷积神经网络(CNN)的模型，通过分析表面的图像，可以估计表面的触觉属性。Purri的新论文预发表在arXiv上，由罗格斯大学电气工程教授KristinDana指导。

我之前的研究涉及到卫星图像中的细粒度材料分割，Purri说。卫星图像序列以不同的视角和光照角度以及多光谱信息的形式提供了大量关于场景的物质信息。我们从之前的工作中了解到了多视角信息对于识别物质的价值，这些信息可以作为物理表面属性估计问题的线索。

Dana和罗格斯大学的其他研究人员此前曾开发出一种技术，从反射盘图像中估计表面的摩擦系数；这是一种特殊类型的图像，显示了表面或材料能够反射辐射能量的程度。在他的论文中，Purri着手进一步发展这种方法，使其能够从RGB图像中估算出更多的物理特性。

这个新项目的目标是仅从视觉信息中估算出表面的众多物理特性，比如摩擦力和柔韧性，Purri解释道。我们与SynTouch公司合作，该公司创造了一种被称为Toccare的触觉传感器，可以测量表面的各种触觉物理属性。在我们的arXiv论文中，我们探索了从单个图像和多个图像中估计这些属性的可能性。

Purri和Dana在研究中探索的另一个问题是，不同图像的拍摄角度是否会影响他们的神经网络对表面物理属性的估计能力。然而，研究人员并没有手动选择不同的观察角度，而是设计了一种模型，可以自动学习最佳的观察角度组合，以及理想的神经网络参数。

这个模型的一个目标是学习一个函数，将表面的图像（视觉信息）和触觉物理属性信息分别投射到一个共享的子空间中，其中视觉-触觉信息的对子空间很近，而不同的视觉-触觉信息的子空间则相隔很远，Purri说。为了实现这一目标，如果单独投射的视觉-触觉对在子空间中相距较远，模型就会受到惩罚。

Purri和Dana设计的技术还试图按照辅助分类目标，识别出与其他视觉和触觉属性相似的视觉和触觉对。然后，它通过一个被称为视觉-触觉特征聚类的过程生成新的分类标签。

我们模型的另一个目标是从视觉信息中估计物理属性，Purri说。一个联合学习的函数接收预测的视觉信息并估计一个或几个物理属性。我们通过在模型的这一部分中加入一个对抗性目标，提高了估计性能。物理属性估计与输入的视觉信息相结合，本质上欺骗了一个判别函数，使其认为这是一个真实的物理属性值。

Purri和Dana在一系列实验中评估了他们基于CNN的模型用于估计表面物理属性的模型，发现它表现得非常好。事实上，仅仅通过分析表面的图像，他们的模型就能识别出许多表面的物理属性。

研究人员设计的新模型可以有许多有趣的应用。首先，它可以让机器人系统更好地了解周围环境中物体和表面的关键特征，使它们能够更有效地与物体和表面进行交互，并更轻松地浏览新环境。

此外，研究人员还介绍了一种自动计算图像角度的最佳组合的方法，用于训练模型估计物体的物理特性。在未来，他们确定的最佳组合可以为设计为特定任务定制的传感器提供信息，例如工厂的质量控制等。

在第一阶段的研究中，我们已经展示了从视觉信息中学习物理属性的效果。Purri补充道。我们的下一个目标将是利用我们获得的洞察力来提高精确操作物体的任务中的模型性能。

论文标题为《Teachingcamerastofeel:Estimatingtactilephysicalpropertiesofsurfacesfromimages》。