2020年1月4日，由中国计算机学会计算机视觉专委会主办、上海科技大学信息科学与技术学院承办的第5期CCF-CV“视界无限”系列活动——“虚拟现实/增强现实（VR/AR）的前沿进展与未来趋势”研讨会在上海科技大学成功举行。本期研讨会由计算机视觉专委会副主任、上海科技大学虞晶怡教授组织和主持。研讨会邀请了北京大学查红彬教授、美国加州理工学院Mathieu Desbrun教授、清华大学刘烨斌副教授、浙江大学章国锋教授、上海交通大学严骏驰副教授、微软亚洲研究院王井东研究员做引导发言，大连理工大学卢湖川教授、南开大学程明明教授、爱奇艺王涛研究员、上海科技大学何旭明副教授、高盛华副教授、Laurent Kneip博士参加了深度研讨环节。来自全国高校和企业的60余名参会者汇聚申城，就VR/AR的理论与应用进行了热烈的交流和深入细致的探讨。

会议议程依次包括引导发言、深度研讨、系统展示三部分。首先，虞晶怡教授致辞。虞老师回顾了上海科技大学2016年承办计算机视觉专委会RACV会议的情景，欢迎与会嘉宾和师生再次来到上科大，共同探索计算机视觉技术在VR/AR领域的应用。希望上科大新的设施和环境帮助大家更好地理解知识、激发创意；希望通过深入研讨推动VR/AR同行之间的交流、促进合作、提升影响力，并祝愿研讨会圆满成功。

查红彬教授的引导发言题目是“SLAM研究的新进展：从多视点几何计算到在线学习”。他指出，传统的SLAM技术充分利用多视点几何与SfM（Structure from Motion）等领域的高效算法，并通过与深度传感器、惯性传感器等下一代传感设备的数据融合，在传感器轨迹计算精度与三维场景重建质量方面取得了显著的进步。但在实际应用中，仍存在重建误差积累严重、计算成本高昂等问题，影响了机器系统的在线响应速度以及对复杂环境的自适应能力。针对这些问题，应最大限度地利用传感数据的时空一致性与三维地图的几何不变性，在现有多视点几何计算的基础上，强化SLAM算法的系统性与泛化能力，进一步改善其基本性能。

Mathieu Desbrun教授以“Towards Virtual Physical Reality”为题，深入浅出地介绍了虚拟物理现实的任务定义、主要难点和研究现状。作为计算机图形学领域国际知名的专家，他风趣地分享了研究该问题的缘起，并从学术与工业双重视角出发，给出了该领域当前的开放问题以及下一阶段值得关注的重点。

刘烨斌副教授的报告题目是“人体动态三维重建技术与应用”。人体对象是视觉场景信息中最重要的部分，具有复杂的纹理外观特性、非刚性形变和高动态特性。人体对象的动态三维重建可应用于全息三维影像通信、3D人体试衣、增强现实、安防视频人体行为分析、各类智能机器三维视觉分析、影视娱乐游戏等。报告围绕人体三维重建的精准、实时、便捷、大范围、语义化等技术目标，介绍了近年在多视点相机、单深度相机、单RGB图像/视频的人体三维重建等方面的研究工作，并对未来潜在应用进行了讨论。

章国锋教授的报告题目是“面向增强现实应用的视觉SLAM与高精度地图构建”。他指出，在过去的十多年里视觉SLAM和视觉惯性SLAM技术已经取得了很大的成功，并成功应用于AR产品。但在实际应用中，开发一个鲁棒高效的SLAM系统仍然很有挑战性。例如，在实际增强现实应用中，很容易遇到各种各样很有挑战性的情况，如快速运动、强旋转、严重的运动模糊、动态干扰等等，如何在这种复杂非配合环境下做到稳定运行，从而保证良好的增强现实体验？如何高效鲁棒地对室内外大规模场景进行扫描和构建高精度三维地图？如何在一个低功耗的移动设备上也能做到实时精准的跟踪定位？章老师的报告为这些关键问题提供了解决方案，并展示了一系列增强现实应用。

严骏驰副教授的报告题目是“Robust Correspondence Recovery via Neural Graph Matching”，重点介绍了近年来提出的多个可用于增强现实的超图匹配和多图匹配方法，并对图匹配与图割、聚类、链接预测等经典问题的结合方式进行了展示。最后，严老师展望了图匹配与机器学习问题的未来交叉研究方向。

王井东研究员的报告题目是“Face alignment, human pose estimation and parsing with high-resolution networks”。人体图像分析是VR/AR领域的重要研究对象之一。他介绍了在人体图像分析中几个关键问题的最新工作，包括基于高分辨率网络HRNet的人脸关键点检测和人体姿态估计、以及基于HRNet和物体上下文（object context）的人体部件分割等。

在Panel环节，与会嘉宾与现场师生就“VR/AR的挑战性问题和发展趋势是什么？”、“VR/AR今后的发展，是往云端走还是终端走？云边端分别计算什么？”、“VR/AR的某些场景中传统特征提取方法会被取代吗？”、“RGB和RGB-D，哪个更加有用？”等问题展开热烈讨论，参会者也就自己关心的问题与嘉宾交换了观点。

在系统展示环节，与会者参观了上海科技大学多学科人工现实工作室（MARS）的虚拟现实/增强现实应用成果，并与系统开发者进行了面对面的交流互动。

最后，第5期“视界无限”研讨会在热烈的掌声中圆满结束。

观 点 分 享

为了惠及广大的研究者，每期“视界无限”精选嘉宾观点以快问快答的形式进行分享。

Q1: VR/AR的挑战性问题和发展趋势是什么？

A1: 今天讨论的题目主要围绕AR、VR、MR。刚才大家的报告里讲的都是VR/AR系统里面的要素技术，但仍存在以下难点：（1）VR/AR是一个系统技术，实现上有难度。SLAM在很多地方都很好用，用的最好的是在自动驾驶里面，移动机器人也在做；但是VR/AR用的反而不多。如何系统化在VR/AR里是比较难的。（2）VR/AR离不开硬件，算法实现相对容易，但没有硬件展现是个比较严峻的问题。（3）如何把实际场景和虚拟场景关联起来是另一个问题。物理和虚拟目前的相关性不足，很多关于真实感绘制等基础东西目前国内没有人做了。（4）VR/AR是一个系统性研究，要明确一个实际的应用场景。VR/AR还没有什么实际的产品，导游、游戏都停留在一般概念上。目前还没有探索到很大的市场，没有真正落到实事上。（查红彬）

A2: 我按照査老师的意见从后向前说一下我的观点。先说市场问题，目前VR/AR的市场确实不好。有的头盔做的还可以，但叫好不叫座。做VR/AR和CV，看着都很好，但挑战性问题是如何商业落地。关于绘制问题，一些做图形学的研究者正在做些基础性的工作，可能会被做图形学的人先做起来，大家可以关注下。关于硬件介质，确实比较难，目前还是AR的头盔看起来更有吸引力一点。关于系统集成，这个太难了，不是一个视频或者论文的问题，里面有很多挑战。（虞晶怡）

A3：真正一项技术从论文到产品化非常艰辛。关于SLAM的工作，存在各种各样的问题。很多研究工作从经验上来说，很难稍微改改就直接产业化应用。另外VR/AR系统的功耗要求很高，需要远高于实时，手机厂商对功耗的要求是工业死线。对于功耗和性能的优化，必须非常重视。从一个原型的成果到产品化，需要相当一段时间去打磨，需要研究和工程很好地配合。（章国锋）

Q2: VR/AR今后的发展，是往云端走还是终端走？云边端分别计算什么？

A1: 未来趋势一定是云边端结合。关于云端的话，延时是一个问题。往云端传需要几十毫秒，但需要毫秒级的响应就必须在终端。所以，云边端需要很好地配合。比如今天提到的基于空间计算的AR技术，对存储和算力的要求都很高。（章国锋）

A2: 比如重定位和全局优化可以放在云端，这个对耗时要求没那么高，几百毫秒就可以。但是有的计算需要毫秒级的响应，需要终端。比如基本的特征提取，还是在终端中。但是可以用芯片去优化，比如DSP。还有一些对延时要求没那么高的，可以尽量放在云端。重定位、高级特征等，可以在云端做高精度定位，手机端基本难以实时。需要对于资源有一个合理的设计。（章国锋）

Q3: 传统的特征提取会被取代吗？

A1: 目前可以用定制网络。如果网络大小不是那么大，可以放在手机端。有些基于学习的特征提取更有优势，不仅仅是精度更加高，在功耗等各个方面都有自己的优势。（严骏驰）

A2: 学习的方法和传统方法各有特点。手机端更加适合用传统的轻量级特征。云端上学习的特征确实要好，尤其是处理光照变化的能力更有优势。视觉重定位，这种预先拍好的可以预先学习好，很适合用神经网络。在重定位以及回路闭合等任务中传统特征可能被取代。(章国锋)

A3：匹配问题中，也可以替代传统的方法。深度学习的成功重要原因之一就是学特征。（王井东）

Q4: RGB和RGB-D，哪个更加有用？

A1: 现在手机的RGB-D比较差。做人脸扫描还行，环境扫描可以做，但对于人体全身来说深度信息发挥的作用非常少，而且有手机功耗的问题，目前主要用来定位。高质量的深度信息肯定很有用，期待有更好的深度相机。但是目前的kinect在细节效果上还是没有那么好，相比前一代质量上提升不多。我们也曾自己尝试搭深度相机，虽然学术的创新性不一定能体现出来，但还是应该自己做一些实际工作。（查红彬）

Q5：人的pose容易识别，还是猪的pose容易识别？（注：这个问题源于刘烨斌副教授展示的基于视频的渐冻症患猪检测与发现任务）

A1：人的容易，人是站立的，不遮挡；相反猪腿短，一边的腿很容易被遮挡。（刘烨斌）

A2：猪的容易，猪的动作不太复杂，只有一些幅度较小的基本动作。（程明明）

A3：猪的关节变化少，猪的运动模式更加简单。（查红彬）

A4：动物不穿衣服，纹理难检测。（刘烨斌）

A5：猪标注的关键点少，难度大，猪看不到关节点。（严骏驰）