杨万扣东南大学


东南大学杨万扣副研究员访谈


2020年8月上旬,《CCF-CV专委简报》在线采访了东南大学自动化学院博士生导师杨万扣副研究员。下面是采访实录。


杨老师,您好!首先,请您介绍一下您的个人学习和研究经历。

       我在南京理工大学计算机系及后来的计算机学院分别获得学士、硕士和博士学位。硕士毕业后,我在北京铁道部下属一家国企工作一年,作为主力参与了公司承担的铁道部“TFDS”项目,即火车故障的自动检测工作。在公司工作有两点体会:(1)自己的知识储备和能力还有欠缺;(2)公司上班要求打卡,不自由。于是我选择回南京理工大学继续读博,打算毕业后进高校工作。博士期间有幸到香港理工大学做研究助理,开阔了视野,并认识了一群好朋友。博士毕业到东南大学自动化学院做博士后,中途去了美国北卡大学威明顿分校做博士后。博士后出站留在东南大学自动化学院工作到现在。2015年申请到CSC资助前往悉尼科技大学学习一年。博士期间主要做子空间学习,后面逐步转向动作识别、目标检测、跟踪和图像分割,并陆续开发了一些应用系统。这么多年的工作和发展,离不开工作单位、母校、母院及师长和朋友们的关心和大力支持。

您在目标检测与跟踪、行人理解、人脸识别和环境感知等方面有很多的研究成果,能否跟大家分享一下您的这些成果?


总的说来,我们的工作还比较浅显。做论文之余,我组织学生搭建了一些软硬件结合的实际系统,如基于机器视觉的显示屏外观检测系统、布匹瑕疵检测系统和红外人脸测温系统等,其中一些系统有推广。关于目标检测,我们主要做了一些轻量级的快速目标检测方法,如我们设计了一个模型大小为300K的人脸检测算法,在工业界得到了应用;我们对YOLO算法进行了修改和模型压缩,成功应用到实际系统中;关于目标跟踪,我们基于深度框架下卷积滤波器的优化和利用时空记忆网络做了一些单目标跟踪算法,在多个标准数据集上取得了当前比较好的性能,和其他优势方法相比,我们方法需要训练的数据量非常少;关于图像语义分割,我们利用NAS构建一些轻量快速的网络模型;关于人体姿态估计,我们利用人体先验结构知识辅助搜索针对各个部件的特定神经网络结构。基于这些研究工作,我们陆续完成了一些应用项目,并逐步搭建了无人车和无人机平台。

今年7月份的一则新闻“2020年春节期间,东南大学老师杨万扣及他的团队通过昼夜奋战突击开发了“非接触式智能精准测温筛查系统”,成功部署在江苏省委统战部、江苏省公安厅办公大厅、东南大学、南京29中、凤凰集团、徐庄软件园、汤泉街道、永辉超市等场所,直接服务于抗“疫”一线,得到了中共江苏省委统战部的表扬。”家喻户晓,请问杨老师能分享一下该系统的开发过程,及开发过程的一些花絮么?


春节期间,新型冠状病毒肺炎疫情爆发,全国同舟共济、众志成城,抗击疫情。我们正好在热红外图像和白光图像方面做过一些工程项目,有一定积累,感觉可以做测温筛查系统为抗击疫情做点事。于是组织研究生,通过昼夜奋战突击开发了“非接触式智能精准测温筛查系统”。自动化专业的学生对软件、硬件和算法都有涉猎,开发软硬件结合的系统相对有优势。我们系统从白光图像中定位人脸;然后映射到红外图像中人脸区域;利用红外图像测量温度,通过大数据分析自动锁定温度异常者并自动报警。由于我们的系统没有采用黑体标定,一开始大家还挺担心。设备使用中发现黑体只是有助于测量绝对温度,我们系统没有黑体是可行的。我们算是市场上第一批做测温设备的队伍,和海康、大华等企业进行同台竞技,经受住了市场的考验。在系统开发过程中,一家帮我们制作底板的工厂,被邻居举报非法开工,后来辗转好几家加工厂,才制作好底板。


您参与完成的项目“鲁棒人脸视觉特征的提取、建模与识别的理论和方法研究”获中国教育部自然科学二等奖,能否跟大家分享一下这个项目相关的研究工作、研究成果及研究花絮?

       本项目由东南大学郑文明教授负责完成,我是第三完成人。我和郑文明教授有多年的合作关系。本项目围绕人脸图像中的表情、身份以及亲属关系识别等科学问题,深入开展鲁棒人脸视觉特征的提取、建模与识别的理论和方法研究,重点解决视觉场景中光照与人脸姿态变化下的鲁棒人脸视觉特征提取与建模问题。在项目中的我的贡献是提出人脸视觉特征抽取与识别的多流形鉴别分析理论。


能否介绍一下您在美国北卡罗纳大学威尔明顿分校和澳大利亚悉尼科技大学的访学经历和期间的研究工作呢?

       博士期间有幸去了香港理工大学做研究助理,发现很多同事都在申请出国,于是我投简历申请出国。由于2008和2009年国际金融危机等原因,当时我没有收到海外博士后职位offer。在东南大学博士后期间,才陆续收到几个offer。考虑有海外经历好找工作,同时东南大学博士后合作导师也支持我出国,于是就去了美国北卡大学威明顿分校Face Aging Group小组,当时在美国主要是帮着开发一些系统,如人脸年龄估计、性别分类和人脸年龄模拟等。后来顺利留在了东南大学,就从美国回国了。非常感谢美国Karl Ricanek教授对我的资助。

2015年我申请了CSC资助前往悉尼科技大学学习一年。在悉尼科技大学学习期间主要做了关于稀疏表示的工作,同时认识了很多青年才俊。


作为一个优秀的青年学者,请问您对未来研究趋势是如何把握,以及如何规划未来的研究工作的?

       作为一名普通老师,我的科研水平比很多同行落后不少。目前主要是一边做些理论,一边搭建实际系统。关于未来的研究工作,主要通过以下两个方式获取:(1)参加学术会议,和学术大师交流,了解学术前沿;(2)跟工业界和研究所多交流,了解工业界需求,调整研究方向和资源分配。


您在教学上也获得了很多成就,如:“自主系统的智能自适应控制方法”获得2018年江苏省教育厅教育教学与科研成果奖(研究类)一等奖(高校自然科学研究类)等,能否分享一下您的这些教学成果,以及您如何在教学和科研两方面进行兼顾的?

       作为一名普通老师,我承担本科生的《C++程序设计》和研究生的《模式识别原理》两门课,每年教学量大概150学时。借鉴MIT的《程序设计》课程教学方法,东南大学自动化学院《C++程序设计》教学过程中,设计平时个人项目、团队项目和上机考试三种考核方式,对学生培养实施过程化考核,效果显著。我们会经常安排一些图像处理等专业方面的应用性小项目给学生完成。以我们自动化学院程序设计教学组为主力,拿到了东南大学教学成果一等奖和江苏省教学成果一等奖。上《模式识别原理》课程时,以公式推导为主,考核方式是个人项目和团队项目。以我所在的导航与控制研究所部分研究成果,拿到了江苏省教育厅教学成果一等奖(研究类),该奖项中我的贡献较小。通过给本科生上课,能吸引学生主动联系读研。


能否介绍一下您现在的研究团队,以及您团队的管理情况和研究方向规划?

作为一名普通老师,我这谈不上团队,自己和几个学生一起捣鼓吧。大家定期讨论交流。不定期邀请校外学者来交流指导。在平时,我们培养学生的团队责任感、使命感和荣誉感。希望学生毕业后都能有个好出路和好未来。会和学生一起讨论我们往后的方向,初定面向自主无人机系统研究环境感知和路径规划相关技术。



“家庭”与“工作”同样重要,请问您在这两个方面分别投入了多少时间?占比关系如何?您是如何处理这两方面的复杂关系的?

       作为一名普通老师,家庭压力和工作压力都很大。家里主要是老人帮忙照顾小孩,大部分时间是在工作上吧。主要是家里人比较理解和支持!



如果吐露研究者心声,您最想说的是什么?

       作为一名普通老师,希望生活压力小一点,做点自由的研究,能落地更好。往后,请各位老师和朋友多多关心和支持!

责任编委 余烨 赵振兵

杨

杨万扣

博士, 东南大学副研究员, 博士生导师, 模式识别与智能系统专业,研究方向为模式识别、计算机视觉和自主无人系统。从攻读硕士学位期间开始进行图像处理、模式识别领域的研究工作,已有10多年的研究积累。最近正在从事目标检测、行人检测和动作识别、图像分割等方面的理论研究及面向自主无人系统的应用。在国际期刊如《IEEE TPAMI》、《IEEE TNNLS》、《IEEE TIP》、《Pattern Recognition》及国际会议如CVPR、AAAI、IJCAI、ICPR、PRCV上发表论文多篇,其中20余篇被SCI 检索。Google Scholar上检索的次数为1000余次,ESI高被引论文两篇。博士论文《人脸识别中的部分特征抽取技术研究》获2010年度江苏省优秀博士论文。先后主持多项国家自然科学青年基金和面上项目。曾获得教育部自然科学二等奖和江苏省教学成果一等奖各一项。担任国际SCI源期刊《Neural Processing Letters》编委。曾担任IScIDE2012组委会主席、IScIDE2013本地组织主席和PRCV2020宣传主席等。现为中国计算机学会计算机视觉专委会委员、中国人工智能学会模式识别专委会委员、中国自动化学会模式识别与机器智能专委会委员、中国图象图形学会机器视觉专委会委员、江苏省人工智能学会模式识别专委会秘书长和江苏省人工智能学会智能驾驶技术专委会副主任。