大连理工大学卢湖川教授访谈录

CCF-CV
大连理工大学卢湖川教授访谈录

 

2017年12月26日,专委秘书处在线采访了大连理工大学电子信息与电气工程学部副部长、杰出青年学者卢湖川教授。下面是采访实录。

 

卢教授您好,您主要从事目标跟踪、显著性检测和行人再识别方面的教学与科研工作,主持过多项国家自然科学基金项目和国际合作项目,您能给我们简单介绍一下您这几个领域吗?

我们实验室目前的研究领域主要包括目标跟踪、显著性检测和行人再识别。

目标跟踪是指针对一个指定的目标,在视频帧中连续不断地进行跟踪,主要衡量跟踪的准确性以及实时性。它是视频处理中的一个关键基础性问题,对其他的视频行为分析,视频事件检测,包括对现在的无人驾驶等均具有支撑作用。

显著性检测是指针对图像或视频中人们最关注的目标进行分割,在一定程度上,该技术需要心理学先验知识的引导。显著性检测是很多问题的预处理步骤,比如图像检索、识别、压缩等。

在行人再识别领域,国内有很多做得很好的学者,我们实验室也已开展了此研究一两年。行人再识别即对于监控视频中某个摄像头中出现的某个人,检测其是否在其他摄像头中出现过。目前该领域非常活跃。

视觉跟踪领域的最高峰VOT(visual object tracking challenge)竞赛,吸引了来自全世界的38个队伍参加,该竞赛也被视为视觉跟踪领域最难的竞赛,每年最好的追踪算法都会在上面一展拳脚,我们了解到在公开的38个队伍、60个序列的排名中,卢教授您带领的队伍夺得第一名,面对如此激烈的竞争,咱们的队伍却可以拼荆斩棘夺得桂冠,您能跟我们谈谈咱们团队的核心竞争力是什么吗?

我们去年第一次参加这个比赛,获得了第四名。今年在公开组比赛中,得到了第一名。实际上,还有个非公开视频组的评测,我们没有拿到前三名。

当然能在公开组获得第一名也是挺不容易的,前几届都被国外团队夺走了。 目前的视频跟踪距离实际应用有一定的差距,主要问题在于目标变化的多样性和环境干扰的复杂性。一个算法要想能够处理遮挡、光照、平面内外的旋转以及复杂场景是不容易的。现在全世界的学者都在努力提高视频跟踪的准确性以及实时性,我们从2010年开始一直研究这个问题,自2011年开始,每年都会在顶会上发表论文。对于跟踪领域的问题我们一直在不断学习和认识,比较专注,也在不断地研究新的算法,因此我们整个团队在VOT竞赛中能够获得较好的成绩。

结合最新的研究进展,您觉得目标跟踪的未来发展方向在哪里?

我觉得目标跟踪的发展还有很大的空间,因为现在无人车、无人机及视频的应用越来越多,最基本就是要对目标进行稳定的跟踪,但是现在的算法很难达到,正如前面所说,有很多外界干扰因素在里面。因此,我认为未来目标跟踪会朝着两个方向发展,实时性和鲁棒性。实时性是指目标跟踪时,速度至少要达到24FPS,在很多实际场合中这一点很重要。鲁棒性即无论在什么情况下,跟踪的也许不是特别准,但始终能跟上。随着基于深度学习的目标检测技术的快速发展,目标跟踪技术将会和目标检测技术交互在一起实现既快又好的跟踪。

您和您的团队在图像显著性方面的工作取得了重大成就,我们了解到像日本Omron公司、美国Adobe公司都和您有此类合作项目,您能通过这些合作项目跟我们具体谈谈图像显著性检测项目一般应用在哪些领域吗?

在与Adobe公司的合作中,为了让Photoshop进行准确的抠图从而减少人力的投入,我们研究的重点是如何通过算法实现自动抠图,而软件操作者只需要在上面进行简单修改便可以达到比较好的结果。

此外,显著性目标检测还有很多应用。比如通过显著性检测的方法,能够帮助人定位最重要的目标是什么,再通过这个目标进行检索、识别、做处理。举个例子,我们来到俄罗斯,逛街的时候发现很多标注了俄文的商品都不认识,但是我们又想知道这是什么东西,就可以在街头用手机拍下来,然后通过云端或者手机应用对物品进行识别,再对它进行分类。在这个例子中,图片中有很多目标,但是最显著的目标就是你最关心的商品本身,所以说显著性检测,可以帮助机器了解人的注意力机制, 它在ROI感兴趣区域视频编码等很多方面都有应用。

显著性检测已经被研究了很多年了,传统方法感觉很难有所突破了,按照现有的大环境是不是必须要跟着深度学习的大流走?

显著性检测确实已经进入到了深度学习时代,依靠传统的方法很难再立足,因为性能不行。但是随着深度学习进入到了当前这个阶段,在显著性检测这个领域,曲线已经刷到了阶段性的高点,也很难有快速突破了。我认为下一步的突破在于高分辨率的显著性检测,因为现在主要的问题在于FCN网络浅层的细节信息缺失,导致整个显著性边缘不够准确。因此从目前现状来看,需要高分辨率图像的卷积,即不要再继续 pooling 下去,因为图像一直pooling 的话,图像的分辨率会变低。因此下一步提升性能,主要得想办法从网络结构的设计角度出发,能不能处理更大尺寸的图片,从而使得细节信息越来越丰富。

当然,显著性检测也在朝着其他方向快速发展,比如显著性问题和Caption结合在一起,和其他问题结合在一起,给其他领域带来新的活力。

以前深度学习都往深的网络发展,现在热点已经过了,对未来深度学习的研究有什么建议?

我觉得目前的深度学习,是百花齐放,百舸争流的局面,大家都在提各种各样的算法,有的在做快速化裁剪,有的做浅层化,有的在做从零开始训练等等。比如最近Hinton提出了Capsule网络结构,把相同功能的神经元集成在一起,不一定要那么深的层次,浅层的一些网络也能够得到较好的结果,我们也开始往这方面研究。

目前来看,研究深度学习的人非常多,未来也会不断有人加入到此研究中,但是理论方面的进步不像期待的那样,这个领域需要更先进的数学来帮助理解问题。大多数研究人员没有相应的数学背景来理解系统的复杂性,其实这是一个很大的隐患,所以实话实说,该领域有点过热了。

“人非圣贤孰能无过”,所以我们非常好奇您在从事研究的过程中有没有走过什么弯路?例如在攻克难题的时候方向搞错了,做了很多无用功,您能跟我们分享一下这方面的经历吗?

实际上我的科研道路很不平坦,1998年硕士毕业后留校任教,一直到2004年,在这6年时间里,我都不知道该怎么干科研,也没人指导我。我2003年开始读在职博士,2008年才毕业。我的起步在2004年,我和日本富士公司合作了一个项目,才开始知道如何读英文文献。此后我不断地积累,直到2007年发表了第一篇2页的SCI论文。到2011年评教授职称的时候我才发了7篇SCI的论文,其中最好的是SIGNAL PROCESSING(Elsevier) 期刊,同年我们发表了第一篇顶会(ICCV)的论文。此后,我和整个研究小组走上了正轨,每年都会在CVPR和ICCV上发表论文,逐渐在科研上有所建树。

实际上,我的整个科研过程是走了很大一截弯路的,而且长达十一二年。我想每个人都会或多或少的走一些弯路,最重要的就是在走这些弯路时,你要快速的找到正确的路在哪?要有信心坚持走下去。好在现在国内外的学术环境越来越好,大家都知道自己应该做什么,那么只需要一直坚持并努力去做,就一定能取得较好的成果。

您在攻读博士学位期间,分别在日本立命馆大学、香港理工大学、新加坡国立大学进行过短期访问,在您担任教授期间也多次与外国学者进行过交流探讨,如果将外国大学与中国大学做比较,您觉得二者在科研团队建设、研究项目、人才培养方面各有什么特点吗?

我感觉国内外差距越来越小,国内一流的大学中的某些研究组并不比国外的差。当然,在视觉研究领域,国内与国际还是有些差距的。国外研究做的工作会更基础,更具有前瞻性,而国内研究还处于不断跟随过程中。这种研究的差异,不仅跟导师及研究的水平有关,还跟做这些研究的学生有关系,毕竟国内一流的人才大多会到国外寻求更好的发展。另外国内的大环境和事务性的工作偏多,也影响了很多老师的工作效率。当然,我想再过几年,我们和国际研究水平的差距将会越来越小,甚至超越,希望这一天早日到来。

不仅您本人在计算机视觉领域硕果累累,您的学生在这个领域的研究成果也非常丰富,您指导的多名学生都在国际顶级期刊上发表了学术论文,而且我看他们好像都提前进入了实验室来学习,想必很多人跟我一样非常好奇咱们的实验室是如何培养出这么多优秀的学生的,您看能不能跟我们聊一聊关于专业实验室或团队建设方面的经验?另外卢教授指导学生的经验十分丰富,对于本科生或者研究生开展学术研究,您是如何指导他们写出顶级期刊的论文?有什么建议吗?

实际上,每个学生来找导师时都是带着一腔热血,都想干出点成绩来。如果我们不好好指导,会辜负学生对你的期望。有的学生学习动力非常强,他们期盼论文可以在高水平的会议和期刊上出版,之后便能够出国攻读博士学位或者找到一份理想的工作。老师在学生的成长过程中主要作用是因材施教,帮助学生快速进入研究快车道,让学生能够把潜力发挥出来。

很多国外的博士生都是国内的本科生直接出去攻读的,这说明国内培养的本科生已经具有较高的科研素质,只要善加引导,注重培养,所取得的科研成果会和博士生一样棒。我们实验室就有本科生因为发表了CVPR和TIP的论文,获得了国外一流大学的全额奖学金,出国攻读博士学位。

我从他们身上看到,他们之所以能够获得成功,首先最重要的一点就是他们身上有非常强的主观能动性,他们愿意付出,甚至比博士生和硕士生更努力,这也是他们的科研驱动力。其次就是我们的因材施教,让他们能够掌握正确的科研方法,给他们的任务或指导要明确具体,这样他们才能快速进入快车道。第三,单从发表论文这点看,研究生导师帮他们不断修改论文,也提升了他们的实际论文写作能力。 此外,实验室为他们创造的一些国外学习渠道,也对他们有不少的提升。目前我们实验室有一些国际合作,通过和国外一些公司的合作,和大学的教授们进行的联合培养,促使学生更快地发展。

您是如何管理您的硕士和博士研究生?对于学生完成任务的执行力,您有什么样的要求?以什么标准来衡量?实验室是否有奖罚制度?如何让学生保持着积极的生活态度,不至于在学术研究中太过压抑导致缺乏研究激情?

很多学生刚进来时不是很懂,他们觉得读研究生只要会编程就可以。其实,培养和管理学生远非这么简单,我们有一套自己的方法。

第一,要让学生明确加入实验室的目的。在学生进入实验室后,我们会和学生进行深入交流,希望他们树立远大的目标,一定要先走学术道路,再走工业道路。所谓先走学术道路就是要先把学术搞好,争取发出高水平的论文。目前市场上有很多人工智能公司,如果学生能够发表一篇好论文,是很容易在这些公司里,获得一个研究者职位。我们和学生交流时,告诉他们要认清自己未来的目标是什么,并且告诉他们我们实验室的学生绝不是只想去做一个开发者或测试者,而是做一个职业寿命更长的研究者。当学生融入实验室环境后,看到师兄师姐们都通过发表好的论文找到了心仪的职位,他们也越来越相信这是他们的目标。这样在第一时间就把学生潜力激发出来了。

第二,我们通过不断开组会,明确每一个人要做的事情,让学生跟着师兄师姐快速的成长、前进,并通过向高水平期刊投稿证明自己。经过一年左右的培养,学生就会对自己所研究的领域有较好的了解。在研一的下学期或研二的上学期,就有能力投CVPR的论文了。而通过向这些Top会议投稿,每个人就会知道自己与CVPR的差距,不幸被拒的则会进一步提升自己。要使学生快速进入到成长的道路上来,并希望在三年级的时候能够发表一些好的论文。

总之,我们还是很崇尚学术研究的。有关奖励措施,我们实验室原则上只要投CVPR就会有奖励,而投中TIP以上的论文,也会有一些奖励。当然,我们的学生主要不是为了奖金,更重要的是为了未来的梦想而战。

你们团队的成员有没有经常去国外或者与其他优秀团队进行交流?

我们比较鼓励团队成员出去开国际会议,比如今年ICCV就派了5个人去。另外我们也非常想跟国内国际优秀的团队进行联合研究,这样能够使研究小组具有多样性,从而更具活力。比如我们与王晓刚团队、美国Adobe公司的合作,我们派学生去做实习生。我们跟Queen Mary的Shaogang Gong、Tao Xiang团队,跟澳大利亚的沈春华团队以及加州的杨明玄团队等,通过CSC留学进行联合培养,学生收获很大,取得了不错的效果。

卢湖川

大连理工大学信息与通信工程学院教授、博士生导师,国家杰出青年基金获得者,IEEE和ACM高级会员,IEEE Transactions on Cybernetics副主编。分别于1995年和1998年在大连理工大学电子工程系获工学学士和硕士学位,2008年于大连理工大学工业与系统工程专业获工学博士学位。这期间,分别在日本立命馆大学、香港理工大学、新加坡国立大学短期访问。近年来主要从事图像处理与理解、计算机视觉、模式识别和机器学习方面的教学与科研工作,主持多项国家自然科学基金项目和国际合作项目。迄今已在国际期刊/国际会议上发表学术论文150余篇,其中计算机学会(CCF)推荐A类期刊和会议50余篇,在本领域顶级国际会议CVPR/ICCV/ECCV 发表论文20余篇,获得了ICCV 2011 Most Remembered Poster,ICIP 2012 Best Student Paper Award Finalist, IET Image Processing Best Paper Award,ESI高引用论文8篇,SCI他引2000余次,Google Scholar他引8000次。

(责任编辑:张汗灵 余烨 )

委员好消息

  • 2017年9月15日,中国图象图形学会优秀博士学位论文颁奖。CCF-CV专委会4位委员指导的博士论文获奖。清华大学马惠敏副教授指导陈晓智完成的《三维场景空间的似物性与多模态特征融合研究》、中山大学郑伟诗教授指导胡建芳完成的《面向人与物体交互行为分析的关键问题研究》、北京理工大学贾云得教授指导杨蛟龙完成的《计算机视觉中的运动估计问题研究》获得优秀博士学位论文奖,中科院自动化所黄凯奇研究员指导程衍华完成的《基于多模态特征表达与融合的RGB-D物体识别》获提名奖。
  • 2017年11月9-15日,在第14届国际文档分析与识别会议(ICDAR 2017)技术竞赛中,CCF-CV专委会委员、中科院自动化所刘成林研究员领导的PAL团队获得8项任务的第一名、2项第二名。具体是,在页面目标检测竞赛中获表格检测、公式检测、图形检测、物体检测全部4项任务的第一名;在中世纪文档版面分析竞赛中获版面分析任务第一名;在视频阿拉伯文本检测与识别竞赛中获视频文本行识别任务第一名;在中文场景文本阅读竞赛中获得端到端识别任务第一名,并在文本检测任务中以微弱差距屈居第二名。此外,在全向视频文本阅读竞赛中,文本定位任务的性能也是第一。CCF-CV专委会委员、北京科技大学殷绪成教授团队再次(连续三届)荣获鲁棒阅读竞赛冠军。CCF-CV专委会委员、华南理工大学金连文教授带领的团队,在场景文字检测及分类2项任务中取得第一名的好成绩,在语种分类任务中以微弱差距位居第二名。CCF-CV专委会常委、华中科技大学白翔教授在大会上做了特邀报告,这是ICDAR举办26年来第一位来自中国的主讲嘉宾,展现了中国学者在此领域的影响力。
  • 2017年11月19日,CCF举行了青年人才托举计划终评会议,评出CCF青年人才托举计划入选者(2017-2019)8名,其中推荐到中国科协青年人才托举工程4名。CCF-CV专委会委员、中国科学院信息工程研究所刘偲副研究员入选CCF青年人才托举计划,同时被推荐为中国科协青年人才托举工程(2017-2019)入选者。
  • 2017年11月22日, IEEE公布了2018年度Fellow名单,中国大陆共17位科学家当选。CCF-CV专委会常委、北京大学林宙辰教授和CCF-CV专委会委员、中国科学院大学黄庆明教授当选。
  • 2017年11月24日,在中国智能车未来挑战赛交通环境感知离线测试比赛中,由CCF-CV专委会委员、西安交通大学薛建儒教授指导,CCF-CV专委会委员、厦门大学曲延云教授等领队的“仙厦Smart”队获交通信号检测任务单项第一。
  • 2017年12月1日,教育部公布了2017度高等学校科学研究优秀成果奖(科学技术)评审结果,评出特等奖1项、一等奖118项、二等奖193项、青年奖8人。CCF-CV专委会委员10人获奖,他们是哈尔滨工业大学深圳研究生院徐勇教授、杭州电子科技大学俞俊教授、华中科技大学王岳环教授和桑农教授、清华大学马惠敏副教授、西北工业大学韩军伟教授和程塨副研究员、西北农林科技大学宁纪锋教授、中国科学技术大学陈欢欢教授、中国科学院西安光学精密机械研究所卢孝强教授。
  • 2017年12月23日,第七届“吴文俊人工智能科学技术奖”颁奖,共44项科研成果获奖。CCF-CV专委会副秘书长、北京邮电大学马占宇副教授完成的“电力用户大数据智能画像技术及应用”和CCF-CV专委会委员、电子科技大学程洪教授完成的“物理紧耦合人机系统关键技术及其应用”摘得吴文俊人工智能科技进步奖一等奖。
  • 2018年1月3日,2017年度“CCF优秀博士学位论文奖”评选结果揭晓,CCF-CV专委会委员、中山大学林倞教授指导梁小丹完成的博士论文《面向精细视觉解析的深度结构化模型》获奖。

(责任编辑:刘海波)