11月4日，经过数月的线上开发竞赛后，Lifelong Robotic Vision挑战赛在澳门IROS 2019大会上成功举办，多位机器人领域大咖到场参与特邀报告环节和圆桌讨论，例如来自意大利技术研究院科学主任Giorgio Metta教授、汉堡大学张建伟教授、浙江大学章国锋教授等知名学者，演讲主题从Lifelong Learning算法到SLAM均有涉猎，同时决赛入围团队例如Segway Robotics、上海交大团队在现场作出了赛事算法报告，引起现场各界人士瞩目。
颁奖环节
自今年7月份赛事上线以来，挑战赛吸引了来自全球一百多支队伍参与，其中不乏北大，上海交大等实力强悍的科研团队加入赛事。经过数月的对决，Segway Robotics团队以出色的算法模型获得了Lifelong SLAM挑战赛冠军。这也是对Segway Robotics多年来在SLAM技术中累积的充分肯定，尤其在SLAM算法实用化的方面。Segway Robotics团队的算法框架融合了多传感器信息，包括鱼眼相机，惯性测量器件以及底盘编码器，使定位算法更加稳定。同时，通过不断地优化地图和合并地图增加视觉感知的范围，提高机器人的重新定位（Relocalization）的概率。
Lifelong SLAM挑战赛获奖合照
而另一侧，来自海康威视的HIKVISION团队通过网络扩展与特征正则化相结合的方法斩获了Lifelong Object Recognition挑战赛冠军。为了摆脱对旧数据的依赖，算法首先在新的任务挖掘已知样本，然后利用这些样本对模型在新任务的训练进行特征正则化，从而在学习新任务的同时避免旧任务的灾难性遗忘。
基于知识蒸馏和网络扩展的Lifelong Object Recognition方案
同时，为了解决增量学习场景差异较大的情况，通过动态扩展网络分支学习适应当前场景的特征，避免不同场景差异过大无法进行有效正则化的问题。
Lifelong Object Recognition挑战赛获奖合照
颁奖环节由IROS 2019比赛主席、香港城市大学副教授King Lai博士为参赛团队授奖，同时现场参赛团队均表现出色的技术能力以及专业水平，也是Lifelong Robotic Vision挑战赛含金量颇高的重要因素。
何为Lifelong Robotic Vision挑战赛？
作为今年IROS机器人挑战赛之一 - Lifelong Robotic Vision挑战赛，比拼的是机器人通过视觉进行持续物体识别和自我定位的能力，考验算法团队对适应场景变化的识别和定位算法的功力，但它是如何诞生的呢？
这就要回到现实场景当中，当服务机器人在完成建图后，第二天场景中的视觉特征发生巨变，此时SLAM能否重定位成功？对于在特定场景长期服务的机器人来说，能否在日常变化的场景中维护统一的地图、稳定输出位姿？物体识别算法能否持续性地在不同场景下学习识别物体，并且保证模型的轻量化和识别的实时性？这些难点来源于机器人需要长期服务，从而对计算机视觉研究提出了新的要求，我们将其统称为Lifelong Robotic Vision。Lifelong Robotic Vision挑战赛，便是聚焦机器视觉前沿领域，通过比赛探索，赋予AI长生命周期学习能力。
而其中，Lifelong Robotic Vision挑战赛关注的是机器人如何在环境持续变化情况下学习不同物体，本次在挑战赛中利用到的数据集OpenLORIS-Object，是利用Intel®️ RealSense™ D435i相机完成数据收集，包括RGB和Depth视频。根据机器视觉自主感知周围环境的特点，采取自主围绕观测物体的拍摄方式来获得数据。考虑到实际机器人部署时感知物体所遇到的光照变化，物体遮挡程度，摄像头与物体角度/距离变化，环境不相关物体聚集程度大小，物体形变程度，实际尺寸大小，场景复杂程度，数据集设计了拍摄的规则，从而覆盖真实场景中物体识别遇到的多种影响因素。并且首次量化了这些环境的难易程度。以下是简单罗列的几个物体在不同环境因素下的数据。
据了解Lifelong Object Recognition比赛是目前唯一对连续克服环境因素进行学习的，比赛队伍就准确度、模型规模、CPU/显存占用率、数据训练量、推理时间等都进行了全方位的优化。该任务中为评测算法的有效性和比赛的公平性，首次在决赛的三轮成绩提交中全部复现并验证了提交算法的可靠性（目前大部分国际类似比赛中是根据结果判断的，而挑战赛主办方则验证复现了参赛队伍训练算法的上述各项性能）。
数据采集和标注
OpenLORIS-Object数据集根据机器人现实场景中遇到的挑战，首次量化了光照，遮挡，物体与摄像头距离，和环境不相干物体聚集程度。每一个挑战都分为了简单，正常和困难三种情况。参赛者需要设计自适应学习算法以满足在连续改变的复杂情况下识别各种家庭常用的物体的需求。
不同场景下的识别难易分级
OpenLORIS-Object旨在通过以物体识别为手段，启发研究者设计开发适用性更加广泛，应用更加灵活的模型及算法。研究者在初赛阶段的任务区别传统视觉算法的最大的特点是需要连续学习（Lifelong Learning）多个识别任务。
学习连续任务Benchmark
如上表所示，主办方设计了学习连续任务的Benchmark，让参赛者的算法，能够学习各种环境下的挑战，这9个Object Recognition任务是以依次学习的方式对系统进行开发的。在最终的评测中，我们在多个维度量化了参赛选手的方案，对模型的广泛性，和记忆能力重点进行了考察。最终的模型算法，是一个具备连续克服环境干扰因素，十分鲁棒的Object Recognition方案。
在我们决赛阶段，为了进一步测试算法在现实场景中的应用，我们不仅考虑了Object Recognition的准确度，更对模型的大小，模型对数据量的依赖性，模型部署中的预测速度进行了评测。其中效果最为显著的是基于知识蒸馏方案的网络结构扩展，以及隐层结构的回放模型。
参赛选手受到比赛的启发，在大会上提出了移动手机端训练深度学习网络识别新物体的方案，该研究成果已经准备投入NeurIPS 2020（顶级机器学习会议）。
评价模型的标准
OpenLORIS-Object数据集不仅仅将是一个启发测试Lifelong Learning算法的数据集，而且借助这个数据集平台将能接收学术界和工业界的反馈，来不断扩大OpenLORIS的影响力，填补学术界和实际落地的差距。
而同时，Lifelong Robotic Vision其中的另一个关键技术 - SLAM，全称为“同时定位与建图”，旨在使机器人在移动过程中能够自主估计自身所处的位置和姿态，是机器人领域的核心问题之一。通俗一点来说，SLAM指的是当机器人来到一个完全陌生的环境时，它需要精准地建立时间和空间的对应关系，并能完美地知道：我刚才在哪里，现在在哪里？我看到了什么，现在看到的和之前看到的有什么不一样？我刚走过的轨迹抖吗，我现在的位置飘吗？如果迷路了该怎么办，还能追踪到自己的轨迹吗？
视觉导航定位
外界一般研究SLAM往往着重考察机器人在静态环境中或在包含某些明显动态特性（例如移动人和物体）场景中的定位精准度，而忽视场景变化带来的定位失败和错误匹配问题。
视觉SLAM特定环境下可能失效
例如在家庭场景中，大多数物品是可移动、可变形的，同一个客厅第二天经过整理，机器看到的世界和第一天相比已经发生了巨变，此时SLAM能否重新定位成功？这种动态变化对机器（重新）定位的鲁棒性和地图的可重用性构成了挑战。
现实世界是时刻变化的
因此，本次比赛提出定位成功率这一指标，着重考察SLAM算法能否在视角、光照和场景布置发生变化时稳定识别自身位置，从而支持机器人的长期部署。
为配合Lifelong SLAM挑战赛，研究人员制作发布了全新的SLAM数据集 - OpenLORIS-Scene。与以往SLAM数据集相比，OpenLORIS-Scene中包含的场景更贴近生活，传感器配置更丰富，还包含了丰富的数据类型，例如由Intel®️ RealSense™ D435i提供的RGB-D-IMU数据、Intel®️ RealSense™ T265提供的双目鱼眼数据、轮速计里程、激光雷达等数据类型，并且对每个场景多次录制，从而包含真实生活导致的场景变化。OpenLORIS-Scene数据集成为SLAM算法能否支持机器人真实部署的试金石。
各种不一样的场景
我们认为真正实用的算法，不在于高深的设计理念，更多在于对实际落地需求的剖析，在于不断从学术界和工业界中收集各方的意见，将最新而且最实用的方案，结合具体需求来达到人工智能以及机器人产业的蓬勃发展。
特邀演讲环节
主题演讲：人形机器人的定制机器学习
Giorgio Metta教授首先作出演讲，主题为【人形机器人的定制机器学习（Bespoke machine learning for humanoid robots）】，教授提到计算和内存通常受限于机器人，并且经常需要严格的实时性能。因此他们在设计一项能无需牺牲太多性能（例如，识别率，准确性等）上保证计算存储范围的算法，并讲述了iCub和最近开发的R1服务机器人。
Giorgio Metta教授
Giorgio Metta教授作为意大利技术研究院（IIT）的科学主任，负责协调iCub项目。研究领域主要涉及涉及生物动机和人形机器人领域（biologically motivated and humanoid robotics），尤其是在开发可适应、可学习的人形机器人上，在业界中久负盛名。
主题演讲：鲁棒性自主机器人系统的跨模态学习
德国汉堡大学信息学科学系教授张建伟院士亦出席会场做出演讲，他的演讲主题是【鲁棒性自主机器人系统的跨模态学习（Cross-modal learning for robust autonomous robot systems）】，其中指出在一个瞬息万变的世界中，一个强大而有效的机器人系统必须具有适应性行为，可逐步学习的技能以及对其所处世界高级概念性的理解，并需要规划自主操作的能力。未来的智能机器人系统将从最近在处理多模态数据，利用协同作用，集成高级知识和学习等方面的神经认知模型的研究中受益。
张建伟院士
张院士介绍了智能机器人的跨模态学习问题和对协同技术的研究和实验，该技术使用较少的参数来控制机器人运动的高自由度。同时演示了像机器人这样的智能系统如何从经验中学习来发展其模型。张院士除了是德国汉堡大学信息学科学系教授，同时也是多模态技术研究所所长，德国汉堡科学院院士,****专家。近二十年在德国从事及领导智能自动化生产系统的感知学习和规划、多传感信息处理与融合、智能机器人技术、人机交互的研究与开发等研发方向。发表三百余篇论文及专著，并多次获得国际会议最佳论文奖；拥有四十余项发明专利。为近几年中国国家基金委、科技部、工信部的机器人、人工智能、智能制造研究开发立项及产业布局做出连续的咨询。
主题演讲：面向AR的鲁棒高效的视觉惯性SLAM
浙江大学章国锋教授亦出席演讲，演讲主题为【面向AR的鲁棒高效的视觉惯性SLAM（Robust and efficient visual-inertial SLAM for augmented reality）】，他指出在过去的十年里，视觉SLAM和视觉惯性SLAM取得了重大进步，并已成功应用于AR产品。但在实际应用中，实现一个鲁棒高效能满足产品要求的SLAM系统仍然很不容易，需要解决一些关键性的挑战。
浙江大学章国锋教授
在演讲中章国锋教授提到目前已经建立了一个新的视觉惯性数据集以及相应的评估标准，可以有效评估AR应用中的V-SLAM / VI-SLAM系统性能。此外，演讲还展示了基于章教授团队开发的SLAM和三维重建技术的一系列AR应用。章国锋作为浙江大学教授，主要从事的是三维视觉与增强现实方面的研究，在同时定位与地图构建和三维重建方面取得了一系列重要成果，研制了一系列相关软件，如ACTS、LS-ACTS、RDSLAM、RKSLAM等（http://www.zjucvg.net），并开源了基于非连续特征跟踪的大尺度运动恢复结构系统ENFT-SfM、分段集束调整SegmentBA和高效的增量式集束调整EIBA、ICE-BA等算法的源代码（https://github.com/zju3dv），为三维视觉与增强现实领域作出了杰出的贡献。
研讨会最后的圆桌小组讨论，圆桌主持人为英特尔中国研究院的佘琪博士，圆桌嘉宾还有Segway Robotics参赛工程师，博洛尼亚大学研究人员
（ContinualAI成员），浙江大学章国锋教授以及曼彻斯特大学研究人员，围绕挑战赛上Lifelong Learning 和 SLAM技术，剖析赛事算法以及应用，引发现场从业者思考。本届的Lifelong Robotic Vision挑战赛成功举办，标志着机器视觉算法技术的厚积薄发，百花齐放，也为紧接着的2020年全球服务机器人行业留下宝贵的技术和人才储备。
更多关于Lifelong Robotic Vision挑战赛资讯
可浏览官方赛事主页获取
（或点击文末阅读原文）
IROS 2019大
会资讯
作为机器人领域顶级学术会议之一IROS，在机器人圈极具影响力，是机器人技术和智能系统的旗舰国际会议。 它由IEEE、IEEE机器人与自动化学会（RAS）、IEEE工业电子学会（IES）、日本机器人学会（RSJ）、仪器与控制工程师学会（SICE）和 新技术基金会（NTF）共同赞助。今年大会的主题是「ROBOTS CONNECTING PEOPLE」，有4000多名行业大咖前往参加，大会将持续至11月8日。
产学研平台邀请状
机器人前沿技术与产学研合作平台已开放申请入口！
产业及学术伙伴可通过扫描以下二维码
或点击文末阅读原文进入
加入机器人前沿技术与产学研合作平台并提交需求
机器人前沿技术与产学研合作平台介绍
机器人前沿技术与产学研合作平台,结合了英特尔中国研究院前沿研究，和机器人创新生态的产业资源，通过线上线下的融合和实践，发力聚焦前沿技术与学术成果转化。该平台将由机器人创新生态进行运营、打通学术、科研、产业资源，推动机器人行业在产学研领域的不断发展。
机器人创新生态是由英特尔和硬蛋科技联合发起的机器人产业创新生态合作平台，汇聚机器人产业创新力量，聚焦技术创新、市场加速、专业化运营三大方向，全方位推动中国机器人产业不断创新、落地、蓬勃发展。目前生态已运作3年，共汇聚300+核心供应商，链接20000+线上活跃用户，支持300+机器人公司，未来生态将继续输出优质生态资源聚合生态伙伴，实现产业合作共赢。
在前沿技术的展望、普及和推广方面，产学研平台设有学术和行业“领航者”专家库，聚焦技术、产业、政策、市场观点的分享。平台将定期策划机器人大家说“大师系列”课程，邀请知名专家普及前沿技术趋势和市场热点话题，推广研究成果，并提供品牌平台发布和推广专家研究成果，引领创新方向。
学术成果转化和产学研对接方面，打造校企对接平台，联合生态伙伴推广机器人教育课程，聚合学术、企业、产业、智库、投资领域专家，共同发布前沿技术成果。最终，平台将线上线下的通力合作，建立开放式创新社区，促进机器人4.0领域规模化协同发展！
