干货！库柏特张少华博士《机器人视觉-从学术研究到工业落地》张少华博士为我们分享了《机器人视觉

前言

相信大家通过RobertDowney Jr.饰演的《钢铁侠》，《澳门风云三》中的“傻强”和Hugh Jackman主演的《铁甲钢拳》，对机器人都有一定的了解，会认为电影中的机器人是虚幻的，人性化的、不可能实现的。

但是，正是凭借这种大胆的想象、实践和努力，我们生活中的机器人正在与电影中的梦幻机器人一步步接近。

2018年5月30日机器人大讲堂特邀武汉库柏特首席视觉科学家

张少华博士为我们分享了《机器人视觉－从学术研究到工业落地》的研究报告。

嘉宾介绍：张少华博士

武汉库柏特科技有限公司，首席视觉科学家，从事计算机视觉研究和应用11年，在机器视觉领域由较强的经验，作为库柏特视觉技术负责人，攻克了多个技术难点，将先进的视觉技术落地到食品、3C等行业应用场景中。

张博士主要从机器人视觉的定义、机器人视觉机会和挑战、机器人视觉学术和技术研究现状、机器人视觉的工业落地现状以及

机器人视觉发展方向展望等

为我们带来了精彩分享。

一、什么是机器人视觉？

机器人本身是一个动作主体，在现实的物理世界中做动作，而且与现实的物理世界交互。

而机器人视觉就是要这个机器符合一定的人性化，更像机器“人”的技术，我们大家都知道，如果机器人没有视觉感知，只能在结构化的环境做固定的动作，他的功能和柔性大大地受到限制。

1. 机器人视觉主要包含了以下四个方面

1）传感，要在任何条件下看到外部的世界；

2）理解，机器人只是看到是不够的，他必须还要去理解所看到的的事物；

3）行动，机器人能够通过所看到的转化成相应的动作，这个像语音识别似的，你说的话，由机器去识别、判断，并作出相应的回应；

4）学习，外部的世界是非结构化、动态的，通过不断地学习来提高自身，以适应环境。

2.机器人视觉的主要应用领域

无论是天上飞的，地上跑的，还是水里游的都会有机器人的身影，所以机器人是无处不在的，相应的机器人视觉也是无处不在的。

3.机器人视觉在工业领域的应用

二、机器人视觉目前的机会和挑战

1.机会

操作带来更多价值。操作指有意义有目的性的机器人的动作，

例如机械臂操作复杂工件，

分拣机器可以将相应的物品进行分类，快递车配送等等。因为所有的物和我们自身都处在物理世界，所以实际的操作能带来更多的价值。

2. 挑战性

机器人的可靠性、适应性、系统工程

挑战一：高可靠性-99.99%is notenough

挑战二：适应性-Data is notcheap

挑战三：系统工程-SystemIntegration is Science!

3.计算机视觉、机器视觉、机器人视觉之间的差异

三、机器人视觉的学术和技术研究现状

机器人视觉是个日新月异的研究领域，学术研究成果丰富，这里选取部分非常有启发性的成果如下

1.学术研究现状-可靠性-算法评测

2.学术研究现状-可靠性-算法输出

3.学术研究现状-适应性-学习新类别的知识

我们在学习新知识的时候同时希望保持对老知识的记忆。增量学习恰恰存在灾难性遗忘的问题，通过累加数据学习，它会在新的任务上性能越来越好，而在老任务的表现上会越来越差，

这不是我们所追求的适应性，所以进一步研究的热点是能兼顾新老任务的学习方式，即连续性学习。连续性学习只在新数据上更新模型，这样能快速地更新模型，另一方面，通过算法设计，保持对历史数据的记忆。由下图我们可以看出，有三种结果，真正符合我们所需求的只有红色箭头所示的学习方式，它最终收敛于老任务和新任务的参数空间的交集处，在这个位置，新老任务都有不错性能，这就是比较理想的方式。

5.学术研究现状-适应性-仿真到显示的迁移

四、机器人视觉的工业落地现状

机器人视觉在实际工业落地时面临很多挑战，

例如：某电商平台有500的SKU，同时SKU是不断变化的，如何使得系统能快速可靠的适应百万级别的SKU是一个巨大的挑战。其中，如何设计模型？如何快速训练？如何保证速度-精度平衡？如何快速测试？如何保持扩展性，这一系列问题都是非常复杂的。除此之外，还有标准体系、环境适应、执行机构和操作参数等问题需要解决。

（高密度无人储存货架　图片来自网络）

武汉库柏特科技有限公司专注于智能机器人操作系统COBOTSYS研发，该系统包含机器人视觉、机器人运动规划等关键技术。

基于COBOTSYS，库柏特目前在物流、食品等领域成功交付多套机器人系统，代表性的产品如下，

经验总结

▼

场景：

深入理解场景，理解场景的本质问题是什么；分析算法边界；找到适合的技术路线，针对具体的场景和问题创新性地优化算法，解决问题。

数据：

花更多的时间在数据上，Dirty work 更重要。

系统思维：

重视系统设计，从整个机器人的层面来设计各个模块，然后做更多的系统测试，在系统测试中模拟、还原真实的场景，从中发现各个模块的问题，再基于良好的系统设计快速地更新子模块，快速迭代。

五、机器人视觉发展方向展望

点击

阅读原文

，观看本次讲座视频回放

文章中PPT来源：张少华博士在机器人大讲堂分享的课件内容

推荐阅读

访问访谈

工程院院士蔡鹤皋丨北航教授文力

丨

深醒科技袁培江

丨

深之篮魏建仓

企业报道

一飞智控

丨深醒科技

丨

发那科

丨柔宇科技

丨

优傲机器人

丨宇树科技

丨

臻迪科技

丨iRobot

前沿技术

①工业

缝纫机器人

丨无人智能采矿机器人

丨

中国饺子生产线自动化车间

丨

MIT 建筑机器人

②服务

索尼机器狗 Aibos

丨

叠衣机器人 FoldiMate

丨

日本骑自行车机器人

丨

有触觉机械手 LUKE

丨

达芬奇机器人

丨机器人乐队

丨

空中飞车

丨日本护理机器人合集

③特种

丰田人形机器人

丨水下机器人探索号

丨

俄罗斯人形机器人 FEDOR

丨

美国重型机械 Guardian GT

丨

波士顿动Atlas 360度后空翻

丨

中国四足机器人 Laikago

丨

北理工四轮足机器人

丨佛罗里达研究院 “机械鸵鸟

④仿生

3D打印仿生机器人

丨东京大学流汗人形机器人

丨

柔性电池

丨哈佛柔软肌肉

丨

哈佛

丨

哈佛 RoboBee

往期讲座

英特尔宋继强博士

| 中民国际刘国清

丨

陈小平教授

|驭势科技姜岩

丨

浙大熊蓉教授

|长江学者孙立宁

丨

上海大学无人艇专家团

|新松总裁曲道奎

丨

北航王田苗教授

|863专家李铁军教授

丨

北邮刘伟教授

|清华邓志东教授

丨

清华孙富春教授

|天津大学博导齐俊桐

丨

哈工大杜志江教授

|长江学者王树新

丨

甘中学教授

| 硅谷创客赵胜

温馨提示

意向合作，文章转载，均可联系堂博士

商务合作：13810423387（同微信）

内容合作：15611695072（同微信）