3D视觉 – 同心智造网 http://www.hahakm.com Thu, 04 Nov 2021 08:02:58 +0000 zh-CN hourly 1 http://wordpress.org/?v=6.5.5 http://www.hahakm.com/wp-content/uploads/2021/10/2021101807452380-150x150.jpg 3D视觉 – 同心智造网 http://www.hahakm.com 32 32 从单站到产线,视比特“AI+3D视觉”产品规模化落地之路 http://www.hahakm.com/shijie/interview/25467/ http://www.hahakm.com/shijie/interview/25467/#respond Thu, 04 Nov 2021 07:58:21 +0000 http://www.hahakm.com/?p=25467 从单站到产线,视比特“AI+3D视觉”产品规模化落地之路插图

柔性产线的“视觉大脑”。

2021年12月4日,一年一度的「甲子引力」大会将于线上举办。今年,「甲子光年」的主题为——“行至水深处”。

在过去一年里,我们观察到互联网流牛奶和蜜的时代结束了——创新的机会走向市场深水区,数字化的落点步入产业更深处。此时此刻,科技创新更需要”躬身入局、深水笃行”的定力和恒心。

大道致远,海纳百川。「甲子光年」将持之以恒地致力于为科技创新服务,传播那些对中国科技创新有见地的公司、人物和观点。在此,「甲子光年」对十位企业CEO进行了专访,在他们眼里,中国科技产业融合深水区将会有怎样一番风起云涌?

本期,「甲子光年」采访了视比特智能制造事业部总经理刘欢。视比特机器人(SpeedBot Robotics)成立于2018年,致力于以“AI+3D视觉”赋能“智能产线”和“智慧工厂”,面向工程机械/重工行业、智慧物流、汽车及一般工业,提供通用且标准化的视觉产品与解决方案,拥有“机器人工作站”“超高精度视觉测量及检测”“工业系统软件”三大核心产品,主导了多个行业龙头企业在智能制造领域的全自动智能产线和智慧工厂、智慧物流产线的建设工作。

此次,让我们透过刘欢的视角,一起体会何为“行至水深处”。

 

1.柔性产线的“视觉大脑”,助力协同生产

 

「甲子光年」:最开始为什么会选择智能制造和智慧物流这个行业来切入?

刘欢:传统制造业生产任务大而重,工作环境往往比较恶劣,并且具有一定的危险性。在做调研的时候,我们看到很多重工生产产线上的工人,尤其做搬运的工人,年龄层次大多处于70后。伴随着社会的老龄化,工厂面临着招工难、用工难的问题,产能需求和劳动力输入的不平衡现象愈来愈常见,对生产管理是很大的挑战。

而对于智慧物流,立库、AGV、WMS系统等已经相对成熟的产品,“无边界、多品种”特性带来了复杂性,传统自动化/无人化方案对海量SKU混合堆叠来料的场景适应性缺失一直是行业的难点痛点,人口红利消退下,迫切需要新技术变革来实现机器换人,这也是典型的深水区场景。

3D视觉算法带来的柔性提升,可以突破智慧物流增长的瓶颈,极大拓宽客户覆盖的边界,但深水区场景需要较高的技术壁垒。视比特通过“AI+3D视觉”能实现对海量SKU的商品/货品的精准识别并进行分拣,形成诸多技术壁垒,特别是视觉识别和机器人轨迹规划、抓取、移动等控制的交互。

「甲子光年」:视比特致力于为智能制造和智慧物流等行业打造“3D视觉感知与机器人柔性控制深度融合”的视觉大脑,为什么会选择柔性生产?

刘欢:基于中国和全球的生产现状而言,制造业很多场景是多品种小批量生产模式,客户需求相对来说碎片化、定制化,传统的单产线生产模式并不能满足这种需求。我们看到,汽车、手机厂不断投入资金和人力做技术改造、产线升级,每次升级都是一次供应链、供应生态的变化甚至重新洗牌。

柔性生产代表的是一种多产品、多流程、多形态、多单元的快速转换与协同生产模式。在柔性生产模式下,工业机器人及自动化设备需要按照生产需求来灵活变化以生产多种型号产品,在上下料、分拣、搬运等环节需根据产品种类的不同实时规划并完成作业任务,而传统的工业机器人或自动化设备根本无法实现。

「甲子光年」:柔性生产模式下,客户可能会在哪些环节提出更高的要求?

刘欢:柔性制造下生产环境更为复杂,对于智能化作业的需求更高。例如工程机械行业的一个显著特点是物品SKU多达数万种,成千上万的零配件形成了庞大的“零件库”,而这些“库”又是需要依据客户订单来进行组合生产的,也就是说生产需求是随机的,作业产品类别也是海量、无边界的,只有跳出传统自动化小集合解决方案的耦合,实现真正的全兼容智能作业才能解决这个使用需求,这个就是柔性生产对智能化的一个典型需求。

 

2.深度赋能集成商,技术和产品带来增量空间

 

「甲子光年」:在商业模式上,视比特是直接面向最终的客户,还是与中间的集成商合作?

刘欢:我们的模式是深度赋能集成商。对于专业集成商,我们提供视觉算法;对于自动化集成商,可以用视比特的分拣工作站。我们希望解放集成商,不只是编码行为的赋能,更多的是释放集成商对于编码思维的一种需求。

「甲子光年」:这是行业内的一种普遍做法吗?

刘欢:这个要从增量市场和存量市场来看。在视比特成立之前就有很多的视觉厂商,大概2010年之后,就有很多国内外厂商提供基于视觉生成3D点云及处理的通用场景,也衍生出了视觉焊缝追踪、焊缝发现以及在简单场景下视觉引导机器人做标品的拆、码、搬运、检测等能力,这是一个存量市场,大家都是视觉算法加平台、相机向市场推广,厂商可以通过本身的产品行为或市场行为直接找到客户。

对于增量市场,不管是行业认知还是客户认知,AI+视觉并没有辐射进去,市场还处在相对早期,我们需要把客户碎片化的需求做归纳整理,针对客户场景去推演产品对应的解决方案,这是一个培育集成商和用户新的使用习惯和产品认可度的过程。视比特两个方向兼备,既有存量市场的布局,也有增量市场的探索,这是我们的创新点,也是优势。

「甲子光年」:增量市场的表现是什么?

刘欢:主要是产品和技术层面的增量。举个例子,像AI的人脸识别已经大规模应用了,在识别脸之后,去挑战超高精度的识别,这就是一个技术上的增量。产品层面,针对每一个技术和每一个场景都有代表产品投入到行业里,例如视比特推出的高精度3D测量检测系统,是面向工业大尺寸精密零件的高精度检测,可以拓展至整个汽车主机厂、零部件汽车其他产品的测量与检测,在轨道交通、重工、航空航天、军工等领域复制推广。产品增量让行业里面增加了更多的产品,同时也增加了更多的场景解决方案,更多的技术积淀,还有更多的客户选择。

「甲子光年」:在供给端,面对存量市场和增量市场,企业会有什么应对方案?

刘欢:我觉得是在2019年时,针对存量市场的低端需求已经形成了一定的内卷。主要表现就是商务行为和技术争夺。商务行为像价格战,甚至有一些企业以免费手段争夺市场占有率,也发生了彼此之间诋毁这样比较偏激的行为。

在技术上,快速的仿制层出不穷,市场上一旦有了好产品,马上就会出现类似的产品,甚至还发生过好几起挖角相关竞品公司技术人员的事情。视比特在这个过程中仍坚持以创新驱动产品大规模落地,坚守在AI+视觉这个生态,并不断去开辟增量市场。

「甲子光年」:存量市场的“内卷”是视比特开辟增量市场的原因吗?

刘欢:我们开辟增量市场的原因不是因为这个,其实我们一开始就是揣着把行业做大的梦想,希望在这个领域里去推动新的技术落地,我们创业的初心就是因为看好AI+视觉这个生态,看到了它很大的发展前景,期待让越来越多的人进来发展成更大的行业生态,而不仅仅是一个细分领域。当市场空间达到百亿、万亿级的时候,足以让更多企业生存改善,百家齐鸣,为客户带来更大价值的同时,推动3D视觉+AI行业的发展。

「甲子光年」:视比特是一家软件公司还是硬件公司?

刘欢:视比特是一家以软件为核心的高科技公司,先进的软件系统、视觉算法、机器人控制算法研发能力是主要核心技术优势,我们希望以领先的算法和软件平台为核心,与广大的硬件厂商共同合作,将各家产品更好地融合起来,以产品生态来构建这个行业的应用生态。

当然,我们也会做一些硬件的结构性设计,因为硬件是一个软件价值的承载体。在每个航段,我们期望以软件为轴,在硬件的各个分支上提出具备行业参考性的建议,赋能行业上下游的技术路线,形成行业枝繁叶茂的大树。

「甲子光年」:产业链里经常会出现上下游互相渗透的情况,比如说机器人本体厂商也会做软件的研发。您怎么看待这样的现象?

刘欢:会有上下游渗透的情况出现,这对行业的发展来说是个好现象,但是核心技术是一个宽度和广度的问题,各家长处不同,大家根据自己的优势进行扩张。当我们能达到很好的共通状态时,渗透只是一个宽度的调用。我们也希望厂商在辐射其上下游生态时能涉及到这一部分,并不是只有视比特一家在做,这其实能推动产业链的发展。实际上,只有行业往前走了,大家的空间也才更广阔。

如果某个厂商的渗透已经可以逐步取代一些产业链公司,那么这些公司应该反省自身的产品,或者说市场行为是不是存在问题。我们真正的敌人是我们自己,当产品和服务响应不能满足市场需求的时候,就会遭到抛弃。这种担忧各家都会有,但这就是既定的商业规则,只有更好去适应它、去鞭策自身不断创新。

 

3.标准化产品,实现客户跨场景迁移

 

「甲子光年」:由于制造业细分领域非常多,场景和需求比较分散,很难在不同行业属性的客户间实现迁移。视比特如何解决这一问题?

刘欢:制造业的细分领域很多,但是它的核心逻辑是相同的。核心逻辑相同就会催生共同的需求——比如工程机械制造需要把原料搬出来,造船也需要把原料搬出来,生产船是这样,生产汽车也是这样。

我们针对不同行业相似场景的共性需求做标准化,逐步拆分到产品级,到产业链级,最后到整个场景的标准化。视比特触发上下游的产业链伙伴共同合作,就像我们现在人手一只的笔记本电脑一样。电脑刚产生的时候,是一个为了计算的巨型机,然后做芯片的、做存储的、做控制的、做系统的等上下游厂商慢慢耦合之后,形成了一个柔性很高的产品。我们现在既可以用它办公,也可以用它打游戏,还可以用它做技术开发。

「甲子光年」:有没有具体案例?

刘欢:以重工生产领域来说,不管使用的是钢材、铝材还是其他型材,所有生产工序都离不开切割、冲压和成型,简单理解就是把一整块原材料加工成自己需求的一小块的零件拼图,这就是一个很共性的需求。我们根据重工制造业钢板切割场景下的共性需求研发了“基于3D视觉引导机器人智能分拣上下料系统”,可轻量化延展至智慧工厂、小家电、汽车等行业场景。

「甲子光年」:视比特现在是否到了从单一场景到跨场景、跨环节的发展阶段?

刘欢:我们现在只是在重工生产领域下面的分拣,还有其他的工艺,基本上是基于工艺的需求来整合共性需求,例如破口、折弯,最后的焊接成型等等,都是制造领域里独立成型的工艺单元,我们基于工艺单元的共性去找到相同的需求,然后去落地自己的产品,这样就能形成离散型场景之间的共性产品,当然可以把它聚集起来,形成基于特定行业的产线级辐射。

至于跨场景、跨环节的发展阶段,也不能说我们完全跨过了这个阶段。每一个行业里面的共性需求可能达到95%甚至98%,但是没有哪个场景是100%的雷同。在95%~98%的区间里,我们要做到快速的标准化,也就是从产品级到产线级的标准化,来解决每一个行业的生产需求,这是我们的重点工作方向。

「甲子光年」:现在很多工业机器人公司想要做“平台”“生态”,如何理解平台、生态?视比特是否有类似的规划?

刘欢:平台是必须要做的,我们一直认为平台是从产品里面生长出来的,是基于场景和需求来真正部署的。一直以来,大家认为人工智能总是飘在空中,就是因为平台、生态的概念没有落地。它的逻辑是这样的:一个场景把它的需求辐射出来,然后生产出产品,针对这个产品,打造为产品赋能的平台。这样的才是真正有意义的平台,真正能为客户和行业所接纳的平台。先打造出一个平台再去开发产品,是一种逆其道而行之的模式。

「甲子光年」:AI是不是也走了这样的逆其道而行之的弯路?

刘欢:我们之前走访发现,真正从事生产行业、制造行业的人,对于AI的普遍认知都是“人工智能很火很厉害,但是和我们好像搭不上钩”。

针对这一点我们和同行都在尽力通过自己的方式来改变大家对于AI的认知。我们落地解决方案的各项产品,都用到了AI和视觉技术,把它实实在在地放在生产场景里,让它赋能这个行业,这样才能让这个行业的人转变认知。

「甲子光年」:AI现在看起来像是一个普惠的技术了,很多公司都有AI功能,放在我们这个行业来看的话,它的一个壁垒应该是什么?

刘欢:从企业的角度来说,既然我们称之为壁垒,它肯定有一个根基,这个根基是技术门槛,再往上的话,我们需要在根基的基础上去筑墙,也就是产品,这是壁垒的重要组成部分。在根基支撑的基础上,逐步把这堵墙做得更厚、筑得更高。再往上是服务,再好的壁垒也需要维护体系,用更好的服务去维护自己的产品,就是在维护自己的壁垒和根基。

「甲子光年」:从硬件层面和软件层面来说,国产化产品面临的卡脖子的瓶颈在哪?

刘欢:我们的国产替代不应该局限于把外国的东西买进来,自己重新组装,而是真正的实现产品替代化。在视觉硬件方面的话,绕不开的卡脖子技术就是芯片和光学镜头。另外视觉软件方面,其实就是我们所做的工作,当有越来越多的企业和视比特一起,去做软件核心底层算法的自主研发,做一套完全自主可控的商业软件产品体系,而不是基于别人做一个分装产品的时候,才会打破“卡脖子”的局面。视比特在超高精度测量等领域迈出了这一步,也会持续地完善技术体系,行得更久,走得更远,希望与同行一起共建生态、形成不局限企业的破壁力量。

「甲子光年」:2019年之后,行业内发生的最大变化是什么?是通过哪些事或者现象体会到的?

刘欢:简单来说,最大的变化其实就是市场变得更大了,需求变得更多了,在内卷的同时,也看到了有像视比特一样在探索、开拓的行者!在我们所专注的智能制造和智慧物流领域,逐渐看到其他的同行和上下游的合作伙伴,一起来支撑起这个快速增长的市场,这一点是很好的。

]]>
http://www.hahakm.com/shijie/interview/25467/feed/ 0
超级干货!RoboView 技术篇之 3D 视觉 http://www.hahakm.com/shijie/info/17373/ Tue, 10 Aug 2021 05:59:11 +0000 从手机解锁、支付消费到工厂的生产应用,3D 视觉已经深入到生活的方方面面。那到底什么是3D 视觉。它在仙工智能视觉 AI 解决方案中又扮演着什么角色?

3D视觉与2D视觉的技术差异

3D 视觉与 2D视觉技术的最大区别在于处理的数据类型不同。在 3D 视觉领域,被处理的对象通常是依靠 3D 传感器采集到的三维点云数据,而 2D 视觉技术主要被用于处理平面图像里的信息。这决定了 3D 视觉不仅能够感知场景中物体的有无,还能够准确的感知到物体离我们距离远近、尺寸大小和位置朝向。

搭配上 RoboView Server 算法平台,AMR 就可以拥有像人眼一样能够真实感知物体的三维尺寸信息的视觉,更好地实现2D视觉无法实现或者不好实现的功能。

超级干货!RoboView 技术篇之 3D 视觉插图

RoboView 如何

通过 3D 视觉实现这些功能

虽然 3D 成像技术在不断发展,但目前依然没有具备抗环境光干扰能力强、成像距离远、测距精度高、分辨高和成本低等优点于一身的 3D 传感器。

因此,目前 3D 视觉的应用还是依据具体的使用场景和预算来选择相机,然后根据相机成像结果来定制性的进行算法开发。这种成本高、周期久的应用模式严重限制了 3D 视觉在实际场景中的使用。

本着以标准化产品支撑非标应用的思维,RoboView 的3D 视觉模块对过往3D视觉非标项目进行总结性分析,六大基本操作流程,就像生产线上的六道基本工序一样对 3D 视觉数据进行分解、处理和分析,最终得到我们想要的信息。

第一步-数据采集

3D 数据采集流程主要工作是获取场景的 3D 信息,该流程对外面对的是不同品牌和型号的 3D 传感器接口,对内是输出同一格式的 3D 视觉数据。实现了对外整合和对内的统一。

超级干货!RoboView 技术篇之 3D 视觉插图1

第二步-数据标定

数据标定主要工作是建立3D 传感器与真实场景之间的联系,将3D传感器看到的事物与真实场景中存在的事物建立一一对应关系。完成数据标定过程,我们就可以将3D视觉数据分析出来的结果反馈到到真实场景中。

超级干货!RoboView 技术篇之 3D 视觉插图2

第三步-数据滤波

数据滤波过程相当于对采集到的3D信息进行一次初略的清洗,去除与后续分析对象无关的信息,可以方便我们更加聚焦在需要处理的对象上。

超级干货!RoboView 技术篇之 3D 视觉插图3

第四步-场景分割

场景分割是对3D数据进行降维处理,将滤波后的3D视觉数据根据其结构特征及纹理差异分割成平面、连续曲面等一系列简单结构的3D视觉数据。通过将场景内的3D视觉数据分割成一块块简单结构特征,可以有效的避免两个不同对象干扰后期的目标识别结果。

超级干货!RoboView 技术篇之 3D 视觉插图4

第五步-目标识别

目标识别就是确定目标物体在场景中的位置和姿态,利用目标识别算法准确的识别场景中的货物所在位置为后续数据评估提供基础。识别出货物的位置与姿态也可以用来引导机器人对货物进行叉取转运。

超级干货!RoboView 技术篇之 3D 视觉插图5

第六步-数据评估

准确识别出场景中的货物后,数据评估流程就可以评估货物的长、宽、高等尺寸信息,进而分析出货物堆叠层高、货物类型等深层次信息。

超级干货!RoboView 技术篇之 3D 视觉插图6

RoboView 3D 视觉提供功能

1、障碍物检测

3D 视觉下,无惧阴影和视线遮挡等,有效减少误警问题,大幅提升应急通道障碍物检测功能的准确性。

超级干货!RoboView 技术篇之 3D 视觉插图7

2、库位管理

带有 3D 视觉的库位管理,不仅可以准确管理库位内货物有无信息,更高级的货物尺寸信息、堆叠层高和货物摆放位姿等信息。这些深层次的信息为后续的高层级应用如目标检测,AGV 调度等深层次的库位管理功能提供了可能。

除此之外,仙工智能视觉 AI 解决方案-RoboView 为客户提供覆盖生产、安全、管理等环节下众多应用的视觉 AI 解决方案。解决方案涵盖前期调研、中期研发、落地和后期的产品维护和升级,助力客户提高生产效率,加速完成智能化生产。

超级干货!RoboView 技术篇之 3D 视觉插图8

超级干货!RoboView 技术篇之 3D 视觉插图9

超级干货!RoboView 技术篇之 3D 视觉插图10

]]>
视比特机器完成近亿元A轮融资,推动3D视觉软硬件平台智能化 http://www.hahakm.com/shijie/info/7833/ Tue, 22 Sep 2020 01:25:06 +0000 前言:

在新基建的大力推行下,中国制造业逐渐走出国门。视比特机器人将工业视觉技术和机械臂组合一起,形成了强大的竞争优势,推动中国传统制造业智能化改革。

备受资本欣赏

近日,视比特机器宣布完成近亿元A轮融资,投资方是和玉资本、图灵资本。在去年7月天使轮获得图灵资本、道生资本和小智创投的投资。同年10月,视比特完成千万级战略融资,由同威资本领投,老股东道生资本跟投,毅仁资本继续担任本轮融资的财务顾问。

本轮投资主要是为了推动3D视觉软硬件平台智能化、标准化,研发技术,扩建团队,推广市场。

投资者和玉资本管理合伙人曾玉女士表示:“我们一直关注制造业和物流行业的disruptive technology,工业视觉和机械臂的结合是其中之一。这项技术的应用刚刚起步,未来的市场空间巨大。视比特团队拥有业内顶尖的AI 和3D建模技术,产品的精度和稳定性比肩国际一流公司。坚信视比特能够成为在多个行业拥有影响力并且创造出巨大商业价值的公司。”

视比特机器完成近亿元A轮融资,推动3D视觉软硬件平台智能化插图

团队强大且多个领域延伸

据了解,视比特机器人于2018年8月入孵“柳枝行动”落地长沙高新区,是一家深度融合“3D视觉感知与机器人柔性控制交互技术、3D数字孪生与工业闭环控制技术”的三维视觉高科技公司。由普林斯顿、瑞士联邦理工、波恩大学等海归博士团队创立。

主要聚焦物流、智能制造、新零售、大健康等领域,为机器人复杂交互场景提供低成本、高效能的集成解决方案、3D视觉算法、视觉-夹具软硬一体化产品、和通用视觉计算平台服务。在无序分拣、混合拆码垛、自动化装配、高精度测量领域充分得到应用,成为了制造业的视觉大脑。

公司面向机器人复杂交互场景与工业互联网,赋能行业集成商,提供高效能、低成本的3D视觉算法与模块、智能化产线集成解决方案、基于3D数字孪生的工业闭环控制系统。

视比特机器完成近亿元A轮融资,推动3D视觉软硬件平台智能化插图1

制造业和物流行业双发展

目前市面上的机器视觉一般分为2D和3D两大类,2D的兴起比较早,发展较为完善,但是3D来讲,其真正兴起于2014年,据业内人士透露,整个国内市场去年总出货量不到500台,市场还比较小。

视比特机器人,在疫情期间发展速度迅猛。2020年疫情期间,视比特承担了国内重工领域龙头企业的智能化升级改造项目中的关键技术突破,提供了包括机器人视觉、控制、夹具、系统软件等最核心技术在内的自动下料分拣系统研制。

针对非标自动化场景下的零件精确检测和准确抓取这一难点,视比特提出了全局和局部相结合的3D匹配技术,成功实现了1度—1毫米以内的高精确位姿计算,解决了“高精度、高效率”的目标和需求。

视比特机器完成近亿元A轮融资,推动3D视觉软硬件平台智能化插图2

视比特商业落地零号拆垛机器人

除了在重工领域突破了关键性技术,还拓展了物流领域。据视比特团队介绍,他们早于全球优秀机器人公司“波士顿动力”半年的时间发布了面向多品类包装箱的无序拆垛机器人——零号拆垛机器人(ZeroPick)。

它融合了目前最先进的3D视觉、深度学习和机器人规划控制技术,让机器人具备识别精度高、抓取速度快、复杂场景适应性强、成本相对较低等优势。要应用于物流行业货品在传送带托盘场景下对于尺寸、纹理差异极大且随意混合堆放的上千种纸箱,ZeroPick能够实现快速准确拆垛。

同时,它还是全球业内唯一能够识别透明塑封饮料箱的机器人。已在大型电商物流仓库实地应用,经受住了“双十一”高负荷压力测试,在上千种品类的饮料箱拆码垛测试中,准确率高达99.9%。值得一提的是,在抓取节拍上完胜波士顿动力Pick的4.5秒/箱。2020年视比特在智慧物流行业成功交付了多个3D视觉引导机器人无序分拣快递包裹项目。

视比特机器完成近亿元A轮融资,推动3D视觉软硬件平台智能化插图3

结尾:

目前,视比特机器人已经有成熟落地案例在智慧物流、新零售、工程机械、汽车制造领域。据悉,该公司团队发展规模超过百人,在机器人复杂交互场景下的3D视觉、柔性控制、手眼融合、高精度检测等方面处于国际先进水平。

]]>
视比特机器完成近亿元A轮融资,发力机器人运动规划+3D视觉产品研发 http://www.hahakm.com/shijie/info/7823/ Mon, 21 Sep 2020 07:59:11 +0000 前言:

在新基建的大力推行下,中国制造业逐渐走出国门。视比特机器人将工业视觉技术和机械臂组合一起,形成了强大的竞争优势,推动中国传统制造业智能化改革。

备受资本欣赏

近日,视比特机器宣布完成近亿元A轮融资,投资方是和玉资本、图灵资本。在去年7月天使轮获得图灵资本、道生资本和小智创投的投资。同年10月,视比特完成千万级战略融资,由同威资本领投,老股东道生资本跟投,毅仁资本继续担任本轮融资的财务顾问。

本轮投资主要是为了推动3D视觉软硬件平台智能化、标准化,研发技术,扩建团队,推广市场。

投资者和玉资本管理合伙人曾玉女士表示:“我们一直关注制造业和物流行业的disruptive technology,工业视觉和机械臂的结合是其中之一。这项技术的应用刚刚起步,未来的市场空间巨大。视比特团队拥有业内顶尖的AI 和3D建模技术,产品的精度和稳定性比肩国际一流公司。坚信视比特能够成为在多个行业拥有影响力并且创造出巨大商业价值的公司。”

视比特机器完成近亿元A轮融资,发力机器人运动规划+3D视觉产品研发插图

团队强大且多个领域延伸

据了解,视比特机器人于2018年8月入孵“柳枝行动”落地长沙高新区,是一家深度融合“3D视觉感知与机器人柔性控制交互技术、3D数字孪生与工业闭环控制技术”的三维视觉高科技公司。由普林斯顿、瑞士联邦理工、波恩大学等海归博士团队创立。

主要聚焦物流、智能制造、新零售、大健康等领域,为机器人复杂交互场景提供低成本、高效能的集成解决方案、3D视觉算法、视觉-夹具软硬一体化产品、和通用视觉计算平台服务。在无序分拣、混合拆码垛、自动化装配、高精度测量领域充分得到应用,成为了制造业的视觉大脑。

公司面向机器人复杂交互场景与工业互联网,赋能行业集成商,提供高效能、低成本的3D视觉算法与模块、智能化产线集成解决方案、基于3D数字孪生的工业闭环控制系统。

视比特机器完成近亿元A轮融资,发力机器人运动规划+3D视觉产品研发插图1

制造业和物流行业双发展

目前市面上的机器视觉一般分为2D和3D两大类,2D的兴起比较早,发展较为完善,但是3D来讲,其真正兴起于2014年,据业内人士透露,整个国内市场去年总出货量不到500台,市场还比较小。

视比特机器人,在疫情期间发展速度迅猛。2020年疫情期间,视比特承担了国内重工领域龙头企业的智能化升级改造项目中的关键技术突破,提供了包括机器人视觉、控制、夹具、系统软件等最核心技术在内的自动下料分拣系统研制。

针对非标自动化场景下的零件精确检测和准确抓取这一难点,视比特提出了全局和局部相结合的3D匹配技术,成功实现了1度—1毫米以内的高精确位姿计算,解决了“高精度、高效率”的目标和需求。

视比特机器完成近亿元A轮融资,发力机器人运动规划+3D视觉产品研发插图2

视比特商业落地零号拆垛机器人

除了在重工领域突破了关键性技术,还拓展了物流领域。据视比特团队介绍,他们早于全球优秀机器人公司“波士顿动力”半年的时间发布了面向多品类包装箱的无序拆垛机器人——零号拆垛机器人(ZeroPick)。

它融合了目前最先进的3D视觉、深度学习和机器人规划控制技术,让机器人具备识别精度高、抓取速度快、复杂场景适应性强、成本相对较低等优势。要应用于物流行业货品在传送带托盘场景下对于尺寸、纹理差异极大且随意混合堆放的上千种纸箱,ZeroPick能够实现快速准确拆垛。

同时,它还是全球业内唯一能够识别透明塑封饮料箱的机器人。已在大型电商物流仓库实地应用,经受住了“双十一”高负荷压力测试,在上千种品类的饮料箱拆码垛测试中,准确率高达99.9%。值得一提的是,在抓取节拍上完胜波士顿动力Pick的4.5秒/箱。2020年视比特在智慧物流行业成功交付了多个3D视觉引导机器人无序分拣快递包裹项目。

视比特机器完成近亿元A轮融资,发力机器人运动规划+3D视觉产品研发插图3

结尾:

目前,视比特机器人已经有成熟落地案例在智慧物流、新零售、工程机械、汽车制造领域。据悉,该公司团队发展规模超过百人,在机器人复杂交互场景下的3D视觉、柔性控制、手眼融合、高精度检测等方面处于国际先进水平。

]]>
3D视觉混联六轴检测系统的技术解析 http://www.hahakm.com/tech/hxlbj/jqsj/5178/ http://www.hahakm.com/tech/hxlbj/jqsj/5178/#respond Fri, 18 Oct 2019 07:39:37 +0000
 

导语:并联机器人+3D视觉有哪些难点和技术点?

 

 

      近年来,伴随着3D传感行业的迅猛发展,机器视觉迎来轰轰烈烈的第四次视觉革命。许多机器人公司也都开始了3D视觉的研究,本次的应用案例来自勃肯特机器人,其采用了结构光相机配合自主研发的串并混联六轴机器人,完成3D视觉相关检测项目,据了解即将投入实际应用阶段。
 

      视觉升维迎来历史性的技术爆发,让其他三次视觉革命都略显黯然失色,第四次视觉革命最大的特点体现在机器直接从之前的2D平面“视界”进化到3D立体“视界”,刷脸支付、Face ID、VR、无人便利店、智能机器人等人工智能产品从实验室走向普罗大众身边,频频以“未来产品”姿态曝光,其背后起到关键作用的黑科技便是3D视觉技术,3D视觉技术也已经成为人工智能界的新宠。
 

3D视觉混联六轴检测系统的技术解析插图


      人类利用科技提升机器的视觉能力,模拟人的双眼,这听起来似乎没什么了不起。但是在商业应用中,3D视觉的影响力不亚于在亚马逊森林搅动风暴的蝴蝶,以目前火爆市场的支付宝刷脸支付为例,拿目前出货量最多的3D视觉代表性企业奥比中光来说,搭载了其3D结构光的刷脸支付产品,能够通过点阵投影仪把数万个光点投射到用户的面部,通过3D摄像头找到对应光点,再利用三角测量原理计算出光点的深度信息,从而达到3D面部识别的效果并完成支付。
 

      相比过去2D视觉的人脸识别,3D视觉能轻易识破平面照片或者视频等欺骗,让支付的安全性和便捷性得到革命性升级。同时在机器视觉技术的帮助下,刷脸支付能够带来更好的体验,大大降低安全隐患。
 

      工业机器人领域获取外界物体三维信息的传感器主要有以下三种,传统RGB双目相机、结构光相机、TOF相机。
 

3D视觉混联六轴检测系统的技术解析插图1

▲ 三种主流三维信息获取设备
 

      应用场景主要集中在三大板块:
 

      (1)通过3D视觉快速准确的对纸箱进行尺寸测量,完成物流行业随机尺寸纸箱的拆垛和码垛;
 

      (2)在生产线上,多种型号的工件往往会被杂乱无章的堆放在料框里,同时这些工件的形状外观差异很大,通过3D视觉可准确获取料框内物体的三维轮廓特征信息,机器人可快速精准的完成多品类工件的分拣;
 

      (3)在轻工行业,通过3D视觉获取物体的三维轮廓信息,使机器人高速高精度完成涂胶、喷涂等相关工作。

 

3D视觉混联六轴检测系统的技术解析插图2


      三种技术方案对比
 

      与3D视觉的立体成像相得益彰,混联六轴由3P-3R结构组成,即三自由度的并联机构与三自由度的串联机构组成,实现了6自由度更大空间的运行,在保持了原有并联机构特点之外,增加了拾取物品位姿随机、末端摆放自由灵活、理料与分拣双工艺结合的特点。
 

      勃肯特的解决方案中,运用3D相机完成立体物料的视觉信息捕捉后,可实现机器人根据物料在三维空间内的位置与角度判断,解决了以往机器人只能进行平面抓取的弊端,可实现对堆叠来料的快速理料,同时也开拓了对不规则、不平整来料进行涂胶、注塑等工艺,丰富了更多应用场景。
 

3D视觉混联六轴检测系统的技术解析插图3

      ▲ 勃肯特串并混联六轴机器人
 

3D视觉混联六轴检测系统的技术解析插图4

▲ 勃肯特自主研发机器人控制器与结构光3D相机
 

      据了解,,类似于传统2D视觉,勃肯特自主研发机器人控制器与结构光3D相机首先对相机进行标定,采用Eye to hand的安装方式,在完成相机内参标定后,结合棋盘格对相机外参进行标定。外参数标定即确定相机与外界的平移和旋转关系。利用经典的AX=XB齐次坐标求解方法,让机器人末端在棋盘格上移动多个位置,记录其坐标值,求出转换矩阵,完成相机标定。
 

      然后对点云预处理,去除外界干扰产生的噪点后,通过对点云进行平面分割和目标提取,完成场景中目标物体的分割及其特征的提取。并且通过特定算法完成目标物体的位姿估计和优化,最终完成串并混联六轴机器人在3D视觉作用下对不同形状物体快速精准的分拣。
 

3D视觉混联六轴检测系统的技术解析插图5

▲ 相机采集的原始图像
 

3D视觉混联六轴检测系统的技术解析插图6

▲ 相机采集的深度图像
 

      感谢勃肯特机器人提供的以上案例内容。勃肯特机器人研究院团队成立于2018年3月份,成员平均年龄26岁,其中硕士占比超过一半,在内部有“最高智商”团队之称。先后成功主导及参与完成“异型烟智能分拣码垛项目”、“并联6轴Stewart平台”、“镇江工厂智能信息化管理系统”、“统筹分拣”、“BeMotion 控制器”多个项目的算法研发。随着该项技术项目的成功落地,可以预见的是,勃肯特将凭借自己的“眼睛”配合串并混联六轴机器人不断探索客户的实际应用领域,提供更多高精度的解决处理方案,练就更符合客户需求的“金睛火眼”。

]]>
http://www.hahakm.com/tech/hxlbj/jqsj/5178/feed/ 0
3D视觉混联六轴检测系统研发成功 http://www.hahakm.com/shijie/info/5136/ http://www.hahakm.com/shijie/info/5136/#respond Mon, 14 Oct 2019 02:18:30 +0000
 

导语:近年来,伴随着3D传感行业的迅猛发展,机器视觉迎来轰轰烈烈的第四次视觉革命。勃肯特机器人研究院团队,采用结构光相机配合自主研发的串并混联六轴机器人完成3D视觉相关检测项目,并即将投入实际应用阶段。

 


          视觉升维迎来历史性的技术爆发,让其他三次视觉革命都略显黯然失色,第四次视觉革命最大的特点体现在机器直接从之前的2D平面“视界”进化到3D立体“视界”,刷脸支付、Face ID、VR、无人便利店、智能机器人等人工智能产品从实验室走向普罗大众身边,频频以“未来产品”姿态曝光,背后起到关键作用的黑科技便是3D视觉技术,已经成为人工智能界的新宠。
 

3D视觉混联六轴检测系统研发成功插图


          人类利用科技提升机器的视觉能力,模拟人的双眼,这听起来似乎没什么了不起。但是在商业应用中,3D视觉的影响力不亚于在亚马逊森林搅动风暴的蝴蝶,以目前火爆市场的支付宝刷脸支付为例,拿目前出货量最多的3D视觉代表性企业奥比中光来说,搭载了其3D结构光的刷脸支付产品,能够通过点阵投影仪把数万个光点投射到用户的面部,通过3D摄像头找到对应光点,再利用三角测量原理计算出光点的深度信息,从而达到3D面部识别的效果并完成支付。相比过去2D视觉的人脸识别,3D视觉能轻易识破平面照片或者视频等欺骗,让支付的安全性和便捷性得到革命性升级。同时在机器视觉技术的帮助下,刷脸支付能够带来更好的体验,大大降低安全隐患。
 

          工业机器人领域获取外界物体三维信息的传感器主要有以下三种,传统RGB双目相机、结构光相机、TOF相机。通过3D视觉快速准确的对纸箱进行尺寸测量,完成物流行业随机尺寸纸箱的拆垛和码垛;在生产线上,多种型号的工件往往会被杂乱无章的堆放在料框里,同时这些工件的形状外观差异很大,通过3D视觉可准确获取料框内物体的三维轮廓特征信息,机器人可快速精准的完成多品类工件的分拣;在轻工行业,通过3D视觉获取物体的三维轮廓信息,可使机器人高速高精度完成涂胶、喷涂等相关工作。
 

3D视觉混联六轴检测系统研发成功插图1

▲ 三种主流三维信息获取设备
 

          三种技术方案对比:
 

          相机类型

          RGB双目相机

          结构光相机

          TOF相机
 

          测距方式

          被动式

          主动式

          主动式
 

          工作原理

          RGB图像特征点匹配,三角测量间接计算

          主动投射已知编码图案,提升特征匹配效果

          根据光的飞行时间直接测量
 

          测量精度

          毫米级精度

          毫米级精度

          厘米级精度
 

          测量范围

          一般2米以内

          一般10米以内

          一般100米以内
 

          影响因素

          受光照和物体纹理影响较大,夜晚无法使用

          不受光照和物体纹理影响,受反光影响

          不受光照和物体纹理影响,受多重反射影响
 

          工作环境

          户外无影响

          户外有影响

          户外有影响
 

          与3D视觉的立体成像相得益彰,混联六轴由3P-3R结构组成,即三自由度的并联机构与三自由度的串联机构组成,实现了6自由度更大空间的运行,在保持了原有并联机构特点之外,增加了拾取物品位姿随机、末端摆放自由灵活、理料与分拣双工艺结合的特点。运用3D相机完成立体物料的视觉信息捕捉后,机器人根据物料在三维空间内的位置与角度判断,解决了以往机器人只能进行平面抓取的弊端,可实现对堆叠来料的快速理料,同时也开拓了对不规则、不平整来料进行涂胶、注塑等工艺,丰富了更多应用场景。

 

3D视觉混联六轴检测系统研发成功插图2

▲ 勃肯特自主研发的串并混联六轴机器人
 

          类似于传统2D视觉,首先对相机进行标定,采用Eye to hand的安装方式,在完成相机内参标定后,结合棋盘格对相机外参进行标定。外参数标定即确定相机与外界的平移和旋转关系。利用经典的AX=XB齐次坐标求解方法,让机器人末端在棋盘格上移动多个位置,记录其坐标值,求出转换矩阵,完成相机标定。
 

3D视觉混联六轴检测系统研发成功插图3

▲ 勃肯特自主研发机器人控制器与结构光3D相机

 

          然后对点云预处理,去除外界干扰产生的噪点后,通过对点云进行平面分割和目标提取,完成场景中目标物体的分割及其特征的提取。并且通过特定算法完成目标物体的位姿估计和优化,最终完成串并混联六轴机器人在3D视觉作用下对不同形状物体快速精准的分拣。
 

3D视觉混联六轴检测系统研发成功插图4

相机采集的原始图像
 

相机采集的深度图像

3D视觉混联六轴检测系统研发成功插图5


          勃肯特机器人研究院团队成立2018年3月份,成员平均年龄26岁,其中硕士占比超过一半,在内部有“最高智商”团队之称。先后成功主导及参与完成“异型烟智能分拣码垛项目”、“并联6轴Stewart平台”、“镇江工厂智能信息化管理系统”、“统筹分拣”、“BeMotion 控制器”多个项目的算法研发。随着该项技术项目的成功落地,可以预见的是,勃肯特将凭借自己的“眼睛”配合串并混联六轴机器人不断探索客户的实际应用领域,提供更多高精度的解决处理方案,练就更符合客户需求的“金睛火眼”。

]]>
http://www.hahakm.com/shijie/info/5136/feed/ 0
关注 | 螳螂的3D视觉能力将推动机器人视觉或其他自动化系统的进步 http://www.hahakm.com/shijie/info/4297/ http://www.hahakm.com/shijie/info/4297/#respond Mon, 15 Jul 2019 08:41:52 +0000
 

导语:3D视觉越来越成为人们关注的焦点!

 

 

         螳螂在捕食昆虫时依靠精确的定位。现在,科学家们已经确定了神经细胞,这些细胞可以帮助计算这些食肉动物外科手术式攻击所需的深度感知能力。
 

         6月28日发表在《自然通讯》(Nature Communications)杂志上的文章,除了提供有关昆虫视觉的线索外,这些细胞行为的原理还可能导致机器人视觉或其他自动化系统的进步。
 

关注 | 螳螂的3D视觉能力将推动机器人视觉或其他自动化系统的进步插图
 

         到目前为止,螳螂是已知的唯一能看到三维图像的昆虫。在这项新研究中,英国纽卡斯尔大学的神经学家罗尼·罗斯纳和他的同事们在一个小剧院里播放螳螂最喜欢的电影,电影中移动的磁盘模仿昆虫。螳螂的眼睛被不同颜色的滤光片覆盖,相当于戴了副微小的3d眼镜。
 

         当螳螂在看电影时,电极会监测视觉叶中的单个神经细胞的行为。在那里,研究人员发现了四种神经细胞,它们似乎有助于将每只眼睛的两种不同视角融合成一个完整的三维图像,而人类视觉细胞也利用这种技术来感知深度。
 

关注 | 螳螂的3D视觉能力将推动机器人视觉或其他自动化系统的进步插图1
 

         一种叫做TAOpro神经元的细胞有三个精细的扇形束,接收传入的视觉信息。与其他三种细胞类型一样,当每只眼睛看到的物体不同时,即出现深度感知所需要的不匹配时,TAOpro神经元就会活跃起来。
 

         研究小组写道,不同类型的神经细胞的细节,以及它们如何接收、组合和发送视觉信息,表明这些昆虫的视觉可能比一些科学家想象的更为复杂。指导螳螂深度感知的原则可能对致力于改善机器视觉的研究人员有用,或许可以让人工系统更好地感知物体的深度。

]]>
http://www.hahakm.com/shijie/info/4297/feed/ 0
关注 | 人工智能3D视觉为智慧交通增添新动能 http://www.hahakm.com/shijie/info/3559/ http://www.hahakm.com/shijie/info/3559/#respond Wed, 29 May 2019 01:10:59 +0000 导语:最新的统计显示,全国94%的交通事故是由人为因素引发,其中疲劳驾驶、开车打电话、开车抽烟等危险驾驶行为更被视为“主凶”。如何发挥AI视觉的作用,让危险驾驶行为得到最有效的管控?

 

       5月27日,奥比中光携3D视觉DMS驾驶员监控系统、3D视觉客流统计解决方案亮相ITS Asia 2019第十三届中国国际智能交通展,引发行业人士关注。

       聚焦驾驶安全,奥比中光亮相ITS Asia 2019

       奥比中光3D视觉DMS驾驶员监控系统专为车载视频监控开发,可用于高铁、网约车、“两客一危”营运车、校车等不同形态的车辆中,能够识别驾驶员身份、监控驾驶员状态,对危险驾驶行为发出预警信号,减少驾驶员人为因素导致的交通事故。

       司机在驾驶时,3D视觉DMS驾驶员监控系统可识别司机状态,如发现打瞌睡、抽烟、玩手机等危险行为,系统可提醒驾驶员停车休息或者换人驾驶。如果监控到一些严重违规行为,系统可及时提醒驾驶员停止危险行为,甚至上报至交警系统。

 

关注 | 人工智能3D视觉为智慧交通增添新动能插图

▲ 系统识别驾驶员开车打电话行为并发出警告

 

       这样一来,相当于车内有了一个移动的安全驾驶助手,可有效防范因危险驾驶引起的交通事故。

       3D视觉客流统计方案落地深圳等多座城市公交运营系统

       不仅仅是辅助安全驾驶,奥比中光3D视觉DMS驾驶员监控系统在车内还有更多用途。例如,3D视觉DMS产品应用于出租车、网约车,系统可实时核验驾驶员身份,防止冒名驾驶,保障乘客乘车安全。

       当遇到父母粗心把孩子遗留在车内,或者是校车内学生滞留等,系统可实时发出警报,及时告知相关人员,避免无人知晓导致车内人员窒息死亡的惨剧发生;当车内发生人员胁迫、打架斗殴等危险行为,系统可以自动报警,防止车内人员被挟持无法自主报警的情况发生。

       除此之外,3D视觉技术还可以用于公交车客流分析,能够实时监测上下车客流情况,统计客流站点分布、客流时段分布、客流量趋势等。公交车运营方可以据此实时调整公交运力,优化公交线网。

       与传统2D视觉客流统计相比,3D视觉客流统计能够定位运动中的乘客,区分儿童和成人,即使客流拥挤时段也能精确识别。目前奥比中光推出的3D视觉客流分析解决方案已应用于深圳、郑州、南昌、兰州等地的公交运营。

 

关注 | 人工智能3D视觉为智慧交通增添新动能插图1

▲ ITS Asia 2019上奥比中光展位

 

       3D视觉作为交互入口,未来应用前景广阔

       3D视觉是人工智能感知层的关键技术之一,能够成为车与路、车与车、车与人之间的交互入口,为智能交通行业发展注入强劲动力。

       目前智能交通领域3D视觉应用尚处于起步阶段,未来3D视觉在交通领域的应用充满想象。刷脸开车门、刷脸启动车辆、车内手势操纵等炫酷操作,都可以通过3D视觉作为交互入口来实现。

       未来,奥比中光将与智能交通领域上下游商业伙伴加强合作,推进3D视觉产品与方案的快速商用落地。

]]>
http://www.hahakm.com/shijie/info/3559/feed/ 0
关注 | 3D视觉为机器人增加“眼睛” 设计 http://www.hahakm.com/tech/hxlbj/jqsj/3390/ http://www.hahakm.com/tech/hxlbj/jqsj/3390/#respond Mon, 13 May 2019 07:07:31 +0000 导语:人类之所以能够驾驭这个世界,是因为具有三维(3D)感知能力。而这个能力也可以赋予给我们的机器人。但人类感知三维的方式也许并不适用于机器。要引导机器人运用深度传感视觉,需要考虑三个关键方法:立体视觉、结构光和飞行时间(ToF)。
 

        机器人系统已经存在了几十年,但直到最近它们大多都是盲目工作。只需为机器人配备接触传感器、接近传感器和位置传感器,它们就可以优雅地进行精心编排的、无休止的重复动作,可以操纵重型材料,执行精密装配,或焊接复杂的结构。但是,它们工作的成功与否,取决于其环境的精确性、必用材料的精确放置,以及对其运动轨迹的仔细绘制和编程。

        然而,这种情况正在发生变化。机器视觉和视觉智能方面的研究、半导体制造的进步,以及图像传感器在手机市场上的应用,简化了视觉系统的开发并降低了其成本,使其成为了一种扩展机器人功能的越来越具成本效益的选择。借助视觉(特别是3D视觉)的引导,机器人将变得更能够与自由世界交互,工作起来更灵活,也更容易适应新的任务。

        然而,特定的机器人所需的视觉特性高度取决于应用。例如,对于那些必须通过视觉引导在杂乱的仓库里移动的机器人来说,它们需要对动态环境进行远程感知,但只需要提供适当的精度。固定机器人的需求则可能完全不同,例如有些机器人用来将箱子里所混合的零件取出,并按相同类型进行堆放,这可能只需要在有限的范围内提供高精度的视觉。执行精密装配的机器人则又有另一套需求。因此,要确定采用哪一种3D视觉方法,首先要对机器“观看”的工作方式有所理解。

        立体机器视觉

        由于和人类观看的方式相似,最容易理解的3D方法是立体视觉。这是一种三角测量法,即用相隔一定距离的摄像头去捕获两个(或多个)图像(或用一个摄像头在图像之间移动),然后通过比较来确定摄像头视场中物体的距离。将摄像头分离会产生视差,这样,较近物体相对远处背景的对齐就会不同——物体越接近摄像头,视差越大。

        图1给出了一个简单的示例。图中的两个摄像头沿平行轴指向相同方向,其传感器对齐并相隔基线距离B,每个摄像头都会捕获一个3D空间(X,Y,Z)的点(P)图像。捕获的图像中,该点在其2D图像平面上的位置将会不同(uL和uR)。几何上,该位置相当于从P点向摄像头引一条射线,穿过一个垂直于摄像头光轴(ZA)、距离等于摄像头镜头焦距(f)的平面所得的交点。

        如果取每个摄像头的ZA与该平面相交的点作为每个图像2D坐标系的原点,那么计算两个成像点之间的距离,就可以获得该点的视差(d)。然后,就可以很容易地计算出该点到图像平面的距离(深度):

        深度=f*B/d

        但是通常现实世界中的系统不是那么容易对齐的。图2给出了一种更通用的设置,其中,每个摄像头都有自己的坐标系,它们以其光轴方向和图像传感器像素栅格的旋转方向来界定。确定图像点视差要比简单的距离计算更复杂,这涉及到坐标变换和几何校正,但三角测量原理是相同的。

        幸运的是,有大量的商用和开源软件可以处理这些计算。还有一些软件可使用摄像头栅格图像来确定所有必要的坐标变换,这样开发人员就不需要精确地确定摄像头方向。因此,计算空间中单个点的深度信息就变成了机器视觉系统中相对简单的一项运算。

        但是,这当中仍然存在许多其他的计算挑战。其中最重要的一个是让系统确定不同摄像头图像中是哪个点对应于空间中的相同物理点。这个确定过程可能涉及极为复杂的相关过程,需要将来自一幅图像的一小组像素与构成另一幅图像的所有组像素进行比较来确定哪些组匹配,然后对构成第一幅图像的所有小像素组重复该过程。

        结构光深度测定

        第二种3D视觉方法——结构光——可简化上面这个相关过程,设计人员应当留意这个优势。这种方法在三角测量工作中用投光机取代了其中一个摄像头。投光机生成一个已知的光斑,然后系统将摄像头图像与这个已知光斑进行比较。所捕获图像中的结构光光斑会因为被测对象上的每个点深度不同而产生失真(图3)。在这个例子中,可以使用基线和两条射线之间夹角计算出P点的深度(R):

        R=B(sinα)/sin(α+θ)

        目前业界已针对场景的深度信息提取开发出各种各样的结构光方案(图4),但其中有许多针对的是物体扫描而不是机器人运动控制。其中一些结构光方案产生图像序列所使用的光斑包含若干条纹,其宽度从一个图像到下一个图像依次减半(二进制编码)。还有类似采用格雷码或相移条纹的连续光斑也有使用。要利用单个图像捕获深度信息,可以利用连续变化的颜色编码图案,或对条纹图案编制索引,即每个条纹都与其他条纹不同。使用激光器或微镜光控制器可以很容易地创建这样的图案,而ams、Finisar和TI等公司也都专门针对结构光光源制造器件和控制器。

        最近越来越流行的一种结构光方法是以伪随机图案来排列编码形状或二进制点所组成的栅格。系统使用人眼看不见的红外(IR)光来投射这种栅格图案,并且因为栅格是静止的,所以可以使用简单的全息光栅来创建图案。使用这种方法的商用深度传感摄像头系统现已上市。(请参见EDN姊妹刊物ElectronicProducts上发表的《Designer'sguideto3Dcameras》一文)。

        红外光的使用在视觉引导机器人应用中具有两个明显优势。首先,它可以使视觉系统与人类一起工作,而不会因结构光投射而为人类带来的视觉混乱。其次,使用红外光还可简化将结构光与环境光分离的工作。

        飞行时间深度测量

        第三种3D视觉方法——飞行时间(ToF)——完全没有使用三角测量法。ToF3D成像是直接测量深度,也就是确定光从光源到达环境中的物体然后返回所用的时间。在这方面,ToF类似于激光雷达(LIDAR)。然而,ToF方法不是用窄激光束扫描环境来构建深度图像,而是针对整个视场同时确定距离。半导体技术在不断进步,如今的传感器设计已经可以实现每个像素都可以向控制电子逻辑提供自己的信号,进而提取出计时信息。

        ToF的一个挑战在于能够在有意义的范围内实现精确计时,从而获得精确的深度信息。光在空气中的传播速度约为1ft/ns(c),因此光脉冲必须使用数GHz时钟,才能分辨小于1ft的尺寸。类似地,传感器信号必须以亚纳秒精度进行测量。但是,这么短的脉冲所含光子数量有限,也即传感器接收到的光子数太少,从而导致信噪比(SNR)不佳。

        尽管如此,仍有传感器使用直接时间测量法。Teledynee2v的1.3MPBORACMOS图像传感器提供距离选通成像,其全局快门开关可使传感器仅在很短的一段时间内针对特定深度平面收集光子。通过结合多次光照的结果,该传感器可以建立更强的信号用于处理。若在整个系统范围内扫描快门计时,该系统就可以在其深度范围内构建完整的深度图。

        然而,更常见的一种方法是检测发射信号与反射信号之间的相位差来获取深度信息。图5给出了这种方法,反映了反射信号与方波发射脉冲(也可以是其他调制波)之间的关系。物距越大,关联信号越短,并且信号在多个周期内的积分值越低。由于对信号强度进行积分测量起来会比瞬时计时更加精确,因此这种方法的深度测量精度会比简单计算信号返回时间更高。目前,Infineon、pmd和TI等公司都提供这类ToF传感器,其中一些更具有可执行所有深度计算的内置电路。

        不幸的是,这两种方法均存在深度混叠的问题。ToF方案中,光源的调制频率(f)决定了最大不模糊距离,为R=c/2f。假如光脉冲速率是100MHz,则传感器可以清楚分辨的最大范围是5ft(10ns往返)。如果一个物体在6ft以外,其相关信号与1ft外的物体别无二致。也就是说,6ft远的物体对脉冲N的反射光线,其到达传感器的时间与1ft远的物体对脉冲N+1的反射相同。

        降低调制频率可增大不模糊距离,但也有不利后果。释放的光子数较少,会使信噪比变差,或需要增加积分时间。这两种结果都不可取。

        有一种解决方案是通过在光源中混合两种调制频率,来实现信号的去混叠。然后,传感器信号处理可以在对信号进行积分之前分离频率。其总返回信号较高,可提供良好的信噪比;不同的频率所混叠的距离不同,有助于解决距离模糊问题。该方案的最大模糊距离为光速除以两个频率最大公分母的两倍。

        R=c/2*GCD(f1,f2)

        根据需求匹配优势

        上述3D视觉方法各有优劣,开发人员应根据其应用需求进行评估和选择;了解各种3D视觉技术的含义对于选择正确的方法也至关重要。例如,立体视觉系统可以使用传统的摄像头,并且无需使用集成式光源,所以这种方法成本低廉并且更容易集成到设计中。但是立体视觉系统的深度精度取决于其在多幅图像中找到对应点所需的计算性能,而且物体距离越远,深度分辨率越差。立体视觉系统在应对光滑表面和重复图案上也存在问题,这两者都使找到对应点的任务变得更复杂。

        另一方面,结构光方法也使用传统摄像头,但只需要一个。其不需要有很强的计算性能,因此有助于降低成本。但其需要使用集成式光源,其强度会影响工作距离。在环境光可控或被滤除的情况下,其效果最佳,例如在封闭空间中。

        ToF系统的计算强度最低,由于摄像头通常直接向系统主机提供深度信息,因此大大降低了计算需求。然而,与结构光一样,系统需要使用集成式光源,其功率会影响系统的距离,环境光不受控也会导致问题。此外,光源的调制频率也会影响距离。

        无论哪种方法最适合您的应用,为机器人配备视觉引导正变得越来越容易。现货摄像头系统和视觉软件(商用和开源)也使事情变得更简单。此外,为下一代智能手机提供3D视觉功能的研发,有望进一步降低3D视觉的成本和复杂性。

]]>
http://www.hahakm.com/tech/hxlbj/jqsj/3390/feed/ 0
关注 | 波士顿动力收购3D视觉初创公司Kinema Systems http://www.hahakm.com/shijie/info/2819/ http://www.hahakm.com/shijie/info/2819/#respond Tue, 09 Apr 2019 03:31:16 +0000 导语 近日,波士顿动力公司宣布了自己的第一笔重大收购交易,收购对象是一家位于旧金山湾区的初创公司,名为Kinema Systems,该公司专为物流拣选系统开发3D成像解决方案。


        跟机器人领域的很多其他初创公司不同,Kinema已经在市场上推出了产品。值得注意的是,Pick的吸盘式机械臂跟Handle经过重新设计的机械臂如出一辙。

        作为收购的一部分,这款机械臂被重新命名为“波士顿动力拣选系统”(Boston Dynamics Pick System)。波士顿动力将继续销售这款产品并提供支持,这意味着它正式击败SpotMini,成为波士顿动力的首款商用产品。波士顿动力对Handle进行了重新设计,我们似乎可以解读为,该公司正在寻求打造一个物流生态系统,从而有可能跟Fetch乃至Amazon Robotics那样的仓库机器人公司成为竞争对手。
 

关注 | 波士顿动力收购3D视觉初创公司Kinema Systems插图
 

        波士顿动力公司介绍:“Pick是世界上第一个基于深度学习的解决方案,专为机器人拆卸托盘设计——特别是多库存单位和单库存单位托盘。Pick系统可以很容易地使用基于浏览器的GUI进行配置,从而最小化集成时间。它集成了高分辨率的3D和2D传感器来定位各种各样的盒子,并且将视觉和运动交织在一起,最大限度地提高拣货率。” 

        波士顿动力公司创始人兼首席执行官马克•雷伯特说:“将Kinema团队引入波士顿动力公司扩大了我们的认知和学习能力,而Pick产品则加快了我们进入物流市场的步伐。除了成为工业机器人手臂的强大工具之外,Kinema的技术还将帮助我们的移动操控机器人处理各种复杂的现实世界任务。” 

        Kinema Systems创始人兼首席执行官萨钦•奇塔(Sachin Chitta)在领英(LinkedIn)上把自己的职位头衔更新为波士顿动力公司(Boston Dynamics)总经理。Chitta说:“波士顿动力公司拥有的创新声誉与我们开发下一代视觉仓库机器人的使命完美契合。” 

        此次收购还将建立波士顿动力公司在硅谷的第一个办事处。波士顿动力公司计划今年在旧金山湾区扩大团队,专注于为物流市场开发和销售先进的机器人产品,以及研究、开发深度学习和视觉应用,并将其应用到波士顿动力(Boston Dynamics)的机器人家族中去。

        雷伯特说,“我们希望加快机器人的速度,而Kinema系统将可以让我们更有效地为机器人实现视觉功能。”

        毫无疑问,自软银(SoftBank)于2017年年中收购Boston Dynamics以来,波士顿动力公司更注重实际应用,Handle和SpotMini的发展,以及Kinema的收购,都直接指向了这一点。现在,波士顿动力公司需要证明,装有Pick系统的Handle可以为物流客户提供一种高性价比的解决方案。TechCrunch引用了雷伯特关于波士顿动力公司(Boston Dynamics)“专注于应用”(focus on applications)的讲话:

        “我想是谷歌先播下了种子。我们周围所有的机器人公司都比我们更专注于应用和产品。所以我们也一直在尝试这样做,这是一贯以来的作风,这并不是说软银(SoftBank)用锤子打了我们一下然后突然说‘做点产品出来’这么简单。他们对我们的研发工作也非常地支持,两者兼顾的感觉非常好。”

]]>
http://www.hahakm.com/shijie/info/2819/feed/ 0