CN104463265A - 物料处理系统和方法 - Google Patents

Abstract

本发明公开了一种物料处理系统和方法。一种物料处理系统，包括平台，其用于接收多个物品；多个分类箱，每个箱对应于一个物品类型；对象识别系统，其用于识别平台上的物品以及通过特定的物品类型对物品进行分类；所述3D对象识别系统包括3D检测器和数据库，所述检测器用于检测所述物品，所述数据库包括关于物品类型特征的数据；物品接合组件，其用于接合和输送所述物品到所述对应的分类箱；其中对象识别系统设置为根据所述数据库中的数据识别物品，并且指示物品接合组件接合和放置物品到所述分类箱中。

Description

物料处理系统和方法

技术领域

本发明涉及物品和物料的输送，包括识别和正确分类物品。

背景技术

输送用于洗涤并随后分类的物品的工业规模输送机，根据输送机上每秒所需的物品数量，需要保持经济速率。为了手动地管理这些需要与所需分类物品的速率成比例的足够数量的操作者。

一种管理物品速率的方法是当物品机械式或通过机械分类装置到达特定区域而自动地分类物品。

然而，如果物品与物品种类的数量的不同而逐渐增加分类过程的复杂性，则这不是有效的。

一个这样的应用是用于工业洗碗机，因此物品可以是正常的餐用器皿(例如，盘子，杯子，酱料和碗等)以及餐具(例如叉子，刀，勺，筷子等)。另一复杂性包括从不同的位置获取所述物品。进一步以类似的方式使用所述洗碗机，来自一个出处的碗可能与来自另一个出处的碗完全不同，而事实上每个出处可以具有几种不同类型的碗。因此，根据形状的机械分类是不可行的，所以根据现有技术的用于自动分类的时机和以经济速率操作输送机是不可用的。

发明内容

在一个方面，本发明提供了一种物料处理系统，包括：平台，所述平台用于接收多个物品；多个分类箱，每个箱对应于一个物品类型；对象识别系统，所述对象识别系统用于识别平台上的物品以及通过特定的物品类型对物品进行归类；所述3D对象识别系统包括3D检测器和数据库，所述3D检测器用于检测所述物品，所述数据库包括关于物品类型特征的数据；物品接合组件，所述物品接合组件用于接合和输送所述物品到所述对应的分类箱；其中对象识别系统设置为根据所述数据库中的数据识别物品，并且指示物品接合组件接合并放置物品到所述分类箱中。

在第二方面，本发明提供了一种用于识别和分类物品的方法，所述方法包括以下步骤：通过3D检测器检测物品的存在；比较所检测的物品和数据库中所包含的数据；根据3D图像定位物品的位置和方向，并且将这样的信息转换为机器人坐标系；基于所述比较将所述物品归类为特定的物品类型。

因此，通过使用通过类别识别物品的与数据库进行通信的对象识别系统，本发明提供机器人，并因此提供自动分类系统。

在一个实施方案中，平台可以是台架，托盘或板条箱。可替代地，平台可以位于输送机上，例如输送机的表面或由所述输送机移动的台架。这种结构可以提供以下优点，即以经济速率操作输送机而可能超过多个操作员手动地分类。

对于平台是托盘或板条箱的情况，所述平台可以是所述托盘或板条箱的可移动阵列中递送的一组架子的一部分，引导所述系统处理来自所述托盘或板条箱的物品。

出于简化说明的目的，将使用参考作为输送机的一部分的平台，应该理解的是平台不仅限于输送机，而且还可以涉及作为托盘，板条箱或台架的平台。

数据库可以通过图像列出物品，所述图像具有由界限范围确定的每个物品，其可以包括归类(例如碗)，出处(特定的餐厅)和/或类型(例如汤碗)。数据库还可以包括根据标准范围的其他界限，其可以是制造商品牌或仅是外形尺寸。

数据库可以包括物品信息，所述物品信息可以包括至少一个物品的图像。优选地，可以有从不同角度获取的几个物品的图像，以便于对象识别系统不管输送机上的方向而正确地识别物品。

为此，对象识别系统可以包括摄像头，其可以是提供关于物品深度信息的3D摄像头。作为替代，或结合摄像头衍生系统，所述对象识别系统可以包括电子或数字标签系统，例如设置在每个物品上的RFID标签，条形码或QR码系统。因此，根据本发明的系统可以具有ID识别系统，例如邻近输送机的条形码阅读器，RFID阅读器等，以识别目标物品上的ID信息。当结合摄像头使用时，所述两个系统可以用于确认身份和/或用作冗余系统。结合两个系统使用还可以起到减少误差范围的作用，其可以允许操作者在较宽的置信范围内增加输送机的速度。

附图说明

参考附图将便于进一步描述本发明，所述附图示出本发明的可能布置。本发明的其他布置也是可行的，因此附图的特殊性不应理解为替代本发明前述描述的一般性。

图1是根据本发明的一个实施方案的具有输送机的系统的示意图；

图2A是由输送机系统采集的摄影图像；

图2B是由根据本发明另一实施方案的输送机系统采集的原始深度图像(raw depth image)；

图3是根据本发明的一个实施方案的分类系统的等距视图；

图4是根据本发明的一个实施方案的分类系统的端部执行器的正视图；

图5是根据本发明的一个实施方案的对象识别系统逻辑的流程图；

图6A至图6C是来自用于逐行识别物品的对象识别系统的图像；

图7是根据本发明另一实施方案的端部执行器组件的等距视图。

具体实施方式

为了简化接下来的示例，参考一种输送机，其在这种情况下将是输送机。应当理解的是，平台不仅限于输送机，而且还可以涉及作为托盘，板条箱或台架的平台，其结合输送机或独立于输送机而使用。

图1示出了物料处理系统，其在这种情况下是输送机系统5。一般情况下，在其上接收物品的平台可以是输送机15的表面，输送机上的台架或放置在输送机上的板条箱/托盘。

物品10装载到输送机15上。对于这个特定的实施方案，输送机系统5设置为具有工业洗碗机，因此包括物品10通过的清洗工位20和干燥工位25。本发明的核心是对象识别系统32，其包括检测器30，在这种情况下用于针对物品45的3D摄像头。所述摄像头30连接到控制系统和数据库34，其比较物品45和图像数据库以便识别物品的类型。

控制系统34然后接合端部执行器(end-effector)35，其在这种情况下与线性滑轨40接合。可以理解的是，利用图3所示的用于端部执行器的驱动系统的另一个实施方案，可以改变端部执行器35的移动。

端部执行器接合物品45并且移动50，于是利用对应于由控制系统34确定的物品类型的分类箱，将物品45放置在一系列分类箱55中的一个中。

分类箱可以是设置在滑动基座上的篮状容器，其具有覆盖周围的防护栏。所述防护栏可以由系统数字I/O输出控制的电磁锁锁定。此外，每个分类箱可以安装有手动按钮以及接近传感器以检测所放置物品的装载量。按下按钮或所述接近传感器感测分类箱已满，机器人将不再放置额外的物品到这个箱中，同时安全锁将被释放从而操作者可以从防护栏中将满载的分类箱拉出。在更换了空的分类箱之后，安全锁再次锁定，机器人臂将再次开始将物品放置到这个分类箱中。这种设计保护操作者和机器人臂，从而操作者可以安全地从系统中取下满载分类箱。

在另一个实施方案中，对象识别系统可以是可视化的，因此检测器是摄像头，例如3D摄像头。图2A和图2B示出了用于对象识别系统的3D摄像头采集的图像。具体地，这里示出了板条箱60，其中物品放置在输送机上。在板条箱中的是杯子65，一种类型的碗70以及另一种类型的碗75。根据这个实施方案的控制系统采用由3D摄像头拍摄的图像，并且进行深度分析。

由所述输送系统处理的物品将具有如图2A所示的拍摄图像以及如图2B所示的深度图像，而传统的视觉识别通过模版匹配来实现。这不适合于本发明。由于对象是不平坦的并且可能在任何方向上落在输送机上，因此使用二维摄像头的模版匹配方法是不可靠的。此外，为了使控制系统接合端部执行器，需要一些关于物品高度的信息。二维摄像头不能提供给这些。因此，在这个实施方案中根据本发明的对象识别系统使用用于物品的“背景差分(background subtraction)”过程以便检测到物品。

图3示出了根据本发明一个实施方案的系统的另一种布置。这里拾取和放置系统90包括驱动系统95，其操作端部执行器100以从输送机88上取下物品，并且将它们放入两个单独的箱105，110中。因此，驱动端部执行器的装置可以根据设计参数而改变，并且依然落入本发明的范围内。

图3中的拾取和放置系统示出了铰接式的机器人臂95，所述机器人臂95是可旋转的以便从输送机88接合物品，将物品提升到特定的位置并且旋转到适当的箱105，110。

图4示出了端部执行器115的一个示例，在这种情况下，通过吸盘120进行操作。根据这个实施方案的端部执行器设计为拾取和放置多种物品，包括碗和盘。由于物品在尺寸，形状和材料(例如塑料，玻璃或陶瓷)方面是非常不同的，接合这些物品的装置必须能够适应较大范围的变化。由于所有这些物品将混合在输送机上，端部执行器必须能够实现该结果而不必改变端部执行器的性质，因此将需要加以选择以便尽可能地灵活。在这个实施方案中，在工业洗碗机应用方面，吸盘120设计是特别有用的。

当使用三维摄像头时，移动的输送机带进行物品拾起位置精度的估计非常困难。因此，同时根据选择物品上的最适合的接合点以及当物品比较小时管理端部执行器的定位，端部执行器所需的容限可能比较大。为此，对于特定应用的设计者可以使用夹紧装置，例如可以模仿操作者手的铰接夹。或者，图4中所示的吸盘也可以是适当的。

吸盘具有一定程度的优势，因为其无论对象的尺寸都可以从物品的中心拾起物品，而夹具必须包围物品以便与其充分接合。其次，对象上的拾起点与材料相关。一旦其接合以提升，其将达到自然位置。

吸盘120可以具有多个层130，135。这提供较大的与对象平面的操作角度容限。此外，端部执行器115可以提供弹簧以便提供受限于所接合物品类型的垂直方向的容限(例如2cm)。如果控制系统算错定位位置，这个容限133还提供保护以防止端部执行器115以可以压碎物品的方式端部接触物品。因此，容限将是控制系统检测物品的误差范围的函数。

图5示出了用于物品识别的流程图。利用3D摄像头所述过程开始140。当3D摄像头检测145在输送机带上移动的一些物品时，其将识别物品的位置150和物品类型165。然后所述信息传送到软件以规划工业机器人170的动作。工业机器人从期望位置拾起175物品，并且将所述物品放置到对应的分类箱中。在此之后，工业机器人返回到其空闲位置并且等待下一个物品。

传统的拾取和放置机器人仅可以从已知和固定的位置拾取和放置物品，遵循预编程的连续路径以完成任务。对于这些应用，挑战通常是端部执行器设计和工作空间布置。

然而，对于本发明，考虑到给出的物品的多样性和输送机的速度，这种重复机器人不能完成所需的任务。盘子和碗在输送机带上的位置几乎是随机并且不能预测的。为了从移动输送机带上拾起盘子和碗，机器人系统需要检测和识别在输送机带上的每个物品。

开发感知系统存在几个挑战，并且良好的感知系统是智能机器人物料处理系统的主要功能。盘子和碗具有各种各样的类型，每种类型都具有不同的尺寸和形状。需要拾起盘子和碗并且将相同类型的盘子和碗精细地堆积。换句话说，机器人需要执行分类操作。如果不知道物品的类型，机器人不能确定放下物品的位置。因此，感知系统需要执行三个功能：检测，识别和定位。

常规的视觉引导机器人使用安装在输送机带上方的2D摄像头，并且检测不是输送机一部分的任何事物。这种方法基于以下假设：输送机带的颜色是已知的，并且对象的颜色与输送机明显不同。然而，对于这个方案，盘子和碗的颜色是未知的。每个出处可以具有他们偏好的颜色，并且以任何图案设计他们的盘子和碗。此外，可能存在落在输送机带上的灰尘或垃圾以“改变”其颜色。这也可能干扰检测系统。因此，依靠2D视觉检测对象可能是不可靠的。

用于识别物品的对象识别系统可以是标准商业上可用的机器视觉系统中的任意一个，所述机器视觉系统使用自动图像分析以识别对象。物品的特征形状对于所使用的机器视觉系统可以是足够的。用于对象识别系统的检测器可以包括摄像头，其可以是三维摄像头以便通过深度感知而识别对象。当设计落入本发明范围内的系统时，所使用摄像头的类别以及所采用的对象识别系统，可以由设计者酌情处理。

在这点上，可以使用两种方法，模式识别和基于特征的几何识别。在前一种情况下，所存储的对象图像可以识别为代表更复杂的图案的模式。对于基于特征的几何识别，对象可以通过对象的图像的范围识别，所述对象的图像从不同的角度拍摄，从而利用每个不同的视图进行比较。考虑到物品的视图可以来自各种各样的方向，数据库将很可能需要大量的图像以便足够允许这种变化。图像的实际数量将是本发明的每个独立应用的设计问题。例如，使用板条箱来保持物品，其还可以包括搁物架，所述搁物架可以限制物品的可变位置，其还可以限制数据库所需图像的数量。

图6A至图6C示出了根据本发明另一个实施方案的过程结果。图6A示出物品185的图像，在这种情况下是在复杂环境中的杯子。使用深度感知摄像头，可以修改图像以便限定“背景”195和物品190。然后通过从图像中去除背景205，剩下的物品200可以容易地被识别为用于端部执行器的接合。

图7说明了使用的多吸盘端部执行器组件210。端部执行器组件210具有臂215，所述臂215安装有两个分支220，225。每个分支220，225具有两个安装到其上的吸盘230，235，240。每个分支220，225可以采集一个单独的物品。例如，对于较大盘子245，端部执行器230，235已经接合所述盘子，其提供稳定和冗余的接合以确保物品在放置到分类箱中之前得到牢固地保持。具有两个分支的端部执行器组件210，还允许第二分支225接合第二物品(在这种情况下较小盘子250)，而无需干扰第一分支220。

因此，可能的接合顺序能够包括：

1.拾取物品A

2.拾取物品B

3.移动到分类箱区域

4.放置物品A到分类箱A

5.放置物品B到分类箱B

6.移动返回输送机区域

双分支端部执行器组件的优点还包括减少移动每个物品的拾取和放置动作的周期。拾取区域可以相对远离分类箱区域。因为周期可以是机器人臂的移动距离的函数并且输送机上的物品彼此之间非常近，对于机器人臂更易于短距离移动而不是长距离移动。双分支端部执行器组件仅需要两个短距离移动以及两个长距离移动以放置两个物品，同时其需要四个长距离移动以一个接一个地放置两个物品。因此，一次移动多个物品比一个接一个地移动多个物品更有效。

可以理解的是，为了实现进一步的益处，端部执行器组件可以包括多于两个的分支。为此，所述组件可以包括三个或四个分支，这取决于物品的尺寸。然后，作为非穷举列表，分支的最优数量可以是以下任何一个或其组合的函数：

·物品尺寸；

·输送机到分类箱的距离；

·输送机的速度；

·输送机上物品的密度。

Claims (18)

1.一种物料处理系统，包括

平台，所述平台用于接收多个物品；

多个分类箱，每个箱对应于一个物品类型；

对象识别系统，所述对象识别系统用于识别平台上的物品以及通过特定的物品类型对所述物品进行归类；

所述3D对象识别系统包括3D检测器和数据库，所述3D检测器用于检测所述物品，所述数据库包括关于物品类型特征的数据；

物品接合组件，所述物品接合组件用于接合和输送所述物品到所述对应的分类箱；

其中所述对象识别系统设置为根据所述数据库中的数据识别物品，并且指示所述物品接合组件接合并放置物品到所述分类箱中。

2.根据权利要求1所述的物料处理系统，其中所述3D检测器是3D摄像头并且所述数据库包含的数据包括图像数据，所述对象识别系统设置为采集所述物品的图像并且比较所采集的图像和来自所述数据库的图像。

3.根据权利要求1或2所述的物料处理系统，其中所述物品接合组件包括用于接合物品的端部执行器，所述端部执行器安装到机器人臂，所述机器人臂设置为从平台到所述分类箱移动所述端部执行器。

4.根据权利要求1至3中任意一项所述的物料处理系统，其中每个分类箱包括设置在滑动基座上的容器并且置于防护栏中。

5.根据权利要求4所述的物料处理系统，其中所述防护栏设置为由系统数字I/O输出控制的电磁锁锁定。

6.根据权利要求4或5所述的物料处理系统，其中每个分类箱安装有手动按钮以及接近传感器以检测所放置物品的装载量。

7.根据权利要求6所述的物料处理系统，其中系统设置为使得当激活按钮或接近传感器发出关于分类箱已满的信号时，不再放置额外的物品到各自箱中。

8.根据权利要求3至7中任意一项所述的物料处理系统，其中所述端部执行器包括用于接合所述物品的吸盘。

9.根据权利要求3至7中任意一项所述的物料处理系统，其中所述机器人臂包括多个分支，每个分支都具有至少一个安装到其上的端部执行器。

10.根据权利要求1至9中任意一项所述的物料处理系统，其中所述物料处理系统是输送机系统，具有所述输送机系统的输送机的平台部分。

11.根据权利要求10所述的物料处理系统，其中所述平台通过输送机递送到指定位置以处理所述物品。

12.一种用于识别和分类物品的方法，所述方法包括以下步骤：

通过3D检测器检测物品的存在；

比较所检测的物品和数据库中所包含的数据；

根据3D图像定位物品的位置和方向，并且将这样的信息转换为机器人坐标系；

基于所述比较将所述物品归类为特定的物品类型。

13.根据权利要求12所述的用于识别和分类物品的方法，其中所述检测步骤包括以下步骤：

采集所述物品的3D图像，以及；

比较所述物品与在所述数据中包含的图像。

14.根据权利要求13所述的用于识别和分类物品的方法，其中所述数据库是使用有限不同类型的样本物品而预先建立的；

数据库中的每个类型对应于以下任意一个或其组合：特定类型物品的形状，尺寸以及3D点云。

15.根据权利要求13或14所述的用于识别和分类物品的方法，在比较步骤之前还包括从所采集的图像数字去除背景的步骤。

16.根据权利要求15所述的用于识别和分类物品的方法，其中所述背景包括摄像头检测到的除了物品之外的任何事物，从而所述物品能够从图像中被提取和定位，以提供所述物品的位置信息；

所述位置信息包括通过匹配所述数据库，每个物品的3D位置和每个物品的3D方向而识别的每个物品的类型。

17.根据权利要求13至16中任意一项所述的用于识别和分类物品的方法，在归类步骤之后还包括以下步骤：

基于所述位置信息接合所述物品，以及；

将所述物品递送到对应于所归类的物品的类型的分类箱。

18.根据权利要求15或17所述的用于识别和分类物品的方法，其中所述去除步骤包括：

利用三维摄像头采集图像以便检测所述图像中的深度；

在所述采集的图像中从背景区分所述物品，以及；

数字去除背景以便只留下所述物品图像。