CN101960484A - 用于装配检查的系统和方法 - Google Patents

Abstract

本发明公开用于装配检查的系统和方法。该方法可包括获得装配产品(101)的数字图像，从装配产品的数字图像提取一个或多个目标的图像，根据提取的图像和标准部件库将一个或多个目标中的每一个辨认为部件。该方法还包括识别每个所辨认部件的一个或多个特征；将一个或多个识别特征中的每一个与相应标准部件的相应标准特征进行比较，以及如果所述一个或多个识别特征中的至少一个与所述相应标准特征不匹配，则确定装配故障。

Description

用于装配检查的系统和方法

技术领域

本发明整体涉及用于检查的系统和方法，更具体地，涉及用于装配检查的系统和方法。

背景技术

工业发动机和非高速路设备的生产通常涉及多种挠性系统，例如液压软管和电线束的装配。装配故障可引起产品故障或效率低下。装配故障可包括例如：遗漏紧固件和软管；软管或配线的引线不当；软管、配线或带的摩擦；软管或带的尺寸错误等。为了确保系统和零件正确装配，需要在装配过程中进行产品检查。装配检查通常由有经验的检查员手动进行。在手检过程中，检查员通常将装配的产品与设计图进行对比，当两者出现差别时检查出装配故障。

然而，手检并不精确并且可能导致缺陷检查过程的不确定。装配的产品之间可能看起来不同，因此，直接将其与设计图进行匹配可能在视觉检查过程中引起失误。例如，诸如液压软管的挠性组件可能与设计图中的挠性组件的定向或形状不同。另外，手检需要熟练劳动力并且很耗时。因此，希望使机器装配的检查过程自动化。

已经发展出了利用数字图像处理技术进行装配检查的若干自动检查系统。Sakai等人的美国专利公开文献No.2005/0147287(′287公开文献)中公开了这样的自动检查系统的一个例子。具体地，′287公开文献公开了一种揭露检查目标缺陷的图形缺陷检查方法和设备。该图形缺陷检查设备将两个所形成的应该相同的图形的相应区域的图像进行对比，图像之间如果出现任何不匹配则可以识别缺陷。特别地，可以同时对多个区域进行图像对比过程。此外，该图形缺陷检查设备还在多个不同过程的每一个中对对比图像的图像信号的灰度等级进行转化，从而可以适当地比较图形相同但亮度不同的图像。

尽管′287公开文献的方法和设备可减轻手动装配检查的一些问题，但它也存在问题。首先，该过程仍然不精确。一个产品可包括多个组件。尽管每个组件正确装配很重要，但不同产品多个组件的相对位置可能不同。′287公开文献公开的检查设备利用图像的整体图形，而不是各个部件的图像区域，并且依赖图像之间的全局匹配。因此，可能错误地检查出缺陷，因为挠性组件和其他部件之间的相对位置可能不同于设计图中所标明的。例如，′287公开文献中公开的电路布线可能是正确的，但挠性电线的相对位置或定向可能与设计图中的图形不同。这种电路可能被′287公开文献错误地确定为缺陷。另外，由于没有提取和识别图像中的目标，除了检测出存在这种故障之外，′287公开文献可能无助于鉴别具体部件的装配故障并提供信息化诊断报告。

本发明的系统和方法旨在克服上述的一个或多个局限。

发明内容

在一个方面，本发明涉及一种用于装配检查的方法。该方法可包括获得装配产品的数字图像，从装配产品的数字图像提取一个或多个目标的图像，根据提取的图像和标准部件库将一个或多个目标中的每一个辨认为部件。该方法还包括识别每个所辨认部件的一个或多个特征；将一个或多个识别特征中的每一个与相应标准部件的相应标准特征进行比较，以及如果所述一个或多个识别特征中的至少一个与所述相应标准特征不匹配，则确定装配故障。

在另一方面，本发明涉及一种用于装配检查的系统。该系统可包括能够获得装配产品的数字图像的成像装置以及能够存储装配检查工具、标准部件库以及每个标准部件的一个或多个标准特征的存储装置。该系统还可包括处理器，该处理器能够执行装配检查工具以从装配产品的数字图像提取一个或多个目标的图像，并基于提取的图像和标准部件库将一个或多个目标中的每一个辨认为部件。处理器还能够执行装配检查工具以识别每个所辨认部件的一个或多个特征，将一个或多个识别特征中的每一个与相应标准部件的相应标准特征进行比较，并且如果一个或多个识别特征的至少一个与相应标准特征不匹配，则确定装配故障。处理器还能够执行装配检查工具以对装配故障进行诊断并确定装配故障的类型和位置。

附图说明

图1是根据本发明的示例性实施方式的装配检查系统的示意图；

图2是与图1所示的公开实施方式一致的装配检查工具的示意图；

图3是与图1所示的公开实施方式一致的装配检查系统的示例性操作过程的流程图；

图4是与图3所示的步骤33一致的目标提取模块的示例性操作过程的流程图；

图5是与图3所示的步骤34一致的目标辨认模块的示例性操作过程的流程图。

具体实施方式

图1是根据本发明的一种示例性实施方式的装配检查系统10的示意图。装配检查系统10可包括成像装置110、装配检查控制台120以及连接成像装置110和装配检查控制台120的传送装置130。装配检查系统10能够以自动方式检查装配产品101并检测装配故障。例如，装配产品101可以是其中安装有诸如液压软管和电线束等多个挠性系统的发动机。然而，本领域技术人员可知装配产品101可以是包括多种任何其他类型合适组件的任何其他设备。

成像装置110可包括光学发射器111、光学检测器112和转换器113等。例如，成像装置110可以是数字照相机。光学发射器111可包括能够施加第一光学信号用于照亮装配产品101的一个或多个光学发射装置，例如发光二极管(LED)。根据一种公开实施方式，光学发射器111能够仅在围绕装配产品101的周围光线不充足时操作，类似于数字照相机的闪光。光学检测器112可包括能够接收含有装配产品101的结构信息的第二光学信号的一个或多个光学接收装置，例如光电二极管或电荷耦合器件(CCD)。根据一种公开实施方式，光学发射器111和光学检测器112可设置在装配产品101的同一侧，且第二光学信号可以与装配产品101反射的第一光学信号的反射信号相关。根据另一公开实施方式，光学发射器111和光学检测器112可设置在装配产品101的相对侧，且第二光学信号可以与被装配产品101衰减的第一光学信号的残余相关。成像装置110可进一步包括能够将接收的光学信号转换成数字图像的转换器113，其中，数字图像的每个像素值均与每个像素处接收的信号强度成比例。

成像装置110获得的数字图像可以经传送装置130传送至装配检查控制台120。根据一种公开实施方式，装配检查控制台120可以定位在成像装置110附近，传送装置130可以是物理传送装置，例如电缆。根据另一公开实施方式，装配检查控制台120可定位在距成像装置110一定距离处，且传送装置130可以是无线传送装置，例如无线网络。

根据一种公开实施方式，成像装置110可进一步包括数据压缩器(未示出)以压缩数字图像，从而降低图像传送成本和/或减少图像传送时间。例如，压缩的数字图像可要求传送装置130具有更小的带宽。因此，被压缩的图像可经传送装置130更有效地传送。

装配检查控制台120可包括一个或多个计算机组件，其能够基于从成像装置110接收的数字图像检测与装配产品101相关的装配故障。装配检查控制台120可以与例如包括装配检查工具200的一个或多个软件应用程序相关。装配检查工具200可运行在装配检查控制台120上并可由授权用户访问。装配检查工具200可以存储在计算机可读介质，例如硬盘驱动器、计算机盘、CD-ROM或任何其他合适的介质上。

装配检查控制台120可包括处理器121、随机存取存储器(RAM)122、只读存储器(ROM)123、存储装置124、数据库125、显示装置126和输入界面127。可以设想，装配检查控制台120可包括比上面列明的更多、更少和/或不同的部件。可以理解，上面列举的装置的类型和数量仅仅是示例性的，不应当是限制性的。

处理器121可以是中央处理单元(CPU)。处理器121可执行计算机程序指令序列以进行各种过程，下文中更加详细地对其进行解释。计算机程序指令可以从ROM 123或任何其他合适的存储位置存取和读取，并加载到RAM 122中，用以由处理器121执行。根据使用的装配检查控制台120的类型，处理器121可包括一个或多个印刷电路板和/或微处理器芯片。处理器121可进一步包括能够对成像装置110压缩的数字图像进行解压缩的数据解压缩器(未示出)。

存储装置124可包括适于存储信息的任意类型的大容量存储器。例如，存储装置124可包括一个或多个硬盘装置、光盘装置或提供数据存储空间的任何其他存储装置。在本发明的一种实施方式中，数据库125可存储关于装配检查过程的数据，例如装配产品101的计算机辅助设计(CAD)图、由CAD设计图转换的标准部件以及每个标准部件的标准特征。数据库125还可包括用于分析和组织所含信息的分析和组织工具。

装配检查控制台120可由用户利用输入界面127访问和控制。装配检查控制台120还可借助显示装置126向用户提供直观信息。例如，显示装置126可包括计算机屏(未示出)并向用户提供图形用户界面(GUI)。显示装置126还可向用户显示表示装配故障类型和位置的检查报告。可向用户提供输入界面127，以向装配检查控制台120输入信息，输入界面127可以包括例如键盘、鼠标和/或光学或无线计算机输入装置(未示出)。用户可借助输入界面127输入控制指令并控制成像装置110的操作。用户还可输入参数来调节装配检查控制台120的操作。

装配检查控制台120能够执行装配检查工具200。装配检查工具200可包括一个或多个模块。图2是与图1所示的公开实施方式一致的装配检查工具的示意图。

如图2所示，装配检查工具200可包括CAD转换模块210、目标提取模块220、目标辨认模块230和故障检测模块240。CAD转换模块210可从数据库215接收装配产品101的CAD设计图。CAD转换模块210能够将该设计图转换成标准部件库。CAD转换模块210能够进一步识别每个标准部件的一个或多个标准特征。标准部件及其相应的标准特征库可以由CAD转换模块210输出并存储在数据库215中。

目标提取模块220可接收成像装置110获得的装配产品101的数字图像，作为输入。目标提取模块220能够从数字图像提取一个或多个目标的图像。根据与本发明一致的一种实施方式，目标提取模块220能够首先提取一个或多个刚性目标，例如紧固件的图像。刚性目标的位置可以基于CAD设计图很好地预测。目标提取模块220能够进一步基于一个或多个刚性目标的提取图像形成一个或多个挠性目标，例如连接到紧固件的软管的图像。例如，软管的图像可以形成在两个连接紧固件之间。与CAD设计图中的相比，挠性目标通常以不同的定向或形状出现。目标提取模块220还能够进一步提取一个或多个挠性目标的图像。这些提取的图像可由目标提取模块220输出，并且可由目标辨认模块230接收作为输入。目标辨认模块230能够基于其提取的图像和标准部件库辨认每个目标。目标辨认模块230还能够进一步识别每个辨认部件的一个或多个特征。

识别的辨认部件的特征可以由目标辨认模块230输出并由故障检测模块240接收作为输入。故障检测模块240能够将这些特征与存储在数据库215中的相应标准部件的相应标准特征进行比较，如果这些特征的至少一个与相应的标准特征不匹配，就识别出装配故障。故障检测模块240能够进一步诊断装配故障并确定故障的类型和位置。故障检测模块240能够生成输出250。例如，输出250可以是包括检测的故障及其类型和位置的检查报告。输出250可进一步包括新路线或连接的建议，以清除故障。装配检查工具200能够将输出250发送到显示装置126，用于显示。

图3是与图1所示的公开实施方式一致的装配检查系统10的一种示例性操作过程30的流程图。装配检查工具200能够将装配产品101的CAD设计图转换成标准部件库(步骤31)。基于每个转换的标准部件，识别一个或多个标准特征(步骤32)。例如，可以从装配发动机的CAD设计图转换标准软管部件和标准紧固件部件。针对标准软管部件可识别尺寸、颜色和定向特征，针对标准紧固件部件可识别长度和形状特征。

装配检查工具200能够利用图像处理技术提取目标的图像(步骤33)。目标的提取可基于目标的轮廓和/或目标的亮度分割。步骤33可包括提取刚性目标和挠性目标，其中，挠性目标可基于刚性目标形成。图4中更加详细地描述了步骤33的目标提取过程。步骤33中提取的目标可以被辨认为与图像具有最高关联性的部件(步骤34)。例如，提取的图像可以与从CAD设计图转换的每个标准部件进行比较并确定它们之间的关联性。提取的目标可以标记为与目标具有最高关联性的部件。例如，提取的目标可以被辨认为软管。图5中更加详细地描述步骤34的目标辨认过程。

针对步骤34中辨认出的每个部件，装配检查工具200能够基于其提取的图像识别该部件的一个或多个特征(步骤35)。特征的例子可以包括颜色、形状、尺寸和定向。然后，装配检查工具200能够将这些识别的特征与相应标准部件的相应标准特征进行比较(步骤36)并判断识别的特征是否与相应的标准特征匹配(步骤37)。

如果这些识别特征的至少一个与相应的标准特征不匹配(步骤37：否)，则装配检查工具200能够诊断故障(步骤381)。基于每个识别特征及其相应标准特征之间的差别，可判断故障的类型。例如，如果软管目标的识别定向与标准软管部件的标准定向不匹配，但所有其他识别特征基本与相应的标准特征匹配，则可判断发生了引线错误故障。装配故障的其他例子包括遗漏部件、两个部件摩擦、部件尺寸错误等。故障的位置也可以基于数字图像中辨认的部件的相对位置确定。根据一种公开实施方式，可生成包括检测的故障及其类型和位置的检查报告。故障可以显示在显示装置126上(步骤382)。故障显示可进一步包括显示新路线或连接以清除故障的建议。

如果所有识别的特征都与相应的标准特征匹配(步骤37：是)或者已经诊断和显示了故障(步骤382)，则可进行过程40以判断是否已经检查了数字图像中包含的所有部件(步骤39)。如果尚有至少一个未检查部件(步骤39：否)，则装配检查工具200可提取下一个目标的图像并重复步骤33-39。如果图像中包含的全部部件都已进行了检查(步骤39：是)，则结束过程40。

图4是与图3所示的步骤33一致的目标提取模块220的一种示例性操作过程的流程图。该过程可包括刚性目标提取阶段41和挠性目标提取阶段42。当刚性目标提取阶段41开始时，目标提取模块220可在装配产品101的数字图像上应用边缘检测程序，以确定每个目标的轮廓(步骤411)。目标的边缘可以与发生明显亮度改变的位置相关。例如，可应用Canny边缘检测算法，在颜色改变显著的位置可发现目标的轮廓。另外，目标提取模块220还能够借助变换算法，例如Hough变换检测与每个目标相关的线条(步骤412)。

同时，目标提取模块220能够将数字图像分割成多个图像区域(步骤413)。图像分割可以与步骤411的边缘检测和步骤412的线条检测并行进行。图像分割可基于数字图像的亮度映射。例如，具有均质颜色的亮度区域可被分割成一个目标图像。图像分割可包括降噪步骤，例如使用均值位移方法(mean shift method)来降低高频噪声并使图像平滑。图像分割可进一步包括直方图变换和分离步骤。可以计算数字图像的直方图(即，亮度图)，且该直方图通常可具有多个分离峰值。可基于多个分离峰值确定亮度阈值，且可基于确定的阈值分割数字图像。

然后，目标提取模块220能够合并边缘检测(步骤411)、线条检测(步骤412)和图像分割(步骤413)的结果，并针对每个刚性目标获得提取图像(步骤414)。可以对该图像进行滤波以提高图像的信噪比(步骤415)。在刚性目标提取阶段41，目标提取模块220能够重复步骤411-415，直到从数字图像提取了所有刚性目标的图像，之后可以开始挠性目标提取阶段。

在挠性目标提取阶段42，目标提取模块220能够识别例如连接紧固件的刚性连接目标(步骤421)。目标提取模块220能够进一步形成连接在每两个刚性连接目标之间的挠性目标，例如连接在两个连接紧固件之间的软管(步骤422)。可以使用聚类算法、区域增长算法、滤波算法或者这些算法的任意组合来形成挠性目标。例如，可以从一个刚性目标的边界开始形成挠性目标，并且，如果图像像素的亮度处于预先限定的范围内，则邻近增长前沿的该像素可识别为挠性目标的一部分。

替代地，在一些情形下，刚性连接部件中的一个可能没有显示在数字图像中，且因此挠性组件看起来可能与刚性终端部件连接。目标提取模块220能够识别例如终端紧固件的刚性终端目标(步骤423)，并形成与每个刚性终端目标连接的挠性目标，例如与终端紧固件连接的软管(步骤424)。

然后，目标提取模块220能够提取步骤422和424中形成的挠性目标的图像(步骤425)。可以对这些图像进行滤波以提高图像的信噪比或者排除不属于挠性目标的图像区域(步骤426)。在挠性目标提取阶段41，目标提取模块220能够重复步骤421-426，直到从数字图像提取了所有的挠性目标的图像。

图5是与图3的步骤34一致的目标辨认模块230的示例性操作过程的流程图。目标辨认模块230能够接收步骤33中获得的每个提取目标的图像。可首先对图像应用消噪过程以去除噪点(步骤341)。在目标辨认过程中，目标辨认模块230能够与数据库215通信以便每次获得一个标准部件，并将提取的目标与该标准部件进行比较。

如图3所示，可以进行提取目标图像和标准部件之间的边界拟合(步骤342)，并可确定两者之间的平行度(步骤343)。相应地，可以确定表示拟合率的边界拟合系数和表示平行率的平行度因子。因此，还可以比较两个图像的颜色和两个目标的形状(步骤344和步骤345)，确定它们各自的相似率。

基于步骤342-345，可以计算提取目标和标准部件之间的关联性(步骤346)。例如，该关联性可以确定为边界拟合系数、平行度因子、颜色相似率和形状相似率的加权平均。通常，高关联性与提取目标和标准部件之间较高的相似性对应。确定了与数据库215中的所有标准部件对应的关联性后，可以找出最高关联性(步骤347)。提取的目标可以被标记为与最高关联性对应的标准部件类型的部件(步骤348)。

工业实用性

本发明的系统和方法可以在涉及挠性组件的装配检查过程的企业机构得以应用。装配检查系统10可包括成像装置110和具有装配检查工具200的装配检查控制台120。成像装置110可获得装配产品的数字图像。装配检查工具200可根据数字图像和该装配产品的CAD设计图检查装配故障。

例如，可以对装配产品101进行检查。装配产品101可以是具有液压系统的发动机。装配产品101的数字图像可由成像装置110获得，且该数字图像可借助传送装置130传送至装配检查控制台120。存储于装配检查控制台120上的装配检查工具200可包括CAD转换模块210，其能够将装配产品101的CAD设计图转换成包括例如多个软管和紧固件的标准部件库。CAD转换模块210能够进一步识别这些标准部件的一个或多个标准特征，例如颜色、形状、尺寸和定向。装配检查工具200可进一步包括能够从成像装置110获得的数字图像提取一个或多个目标的目标提取模块220和能够将提取的目标辨认为例如软管的部件的目标辨认模块230。特别地，目标提取模块220能够提取刚性目标和挠性目标，其中挠性目标可以基于刚性目标形成。目标辨认模块230能够进一步识别每个辨认目标的一个或多个特征。装配检查工具200还可包括故障检测模块240。如果所辨认目标的至少一个识别特征与相应标准部件的相应标准特征并不匹配，则故障检测模块240可检测出装配故障。故障检测模块240可进一步确定装配故障的类型和位置。

尽管结合装配检查过程对本发明的实施方式进行了描述，但本发明的检查工具和检查方法可用于各种检查过程。本发明的检查工具可高效且有效地检测产品中的缺陷并确保该产品基本符合其设计图。例如，本发明的检查过程具有提高的精度，因为为了故障检测，可以从图像提取目标并将其辨认为特定的部件，然后将其特征与标准部件的特征进行比较。特别是，可从由刚性部件之间/由刚性部件形成的数字图像精确地提取挠性组件的图像，且可识别挠性组件的特征以用于诊断。因此，挠性组件和其他部件之间的相对位置不会影响检查结果。另外，与′287公开文献中公开的仅在出现图形不匹配时才检测存在装配故障的自动检查系统不同，本发明的检查系统和方法能够识别含有装配故障的具体部件并进一步识别该故障的类型和位置。

本领域技术人员可以认识到，可以对本发明的系统和方法进行多种修改和变型，而不脱离本发明的范围。另外，本领域技术人员通过考虑说明书可以认识到本发明的系统和方法的其他实施方式。说明书和实施例仅应当被认为是示例性的，本发明的真正范围由权力要求及其等同范围指明。

Claims (10)

1.一种用于装配检查的方法，该方法包括：

获得装配产品(101)的数字图像；

从所述装配产品的数字图像提取一个或多个目标的图像；

根据提取的图像和标准部件库将所述一个或多个目标中的每一个辨认为部件；

识别每个所辨认部件的一个或多个特征；

将一个或多个识别特征中的每一个与相应标准部件的相应标准特征进行比较；以及

如果所述一个或多个识别特征中的至少一个与所述相应标准特征不匹配，则确定装配故障。

2.如权利要求1所述的方法，其中，提取一个或多个目标的图像包括：

提取一个或多个刚性目标的图像；

基于提取的一个或多个刚性目标形成一个或多个挠性目标的图像；和

提取一个或多个挠性目标的图像。

3.如权利要求2所述的方法，其中，形成一个或多个挠性目标的图像包括形成两个刚性连接目标之间的挠性目标的图像。

4.如权利要求1所述的方法，其中，所述标准部件库通过如下方式生成：

将所述装配产品的设计图转换成标准部件库；和

识别针对每一个标准部件的一个或多个标准特征。

5.如权利要求1所述的方法，其中，确定装配故障还包括：

诊断所述装配故障；和

确定所述装配故障的类型和位置。

6.如权利要求1所述的方法，其中，辨认一个或多个目标的每一个包括：

在提取的图像和所述标准部件库中的每个标准部件之间进行边界拟合对比；

基于所述边界拟合对比的结果进行平行度判断；

计算提取的图像和每个标准部件之间的关联性；和

将提取的图像标记为对应于最高关联性的标准部件类型的部件。

7.如权利要求6所述的方法，其中，所述关联性基于由提取的图像限定的部件的颜色和形状中的至少一种确定。

8.一种用于装配检查的系统，包括：

成像装置(110)，其能够获得装配产品(101)的数字图像；

存储装置(124)，其能够存储装配检查工具(200)、标准部件库以及每个标准部件的一个或多个标准特征；和

处理器(121)，其能够执行所述装配检查工具以：

从所述装配产品的所述数字图像提取一个或多个目标的图像；

基于提取的图像和标准部件库将每个目标辨认为部件；

识别每个辨认部件的一个或多个特征；

将每个识别特征与相应标准部件的相应标准特征进行比较；

如果一个或多个识别特征中的任何一个与所述相应标准特征不匹配，则确定装配故障；

对所述装配故障进行诊断；以及

确定所述装配故障的类型和位置。

9.如权利要求8所述的系统，其中，所述成像装置包括：

光学发射器(111)，其能够施加第一光学信号用以照亮所述装配产品；

光学检测器(112)，其能够接收含有所述装配产品的结构信息的第二光学信号；和

转换器(113)，其能够将所述第二光学信号转换成数字图像，其中，所述数字图像的每个像素值均与每个像素处接收的信号强度成比例。

10.如权利要求8所述的系统，还包括显示装置(126)，其能够显示检查报告，所述检查报告包括所述装配故障的类型和位置。

Images