CN104102185A - 具有人和物体区分的基于识别的工业自动化控制 - Google Patents

具有人和物体区分的基于识别的工业自动化控制 Download PDF

Info

Publication number
CN104102185A
CN104102185A CN201410068308.XA CN201410068308A CN104102185A CN 104102185 A CN104102185 A CN 104102185A CN 201410068308 A CN201410068308 A CN 201410068308A CN 104102185 A CN104102185 A CN 104102185A
Authority
CN
China
Prior art keywords
motion
people
industrial automation
recognition system
motion recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410068308.XA
Other languages
English (en)
Other versions
CN104102185B (zh
Inventor
史蒂文·J·斯科特
通·T·阮
大卫·D·布兰特
托尼·吉巴尔蒂
加里·D·多森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Automation Technologies Inc
Original Assignee
Rockwell Automation Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockwell Automation Technologies Inc filed Critical Rockwell Automation Technologies Inc
Publication of CN104102185A publication Critical patent/CN104102185A/zh
Application granted granted Critical
Publication of CN104102185B publication Critical patent/CN104102185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details, by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2614—HVAC, heating, ventillation, climate control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house

Abstract

本公开内容总体上涉及用于进行工业自动化系统中的工业自动化控制的方法。该方法可以包括经由传感器系统检测工业自动化系统中的一个或更多个人和/或一个或更多个物体的位置和/或运动，并且基于检测的位置和/或运动经由编程的计算机系统将一个或更多个人与一个或更多个物体进行区别。接着，方法可以包括基于区别来实施控制和/或通知动作。

Description

具有人和物体区分的基于识别的工业自动化控制
背景技术
本公开内容总体上涉及用于控制工业自动化系统内的设备的系统和方法。更具体而言，本公开内容的实施方式与通过使用置于工业自动化系统内的距离照相机系统来控制工业自动化系统中的设备的系统和方法相关。
通过使用自动化控制和监视系统来管理和操作工业自动化系统。存在针对自动化控制和监视系统、特别是针对工业自动化设定的广范围应用。这样的应用可以包括给广范围的致动器例如阀门、电动机等供电以及经由传感器收集数据。一般的自动化控制和监视系统可以包括一个或更多个部件，例如：编程终端、自动化控制器、输入/输出（I/O）模块、通信网络和/或人机界面（HMI）终端。
通常，采取某些安全预防措施以确保工业自动化系统中的设备被安全地操作。然而，传统的工业自动化系统在使用上述通常的自动化控制和监视系统来控制其设备方面受限制。虽然这些自动化控制和监视系统可以被用于管理工业自动化系统内的设备的操作，然而安全地操作工业自动化系统内的设备的改进型系统和方法是合乎人们期望的。
发明内容
在一个实施方式中，一种用于进行工业自动化系统中的工业自动化控制的方法可以包括：经由传感器系统检测工业自动化系统中的一个或更多个人和/或一个或更多个物体的位置和/或运动，并且基于检测的位置和/或运动经由编程的计算机系统对一个或更多个人与一个或更多个物体进行区别。接着，该方法可以包括基于区别来实施控制和/或通知动作。
在另一实施方式中，一种用于进行工业自动化控制的系统可以包括传感器系统，该传感器系统被配置成检测工业系统中的元素的位置和/或运动。该系统还可以包括处理部件，该处理部件可以基于检测的位置和/或运动来确定元素对应于一个或更多个人还是一个或更多个物体。该处理部件还可以基于元素对应于一个或更多个人还是一个或更多个物体向工业系统中的环境控制设备发送命令。
在又一实施方式中，一种用于进行工业自动化控制的方法可以包括：经由传感器系统检测工业自动化系统中的一个或更多个人的位置和/或运动，并且基于检测的位置和/或运动经由编程的计算机系统确定一个或更多个人是否与被授权的状态相关联。接着，该方法可以包括基于区别来实施控制和/或通知动作。
附图说明
当参照附图阅读了下述详细说明时，会更好地理解本发明的这些和其他特征、方面以及优点，其中贯穿附图用相似的附图标记表示相似的部件，其中：
图1是根据实施方式的在工业自动化系统内工作的距离照相机(rangecamera)系统的框图；
图2是根据实施方式的在图1的工业自动化系统内工作的采用飞行时间照相机系统的距离照相机系统的框图；
图3是根据实施方式的图1的距离照相机系统内的运动识别系统的框图；
图4是根据实施方式的通过使用图1的距离照相机系统来控制工业自动化系统内的一个或更多个设备的方法的流程图；
图5至图6是根据实施方式的由图3的运动识别系统接收的数据可视化的示例；
图7是根据实施方式的图3的运动识别系统内的运动识别引擎和位置确定引擎的框图；
图8是根据实施方式的在图1的工业自动化系统内工作的机器的框图；
图9是根据实施方式的通过使用图1的距离照相机系统和二次输入来控制工业自动化系统内的一个或更多个设备的方法的流程图；
图10是根据实施方式的通过使用由图1的距离照相机系统检测的位置和/或运动的导数值来控制工业自动化系统内的一个或更多个设备的方法的流程图；
图11是根据实施方式的基于由图1的距离照相机系统检测的工业自动化系统中是否存在人或者物体来控制工业自动化系统内的一个或更多个设备的方法的流程图；
图12是根据实施方式的与图3的运动识别系统相结合工作的环境控制系统的框图；以及
图13是根据实施方式的基于由图1的距离照相机系统检测的工业自动化系统中存在的人之间的区分特征来控制工业自动化系统内的一个或更多个设备的方法的流程图。
具体实施方式
本公开内容通常涉及置于工业自动化系统中的距离照相机系统，该距离照相机系统可以检测包围工业自动化系统的空间内的人和/或物体的位置和/或运动。在检测位置和/或运动之后，距离照相机系统可以基于检测的位置和/或运动来进行工业自动化系统中的各种操作。也就是说，距离照相机系统可以检测工业自动化系统空间内的人和/或物体（例如，机器人、自主引导车辆或者机器）的位置和/或运动，并且使用检测的位置和/或运动来控制工业自动化系统中的各种工业自动化设备。除了检测工业自动化系统内的位置和/或运动之外，距离照相机系统还可以计算针对每个检测的位置和/或运动的置信值。置信值可以与远程照相机系统可以在检测的位置和/或运动方面确定的程度或者百分比相关。这样，在某些实施方式中，距离照相机系统可以基于与各个检测的位置和/或运动对应的置信值向工业自动化系统中的各种设备发送控制信号。下面将参照图1至图13对关于距离照相机系统的更多细节进行描述。
作为介绍，图1是与距离照相机系统12一起工作的工业自动化系统10的框图。距离照相机系统12可以包括一个或更多个距离照相机14以及运动识别系统16。距离照相机14可以包括可以检测在其视窗中的任何元素的位置和/或运动的任何类型的照相机或者传感器系统。在某些实施方式中，距离照相机14可以采用使其能够检测位置和运动的各种类型的技术。举例来说，距离照相机14可以包括数字照相机、摄像机、红外线传感器、光学传感器（例如，视频/相机）、射频能量检测器、声音传感器、声纳传感器、振动传感器、磁性传感器等来检测在其视窗中的任何元素的位置和/或运动。用于距离照相机14的传感器能够检测声纳波形、热信号、激光、地板压力特征，空气压力特性等。
距离照相机14还可以包括传感器，该传感器可以采用距离成像技术或手段来产生二维图像或三维图像，该二维图像或三维图像可以用于指示由传感器获得的图像中的各个点与传感器的位置之间的距离。这样，采用距离成像技术的传感器可以根据许多技术例如立体三角测量，片光三角测量，结构光、飞行时间、干涉测量，编码孔径等来进行操作。
可以将由距离照相机14接收的被检测位置和/或运动输入到运动识别系统16中，该运动识别系统16可以对检测的位置和/或运动进行解释并且确定可以与检测的位置和/或运动对应的各种自动化命令。在确定与检测的位置和/或运动对应的自动化命令之后，运动识别系统16可以向系统控制器18发送自动化命令，该系统控制器18可以在耦接到系统控制器18的工业自动化设备20上实施自动化命令。例如，运动识别系统16可以从距离照相机14接收检测的运动并且可以将检测的运动解释成使工业自动化系统10中一个设备20停止的命令。这样，运动识别系统16可以向系统控制器18发送使各个工业自动化设备20停止的信号。
工业自动化设备20可以包括可以在工业自动化系统10内工作的任何类型的机器或者设备。工业自动化设备20的示例可以包括但不限于致动器、电动机、电压力机等。通常，工业自动化设备20可以由系统控制器18操作或者控制。这样，系统控制器18可以具有处理器部件、存储器部件、通信部件等，使得其可以通过向工业自动化设备20发送控制信号来操作工业自动化设备20。在某些实施方式中，除了从运动识别系统16接收自动化命令之外，系统控制器18还可以从工业自动化系统10中的各种传感器22接收各种类型的信息。传感器22可以是可用于向系统控制器18提供信息的任何类型的传感器例如按钮传感器、气体传感器、温度传感器等。这样，系统控制器18可以基于由传感器22接收的信息、由运动识别系统16解释的自动化命令或者二者来操作工业自动化设备20。
基于上述内容，在某些实施方式中，通常可以将距离照相机系统12、工业自动化设备20以及传感器22置于可以被表征为工业自动化环境24的一部分的空间中。工业自动化环境24可以包括工业自动化系统10内的物理空间，在该物理空间中，人类操作员26、机器28或者材料30可以进行各种动作来操作工业自动化系统10。这样，当人26、机器28或者材料30在工业自动化环境24内移动时，距离照相机系统12可以监视人26、机器28或者材料30的位置和/或运动。
人26可以包括可以在工业自动化环境24中存在的任何人。通常，在工业自动化环境24中存在的人26可以包括受过训练的并且被授权访问工业自动化环境24的人。人26可以针对工业自动化系统10中的任何设备进行比如维护等的各种操作。然而，应注意，人26还可以包括存在于工业自动化环境24中的没有被授权的人或者不希望的人（例如，入侵者）。这样，在一个实施方式中，距离照相机系统12可以被用于检测工业自动化环境24中的人26是否被授权处于工业自动化环境24中并且基于被检测的一个或更多个人26是否被授权或者被期望处于工业自动化环境24中来向系统控制器18发送通知或自动化命令。
机器28可以包括存在于工业自动化环境24中的任何自动化或非自动化机器。这样，机器28可以包括对被制造、处理等的物品进行各种操作的机器人或者机械设备。例如，机器28可以包括可以移动工业自动化系统内的物件的机械爪。在某些实施方式中，机器28可以包括在距离照相机14的视窗内工作的工业自动化设备20。
材料30可以包括例如由机器28移动的工件的物品或者在工业自动化系统10中制造或者处理的物品。例如，在图1中材料30被描绘为传送带上的箱子。在这个例子中，距离照相机系统12可以在材料30沿着传送带移动时跟踪材料30的位置。接着，运动识别系统16可以将与材料30的位置相关的信息发送给系统控制器18，该系统控制器18可以使用该信息来控制各种工业自动化设备20。例如，如果系统控制器18确定传送带上的材料30的位置变化得太慢，那么系统控制器18可以将该信息解释为指示材料30沿着传送带移动得太慢。这样，系统控制器18可以向工业自动化设备20例如控制传送带的运动的耦接至电动机的电动机驱动发送提高电动机的速度的信号，由此提高材料30可以沿着传送带移动的速度。
在某些实施方式中，可以将距离照相机14耦接至工业自动化系统10中的各个部件例如工业自动化设备20等，以使距离照相机14可以监视工业自动化系统10内的各种元素的运动和/或位置。例如，可以将距离照相机14耦接至可固定在工业自动化系统10内的各种位置处的DIN导轨、工业自动化设备20等。
在任何情况下，通过使用距离照相机系统12来监视工业自动化系统10内的各种元素，系统控制器18可以更好地管理工业自动化系统10的安全操作。例如，从距离照相机系统12获得的信息可以被用于确定人26相对于潜在危险例如移动的工业自动化设备20、高温工业自动化设备20、高压设备等的位置。在某些实施方式中，距离照相机系统12可以处理与人26可以移动的身体肢端以及其可以移动的速度相关的数据，以预测该移动是否可能导致人26与危险地带、机器28等发生物理接触。
例如，距离照相机系统12可以处理从距离照相机14接收的指示人26的各个关节的位置和运动的数据，以确定人26与危险地带发生物理接触或者进入危险地带的概率。这样，当概率超过阈值时，距离照相机系统12可以预测人26会与危险地带发生接触。通过能够预测这些类型的情况，距离照相机系统12可以采取先发制人的措施以避免不期望的情况，例如触发动作以防止危险情况或者使不期望的情况的负面效果最小化。例如，距离照相机系统12可以向系统控制器18发送自动化命令来停止或者改变工业自动化设备20或者机器28的操作，以使工业自动化设备20或者机器28避开人26。而且，当人26不再位于危险地带之内的时候，还可以将距离照相机系统12用于重新启动或者重新接合停止的工业自动化设备20或者机器28。
距离照相机系统12还可以向系统控制器18、其他工业自动化系统32等发送指示人26位于危险地带中或者各个工业自动化设备20由于危险地带中存在人26而被停止的通知。以这种方式，如果确定其操作会受到由运动识别系统16接收的数据的影响，那么其他工业自动化系统32可以修改其操作。
以类似的方式，可以将距离照相机系统12用于不是监视人26的各种位置和/或运动而是监视机器28的各种位置和/或运动，或者与监视人26的位置和/或运动相结合地监视机器28的各种位置和/或运动。这样，距离照相机系统12可以确定机器28是否在工业自动化环境24内安全地工作。
举例来说，图2描绘了将飞行时间照相机系统34用作距离照相机14来进行本文中描述的各种技术的工业自动化环境24的示例。如图2所示，飞行时间照相机系统34可以在工业自动化环境24或者受控的环境例如在电力控制室中被采用。飞行时间照相机系统34可以包括照明单元36和图像传感器37，其可用于确定在工业自动化环境24中或者受控的环境中存在的人26、机器28等的位置和/或运动。在一个实施方式中，飞行时间照相机系统34可以旋转，以使得其可具有围绕工业自动化环境24的360度视线。
为了确定工业自动化环境24中的人26或者机器28的位置，飞行时间照相机系统34可以使用照明单元36向外发出进入工业自动化环境24的光信号38。光信号38可以包括在近红外线范围内的强度调制的光、激光等。在任何情况下，当光信号38遇到元素（即图2中的人26）时，反射的光信号39可以被反射回飞行时间照相机系统34并且进入图像传感器37。在一个实施方式中，反射的光信号39可以经由可以置于飞行时间照相机系统34上的透镜被投射到图像传感器37中。在发送光信号38并且接收反射的光信号39之后，飞行时间照相机系统34可以向运动识别系统16发送与光信号38被发送以及反射的光信号39被接收的时间相关的数据，以确定该元素与飞行时间照相机系统34之间的距离。也就是说，运动识别系统16可以将与光信号38以及反射的光信号39相关的数据例如光信号38被发送以及反射的光信号39被接收的时间相关联，以确定该元素与飞行时间照相机系统34之间的距离。通过随时间跟踪该距离，运动识别系统16可以确定随时间而变化的元素的位置、元素的运动等。
在某些实施方式中，运动识别系统16可以包括三维运动路径，该三维运动路径可以限定机器28可以在工业自动化环境24内工作的路径。可以相对于其在工业自动化系统10内的功能、基于机器28的期望运动来确定三维运动路径。这样，运动识别系统16可以检测机器28是否如期望的那样相对于三维运动路径工作和/或机器28是否正在经历任何危险运动（例如，移动得快、靠近人26）。如果运动识别系统16检测到机器28在不期望地或者具有某些危险运动地工作，那么运动识别系统16可以向系统控制器18发送信号，该信号可以用于控制机器28以在安全状态下操作机器28、断电等。
而且，在某些实施方式中，运动识别系统16可以对机器28或者人26的运动和/或运动的速度进行解释以预测机器28是否可能进入危险区域或者危险情况例如接触人26。这样，运动识别系统16可以向系统控制器16或者直接向机器28发送信号以改变机器28的操作，以使得机器28可以避免进入危险区域或者遭遇危险情况。也就是说，运动识别系统16可以基于机器的运动和/或位置、人26的运动和/或位置等控制机器28或者任何工业自动化设备20的操作，由此更安全地操作工业自动化系统10。
基于上述内容，图3示出了运动识别系统16的详细框图40。运动识别系统16可以包括通信部件42、处理器44、存储器46、存储装置48、输入/输出（I/O）端口50等。通信部件42可以是可便于系统控制器18、工业自动化设备20、距离照相机14、机器28、其他工业自动化系统32等之间的通信的无线或者有线的通信部件。处理器44可以是能够执行计算机可执行的代码的任何类型的计算机处理器或者微处理器。存储器46和存储装置48可以是可用作存储处理器可执行的代码、数据等的介质的任何合适的制造品。这些制造品可以代表可以存储处理器可执行代码的计算机可读的介质（即任何合适形式的存储器或者存储装置），处理器44使用该可执行的代码来执行当前公开的技术。通常，运动识别系统16可以接收与人26、机器28和/或材料30有关的运动和/或位置数据，并且解释数据以确定针对工业自动化设备20的自动化命令。存储器46和存储装置48还可以用于存储数据、数据的各自的解释以及与数据对应的自动化命令。虽然关于运动识别系统16描绘了框图40，但是应注意系统控制器18也可以包括相同的部件来执行本文中描述的各种技术。下面参照图4至图13对描述方法的更多细节进行讨论，运动识别系统16可以用这些细节来解释运动和/或位置数据。
基于检测的位置/运动和置信值的自动化命令
现在参照图4，一种基于距离照相机14的可见区内的元素的被检测位置和/或运动来实施工业自动化系统10内的自动化命令的方法60。在一个实施方式中，本文中描述的关于方法60的技术可以由运动识别系统16来进行。这样，在框62中，运动识别系统16可以接收元素例如人26、机器28或者材料30的被检测位置和/或运动。也就是说，距离照相机14可以接收与在其视窗内当前存在的元素的位置和/或运动相关的数据。
在某些实施方式中，与检测的位置和/或运动相关的数据可以包括元素的一个或更多个光学图像，元素的一个或更多个红外线图像等。当距离照相机14获取元素的图像时，运动识别系统16可以将图像转换成表示元素的二维图形。例如，图5示出了人26的二维表示80的示例，图6示出了机器28的二维表示100的示例。
简单参照图5，人26的二维表示80可以包括人26的身体上的各种边缘或者关节处的数据点82。基于距离照相机14与人26之间的距离、二维表示80的大小、距离照相机14的视窗内的二维表示80与其他固定物体之间的相对距离等，运动识别系统16可以生成针对每个数据点82的元数据84。
元数据84可以包括关于各自的数据点82的某些详情。举例来说，元数据84可以包括x坐标值86、y坐标值88、z坐标值90、置信值92等。置信值92可以与运动识别系统16可以确定x坐标值86、y坐标值88以及z坐标值90的程度或者量相对应。在某些实施方式中，运动识别系统16可以生成针对每个坐标值的置信值92。置信值92可以基于数据点82的可见度、与数据点82相关的历史数据等来确定。
以同样的方式，机器28的二维表示100可以包括机器28的主体上的各种边缘或者关节处的数据点102。基于距离照相机14与机器28之间的距离、二维表示100的大小、距离照相机14的视窗内的二维表示100与其他固定物体之间的相对距离等，运动识别系统16可以生成针对每个数据点102的元数据104。
与以上参照图5描述的元数据84类似，元数据104可以包括关于每个各个数据点102的某些详情，例如x坐标值106、y坐标值108、z坐标值110、置信值112等。与置信值92类似，置信值102可以与运动识别系统16可以确定x坐标值106、y坐标值108以及z坐标值110的程度或者量相对应。在某些实施方式中，运动识别系统16可以生成针对每个坐标值的置信值112，并且可以基于数据点82的可见度、与数据点82相关的历史数据、机器28的期望的位置等来确定置信值112。
基于上述内容，运动识别系统16可以基于数据点82或者数据点102的位置怎样随时间而变化来检测元素的运动或者移动方式。在一个实施方式中，运动识别系统16可以获取与每个数据点82或者数据点102相关的元数据84或者元数据104，并且将元数据84或者元数据104存储在存储器46或者存储装置48中。接着，运动识别系统16的处理器44可以分析元数据84或者元数据104的集合以确定元素怎样移动。这样，运动识别系统16可以识别元素的运动或者姿势。
返回去参照图4，在框64中，运动识别系统16可以确定针对框62中接收的被检测运动的可能的自动化命令。在一个实施方式中，为了确定可能的自动化命令，运动识别系统16可以将检测的位置和/或运动与和检测的位置和/或运动相关的自动化命令的库进行比较。图7示出了可以存储在运动识别系统16的存储装置48中的自动化运动命令的库122的示例。
库122可以包括元素的期望运动以及对应的自动化命令的列表。期望运动的列表可以被编程到运动识别系统16中使用学习模式等的库中。这样，操作者或者技师可以向运动识别系统16提供输入，该输入指示针对特定的工业自动化设备20的自动化命令。接着，操作者可以将自己定位于距离照相机14的视窗内并且进行他意图与输入的自动化命令相关联的各种运动或者姿势。这样，运动识别系统16可以记录对应于人26的数据点82怎样移动或者数据点82的运动模式。接着，运动识别系统16可以将数据点83（自动化命令128）的运动模式存储在库122中并且将该模式与各个输入的自动化命令相关联。
例如，操作者可以向运动识别系统16提供输入以进入学习模式并且指定特定的运动或者姿势应该与针对特定自动化设备20的紧急停止自动化命令相关联。在接收这些输入之后，运动识别系统16可以检测与操作者的数据点82对应的运动，该运动可以包括例如在操作者处于距离照相机14的视窗中时保持一个臂向外伸直、手掌向外并且身体向上。当运动识别系统16检测到该运动时，运动识别系统16可以将数据点82（自动化命令128）的运动与紧急停止自动化命令相关联地存储在库122中。在某些实施方式中，运动识别系统16可以通过接收一些来自操作者的不包括任何检测的运动或者姿势的输入来进入和退出学习模式。在这种情况下，学习模式的配置可以受到保护，并且可以不被任何非有意的运动或者姿势所危及。
在某些实施方式中，处理器44可以包括运动识别引擎124，该运动识别引擎124可以基于检测的元素的位置和/或运动从库122中识别自动化命令128。例如，如果运动识别引擎124检测到人26左右挥动他的双臂，那么运动识别引擎124可以将检测的运动与库122中存储的运动或者运动模式进行比较，并且确定针对特定的工业自动化设备20的与停止自动化命令对应的运动。
库122可以包括大量的运动以及针对每个运动的对应的自动化命令128。自动化命令可以包括控制自动化设备20、机器28或者工业自动化系统10中的任何其他设备的任何命令。这样，自动化命令可以包括但不限于启动设备、停止设备、提高设备的速度或者输出，降低设备的速度或者输出等。而且，库122可以包括与各种运动例如禁用运动识别系统16、限制操作者与运动识别系统16接合的控制或者能力等相关联的其他命令。在某些实施方式中，库122可以包括相对于工业自动化环境24中的固定物体的运动。例如，人26在一些控制输入设备的方向上移动的运动比如紧急停止输入可以与针对该控制输入设备的自动化命令（例如，紧急停止）相关联。
运动识别引擎124可以被用于确定针对框62中接收的检测的运动的可能的自动化命令，而位置确定引擎126可以被用于确定针对框62中接收的检测的位置的可能的自动化命令。这样，位置确定引擎126可以确定数据点82和数据点102的位置并且可以咨询库122以识别与框62中接收的检测的位置对应的自动化命令128。以这种方式，库122可以包括其中可以基于数据点82和数据点102的位置来实施特定的自动化命令的规则或者情形。
基于这一点，图8示出了可以被指定为危险区域或者人26不应该进入其中或者只能使机器28在其中工作的区域的工业自动化环境24内的空间132。这样，库122可以包括自动化命令128，从而在检测到人26处于危险区域中时停止可能潜在地对人26造成伤害的特定的工业自动化设备20。
例如，在一个实施方式中，空间132可以用边界134来标记，边界134可以使用光幕、电标记、有色标记等来实现。这样，库122可以包括当空间132内存在一个或更多个人26时使工业自动化设备20或者机器28停止的自动化命令。在另一示例中，库122可以包括当人26或者人26的肢端位于工业自动化设备20或者机器28的工作空间内时使工业自动化设备20或者机器28的操作停止的自动化命令。例如，如果工业自动化设备20对应于压制材料的工业压力机，那么库122可以包括当在期望放置材料的地点的工业压力机的区域内检测到人26或者人26的肢端时使工业压力机的操作停止的工业自动化命令。
返回去参照图4，在框66中，运动识别系统16可以确定针对框62中接收的检测的位置和/或运动的置信值92或者置信值112。如上所述，运动识别系统16可以基于数据点82或者数据点102的可见度、与数据点82或者数据点102相关的历史数据、人26、机器28或者材料30的期望的位置等来确定置信值92或者置信值112。在一个实施方式中，运动识别系统16还可以基于置信值92或者置信值112、框62中确定的检测的位置和/或运动与和框64中接收的可能的自动化命令相关联的位置和/或运动之间的差等来确定针对框64中确定的可能的自动化命令的置信值。在另一实施方式中，置信值可以与框62中接收的检测的位置和/或运动与针对元素的期望的运动模式之间的差相关。
在某些实施方式中，运动识别系统16可以基于对应的元素是否在特定的范围内来确定针对检测的位置和/或运动的置信值。例如，如果与检测的位置和/或运动对应的元素在距离照相机14较近的范围内，那么检测的位置和/或运动与可能距离照相机14较远的元素相比，可以与更高的置信值相关联。置信值还可以存储在可以基于检测的元素和照相机14之间的距离来组织的阵列中。这样，运动识别系统16可以基于排列在阵列中的置信值来确定针对检测的位置和/或运动的置信值。
在框68中，运动识别系统16可以确定框66中确定的置信值是否大于某阈值。如果框66中确定的置信值大于阈值，那么运动识别系统16可以进行至框70并且实施框64中确定的自动化命令。除了实施自动化命令之外或者替代实施自动化命令，运动识别系统16可以向工业自动化系统10的管理员或者操作者发送指示实施了自动化命令等的通知。
在一个实施方式中，在实施确定的自动化命令时，运动识别系统16可以将确定的自动化命令与特定的工业自动化设备20相关联。也就是说，在基于检测的元素的位置和/或运动来确定自动化命令时，运动识别系统16可以基于在工业自动化系统10中的设备附近的数据点82和数据点102的位置来确定由哪一个自动化设备20或者机器28来实施确定的自动化命令。例如，如果运动识别系统16将由距离照相机14检测的运动解释为与停止工业自动化设备20对应，那么在框70中，运动识别系统16可以在位于元素的最近邻区域内的工业自动化设备20上实施自动化命令。
返回去参照框68，如果框66中确定的置信值不大于阈值，那么运动识别系统16可以进行至框72并且实施默认的自动化命令。默认的自动化命令可以是针对各个自动化设备20或者机器28的安全状态命令。在一个实施方式中，默认自动化命令可以包括继续各个工业自动化设备20的操作。在另一实施方式中，在框72中，运动识别系统16可以发送请求手动确认框64中确定的自动化命令的通知或者指示针对各个自动化命令置信等级为低的通知。
基于检测的位置/运动和二次输入的自动化命令
通过基于置信值确定是否实施识别的自动化命令，可以保护或者防止运动识别系统16将人26、机器28或者材料30的随机运动和/或位置解释成可能的自动化命令。然而，在某些实施方式中，为了更好地确保运动识别系统16识别适当的自动化命令，或者为了更好地确保工业自动化设备20被安全地操作，运动识别系统16可以使用二次输入来补充、补足或者甚至替代由运动识别系统16识别的基于运动的和/或基于位置的输入。例如，图9描绘了使用距离照相机系统12和一些二次输入来控制工业自动化系统10内的一个或更多个工业自动化设备20的方法140。
二次输入可以包括由系统控制器18或者运动识别系统16接收的或者生成的可以被用来补足或者确认自动化命令的任何输入或者信号。这样，运动识别系统16可以基于系统控制器18或者运动识别系统16是否已经接收了期望的二次输入来验证解释的自动化命令的有效性。
基于这一点并且参照图9，在框142中，如同在上文中关于图4的框62所描述的那样，运动识别系统16可以接收元素的被检测位置和/或运动。在一个实施方式中，由运动识别系统16接收的元素的被检测位置和/或运动可以包括与针对框142中接收的检测的位置和/或运动的置信值92或112相关的元数据或者信息。
在接收元素的被检测位置和/或运动之后，在框144中，如同在上文中关于图4的框64所描述的那样，运动识别系统16可以确定针对框142中接收的检测的位置和/或运动的可能的自动化命令。虽然在图9中未示出，但是应注意在某些实施方式中，运动识别系统16可以基于置信值92或112、框142中接收的检测的位置和/或运动与和框144中确定的可能的自动化命令对应的期望的位置和/或运动之间的差等来确定在框144中确定的针对自动化命令的置信值。
在框146中，运动识别系统16可以确定是否已经接收到期望的二次输入或者自动化系统信号。如上所述，二次输入可以包括由运动识别系统16接收的输入或者信号，以验证框144中确定的自动化命令与待实施的自动化命令相对应。这样，二次输入可以包括使用手动输入或者其他控制输入例如位于工业自动化系统10内的按钮、经由输入/输出端口50向运动识别系统16提供的输入、由运动识别系统16经由置于工业自动化设备20上或者工业自动化系统10内的传感器接收的输入等。
例如，二次输入可以包括由人26操作的手动开关或者按钮。二次输入还可以包括在安全垫/压力垫上检测的重量、指示光幕是否已经被破坏的来自光幕的信号、来自区域扫描仪的指令或者来自使能垂挂物、安全门、保护连锁装置、紧急停止开关等的输入。
二次输入的另一示例可以包括语音命令或者确认。这样，在框144中，机器识别系统16可以期望接收来自人26的语音命令，该语音命令可以与针对各个确定的自动化命令的期望语音命令相对应。例如，可以与停止自动化命令对应的与检测的运动相关联的期望二次输入可以包括由表述“停止”的人26发出的语音。
在一个实施方式中，二次输入可以是关于一些自动化设备20的元素的被检测位置，而框144中确定的自动化命令可以基于检测的元素的运动。例如，如果运动识别系统16确定人26的运动对应于使压力机接合的自动化命令，那么在框146中，运动识别系统16可以确定检测的人26的位置是否为远离压力机的安全距离或者在材料可以被压制的区域之外。这样，人26的位置可以被用作框146中的期望的二次输入。而且，以这种方式，运动识别系统16可以将由距离照相机14检测的运动与由距离照相机14检测的位置进行协调，以控制工业自动化系统10内各种设备的操作。这样，运动识别系统16可以确保工业自动化设备20被安全地操作并且根据它们各自的规格来操作。
返回去参照框146，如果运动识别系统16接收期望的二次输入，那么运动识别系统16可以进行至框148并且实施框144中确定的自动化命令。在一个实施方式中，除了实施自动化命令之外或者替代实施自动化命令，运动识别系统16可以向工业自动化系统10的管理员或者操作者发送指示已经实施了自动化命令、已经请求了实施自动化命令等的通知消息（例如，电子邮件、文本消息）。
然而，如果在框146中，运动识别系统16没有接收期望的二次输入，那么运动识别系统16可以进行至框150并且实施默认动作。在一个实施方式中，默认动作可以针对每个自动化设备20来定义或者确定。默认动作可以被定义或确定为与针对各个工业自动化设备20的安全状态（例如，断电）相对应。换言之，如果运动识别系统16没有接收期望的二次输入，那么运动识别系统16可以确定针对各个工业自动化设备20的安全状态并且实施与安全状态相对应的自动化命令。例如，如果期望的二次输入对应于指示人26站在压力垫上并且因此位于远离各个工业自动化设备20的安全距离的信号，那么运动识别系统16可以通过假定人26没有站在压力垫上来确定针对各个自动化设备20的安全状态自动化命令。这样，运动识别系统16可以确定针对各个自动化设备20的安全状态可以包括使各个自动化设备20断电，由此确保人没有被各个工业自动化设备20伤害或者物体没有被各个工业自动化设备20损坏。在这种情况下，接着，运动识别系统16可以向各个自动化设备20发送在安全状态模式下操作的命令。在某些实施方式中，默认动作或者安全状态模式可以包括完全不进行动作。这样，默认动作可以包括继续各个自动化设备20的操作。
除了实施默认动作之外或者替代实施默认动作，运动识别系统16可以向工业自动化系统10的管理员或者操作者发送指示已经实施默认动作、没有接收到二次输入等的通知。在一个实施方式中，通知可以包括关于运动识别系统16可能正在寻找什么作为二次输入的建议或者指令。
在某些实施方式中，当确定已经接收期望的二次输入之后，运动识别系统16可以进行至图4的框66。这样，运动识别系统16可以确定针对框142中接收的检测的位置和/或运动的置信值92或者置信值112。如同在上文中关于框66所描述的那样，可替换地或者附加地，运动识别系统16可以确定针对框144中确定的可能的自动化命令的置信值。接着，运动识别系统16可以遵循方法60的处理，以更好地确保框144中确定的自动化命令可以正确地匹配框142中接收的元素的被检测位置和/或运动。
基于检测的位置/运动导数数据的自动化命令
除了基于元素的被检测位置和/或运动来确定自动化命令之外，运动识别系统16还可以在确定自动化命令时分析检测的位置和/或运动的导数值。也就是说，运动识别系统16可以确定针对元素的被检测位置的一个或更多个导数值并且基于导数值来确定自动化命令。与元素的检测位置对应的数据的导数值可以指示元素移动的速度。在某些实施方式中，运动识别系统16可以在确定针对检测的位置的自动化命令时使用速度信息。例如，速度数据可以被用于量化应实施确定的自动化命令的速度。
以同样的方式，与元素的检测的运动对应的数据的导数值可以指示加速度或者加速度的变化，其对应于元素可以怎样移动。可以由运动识别系统16解释加速度或者加速度数据的变化，以指示关于元素的检测的运动对紧急情况或者不期望的事件的感测。例如，如果人26提高速度向紧急停止开关移动，那么运动识别系统16可以将与人26的运动相对应的高的加速度或者加速度数据的大的变化解释为指示工业自动化系统10中可能存在严重的问题。而且，加速度或者加速度数据的变化还可以用于预测各个时间点上的人26（或者其他被跟踪的物体）的位置。下面参照图10提供了关于在确定针对工业自动化系统10的自动化命令时使用基于导数的数据的更多细节。
现在参照图10，运动识别系统16可以采用方法160来实施基于与由距离照相机14检测的位置和/或运动相关的导数数据的自动化命令和/或通知。在框162中，如同在上文中关于图4的框62所描述的那样，运动识别系统16可以接收元素的检测的位置和/或运动。
在接收元素的检测的位置和/或运动之后，在框164中，运动识别系统16可以确定针对框162中接收的检测的位置和/或运动的导数值。在一个实施方式中，针对检测的位置数据，运动识别系统16可以生成表示数据点82或者数据点102的位置随时间变化的位置函数。接着，运动识别系统16可以确定针对生成的位置函数的导数值以确定检测的数据点82或者数据点102的位置的变化率，该变化率可以对应于数据点82或者数据点102移动的速度。
在另一实施方式中，针对检测的运动数据，运动识别系统16可以生成表示数据点82或者数据点102的运动随时间而变化的运动函数。接着，运动识别系统16可以确定针对生成的运动函数的导数值以确定数据点82或者数据点102的被检测运动的变化率，该变化率可以对应于针对数据点82或者数据点102的检测的运动的加速度。
在框166中，运动识别系统16可以基于框162中接收的检测的位置和/或运动和/或框164中确定的检测的位置和/或运动的导数值来确定可能的自动化命令。也就是说，如同在上文中关于图4的框64所描述的那样，运动识别引擎124可以从库122确定与检测的位置和/或运动对应的自动化命令，并且可以基于框164中确定的检测的位置和/或运动的导数值来细化或者修订确定的自动化命令。
例如，除了与元素的位置和/或运动相关的数据之外，库122还可以包括对应于与元素的位置和/或运动相关的数据的期望的速度和加速度。换言之，除了将元素的某个位置和/或运动与特定的自动化命令相关联之外，库122还可以将特定的自动化命令的元素的某个位置和/或运动与对应于元素怎样移动的期望的速度和/或加速度值相关联。以这种方式，运动识别系统16可以检测对自动化命令中的紧急情况的感测或者可以对调用自动化命令的元素的任何不寻常的行为进行标记。
基于这一点，在框166中，运动识别系统16首先可以基于检测的元素的位置和/或运动从库122检索自动化命令。然而，接着，运动识别16可以基于检测的位置和/或运动的导数值修订或者改变检索的自动化命令。举例来说，在确定元素的位置和/或运动对应于提高电动机的速度的自动化命令之后，运动识别系统16然后可以咨询库122以确定检测的元素的位置和/或运动的导数值是否在针对元素的检测的位置和/或运动的导数值的期望范围内。
如果检测的元素的位置和/或运动的导数值不在导数值的期望的范围内，那么运动识别系统16可以改变或者修改从库122检索的自动化命令。例如，返回去参照以上示例，如果自动化命令对应于提高电动机的速度，那么运动识别系统16可以改变自动化命令以禁用电动机。在该示例中，运动识别系统16可以禁用工业自动化设备20（即电动机）以确保工业自动化设备20被安全地操作并且确保检测到适当的元素的位置和/或运动。也就是说，通过识别导数值是否相对地匹配期望的导数值，运动识别系统16可以提供附加保障，以防止未被授权的人员对工业自动化系统10中的设备进行操作。
在某些实施方式中，库122通常可以包括与存储在其中的每个自动化命令对应的运动的期望速度和加速度值相关的数据。除了针对自动化命令的期望的速度和加速度值之外，库122还可以存储与元素例如人26、机器28或者材料30的通常行为对应的期望速度和加速度值。这样，期望的速度和加速度值可以包括与人26、机器28或者材料30的正常行为运动对应的速度和加速度值的范围。在某些实施方式中，运动识别系统16可以基于由距离照相机14获得的历史数据确定针对任何元素的期望的速度和加速度值。也就是说，运动识别系统16可以检测各种元素随时间变化的位置和/或运动，并且识别可以与正常行为对应的元素的位置和/或运动。接着，运动识别系统16可以确定针对与正常行为对应的元素的位置和/或运动的导数值，并且识别与正常行为对应的导数值（例如，速度和加速度数据）的范围。
基于这一点，在框166中，运动识别系统16可以基于检测的位置和/或运动是否具有与期望的导数值对应的导数值来确定自动化命令。也就是说，运动识别系统16可以解释检测的元素的运动对应于正常运动还是非正常运动，并且基于元素的运动是正常还是非正常来确定自动化命令。例如，如果人26突然跌到地板上或者变得不能活动，那么人26跌到地上或者保持不能活动的运动可以具有针对人的期望的导数值的范围之外的导数值。这样，运动识别系统16可以基于与人26的运动有关的速度或者加速度数据来识别或者检测这些类型的不希望的情况。在另一示例中，运动识别系统16可以确定机器28或者材料30可能以会落入导数值的期望范围之外的速度或者加速度移动。在这种情况下，运动识别系统16可以确定机器28或者材料30可能非正常地移动，由此可能导致机器28、材料30损坏等。
如果运动识别系统16确定导数值在期望的导数值范围之外，那么接着，运动识别系统16可以确定可以设计为保护人26的安全、工业自动化系统10正常运转等的针对各种工业自动化设备20的一个或更多个自动化命令。例如，运动识别系统16可以预测可能在人26近邻或者可能有进一步伤害人26的风险的工业自动化设备20的移动和操作，并且确定可以使任何进一步伤害人26的风险最小化的自动化命令。例如，确定的一个或更多个自动化命令可以包括停止各种工业自动化设备20、机器28的操作等。
在某些实施方式中，在框166中，运动识别系统16可以通过预测人26、机器28、材料30或者自动化设备20是否可能物理上相互接触或者进入相互的工作空间内来基于导数值确定可能的自动化命令。也就是说，通过使用框162中接收的检测的运动的导数值，运动识别系统16可以预测两个元素移动的模式是否可能导致其中任何一个元素受到伤害或被损坏。而且，通过使用检测的元素的位置和/或运动以及检测的位置和/或运动的导数值，运动识别系统16可以预测元素何时可能碰撞、导致伤害、导致损坏等。这样，运动识别系统16可以确定可以防止工业自动化系统10内的任何元素的伤害或者损坏的一个或更多个自动化命令。例如，如果运动识别系统16基于检测的元素的位置和/或运动以及检测的位置和/或运动的导数值预测到两个元素可能相互碰撞，那么运动识别系统16可以确定可以使工业自动化设备20和/或机器28以相反方向而不是按当前的方向移动从而避免碰撞的、针对各种工业自动化设备20和/或机器28的自动化命令。
在某些实施方式中，运动识别系统16可以基于检测的位置和/或运动的导数值来量化确定的自动化命令。换言之，运动识别124可以给与确定的自动化命令相关的方面赋予某些数值。例如，如果运动识别引擎124从库122检索与停止工业自动化设备20的操作对应的自动化命令，那么运动识别系统16可以使用检测的位置和/或运动的导数值来量化与停止工业自动化设备20的自动化命令相关的紧急性或者重要性。也就是说，如果导数值指示速度和/或加速度大于期望的速度和/或加速度的范围，那么运动识别系统16可以确定对应的自动化命令具有较高程度的紧急性或者重要性。这样，在框166中，运动识别系统16可以基于提高了的重要性来确定附加的自动化命令。返回去参照以上示例，在从库122检索与停止工业自动化设备20的操作对应的自动化命令之后，如果检索的自动化命令被解释为具有高重要性，那么运动识别系统16可以生成停止其他相关的工业自动化设备20以保护整个工业自动化系统10的附加自动化命令。
在基于检测的位置和/或运动和/或基于导数值确定可能的自动化命令之后，运动识别系统16可以实施框166中确定的一个或更多个自动化命令。在某些情况下，运动识别系统16可以向工业自动化系统10的管理员或者操作者发送指示确定的一个或更多个自动化命令的通知。如果运动识别系统16检测到如上所述的非正常或者不希望的事件，那么运动识别系统16可以向工业自动化系统10的管理员或者操作者发送提供与非正常或者不希望的事件相关的详情的通知。
返回去参照框166，在某些实施方式中，在确定可能的一个或更多个自动化命令之后，运动识别系统16可以进行至图4的框66。这样，运动识别系统16可以确定针对框162中接收的检测的位置和/或运动的置信值92或112。可替换地或者附加地，如同关于框66所描述的那样，运动识别系统16可以确定针对框166中确定的可能的自动化命令的置信值。以这种方式，运动识别系统16可以更好地确保框166中确定的自动化命令可以正确地匹配框162中接收的元素的检测的位置和/或运动。
在另一实施方式中，在框166确定可能的一个或更多个自动化命令之后，运动识别系统16可以进行至图9的框146。这样，如同在上文中关于图9的框146所描述的那样，运动识别系统16可以确定是否已经接收了期望的二次输入。接着，运动识别系统16可以基于是否已经由系统控制器18或者运动识别系统16接收了期望的二次输入来验证确定的自动化命令的有效性。
再次参照框166，运动识别系统16可以基于可以存储在存储器中的历史数据来确定可能的自动化命令。也就是说，运动识别系统16可以通过使用历史数据学习将特定的运动模式与各个自动化命令相关联。例如，如果运动识别系统16根据历史数据确定特定的运动模式通常与特定的自动化命令相关联，那么运动识别系统16可以学习或者将特定的运动模式与特定的自动化命令相关联。
基于检测的位置/运动以及当前元素的类型的自动化命令
除了如同图4、图9以及图10中所描述的那样对工业自动化系统中的元素的位置和/或运动进行解释之外，运动识别系统16还可以区分工业自动化环境24中的人和物体，并且基于该元素是不是人来实施各种控制和/或通知动作（图11）。例如，运动识别系统16可以基于人或物体是否在工业自动化环境24中移动来控制工业自动化环境24内的光和空调可以怎样工作。
基于这一点，图11描绘了基于工业自动化环境中是否存在人或物体（即非人）来实施与工业自动化系统10相关的各种控制和/或通知动作的方法170。现在参照图11，在框172中，如上所述，运动识别系统16可以从距离照相机14接收在工业自动化环境24中存在的元素的检测的位置和/或运动。
在框174中，运动识别系统16可以基于框172中接收的检测的位置和/或运动来确定元素是否对应于人（例如人26）或者物体（例如机器26或材料30）。在某些实施方式中，运动识别系统16可以将数据点82或数据点102的位置与人的模板或者已知的数据点布置进行比较。如果数据点82或数据点102的位置与人的模板或者已知的数据点布置相对应，那么运动识别系统16可以确定元素是人。否则，运动识别系统16可以将元素归类为物体或者非人。
在另一实施方式中，运动识别系统16可以将框172中接收的元素的运动与人的模板或者已知的运动模式进行比较。如果接收的运动对应于人的模板或者已知的运动模式，那么运动识别系统16可以确定元素是人。否则，运动识别系统16可以将元素归类为物体或者非人。
一旦运动识别系统16确定元素是人或者物体，运动识别系统16可以基于元素是否被确定为人或者物体来实施控制动作和/或通知动作。控制动作可以包括操作工业自动化系统10中的任何设备或者控制工业自动化环境24中的各种环境参数。例如，如同参照方法170在上文中所描述的那样，图12示出了可以使用运动识别系统16来控制工业自动化环境24中的各种环境参数的示例环境控制系统180。
现在参照图12，环境控制系统180可以包括各种环境控制特征，例如供热、通风与空调（HVAC）单元182、光控制单元184等。HVAC单元182可以通过提供通风、空气过滤等来控制空气流动、维持空气质量或者调节工业自动化环境24中的温度。光控制单元184可以控制用于工业自动化环境照明的光186的操作。在某些实施方式中，HVAC单元182和光控制单元184可以耦接到系统控制器18，如图12所示。这样，系统控制器18可以向HVAC单元182和光控制单元184提供信号以控制工业自动化环境24内的环境。然而，应注意在某些实施方式中，与经由系统控制器18耦接相对地，运动识别系统16可以直接耦接到环境控制设备。
基于环境控制系统180，并且返回去参照框176，运动识别系统16可以基于检测的元素是人还是物体来控制HVAC单元182、光控制单元184等的操作。例如，当没有人存在于工业自动化环境24中时，工业自动化环境24内的状态不应该迎合人的需要。这样，在一个实施方式中，如果运动识别系统16确定工业自动化环境24中存在的的元素不是人，那么运动识别系统16可以向系统控制器18发送一个或更多个修改HVAC单元182、光控制单元184等的操作的信号。举例来说，当运动识别系统16确定工业自动化环境24中不存在人时，运动识别系统16可以向系统控制器18发送停止操作HVAC单元182或者关闭光186的信号。以这种方式，工业自动化设备20、机器28以及材料30可以继续遍及工业自动化环境24移动同时在不适合人的（例如不舒适的）状态或者弱光状态中工作。也就是说，由于工业自动化设备20、机器28以及材料30不会被在适合人的或者不适合人的环境中工作所影响，因此运动识别系统16可以通过最小化地使用HVAC单元182或者光控制单元184来更有效地操作环境控制设备。而且，当接收的元素的被检测位置和/或运动确定是人时，运动识别系统16可以在框176调节环境控制设备的操作以使工业自动化环境24对于人来说更适合或者舒适。
除了控制工业自动化系统中的环境控制设备，运动识别系统16还可以基于元素是否是人来控制工业自动化设备20或者机器28。例如，在某些实施方式中，可以将运动识别系统16布置成使得距离照相机14可以监视工业自动化环境24内可以被指定为危险区域或者人不应该进入的区域的区域。这样，在框174中，运动识别系统16确定区域中的元素对应于人，那么运动识别系统16可以向系统控制器18发送一个或更多个信号以改变或者停止工业自动化设备20、机器28等的操作，以保护现在区域中存在的人。以这种方式，运动识别系统16允许各种大小与方向的多种物体进入危险区域，而当存在人时则维持工业自动化环境24中的安全环境。
通知动作可以包括向工业自动化系统10的管理员或者操作者发送指示已经实施自动化命令、已经实施框176的控制动作的通知消息（例如，电子邮件、文本消息）。在一个实施方式中，通知消息还可以包括当没有被授权存在其中时在工业自动化环境24中存在人等的指示。
除了基于检测的位置和/或运动是人还是非人做出来实施控制动作和/或通知动作之外，运动识别系统16还可以基于工业自动化环境24中存在的人之间的被检测的区别来实施控制动作和/或通知动作。例如，图13描绘了基于工业自动化环境中的人之间被检测的区别来实施自动化命令和/或通知动作的方法190的示例。
现在参照图13，在框192中，运动识别系统16可以使用距离照相机14来扫描工业自动化环境24。在框194中，运动识别系统16可以识别工业自动化环境24中工作或者存在的人。接着，运动识别系统16可以确定当前的人中哪个人被授权使用运动识别系统16来实施自动化命令。
在一个实施方式中，人26可以进行特定的运动或者姿势来将自己指定为工业自动化环境24中被授权的人。这样，人26可以使用基于姿势的登入运动或者授权处理来将自己指定为被授权的人。
在另一实施方式中，运动识别系统16可以搜索穿戴特定的衣物例如背心、纽扣、皮带、手套等的个人。特定的衣物可以将个人指定为被授权来实施自动化命令的人。在某些示例中，携带或者穿戴不希望的物体例如枪或者膝上型电脑的人可以被指定为未被授权的人员。在这种示例中，运动识别系统16可以发送指示工业自动化环境24中存在未被授权的人员的通知或者警告。
在又一实施方式中，运动识别系统16可以搜索置于人26上的标志或者符号例如徽章以将人26指定为被授权的人。在某些示例中，运动识别系统16可以与传感器22相结合工作以检测置于人26上的射频识别（RFID）标签等来将人26指定为被授权的人。
运动识别系统16还可以将授权的个人的轮廓存储在运动识别系统16的存储器中。例如，轮廓可以包括关于与授权的人相关联的面部特征、身体参数等的数据。这样，在框194中，运动识别系统16可以基于人的面部特征、身体参数等是否与轮廓中存储的面部特征、身体参数等相匹配来识别授权的人员。
运动识别系统16还可以识别授权的人在从已知的授权人员接收姿势或运动，该姿势或运动指示另一人也是被授权的。也就是说，已知的被授权的人可以向另一人传递他的授权状态或者使用特定的运动、姿势等来将工业自动化环境24中的另一人指定为被授权。
运动识别系统16还可以通过检测人身上特定的颜色或者衣物的属性来识别被授权的人。在一个实施方式中，置于人上的不同颜色或者衣物的属性可以指示授权的不同级别。也就是说，授权的不同级别可以与工业自动化环境24中的不同的人相关联。每个不同级别的授权可以使各个人实施不同组的自动化命令。虽然已经将不同级别的授权描述为基于检测特定颜色或衣物属性而与人相关联，然而应注意，如上所述，运动识别系统16可以基于由人进行的特定的运动或者姿势、由人穿戴的特定的衣物、在人身上检测到的某些标志、符号或者标签、存储的人的轮廓来将不同的人指定为具有不同级别的授权。
在框194中运动识别系统16识别被授权的人员之后，在框196中，运动识别系统16可以从距离照相机14接收与识别的被授权人员对应的检测的位置和/或运动。在某些实施方式中，运动识别系统16可以进行至图4的框66。这样，接着，运动识别系统16可以进行至框64并且按照方法60的处理通过使用置信值来实施自动化命令。
在框196中接收检测的被授权的人的位置和/或运动之后，运动识别系统16可以进行至图9的框144并且遵循方法140的处理。这样，如同在上文中关于图9的框146所描述的那样，运动识别系统16可以确定是否已经接收了期望的二次输入。这样，运动识别系统16可以基于是否已经由系统控制器18或者运动识别系统16接收了期望的二次输入来验证被授权的人的确定的自动化命令的有效性。
在一个实施方式中，在框196中接收检测的被授权人的位置和/或运动之后，运动识别系统16可以进行至图10的框164，并且遵循方法160的处理。这样，如同在上文中关于图10的框166所描述的那样，运动识别系统16可以基于针对检测的位置和/或运动的导数值来确定与检测的位置和/或运动对应的自动化命令。这样，运动识别系统16可以使用导数值来进一步解释检测的人26的位置和/或运动。
通过以上公开可知本申请的方案包括但不限于：
1.一种用于进行工业自动化控制的方法，包括：
经由传感器系统检测工业自动化系统中的一个或更多个人和/或一个或更多个物体的位置和/或运动；
基于检测的所述位置和/或运动经由编程的计算机系统将一个或更多个人与一个或更多个物体进行区别；以及
基于所述区别来实施控制和/或通知动作。
2.根据1所述的方法，其中，所述人中的一个被指定为被授权的操作者，其中所述人中的一个与不是被授权的操作者的其他人相区别。
3.根据2所述的方法，其中，基于由所述被授权的操作者携带或者穿戴的物件来区别所述被授权的操作者。
4.根据3所述的方法，其中，所述物件包括衣物。
5.根据1所述的方法，其中，所述人中的一个与物体相区别。
6.根据5所述的方法，其中，基于是否检测到所述人中的一个或者所述物体来控制环境系统。
7.根据6所述的方法，其中，所述环境系统包括照明单元或者空调单元，并且其中，所述照明单元或者所述空调单元被配置成如果检测到人则在适合人的状态下工作。
8.根据6所述的方法，其中，所述环境系统包括照明单元或者空调单元，并且其中，如果检测到所述物体并且没有检测到人，那么所述照明单元或者所述空调单元被置于不适合人的状态中。
9.根据1所述的方法，包括：
经由所述传感器系统检测工业自动化系统中的不希望的物体；以及
基于对所述所述不希望的物体的检测来实施所述控制和/或通知动作。
10.一种用于进行工业自动化控制的系统，包括：
传感器系统，被配置成检测工业系统中的元素的位置和/或运动；
处理部件，被配置成：
基于检测的所述位置和/或运动来确定所述元素对应于一个或更多个人还是一个或更多个物体；以及
基于所述元素对应于一个或更多个人还是一个或更多个物体向所述工业系统中的环境控制设备发送命令。
11.根据10所述的系统，其中，所述处理部件被配置成通过将检测的所述位置与和人相关联的位置的已知模式进行比较来确定所述元素对应于所述一个或更多个人还是对应于所述一个或更多个物体。
12.根据10所述的系统，其中，所述处理部件被配置成通过将检测的所述运动与和人相关联的运动的已知模式进行比较来确定所述元素对应于所述一个或更多个人还是对应于所述一个或更多个物体。
13.根据10所述的系统，其中，所述处理部件被配置成当所述元素对应于所述一个或更多个人时，向所述环境控制设备发送所述命令以便在所述工业系统中控制气流、维持空气质量或者调节温度。
14.根据10所述的系统，其中，所述环境控制设备是加热、通风与空调HVAC单元。
15.根据14所述的系统，其中，到所述HVAC单元的所述命令被配置成当所述元素不对应于所述一个或更多个人时将所述工业系统中的状态设定成不适合人的状态。
16.根据10所述的系统，其中，所述处理部件被配置成当所述元素对应于所述一个或更多个人时向所述环境控制设备发送所述命令以开启所述工业系统中的一个或更多个灯。
17.根据10所述的系统，其中，所述处理部件被配置成：
确定区域中是否存在所述元素，其中，所述元素被确定为与所述一个或更多个人对应；以及
当所述区域中存在所述元素时发送停止工业自动化设备的自动化命令。
18.一种用于进行工业自动化控制的方法，包括：
经由传感器系统检测工业自动化系统中的一个或更多个人的位置和/或运动；
基于检测的所述位置和/或运动经由编程的计算机系统确定所述一个或更多个人是否与被授权的状态相关联；以及
基于所述区别来实施控制和/或通知动作。
19.根据18所述的方法，其中，检测的所述位置和/或运动包括基于姿势的登入运动。
20.根据18所述的方法，包括：
经由所述传感器系统检测衣物被置于所述一个或更多个人身上；以及
当所述衣物被置于所述一个或更多个人身上时，经由所述编程的计算机系统确定所述一个或更多个人与被所述被授权的状态相关联。
21.根据18所述的方法，其中，经由所述编程的计算机系统确定所述一个或更多个人与被所述授权的状态相关联包括：
经由所述传感器系统检测所述一个或更多个人的一个或更多个面部特征和/或身体参数；
将检测的所述面部特征和/或所述身体参数与人的一个或更多个轮廓进行比较；以及
基于所述比较来确定所述一个或更多个人与所述被授权的状态相关联。
22.根据18所述的方法，其中，经由所述编程的计算机系统确定所述一个或更多个人与所述被授权的状态相关联包括：
经由所述传感器系统检测被置于所述一个或更多个人上的一种或更多种颜色；以及
当所述颜色与所述被授权的状态相关联时，确定所述一个或更多个人与所述被授权的状态相关联。
23.根据18所述的方法，其中，经由所述编程的计算机系统确定所述一个或更多个人与所述被授权的状态相关联包括：从置于所述一个或更多个人上的一个或更多个传感器接收一个或更多个信号，其中，所述一个或更多个信号与所述被授权的状态相关联。
24.根据23所述的方法，其中，所述一个或更多个传感器包括射频识别（RFID）传感器。
虽然在本文中示出并描述了本发明的仅某些特征，但是本领域普通技术人员可以想到很多修改和变化。因此，应理解所附权利要求意在覆盖所有落入本发明真正的精神之内的这类修改和变化。

Claims (10)

1.一种用于进行工业自动化控制的方法，包括：
经由传感器系统检测工业自动化系统中的一个或更多个人和/或一个或更多个物体的位置和/或运动；
基于检测的所述位置和/或运动经由编程的计算机系统将一个或更多个人与一个或更多个物体进行区别；以及
基于所述区别来实施控制和/或通知动作。
2.根据权利要求1所述的方法，其中，所述人中的一个被指定为被授权的操作者，其中所述人中的一个与不是被授权的操作者的其他人相区别。
3.根据权利要求2所述的方法，其中，基于由所述被授权的操作者携带或者穿戴的物件来区别所述被授权的操作者。
4.一种用于进行工业自动化控制的系统，包括：
传感器系统，被配置成检测工业系统中的元素的位置和/或运动；
处理部件，被配置成：
基于检测的所述位置和/或运动来确定所述元素对应于一个或更多个人还是一个或更多个物体；以及
基于所述元素对应于一个或更多个人还是一个或更多个物体向所述工业系统中的环境控制设备发送命令。
5.根据权利要求4所述的系统，其中，所述处理部件被配置成通过将检测的所述位置与和人相关联的位置的已知模式进行比较来确定所述元素对应于所述一个或更多个人还是对应于所述一个或更多个物体。
6.根据权利要求4所述的系统，其中，所述处理部件被配置成通过将检测的所述运动与和人相关联的运动的已知模式进行比较来确定所述元素对应于所述一个或更多个人还是对应于所述一个或更多个物体。
7.一种用于进行工业自动化控制的方法，包括：
经由传感器系统检测工业自动化系统中的一个或更多个人的位置和/或运动；
基于检测的所述位置和/或运动经由编程的计算机系统确定所述一个或更多个人是否与被授权的状态相关联；以及
基于所述区别来实施控制和/或通知动作。
8.根据权利要求7所述的方法，其中，检测的所述位置和/或运动包括基于姿势的登入运动。
9.根据权利要求7所述的方法，包括：
经由所述传感器系统检测衣物被置于所述一个或更多个人身上；以及
当所述衣物被置于所述一个或更多个人身上时，经由所述编程的计算机系统确定所述一个或更多个人与被所述被授权的状态相关联。
10.根据权利要求7所述的方法，其中，经由所述编程的计算机系统确定所述一个或更多个人与被所述授权的状态相关联包括：
经由所述传感器系统检测所述一个或更多个人的一个或更多个面部特征和/或身体参数；
将检测的所述面部特征和/或所述身体参数与人的一个或更多个轮廓进行比较；以及
基于所述比较来确定所述一个或更多个人与所述被授权的状态相关联。
CN201410068308.XA 2013-02-27 2014-02-27 具有人和物体区分的基于识别的工业自动化控制的系统和方法 Active CN104102185B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/779,569 US9393695B2 (en) 2013-02-27 2013-02-27 Recognition-based industrial automation control with person and object discrimination
US13/779,569 2013-02-27

Publications (2)

Publication Number Publication Date
CN104102185A true CN104102185A (zh) 2014-10-15
CN104102185B CN104102185B (zh) 2018-03-13

Family

ID=50189499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410068308.XA Active CN104102185B (zh) 2013-02-27 2014-02-27 具有人和物体区分的基于识别的工业自动化控制的系统和方法

Country Status (3)

Country Link
US (2) US9393695B2 (zh)
EP (1) EP2772810A3 (zh)
CN (1) CN104102185B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105522592A (zh) * 2014-10-17 2016-04-27 发那科株式会社 机器人的干涉区域设定装置
CN105825260A (zh) * 2016-03-22 2016-08-03 秦传宇 一种平面物品定位识别阵列层结构
CN110575174A (zh) * 2018-06-08 2019-12-17 塔塔咨询服务有限公司 用于活动识别和行为分析的方法和系统
CN112802303A (zh) * 2021-02-09 2021-05-14 成都视海芯图微电子有限公司 一种基于3d视觉的实时风险预测方法及系统

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9009084B2 (en) * 2002-10-21 2015-04-14 Rockwell Automation Technologies, Inc. System and methodology providing automation security analysis and network intrusion protection in an industrial environment
US20120095575A1 (en) * 2010-10-14 2012-04-19 Cedes Safety & Automation Ag Time of flight (tof) human machine interface (hmi)
WO2013058985A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for detecting deterioration of health status
WO2013066601A1 (en) * 2011-10-17 2013-05-10 Kimmel Zebadiah M Method and apparatus for monitoring individuals while protecting their privacy
WO2013058978A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
JP6123307B2 (ja) * 2013-01-23 2017-05-10 株式会社デンソーウェーブ ロボット周辺への物体の侵入を監視する監視システムおよび監視方法
DE102013104265A1 (de) * 2013-04-26 2014-10-30 Pilz Gmbh & Co. Kg Vorrichtung und Verfahren zum Absichern einer automatisiert arbeitenden Maschine
US9211644B1 (en) * 2013-10-25 2015-12-15 Vecna Technologies, Inc. System and method for instructing a device
US9600993B2 (en) 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
US10527413B2 (en) * 2014-06-25 2020-01-07 Hitachi, Ltd. Outside recognition device
US10013756B2 (en) 2015-03-13 2018-07-03 Atlas5D, Inc. Methods and systems for measuring use of an assistive device for ambulation
US9473767B1 (en) * 2015-03-31 2016-10-18 Cae Inc. Multifactor eye position identification in a display system
JP6177837B2 (ja) * 2015-06-30 2017-08-09 ファナック株式会社 視覚センサを用いたロボットシステム
US10061390B2 (en) 2015-07-17 2018-08-28 Honeywell International Inc. Building space control
US10198706B2 (en) * 2015-07-31 2019-02-05 Locus Robotics Corp. Operator identification and performance tracking
JP6088605B1 (ja) * 2015-08-31 2017-03-01 ファナック株式会社 視覚センサを用いたロボットシステム
US10955810B2 (en) * 2015-11-13 2021-03-23 International Business Machines Corporation Monitoring communications flow in an industrial system to detect and mitigate hazardous conditions
DE102015225587A1 (de) * 2015-12-17 2017-06-22 Volkswagen Aktiengesellschaft Interaktionssystem und Verfahren zur Interaktion zwischen einer Person und mindestens einer Robotereinheit
US11000078B2 (en) * 2015-12-28 2021-05-11 Xin Jin Personal airbag device for preventing bodily injury
JP6470235B2 (ja) * 2016-07-27 2019-02-13 ファナック株式会社 安全管理方法および安全管理システム
WO2018026838A1 (en) 2016-08-02 2018-02-08 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
US11000953B2 (en) * 2016-08-17 2021-05-11 Locus Robotics Corp. Robot gamification for improvement of operator performance
JP6640060B2 (ja) * 2016-09-27 2020-02-05 株式会社日立製作所 ロボットシステム
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
US20180349373A1 (en) * 2017-05-30 2018-12-06 Hand Held Products, Inc. Control over processes and machinery
WO2018226882A1 (en) 2017-06-07 2018-12-13 Amazon Technologies, Inc. Behavior-aware security systems and associated methods
US10338557B2 (en) * 2017-06-19 2019-07-02 Rockwell Automation Technologies, Inc. Systems and methods for safety input devices
US11072071B2 (en) * 2017-09-19 2021-07-27 Autodesk, Inc. Modifying robot dynamics in response to human presence
US11453123B2 (en) * 2017-12-27 2022-09-27 Stmicroelectronics, Inc. Robotic device with time-of-flight proximity sensing system
US20190266688A1 (en) * 2018-02-28 2019-08-29 Bank Of America Corporation Do-no-harm iot device(s)
US11314220B2 (en) 2018-04-26 2022-04-26 Liberty Reach Inc. Non-contact method and system for controlling an industrial automation machine
DE102018114156B3 (de) * 2018-06-13 2019-11-14 Volkswagen Aktiengesellschaft Verfahren zur Steuerung eines Roboters, insbesondere eines Industrieroboters, sowie Vorrichtung zur Steuerung des Roboters
CN111216134B (zh) * 2020-02-17 2021-11-09 达闼机器人有限公司 机器人的控制方法、装置、控制器、存储介质和机器人
GB2595289A (en) * 2020-05-21 2021-11-24 Bae Systems Plc Collaborative robot system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060210112A1 (en) * 1998-08-10 2006-09-21 Cohen Charles J Behavior recognition system
CN101027700A (zh) * 2004-01-27 2007-08-29 理查德·特纳 用于检测和跟踪所限定的区域内的对象的方法和设备
CN101490283A (zh) * 2006-07-17 2009-07-22 西门子公司 具有涉及安全的区域的工业设备
CN101511550A (zh) * 2006-08-02 2009-08-19 皮尔茨公司 用于观测工业环境中的人员的方法
US20100191372A1 (en) * 2009-01-26 2010-07-29 Fanuc Ltd Production system having cooperating process area between human and robot
CN102099839A (zh) * 2008-06-03 2011-06-15 赛德斯安全与自动化公司 对监控区域进行监控的安全装置和方法
US20120290121A1 (en) * 2011-05-06 2012-11-15 Deckel Maho Pfronten Gmbh Device for operating an automated machine for handling, assembling or machining workpieces

Family Cites Families (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991011766A2 (en) 1990-01-30 1991-08-08 Johnson Service Company Networked facilities management system
US7887089B2 (en) 1992-05-05 2011-02-15 Automotive Technologies International, Inc. Vehicular occupant protection system control arrangement and method using multiple sensor systems
US8152198B2 (en) 1992-05-05 2012-04-10 Automotive Technologies International, Inc. Vehicular occupant sensing techniques
US7831358B2 (en) 1992-05-05 2010-11-09 Automotive Technologies International, Inc. Arrangement and method for obtaining information using phase difference of modulated illumination
US7983817B2 (en) 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US7655895B2 (en) 1992-05-05 2010-02-02 Automotive Technologies International, Inc. Vehicle-mounted monitoring arrangement and method using light-regulation
US7738678B2 (en) 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
US7570785B2 (en) 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
US7734061B2 (en) 1995-06-07 2010-06-08 Automotive Technologies International, Inc. Optical occupant sensing techniques
US6275146B1 (en) * 1996-04-23 2001-08-14 Philip W. Kithil Vehicle occupant sensing
US5812978A (en) 1996-12-09 1998-09-22 Tracer Round Associaties, Ltd. Wheelchair voice control apparatus
US6421453B1 (en) 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US6226388B1 (en) 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US7406214B2 (en) 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US6681110B1 (en) * 1999-07-02 2004-01-20 Musco Corporation Means and apparatus for control of remote electrical devices
US6844871B1 (en) 1999-11-05 2005-01-18 Microsoft Corporation Method and apparatus for computer input using six degrees of freedom
US20010044789A1 (en) 2000-02-17 2001-11-22 The Board Of Trustees Of The Leland Stanford Junior University Neurointerface for human control of complex machinery
US7042442B1 (en) 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6912429B1 (en) * 2000-10-19 2005-06-28 Destiny Networks, Inc. Home automation system and method
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US6870477B2 (en) * 2001-07-31 2005-03-22 International Business Machines Corporation Method and apparatus for wireless mobile seating platform
SE0103531D0 (sv) 2001-10-23 2001-10-23 Abb Ab Industrial Robot System
US7274803B1 (en) 2002-04-02 2007-09-25 Videomining Corporation Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US7257236B2 (en) 2002-05-22 2007-08-14 A4Vision Methods and systems for detecting and recognizing objects in a controlled wide area
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7898385B2 (en) 2002-06-26 2011-03-01 Robert William Kocher Personnel and vehicle identification system using three factors of authentication
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
WO2004027685A2 (en) 2002-09-19 2004-04-01 The Penn State Research Foundation Prosody based audio/visual co-analysis for co-verbal gesture recognition
US20040113933A1 (en) 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models
US7183946B2 (en) * 2002-10-11 2007-02-27 Gary Jon Boudrieau Safety aircraft flight system
US20080065291A1 (en) 2002-11-04 2008-03-13 Automotive Technologies International, Inc. Gesture-Based Control of Vehicular Components
ES2425076T3 (es) * 2002-11-20 2013-10-11 Koninklijke Philips N.V. Sistema de interfaz de usuario basado en dispositivo de puntero
US7224830B2 (en) 2003-02-04 2007-05-29 Intel Corporation Gesture detection from digital video images
EP1569471B1 (en) 2003-02-27 2012-08-08 Seiko Epson Corporation Image reproduction using specific color space
US7183912B2 (en) * 2003-03-14 2007-02-27 Suren Systems, Ltd. PIR motion sensor utilizing sum and difference sensor signals
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7075431B2 (en) * 2003-08-18 2006-07-11 Honeywell International Inc. Logical pet immune intrusion detection apparatus and method
JP4476744B2 (ja) * 2003-09-02 2010-06-09 富士フイルム株式会社 撮像システム、及びプログラム
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7831087B2 (en) 2003-10-31 2010-11-09 Hewlett-Packard Development Company, L.P. Method for visual-based recognition of an object
DE112004002219B4 (de) 2003-11-13 2018-07-12 Japan Science And Technology Agency Verfahren zum Antreiben eines Roboters
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
JP4172793B2 (ja) 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
US7502498B2 (en) 2004-09-10 2009-03-10 Available For Licensing Patient monitoring apparatus
US8395664B2 (en) 2006-09-13 2013-03-12 Smartvue Corp. Wireless surveillance system and method for 3-D visualization and user-controlled analytics of captured data
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
DE102005014415B3 (de) 2005-03-24 2007-03-22 Isra Vision Systems Ag Vorrichtung und Verfahren zur Untersuchung einer gewölbten Oberfläche
WO2006111365A1 (de) 2005-04-19 2006-10-26 Cedes Ag Vorrichtung zur steuerung eines angetriebenen bewegungselements, zum beispiel einer tür
US7613324B2 (en) * 2005-06-24 2009-11-03 ObjectVideo, Inc Detection of change in posture in video
DE102005040763B4 (de) 2005-08-26 2022-02-10 Cedes Ag Türsensoranordnung
DE102006050303A1 (de) 2005-12-05 2007-06-14 Cedes Ag Sensoranordnung sowie Sensorvorrichtung für eine Sensoranordnung
US7522066B2 (en) 2006-02-23 2009-04-21 Rockwell Automation Technologies, Inc. Systems and methods that evaluate distance to potential hazards utilizing overlapping sensing zones
CN101496032B (zh) 2006-02-27 2011-08-17 普莱姆传感有限公司 使用斑纹解相关的距离映射的方法及设备
CN101957994B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
US7539532B2 (en) 2006-05-12 2009-05-26 Bao Tran Cuffless blood pressure monitoring appliance
EP2037426B1 (en) * 2006-05-31 2013-07-31 NEC Corporation Device and method for detecting suspicious activity, program, and recording medium
US8041659B2 (en) 2006-07-14 2011-10-18 Ailive, Inc. Systems and methods for motion recognition using multiple sensing streams
US20110044501A1 (en) 2006-07-14 2011-02-24 Ailive, Inc. Systems and methods for personalized motion control
DE102006048163B4 (de) 2006-07-31 2013-06-06 Pilz Gmbh & Co. Kg Kamerabasierte Überwachung bewegter Maschinen und/oder beweglicher Maschinenelemente zur Kollisionsverhinderung
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7916935B2 (en) * 2006-09-19 2011-03-29 Wisconsin Alumni Research Foundation Systems and methods for automatically determining 3-dimensional object information and for controlling a process based on automatically-determined 3-dimensional object information
US7606411B2 (en) * 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
US7877706B2 (en) 2007-01-12 2011-01-25 International Business Machines Corporation Controlling a document based on user behavioral signals detected from a 3D captured image stream
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US8295542B2 (en) * 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8269834B2 (en) * 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US7792328B2 (en) 2007-01-12 2010-09-07 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US7817276B2 (en) * 2007-02-05 2010-10-19 Palo Alto Research Center Incorporated Distinguishing objects
DE102007013299A1 (de) 2007-03-06 2008-09-11 Cedes Ag Sensorvorrichtung sowie Anlage mit einem Förderer und einer Sensorvorrichtung
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8612051B2 (en) 2007-04-20 2013-12-17 Innovation First, Inc. Securing communications with robots
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US8232888B2 (en) 2007-10-25 2012-07-31 Strata Proximity Systems, Llc Interactive magnetic marker field for safety systems and complex proximity warning system
US8005263B2 (en) 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
JP5167791B2 (ja) 2007-12-05 2013-03-21 日本電気株式会社 監視装置、監視方法、及び、監視プログラム
US7864072B2 (en) 2007-12-11 2011-01-04 International Business Machines Corporation System and method for automatically adjusting traffic light
US9165199B2 (en) 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US9098766B2 (en) 2007-12-21 2015-08-04 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
US8193500B2 (en) * 2008-04-01 2012-06-05 National University Corporation Toyohashi University Of Technology Discrimination filtering device, discrimination method of object, and designing method of filters for discrimination filtering device
WO2009155946A1 (en) 2008-06-26 2009-12-30 Abb Ag Adaptive robot system
US8146020B2 (en) 2008-07-24 2012-03-27 Qualcomm Incorporated Enhanced detection of circular engagement gesture
DE102009051148A1 (de) 2008-10-29 2010-05-12 Sms Siemag Ag Roboterinteraktionssystem
US8325978B2 (en) * 2008-10-30 2012-12-04 Nokia Corporation Method, apparatus and computer program product for providing adaptive gesture analysis
US8487938B2 (en) 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
JP5473044B2 (ja) * 2009-01-31 2014-04-16 株式会社キーエンス 安全光電スイッチ
WO2010092981A1 (ja) 2009-02-12 2010-08-19 三菱電機株式会社 産業用ロボットシステム
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8145594B2 (en) 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US8755569B2 (en) 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
CA2765782C (en) 2009-06-24 2018-11-27 The Medical Research, Infrastructure, And Health Services Fund Of The Tel Aviv Medical Center Automated near-fall detector
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
DE102009031732B3 (de) 2009-07-04 2010-11-25 Sick Ag Entfernungsmessender optoelektronischer Sensor
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
US8344877B2 (en) 2009-07-07 2013-01-01 Bombardier Transportation Gmbh Track worker safety system
ES2675818T3 (es) * 2009-07-17 2018-07-12 Mitsubishi Electric Corporation Dispositivo de visualización del funcionamiento de una instalación, sistema de aire acondicionado y programa
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8253792B2 (en) * 2009-08-28 2012-08-28 GM Global Technology Operations LLC Vision system for monitoring humans in dynamic environments
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
AU2010306534B2 (en) 2009-12-07 2012-08-23 Bloomberg Finance L.P. Unified content scanning and reporting engine
US20110164032A1 (en) 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
JP5059978B2 (ja) 2010-01-25 2012-10-31 パナソニック株式会社 危険提示装置、危険提示システム、危険提示方法およびプログラム
US8922342B1 (en) * 2010-02-15 2014-12-30 Noblis, Inc. Systems, apparatus, and methods for continuous authentication
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US9406212B2 (en) 2010-04-01 2016-08-02 Sealed Air Corporation (Us) Automated monitoring and control of contamination activity in a production area
US9143843B2 (en) * 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
EP2386876B1 (de) 2010-05-04 2013-07-10 Sick AG Entfernungsmessender optoelektronischer Sicherheitssensor und Verfahren zur Überwachung eines Überwachungsbereichs
WO2011143402A2 (en) 2010-05-12 2011-11-17 Proxisafe Ltd. Event warning system and method thereof
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20110292036A1 (en) 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US20110298579A1 (en) 2010-06-08 2011-12-08 Cedes Safety & Automation Ag Dynamically adaptable safety zones
US20110310010A1 (en) 2010-06-17 2011-12-22 Primesense Ltd. Gesture based user interface
US8508372B2 (en) 2010-06-21 2013-08-13 General Electric Company Method and system for fall detection
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US20130163879A1 (en) * 2010-08-30 2013-06-27 Bk-Imaging Ltd. Method and system for extracting three-dimensional information
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
DE112011103155T5 (de) 2010-09-21 2013-07-18 Toyota Jidosha Kabushiki Kaisha Beweglicher Körper
US20120072032A1 (en) * 2010-09-22 2012-03-22 Powell Kevin J Methods and systems for environmental system control
DE102010037744B3 (de) 2010-09-23 2011-12-08 Sick Ag Optoelektronischer Sensor
US20120095575A1 (en) 2010-10-14 2012-04-19 Cedes Safety & Automation Ag Time of flight (tof) human machine interface (hmi)
US9025019B2 (en) 2010-10-18 2015-05-05 Rockwell Automation Technologies, Inc. Time of flight (TOF) sensors as replacement for standard photoelectric sensors
EP2637733A4 (en) 2010-11-11 2014-05-21 Univ Iowa Res Found REMOTELY CONTROLLED AND / OR LATERALLY SUPPORTED DEVICES FOR THE DIRECT STIMULATION OF SPINAL CORD
DK2453254T3 (da) 2010-11-15 2013-04-08 Cedes Ag Indretning til overvågning af en dør med en 3D-sensor
US20120169583A1 (en) 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
WO2012126103A1 (en) * 2011-03-23 2012-09-27 Mgestyk Technologies Inc. Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
US8675920B2 (en) 2011-04-04 2014-03-18 Alarm.Com Incorporated Fall detection and reporting technology
US8681223B2 (en) * 2011-06-24 2014-03-25 Honeywell International Inc. Video motion detection, analysis and threat detection device and method
WO2013066601A1 (en) * 2011-10-17 2013-05-10 Kimmel Zebadiah M Method and apparatus for monitoring individuals while protecting their privacy
US8687848B2 (en) 2012-01-04 2014-04-01 Cisco Technology, Inc. Techniques for context-enhanced confidence adjustment for gesture
US9740937B2 (en) * 2012-01-17 2017-08-22 Avigilon Fortress Corporation System and method for monitoring a retail environment using video content analysis with depth sensing
KR20130085315A (ko) * 2012-01-19 2013-07-29 한국전자통신연구원 사람 식별을 기반으로 한 위험 인지 방법
JP5686108B2 (ja) * 2012-02-24 2015-03-18 株式会社ダイフク 誤作業防止装置および誤作業防止装置が設けられた仕分け設備
DE102012102236A1 (de) 2012-03-16 2013-09-19 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Absichern eines gefährlichen Arbeitsbereichs einer automatisiert arbeitenden Maschine
US8981954B2 (en) 2012-05-08 2015-03-17 General Electric Company Methods, systems, and apparatus for protection system activation and dynamic labeling
US9128528B2 (en) * 2012-06-22 2015-09-08 Cisco Technology, Inc. Image-based real-time gesture recognition
US9043025B2 (en) 2012-08-31 2015-05-26 Rethink Robotics, Inc. Systems and methods for safe robot operation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060210112A1 (en) * 1998-08-10 2006-09-21 Cohen Charles J Behavior recognition system
CN101027700A (zh) * 2004-01-27 2007-08-29 理查德·特纳 用于检测和跟踪所限定的区域内的对象的方法和设备
CN101490283A (zh) * 2006-07-17 2009-07-22 西门子公司 具有涉及安全的区域的工业设备
CN101511550A (zh) * 2006-08-02 2009-08-19 皮尔茨公司 用于观测工业环境中的人员的方法
CN102099839A (zh) * 2008-06-03 2011-06-15 赛德斯安全与自动化公司 对监控区域进行监控的安全装置和方法
US20100191372A1 (en) * 2009-01-26 2010-07-29 Fanuc Ltd Production system having cooperating process area between human and robot
US20120290121A1 (en) * 2011-05-06 2012-11-15 Deckel Maho Pfronten Gmbh Device for operating an automated machine for handling, assembling or machining workpieces

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105522592A (zh) * 2014-10-17 2016-04-27 发那科株式会社 机器人的干涉区域设定装置
CN105522592B (zh) * 2014-10-17 2017-07-21 发那科株式会社 机器人的干涉区域设定装置
CN105825260A (zh) * 2016-03-22 2016-08-03 秦传宇 一种平面物品定位识别阵列层结构
CN110575174A (zh) * 2018-06-08 2019-12-17 塔塔咨询服务有限公司 用于活动识别和行为分析的方法和系统
CN110575174B (zh) * 2018-06-08 2021-12-14 塔塔咨询服务有限公司 用于活动识别和行为分析的方法和系统
CN112802303A (zh) * 2021-02-09 2021-05-14 成都视海芯图微电子有限公司 一种基于3d视觉的实时风险预测方法及系统

Also Published As

Publication number Publication date
US9731421B2 (en) 2017-08-15
US20140244037A1 (en) 2014-08-28
EP2772810A3 (en) 2018-03-28
EP2772810A2 (en) 2014-09-03
US20160303741A1 (en) 2016-10-20
US9393695B2 (en) 2016-07-19
CN104102185B (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
CN104102185A (zh) 具有人和物体区分的基于识别的工业自动化控制
CN104076761A (zh) 具有基于置信度的决定支持的基于识别的工业自动化控制
CN104007715A (zh) 具有位置和导数决定参考的基于识别的工业自动化控制
CN104102186A (zh) 具有冗余系统输入支持的基于识别的工业自动化控制
CN111201115B (zh) 机器人控制方法
CN111226178B (zh) 监视设备、工业系统、用于监视的方法及计算机程序
US10636308B2 (en) Systems and methods for collision avoidance
JP7076184B2 (ja) 人間運動センサを使用して油圧ロボットの近くにいるときの動きを検出すること
US10679504B2 (en) Applications of a plurality of safety laser scanners combined with a camera or mobile computer
JP2023027755A (ja) 環境センサをコミッショニングするための方法及びシステム
KR20110138711A (ko) 보안 로봇 및 그 제어 방법
AU2020270461B2 (en) Situational Awareness Monitoring
WO2022103322A1 (en) A device, system, method and software product for providing a maintenance alarm for a region
Iizuka Study on the Next-Generation Workshop Facility Management System Using IoT Technology

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: ohio

Applicant after: Rockwell automation technologies

Address before: ohio

Applicant before: Rockwell Automation Tech Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant