CN101944176A

CN101944176A - 存在交通设施标识的更优畅通路径检测

Info

Publication number: CN101944176A
Application number: CN2009110000581A
Authority: CN
Inventors: W·张; S·M·奈克
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2009-05-08
Filing date: 2009-10-23
Publication date: 2011-01-12
Also published as: US9652980B2; US20140236463A1; US8751154B2; US20100100268A1; DE102009050501A1

Abstract

本发明涉及存在交通设施标识的更优畅通路径检测。一种检测车辆行驶的畅通路径的方法，该方法利用位于车辆上的摄像机装置产生的多个图像的分析，该方法包括监测这些图像。这些图像被分析，所述分析包括确定畅通路径以及确定交通设施标识的图像，在该畅通路径上潜在道路表面能够从不指示潜在道路表面的其他图像部分中估计出来。该方法进一步包括确定交通设施标识的内容、基于该交通设施标识的内容修正畅通路径、以及在车辆导航中应用修正后的畅通路径。

Description

存在交通设施标识的更优畅通路径检测

相关申请的交叉引用

本申请是2009年10月19日提交的申请号为12/581,659的美国申请的部分继续申请，该在先申请是2009年5月29日提交的申请号为12/474,594的美国申请的部分继续申请，而前述在先申请是2008年4月24日提交的申请号为12/108,581的美国申请的部分继续申请。2009年10月19日提交的申请号为12/581,659的美国申请要求2009年5月8日提交的申请号为61/215,745的美国临时申请的优先权。申请号为12/581,659的美国申请、申请号为12/474,594的美国申请、申请号为12/108,581的美国申请以及申请号为61/215,745的美国临时申请通过引用并入本申请中。

技术领域

本发明涉及机动车辆的自动或半自动控制。

背景技术

本部分的陈述仅仅提供与本发明相关的背景信息，可能不构成现有技术。

自主驾驶系统和半自主驾驶系统利用与路况和其它驾驶情况相关的输入来自动控制节气门和转向机构。精确地估计并识别机动车辆所能行驶的畅通路径，对于成功取代以人脑作为控制机构的车辆操作来说是至关重要的。

路况可能会很复杂。在车辆正常操作的情况下，驾驶员每分钟进行数百次观察并根据所感知的路况来调整车辆操作。感知路况的一个方面是感知车道上和周边的物体并在物体中间导航出畅通路径。用科技来取代人类的感知首先包括精确感知物体的手段；还包括继而在这些物体周围有效地进行导航。

感知物体或路况的科技手段包括从视频摄像机、雷达成像、激光雷达、车辆之间的通信、车辆与基础设施之间的通信所得到的数据以及使用由数字地图得到的全球定位数据。摄像机将辐射形式的视觉图像-如光图案或红外特征转换成可读数据格式。一种这类数据格式包括像素图像，在像素图像中，感知到的场景被分割成一系列像素。雷达成像利用发射器产生的无线电波来估计出现在发射器前方的形状和物体。由这些形状和物体反射回来的电波图案能够被分析，从而估计物体的位置。

有关车辆前方地面的数据一旦产生，这些数据必须经过分析以便从数据中估计出物体的存在。通过使用摄像机和雷达成像系统，可以分析车辆前方的地面或道路，从而得到可能需要避开的物体的存在。然而，仅仅识别那些需要避免的潜在物体并没有完成分析过程。任何自主系统的一个重要元素都包括如何处理并操纵在所感知的地面数据中识别出的潜在物体以便识别操作车辆的畅通路径。

一种已知的识别操作车辆的畅通路径的方法是将所有感知到的物体进行分类并临时性地识别所有感知到的导航因素，并且根据所识别的物体的位置和特性来识别畅通路径。可根据图像的形式以及图像与道路的关系来处理这些图像，从而识别并分类物体。尽管在识别畅通路径时该方法是有效的，但是其需要大量的处理能力，例如，在视觉图像中辨别不同的物体并对其进行分类，比如区分路边的树以及走向路缘的行人。这些方法在处理复杂情况时的速度慢或者有效性差，或者需要笨重且昂贵的设备来提供必须的处理能力。

发明内容

一种检测车辆行驶的畅通路径的方法，该方法利用位于车辆上的摄像机装置产生的多个图像的分析，该方法包括监测这些图像。这些图像被分析，所述分析包括确定畅通路径以及确定交通基础设施标识的图像，在该畅通路径上潜在道路表面能够从不指示潜在道路表面的其它图像部分估计出来。该方法进一步包括确定交通基础设施标识器的内容、基于交通基础设施标识器的内容修正畅通路径、以及利用修正后的畅通路径进行车辆导航。

附图说明

现在将参考附图通过示例来描述一个或多个实施方式，附图中：

图1示出了配备有根据本发明的摄像机和雷达成像系统的车辆的示例性设置；

图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法；

图3示出了根据本发明的一种使用图像几率分析来确定畅通路径的示例性方法；

图4示出了根据本发明的一种分析图像的示例性方法；

图5示出了根据本发明的一种通过调整单个阈值来确定分类误差的示例性方法；

图6A、6B和6C示出了根据本发明的一种通过计算绝对图像强度差别来确定图像差别的示例性方法；

图7示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物体的、作为图像分析方法的一种示例性方法；

图8示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物体的、作为图像分析方法的另一种示例性方法；

图9示出了根据本发明的通过几率分析来分析图像的一个示例性过程；

图10示出了根据本发明的用于检测畅通路径的第一处理方案；

图11示出了根据本发明的一个示例性当前图像，该当前图像包含在当前图像上识别出的一组示例性的关切点；

图12示出了根据本发明的在图11所示图像之后捕获的示例性当前图像；

图13A和13B示出了根据本发明的示例性的匹配点对，该匹配点对包括当前图像中的关切点和与其对应的先前图像中的关切点，并且示例性的像素区域环绕这些点；

图13A示出了当前图像中的关切点和环绕该关切点的像素区域；

图13B示出了先前图像中的关切点和环绕该关切点的像素区域；

图14以绘图形式示出了根据本发明的、使用示例性当前图像、示例性先前图像、以及宿主车辆的操作来确定观察到的特征的位置；

图15以绘图形式示出了根据本发明的一个示例性的上方地图，其描述了在宿主车辆前方的x和y坐标内关切点的垂直位置；

图16示出了根据本发明的用于检测畅通路径的第二处理方案；

图17示出了根据本发明的基于像素颜色强度的一个示例性的滤波图像；

图18示出了根据本发明的采用边缘识别方法的一个示例性的滤波图像；

图19示出了根据本发明的用于第二处理方案的可替换的示例性过程；

图20示出了根据本发明的检测更优畅通路径的示例性流程图；

图21示出了根据本发明的检测更优畅通路径的示例性流程图；以及

图22示出了根据本发明的这种迭代分析。

具体实施方式

现在参考附图，附图的目的仅在于示出某些示例性实施方式，而并非用于限制本发明，图1示出了根据本发明的摄像机110的示例性设置，摄像机110定位在车辆100前部并指向车辆100前方的地面。摄像机110与处理模块120进行通讯，处理模块120包含处理来自摄像机110的输入的逻辑算法。车辆100也可以配备雷达成像系统130，当配备雷达成像系统130时该系统同样也与处理模块120进行通信。本领域技术人员应该理解的是，车辆100能够利用多种方法来识别路面状况，这些方法可与摄像机110和雷达成像系统130同时使用或者选择使用，包括GPS信息、来自与车辆100通信的其他车辆的信息、特定道路的历史数据、生物检测信息-例如读取驾驶员视觉焦点的系统信息、雷达成像系统或者其他类似系统。本发明可应用于各种设备，因此不局限于此。

摄像机110是本领域公知的，其能够将光辐射、红外辐射或其他电磁(EM)辐射形式的视觉输入转换成易于分析的数据格式，例如数字图像、像素图像。在一个实施方式中，摄像机110使用电荷耦合装置(CCD)传感器来产生表示视场的图像。优选地，摄像机110被配置成连续产生图像，例如，每秒钟产生30幅图像。由摄像机110产生的图像可以存储在摄像机110内的存储器中或者传给处理模块120来存储和/或分析。优选地，摄像机110所产生的每幅图像都是由多个可识别像素构成的、已知像素维度的二维图像。多个可识别像素能够以阵列方式来存储和分析。每个像素可以在阵列中表示为一组比特(bit)或多组比特，其中，比特对应于预定调色板或色彩图中的颜色。例如在红-绿-蓝(RGB)颜色模式或青-品红-黄-黑(CMYK)颜色模式中，每个像素能够表示成多个颜色强度值的函数。优选地，每个像素包括多组比特，其中每组比特对应于一个颜色强度和一个颜色强度值，例如，在RGB颜色模式中，第一组比特对应于红色强度值，第二组比特对应于绿色强度值，第三组比特对应于蓝色强度值。

雷达成像装置130是本领域公知的装置，其包含如下设备：发射器，其能够发射无线电波或其他电磁辐射；接收器，其能够感测被发射器前的物体反射而回到接收器的发射波；以及将感测到的波转换成能够分析的数据格式的装置，这些数据表示出从物体反射回的波的范围和角度等信息。替代性地，可使用光检测和测距(LIDAR)系统来取代雷达成像装置130或者作为其补充，光检测和测距系统被构造成发射并接收光能量。接收到的光能量可以用来确定车辆100附近的物体的尺寸和/或几何参数。需注意的是，对于执行这里公开的很多方法而言，雷达成像装置130是可选的而不是必须的，其中，处理视觉图像能够实现畅通路径检测。

图1示出了处理模块120，这里将处理模块120描述成一个分立元件。这种图示是为了描述方便，应该认识到这个元件所实现的功能可以由一个或多个装置组合完成，例如在软件、硬件和/或专用集成电路中执行。处理模块120可以是一个通用数字计算机，其包括：微处理器或中央处理单元；由包括只读存储器的非易失性存储器和电子可编程只读存储器组成的存储介质；随机存取存储器；高速时钟；模-数和数-模转换电路；输入/输出电路和装置以及适当的信号调节和缓冲电路。可替换地，处理模块120可以是一个数字信号处理(DSP)单元，例如现场可编程门阵列的定制集成电路。处理模块120具有一组处理算法，这些算法包括在非易失性存储器中存储并且被执行以提供所需功能的常驻程序指令和校准值。算法优选在预设环路循环中执行。算法由中央处理单元执行，并能够监测来自上述检测装置的输入，并且这些算法通过使用预设的校准值来执行控制和诊断程序以便控制致动器的操作。环路循环可以规则性间隔执行，例如，在发动机运行和车辆操作中，每3.125、6.25、12.5、25和100毫秒执行一次。可替换地，算法可以响应于事件的发生来执行。

处理模块120处理在其中存储的算法代码，以便监测相关仪器，如摄像机110、雷达成像系统130，并执行在处理模块内进行的分析所指示的命令或数据传输。处理模块120可包括算法和机构来实现自主驾驶控制，其实现方式在本领域中是已知的，在此不再详述；或者，处理模块120可以仅仅为一个独立的自主驾驶系统提供信息。处理模块120适于在必要的时候接收来自其他系统和操作者的输入信号，这取决于与控制模块结合使用的具体实施方式。

图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法。对应于车辆100前方的道路产生图像10。通过多种方法中的一种，物体40A、40B和40C在图像10内被识别，且每个物体根据过滤和训练的物体特性来进行分类。每个物体的单独处理在计算量方面的强度较大，需要昂贵且笨重的仪器才能承受这种计算负荷。一种算法处理所有与道路和物体40有关的可用信息，以便估计对车辆100来说可行的畅通路径。畅通路径的确定取决于被识别物体40的特定分类和特性。

图3示出了根据本发明的一种为自主或半自主行驶确定畅通路径的示例性方法。图像10示出为包括地面20、水平线30以及物体40。图像10由摄像机110收集，并表示车辆100前方的道路环境。地面20代表了在不基于可能存在的物体进行区分的情况下可供车辆行驶的所有路径。图3所示的基于路面20确定畅通路径的方法首先假设所有地面20都是畅通的，然后利用可用数据来确定地面20的某些部分是不畅通的。图2是将每个物体40进行分类，与图2的方法不同，图3的方法分析地面20，并从可用数据中限定出一个几率，其中，可用数据指的是因为一些异常而限制通行或不畅通的那部分地面20的数据，这些异常是可检测的且可能代表物体40。关注地面20而不是物体40就避免了检测物体所带来的复杂的计算任务。单独分类和对每个物体进行追踪就不是必须的了，因为独立的物体40都被简单地统一为地面20上的整体均匀阻碍的一部分。上述地面20-也即在不进行区分的情况下都能够行驶的路径减去地面20上被发现不畅通的不畅通区域，就可定义出畅通路径50，也即图3中虚线内的区域，或者具有允许车辆100行驶的某个阈值几率的区域。

在地面20上产生不畅通限制的物体40有多种形式。例如，物体40可以代表一个独立的物体，如：停着的汽车、行人或者道路障碍；物体40还可以代表不太明显的表面图案变化，这些变化指示诸如路侧缘的路边缘、草的轮廓线或者道路上的水。物体40还可以包括与地面20相联系的平坦路面的缺失，例如，路面上的大坑。物体40还可以包括相对于路面在高度上没有任何明显变化的指示牌，但对于该路段来说是明显的畅通路径提示，例如道路上的指示车道标记的图案。这里公开的方法并没有试图去识别物体40，而是通过仅仅提取地面20上的视觉线索以及所有在图像10中的地面附近的物体，从而评估不畅通路径和畅通路径的几率，并在任何物体40存在时调整车辆100的控制。

二维(2D)图像的自动分析有多种可行的方法。由处理模块120内的算法对图像10进行分析。图4示出了根据本发明的一种可用于分析图像10的示例性方法。该方法将图像10细分，识别地面20上的子图像或补片60来进行分析，从补片60中提取特征或分析可用的视觉信息，以识别出其中的任何关切特征(interesting features)或区别特征，并依据对特征的分析、根据畅通路径的几率来对补片进行分类。大于特定几率阈值的补片被归类为畅通的，对这类补片的汇编能够用来构成图像内的畅通路径。

作为图像10的子图像，补片60能够通过多种已知方法来识别，例如，图像10的随机搜索或密集搜索。可替换地，从其他信息源-例如雷达成像系统130得到的有关物体40存在的信息能够用来识别补片，以分析能够描述物体40的那部分图像10。图像10需要很多补片60来分析整个图像。另外，多个叠层补片或不同大小的补片能够用来全面分析包含关切信息的图像10的区域。例如，一个小的补片60能够用来分析路上的一个小点：然而，一个大的补片60需要用来分析一系列的点，这些点独自看来都不是关切点，但是对于整个系列来说，其能够指示出关切物体40。另外，应用到某特定区域的补片的分辨率可以基于可用信息进行调制，例如，可应用更多的补片到图像10中的物体40可能存在的区域。多种手段或策略可以用来确定用于分析的补片60，本发明不限于这里所述的具体实施方式。

一旦补片60已被识别而用于分析，处理模块120就通过应用滤波器从补片中提取特征而对该补片进行处理。此外，处理模块120可以对补片位置执行相对于车辆位置的分析。所使用的滤波器可以采用多种形式。用于提取特征的滤波算法经常搜索可用的视觉信息，以便找到与物体相关的图像中的特征性图案，这些图案通过线的方向、线的位置、颜色、角落特点、其他视觉属性和学习属性来定义的特征。学习属性可通过车辆内的机器学习算法来学得，但学习属性通常进行离线编程，且能够通过足以精确地训练区别属性的建模或其他技术以实验方式、经验方式、预测方式来得出。

一旦补片60中的特征被提取，补片就基于特征被分类以确定路径是畅通路径的几率。几率分析在本领域是已知的，在这种分析中存在某特定条件的几率值或信心被导出。应用到本发明中，分类包括几率分析以确定补片是否代表畅通路径、或者该补片中的地面20是否被物体40所限制。在一个示例性实施方式中，分类通过应用分类器或算法来实施，其中，所述算法因被训练而含有数据库，该数据库包括示例性路况以及与被检测物体的相互作用。这些分类器允许处理模块120导出补片60的分数型式的畅通路径几率值，该几率值将信心值量化在0与1之间，在该区间中，在补片内识别出的特征并不代表一个将会限制车辆100自由行驶的限制物体40。阈值信心限定确定该补片是畅通路径的畅通路径几率，例如可通过如下逻辑来设定阈值信心：

信心＝畅通路径几率(i)

如果_信心＞0.5，那么_补片＝畅通路径 (1)

在这个特定的示例性实施方式中，50％或者0.5的信心被选定为阈值信心。该数字能够通过足以精确评估用于畅通路径特征的补片的建模或其他技术而实验方式、经验方式、预测方式来得出。

在一个示例性实施方式中，如上所述的几率分析能够通过将训练过的分类器应用到从补片提取的特征来实现。一种方法通过使用一组训练图像来分析假定的特征。在该训练阶段，从一个原始特征组中来选择区别特征，区别特征由本领域的已知方法定义，例如Harr小波、Gabor小波以及Leung和Malik滤波器组。另外，基于每个特征的最小分类误差并且计算为错误接受率(FAR)和错误拒绝率(FRR)的总和的二维图像位置信息能够通过调制图5所示的单一阈值而被使用。这种分类误差能用下面的表达式来描述：

分类误差(i)＝FAR_i+FRR_i (2)

从训练过的分类器中得到的信息用来分类或加权特征，作为指示畅通路径或不畅通路径的特征。该特定分类取决于与训练数据的比较强度。如果该特征是补片内的唯一特征，那么该特征的分类能够直接应用到该补片。有多个识别特征的补片的分类可能有多种形式，包括由最能代表补片是不畅通的包含特征来定义补片，或者由所有包含特征的加权和来定义补片。

上述方法能够用来检查单一图像10，并基于图像10内所包含的视觉信息来估计畅通路径50。该方法可以随着车辆沿道路行驶而以某种间隔重复，从而考虑新的信息并将确定的畅通路径扩展至车辆的新位置前方的某些范围。间隔的选择必须能够以足量频率来更新图像10，以便准确地为车辆100提供行驶的畅通路径。然而，该间隔也可以选择为足以控制车辆同时不会对处理模块120施加过度的计算负荷的某个最小值。

如上所述，畅通路径检测能够通过单一图像10来完成。但是，补充使用与原始图像的时间间隔非常近的第二幅图像，例如从连续视频补片得到的一系列图像，则能够提高处理速度和精确度。第二幅图像能够与第一幅图像直接比较，并提供有关车辆行进和被检测物体运动的最新信息。同时，摄像机110视角的改变允许对第一幅图像中的特征进行不同的分析：在第一幅图像中没有清晰地显现的或者不清楚的特征可能在不同的摄像角度中出现、更加清楚，或者与第一幅图像相比已经移动的特征，也能够使得分类算法有额外的机会来定义该特征。

处理与原始图像10相关的第二幅图像能通过计算图像差异来进行。如果关切点的图像差异-例如由雷达识别出的特征不是0，那么该点能够被识别为体现新的信息。图像差别为0的点能够从分析中排除，且计算资源能够保留。确定图像差异的方法包括绝对图像强度差异和车辆运动补偿的图像差异。

通过计算绝对图像强度差异而确定图像差异能够用来收集两幅图像之间的信息。一种绝对图像强度差异方法包括如下步骤：确定原始图像与第二幅图像之间的等效图像特征，以便补偿图像之间的车辆运动；重叠图像；并标注出图像强度之间的任何的显著变化。表示图像强度在某个特定区域的变化的图像之间的比较包含新的信息。强度上显示出无变化的区域或补片在分析中不再被强调，而在强度上显示出明显变化的区域被重点关注，使用上述方法来分析任一或两个所获取的图像上的补片。

图6A、6B和6C示出根据本发明的一种通过计算绝对图像强度差异来确定图像差异的示例性方法。图6A示出了原始图像。图6B示出了比原始图像有所变化的第二幅图像。特别是圆圈向左移动了。图6C示出了两幅图像的比较，所得结论代表了绝对图像强度差异比较的结果，从第一幅图像到第二幅图像识别出一个区域的亮度变深、另一个区域的亮度变浅。这种方法能够描述为区别。这种比较分析产生某种信息，该信息表明由运动或视角变化引起的某种变化可能存在于图像区域中。这样，绝对图像强度差异能够用来分析一对连续图像以识别潜在的不畅通路径。

同样，通过计算车辆运动补偿的图像差异来确定图像差异能够用来收集两幅图像之间的信息。计算车辆补偿的图像差异的很多方法是已知的。一种计算车辆补偿的图像差异的示例性方法包括分析一个潜在物体，将其同时作为畅通路径的静态部分以及被检测物体。对特征实施几率分析，其中，该特征是根据同时对两种分类的潜在物体进行识别所得到的，分类可以被比较，例如可通过以下逻辑进行这种比较：

信心(i)＝畅通路径几率(i)-被检测物体几率(i)

如果_信心＞0，那么_补片＝畅通路径 (3)

在这种示例性的比较中，如果信心(i)大于0，那么包含该特征的补片被分类为畅通路径。如果信心(i)等于或小于0，那么包含该特征的补片被分类为不畅通路径或受限制路径。然而，可以选择不同的信心水平数值来将路径分类为畅通路径。例如，测试可能会表明错误正值比错误负值更有可能出现，因此可能会引入一些因数或偏差。

图7示出了根据本发明的一种将特征进行分类的方法，如上所述，该特征同时作为畅通路径的一部分和被检测物体被分类。图像10包括物体40、梯形投影70和矩形投影80。这种方法假定投影物体40作为地面上投影70内的平面物体，以测试作为畅通路径的一部分的特征的分类。该方法还假设投影物体40作为一个在矩形投影80内的垂直物体，来测试特征作为被检测物体的分类。图8示出了根据本发明对在两幅图像之间收集的数据进行比较以评价本发明的物体40的属性的方法。摄像机110在t1时刻发现并以第一幅图像的形式获取了来自物体40的数据。如果物体40是一个实际检测到的物体，那么在t1时刻摄像机110观测到的物体40的轮廓将与点90A相对应。如果物体40是一个与地面20在同一平面上的平坦物体，那么摄像机110在t1时刻观测到的物体40的轮廓将与点90B相对应。在时刻t1和t2之间，摄像机110行驶了一定的距离。在t2时刻获取第二幅图像，关于物体40的信息能用算法来进行测试，该算法着眼于第二幅图像相对于第一幅图像的可见属性。如果物体40是一个实际检测到的物体，且从地面20向上延伸，那么在时刻t2物体40的轮廓将在点90C处被观察到。如果物体40是一个与地面20在同一平面上的平坦物体，那么物体40在时刻t2的轮廓将在点90B处被观察到。通过车辆运动补偿的图像差异所得到的比较能够通过使用基于对点90进行观察的分类器直接设定一个信心值；或者，该比较可以简单地指向显示变化的区域，作为关切点。对被作为平坦物体和实际检测到的物体分类的物体进行的测试使得要么能够识别包含物体40的区域以便通过如上所述的补片分析进行进一步分析；要么能够直接得出畅通路径几率和被检测物体几率值以便例如在上述逻辑表达式3中进行比较。

从对第二幅图像的分析所得到的可用信息能够通过结合与车辆运动有关的信息而被额外改善，所述信息例如是速度和偏航率。与车辆运动有关的信息可以有很多来源，包括车辆测速仪、车辆动力传感器或车轮速度传感器、防抱死制动机构和GPS定位系统。可在算法中利用这种车辆运动信息，例如结合图7和图8所示的投影，以便基于从第一幅图像得到的数据和车辆在两幅图像之间的测得运动来投影某些角度，所述角度应当出现在第二幅图像的地面上的平坦特征中。

比较所用的图像数量不一定限制为两个。多个图像分析可在多重迭代中实现，物体在多个循环中被追踪和比较。如上所述，计算效率能够通过图像差异分析而得以提高，其中，图像差异分析识别关切点并剔除与后续分析具有0差异的区域。这种效率能够用在多重迭代中，例如，也就是说只有在第一幅图像和第二幅图像之间识别出的关切点在第三和第四幅图像中被分析。有时候，一组新图像需要被比较，以保证显示0差异的区域均没有任何变化，例如，一个移动物体撞击到之前识别出的畅通路径上。图像差异分析和聚焦分析的使用剔除了识别出零变化的区域，图像差异分析和聚焦分析的使用对于不同的应用和不同的操作条件而言是不同的，这些操作条件例如是车辆速度或所观察到的操作环境。图像差异分析和聚焦分析的特定应用可能有多种不同的实施方式，本发明不局限于此处提及的具体实施方式。

图9示出了根据本发明的一个示例性过程200，其中分析来自摄像机的输入以确定畅通路径的几率。摄像机的输入以图像形式在步骤202中生成。在步骤204中，从图像中选取补片用于分析。步骤206示出了用于处理补片的一个滤波器或一组滤波器。在步骤208中，对所选取的补片应用来自步骤206的滤波器和其它算法以便进行特征提取。应该理解，某些特征具有意义而另一些特征则没有意义，并且选择特征的过程可以用于确定用于分析的一组最佳特征。步骤210包括分类器训练过程。如上文提到的，用于得出几率值的分类器或逻辑最初是离线训练的。训练可以基于模糊逻辑、神经网络或其它本领域已知的学习机构在车辆中选择性地继续进行。这些经过训练的分类器被用于步骤212中从而在通过步骤208提取的特征上执行几率分析，并且得出补片的几率值。这种几率值表示被选取的补片是畅通的信心。在步骤214中，比较在步骤212中获得的几率值与阈值。如果几率值大于该阈值，那么在步骤218中该补片被确定为畅通路径。如果几率值不大于该阈值，那么该补片被确定为非畅通路径。如上所述，通过选择和分析不同的补片来对相同的图像进行反复分析，过程200可以多种方式被重复或迭代，并且可以追踪一个被识别的补片并分析其在多个连续图像间的变化。

如上所述，处理模块120可包括通过此处未描述但本领域已知的方法来实现自主驾驶控制的算法和机构，或者处理模块120可仅仅为独立的自主驾驶系统提供信息。对观察到的物体的反应也可有所不同，包括但不局限于转向变化、节气门变化、刹车响应、警告和将车辆控制交给操作者。

上述对补片进行分析的方法是为车辆建立一个行驶畅通路径的方法中的一种。两个额外的相关处理方案也被公开，其采用类似的方法对像素进行分析而不是对补片进行分析。所公开的第一个处理方案是采用富含纹理的方法来分析图像以确定畅通路径。图10示出了用于检测畅通路径的第一处理方案101，其在此处被描述为包括离散元件。这样的图示是为了便于描述，并且应该理解由这些元件执行的功能可以组合在一个或多个装置中实现，例如在软件、硬件和/或专用集成电路中执行。

处理方案101是采用富含纹理的图像来分析宿主车辆前方视场的示例性方法，并且开始于步骤103，在该步骤中产生车辆前方的视场的图像。在步骤106中，检查被监测到的图像中是否有关切点，例如，检查上面描述的像素颜色强度以及将该像素或一组像素与周围像素进行比较。通过本领域已知的方法，可以识别出关切点并且利用这些关切点来实现上述方法。在步骤109中，当车辆在运动时，比较车辆前方视场中的连续图像，并且在可能的情况下将从每个图像中提取的关切点与连续图像中的相应的点进行匹配，这些点对应于视场中的相同点。匹配包括通过模板匹配或者在连续图像上对关切点进行比较而定位对应的点，同时考虑宿主车辆的运动，并作出两个点是否代表视场中相同的可视物体或可视特征的最佳估计。虽然可以匹配关切点，但不是所有匹配的对应点对都代表高质量的对应点对，高质量的对应点对允许识别它们在视场中的三维位置以便分类为能使车辆通过的畅通路径。在步骤112中，滤波器被应用于匹配的对应点对，以便识别出高质量的对应点对，高质量的对应点对可以高信心水平用于三维位置识别。在步骤115中，分析高质量的对应点对，从而确定所述对应点对代表的物体的三维位置。可以理解的是，在连续的图像中与地面相比具有不同高度的对应点对的移动是不相同的。分析关切点的运动可以得出这些关切点的三维坐标。在步骤118中，所确定的物体位置被用于绘制宿主车辆前方的物体位置的地图。在步骤121中，该地图被用于确定宿主车辆前方的畅通路径。

图11示出了一个示例性的当前图像(k)500，其包括在当前图像(k)上被识别的一组关切点501，每个关切点501对应于一个像素。处理模块120优选地在所生成的包括当前图像(k)500和先前图像(k-1)的每个图像上识别关切点501。关切点501是图像上的可识别像素，并且与一组视觉信息-即富含纹理的特征相关联，而且还与位于视场中的物体相关联。图11所示的示例性的视场或视图包括路面510、路面部分515、路缘520和521、车道标记522、交叉车道526和建筑物524和525。候选关切点501通过关切点提取程序在视图中被识别出来，通过关切点提取程序可以选出一组关切点501。关切点提取程序可以通过很多已知方法中的一种在多个图像上执行，例如，比例不变特征变换(SIFT)，采用拐角检测或其它形状检测的方法，或Sobel滤波器。关切点提取程序优选地在处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。关切点提取程序在每个图像中定位与预定的富含纹理的可识别特征对应的候选关切点501，这些特征例如是指示边缘的像素、指示视觉数据中的转变的像素，其中可在视图中识别出潜在的重要特征。在图11的示例性视图中，在多个被识别出的关切点501中，点501A在路缘520中的部分505的拐角处被识别。

在识别出候选关切点501后，关切点提取程序可通过除去多余的候选关切点来过滤这些候选关切点，多余的候选关切点就是对应于同一特征的候选关切点。例如，该关切点提取程序可过滤多个对应于边缘的候选关切点，从而得到对应于边缘的更少的候选关切点。剩余的候选关切点组即是该图像的关切点。在一个实施方式中，过滤多余的候选关切点是为了提高计算效率。

一旦在当前图像(k)500中识别出关切点501，处理模块120便对来自当前图像(k)的关切点组与来自先前图像(k-1)的关切点组进行匹配，从而确定一组匹配的点对，这对应于过程101中的步骤109。

第一种确定一组匹配点对的方法包括采用对应匹配程序来匹配当前图像(k)和先前图像(k-1)中的关切点。处理模块120对来自当前图像(k)的一组关切点与在先前图像(k-1)中识别出的一组关切点进行匹配，从而确定一组匹配的关切点对。图12示出了一个在图11所示的图像之后捕获到的示例性的当前图像(k)。该示例性的当前图像(k)530表示一个在图11所示的图像之后捕获的图像，其中在两个图像之间观察者的视角已沿着被观察的道路稍微前进。在这种示例性的情况下，虽然当时是作为当前图像(k)捕获的，但是此时图11中的图像500可作为当前图像(k)530的先前图像(k-1)。图12中示出的示例性视图包括如图11所示的路面510、路面部分515、路缘520和521、车道标记522、交叉车道526和建筑物524和525，只是在视图中每个特征的视角略有不同。在图12的示例性视图中，多个识别出的关切点531根据上述方法被识别，点531A被识别为在路缘520中的部分505的拐角处。应该注意到，在图像530中识别出的关切点531不一定直接对应于在图像500中的识别出的关切点501。在图像530中识别出的点531被处理并过滤，如上文结合图11描述的点501的处理和过滤一样。优选地，来自当前图像(k)530的关切点组中的多个关切点531与来自先前图像(k-1)500的关切点组中的多个关切点501进行匹配，以确定多个匹配的点对。包含一个匹配点对的每个关切点被期望与同一特征对应，该同一特征与视图中的物体相关联。为了确定一组匹配的点对，通过多个已知的对应匹配程序中的一种-例如比例不变特征变换(SIFT)特征匹配程序和光流程序对来自当前图像(k)的关切点组531与在先前图像(k-1)中识别出的关切点组501进行比较。该对应匹配程序优选在处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。所产生的匹配点对与既位于当前图像(k)上又位于先前图像(k-1)上的同一特征相对应，其中该同一特征与视图中的同一物体相关联。

6第二种确定一组匹配点对的方法包括采用模板匹配程序来匹配当前图像(k)和先前图像(k-1)中的关切点。在一个实施方式中，采用关切点周围的预定像素区域来产生模板。一个示例性的区域535在图12中被示出为与关切点531A相关联。模板匹配可通过多个方法中的一个来确定，包括采用多个已知模板匹配程序方法中的一个来找到先前图像中的对应的关切点，例如采用Lucas-Kanade或Hom-Schunck。优选地，将当前图像中的邻近关切点的模板与先前图像中的邻近关切点的模板进行比较。当模板匹配程序确定所述模板彼此匹配时，这些关切点便被包含在匹配点对的组中。所产生的匹配点对与既位于当前图像(k)上又位于先前图像(k-1)上的同一特征相对应，其中该同一特征与视图中的同一物体相关联。

图13A和13B示出了一个示例性的匹配点对，该匹配点对包括当前图像(k)530中的关切点531A和先前图像(k-1)500中的第二关切点501A以及一个环绕这些点的示例性的像素区域。根据上述方法，在图13A中示出了环绕关切点531A的像素区域535。如上所述，关切点531A被识别为位于路缘520的若干部分之间的部分505的拐角处。像素区域535环绕点531A选出并且优选地包括能用于充分识别该区域的可识别特征、纹理或图案。图13B类似地示出了关切点501A和环绕该关切点的像素区域540。由于图像500和图像530的视角发生改变，可能就使像素区域535和像素区域540包含一些不同之处，但是采用上述方法，通过比较所述像素区域并识别其中特征的方式，可以某种信心水平确认关切点531A和501A代表在图像500和530中捕获的相同特征并且可以被看作是一个匹配点对。

如上述的示例性步骤112，当确定匹配点对后，通过应用滤波器以除去代表匹配不佳或错误匹配的点对的低质量的匹配点对，处理模块120从匹配点对的组中选择出高质量的优选的匹配点对。优选的匹配点对可基于质量控制标准来选择。在一个实施方式中，匹配点对被分析并且在满足每个标准之后被识别为优选的匹配点对。

当匹配点对的点之间的距离小于一个阈值时，第一个标准被满足。该距离基于这些点在相同的二维图像坐标中的位置来确定。该阈值可以是预设的，并且由位置决定或基于车速来动态决定。当匹配点对中的两个点与图像边界的距离为预定的阈值距离时，第二标准得以满足。由于摄像机对图像边界的边缘处的物体的视角以及车辆运动的原因，太接近边缘的点不能定位出对应的点，该对应的点可能位于摄像机的视角之外或者会产生对物体位置的错误估计。此外，在车辆正常向前行驶的过程中，车辆需要视图最边缘处的畅通路径的信息的可能性很小。当匹配点对中的每个点附近的预定区域的色差小于色差阈值时，第三标准得以满足。通过采用图13中定义的示例性像素区域，像素区域535和540之间的色差则可用于增大匹配点对的信心水平。每个区域内的每个像素基于它相应的颜色被分配一个数值。所分配的数值可以基于捕获图像时确定的比特值或者可以基于参考预定调色板的索引颜色。处理模块120一个像素接着一个像素地计算第一区域501和第二区域502内被分配的数值之间的绝对差值，并且对这些差值求和，所得结果即是色差。将该色差与阈值色差进行比较。如果该色差小于阈值色差，则第三标准得以满足。该阈值色差可以通过任何足以校准精确路况存在或畅通路径估计的方法来选取。基于车辆外部的亮度水平、天气、车速或其它任何基于色差而影响畅通路径存在的精确评估的因素，可采用不同的阈值色差。通过判断环绕关切点的区域是否相似，可以判断包含由所述关切点代表的特征的相同区域是否在两个图像中均被分析。

可以理解的是，上述三个标准只是用于判断匹配点对的示例性标准，这些标准中的某些部分或其它没有名称但相似的标准也可以用于判断匹配点对的有效性。此外，可基于下述条件来选择判断匹配点对的标准，例如，车辆外部的亮度水平、天气、车速和任何其它影响判断匹配点对的能力的因素或快速准确地定义畅通路径的紧迫性。

在选取优选的匹配点对之后，如上述的示例性步骤115，处理模块120确定多个点相对于车辆100的位置，这些点与视图中的物体的特征相关联。图14以绘图形式示出了使用一个示例性的当前图像、一个示例性的先前图像以及宿主车辆的运动来确定观测到的特征的位置。可以基于连续图像317和327内的匹配点对(这些匹配点对在该图中用点1和2表示)的优选组、车辆100从第一位置310到第二位置320的行驶距离(d)以及车辆偏航(θ)来确定物体在参考水平框架中的位置和相对于地平面的物体高度。该处理模块120执行多种已知的三角测量方法中的一种来确定相对于车辆100的点的位置和该点的高度。在图14中，示出了来自310的包含图像k-1317的视场315和来自320的包含图像k327的视场325。所示的距离d表示观测者在点310和320之间的移动距离。线312和322分别表示与视场315和325沿纵向垂直相交的线。方向的角度改变或偏航(θ)示出为表示线312和322之间的角度。通过在点310的时间和点320的时间之间的样本时间内追踪车速，可以为示例性车辆确定距离d。类似地，通过在样本时间内追踪车辆的偏航率可以确定θ。示出了被观察到的物体305，所示出的线318和328分别表示从点310和320到物体305的观察线。点1和2示出为在图像317和327上，分别位于线318和328与图像317和327相交的位置。距离(a)可定义为表示点1在图像317上的位置，距离(b)可定义为表示点2在图像327上的位置。可以理解的是，图14代表一个上方地图，其中物体305的位置可以被定义在一个水平面内，并且在相同物体的侧视图中进行的类似运算可用于确定物体的垂直位置，该垂直位置是相对于观察者所在的已知地平面的。通过应用已知的三角测量方法，来自连续图像的位置数据-例如距离a和b以及车辆数据-例如车速、车辆偏航率和样本时间可用于确定观察到的物体相对于车辆的位置以及确定物体相对于车辆的相对运动。这些三角测量方法可以得出物体在水平面中的位置和相对于地平面的高度。

一旦位置和高度被确定，如上述的示例性步骤118，处理模块120可在上方地图上绘出这些点。图15以绘图形式示出了一个示例性的上方地图，该地图示出了宿主车辆前方的x和y坐标系内的关切点的垂直位置。在x轴和y轴上的位置<0、0>对应于上述车辆100的第二位置320，或车辆100的当前位置。优选地，物体的高度被分类到预定类别中。例如，具有最小高度的物体-例如低于预定阈值的物体可以被分类为地面，超过地面高度但是小于第二预定阈值的物体可以被分到第二类别中，该类别接近并且优选地小于车辆高度，大于第二预定阈值的物体被分到第三类别中。如图15所示，具有最小高度的物体被分类为地面(地面)，超过地面高度但是小于2米阈值的物体被分到第二类别中(小于2m)，大于2m阈值的物体被分到第三类别中(大于2m)。

在地图上绘出这些物体后，如上述的示例性步骤121，处理模块120基于地图上绘出的特征检测畅通路径。用于此处的术语“畅通路径”对于本领域普通技术人员来说采用的是它的通常和习惯性含义(并且不局限于某种特殊或特定的含义)，并且该术语不加限制地意指不存在超过一定阈值的物体的路径，例如，不存在被分到上述第二和第三类别中的物体的路径。被分到预定类别-例如上述第二和第三类别中的物体的特征由处理模块120识别为不畅通的区域，也就是不希望车辆通行的区域。优选地，被分到预定类别中的每个物体附近的预定区域也由处理模块120识别为不畅通的区域。该处理模块120可采用多种方法中的一种来确定地图上存在畅通路径。用于确定畅通路径的第一种方法包括对预期路径与包含非畅通区域的地图进行比较。如果预期路径没有与任何非畅通区域相交，那么处理模块120确定该预期路径是畅通路径。然而，如果预期路径与非畅通区域相交，那么处理模块120确定没有畅通路径。用于确定畅通路径的第二种方法包括使用地图上的非畅通区域来确定畅通路径。任何没有与非畅通区域相交的路径均可作为畅通路径。

上述方法采用连续图像来建立车辆前方的物体的位置和垂直高度的地图，从而得以确定畅通路径。可以理解的是，在任何两个给定的图像中，一个特定物体可能不会被分类为包含足以在地图上绘制而用于特定分析的两个高质量的关切点。然而，上述分析在车辆行驶过程中每秒发生多次。当车辆通过畅通路径向前行驶时，将获得一个物体的不同视角，并且将对大量的图像进行分析。在路径上行驶和对通过该路径的多个重复图像的分析可以通过分析建立一个信心水平，该信心水平表明没有限制畅通路径的物体存在于识别出的畅通路径上。

图16示出了用于检测畅通路径的第二处理方案。此处描述的第一处理方案采用了富含纹理的方法，其基于图像内的环境视图分析描述不同关切点的像素特征，所公开的第二处理方案可以被描述为示例性的无纹理图分析方法，其从图像中过滤不一致的区域图像，该不一致的区域图像不属于与平坦一致的路面。通过从图像中过滤不一致的区域，可以从剩余图像部分中识别出畅通表面，该畅通表面作为车辆行驶的潜在畅通路径。图16中示出了过程250，过程250在此被描述为具有离散元件。这样的描述是为了便于说明，并且应该意识到，由这些元件执行的功能可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。例如，过程250可以作为处理模块120中的一个或多个算法来执行。用于检测畅通路径的过程250包括产生多个滤波图像和将这些滤波图像融合在一起从而确定畅通路径。

所公开的示例性过程250包括采用一个示例性的无纹理畅通路径检测方法的步骤。过程250开始于产生图像的步骤253。步骤256、259、262和265描述了对图像进行滤波从而识别包括路面的畅通路径位置的替代性的示例性方法。可以理解的是，每种方法以某种方式处理图像以便有助于识别畅通路径。一个过程可以采用四个示例性方法的某些部分或者一个过程可以采用包含未命名但是相似的方法来处理图像。可以采用在图像内过滤出畅通表面的任何方法，在该畅通表面上可以从不能表示潜在路面的其它部分中估计出路面。步骤256采用一种示例性方法来过滤出在地平线或消失点以下的区域，该区域包括车辆能够行驶的路面，上述区域从地平线或消失点以上的区域中过滤出来，该区域包括天空和不能为路面的一部分的其它垂直特征。基于路面是一个视觉强度大致相同的大表面的假设前提，步骤259在像素强度变化的基础上应用滤波器。在区别连续图像的基础上，步骤262应用一个滤波器来分析图像之间的变化。步骤265在识别视觉数据中的代表边缘或转变的像素的基础上应用一个滤波器。并行应用所述多种方法，所得结果将在步骤268中被融合到一个图像的地图上，并且在步骤271中所述结果被分析以便得到指示行驶畅通路径的视觉数据。

在上述的示例性步骤256中，采用消失点来生成第一滤波图像。在此处采用的术语“消失点”是一个广义术语，并且对于本领域技术人员来说其使用的是普通且惯用的含义，并且该术语表示的是在视图中与地面上的多条平行线相交的无穷远的点。识别路面所生成的行驶畅通路径必然位于消失点或地平线以下。对图像进行滤波以便仅分析地平线以下的区域有助于区别用于识别路面的像素和不相关的像素。本领域技术人员应该理解的是，存在很多种用于确定消失点或相应的地平线的已知方法。一种已知的方法包括基于宿主车辆左边和右边的车道标记的交叉点来确定消失点。基于消失点来确定地平线。第一滤波图像包括当前图像上的位于地平线以下的像素。

如在上述的示例性步骤259中，处理模块120基于包含在当前图像(k)中多个像素的像素颜色强度来生成第二滤波图像。图17示出了基于像素颜色强度的示例性的第二滤波图像。该第二滤波图像包括从多个像素中选取的像素。可以预想出多个对像素进行滤波的方法。处理模块120将像素的每个颜色强度值与相关的颜色分布均值-例如红、绿、蓝颜色强度分布均值进行比较。这些颜色分布均值是相关颜色强度的平均颜色强度分布，所述相关颜色强度与先前在畅通路径中识别出的像素相关。这些颜色分布均值还可以基于历史性收集的相关颜色的畅通路径像素的颜色分布均值来确定。当某个像素的每个颜色强度值均小于相关颜色分布均值的颜色强度阈值时，将选择该像素用于第二滤波图像。当某个像素的一个颜色强度值大于相关颜色分布均值的颜色强度阈值时，该像素将从第二滤波图像中排除。用于相关颜色强度的颜色分布均值是分布在图像中的平均颜色强度值。这些颜色分布均值最初是预定的。在一个实施方式中，处理模块120基于预定数量的图像中的颜色强度分布来调整每个相关颜色强度的颜色分布均值。

如上所述，每个像素包括多个颜色强度值。优选地，将该颜色强度值与相关颜色分布均值进行比较。例如，对于采用RGB颜色模式生成的像素，对和红颜色强度相关联的第一比特组与和红颜色强度相关联的颜色分布均值进行比较，对和绿颜色强度相关的比特组与和绿颜色强度相关的颜色分布均值进行比较，并且对和蓝颜色强度相关的比特组与和蓝颜色强度相关的颜色分布均值进行比较。如果包含在该像素中的每个颜色强度与相关颜色分布均值之间的差值小于颜色强度阈值，那么该像素被用于第二滤波图像。

通过采用RGB颜色模式，每个像素包括第一、第二和第三颜色强度值。第一颜色强度是红色强度，第二颜色强度是绿色强度，而第三颜色强度是蓝色强度。当该像素的红色强度与红色分布均值之间的差值小于红色强度阈值、该像素的绿色强度与绿色分布均值之间的差值小于绿色强度阈值、并且该像素的蓝色强度与蓝色分布均值之间的差值小于蓝色强度阈值时，便从包含在当前图像(k)中的多个像素中选出该像素用于第二滤波图像。下面的表达式表示采用RGB颜色模式的这种过程：

|R-R_M|＜阈值_R并且|G-G_M|＜阈值_G并且|B-B_M|＜阈值_B (4)

其中

R表示红色，

G表示绿色，

B表示蓝色，

R_M是红色的颜色分布均值，

G_M是绿色的颜色分布均值，

B_M是蓝色的颜色分布均值，

阈值R是红色强度阈值，

阈值G是绿色强度阈值，

阈值B是蓝色强度阈值。

本领域技术人员应该理解的是，上面的表达式4可配置成与包括CMYK、YUV和LAB在内的多个其它颜色模式结合使用。

如在上述的示例性步骤262中，处理模块120通过区别当前图像(k)和先前图像(k-1)来产生第三滤波图像。在一个示例性的产生差别图像的过程中，第三滤波图像作为当前图像(k)和先前图像(k-1)的图像差别而产生，并且包括对代表当前图像(k)和先前图像(k-1)的差别的像素一个一个地进行比较。这样的过程在上文中结合图6A-6C进行了描述。用于确定第三滤波图像的第一种方法包括确定当前图像(k)上的每个像素与先前图像(k-1)上的每个对应像素的差别。通过从对应的颜色强度值中减去与一个像素相关联的颜色强度值从而确定一个颜色强度差值，可以确定该差值，例如，从先前图像(k-1)上的第一像素的红色强度值中减去当前图像(k)上的第一像素的红色强度值。所得到的颜色强度差值包括该像素的值并且对应于当前图像(k)和先前图像(k-1)上的该像素之间的差别。每个像素值可存储对应于第三滤波图像的阵列中。在一个实施方式中，该差值的绝对值被确定并且被存储在阵列中。所得到的阵列包括代表两个图像之间差值的数值并且包括图像差异。在确定该阵列后，处理模块120除去代表变化小于预定阈值的像素的数值。在一个实施方式中，所得到的数值可以用预定数值-例如1来代替，该预定阈值在所得到的图像上代表识别出的所使用的两个图像之间的差别的清楚地图。

此处描述了基于区别图像来确定第三滤波图像的第二种示例性方法。通过比较当前图像(k)和运动调整的先前图像(k-1)可以作出一个决定，并且这些图像之间的差别可用于绘制与用于产生运动调整图像的特定模型不匹配的物体。一个产生运动调整图像的示例性模型包括使用三角测量方法-例如结合图14描述的方法、关于车辆运动的信息、以及所有被检测的点都位于地平面上的假设来预测先前图像(k-1)中的物体的运动。通过采用图像中的所有物体都位于地平面的假设，对合成图像中的物体的运动的预测与先前图像一致，其中先前图像作为存在于地平面处的整体平坦的图像而存在。对所得到的经运动调整的先前图像(k-1)与实际当前图像(k)进行比较-包括不在地平面上的物体的视角变化，使得能够识别出图像中的不在地平面上的所有物体或特征。通过减去被比较图像中的像素，例如根据上述用于确定第三滤波图像的第一示例性过程，代表没有在地平面上的物体的像素可以通过非零值或超过预定阈值的数字而被识别出来。这样，采用当前图像(k)和代替先前图像(k-1)的经运动调整的先前图像，处理模块120可以如上所述地确定第三滤波图像。

如在上述的示例性步骤256中，处理模块120基于包含在当前图像(k)中的多个像素的颜色强度值生成第四滤波图像。图18示出了采用边缘识别方法的第四滤波图像。该第四滤波图像包括当前图像(k)的边缘。为了生成第四滤波图像，处理模块120基于与边缘对应的颜色强度值、采用一个已知的边缘检测滤波器-例如Sobel滤波器从图像中提取像素。该边缘检测滤波器优选地在处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。在一个实施方式中，采用Sobel运算器分析每个像素。该Sobel运算器计算每个像素处的颜色强度的梯度向量，从而得出从亮到暗的最大可能增大方向以及在该方向上的变化率。与超过一定阈值的变化率和附近像素的梯度向量对应的点表示边缘并且被包含在第四滤波图像中。这些像素将被预定的像素颜色-例如黑色替代。

如在示例性步骤268中所述的，在生成多个滤波图像后，处理模块120将这些滤波图像进行融合从而确定对应于畅通路径的像素位置。融合而成的滤波图像包括一个图像，该图像仅包含在所有滤波图像中都包含的像素，也就是说，只有包含在多个滤波图像中的每个滤波图像的特定像素位置的像素被包含在融合而成的滤波图像中。融合这些滤波图像包括确定包含在多个滤波图像中的每个图像上的像素的位置。将每个像素位置与每个滤波图像中的对应的像素位置进行比较。当多个滤波图像中的每个都包含位于对应像素位置处的一个像素时，该像素便被包含在代表畅通路面的融合而成的畅通路径地图上。该融合而成的畅通路径被用于检测车辆100的畅通路径。融合畅通路径地图上的像素对应于视图中的期望驾驶位置。融合畅通路径地图上没有像素的位置对应于视图中的非期望驾驶位置。

图16所示的过程250并行应用多种不同方法从视图中识别与定义畅通路径相关的特征。然而，应该理解的是，这些方法并非必须并行执行，相反这些方法可以被用于连续地按步骤处理图像从而识别出视图中的与定义畅通路径相关的特征。图19中示出了用于第二处理方案的示例性过程600。过程600开始于步骤603，在步骤603中生成了一系列图像。每个图像被平行地输送到两个步骤中，并且从这两个步骤中输出的结果被融合并用于该过程中的后续步骤。所述平行步骤包括步骤606和步骤609，在步骤606中第一滤波图像根据上述的消失点方法对像素进行滤波，以便从图像中滤除不能代表路面的图像部分，在中步骤609根据强度对像素进行滤波而得到的第二滤波图像被用于从图像中滤除表示与路面不一致的特征的图像部分。在步骤612中，融合第一滤波图像和第二滤波图像，融合而成的图像包括仅仅位于消失点以下的图像部分和与路面强度一致的像素。在步骤615中，通过采用上述的一种区别方法，用连续的融合图像来生成第三滤波图像。在步骤618中，通过采用上述的边缘提取方法，用第三滤波图像来生成一第四滤波图像。过程600的结果然后可被分析，以便得到指示行驶畅通路径的视觉数据。

过程250和600示出了两种示例性布置，其中组合使用各种滤波方法以处理一系列连续图像从而识别畅通路径。然而，应该理解的是，这样的组合可以采用多种形式，不同的步骤可以不同的顺序应用，并且更少或额外的滤波器可以不同的组合使用。此外，可选择性地采用滤波器或者可选择性地采用各过程的结构，例如在白天使用不同的组合，而在夜晚采用其它组合。例如，某些组合可继续用于分析前灯照亮的路面，而在没有完全照亮的视图中其它方法可能无法使用。在另一个示例中，当路面上有雨或雪时，可以采用不同的组合。例如，某些方法和分析方法在只有薄雪的情况下仍然有用，例如可以将雪中的轮胎路径确定为潜在畅通路径，而当白雪隐藏了大多数可识别特征时，其它方法可能就不再有用。在另一个示例中，当提供有额外的信息时，可以采用不同的组合从而基于这些额外信息来扩充或帮助图像滤波，这些信息例如是红外线、雷达、或GPS数据。可以预想出滤波方法的多种组合，并且本发明不限于此处描述的特定实施方式。

如上所述，描述了采用富含纹理方法的第一处理方案和采用无纹理方法的第二处理方案，每个方案都能识别出用于描述车辆视图中的畅通路径的道路特征。然而，应该理解的是，基于任一方案的单独分析会产生模糊的结果，例如，其中特定照明条件、其它车辆的影子、热量所致的路面变形、或其它类似因素都会使路面的某些部分不能被识别为与路面的其余部分一致。一种去除模糊结果的方法是通过在车辆沿着道路行进的同时分析多个迭代图像。应该理解的是，当车辆沿着道路行进时，可以对特定路段的快速连续地获得的成千上百个图像进行分析。当车辆向前行进时，由于观察视角不同，将会观察到不同的路面照明和暴露部分。在路径上的行驶以及对通过该路径的多个迭代图像的分析可通过分析而建立一个信心水平，该信心水平表明路面的特定部分被正确地估计为畅通路径。

解决任一方案的模糊结果的另一种方法是同时利用两种方案并融合其结果，采用两种方案的组合来增大识别畅通路径的信心水平。每种方案在检测畅通路径的不同方面都具有相对于另一种方案的优点。例如，示例性的富含纹理方法的优点在于检测富含纹理的从地平面明显竖立的物体。该方法主动识别处于不同高度的可检测的物体并且生成一个车辆不应在其上行驶否则可能会导致车辆与物体发生碰撞的区域的地图。在另一个示例中，该示例性的无纹理方法的优点在于识别其中的像素具有共同外表面的区域。该方法主动识别一个很可能存在路面的区域，并且绘制出该路面的边界。

第一种方案和第二种方案可以多种方式融合。带有被识别点和所确定的高度的、通过富含纹理方法识别出的图像能够由无纹理方法产生的滤波图像覆盖，并且两种方法的一致性能用来通过重叠图像定义畅通路径。在另一种融合两种方案的方法中，来自每个方案的数据都能用来将信息投影在车辆前方区域的编程上方地图上，包含从两个方案的分析中得到的数据的该上方地图可包含建立该地图的各个区域的信心指示。在另一种融合两种方案的方法中，一个方案可作为主要或主导方案使用，第二个方案可用来分析或者被激活以便分析在视场中被识别为不清晰或不清楚的区域。在融合两个方案的任何方法中，一个处理方案的长处能用来弥补另一个处理方案的弱点。如果两个方案同时认定路径是畅通的，那么应用这些方案的处理模块可通过更高的信心水平来确定车辆适于通过该路径。融合这些识别方案的多种方法都已被考虑到，本发明并不局限于此处所描述的特定实施方式。另外，其中一个或两个方案可与上述利用补片分析的方法进行组合。

基于示例的方法能够替换其他方法或者作为补充来基于输入图像定义畅通路径。基于示例的一种示例性方法收集视图的多个图像样本从而定义每个样本图像的畅通路径，将当前图像与一个或多个样本图像进行匹配，并基于上述匹配来确定畅通路径。将当前图像与一个或多个样本图像进行匹配可通过如下方法实现：例如从每个样本图像中提取特征，从当前图像中提取特征，将从当前图像中提取的特征与从样本图像所提取特征的数据库进行比较，并为当前图像选择匹配的样本图像。畅通路径可从最佳匹配样本图像中选出或者基于与当前图像最接近的匹配的组合来确定。

多种畅通路径检测算法的等级结构可结合到本发明中，包括基于计算强度来布置算法。计算强度较小的检测方法可用来识别图像中的畅通路径，将图像中不被识别为畅通路径的其他部分留给计算强度较大的分析方法，从而提高了畅通路径识别的计算效率。所应用的具体方法以及所使用的具体等级方法的等级结构可有所不同或发生改变。在一种示例性的等级结构中，基于补片的畅通路径检测方法分析图像中的畅通路径，之后图像中没有被基于补片的方法识别为畅通路径的剩余部分由基于像素的畅通路径检测方法来分析。在一个实施方式中，使用基于示例的方法的第二种示例性等级层进一步分析在基于像素的方法中未被识别为畅通路径的那些部分。然而，多种不同的等级结构都已被考虑到，本发明并不局限于此处所描述的特定实施方式。

本领域技术人员能够认识到，亮度规范化(lighting normalization)可应用于所获取的图像数据。规范化是改变像素强度值的范围的一种过程。规范化的目的是将图像的范围改变为更适合机器处理的范围，以提高可靠度。例如，每个像素值被规范化为零均值和单位方差，以提高图像的对比度，特别是在光照较暗的环境中或对比度因为反光而较低的情况下。

上述滤波器和算法可以采用多种形式。用于提取特征的滤波算法经常搜索可用的视觉信息，以便在数据中找到特征性图案，这些图案通过线的方向、线的位置、颜色、角落特点、其他视觉属性和学习属性来定义特征。属性可通过通过足以精确地训练区别属性的建模或其他技术以实验方式、经验方式、预测方式来获得。学习属性可以由车辆内的随时间而调整的机器学习算法或模糊逻辑而学得。此外，可以通过车辆在一个路径上的重复行驶来收集学习特性或学习标记，并且在畅通路径识别中采用这些学习特性或学习标记。

以上具体实施方式被描述为利用位于车上的摄像机装置所产生的多个图像的分析来检测车辆行驶的畅通路径。然而，这里讨论的示例性实施方式包括一种方法，该方法确定交通设施标识的图像内容，以优化畅通路径的确定。应该理解的是，交通设施标识的图像能被处理模块分析，以确定交通设施标识的内容。因此，交通设施标识的内容能通过畅通路径的确定来扩充以修正或优化畅通路径的确定，其中优化了的畅通路径被用于车辆导航。例如，畅通路径的确定能从交通信号的内容中被推断，例如指示接近十字路口的停止灯。同样，指示靠近交通交叉道的畅通路径确定可被用来推断出靠近停止灯。在一个实施方式中，在一个越过停止标志的交叉道中的区域能确定为有阻碍的，直到车辆针对该停止标志完成停止。

如上所讨论的，由摄像机装置产生的多个图像被处理模块监测与分析。基于来自摄像机系统的被分析图像，畅通路径能被确定，基于该畅通路径确定潜在的道路表面能从不指示潜在道路表面的其他图像部分中被估计出来。例如，参考图9，第一方案利用宿主车辆前方的视野的富含纹理图像分析，其中基于图像中的相关景物描述明显关切点的被分析像素特征被绘图并用来确定宿主车辆前方的畅通路径。在另一个示例中，参考图16和图19，第二方案利用无纹理图像分析来过滤图像中的不一致区域，这些不一致区域不属于平坦的连续道路表面，其中多个滤波图像被融合在一起来确定畅通路径。应该理解的是，第一方案和第二方案能通过许多方式融合。例如，具有通过富含纹理方法识别出的点和确定的高度的图像能与无纹理方法所产生的滤波图像相叠加，这两个方法的一致性能用来通过叠加图像定义畅通路径。

在本发明的一个示例性实施方式中，通过分析摄像机装置的图像所确定的行驶畅通路径能基于交通设施标识的图像内容而被修正。如上所讨论的，摄像机系统能用来作为处理模块的输入，用于确定交通设施标识的内容以及基于该交通设施标识的内容修正畅通路径的确定。摄像机系统包括摄像机或捕获表示车前视野的定期或连续图像的图像捕获装置。分析视觉信息的方法是本领域已知的，包括模式识别，角落检测，垂直边缘检测，垂直目标识别以及其他方法。另外，图像识别经常包括寻找交通设施标识所指示的显示垂直线条、边缘、角、或其他型式的图像的对比度或颜色上的变化的程序。这样的图像识别方法可包括识别来自标志中的纹理信息的方法。此外，特殊的标志形式、标语、或者商标能被存储在数据库中用于内容或意义的比较和横向参考。然而，应该理解的是，对实时了解运动而言必须的高速率刷新的车前场景的高分辨率的视觉表征包括大量的被分析信息。视觉信息的实时分析可能被抑制。融合这些方法所产生的来自摄像机系统的输入的方法-例如跟踪融合是本领域已知的，这里将不会详细讨论。采用融合输入帮助从静止的交通设施标识-例如路旁标志中区分运动目标-例如车辆。

摄像数据能被用来检测交通设施标识，例如路旁标志和交通灯。应该理解的是，其他装置能用来检测交通设施标识。例如，LIDAR能用来识别标志的出现以及来自标志的某种内容，例如辨识停车标志的形状。车辆与基础设施(V2I)的通讯能用来将街道标志或交通灯的内容传输给过往的车辆，并且其他在线装置-例如雷达系统能用来将交通指令局限到例如交叉道路或标志杆位置。车与车(V2V)的通讯能用来在车辆之间传输数据，例如一辆车采用摄像机系统将关于交叉道路的信息传输到靠近该交叉道路的跟随车辆。在另一个示例中，停止在交叉道路的停止标志处的车辆能利用V2V通讯采用反映该指令的每种车辆的畅通路径对超过他们停止标志前进的车辆来协议一个指令。在一个具体实施方式中，交叉道路能确定为有阻碍路径直到该协议对前进的车辆而产生。类似地，红灯能用来将交叉道路分类为有阻碍的直到灯变绿。许多利用装置来检测交通设施标识的装置和附加实施方式被设想到，本发明的目的不是被限定到这里所述的示例性实施方式。

交通设施标识包括许多可能。交通设施标识可包括但不限于路旁标志以及交通信号。路旁标志可包括限速指示或道路分级指示器，例如洲际公路指示。这种指示能被采用与畅通路径分析一起预测正在行驶的道路类型。例如，具有高速限制或公路标志牌的道路不可能包括超出特定引导线的急剧转弯。路旁标志进一步包括有关交通通道的接近道路几何特征，例如强制道路曲线，只能转弯的道路，单行道，靠右行，靠左行，以及退出/进入道路。路旁标志可进一步包括接近道路几何特征的警告，例如增加的左/右通道，左/右通道终点，无出口，侧面道路左/右，铁路交叉道，反向曲线，反向左转/右转，道路终点以及接近的交叉道。畅通路径分析可包括更优的交通设施标识检测，该检测基于预报的道路几何形状集中应用运算资源。例如，如果道路上即将到来的左转弯道被预报，则基于补片的网格图案能被选择为包括被特殊排列到视野左侧的补片。在相似情形下，检测通道标志并伴随着跟随向左弯道的指示的富含纹理分析能包括引导弯道周围道路标志的专用分析。通过基于预定的道路几何形状集中应用运算资源，全部检测能被更有效地完成。另外，应该理解的是，畅通路径检测包括发展所检测道路结构的不同假设以及在这些不同假设之间进行选择从而确定畅通路径。包括来自交通设施装置的可用信息的附加信息可以对不同的假设或多或少的给出权重。应该理解的是，3D绘图装置与GPS装置可附加地或可替代地被用来确定由摄像机系统检测到的路旁标志的内容，这里路旁标志的内容被存储在3D绘图装置和/或GPS装置中。例如，基于环形路的预先已知结构，一个接近的环形路能用来引导朝向右侧的畅通路径分析。另外，有关道路结构几何特征的路旁标志的内容也能用来修正所确定的畅通路径。例如，由于道路工人的出现，速度限制可能在建设区域被减少。尽管畅通路径能被摄像机系统利用以上的方案之一而确定，在建设区域只是减速的路旁标志的内容能被补充用于对所确定的畅通路径相互优势的扩充以及用来辅助车辆的导航。在另一个示例中，建设区域标志频繁的警告切换道路、道路终止、保持当前道路的指令、以及其他类似的指示。这样的标识能用来通过标志指令优化畅通路径检测。类似地，检测到的畅通路径也能用来扩充对标识指令的理解，例如，通过有可能包括建设区域标识的检测到的畅通路径的边界。

参考图20，其中示出了处理方案700的示例性实施方式，处理方案700基于路旁标志分析和检测到的畅通路径的地图融合之间的互利改良来确定更优的畅通路径。示例性流程700从步骤702开始，其中图像被产生。应该理解的是，在步骤706中，畅通路径能通过第一处理方案采用富含纹理方法，或者通过第二处理方案采用无纹理方法而被检测，其中每种方案都能使道路特征的识别可用于描述车辆视野中的畅通路径。通过富含纹理方法以及无纹理方法的融合畅通路径分析作为示例性分析被给出，但是应该理解的是上述任何分析都能被使用。在步骤710中，第一方案和第二方案能通过许多方式融合。这些方法在上文已被讨论，因此这里将不再详细讨论。在步骤704中，路旁标志能被检测并在步骤708中被分析。如以上所讨论的，检测到的路旁标志能被分析以确定路旁标志的内容。路旁标志的内容能通过图案识别、角落检测、垂直边沿检测、垂直目标识别、图像识别、和/或包括辨识来自标志的纹理信息的方法的图像识别方法来确定。例如，图像识别能被用以辨识停车标志。此外，通过将路旁标志的图像存储在数据库中，用于对背景或意义的比较和交叉参考。在步骤712中，所分析的路旁标志的内容能被扩充或与检测到的和融合的畅通路径相融合，用于互利改良。互利改良提供了检测到的畅通路径的信心值，以及附加地能用来推导沿着道路的路旁标志位置的可能性。在步骤714中，更优的畅通路径基于在步骤712中确定的互利改良而被确定。

交通设施标识也可包括交通信号标识。交通信号标识可包括但不限定为交通灯、铁路岔道灯、停车灯以及交叉道道路警示灯。参考图21，其中示出了基于交通信号状态分析与检测到的畅通路径的地图融合之间的互利改良来确定更优的畅通路径的处理方案800的示例性的实施方式。示例性流程800开始于步骤802，其中图像被产生。应该理解的是，在步骤806中，畅通路径能通过示例性的基于补片的方法和示例性的基于像素的方法的融合而被检测出来。在步骤810中，这两种检测方法能通过许多方式被融合。这些方法在上文已被讨论，因此这里将不再详细讨论。在步骤804中，交通信号-例如交通灯能被检测并在步骤808中被分析。在步骤814中，交通信号能通过利用图案识别、角落检测、垂直边沿检测、垂直目标识别、图像识别、和/或将交通信号的图像存储在数据库中用于对背景或意义的比较和交叉参考而被检测出来。如以上所讨论的，检测到的交通信号能被分析以确定交通信号的内容。例如，通过利用颜色反差方法或测量光强度来确定绿红或黄色信号，交通灯分析能辨识前进信号、停车信号或警告信号。在步骤812中，所分析的交通信号的内容能被扩充或与检测到的和融合的畅通路径相融合，用于进行互利改良。互利改良提供了检测到的畅通路径的信心值，以及附加地能用来推导道路上交通信号位置的可能性。例如畅通路径可被确定，而红色交通信号标识可通过检测到的畅通路径被扩充，以通知车辆交通流量可能横穿畅通路径。在步骤814中，更优的畅通路径基于在步骤812中确定的互利改良而被确定。

通过监测来自摄像机系统的图像以及为了识别交通设施标识的图像而应用对检测到图像进行的分析，以及进一步分析交通设施标识的图像以确定交通设施标识的内容，所确定的畅通路径能基于交通设施标识的内容而被修正，并被用于车辆的导航中。被分析的交通设施标识的图像可表示阈值条件。

阈值条件可基于许多信息输入被预设、学习和/或选择。阈值条件被设置为使车辆上非紧急或非希望的分心状态最小化，其中描述阈值条件的交通设施标识的图像被处理并通过畅通路径的确定被扩充，以确定更优的畅通路径，其中该更优的畅通路径被用于车辆导航。应该理解，车辆能够在自动或半自动驾驶模式下工作。该车辆包括自动转向装置和速度控制装置，这些装置可基于畅通路径是否已经被确定而操作，以及附加地考虑描述阈值条件的交通设施标识的内容提供了被摄像机装置捕获以及通过处理模块分析的畅通路径的增加的信心值。

畅通路径检测能用来优化路旁标志背景的检测和理解。例如，当摄像机系统捕获到指示速度限制的路旁标志的图像时，车辆的当前速度可被检测。被摄像机系统捕获的限速标志可通过图案识别而被分析，以辨识速度限制标识。所辨识的速度限制从而与检测到的车辆速度相比较，以便基于该比较指示阈值条件。然而，速度限制的检测可能出现错误。行驶畅通路径的分析-例如描述道路上接近急转弯道或描述特殊区域的图案-例如停车区域或学校区域，针对可通过畅通路径分析辨识的信息，监测到的速度限制能被检查并根据需要被无效。

在另一个示例中，摄像机系统能捕获交通信号指示的图像，同时当前车速以及车辆到交通信号的距离能被监测。监测到的交通信号指示的图像能被存储在数据库中，用于对背景的比较和交叉参考，从而指示交通灯。车辆速度以及车辆离交通灯的距离可被比较，并且阈值条件能根据该比较而被指示。例如，描述车辆为没有计划在交通灯处停止的阈值条件能基于车速以及车辆离交通灯的距离而被确定。基于所确定的阈值和所确定的畅通路径之间的扩充，该阈值条件能通过畅通路径的确定而被扩充以产生互利改良。

在另一个示例中，摄像机系统能用来捕获路旁标志的图像，同时信息输入能被检测以描述车辆当前行驶的道路。基于有关车辆行驶的道路以及并入相邻道路中的空地的监测信息输入，道路终止路旁标志信息通告牌或可配置的交通信息标志、或电子传输的车辆与基础设施通讯能被分析以指示阈值条件。例如，利用来自摄像机系统的视觉信息输入，当被分析的路旁标志的图像显示车辆当前行驶的道路是终止的，并且需要并入相邻通道时，显示车辆当前行驶在哪一道路的理解被确定并且阈值条件可被指示。基于所确定的阈值和所确定的畅通路径之间的扩充，该阈值条件能通过畅通路径的确定被扩充以产生互利改良。

在另一个示例性实施方式中，基于监测到的信息输入的阈值条件能被执行，该监测到的信息输入指示存在被违反风险的扩充的道路标志。被摄像机系统捕获的停止标志能使用指示停止信号所显示的颜色和形状的图像识别而被分析。关于车辆当前速度以及到停止标志的停车距离的信息输入能被检测。应该理解的是，到停止标志的停止距离可利用GPS信息、3D绘图信息和/或雷达反馈而被确定。如果基于有关当前车速以及到停止标志的停车距离的监测到的信息输入确定车辆具有违反停车标志的风险，则阈值条件可被指示。阈值条件能通过畅通路径的确定而被扩充，从而基于所确定的阈值和所确定的畅通路径之间的扩充来产生互利改良。

图21的步骤812和图20的步骤712示出了互利改良，该互利改良输入畅通路径和交通设施标识信息，输出更优的畅通路径。正如从上述方法中所理解的，畅通路径可从交通设施标识的检测中受益，扩充了对什么区域可能是畅通路径的理解。应该理解的是，更优的交通设施标识也能类似地通过识别畅通路径的分析来完成。例如，表示在运动中经历非期望变化的交通流量或车辆的道路切换的畅通路径指示能用来扩充建设区域的检测和分析。基于畅通路径信息，运算资源能被应用到该区域的分析中。这种分析能通过连续图像而被迭代地增强，从而构建沿着畅通路径以及交通设施标识的行驶路线的信心值。另外，单个图像能使用畅通路径分析和交通设施标识分析的多次迭代而被迭代地检查，从而强化单个图像的整体分析。这种分析循环能有益地优化初始假设和分析结果。图22图示了根据本发明的这种迭代分析。步骤812被描述为包括步骤809中的交通设施标识改良以及步骤811中的畅通路径改良。步骤812输出如上所述的更优的畅通路径和附加的示例性的更优目标追踪信息。

本发明已经描述了特定的优选实施方式及其改型。其他人在阅读并理解了本发明之后将会认识到进一步的改型和变型。因此，本发明的目的不是被限定为作为最佳模式而公开的、旨在用于实施本发明的特定实施方式，而是本发明将包括落入所附权利要求范围内的所有实施方式。

Claims

1.一种检测车辆行驶的畅通路径的方法，所述方法利用位于车辆上的摄像机装置产生的多个图像的分析，所述方法包括：

监测图像；

分析图像，所述分析图像包括：

确定畅通路径，在所述畅通路径上潜在道路表面能够从不指示潜在道路表面的其他图像部分中估计出来；

确定交通设施标识的图像：

确定所述交通设施标识的内容；

基于所述交通设施标识的内容修正畅通路径；以及

在车辆导航中应用修正后的畅通路径。

2.如权利要求1所述的方法，其中，确定交通设施标识的图像包括确定路旁标志。

3.如权利要求2所述的方法，其中，所述路旁标志包括停车标志。

4.如权利要求3所述的方法，其中，基于所述交通设施标识的内容修正畅通路径包括将越过停车标志的道路指示为非畅通路径，直到车辆停止在停车标志处。

5.如权利要求2所述的方法，其中，所述路旁标志包括道路几何形状标志。

6.如权利要求2所述的方法，其中，所述路旁标志包括道路建设指示。

7.如权利要求1所述的方法，其中，确定交通设施标识的图像包括确定交通信号标识。

8.如权利要求7所述的方法，其中，基于所述交通设施标识的内容修正畅通路径包括当所述交通信号标识显示一个停车条件时将越过交通信号的道路指示为非畅通路径。

9.如权利要求1所述的方法，其中，确定所述交通设施标识的内容包括将所述交通设施标识的图像存储在数据库中，用于对背景进行比较和交叉参考。

10.如权利要求1所述的方法，其中，确定所述交通设施标识的内容包括利用图案识别来确定所述交通设施标识的内容。

11.如权利要求1所述的方法，其中，确定所述交通设施标识的内容包括监测车辆与基础设施的通讯链接。

12.如权利要求1所述的方法，进一步包括监测GPS数字地图装置；并且

其中，确定所述交通设施标识的图像包括基于来自所述GPS数字地图装置的数据确定交通方向信号。

13.如权利要求1所述的方法，进一步包括：

基于畅通路径优化所述交通设施标识；以及

在车辆导航中应用更优的交通设施标识。

14.一种确定车辆行驶的更优的畅通路径的方法，所述方法利用位于车辆上的摄像机装置产生的多个图像的分析，所述方法包括：

监测来自所述摄像机装置的图像；

分析图像，所述分析图像包括确定畅通路径，在所述畅通路径上潜在道路表面能够从不指示潜在道路表面的其他图像部分中估计出来；

监测产生描述交通设施标识的数据的装置；

分析描述所述交通设施标识的数据以描述阈值条件；

分析所述阈值条件和畅通路径以确定更优的畅通路径；以及

在车辆导航中应用更优的畅通路径。

15.如权利要求14所述的方法，进一步包括：

监测描述车辆操作的信息输入；并且其中，分析描述所述交通设施标识的数据以描述阈值条件是基于所述信息输入进行的。

16.如权利要求15所述的方法，其中，监测描述车辆操作的信息输入包括监测车辆速度以及车辆离所述交通设施标识的距离；并且

其中，分析描述所述交通设施标识的数据以指示阈值条件包括：

利用数据库来分析描述所述交通设施标识的数据以辨识交通信号；

将监测到的车辆速度与车辆离交通信号的距离进行比较，以及

基于所述比较指示阈值条件。

17.如权利要求14所述的方法，其中，分析描述所述交通设施标识的数据以描述阈值条件包括确定当前速度限制；并且

其中，分析所述阈值条件和畅通路径以确定更优的畅通路径包括：

将畅通路径与当前速度限制进行比较；以及

基于所述比较修正畅通路径。

18.如权利要求14所述的方法，其中，分析描述所述交通设施标识的数据以描述阈值条件包括确定即将到来的道路几何形状；并且

将畅通路径与即将到来的道路几何形状进行比较；以及

基于所述比较修正畅通路径。

19.一种检测车辆行驶的畅通路径的系统，所述系统利用位于车辆上的摄像机装置产生的多个图像的分析，所述系统包括：

位于车辆上并配置为产生多个图像的摄像机装置；

控制模块，其配置为监测并分析来自所述摄像机装置的图像，其中，分析来自所述摄像机装置的图像包括：

确定畅通路径，在所述畅通路径上潜在道路表面能够从不指示潜在道路表面的其他图像部分中估计出来，

确定交通设施标识的图像，

确定所述交通设施标识的内容，

基于所述交通设施标识的内容修正畅通路径，以及

在车辆导航中应用修正后的畅通路径。

20.如权利要求19所述的系统，进一步包括自动转向系统，所述自动转向系统基于分析来自所述摄像机装置的图像而操作。