CN102056530A - 图像处理装置、图像处理程序以及图像处理方法 - Google Patents

Abstract

在本发明的某个实施方式中，类别区域分割部(150)将构成通过在体内管腔内移动的胶囊内窥镜所拍摄的时序图像的各图像内部分割成包含粘膜区域和病变候选区域的类别区域。OF计算部(154)计算粘膜区域和病变候选区域的光流场。病变区域检测部(155)通过比较粘膜区域的光流场与病变候选区域的光流场来检测病变区域。

Description

图像处理装置、图像处理程序以及图像处理方法

技术领域

本发明涉及对按照时序拍摄的时序图像进行处理的图像处理装置、图像处理程序以及图像处理方法。

背景技术

作为根据按照时序对运动的检查对象物进行拍摄得到的时序图像，对检查对象物进行检查的装置，近些年开发出了以胶囊内窥镜为代表的、在体内官腔(消化道)内移动的同时依次拍摄时序的管腔内图像的医疗设备。胶囊内窥镜从口中被吞入后，通过蠕动运动等在管腔内被运送，以预定的拍摄速率依次拍摄图像并发送给体外接收机，最终被排出体外。所拍摄的时序图像的数量大概可表示为拍摄速率(约2～4帧/秒)×胶囊内窥镜在体内滞留的时间(约8hours＝8×60×60sec)，在几万张以上。医生通过诊断用工作站等确认这些记录于体外接收机中的大量时序图像，确定病变部位，因而需要耗费非常多的时间。因而强烈要求提出一种用于提高医生对图像的确认作业的效率的技术。

例如在专利文献1中，示出了根据由胶囊内窥镜拍摄的时序图像，检测作为异常部位的病变部位的手法。具体而言，将以预定间隔对时序图像进行采样而得到的图像分别分割为多个矩形区域，使这些矩形区域成像于平均色比空间等预定的特征空间，然后进行聚类。而且通过预先根据训练数据而制作的分类器将所获得的聚类分类为粘膜、粪便(内容物)、泡等类别。此后将采样得到的图像划分为预定时序间隔的子集，根据之前的聚类分类结果，计算子集内各类别的产生频度和特征量分布。然后根据这些信息，将各子集所表示的时序区间内的图像的矩形区域分类到各聚类。而且将在分类的结果图像内被分类为粘膜的各矩形区域的特征量与图像内被分类为粘膜的所有矩形区域的平均特征量的值进行比较，从而检测病变部位。

专利文献1：日本特开2007-175432号公报

在专利文献1中，首先按照时序图像的每个预定区间设定分类基准，将被矩形分割的图像内的各矩形区域分类为粘膜、内容物、泡等。此后，将图像内被分类为粘膜的矩形区域的特征量与在该图像内被分类为粘膜的所有矩形区域的平均特征量的值进行比较来检测病变部位。然而，通过胶囊内窥镜拍摄的图像中有时会存在与病变部位等异常部位的特征量很相似的内容物。因而，在如专利文献1所示最终根据1幅图像内的局部区域的特征量进行病变部位检测的手法中，存在无法在识别与内容物的差异的同时检测病变部位的问题。

发明内容

本发明就是鉴于上述情况而完成的，其目的在于提供能够从构成时序图像的图像中高精度检测异常部位的图像处理装置、图像处理程序以及图像处理方法。

为解决上述课题，达成目的，本发明的某个方面涉及的图像处理装置对按照时序拍摄检查对象物得到的时序图像进行处理，检测上述检查对象物上的异常部位，该图像处理装置具有：类别区域分割部，其将构成上述时序图像的各图像内部分割为类别区域，上述类别区域包含摄入上述检查对象物的被检查区域以及可能存在摄入上述异常部位的异常区域的异常候选区域；光流场计算部，其根据构成上述时序图像的图像，计算上述被检查区域和上述异常候选区域中的光流场；以及异常区域检测部，其比较上述被检查区域中的光流场和上述异常候选区域中的光流场，根据比较的结果将上述异常候选区域检测为上述异常区域。

根据该方式涉及的图像处理装置，将构成时序图像的各图像内部分割为包含被检查区域以及异常候选区域的类别区域，在构成上述时序图像的图像之间判定各区域的光流场的类似性，从而能将异常候选区域作为异常区域提取出来。因此能够高精度检测构成时序图像的图像内的异常部位。

另外，本发明的另一个方面涉及的图像处理程序使图像处理装置执行如下步骤，其中该图像处理装置对按照时序拍摄检查对象物得到的时序图像进行处理，检测上述检查对象物上的异常部位：类别区域分割步骤，将构成上述时序图像的各图像内部分割为类别区域，其中上述类别区域包含摄入上述检查对象物的被检查区域以及可能存在摄入上述异常部位的异常区域的异常候选区域；光流场计算步骤，根据构成上述时序图像的图像，计算上述被检查区域以及上述异常候选区域的光流场；以及异常区域检测步骤，比较上述被检查区域的光流场与上述异常候选区域的光流场，根据比较的结果将上述异常候选区域检测为上述异常区域。

另外，本发明的又一个方面涉及的图像处理方法对按照时序拍摄检查对象物得到的时序图像进行处理，检测上述检查对象物上的异常部位，该图像处理方法具有：类别区域分割步骤，将构成上述时序图像的各图像内部分割为类别区域，其中上述类别区域包含摄入上述检查对象物的被检查区域以及可能存在摄入上述异常部位的异常区域的异常候选区域；光流场计算步骤，根据构成上述时序图像的图像，计算上述被检查区域以及上述异常候选区域的光流场；以及异常区域检测步骤，比较上述被检查区域的光流场与上述异常候选区域的光流场，根据比较的结果将上述异常候选区域检测为上述异常区域。

根据本发明，能够提高时序图像内的异常部位的检测精度。

附图说明

图1是表示包含图像处理装置的图像处理系统的整体构成的概要示意图。

图2是表示管腔内图像的一个例子的图。

图3是表示说明图像处理装置的功能结构的框图。

图4是表示图像处理装置所进行的处理步骤的整体流程图。

图5是表示类别区域分割处理的详细处理步骤的流程图。

图6是表示对图2的管腔内图像进行类别区域分割的结果例的图。

图7是表示OF计算处理的详细处理步骤的流程图。

图8是表示基于图6举例表示的类别区域分割结果的结构区域的提取结果例的图。

图9是通过箭头概念性表示对图8所示的各结构区域计算出的光流场的图。

图10是表示对病变候选区域计算出的OF分布的一个例子的图。

图11是表示对病变候选区域计算出的OF分布的另一个例子的图。

图12是表示对病变候选区域的附近粘膜区域计算出的OF分布的一个例子的图。

图13是表示对病变候选区域的附近粘膜区域计算出的OF分布的另一个例子的图。

图14是将图10所示的病变候选区域的OF分布与图12所示的病变候选区域的附近粘膜区域的OF分布对比表示的图。

图15是将图11所示的病变候选区域的OF分布与图13所示的病变候选区域的附近粘膜区域的OF分布对比表示的图。

符号说明

10图像处理装置；11图像取得部；12输入部；13显示部；14存储部；141图像处理程序；15运算部；150类别区域分割部；151图像分割部；151a边缘提取部；152特征量计算部；153区域分类部；154OF计算部；154a结构区域提取部；154b对应区域提取部；155病变区域检测部；155a病变候选OF特征量计算部；155b粘膜OF特征量计算部；16控制部；7移动型记录介质

具体实施方式

下面参照附图详细说明本发明的优选实施方式。以下说明的图像处理装置中，对通过胶囊内窥镜以体内管腔内作为检查对象物按照时序拍摄的时序图像进行处理，将作为被检查区域的一个例子的粘膜区域上的病变部位作为异常部位检测出来。并且，本发明的图像处理装置能够进行处理的时序图像不限于拍摄体内管腔内获得的时序图像，同样能够应用于从按照时序拍摄运动的检查对象物获得的时序图像中检测检查对象物上的异常部位的情况。

(实施方式)

图1是表示包含本实施方式的图像处理装置的图像处理系统的整体构成的概要示意图。如图1所示，图像处理系统由拍摄被检体1内部的图像(管腔内图像)的胶囊内窥镜3、接收从胶囊内窥镜3无线发送来的管腔内图像的接收装置5、根据接收装置5接收的管腔内图像对由胶囊内窥镜3拍摄的管腔内图像进行处理并显示的图像处理装置10等构成。例如使用移动型的记录介质(移动型记录介质)7进行接收装置5与图像处理装置10之间的图像数据的授受。

胶囊内窥镜3具备摄像功能和无线功能等，其从被检体1的口中被吞入而导入至被检体1内部，在管腔内移动并依次拍摄管腔内图像。然后将拍摄的管腔内图像无线发送到体外。

接收装置5具有分散配置于体表上的与被检体1内的胶囊内窥镜3的通过路径对应的位置上的接收用天线A1～An。而且接收装置5通过各接收用天线A1～An接收从胶囊内窥镜3无线发送的图像数据。该接收装置5构成为能够自由拆装移动型记录介质7，将接收到的图像数据依次保存于移动型记录介质7。这样，由胶囊内窥镜3拍摄的被检体1内部的管腔内图像通过接收装置5而按照时序顺序蓄积于移动型记录介质7中，保存为时序图像。

图像处理装置10用于由医生观察、诊断通过胶囊内窥镜3拍摄的管腔内图像，可通过工作站或个人计算机等通用计算机实现。该图像处理装置10构成为能自由拆装移动型记录介质7，对保存于移动型记录介质7中的构成时序图像的各管腔内图像进行处理，按照时序顺序依次显示于LCD或ELD等显示器上。图2是表示通过胶囊内窥镜3拍摄并通过图像处理装置10进行处理的管腔内图像的一个例子的图。在管腔内图像中拍摄了粘膜21、在管腔内浮游的内容物23、泡25等，有时还拍摄了病变27等重要部位。并且，通过胶囊内窥镜3所拍摄的管腔内图像是在各像素位置具有对于R(红)、G(绿)、B(蓝)的各颜色成分的像素水平(像素值)的彩色图像。

图3是说明图像处理装置10的功能构成的框图。在本实施方式中，图像处理装置10具有图像取得部11、输入部12、显示部13、存储部14、运算部15、控制装置各部的控制部16。

图像取得部11用于获得通过胶囊内窥镜3拍摄并通过接收装置5保存于移动型记录介质7中的构成时序图像的管腔内图像，例如以可自由拆装的方式安装移动型记录介质7，读取并获得蓄积于所安装的移动型记录介质7中的管腔内图像的图像数据。该图像取得部11例如可通过与移动型记录介质7的种类对应的读写装置来实现。并且，通过胶囊内窥镜3拍摄的时序的管腔内图像的获得不限于使用移动型记录介质7的构成，例如也可以构成为具有硬盘以取代图像取得部11，预先将通过胶囊内窥镜3拍摄的时序的管腔内图像保存于硬盘内。或者也可以构成为另外设置服务器取代移动型记录介质7，预先在该服务器保存时序的管腔内图像。这种情况下，由用于与服务器连接的通信装置等构成图像取得部，通过该图像取得部与服务器连接，从服务器获得时序的管腔内图像。

输入部12例如可通过键盘或鼠标、触摸面板、各种开关等实现，将与操作输入对应的操作信号输出给控制部16。显示部13可通过LCD或ELD等显示装置实现，通过控制部16的控制，显示包含时序的管腔内图像的显示画面在内的各种画面。

存储部14可通过能进行更新存储的闪存等ROM或RAM等各种IC存储器、内置或通过数据通信端子连接的硬盘、CD-ROM等信息记录介质以及其读取装置等实现。该存储部14中存储有用于使图像处理装置10工作，实现该图像处理装置10所具备的各种功能的程序和该程序执行中所使用的数据等。另外，还存储有用于从构成时序图像的各管腔内图像检测作为异常部位的病变部位的图像处理程序141。

运算部15可通过CPU等硬件实现，对通过图像取得部11获得的时序的管腔内图像依次进行处理，进行用于将各管腔内图像分类到类别区域的各种运算处理。该运算部15包括类别区域分割部150、光流场(optical flow)(以下将光流场适当称之为“OF”)计算部154、与异常区域检测部对应的病变区域检测部155。类别区域分割部150将构成由在体内管腔内移动的胶囊内窥镜3拍摄的时序图像的各图像(管腔内图像)内部分割为包含粘膜区域和病变候选区域的预定的类别区域。该类别区域分割部150具有图像分割部151、特征量计算部152、区域分类部153。图像分割部151是将图像内部分割为多个区域的功能部，具有提取图像内的边缘的边缘提取部151a。特征量计算部152对每个分割区域计算特征量。区域分类部153根据特征量将分割区域分类为预定类别。OF计算部154计算粘膜区域和病变候选区域的光流场。该OF计算部154具有结构区域提取部154a和对应区域提取部154b。结构区域提取部154a从构成时序图像的各图像中提取结构区域。对应区域提取部154b从在与结构区域提取部154a提取出结构区域的图像不同的时刻所拍摄的其他图像中，提取与结构区域对应的对应区域。病变区域检测部155比较粘膜区域的光流场与病变候选区域的光流场来检测病变区域。该病变区域检测部155具有与异常候选光流场特征量计算部对应的病变候选OF特征量计算部155a、与被检查光流场特征量计算部对应的粘膜OF特征量计算部155b。病变候选OF特征量计算部155a计算病变候选区域的光流场的特征量。粘膜OF特征量计算部155b计算位于病变候选区域周围的粘膜区域的光流场的特征量。

控制部16可通过CPU等硬件实现。该控制部16根据从图像取得部11输入的图像数据、从输入部12输入的操作信号、存储于存储部14中的程序和数据等，向构成图像处理装置10的各部分进行指示和数据传送等，总括控制图像处理装置10整体的动作。

图4是表示图像处理装置10所进行的处理步骤的整体流程图。此处所说明的处理是通过由运算部15执行存储于存储部14中的图像处理程序141来实现的。其中，示出对作为构成时序图像的管腔内图像的时序顺序i_start到i_end的图像I(i_start)～I(i_end)进行处理时的流程。

如图4所示，首先由运算部15将表示作为处理对象的管腔内图像的时序顺序的符号i设定为i_start(步骤S1)，获得时序顺序i的图像I(i)(步骤S3)。

接着，由类别区域分割部150进行类别区域分割处理，将图像I(i)内部分割为预定的类别区域(步骤S5)。图5是表示类别区域分割处理的详细处理步骤的流程图。

在类别区域分割处理中，首先由边缘提取部151a提取图像I(i)的边缘(步骤S51)。作为步骤，首先生成由图像I(i)的G成分构成的G成分图像。使用G成分的原因在于由于接近血液中血红蛋白的吸收波长波段，而且灵敏度和分辨率较高，因而能很好地表现管腔内图像的结构信息。并且，也可以使用其他成分或者通过已知的转换处理根据图像I(i)的颜色成分2维计算出的亮度、色差(YCbCr转换)、色相、色度、明度(HIS转换)、色比等值。然后例如通过已知的1次微分滤波器(Prewitt滤波器、Sobel滤波器等)和2次微分滤波器(拉普拉斯滤波器、LOG(Laplacian of Gaussian)滤波器等)对该G成分图像进行空间滤波，进行边缘提取(参考：CG-ARTS协会、数字图像处理、114页、边缘提取)。

接着，图像分割部151通过边缘对图像I(i)内部进行分割(步骤S53)。作为基于边缘的图像分割手法，例如可使用国际公开公报WO2006/080239号所公开的手法。简单说明一下步骤，首先根据需要对边缘提取结果的图像进行以去除噪声为目的的平滑化处理。此后求出实施了平滑化处理的边缘提取结果的图像各像素的像素值的倾斜方向。此时，倾斜方向为与附近像素的像素值之差最小(负值情况下为最大)的方向。接着，求出各像素沿着像素值的倾斜方向到达的极值像素，以到达临近的极值像素的各像素为相同区域的方式来分割图像。

并且，作为其他分割手法，也可以使用分水岭(watershed)算法(参考：Luc Vincent and pierre Soille.Watersheds in digital spaces：An efficient algorithm based on immersion simulations.Transactionson Pattern Analysis and Machine Intelligence，Vol.13，No.6，pp.583-598，June 1991.)。分水岭算法是在以图像的像素值信息为高度的地形中填满水时，以能够在蓄积于不同凹陷中的水之间形成界线的方式分割图像的手法。因此通过对边缘提取图像进行适当的平滑化之后执行分水岭算法，就能实现基于边缘的图像分割。

以上示出了基于边缘的图像分割手法。通过如上使用边缘来分割图像，从而进行反映了摄影对象物的边界的图像分割，提升了后述的光流场计算的精度。并且也可以使用不进行边缘提取而将图像分割为预定尺寸的矩形区域等的手法。此时相比进行基于边缘的图像分割的情况能缩短处理时间。

接着，特征量计算部152计算各分割区域的特征量(步骤S55)。此处特征量是指区域内的像素值的R、G、B成分的例如平均值、标准偏差值、失真度、尖锐度、直方图等统计量、频率特征、同时正规矩阵等构造信息(参考：CG-ARTS协会：数字图像处理；192页、区域特征量)或者根据R、G、B成分2次计算出的亮度、色差、色相、色度、明度、色比等统计量和构造信息等。不按照像素单体，而是按照每个分割区域来统筹计算该特征量，从而能获得包含与周围像素的关系在内的特征量。

并且，在使用如JPEG等那样通过以区划单位对摄像数据进行离散余弦转换(Discrete Cosine Transform：DCT)而进行了压缩编码的图像数据的情况下，可以不进行上述边缘提取，而是通过压缩编码时的单位区划来分割图像，将压缩解压缩时对每个单位区划求出的DCT系数或者根据该DCT系数2次地计算出的值用作特征量。

接着，区域分类部153根据特征量对各分割区域分类(步骤S57)。本实施方式中，将各分割区域分类为粘膜、病变候选和其他某个类别。分类手法具有各种方法，而此处使用的手法是预先准备每个分割区域的特征量和正确类别成对的数据即训练数据，并且预先求出各类别的产生概率和各类别的概率密度函数，参照这些内容对各分割区域根据其特征量进行分类。

首先根据事先准备的训练数据中各类别数据的数量，按照下式(1)求出各类别的产生概率Pc(i)(i＝1～NC)。NC表示类别的数量。另外，ND(i)是类别i的数据数量。

【式1】

$\mathrm{Pc}\left(i\right)=\frac{\mathrm{ND}\left(i\right)}{\underset{j=1}{\overset{\mathrm{NC}}{\mathrm{\Σ}}}\mathrm{ND}\left(j\right)}...\left(1\right)$

接着，计算各类别的训练数据中包含的数据的特征矢量Fn＝(fn_1，fn_2，...，fn_k)^t。其中，fn_i是第n个训练数据的第i个特征量值，k是特征量的维数。然后根据求出的特征矢量Fn，按照下式(2)对每个类别求出平均矢量μ和方差协方差矩阵Z。

【式2】

$\mathrm{\μ}=\frac{1}{\mathrm{ND}}\underset{n=1}{\overset{\mathrm{ND}}{\mathrm{\Σ}}}\mathrm{Fn},Z=\frac{1}{\mathrm{ND}}\underset{n=1}{\overset{\mathrm{ND}}{\mathrm{\Σ}}}(\mathrm{Fn}-\mathrm{\μ}){(\mathrm{Fn}-\mathrm{\μ})}^t...\left(2\right)$

接着按照每个类别计算下式(3)所示的概率密度函数P(x)的系数。

【式3】

$P\left(x\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{K/2}\×{\left|Z\right|}^{1/2}}\exp \{{(x-\mathrm{\μ})}^t\×-\frac{1}{2}{Z}^{-1}\×(x-\mathrm{\μ})\}...\left(3\right)$

其中，|Z|是Z的矩阵式，Z^-1是Z的逆矩阵，x是判别对象的特征矢量。而且将如上使用训练数据求出的各类别的产生概率Pc(i)和各类别的概率密度函数P(x)(i)的各系数

的值存储于存储部14。

接着根据所存储的各值和作为分类对象的分割区域的特征矢量x，计算Pc(i)×P(x)(i)(i＝1～NC)，从而计算作为分类对象的分割区域对各类别的归属概率。然后把分割区域分类到归属概率最高的类别。如果对所有分割区域进行了分类，则转移到步骤S59。

即，在步骤S59中，类别区域分割部150根据类别分类结果，将图像I(i)内部分割为类别区域。这可以通过将对各分割区域的分类结果图像化来实现。图6是表示对图2的管腔内图像进行类别区域分割后的结果例的图。在图6所示例子中，图像内部被分类为粘膜区域Ea、病变候选区域Eb1、Eb3、其他区域Ec。

并且，前面示出了进行图像分割，根据各分割区域的特征量对各分割区域进行类别分类，从而对图像I(i)内部进行类别区域分割的例子，然而不限于此。例如也可以不进行图像分割，而是计算各像素的特征量，根据该特征量对各像素进行类别分类，将图像I(i)内部分割为类别区域。将图像I(i)内部分割为类别区域后，返回图4的步骤S5，此后转移到步骤S7。

即，在步骤S7中，运算部15获得图像I(i)和时序上连续的时刻顺序i+1的图像I(i+1)。然后由OF计算部154进行OF计算处理，计算图像I(i)的病变候选区域和位于病变候选区域附近的粘膜区域(以下称之为“附近粘膜区域”)的光流场(步骤S9)。其中，光流场指的是对不同时刻拍摄的2幅图像间所摄入的相同对象(被摄体位置)进行关联对应，将其移动量表现为矢量数据。光流场的计算手法有多种，而本实施方式中说明使用块匹配进行光流场计算的情况。图7是表示OF计算处理的详细处理步骤的流程图。

OF计算处理中，首先由结构区域提取部154a从图像I(i)的病变候选区域和病变候选区域的附近粘膜区域分别提取多个结构区域(步骤S91)。此处的结构区域是指在不同时刻的图像间能够关联对应起来的区域内，拍摄了对粘膜区域和病变候选区域的局部部位赋予特征的结构(以下称之为“特征结构”)的区域。通常，褶皱、纹理、透过表面可见的血管等各部分形状不同，因而可称之为特征结构。

结构区域的提取步骤是，首先对图像I(i)内的病变候选区域和病变候选区域的附近粘膜区域设定预定尺寸的矩形区域。接着参照矩形区域内的类别区域分割结果，从而判别矩形区域是粘膜区域还是病变候选区域。另外，对于设定为粘膜区域的矩形区域，根据以该矩形区域为中心的预定范围的附近区域内是否存在病变候选区域来判别该矩形区域是否为位于病变候选区域附近的附近粘膜区域。

接着根据矩形区域内的G成分的像素值的最大值和最小值求出分布范围，存储于存储部14。其中，使用G成分的原因在于，如上所述，G成分接近血液中血红蛋白的吸收波长波段，而且灵敏度和分辨率较高，因而能较好表现管腔内图像的结构信息。也可以使用其他成分或者通过已知的转换处理从图像I(i)的颜色成分中2次地计算出的亮度、色差(YCbCr转换)、色相、色度、明度(HIS转换)、色比等值。当像素值的分布范围较小的情况下，矩形区域内的像素值为同一状态，在该矩形区域中拍摄了特征结构的可能性较低。另一方面，分布范围较大的情况下，在该矩形区域中拍摄了特征结构的可能性较高。并且，也可以不使用矩形区域内的所有像素来计算像素值的分布范围。例如，可以使用矩形区域内某一个方向细长的像素列，或使用正交的两个方向的细长的像素列计算像素值的分布范围。另外，不限于分布范围，还可以求出表示像素值分布的广度的例如方差和标准偏差等其他指标。

接下来，以扫描病变候选区域和病变候选区域的附近粘膜区域的方式变更设定矩形区域的位置，转移到对新设定的矩形区域内的像素值的分布范围的计算。然后从最终设定的矩形区域中所存储的像素值的分布范围大的矩形区域起按顺序提取出预定个数的矩形区域。并且，矩形区域彼此的重合量在预定值以下。

图8是表示根据图6举例表示的类别区域分割结果，从病变候选区域和附近粘膜区域提取出的结构区域的提取结果例的图。如图8所示，在病变候选区域Eb1、Eb3分别提取出结构区域Ed1、Ed3。进而，在位于各病变候选区域Eb1、Eb3附近的作为粘膜区域的附近粘膜区域分别提取出结构区域Ee1、Ee3。

以上表示了对预定尺寸的矩形区域扫描的同时，提取适当的多个矩形区域作为结构区域的手法，然而结构区域的提取手法不限于此。例如可以不必扫描矩形区域，而是事先把图像分割为预定尺寸的矩形区域。还可以对各矩形区域进行是病变候选区域还是附近粘膜区域的判别，对被判别为病变候选区域或附近粘膜区域的区域进行像素值的分布范围的计算，从分布范围大的矩形区域起按顺序提取出预定个数的矩形区域作为结构区域。还可以不对预定尺寸的矩形区域，而是对由图像分割部151使用边缘而分割的各分割区域进行上述处理，提取结构区域。这种情况下区域的形状不限于矩形。使用这些手法的情况下，相比一边扫描一边提取结构区域的情况，能缩短处理时间。

接着，如图7所示，对应区域提取部154b对各结构区域提取图像I(i+1)内的对应区域(步骤S93)。作为步骤，首先将各结构区域设定为模板，在图像I(i+1)内进行已知的模板匹配处理(参考：CG-ARTS协会；数字图像处理；202页、模板匹配)。并且，匹配的探索范围能够以各模板的中心坐标(xi、yi)为中心，考虑时序图像的变化量来设定。另外，为了提高速度，可使用疏密探索法、残差依次研究法等(参考：CG-ARTS协会；数字图像处理；206页、高速探索法)。结果可对于每个结构区域获得图像I(i+1)内最为类似的区域的坐标(xi’、yi’)及其类似度。关于匹配时类似度低的模板，由于将相同对象关联对应的可能性低，因而不进行后面的光流场的计算。

接下来，OF计算部154根据图像I(i+1)内的结构区域的位置信息和图像I(i+1)内的对应区域的位置信息，计算各结构区域的光流场(步骤S95)。求出从图像I(i+1)内的各结构区域的中心坐标到与结构区域对应的图像I(i+1)内的对应区域的中心坐标的矢量，从而可获得图像I(i)的各结构区域的光流场。图9是通过箭头示意性表示对图8所示的各结构区域计算出的光流场的图。如果计算出了各结构区域的光流场，则返回图4的步骤S9，此后转移到步骤S11。

即，在步骤S11中，病变候选OF特征量计算部155a计算图像I(i)内的病变候选区域的光流场的特征量。例如对图像I(i)内的每个病变候选区域计算表示将对该病变候选区域内的结构区域计算出的各光流场的起点对齐时的终点分布的OF分布，作为光流场的特征量。

图10是表示对图6中的病变候选区域Eb1计算出的OF分布OF11的一个例子的图。另外，图11是表示对图6中的病变候选区域Eb3计算出的OF分布OF13的一个例子的图。如图10所示，病变候选区域Eb1的OF分布OF11、即将对病变候选区域Eb1内的各结构区域Ed1计算出的各光流场V11的起点对齐于1点P11时的各光流场的终点分布朝图10中向右下方向集中。同样地，如图11所示，病变候选区域Eb3的OF分布OF13、即将对病变候选区域Eb3内的各结构区域Ed3计算出的各光流场V13的起点对齐于1点P13时的各光流场的终点分布朝图11中向右下方向集中。

并且，在考虑像素连结性的同时来划分病变候选区域的处理可通过已知的标示处理来实现。另外，不限于本例所示的OF分布，还可以将对光流场进行矢量相加而求出的方向或光流场的大小的平均值等作为光流场的特征量来计算出来。

接着，如图4所示，粘膜OF特征量计算部155b计算位于病变候选区域附近的粘膜区域的光流场的特征量(以下称之为“OF特征量”)(步骤S13)。例如粘膜OF特征量计算部155b以与病变候选OF特征量计算部155a的OF特征量计算相同的步骤，计算附近粘膜区域的OF分布。

图12是表示对图6中的病变候选区域Eb1的附近粘膜区域计算出的OF分布OF21的一个例子的图。另外，图13是表示对图6中的病变候选区域Eb3的附近粘膜区域计算出的OF分布OF23的一个例子的图。如图12所示，病变候选区域Eb1的附近粘膜区域的OF分布OF21、即将对病变候选区域Eb1的附近粘膜区域内的各结构区域Ee1计算出的各光流场V21的起点对齐于1点P21时的各光流场的终点分布朝图12中以左下方向为中心分布。而如图13所示，病变候选区域Eb3的附近粘膜区域的OF分布OF23、即将对病变候选区域Eb3的附近粘膜区域内的各结构区域Ee3计算出的各光流场V23的起点对齐于1点P23时的各光流场的终点分布朝图13中以右下方向为中心分布。

接着如图4所示，病变区域检测部155求出对病变候选区域的光流场求得的OF特征量与对附近粘膜区域的光流场求得的OF特征量之差并进行阈值处理，从而判定病变候选区域的运动与其附近粘膜区域的运动是否类似(步骤S15)。图14是对比表示图10所示的病变候选区域Eb1的OF分布OF11与图12所示的病变候选区域Eb1的附近粘膜区域的OF分布OF21的图。另外，图15是对比表示图11所示的病变候选区域Eb3的OF分布OF13与图13所示的病变候选区域Eb3的附近粘膜区域的OF分布OF23的图。如图14所示，病变候选区域Eb1与该病变候选区域Eb1的附近粘膜区域的OF特征量(OF分布)之差较大，判定为它们的类似性低。而如图15所示，病变候选区域Eb3与该病变候选区域Eb3的附近粘膜区域的OF特征量(OF分布)之差较小，判定为它们的类似性高。

作为具体的判定步骤，首先对于构成病变候选区域的OF分布的各点(各光流场的终点)，计算其与构成该附近粘膜区域的OF分布的各点之间的距离以作为特征量之差。该特征量既可以是总括求出的距离总和，也可以是最远点之间的距离或者最近点之间的距离。接着，当计算出的值小于等于预定阈值的情况下，判定为类似性高。然后对各病变候选区域进行该处理。

然后如图4所示，病变区域检测部155将运动与附近粘膜区域类似的病变候选区域作为病变区域检测出来(步骤S17)。例如在图6的例子中，病变候选区域Eb3被检测为病变区域，而病变候选区域Eb1未被检测为病变区域。

此后，运算部15设表示作为处理对象的管腔内图像的时序顺序的符号为i＝i+1(步骤S19)，判定是否存在作为下一个处理对象的管腔内图像。如果i≤i_end(步骤S21：Yes)，则以下一个管腔内图像作为处理对象进行步骤S3～步骤S21的处理。另一方面，当步骤S21的判定结果为“否”的情况下，运算部15输出对于时序图像的病变检测结果(步骤S23)，结束图像处理装置10中的处理。例如，运算部15通过控制部16在显示部13上显示输出将病变检测结果表示为图像等的病变检测结果。

如上所述，根据本实施方式，能够利用局部区域的特征量将时序图像内部至少分割为病变候选区域和位于其附近的作为粘膜区域的附近粘膜区域，并且能够判定各区域的时序图像间的光流场的类似性。除了图像内局部区域的特征量之外，还可以通过使用时序图像间的光流场来进行病变区域的检测，因此能够高精度检测难以凭借单一图像检测出来的病变区域。具体而言，如果是拍摄了在体内管腔内浮游的内容物的图像，则有时在时序图像之间，粘膜的运动与内容物的运动不同。与此相对，粘膜上的病变部位则被认为在时序图像之间与粘膜同样地运动。根据本实施方式，能够将病变候选区域中的相对于粘膜区域的运动在时序图像之间类似的病变候选区域检测为病变区域，能提升病变区域的检测精度。

产业应用性

如上所述，本发明涉及的图像处理装置、图像处理程序以及图像处理方法适合于从构成时序图像的图像中高精度检测异常部位。

Claims (15)

1.一种图像处理装置，其对按照时序拍摄检查对象物得到的时序图像进行处理，检测上述检查对象物上的异常部位，其特征在于，具有：

类别区域分割部，其将构成上述时序图像的各图像内部分割为类别区域，上述类别区域包括摄入了上述检查对象物的被检查区域以及可能是摄入了上述异常部位的异常区域的异常候选区域；

光流场计算部，其根据构成上述时序图像的图像，计算上述被检查区域和上述异常候选区域的光流场；以及

异常区域检测部，其比较上述被检查区域的光流场和上述异常候选区域的光流场，根据比较的结果将上述异常候选区域检测为上述异常区域。

2.根据权利要求1所述的图像处理装置，其特征在于，在上述异常候选区域的光流场与上述被检查区域的光流场类似的情况下，上述异常区域检测部将上述异常候选区域检测为上述异常区域。

3.根据权利要求1或2所述的图像处理装置，其特征在于，上述光流场计算部计算位于上述异常候选区域的附近的被检查区域的光流场，作为上述被检查区域的光流场。

4.根据权利要求3所述的图像处理装置，其特征在于，上述异常区域检测部具有：

异常候选光流场特征量计算部，其计算上述异常候选区域的光流场的特征量；以及

被检查光流场特征量计算部，其计算位于上述异常候选区域的附近的被检查区域的光流场的特征量，

当上述异常候选区域的光流场的特征量与位于上述异常候选区域的附近的被检查区域的光流场的特征量之差在预定值以内的情况下，上述异常区域检测部将上述异常候选区域检测为上述异常区域。

5.根据权利要求4所述的图像处理装置，其特征在于，上述光流场的特征量是至少根据光流场的方向或大小计算出来的。

6.根据权利要求1至5中任一项所述的图像处理装置，其特征在于，上述类别区域分割部具有：

图像分割部，其将上述图像内部分割为多个分割区域；

特征量计算部，其按照每个上述分割区域计算特征量；以及

区域分类部，其根据上述特征量，将上述分割区域分类为预定的类别，

上述类别区域分割部根据通过上述区域分类部对上述分割区域进行分类的结果，将上述图像分割为上述类别区域。

7.根据权利要求6所述的图像处理装置，其特征在于，上述图像分割部具有提取上述图像内部的边缘的边缘提取部，通过上述边缘将上述图像内部分割为多个分割区域。

8.根据权利要求6或7所述的图像处理装置，其特征在于，上述光流场计算部计算上述分割区域中被分类为上述被检查区域的分割区域以及被分类为上述异常候选区域的分割区域的光流场。

9.根据权利要求1至8中任一项所述的图像处理装置，其特征在于，上述光流场计算部具有：

结构区域提取部，其从构成上述时序图像的图像中提取结构区域；以及

对应区域提取部，其从在与提取出上述结构区域的图像不同的时刻所拍摄的图像中提取与上述结构区域对应的对应区域，

上述光流场计算部根据上述结构区域以及上述对应区域的位置信息，计算光流场。

10.根据权利要求1至9中任一项所述的图像处理装置，其特征在于，上述时序图像为体内管腔内的图像。

11.根据权利要求1至10中任一项所述的图像处理装置，其特征在于，上述被检查区域是粘膜区域。

12.根据权利要求10或11所述的图像处理装置，其特征在于，上述光流场计算部使用相当于血液的吸收波段的颜色成分，来计算光流场。

13.根据权利要求10至12中任一项所述的图像处理装置，其特征在于，上述边缘提取部提取相当于血液的吸收波段的颜色成分的边缘。

14.一种图像处理程序，其使图像处理装置执行如下步骤，其中该图像处理装置对按照时序拍摄检查对象物得到的时序图像进行处理，检测上述检查对象物上的异常部位：

类别区域分割步骤，将构成上述时序图像的各图像内部分割为类别区域，其中上述类别区域包括摄入了上述检查对象物的被检查区域以及可能是摄入了上述异常部位的异常区域的异常候选区域；

光流场计算步骤，根据构成上述时序图像的图像，计算上述被检查区域以及上述异常候选区域的光流场；以及

异常区域检测步骤，比较上述被检查区域的光流场与上述异常候选区域的光流场，根据比较的结果将上述异常候选区域检测为上述异常区域。

15.一种图像处理方法，对按照时序拍摄检查对象物得到的时序图像进行处理，检测上述检查对象物上的异常部位，其特征在于，该图像处理方法具有：

类别区域分割步骤，将构成上述时序图像的各图像内部分割为类别区域，其中上述类别区域包括摄入了上述检查对象物的被检查区域以及可能是摄入了上述异常部位的异常区域的异常候选区域；

光流场计算步骤，根据构成上述时序图像的图像，计算上述被检查区域以及上述异常候选区域的光流场；以及

异常区域检测步骤，比较上述被检查区域的光流场与上述异常候选区域的光流场，根据比较的结果将上述异常候选区域检测为上述异常区域。

Images