CN102843186A - 信息传输系统、信息发送装置、信息接收装置、信息传输方法、信息发送方法和信息接收方法 - Google Patents

Abstract

一种信息传输系统，由以下装置构成：信息发送装置，所述信息发送装置包括发光部、调制部和发光控制部，所述发光部以多种颜色发光，所述调制部将所要发送的信息调制为由颜色改变构成的信号，所述发光控制部控制发光部发光，同时基于调制部产生的信号瞬时改变颜色；以及信息接收装置，包括摄像机以及控制和通信部，所述摄像机捕捉具有颜色的图像，所述控制和通信部从摄像机连续捕捉的图像中检测受信息发送装置发光控制而发光的发光部的瞬时颜色改变，将检测到的颜色改变解码成信息，并向显示部输出所产生的信息。

Description

信息传输系统、信息发送装置、信息接收装置、信息传输方法、信息发送方法和信息接收方法

相关申请的交叉引用

本申请基于并要求于2011年6月23日递交的在先日本专利申请No.2011-139213和No.2011-139233的优先权，所述在先日本专利申请的全部内容被并入于此作为参考。

技术领域

本发明涉及使用空间光传输技术的信息传输系统、信息发送装置、信息接收装置、信息传输方法、信息发送方法和信息接收方法。

背景技术

近年来，作为使用空间光传输技术的信息传输系统，所谓数字标牌获得关注。数字标牌是指：使用连接至网络的显示装置，在家以外的位置，诸如户外、交通设施、店面和公共设施之类的发送信息的系统。

图1是示出了数字标牌使用的示意图。在图1中，居中示出了室外景象100，包括行人101和车辆102、以及位于背景中的建筑物103至105。特别地，位于中间的建筑物104在其壁面上安装有大尺寸的显示终端106。

显示终端106是数字标牌的显示装置，对从服务器(未示出)发送的信息107进行可视化并予以显示。例如，该信息107是与特定产品有关的信息。在图1所示的示例中，将手表图像作为产品予以显示。

为了销售该产品，需要通告价格、销售时间、销售地点等。

在图1所示的示例中，提供光调制区域1061至1064，以传递上述信息。在显示终端106的屏幕的某部分(图1的四个角落)中提供这些调制区域1061至1064，并且通过调制区域的光的时序改变来发送所需信息。

作为结果，当街上的人们看到显示终端106的显示并使用他或她的移动电子单元108捕捉到广告图像时，他们可以知道与产品有关的详细信息，如价格、销售时间和销售地点。

在图1所示的示例的情况下，产品的画面110和包括与产品有关的详细信息(打折信息，如5折；打折时间，如从11:00到15:00；等)的文字气球显示在移动电子单元108的屏幕109上。

作为空间“光”传输技术的类型，例如，以下类型是已知的。

在美国专利No.6,933,956中，描述了由光发送单元和光接收单元构成的空间光传输系统的技术。

该技术的概况基本如下：发光单元在逻辑上确定构造出所要发送的信息的比特序列；基于确定结果，从两个预先准备的彼此相关性低的比特模式序列中择一选择比特模式序列；根据选择结果对光进行调制；发送调制光。光接收单元接收光，并基于光的强度产生二值化信号；当二值化信号中包括的比特模式序列与两个比特模式序列中的任一个相对应时，产生逻辑信号1或逻辑信号0；以及再现光中包括的信息。

在日本专利申请待审(Kokai)公开No.2005-267169中，描述了使用着色的并具有相同色调值的闪光信号来实现定位技术。

在日本专利申请待审(Kokai)公开No.2006-072778中，描述了使用规定的色调差改变来发送和接收四个状态的技术。

在日本专利申请待审(Kokai)公开No.2010-287820中，描述了实现高速通信的技术，其中，除了颜色改变，还使一种颜色高速闪烁，用增加的图像传感器的光电二极管以外的光电二极管来检测光强，并从而叠加另一信号。

在日本专利申请待审(Kokai)公开No.2009-186203中，描述了通过三种颜色的发光体的组合执行传输的技术。

然而，在USP No.6,933,956中描述的技术仅仅是基于光的闪烁的传输技术，使用逻辑信号1和逻辑信号0来执行光传输。因此，存在以下问题：当具有一般帧速率(约30fps)的普及摄像机接收到由二值闪烁光产生的信号(二值调制信号)并且再现信息时，需要相当长的时间量(约2秒，将在后面详细描述)。

虽然可以如其他已知技术中那样使用红色(R)、绿色(G)和蓝色(B)的颜色组合来执行多值光调制来解决该问题，但简单地执行值复用增加了光接收装置的处理负荷。

发明内容

本发明的目的是，能够在不增加处理负荷的情况下对多值光传输信息进行解码。

为了实现上述目的，根据本发明的一方面，提供了一种信息传输系统，包括：信息发送装置，包括发光部、调制部和发光控制部，所述发光部以多种颜色发光，所述调制部将所要发送的信息调制为由颜色改变构成的信号，所述发光控制部控制发光部发光，同时基于调制部产生的信号瞬时间改变颜色；以及信息接收装置，包括成像部、检测部、解码部和信息输出部，所述成像部捕捉具有颜色的图像，所述检测部从成像部连续捕捉的图像中检测受发光控制部的发光控制而发光的发光部的瞬时颜色改变，所述解码部将检测部检测到的颜色改变解码成信息，所述信息输出部输出所述解码部产生的信息。

根据本发明的另一方面，提供了一种信息发送装置，包括：图像显示部，具有发光部，所述发光部在像素单元中以多种颜色发光；调制部，将所要发送的信息调制为由颜色改变构成的信号；以及发光控制部，控制图像显示部的像素区域发光，同时基于调制部产生的信号瞬时改变颜色。

根据本发明的另一方面，提供了一种信息接收装置，包括：成像部，捕捉具有颜色的图像；检测部，从成像部连续捕捉的图像中检测颜色瞬时改变的像素区域；解码部，将检测部检测到的颜色改变解码成信息；以及信息输出部，输出解码部产生的信息。

根据本发明的另一方面，提供了一种信息传输方法包括：调制步骤，将所要发送的信息调制为由颜色改变构成的信号；发光控制步骤，控制以多种颜色发光的发光部，使得发光部发光，同时基于在调制步骤中产生的信号瞬时改变颜色；检测步骤，从由捕捉具有颜色的图像的成像部连续捕捉的图像中，检测在发光控制步骤中受发光控制而发光的发光部的瞬时颜色改变；解码步骤，将在检测步骤中检测到的颜色改变解码成信息；以及信息输出步骤，输出在解码步骤中产生的信息。

根据本发明的另一方面，提供了一种信息发送方法，包括：调制步骤，将所要发送的信息调制为由颜色改变构成的信号；发光控制步骤，控制具有发光部的图像显示部的像素区域，以进行发光，同时基于在调制步骤中产生的信号瞬时改变颜色，所述发光部在像素单元中以多种颜色发光。

根据本发明的另一方面，提供了一种信息接收方法，包括：检测步骤，从由捕捉具有颜色的图像的成像部连续捕捉的图像中，检测颜色瞬时改变的像素区域；解码步骤，将在检测步骤中检测到的颜色改变解码成信息；以及信息输出步骤，输出在解码步骤中产生的信息。

当结合附图阅读以下详细描述时，本发明的以上和其他目的和新颖特性将更充分地显现出来。然而，应明确理解的是，附图仅用于示意，而不是对本发明的限制的定义。

附图说明

图1是示出了数字标牌的应用的示意图；

图2是根据本发明实施例的信息传输系统的方框图；

图3A是点亮状态下调制区域(发光部5[1061至1064])的示意图；

图3B是未点亮状态下调制区域(发光部5[1061至1064])的示意图；

图4是根据实施例的光通信的信号格式的示意图；

图5是滤色器中颜色分离特性的示意图；

图6是图5中的结果被转换为HSV空间的示意图；

图7是编码表格的示意图；

图8是光接收装置3的内部处理的流程图；

图9是图8中步骤S3的子流程图；

图10是图8中步骤S4的子流程图；

图11A是示出了利用纵横比执行调制区域的形状评估的实例的示意图，其中，四边形形状的调制区域外接于四边形内；

图11B是示出了利用纵横比执行调制区域的形状评估的实例的示意图，其中，不规则形状的调制区域外接于四边形内；

图11C是示出了利用面积填充率执行调制区域的形状评估的实例的示意图，其中，调制区域的形状基本上是椭圆；

图11D是示出了利用面积填充率执行调制区域的形状评估的实例的示意图，其中，调制区域的形状基本上是细长的椭圆；

图12是示出了在RAM 123中提供的缓冲存储器的缓冲状态的示意图；

图13是示出了候选区域表格的示例的示意图；

图14是图8中步骤S7的子流程图；

图15是图14中步骤S72的子流程图；

图16是示出了区域表格的链接的图像的示意图；

图17是示出了顺次链接区域的简化图像的示意图；

图18是示出了色调数据提取的示例的示意图；

图19是阈值设置的说明图；以及

图20是示出了色调值改变的示例的示意图。

具体实施方式

将参照附图描述本发明的实施例。

图2是在图1中使用的信息传输系统的方框图。在图2中，信息传输系统1包括发光装置2、光接收装置3和业务服务器4。

发光装置2包括：发光部5；存储部6，存储信息，如，标签标识(ID)；调制部7，用于使用在存储部6中存储的信息来对发光部5(相当于图1中的1061至1064)进行调制驱动，并且被安装在利用显示终端106在诸如户外、交通设施、店面和公共设施等位置发送信息的系统中。

发光部5基于发光部5的发光方式(发射光颜色和颜色强度瞬时改变)发送所需信息(如，标签ID)。

光接收装置3相当于图1中的移动电子单元108。该光接收装置3(108)由光学系统8构成，光学系统8包括成像透镜等、摄像机9、输入传感器10、显示部11(如，液晶显示器)、控制和通信部12等。

例如，业务服务器4是操作与数字标牌发送的信息相关的互联网上的信息供应网站或产品销售网站(所谓在线商店)的服务器。

摄像机9由安装有滤色器的二维成像装置(如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))构成。摄像机9以每秒几十帧的周期在预定视角内连续捕捉图像，并向控制和通信部12输出所捕捉的图像。在该实施例中，以典型的(并且是通用的)二维成像装置为例，摄像机9的图像捕捉周期是每秒30帧(30fps)。发光装置2的调制部7的调制频率是图像捕捉周期的一半，换言之，15Hz。

例如，输入传感器10是用于检测由用户操作输入的各种信息的传感器。具体地讲，输入传感器10是包括数字键区的QWERTY键盘或触摸面板。

显示部11是高清显示装置，如，液晶显示器。该显示部11对从控制和通信部12相应输出的随机信息进行可视化，并输出和显示该可视化信息。

控制和通信部11包括：与业务服务器4接口连接的通信接口；计算机或微处理器(以下，称为中央处理单元[CPU])121；只读半导体存储器(以下，称为只读存储器[ROM])122；以及可写/可读半导体存储器(以下，称为随机存取存储器[RAM])123。

控制和通信部12是包括外围电路(未示出)在内的程控系统的控制元件。该控制和通信部12将预先存储在ROM 122中的控制程序加载在RAM123中，并通过CPU 121执行控制程序。

[调制方法和物理格式]

图3A和图3B是在数字标牌的显示终端106的某些部分中提供的调制区域(发光部5[1601至1604])的示意图。如图3A所示，发光部5(1601至1604)被表示为：由数字标牌的显示终端106的预定部分(如终端的角落)内的若干像素构成的组。

由2×2像素构成的发光部5(1601至1604)的外围环绕着像素框(在本例中，是由被标记为Bk的12个像素构成的框)，该像素框使接收装置3(108)能够区分发光部5(1601至1604)和数字标牌的图像。该像素框由始终处于未点亮状态的黑色像素构成。

例如，当以红色点亮发光部5(1601至1604)的所有像素时，发光部5(1601至1604)进入图3A所示的状态。当使发光部5(1601至1604)的所有像素熄灭时，如图3B所示，发光部5(1601至1604)是黑(Bk)的。

应该指出，框部的形状和像素数目不限于该示例。

图4是根据本发明实施例的信号格式的示意图。

在图4中，信号格式13由首部部分131和数据部分132构成，首部部分131由一个非发光脉冲(黑色)构成，数据部分132由后续九个脉冲构成，在后续九个脉冲中，点亮红色(R)、蓝色(B)和绿色(G)三种颜色中的任一种颜色。由于与前述黑(未点亮)白(点亮)二值不同，数据部分132的多种颜色(三种颜色)是三值的(R，G， B)，可以说在该示例中执行三值调制。

在首部中使用单个脉冲“黑色”的原因在于：“黑色”的亮度值明显且显著地不同于其他彩色，因此更易于分离黑色，而不受到混色的影响。

需要指出的是，虽然在图4中执行了使用包括红色、蓝色和绿色在内的三种颜色的三值调制，但本发明不限于此，并且例如可以使用包括青色、品红色和黄色在内的其他三种颜色。可选地，可以使用在这些颜色中添加了白色的七种颜色。即，可以使用超过三值的多个值。

对所要使用的颜色配置(值的数目)的选择主要是工作场景的改变。

例如，可以采用基于摄像机9的颜色分离特性、自动白平衡(AWB)特性等被认为合适的颜色配置。

图5是发光部5(1601至1604)和摄像机9的颜色分离特性的示意图。

如图5所示，实际上，即使仅点亮红色时，也包括微量的绿色波长分量和蓝色波长分量。

因此，在本实施例中，使用三原色，即，红色、蓝色和绿色并且是相对可分离的。

图6是图5中的颜色空间被转换为色调、饱和度和值(HSV)的图。

图6显示：红色、绿色、蓝色等彩色具有一定或更高的饱和度，并且即使当亮度减小时，也易于将它们分离并与黑色(未点亮)区分。

相应地，借助如根据本发明实施例之类的颜色调制，能够获得以下有益效果。例如，当要输出与数据部分132中的9比特相当的数据时，采用三色调制，该数据部分132的有理数表示是“3^9”(即，39)。该“3^9”以十进制表示为“19,683”，并且该“19,683”以二进制表示为“100110011100011”，或者换言之，是15比特的数值序列。因此，可以用至少9个脉冲表示14个比特或更多个比特。

图7是示出了将数据值转换为发光信号序列的编码图表的示意图。

该编码图表事先存储在控制和通信部12的ROM 122中。

该图表中的编码信号“1”、“2”和“3”分别表示“红色”、“蓝色”和“绿色”。

相应地，“123”表示按“红色到蓝色到绿色”的顺序发光。

当编码信号是“132”时，或者换言之，当按“红色到绿色到蓝色”的顺序发光时，获得4种类型的编码结果。

例如，在图7的编码图表中，不具有冗余的第一编码结果是“8”，具有低冗余的第二编码结果是“7”。具有中等冗余的第三编码结果是“7”，且具有高冗余的第四编码结果是“2”。

此外，不具有冗余的第一编码有27个值，从1到27。

具有低冗余的第二编码有24个值，从1到24。

具有中等冗余的第三编码有8个值，从1到8。

具有高冗余的第三编码有6值，从1到6。

第一编码能够以比传统的二值信息传输高得多的速度发送更多信息。然而，当控制和通信部12利用摄像机9接收该信息(捕捉图像)时，可能将相同颜色持续一定时间量的像素区域被误认为是没有改变的一部分背景图像。

第二编码消除了相同颜色的发光持续一定时间量的状态(换言之，仅“111”、“222”和“333”)。

在第三编码中，将起初识别的颜色用作参考，下一颜色与起初识别的颜色的色调距离较远。

在第四编码中，三个连续脉冲的颜色始终不同，由此可以消除天然存在的颜色噪声。

应该指出，编码选择是基于配置了发光装置2的设备的环境和特性做出的。

接着，将描述光接收装置3的操作。

图8是整个光接收装置3执行的内部处理的示意图。

在处理中，首先，光接收装置3重置RAM 123中的帧计数器(步骤S1)，并且在RAM 123中存储摄像机9捕捉的帧(步骤S2)。

接着，光接收装置3产生存储帧的二值图像(步骤S3)，并且在RAM 123中创建候选区域表格(步骤S4)之后，将候选区域表格注册在列表中(步骤S5)。

然后，光接收装置3判断帧计数器是否是预定值n(步骤S6)。当判断帧计数器不是预定值n时，光接收装置3返回步骤S2。当判断帧计数器是预定值n时，光接收装置3执行解码处理(步骤S7)，并且在执行信息显示处理(步骤S8)之后，重复步骤S1和后续步骤。

更具体地，在步骤S3，执行以下处理。

[针对每帧的候选区域检测以及注册至候选区域表格]

(a)颜色增强校正处理：

作为HSV颜色空间处理之前的处理，使用诸如下式(1)中之类的转换矩阵，数字标牌对发光部5(1061至1064)的调制光执行从RGB到R′G′B′的颜色分离。

作为该处理的结果，进一步突出了具有高饱和度的颜色，并且方便了分离。

[式1]

$\left(\begin{array}{c}{B}^{,}\\ G^{,}\\ R^{,}\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ b_{11}& b_{12}& b_{13}\\ c_{11}& c_{12}& c_{13}\end{array}\right)\left(\begin{array}{c}B\\ G\\ R\end{array}\right)$

式(1)中矩阵中的分量a、b和c是诸如下式(2)中的那些值。就矢量空间而言，该处理使颜色空间内的值更接近于相应的RGB轴。

a＝(a11，a22，a33)＝(-1.7，-0.65，-0.1)

b＝(b11，b22，b33)＝(-0.9，1.9，-0.1)

c＝(c11，c22，c33)＝(-0.1，-0.1，1.1)

                                    ...(2)

(b)转换至HSV颜色空间

所捕捉的图像的饱和度不受周围环境的影响，并且通常未改变。相反，已进行了RGB分解的每个颜色矢量的值具有受周围环境影响的特性。为了应对传统的基于亮度的搜索中的这种特性，通过转换至HSV颜色规范系统，而不是以RGB表示，来执行搜索。

在颜色调制方法实例和由上述物理格式指示的颜色调制中，无论发射光的颜色如何，数据部分中的脉冲的成像结果始终具有高饱和度(S)值，即使色调稍稍波动也是如此。

图9是图8中步骤S3的处理的详细流程图。

如图9所示，在步骤S3的处理中，光接收装置3将RGB颜色空间中的捕捉图像转换为HSV颜色空间中的图像(步骤S31)。接着，光接收装置3在以HSV颜色空间表示的转换图像中，针对由S(饱和度)参数表示的图像(以下，称为S图像)和由V(亮度：又称I[强度])参数(以下，称为V图像)表示的图像的每个像素设置合适的阈值，并对它们进行二值化(步骤S32)。

如此获得的S图像和V图像及其逻辑乘积被设置为表示通信区域候选的黑白二值图像(步骤S33)。

[标记处理]

接着，将描述本实施例的特性特征之一的标记处理。

在该处理中，将始终包括排除了首部部分131的光调制区域且颜色特性恰巧匹配的区域的图像获取为黑白二值图像。作为结果，例如，获得图像，其中，颜色特性似然度高的区域呈白色，与黑色背景形成对比。

图10是图8中步骤S4的处理的详细流程图。

如图10所示，光接收装置3首先执行所谓标记处理，其中，识别连续区域和基本形状参数(步骤S41)。更具体地，光接收装置3执行处理，在上述候选图像中识别每个连通的白色区域，并确定其形状信息。

应该指出的是，在本实施例中，获取该区域的重心、面积(像素面积)、以及外界四边形区域四个角落的坐标。

在后续处理中，光接收装置3提取所获得的连通域之一(步骤S42)，并基于与形状有关的条件执行过滤。首先，光接收装置3将面积(面积尺寸)过小(如2×2像素方块或更小)的区域当作噪声加以去除(步骤S43)。

接着，光接收装置3评估作为步骤S41的标记处理的结果检测到的区域的形状。在本实施例中，为了简化处理，光接收装置3使用纵横比基于形状似然度执行评估(步骤S44)。

图11A至图11D是用于说明调制区域的形状评估的示意图。

图11A和图11B是示出了调制区域的形状(白色部分)的纵横比的示意图。H是调制区域形状的外接四边形的长边长度，W是调制区域形状的外接四边形的短边长度。图11C和图11D是示出了调制区域的形状针对预定面积P(在图11C和图11D中是10×10像素)的面积填充率的示意图。该面积填充率是通过调制区域形状(白色部分)的面积A除以预定面积P(10×10像素)的值获得的。

如上所述，事先设置区域被看作调制区域的有关纵横比和面积填充率方面的条件，从而不将不满足条件的区域看作是调制区域(步骤S45)。

尚未消除的区域很可能是调制区域，并且因此光接收装置3将其注册在候选区域表格中(步骤S46)。随后，光接收装置3重复上述步骤S42至S45，直至判断出已对可能是调制区域的全部候选区域完成该处理(步骤S47的“是”)。

结果是，通过步骤1至步骤S6获取了所需数目帧的列表表项，并将列表表项注册为表格列表。

然而，由于相位关系是不确定的，帧采样是每个脉冲周期两次，换言之，对于基于15Hz脉冲的调制，是30fps。相应地，由于如上所述构成块的脉冲数目是10个脉冲，列表表项是n＝2×10＝20，并且缓冲状态如下述图2所示。

如上所述，在本实施例中，针对调制区域，基于与形状有关的条件进行过滤，由此事先消除例如明显不同或明显过小的形状。因此，可以减小与光接收装置3搜索信息光源区域有关的处理负荷。

在其实际实现中，当执行帧分析且在创建候选区域表格并添加至表格列表的过程期间当前图像捕捉条件(周围环境、摄像机抖动状态等)明显不适于通信时，例如，当检测到的候选区域的数量连续为零达一定次数时，可以在该过程期间重置该处理。

[解码处理候选的过滤处理]

图12是示出了在RAM 123中提供的缓冲存储器的缓冲状态示意图。

上部的F0至Fn是帧，下部的表格指示针对每帧F0至Fn的候选区域表格的缓冲状态。

应该指出，提供了与n个帧(n是自然数)数量相当的多个候选区域表格。当达到预定数目的帧时，重写内容。

为每帧提供候选区域表格的原因是：在处理时序图像时，通过将压缩信息用作候选区域表格，而不是在像素数据级别下沿时间方向处理大量图像，来大大地降低计算量。

在此，将描述为每个捕捉(成像)帧产生的候选区域表格的示例。

图13是示出了针对帧编号Fn＝0的候选区域表格的示例的示意图。

在图13中，针对每个区域编号(A)，示出了重心坐标(cx，xy)、面积(尺寸)和色调值(色调)。

例如，针对区域编号0，示出了重心坐标(10，50)、面积(70)和色调值(80)。

此外，针对区域编号1，示出了重心坐标(111，321)、面积(23)和色调值(200)。

如上所述，在本实施例中，在候选区域表格中顺次存储经标记处理的区域的重心坐标(cx，xy)、面积(尺寸)和色调值(色调)。

应该指出，在以下描述中，将单独候选区域的标识表示为Fn:Am，并将其内部参数的标识表示为Fn:Am:(cx，cy)。

此外，在本实施例中，使用面积信息来确定两个区域重心(x1，y1)和(x2，y2)间的距离。

然而，由于面积已是坐标平方的维度，考虑使加法能够作为相同维度的评估手段。

√((x2-x1)^2+(y2-y1)^2+(√Size2-√Size1)^2)                         ....(3)

式(3)表示：在对面积进行平方根计算后，进在三维中进行普通矢量的距离计算。

实际上，在相对较小的阈值范围(如0至10)内运算式(3)。因此，为了获得相似的评估值同时减小计算量例如，整体求平方，可以将式(3)修改为下面的式(4)。

(x2-x1)+(y2-y1)+√(Size2-Size1)                     ....(4)

作为计算结果，在调制区域之间的相似度评估中，可以考虑“小评估值＝相同区域”。

图14是图8中步骤S7的处理的详细流程图。

在该流程图中，光接收装置3将处理目标帧的候选帧点和针对1至3个帧先前获取的帧的候选帧点输入到上述表达式(4)，并计算评估值。接着，光接收装置3使用评估值，来创建处理目标帧的候选帧点和针对1至3帧先前获取的帧的候选帧点的链接表(步骤S71)。

接着，光接收装置3依次链接这两帧之间的链接表，同时在允许范围内(在本例中为2帧)，对因作为黑色数据而为黑(不发光)而造成坐标点不存在的帧进行插值，并确定连续18个帧的一系列坐标点组群(步骤S72)。

接着，光接收装置3消除经过3帧仍不存在候选点的非连续链接元素，并重新排列与18个帧数量相当的候选点组群集合，使得链接的起始为黑色(步骤S73)。

接着，光接收装置3提取由与18个帧数量相当的有关坐标点组群构成的完全链接区域(步骤S74)。然后，光接收装置3对与每个坐标点相对应的色调值(光信号序列)执行解码处理(步骤S75)，并判断是否获得了有效的解码结果(解码值)。

当判断获得了有效的解码结果时，光接收装置3为显示系统处理而对坐标和数据执行请求排队，以便显示文字气球111等(步骤S77)。接着，光接收装置3判断对与18个帧数量相当的全部坐标点组群的处理是否已经完成(步骤S78)。即使在未获得有效解码结果时，光接收装置3也判断对与18个帧数量相当的全部坐标点组群的处理是否已经完成。在任何一种情况下，当判断对与18个帧数量相当的全部坐标点组群的处理未完成时，光接收装置3重复步骤S74和后续步骤。

图15是示出步骤S72的处理的详细流程图。

在该流程图中，首先，光接收装置3定义处理目标帧Fx，并且就时间而言沿正向使处理目标帧Fx前移1(步骤S721)。接着，光接收装置3从处理目标帧Fx中提取一个区域候选Ax(步骤S722)，并将处理目标帧Fx定义为Fd＝Fn+1(步骤S723)。

接着，光接收装置3使用上述式(4)计算区域候选Ax和处理目标帧Fd的每个元素的评估值(步骤S724)，并基于评估值确定最小链接组合(步骤S725)。

接着，光接收装置3判断所确定的最小链接组合的评估值是否等于小于事先设置的阈值(步骤S726)。当判断评估值不等于小于该阈值时，光接收装置3判断当前处理目标帧Fd是否是第fn+3个帧(步骤S728)。当判断当前处理目标帧Fd是第fn+3个帧时，光接收装置3判断仍未发现链接区域(步骤S729)，并重复步骤S722和后续步骤。

在步骤S728，当判断当前处理目标帧Fd不是第fn+3个帧时，光接收装置3插入哑数据(“跳过”)，并且就时间而言沿正向使处理目标帧Fd前移1(步骤S730)。然后，光接收装置3重复步骤S724和后续步骤。

在步骤S726，当判断最小链接组合的评估值等于小于事先设置的阈值时，光接收装置3将当前列表注册在链接表中作为相邻列表(步骤S727)，并且判断对处理目标帧的所有区域的处理是否已经完成(步骤S731)。当判断仍未完成该处理时，光接收装置3重复步骤S722和后续步骤的处理。当判断已完成该处理时，光接收装置3判断是否已完成对所有帧的评估(步骤S732)。当判断仍未完成评估时，光接收装置3返回步骤S721。当判断已完成评估时，光接收装置3结束处理。

应该指出，在本实施例的式(4)中，30或更小的评估值被“认为是相同的”。在根据本实施例的物理格式中，当饱和度和亮度较高时，执行链接。然而，由于始终包括首部(黑色)，当执行图15的处理时针对每帧的区域表格的链接如图16所示。

图16是区域表格的链接图像。

在该图像中，实线连接的部分表示执行可见光通信的每个候选区域的链接状况。

另一方面，虚线表示以下状况：虽然未明显地确定是否正在执行通信，但判断已对评估值级别进行了链接。

在步骤S73，评估所确定的链接。在此时存在调制信号的区域中，始终存在在所有20个帧上链接的路径(解码结果的连接)。因此，消除其他区域。

图17是示出了判断为依次链接的区域的简化图像的示意图。将跳过链接的图像看作为黑色(不点亮)，并插值为具有饱和度0。分别提取其他图像的区域Am的色调数据。

图18是当色调值具有0到360的范围时色调数据提取的示例的示意图。在图18中，仅排列每个候选区域元素数据(单独的F0:A0等)中保持的色调值，对应于重新排列为图17中的最终链接候选的结果。

这样，根据单个帧的颜色和形状候选，确定作为基于时间的链接的候选。如果考虑该色调值如在典型定义中那样具有0到360的范围，由图17中链接区域保持的光信号值(在本实施例中，当被改变为色调值链接时)变为图18所示。将被判断处于未点亮状态和跳过的区域看作具有明显位于色调值范围以外的值(例如，-1)。

返回图14中的流程图，首先，CPU 121消除不能作为调制区域存在的链接区域。这些区域是满足“不存在首部部分131(-1状态)”条件的候选区域。

当在上述物理格式中采样了19个帧时，信号区域始终具有1或2个未点亮时段(由于信号脉冲和帧捕捉定时之间的相位关系的缘故)。因此，消除“1或2个连续的-1不只发生1次的”区域(不把从-1移除了其他值后-1仍然存在的区域看作为信号)。

选择满足该条件的区域的值序列。例如，在图18中示例的情况下，由于不存在未点亮定时，消除区域编号1。

接着，使色调值序列循环移位，以从1或2个连续的-1开始。

至此的处理是步骤S73的处理。

在步骤S74和步骤S75，CPU 121检查有关每个链接结果的调制的有效性，选择相位，并执行解调。

[阈值设置]

图19是阈值设置的说明图。

如图19所示，考虑摄像机侧的颜色特性(包括动态AWB控制的效果)和发射侧的光源，在色调轴上设置调制信号的颜色发射脉冲的可能范围的阈值。例如，R的阈值接近于0(或360)，G的阈值接近于120，B的阈值接近于240。

有关指出，虽然本实施例中阈值是固定的，可以通过根据与摄像机9的特性匹配的环境设置阈值或在色调分布中的峰之间的谷中设置阈值来动态优化阈值。

此外，优选的是，针对每个发光点优化这些阈值，从而即使在接收到具有不同颜色特性的多个发光信号时也能够执行更稳定的接收。

如上所述，由摄像机9以30fps对以15Hz(脉冲周期66ms)改变的颜色进行采样。因此，可以认为18个采样序列由两个相位A和B构成。

以下是色调值改变的示例，其中，如上所述，被看作未点亮状态的峰首先出现。

图20是示出了色调值改变的示例的示意图，其中，纵轴是色调值，横轴是帧编号，相位A和相位B沿横轴排列。如图20所示，色调值改变的模式是变化的。在本例中，相比而言，相位A是最优相位，在相位B，颜色总是改变。

关于与光源的相位关系，可以在相位A和相位B中获得阈值内的值。例如，在从接近于0的R到B的转变中，中间值接近于B和R间的300，而不是G。相反，在从接近于340的R到G的转变中，中间值接近于Y的60，而不是相位B。

在任何一种情况下，当区域候选是调制信号时，相位B序列和相位B序列中的任何一个始终在值范围阈值内。

通过上述处理，确定了正在进行通信的区域，并且用可应用于解码表格的颜色信息行表示光信号在观察值级别下的改变。接着，当把颜色信息行与图7中的解码器表格比对时，获得传输比特数据。

当然，基于图7中关于冗余的规则，消除饱和度、空间形状、基于时间的链接等恰巧匹配的噪声区域。因此，极不可能恰巧将天然的改变看作为数据。

在本实施例的处理中，天然的改变可能恰巧匹配。相应地，优选的是，针对较高阶层，通过检错、纠错等来防止接收差错。

作为结果，可以通过本实施例实现以下效果。

由于使用了以至少三值执行颜色调制的光传输方法，并且在例如三色调制下39等于或大于14比特，因此能够在9个脉冲中表示14比特或更多比特，从而能够缩短发送时间。

B.在对图像传感器通信的解码处理中，对帧执行基于表格的时间方向的处理。因此，可以显著降低所要处理的处理量。

C.区域中基于时间的改变是由重心和尺寸改变造成的。因此，可以执行具有高度相关性的链路判断。

D.发送侧执行固定长度的重复传输。因此，不查找通信的首部和起始采样，而是存储与数据块长度相当的数据，并从所存储的数据中取得首部。结果是，可以最小化通信获取的响应时间。

E.在基于形状条件的过滤(如，删除明显不同或过小的形状)后，执行调制区域的检测。因此，可以减小与搜索信息光源有关的光接收装置3的处理负荷。

虽然参照优选实施例描述了本发明，但本发明不限于此处详细描述的任意细节，而是包括落入所附权利要求范围内的所有实施例。

Claims (20)

1.一种信息传输系统，包括：

信息发送装置，包括发光部、调制部和发光控制部，所述发光部以多种颜色发光，所述调制部将所要发送的信息调制成由颜色改变构成的信号，所述发光控制部控制所述发光部发光，同时基于所述调制部产生的信号瞬时改变颜色；以及

信息接收装置，包括成像部、检测部、解码部和信息输出部，所述成像部捕捉具有颜色的图像，所述检测部从所述成像部连续捕捉的图像中检测受所述发光控制部发光控制而发光的发光部的瞬时颜色改变，所述解码部将所述检测部检测到的颜色改变解码为信息，所述信息输出部输出所述解码部产生的信息。

2.根据权利要求1所述的信息传输系统，其中，所述信息接收装置还包括：

转换部，将所述成像部连续捕捉的图像的颜色改变转换为包括色调、饱和度和亮度的有关颜色空间的信息作为参数；以及

产生部，产生由有关颜色空间的信息的参数表示的图像，所述颜色空间由所述转换部从由所述成像部连续捕捉的图像产生，所述参数不包括色调，

其中，所述检测部基于所述产生部产生的图像，通过识别由所述发光控制部对其进行发光控制的所述发光部的图像，来检测瞬时颜色改变。

3.根据权利要求2所述的信息传输系统，其中，所述解码部通过将所述检测部检测到的颜色改变判断为颜色空间中色调参数的改变并将所述改变转换为对应的信号序列，来将颜色改变解码成信息。

4.根据权利要求1所述的信息传输系统，其中，所述信息发送装置和信息接收装置均包括表格，在所述表格中，所要发送和接收的信息中包括的信号与多个阶段中有关颜色改变的信息相关联，

其中，所述调制部参照所述表格，将所要发送的信息调制成由颜色改变构成的信号，以及

其中，所述解码部参照所述表格，将所述检测部检测到的颜色改变解码成信息。

5.根据权利要求4所述的信息传输系统，其中，所述表格基于冗余级别定义可接受的颜色改变的类型。

6.根据权利要求1所述的信息传输系统，其中，所述信息接收装置还包括：

形状评估部，对所述成像部连续捕捉的图像中的特定区域的形状进行评估；

判断部，基于来自所述形状评估部的评估结果，判断所述特定区域是否是调制区域，

其中，所述检测部检测被判断部判断为调制区域的特定区域中的瞬时颜色改变。

7.根据权利要求1所述的信息传输系统，其中，所述信息发送装置包括显示装置，所述显示装置通过在像素单元中以多种颜色发光来显示预定图像。

8.根据权利要求7所述的信息传输系统，其中，所述发光控制部控制发光，同时使用所述显示装置的像素区域作为所述发光部来瞬时改变颜色。

9.根据权利要求8所述的信息传输系统，其中，由所述发光控制部对其进行发光控制的所述显示装置的像素区域具有绕该区域外围设置的框显示区域，用于区分在像素区域以外显示的图像。

10.一种信息发送装置，包括：

图像显示部，具有发光部，所述发光部在像素单元中以多种颜色发光；

调制部，将所要发送的信息调制成由颜色改变构成的信号；以及

发光控制部，控制所述图像显示部的像素区域发光，同时基于所述调制部产生的信号瞬时间改变颜色。

11.根据权利要求10所述的图像发送装置，还包括：

表格，在所述表格中，所要发送的信息中包括的信号与多个阶段中有关颜色改变的信息相关联，

其中，所述调制部参照所述表格，将所要发送的信息调制成由颜色改变构成的信号。

12.根据权利要求10所述的信息发送装置，其中，所述像素区域具有绕该区域外围设置的框显示区域，用于区分在像素区域以外显示的图像。

13.一种信息接收装置，包括：

成像部，捕捉具有颜色的图像；

检测部，从所述成像部连续捕捉的图像中检测颜色瞬时改变的像素区域；

解码部，将所述检测部检测到的颜色改变解码成信息；以及

信息输出部，输出所述解码部产生的信息。

14.根据权利要求13所述的信息接收装置，还包括：

转换部，将所述成像部连续捕捉的图像的颜色改变转换成包括色调、饱和度和亮度作为参数的有关颜色空间的信息；以及

产生部，产生由有关颜色空间的信息的参数表示的图像，所述颜色空间由所述转换部从由所述成像部连续捕捉的图像产生，所述参数不包括色调，

其中，所述检测部基于所述产生部产生的图像，通过识别颜色改变的像素区域，来检测瞬时颜色改变。

15.根据权利要求14所述的信息接收装置，其中，所述解码部通过将所述检测部检测到的颜色改变判断为颜色空间中色调参数的改变并将所述改变转换为对应的信号序列，来将颜色改变解码成信息。

16.根据权利要求13所述的信息接收装置，还包括：

表格，在所述表格中，在所要解码的信息中包括的信号与多个阶段有关颜色改变的信息相关联，

其中，所述解码部参照所述表格，将所述检测部检测到的颜色改变解码成信息。

17.根据权利要求13所述的信息接收装置，还包括：

形状评估部，对所述成像部连续捕捉的图像中的特定区域的形状进行评估；以及

判断部，基于来自所述形状评估部的评估结果，判断所述特定区域是否是调制区域，

其中，所述检测部检测被所述判断部判断为调制区域的特定区域中的瞬时颜色改变。

18.一种信息传输方法，包括：

调制步骤，将所要发送的信息调制为由颜色改变构成的信号；

发光控制步骤，控制以多种颜色发光的发光部，使得所述发光部发光，同时基于所述调制步骤中产生的信号瞬时改变颜色；

检测步骤，从捕捉具有颜色的图像的成像部连续捕捉的图像中，检测在发光控制步骤中受发光控制而发光的发光部的瞬时颜色改变；

解码步骤，将在所述检测步骤中检测到的颜色改变解码成信息；以及

信息输出步骤，输出所述解码步骤中产生的信息。

19.一种信息发送方法，包括：

调制步骤，将所要发送的信息调制成由颜色改变构成的信号；

发光控制步骤，控制具有发光部的图像显示部的像素区域发光，同时基于所述调制步骤中产生的信号瞬时改变颜色，所述发光部在像素单元中以多种颜色发光。

20.一种信息接收方法，包括：

检测步骤，从捕捉具有颜色的图像的成像部连续捕捉的图像中检测颜色瞬时改变的像素区域；

解码步骤，将所述检测步骤中检测到的颜色改变解码成信息；以及

信息输出步骤，输出所述解码步骤中产生的信息。

Images