CN103347436A - 口腔内拍摄显示系统 - Google Patents

Abstract

一种口腔内拍摄显示系统，其构成具备：连拍图像列形成单元，连拍齿列侧面并形成图像列；侧面齿列图像形成单元，以用上述连拍图像列形成单元形成的图像列作为局部齿列图像，从成为全体合成的中心的图像开始合成，形成多个局部齿列图像；以及侧面齿列图像合成单元，基于在用上述侧面齿列图像形成单元形成的多个局部齿列图像间成为全体合成的中心的图像，进行连结合成来形成全体的齿列。通过这种构成，使用手持式的口腔内照相机，形成侧面齿列的全景图像并将其显示在计算机监视器上，向患者提供宽范围的牙科治疗方案，与此同时可以实现患者积极参与牙科诊疗。

Description

口腔内拍摄显示系统

技术领域

本发明涉及拍摄口腔内全部并全景显示的系统。

背景技术

龋齿等口腔内疾病的治疗在作为目的治疗结束时大多也就不再定期去医院。龋齿的治疗大多自患者自觉有牙痛、不适感等的症状开始，治疗一结束大多也就不在定期去医院，所以即使有其他的龋齿，在没有自感症状的情况下，大多是置之不理，直到龋齿发展才开始定期去医院。另外，只去一次医院是不能解决口腔内全部的健康问题的，虽然没有污垢、肿胀、缺损、牙石、磨损、唾石、异常等自觉症状，但可以从外部看出的症状本人不知道的情况也常有。

对于牙科业的经营来说，虽然不能说有进行单个治疗其收益性一定好的情况，但还没有发现解决的好办法。例如，在专利文献1中表示在计算机监视器上显示全齿列，通过在各个牙齿上着色，患者一侧也容易看懂的电子病历的构成。齿列的易见性还是知情同意书要求的要件，而即使全齿列的一部分是易见的状态，为了提供给治疗的说明，也需要进一步放大，以理解其治疗目的那样的构成。

另外，在专利文献2中记载了在计算机的监视器画面上显示多张预先拍摄的口腔内图像数据的构成。进而，在专利文献3中公开了通过采用使用计算机的动画、静止图像显示进行的演示技术，提高专业术语的理解等，知情同意书用的工具。另外，还记载有这种演示技术在小学、中学、各企业、老人设施等中可以用于教育的情况。进而，在专利文献4中公开了对X射线图像进行可视化的荧光膜、将可视化的图像用棱镜反射并用照相机拍摄的构成。

作为其他的牙科医疗相关的专利文献，例如可以列举以下那样的文献：专利文献5：带视频设备的口腔清洗器；专利文献6：口腔内照相机装置及其方法；专利文献7：牙科观察诊断用喷枪；专利文献8：口腔内照相机的遥控开关；专利文献9：显示器一体型口腔照相机；专利文献10：口腔内拍摄装置以及牙镜；专利文献11：牙科用拍摄装置；专利文献12：牙周检查用辅助工具；专利文献13：定期性检查方法以及装置；专利文献14：在牙科医疗环境中使用的装置；专利文献15：医疗用X射线图像检测装置。

专利文献1：特开平10-97404号公报

专利文献2：特开2005-334426号公报

专利文献3：特开平10-97405号公报

专利文献4：特开平10-201757号公报

专利文献5：特开2001-212161号公报

专利文献6：特开2005-144171号公报

专利文献7：特开昭62-246347号公报

专利文献8：特开2001-29315号公报

专利文献9：特开2002-355262号公报

专利文献10：特开2005-304600号公报

专利文献11：实公平5-30402号公报

专利文献12：实用新型登记第3131408号公报

专利文献13：美国专利第5752827号说明书

专利文献14：特开2009-516555号公报

专利文献15：特开平5-130991号公报

通过图像显示进行的口腔内的观察虽已有许多提案，但毕竟停留在以往单个的在局部的治疗系统上仅对患者提供信息，还没有达到谋求口腔内牙齿整体的健康那样的系统。

另外，在牙科医生向患者进行治疗说明时，虽然也有使用通过牙科用照相机拍摄自己的口腔内图像或X射线图像的时候，但图像本身难读懂。

进而，对患者来说容易看懂的图像和数据对牙科医生来说容易对患者进行诊疗说明，并且可以期待患者对口腔内的关心和自我管理意愿的增加，但回答这种期待的设备、图像显示等还未提出。

牙科医疗业随着牙科诊所的增加，不得不有意识的管理，为了稳定的经营，需要推进新的牙科诊疗，控制成本、得到定期来医院的患者、牙科医疗业的合理化。例如，也有在前面引用的实用新型登记第3131408号公报所述那样的便携终端。

发明内容

鉴于上述问题本发明提出了这样的方案，具备：连拍图像列形成单元，连拍齿列侧面并形成图像列；侧面齿列图像形成单元，以用上述连拍图像列形成单元形成的图像列作为局部齿列图像，从成为全体合成的中心的图像开始合成，形成多个局部齿列图像；以及侧面齿列图像合成单元，基于在用上述侧面齿列图像形成单元形成的多个局部齿列图像间成为全体合成的中心的图像，进行连结合成来形成全体的齿列。通过这样构成，如果采用本发明，则能够使用手持型的口腔内照相机形成清晰的全景齿列，通过进一步将X射线全景齿列图像、虚拟矫正或者虚拟审美着色的全景齿列并列设置显示，或者叠加显示，可以扩大在齿科中的诊疗范围。

进而，本发明提出了这样组合的提案，包含：单位图像化单元，针对每个诊疗改善单位，对口腔内进行图像化；设定单元，对用上述单位图像化单元进行单位图像化了的图像设定诊疗改善顺序信息；以及显示单元，基于诊疗改善顺序信息，能够一览显示地显示附加有上述诊疗改善顺序信息的图像；以及显示介质，显示并记录用上述显示单元得到的显示信息。通过这样构成，如果采用本发明，则通过提高患者对治疗的认识，促进口腔内的健康，同时实现可以持续获得患者提高牙科医疗业的经营效率。

进而，本发明提出了这样的方案，使用具备处理器、存储器、通信单元、输入单元以及显示单元的小型便携终端实现牙科工作人员使用计算机等的监视器用上述说明的方法等对患者说明治疗内容用的数据创建，和牙科工作人员的考勤处理、诊疗费处理等的使用计算机进行的数据处理。通过使用这种小型便携终端，在本发明中实现促进牙科医疗业的合理化。

在本发明中表示的图像是最终表示数字图像的图像，可以使用动画、静止图像之一。另外，所谓本发明中的“作为全体合成的中心的图像”例如表示在合成2个部分全景图像图像时两者共用的图像。所谓“全体”并不只表示最终的全体全景齿列图像，例如在形成3个及以上的局部齿列图像的情况下，还包含最初合成2个局部全景齿列图像获得的合成过程中的全景齿列图像。所谓“从作为整体合成中心的图像进行合成”是表例示如从门牙表面中央之一的牙齿的一部分来到中央的图像开始，对连拍槽牙方向的齿列得到的多张静止图像进行合成形成左侧部分齿列全景图像和右侧部分齿列全景图像的意思。所谓“连结合成”是表例示如用左侧部分齿列全景图像和右侧部分齿列清晰图像在两者共同的部分上进行合成，或者根据可连结的部位连接进行合成的意思。

本发明存在这样的情况，在包含成为合成的中心的部分的图像上设定标记，但该标记是不容易溶解于唾液、水等，具有细长的长方形形状、短的长方形形状，例如在背面上涂抹有胶粘剂、粘合剂的贴纸，表示可以剥离的附着物。另外，不限于附着物，也可以在牙齿上用绿、红等的着色的笔描绘标记，可以洗掉，且容易清楚地拍摄到。

配置标记的部位优选以附在上牙和下牙上的方式配置，但例如在只拍摄上颚、下颚之一的情况下，也可以只配置在拍摄到的一方上。另外，所谓配置标记的齿列上的规定的位置例如是通过改变照相机的拍摄方向、拿法等，中断拍摄，动作静止的位置，表示作为合成的中心的图像。

标记只要用在拍摄图像上容易识别的颜色（绿、兰等）、形状形成即可，材料、颜色可以适宜地选择。另外，当获得3维图像的情况下，也可以使用具备有特征的立体性的物质。标记显示在牙齿表面上，因为只要是在所拍摄的图像上能够明确表示位置的记号即可，所以例如可以是设置照射具有投影在牙齿表面上的尺寸是已知形状的激光瞄准光的照射单元，或如聚光灯那样，配置成可以从口腔内照相机向牙齿照射照明距离和所照射的光的面积处于对应关系的照射单元。

标记只要至少从在规定位置上拍摄了标记的图像开始进行合成即可，拍摄方向也有不需要从槽牙方向开始的情况。拍摄方向和合成方向不一定必须相反，也有时只要合成时从标记显示在规定位置上的图像向左右部分合成，最终根据标记显示在规定位置上的图像进行全体合成即可。所谓开始合成的标记的规定位置例如例示标记来到了拍摄图像的中心的情况，但不限于，在局部合成和全体合成中，只要是合成容易的部位即可。

标记例如在对牙齿的里侧侧面等，齿列的右、中央、左这3个侧面进行部分合成的情况下，也有需要右侧面和这样侧面的中间牙齿，以及中央侧面和右侧面的牙齿的2个标记的情况，也有可以附加多个标记的情况。在本发明中所说的“齿列的侧面”不仅是前面，也包含背面、咬合面。连拍表示自动拍摄每秒30张及以下的拍摄。

所谓“合成”是全景合成方法，合成时的方法只要有选择地使用现有的方法即可，可以使用单纯合成法、单纯列举法、块匹配法，以及卢卡斯卡纳德法（Lucas-Kanade法）等的光流估算法等的自动或者手动的合成方法，但优选事前用仿射变换等的图像调整单元根据图像间的共用部分调整斜率、倍率等。

所谓本发明中的特征部位是表示部分齿列全景图像结合时的结合位置的线状、点状、图形状，或者立体状的部分，例如在合成2个侧面全景图像时，表示中央的门牙和门牙的边界线，但不限于此，还包含门牙之一、有特征的牙齿也牙龈的前端等的部分。

所谓在以每个诊疗改善单位进行口腔内图像化的单位图像化单元中的口腔内表示牙齿、齿列、牙龈、牙槽骨、嘴唇、硬腭、软腭、悬雍垂等的区域。

在“诊疗”中包含诊断和治疗，对于牙科医生来说，有时诊断、治疗在专门的医疗机构中进行。

所谓“诊疗改善单位”表示龋齿、牙周病、舌癌、牙龈癌等，最好是除了表示一个检查、治疗的范围外，还表示改善污垢、校正等，预防治疗、准医疗。

所谓“改善”表示通过刷牙、氟、预防口臭剂的涂抹等可以克服的程度，和表示在牙齿上涂抹氟那样的预防处置、清洁、牙周病等的预防剂的涂抹等的行为。

所谓“图像化”除了变换为可以向计算机的监视器（显示器）装置、手机显示部输出的图像数据外，还表示可以印子、印刷在纸张上的状态等的进行2维或者3维的显示的状态。

所谓在单位图像化单元中对实施了单位图像化的图像设定诊疗改善顺序信息的设定单元的诊疗改善顺序信息是表示表现诊疗、预防、改善的顺序的记号、符号、数值等的信息，此外，是表示诊疗日期时间、病情的进展状况、病情进展的预测等的数据的信息，至少对多个单位图像只要可以确定诊疗改善的顺序即可，除了可以直接看到确认的内容外，是计算用的参数，是通过计算机计算处理可以得到确认的信息。

所谓“可以一览显示的显示”至少是诊疗改善顺序是一览显示，如果是全体能够容易理解的状态，则其构成也可以是印刷在多张纸上，或以替换的方式滚动显示多张图像的状态等。

所谓显示记录有用显示单元获得的显示信息的显示介质表示在一张及以上的纸张、册子上印子、印刷显示的状态，和以便携式显示基于JPEG、GIF、BMP等格式的图像数据的状态，所谓显示介质也有表示具备纸张式、小册子形的纸质介质，USB存储器、SD卡和具备存储器等的记录元件的显示装置、手机等的情况，但至少表示患者携带，可以看口腔内的印刷品、电子图像等。另外，因为还可以包含在因特网上的主页显示上阅览自己的口腔内数据的情况，所以在显示介质中还包含台式或者笔记本型的个人计算机。

本发明因为利用反射镜所以比较照射光的光路长，通过使用具备基于指向角的扩展的LED灯的瞄准光源，可以明确拍摄位置和拍摄范围。

另外，本发明在利用反射镜的口腔内照相机中，即使是经由该反射镜拍摄的图像，牙科医生也可以清楚地理解拍摄位置。

进而，本发明对于纵横移动的口腔内照相机的姿态，利用陀螺仪传感器测定照相机主体的角度信息，根据该主体的角度导出镜子的角度，掌握处于什么状态。通过根据拍摄状态调整图像的姿态，不管纵横移动的照相机的状态如何，都能够实现始终显示容易看的图像这一点。

在本发明中使用角速度传感器（陀螺仪传感器）、加速度传感器等的位置传感器。具体地说，例示输出角速度的速率陀螺仪、输出角度的速率积分陀螺仪、姿态陀螺仪、MEMS（微机电系统）型的其他机械式、化学式等的角速度传感器、压阻式、电容式、热检测式的MEMS传感器等的加速度传感器。

在本发明中的瞄准光的颜色只要是可以识别为照明光的颜色的颜色即可，如果照明光是白色的，则瞄准光例示红色、绿色等。另外，瞄准光的照射时刻最好是使用者开始拍摄之前的时刻，但也有在拍摄中，可以短时间照射的情况。

进而，本发明是可以安装在身体上的便携终端，在内部配置存储单元、计算机、和外部通信用调制解调单元和显示单元，由于可以进行牙科医疗业全部的输入输出，因而牙科工作人员全部可以随手进行电子病历、诊疗收费计算等，并且通过进行这些信息的共用化以及显示等的同步化，即使是有限的人员也可以分散进行牙科业务、诊疗相关业务处理，因而实现牙科医疗业的合理化。

本发明优选将操作用界面配置治疗时可以操作的位置上，但因操作者操作方式的不同，或者根据手指未达到界面这种因身体的情况不能操作的状况，和对患者说明的状况（例如，在口头说明和画面显示之间需要的情况等），设置用界面的操作方式进行操作用界面的操作和实际的执行动作的时间牙齿的调整单元。

这例如如果操作界面是开关类，则也可以是在2次连续按下开关时，用以2秒钟后执行的方式按下的次数调整延迟时间，或者用按下的次数、按下的时间等调整显示单元的显示时刻的GUI的操作。

进而本发明具备读入X射线图像，和实际图像叠加，或者例如拼接每个牙齿的X射线图像形成全景的图像，和同样拍摄结合的实际图像叠加，可以从齿列的侧面进行全景比较的单元。通过在显示单元上进行该实际图像和X射线图像的叠加、附设等，实现患者对治疗的进一步的理解。

进而，本发明用有线或无线与计算机终端连接，根据情况配备液晶显示部、数字键盘等，形成可以向使用者的手腕、脚、其他部位安装的终端，可以随手进行患者信息等和计算机终端之间的输入输出，牙科医生可以在患者看不到的状态下得到治疗所需要的过去的数据和对每个患者进行治疗说明时的准备知识，可以对患者说明确切的诊疗和治疗等。

即，可以集合为由配备输入牙科相关信息的输入部、显示牙科相关信息的显示部的便携终端；配备暂时性或者连续性记录牙科相关信息的存储单元、根据规定的算法对牙科相关信息进行处理的处理单元的主机终端；用通过无线或者有线在便携终端和中心终端之间进行信息传递的信息传递单元组成的牙科诊疗系统，在这种情况下，便携终端可以由牙科工作人员各自佩戴在手腕、脚、上半身、下半身等的身体上携带，也可以共用显示牙科工作人员全体或者其一部分的信息。

本系统除了作为上述所示那样可以携带的构成外，也可以作为平板型或者台式电脑使用，这种情况下还可以进行涉及牙科的统一管理。

本便携终端因为是可以输入输出，进行信息处理的终端，所以可以集中管理口腔内信息、牙科诊疗信息、牙科业务信息、牙科工作人员信息等的牙科医疗业相关信息。具体地说，例示了表示显示来自对应的软件、口腔内照相机等的外围设备的信息，或者进行新的数据的追加、修正、删除等的输入处理以及数据的存储进行的状态，共用其他的便携终端、主机终端的数据，进行同步显示、输入处理的状态的例子，但不限于此，只要至少可以从便携终端进行必要的牙科信息的显示和记录以及输入处理即可。

在计算机的监视器画面上，例如在便携终端的画面上进行菜单显示，此外，在使用者每次用鼠标等选择各信息时，进行切换画面的显示和在一个画面上将确定患者的全部信息各自作为窗口画面进行显示。

使用者按照画面的显示内容进行选择、更新、订正、删除等的输入。输入使用附带的数字键盘、虚拟数字键盘进行，或者通过预先设定的输入文字的鼠标和数字键盘等的选择进行。

另外，牙科工作人员的考勤的输入，例如每个工作人员使用自己的便携终端、主机终端进行，或者考勤负责任可以从自己的便携终端或者主机终端进行更新、订正、删除等的输入。牙科工作人员各自携带便携终端，当只有各个主管可以处理的情况下，可以为主管设定密码。

统一管理例如表示在一个终端中可以进行口腔内信息、牙科诊疗信息、牙科业务信息、牙科工作人员信息等的牙科医疗业相关信息的输入输出显示，但不限于此，即使是其一部分信息，只要是与作为目标的管理对象相应的信息就可以包含在内。

本发明进一步通过组合经过预先细化的单个的细化图像形成牙齿治疗的菜单，可以形成与每位患者的治疗相应的静止图像、幻灯动画，或者动画等的说明用图像。

细化图像例如在拔牙图像、对合牙伸长图像、加工物的说明图像等中优选用CG图像、动画图像预先制作的图像。从植体治疗和补缀物治疗等的治疗菜单显示中牙科医生、牙科卫生员等根据患者选择结合细化图像，或者患者选择结合细化图像。

选择是选择各个细化图像，只要在计算机上可以连续执行即可。另外，准备多个预先选择的现成动画，牙科工作人员或者患者作为治疗说明用组合动画，根据治疗前、治疗后、现场情况可以在治疗中观看。

该连结的图像因为能够形成适应患者自身的治疗状况的内容，所以能够期待对进一步理解和蛀牙预防等的启蒙教育活动有效。提出了可以将该单个的动画、用拍摄单元拍摄患者图像的动画变换为同一的图像方式使用，让患者容易连接，而且对于牙科医生等的使用者来说容易使用的治疗系统。

本发明对于一部分或者全部的齿列可以通过实际图像实现清晰的全景显示，进而根据情况，因为可以重叠、同时记录显示X射线图像，所以使用该显示对于患者来说，能够进行容易理解的诊疗说明。

另外，本发明在可以准确显示使用反射镜的口腔内照相机的拍摄位置的同时，可以把握在口腔内纵横移动的拍摄单元的拍摄姿态，调整到容易看拍摄图像的状态。

患者经常通过可以携带地用纸张或者一览显示在记录介质上的显示单元认识自己口腔内的状况和诊疗的必要性，为了口腔内健康持续进行诊疗和改善的可能性增高，还可以改善牙科医疗业的经营，提高收益。

本发明还通过使用可以进行数字数据处理的便携终端处理牙科医疗业全部的处理，可以实现合理化和成本消减。

附图说明

图1是表示本发明的一个实施例的方框图。

图2是用于说明实施例的模式图。

图3是用于说明实施例的模式图。

图4是用于说明实施例的模式图。

图5是表示本发明的其它实施例的方框图。

图6是用于说明实施例的模式图。

图7是用于说明实施例的模式图。

图8是用于说明实施例的模式图。

图9是表示本发明的一个实施例的模式图。

图10是用于说明实施例的模式图。

图11是用于说明实施例的模式图。

图12是用于说明实施例的模式图。

图13是表示本发明的其它实施例的方框图。

图14是用于说明实施例的模式图。

图15是用于说明实施例的模式图。

图16是用于说明实施例的模式图。

图17是用于说明实施例的模式图。

图18是表示本发明的一个实施例的方框图。

图19是用于说明本发明的实施例的模式图。

图20是用于说明本发明的实施例的方框图。

图21是用于说明本发明的实施例的方框图。

图22是用于说明本发明的实施例的模式图。

图23是用于说明本发明的实施例的模式图。

图24是用于说明本发明的实施例的方框图。

图25是用于说明本发明的实施例的方框图。

图26是用于说明本发明的实施例的方框图。

图27是用于说明本发明的实施例的模式图。

图28是用于说明本发明的实施例的模式图。

图29是用于说明本发明的实施例的方框图。

符号说明

11：口腔内图像输入单元；12：诊疗部位检测单元；13：单位图像形成单元；14：诊疗顺序设定单元；15：诊疗说明形成单元；16：显示输出单元；17：记录单元。

具体实施方式

接着，参照附图详细说明用于实施本发明的各种实施方式以及实施例。但是本发明并不只限于以下的形态，应当理解为在本发明的范围中可以进行各种变更以及改进。

本发明是连续拍摄齿列，通过合成由全景合成实现的局部全景图像、这些局部的全景图像形成全体的全景齿列的方法，理想的是通过在合成部中配置标记这一构成，可以容易地形成用手持照相机拍摄的齿列全景图像。

本发明在牙科诊疗时，或者检查及其他时，从在家中拍摄的口腔图像中使用口腔内照相机、X射线拍摄装置取得与诊疗、改善对应的单位图像。将该单位图像例如反映在可以和患者一起观看的计算机用的监视器（显示器）装置上，患者一边认识口腔内的状况，一边和牙科医生一同记入诊疗顺序、诊疗开始时间、诊疗的必要性程度等，将得到的诊疗改善顺序信息和单位图像印刷在一张纸上，或者在存储在具备存储介质的手机上的同时显示在手机的画面上，不这样的话，也可以在牙科医生开设的主页上显示在个人专用的画面上。

本发明是可以装着在身体上的便携终端，在内部配置存储单元、计算机、和外部进行通信用的调制解调单元和显示单元，由于可以进行牙科医疗业全部的输入输出以及数据处理，因而牙科工作人员可以在各自手边进行牙科工作人员考勤管理、电子病历记入、诊疗费用计算等，并且对这些信息共用化。便携终端和主机终端通过红外线、光等的介质以无线连接或以有线连接。或者，也有便携终端经由无线LAN、有线LAN等与云计算技术的计算机网络连接的计算机方式。

（第1种实施方式）

图1（a）是表示本发明的一个实施例的图。在图中，参照号码11是口腔内图像输入单元，例如，是使用用于拍摄上颚、下颚的全齿的照相机进行拍摄，得到数字图像数据的装置。

口腔内图像输入单元11例如是使用图3（c）所示那样的凸面镜的反射型牙科用照相机和其他使用鱼眼镜头的口腔内拍摄用的照相机，输出全齿的数字图像。或者，如图6所示那样也可以使用用一般的口腔内照相机拍摄各牙齿，从各个拍摄图像中抽出轮廓，在其轮廓的共用部分上连接、合成，得到全齿图像的方法等。

12是诊疗部位检测单元，例如是用于设定用于诊疗或者改善的牙齿以及该牙齿的规定范围的单元，从在口腔内图像输入单元11中输入的宽范围的口腔内图像中，通过目视使用图像软件切割提取。或者，表示通过软件的处理提取求得牙齿轮廓，将提取到的轮廓假定为圆求并其中心，提取从其中心到半径比轮廓还大10%～20%的图像的工序等。

13是单位图像形成单元，是将在诊疗部位检测单元12中得到的用于诊疗的图像加工成显示用图像的单元，是用于形成附加了记入诊疗顺序、评语的区域的图像的单元。单位图像形成单元13用上述的诊疗部位检测单元12通过软件进行的图标操作指定诊疗部位自动地创建模型并显示。

图像可以是使用者自己指定从用口腔内图像输入单元11输入的图像中只反映指定范围的图像，和另外制成的单位图像显示的模型。图像也可以在显示单位图像的时刻，用使用了图3所示的适当的反射镜的照相机拍摄并显示。该显示还可以在单位图像区域上最初以动画显示，其后，通过按下确定键进行确定作为静止图像显示。

14是诊疗顺序设定单元，例如根据蛀牙的发展状况和诊疗改善的程度，牙科医生可以任意或者一边和患者讨论决定顺序，或者自动地测定蛀牙发展状况和形状的变形程度并决定顺序。自动顺序的决定将牙齿颜色的不同数值化和规定的阈值进行比较，或者从牙齿的基本形状看其变形程度超过了某一程度，或者根据蛀牙检测波长相对照明光源的波长的频谱成分的大小大于等于规定的值等，顺序进行参照，可以在监视器（显示器）装置的画面上改变图像的顺序。

上述的改变因为在和患者讨论的基础上决定治疗、检查的顺序，所以在决定后通过按下确认键自动地改变配置在画面上的单位图像的顺序，执行患者用的印刷，由此能够实现诊疗时间的合理性。

15是诊疗说明形成单元，和诊疗顺序设定单元14一样，是牙科医生将诊疗开始时间的记入、诊疗的紧急性或者诊疗方法等，患者认为必要的内容作为数据记入的单元。该记入可以是将从计算机的键盘上（例如图3的315）的输入、使用鼠标（例如图3的316）的操作进行的默认说明的选择，在把图3中所示的口腔内照相机的操作键与计算机的输入接口连接的状态下，由对附带在照相机主体上的键进行操作执行的输入。

诊疗说明形成单元15在从图2（c）到图2（e）所示的单元21b至23b中记入诊疗开始日或者治疗开始预定日，而该日期也可以自动地显示可以诊疗的最短日期。

可以开始诊疗的最短日期是调出在存储单元17中记录存储的各患者的数据库中的诊疗开始约定日期填写栏，在其中没有填写的日期，可以具有可以设定成显示最短日期的功能。

图1（b）表示具体的构成。这是诊疗说明形成单元的一部分构成，表示省略了其他部分的状态。151是患者数据库调出单元，是记录有图2所示的图像数据、顺序数据、治疗开始日期（包含时间）数据，以及说明数据的数据库，因为进行一般的管理，所以将相关的数据记录到暂时记录区域。这在存储的数据多的情况下，也可以是在每次检查时向数据库获取数据的结构。

最短诊疗日检索单元152从其中调出诊疗开始日期数据，从检索开始日开始检索未填写诊疗开始日的日期，当有不一致的数据的情况下，将它作为最短诊疗日输出。

153是最短诊疗日显示单元，是将用最短诊疗日检索段元152检索并检测出的日期时间显示在单位图像上的显示部上的单元。

154是空闲诊疗日显示单元，是以容易找到空闲的诊疗日期时间的方式显示的单元，例如以模拟时钟和日历的简略方式显示等，在计算机监视器上进行以1个月为单位，以数个月为单位，或者以1年为单位的显示。

155是决定输入单元，是在患者同意的同时用于开始向数据库记录的输入部。

156是存储单元，是向数据库进行记录的单元，但该存储单元156和存储单元17一样，可以用存储单元17确定记录，但诊疗日期时间因为有可能其他医生和患者同时确定了同样的日程，所以需要快速的数据库的记录，所以优选确定后立刻向数据库的记录。

再次返回到图1（a），16是显示输出单元，在计算机的监视器（显示器）装置的画面上编辑显示由单位图像、诊疗顺序以及诊疗说明组成的图像，或者使用打印机（例如图3的317）在纸张上印刷经过编辑的图像。

17是存储单元，是用于记录经过编辑的图像数据的单元，是用于作为牙科医生配备的电子病历的一部分记录，或者经由存储介质记录到患者的手机、计算机上的单元。存储单元17包含根据每个患者的数据存储了患者全体的数据的数据库。

以下用图3说明口腔内照相机的一个例子。

参照号码301是手持用壳体，应该形成铅笔形的口腔内照相机，以圆筒形形成，在内部内接电路基板、用于和外部连结的USB连接电路、USB插座。

在前端一体地连接照相机组件309，例如如图3（e）所示，照相机组件309的构成是在中心例如配置CCD照相机，在其周边上以同心圆形等间隔配置白色LED、其他颜色的LED、其他的照明用元件312。

302是反射镜组件，在前端上连接例如以45度角配置的平面镜303，后端形成圆筒部305，是可以插入连接到照相机组件309的外周上并可以更换的状态。照相机组件309的外形、反射镜组件302的圆筒部305的内部形状以椭圆形形成，优选设定成在插入安装时不能转动。

反射镜组件302可以适时更换，图3（b）是安装配备有平面镜303的反射镜组件的状态，图3（c）是将设定有球面形的凸面镜308的反射镜组件310插入到照相机组件309中结合的状态。

这样，当拍摄全部牙齿的情况下，使用连接有图3（c）的凸面镜308的反射镜组件310，用照相机组件309的照相机313拍摄凸面镜308的凸面反射映像，照明用元件312的输出光在凸面镜308上反射，照射口腔内的观察部位。照相机313例示为CCD式、C-MOS式等，其分辨率优选更高画质，但在以动画图像为主的情况下，也可以降低画质使用。

在一般拍摄情的况下，将安装有图3（b）所示的平面镜303的反射镜组件的圆筒部305插入结合到照相机组件309的外周上使用。

304是引线，可以使用专用电缆线或通用USB电缆等。

306以及307是操作键，是1至多个按压式、旋转式、它们的复合式等的键，在本实施例中表示为2个。除了进行电源的开关等的照相机的操作外，还有具备通过按下该操作键307等，对经由引线304连接的显示在计算机314的监视器314A上的选择、操作用显示窗口进行操作的GUI（图形用户界面）功能。例如，在单位图像的顺序决定后，当自动地按照顺序重新排列的情况下，可以通过操作该操作键306以及307来执行。

例如，将306作为相当于鼠标的左点击功能的键，将307作为相当于右点击功能的键。

314是计算机，例示和监视器（显示器）314A形成一体型的计算机。此外，也可以作为专用装置的组合。

315是键盘，316是计算机用的鼠标。都可以作为计算机操作使用，进而还兼做用于操作口腔内照相机的开关。

317是打印机，用喷墨打印方式、激光打印方式的彩色打印机等形成，在向患者印刷提供自己的口腔内图像时使用。

图3（d）是表示作为反射镜使用了凹面镜311的反射镜组件318的图，例如在需要放大的图像时使用。另外，在口腔内时还有这样的情况，当从齿列只放大拍摄内侧的情况下，将凹面镜311的曲率向接近平面镜的方向上调整，通过从距离齿列一些距离的地方拍摄，取得本发明所示的取得宽范围的图像。

在本发明中，不仅是齿列，还有将舌头、嘴唇、牙龈等作为宽范围图像、单位图像处理的情况。本发明还可以适用于例如，将还成为舌癌的表现的息肉作为单位图像显示，进行诊疗说明的情况等。

接着，参照图6所示的用于形成全齿图像的一个例子说明本发明。所使用的照相机是使用了图3（b）所示那样的使用平面镜303的反射镜组件302的照相机。另外，图像可以是静止数字图像拍摄，也可以是数字动画拍摄。而且，当从动画数字图像得到多张静止图像的情况下，因为是动画拍摄用，所以像素数比较小，因而优选以自动快门的方式一边移动一边拍摄静止图像。

对于图6（a）中所示的下颚600的全齿，一边让反射镜组件302的平面镜303从拍摄面601向612移动一边拍摄。在数字动画拍摄的情况下，因为和以30张/秒左右输入静止图像的情况一样，所以如果沿着从图6（a）的拍摄面601到612的轨迹移动数字动画拍摄用的口腔内照相机的反射镜部分，则可以求得多张静止图像。而且，静止图像连续拍摄与通过动画拍摄得到静止图像相比，因为像素数多分辨率高，所以成为在从全齿图像中获得各个牙齿的图像时理想的形态。

图6（b）表示进行在图6（a）所示的拍摄时的各个图像的一部分。

613是图像601和602的共用部分图像，614是图像602和603的共用部分图像，615是图像603和604的共用部分图像。其他，604和605、605和606、606和607、607和608、608和609、609和610、610和611、611和612的各自也都以可以得到共用部分图像的方式进行拍摄。

例如，在对这些图像进行二值化取得轮廓的状态下，也可以以在图像间以一致的方式叠加共用部分的轮廓。进而按照图像605、606、607、608、609、610、611、612的顺序拍摄并图像化，根据相互共用部分连结各个图像得到全齿图像。全景式的咬合面画图像虽然可以用公知的全景合成软件形成，但当因手持产生的摇动发生影响的情况下，为了在合成前补正图像有优选进行仿射变换处理的情况。

接着参照图2详细说明上述实施例的动作。

用口腔内图像输入单元11拍摄口腔内的例如上颚全齿。图2（a）表示所拍摄的图像位置。口腔内图像输入单元11至少包含牙科医生作为诊疗对象的牙齿，这只要知道相当于口腔内的哪个部位的图像即可。

图2（a）所示的图像例如是用图3（c）所示的口腔内拍摄单元拍摄到的图像，进而也可以进行校准以补正变形。另外，口腔内图像输入单元11不一定是全齿，也可以是部分牙齿或者1个牙齿。图2（a）表示上颚20，还拍摄全齿以及硬腭部分，也有该部分的诊疗同时进行的情况。

以下，用诊疗部位检测单元12以手动或者自动方式提取需要诊疗、改善的部分。在用手动提取的情况下，和图形软件一样，用鼠标指定圆形或者方形，进行拷贝、切割等，进而通过粘贴作业粘贴它。图2（a）的20a、20b以及20c表示在作为对象的牙齿上通过图形软件手动或者自动地指示显示色彩醒目的圆的状态。

所谓手动指例示如是通过操作附加在计算机上的鼠标、键盘用圆形、方形、其他轮廓图形等描绘内部经过透过处理的图像的显示，所谓自动指示显例示如是在画面上用鼠标将指针指到指定部位上并按下时，显示在规定半径的圆形和规定面积的方形等上内部经过透过处理的图像的显示。

以下，用单位图像形成单元13将在图2（c）中所示经过指定的牙齿20a调整为单位图像21。此时，附加设定例如在决定了治疗的顺序后记入顺序的顺序栏21a、例如在决定治疗开始后记入的诊疗开始日栏21b、记入进行怎样的诊疗的说明栏21c。将该最短诊疗日例如显示在图2的顺序最早的单位图像的诊疗开始日栏21b中。当患者同意该日子的情况下，向决定输入单元155移动，决定该日子，用存储单元156记入到患者数据库。

当患者不同意的情况下，在空闲诊疗日显示单元154中，空闲诊疗日以日历格式那样的2维形式显示。该显示采用一览方式、筛选方式等时间表显示的方法，但只要是至少患者容易理解的显示即可。

而且，因为不仅需要日期还需要时间，所以优选同时显示时钟。根据该显示，在有同意的诊疗开始日时，用决定输入单元155输入该日期时间，用存储单元156记录到数据库。

向以下顺序的单位图像移动决定记入同样的诊疗开始日。

这样的诊疗日的时间表操作在本发明设定多个诊疗预定日时，因为需要避免在一时性诊疗中不会产生的和其他患者的时间表（日程）的混同，所以在时间表明确化方面有效。

而且，也可以在某个栏中记入每个牙齿的ID。该栏表示在数据库中使用的输入框显示等，诊疗日因为可以根据其他患者的诊疗时间表自动地确定空闲日子，所以在显示单位图像的时刻，也可以从其他患者的数据中显示空闲的时间。这些框内的显示内容只要有治疗前的图像至少按照治疗顺序显示的栏即可，或者也可以分别附加识别符号显示它。

图2（d）是表示图2（a）的诊疗用的牙齿20b的单位图像22，图2（e）是表示图2（a）的诊疗用牙齿20c的单位图像23。

在单位图像22中一体显示顺序栏22a、诊疗开始日栏22b、说明栏22c，图2（e）也一样在单位图像23中一体显示顺序栏23a、诊疗开始日栏23b、说明栏23c。而且，在确定时，按下确定键（包含在画面上显示的虚拟键）。通过按下确定键，可以按照顺序填写栏的号码重新排序显示，通过该作业的自动化，可以缩短最终交给患者的纸张的制成时间。

图2所示的图也有表示在一个计算机的监视器上显示全部的状态的情况。在这种情况下，也有已经兼做在显示单元16中的操作范围的情况。

在诊疗顺序设定单元14中，牙科医生单独或者牙科医生和患者一边谈话一边决定并记入顺序栏22a的顺序。同样在诊疗说明形成单元15中记入诊疗开始日栏22b、说明栏22c。该记入因为大多包含专业内容，所以也可以是牙科医生预先单独进行。

显示输出单元16形成并显示记载在计算机画面上确定的多个单位图像和全齿图像的形态。显示输出单元16在进行牙科诊疗时等的情况下优选在一个画面上进行显示。

但是，当单位图像多的情况下，也可以进行滚动显示，或者根据需要进行缩小，或者显示成缩略图形。进而，在确定的显示输出单元16上的图像可以用打印机打印到纸张上发给患者。期待患者通过拥有本人口腔内的图像，为了口腔内的健康而常来到医院。而后在诊疗完成后，再次如图1所示那样进行口腔内的拍摄。

将同样部位的牙齿20a作为单位图像24进行图2（b）所示那样的图像显示。24d是诊疗部位，24a例如是诊疗顺序设定单元14，从预先设定了诊疗顺序的图像数据中检索同一图像数据，按照此时显示的顺序进行显示。24b预先记载有例如在诊疗说明形成单元15中在诊疗时的记录事项等。

而后，图2（a）所示的诊疗后的单位图像在诊疗前的单位图像即与其是同一单位图像相邻的位置上显示，可以知道对牙科医生的信赖、用于诊疗后的牙齿的维护用的来医院时间。24c例如是诊疗后的说明栏，进一步优选有用于和患者商量下次诊疗开始的说明栏。

而后，在显示输出单元16中，用打印机在一张纸上打印例如用图4的400表示的4张图像并将其交给患者，告诉患者连续诊疗的必要性。而且，400虽然并未公布图2（a）所示的口腔内宽范围图像，但最好公布宽范围图像，通过明确诊疗部位，可以得到患者的进一步理解。

图2以及图4的各显示栏是一个例子，每个单位图像的显示栏数、显示内容还根据治疗目的、时间表等适宜地选择。

（第2种实施方式）

以下说明图5所示另一实施例。图中，参照号码51是宽范围图像输入单元，是用于拍摄口腔内的上颚的全齿、下颚的全齿的单元，例如可以通过用照相机拍摄在图3（c）所示的凸面镜上映照的全齿而得到宽范围图像，或者从构成图6所示那样的连续拍摄、数字动画的静止图像中合成共用部分形成全齿图像。

52是牙齿检测单元，是从在宽范围图像输入单元51中得到的齿列中提取各个牙齿的图像数据的单元。提取例如除了用轮廓提取程序进一步只在规定范围中提取其周边而形成一颗牙齿的图像的单元外，还可以采用使用图3（b）所示的平面镜拍摄各个牙齿而形成一次图像化的单元，但在合理的情况下也有优选从全齿图像和口腔内宽范围图像中切割单位图像形成一颗牙齿图像的单元。

53是单位图像形成单元，是用于在用牙齿检测单元52得到的各个图像上分别附加顺序填写栏、诊疗说明填写栏等形成显示用的图像的单元。进一步优选形成牙齿用的数据库附加固有的记号进行管理。

54是诊疗图像选择单元，是用于从图像中选择成为龋齿、缺损等的诊疗对象的牙齿的单元，牙科医生通过目视或者读出以前登记的数据进行比较，可以根据颜色、形状等的不同来选择作为诊疗对象的牙齿。

55是诊疗顺序设定单元，除了牙科医生单独决定诊疗的牙齿顺序外，牙科医生和患者也可以以在计算机的监视器（例如图3（a）的监视器314A）上映出的或者印刷的图像为基础，一边商量一边决定。

56是诊疗说明形成单元，可以是牙科医生单独或者和患者沟通记入诊疗期、开始日以及诊疗的内容、改善的必要性等，或显示通过和以前的数据的比较根据其差异大小的程度预先记录的说明。

57是显示输出单元，将成为诊疗对象的显示图像显示在1张纸上，或者显示在计算机的监视器（例如图3（a）的314A）上，可以供用于患者的同意和理解的说明。另外，印刷在纸张上的图像提供给患者，作为今后诊疗时间表实现连续性的牙科诊疗。

58是存储单元，作为病例或者数据库记录，或者上传到服务器的患者专用的存储区域，或者可以在患者的手机的存储部上记录牙齿图像数据。

以下参照图7说明图5所示的实施例的动作。在本实施例中，从患者的口腔内用宽范围图像输入单元51拍摄全齿，形成一张或者由多张组成的全齿图像数据700（参照图7（a））。表示全齿的图像数据700可以以连续形成图6所示的静止图像的数据为一个例子。从得到的宽范围图像数据700中通过牙齿检测单元52手动或者自动地形成牙齿图像。

作为自动检测牙齿的单元，用轮廓提取程序对口腔内的图像数据进行轮廓提取，分别检测牙齿的轮廓。在这种情况下，当轮廓不完整的情况下，检测其多个点，形成通过该多个点的虚拟圆形。因为可以将该虚拟圆形看做一颗牙齿的位置，所以从虚拟的中心进一步只以规定值扩大半径，作为方形面将其范围作为一颗牙齿的图像提取。

提取的图像例如如图7（b）所示。对于牙齿71是牙齿图像701，对于牙齿72是牙齿图像702，对于牙齿73是牙齿图像703。

以下，在单位图像形成单元53中，在这些牙齿图像上和识别符等患者的信息联系起来进行单位图像化（参照图7（c））。在单位图像74中记载有牙齿图像701和用于记入诊疗顺序等的显示栏704。在单位图像75中记入牙齿图像702和显示栏705，在单位图像76中记入牙齿图像703和显示栏706。这些单位图像记录在预先设定的患者数据库中形成患者上下口腔内数据列表。

在诊疗图像选择单元54中，从单位图像中通过目视或者自动地提取表示成为诊疗或者改善对象的牙齿图像的单位图像77（参照图7（d））。

在具有和图1一样的构成并进行同样的动作的诊疗顺序设定单元55，以及诊疗说明形成单元56中，分别是牙科医生单独或者优选和患者一边看映显在计算机监视器上的单位牙齿图像一边记入诊疗顺序等。

而后，在决定诊疗顺序，写入诊疗开始日等的阶段，在显示输出单元57中，可以在计算机的监视器78上例如以图7（e）所示那样的顺序显示的单位图像的排列，或者如图7（f）所示那样进一步包含宽范围图像在被编辑的状态下进行显示，能够形成使患者得到诊疗的认识、同意持续诊疗的状况。

单位图像707、708、709以及710优选按照治疗开始顺序排列。图7（f）例如是包含全齿图像数据711的画面显示，或者患者携带的作为印刷物的牙齿数据79。

存储单元58将这些单位图像记录到数据库中，适合用于其他的患者的时间表的调整。

另外，本发明在宽范围图像取得时，合并图3所示的使用凸面镜的方法，或者让反射镜沿着齿列移动通过结合静止图像得到的方法形成一张图像。即，只将齿列作为静止图像，用凸面反射镜拍摄舌头部位，通过进行图像合成，得到具备没有变形的齿列的口腔内宽范围图像。

进而，图8至图12表示在牙齿咬合的状态下清楚地进行全景式的齿列形成的全景齿列图像形成方法的一个例子。

如图8所示，可以列举用照相机将从左内侧开始拍摄的图像拍摄到中央附近，改变口腔内照相机的方向，从右内侧到接近中央附近连续拍摄的方法等，在这种情况下，因为为了一度改变照相机的方向而致拍摄状态中断，所以不能正确合成左右齿列图像，大多出现偏离。

另外，通过手动进行的照相机的移动拍摄例如在进行槽牙的拍摄时，将照相机配置在口腔内面的脸颊肉和牙齿侧面间，因为在推压该脸部肉的状态下让口腔内照相机移动，或者形成和牙齿侧面接触的状态等，所以变成脸颊肉、牙齿侧面支撑口腔内照相机的反射镜和照相机的摄像部位的状态，而如让口腔内照相机向着门牙方向移动，则口腔内照相机从被脸部肉压迫等的状态中解放出来，变成手持的状态，拍摄的照相机的位置变得不稳定，容易出现图像紊乱。特别是照相机和作为被拍摄体的牙齿侧面的距离变化或者在拍摄方向上出现抖动，有作为被拍摄体的牙齿的大小变化、在图像中产生变形的情况。

使用图8所示的反射镜的口腔内照相机901例示图3所示的构成，是在模块形的CCD照相机、C-MOS照相机的周边排列多个光源用LED的结构，在经由反射镜在口腔内采用光源用LED进行照明的同时，连拍得到口腔内的齿列等的图像，可以从槽牙开始稳定地进行拍摄，但并不限于此，也可以是不使用反射镜的直接拍摄用的照相机。

这里使用的口腔内照相机901例示了如下的结构：在主体904（图3的301）的前端上安装可以更换使用的具备平面形的反射镜902（图3的303）的反射镜组件903（图3的302），所述主体904在前端具备组合了CCD照相机、C-MOS照相机等的摄像器和在拍摄器的周围配置了4～8个左右发光二极管的照明器的拍摄组件905（图3的309）。

拍摄组件905例示了使用以例如在每秒10张到30张的范围中得到图像的方式拍摄静止图像的连拍方法来输出静止数字图像的例子。

直到开始连拍之前，在预先上下牙齿咬合的状态下的齿列900a的中央附近附加标记ML，标记ML优选为：可以对着色的贴纸临时附着、褪掉颜色的着色笔进行的记载等，通过照相机拍摄可以鲜明显示图像。所谓例如在齿列的中心附加标记ML时的中心附近是在连续拍摄左右齿列后，表示成为合成时的基准的地方，此外，可以在拍摄的图像的中央附近，检测成为图像处理上的特征的部位，将该部位设定在标记图像上。标记ML优选配置成设置在上牙和下牙上。

该连拍动作是在槽牙的位置，例如如从906a的状态到906b、906c那样沿着齿面、优选距离齿列面同样的距离，手拿主体904移动反射镜902进行拍摄。

IG是补正用显示部，在以可以剥离的状态附着在牙齿表面上的粘贴部件上，是图像补正用的例如井字形、方形、三角形、棋盘格、其他的图像，根据图像的变形、照相机和牙齿侧面间的距离，只要是可以进行图像的大小等的补正的显示即可，另外补正用显示部IG的颜色也是绿色，此外，在图像处理中只要是可以识别的色彩，并不限于绿色。

该粘贴部件例如如图8以及图10所示那样处于牙齿的中央，也可以粘贴在附有标记ML的牙齿表面，另外粘贴的牙齿并不限于一个牙齿，可以在多个牙齿上贴上粘贴部件进行拍摄，作为其他的牙齿在口腔内没有其他支撑，可以向手动拍摄牙齿的部位附加。

将补正用显示部IG附加在牙齿表面上的方法只要使用和标记ML同样的方法即可，例示了使用显示不因唾液等而溶解或者渗透的物质，适合于将左齿列一部分全景图像和右齿列一部分全景图像根据两者共同拍摄的补正用显示部IG补正结合两图像变形和大小。而且，在结合分割成左齿列和中央齿列和右齿列这3个部分的一部分全景图像时，也可以在各自一部分全景图像列的共同的牙齿上设置辅助用显示部IG。

拍摄到的各个静止图像中的补正也可以例如在连拍得到的图像内，根据成为基准的辅助用显示部IG，或者用块匹配方法或模板匹配方法等检测在拍摄到的图像群中拍摄补正用显示部IG图像之一，将它作为基准，在检测出在其他图形中拍摄到的辅助用显示部IG后，和基准图像比较检测变形、倾斜、大小的差等，使用虚拟放大、缩小、旋转、移动调整的仿射变换进行补正。在避免手动引起的晃动的拍摄时，通过在牙齿上附加辅助用显示部IG，可以进行用于稳定的全景齿列图像形成的合成。

使用上述那样的补正用显示部IG的图像的补正例如可以使用Zhang法（IEEE.Transactions on pattern Analysis and MachineIntelligence,22（11）;1330-1334,2000）等的在照相机图像的校准中使用的方法。另外，补正用显示部IG也有根据拍摄状态、仿射变换等的处理而不是必要的情况。

图8（b）是概略表示从槽牙开始连拍时的一次拍摄范围的图。如906a→906b→906c→906d→906e→906f→906g那样一边移动口腔内照相机的反射镜部分一边得到静止图像的连拍图像。

口腔内照相机901因为由在前端具备规定角度的反射镜902的结构组成，所以如果将在图中从左槽牙开始拍摄齿列面，则在中央附近改变主体904的方向，在图中从右槽牙开始顺序拍摄，因而在拍摄了从图8所示的906e到906g的面后，反转口腔内照相机901开始从右槽牙的拍摄。

连拍的速度因为用手移动主体904所以考虑手颤等的抖动的影响，优选从每秒20张到30张左右稍多一点拍摄，进行在消除手抖、模糊的图像中具有余量的连拍。

该连拍优选标记ML来到拍摄画面或者反射镜中央为止进行的拍摄，但也可以拍摄到经过某一程度的部位，其后，可以取舍选择拍摄到的图像。

因为是采用手动的照相机操作，所以有这样的情况，优选在合成前根据各图像的共同部分进行仿射变换，修整画面的状态的方法。例如，以成为合成的最初中心的图像为基准对比较图像用块匹配法检测共同的多个点。根据该共同的多个点对下一图像进行仿射变换。例如，优选与在共同部分中的基准图像的像素坐标（xa，ya）对应的下一图像的像素坐标（xb，yb），代入下式得到系数值a～f的值。可以在将系数值代入到下式的状态下，在对下一图像进行仿射变换整理图像后，或者一边修整图像一边进行全景合成。

[数1]

$\left(\begin{array}{c}\mathrm{xa}\\ \mathrm{ya}\end{array}\right)=\left(\begin{array}{c}\mathrm{ab}\\ \mathrm{cd}\end{array}\right)\left(\begin{array}{c}\mathrm{xb}\\ \mathrm{yb}\end{array}\right)+\left(\begin{array}{c}e\\ f\end{array}\right)$

这样图9表示从齿列900a的图中左内侧到正面附近连拍得到的图像的一部分，和图8并用说明基于该实施例的口腔内照相机的拍摄动作。

图9（a）至图9（e）是在图8（b）所示的齿列的拍摄图像数据中从中心附近907c到907e附近连拍时的拍摄图像数据列的一个例子。而且，口腔内照相机因为使用反射镜902而得到齿列图像，所以拍摄图像左右反转，而为了容易理解，以不反转的状态表示在图9以及图11中。

图9（a）是拍摄图8（b）的906c附近的图像，图9（b）是拍摄906d附近的图像，图9（c）是拍摄906e附近的图像，而后图9（e）是拍摄906g附近的图像。而且，因为是手动拍摄，所以多数情况下不能在始终同样的状态下拍摄图像。因而，在图像倾斜的情况等下，在和其他牙齿的状态例如叠加的部分上，优选使用仿射变换进行修整的补正，图9表示补正后的图。补正时，作为一个基准的部位，除了标记ML外，可以使用预先设定在反射镜902拍摄的反射镜面上的垂直中央线CL、水平中央线HL。

垂直中央线CL、水平中央线HL不是必须显示在图像中，另外也有这种情况，可以在反射镜的边缘上在相当于垂直中央线、水平中央线的起点和终点的部位上分别附加突起等的记号，根据该记号虚拟地显示。

另外，也可以一并进行用软件补正由拍摄用CCD照相机的镜头引起的失真的处理。

RM是镜子的轮廓，实际拍摄的图像在轮廓RM内变成圆形的图像，而为了容易进行范围说明，用方形图像表示。

因为拍摄的图像是手持进行，所以有牙齿和照相机之间的距离不同的情况，而在这种情况下，也可以以标记ML和垂直中心线CL大致一致的图像为基准，补正其他的拍摄图像的大小。而且，有这样的情况，通过一边将反射镜902的前端部与牙齿面轻轻接触一边进行连拍，可以稳定所得到的图像。

如图8所示，从正面向左侧的槽牙配置主体904的反射镜902，其后向正面方向移动连拍，例如取得图9（a）～图9（e）的图像。这种情况下，将在标记ML与反射镜902的垂直中心线（CL）一致的时刻拍摄取得的图像（直到图9（c））作为合成图像采用。在使用图9（d）以后的图像进行合成时，因为存在成为偏离的原因的情况，所以优选在合成中不使用。

以应该将图9（c）所示的图像作为基准图像的标记ML为基准，根据需要补正图像的倾斜等。即，可以以标记ML的长边以及短边为基准补正图像作为基准图像。以下说明一合成操作例子。

图9（f）以后表示在合成中采用的图像。图9（f）相当于图9（c）所示的图像，图9（g）相当于图9（b），图9（e）相当于图9（a）。

将图9（f）所示的图像906e和图9（g）所示的图像906d以图像906e为基准根据图像906d的图像形状一致或者近似的共同部分进行叠加合成。

当以图9（f）为基准进行了叠加的情况下，用1001a表示在图9（g）的左方面看的部分。1001a变成槽牙方向的图像。

以下，将图9（g）所示的合成图像和图9（a）所示的图像906c以图9（g）的合成图像为基准，在形状等共同的部分上通过目视或者图像处理方法进行叠加。在叠加后的图像中，用1001b表示从图9（g）向左方向看的部分。1001b变成槽牙方向的图像。

上述动作在以下相邻的图像之间进行，进而通过在接着的相邻图像和共用部分上叠加，从标记在规定位置上的图像向槽牙方向合成为全景图像形成左侧齿列。

另外，可以例示通过拼接在图9（f）中表示的中心图像上突出的部分1001a、1001b……形成左半部分的全景图像的方法。

另外，突出的部分的检测例如可以是提取在图9（c）的906e和图9（b）的906d之间突出的部分，进而提取在图9（b）的906d和图9（a）的906c之间突出的部分，进而收集在下一相邻的图像间突出的部分，最后将基准图像作为图9（f）所示的图像，拼接该突出部分形成全景图像。也有这样的情况，优选突出的部分的图像以中央的图像为基准，从其上叠加相邻的图像。

而且，即使没有完全叠加一致或者近似的地方，但当标记部分共同存在的情况下，也可以叠加该部分进行同样的合成。而且，因为是手动，所以每个静止图像远近感、倾斜不同。在这种情况下，优选使用仿射变换等自动进行补正，或者通过任意放大缩小进行调整。

图12（a）表示合成的状态。如图12（a）所示能够形成左半部分的全景图像。

接着，如图10（a）所示在将主体103d的反射镜104配置在上下咬合状态的齿列900a的右里面的状态下，一边尽可能保持与齿列900a表面一定的距离，一边向接近1101a→1101b→1101c和接近中央的方向上进行静止图像的连拍。图10（b）概略表示拍摄的静止图像和齿列900a的位置关系。

使用者一边手持口腔内照相机901一边在1102a→1102b→1102c→1102d→1102e→1102f的方向上移动拍摄，连续拍摄取得静止图像。本例子因为是手持型，所以拍摄图像在左右、向里方向上倾斜或者偏离，但也可以设置利用仿射变换，根据连续拍摄得到的相邻图像间存在的共同部分进行转动、移动实施图像的调整的步骤。

图10（a）所示的口腔内照相机901因为直接使用图8的照相机，所以附加相同的号码并省略说明。

从图11（a）到图11（e）表示从图10（b）的1102a到1102f的范围中有代表性的图像。对于图11和图9之间共同的构成附加和图9所示的符号相同的符号。

在图11中，图11（a）表示图10（b）的1102d的图像附近，图11（b）表示图10（b）的1102e的图像附近，图11（c）表示图10（b）的1102f的图像附近。另外，图11（d）表示图10（b）的1102g的图像附近，图11（e）表示图10（b）的1102h的图像附近。

而且，图11（d）以及图11（e）是在垂直中心线CL和标记ML一致后，进一步让反射镜104向左方向移动时的照片图像，如果采用这些图像则从左右方向拍摄的图像的重叠部分增多，因为产生图像偏离，所以不采用它，而采用图11（a）到图11（c）。

在上述的图像中，图11（f）表示以标记ML和垂直中心线CL一致的图像（图11（c）的1102f）为基准的例子。接着，将图11（b）所示的图像1102e和1102f的共同部分重叠。

以图形1102f为基准在使图像1102e从其上形状一致或者近似的范围中叠加的状态下突出的部分是1201a。

以下，将该叠加的图像和图11（b）所示的图像1201b，在以叠加的图像为基准使用图案匹配法等从其上面开始形状一致或者大致一致的部分上进行叠加。

在叠加的状态下突出的部分是1201b。面向这样叠加相邻的图像形成右侧的齿列。作为其他的合成方法还有如图12（b）所示那样合成基准图像906e和图像1201a以及1201b的方法。而且，在叠加前后的图像时，当有一些偏离的情况下，也有删除叠加位置的其中一方的情况。

按照以上的顺序合成连拍静止图像，叠加合成左齿列的图像时的中心图像906e和合成右齿列的图像时的中心图像1102f，通过使其一致或者大致一致，形成图12（c）所示的全景齿列。

叠加优选例如根据中央的牙齿和牙齿的边界部分（KL）接合合成左右的全景齿列。而且，牙齿和牙齿的边界因为在上颚、下颚上对应于不同的地方，所以可以将上颚或者下颚的牙齿的边界部分作为边界使用进行合成，此时的合成也有可以分别合成只是上颚的全景齿列和下颚的全景齿列，最后合成上颚和下颚的情况。此时，当在中心图像之间有一些偏离的情况下，也可以在重合的范围中删除其中一方的图像。

另外，不需要中心图像906e和中心图像1102f预先叠加，有时只要采用其中一方的中心图像1301即可。在这种情况下，例如当采用中心图像906e的情况下，也有对1201a、1201b的大小等进行一些修正的情况，当采用中心图像1102f的情况下也有修正1001a、1001b的大小的情况。这样，除了拼接各图像间突出的部分的方法外，在未提取突出的部分，直接用共同部分叠加的情况下，也有一边调整中心图像之间的大小一边进行叠加的情况。

这样，从中心图像中合成左右齿列，作为左侧合成齿列和右侧合成齿列，通过根据各个中心图像合成它们，可以形成偏离得到抑制的全景齿列。

基于中心图像的合成例如优选以中心的牙齿和牙齿的接触线（边缘）作为特征部位合成左侧合成齿列和右侧合成齿列。而且，标记不是必须附加在中心牙齿上，在拍摄时，也有在改变照相机的方向的时刻拍摄的牙齿的部位等的情况，可以根据其他的目的等适宜地选择标记的位置。

特征部位也和标记一样，如果是在图像合成是可以对位的部位则没有特别限定。另外，在预先作为被拍摄体的齿列上附加标记，或者通过从图像中设定与标记相当的部位，可以进行更正确的合成。

而且，以上的动作说明当使用图形软件根据目视和鼠标操作的复制和粘贴、拖放、图像的缩小放大、倾斜补正等的操作进行显示在计算机监视器上的多张图像的动作情况下，还可以利用公知的自动全景照片合成用软件，例如Photoshop Elements7（注册商标，Adobe公司制造）、Photo Stitch（注册商标，佳能公司制造）等。

[3维全景齿列图像的制作]

齿列是相对咬合平面弯曲成弓形的形状，在准确掌握其全体的情况下，在采用2维的全景显示中，虽然知道各个牙齿的样子，但因为是以平面形排列牙齿的状态显示，所以因为3维要素的掌握不充分，所以优选能够进行三维显示的方法。

用口腔内的实际图像得到全景图像的方法例如在国际公开（WO）第2007/063980号手册中记载有形成具有近似于齿列弓形内部大致形状相似虚拟形曲线的形状的框，通过在其侧面配置拍摄装置拍摄件齿列全体，将它作为立体形式，由此得到立体3维全景图像。虽然确实可以以立体方式拍摄齿列的图像，但在要求具备弓形内部大致形状相似虚拟近似曲线的框的形成这一点上很难说是简易的测量方法。

以下，说明图13表示的形成采用实际图像的3维全景图像的实施例。图13是用于说明3维全景齿列图像形成单元的方框图。

参照号码1401是拍摄数据输入单元，是连接图14所示那样的具备多个照相机的立体图像拍摄用的照相机，同时形成和照相机的数量相同张数的图像的单元。

拍摄数据输入单元1401具备按下快门每次拍一张照片的方式，和按下一次快门拍摄多张照片的可以连拍的方式，也有连续输出多对静止图像的情况。

1402是校正单元，是用于对由镜头形状引起的变形、手抖动等进行补正、进行远近距离的补正等的单元，用所谓的校准单元的公知的方法构成。

校准单元1402是对同时拍摄的图像的各自实施校准的单元，还删除变形大的周边部分。

1403是共同点检测单元，例如是用于检测一对图像的共同点的单元。共同点检测单元1403将一方的图像的一个像素或者一群像素的亮度值作为基准用亮度值，使用其他图像的一个像素横或者一群像素的亮度值，例如取得亮度差的总和（SAD）、亮度差的平方和（SSD）值，根据其最小值或者最大值将一致的部分或者根据子像素推定所推断的部分作为共同点输出。

更具体地说，例如，也可以利用新井元基等的“图像的块匹配中的相关函数和子像素指定方式的最佳化”，社团法人信息处理学会研究报告，2004，P33-40中所示的结构及其他公知方法。

1404是世界坐标变换单元，是将得到的共同点的各图像的坐标全部变为共用的3维坐标的单元。

世界坐标变换单元1404例如用三角法、8点算法、三角测量法等算法进行计算机处理，从在上述共同点检测单元1403中得到的共同点的各自的照片图像的坐标值中形成视差值输出，从照相机的特性（作为内部参数的镜头的焦点距离、作为图像中心、像素尺寸，以及外部参数2个照相机的位置以及姿态）中形成世界坐标（X，Y，Z）输出。

例如，根据由分别不同的照相机的内部参数以及外部参数组成的透视投影矩阵P1、P2、基于来自各自拍摄的图像的共同点M的局部坐标（u1，v1）以及（u2，v2）根据一般所公知的下式（1）求世界坐标（X，Y，Z）。

[数2]

$\mathrm{\ωi}\left[\begin{array}{c}\mathrm{ui}\\ \mathrm{vi}\\ 1\end{array}\right]=\mathrm{Pi}\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right](i=\mathrm{1,2})\·\·\·\·\·\·\left(1\right)$

对于使用照相机内部参数、外部参数求透视投影矩阵，或者从由各静止图像中得到的多个共同点的局部坐标等求透视投影矩阵P₁、P₂以及ω1、ω2，根据上式（1）得到世界坐标的方法等，例如记载在电子信息通信学会杂志，Vol.92，No.6，2009，436-468上的方法等公知的方法很适合。

此外作为得到3维坐标的方法，和接近拍摄方法一同例如记载在牙科材料、器械，Vol.19，No.3，333-338（2000）等中，但不限于此，可以采用其他一般的方法。

参照号码1405是3维图像形成单元，例如在计算机上虚拟形成的3维坐标空间上显示该世界坐标数据，可以形成用直线或者曲线连结该坐标数据显示的线框模型，进而通过在用线围成的部分上粘贴虚拟面数据，可以进一步得到实际的全景3维数据。通过对3维全景式的齿列数据在立体坐标上立体化，也可以显示弯曲形的齿列。

1406是显示单元，用计算机用的显示器、打印机等形成，在一般的计算机监视器上可以作为虚拟3维图像显示，进而，也可以以2维投影弯曲的全景式齿列图像等显示。

图14表示在前端具备2个照相机的探头式的3维测量用的探头1500的一个例子。1501是摄像部A，在中心配置镜头1501a，具有三维的照相机模块形态。1502是摄像部B，在中心配置镜头1502a，具有所谓的照相机模块形态。

1503是照明光照射部，理想的是设置在摄像部A1501、摄像部B1502的周围，是形成在支撑部件1506的内部的发光单元1505发出的光经由光导1504从照明光照射部1503照射作为被拍摄体的牙齿表面的部分。照明光照射部1503优选进行更均匀的照明那样的形状，并不确定于图14所示的形状。

1503a是指示用光源，是用于表示拍摄面的光源，是进行聚光灯式的输出的部分，使用用黑色的圆筒体包裹周边的、红色、蓝色、白色等的LED。因为是聚光灯的光，所以根据距离的不同照射面的面积不同，因此可以边保持一定边移动探头1500。

1504是光导，形成在支撑部件1506的内部，表面优选用铝、银等的薄膜等的光反射部件覆盖。光导1504和照明光照射部1503连接。

1505是发光单元，安装在支撑部件1506内，例示白色LED、其他的光源。在本实施例中，也可以进行频闪那样的断续闪光驱动，和连续的照明驱动等。

1506是支撑部件，例如用以轻量硬质的塑料材料成型，在前端上配置摄像部等，具有用棒状容易插入到口腔内的里面的形状。

1507是操作用开关，是进行快门操作等的器件。其数量只要根据操作规格和目的设定即可，可以任意构成。当作为快门使用的情况下，也可以取得在按下的期间以规定间隔连续进行快门驱动那样的规格。

1508是手持部分，和支撑部件1506一体构成，优选以轻量结实的塑料材料等成型。

1509是用于和外部电源连接、和外部数据处理装置等连接的电缆线，是可以使用利用USB连接端子的电缆。而且，光源是频闪式发光，在照相机内部暂时可以存储连拍数据的情况下，和使用Zigbee（注册商标）、无线通信用的前端电路进行无线连接的情况等下，也有不需要连接单元的情况。

以下，说明图13以及图14所示的本实施例的动作。

在图13的拍摄数据输入单元1401中，使用者手拿图14所示的手持部1508在图8所示那样上下牙咬合的状态下将支撑部件1506前端的摄像部A1501和摄像部B1502接近被拍摄体部位，一边看指示用光源1503a指示的聚光灯的大小、位置，一边按下操作开关1507开始连拍动作。

虽然也有不进行连拍动作，可以在每次拍摄时按下快门用的操作开关1507的情况，但为了防止手部抖动优选按下动作少的连拍。在该按下的状态下拍摄到和图8（a）一样的位置，接着在和图10（a）同样的状态下，拍摄到同样的位置。

图15表示在一次连续拍摄得到的图像群中成对的图像。而且，在口腔内当更精确地测量牙齿表面形状的情况下，优选在靠近的状态下的拍摄，优选照相机的焦点距离也在可以接近拍摄的状态下设定。这些拍摄到的图像用图13的校正单元1402校正因镜头的曲面产生的变形，和倾斜等，向共同点检测单元1403输出。

在进行3维处理时，如图9以及图11所示考虑从中心附近向左右方向合成优选从中心开始进行，但并不特别限定于此方法。

图15（a）是牙齿的正面，是拍摄接近中心的地方的图像，也是用把图14的探头1500作为构成要件的摄影数据输入单元1401拍摄得到的数据。

1701a是摄像部B1502的图像，1701b是摄像部A1501的图像。在该图像上分别赋予将中心点作为相同部分的坐标，例如，设定摄像部B1502拍摄到的图15（a）的图像1701a的任意的点A（x1，y1）寻找表示和它一样的位置的点A’（x2，y2）。将点A例如作为一个像素的块求平均亮度值。从设想为图15（a）的图像数据1702a的点A’的位置附近，求和点A一样尺寸的像素块取两者的亮度值的差的总和或者平方和，接着一边向着A’方向进行同样的计算一边移动。形成一致性评价曲线。

在一致性评价曲线上，将该差异值的总和或者差的平方和最小的部分或者最大的部分作为点A’设定的子像素推定方法理想，但只要是得到共同点的方法并没有特别限定。

以下，对于成为1701a的点A的像素块进行同样的操作，从图像1702a上检测共同点。重复该操作，在除去图像1701a和1702a的咬合范围的共同范围1703a中求共同点的坐标。在这种情况下也可以得到以新附加的标记ML的位置为中心形成共同点坐标的精度高的共同点。另外，块越小越能够在精度高的状态下检测共同点，但因为处理时间变长，所以适宜地选择块的大小等，

接着，在图13的世界坐标变换单元1404中，例如从取多个点测量上述共同点的坐标值中，根据视差、焦点距离等拍摄器固有参数以及式1变换为3维世界坐标系。该具体的方法适宜采用在上述的文献等中表示的一般的方法。

在从图15（a）的一对图像中求共同点后，使用在以下的图15（b）中表示的图像对1701b、1702b将除了咬合范围的共同范围1703b变换为3维的世界坐标A（X，Y，Z）。在变成3维世界坐标的状态下，制成例如形成为图15（d）所示的线框形的齿列。

进而求除了图15（c）所示的图像对1701c、1702c的咬合范围的共同范围1703c的各共同点的3维世界坐标。

接着，在图13所示的3维图像形成单元1405中，从变换为世界坐标的图15（a）中求得的3维坐标和图15（b）并不以平面方式叠加而在虚拟3维坐标空间上叠加。在该叠加的图像上进一步叠加图15（c）所示的3维世界坐标。该叠加如果是在虚拟的3维空间上的叠加，则根据这些经过3维坐标化的数据在计算机监视器上虚拟地分别显例示如图15（d）所示那样的线框形的齿列，能够在目视下通过鼠标等是计算机界面的操作叠加各自，而当提高叠加的精度的情况下，也有这种情况，将比较的3维数值的某一个作为基准，优选通过差异比较等变成差异最小的状态的合成。用采用块匹配的子像素推定法也可以得到共同点。

从图15（a）到图15（c）形成向着正面基于对右侧的齿列进行了3维世界坐标化的数据的齿列，而接着进行左侧齿列的3维世界坐标化。世界坐标化只要使用上述公知的方法即可，例如在可以取得基于2个图形的3维坐标后，进行向作为共同坐标的世界坐标的变换。

也有这样的情况，在取得左右齿列的3维世界坐标后，只要进行计算机的3维虚拟显示，或者通过采用坐标值的数值叠加的近似性一致的方法进行组合即可。这种情况下，优选以标记部分的3维坐标数据为基准重叠，如果采用该方法，则不只是2维，在3维坐标下也可以用图13所示的显示单元1406进行没有偏离的全景齿列的显示。

叠加是在相同形状部分的数值数据下的叠加，例示了当不一致的情况下，一边取两者坐标值的平均一边进行叠加的方法，和在画面上用拖放的手动方法一边操作计算机鼠标一边叠加图像后，求坐标值的方法等。

而且，即使是具有相互共同的部分的图像，根据拍摄状况，当校正后仍处于重合条件差的关系的图像的情况下，只要从共同的图像内选择某个即可，为了制作全景图像也有可以使用不需要重叠部分一侧的图像的情况。

通过采用基于世界坐标的三维化的合成，全齿列可以显示成所谓的假牙形。

2维牙齿侧面的全景数字图像显示以及3维牙齿侧面的全景数字显示因为变成患者能够容易理解自己的全部齿列状态的样子，所以例如对于2维全景齿列数据、3维全景齿列数据的各自，把通过实施矫正模拟处理、虚拟美白处理形成虚拟齿列的状态的图像并设在计算机监视器上，可以给患者形成有治疗效果等实感的形态。

所谓矫正模拟处理例如表示这样的方法，如果是2维全景齿列图像，则预先根据部位制成一个牙齿的各种形状的数据库，对于2维全景齿列图像上各个牙齿的图像，牙科医生在图形软件上操作计算机鼠标进行复制粘贴形成虚拟矫正全景齿列。

在全景3维齿列图像的情况下，因为已经设定3维坐标，所以例示了这样的方法，在现有的CAD软件上，牙科医生等进行全景3维齿列图像的3维坐标调整，形成虚拟矫正3维全景齿列。这些矫正全景显示方法是例子，也可以采用其他的方法。

对于自己的全景2维以及3维齿列图像的虚拟美白处理后的虚拟显示也可以是并列显示牙科医生对图形软件上的这些图像进行了颜色数据的调整的齿列。通过将对患者自己的全景齿列进行了这样虚拟矫正、虚拟着色处理的图像并设在画面上，患者可以加深对治疗的理解。

[瞄准光照射单元]

图16是表示本发明的一种实施例的图。图中，A10是反射镜组件，用硬质的塑料等形成，在前端上设置用规定的角度（例如45度）设置的反射镜A10K，在后端上形成可以和拍摄组件A14的外周连接的圆筒形的安装部A10S，其间处于开放形状。

安装部A10S和拍摄组件A14的连接以推入的方式形成，只要是可以脱开、分开的程度就行，为了防止旋转，在两者上设置凹凸，或者可以形成为椭圆形等的非对称形状。

A11是壳体，用塑料、树脂形成，是口径大的圆珠笔那样的圆筒形，具备手容易拿着的形状，在前端上配置成拍摄组件A14突出，在后端上连接用于和外部处理装置连接的电缆A15。

A12是牙科医生、牙科卫生员等直接观看在反射镜组件A10的前端上以规定角度配置的反射镜A10K时的观察方向。

A13是瞄准光照射面，是从瞄准用光源A142输出的瞄准光在反射镜A10K上反射照射牙齿面时的瞄准光的照射面的一个例子。

瞄准用光源A142（参照图16（c））的位置是任意的，如果是能够决定拍摄图像的范围的位置，则可以是其他的位置，该部位例如是反射镜组件A10的前端部，也可以是照明拍摄范围的部位。在这种情况下，因为光路变短，所以也有即使指向角度宽一些也能够照明拍摄图像的范围的情况。

图16（c）表示放大了拍摄组件A14的状态。图中，A141是照明用光源，例示了具有宽的指向角度的LED或者镜头和LED的组合。照明用光源A141在拍摄部件A143周边配置多个。

A142是瞄准用光源，例示了通过指向角度小的LED或镜头和LED的组合，进行在照射面上可以经由规定宽度的输出的例子。另外，当是指向角度小的光源的情况下，优选隔着多个规定的间隔配置。

A143是拍摄部件，用CCD、CMOS的照相机形成，优选像素数更多的照相机。

再次返回图16（a），A15是用于和外部图像显示设备连接的电缆，除了USB电缆那样的通用电缆外，也可以用专用电缆形成。

A16a以及A16b分别是操作用键A以及B，以推式、拉式或者旋转式等构成，在各个键中，如果按下操作用键A16a，则在规定时间瞄准用光源A142发光，经由反射镜A10K只照射主要部分一定时间。所谓一定时间是使用者至少能够看到照射口腔内的主要部分的瞄准光的时间，优选直到拍摄的时刻，例如直到按下操作用键A16a等。

拍摄时因为在静止图像上形成不同配色的照明部分，所以在成为妨碍观察这一点上不理想，而当不妨碍观察的情况下，不特别需要关闭瞄准用光，也可以让其闪烁供使用者识别。

以下说明图16所示的实施例的动作。

安装在拍摄组件A14的拍摄部件A143的周边上的照明用光源A141的照明输出经由反射镜A10K照明口腔内的牙齿AH1。A14L是瞄准光光路。此外，照明用光源还经由反射镜A10K照射，照明光面内的一部分变成形成有瞄准光照射面A13的状态。

拍摄部件A143经由反射镜A10K输入所照亮的口腔内的部分，经由电缆A15用外部监视器装置显示。

牙科医生等的使用者能够用在外部监视器装置上显示的图像掌握拍摄部位，而当缩短诊疗时间的情况下或者包含治疗的情况等下，大多和牙镜一样的使用，观察方向如A12所示有处于和拍摄图像不同的状态的情况，而此时例如按下操作用键A16a。如果按下操作用键A16a，瞄准用光源A142发光，发光在规定时间进行，理想的是进行到拍摄开始前，观察者确认观察位置和拍摄位置。观察者为了使拍摄位置和观察位置一致而进行反射镜A10K的移动，通过再次按下操作键A16a，进行拍摄位置和观察位置的调整。

如果定位结束，则通过再次按下操作用键A16a或者操作用键B16b记录静止图像或者动画。上述的操作用键A16a和操作用键B16b的操作内容是例子，根据情况适宜地选择。图16（b）表示其一个例子。

A17是图像的一个例子，拍摄作为拍摄目标的牙齿AH1。瞄准光的照射范围是在瞄准光照射面A14上用虚线表示的圆的范围，包含打算拍摄的主要部分以及大致全部。

瞄准光照射面A13的范围因为由于壳体A11以及反射镜组件A10的组合相对牙齿H1上下移动而变化，所以使用者只要上下调整壳体A11以及反射镜组件A10即可，虽然比拍摄范围还大或者还小，但没有从拍摄范围的主要部分的偏离，另外与点光源相比也充分表现拍摄范围的主要部分。

通过以上的操作，调整拍摄面和观察面，记录正确的静止图像或者动画。

拿着图16（a）所示的壳体A11，对着口腔内的观察部位，纵横移动反射镜A10K以捕捉要拍摄的部位进行观察拍摄。

口腔内照相机被插入到口腔内的上颚或者下颚的狭窄的深处部位等，反射镜的拍摄范围因为在跨越宽范围的同时反射镜在倒置的状态下拍摄口腔内，或者在倾斜状态、横向等状态下也可以拍摄，所以拍摄图像也是倾斜或者倒置。因而，本发明实现了具备用位置传感器检测拍摄状态，对于图像上下倒置的状态和倾斜的状态，将其调整为水平状态的图像补偿单元。

[拍摄图像修正单元]

图17是为了说明本发明的一种实施例而使用的口腔内照相机的一个例子，将一部分作为剖面图表示。图中，A21是手持用的壳体，具有具备内部空间的圆柱形，在前端上由照相机和形成在照相机的周边上的照明用光源组成的椭圆筒形的拍摄组件A23以从壳体A21突出的状态连接，在后端上连接用于和外部显示装置连结的电缆A26。

图17表示照明组件的一个例子。图中，A22是反射镜组件，在前端安装以规定角度配置的反射镜A22H，在后端形成可以安装成覆盖拍摄组件A23的周边的圆筒形的安装部A22A，其他处于开放的状态。

A24是电路基板，装在壳体A21内，安装有图像处理用IC等。A25a、A25b是位置传感器，具有安装在电路基板上的IC芯片等。位置传感器的个数、安装部位是一个例子，根据传感器的种类也有不安装的情况。

位置传感器A25a、A25b因为用加速度传感器、角速度传感器等取得口腔内照相机宽范围的移动状态，所以采用不因角度无法测量的状态的传感器元件。位置传感器的个数表示2个，这只是例子，也有根据轴数的变化芯片数的变化，或者如果是3轴用的组件则是一个的情况。加速度传感器以及角速度传感器例示了3轴传感器，位置传感器的个数也根据轴数等调整。位置传感器A25a、A25b…的x轴、y轴、z轴例如例示图19所示的轴。

当把位置传感器A25a、A25b设置成角速度传感器（陀螺仪传感器）的情况下，角速度传感器例如分别输出由围绕x轴的移动引起的角度的变化量、由围绕y轴移动引起的角度的变化量，以及由围绕z轴移动引起的角度的变化量。当是角速度传感器的情况下，在任意设定了x轴、y轴、z轴的初始在状态的状态下，加算各个轴的变化量，检测照相机的拍摄状态。

与此相反，加速度传感器输出各自的x轴方向的加速度成分、y轴方向的加速度成分、z轴方向的加速度成分。进而这些加速度成分的合成矢量输出姿态矢量，在处于静止状态时，分别表示重力加速度矢量。从该姿态矢量中得到照相机的拍摄状态。

例如加速度传感器在静止时为了将重力加速度矢量A451作为姿态矢量输出，因为可以使用以该状态下的x轴方向、y轴方向、z轴方向的矢量为基准姿态，其后用角速度传感器进行各自轴的转动变化量的加算等的计算的方法等，所以通过组合加速度传感器和角速度传感器的双方，可以检测照相机的各种状态。

图18是表示使用位置传感器调整图像显示状态的单元一个例子的方框图。在该方框图中表示的构成如果是计算机处理，则可以具有用程序执行的部分。图中，A31是拍摄单元，表示用配置在图17的拍摄组件A23的中心上的照相机拍摄动画、静止图像的单元。

A32是图像补偿单元，用图像记录存储器、CPU等构成，暂时记录用拍摄单元A31得到的图像，根据位置检测单元A34的照相机角度信息转动图像形成容易看的状态的图像数据。

例如，拍摄组件A23进行拍摄，确定映显在监视器上的图像的基准姿态，在通过相对该基准姿态移动壳体，基准姿态图像转动的情况下，例如角速度传感器等从各自的轴的角速度中检测转动角度的变化量，只以减去该转动角度变化量的角度转动图像进行显示，由此可以形成容易看的图像。

而且，也有只在图19所示的围绕y轴的转动中可以进行图像的补正的情况。这是因为当拍摄在反射镜上反射的口腔内的像的情况下，拍摄组件A23的照相机因为始终向着反射镜方向，所以图像转动主要是伴随以图19所示的y轴坐标为中心的壳体的转动的转动的缘故。因而，也有这样的情况，优选至少在壳体A11以及反射镜组件A10在x轴、y轴以及z轴方向上变化的状态下，在图像显示部中将在xz平面上映显出的图像调整为向着一定方向的状态。

33是图像显示单元，表示计算机的监视器、其他专用的监视器，只要可以显示图像补偿单元A32的输出图像即可。

34是位置检测单元，用图17的位置传感器A25a、A25b等构成，具体地说：可以利用输出角速度的速率陀螺仪、输出角度的速率积分陀螺仪、姿态陀螺仪、MEMS型其他机械式、光学式等的角速度传感器、压阻使、电容式、热感应式的MEMS传感器等的加速度传感器。

以下参照图17以及图19说明图18的动作。

图19所示的坐标轴是表示一个位置传感器与3轴对应的情况，当位置传感器分别用1轴、2轴等对应的情况下，设定与位置传感器的每个部位对应的坐标轴。

拿着图17所示的壳体A21将反射镜A22H插入到口腔内拍摄打算拍摄的部位。此时，通过操作安装在壳体A21上的开关等记录初始姿态。图19的A140表示期望姿态中的坐标的一个例子。

通过位置传感器的设置形成坐标轴。在本实施例中，A421假设为x轴，A431假设为y轴，A441假设为z轴。而且，A451是重力加速度矢量，是加速度传感器在静止时合成的姿态矢量的一个例子。因而有这样的情况，重力加速度矢量不能在不使用加速度传感器时利用。

口腔内照相机例如表示为了拍摄槽牙的侧面而在接近直立的状态下的坐标。A422是x轴，A432是y轴，A442是z轴，当使用加速度传感器的情况下，A452能够表示重力加速度矢量。

向要拍摄的口腔内的部位移动反射镜22H。图19表示移动方式的一个例子。用反射镜22H以及壳体构成的口腔内照相机在用A411、A412、A413表示那样的纵横方向上移动，拍摄单元A31以静止图像、动画拍摄在各种状态下的口腔内图像输出到图像补偿单元A32。

位置检测单元A34例如相对于x，y，z方向的各自将初始状态信息输出到图像补偿单元A32。而且，如本实施例那样，当是显示反射镜的图像的结构的情况下，因为照相机向着反射镜，所以照相机图像反转难以观看的状态大多数是因为围绕y轴的转动的缘故，所以也有这样的情况：可以只利用1轴式的位置传感器。图像补偿单元A32将该初始姿态信息和图像对应，输出到图像显示单元A33显示。

如图19所示，当让口腔内照相机如A411、A412、A413那样移动拍摄口腔内的情况下，拍摄单元A31输出与各个姿态对应的图像。如果照相机以y轴为中心转动，则图像被倒着拍摄，输出与拍摄状态对应的图像。

位置检测单元A34从位置传感器A25a、A25b（例如陀螺仪传感器的情况）中分别检测围绕x轴、y轴、z轴转动的角速度，从该角速度中检测围绕x轴的角度的变化量（Δθyx），围绕y轴的角度的变化量（Δθxz），以及围绕z轴的角度的变化量（Δθxy）。

向图像补正单元A32输出这些变化量。图像补正单元A32根据从拍摄单元A31输入的图像数据、从位置检测单元34输出的位置信息，例如根据角度的变化量让图像转动。回到最初的图像状态。

因而，图像显示单元A33即使让照相机转动以动画、静止图像拍摄同样的口腔内对象物，图像也可以始终在最初的设定状态下进行显示内容图像变化的显示。

而且，当使用凸面镜拍摄上颚、下颚的全齿的情况下，也可以适用采用记载于文献（Design Wave Magazine,2008 December,P113-115）中的方法的鱼眼镜头补正单元。

[拍摄动作时间调整单元]

本发明通过用在得到实际图像时操作的开关的按下的方法，例如以如在计算机操作时进行的双击方法那样在一定时间按下的次数调整直到实际拍摄的时间，可以实现在牙科医生的治疗时、检查时以及对患者说明时的照相机操作的稳定性。另外，通过指定表示拍摄动作时间的在监视器画面上操作照相机的开关显示的时间的图标式显示（例如，2次2秒，其后连续拍摄），决定其时间。

另外，当在画面上进行坐标等的显示功能时，和通过采用操作键的按下次数、按下方法等调整显示的时间，一边将照相机插入口腔内一边进行说明时，也可以调整图像显示的时间。具体的时间的规格可以从便携终端的画面上输入调整。

参照图20详细说明时刻调整单元的一个例子。在图20中，B7001是输入单元，例如表示构成图1的操作界面的按下键101d、101e。

B7002是输入次数检测单元，用计数器、触发器等构成，计数按压键的按下次数。该计数优选在规定时间间隔内计数。

B7003是延迟单元，是用于将按下按压键的次数和每按下1次的延迟时间相乘设定延迟时间的单元。在经过延迟时间后输出一个脉冲。

B7004是拍摄输出设定单元，在延迟时间B7003的延迟脉冲下降时，向拍摄单元B7005输出开始拍摄的信号。

拍摄单元B7005根据拍摄开始信号，进行从数张到数十张静止图像的连拍或者进行动画拍摄。通过该拍摄得到的图像输入到图像输入单元B7006，进而在图像选择单元B7007中区别有焦点的图像，在保存显示单元B7008中保存或者显示到图1所示的显示器104上。

图像输入单元B7006是用于将在拍摄单元B7005中得到的图像作为数字数据取入向图像选择单元B7007输出的单元。另外，图像选择单元B7007例如是用于只选择有焦点的图像的单元。

B7009是显示单元，表示在按下输入单元B7001的键后直到执行之前改变闪烁位置通过视觉通知的结构等。显示单元B7009设置在牙科医生在治疗时可以看到的地方，是显示在按下操作键之后多少秒后开始动作的单元，也有的在作为显示单元B7009之一的计算机的监视器上显示的情况。

另外，通过设置在延迟时间期间，颜色是红色，如果延迟时间结束，则向白色变换的LED，或设置只在延迟时间中连续发光、闪烁发光的光源灯，使用者能够知道处于延迟时间中的指针，可以进行有余量的键操作，可以扩大口腔内作业的宽度。

[X射线拍摄单元]

图21（a）是表示本发明的实施例的方框图。图中，B8011是X射线图像拍摄单元，例示了X射线输出装置和X射线CCD传感器的组合，或X射线输出装置和X射线荧光板以及CMOS或者CCD照相机的组合。具体地说，在图21（b）中表示一个例子。

在X射线图像拍摄单元B8011中还包含现有的全景透视拍摄装置、X射线CT、牙科X射线装置等，只要至少在计算机监视器上可以作为数据显示即可。当无法取得直接打开的X射线图像数据的情况下，也可以作为以下数据取得：附带在计算机上的X射线图像浏览器化的数据、画面的硬拷贝数据、在监视器画面共用状态下的数据、用口腔内照相机拍摄监视器上的X射线图像得到的数据等的X射线图像数据。进而还存在包含图21（b）的构成的情况。

B8012是实际图像拍摄单元，例如适合使用反射型的口腔内照相机。实际图像拍摄单元B8012进而有的包含图21（c）所示的构成的情况。

B8013是比较部位提取单元，用块匹配方法、子像素推定方法形成，是用于为了提取和用X射线图像拍摄单元B8011拍摄的图像一致的部分，而提取比较部位的单元，例如是进行拍摄到的图像的轮廓提取、多个像素值的提取输出X射线图像提取数据的单元。

B8014是比较部位提取单元，用块匹配方法、子像素推定方法等形成，是用于为了提取和用实际图像拍摄单元B8012拍摄到的图像一致的部分而提取比较部位的单元，例如是进行拍摄到的图像的轮廓提取、多个像素值的提取输出实际图像提取数据的单元。

B8015是比较单元，比较从各个比较部位提取单元输出的提取数据，将一致、大致一致、推定一致的部位作为一致部位输出。在比较时，有时要放大、缩小图像，而这只要将实际图像、X射线图像数据作为BMP、JPEG、GIF等通用的形式变换，用通用的图形软件进行放大缩小处理即可。

B8016是一致部分记录单元，在记录一致的部位、大致一致的部位，或者推定一致部位的同时，向显示单元B8017发送。

显示单元B8017例示计算机的监视器（显示器）装置、手机显示部等，但只要至少具有以能够进行X射线图像、实际图像的并设显示、重叠显示的大小下清晰地显示X射线图像那样的分辨率即可。

本实施例通过计算机软件实现，但也可以用硬件形成。

X射线图像拍摄单元和实际图像拍摄单元可以是各自的设备，而最好是一个设备的一部分更换共用的状态。

接着说明本实施例的动作。

用X射线图像拍摄单元B8011以动画或者静止图像拍摄测定部位。X射线图像拍摄单元B8011测定的部位通过选择一个牙齿、多个牙齿，或者上颚、下颚的全齿等进行。

以下，用实际图像拍摄单元B8012在动画或者静止图像下拍摄X射线图像拍摄单元B8011拍摄的部位。在拍摄时，可以准确地确定同一部位进行拍摄，也可以瞄准拍摄。

补正从两者中得到的图像的变形。补正的方法例如可以是校准方法，预先拍摄作为基准的棋盘格，计算由镜头引起的变形值补正数据。

以下，在比较部位提取单元B8013以及B8014中进行特征部位的计算。特征部位例如是轮廓，分别提取X射线情况下的牙齿的轮廓和实际图像的牙齿轮廓的一部分或者全部。

以下，比较两者的轮廓。此时，X射线图像和实际图像在轮廓局部上一致的状态下，或者大致一致的状态下取得两图像重叠的部分。

比较单元B8015向一致部记录单元B8016输出上述重复的两图像，一致部分记录单元B8016记录两图像。显示单元B8017根据使用者的选择显示两图像，在透过状态下进行重叠、并设。

图23是表示用X射线拍摄单元以及实际图像拍摄单元拍摄到的图像的一个例子。图23（a）是X射线图像，表示用X射线拍摄到的牙齿b101。图23（b）表示在和图23（a）在相同部位上拍摄到的实际图像的牙齿b102。图23（c）是表示重叠它们显示的重复图像b103的图。通过X射线图像和实际图像的对比，能够容易理解X射线图像。特别是在实际图像显示中，因为可以显示牙龈的颜色、脓肿和炎症的有无，所以通过和X射线图像的对应，可以显示牙周病、龋齿的发展和其有无容易让患者看懂。

接着详细说明图22所示的X射线图像拍摄单元的具体例子。在图22中，B9101是手持用壳体，最好用包含铅的X射线不透过的塑料材料等形成。

B9012是X射线输出装置，优选一般的牙科用的便携式的现有产品，但没有特别限定，如果是在牙科诊疗中使用的X射线输出装置，则可以在功能上得到充分利用，而便携式在家庭医疗等中也有效，适合于和利用和实际图像并用的X射线图像。可以是便携型，也可以安装在台上使用。

B9013是电缆线，除了使用通用的USB电缆外，还可以利用专用电缆等。

B9014是X射线荧光体，使用在玻璃基板上晶体生长有或者涂抹有荧光材料Csl、CsWO、Gd₂o₂S:Tb³⁺、549nm（f-f）、（Zn，Cd）s：Ag的荧光体等。

B9015是可见光透过部件，用包含铅的透光性部件形成，是只让可见光透过的部件。

B9016是拍摄组件，在这种情况下，可以只是照相机，优选使用更高解像度的照相机。

B9017是X射线拍摄用支撑部件，用包含铅的X射线不透过的部件形成，在前端安装反射镜B9108、X射线用荧光体B9104等，另一端形成为了插入固定在拍摄组件B9016的周围上而开放的筒形。

反射镜B9108例如在倾斜45度的状态下形成，用平面形的镜子形成，是让X射线投射后的可视化的图像反射，传递到投影组件B9106上的组件。

在图22（a）中，用X射线荧光体B9104将从X射线输出装置输出的X射线变换为可见光，其后，除去X射线成分，在反射镜B9108上反射后，输入到投影组件上。B9109是拍摄部位的口腔内的齿列略图。

图22（b）是组合采用X射线传感器的X射线照片图像和采用反射镜的实际图像的实施例。B9110是X射线拍摄用支撑部件，和图2（a）所示的X射线拍摄用支撑部件B9107一样用X射线不透过部件形成。

B9111是可见光透过部件，用含有铅的透光性部件形成，是除去X射线，将可见光传递到拍摄组件B9106用的滤光器。

B9112是反射镜，是平面形反射镜，B9113是X射线传感器，用现有的X射线CCD（CMOS）传感器、成像板形成。B9114是将X涉嫌传感器的传感器信号向外部传递的引线，它也优选用含铅的树脂覆盖。

本实施例除了只有X射线传感器B9113外，通过并用反射镜组件和拍摄组件B9106的组合，具有在和实际图像相同的时刻输出X射线可视图像用的构成。

组合反射镜B9112和X射线传感器B9113的构成虽然实际图像显示牙齿的背侧，但和从牙齿表面分开拍摄的图像的对照变得容易，因为能够同时取得实际图像和X射线图像，所以在不用实施要求一致范围的图像处理就能够容易得到同一部位这一点上理想。

口腔内的X射线图像对患者来说是难以理解的图像，而将同样的拍摄部位的实际图像在计算机监视器、纸张等上并设或者通过透过性叠加显示，X射线图像变得更容易理解，容易向患者说明。

X射线图像在牙科X射线的情况下，通过一次拍摄将多个牙齿作为一张或者一个数据拍摄。在这种情况下，一边移动X射线传感器和X射线输出装置，一边例如进行连拍，在对全额骨进行多次X射线图像化后，作为数字数据进行轮廓提取。而后，在各自相邻的X射线图像中检测变形少的图像的共同部分进行块匹配或叠加，检测一致、推定一致的点，也可以形成全景式的图像。进而，实际图像也一样形成全景式的图像。通过将这些图像显示在监视器画面上或者印刷在纸张上，能够形成容易理解的可以比较的数据。

图23（d）以及图23（e）表示数据的一个例子。图23（d）表示进行实际图像的数字处理实施了拼接的状态，b104是上颚数据，b105是下颚数据。例如用图1所示的口腔内照相机一边一点点移动位置一边例如连续拍摄，通过一边叠加拼接各图像的共同部分一边制成上颚数据b104。下颚数据b105也同样地制成，虽然表示制成一张图像的方法，但也可以同时拍摄上颚下颚，一边叠加一边拼接共同部分。连拍因为作为图像显示的结构连续，另外尺寸也连续，所以连接的部位容易看，尺寸调整也少。

在得到这种全景实际图像的情况下，也可以使用中间亮度值法、块匹配法、光流法等的方法。

图23（e）表示同样拼接X射线图像制成的上颚X射线数据b106和下颚X射线数据b107，进而，在下颚上，在叠加实际图像的下颚数据b108的状态下患者也容易看懂。

本实施例以能够比较口腔内实际图像、X射线图像Y、虚拟校正全景齿列图像、虚拟配色的全景齿列图像等的方式，通过计算机监视器、对纸张的印刷，让患者对自己口腔内的图像“可视化”，能够促进由持续性治疗、有效的预防、积极治疗带来的自费比率的提高等。

另外，用X射线、实际图像显示需要用牙龈、额骨补充的部位，能够根据X射线图像进行作为人工齿根的种植条件的额骨的状态，和在实际图像中的虚拟补缀的状态的合成等，还能够由骨再生单元显示再生区域。

实际图像、X射线图像以及显微镜图像作为多角度图像列表能够容易看并总结，通过图像显示、打印出该编辑的结果，能够容易让患者知道基于口腔内状况的治疗以及预防的程序。

实际图像的拍摄例如进行桃红色等牙菌斑着色在可以通过目视观察牙菌斑附着状况后，形成图23（d）所示的图像记录在记录装置中，可以观察牙菌斑的附着状况和牙龈的状况。进而，根据牙龈的状况收集牙菌斑，使用显微镜形成牙周病菌图像，在与该收集部位相关的状态下编辑图像。

进而，和X射线图像并用，将牙周病的状况分为5级左右，把显示成容易看牙周病状况的口腔内地图作为图像数据、印刷数据形成，可以正确地进行牙周病的预防、虫牙预防。

用采用上述的全景方式取得全齿或者一部分牙齿的照片图像的实际图像形成单元使用红色染色剂得到显示牙菌斑的图像数据。

用采用软件的例如使用亮度值检测单元检测该图像数据的红色的浓淡程度的检测单元检测浓淡值。当该浓淡值超过了一定值的情况下，例如在基于厚度蓄积到牙周病菌容易繁殖的程度的状态下的浓度值中，当超过了用亮度值换算该值的值的情况下，通过设置在图像数据的那一部位上附加注意标记（合成在画面上的记号等）的单元，在用计算机监视器或打印机输出口腔内染色后的图像时，自动地显示牙菌斑的附着量多的部分。能够从图像中看到该输出显示和牙龈的状况，有效地进行牙周病的发现、预防、治疗。

[口腔内的虚拟补缀治疗显示]

本发明通过X射线图像和实际图像的并设合成能够形成容易理解的图像，但进而将补缀物的虚拟形状和颜色信息叠加在该图像上进行合成，可以显示治疗后的虚拟的状态容易理解。

作为一个例子表示这样的结构：在图21（a）所示的X射线图像拍摄单元B8011上在后段上附加图21（b）所示的用于合成显示虚拟形状的单元，在图21（a）所示的实际图像拍摄单元B8012上在后段上附加合成显示在图21（c）中所示虚拟形状的单元。

进而，优选具备预先存储虚拟形状，在虚拟合成显示时调出使用的虚拟形状等存储单元B8022。作为虚拟形成等还包含：假牙、牙桥、有钩牙、无钩牙、种植牙、嵌体、牙冠、其他的补缀物、矫正用器具形状信息，或者在虚拟形状上还包含颜色信息，例如可以包含预先或者在使用时对在决定色调时使用的由具备多个牙齿形状的色样组成的样板进行数据化并存储的信息，存储全齿或者一个牙齿的颜色信息等的信息。该数据的存储可以在拍摄患者的口腔内的X射线图像、实际图像时，根据需要附加补正、整理用数据等后顺序存储。

在图21（b）中，B8018是X射线图像用虚拟形状调整单元，在拍摄到的X射线图像拍摄单元B8011中，对所拍摄的X射线图像将使用者从虚拟形状等存储单元B8022中指定的、或者自动调出的虚拟形状依据其尺寸，一边调整为在X射线图像上可以容易认出，一边调整为没有不协调感的色彩并调整为可以合成的状态。B8019是针对X射线图像的合成显示单元，是在监视器画面上合成X射线图像、虚拟形状显示的单元。

图21（b）以及图21（c）分别在拍摄单元上作为附加的单元追加了虚拟合成显示单元，但并不限于附件的单元，根据需要也可以作为主要构成设定。另外，进行图21的实际图像、X射线图像的叠加的结构不是必须的，也可以是实际图像、X射线图像各自单独进行虚拟显示的合成。该合成将图像作为BMP、JPEG、GIF等的通用的形式，可以和网格显示等一样使用叠加方法，或者在通用的图像软件中使用的透过方法、叠加方法。

在图21（c）中，B8020是实际图像用的虚拟形状调整单元，具有和X射线图像用的虚拟形状调整单元相同的构成。B8021是合成显示单元，它也具有和X射线图像用的合成显示单元一样的功能和构成。

接着，参照图28详细说明图21所示的虚拟显示的合成构成。

在图21（a）中，用X射线图像拍摄单元B8011拍摄并形成用图28（a）表示的全齿X射线图像b201。这在例如取得从现有的X射线全景拍摄装置中得到的全景图像，和对多颗牙齿的每一个进行全齿X射线拍摄取得图像，并将它变换为数字图像后，对各个图像例如在轮廓提取后检查共同部分。

在各个图像的每张上也可以在共同部分上连接形成全齿的全景图像。同样用实际图像拍摄单元B8012形成在图28（b）中所示的全齿的全景实际图像b202。而且，该全齿图像不仅限于该方法，也可以使用进行连续拍摄，选出适当的图像进行拼接的方法等。

从图像中找到治疗部位。例如在图像b201中是槽牙缺损部b219a和槽牙缺损部b219b、门牙的缺损部b219c以及门牙的间隙b219d，全景实际图像b202也一样。

对于各个缺损部研究需要哪种补缀，例如如果是门牙补缀物，则用虚拟形状调整单元B8018检索虚拟形状等存储单元B8022选择门牙可以补缀的形状的候补。在选择后读出选择图像，在画面上一边选择尺寸和颜色一边用合成显示单元B8019合成在显示监视器上显示。图28（c）例如是合成了虚拟构成的图像b203。在合成的图像b203中，当在下颚的槽牙缺损部b219a、b219b上认为人工牙根适合的情况下，当从虚拟形状等存储单元B8022中送出多个人工齿根b213、上部构造b215的情况下，选择牙桥用种植牙b212以及牙桥上部结构b214，用虚拟形状调整单元B8018调整尺寸、颜色，用合成显示单元B8019合成，在监视器画面、便携终端的监视器画面上显示。

在用实际图像拍摄单元得到的全景的实际图像b202上也同样从虚拟形状等存储单元B8022中调出实际图像用的补缀物、镶嵌数据等，用虚拟形状调整单元B8020调整尺寸和颜色，用合成显示单元B8021显示。

在图28中，b216表示图28（c）的牙桥用上部结构b214，b219表示图28（c）的上部结构b215。b217是门牙用的牙冠，相当于图28（c）的b210。b218表示图28（c）的间隙补缀部b211。

间隙补缀部b211的形成例如如果牙彼此是牙冠，则可以加大牙冠的大小通过将两牙冠做成接触状态实现。在是天然牙齿的情况下，表示将两个牙齿消磨掉一些实施补缀的方法。

用斜线在合成的图像b203、b204的各自上表示补缀物。例如，在合成的图像b203中的牙桥用种植牙b212以及牙桥用上部结构b214中，当强度不理想的情况下，从虚拟形状等的存储单元B8022中读出和下颚右侧同样的3个人工齿根和上部结构进行置换显示，一边看图像一边调整缺损部分的骨头的状况、可以种植牙的范围。

另外，从虚拟形状等的存储单元中调出牙齿颜色数据，可以一边在监视器上比较调整和相邻牙齿的颜色关系一边决定。例如，门牙补缀b210可以一边对照通用的模式，一边和相邻牙齿调整形状、颜色并决定。

间隙b219d的治疗方案可以是从虚拟形状等存储单元B8022中选择嵌体、牙冠等要使用的补缀样式，一边插入到图像中，一边用虚拟形状调整单元B8018调整，一边在合成显示单元B8019上看合成的情况，一边研究其他的虚拟形状。当在三维上形成该虚拟形状的情况下，在画面上转动虚拟形状，即使是平面口腔内图像，也能够得出更现实的合成图像。

虽然是研究至得到图28（c）和图28（d）的状态的足够的信息，但进而在图21（a）的比较部位检测单元B8013中，从图28（c）所示的合成图像中在合成前的部位上指定成为调整的部位，在比较部位提取单元B8014中从图28（d）所示的图像中在合成前的部分上指定成为特征的部位，在比较单元B8015中对照两者的比较部位，暂时记录一致的状态，进而进行显示。

图28（e）表示该显示状态的图像。合成图像b205是叠加了实际图像和X射线图像的图像。是号码用合成的图像b203、b204表示的补缀状态。X射线虽然图像难以看到，特别是牙龈部位难以看到，但通过这种合成图像，X射线图像的牙龈部的显示容易理解，而且可以上部构造或者牙齿和牙根部的平衡易于理解。

通过在画面上进行虚拟的安装，能够向患者显示可以想象实际的治疗结果的口腔内的画面，另外，通过适合于本人的着色或者银色牙齿、陶瓷等的牙齿的虚拟陈列，要进一步实现适合患者的补缀。在治疗时，在向X射线图像的虚拟式安装对于牙科医生来说也成为治疗的参考。虚拟数据直接使用现有的市售的数据，除了进行放大缩小合成的情况外，在合成后从实际的距离变换为补缀数据，还可以和颜色信息一同得到美白、矫正数据。

因为通过向补缀部位的虚拟形状的合成，可以求实际的补缀物的尺寸的一部分，虚拟形状等数据还有直接作为补缀物制造用数据使用的情况。

另外，还有这样的情况，通过用计算机执行该方法，可以很快知道实际的补缀物的大小的一部分，可以直接作为补缀物的制造数据使用。

[便携终端型信息输入输出单元]

接着，参照图24详细说明本发明的实施例。图中，1a01是小型电池例示了纽扣型、圆筒型、片形、针型等的电池，另外也可以使用一次性电池、二次电池之一。1a02是升压单元，是DC-DC转换器、斩波型、其他的开关稳压器，例如使用具有将1.5V升压到3V左右的功能的单元。1a03是控制单元，例示了单芯片型的计算机，ASIC等的控制芯片。1a04是显示单元，例示了用液晶板等形成的可以进行2维显示的单元。

1a05是终端侧通信单元，根据无线介质1a0C的种类适宜地调整，如果是电波则使用包含数GHz的载波输出单元、FM、AM、PCM等的调制单元、发送接收天线等的电路，如果是光则使用LED、激光和CDS等的光接收元件的组合，而这其中也很适合于使用电波的Zigbee模块（商品名称）等。此外，也有可以是采用USB连接等的通用电缆、专用电缆等的有线的通信单元的情况。

1a06是输入单元，例示了通过键盘、触摸板、其他的按压触摸等，将使用者想要的部位变换为电信号的单元。还有这样的情况：使用具有触摸板功能的液晶板等，在同一显示器上兼做显示单元1a04和输入单元1a06。

1a07是存储单元，为了编辑患者数据显示到显示部上而记录程序。患者数据因为主要记录在主机设备一侧，所以可以暂时存储，只要根据容量存储即可。1a08是直接连接输入单元1a06、终端一侧通信单元1a05的电路，而它是表示在按下键时，直接经由终端一侧通信单元1a05发送的功能的单元，也可以表示和键盘、计算机之间的电路线相同的构成。也有这样的情况，在控制单元1a03代行的情况下不需要。

1a0B是主机设备，表示存储了患者数据、患者口腔内数据、患者健康数据、考勤等的牙科工作人员相关数据、牙科诊疗数据、经过电子化的病例数据、患者预约数据等的数据库等的，存储牙科医疗业相关的全部数据的记录单元1a11、主计算机1a10以及通信单元1a09的组合。

1a09是主机侧的通信单元，是表示和便携终端一侧的终端侧通信单元1a05成对构成的单元。因为对许多患者来说利用多个便携终端并不少见，所以便携终端或者通信单元1a09可以多通道设定，优选只受理来自确定便携终端的输入。

1a10是主计算机，表示和显示用显示器装置、键盘、鼠标、打印机等的外围设备的组合结构。1a11是记录单元，是硬盘、SD、DVD、USB存储器等的记录介质，可以收容在主计算机1a10内。通信单元1a09也同样是除了外部连接的情况外，还可以内置。1a12是通信网络，例示了因特网、公司内LAN、以太网等。1a13是其他主机设备，具有和主机设备1a0B的主计算机1a10一样的结构，也可以存储主机设备1a0B没有的患者数据等。另外，例如通过远程向便携终端发送治疗数据，还可以支援正在操作的牙科医生的检查治疗。

以下说明图24所示的实施例的动作。

用升压单元1a02升压电池1a01的电压并将其提供给各单元。通过用该升压单元1a02例如将电池电压1.5V升压到3V或者超过3V的电压，能够驱动C-MOS控制元件等。

控制单元1a03可以从存储单元1a07中调出牙科诊疗时的检查数据处理用程序执行并显示在显示单元1a04上。否则，可以直接用显示单元1a04显示从主计算机1a10发送来的数据。

因为使用无线通信单元，所以最初或者在操作过程中检查通信状态确认通信状况。而且，还有这样的情况，即使假设在过程中无线连接中断，也可以用控制单元1a03暂时进行中断期间的输入输出。

按照显示单元1a04的显示，操作者按下或触摸输入单元1a06的输入键等进行操作。在这种情况下，例如在按下输入单元1a06的“1”键时，在经由控制单元1a03向显示单元1a04输出显示“1”的同时，经由终端一侧通信单元1a05、无线介质1a0C、通信单元1a09向主计算机1a10发送。在执行键信号到达主计算机1a10后，例如当将患者名字从输入单元1a06向主计算机1a10发送的情况下，在接收的主计算机1a10内的数据库中进行检索，将数据向便携终端1a0A发送。发送的数据经由终端一侧通信单元1a05用控制单元1a03调整为显示用，用显示单元1a04显示。

另外，可以是这样的构成即从主计算机1a10向便携终端发送的数据直接显示在便携终端1a0A的显示单元1a04上，另外，控制单元1a03从存储单元1a07中调出程序执行，对从主计算机1a10发送来的数据进行程序处理，可以显示在显示单元1a04上。

用无线通信单元授受的数据发送符号数据、数值数据、记号数据、其他的文本数据、图像数据。当主计算机1a10中没有所需要的内容的情况下，也可以经由通信网络1a12向其他的主机设备1a13寻求得到数据。

来自输入单元1a06的输入进一步记录在主机设备一侧的记录单元1a11中。例如当得到牙周袋深度值从输入单元1a06手动输入的情况下，直接经由主计算机1a10记录到记录单元1a11，而为了确认输入的值，也可以在显示单元1a04上设置用于该显示的电路。

以下参照图24以及图25详细说明本发明的实施例的动作。

在使用开始时，如在图25所示的步骤1b01中所示那样执行自动通信测试，如果通信测试失败（否）（图25所示的步骤1b02），则显示错误信息（图25所示的步骤1b03），再次在图25所示的步骤1b01中进行自动通信测试。

如果自动通信测试成功（是），则图24所示的主计算机1a10将患者选择菜单显示数据经由通信单元1a09、无线介质1a0C、终端一侧通信单元1a05输出到控制单元1a03，输入了该数据的控制单元1a03将它输出到显示单元1a04。这种情况下，主计算机1a10输出的是显示用数据，例示当用显示单元1a04显示该显示用数据的情况下，控制单元1a03执行从存储单元1a07读出的显示用程序形成的例子。

而且，患者选择菜单可以在便携终端的存储单元1a07中作为程序记录。另外，也有不经由控制单元1a03直接在显示单元1a04上显示数据的情况。

图24所示的显示单元1a04进行患者、使用者选择菜单的显示（图25所示的步骤1b04）。

在图25所示的步骤1b05中，说明按下键盘输入患者选择菜单号码的情况（是），其他的选择（否）向端子1b05a移动而进行，而因为是重复同样的操作所以省略图示以及说明。

患者选择（例如按下键盘的1）的1的信号在直接经由无线通信单元向主计算机1a10发送的同时，在显示单元1a04上显示患者名输入框的程序工作。在图25所示的步骤1b06中，在按下键盘输入患者名患者患者代码时，将每次按下时与按下的键盘对应的记号、文字数据发送到主计算机1a10，在按下回车键时对于主计算机1a10的记录单元1a11内的存储数据进行检索。

该检索除了全姓名一致检索外，因为能够利用只输入姓或者名进行检索的局部一致检索，所以可以显示在局部一致的检索时得到的患者列表。

当进行是否有患者候补的选择显示的情况下，按下表示有的键，该按下的信息直接发送到主计算机1a10，主计算机1a10从数据库中调出患者数据向便携终端1a0A发送。

该患者数据显示在显示单元1a04上，在这种情况下，控制单元1a03也可以直接在每个换行代码上列举显示。

进而，当进行患者数据显示的情况下，控制单元1a03从存储单元1a07中读出显示用程序并执行，也可以在显示单元1a04上进行基于程序的排列的显示。

当在图25所示的步骤1b07中有患者候补的情况下（是），图24所示的主计算机1a10将患者数据发送到便携终端1a0A（图25所示的步骤1b08）。在图25所示的步骤1b07中当没有患者候补的情况下（否），也有进行新患者登录，或者再次进行检索的情况，而再次检索的常规显示省略，只表示进行新患者登录的步骤（图25所示的步骤1b09）。

当进行新患者登录的情况下，在操作输入单元1a06的键盘输入数据时，键盘输入直接向主计算机1a10传递，登录到记录单元1a11的数据库。而且，当是新患者登录的情况下，除了来自输入单元1a06的输入外，也可以是来自主计算机1a10的输入，无论来自哪里的输入都新追加到记录在主计算机1a10的记录单元1a11中的患者信息中（图25所示的步骤1b09）。

如果患者被确定并显示记录后，接着在图25所示的步骤1b10中，在便携终端1a0A的显示单元1a04上进行检查菜单显示。该菜单显示例示了主计算机1a10输出显示的数据的例子，或者显示单元1a04用执行从存储单元1a07中调出的程序的控制单元1a03显示该数据的例子。

这也可以检查相关菜单在作为文本文章显示的情况下，从主机设备1a0B经由无线介质1a0C、控制单元1a03直接显示，当显示是数据库固有的排列模式的情况下，可以从存储单元1a07读出应用程序执行它（图25所示的步骤1b10）。

在图25中，表示指定牙菌斑检查，此外的选择（1b11a）省略。当在图25所示的步骤1b11中指定牙菌斑检查时，按下输入单元1a06输入指定的信号直接向主计算机1a10发送，主计算机输出过去的牙菌斑数据。

主计算机1a10从记录单元1a11调出向便携终端1a0A输出的过去的牙菌斑数据是数值、记号、文字、动画、静止图像等的数据。控制单元1a03执行从存储单元1a07调出的牙菌斑显示程序，根据从主计算机1a10输出的数据进行显示。

通过便携终端一侧的键盘操作，将在某个牙齿的某个侧面上追加记载有某个阶段的牙菌斑的数据向图24所示的主计算机1a10发送。主计算机1a10在记录单元1a11中记录其主旨的数据。

在图25所示的步骤1b12中，如果进行患者牙菌斑显示，则向是否进行修正、追加的图25所示的步骤1b13移动，当进行修正、追加的情况下，进行上述那样的修正、追加（图25所示的步骤1b14）。

如果修正、追加结束，则在图25所示的步骤1b15中判断是否进行其他的检查，当进行其他的检查的情况下，进行图25所示的步骤1b10的检查菜单显示，当不进行其他的检查的情况下，进行是否返回到初始菜单的显示（图25所示的步骤1b16），当向初始菜单返回的情况下，进行图25所示的步骤1b04的患者、使用者选择菜单显示，继续进行处理。当不返回初始菜单的情况下，例如可以结束。

而且，以上的结构只不过是一个例子，例如也有将智能手机、手机直接作为牙科信息管理用的便携终端使用的情况，至少牙科工作人员携带它可以进行口腔内信息、牙科业务信息、牙科工作人员信息、其他相关的信息的输入、显示、登录等的操作，根据需要从主机终端中读出信息，可以登录，牙科工作人员之间只要能够共用地显示、输入所需要的信息即可，可以取得与其目的相应的结构。

通过以上的操作进行无线通信的是键盘的代码以及数值、文字、符号、记号、文本数据、图像、动画等的数据，因为可以实时显示，所以既可以和诊疗同时使用终端，也可以在不紧张的状态下使用。另外，当在腰间或者背上安装主机设备的情况下，或主机设备和便携终端用有线连接也没有问题的情况下，也有不使用无线通信，可以使用有线通信的情况。

本发明还可以在上述便携终端上实现牙科信息的统一管理。作为成为管理对象的信息，例如可以输入在牙科诊疗的预约管理系统、电子病历系统、根据会计信息以及诊疗信息制成健康保险理赔数据的健康保险理赔计算机系统、在与复诊患者有关的复诊管理系统等中处理的牙科业务信息、患者信息、病例信息、会计信息、诊疗收费信息等，例如表示在具备制成图表化的账票显示的功能的经营管理系统中处理的牙科业务信息、数字X射线信息、牙科用显微镜信息、牙科用CT信息、口腔内照相机等的检查信息、治疗用牙科组件信息、患者用椅子等的数据信息、来自牙周袋检查用探头和其他设备的口腔内信息、牙科医生、牙科卫生员、牙科职员、接待文职员工、牙科技师等的工作人员的考勤等的牙科工作人员信息，而此外，还可以包含牙膏信息、牙菌斑关联信息、牙周病菌信息等，和如预防信息、生活习惯病相关信息那样的信息，不限于口腔内，但涉及与牙周病相关联的疾病等的间接疾病的例如血压、血液信息等。

另外，如果至少是医院内有用信息、患者有用信息、问诊信息、经营信息等，则成为统一管理的对象，而统一管理不仅是相关联的牙科医疗业信息的管理，也可以只将需要的一部分信息作为统一管理的对象。

例如，也有这样的情况，当如模拟X射线拍摄装置那样只能得到模拟照片、图像的数据的情况下，和手写数据的情况下，优选经由图像扫描仪、数字照相机、计算机画面的硬拷贝等的数字变换单元设置成数字信号进行管理。

数据的统一管理虽然可以用上述的便携终端进行，但也可以是由平板型、笔记本型、桌面型等的牙科用计算机进行的统一管理。特别是可以利用以因特网为中心的网络方式的终端、便携终端进行，可以利用用无线LAN连接因特网的便携终端。

另外，本发明可以使用云计算技术进行统一的信息提供、信息处理提供等。例如，也可以是便携终端或者主机终端用终端一侧的专用或者通用的浏览器软件进行经由存在的一个至多个中心机构提供的应用软件的数据输入输出。终端一侧不安装统一管理用的应用软件，只预先安装IE浏览器（注册商标）、火狐浏览器（注册商标）等的浏览器软件，通过经由该浏览器软件执行中心的牙科信息统一管理用软件可以进行数据的输入输出，不担心终端一侧的记录装置的容量，可以实现具备小型化简易性的装置。

而且，不使用通用浏览器，也可以使用牙科信息统一管理用软件起动专用的软件。另外，也有这样的情况，终端一侧在云端的资源中储存全部信息的情况，或个人信息等需要安装管理的一部分信息储存在终端一侧的情况。

云的形态例如优选将信息泄露成问题的范围只在公司内、只在中心机关，或者只在参与的牙科组内作为私有云构筑，而如果安全性可靠，则也可以用由外部计算机形成的信息提供服务机构等构筑的公共云构成，根据情况，也可以全部作为私有云或者公共云。

该便携终端除了牙科医生外，牙科卫生员、牙科接待文职员工、牙科技师、其他相关人士、根据情况患者都可以分别携带使用。可以和其他的员工共用数据。另外，通过具备IC卡等识别个人的载体的更换功能，也可以分别轮流专用化一台使用。

数据的统一管理优选在各系统中处理的数据间具有互换性，但不是必须具有互换性，例如也有这样的情况，在使用画面的硬拷贝的情况下等下，至少可以在便携终端上显示操作。

在本实施例中，优选在设定了外部数据库的服务器、便携终端可以通信的状态下实时使用，但不限于此，操作也可以使用在便携终端中暂时记录，在可以和服务器通讯的时刻，将暂时记录的数据自动地向数据库转送的批处理技术。

例如，当在便携终端上操作患者的预约系统的情况下，在决定患者的治疗、预防用的来院日程时，如果从终端上输入成为候补的预约日则从数据库中读出预先状况数据进行比较，将重复的预定日显示在便携终端的画面上，可以督促更改，在便携终端画面的输入显示栏上在多个治疗、预防画面上记入日程，通过从便携终端输入打印命令，用相关联的打印机打印治疗、预防日程，也可以发给患者。

便携终端除了用无线或者有线和主机设备连接外，也可以用有线或者无线连接口腔内照相机，这种情况下，很适合需要进行治疗、预防的牙齿、牙周的拍摄定位。

不仅能实现便携终端和主机终端之间的信息的统一，而且当在所谓的每张牙科诊疗应椅子上作为牙科用计算机放置终端的情况下，如果将主机终端作为服务器使用，则实现主机终端、每张椅子的计算机之间的信息的统一管理。

对便携终端的数据输入如上所述，除了让附设的按压型、滑动型、手指、笔、其他设备接触画面进行操作类型的操作键、旋转号盘外，例示了当画面上的虚拟键、虚拟键盘连接口腔内照相机等的外围设备的情况下，例示了外围设备上的上述键、号盘，此外，通过配备由设置成一体的麦克风进行的声音输入记录功能、由一体或者分开设置的照相机进行的扫描记录功能，自由输入变得容易。而且，扫描记录功能也可以用牙科照相机作为照片图像记录。

当在平板式计算机、便携终端等上进行基于利用画面输入时的电磁感应式笔、电阻膜式笔的文字、手写图像的输入的情况下，也可以取得手写输入数据。例如，当对患者进行说明的情况下、对牙科卫生员说明治疗方法的情况下、此外通过手写显示在画面上适合的情况下，在从便携终终端通过手写输入画面时，直接进行显示，或者在主机终端的监视器画面上同步显示，由此可以向患者说明，向其他的工作人员说明，也可以直接记录，之后使用。特别是当通过手写在口腔内图像上输入的情况下，可以直接作为患者的数据使用。

进而也可以进行声音数据输入输出，可以正确地掌握口腔内状况。声音数据例如可以是当在便携终端画面上和其他的便携终端使用者进行交谈的情况下，通过指定窗口同时显示声音和图像。另外，声音数据通过直接向文字数据变换，或者手写数据也变换为文字数据，可以减轻记录容量。特别是在进行口腔内诊断的情况下，将龋齿的状态等预先作为声音数据登录专用词汇，通过和经由便携终端输入的声音的比较比对，变换为文字数据，由此，可以将记录下来的数据自动作为电子化数据。

将预先登录的专用词汇的声音样本和文本数据的表记录在记录装置中，比较输入的声音数据和声音样本数据，通过变换为与一致或者大致一致时的声音样本数据对应的文本数据，可以进行正确的牙科信息记录。

本实施例在同一管理下，虽然也可以进行电子病历等的患者信息的输入、诊疗费用信息的输入等与牙科业务有关的信息的输入输出，但这种情况下，主机终端和便携终端至少可以在输入状态下同步。即，如果从主机终端输入，则在便携终端上显示该输入，输出显示也同样同步地进行。画面同步软件在便携终端内置通用计算机的情况下，也可以利用市售的软件Sync+（商品名）等进行。另外，表示便携终端连接预先内置或者具备LAN功能的USB终端可以利用无线LAN的状态等。这不仅只在主机终端和便携终端之间，也可以实现经由主机终端和其他的便携终端之间的共用，或者，在主机终端之间直接共用。直接共用除了利用电磁波、红外线等的无线介质外，也可以经由中继终端进行。

当是家庭牙科那样的情况下，便携终端的存储容量、处理能力低，当不能存储数据的情况下，可以用另一存储装置或者电子邮件等将不能存储的部分整理为数据，使用专用或者公共动画网向主机终端逐次或者每次以一定存储量发送。

这样在终端间的同步显示在牙科诊疗例如在同一房间内进行时，从便携终端上进行复杂的输入因为需要花费时间，所以可以从准备有键盘、鼠标等输入界面的主机终端进行输入，由此可以快速进行输入。

另外，在使用便携终端、其他的终端的牙科信息的统一管理中，可以进行时间系列的数据的自动处理。例如从数据库中读出治疗后的患者的治疗完成、治疗暂停时的日期时间，和当前的日期时间对照，在治疗后经过了预先设定的相当一端时间时，在便携终端或者主机终端上显示其内容。或者，也可以自动地进行直接印刷制成直投电子邮件。

主机终端在到了诊疗费形成的时间时，也可以自动地通知便携终端，对于考勤也可以自动报告未出勤的工作日，且可以调整。

便携终端也可以采取这样的构成，通过直接或者经由主机终端连接X射线投影装置、口腔内照相机、显微镜等的外围设备，例如将由这些外围设备产生的拍摄输出实时显示在便携终端上，向以患者名等确定的患者用数据文件夹记录。可以从便携终端控制这些外围设备和牙科椅、照明器具等的动作。此时，控制操作的记录也可以作为日志记录在患者病历中。

优选患者用数据文件夹以主机终端为中心，以不重复的状态进行记录，通过从各终端进行检索可以读出。患者用数据文件夹在暂时使用中，可以在每个终端中存在，可以存在多个，但在连续登录时，优选存在于一个存储区域上。该存储区域不仅是主机终端，也可以经由网络在远距离的其他地方。

该便携终端进而可以和患者进行声音、图像、文字的信息交换，特别是在实现了便携终端的通用化的情况下，也可以是患者携带该便携终端。当患者携带的情况下，优选对于患者来说只可以观看必要的信息。这在例如将智能手机、其他手机的应用软件进行上述牙科用管理终端化的情况下，也可以让患者只在安装专用的应用程序情况下使用。

[牙科用说明单元]

本实施例对于牙科诊疗来说，是在将例如患者的全景式全齿列图像、治疗部位图像显示在计算机的监视器（显示器）画面上的同时，根据需要结合细化形成的动画作为结合动画播放，由此在对每位患者说明治疗时，可以进行容易理解的说明。牙科医生可以使用预先结合了细化后的动画的现有动画系列，但也可以事前进行选择编辑结合。

牙科医生事前进行编辑选择的方法是选择使用半定制或者现有结合的动画系列的方法，但参照图26详细说明进而对于组合全部的说明数据，至少制作一个动画系列的实施例。

图26是用于说明牙科医生在事前设定作为一个结合动画时的动作的图。图中，1c01是最初的菜单的显示。显示表示现有动画系列的列表、可以半定制地结合编辑的列表、各个细化后的动画的列表，根据要求选择。

1c02是从最初的菜单显示中选择某个的步骤。

1c03是执行步骤在选择哪个中分支的步骤，在“否”的情况下，经由端子1c03a向其他的结合动画选择（未图示）移动。当是“是”的情况下，向用动画名检索或附加在细化动画数据上的固有的符号组合的检索等的方法判断是否登录到该结合动画的步骤（1c04）移动，当假设登录的情况下（是），经由端子1c03a向另一结合动画选择移动。

当没有登录的情况下，显示细化数据的一览，进而显示编辑区域。细化数据的一览可以根据不同要求进行划分，也可以形成系列化、树形。

在细化动画数据的选择1c05中，从一览向编辑区域通过复制和粘贴、拖放移动，编辑时间序列的说明数据。

在图26中，在细化动画选择完成时（1c06），试着进行选择结合后的动画系列的播放（1c07）。

图27是表示结合动画的组合的图。图中，1d01是拔牙后的牙龈的恢复动画，1d02是相邻牙齿的倾斜动画，1d03的是对合牙的延出动画，1d04是桥基牙的形成动画，1d05是表示图1所示的加工物的说明动画以及加工物的安装的动画。这些各个动画优选不是一个而是存在多个动画。

将从1d01到1d05的一连串的动画作为结合动画1d00，附加姓名记录到记录装置，或者记录装置在记录预先附加在各个细化动画数据上的记号串后，结合动画1d00在计算机画面上可以作为一个图标显示。

结合动画1d00制成顺序组合可以连续播放的一个动画，但各个动画优选进行细化，在各自上设定患者用常数、医生用常数。各个动画的形式例如是WMV、AVI、MPEG形式，只要可以用现有的动画编辑软件进行选择顺序结合即可。

进而在步骤1c08中，显示医生一方数据、患者一方数据，显示时间成本，理想的是，可以用其他的方法，分情况显示更低成本、更短时间、高效益的说明。

在步骤1c09中，是当在已经制成了结合动画的状态下还想再选择的情况下，向细化动画数据的选择转移的步骤，1c10是选择是否保存该菜单列表的步骤，当保存的情况下（是），在步骤1c11中输入结合动画名登录保存。当不保存的情况下，在结束步骤中返回原处选择是进行编辑还是直接结束（1c12）。

图26是说明医生制作结合动画时的动作的图，而经过实际细化的数据很多，由于发生了选择数据需要花费时间的情况，因而可以预先对每种说明将样本形成为编辑框风格。本实施例也有这样的情况，可以进一步在细化动画上登录患者自身的口腔内图像，作为患者特有的治疗、预防等的说明的一部分使用。

本实施例主要用于知情同意书，但从对患者来说缩短治疗时间、提高说明的效率看，优选进行更高效率的视听，而在这种情况下，医生通过一边对患者说明一边播放从数秒到数分钟的动画，在医生使用的语言的解说中辅以画面显示，对患者来说变成容易理解的说明。

例如，用图标、表等在计算机画面上显示细化的数据列表，分别附加让患者容易理解的易懂的题目。在上述便携终端上显示该列表的编辑，牙科医生进行选择。将选择的状态显示在患者看到的画面上。

另外，也可以说一边和患者谈治疗，一边在简易便携终端上制成患者用的经过选择的组合动画系列，将它显示给患者的即时形式。即，由主要是由牙科工作人员携带的具备显示部和输入界面的便携终端，以及具备患者、预防需求者（作为患者等）可以视听的显示用监视器的终端组成，牙科工作人员在便携终端上检索编辑包含向患者等传递的内容的动画、经细化的动画，或者其组合动画。在编辑结束的状态下，向患者视听用终端发送。而且，这种情况下可以发送动画数据，但也可以附加在动画数据上识别数据，患者视听用的终端接收该识别数据，进行将基于该识别数据系列的动画显示的画面上的实时处理。

进而也可以在牙科医生等携带便携终端的状态下，进行患者等视听的在终端画面显示上的动画播放、停止、患者数据的显示、非显示等的遥控操作。

另外，也可以在牙科工作人员携带的便携终端上同步显示患者视听的图像、数据。特别在是用图1所示的口腔内照相机显示患者口腔内进行说明情况下，说明和病症例子一致，更容易理解。

进而在本实施例中，也可以用图24所示的便携终端编辑动画数据，向患者可以看到的计算机监视器输出显示经过编辑的图像。

另外，也可以用该便携终端操作向连接在患者可以看到的牙科用计算机操作动画显示的显示。

[牙龈和牙齿的边界检测单元]

本发明包含可以明确地设定检测牙齿和牙龈的边界用的构成。

口腔内照相机的图像因为一边对狭窄且暗的空间照明一边拍摄的地方多，所以例如作为用图8以及图10所示的经计算机图形处理形成全景图像的方法，当检测图像间的共同部分的情况下，和向患者说明牙科治疗的情况等下，因为牙龈和牙齿的环境等受到近似的色调和唾液的影响等，所以存在识别困难的情况。

因而，通过采用由提取实际图像的牙齿轮廓的轮廓提取单元、将实际图像变换为成分颜色，明确牙齿以及牙龈的形状的色差分量图像变换单元、合成用色差分量图像变换单元变换的图像和轮廓提取图像的合成图像形成单元组成的组合构成，即使在牙齿污浊，照明不足的情况下也可以提取牙齿和牙龈的轮廓。

轮廓提取单元例如用对图像进行2维傅里叶变换的单元、在该傅里叶变换后只检测在表示图像的浓淡变化的频率区域上的相位信号进行反傅里叶变换的单元构成。此外，也有这样的情况，可以使用Z变换系统、拉普拉斯变换系统。

色差分量图像变换单元是例如形成分解为用RGB颜色系统、La^*b^*颜色系统、HSV颜色系统、XYZ颜色系统、xyY颜色系统、L^*u^*v^*颜色系统、孟塞尔颜色系统、奥斯特瓦尔德颜色系统、NCS（自然颜色系统）、DIN颜色系统等的颜色系统表示的成分颜色的图像，从其中选择可以清晰看出形状的成分颜色，形成基于该成分颜色的图像的单元，或者是不管颜色系统如何都合成该成分颜色，形成能够更清晰地看到形状的成分颜色，形成基于该成分颜色的图像的单元。该选择优选预先了解口腔内图像测定并决定适合的成分颜色，但例如表示组合合成La^*b^*颜色系统的L成分图像、a^*成分图像，或者b^*成分图像之一，和HSV颜色系统的H（色调）成分图像、S（饱和色度）成分图像、V（亮度）成分图像之一，优选不同的颜色系统的成分颜色之间的合成。成分颜色的选择或者组合合成只要进行向能够明确看出形状的成分颜色变换或者进行多种成分颜色的合成即可。而且，所谓成分图像包含调整表示程序上的成分值的数值得到增强成分的图像等。

另外，除了选择可以明确看出形状的成分图像外，使用人更能够看出其边界的颜色的组合进行着色。例如表示将R（红色）成分图像适用于牙龈，将G（绿色）成分图像适用于牙齿的例子。

另外，在此所示的所谓成分颜色并不只是从图像中检测出的颜色，也还这样的情况，可以使用使边界分明的颜色重新着色。

而后，合成图像形成单元例如如色度键技术的方法那样，以将轮廓图像的轮廓部分以外作为同一色系使色差分量图像透过等方式，合成用上述轮廓提取单元得到的轮廓图像、用色差分量图像变换单元得到的图像。另外，在该合成后，为了进一步增强色差分量图像，也可以通过人的目视或者机械方式，使用将更能够进一步区别边界的牙龈部变为红色系或者增强浓度，将牙齿变色为绿色或者增强浓度的单元。而且，如果根据色差分量将牙龈颜色变换为红色，将牙齿颜色变换为绿色，则可以变换为其色差分量图像。这些单元优选都通过计算机软件实现，也有这样的情况，用门阵列、PLD（可编程逻辑器）等的定制、半定制IC构成。

以下，说明图29所示的实施例。图中，2901是图像输入单元，例如是输入用口腔内照相机拍摄的静止图像的单元。用图像输入单元输入的静止图像输出到滤波器单元2902。滤波器单元2902用锐化过滤器等的边缘增强滤波器表示，此外，有可以使用增强图像浓淡的滤波器的情况。

用滤波器单元2902进行了滤波处理的图像向轮廓提取单元2903以及成分颜色图像变换单元2904输出。轮廓提取单元2903由2维傅里叶变换单元、相位信号检测单元以及反傅里叶变换单元组成，而这些单元例示了通过组合在如open-CV（英特尔公司产）那样的软件库中的程序模块执行的例子。

2904是成分颜色图像变换单元，如上所述，由形成变换为La^*b^*颜色系统、HSV颜色系统的a^*成分颜色和b^*成分颜色、H成分颜色S成分颜色V成分颜色的图像的单元、合成这些成分颜色的成分颜色合成单元组成，虽然色调变换，但形成牙齿以及牙龈的形状明清晰的图像。进而，通过该色调的变化，有这样的情况，还可以发现牙齿的污垢、龋齿。

将用轮廓提取单元2903得到的轮廓图像、用成分颜色变换单元2904变换为成分颜色图像的图像向合成显示单元2905输出。合成显示单元2905合成轮廓提取单元2903输出的轮廓图像、成分颜色图像变换单元的输出成分颜色图像。该合成例如将轮廓图像的轮廓以外设置为同色系，使该同色系颜色透明化，与成为背景映像的成分颜色图像合成。合成后的图像显示在计算机监视器上。

通过这一连串的合成处理可以得到牙龈和牙齿的边界鲜明的图像。另外，在将图12所示的左右齿列作为合成标记ML大致来到图像中心的图像之间（例如图像906a和图像1102f）时的目标例如检测中心的2个牙齿的边界KL时，本实施例非常适用。另外，也可以直接合成通过傅里叶变换检测相位信号得到的轮廓图像和实际图像。另外，因为只使用成分颜色图像也可以得到形状分明的图像，所以只用成分颜色图像检测单元得到的图像也可以得到牙龈和牙齿的边界清晰的图像。这种牙齿和牙龈的边界变得清晰的图像可以作为各种合成作业用的记号利用，或者可以用于对患者的说明、牙科治疗。

本发明想要实现牙科诊疗中的口腔内健康化，提出了通过以容易让患者看到口腔内信息的形式提供，可以更新患者口腔内信息的牙科系统，在牙科医疗领域中可以有效利用。

Claims (7)

1.一种口腔内拍摄显示系统，其特征在于包括：

连拍图像列形成单元，连拍齿列侧面并形成图像列；

侧面齿列图像形成单元，以用上述连拍图像列形成单元形成的图像列作为局部齿列图像，从成为全体合成的中心的图像开始合成，形成多个局部齿列图像；以及

侧面齿列图像合成单元，基于在用上述侧面齿列图像形成单元形成的多个局部齿列图像间成为全体合成的中心的图像，进行连结合成来形成全体的齿列。

2.根据权利要求1所述的口腔内拍摄显示系统，其特征在于包括：

标记设定单元，在齿列上的规定位置上设定在拍摄图像上能够识别的标记；

连拍图像列形成单元，对于齿列一方侧面和另一方面形成连拍图像列；

侧面齿列图像形成单元，对于上述一方侧面的连拍图像列以及上述另一方侧面的连拍图像列的每一个，通过从标记来到规定位置的图像开始合成，分别形成一方侧面齿列图像以及另一方侧面齿列图像；以及

侧面齿列图像合成单元，基于上述标记处于规定位置上的静止图像中的齿列上的特征部位，连结合成上述一方侧面齿列图像和上述另一方侧面齿列图像。

3.根据权利要求1所述的口腔内拍摄显示系统，其特征在于包括：

X射线图像显示单元，显示与上述侧面齿列图像对应的牙齿的X射线图像；以及

虚拟齿列显示单元，显示与上述侧面齿列图像对应的牙齿的虚拟矫正或者虚拟审美着色后的齿列。

4.根据权利要求1所述的口腔内拍摄显示系统，其特征在于包括：

齿列显示单元，显示用上述侧面齿列图像合成单元得到的齿列图像；

单位图像化单元，针对每个诊疗改善单位，对口腔内进行图像化；

设定单元，对用上述单位图像化单元进行单位图像化了的图像设定诊疗改善顺序信息；以及

显示单元，基于诊疗改善顺序信息，能够一览显示地显示附加有上述诊疗改善顺序信息的图像；以及

显示介质，显示并记录用上述显示单元得到的显示信息。

5.根据权利要求1所述的口腔内拍摄显示系统，其特征在于包括：

小型能够携带的数据处理终端，

上述数据处理终端包括：

输入部，能够输入调整与牙科医疗业有关的数据；

通信单元，能够可以和外部数据处理终端以及进行考勤管理或者牙科诊疗管理的服务器进行数据通信；以及

显示单元，显示用上述侧面齿列图像合成单元合成的齿列图像以及与上述牙科医疗业有关的数据。

6.根据权利要求1所述的口腔内拍摄显示系统，其特征在于包括：

牙科治疗说明用数据形成单元，积蓄作为将预先制成的牙科治疗细化后的动画而形成的细化动画数据并将其存储在存储单元中，通过从上述存储单元中选择上述细化动画数据并进行连结连接，形成牙科治疗说明用数据并将其显示在上述显示单元。

7.根据权利要求1所述的口腔内拍摄显示系统，其特征在于包括：

手持式的拍摄单元，对上述口腔内进行图像化；以及

照射单元，配备在上述拍摄单元上，照射指示拍摄部位的照明光。

Images