CN103238339B - 查看和跟踪立体视频图像的系统和方法 - Google Patents
查看和跟踪立体视频图像的系统和方法 Download PDFInfo
- Publication number
- CN103238339B CN103238339B CN201180058010.5A CN201180058010A CN103238339B CN 103238339 B CN103238339 B CN 103238339B CN 201180058010 A CN201180058010 A CN 201180058010A CN 103238339 B CN103238339 B CN 103238339B
- Authority
- CN
- China
- Prior art keywords
- video
- video camera
- feed
- point
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
- A61B1/247—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
Abstract
本发明公开一种用于查看立体视频图像的系统和方法。一个系统包括第一摄像机,经配置产生对象的第一视频馈入信号。第二摄像机与第一摄像机相隔一个瞳距,并经配置产生对象的第二视频馈入信号。与第一摄像机和第二摄像机关联的跟踪模块经配置使第一摄像机和第二摄像机指向相对于选定的跟踪点的所需会聚点,从而维持立体观测。与第一摄像机和第二摄像机关联的缩放模块经配置提供近似实时立体视频图像的所需放大。
Description
技术领域
背景技术
牙医学在实践中已取得重大技术进步。这些进步使得能够提供更好的病人护理,也减少了病人去看牙医时的忧虑。
现在,牙科医生使用的提供先进护理的许多技术包括查看和聚焦在病人口中很小细节的能力。具有放大环状物的镜片也经常被牙医用来增加其查看细微细节的能力。这些镜片昂贵且笨重,长时间的佩戴会成为牙医的负担。此外,放大环状物也会引起眼部疲劳和管状视野,降低牙医同时查看放大区域和周围区域的能力。
另外,为了获得病人口腔内区域的所需观察,牙医常常不得不向前倾斜并弓背。这种姿势会给牙医带来长期健康问题。不就姿势采取预防措施的牙医会缩短他们的职业生涯或者因背痛和其他相关的背部问题而受到限制。此外,这些损伤也会严重影响牙医在牙科诊所外的生活质量。
发明内容
附图说明
本公开的特点和优势可结合附图从下面的详细描述中显而易见,附图以举例的方式共同说明本发明的特征。
图1a依照本公开的实施例示出用于查看立体视频图像的系统的块图;
图1b依照本公开的实施例示出借助无线数据链路查看立体视频图像的系统的块图;
图1c依照本公开的实施例示出借助无线数据链路查看立体视频图像的系统的块图,所述无线数据链路包括单个发射器和接收器;
图1d依照本公开的实施例示出借助用于更新第一和第二摄像机位置的单个电动机查看立体视频图像的系统的块图;
图2依照本公开的替代实施例提供示例图解,其中牙医使用立体显示器查看病人口腔的近似实时立体视频图像;
图3依照本公开的实施例提供示例图,其示出所述第一和第二摄像机的角度如何根据所述摄像机与选定目标之间的距离而定向和改变从而维持所述视频图像的立体观测;
图4依照本公开的实施例示出查看立体医学视频图像方法的流程图。
现在参考所图解的示范性实施例,并且在此使用特定的语言描述相同的实施例。然而应当理解的是,本发明的范围并不因此受到限制。
具体实施方式
在公开和描述本发明之前,应当理解的是本发明不限于这里公开的具体结构、方法步骤或材料,而是扩展到本领域技术人员认知的其等价物。同时也请理解其中使用的术语仅用于描述具体实施例的目的而非为了限制。
作为初步事项,注意在此的许多讨论与牙科专业和进行牙科检查与程序相关。然而,这仅用于示范的目的,因为这里描述的系统和方法也适用于其他医学专业人员,这些医学专业人员获益于外科手术或检查的所需部位的高倍放大立体成像和跟踪。例如,这里的系统和方法尤其对于发生移动的位置的成像有用,如病人清醒或移动时的微创手术,或者检查警觉病人的感兴趣部位。此外,本公开的系统和方法也适用于通过在此描述的方式查看和跟踪通常在医学专业范围之外的领域,例如研究、教学、微生物学、电子学、宝石切割、手表维修等。
出于这种考虑,下面提供技术实施例的初步概述并在其后进一步详细地描述特定技术实施例。这个初步描述意欲提供技术的基本理解,但不意欲标识所述技术的所有特点,也不意欲限制所要求保护的主题的范围。
通常,牙医详细查看病人口腔的能力对牙科问题的正确诊断和牙科工作的履行是有价值的。口腔内位置的放大查看使牙医能够充分提供病人当前可用的先进且综合的解决方案。然而,获得放大视图的典型解决方法需要使用具有一个或更多放大环状物的镜片。放大环状物的使用会使牙医的眼睛疲劳并增加睡意。另外,牙医可能需要前倾和/或俯身从而获取病人口中的所需观察角。长此以往,这会给带来姿势问题、背痛和使牙医背部受到有形伤害。背痛和损害会缩短牙医的职业生涯并且给他或她在牙科诊所外的生活质量带来负面影响。
依照本公开的一个实施例,其公开了查看立体视频图像的系统和方法。所述系统和方法使牙医能够获得病人口腔的所需观察,同时减少眼部疲劳并使牙医能够维持正确姿势。注意的是,在其他领域,如医学、电子学、教学、微生物学或者高倍放大立体查看有用的任何其他领域内,本公开的系统和方法同样适用。因此,牙科学的讨论仅用于示范的目的,且不被当作是限制性的,除非在权利要求书中明确说明。
也就是说,为了向病人提供所需水平的护理,保健专家、牙科医生、口腔外科医生或者其他类型的牙科专业人员都应能够在所需方向巧妙并精确地移动牙科工具。通常,二维图像使在病人口腔内精确地移动牙科工具具有挑战性。立体图像的使用使得能够维持立体观测,因此允许医学专业人员察觉深度,从而在查看立体图像时使得牙科工具能够在所需方向精确地移动。如这里所用的,术语“立体观测”指的是视觉察觉的过程,其导致在查看分别投射在人的两只眼睛中世界的两个光学分离的投影时感知深度。
此外,这里公开的系统和方法使查看立体视频图像的多人能够从同一视角查看选定区域。例如,牙医和牙科助理都可以各自看到如病人口中的牙齿或牙齿周围区域的位置的同一立体视频图像。这种牙医和牙科助理从同一视角查看区域的立体视频图像的能力显著增强了牙科助理根据需要协助牙医的能力。另外,额外人员如病人或牙科学校的学生也会看到图像。病人与牙医观看同一图像的能力使牙医能够更好地告知病人其牙齿的状况和将要实施的程序。观看立体图像显著增强了学生们从自己的视点学习和理解其导师的教导的能力。
依照本发明的一个实施例,公开用于查看立体牙科视频图像的系统100,其在图1a的示例图解中提供。该系统包括经配置指向病人口腔并产生病人口腔的第一视频馈入信号的第一摄像机102。第二摄像机104与第一摄像机102水平相隔选定距离。在一个实施例中,水平间隔可模拟人眼睛之间的间隔,以便产生第一视频馈入信号和第二视频馈入信号,所述视频馈入信号可被显示从而模拟来自人左眼和右眼的视野。这个间隔指的是瞳距。典型的瞳距在约50毫米(mm)到约75mm的范围内。替代地,摄像机可以相隔更远的距离,同时由于摄像机相隔瞳距而光学补偿更远的距离以产生相似的图像。
所述系统100还包括立体视频显示器106。在一个实施例中,立体显示器可以是头部可安装的立体显示器,其具有人的右眼可视的右视频显示器和人的左眼可视的左视频显示器。通过在左和右视频显示器上显示第一和第二视频馈入信号,产生近似实时立体视频图像。
立体视频图像提供视觉察觉,其导致投射在人的两只眼睛的视网膜上的两个稍微不同的视频图像的深度感。导致深度感的这个视觉察觉被称为立体观测。当使用头部可安装的立体显示器时,不需要第一和第二视频图像的额外视频或计算机处理。由于相隔例如瞳距的第一和第二摄像机的不同投影而产生深度感。
感知深度的能力对于与病人一起工作的牙医是有价值的。正确的深度感知使牙医在进行牙科操作时能够进行小但关键性的移动。以前,显示深度感知能力的缺乏限制摄像机和显示屏在牙科学实践中的使用。通过使用经配置提供具有立体观测的显示的两个分开的摄像机,牙医可以查看到提供深度感的最终立体观测显示,因而使牙医能够基本维持与其在使用环状物或其他放大系统的实践中学习到的相同的手眼协调。
在一个实施例中,来自第一摄像机102的第一视频馈入信号和来自第二摄像机104的第二视频馈入信号可通过有线通信电缆,例如数字可视接口(DVI)电缆、高清晰度多媒体接口(HDMI)电缆、组件电缆等等传递到立体视频显示器106。
或者,来自第一视频馈入信号和第二视频馈入信号的信息可无线传输到立体视频显示器106。例如,图1b示出系统150,其在视频显示器106与第一摄像机102和第二摄像机104中每个之间都提供无线数据链路142。
图1c中示出可替换实施例,其中第一和第二视频馈入信号通过有线连接传输到单个发射器146。所述发射器将来自第一和第二摄像机102、104的第一和第二视频馈入信号分别无线传输142至视频显示器106。视频显示器处的无线接收器144可用于接收来自发射器的第一和第二视频馈入信号,并将视频馈入信号传输到视频显示器。
为无线传输视频馈入信号开发的各种标准包括无线高清标准、无线千兆通用(gigabitalliance,WiGig)、无线家用数字接口(WHDI)、电子和电气工程师协会(IEEE)802.15标准,以及采用超宽带(UWB)通信协议开发的标准。使来自第一和第二视频馈入信号的视频馈入信号信息能够传输到立体视频显示器的一个或更多个无线标准可用来消除线路的使用,并且使用户能够更自由地移动。这在立体视频显示器106可头部安装时特别有用。
返回到图1a,系统100也可包括与第一摄像机102和第二摄像机104通信的跟踪模块108。所述跟踪模块经配置使第一摄像机和第二摄像机指向相对选定跟踪点的所需会聚点。
跟踪点可以是病人身体上或附近的所选位置,其使摄像机102、104能够相对跟踪点的移动被重新定向。例如,跟踪点可以是位于病人头部上的位置。当病人移动其头部时,摄像机跟随病人移动,因此显示屏上的图像基本上并没有由于病人的移动而改变。或者,跟踪点也可位于牙科病人口腔处或附近。例如,跟踪点可位于处于病人口腔中或附近的牙齿、牙科工具或牙科牵引器上。
跟踪点可以是能够相对摄像机位置跟踪病人的移动的任意类型的装置或物体。例如,跟踪可使用无线电频率三角测量实现。多种跟踪收发器可位于病人身体上或附近。标记/标记器,如工具,也可包括收发器。相对标记位置的工具位置可根据跟踪收发器处从工具收发器传输的跟踪信号的抵达时间计算。如可意识到的那样,工具收发器的位置也可使用三角学计算。
在另一个实施例中,跟踪点可以是光学可跟踪标记,如利用不同有色光或红外光源形成的反射点或光点。有色光或红外光的光源可以是一个或更多发光二极管或激光器。跟踪模块包括使摄像机能够基本相对光学可跟踪标记定向的图像识别软件。或者,红外接收器可用来跟踪红外光点的位置。
在另一个实施例中,可使用图像识别软件,其可识别位置或特征,如人的鼻孔、眼睛或其他明显特性。当人的选定特征移动时,可调节摄像机的位置从而维持人口腔内选定区域的立体视频图像。相对病人的移动调节摄像机方向的能力可使摄像机能够提供口腔内所需位置的相对高的放大。
因此,系统也可包括缩放模块110。所述缩放模块可与第一摄像机102和第二摄像机104通信。该缩放模块可经配置提供近似实时立体视频图像的所需放大。如前面讨论,以所选放大查看所需位置的能力为牙医执行复杂和精细的程序提供重要优势。通常牙医使用具有放大环形物的镜片将图像放大约4倍。然而,依照本公开的实施例,缩放范围仅由第一和第二摄像机的缩放范围限制。
在一个特定实施例中,摄像机/视频摄像机102、104可经配置提供标准图像的倍数从一倍到超过20倍或更多倍的放大。放大可通过使用光学放大、数字缩放实现,也可通过两者的结合实现。立体显示器可提供病人口腔内所需位置的清晰、聚焦的高倍放大图像。可以在基本相同的放大率设置摄像机从而使得能够维持引起深度感的视觉察觉。此外,在利用缩放模块与第一和第二摄像机通信而图像被放大或缩小时,摄像机改变放大率的速率基本相同从而维持立体视频图像的立体观测。
在一个实施例中,第一和第二摄像机102、104以及立体显示器106经配置显示相对高的分辨率。例如,摄像机和显示器可以经配置提供1280x720像素(宽×高)的720P逐行扫描视频显示,1920x1080像素的1080i隔行扫描视频显示,或者1920x1080像素的1080p的逐行扫描视频显示。依照摩尔定律,处理能力和数字存储持续以指数方式增长,摄像机和显示器可提供甚至更高的分辨率,如7680×4320像素的4320P逐行扫描视频显示。借助更高分辨率,图像可利用软件(数字缩放)放大从而提供数字放大,而基本不降低图像质量。因而,仅使用软件可提供实时立体视频图像的所需放大水平。
依照本公开的实施例,图2提供牙医232使用头部可安装的立体显示器206查看病人口腔的近似实时立体图像的示例图解。第一摄像机202和第二摄像机204可安装在病人234上面的固定装置242上。
可提供光236,如牙科光源来照明病人口腔。上述光可提供足够的照明,从而使得能够在为近似实时立体视频图像维持选定的景深的同时,第一摄像机202和第二摄像机204缩放至所需放大水平。可选择景深/视场深度从而使得牙医能获得病人口腔内所有所需位置的清晰、聚焦的视图。当摄像机提供的放大率增加时,第一摄像机和第二摄像机的光圈可改变。或者,光源可足够明亮,则光圈无需改变。
第一和第二摄像机202、204的景深可大于病人口腔的长度。例如,假定摄像机的景深是集中的,那么如果第一和第二摄像机的景深是通常病人口腔深度的两倍,则在维持病人嘴后部的清晰聚焦的同时,第一和第二摄像机可聚焦在病人嘴唇。
在一个实施例中,头部可安装的立体视频显示器206经配置提供分离的视场,其中镜片底部为左眼和右眼提供分开的高清显示,并且在镜片之上,牙医可查看到无障碍的环境。替代地,镜片可配置成处于分离视野,其中底半部提供视频图像,并且镜片的顶半部基本透明,从而使操作者能够在佩戴头部可安装的立体显示器时可查看到自然环境。这在牙医对病人的嘴工作时使用高放大水平,并且牙医可在查看周围环境时可快速移动至无放大区域时尤其有用。
或者,不同于头部可安装的立体视频显示器的视频显示器可经定位从而也显示近似实时立体视频图像。例如,大型电视屏幕可经配置也示出三维图像。布局基于所需的应用,但在一个实施例中,可设置在病人234后面使牙医232能够查看视频图像的位置。例如,也可经设置用于病人查看,或学生查看以便例如在教育环境中学习。视频显示器可经配置使观察者能够以三维图像查看立体显示器246,可借助也可不借助眼镜。
例如,在一个实施例中,第一和第二视频馈入信号可显示在单个显示屏246上,并使用快门分离、偏振分离和颜色分离中的至少一种光学分离相应的视频馈入信号。在一个实施例中,查看者,如牙医,可佩带查看镜片来查看具有立体观测和深度感知的分离图像。
某些类型的查看镜片,如使用快门分离的液晶显示(LCD)镜片,可与显示屏同步从而使查看者能够查看到光学分离的近似实时立体视频图像。视频馈入信号的光学分离提供视觉察觉,该视觉察觉导致来自分别投射在两只眼睛视网膜上的两个稍微不同的视频图像的深度感,从而形成立体观测。如前面讨论的,深度感使牙医能够基本维持牙医在其实践中已经学到的基本相同的手眼协调。
立体视频显示器206也可用于查看与病人相关的信息。例如,可以数字化X射线并在视频显示器上看到X射线。病人的图表信息同样可以被显示。这可使牙医能够迅速达到病人的状态的速度。牙医也可对比病人图表中包括的以前图像及信息和病人的当前状态。图像也可用于病人和牙科助理等等的学习。
在一个实施例中,夹具/固定装置242可以以铰接安装或以其他方式高度可调。摄像机与病人之间的距离根据需要可变化。例如,摄像机可安置在病人口腔上方约5英寸至约96英寸的距离处。随着摄像机与病人间的距离发生改变,可调整第一摄像机和第二摄像机相对彼此定向的角度,从而维持近似实时立体视频图像的立体观测。
图3提供第一和第二摄像机302、304的角度如何与到对象的距离相关的示例图解。应当注意,上述图示没有按比例绘制。摄像机可由所选距离分开,如前面讨论的瞳距。在一个实施例中,距离d1基本等于距离d2。在该例中,d1=d2=30mm。然而,实际距离可根据系统需要改变,如,d1+d2=在约50mm至约75mm范围内的值。
为了查看选定对象320或区域,如该例中的牙齿,第一摄像机302以相对法线的角度θ1指向对象。第二摄像机304以相对法线的角度θ2指向对象。当对象在摄像机302、304之间的中间时,θ1基本等于θ2,但这不是必须的。
第一摄像机302根据角θ1产生第一平面310的视频图像。第二摄像机304根据角度θ2产生第二平面312的视频图像。第一和第二平面310和312在称为会聚点316的位置交叉。在一个实施例中,可选择会聚点以定位在近似物体320的位置。或者,也可选择会聚点在摄像机的景深内。当通过缩放第一和第二摄像机放大图像时,可选择会聚点,以便其在最终放大的视频图像内。
随着摄像机302、304与对象320之间的距离d3变化,调整角度θ1和θ2从而维持会聚点在基本相同的位置。当图2中夹具242的位置相对病人234调整时,距离d3也会改变。病人移动时距离d3也改变。
如前面讨论的,跟踪点可用来跟踪病人的移动。在一个实施例中,会聚点与跟踪点分开。例如,跟踪点可以是病人前额上的光学标记,而会聚点可以是病人牙齿上的焦点。会聚点与跟踪点相关,使得在跟踪点在x、y、和z轴中至少一个方向移动一定距离时,会聚点可移动基本相同的距离。或者,跟踪点可基本等同于会聚点。这允许由第一和第二摄像机302、304产生的选定区域的视频馈入信号得以维持,即使在病人运动时,因此使牙医能够保持查看选定位置的近似实时立体视频图像。
回到图1a,第一和第二摄像机102、104被安置的方向可使用至少一个与每个摄像机机械联结的电动机112更新。例如,单个电动机可用来使摄像机的角度沿着第一轴改变,如旋转摄像机时。第二电动机用于允许沿着第二轴调整摄像机角度。在一个实施例中,两个电动机足以允许沿着x轴和y轴调节每个摄像机,从而使每个摄像机指向所需方向。然而,第三电动机可用来允许沿着第三轴调整摄像机的位置。三个电动机可允许每个摄像机的位置沿着x、y、和z轴重新定向,从而基本在任意方向定向。
至少一个电动机112可与跟踪模块108通信从而更新第一和第二摄像机的位置。在一个实施例中,用户通过使用与至少一个电动机112通信的软件接口手动致动第一和第二摄像机的位置。
一旦设置摄像机102、104在所需方向,使得用户能够查看选定区域,如病人牙齿,则可设置所述位置为会聚点。如前面讨论的,会聚点与选定的跟踪点关联。可选择跟踪点的位置,以便跟踪点相对会聚点近似一对一移动。例如,将光学标记放置在病人的前额或其他便于特定应用的区域。当病人移动其头部时,通常前额位置的变化基本与病人牙齿位置的变化相似(排除一些反常的扭曲运动,这在坐在牙医椅上时不太可能)。因此,当跟踪点移动时,摄像机的位置相对跟踪点的移动更新从而使得能够在相同的选定区域(如病人的牙齿)上维持会聚点。牙医可使用插入物,如插入到病人口腔内的牵引器/牵开器,所以颌处开口的角度基本上保持不变。在一个实施例中,当使用牵开器时,可将跟踪点设在其中,或在另一个相近区域上或口腔内部,如牙齿、嘴唇、脸颊、鼻子、下巴等。
第一和第二摄像机102、104的位置也因物理地改变其相对病人的位置受到影响。例如,摄像机可能安装在可被旋转、提升、下降、铰接移动或其他在定位的夹具上,如图2中讨论的。当通过移动夹具改变摄像机的位置时,至少一个电动机112可用于改变摄像机的方向使其指向选定区域。在一个实施例中,夹具的位置可结合电动机使用,以使摄像机指向所需方向。例如,牙医可安置夹具业提供所需照明,并将摄像机与病人的口腔对齐从而使摄像机指向口腔内的所需位置。
图1d提供另一个实施例的示例图解,其中单个电动机112用于更新第一和第二摄像机102、104的位置。单个电动机与第一和第二摄像机机械联结。例如,该电动机可通过一系列齿轮和/或螺钉连接,这些齿轮和/或螺钉允许电动机用于改变摄像机102、104指向的角度。应当理解的是,也可使用其他类型的机械联结。使电动机112能够更新第一摄像机和第二摄像机之一或两者指向的方向的任何类型的机械联结都在本实施例的范围内。
在另一个实施例中,公开查看立体医疗视频图像的方法400,如图4的流程图所示。该方法包括使第一和第二摄像机指向410病人的选定区域从而产生选定区域的相应第一和第二视频馈入信号。第一摄像机与第二摄像机相隔选定距离。在一个实施例中,选定距离可以是瞳距。或者,如前面讨论的,也可选择更大的距离。第一摄像机和第二摄像机每个都指向在选定区域处或附近的会聚点从而提供选定区域的立体观测。
方法400还包括关联420会聚点与病人身上或附近的选定跟踪点。选定跟踪点可包括光学可跟踪标记,如已经讨论的。在一个实施例中,光学可跟踪标记安置在位于病人口腔内或附近的牙科牵开器上。或者,选定跟踪点可包括多个无线收发器,所述无线收发器经配置而相对病人身上或附近至少两个其他收发器根据位于跟踪点的收发器接收到信号的时序三角测量选定跟踪点的位置。
例如,在一个实施例中,外科手术室可包括四个设置在围绕手术室的不同位置的分开的射频收发器。然后跟踪收发器可放置在进入手术室的病人身上。跟踪收发器发送信号和接收来自位于手术室中的收发器的信号。如可意识到的,跟踪收发器和手术室内四个收发器间的信号的时序可用于在立体空间内使用三角测量法确定跟踪收发器的位置。三角计算的精确度至少部分基于收发器的频率。更高频率的收发器具有更短波长,因而使得能够更精确地确定跟踪收发器的位置。仅跟踪移动的变化也可提高精确度。随着跟踪收发器移动更靠近手术室中的一个收发器,且更远离另一个收发器,信号时序的最终变化使得能够基本精确确定跟踪收发器的位置变化。
方法400还包括相对选定跟踪点的移动调整会聚点的位置。在一个实施例中,会聚点可被选定为虚拟点,其具有距跟踪点的x、y、和z轴距离。当跟踪点移动时,第一摄像机和第二摄像机根据跟踪点在x、y、和z轴距离的变化改变方向从而维持选定区域的视图。例如,一旦相对跟踪点已经选定会聚点,那么由于跟踪点所处其上的病人的移动,则跟踪点在x、y和z轴每个方向都移动1英寸。假设会聚点在x、y和z轴每个方向已经移动1英寸,则第一和第二摄像机的位置可被再定向从而调整会聚点的位置到新位置。
方法400还包括在显示系统上显示第一视频馈入信号和第二视频馈入信号,该显示系统光学分离第一视频馈入信号和第二视频馈入信号从而产生近似实时的立体视频图像。在一个实施例中,第一视频馈入信号可显示在头部可安装的视频显示器的右视频显示器上,而第二视频馈入信号显示在头部可安装的视频显示器的左视频显示器上。左右视频显示器可分别被投射到用户的左右眼睛中。立体视频图像提供视觉察觉,其导致来自投射在两只眼睛的视网膜上的两个稍微不同视频图像的深度感。
或者,第一视频馈入信号和第二视频馈入信号可显示在单个显示器上,其中第一视频馈入信号和第二视频馈入信号使用快门分离、偏振分离和颜色分离中的至少一种被光学分离,如前所述。根据使用的光学分离类型,可使用镜片使用户能够将单个显示器上显示的图像分离为:被引导到用户右眼的第一视频馈入信号和被引导到用户左眼的第二视频馈入信号,反之亦然。
第一摄像机和第二摄像机每个都可被缩放,从而提供近似实时立体图像选定部分的所需放大水平。第一摄像机和第二摄像机每个的放大变化率基本相等以维持立体视频图像的立体观测。最终的放大量也因为同样的原因而基本相同。如可意识到的,除了用第一和第二摄像机光学放大立体视频图像,可使用数字放大进一步放大视频图像。
在上面讨论本公开的系统和方法时,为了更加具体地强调其实施的独立性,同样应理解这里描述的许多功能单元被表示为“模块”。例如,模块可被实施为硬件电路,其包括定制的VLSI(超大规模)电路或门阵列,诸如逻辑芯片、晶体管或其它分立元件的现成半导体。模块也可以在可编程硬件设备中实施,如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等等。
也可在通过多种类型的处理器执行的软件中实施模块。例如,可执行代码的识别模块包括一个或更多计算机指令的物理或逻辑块,其例如被组织为对象、过程或功能。然而,识别模块的可执行文件不需要物理地集合在一处,但可包含存储在不同位置的不同指令,当其逻辑性地结合在一起时,包含模块并为模块实现所述目的。
实际上,可执行代码的模块可以是单个或许多指令,并且甚至可跨几个存储器设备,分布在不同程序中的几个不同代码段。类似地,这里可在模块内识别和示出运算数据,并且运算数据可被以任何合适形式具体化,并组织在任何合适类型的数据结构中。运算数据可收集为单个数据集合,或可分布在包括不同存储设备的不同位置,并可至少部分仅作为电子信号存在于系统或网络上。模块可以是被动的或主动的,包括可操作执行所需功能的代理。
前述范例是一个或更多具体应用中本发明原理的例示,很明显,对于本领域技术人员来说,可对实施的形式、用途和细节可做出大量修改,而无需实践创造性劳动并且不偏离本发明的原理和概念。因此,本发明仅受权利要求限制。
Claims (37)
1.一种用于在牙科设备中产生与病人关联的立体视频图像的系统,其包括:
第一摄像机,其经配置产生所述病人的口腔的第一视频馈入信号;
第二摄像机,其和所述第一摄像机间隔一个瞳距,并经配置产生所述口腔的第二视频馈入信号;
头部可安装的立体显示器,其包括右视频显示器和左视频显示器,从而分别从所述第一视频馈入信号和所述第二视频馈入信号生成立体视频图像;
与所述第一摄像机和第二摄像机关联的跟踪模块,所述跟踪模块经配置使所述第一摄像机和所述第二摄像机指向会聚点以产生立体视频图像并且相对所述口腔处或所述口腔附近的跟踪点的移动调整所述会聚点的位置,从而维持所述立体视频图像;以及
与所述第一摄像机和所述第二摄像机关联的缩放模块,所述缩放模块经配置提供所述立体视频图像的放大。
2.根据权利要求1所述的系统,其中所述瞳距从50毫米到75毫米。
3.根据权利要求1所述的系统,其中所述第一摄像机和所述第二摄像机经配置而一起缩放,并且其中所述缩放是光学缩放和数字缩放中的至少一种。
4.根据权利要求1所述的系统,其中所述第一摄像机和所述第二摄像机都各自经配置缩放并提供放大率在从至少4倍到10倍的图像。
5.根据权利要求1所述的系统,其中所述第一摄像机和所述第二摄像机各自经配置缩放并提供放大率在从至少1倍到20倍的图像。
6.根据权利要求1所述的系统,其还包括将所述第一摄像机和所述第二摄像机设置在所述口腔上部5英寸到96英寸的距离处。
7.根据权利要求1所述的系统,其中所述跟踪点是光学可跟踪标记,其经配置设置在所述口腔的内部或附近,从而使所述第一摄像机和所述第二摄像机的方向能够根据所述光学可跟踪标记的位置变化而调整。
8.根据权利要求1所述的系统,其中所述跟踪点是光学可跟踪标记,其经配置设置在位于所述口腔的内部或附近的牙科牵开器上。
9.根据权利要求1所述的系统,其中所述跟踪点包括至少两个射频标记,并且所述会聚点相对所述至少两个射频标记被确定。
10.根据权利要求1所述的系统,其中所述会聚点是虚拟点,其具有距所述跟踪点的x、y和z轴距离,并且在所述跟踪点移动时,所述会聚点相对所述跟踪点被维持。
11.根据权利要求1所述的系统,其中所述会聚点在所述跟踪点处。
12.根据权利要求1所述的系统,其中所述跟踪点是移动标记,其经配置位于手持仪器上。
13.根据权利要求1所述的系统,其中所述第一摄像机和所述第二摄像机中至少一个与一台电动机或多台电动机耦合,从而使得能够改变所述第一摄像机和所述第二摄像机相对彼此指向的角度,所述角度的改变至少部分根据所述摄像机到所述口腔的距离,从而维持所述立体视频图像的立体观测而与所述距离无关。
14.根据权利要求1所述的系统,还包括经配置为所述口腔的内部提供照明的牙科光源,其中所述照明足以在维持所述立体视频图像的选定景深的同时使所述第一摄像机和所述第二摄像机能够缩放至所述放大。
15.根据权利要求1所述的系统,其中所述头部可安装的立体显示器提供分离的视场,从而使操作者在佩戴所述头部可安装的立体显示器时能够查看周围环境和所述立体视频图像两者。
16.根据权利要求1所述的系统,其中所述第一视频馈入信号和所述第二视频馈入信号被无线传递至所述头部可安装的立体显示器。
17.根据权利要求1所述的系统,其中所述第一视频馈入信号和所述第二视频馈入信号通过有线连接被传递至所述头部可安装的立体显示器。
18.根据权利要求1所述的系统,还包括表格查看模块,其经配置在所述头部可安装的立体显示器上显示表格的一页或更多页。
19.一种用于产生与对象关联的立体视频图像的系统,其包括:
第一摄像机,经配置产生对象的第一视频馈入信号;
与所述第一摄像机间隔一个瞳距的第二摄像机,其经配置产生所述对象的第二视频馈入信号;
与所述第一摄像机和所述第二摄像机关联的跟踪模块,所述跟踪模块经配置使所述第一摄像机和所述第二摄像机指向会聚点以产生立体视频图像并且相对所述对象上或所述对象附近的跟踪点的移动调整所述会聚点的位置,从而维持所述立体视频图像;以及
与所述第一摄像机和所述第二摄像机关联的缩放模块,所述缩放模块经配置提供所述立体视频图像的放大。
20.根据权利要求19所述的系统,还包括经配置显示所述立体视频图像的视频显示器。
21.根据权利要求20所述的系统,其中所述视频显示器包括右眼显示器和左眼显示器,用于用户的右眼和左眼分别查看从而产生立体观测。
22.根据权利要求20所述的系统,其中所述视频显示器包括单个视频屏幕,其中所述第一视频馈入信号和所述第二视频馈入信号使用快门分离、偏振分离和颜色分离中的至少一种被光学分离。
23.根据权利要求22所述的系统,还包括至少一副查看眼镜,所述至少一幅查看眼镜经配置与所述视频显示器同步,从而使至少一个查看者能够查看到光学分离的近似实时立体视频图像。
24.根据权利要求19所述的系统,其中所述对象是医疗环境中的病人。
25.根据权利要求19所述的系统,其中所述对象是牙科病人,并且所述会聚点或所述跟踪点在所述牙科病人的口腔处或附近。
26.一种查看和跟踪立体视频图像的方法,其包括:
使第一摄像机和第二摄像机指向对象的选定区域从而产生所述选定区域的相应第一视频馈入信号和第二视频馈入信号,其中所述第一摄像机与所述第二摄像机以选定距离隔开,并且其中所述第一摄像机和所述第二摄像机均指向选定区域处或附近的会聚点,从而提供所述选定区域的立体观测;
关联所述会聚点与所述对象上或附近的选定跟踪点;
相对所述选定跟踪点的移动调整所述会聚点的位置;
在显示系统上显示所述第一视频馈入信号和所述第二视频馈入信号,所述显示系统光学分离所述第一视频馈入信号和所述第二视频馈入信号从而生成立体视频图像。
27.根据权利要求26所述的方法,其中所述对象是医疗病人或牙科病人。
28.根据权利要求26所述的方法,还包括缩放所述第一摄像机和所述第二摄像机从而提供所述立体图像的放大。
29.根据权利要求26所述的方法,还包括在头部可安装的视频显示器的右视频显示器上显示所述第一视频馈入信号,并在其左视频显示器上显示所述第二视频馈入信号。
30.根据权利要求26所述的方法,还包括在共同的显示器上显示所述第一视频馈入信号和所述第二视频馈入信号,其中所述第一视频馈入信号和所述第二视频馈入信号使用快门分离、偏振分离和颜色分离中的至少一种被光学分离。
31.根据权利要求26所述的方法,其中所述选定跟踪点包括光学可跟踪标记。
32.根据权利要求31所述的方法,其中所述光学可跟踪标记被设置在所述对象的口腔内或附近。
33.根据权利要求31所述的方法,其中所述光学可跟踪标记设置在牙科牵开器上。
34.根据权利要求26所述的方法,其中所述选定跟踪点包括与至少两个射频标记通信的跟踪收发器,并且相对于所述跟踪收发器关于所述至少两个射频标记的位置确定所述会聚点。
35.根据权利要求26所述的方法,其中所述会聚点具有距所述跟踪点的x、y和z轴距离,并且在所述跟踪点移动时,所述会聚点相对所述跟踪点被维持。
36.根据权利要求26所述的方法,其中所述对象移动时所述选定跟踪点也移动。
37.根据权利要求26所述的方法,其中所述选定距离是一个瞳距。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US41918610P | 2010-12-02 | 2010-12-02 | |
US61/419,186 | 2010-12-02 | ||
PCT/US2011/062667 WO2012075155A2 (en) | 2010-12-02 | 2011-11-30 | System and method of viewing and tracking stereoscopic video images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103238339A CN103238339A (zh) | 2013-08-07 |
CN103238339B true CN103238339B (zh) | 2015-12-09 |
Family
ID=46172540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180058010.5A Active CN103238339B (zh) | 2010-12-02 | 2011-11-30 | 查看和跟踪立体视频图像的系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (3) | US9545188B2 (zh) |
EP (1) | EP2647210A4 (zh) |
JP (2) | JP6396658B2 (zh) |
CN (1) | CN103238339B (zh) |
AU (1) | AU2011336647B2 (zh) |
MX (1) | MX2013006104A (zh) |
WO (1) | WO2012075155A2 (zh) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8121361B2 (en) | 2006-05-19 | 2012-02-21 | The Queen's Medical Center | Motion tracking system for real time adaptive imaging and spectroscopy |
CN103238339B (zh) | 2010-12-02 | 2015-12-09 | 尤特瑞登特生产公司 | 查看和跟踪立体视频图像的系统和方法 |
EP2747641A4 (en) | 2011-08-26 | 2015-04-01 | Kineticor Inc | METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION |
JP5904750B2 (ja) * | 2011-10-14 | 2016-04-20 | オリンパス株式会社 | 立体内視鏡装置 |
US9480539B2 (en) * | 2011-11-03 | 2016-11-01 | James Ortlieb | Viewing system and viewing method for assisting user in carrying out surgery by identifying a target image |
US20130295518A1 (en) * | 2012-03-29 | 2013-11-07 | William S. Parker | Apparatus and Method for Achieving a Head Up Posture for a 3-D Video Image for Operative Procedures in Dentistry |
AU2013202775B2 (en) | 2012-06-01 | 2015-09-17 | Ultradent Products, Inc. | Stereoscopic video imaging |
DE102012108039B4 (de) * | 2012-08-30 | 2022-05-05 | Renfert Gmbh | Dentaltechnikbilderfassungsvorrichtung |
US10327708B2 (en) * | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
EP2950714A4 (en) | 2013-02-01 | 2017-08-16 | Kineticor, Inc. | Motion tracking system for real time adaptive motion compensation in biomedical imaging |
WO2014175223A1 (ja) | 2013-04-22 | 2014-10-30 | ローム株式会社 | 癌診断装置、診断システム、診断装置 |
JP6560485B2 (ja) * | 2014-04-17 | 2019-08-14 | ローム株式会社 | 診断システム |
DE102013110543A1 (de) * | 2013-09-24 | 2015-03-26 | Karl Storz Gmbh & Co. Kg | Vorrichtung zum Aufnehmen eines Bildes eines Objektfelds an einem menschlichen oder tierischen Körper |
JP2017511615A (ja) * | 2013-11-27 | 2017-04-20 | ウルトラデント プロダクツ インク. | 物理的場所間のビデオ対話 |
US10424115B2 (en) | 2014-04-24 | 2019-09-24 | Christof Ellerbrock | Head-worn platform for integrating virtuality with reality |
FR3021518A1 (fr) * | 2014-05-27 | 2015-12-04 | Francois Duret | Dispositif de visualisation pour faciliter la mesure et le diagnostic 3d par empreinte optique en dentisterie |
CN106714681A (zh) | 2014-07-23 | 2017-05-24 | 凯内蒂科尔股份有限公司 | 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法 |
FR3032282B1 (fr) * | 2015-02-03 | 2018-09-14 | Francois Duret | Dispositif de visualisation de l'interieur d'une bouche |
US10359215B2 (en) * | 2015-08-06 | 2019-07-23 | Edisun Microgrids, Inc. | Heliostat array intensity and polarization tracking |
FR3042610B1 (fr) | 2015-10-14 | 2018-09-07 | Quantificare | Dispositif et procede pour reconstruire en trois dimensions la tete et le corps |
US10828125B2 (en) * | 2015-11-03 | 2020-11-10 | Synaptive Medical (Barbados) Inc. | Dual zoom and dual field-of-view microscope |
JPWO2017199926A1 (ja) * | 2016-05-17 | 2019-10-10 | カイロス株式会社 | 内視鏡装置 |
US10245507B2 (en) * | 2016-06-13 | 2019-04-02 | Sony Interactive Entertainment Inc. | Spectator management at view locations in virtual reality environments |
US11839433B2 (en) | 2016-09-22 | 2023-12-12 | Medtronic Navigation, Inc. | System for guided procedures |
AU2017339943B2 (en) | 2016-10-03 | 2019-10-17 | Verb Surgical Inc. | Immersive three-dimensional display for robotic surgery |
JP2018099297A (ja) * | 2016-12-20 | 2018-06-28 | ソニー株式会社 | 制御装置、制御方法、及び医療用観察システム |
CN108616744B (zh) * | 2017-01-23 | 2019-12-20 | 上海爱观视觉科技有限公司 | 一种仿生双眼视觉校准系统及校准方法 |
US11944272B2 (en) * | 2017-12-07 | 2024-04-02 | Medtronic Xomed, Inc. | System and method for assisting visualization during a procedure |
EP3915247A4 (en) * | 2019-03-27 | 2022-04-20 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | THREE-DIMENSIONAL TRACKING USING HEMISPHERIC OR SPHERICAL VISIBLE LIGHT DEPTH IMAGES |
US11623086B2 (en) | 2020-01-24 | 2023-04-11 | Medtronic Xomed, Inc. | System and method for therapy |
US11167127B2 (en) | 2020-01-24 | 2021-11-09 | Medtronic Xomed, Inc. | System and method for therapy |
US11666755B2 (en) | 2020-01-24 | 2023-06-06 | Medtronic Xomed, Inc. | System and method for therapy |
US11167140B2 (en) | 2020-01-24 | 2021-11-09 | Medtronic Xomed, Inc. | System and method for therapy |
JP7307986B1 (ja) | 2022-06-08 | 2023-07-13 | 株式会社吉田製作所 | マイクロスコープ |
CN115381386B (zh) * | 2022-08-29 | 2024-04-09 | 湖南省华芯医疗器械有限公司 | 一种远端可翻转的摄像模组、内窥镜及内窥镜的控制方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2329545A (en) * | 1997-09-19 | 1999-03-24 | Zeiss Stiftung | Stereoscopic display with camera convergence controlled by observer position |
US5961456A (en) * | 1993-05-12 | 1999-10-05 | Gildenberg; Philip L. | System and method for displaying concurrent video and reconstructed surgical views |
US6326994B1 (en) * | 1997-01-22 | 2001-12-04 | Sony Corporation | Matched field-of-view stereographic imaging apparatus |
Family Cites Families (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5123726A (en) | 1989-10-14 | 1992-06-23 | Concept Vision Systems, Inc. | Stereoscopic viewing system and method |
US5124797A (en) | 1990-07-20 | 1992-06-23 | New Image Industries, Inc. | Modular view lens attachment for micro video imaging camera |
US5151722A (en) | 1990-11-05 | 1992-09-29 | The Johns Hopkins University | Video display on spectacle-like frame |
US6675040B1 (en) | 1991-01-28 | 2004-01-06 | Sherwood Services Ag | Optical object tracking system |
US6006126A (en) | 1991-01-28 | 1999-12-21 | Cosman; Eric R. | System and method for stereotactic registration of image scan data |
US5662111A (en) | 1991-01-28 | 1997-09-02 | Cosman; Eric R. | Process of stereotactic optical navigation |
US6405072B1 (en) | 1991-01-28 | 2002-06-11 | Sherwood Services Ag | Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus |
FR2699296B1 (fr) | 1992-12-14 | 1994-12-30 | Olivier Boute | Dispositif de prise de vues triscopiques. |
US5539422A (en) | 1993-04-12 | 1996-07-23 | Virtual Vision, Inc. | Head mounted display system |
JPH0723429A (ja) | 1993-07-05 | 1995-01-24 | Canon Inc | 複眼撮像装置 |
US5864360A (en) | 1993-08-26 | 1999-01-26 | Canon Kabushiki Kaisha | Multi-eye image pick-up apparatus with immediate image pick-up |
US5543816A (en) | 1993-10-07 | 1996-08-06 | Virtual Vision | Head mounted display system with aspheric optics |
JPH07275202A (ja) * | 1994-04-11 | 1995-10-24 | Yoshida Dental Mfg Co Ltd | 歯科治療ユニット |
US5774096A (en) * | 1994-04-21 | 1998-06-30 | Kabushiki Kaisha Sega Enterprises | Head mounted display |
JPH0821975A (ja) * | 1994-07-06 | 1996-01-23 | Olympus Optical Co Ltd | 頭部装着型映像表示システム |
US5991085A (en) * | 1995-04-21 | 1999-11-23 | I-O Display Systems Llc | Head-mounted personal visual display apparatus with image generator and holder |
US5825540A (en) | 1996-04-22 | 1998-10-20 | Raytheon Company | Autostereoscopic display and method |
IL120135A0 (en) * | 1997-02-03 | 1997-06-10 | Dentop Systems Ltd | A video system for three dimensional imaging and photogrammetry |
US5898520A (en) | 1997-02-11 | 1999-04-27 | Raytheon Company | Three-dimensional imaging system having a polarizing filter |
US6219186B1 (en) | 1998-04-06 | 2001-04-17 | Optimize Incorporated | Compact biocular viewing system for an electronic display |
JP2000163558A (ja) | 1998-11-27 | 2000-06-16 | Mitsubishi Electric Corp | 位置合わせ装置 |
JP3605315B2 (ja) | 1999-05-31 | 2004-12-22 | ペンタックス株式会社 | 立体視顕微鏡 |
DE10027166B4 (de) | 1999-05-31 | 2007-03-08 | Pentax Corp. | Stereoskopmikroskop |
US6480174B1 (en) | 1999-10-09 | 2002-11-12 | Optimize Incorporated | Eyeglass-mount display having personalized fit module |
AU2001233019A1 (en) * | 2000-01-28 | 2001-08-07 | Intersense, Inc. | Self-referenced tracking |
US6891518B2 (en) * | 2000-10-05 | 2005-05-10 | Siemens Corporate Research, Inc. | Augmented reality visualization device |
JP2002142233A (ja) | 2000-11-01 | 2002-05-17 | Hitoshi Ishida | 立体画像を提供するための画像提供装置および画像提供方法、受信装置および受信方法、並びに立体画像を提供するための立体画像提供システムおよび立体画像提供方法。 |
US6774869B2 (en) | 2000-12-22 | 2004-08-10 | Board Of Trustees Operating Michigan State University | Teleportal face-to-face system |
US6900777B1 (en) | 2001-01-03 | 2005-05-31 | Stryker Corporation | Infrared audio/video interface for head-mounted display |
JP2002232913A (ja) | 2001-01-31 | 2002-08-16 | Canon Inc | 複眼カメラ及び立体視画像観察システム |
US6583808B2 (en) | 2001-10-04 | 2003-06-24 | National Research Council Of Canada | Method and system for stereo videoconferencing |
AU2002361572A1 (en) | 2001-10-19 | 2003-04-28 | University Of North Carolina At Chape Hill | Methods and systems for dynamic virtual convergence and head mountable display |
WO2003081831A2 (en) | 2002-03-18 | 2003-10-02 | Sarcos Investment Lc | Miniaturized imaging device |
US6856314B2 (en) | 2002-04-18 | 2005-02-15 | Stmicroelectronics, Inc. | Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling |
US20030207227A1 (en) * | 2002-05-02 | 2003-11-06 | Align Technology, Inc. | Systems and methods for treating patients |
JP4262454B2 (ja) | 2002-07-30 | 2009-05-13 | オリンパス株式会社 | 手術用観察装置 |
US20050020910A1 (en) | 2003-04-30 | 2005-01-27 | Henley Quadling | Intra-oral imaging system |
US20040224279A1 (en) | 2003-05-06 | 2004-11-11 | Ormco Corporation | Dental display system |
JP2005051472A (ja) | 2003-07-28 | 2005-02-24 | Nikon Corp | 自動撮影制御装置、自動撮影用プログラム、カメラ |
EP1706054A1 (en) | 2004-01-22 | 2006-10-04 | Smith and Nephew, Inc. | Methods, systems, and apparatuses for providing patient-mounted surgical navigational sensors |
KR100819819B1 (ko) | 2004-03-26 | 2008-04-08 | 아츠시 타카하시 | 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법 |
JP4373286B2 (ja) * | 2004-05-06 | 2009-11-25 | オリンパス株式会社 | 頭部装着型表示装置 |
US7436568B1 (en) | 2004-08-17 | 2008-10-14 | Kuykendall Jr Jacob L | Head mountable video display |
JP5173130B2 (ja) | 2004-10-20 | 2013-03-27 | 富士フイルム株式会社 | 電子内視鏡装置 |
US20060082647A1 (en) | 2004-10-20 | 2006-04-20 | Fuji Photo Film Co., Ltd. | Electronic endoscope apparatus |
US8358330B2 (en) * | 2005-10-21 | 2013-01-22 | True Vision Systems, Inc. | Stereoscopic electronic microscope workstation |
CN101374462A (zh) | 2005-12-09 | 2009-02-25 | 皇家飞利浦电子股份有限公司 | 基于模型的流动分析和可视化 |
US20070236514A1 (en) | 2006-03-29 | 2007-10-11 | Bracco Imaging Spa | Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation |
JP5055500B2 (ja) | 2006-04-04 | 2012-10-24 | 並木精密宝石株式会社 | 治療用アンテナプローブとその使用方法及び電磁治療システム |
JP5228305B2 (ja) | 2006-09-08 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
TW200838292A (en) * | 2007-03-14 | 2008-09-16 | Ming-Yan Lin | Visual space point recognition method |
US20080239080A1 (en) | 2007-03-26 | 2008-10-02 | Moscato Jonathan D | Head-mounted rear vision system |
WO2009012413A1 (en) | 2007-07-17 | 2009-01-22 | Carnegie Mellon University | Multiple resolution video network with eye tracking based control |
KR100926127B1 (ko) | 2007-10-25 | 2009-11-11 | 포항공과대학교 산학협력단 | 복수 카메라를 이용한 실시간 입체 영상 정합 시스템 및 그방법 |
JP5483518B2 (ja) * | 2007-12-27 | 2014-05-07 | 株式会社モリタ製作所 | 診療表示装置、診療装置及び診療用表示装置 |
US8624924B2 (en) * | 2008-01-18 | 2014-01-07 | Lockheed Martin Corporation | Portable immersive environment using motion capture and head mounted display |
US8615383B2 (en) * | 2008-01-18 | 2013-12-24 | Lockheed Martin Corporation | Immersive collaborative environment using motion capture, head mounted display, and cave |
WO2009094646A2 (en) * | 2008-01-24 | 2009-07-30 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for image guided ablation |
US9772689B2 (en) | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
KR101189550B1 (ko) | 2008-03-21 | 2012-10-11 | 아츠시 타카하시 | 3차원 디지털 확대경 수술지원 시스템 |
US8477175B2 (en) | 2009-03-09 | 2013-07-02 | Cisco Technology, Inc. | System and method for providing three dimensional imaging in a network environment |
US8939894B2 (en) * | 2009-03-31 | 2015-01-27 | Intuitive Surgical Operations, Inc. | Three-dimensional target devices, assemblies and methods for calibrating an endoscopic camera |
US8287127B2 (en) * | 2009-04-03 | 2012-10-16 | Seiko Epson Corporation | Aerial three-dimensional image display systems |
JP5333067B2 (ja) * | 2009-08-31 | 2013-11-06 | ソニー株式会社 | 画像表示装置及び頭部装着型ディスプレイ |
JP5683803B2 (ja) | 2009-11-19 | 2015-03-11 | 株式会社吉田製作所 | 治療用口腔観察装置 |
RU2011148354A (ru) | 2010-03-29 | 2014-05-10 | Панасоник Корпорэйшн | Устройство обработки видео |
US9479759B2 (en) * | 2010-03-29 | 2016-10-25 | Forstgarten International Holding Gmbh | Optical stereo device and autofocus method therefor |
CA2797302C (en) * | 2010-04-28 | 2019-01-15 | Ryerson University | System and methods for intraoperative guidance feedback |
US8564641B1 (en) | 2010-06-11 | 2013-10-22 | Lucasfilm Entertainment Company Ltd. | Adjusting stereo images |
JP2012015661A (ja) | 2010-06-29 | 2012-01-19 | Fujifilm Corp | 撮像装置及び撮像方法 |
JP5688543B2 (ja) * | 2010-07-20 | 2015-03-25 | パナソニックIpマネジメント株式会社 | 立体画像撮像装置および立体画像撮像装置におけるレンズ駆動方法 |
US8493206B2 (en) | 2010-07-30 | 2013-07-23 | Gravity Jack, Inc. | Augmented reality and location determination methods and apparatus |
US20120069143A1 (en) | 2010-09-20 | 2012-03-22 | Joseph Yao Hua Chu | Object tracking and highlighting in stereoscopic images |
CN103238339B (zh) | 2010-12-02 | 2015-12-09 | 尤特瑞登特生产公司 | 查看和跟踪立体视频图像的系统和方法 |
AU2011205223C1 (en) | 2011-08-09 | 2013-03-28 | Microsoft Technology Licensing, Llc | Physical interaction with virtual objects for DRM |
US9077846B2 (en) | 2012-02-06 | 2015-07-07 | Microsoft Technology Licensing, Llc | Integrated interactive space |
AU2013202775B2 (en) * | 2012-06-01 | 2015-09-17 | Ultradent Products, Inc. | Stereoscopic video imaging |
US9110503B2 (en) * | 2012-11-30 | 2015-08-18 | WorldViz LLC | Precision position tracking device |
TW201505603A (zh) * | 2013-07-16 | 2015-02-16 | Seiko Epson Corp | 資訊處理裝置、資訊處理方法及資訊處理系統 |
JP6252004B2 (ja) * | 2013-07-16 | 2017-12-27 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
US10154239B2 (en) * | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
-
2011
- 2011-11-30 CN CN201180058010.5A patent/CN103238339B/zh active Active
- 2011-11-30 WO PCT/US2011/062667 patent/WO2012075155A2/en active Application Filing
- 2011-11-30 US US13/989,284 patent/US9545188B2/en active Active
- 2011-11-30 AU AU2011336647A patent/AU2011336647B2/en active Active
- 2011-11-30 JP JP2013542142A patent/JP6396658B2/ja active Active
- 2011-11-30 EP EP11844437.1A patent/EP2647210A4/en not_active Ceased
- 2011-11-30 MX MX2013006104A patent/MX2013006104A/es active IP Right Grant
-
2016
- 2016-11-30 US US15/365,551 patent/US10154775B2/en active Active
-
2017
- 2017-03-23 JP JP2017057105A patent/JP2017119160A/ja not_active Withdrawn
-
2018
- 2018-11-15 US US16/192,597 patent/US10716460B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5961456A (en) * | 1993-05-12 | 1999-10-05 | Gildenberg; Philip L. | System and method for displaying concurrent video and reconstructed surgical views |
US6326994B1 (en) * | 1997-01-22 | 2001-12-04 | Sony Corporation | Matched field-of-view stereographic imaging apparatus |
GB2329545A (en) * | 1997-09-19 | 1999-03-24 | Zeiss Stiftung | Stereoscopic display with camera convergence controlled by observer position |
Also Published As
Publication number | Publication date |
---|---|
US9545188B2 (en) | 2017-01-17 |
JP6396658B2 (ja) | 2018-09-26 |
AU2011336647A1 (en) | 2013-04-04 |
JP2017119160A (ja) | 2017-07-06 |
US20170079512A1 (en) | 2017-03-23 |
JP2013545557A (ja) | 2013-12-26 |
US20140055563A1 (en) | 2014-02-27 |
MX2013006104A (es) | 2013-09-02 |
BR112013013565A2 (pt) | 2016-10-11 |
US10154775B2 (en) | 2018-12-18 |
US10716460B2 (en) | 2020-07-21 |
WO2012075155A2 (en) | 2012-06-07 |
WO2012075155A3 (en) | 2013-03-28 |
EP2647210A4 (en) | 2014-04-16 |
CN103238339A (zh) | 2013-08-07 |
AU2011336647B2 (en) | 2015-02-12 |
US20190099068A1 (en) | 2019-04-04 |
EP2647210A2 (en) | 2013-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103238339B (zh) | 查看和跟踪立体视频图像的系统和方法 | |
US11856178B2 (en) | Stereoscopic video imaging | |
US10197803B2 (en) | Augmented reality glasses for medical applications and corresponding augmented reality system | |
US9766441B2 (en) | Surgical stereo vision systems and methods for microsurgery | |
CN104918572A (zh) | 用于外科手术的视频捕获和显示的数字系统 | |
US20210335483A1 (en) | Surgery visualization theatre | |
WO2021226134A1 (en) | Surgery visualization theatre | |
US10330945B2 (en) | Medical image display apparatus, medical information processing system, and medical image display control method | |
JP7086929B2 (ja) | 医療情報処理システム | |
KR101481905B1 (ko) | 수술 현미경용 일체형 입체 화상 획득 시스템 | |
CN209750986U (zh) | 一种虚拟现实全景医用内窥镜 | |
Southern et al. | Video microsurgery: early experience with an alternative operating magnification system | |
US20240127931A1 (en) | Surgery visualization theatre | |
BR112013013565B1 (pt) | Sistema e método de visualização e rastreamento de imagens de vídeo estereoscópicas | |
EP4146115A1 (en) | Surgery visualization theatre | |
WO2023052535A1 (en) | Devices and systems for use in imaging during surgery | |
WO2023052474A1 (en) | Devices and systems for use in imaging during surgery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |