WO2012096312A1 - 口腔内撮影表示システム - Google Patents

口腔内撮影表示システム Download PDF

Info

Publication number
WO2012096312A1
WO2012096312A1 PCT/JP2012/050394 JP2012050394W WO2012096312A1 WO 2012096312 A1 WO2012096312 A1 WO 2012096312A1 JP 2012050394 W JP2012050394 W JP 2012050394W WO 2012096312 A1 WO2012096312 A1 WO 2012096312A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dentition
unit
display
data
Prior art date
Application number
PCT/JP2012/050394
Other languages
English (en)
French (fr)
Inventor
伸周 浦壁
Original Assignee
株式会社アドバンス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011017192A external-priority patent/JP2012143528A/ja
Priority claimed from JP2011134633A external-priority patent/JP5784381B2/ja
Application filed by 株式会社アドバンス filed Critical 株式会社アドバンス
Priority to EP12734447.1A priority Critical patent/EP2664272A4/en
Priority to CN201280008136.6A priority patent/CN103347436B/zh
Priority to CA2824665A priority patent/CA2824665C/en
Priority to US13/978,939 priority patent/US9463081B2/en
Priority to AU2012206109A priority patent/AU2012206109B2/en
Publication of WO2012096312A1 publication Critical patent/WO2012096312A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A61B1/247Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00087Tools
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00101Insertion part of the endoscope body characterised by distal tip features the distal tip features being detachable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination

Definitions

  • the present invention relates to a system for photographing the entire oral cavity and displaying it in a panoramic manner.
  • Treatment of oral diseases such as dental caries often ends when the intended treatment is completed.
  • the treatment of dental caries often begins with the patient being aware of symptoms such as tooth pain, discomfort, etc., and there are many patterns in which the visit ends when treatment is completed. If there is not, it is often left as it is, and there are many cases that go to the hospital only after the caries progresses.
  • the oral cavity cannot be generally sounded and there are no subjective symptoms such as dirt, swelling, defects, tartar, wear, salivary stones, malfunctions, etc. There are many cases where the person himself / herself does not know the symptoms that can be done.
  • Patent Document 1 shows a configuration of an electronic medical chart that is easy to see from the patient side by displaying all dentitions on a computer monitor and coloring individual teeth. The visibility of the dentition is also a requirement for informed consent. However, even if a part of the entire dentition is easy to see, it will be expanded to explain the treatment and the purpose of the treatment will be understood. Such a configuration is necessary.
  • Patent Document 2 describes a configuration in which a plurality of intraoral image data captured in advance on a computer monitor screen are displayed.
  • Patent Document 3 discloses a tool for informed consent, such as improvement of understanding of technical terms, by a presentation technique using moving images and still images displayed using a computer. It is also described that such a presentation method can be used for education in elementary schools, junior high schools, offices, elderly facilities and the like.
  • Patent Literature 4 discloses a fluorescent film that visualizes an X-ray image and a configuration in which the visualized image is reflected by a prism and photographed by a camera.
  • Patent Document 5 Oral irrigator with videoscope
  • Patent Document 6 Intraoral camera device and method
  • Patent Document 7 Dental
  • Patent Literature 8 Hand switch for intraoral camera
  • Patent Literature 9 Display-integrated oral camera
  • Patent Literature 10 Intraoral imaging device and dental mirror
  • Patent Literature 11 Dental imaging device
  • Patent Document 13 Periodic inspection method and apparatus
  • Patent Document 14 Apparatus used in a dental care environment
  • Patent Document 15 Medical X-ray image detection apparatus.
  • JP-A-10-97404 JP 2005-334426 A Japanese Patent Laid-Open No. 10-97405 JP-A-10-201757 JP 2001-212161 A JP 2005-144171 A Japanese Patent Laid-Open No. 62-246347 JP 2001-29315 A JP 2002-355262 A JP 2005-304600 A No. 5-30402 Utility Model Registration No. 3131408 US Pat. No. 5,752,827 JP 2009-516555 A Japanese Patent Laid-Open No. 5-130991
  • the present invention provides a continuous image sequence forming unit that continuously captures images of a side surface of a dentition to form an image sequence, and an image sequence formed by the continuous image sequence formation unit as a partial dentition image.
  • a side dentition image forming unit that forms a plurality of partial dentition images by synthesizing from the image that is the center of the total synthesis, and a total synthesis between the plurality of partial dentition images formed by the side dentition image formation unit. It is proposed that a side dentition image synthesizing unit that forms a whole dentition by combining and synthesizing based on a central image is proposed.
  • a clear panoramic dentition can be formed using a hand-held intraoral camera, and further, an X-ray panoramic dentition image, a virtual orthodontic or a virtual aesthetic coloring panoramic dentition Can be displayed side by side or superimposed and displayed, so that it is possible to widen the dental treatment range.
  • the present invention provides unit imaging means for imaging the oral cavity for each medical improvement unit, setting means for setting medical improvement order information for the image that has been unit-imaged by the unit imaging means, and the medical improvement order.
  • the present invention proposes a combination of display means for displaying an image to which information is attached in a list-displayable manner based on medical improvement order information and a display medium on which display information obtained by the display means is recorded.
  • the present invention provides data creation for the dental worker to explain the treatment contents to the patient using the above-described method using a monitor such as a computer, attendance processing of the dental worker, medical fee processing, etc. It is proposed that the data processing performed using the computer is performed by a small portable terminal provided with a processor, memory, communication means, input means, and display means. By using such a small portable terminal, the present invention achieves rationalization of the dentistry business.
  • the image shown in the present invention finally shows a digital image, and either a moving image or a still image may be used.
  • the “image serving as the center of total synthesis” in the present invention indicates, for example, an image that is common to both when two partial panoramic images are synthesized. “Overall” does not show only the final entire panoramic dentition image, but, for example, when three or more partial dentition images are formed, the two partial panoramic dentition images are synthesized first. The panoramic tooth image in the middle of synthesis obtained in this way is also included.
  • “Combine from the image that is the center of the overall synthesis” means, for example, a plurality of images obtained by continuously copying the dentition in the back tooth direction from an image in which a part of the center tooth of the front tooth is in the center.
  • the left partial dentition panoramic image and the right partial dentition panoramic image are, for example, combining the left partial dentition panorama image and the right partial dentition panorama image by combining them at a common part or connecting them based on connectable parts. Means that.
  • a mark is set on an image including a central part of the composition.
  • This mark is not easily dissolved by, for example, saliva or water, and is an elongated rectangular shape or a short rectangular shape.
  • a sticker having an adhesive, a pressure-sensitive adhesive, or the like applied to the back surface, which can be peeled off.
  • the mark may be drawn on the teeth with a colored pen such as green or red, which is not limited to an attached substance, and can remove the color and is easy to photograph clearly.
  • the mark is placed so as to cover the upper teeth and the lower teeth. For example, when only one of the upper jaw and the lower jaw is taken, only the person taking the image may be placed.
  • the predetermined position on the dentition where the mark is arranged is a position where the shooting is interrupted or the movement is stopped by changing the shooting direction or holding method of the camera. Shows the image.
  • the mark may be formed in a color (green, blue, etc.) and shape that can be easily recognized on the captured image, and the material and color are appropriately selected. Moreover, when obtaining a three-dimensional image, you may use the thing provided with the characteristic three-dimensionality. Since the mark may be displayed on the tooth surface and can be clearly displayed on the captured image, for example, the laser projected light having a known shape projected onto the tooth surface is irradiated. In the case of providing an irradiating means to be used, or as in a spotlight, an irradiating means having a corresponding relationship between the illumination distance and the irradiated light area may be arranged so as to be able to irradiate from the intraoral camera toward the teeth. .
  • the composition of the mark starts at least from an image in which the mark is photographed at a predetermined position, and the photographing direction may not be from the back teeth.
  • the shooting direction and the compositing direction do not necessarily have to be reversed.
  • the predetermined position of the mark for starting the synthesis is exemplified, for example, when the mark comes to the center of the captured image, but is not limited to this, and is not limited to this, as long as it is a part that can be easily synthesized in partial synthesis and overall synthesis. good.
  • the mark is partially combined with respect to the right, center, and left side surfaces of the dentition, such as the back side surface of the teeth, the middle tooth between the right side surface and the central side surface, and the center side surface and right side tooth 2 May be necessary, and a plurality of marks may be added.
  • the “side surface of the dentition” in the present invention may include not only the front side but also the back side and the occlusal surface. Continuous shooting indicates that 30 images or less are automatically captured every second.
  • Synthesis is a panorama synthesis method, and an existing method can be selectively used as a composition method. Simple synthesis method, simple enumeration method, block matching method, optical flow such as Lucas-Kanade method, etc. Although an automatic or manual synthesis method such as an estimation method can be used, it is preferable to adjust an inclination, a magnification, and the like based on a common part between images by an image adjustment unit such as an affine transformation in advance.
  • the characteristic part in the present invention is a linear, dot-like, figure-like, or three-dimensional shape indicating a joining position when joining partial dentition panoramic images.
  • two side panoramic images are synthesized.
  • the boundary line between the central front tooth and the front tooth is shown, but the present invention is not limited to this.
  • the intraoral area in the unit imaging means for imaging the intraoral area for each medical improvement unit indicates areas such as teeth, dentition, gingiva, alveolar bone, lips, hard palate, soft palate, and uvula.
  • Medical treatment includes examination and treatment, and a dentist may examine and treat at a specialized medical institution.
  • Medical improvement unit refers to caries, periodontal disease, tongue cancer, gingival cancer, etc., preferably a single examination and treatment range, as well as improvement of dirt, correction, prevention treatment, quasi-medical treatment There is.
  • “Improvement” means actions that can be overcome by brushing, fluorine, application of a bad breath odor prevention agent, preventive measures such as applying fluorine to teeth, cleaning, application of preventive agents for periodontal disease, etc. Is shown.
  • Imaging refers to conversion into image data that can be output and displayed on a computer monitor (display) device or mobile phone display unit, as well as two-dimensional or three-dimensional printing or printing on paper. This shows the state where the correct display has been made.
  • the medical improvement order information of the setting means for setting the medical improvement order information for the unit image formed by the unit imaging means indicates symbols, signs, numerical values, etc. indicating the order of medical care, prevention, and improvement. Any other data that shows the date and time of medical treatment, the progress of disease, prediction of disease progression, etc. can be determined as long as it can determine the order of medical improvement for at least multiple unit images.
  • the calculation parameters may be parameters that can be confirmed by computer calculation processing.
  • Display so that it can be displayed in a list means that, if at least the medical treatment improvement order is a list and the whole can be easily recognized, the one printed on multiple sheets and multiple images can be replaced by scrolling In some cases, it may be configured in such a manner as to be displayed.
  • the display medium that displays and records the display information obtained by the display means is the state that is printed or printed on one or more sheets or booklets, and the image data based on the format such as JPEG, GIF, or BMP.
  • a state in which the information is displayed in a portable manner is indicated, and the display medium may indicate a paper-like or booklet-like paper medium, a USB memory, an SD card, a display device having a recording element such as a memory, a mobile phone, or the like. However, it shows at least a print, a printed matter, an electronic image, etc. that a patient can carry and see inside the oral cavity.
  • the display medium since it includes the case of browsing the intraoral data on the homepage display on the Internet, the display medium includes a desktop or notebook personal computer.
  • the shooting position and shooting range can be clarified by using an aiming light source such as an LED having a relatively long optical path for irradiation light and having a spread based on a directivity angle.
  • an aiming light source such as an LED having a relatively long optical path for irradiation light and having a spread based on a directivity angle.
  • the angle information of the main body is measured by the gyro sensor for the posture of the intraoral camera that moves vertically and horizontally, the angle of the mirror is derived from the angle of the main body, and the state of the state is grasped.
  • a position sensor such as an angular velocity sensor (gyro sensor) or an acceleration sensor is used.
  • rate gyro that outputs angular velocity
  • rate integration gyro that outputs angle
  • attitude gyro MEMS (micro-electro-mechanical-systems) type
  • MEMS micro-electro-mechanical-systems
  • other mechanical, optical angular velocity sensors piezoresistive type
  • capacitance type An acceleration sensor such as a heat detection type MEMS sensor is exemplified.
  • the color of the aiming light in the present invention may be any color that can be distinguished from the color of the illumination light. If the illumination light is white, examples of the aiming light include red and green. Moreover, the timing of irradiation of the aiming light is preferably the timing immediately before the user starts shooting, but there may be a case where irradiation is performed for a short time during shooting.
  • the present invention is a portable terminal that can be worn on the body, and by arranging storage means, a computer, modulation / demodulation means and display means for communication with the outside, and enabling input / output of the dentistry in general, General dental workers, electronic medical records, medical fee calculation, etc. can be performed at hand, and by sharing such information and synchronizing the display, even with a limited number of people, dental office and medical related Since the paperwork can be performed in a distributed manner, rationalization of dentistry is realized.
  • the operation interface is disposed at a position where it can be operated during the treatment, but it cannot be operated due to a physical requirement that the operation method differs depending on the operator or a finger does not reach the interface.
  • Time delay depending on how the interface is operated, depending on the situation and the situation that is explained to the patient for example, when there is a gap between verbal explanation and screen display).
  • the operation interface is a switch
  • the delay time is adjusted by the number of times the switch is executed after 2 seconds
  • the display timing of the display means is A GUI-like operation that adjusts the number of times of pressing, the pressing time, and the like is also possible.
  • the present invention captures an X-ray image and superimposes it with an actual image, for example, connects X-ray images for each tooth to form a panoramic image, and superimposes it with the actual image combined in the same manner. And means for enabling a panoramic comparison from the side of the dentition.
  • the present invention is connected to a computer terminal wirelessly or by wire, and optionally includes a liquid crystal display unit, a numeric keypad, etc., and forms a terminal that can be worn on the user's arm, foot, or other part, such as patient information. It is possible to perform input / output with a computer terminal at hand, and the dentist can perform past data necessary for treatment and preliminary knowledge when explaining treatment for each patient in a state that is not visible to the patient. It is possible and enables accurate medical treatment and treatment explanation to patients.
  • an input unit for inputting dental related information a portable terminal having a display unit for displaying dental related information, a recording means for temporarily or continuously recording dental related information, and dental related information based on a predetermined algorithm
  • a dental treatment system comprising a host terminal having processing means for processing, information transmission means for wirelessly or wiredly transmitting information between the portable terminal and the center terminal, in which case the portable terminal is engaged in dentistry.
  • a host terminal having processing means for processing, information transmission means for wirelessly or wiredly transmitting information between the portable terminal and the center terminal, in which case the portable terminal is engaged in dentistry.
  • Each person may wear it on his / her body such as arms, legs, upper body, lower body, etc., and may share information on which all or part of the dental workers are displayed.
  • This system has a configuration that can be carried as described above, and may be used as a tablet-type or desktop-type personal computer. In this case, centralized management of dentistry may be performed.
  • this mobile terminal is a terminal that can input and output and can process information, it can centrally manage dentistry related information such as intraoral information, dental care information, dental office information, and dental worker information. it can. Specifically, it can display information from the corresponding software, peripheral devices such as intraoral cameras, etc., and can perform input processing such as addition, correction, and deletion of new data and data storage, and other mobile phones. Examples include, but are not limited to, terminal and host terminal data that are shared and displayed in a synchronized manner, indicating the state in which input processing can be performed, and displaying and recording necessary dental information from at least a mobile terminal, And input processing only needs to be performed.
  • a menu is displayed on the screen of a mobile terminal.
  • each screen is switched every time the user selects each information, such as a mouse, or all information on a specific patient is individually displayed on one screen. Is displayed as a window screen.
  • the user performs input such as selection, new, correction, and deletion according to the displayed contents of the screen.
  • the input may be performed using a built-in numeric keypad or a virtual numeric keypad, or may be performed by selecting a preset input character with a mouse or a numeric keypad.
  • each employee can use his or her mobile terminal or host terminal to input the attendance of a dental employee, or a person in charge of attendance can add, correct, or delete from his or her mobile terminal or host terminal. Etc. may be input. If each dentist has a mobile terminal and only the person in charge can process it, a password may be set for the person in charge.
  • Centralized management indicates, for example, the case where dentistry related information such as intraoral information, dental care information, dental office information, dental worker information, etc. can be input and output on a single terminal, but is not limited to this. Even a part of the information is included if it corresponds to the target management target.
  • the present invention further forms a menu for dental treatment by combining pre-divided part-wise subdivided images, and provides images for explanation such as still images, slide moving images, or moving images according to treatment for each patient. Make it possible to form.
  • the subdivided image is preferably created in advance as a CG image or a moving image, for example, as a tooth extraction image, a paired tooth extension image, or an explanation image of a workpiece.
  • a dentist, a dental hygienist, or the like selects these based on a patient from a treatment menu display such as an implant treatment or a prosthetic treatment, and the patient selects and combines them.
  • a plurality of pre-selected pre-selected videos may be prepared and viewed by a dental worker or patient as a combined explanation video for treatment explanation before treatment, after treatment, or in some cases during treatment. .
  • This connected image can be used to create content in line with the patient's own treatment situation, so it can be expected to have a better understanding and effect on enlightenment activities such as tooth decay prevention.
  • This part-shaped video, a patient image taken with the imaging means may be used by converting it to the same image format, and a treatment system that is easy for the patient and easy to use for users such as dentists. suggest.
  • the present invention enables a clear panoramic display with a real image for a part or all of the dentition, and further, in some cases, an X-ray image can be displayed by being superimposed or written together.
  • a medical explanation that is easy to understand can be given to the patient using the display.
  • the present invention makes it possible to accurately display the photographing position of the intraoral camera using the reflecting mirror, and to grasp the photographing posture of the photographing unit that moves vertically and horizontally in the mouth so that the photographed image can be easily viewed. It can be adjusted to the state.
  • the present invention also enables rationalization and cost reduction by processing the entire dentistry business using a portable terminal capable of digital data processing.
  • FIG. 1 is a block diagram showing an embodiment of the present invention.
  • FIG. 2 is a schematic diagram for explaining the embodiment.
  • FIG. 3 is a schematic diagram for explaining the embodiment.
  • FIG. 4 is a schematic diagram for explaining the embodiment.
  • FIG. 5 is a block diagram showing another embodiment of the present invention.
  • FIG. 6 is a schematic diagram for explaining the embodiment.
  • FIG. 7 is a schematic diagram for explaining the embodiment.
  • FIG. 8 is a schematic diagram for explaining the embodiment.
  • FIG. 9 is a schematic view showing an embodiment of the present invention.
  • FIG. 10 is a schematic diagram for explaining the embodiment.
  • FIG. 11 is a schematic diagram for explaining the embodiment.
  • FIG. 12 is a schematic diagram for explaining the embodiment.
  • FIG. 13 is a block diagram showing another embodiment of the present invention.
  • FIG. 10 is a schematic diagram for explaining the embodiment.
  • FIG. 11 is a schematic diagram for explaining the embodiment.
  • FIG. 12 is a schematic diagram for explaining the embodiment.
  • FIG. 14 is a schematic diagram for explaining the embodiment.
  • FIG. 15 is a schematic diagram for explaining the embodiment.
  • FIG. 16 is a schematic diagram for explaining the embodiment.
  • FIG. 17 is a schematic diagram for explaining the embodiment.
  • FIG. 18 is a block diagram showing an embodiment of the present invention.
  • FIG. 19 is a schematic diagram for explaining an embodiment of the present invention.
  • FIG. 20 is a block diagram for explaining an embodiment of the present invention.
  • FIG. 21 is a block diagram for explaining an embodiment of the present invention.
  • FIG. 22 is a schematic diagram for explaining an example of the present invention.
  • FIG. 23 is a schematic diagram for explaining an example of the present invention.
  • FIG. 24 is a block diagram for explaining an embodiment of the present invention.
  • FIG. 25 is a block diagram for explaining an embodiment of the present invention.
  • FIG. 25 is a block diagram for explaining an embodiment of the present invention.
  • FIG. 26 is a block diagram for explaining an embodiment of the present invention.
  • FIG. 27 is a schematic diagram for explaining an embodiment of the present invention.
  • FIG. 28 is a schematic diagram for explaining an example of the present invention.
  • FIG. 29 is a block diagram for explaining an embodiment of the present invention.
  • the present invention is a technique for continuously taking a dentition and synthesizing a partial panoramic image by panoramic synthesis and combining these partial panoramic images to form an entire panoramic dentition, and preferably marks the synthesizing unit. It is possible to easily form a dentition panoramic image by a hand-held camera.
  • a unit image corresponding to medical care and improvement is acquired from an oral image taken at the time of dental care, medical examination, or other home using an intraoral camera and an X-ray imaging apparatus.
  • This unit image is displayed on a computer monitor (display) device that can be seen together with the patient, for example, while the patient recognizes the situation in the oral cavity, the order of medical treatment, the start period of medical treatment,
  • the medical improvement order information and unit images obtained by filling in the degree of necessity of medical treatment are printed and printed on a single sheet of paper, stored in a mobile phone equipped with a storage medium, and displayed on the mobile phone monitor Otherwise, it is a homepage established by a dentist and displayed on a personal screen.
  • the present invention is a portable terminal that can be worn on the body, and has storage means, a computer, modulation / demodulation means and display means for communication with the outside, and enables input / output and data processing for the entire dentistry industry. Therefore, dental workers can perform attendance management, electronic medical record entry, medical fee calculation, etc. at their own hands, and share these information.
  • the portable terminal is wirelessly connected to the host terminal via a medium such as infrared or light, or is connected by wire.
  • the portable terminal may have a computer specification for connecting to a cloud computing computer network via a wireless LAN, a wired LAN, or the like.
  • FIG. 1A is a diagram showing an embodiment of the present invention.
  • reference numeral 11 is an intraoral image input means, which is an apparatus for obtaining digital image data by photographing using, for example, a camera for photographing all teeth of the upper jaw and lower jaw.
  • the intraoral image input means 11 is, for example, a reflection type dental camera using a convex mirror as shown in FIG. 3C, or other intraoral imaging camera using a fisheye lens, and is a digital image of all teeth. Is output.
  • each tooth is photographed with a normal intraoral camera, the contour is extracted from each photographed image, connected at a common portion of the contour, and synthesized to obtain an entire tooth image. A technique or the like may be used.
  • Reference numeral 12 denotes a medical site detection means, for example, for setting a tooth for medical care or improvement and a predetermined range of the tooth.
  • a wide range of intraoral images input by the intraoral image input means 11 Then, it is cut out and extracted using a graphic software by visual inspection.
  • the tooth outline is extracted by software processing, and the center of the extracted outline is assumed to be a circle, and the center is obtained. From this center, an image having a radius 10% to 20% longer than the outline is obtained. The extracting process and the like are shown.
  • Reference numeral 13 denotes unit image forming means for processing and forming an image for medical care obtained by the medical site detection means 12 for display, and forms an image to which areas for entering medical order and comments are added. Is for the purpose.
  • the unit image forming unit 13 automatically creates and displays a template by designating the medical site by the above-described medical site detection unit 12 by an icon operation by software.
  • the image only the designated range is projected from the image input by the intraoral image input means 11, or the user may specify the template of the unit image display created separately.
  • the image may also be captured and displayed by a camera using an appropriate reflecting mirror shown in FIG. 3 when the unit image is displayed.
  • the display may be initially displayed as a moving image in the unit image area, and then confirmed and displayed as a still image by pressing a confirm button.
  • the 14 is a medical treatment order setting means, for example, depending on the progress of dental caries and the degree of medical improvement, the dentist arbitrarily or while consulting with the patient, or the progress of caries and the degree of deformation of the caries May be automatically measured to determine the ranking.
  • the automatic rank is determined by digitizing the difference in tooth color and comparing it with a certain threshold value, or when the degree of deformation exceeds a certain level from the basic shape of the tooth, or a spectrum based on the wavelength of the tooth detection wavelength for the illumination light source.
  • the order of the image may be changed on the screen of the monitor (display) device by referring to the order when the magnitude of the component is a predetermined value or more.
  • the order of treatment and diagnosis is decided after discussion with the patient.
  • the order of the unit images arranged on the screen is automatically changed by pressing the confirm button.
  • the 15 is a medical treatment explanation forming means, and, similar to the medical treatment order setting means 14, the dentist fills in the contents that the patient thinks necessary, such as the entry of the medical treatment start time, the urgency of the medical treatment, or the medical treatment technique. Means. This entry is made by inputting from a computer keyboard (for example, 315 in FIG. 3), selecting a default description by an operation using a mouse (for example, 316 in FIG. 3), or operating buttons of the intraoral camera shown in FIG. The input may be performed by operating a button attached to the camera body while connected to the interface.
  • a computer keyboard for example, 315 in FIG. 3
  • a mouse for example, 316 in FIG. 3
  • the input may be performed by operating a button attached to the camera body while connected to the interface.
  • the medical treatment explanation forming means 15 enters the medical treatment start date or the medical treatment start date in the cells 21b to 23b shown in FIGS. 2 (c) to 2 (e), and this date is automatically the shortest possible medical treatment date. May be displayed.
  • the shortest possible medical start date is called the planned medical start date entry column in the database of each patient recorded and accumulated by the recording means 17, and is the date that has not been entered, and the shortest date is displayed. You may have the function set up like this.
  • FIG. This is a partial configuration of the medical treatment explanation forming unit, and shows a state where the others are omitted.
  • 151 is a patient database calling means, which is a database in which image data, ranking data, treatment start date (including time) data, and explanation data shown in FIG. 2 are recorded, and is generally managed.
  • the related data is recorded in a temporary recording area. This may be configured such that when there is a large amount of accumulated data, the data is called to the database every time inspection is performed.
  • the shortest medical day search means 152 calls the medical start date data and searches for the date on which the medical start date has not been entered from the search start date. Output as the date of treatment.
  • 153 is a shortest medical day display means for displaying the date and time detected by the shortest medical day search means 152 on the display unit on the unit image.
  • 154 is a free medical treatment date display means for displaying the open medical treatment date in an easy-to-understand manner.
  • an analog clock and calendar abbreviated display etc. Or you may display by a year unit.
  • 155 is a decision input means, which is an input unit for starting recording in the database together with the patient's consent.
  • Reference numeral 156 denotes a recording unit which is a unit for recording in a database.
  • This recording unit 156 is the same as the recording unit 17 and may be confirmed and recorded by the recording unit 17. Since other doctors may have the same schedule as the patient at the same time, it is preferable to record in the database as soon as it is determined, since rapid eter-based recording is required.
  • 16 is a display output means for editing and displaying on the screen of a computer monitor (display) device an image composed of unit images, medical ranks, and medical descriptions,
  • the edited image is printed or printed on a sheet using a printer (for example, 317 in FIG. 3).
  • Reference numeral 17 denotes a recording means for recording the edited image data, which is recorded as a part of the electronic medical record provided by the dentist, or is stored in the patient's mobile phone or computer via a storage medium. It is a means for recording.
  • the recording means 17 includes a database in which data on the entire patient is accumulated from individual patient data.
  • Reference numeral 301 denotes a gripping housing, which is formed in a cylindrical shape to form a pencil-shaped intraoral camera, and has a circuit board inside, a USB connection circuit for connection to the outside, and a USB socket. Has been.
  • a camera unit 309 is integrally connected to the tip.
  • the camera unit 309 has, for example, a CCD camera arranged at the center, and a white LED and other color LEDs around it.
  • the other illumination elements 312 are arranged concentrically at regular intervals.
  • Reference numeral 302 denotes a reflecting mirror unit.
  • a flat mirror 303 arranged at an angle of 45 degrees, for example, is connected to the tip, and a cylindrical portion 305 is formed at the rear end in a state where it can be inserted and connected to the outer periphery of the camera unit 309 and exchanged. ing.
  • the outer shape of the camera unit 309 and the inner shape of the cylindrical portion 305 of the reflecting mirror unit 302 are preferably formed in an elliptical shape and set so as not to rotate when inserted and mounted.
  • FIG. 3B shows a state in which a reflecting mirror unit equipped with a plane mirror 303 is mounted.
  • FIG. 3C shows a reflecting surface in which a spherical convex mirror 308 is set.
  • the mirror unit 310 is inserted and coupled with the camera unit 309.
  • the convex reflection image of the convex mirror 308 is photographed by the camera 313 of the camera unit 309 using the reflector unit 310 connected to the convex mirror 308 of FIG.
  • the output light of the element 312 reflects the convex mirror 308 and irradiates the observation site in the oral cavity.
  • the camera 313 is exemplified by a CCD format, a C-MOS format, etc., and a higher resolution is preferable for the resolution.
  • the image quality may be lowered.
  • the cylindrical portion 305 of the reflecting mirror unit equipped with the flat mirror 303 shown in FIG. 3B is inserted into the outer periphery of the camera unit 309 and used.
  • 304 is a lead wire, and a dedicated electric lead wire, a general-purpose USB cable, or the like can be used.
  • buttons 306 and 307 are operation buttons, which are one or a plurality of buttons such as a press type, a rotary type, and a composite type of these, and two are shown in this embodiment.
  • a GUI for operating the selection and operation display window displayed on the monitor 314A of the computer 314 connected via the lead wire 304 by pressing this operation button 307, etc. (Graphical, user interface) functions may be provided.
  • the operation buttons 306 and 307 can be operated to automatically execute rearrangement in the order of order.
  • 306 may be a button corresponding to the left click function of the mouse
  • 307 may be a button corresponding to the right click function.
  • 314 is a computer, which is an example of a computer and an integrated type with a monitor (display) 314A.
  • a combination as a dedicated device may be used.
  • 315 is a keyboard
  • 316 is a computer mouse. Both are used for computer operation, and also serve as a switch for operating the intraoral camera.
  • 317 is a printer, which is formed by an ink jet method, a laser type color printer or the like, and is used when a patient's own intraoral image is printed and provided.
  • FIG. 3D shows a reflecting mirror unit 318 using a concave mirror 311 as a reflecting mirror, and is used when, for example, an enlarged image is required.
  • the curvature of the concave mirror 311 is adjusted in the direction close to the plane mirror, and shoots from a position slightly away from the dentition. In some cases, a wide range of images shown may be acquired.
  • the present invention not only the dentition but also the tongue, lips, gingiva, etc. may be handled as a wide range image or unit image.
  • the present invention can be suitably used in the case where a polyp that also appears as cancer of the tongue is displayed as a unit image to explain medical treatment.
  • the camera to be used is one using a reflecting mirror unit 302 using a plane mirror 303 as shown in FIG.
  • the image may be a still digital image shooting or a digital moving image shooting. Note that when a plurality of still images are obtained from a moving image digital image, since the number of pixels is relatively small because it is for moving image shooting, it is preferable to shoot a still image while moving it with an auto shutter.
  • Photographing is performed on all teeth of the lower jaw 600 shown in FIG. 6A while moving the plane mirror 303 of the reflector unit 302 from the imaging surface 601 in the 612 direction.
  • the reflector part of the intraoral camera for digital moving image shooting is taken from the shooting planes 601 to 612 in FIG. If it is moved along the trajectory, a large number of still images are required.
  • still image continuous shooting has a larger number of pixels and higher resolution than still image acquisition by moving image shooting, it is a preferable mode when acquiring images of individual teeth from this entire tooth image.
  • FIG. 6B shows a part of each image when the photographing shown in FIG. 6A is performed.
  • 613 is a common partial image of the images 601 and 602
  • 614 is a common partial image of the images 602 and 603
  • 615 is a common partial image of the images 603 and 604.
  • photographing is performed so that common partial images can be obtained in 604 and 605, 605 and 606, 606 and 607, 607 and 608, 608 and 609, 609 and 610, 610 and 611, and 611 and 612, respectively.
  • the contours of the common parts are overlapped so as to match between the images.
  • the images 605, 606, 607, 608, 609, 610, 611, and 612 are taken and imaged in order, and the respective images are connected based on the common part to obtain an all-tooth image.
  • a panoramic occlusal surface image can be formed by known panoramic synthesis software. However, when hand-held rocking influences, it may be preferable to perform an affine transformation process to correct the image before synthesis.
  • the intraoral image input means 11 photographs, for example, all upper teeth in the oral cavity. The position of the captured image is shown in FIG.
  • the intraoral image input means 11 may be any image that includes at least teeth that have been treated by a dentist and that can be understood as to which part of the mouth corresponds.
  • FIG. 2 (a) The image shown in FIG. 2 (a) is, for example, taken by the intraoral photographing unit shown in FIG. 3 (c), and may be further calibrated to correct the distortion. Further, the intraoral image input means 11 is not necessarily all teeth, but may be a partial tooth or a single tooth.
  • FIG. 2 (a) shows the upper jaw 20, and all teeth and the hard palate are also photographed.
  • the medical site detection means 12 automatically or manually extracts a site requiring medical care and improvement.
  • the medical site detection means 12 When extracting manually, like a graphic software, it designates with a mouse
  • 20a, 20b, and 20c in FIG. 2 (a) show a state in which a circle of a color that stands out by graphic software is indicated manually or automatically on the target tooth.
  • Manual indication display means for example, drawing a circle, square, or other contour figure etc. that has been transparently processed by operating the mouse and keyboard attached to the computer. For example, when the button is pressed with the mouse on the screen with the pointer on the designated area, a circle with a predetermined radius, a square with a predetermined area, etc., and the inside of which is transparently processed are displayed. .
  • the unit image forming means 13 adjusts the designated tooth 20a shown in FIG.
  • a rank column 21a for entering the rank after determining the rank of treatment for example, a medical treatment start date column 21b for filling in after the treatment start is decided, and an explanation column 21c for describing what kind of medical treatment is performed are added.
  • This shortest medical treatment date is displayed, for example, in the medical treatment start date column 21b of the unit image with the earliest ranking in FIG. If the patient agrees with this date, the user moves to the decision input means 155 to determine this date and records it in the patient database with the recording means 156.
  • the empty medical day display means 154 displays the empty medical day in a two-dimensional format such as a calendar format.
  • a schedule display method such as a list form or a hand turn form is adopted, but at least a display that is easy to understand for the patient may be used.
  • the clock display is also performed. Based on this display, if there is an agreement on the medical treatment start date, the date and time is input by the decision input means 155 and recorded in the database by the recording means 156.
  • Such a schedule operation for a medical treatment date should avoid confusion with a schedule with other patients that did not occur in a temporary medical treatment when the present invention sets a plurality of scheduled medical treatment dates. Therefore, it is effective for clarifying the schedule.
  • an ID number for each tooth may be entered in any column.
  • This field shows the input box display used in the database, etc., and the medical treatment date can be automatically determined from the medical treatment schedule of other patients, so when the unit image is displayed The free time may be displayed from other patient data.
  • the display contents in these frames may include at least a column in which the treatment order is displayed in the pre-treatment image, or may be displayed with an identification code attached to each.
  • FIG. 2D is a unit image 22 showing the dental teeth 20b shown in FIG. 2A
  • FIG. 2E is a unit image 23 showing the dental teeth 20c shown in FIG. is there.
  • FIG. 2E also shows a rank column 23a, a medical treatment start date column 23b, and a description in the unit image 23.
  • the column 23c is displayed integrally.
  • the diagram shown in FIG. 2 may show a state where the whole is displayed on the monitor of one computer. In this case, there is a case where the operation range of the display output means 16 is already used.
  • the order in the order column 22a is determined and entered by the dentist alone or while the dentist and the patient discuss.
  • the medical treatment explanation forming means 15 fills in the medical treatment start date column 22b and the explanation column 22c. Since this entry includes a lot of technical content, the dentist may make it alone in advance.
  • the display output means 16 forms and displays a state where a plurality of unit images and all tooth images determined on the computer screen are posted.
  • the display output means 16 is preferably displayed on one screen when it is performed during dental treatment.
  • the image may be reduced as necessary, or displayed in a thumbnail shape.
  • the confirmed image in the display output means 16 may be printed on paper by a printer and distributed to the patient. The patient is expected to go to the hospital in order to keep the oral cavity healthy by possessing his or her oral cavity with images. Then, after completion of the medical examination, the intraoral imaging is performed again as shown in FIG.
  • the image display as shown in FIG. 2B is performed with the teeth 20a of the same part as the unit image 24.
  • Reference numeral 24d denotes a medical site.
  • the medical order setting unit 14 searches for the same image data from image data in which the medical order is set in advance, and the displayed order is displayed.
  • 24b for example, recorded items when medical treatment is performed by the medical treatment explanation forming means 15 are described in advance.
  • the unit image after medical treatment shown in FIG. 2A is a unit image before medical treatment, which is displayed at a location adjacent to the same one, for the trust of the dentist and the maintenance of the treated tooth. Recognize the timing of hospital visits.
  • 24c is, for example, an explanation column after medical treatment, and an explanation column for consulting the patient about the start of the next medical treatment is more preferable.
  • the display output means 16 prints, for example, four images as shown by 400 in FIG. 4 on a single sheet of paper by a printer and passes them to the patient, giving the patient the necessity of continuous medical care.
  • the intraoral wide-area image shown in FIG. 2 (a) is not posted, but it is preferable to display the wide-area image and clarify the medical site to obtain a better understanding of the patient. .
  • the display columns in FIGS. 2 and 4 are examples, and the number of display columns per unit image and the display contents are appropriately selected according to the purpose of treatment, the schedule, and the like.
  • reference numeral 51 is a wide range image input means for photographing all the upper teeth and lower teeth in the oral cavity.
  • a wide-range image can be obtained by taking a picture with a camera, or a continuous shot as shown in FIG. 6, a common part can be synthesized from a still picture constituting a digital moving image, and a full-tooth image can be formed. .
  • a tooth detection means for extracting image data of each tooth from the dentition obtained by the wide range image input means 51.
  • the extraction is performed by, for example, taking a picture of each tooth using a plane mirror shown in FIG.
  • Means for imaging may be used, but means for cutting out a unit image from a whole tooth image or a wide-area intraoral image to form an image of one tooth may be rational and preferable.
  • a dental database 53 is a unit image forming means for adding a rank entry column, a medical treatment explanation entry column, etc. to the individual images obtained by the tooth detection means 52 to form a display image. is there. Furthermore, it is preferable that a dental database is formed and managed with unique symbols.
  • a medical image selection means a means for selecting a tooth to be medical care such as caries, a defect, etc. from the image, the dentist visually or by reading and comparing previously registered data, You may select as a tooth of medical treatment object by the difference in a color, a shape, etc.
  • 55 is a medical order setting means, in which the dentist determines the order of teeth to be treated alone, and the dentist and the patient are displayed on a computer monitor (for example, the monitor 314A in FIG. 3A). Alternatively, it may be determined while discussing based on the printed image.
  • the 56 is a medical explanation forming means, and the period of the medical treatment, the start date, the content of the medical treatment, the necessity for improvement, etc. are entered by the dentist alone or in consultation with the patient, or by comparison with the previous data, You may display the description recorded beforehand by the magnitude
  • 57 is a display output means for displaying a display image to be treated on a sheet of paper or displaying it on a computer monitor (for example, 314A in FIG. 3A), It may be used for explanation to gain understanding. Further, the image printed on the paper is provided to the patient, and continuous dental treatment is realized as a future medical treatment schedule.
  • 58 is a recording means, which may be recorded as a medical record or a database, or may be uploaded to a storage area dedicated to a patient of a server, or tooth image data may be recorded in a recording unit of a patient's mobile phone.
  • all the teeth are photographed by the wide-area image input means 51 from within the oral cavity of the patient, and image data 700 of all or one tooth is formed (see FIG. 7A).
  • the image data 700 indicating all teeth can be an example formed by connecting the still images shown in FIG. From the wide range image data 700 obtained, a tooth image is formed manually or automatically by the tooth detection means 52.
  • image contours in the oral cavity are extracted by a contour extraction program, and tooth contours are detected.
  • tooth contours are detected.
  • this virtual circle can be regarded as the position of one tooth, the radius is further expanded from the assumed center by a predetermined value, and the range is extracted as a square surface as an image of one tooth.
  • the extracted image is as shown in FIG. 7B, for example.
  • the unit image forming means 53 converts these tooth images into unit images in association with patient information such as identifiers (see FIG. 7C).
  • a tooth image 701 and a display column 704 for entering the medical order and the like are posted.
  • the unit image 75 includes a tooth image 702 and a display field 705, and the unit image 76 includes a tooth image 703 and a display field 706.
  • the medical image selection means 54 extracts a unit image 77 indicating a tooth image to be medically treated or improved from the unit image visually or automatically (see FIG. 7D).
  • the medical order setting means 55 and the medical care explanation forming means 56 that have the same configuration as in FIG. 1 and perform the same operation, respectively, are each a dentist alone or preferably a patient and a unit tooth image shown on a computer monitor. Enter the medical treatment order etc. while watching.
  • an array of unit images displayed in order as shown in FIG. 7 (f) the image may be displayed in an edited state that further includes a wide-range image, and a situation can be formed in which the patient can be aware of medical treatment and can obtain consent for continuous medical treatment.
  • FIG. 7F shows, for example, a screen display including all tooth image data 711 or printed tooth data 79 carried by the patient.
  • the recording means 58 records these unit images in a database and is appropriately used for adjusting the schedule of other patients.
  • a technique using the convex mirror shown in FIG. 3 or a technique obtained by combining the still images by moving the reflecting mirror along the dentition is combined into one sheet.
  • An image may be formed. That is, only the dentition is taken as a still image, the part of the tongue is photographed using a convex reflecting mirror, and the images are synthesized, so that a wide intraoral image with a dentition without distortion can be obtained.
  • FIGS. 8 to 12 show an example of a panoramic tooth row image forming method in which the panoramic tooth row is formed by clearly synthesizing the teeth with the teeth engaged.
  • the image taken from the left back is taken by the camera to the center, the orientation of the intraoral camera is changed, and the continuous shooting is taken from the right back to the center, In this case, since the photographing state is interrupted in order to change the direction of the camera once, the left and right dentition images cannot be accurately combined and often shift.
  • the intraoral camera 901 using the reflecting mirror shown in FIG. 8 is exemplified by the configuration shown in FIG. 3, and has a configuration in which a plurality of light source LEDs are arranged around a modular CCD camera and C-MOS camera. In addition to illuminating the oral cavity with the LED for the light source through the reflecting mirror, the image of the dentition in the oral cavity is obtained continuously and can be taken stably from the back teeth.
  • the camera is not limited and may be a camera for direct photographing that does not use a reflecting mirror.
  • the intraoral camera 901 used here includes a reflector unit 903 (302 in FIG. 3) having a planar reflector 902 (303 in FIG. 3), an image pickup device such as a CCD camera and a C-MOS camera, and a light emitting diode.
  • a photographing unit 905 (309 in FIG. 3) in which about 4 to 8 illuminators are arranged around the imager is combined and used interchangeably at the tip of a main body 904 (301 in FIG. 3). Is provided as an example.
  • the photographing unit 905 is exemplified by a unit that outputs a still image digital image by using a continuous shooting method for photographing a still image so that images can be obtained in a range of 10 to 30 images per second, for example.
  • a mark ML is attached in the vicinity of the center of the tooth row 900a in which the upper and lower teeth are meshed in advance.
  • the mark ML temporarily removes the colored sticker and removes the color. It is preferable that the image can be clearly displayed on the image by photographing with a camera such as a description with a coloring pen that can be used.
  • the vicinity of the center when the mark ML is attached to the vicinity of the center of the dentition indicates a reference location when the left and right dentitions are continuously shot and then combined. A part that is characteristic in image processing may be detected near the center, and the part may be set on the mark image.
  • the mark ML is preferably arranged so as to cover the upper teeth and the lower teeth.
  • This continuous shooting operation is performed at the position of the back teeth, for example, from the state of 906a along the tooth surface like 906b and 906c, preferably at the same distance from the dentition surface, holding the main body 904 by hand, Move 902 to shoot.
  • IG is a correction display unit, which is an image correction, for example, a girder, a square, a triangle, a grid, or other figures, on an adhesive member that is attached to the tooth surface in a peelable state, and is an image distortion. Any display that can correct the size of the image based on the distance between the camera and the tooth side surface is acceptable, and the color of the correction display portion IG is also green, and other colors that can be identified in image processing If so, it is not limited to green.
  • this sticking member may be attached to the center of the tooth and may be attached to the surface of the tooth with the mark ML.
  • the tooth to be attached is not limited to one tooth.
  • it may be photographed by pasting a sticking member on a plurality of teeth, or may be attached to a part where other teeth are provided in the oral cavity without any other support and the teeth are manually photographed. .
  • the means for attaching the correction display part IG to the tooth surface may be the same technique as that of the mark ML.
  • the display is saliva or the like and does not melt or bleed. It is preferable when the image and the right dentition partial panorama image are combined by correcting both image distortion and size based on the correction display portion IG photographed in common for both.
  • the auxiliary display unit IG may be provided on the common tooth of each partial panoramic image sequence. good.
  • the correction in each captured still image is also based on, for example, a reference auxiliary display unit IG in an image obtained by continuous shooting, or the correction display unit IG in the captured image group
  • a reference auxiliary display unit IG in an image obtained by continuous shooting or the correction display unit IG in the captured image group
  • One of the captured images is detected by the block matching method or the template matching method, etc., and this is used as a reference, and after detecting the auxiliary display part IG captured by another image, the distortion is compared with the reference image.
  • correction using affine transformation for detecting enlargement, reduction, rotation, and movement adjustment may be performed by detecting a difference in inclination and size.
  • the auxiliary display portion IG is attached to the teeth, so that composition for stable panoramic tooth row image formation is possible.
  • Image correction using the correction display unit IG as described above is performed by, for example, the calibration of camera images such as Zhang's method (IEEE. Transactions on pattern Analysis and Machine Intelligence, 22 (11); 1330-1334, 2000). The method used in the process may be used. Further, the correction display unit IG may not be indispensable due to processing such as a photographing state and affine transformation.
  • FIG. 8 (b) schematically shows a single shooting range when actually taking a continuous shot from the back teeth. While moving the reflector part of the intraoral camera with time as in 906a ⁇ 906b ⁇ 906c ⁇ 906d ⁇ 906e ⁇ 906f ⁇ 906g, a continuous shot image is obtained.
  • the intraoral camera 901 is configured to include a reflecting mirror 902 having a predetermined angle at the tip, assuming that the dentition surface is photographed from the left back tooth in the figure, the orientation of the body 904 is near the center. In other words, since images are taken in order from the right back tooth in the figure, after the faces 906e to 906g shown in FIG. 8 are taken, the intraoral camera 901 is reversed to start photographing from the right back tooth.
  • the continuous shooting speed is set to 20 to 30 shots per second in consideration of the effects of shaking such as camera shake, and there is room to remove images that are blurred or blurred. It is preferable to perform continuous shooting.
  • This continuous shooting is preferably performed until the mark ML reaches the center of the imaging screen or the reflector. However, there are cases in which the imaging is performed until a certain amount of time has passed, and then the captured image is selected. .
  • affine transformation based on the common part of each image and adjust the image state before synthesis. For example, a plurality of points that are common to the comparison image by the block matching method are detected based on the image that is the first center of synthesis. The next image is affine transformed based on the plurality of common points. For example, a plurality of pixel coordinates (xb, yb) of the next image corresponding to the pixel coordinates (xa, ya) of the reference image in the common part are selected and substituted into the following equations to obtain the values of coefficient values a to f. . With the coefficient value substituted into the following equation, panorama synthesis may be performed after the next image is affine transformed to organize the image or while the image is being prepared.
  • FIG. 9 shows a part of an image obtained by continuous shooting from the left back of the dentition 900a to the vicinity of the front surface in FIG. 9, and the imaging operation of the intraoral camera based on this embodiment is described in combination with FIG. To do.
  • 9 (a) to 9 (e) are examples of captured image data sequences when continuous shooting is performed from the vicinity of the center 907c to the vicinity of 907e in the captured image data of the dentition shown in FIG. 8 (b).
  • the intraoral camera obtains the dentition image using the reflecting mirror 902, the captured image is reversed left and right. 11 shows.
  • FIG. 9A shows the vicinity of 906c in FIG. 8B
  • FIG. 9B shows the vicinity of 906d
  • FIG. 9C shows the vicinity of 906e
  • FIG. Fig. 9 (e) is an image obtained by photographing the vicinity of 906f. Since shooting is performed manually, there are many cases where the shot images cannot always be shot in the same state. Therefore, when the image is slanted or the like, it is preferable to perform correction using affine transformation in a portion overlapping with other tooth states, for example, and FIG. 9 shows a diagram after correction. At the time of correction, a vertical center line CL and a horizontal center line HL that are preset on the reflecting mirror surface on which the reflecting mirror 902 is photographed may be used as a reference portion.
  • the vertical center line CL and the horizontal center line HL are not necessarily displayed in the image.
  • the vertical center line at the edge of the reflector, and marks such as protrusions are respectively provided at the portions corresponding to the start point and end point of the horizontal center line. It may be the extent to be attached, and may be displayed virtually based on this mark.
  • a process for correcting distortion caused by the lens of the CCD camera for photographing with software may be performed.
  • RM is the contour of the mirror, and the actual captured image is a circular image within the contour RM, but is displayed as a square image for easy explanation of the range.
  • the photographed image Since the photographed image is handheld, the distance between the teeth and the camera may be different. In this case, the other photographed images are based on an image in which the mark ML and the vertical center line CL substantially match. You may correct
  • the reflecting mirror 902 of the main body 904 is disposed on the back teeth on the left side from the front, and then moved in the front direction to continuously shoot, for example, to obtain the images of FIGS. 9 (a) to 9 (e).
  • an image (up to FIG. 9C) acquired and captured at the timing when the mark ML coincides with the vertical center line (CL) of the reflecting mirror 902 is employed as the composition image.
  • FIG. 9D and subsequent figures are used, it may cause a shift at the time of synthesis. Therefore, it is preferable not to use it for synthesis.
  • the image shown in FIG. 9C is used as a reference image, and the tilt of the image is corrected as necessary with reference to the mark ML.
  • the image may be corrected based on the long side and the short side of the mark ML to be a reference image.
  • An example of one synthesis operation will be described below.
  • FIG. 9F corresponds to the image shown in FIG. 9C
  • FIG. 9G corresponds to FIG. 9B
  • FIG. 9E corresponds to FIG.
  • the image 906e shown in FIG. 9 (f) and the image 906d shown in FIG. 9 (g) are superposed and synthesized based on the common part where the shape of the image 906d matches or approximates with the image 906e as a reference.
  • 1001a is an image in the back tooth direction.
  • the synthesized image shown in FIG. 9 (g) and the image 906c shown in FIG. 9 (a) are visually observed in a portion having a common shape or the like with reference to the synthesized image in FIG. 9 (g). Alternatively, they are overlapped by an image processing method.
  • a portion of the superimposed image that protrudes leftward from FIG. 9G is indicated by 1001b.
  • 1001b is an image in the back tooth direction.
  • the above operation is performed between the next adjacent images, and further overlapped with the next adjacent image at the common part, so that the left dentition is synthesized in a panoramic image from the image where the mark is in a predetermined position toward the back tooth direction.
  • the protruding portion is detected by extracting the protruding portion between 906e in FIG. 9C and 906d in FIG. 9B, and further in 906d and FIG. 9A in FIG. 9B. ) Of 906c) is extracted, and the portions protruding between the next adjacent images are collected.
  • the reference image is set as the image shown in FIG. A panoramic image may be formed by stitching together. In some cases, it is preferable to superimpose adjacent images from the center of the image of the protruding portion with the image from the center as a reference.
  • the portions may be overlapped and the same composition may be performed.
  • a perspective and inclination may differ for every still image obtained. In this case, it is preferable that the correction is automatically performed using affine transformation or the like, or is arbitrarily enlarged and reduced.
  • the synthesized state is shown in FIG. As shown in FIG. 12A, a left half panoramic tooth image can be formed.
  • FIG. 10 (a) 1101a while keeping the surface of the tooth row 900a as constant as possible in a state where the reflecting mirror 104 of the main body 103d is disposed at the right back of the tooth row 900a in a state of being vertically engaged.
  • ⁇ 1101b ⁇ 1101c
  • the continuous shooting with still images is performed in the direction approaching the center.
  • FIG. 10B schematically shows the positional relationship between the captured still image and the dentition 900a.
  • the user moves in the direction of 1102a ⁇ 1102b ⁇ 1102c ⁇ 1102d ⁇ 1102e ⁇ 1102f while holding the intraoral camera 901 by hand, and obtains still images continuously. Since this example is a hand-held type, the captured image is tilted or shifted in the left-right and depth directions, but based on a common part existing between adjacent images obtained by continuous shooting using affine transformation. A step of adjusting the image by rotating and moving may be provided.
  • the intraoral camera 901 shown in FIG. 10 (a) uses the one shown in FIG. 8 as it is, the same number is assigned and the description is omitted.
  • FIGS. 11 and 9 show representative images in the range 1102a to 1102f in FIG. 10 (b).
  • the components common between FIGS. 11 and 9 are denoted by the same reference numerals as those shown in FIG.
  • FIG. 11A shows the vicinity of the image 1102d in FIG. 10B
  • FIG. 11B shows the vicinity of the image 1102e in FIG. 10B
  • FIG. FIG. 10B shows the vicinity of the image 1102f in FIG.
  • FIG. 11D shows the vicinity of the image 1102g in FIG. 10B
  • FIG. 11E shows the vicinity of the image 1102h in FIG. 10B.
  • FIGS. 11D and 11E are photographic images when the reflecting mirror 104 is further moved leftward after the vertical center line CL and the mark ML coincide with each other, and these images are adopted. As a result, there are many overlapping portions of images taken from the left and right directions, and image displacement occurs. Therefore, this is not employed, and FIGS. 11A to 11C are employed.
  • FIG. 11F shows an image based on the image (1102f in FIG. 11C) in which the mark ML and the vertical center line CL coincide with each other.
  • 1201a is a protruding part in a state where the image 1102e is superimposed on the image 1102f in a range in which the shape matches or approximates from the image 1102f.
  • the superposed image and the image 1201b shown in FIG. 11B are superposed on the superposed image at a site where the shape coincides or substantially coincides with the pattern matching method or the like.
  • the protruding part is 1201b in the overlapped state. In this way, the adjacent teeth are overlapped to form the right dentition.
  • the reference image 906e and the images 1201a and 1201b may be synthesized as shown in FIG. Note that if there is a slight shift when the preceding and following images are superimposed, one of the superimposed portions may be deleted.
  • the upper and lower teeth may be combined using the boundary portion of the teeth as the boundary.
  • the panoramic dentition and the panoramic dentition of the lower jaw may be combined, and finally the upper jaw and the lower jaw may be combined. Even in this case, if there is a slight shift between the central images, one of the images may be erased in the overlapping range.
  • the center image 906e and the center image 1102f are not necessarily overlapped in advance, and either one of the center images 1301 may be adopted.
  • the sizes of 1201a and 1201b may be slightly modified
  • the center image 1102f is employed, the sizes of 1001a and 1001b may be modified.
  • the left and right dentitions are synthesized from the central image to form the left and right synthetic dentitions, and these are synthesized based on the respective central images, so that a panoramic dentition with reduced deviation can be obtained. It can be formed.
  • the mark does not necessarily have to be attached to the center tooth, and may be a tooth part photographed at the timing of changing the direction of the camera at the time of photographing. The position of the mark is appropriately determined for other purposes. Selected.
  • the feature part is not particularly limited as long as it is a part that can be aligned at the time of image synthesis, similarly to the mark. Further, by adding a mark to a dentition that is a subject in advance or setting a part corresponding to the mark from an image, more accurate composition is possible.
  • the above description of the operation is based on operations such as copy paste, drag and drop, image enlargement / reduction, tilt correction, etc. by visual and mouse operations using graphic software.
  • known automatic panoramic photo composition software for example, Photoshop® Elements® 7 (registered trademark, manufactured by Adobe), Photo® Stitch (registered trademark, manufactured by Canon) or the like may be used.
  • a method for obtaining a panoramic image from a real image in the oral cavity is, for example, in International Publication (WO) No. 2007/063980 pamphlet, in which a frame having a shape approximated to a phantom arch home approximate virtual curve is formed and the side surface thereof is formed. It is described that a whole three-dimensional panoramic image is obtained by photographing the entire dentition by using an image pickup device arranged in a stereo format. Certainly, it is possible to take a three-dimensional image of the dentition, but it is difficult to say that it is a simple measurement method in that it requires the formation of a frame having an archhome approximate virtual curve.
  • FIG. 13 is a block diagram for explaining the three-dimensional panoramic dentition image forming means.
  • Reference numeral 1401 denotes photographing data input means, which is a means for connecting a stereo image photographing camera having a plurality of cameras as shown in FIG. 14 and simultaneously forming the same number of images as the number of cameras. .
  • the shooting data input unit 1401 has a configuration in which a shutter is pressed for each image and a configuration that enables continuous shooting in which a plurality of photos are shot by pressing the shutter once. May be output continuously.
  • a calibration means which is a means for correcting distortion due to the lens shape, camera shake, etc., correction of the near and near distance, etc., and is configured using a known method such as a so-called calibration means.
  • the calibrating means 1402 calibrates each of the images photographed at the same time, and sometimes deletes a peripheral portion having a large distortion.
  • the common point detection unit 1403 is a common point detection unit, for example, a unit for detecting a common point of a pair of images.
  • the common point detection unit 1403 uses the luminance value of one pixel or a group of pixels in one image as a reference luminance value, and uses the luminance value of one pixel or a group of pixels in another image, for example, luminance A sum of differences (SAD) and a sum of squares of differences in brightness (SSD) are taken, and a portion that matches by the minimum or maximum value or a portion estimated by subpixel estimation is output as a common point.
  • SAD sum of differences
  • SSD sum of squares of differences in brightness
  • Motoki Arai et al. Optimization of correlation function and subpixel designation method in image block matching , Information Processing Society of Japan Research Report, 2004, P33-40 and other publicly known A technique may be used.
  • a world coordinate conversion means for converting the coordinates of each image of the obtained common points into a common three-dimensional coordinate as a whole.
  • the world coordinate transformation means 1404 is performed by computer processing by an arithmetic technique such as trigonometry, 8-point algorithm method, triangulation method, etc., and the coordinates of the respective photographic images of the common points obtained by the common point detection means 1403 From the value to the parallax value and camera characteristics (focal length of the lens, which is an internal parameter, image center, pixel size, and position and orientation of two cameras, which are external parameters), world coordinates (X, Y, Z) Is formed and output.
  • an arithmetic technique such as trigonometry, 8-point algorithm method, triangulation method, etc.
  • perspective projection matrices P1 and P2 each consisting of different camera internal parameters and external parameters, and local coordinates (u1, v1) and (u2, v2) of a common point M of each captured image.
  • local coordinates (u1, v1) and (u2, v2) of a common point M of each captured image Based on the following expression (1), world coordinates (X, Y, Z) are obtained.
  • the perspective projection matrix is obtained using the internal parameters and external parameters of the camera, or the perspective projection matrices P 1 , P 2 and ⁇ 1, ⁇ 2 are obtained from the local coordinates of a plurality of common points obtained from each still image.
  • a method for obtaining world coordinates based on (1) for example, the Journal of the Institute of Electronics, Information and Communication Engineers, Vol. 92, No. 6, 2009, 463-468, and other known methods are preferably used.
  • Reference numeral 1405 is a three-dimensional image forming means.
  • the world coordinate data is displayed in a three-dimensional coordinate space virtually formed on a computer, and the coordinate data is connected by a straight line or a curve.
  • a wire frame model to be displayed may be formed, and more realistic panoramic three-dimensional data can be obtained by pasting virtual plane data to a portion surrounded by a line.
  • a curved dentition may be displayed by three-dimensionalizing the three-dimensional panoramic dentition data on the three-dimensional coordinates.
  • Reference numeral 1406 denotes display means, which is formed by a computer monitor, printer, etc., and may be displayed as a virtual three-dimensional image on a normal computer monitor, and further, a curved panoramic dentition image is two-dimensionally displayed. You may display by projecting.
  • FIG. 14 shows an example of a probe-like three-dimensional measurement probe 1500 having two cameras at its tip.
  • An imaging unit A 1501 has a lens 1501a at the center and has a so-called camera module configuration.
  • An imaging unit B 1502 has a lens 1502a at the center and has a so-called camera module configuration.
  • Reference numeral 1503 denotes an illumination light irradiation unit, which is preferably provided around the imaging unit A1501 and the imaging unit B1502, and emits light emitted from the light emitting means 1505 formed inside the support member 1506 via the optical path 1504.
  • the illumination light irradiation unit 1503 irradiates the surface of the tooth that is the subject. It is preferable that the illumination light irradiation unit 1503 has a shape that allows more uniform illumination, and is not limited to the shape shown in FIG.
  • Reference numeral 1503a denotes an instruction light source, which indicates a photographing surface, and performs spotlight-like output, and uses LEDs such as red, blue, and white whose periphery is covered with a black cylindrical body. It is done. Since it is spotlight-like light, the area of the irradiated surface varies depending on the distance, and thus the probe 1500 can be moved while keeping it constant.
  • the 1504 is an optical path, which is formed inside the support member 1506, and the surface is preferably covered with a light reflecting member such as a thin film of aluminum, silver or the like.
  • the optical path 1504 is connected to the illumination light irradiation unit 1503.
  • Reference numeral 1505 denotes a light emitting means, which is mounted in the support member 1506, and is exemplified by a white LED and other light sources.
  • intermittent flash driving such as a strobe light, continuous illumination driving, or the like may be performed.
  • a support member which is formed of, for example, a light and hard plastic material, has an imaging unit or the like at the tip, has a rod shape, and can be easily inserted into the oral cavity.
  • 1507 is an operation switch for performing a shutter operation or the like.
  • the number should just be set according to the operation specification and the purpose, and should just be arbitrary structures.
  • When used as a shutter it is possible to adopt a specification in which the shutter is continuously driven at a predetermined interval while being pressed.
  • Reference numeral 1508 denotes a gripping part, which is formed integrally with the support member 1506, and is preferably molded from a lightweight, strong plastic material or the like.
  • connection 1509 is an electrical lead wire for connection to an external power source, connection to an external data processing device, etc., and a cable using a USB connection connector may be used. Note that when the light source is strobe light emission and continuous shooting data can be temporarily stored inside the camera, or when wireless connection is made using a Zigbee (registered trademark) or front-end circuit for wireless communication, etc. In some cases, no connection means is required.
  • Zigbee registered trademark
  • front-end circuit for wireless communication etc. In some cases, no connection means is required.
  • the user holds the grasping part 1508 shown in FIG. 14 and picks up an image with the imaging part A1501 at the tip of the support member 1506 with the upper and lower teeth engaged as shown in FIG.
  • the unit B1502 is brought close to the subject part, and the continuous switch operation is started by pressing the operation switch 1507 while viewing the size and position of the spotlight indicated by the instruction light source 1503a.
  • the shutter operation switch 1507 may be pressed for each shooting instead of the continuous shooting operation.
  • continuous shooting with fewer pressing operations is preferable to prevent camera shake and the like.
  • the image is taken to the same position as in FIG. 8A, and then the image is taken to the same position in the same state as in FIG.
  • FIG. 15 shows a pair of images in an image group obtained by one continuous shooting.
  • photographing in a close state is preferable, and the focal length of the camera is preferably set in a state in which close-up photography is possible.
  • These captured images are corrected (calibrated) for distortion, inclination, and the like caused by the curved surface of the lens by the calibration unit 1402 in FIG. 13 and output to the common point detection unit 1403.
  • FIG. 15A is an image obtained by photographing a place near the center of the front of the tooth, and even data obtained by photographing with the photographing data input means 1401 having the probe 1500 of FIG. is there.
  • 1701a is an image of the imaging unit B1502, and 1701b is an image of the imaging unit A1501. Coordinates having the same central point as the same part are assigned to this image, and for example, an arbitrary point A (x1, y1) of the image 1701a in FIG. 15A photographed by the imaging unit B1502 is set and the same position is set.
  • the point A ′ (x2, y2) to be shown is searched. For example, the average luminance value is obtained by using the point A as a block of one pixel.
  • a pixel block having the same size as that of the point A is obtained from the vicinity of the position assumed to be the point A ′ of the image data 1702a in FIG. 15A, and the sum or square sum of the difference between the luminance values is gradually obtained. 'While moving in the same direction while performing similar calculations.
  • a coincidence evaluation curve is formed.
  • a subpixel estimation method in which the sum of the difference values or the sum of squares of the differences is set to be the smallest portion or the largest portion as the point A ′ is preferable. It is not particularly specified as long as it is a method to obtain.
  • the same operation is performed on the pixel block next to the point A of 1701a to detect a common point on the image 1702a. Repeat this operation.
  • the coordinates of the common point are obtained in the common range 1703a excluding the occlusion range of the images 1701a and 1702a. Also in this case, it is possible to obtain a common point with high accuracy by forming the common point coordinates around the position of the newly added mark ML.
  • this block is made smaller, common points can be detected with higher accuracy, but the processing time becomes longer, so the size of the block is appropriately selected.
  • a three-dimensional world coordinate system based on parameters and one set such as parallax, focal length, and the like. Convert to As this specific method, a normal method shown in the above-mentioned literature or the like is preferably employed.
  • the common range 1703b excluding the occlusion range is obtained using the image pairs 1701b and 1702b shown in FIG. Convert to (X, Y, Z).
  • a wire frame shape shown in FIG. 15D is created.
  • the three-dimensional world coordinates shown in FIG. 15C are further superimposed on this superimposed image.
  • this superposition is a superposition in a virtual three-dimensional space, for example, a wire frame-like dentition as shown in FIG. 15 (d) is formed on a computer monitor based on these three-dimensional world coordinate data. It is possible to display each of them virtually and to superimpose them by visually operating a computer interface such as a mouse. However, if you want to increase the accuracy of the overlay, use either of the three-dimensional values to be compared as a reference. In some cases, such a combination that the difference is the smallest due to the difference comparison or the like is preferable.
  • a common point may be obtained by a subpixel estimation method using block matching.
  • the dentition is formed based on the three-dimensional world coordinate data of the right dentition toward the front.
  • the three-dimensional world coordinate conversion of the left dentition is performed. I do.
  • the known method described above may be used. For example, after obtaining three-dimensional coordinates based on two images, conversion to world coordinates which are common coordinates may be performed.
  • Superposition is a superposition of data values of the same shape part, and if they do not match, a method of superimposing them while taking the average of both coordinate values, a manual method of dragging and dropping the image on the screen
  • An example is a method of obtaining a coordinate value after superposition while operating a computer mouse.
  • the two-dimensional panoramic digital image display of the tooth side and the three-dimensional panoramic digital image display of the tooth side allow the patient to easily understand the entire dentition state, for example, 2
  • orthodontic simulation processing and virtual whitening processing are performed on the computer monitor so that the virtual dentition is formed on the computer monitor. You may form the aspect which realizes.
  • the orthodontic simulation processing is a two-dimensional panoramic dentition image
  • a database of various shapes of one tooth is created in advance according to the part, and each tooth image on the two-dimensional panoramic dentition image is obtained.
  • the virtual display after the virtual whitening process for the own panoramic 2D and 3D dentition images may be written together with the dentist adjusting the color data for these images on the graphic software.
  • the patient can deepen their understanding of treatment.
  • FIG. 16 is a diagram showing an embodiment of the present invention.
  • A10 is a reflecting mirror unit, which is made of hard plastic or the like, provided with a reflecting mirror A10K installed at a predetermined angle (for example, 45 degrees) at the front end, and an outer periphery of the photographing unit A14 at the rear end.
  • a connectable cylindrical mounting portion A10S is formed, and in the meantime, an open shape is formed.
  • connection between the mounting part A10S and the photographing unit A14 is formed by pushing it in, and it is sufficient that it can be detached only by pulling it apart.
  • both sides are provided with irregularities, or an asymmetrical shape such as an ellipse. You may do it.
  • A11 is a casing, which is formed of plastic and resin, has a cylindrical shape that is easy to hold with a hand like a ballpoint pen with a large aperture, and is arranged so that the photographing unit A14 protrudes at the tip, and at the rear end Is connected by a cable A15 for connection to an external processing apparatus.
  • A12 is an observation direction when a dentist or a dental hygienist directly observes and observes the reflector A10K arranged at a predetermined angle at the tip of the reflector unit A10.
  • A13 is an aiming light irradiation surface, and is an example of the irradiation surface of the aiming light when the aiming light output from the aiming light source A142 is reflected by the reflecting mirror A10K to illuminate the tooth surface.
  • the position of the aiming light source A142 is arbitrary, and may be any other position as long as the range of the photographed image can be determined.
  • the site is, for example, the tip of the reflector unit A10. It may be a part that illuminates the imaging range. In this case, since the optical path is shortened, the range of the captured image may be illuminated even if the directivity angle is somewhat wide.
  • FIG. 16 (c) shows an enlarged state of the photographing unit A14.
  • A141 is a light source for illumination, and an LED or a combination of a lens and an LED having a wide directivity angle is exemplified.
  • a plurality of illumination light sources A141 are arranged around the photographing member A143.
  • A142 is a light source for aiming, and an example is one that performs an output capable of having a predetermined spread on the irradiation surface by an LED having a small directivity angle or a combination of a lens and an LED.
  • a light source having a small directivity angle it is preferable that a plurality of light sources be arranged with a predetermined interval.
  • A143 is a photographing member, which is formed by a CCD or CMOS camera, and preferably has a larger number of pixels.
  • A15 is a cable for connecting to an external image display device, and may be formed by a dedicated cable in addition to a general-purpose cable such as a USB cable.
  • A16a and A16b are operation buttons A and B, respectively, which are constituted by push type, pull type, rotary type, etc., and when the operation button A16a is pressed among these buttons, the aiming light source is set for a predetermined time.
  • A142 emits light and illuminates the main part for a certain period of time via the reflector A10K.
  • the fixed time is a time during which the user can recognize at least the aiming light that illuminates the main part of the oral cavity, and preferably until the photographing timing, for example, the operation button A16a is pressed.
  • illumination parts with different color schemes are formed on the still image, which is not preferable in that it interferes with observation, but if it does not interfere with observation, it is not necessary to turn off the aiming light, and it can be blinked. It may be something that the user recognizes.
  • the illumination output of the illumination light source A141 mounted around the imaging member A143 of the imaging unit A14 illuminates the tooth AH1 in the oral cavity via the reflector A10K.
  • A14L is an aiming optical path.
  • the illumination light source is also irradiated through the reflecting mirror A10K, and a part of the illumination light surface is in a state where the aiming light irradiation surface A13 is formed.
  • the imaging member A143 inputs the illuminated part in the oral cavity via the reflector A10K and displays it on the external monitor device via the cable A15.
  • a user such as a dentist can grasp the shooting position from the image displayed on the external monitor device, but when the medical treatment time is shortened or treatment is included, it is used in the same way as a dental mirror.
  • the observation direction may be different from the captured image as indicated by A12.
  • the operation button A16a is pressed.
  • the aiming light source A142 emits light, and the light emission is performed for a predetermined time, preferably before the start of photographing, so that the observer confirms the observation position and the photographing position.
  • the observer moves the reflecting mirror A10K in order to make the photographing position coincide with the observation position, and presses the operation button A16a again to adjust the photographing position and the observation position.
  • the still image or the moving image is recorded by pressing the operation button A16a or the operation button B16b again.
  • the operation content of the operation button A16a and the operation button B16b described above is an example, and is appropriately selected depending on circumstances. An example thereof is shown in FIG.
  • the irradiation range of the aiming light is a range of a circle indicated by a dotted line on the aiming light irradiation surface A13, and includes almost all of the main parts intended for photographing.
  • the range of the aiming light irradiation surface A13 changes when the combination of the casing A11 and the reflecting mirror unit A10 moves up and down with respect to the teeth H1, so that the user moves the casing A11 and the reflecting mirror unit A10 up and down. However, it is larger or smaller than the shooting range, but it is not deviated from the main part of the shooting range, and the main part of the shooting range is more sufficiently shown than the point light source.
  • the photographing surface and the observation surface are adjusted, and an accurate still image or moving image is recorded.
  • the intraoral camera is inserted into the upper or lower jaw of the oral cavity, such as the narrow and deep part of the mouth, and the imaging range of the reflector is wide, and the inside of the oral cavity is imaged with the reflector upside down, oblique, sideways, etc. However, since it is photographed, the photographed image is also tilted or inverted.
  • the present invention realizes the provision of an image correcting means for detecting a photographing state with a position sensor and horizontally correcting an image in an upside down state or an oblique state.
  • FIG. 17 is an example of an intraoral camera used for explaining one embodiment of the present invention, and a part thereof is shown as a sectional view.
  • A21 is a housing for gripping, which has a cylindrical shape with an internal space, and an elliptical cylindrical photographing unit A23 having a camera and an illumination light source formed around the camera at the tip. The connection is made in a state protruding from the housing A21, and a cable A26 for connecting to the external display device is connected to the rear end.
  • A22 is a reflecting mirror unit, and a reflecting mirror A22H disposed at a predetermined angle is attached to the front end, and a cylindrical mounting portion A22S that can be attached to the rear end so as to cover the periphery of the photographing unit A23. Are formed, and the others are open.
  • A24 is a circuit board, which is mounted inside the casing A21 and mounted with an image processing IC and the like.
  • A25a and A25b are position sensors, and have an IC chip or the like mounted on a circuit board.
  • the number of position sensors and mounting parts are examples, and depending on the type of sensor, they may not be mounted.
  • the position sensors A25a and A25b sensor devices that do not become unmeasurable depending on the angle are adopted because the intraoral camera can take a wide range of movement states such as an acceleration sensor and an angular velocity sensor.
  • the number of position sensors is shown as two, it is an example, and there may be one if the number of chips changes according to the number of axes or there is a unit for three axes.
  • the acceleration sensor and the angular velocity sensor are exemplified by triaxial sensors, and the number of position sensors may be adjusted by the number of axes or the like.
  • the angular velocity sensors are, for example, the amount of change in angle due to movement around the x axis, the amount of change in angle due to movement around the y axis, and the amount of change around the z axis, respectively.
  • the amount of change in angle due to movement is output.
  • the initial state of the x-axis, y-axis, and z-axis is arbitrarily set, and the amount of change of each axis is added to detect the shooting state of the camera.
  • the acceleration sensor outputs an acceleration component in the x-axis direction, an acceleration component in the y-axis direction, and an acceleration component in the z-axis direction. Further, the combined vector of these acceleration components outputs a posture vector, and when in a stationary state, indicates a gravitational acceleration vector. From this posture vector, the shooting state of the camera can be obtained.
  • the acceleration sensor outputs the state of the gravitational acceleration vector A451 as a posture vector when stationary, the vectors in the x-axis direction, the y-axis direction, and the z-axis direction in this state are used as reference postures, and then the angular velocity sensor is used. Because it is possible to use methods such as adding the rotation change amount of the axis of
  • Various states of the camera may be detected by combining both the acceleration sensor and the angular velocity sensor.
  • FIG. 18 is a block diagram showing an example of means for correcting the image display state using the position sensor.
  • the configuration shown in the block diagram may have a part executed by a program as long as it is a computer process.
  • A31 is a photographing means, and means for photographing a moving image and a still image with a camera arranged at the center of the photographing unit A23 in FIG.
  • A32 is an image correction means, which is composed of an image recording memory, a CPU, etc., temporarily records the image obtained by the photographing means A31, and rotates the image based on the camera angle information of the position detection means A34 for easy viewing Image data is formed.
  • the reference posture of the image captured by the photographing unit A23 is defined and the image displayed on the monitor is determined, and the reference posture image is rotated by moving the housing with respect to the reference posture, for example, the angular velocity sensor or the like is used for each axis.
  • the angular velocity sensor or the like is used for each axis.
  • the image can be corrected only by rotation around the y-axis shown in FIG.
  • the camera of the photographing unit A23 always faces the reflecting mirror, so the image rotates around the y-axis coordinate shown in FIG. This is because the rotation accompanying the rotation of the housing is the main. Accordingly, at least in the state where the casing A11 and the reflecting mirror unit A10 are changed in the x-axis, y-axis, and z-axis directions, the image displayed on the xz plane is compensated in a state in which the image display unit faces a certain direction. It may be preferable.
  • Reference numeral 34 denotes position detection means, which is composed of the position sensors A25a, A25b and the like of FIG. 17, and specifically, a rate gyro that outputs angular velocity, a rate integration gyro that outputs angles, an attitude gyro, a MEMS type, and other mechanical types.
  • An acceleration sensor such as an optical angular velocity sensor, a piezoresistive type, a capacitance type, or a heat detection type MEMS sensor can be used.
  • FIG. 18 Next, the operation of FIG. 18 will be described with reference to FIGS.
  • the coordinate axes shown in FIG. 19 indicate the case where one position sensor corresponds to three axes.
  • the coordinate axis corresponding to each part of the position sensor is Is set.
  • the coordinate axis is formed by installing the position sensor.
  • A421 is the x axis
  • A431 is the y axis
  • A441 is the z axis.
  • A451 is a gravitational acceleration vector, which is an example of a combined posture vector when the acceleration sensor is stationary. Therefore, the gravitational acceleration vector may not be used when the acceleration sensor is not used.
  • the intraoral camera shows the coordinates in a state close to being upright in order to photograph the side surface of the back tooth.
  • A422 is the x-axis
  • A432 is the y-axis
  • A442 is the z-axis
  • A452 can indicate a gravitational acceleration vector.
  • Move the reflecting mirror 22H to the target site in the oral cavity.
  • An example of how to move is shown in FIG.
  • the intraoral camera composed of the reflecting mirror 22H and the casing moves vertically and horizontally as indicated by A411, A412, and A413, and the imaging means A31 captures the intraoral image in each state as a still image and a moving image. Output to the image correction means A32.
  • the position detection unit A34 outputs, for example, initial posture information to the image correction unit A32 for each of the x, y, and z directions.
  • initial posture information to the image correction unit A32 for each of the x, y, and z directions.
  • the camera is oriented in the direction of the reflecting mirror, so the camera image is reversed or difficult to see due to rotation around the y axis. Since there are many factors, there are cases where only a single-axis type position sensor may be used.
  • the image correction means A32 associates this initial posture information with the image, and outputs them to the image display means A33 for display.
  • the imaging unit A31 outputs an image corresponding to each posture.
  • the image is taken upside down and an image corresponding to the shooting state is output.
  • the position detection means A34 detects angular velocities about the x-axis, y-axis, and z-axis from the position sensors A25a and A25b (for example, in the case of a gyro sensor), and the amount of change in angle about the x-axis ( ⁇ yz) from this angular velocity. ), An angle change amount around the y-axis ( ⁇ xz), and an angle change amount around the z-axis ( ⁇ xy).
  • the image correction unit A32 rotates the image based on, for example, the change amount of the angle based on the image data input from the imaging unit A31 and the position information output from the position detection unit 34, and the first image Return to the state.
  • the image display means A33 rotates the camera and shoots the same intraoral object as a moving image or a still image, the image is always displayed in the initial setting state and the display content image is changed. Can do.
  • the method of pressing a switch that is operated when obtaining an actual image is adjusted by adjusting the time until the actual image is taken by the number of times the switch is pressed at a certain time, such as a double click method performed at the time of computer operation. It is possible to stabilize the camera operation at the time of medical treatment, medical examination, and patient explanation. Also, specify the iconic display (for example, 2 seconds for 2 seconds, then continuous shooting several times) to indicate the timing of shooting operation by operating the camera switch on the monitor image, and determine the timing May be.
  • timing of image display when performing a display function such as coordinates on the screen, when explaining while inserting the camera in the oral cavity by adjusting the display timing by the number of times the operation button is pressed, how to press, etc. It is also possible to adjust the timing of image display. Specific timing specifications may be input adjusted from the screen of the mobile terminal.
  • B7001 is an input means, which shows, for example, push buttons 101d and 101e constituting the operation interface of FIG.
  • B7002 is an input number detection means, which is constituted by a counter, a flip-flop, etc., and counts the number of times the push button is pressed. This counting is preferably performed within a predetermined time interval.
  • B7003 is a delay means for setting the delay time by multiplying the number of times the push button is pressed and the delay time for each press. After the delay time has elapsed, one pulse is output.
  • B7004 is a photographing output setting means, and outputs a signal for starting photographing to the photographing means B7005 when the delay pulse of the delay means B7003 falls.
  • the photographing unit B7005 performs continuous shooting or moving image shooting of several to several tens of still images based on a shooting start signal. An image obtained by this photographing is input to the image input unit B7006, and the focused image is selected by the image selection unit B7007 and stored in the storage display unit B7008 or displayed on the display 104 shown in FIG. Is done.
  • the image input means B7006 is for taking the image obtained by the photographing means B7005 as digital data and outputting it to the image selection means B7007. Further, the image selection means B7007 is a means for selecting only images that are in focus, for example.
  • the B7009 is a display means, and shows a configuration in which the blinking position is visually changed from when the button of the input means B7001 is pressed until execution is performed.
  • the display means B7009 is installed at a place where the dentist can see during treatment, and displays how many seconds later the operation starts after pressing the operation button, and is one of the display means B7009. It may be displayed on a computer monitor.
  • the user recognizes that the color is red during the delay time and that the LED is changing to white when the delay time ends, and that the light source is continuously emitting light and blinking light only during the delay time.
  • FIG. 21A is a block diagram showing an embodiment of the present invention.
  • B8011 is an X-ray image photographing means, and examples include a combination of an X-ray output device and an X-ray CCD sensor, and a combination of an X selection output device and an X-ray fluorescent screen and a CMOS or CCD camera. Specifically, an example is shown in FIG.
  • the X-ray image capturing means B8011 includes an existing panoramic X-ray apparatus, X-ray CT, dental X-ray apparatus, etc., and it is sufficient that it can be displayed as data on at least a computer monitor. If X-ray image data that can be opened directly cannot be acquired, X-ray image viewer data attached to the computer, hard copy data on the screen, data in the monitor screen sharing state, X-ray image on the monitor with the intraoral camera You may acquire as X-ray image data, such as data obtained by imaging
  • the real image photographing means B 8012 is a real image photographing means, for example, a reflection type intraoral camera is preferably used.
  • the real image photographing means B 8012 may further include the configuration shown in FIG.
  • B8013 is a comparison site extraction means for extracting a comparison site in order to extract a portion formed by a block matching method and a subpixel estimation method and matching an image taken by the X-ray image photography means B8011. For example, the contour extraction of a photographed image and the extraction of a plurality of pixel values are performed and X-ray image extraction data is output.
  • B8014 is a comparison part extraction unit, which is formed by a block matching method, a subpixel estimation method, and the like, and is used for extracting a comparison part in order to extract a portion that matches the image captured by the actual image capturing unit B8012. For example, the contour extraction of the photographed image and the extraction of a plurality of pixel values are performed and the actual image extraction data is output.
  • B8015 is a comparison unit, compares the extracted data output from each comparison site extraction unit, and outputs a matching, approximately matching, and estimated matching site as a matching part.
  • images may be enlarged or reduced.
  • actual images and X-ray image data are converted into general-purpose formats such as BMP, JPEG, GIF, etc., and enlarged or reduced by general-purpose graphic software. Processing is enough.
  • B8016 is a coincidence portion recording means, which records a coincidence portion, a substantially coincidence portion, or an estimated coincidence portion, and transmits it to the display means B8017.
  • the display means B8017 is exemplified by a computer monitor (display) device, a mobile phone display unit, and the like. At least, the display means B8017 is large enough to display and superimpose an X-ray image and an actual image. It is sufficient if the resolution is high enough to display an image clearly.
  • This embodiment is realized by computer software, but may be formed by hardware.
  • the X-ray image capturing means and the actual image capturing means may be separate devices, but it is preferable that a part of one device is exchanged and shared.
  • the measurement site is imaged as a moving image or a still image by the X-ray image imaging means B8011.
  • the site to be measured by the X-ray imaging unit B8011 is selected by selecting one tooth, a plurality of teeth, or all teeth of the upper jaw and lower jaw.
  • the actual image capturing means B8012 captures the part imaged by the X-ray image capturing means B8011 as a moving image or a still image. In photographing, the same part may be accurately positioned and photographed, but it may be photographed as a guide.
  • the correction method may be, for example, a calibration method, and the data of the grid is corrected by photographing the eye of the grid in advance as a reference, calculating the distortion value by the lens.
  • the characteristic part is, for example, a contour, and a part or all of the tooth contour in the case of X-rays and the tooth contour of the actual image are extracted.
  • the X-ray image and the actual image are extracted in a state where they coincide with each other in a part of the outline or roughly coincide with each other.
  • the comparison unit B8015 outputs the two overlapping images to the matching part recording unit B8016, and the matching part recording unit B8016 records both images.
  • the display means B8017 displays both images according to the user's selection, and superimposes or juxtaposes them in a transparent state.
  • FIG. 23 shows an example of an image photographed by the X-ray image photographing means and the real image photographing means.
  • FIG. 23 (a) is an X-ray image showing a tooth b101 taken by X-ray.
  • FIG. 23 (b) shows the tooth b102 of the actual image taken at the same site as FIG. 23 (a).
  • FIG. 23 (c) shows an overlapping image b103 displayed by superimposing these.
  • the X-ray image can be easily understood by comparing the X-ray image and the actual image.
  • the progress of the periodontal disease and caries and the presence / absence of the periodontal disease and caries can be displayed in an easy-to-understand manner for the patient. be able to.
  • B9101 is a housing for gripping, and is preferably formed of a plastic material containing lead for X-ray opaqueness.
  • B9102 is an X-ray output device, which is preferably an ordinary ready-to-use dental portable type product, but is not particularly limited, and if it is an X-ray output device used in dental practice, it is functionally sufficient.
  • the portable type is effective for home medical care and the like, and is suitable for use of an X-ray image used in combination with an actual image. Even if it is a portable type, it can be used by being mounted on a stand.
  • B9103 is an electrical lead wire, and a general-purpose USB cable can be used, and a dedicated cable or the like can also be used.
  • B9104 is an X-ray phosphor. Crystal growth of fluorescent materials CsI, CaWO, Gd 2 O 2 S: Tb 3+ , 549 nm (f ⁇ f), (Zn, Cd) s: Ag on a glass substrate What was made to apply
  • B9105 is a visible light transmissive member, which is formed of a light transmissive member containing lead and transmits only visible light.
  • B9106 is a photographing unit. In this case, only the camera may be used, and it is preferable to use a higher resolution unit.
  • B9107 is an X-ray imaging support member, which is formed of an X-ray opaque member containing lead.
  • a reflecting mirror B9108, an X-ray phosphor B9104, and the like are attached to the tip, and the other end is around the imaging unit B9106.
  • a cylindrical shape that is open for insertion and fixation is formed.
  • the reflecting mirror B9108 is formed, for example, in a state of being inclined at 45 degrees, is formed by a flat mirror, and reflects the visualized image after dropping the X-ray and transmits it to the photographing unit B9106.
  • the X-ray output from the X-ray output device is converted into visible light by the X-ray phosphor B9104, and then the X-ray component is removed and reflected by the reflector B9108.
  • B9109 is a schematic diagram of the dentition in the oral cavity of the imaging region.
  • FIG. 22B shows an embodiment in which an X-ray photograph image obtained by an X-ray sensor and an actual image obtained by a reflecting mirror are combined.
  • B9110 is an X-ray imaging support member, and is formed of an X-ray opaque member in the same manner as the X-ray imaging support member B9107 shown in FIG.
  • B9111 is a visible light transmitting member, which is formed of a lead-containing light transmitting member, and is a filter for removing X-rays and transmitting visible light to the imaging unit B9106.
  • B9112 is a reflecting mirror, a flat mirror, and B9113 is an X-ray sensor, which is formed by an existing X-ray CCD (CMOS) sensor and an imaging plate.
  • B9114 is a lead wire for transmitting the sensor signal of the X-ray sensor to the outside, and it is preferable that this is also covered with a lead-containing resin.
  • This embodiment has a configuration for outputting an X-ray visible image and an actual image at the same timing by using not only the X-ray sensor B 9113 but also a combination of the reflector unit and the imaging unit B 9106.
  • the actual image displays the back side of the tooth, but it becomes easy to collate with an image separately photographed from the front of the tooth, and the same part can be simultaneously compared with the actual image and the X Since a line image can be acquired, it is preferable in that it can be easily obtained without performing image processing for obtaining a matching range.
  • the intraoral X-ray image is difficult for the patient, but the actual image of the same radiographed part can be displayed side-by-side on a computer monitor, paper, etc. Easy to understand and easy to explain to patients.
  • X-ray images are taken as a single image or data of several teeth in one image.
  • continuous photographing is performed while shifting the X-ray sensor and the X-ray output device, and the entire jaw is converted into a plurality of X-ray images, and then contour extraction is performed as digital data.
  • contour extraction is performed as digital data.
  • a common portion of images with less distortion is detected in each adjacent X-ray image, and a matching point or a presumed matching point is detected by a block matching method or superposition, and a panoramic image may be formed.
  • the actual image also forms a panoramic image.
  • FIG. 23D shows a state in which real image data is digitally processed and connected, b104 is upper jaw data, and b105 is lower jaw data.
  • the upper jaw data b104 is taken, for example, continuously by the intraoral camera shown in FIG. 1 while shifting the position little by little, and the common parts of the images are created while being overlapped and connected.
  • the method of creating the lower jaw data b105 in the same manner and creating a single image is shown. However, the upper jaw lower jaw may be photographed at the same time, and the common portions may be joined together.
  • continuous shooting since the structure displayed as an image is continuous and also continuous in size, it may be cheap to find a part to be connected and may require less size adjustment.
  • a method such as an intermediate luminance value method, a block matching method, or an optical flow method may be used.
  • FIG. 23 (e) shows maxillary X-ray data b106 and mandibular X-ray data b107 created by connecting X-ray images in the same manner. Further, in the lower jaw, the lower jaw data b108 based on the actual image is superimposed. It is easy for patients to see.
  • the actual image in the oral cavity, the X-ray image Y, the virtual orthodontic panoramic dentition image, the panoramic dentition image by the virtual color scheme, etc. can be compared.
  • visualizing the inside of the oral cavity, it is possible to promote continuous treatment, effective prevention, improvement of the self-expense rate through active treatment, and the like.
  • X-rays and real images display the parts of the gingiva and jawbone that need to be replenished, and the X-ray image shows the condition of the jawbone as the artificial tooth root setting condition and the virtual prosthetic state in the real image.
  • the reproduction area by the bone regeneration means can also be displayed.
  • Real images, X-ray images, and microscopic images can be summarized as a multi-dimensional image list in an easy-to-read manner, and the edited results are displayed on an image and printed out. Can be shown in an easy-to-understand manner.
  • the actual image is photographed by coloring the plaque such as phloxine so that the state of adhesion of the plaque can be visually observed, forming the image shown in FIG. It is possible to observe the adhesion status and gingival status. Furthermore, plaque is collected based on the condition of the gingiva, an image of periodontal disease bacteria is formed using a microscope, and the image is edited in a situation related to the collection site.
  • the intraoral map that displays the status of periodontal disease in about 5 steps and is easy to see is formed as image data and print data, and periodontal disease prevention and dental caries prevention are properly performed. Make it possible.
  • the image data on which plaque is displayed is obtained using a red staining agent by the actual image forming means for acquiring a photographic image of all or part of the teeth according to the panoramic specification described above.
  • the gray value is detected by a detecting means for detecting the degree of the red color shade of the image data by using, for example, a luminance value detection method by software. If this density value exceeds a certain value, for example, the density value based on the thickness of the accumulated state to the extent that periodontal disease bacteria are likely to propagate, the value in the image data should be noted.
  • a certain value for example, the density value based on the thickness of the accumulated state to the extent that periodontal disease bacteria are likely to propagate
  • the value in the image data should be noted.
  • an easy-to-understand image can be formed by side-by-side synthesis of an X-ray image and an actual image, but further, the virtual shape and color information of the prosthesis are superimposed and synthesized on the image, and the virtual state after treatment is obtained. It is possible to display in an easy-to-understand manner.
  • means for synthesizing and displaying the virtual shape shown in FIG. 21B is added to the X-ray image photographing means B 8011 shown in FIG. 21A in the subsequent stage, and the real image photographing means shown in FIG. B8012 shows a configuration in which means for synthesizing and displaying the virtual shape shown in FIG.
  • a virtual shape storage means B8022 that stores virtual shapes in advance and calls and uses them during virtual composite display.
  • Virtual shapes include dentures, bridges, clasps, non-clasps, implants, inlays, crowns, other prosthetics, orthodontic appliance shape information, and virtual shapes also include color information.
  • a shade guide made of a color sample having a large number of tooth shapes used in the above may be stored in advance or converted into data at the time of use, or stored as color information of all teeth or one tooth. The accumulation of the data may be sequentially stored when an X-ray image or a real image in the patient's oral cavity is taken and the image is corrected and organized as necessary.
  • B8018 is a virtual shape adjusting means for X-ray images, and is used from the virtual shape storage means B8022 for the X-ray image captured in the X-ray image imaging means B8011.
  • a virtual shape designated or automatically called by a person is adjusted to a color that can be synthesized by adjusting its color without causing a sense of incongruity while being easily recognized on the X-ray image.
  • B8019 is a composite display means for the X-ray image, and is a means for combining the X-ray image and the virtual shape and displaying them on the monitor screen.
  • the virtual composite display means is added as an incidental to the photographing means, but it is not limited to the incidental one, and is set as a main configuration according to the purpose. Also good.
  • the configuration for superimposing the real image and the X-ray image shown in FIG. 21 is not required, and the virtual display may be synthesized independently for each of the real image and the X-ray image.
  • images are converted into general-purpose formats such as BMP, JPEG, and GIF, and superimposing techniques are used in the same way as grid display, and transparent and overlay techniques used in general-purpose graphic software are used. It may be used.
  • B8020 is a virtual shape adjusting means for an actual image, and has the same configuration as the virtual shape adjusting means for an X-ray image.
  • B8021 is a composite display means, which also has the same function and configuration as the composite display means for X-ray images.
  • the X-ray image photographing means B8011 forms and forms an all-tooth X-ray image b201 shown in FIG. This is because, for example, panoramic images obtained from an existing X-ray panoramic imaging device or images obtained by X-raying all teeth for every several teeth are acquired, converted into digital images, and then each image is displayed. On the other hand, for example, after the contour extraction, the common part is detected.
  • a panoramic image of all teeth may be formed by connecting each image at a common part.
  • the real image photographing means B 8012 forms a panoramic real image b 202 of all teeth shown in FIG.
  • the whole tooth image is not limited to this method, and continuous shooting may be performed, and an appropriate image may be selected and connected.
  • the virtual shape adjusting means B8018 searches the virtual shape storage means B8022 to search for a prosthetic shape that can be prosthetic. Select candidates for. After the selection, the selected image is read out, and is synthesized by the synthesis display means B8019 while selecting the size and color on the screen and displayed on the display monitor.
  • FIG. 28C shows an image b203 obtained by combining virtual configurations, for example.
  • the synthesized image b203 if the artificial tooth root can be regarded as appropriate for the lower teeth missing portions b219a and b219b of the lower jaw, the virtual tooth shape b2132, the artificial tooth root b213, the superstructure b215, and a bridge when the plurality of teeth are crossed.
  • the implant b212 and the bridge upper structure b214 are selected, the size and color are adjusted by the virtual shape adjusting means B8018, and the synthesized display means B8019 is synthesized and displayed on the monitor screen and the monitor screen of the portable terminal.
  • a real image prosthetic tooth, inlay data, etc. are called from the virtual shape storage means B8022 to the panoramic real image b202 obtained by the real image photographing means, and the size and color are adjusted by the virtual shape adjustment means B8020. Is displayed by the composite display means B8021.
  • b216 indicates the bridge upper structure b214 in FIG. 28 (c)
  • b219 indicates the upper structure b215 in FIG. 28 (c).
  • b217 is a crown for the front teeth, and corresponds to b210 in FIG. b218 shows the gap prosthetic portion b211 of FIG.
  • the formation of the gap prosthetic portion b211 may be formed, for example, by increasing the size of the crown and bringing both crowns into contact if the teeth of each other are crowns. In the case of natural teeth, a technique is shown in which both teeth are slightly shaved and prosthetic.
  • the prosthesis is indicated by diagonal lines in each of the synthesized images b203 and b204.
  • the bridge implant b212 and the bridge upper structure b214 in the synthesized image b203 when the strength and the like are not preferable, the three artificial tooth roots and the upper structure similar to those on the right side of the lower jaw are read from the virtual shape storage means B8022, Replace and display, and adjust the bone status of the defect and the implantable range while viewing the image.
  • the tooth color data may be called from the virtual shape storage means, and the color relationship with the adjacent tooth may be determined while being compared and adjusted on the monitor.
  • the anterior prosthesis b210 may be determined by adjusting the shape and color of the adjacent teeth while matching a general-purpose model.
  • the treatment of the gap b219d is also adjusted by the virtual shape adjusting means B8018 by selecting a prosthetic style that can be used such as an inlay or crown from the virtual shape storage means B8022 and fitting it into the image, and by the composite display means B8019.
  • Other virtual shapes may be considered while looking at the degree of synthesis. When this virtual shape is formed in three dimensions, a more realistic composite image can be obtained even if it is a planar intraoral image by rotating the virtual shape on the screen.
  • the comparison site detection means B8013 of FIG. From the synthesized image shown in FIG. 28, a site that is a site before synthesis and that is a feature is designated, and the site that is before synthesis from the image shown in FIG. By designating the part, the comparison unit B8015 collates the comparison parts of both, temporarily records the matching state, and further displays it.
  • FIG. 28 (e) shows an image showing the displayed state.
  • the composite image b205 is obtained by superimposing an actual image and an X-ray image.
  • the numbers are the prosthetic states indicated by the combined images b203 and b204.
  • X-ray images are difficult to see, especially the gingival region, but it is difficult to see the gingival part, but with such a composite image, the gingival part of the X-ray image is displayed in an easy-to-understand manner.
  • the composite image b205 is obtained by superimposing an actual image and an X-ray image.
  • the numbers are the prosthetic states indicated by the combined images b203 and b204.
  • X-ray images are difficult to see, especially the gingival region, but it is difficult to see the gingival part, but with such a composite image, the gingival part of the X-ray image is displayed in an easy-to-understand manner.
  • the virtual data can be synthesized by scaling up and down using existing commercial data as it is, and after synthesis, the data is converted from actual distance to prosthetic data, along with color information, whitening and correction data Can also be obtained.
  • the virtual shape data may be used as it is for prosthesis manufacturing.
  • reference numeral 1a01 denotes a small battery such as a button type, cylindrical type, sheet type, or pin type battery, and either a primary battery or a secondary battery can be used.
  • Reference numeral 1a02 denotes a boosting means, which is a DC-DC converter, a chopper type, or other switching regulator having, for example, a function of boosting 1.5V to around 3V.
  • a control unit 1a03 is exemplified by a control chip such as a one-chip type computer or an ASIC.
  • Reference numeral 1a04 denotes a display means, which is formed by a liquid crystal panel or the like and capable of two-dimensional display.
  • the wireless medium 1a05 is a terminal-side communication means, which is appropriately adjusted depending on the type of the wireless medium 1a0C.
  • it is a radio wave, it includes a carrier wave output means up to several GHz, a modulation means such as FM, AM, PCM, and a transmission / reception antenna.
  • a circuit is used and light is used, a combination of an LED, a laser, and a light receiving element such as a CDS is used.
  • a Zigbee module (trade name) using radio waves can be suitably used.
  • a wired communication means such as a general-purpose cable such as a USB connection or a dedicated cable.
  • Numeral 1a06 is an input means, and examples thereof include a keypad, a touch pad, and the like that converts a user's target part into an electrical signal by pressing or touching.
  • the display device 1a04 and the input device 1a06 are also used in the same device, such as using a liquid crystal panel having a touch panel function.
  • 1a07 is a storage means in which a program is recorded in order to edit and display patient data on the display unit. Since the patient data is recorded mainly on the host device side, it may be temporarily stored, and may be stored according to the capacity.
  • 1a08 is an electric line that directly connects the input unit 1a06 and the terminal side communication unit 1a05, and this indicates a function that is transmitted via the terminal side communication unit 1a05 as it is when a key is pressed. However, the same configuration as the circuit line between the keyboard and the computer may be shown. When the control means 1a03 substitutes, it may become unnecessary.
  • the portable terminal or the communication means 1a09 is a communication means on the host side, and shows a configuration that is paired with the terminal side communication means 1a05 on the portable terminal side. Since it is not uncommon for a plurality of portable terminals to be used for a plurality of patients, it is preferable that the portable terminal or the communication means 1a09 can set multiple channels and only accept input from a specific portable terminal. .
  • a recording unit 1a11 is a recording medium such as a hard disk, an SD, a DVD, or a USB memory, and may be accommodated in the host computer 1a10.
  • the communication means 1a09 may be incorporated in addition to the case of external connection.
  • a communication network 1a12 is exemplified by the Internet, an in-house LAN, an intranet, and the like.
  • Reference numeral 1a13 denotes another host device, which has the same configuration as that of the host computer 1a10 of the host device 1a0B, and may store patient data not owned by the host device 1a0B. In addition, for example, by providing treatment data from a remote place to a mobile terminal, it is possible to support the examination treatment of the operating dentist.
  • the voltage of the battery 1a01 is boosted by the boosting means 1a02 and supplied to each means.
  • the booster 1a02 can drive a C-MOS control element or the like by boosting the battery voltage 1.5v to 3V or higher, for example.
  • the control means 1a03 may call up and display the diagnosis data processing program at the time of dental treatment from the storage means 1a07 on the display means 1a04. Otherwise, the data transmitted from the host computer 1a10 may be displayed as it is on the display means 1a04.
  • the wireless communication means Since the wireless communication means is used, the communication state is checked at the beginning or during the operation, and the communication status is confirmed. Even if the wireless connection is interrupted in the middle, there may be a case where the control means 1a03 may temporarily perform input / output while being interrupted.
  • the operator operates by pressing or touching the input button of the input means 1a06.
  • “1” is output and displayed on the display unit 1a04 via the control unit 1a03, and the terminal side communication unit 1a05, the wireless medium 1a0C, and the communication unit 1a09 are displayed.
  • the host computer 1a10 For example, when the execution button signal reaches the host computer 1a10, for example, when the patient name is transmitted from the input means 1a06 to the host computer 1a10, the database is searched in the received host computer 1a10 and the data is transmitted to the portable terminal 1a0A. The transmitted data is adjusted for display by the control means 1a03 via the terminal side communication means 1a05 and displayed on the display means 1a04.
  • the data transmitted from the host computer 1a10 to the portable terminal may be displayed as it is on the display means 1a04 of the portable terminal 1a0A, and the control means 1a03 calls and executes the program from the storage means 1a07. Then, the data transmitted from the host computer 1a10 may be processed and displayed on the display means 1a04.
  • the data transmitted / received by the wireless communication means transmits code data, numerical data, symbol data, other text data, and image data. If the host computer 1a10 does not have the necessary contents, data may be obtained from another host device 1a13 via the communication network 1a12.
  • the input from the input unit 1a06 is further recorded in the recording unit 1a11 on the host device side.
  • the recording unit 1a11 For example, when a periodontal pocket depth value is obtained and manually input from the input unit 1a06, it is recorded as it is in the recording unit 1a11 via the host computer 1a10, but the display unit 1a04 is used to confirm the input value.
  • a circuit for performing the display may be provided.
  • step 1b01 shown in FIG. 25 an automatic communication test is executed as shown in step 1b01 shown in FIG. 25.
  • the communication test fails (NO) (step 1b02 shown in FIG. 25)
  • an error message is displayed (shown in FIG. 25).
  • step 1b03 the automatic communication test is performed again in step 1b01 shown in FIG.
  • the host computer 1a10 shown in FIG. 24 When the automatic communication test is successful (YES), the host computer 1a10 shown in FIG. 24 outputs the patient / selection menu display data to the control means 1a03 via the communication means 1a09, the wireless medium 1a0C, and the terminal side communication means 1a05, The control means 1a03 having received this data outputs it to the display means 1a04. In this case, the host computer 1a10 outputs display data. When this display data is displayed on the display means 1a04, the control means 1a03 executes the display program read from the storage means 1a07. Is formed.
  • the patient / selection menu may be recorded as a program in the storage unit 1a07 of the portable terminal. In some cases, data is directly displayed on the display unit 1a04 without using the control unit 1a03.
  • the display means 1a04 shown in FIG. 24 displays a patient / user selection menu (step 1b04 shown in FIG. 25).
  • the 1 signal is transmitted as it is to the host computer 1a10 via the wireless communication means, and a program for displaying the patient name input box on the display means 1a04 is activated.
  • a program for displaying the patient name input box on the display means 1a04 is activated.
  • step 1b06 shown in FIG. 25 when a patient name or patient code is input by pressing the keypad, the symbol and character data corresponding to the pressed keypad are transmitted to the host computer 1a10 each time the key is pressed, and the host is pressed when the enter key is pressed.
  • a search is performed on the stored data in the recording means 1a11 of the computer 1a10.
  • the search can be performed by entering only the name or name, and a partial match search or the like can be used. Therefore, the patient list obtained in the case of the partial match search is displayed.
  • the key indicating the presence is pressed, and the pressed information is transmitted to the host computer 1a10 as it is, and the host computer 1a10 calls the patient data from the database.
  • the mobile terminal 1a0A To the mobile terminal 1a0A.
  • This patient data is displayed on the display means 1a04.
  • the control means 1a03 may display the list for each line feed code as it is.
  • control means 1a03 may read and execute a display program from the storage means 1a07, and the display means 1a04 may display a display having an arrangement according to the program.
  • step 1b07 shown in FIG. 25 When there is a patient candidate in step 1b07 shown in FIG. 25 (YES), the host computer 1a10 shown in FIG. 24 transmits patient data to the portable terminal 1a0A (step 1b08 shown in FIG. 25).
  • step 1b07 shown in FIG. 25 if there is no patient candidate (NO), new patient registration may be performed or the search may be performed again, but the search routine display is omitted again and new patient registration is performed ( Only step 1b09) shown in FIG. 25 is shown.
  • the keypad input is directly transmitted to the host computer 1a10 and registered in the database of the recording means 1a11.
  • the input from the host computer 1a10 may be used, and the patient information recorded in the recording unit 1a11 of the host computer 1a10 may be input from either. (Step 1b09 shown in FIG. 25).
  • the menu display of the examination is then performed on the display means 1a04 of the portable terminal 1a0A in step 1b10 shown in FIG.
  • This menu display is exemplified by data output and displayed by the host computer 1a10 or displayed by the display means 1a04 by the control means 1a03 that has executed a program that calls this data from the storage means 1a07.
  • the menu related items are displayed as text sentences, they are displayed as they are from the host device 1a0B via the wireless medium 1a0C and the control unit 1a03, and stored in the case of a display having an array pattern unique to the database.
  • the application program may be read from the means 1a07 and executed (step 1b10 shown in FIG. 25).
  • FIG. 25 shows that plaque inspection is designated, and other selections (1b11a) are omitted.
  • the plaque inspection is designated in step 1b11 shown in FIG. 25, the signal designated by pressing the input means 1a06 is directly transmitted to the host computer 1a10, and the host computer outputs past plaque data.
  • the past plaque data that the host computer 1a10 calls from the recording means 1a11 and outputs to the portable terminal 1a0A is data such as numerical values, symbols, characters, moving images, still images, and the like.
  • the control unit 1a03 executes the plaque display program called from the storage unit 1a07 and displays it based on the data output from the host computer 1a10.
  • the data on which side of which tooth number and which stage of plaque are additionally described is transmitted to the host computer 1a10 shown in FIG. 24 by the keypad operation on the portable terminal side.
  • the host computer 1a10 records data to that effect in the recording unit 1a11.
  • step 1b12 shown in FIG. 25 when the plaque of the patient is displayed, the process moves to step 1b13 shown in FIG. 25 regarding whether or not to make correction / addition. Step 1b14) shown in FIG. 25 is performed.
  • step 1b15 shown in FIG. 25 it is determined in step 1b15 shown in FIG. 25 whether or not another inspection is to be performed. If another inspection is to be performed, the inspection menu display in step 1b10 shown in FIG. 25 is displayed and another inspection is performed. If not, a message is displayed as to whether or not to return to the initial menu (step 1b16 shown in FIG. 25), and if returning to the initial menu, the patient and user selection menu display in step 1b04 shown in FIG. Will continue. If it does not return to the initial menu, it may be terminated, for example.
  • a smartphone or a mobile phone may be used as it is as a portable terminal for dental information management.
  • Dental office information, dental worker information, other related information can be entered, displayed, registered, etc., information can be read from the host terminal and registered as necessary, and dental employees can obtain necessary information It is only necessary to be able to display and input in a shared manner, and a configuration according to the purpose can be taken.
  • wireless communication is performed using keypad codes and data such as numerical values, characters, codes, symbols, text data, images, and moving images, which can be displayed in real time. Even if is used, it can be used without stress. In some cases, the host device may be worn on the back or back, or if there is no problem in connecting the host device and the portable terminal with a wired connection, it may be possible to use wired communication without using wireless communication. .
  • the present invention can also realize unified management of dental information with the above-described portable terminal.
  • information to be managed for example, dental care reservation management system, electronic medical record system, receipt computer system for creating receipt data from accounting information and medical care information, dental office information handled by recall management system for revisited patients, Patient information, medical record information, accounting information, medical fee information, etc. can be input.
  • dental office information, digital X-ray information, and dental microscopes handled by a business management system with the function of creating and displaying graphed forms.
  • Information CT information for dental use, inspection information for intraoral cameras, dental unit information for treatment, data information for patient chairs, intraoral information from probes for periodontal pocket inspection, other devices, dentists, dental hygiene Dentistry, dental staff, reception staff, dental technicians, etc.
  • Person information is shown, but other diseases such as toothpaste information, plaque-related information, periodontal disease bacteria information, prevention information, lifestyle-related disease related information, etc.
  • blood pressure and blood information related to indirect diseases may be included.
  • centralized management is not only the management of all related dentistry information, but also a necessary part In some cases, it is possible to use only this information as a target for centralized management.
  • the image data is converted through digital conversion means such as an image scanner, a digital camera, or a hard copy of a computer screen. In some cases, it may be preferable to manage digital signals.
  • the unified management of data may be performed by the above-described portable terminal, but may be unified management by a dental computer such as a tablet type, a notebook type, or a desktop type.
  • a dental computer such as a tablet type, a notebook type, or a desktop type.
  • a netbook specification terminal or a mobile terminal centering on the Internet may be used, or a mobile terminal connected to the Internet via a wireless LAN may be used.
  • the present invention may provide information, information processing, and the like that are unified using a cloud computing technique.
  • the portable terminal or the host terminal may perform application input / output of application software provided by one or more center organizations existing via the Internet using dedicated or general-purpose browser software on the terminal side. good.
  • the terminal does not install application software for centralized management, but only browser software such as Internet Explorer (registered trademark) and Fire Fox (registered trademark) is installed, and the center's dental software is installed via this browser software.
  • Data can be input and output by executing software for centralized management of information, so that the capacity of the recording device on the terminal side can be reduced, and the apparatus can be small and simple.
  • the terminal side may accumulate all information in resources on the cloud side, and some information that requires safe management, such as personal information, may be accumulated on the terminal side.
  • a system constructed as a private cloud only within the company, only in the center, or only in the participating dental group is preferable in the area where information leakage is a problem, but if security is reliable
  • it may be configured by a public cloud constructed by an information providing service organization or the like by an external computer, or in some cases, all may be a private cloud or a public cloud.
  • the portable terminal may be used by a dental hygienist, a dental reception office staff, a dental technician, other related persons, and in some cases a patient, in addition to a dentist. You may share data with other staff.
  • a carrier exchange function for identifying an individual such as an IC card, it is possible to dedicate and use one unit each time.
  • the data handled by each system is compatible.
  • compatibility is not always necessary. For example, when using hard copy data of a screen, it is displayed at least on a mobile terminal. In some cases, it may be sufficient to operate.
  • the server in which the external database is set and the mobile terminal in real time in a state where the mobile terminal can communicate.
  • the present invention is not limited to this, and the operation is temporarily recorded in the mobile terminal.
  • a batch method may be used in which temporarily recorded data is automatically transferred to a database when communication becomes possible.
  • the reservation status data is read from the database by entering a candidate reservation date on the terminal. It may be displayed, compared and displayed on the screen of the mobile device on the screen of the mobile device, prompting the change, enter schedules on multiple treatment / prevention screens in the input display field of the mobile device screen
  • a print command from the portable terminal it is possible to print and print the treatment / prevention schedule table with a related printer and distribute it to the patient.
  • the mobile terminal may be connected to the host device wirelessly or wiredly, or may be connected to the intraoral camera wiredly or wirelessly. In this case, imaging and positioning of teeth and periodontals that need treatment and prevention are required. Can be qualified.
  • buttons, rotary dials, etc. which are operated by bringing the attached push type, sliding type, finger, pen, etc. into contact with the screen.
  • peripheral devices such as virtual buttons, virtual keyboards, intraoral cameras, etc. are connected, the buttons and dials on the peripheral devices are exemplified, and in addition, voice input recording with an integrally installed microphone, integrated or separate
  • the scanning recording function may be a photographic image recording by a dental camera.
  • handwritten input data may be captured.
  • handwritten input data when explaining to the patient, explaining the treatment method to the dental hygienist, or when it is appropriate to display it on the screen by handwriting, when the screen is input by handwriting from the mobile terminal, it is displayed as it is, or the host By being displayed in synchronization with the monitor screen of the terminal, explanations to the patient and other employees may be given, and the data may be recorded as it is and used later.
  • handwritten input into the intraoral image it can be used as it is as patient data.
  • the audio data may be a voice and image displayed simultaneously by designating a window.
  • the recording capacity can be reduced by converting the voice data into character data as it is or by converting handwritten characters into character data.
  • specialized terms such as caries are registered in advance as speech data, and converted to character data by comparison with speech input via a mobile terminal.
  • the data that has been written down so far can be automatically converted into electronic data.
  • Text data corresponding to the voice sample data when the voice sample and the text data table of technical terms registered in advance are recorded in the recording device the input voice data and the voice sample data are compared, and they match or approximately match By converting to, accurate dental information can be recorded.
  • the host terminal and the portable terminal May be synchronized at least in the input state. That is, when an input is made from the host terminal, the input is displayed on the portable terminal, and the output display is similarly performed in synchronization.
  • the screen synchronization software can be performed by using commercially available software Sync + (trade name).
  • the portable terminal is shown in a state in which a USB terminal that is built in in advance or has a LAN function is connected and the wireless LAN can be used.
  • the direct sharing may be via a relay terminal in addition to using a wireless medium such as electromagnetic waves or infrared rays.
  • the data that cannot be stored is organized into data using a separate storage device or e-mail, etc. May be transmitted to the host terminal sequentially or at a certain storage amount.
  • Such synchronization of display between terminals is because it takes time to perform complicated input from a portable terminal when dental care is performed in a common room, for example, an input interface such as a keyboard and a mouse. By enabling the input from the host terminal equipped with, it becomes possible to input quickly.
  • time series data may be performed. For example, the date and time of treatment completion and treatment suspension of a patient after treatment are read from the database, compared with the current date and time, and when a predetermined period of time has elapsed after treatment, the portable terminal or host terminal A message is displayed. Alternatively, direct mail printing may be automatically performed as it is.
  • the host terminal may automatically notify the mobile terminal when it is time to create a medical fee, and may automatically notify and adjust the days when there are no reports on attendance.
  • the mobile terminal is connected to peripheral devices such as an X-ray imaging apparatus, an intraoral camera, a microscope, etc. directly or via a host terminal, for example, displays the imaging output of these peripheral devices in real time on the mobile terminal,
  • peripheral devices such as an X-ray imaging apparatus, an intraoral camera, a microscope, etc. directly or via a host terminal, for example, displays the imaging output of these peripheral devices in real time on the mobile terminal,
  • a configuration in which data is recorded in a patient data folder specified by a patient name or the like can also be adopted. You may control operation
  • the patient data folder is preferably recorded in a non-overlapping manner around the host terminal and can be read out by searching from each terminal.
  • a plurality of patient data folders may exist for each terminal in temporary use. However, when registering continuously, it is preferable to exist in one storage area. This storage area may be located not only at the host terminal but also at a remote location via a network.
  • the portable terminal may further allow information exchange with voice, images, and characters with the patient.
  • the patient can also carry the portable terminal.
  • the application software of a smartphone or other mobile phone is converted into the above-described dental management terminal, this may be possible only by having the patient install a dedicated application.
  • the present embodiment displays, for example, a patient's panoramic whole dentition image and treatment site image on a computer monitor (display) screen, and combines the subdivided videos according to the purpose.
  • a computer monitor display
  • the dentist may use a ready-made video sequence obtained by combining the subdivided videos in advance, but may select and edit and combine them in advance.
  • the method of selecting and editing in advance by the dentist is to select and use a video sequence that is semi-custom or existing, but an embodiment in which all explanatory data are combined to create at least one video sequence. Will be described in detail with reference to FIG.
  • FIG. 26 is a diagram for explaining the operation when the dentist sets in advance as one combination video.
  • 1c01 is the display of the first menu.
  • a list showing ready-made video sequences, a list that can be combined and edited in a semi-custom manner, and a list of individual subdivided videos are displayed and selected according to the purpose.
  • 1c02 is a step of selecting one from the first menu display.
  • 1c03 is a step in which the execution step branches depending on which one is selected, and in the case of NO, it moves to another combined moving image selection (not shown) via the terminal 1c03a. If YES, move to step (1c04) to determine whether it has already been registered in this combined video by a method such as video name search or search for unique code combinations attached to segmented video data. If yes (YES), the process proceeds to another combined moving image selection via the terminal 1c03a.
  • a list of segmented data is displayed, and an editing area is displayed.
  • the list of segmented data may be divided according to purpose, or may be grouped or formed as a tree.
  • segmented video data 1c05 In the selection of segmented video data 1c05, it is moved from the list to the editing area by copy paste, drag and drop, and time-series explanation data is edited.
  • FIG. 27 shows a combination example of combined moving images.
  • 1d01 is a restoration movie of gingiva after extraction
  • 1d02 is an inclination movie of adjacent teeth
  • 1d03 is a trial movement video of an opposing tooth
  • 1d04 is a preparation movie of an abutment tooth
  • 1d05 is FIG. It is a moving image which shows mounting
  • a series of moving images from 1d01 to 1d05 is combined as a combined moving image 1d00 and recorded on the recording device with a name, or a recording device records a symbol string previously attached to each segmented moving image data.
  • 1d00 may be displayed as one icon on the computer screen.
  • the combined video 1d00 creates a single video that can be combined and played back in sequence, but each video is subdivided, and a patient constant and a doctor constant are set for each video. It is preferable.
  • the format of each moving image is, for example, WMV, AVI, or MPEG format, which may be selected by an existing moving image editing software and combined in order.
  • step 1c08 the doctor side data and the patient side data are displayed, and the time cost is displayed.
  • other methods are used to display a description of a lower cost, shorter time, and higher profit. It may be done.
  • step 1c09 when it is desired to select again even in a state where the combined moving image has already been created, the step moves to the selection of segmented moving image data, and 1c10 selects whether or not to save this menu list In the case of saving (YES), the combined moving picture name is input and saved in step 1c11. If not stored, the process returns to the original in the end step, and it is selected whether to edit or to end as it is (1c12).
  • FIG. 26 illustrates the operation when a doctor creates a combined moving image. Since there are a lot of data that are actually fragmented, it may take time depending on the data to be selected. A sample may be formed for each type like an edit box.
  • the patient's own intraoral image may be registered in the subdivided video, and may be used as part of the explanation of the treatment and prevention specific to the patient.
  • this embodiment is mainly used for informed consent, it is preferable that more efficient viewing is performed if the treatment time for the patient is shortened and the explanation is made more efficient. Is a subdivided and time-consuming video of a few seconds to a few minutes while the doctor explains to the patient and explains the terms used by the doctor in an explanatory and ancillary screen. Become.
  • a list of subdivided data is displayed on the computer screen with icons, tables, etc., each with a simple title that is easy to understand for the patient.
  • the editing of this list is displayed on the portable terminal described above, and is selected by the dentist.
  • the selected state is displayed on the screen viewed by the patient.
  • a person searches and edits a moving image including contents to be transmitted to a patient or the like, a subdivided moving image, or a combination moving image on a mobile terminal. After editing is completed, the data is transmitted to the patient viewing terminal.
  • the moving image data may be transmitted, but the identification data attached to the moving image data is transmitted, and the patient viewing terminal receives the identification data, and the moving image based on the identification data string May be processed in real time.
  • a remote operation such as playing or stopping a moving image on the screen display of the terminal viewed by the patient or the like, displaying or hiding the patient data, etc. may be performed while the dentist or the like is carrying the portable terminal.
  • images and data viewed by the patient may be displayed synchronously on a portable terminal carried by the dental worker.
  • the intraoral camera shown in FIG. 1 is used to display and explain the inside of the patient's mouth, the explanation and the case are the same, making it easier to understand.
  • the edited image may be output and displayed on a computer monitor that can be viewed by the patient by editing the moving image data with the portable terminal shown in FIG.
  • the mobile terminal may be capable of displaying a moving image on a monitor connected to a dental computer that can be viewed by a patient.
  • the present invention includes a configuration for making it possible to clearly set and detect the boundary between teeth and gums.
  • an outline extraction means for extracting the tooth outline of the real image, an image converted by the color component image conversion means and the color component image conversion means for converting the real image into component colors and clarifying the shapes of the teeth and gums
  • the combined configuration of the combined image forming means that combines the extracted contour images enables the contours of the teeth and gingiva to be extracted even when the teeth are dirty or where the illumination is insufficient.
  • the contour extracting means includes, for example, means for performing a two-dimensional Fourier transform on an image, and means for performing an inverse Fourier transform by detecting only a phase signal in a frequency domain indicating a change in light and shade of the image after the Fourier transform.
  • a Z conversion system or a Laplace conversion system may be used.
  • the color component image conversion means includes, for example, RGB color system, La * b * color system, HSV color system, XYZ color system, xyY color system, L * u * v * color system, Munsell color system Image, Ostwald color system, NCS (Natural Color System), DIN color system, etc.
  • RGB color system La * b * color system
  • HSV color system XYZ color system
  • xyY color system xyY color system
  • L * u * v * color system Munsell color system Image
  • Ostwald color system NCS (Natural Color System)
  • DIN color system etc.
  • any one of the L component image, the a * component image, and the b * component image of the La * b * color system is used.
  • Any one of the H (Hue) component image, S (Saturation / Chroma) component image, and V (Brightness / Lightness / Value) component image of the HSV color system may be preferable to combine component colors of different color systems.
  • Component color selection or combination synthesis may be performed as long as conversion to a component color in which the shape is clearly seen or synthesis of a plurality of component colors is performed.
  • the component image includes an image that emphasizes a component, for example, obtained by adjusting a numerical value indicating a component value on a program.
  • a component image whose shape is clearly recognizable it is colored using a combination of colors that allows a person to recognize the boundary more. For example, it is shown that an R (red) component image is applied to the gingiva and a G (green) component image is applied to the tooth.
  • component colors shown here are not limited to those detected from the image, but may be newly colored using colors that clarify the boundaries.
  • the composite image forming unit uses the contour image obtained by the contour extraction unit and the image obtained by the color component image conversion unit as the same color system except for the contour part of the contour image, for example, as in the chroma key method.
  • the color component image is synthesized by being transmitted.
  • the gingiva is changed to a red color or deeply emphasized so that the boundary can be further visually or mechanically distinguished, and the teeth are changed to green.
  • a means for emphasizing the image may be used.
  • the color component image may be converted.
  • Each of these means is preferably realized by computer software, but may be configured by a custom or semi-custom IC such as a gate array or a PLD (Programmable Logic Device).
  • reference numeral 2901 denotes an image input means for inputting a still image taken by an intraoral camera, for example.
  • the still image image input by the image input unit is output to the filter unit 2902.
  • the filter unit 2902 is represented by an edge enhancement filter such as an unsharp filter, but there may be a case where a filter for enhancing the density of an image may be used.
  • the image filtered by the filter unit 2902 is output to the contour extraction unit 2903 and the component color image conversion unit 2904.
  • the contour extraction unit 2903 includes a two-dimensional Fourier transform unit, a phase signal detection unit, and an inverse Fourier transform unit. These units include program modules in a software library such as open-CV (manufactured by Intel). What is executed in combination is exemplified.
  • 2904 is a component color image conversion means for converting into La * b * color system, HSV color system a * component color, b * component color, H component color S component color V component color as described above.
  • Image forming means and component color synthesizing means for synthesizing these component colors.
  • the contour image obtained by the contour extraction unit 2903 and the image converted into the component color image by the component color image conversion unit 2904 are output to the composite display unit 2905.
  • the combination display unit 2905 combines the contour image output from the contour extraction unit 2903 and the output component color image of the component color image conversion unit. In this synthesis, for example, colors other than the contour of the contour image are made similar colors, the similar colors are made transparent, and synthesized with the component color image that becomes the background image.
  • the synthesized image is displayed on a computer monitor.
  • an image with a clear boundary between the gingiva and the tooth can be obtained by a series of these synthesis processes.
  • the boundary KL of the two teeth at the center for example, as a guideline for combining the images in which the mark ML is approximately in the center of the image (for example, the image 906e and the image 1102f) in the left and right tooth rows shown in FIG.
  • This embodiment is preferably used.
  • the contour image obtained by detecting the phase signal by Fourier transform and the actual image may be synthesized as they are.
  • an image with a clear shape can be obtained using only the component color image
  • an image with a clear boundary between the gingiva and the tooth can be obtained only with the image obtained by the component color image detection means.
  • Such an image in which the boundary between teeth and gingiva is clear can be used as a mark for various synthesis operations, or used for explanation to a patient and for dental treatment.
  • the present invention proposes a dental system that can renew patient's intraoral information by providing the patient with easy-to-see intraoral information in order to achieve oral health in dental practice, It is effectively used in the field of dentistry.

Abstract

 歯列の側面を連写撮影して画像列を形成する連写画像列形成手段、連写画像列形成手段で形成された画像列を部分的な歯列画像として、全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段、側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像から放射状に合成して全体の歯列を形成する側面歯列画像合成手段を具備するようにシステムを構成する。このように構成することで、手持ち型の口腔内カメラを用いて、側面歯列のパノラマ画像を形成してコンピュータモニター上に表示し、患者に幅の広い歯科診療を提案すると共に、患者の積極的な歯科診療への参加を図ることができる。

Description

口腔内撮影表示システム
 本発明は、口腔内全般を撮影し、パノラマ表示するシステムに関するものである。
 虫歯等の口腔内疾病の治療は、目的とする治療が終わると通院も終了することが多い。虫歯の治療は、歯の痛み、違和感等の症状を患者が、自覚して始まることが多く、治療が終了すると通院も終了するパターンが多いことから、その他に虫歯があっても、自覚症状が無い場合は、そのまま放置され、虫歯が進行して初めて通院するというケースが多い。また、このような一過性の通院では、口腔内全般の健全化が図れるものでもなく、汚れ、腫れ、欠損、歯石、摩耗、唾石、不具合、等自覚症状が無いが、外部から見ることができる症状は、本人が知らない場合も多くある。
 歯科医業の経営にとっても、単発的に治療を行うことは、収益性が決して良いとは言い得ない場合があるが、解決する好適な手段は見あたらなかった。例えば、特許文献1には、コンピュータモニター上に全歯列が表示され、個々の歯に着色が付されることで、患者側からも見やすい電子カルテの構成が示されている。歯列の見やすさは、インフォームドコンセントにおいても求められる要件であるが、全歯列の一部が見やすい状態であっても、治療の説明に供するには、より拡大され、その治療目的を理解するような構成が必要である。
 また、特許文献2には、コンピュータのモニター画面上に予め撮影した口腔内画像データを複数枚表示する構成が記載されている。さらに、特許文献3では、コンピュータを用いた動画、静止画表示によるプレゼンテーション手法により、専門用語の理解の向上など、インフォームドコンセント用のツールが開示されている。また、この様なプレゼンテーション手法が小学校、中学校、各事業所、老人施設等で教育用に用いることを可能としていることも記載されている。さらに、特許文献4には、X線画像を可視化する蛍光フィルムと、可視化した画像を、プリズムで反射させて、カメラで撮影する構成が開示されている。
 その他の歯科医療関連の特許文献としては、例えば、次のような文献を挙げることができる:特許文献5:ビデオスコープ付き口腔洗浄器;特許文献6:口内カメラ装置及び方法;特許文献7:歯科観察診断用ハンドピース;特許文献8:口腔内カメラの手元スイッチ;特許文献9:ディスプレイ一体型口腔カメラ;特許文献10:口腔内撮影装置及びデンタルミラー;特許文献11:歯科用撮像装置;特許文献12:歯周検査用補助具;特許文献13:定期的検査方法及び装置;特許文献14:歯科医療環境で使用される装置;そして特許文献15:医療用X線画像検出装置。
特開平10-97404号公報 特開2005-334426号公報 特開平10-97405号公報 特開平10-201757号公報 特開2001-212161号公報 特開2005-144171号公報 特開昭62-246347号公報 特開2001-29315号公報 特開2002-355262号公報 特開2005-304600号公報 実公平5-30402号公報 実用新案登録第3131408号公報 米国特許第5752827号明細書 特開2009-516555号公報 特開平5-130991号公報
 画像表示による口腔内の観察は、数多く提案されているが、結局従来の単発的で局所的な治療システム上での、患者への情報提供にとどまるものであり、口腔内の歯全般の健全化を図るようなシステムにまでは到達していない。
 また、歯科医師が患者に治療の説明をする際、歯科用カメラにより自らの口腔内画像や、X線画像が用いられることもあるが、画像自体が難解である。
 さらに、患者にとってわかりやすい画像、データは、歯科医師にとって、患者に診療の説明をしやすくすると共に、患者の口腔内への関心と自己管理意欲の増加が期待できるが、未だこのような期待に答える機器、画像表示等は提案されていない。
 歯科医業は、歯科診療所の増加に伴い、経営を意識せざるをえず、経営を安定化させるために新たな歯科診療への進出や、コストの抑制、継続的に通院する患者の獲得、歯科医業の合理化が必要となってきている。例えば、先に引用した実用新案登録第3131408号公報に記載のような携帯端末の提案もある。
 上記に鑑み本発明は、歯列の側面を連写撮影して画像列を形成する連写画像列形成手段、前記連写画像列形成手段で形成された画像列を部分的な歯列画像として、全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段、前記側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像に基づいて連結合成して全体の歯列を形成する側面歯列画像合成手段を具備することを提案する。このように構成することで、本発明によれば、手持ち型の口腔内カメラを用いて明瞭なパノラマ歯列が形成でき、更にX線パノラマ歯列画像、仮想矯正又は仮想審美着色したパノラマ歯列とを併設して表示したり、重ね合わせて表示することで、歯科における診療範囲を広げることが可能となる。
 更に本発明は、口腔内を診療改善単位毎に画像化する単位画像化手段、前記単位画像化手段で、単位画像化した画像に対し、診療改善順序情報を設定する設定手段、前記診療改善順序情報が付けられた画像を診療改善順序情報に基づいて、一覧的に表示可能に表示する表示手段、前記表示手段で得られた表示情報を表示記録した表示媒体よりなる組み合わせを提案する。このように構成することにより、本発明によれば、患者の治療への自覚を高めて、口腔内の健全化を図ると共に、患者の継続的獲得を可能として歯科医業の経営効率の向上を実現する。
 さらに加えて、本発明は、歯科従事者がコンピュータ等のモニターを用いて患者に上述した手法等を用いて治療内容を説明するためのデータ作成や、歯科従事者の勤怠処理、診療報酬処理等のコンピュータを用いて行われるデータ処理をプロセッサ、メモリ、通信手段、入力手段及び表示手段を備えた小型携帯端末で行うことを提案する。かかる小型携帯端末を使用することで、本発明では、歯科医業の合理化を図ることを実現する。
 本発明で示す画像は、最終的にデジタル画像を示すものであって、動画、静止画いずれを用いても良い。また、本発明における「全体合成の中心となる画像」とは、例えば、2つの部分パノラマ画像を合成する場合の両者に共通する画像を示す。「全体」には、最終的な全体パノラマ歯列画像だけを示すのではなく、例えば、3つ以上の部分歯列画像を形成した場合であって、最初に2つの部分パノラマ歯列画像を合成して得られた合成途中のパノラマ歯列画像も含まれる。「全体合成の中心となる画像から合成して」とは、例えば、前歯の表面の中央の一つの歯の一部が中央にくる画像から、奥歯方向の歯列を連写して得られた複数の静止画像を合成して左側部分歯列パノラマ画像と右側部分歯列パノラマ画像を形成することを意味する。「連結合成」とは、例えば、左側部分歯列パノラマ画像と、右側部分歯列パノラマ画像とで、両者に共通する部位で合成したり、連結可能な部位に基づいて接続したりして合成することを意味する。
 本発明は、合成の中心となる部分を含む画像にマークを設定する場合があるが、このマークとは、例えば、唾液、水等で容易に溶解せず、細長い長方形状のもの、短い長方形状を有し、例えば裏面に接着剤、粘着剤等が塗布されたシールであって、剥がすことが可能な付着物を示す。また、付着物に限らず、色を落とすことが可能で、明確に撮影しやすい、緑、赤等の着色されたペンによりマークを歯に描いても良い。
 マークを配置する部位は、上の歯と下の歯にかかる様に配置されることが好ましいが、例えば、上顎、下顎いずれか一方のみ撮影する場合は、撮影する方のみ配置しても良い。また、マークを配置する歯列上の所定の位置とは、例えば、カメラの撮影方向や、持ち方などを変えることで、撮影が中断したり、動きが静止する位置であって、合成の中心となる画像を示す。
 マークは、撮影画像上で認識しやすい色(緑、青等)、形状で形成されればよく、材質、色は適宜選択される。また、3次元画像を得る場合は、特徴のある立体性を備えたものを用いても良い。マークは、歯の表面に表示され、撮影された画像に明確に位置表示がされるものであればよいことから、例えば、歯表面に投影される寸法が既知の形状を持つレーザー照準光を照射する照射手段を設ける場合や、スポットライトのように、照明距離と照射される光の面積が対応関係にある照射手段を口腔内カメラから歯に向けて照射可能に配置するものであってもよい。
 マークは、少なくとも、マークが所定の位置に撮影された画像から合成が始まれば良く、撮影方向は、奥歯からである必要はない場合もある。撮影方向と合成方向は、必ずしも逆でなくても良く、合成時マークが所定の位置に表示された画像から左右へ部分合成し、最終的にマークが所定の位置に表示された画像に基づいて全体合成が行われれば良い場合もある。合成を開始するマークの所定の位置とは、例えば、マークが撮影画像の中心に来た場合が例示されるが、これに限らず、部分合成と全体合成において、合成が容易な部位であれば良い。
 マークは、例えば、歯の裏側側面等、歯列の右、中央、左の3つの側面について部分合成する場合は、右側面と中央側面の中間の歯、及び中央側面と右側面の歯の2つ必要となる場合もあり、複数のマークが付されても良い場合もある。本発明でいう「歯列の側面」とは、表側だけでなく、裏側、咬合面を含む場合もある。連写は、毎秒30枚以下を自動的に撮影することを示す。
 「合成」は、パノラマ合成手法であり、合成する際の手法は、既存の手法を選択的に用いればよく、単純合成法、単純列挙法、ブロックマッチング法、及びLucas-Kanade法等のオプティカルフロー推定法等の自動又は手動の合成方法が利用可能であるが、事前にアフィン変換等の画像調整手段で、画像間の共通部分に基づいて、傾き、倍率等を調整することが好ましい。
 本発明における特徴部位とは、部分歯列パノラマ画像を結合する際の結合位置を示す線状、点状、図形状、又は立体状のものであって、例えば、2つの側面パノラマ画像を合成する場合は、中央の前歯と前歯の境界線が示されるが、これに限らず、前歯一つ、特徴がある歯や歯肉の先端等の部位も含まれる。
 口腔内を診療改善単位毎に画像化する単位画像化手段における口腔内とは、歯、歯列、歯肉、歯槽骨、口唇、硬口蓋、軟口蓋、口蓋垂等の領域を示すものである。
 「診療」には、診察と治療が含まれ、歯科医では、診察して、治療は、専門の医療機関で行う場合がある。
 「診療改善単位」とは、虫歯、歯周病、舌癌、歯肉癌等、好ましくは、ひとつの診察、治療の範囲を示す他、汚れ、矯正等の改善、予防処理、準診療も示す場合がある。
 「改善」とは、ブラッシング、フッ素、口臭予防剤の塗布等で克服できる程度のものや、歯にフッ素を塗布するような予防処置、クリーニング、歯周病等の予防剤の塗布等、の行為を示すものである。
 「画像化」とは、コンピュータのモニター(ディスプレイ)装置、携帯電話表示部へ出力表示可能な画像データに変換することの他、用紙に印字・印刷された状態等の2次元的又は3次元的な表示がされた状態を示す。
 単位画像化手段で、単位画像化した画像に対し、診療改善順序情報を設定する設定手段の診療改善順序情報とは、診療、予防、改善の順位を示す記号、符合、数値等を示すものであって、その他、診療日時、疾病の進行状況、疾病進行の予測等のデータを示すものであり、少なくとも複数の単位画像に対し、診療改善の順番を決定できるものであれば良く、直接目視確認できる内容の他、演算用のパラメータであって、コンピュータ演算処理によって確認可能なものであっても良い。
 「一覧的に表示可能に表示する」とは、少なくとも、診療改善順序が一覧であって、全体を容易に認識できる状態であれば、複数枚の用紙に印刷したもの、複数画像をスクロールで入れ替えて表示した状態等で構成されても良い場合もある。
 表示手段で得られた表示情報を表示記録した表示媒体とは、1枚以上の用紙、冊子に印字、印刷して表示された状態や、JPEG、GIF、BMP等の様式に基づいた画像データを携帯可能に表示する状態を示し、表示媒体とは、用紙状、冊子状の紙媒体、USBメモリー、SDカードや、メモリー等の記録素子を具えた表示装置、携帯電話、等を示す場合もあるが、少なくとも患者が、携行し、口腔内を見ることができる印刷、印字物、電子画像、等を示す。又、インターネット上のホームページ表示上で、自らの口腔内データを閲覧する場合も含まれることから、表示媒体には、デスクトップ型又はノート型のパーソナルコンピュータも含まれるものである。
 本発明は、反射鏡を利用するため比較的照射光の光路が長く、指向角に基づく広がりを具えたLED等の照準光源を用いることで、撮影位置と撮影範囲を明確にすることができる。
 また、本発明は、反射鏡を利用した口腔内カメラにおいて、歯科医等が、この反射鏡を介して撮影された画像でも撮影位置を明確に理解することを可能とする。
 更に、本発明は、縦横に動く口腔内カメラの姿勢をジャイロセンサによって本体の角度情報を測定し、この本体の角度から鏡の角度を導き出し、どのような状態にあるかを把握する。撮影状態から画像の姿勢を調整することで、縦横に移動するカメラの状態にかかわらず、常に見やすい状態の画像が表示されることを実現できる。
 本発明では、角速度センサ(ジャイロセンサ)、加速度センサ等の位置センサを用いる。具体的には、角速度を出力するレートジャイロ、角度を出力するレート積分ジャイロ、姿勢ジャイロ、MEMS(micro electro mechanical systems)タイプその他機械式、光学式等の角速度センサ、ピエゾ抵抗タイプ、静電容量タイプ、熱検知タイプのMEMSセンサ等の加速度センサが例示される。
 本発明における照準光の色は、照明光の色と識別できる色であれば良く、照明光が白色であれば、照準光は赤色、緑色等が例示される。又、照準光の照射のタイミングは、使用者が撮影を開始する直前のタイミングが好ましいが、撮影中、短時間の照射であってもよい場合もある。
 更に本発明は、身体に装着可能な携帯端末であって、内部に記憶手段、コンピュータ、外部との通信用変復調手段と表示手段を配置して、歯科医業全般の入出力可能とすることで、歯科従業者全般、電子カルテ、診療報酬計算等を手元で行うことができ、且つこれらの情報を共有化及び表示などの同期化をすることで、限られた人数でも、歯科事務、診療関連の事務処理を分散して行うことを可能とすることから、歯科医業の合理化を実現する。
 本発明は、操作用インタフェースが、治療の際、操作可能な位置に配置されることが好ましいが、操作者によって操作の仕方が異なったり、指がインタフェースに届かないといった身体的要件により、操作不能な状況や、患者に説明する状況(例えば、口頭説明と画面表示に間が必要な場合等)に応じ、操作用インタフェースの操作と実際の実行動作を、インタフェースの操作の仕方によって、時間遅延を行う調整手段を設ける。
 これは例えば、操作用インタフェースが、スイッチ類であれば、スイッチを2回連続して押すと、2秒後に実行するように押す回数により遅延時間を調整したり、表示手段の表示のタイミングを、押す回数、押す時間、等で調整するGUI的な操作も可能とする。
 更に本発明は、X線画像を取り込み、実画像と重ね合わせたり、例えば歯ごとのX線画像をつなぎ合わせて、パノラマ的な画像を形成し、同じように撮影結合された実画像と重ね合わせて、歯列の側面からのパノラマ的比較を可能とする手段を具える。この実画像と、X線画像の重ね合わせ、併置等を表示手段上でおこなうことで、患者の治療に対するより一層の理解を実現する。
 更に本発明は、コンピュータ端末と無線や有線で接続し、液晶表示部、テンキー等を場合によっては具え、使用者の腕、足、その他の部位へ装着可能な端末を形成し、患者情報等のコンピュータ端末との入出力を、手元で行うことを可能として、歯科医師が治療に必要な過去のデータや患者毎に治療説明をする際の予備知識を、患者からは見えない状態で行うことが可能であり、患者への的確な診療と治療説明等を可能とする。
 即ち、歯科関連情報を入力する入力部、歯科関連情報を表示する表示部を具えた携帯端末、歯科関連情報を一時的又は継続的に記録する記録手段、歯科関連情報を所定のアルゴリズムに基づいて処理を行う処理手段を具えたホスト端末、携帯端末とセンタ端末間を無線又は有線で情報伝達を行う情報伝達手段よりなる歯科診療システムと集約されてもよく、かかる場合、携帯端末は、歯科従事者それぞれが腕、足、上半身、下半身等身体に装着して携行してもよく、歯科従事者全員またはその一部が表示される情報を共有可能としてもよい。
 本システムは、上記で示すように携行可能な構成とする他、タブレット型やデスクトップ型のパソコンとして使用するものであってもよく、その場合も歯科に関する一元管理が行われてもよい。
 本携帯端末は、入出力可能で、情報処理可能な端末であることから、口腔内情報、歯科診療情報、歯科事務情報、歯科従事者情報等の歯科医業関連情報を一元的に管理することができる。具体的には、対応するソフトウエア、口腔内カメラ等の周辺機器、等からの情報を表示したり、新規データの追加、修正、削除等の入力処理及びデータの記憶が行える状態、他の携帯端末、ホスト端末のデータを共有、同期させて表示、入力処理が行える状態を示すものが例示されるがこれに限られるものではなく、少なくとも携帯端末から、必要とする歯科情報の表示と記録、及び入力処理が行えればよい。
 コンピュータのモニター画面上では、例えば、携帯端末の画面にメニュー表示がされ、その他、各情報を使用者がマウス等選択する毎に画面が切り替わる表示や一つの画面に特定の患者の全情報が個々にウィンドウ画面として表示がなされる。
 使用者は、画面の表示内容に従って、選択、新規、訂正、削除等の入力を行う。入力は、備え付けのテンキーや、仮想テンキーを用いて行われたり、予め設定された入力文字のマウスやテンキー等での選択によって行われても良い。
 また、歯科従業員の勤怠の入力は、例えば、個々の従業員が、自分の携帯端末、ホスト端末を用いて行ったり、勤怠担当者が、自分の携帯端末またはホスト端末から新規、訂正、削除等の入力を行ってもよい。歯科従事者がそれぞれ携帯端末をもち、それぞれ担当者のみが処理可能としている場合は、担当者にパスワードの設定を行っても良い。
 一元管理は、例えば一つの端末で、口腔内情報、歯科診療情報、歯科事務情報、歯科従事者情報等の歯科医業関連情報の入出力表示ができる場合を示すものであるが、これに限らず、その一部の情報であっても、目的とする管理対象に応じるものであれば含まれる。
 本発明は更に、歯科治療のメニューを、予め細分化されたパーツ的な細分化画像を組み合わせることで形成し、患者毎の治療に応じた静止画、スライド動画、又は動画等の説明用画像を形成することを可能とする。
 細分化画像は、例えば、抜歯画像、対合歯延出画像、加工物の説明画像等でCG画像、動画像で予め作成されていることが好ましい。これらをインプラント治療や補綴物治療等の治療メニュー表示から歯科医師、歯科衛生士等が患者に基づいて選択して、結合したり、患者が選択して結合したりする。
 選択は、個々の細分化画像を選択して、コンピュータ上で連続して実行させれば足りる。また、予め選択しておいた既成動画を複数用意しておいて、歯科従業者又は患者が治療説明用組み合わせ動画として、治療前、治療後、場合によっては治療中に見るものであっても良い。
 この連結した画像は、患者自身の治療状況に即した内容を形成できるために、より一層の理解と、虫歯予防等の啓蒙活動への効果が期待できる。このパーツ状の動画、撮影手段で患者の画像を撮影したものを、同じ画像様式に変換して使用してもよく、患者にわかりやすく、しかも歯科医師等の使用者にとって使用しやすい治療システムを提案する。
 本発明は、一部又は全部の歯列について、実画像による明瞭なパノラマ的表示を可能とし、更に場合によっては、X線画像を、重ねたり、併記したりして表示することができることから、当該表示を用いて患者に対し、わかりやすい診療説明を行うことができる。
 また、本発明は、反射鏡を用いた口腔内カメラの撮影位置を正確に表示することを可能とすると共に、口腔内を縦横に移動する撮影ユニットの撮影姿勢を把握して、撮影画像を見やすい状態に調整可能とする。
 患者は、常に自らの口腔内の状況と、診療の必要性を携行可能に用紙又は記録メディアに一覧表示された表示手段によって認識することで、口腔内健全化のための診療と改善を継続的に行う可能性が高くなり、歯科医業における収益の向上等の経営改善も可能となる。
 本発明はまた、歯科医業全般の処理をデジタルデータ処理可能な携帯端末を用いて処理することで、合理化とコスト削減を可能とする。
図1は、本発明の一実施例を示すブロック図である。 図2は、実施例を説明する為の模式図である。 図3は、実施例を説明する為の模式図である。 図4は、実施例を説明する為の模式図である。 図5は、本発明の他の実施例を示すブロック図である。 図6は、実施例を説明する為の模式図である。 図7は、実施例を説明する為の模式図である。 図8は、実施例を説明する為の模式図である。 図9は本発明の一実施例を示す模式図である。 図10は、実施例を説明する為の模式図である。 図11は、実施例を説明する為の模式図である。 図12は、実施例を説明する為の模式図である。 図13は、本発明の他の実施例を示すブロック図である。 図14は、実施例を説明する為の模式図である。 図15は、実施例を説明する為の模式図である。 図16は、実施例を説明する為の模式図である。 図17は、実施例を説明する為の模式図である。 図18は、本発明の一実施例を示すブロック図である。 図19は、本発明の実施例を説明する為の模式図である。 図20は、本発明の実施例を説明する為のブロック図である。 図21は、本発明の実施例を説明する為のブロック図である。 図22は、本発明の実施例を説明するための模式図である。 図23は、本発明の実施例を説明するための模式図である。 図24は、本発明の実施例を説明するためのブロック図である。 図25は、本発明の実施例を説明するためのブロック図である。 図26は、本発明の実施例を説明するためのブロック図である。 図27は、本発明の実施例を説明するための模式図である。 図28は、本発明の実施例を説明するための模式図である。 図29は、本発明の実施例を説明するためのブロック図である。
 引き続いて、本発明を実施するためのいろいろな形態及び実施例を図面を参照しながら詳細に説明する。但し、本発明は、下記の形態のみに限定されるものではなく、本発明の範囲内において種々の変更及び改良が可能であることを理解されたい。
 本発明は、歯列を連写撮影して、パノラマ合成による部分パノラマ画像と、これら部分的なパノラマ画像を合成して全体のパノラマ歯列を形成する手法であって、好ましくは合成部にマークを配置する構成により、手持ちカメラによる歯列パノラマ画像を容易に形成することを可能とする。
 本発明は、歯科診療の際、又は、検診、その他、家庭で撮影した口腔画像から、診療、改善に対応した単位画像を口腔内カメラ、X線撮影装置を用いて取得する。この単位画像を、例えば患者と一緒に見ることが出来るコンピュータ用のモニター(ディスプレイ)装置に映しだして、患者が口腔内の状況を認識しながら、歯科医師と共に診療の順位、診療の開始期間、診療の必要性の度合い等を記入して得られる診療改善順序情報と単位画像を、一枚の用紙に印字、印刷したり、記憶媒体を具えた携帯電話に記憶させると共に携帯電話のモニターに表示するか、さもなければ、歯科医師が開設するホームページであって、個人専用の画面に表示する。
 本発明は、身体に装着可能な携帯端末であって、内部に記憶手段、コンピュータ、外部との通信用変復調手段と表示手段を配置して、歯科医業全般の入出力及びデータ処理を可能とすることで、歯科従業者の勤怠管理、電子カルテ記入、診療報酬計算等を歯科従事者がそれぞれの手元で行うことができ、且つこれらの情報を共有化する。携帯端末は、ホスト端末と、赤外線、光等の媒体を介して無線接続したり、有線で接続する。又は、携帯端末は、無線LAN、有線LAN等を介して、クラウドコンピューティング化されたコンピュータネットワークに接続するコンピュータ仕様を有してもよい。
(第1の実施形態)
 図1(a)は、本発明の一実施例を示す図である。図中、参照番号11は、口腔内画像入力手段であり、例えば、上顎、下顎の全歯を撮影する為のカメラを用いて、撮影し、デジタル画像データを得る装置である。
 口腔内画像入力手段11は、例えば、図3(c)で示すような凸面鏡を用いた反射型の歯科用カメラ、その他魚眼レンズを用いた口腔内撮影用のカメラであって、全歯のデジタル画像を出力する。或いは、図6で示すように通常の口腔内カメラで各歯を撮影し、個々の撮影画像から輪郭を抽出して、その輪郭の共通部で接続し、合成していき、全歯画像を得る手法等を用いても良い。
 12は、診療部位検出手段であり、例えば、診療又は改善の為の歯及びその歯の所定の範囲を設定する為のものであり、口腔内画像入力手段11で入力された広範囲の口腔内画像から、目視によりグラフィックソフトを用いて、切り出して抽出する。又は、歯の輪郭をソフトウエアの処理により抽出して求め、抽出した輪郭を円と仮定してその中心を求め、この中心から、半径が輪郭よりも、10%~20%長い半径の画像を抽出する工程等が示される。
 13は、単位画像形成手段であり、診療部位検出手段12で得られた診療のための画像を表示用に加工形成するものであり、診療順位、コメントを記入する領域を付加した画像を形成する為のものである。単位画像形成手段13は上述した診療部位検出手段12で診療部位を、ソフトウエアによるアイコン操作により、指定することで自動的にひな形が作成表示される。
 画像は、口腔内画像入力手段11で入力された画像から指定範囲のみを映し出す場合や、別途、作成された単位画像表示のひな形を使用者が自ら指定してもよい。画像も、単位画像が表示された時点で、図3で示す適当な反射鏡を用いたカメラで撮影して、表示させても良い。その表示は、単位画像エリアで最初動画的に表示され、その後、確定ボタンを押すことで、確定して静止画像として表示してもよい。
 14は、診療順位設定手段であり、例えば虫歯の進行状況や、診療改善の程度により、歯科医師が任意に又は、患者との相談をしながら、又は、虫歯の進行状況や、形状の変形度を自動的に測定して、順位を決定しても良い。自動順位の決定は、歯の色の違いを数値化して一定の閾値と比較したり、歯の基本形から、その変形度がある一定以上越えていたり、虫歯検出波長の照明光源に対する波長に基づくスペクトル成分の、大きさが所定の値以上であることなどにより、順位参照が行われ、モニター(ディスプレイ)装置の画面上での画像の順位を変更しても良い。
 上述の変更は、患者との話し合いの上で、治療、診察の順位を決めることから、決めたあと、確定ボタンを押すことで、画面上に配置された単位画像の順位が自動的に変更され患者用の印刷を施すことで、診療時間の合理性を図ることができる。
 15は、診療説明形成手段であり、診療順位設定手段14と同様、診療開始時期の記入、診療の緊急性、或いは、診療手法等、患者が、必要と思う内容を歯科医師がデータとして記入する手段である。この記入は、コンピュータのキーボード(例えば図3の315)からの入力、マウス(例えば図3の316)を用いた操作による既定説明の選択、図3で示す口腔内カメラの操作ボタンがコンピュータの入力インタフェースに接続した状態で、カメラ本体に付随するボタンを操作する事による入力であっても良い。
 診療説明形成手段15は、図2(c)から図2(e)に示すセル21bから23bに診療開始日又は診療開始予定日が記入されるが、この日付は、自動的に診療可能最短日が表示されてもよい。
 診療開始可能最短日は、記録手段17で記録され蓄積された各患者のデータベース中の診療開始予定日記入欄を呼び出して、その中で、記入されていない日であって、最短日を表示する様に設定される機能を有しても良い。
 具体的構成を図1(b)に示す。これは、診療説明形成手段の一部の構成であって、その他を省略した状態を示している。151は、患者データベース呼出手段であって、図2で示す画像データ、順位データ、治療開始日(時間を含む)データ、及び説明データが記録されたデータベースであり、一般的な管理がされているものから、関連するデータを一時的な記録領域へ記録していく。これは、蓄積されたデータが多い場合は、検査するたびにデータベースへデータを呼びにいく構成であっても良い。
 最短診療日検索手段152は、この中から、診療開始日データを呼び出して診療開始日が記入されていない日付を、検索開始日から検索していき、一致しないデータがあった場合、これを最短診療日として出力する。
 153は、最短診療日表示手段であり、最短診療日検索手段152で検索して検出された日時を単位画像上の表示部に表示する手段である。
 154は、 空き診療日表示手段であり、開いている診療日時をわかりやすいように表示するものであり、例えばアナログ時計とカレンダーの略式表示等、コンピュータモニター上に、1か月単位、数ヶ月単位、又は1年単位の表示を行ってもよい。
 155は、決定入力手段であり、患者の同意と共にデータベースへの記録を開始するための入力部である。
 156は、記録手段であり、データベースへの記録を行う手段であるが、この記録手段156は、記録手段17と同じであり、記録手段17で確定記録がされてもよいが、診療日時は、同時に他の医師が患者と同様のスケジュールを立てている可能性があることから、迅速なエータベースの記録が必要であることから、決定次第データベースへの記録が行われる事が好ましい。
 再び図1(a)に戻ると、16は、表示出力手段であり、単位画像、診療順位、及び診療説明からなる画像をコンピュータのモニター(ディスプレイ)装置の画面上で編集して表示したり、プリンタ(例えば図3の317)を用いて用紙上に編集した画像を印字、印刷したりするものである。
 17は、記録手段であり、編集された画像データを記録するためのものであって、歯科医が具えた電子カルテの一部として記録したり、患者の携帯電話、コンピュータに、記憶媒体を介して記録したりする為の手段である。記録手段17は、患者個々のデータから、患者全体のデータを蓄積したデータベースを含む。
 次に、口腔内カメラの一例を図3で示し、説明する。
 参照番号301は、把持用筐体であり、ペンシル状の口腔内カメラを形成すべく、円筒状で形成され、内部に回路基板、外部との連結のためのUSB接続回路、USBソケットが内接されている。
 先端にカメラユニット309が一体的に接続されており、例えば図3(e)で示すようにカメラユニット309は、中心に例えばCCDカメラを配置し、その周辺に、白色LED、その他の色のLED、その他の照明用素子312が、同心円状に等間隔で配置されている構成が示される。
 302は、反射鏡ユニットであり、先端に、例えば45度角度で配置された平面鏡303が接続し、後端は、カメラユニット309の外周に挿入接続し交換可能な状態で円筒部305が形成されている。カメラユニット309の外形と、反射鏡ユニット302の円筒部305の内形は、楕円状で形成され、挿入装着時に回転しないような設定がなされる事が好ましい。
 反射鏡ユニット302は、適時、交換可能であり、図3(b)は、平面鏡303を具えた反射鏡ユニットを装着した状態、図3(c)は、球面状の凸面鏡308が設定された反射鏡ユニット310がカメラユニット309と挿入結合した状態となっている。
 このように、全歯を撮影する場合は、図3(c)の凸面鏡308を接続した反射鏡ユニット310を用いて、凸面鏡308の凸面反射映像をカメラユニット309のカメラ313で撮影し、照明用素子312の出力光は、凸面鏡308を反射して、口腔内の観察部位を照射する。カメラ313は、CCD様式、C-MOS様式等が例示され、分解能は、より高画質が好ましいが、動画像を主とする場合は、画質を低くして使用してもよい。
 通常の撮影の場合は、図3(b)で示す平面鏡303を装着した反射鏡ユニットの円筒部305をカメラユニット309の外周に挿入して結合させて用いる。
 304は、リード線であり、専用電気リード線や汎用USBケーブル、等が利用できる。
 306及び307は、操作ボタンであり、1乃至複数の押圧式、回転式、これらの複合式、等のボタンであり、本実施例では、2つ示した。電源のオンオフ、等のカメラの操作を行う他、リード線304を介して接続するコンピュータ314のモニターモニター314Aに表示された選択、操作用表示ウィンドウをこの操作ボタン307を押したりして操作するGUI(グラフィカル、ユーザ インタフェース)機能を備えている場合もある。例えば、単位画像の順位が決まった後、自動的に順位順に並び替える場合、この操作ボタン306及び307を操作して実行可能とする。
 例えば、306をマウスの左クリック機能に相当するボタン、307を右クリック機能に相当するボタンとしてもよい。
 314は、コンピュータであり、モニター(ディスプレイ)314Aと一体型を形成したものを例示する。その他、専用装置としての組み合わせであってもよい。
 315は、キーボードであり、316はコンピュータ用のマウスである。いずれもコンピュータ操作用として用いられ、更に口腔内カメラを操作するためのスイッチも兼ねている。
 317は、プリンタであり、インクジェット方式、レーザ方式のカラープリンタ等で形成され、患者に自らの口腔内画像を印刷したりして提供する際に用いられる。
 図3(d)は、反射鏡として凹面鏡311を用いた反射鏡ユニット318を示すものであって、例えば拡大的な画像を必要とする場合に用いる。又、口腔内の場合、歯列から内側だけを拡大的に撮影する場合、凹面鏡311の曲率を平面鏡に近い方向で調整して、歯列から多少離れた所から撮影することで、本発明で示す広範囲的な画像の取得を行う場合もある。
 本発明では、歯列だけでなく、口舌、唇、歯肉、等を広範囲画像、単位画像として取り扱う場合もある。例えば、舌の癌の現れともなるポリープを単位画像として表示して、診療の説明を行う場合等の本発明は好適に利用可能である。
 次に、全歯画像を形成するための一例を示した図6を参照して本発明を説明する。用いるカメラは、図3(b)で示すような、平面鏡303を用いた反射鏡ユニット302を用いたものである。又、画像は、静止デジタル画撮影でもよく、デジタル動画撮影であってもよい。尚、動画デジタル画像から複数の静止画を得る場合、動画撮影用であるため、画素数が比較的小さくなることから、静止画をオートシャッタで動かしながら撮影することが好ましい。
 図6(a)で示す下顎600の全歯に対し、反射鏡ユニット302の平面鏡303を撮影面601から612方向へ移動させながら、撮影する。デジタル動画撮影の場合は、静止画を30枚/秒程度で入力する場合と同様であることから、デジタル動画撮影用の口腔内カメラの反射鏡部分を図6(a)の撮影面601から612の軌跡に沿って移動させれば、多数の静止画が求められる。尚、静止画連続撮影の方が、動画撮影による静止画取得よりも、画素数が多く、分解能が高いので、この全歯画像から個々の歯の画像を取得する場合に好ましい態様となる。
 図6(b)は、図6(a)で示す撮影を行った場合の個々の画像の一部を示している。
613は、画像601と602の共通部分画像であり、614は、画像602と603の共通部分画像であり、615は、画像603と604の共通部分画像である。その他、604と605、605と606、606と607、607と608、608と609、609と610、610と611、611と612のそれぞれにも共通部分画像が得られるように撮影する。
 例えば、これらの画像を2値化し、輪郭を取得した状態で、共通部分の輪郭を画像間で一致するように重ね合わせていく。更に画像605、606、607、608、609、610、611、612と順に撮影して画像化し、それぞれの画像を互いの共通部に基づいて連結させ、全歯画像を得るものである。パノラマ状の咬合面画像は、公知のパノラマ合成ソフトウェアによって形成可能であるが、手持ちによる揺動が影響する場合、合成前に画像を補正する為、アフィン変換処理を行うことが好ましい場合がある。
 次に、上記実施例の動作を図2を参照して詳細に説明する。
 口腔内画像入力手段11により口腔内の例えば上顎全歯を撮影する。撮影した画像の位置を図2(a)に示す。口腔内画像入力手段11は、少なくとも歯科医師が診療対象とした歯が含まれ、それが口腔内のどの部分に相当するかわかる画像であれば良い。
 図2(a)で示す画像は、例えば図3(c)で示す口腔内撮影ユニットによって撮影されたものであり、更にキャリブレーションを行って、歪みを補正してもよい。又、口腔内画像入力手段11は、必ずしも全歯というわけではなく、部分歯である場合や、一つの歯である場合もある。図2(a)は、上顎20を示し、全歯及び硬口蓋部も撮影されており、この部位の診療も併せて行う場合もある。
 次に、診療部位検出手段12により、診療、改善を要する部位を自動又は手動で抽出する。手動で抽出する場合、グラフィックソフトウエアと同様に、マウスを用いて丸又は四角で指定して、コピー、切り取り等をして、更にこれを貼り付け作業により貼り付ける。図2(a)の20a、20b及び20cは、対象とする歯にグラフィックソフトウエアによって目立つ色彩の円を手動又は自動で指示表示した状態を示す。
 手動で指示表示するとは、例えばコンピュータに付属したマウス、キーボードを操作して円、四角、その他の輪郭図形等であって、内部が透過処理されたものを描くことであり、自動で指示表示するとは、例えば、画面上にマウスで、指定部位にポインタをもっていってボタンを押すと、所定の半径の円や、所定の面積の四角等であって、内部が透過処理されたものが表示される。
 次に、単位画像形成手段13で、図2(c)で示す指定された歯20aを単位画像21に調整する。その際、例えば治療の順位を決定した後に順位を記入する順位欄21a、例えば治療開始を決定した後に記入する診療開始日欄21b、どのような診療がされるかを記入する説明欄21cが付加設定される。この最短診療日を、例えば、図2の順位が一番早い単位画像の診療開始日欄21bに表示する。この日に対して患者が同意する場合は、決定入力手段155へ移動して、この日を決定し、記録手段156で患者のデータベースへ記録する。
 患者が同意しない場合は、空き診療日表示手段154で空き診療日がカレンダー形式のような2次元形式で表示される。この表示は、一覧形、手めくり形など、スケジュール表示の手法が採用されるが少なくとも患者がわかりやすい表示であれば良い。
 なお、日付だけでなく、時間も必要であることから、時計表示も併せて行われる事が好ましい。この表示に基づいて、診療開始日の同意があると、決定入力手段155でその日時が入力され、記録手段156で、データベースに記録される。
 次の順位の単位画像へ移動して同じ様な診療開始日が決定記入される。
 このような、診療日のスケジュール操作は、本発明が、複数の診療予定日を設定する際は、一過性の診療では、生じなかった他の患者とのスケジュールとの混同を避ける必要があるため、スケジュール明確化には有効である。
 なお、歯毎にID番号をいずれかの欄に記入したものであっても良い。この欄は、データベースで用いられる入力用ボックス表示等が示され、診療日は、他の患者の診療スケジュールから開いた日を自動的に決定可能であることから、単位画像が表示された時点で、他の患者のデータから、空いた時間を表示しても良い。これらの枠内の表示内容は、治療前の画像は少なくとも治療順位が表示される欄があれば良く、又は、それぞれに識別符合を付してそれを表示しても良い。
 図2(d)は、図2(a)の診療用の歯20bを示す単位画像22であり、図2(e)は、図2(a)の診療用の歯20cを示す単位画像23である。
 単位画像22には、順位欄22a、診療開始日欄22b、説明欄22cが一体的に表示され、図2(e)も同様に、単位画像23において順位欄23a、診療開始日欄23b、説明欄23cが一体的に表示される。なお、確定するときは、確定ボタン(画面上で表示された仮想ボタンを含む)を押す。確定ボタンを押すことにより、順位記入欄の番号に沿って、並び替えられて表示されてもよく、この作業を自動化することで、最終的に患者へ渡す用紙の作成時間を短くできる。
 図2で示す図は、全体が一つのコンピュータのモニターモニターに表示されている状態を示す場合もある。この場合は、既に表示出力手段16での操作範囲を兼ねている場合もある。
 診療順位設定手段14では、順位欄22aの順位を、歯科医単独で又は、歯科医と患者が話し合いながら、決定し記入する。同様に診療説明形成手段15で診療開始日欄22b、説明欄22cを記入する。この記入は、専門的内容を多く含むことから、歯科医が予め単独で行う場合もある。
 表示出力手段16は、コンピュータ画面上に確定した複数の単位画像と、全歯画像が掲載されている状態を形成し、表示する。表示出力手段16は、歯科診療時等に行われる場合は、一画面上に表示される事が好ましい。
 しかしながら、単位画像が多い場合は、スクロールも行われたり、必要に応じ縮小されたり、又はサムネール状に表示されても良い。更に、確定した表示出力手段16における画像は、プリンタによって、用紙に印字され、患者に配布されてもよい。患者は、自らの口腔内を画像で所持することで、口腔内の健全化を図る為に通院を行うことが期待される。そして診療完了後、再度図1で示す様に口腔内の撮影を行う。
 同じ部位の歯20aを単位画像24として図2(b)で示す様な画像表示を行う。24dが診療部位であり、24aは、例えば、診療順位設定手段14で、予め診療順位が設定された画像データから同一の画像データを検索し、その際表示された順位表示が行われる。24bは、例えば診療説明形成手段15で診療した際の記録事項、等が予め記載されている。
 そして、図2(a)で示す診療後の単位画像は、診療前の単位画像であって、同一のものに隣接する箇所で表示され、歯科医への信頼や、診療した歯のメンテナンスの為の通院のタイミングが認識できる。24cは、例えば診療後の説明欄であり、次の診療の開始を患者と相談する為の説明欄がより好ましい。
 そして、表示出力手段16で、プリンタにより一枚の用紙に、例えば図4の400で示すような4枚の画像を印字して患者に渡し、継続的診療の必要性を患者に与える。なお、400は、図2(a)で示す口腔内広範囲画像が掲載されていないが、好ましくは広範囲画像を掲載して、診療部位を明確にすることで、患者のより一層の理解が得られる。
 図2及び図4の各表示欄は、一例であり、単位画像あたりの表示欄の数、表示内容も、治療の目的、スケジュール等に応じて適宜選択されるものである。
(第2の実施形態)
 次に、他の実施例を図5に示し説明する。図中、参照番号51は、広範囲画像入力手段であり、口腔内の上顎の全歯、下顎の全歯を撮影する為の手段であり、例えば図3(c)で示す凸面鏡に映した全歯をカメラで撮影することで広範囲画像を得たり、図6で示す様な連続撮影、デジタル動画を構成する静止画から共通部分を合成して、全歯画像の形成を行うものであってもよい。
 52は、歯検出手段であり、広範囲画像入力手段51で得られた歯列からそれぞれの歯の画像データを抽出する手段である。抽出は、例えば、輪郭抽出プログラムにより更にその周辺を所定範囲だけ抽出して一つの歯の画像を形成する手段の他、図3(b)で示す平面鏡を用いて個々の歯を撮影して一画像化する手段をとっても良いが、全歯画像や口腔内広範囲画像から単位画像を切り取って、一つの歯の画像を形成する手段の方が、合理的で好ましい場合もある。
 53は、単位画像形成手段であり、歯検出手段52で得られた個々の画像に、それぞれ、順位記入欄、診療説明記入欄などを付加して、表示用の画像を形成するためのものである。更に歯用のデータベースを形成して、固有の記号を付して管理することが好ましい。
 54は、診療画像選択手段であり、虫歯、欠損等の診療対象となる歯を画像から選択するための手段であり、歯科医師が目視で又は、先に登録したデータを読み出して比較して、色、形状等の相違により診療対象の歯として選択してもよい。
 55は、診療順位設定手段であり、診療する歯の順番を歯科医師が単独で決定するほか、歯科医師と、患者が、コンピュータのモニター(例えば図3(a)のモニター314A)に映し出された又は、印字印刷された画像を元に、話し合いながら決定してもよい。
 56は、診療説明形成手段であり、診療の期間、開始日、及び診療の内容、改善の必要性等を歯科医師単独又は、患者との打ち合わせにより記入されたり、先のデータとの比較による、その差の大きさにより予め記録された説明を表示しても良い。
 57は、表示出力手段であり、診療対象となる表示画像を1枚の用紙に表示したり、コンピュータのモニター(例えば図3(a)の314A)に表示したりして、患者の同意と、理解を得るための説明に供されてもよい。又、用紙に印刷された画像は、患者に提供して、今後の診療スケジュールとして、継続的な歯科診療が実現される。
 58は、記録手段であり、カルテとして、又はデータベースとして記録され、又はサーバの患者専用の記憶領域にアップロードしたり、患者の携帯電話の記録部に歯画像データを記録させてもよい。
 次に、図5で示す実施例の動作を図7を参照して説明する。本実施例では、患者の口腔内から広範囲画像入力手段51で、全歯を撮影して、一枚、又は複数枚からなる全歯の画像データ700を形成する(図7(a)を参照)。全歯を示す画像データ700は、図6で示した静止画像を連結して形成したものを一例とすることができる。得られた広範囲画像データ700から、歯検出手段52により手動で又は自動で歯画像を形成する。
 自動で歯を検出する手法として、口腔内の画像データを輪郭抽出プログラムにより輪郭抽出して、歯の輪郭をそれぞれ検出する。この場合、輪郭が不完全な場合は、その数点を検出して、この数点を通過する仮想円を形成する。この仮想円を、一つの歯の位置とみなすことが出来るから、想定された中心から更に半径を所定値だけ広げ、四角面としてその範囲を一つの歯の画像として抽出する。
 抽出した画像は、例えば図7(b)で示すようになる。歯71に対し歯画像701、歯72に対し、歯画像702、歯73に対し歯画像703である。
 次に、単位画像形成手段53で、これらの歯の画像に、識別子等、患者の情報と関連づけて単位画像化する(図7(c)を参照)。単位画像74には、歯画像701と、診療順位等を記入するための表示欄704が掲載されている。単位画像75には、歯画像702と表示欄705、単位画像76には、歯画像703と表示欄706がそれぞれ掲載されている。これらの単位画像は、予め設定された患者データベースに記録され患者の上下口腔内データリストを形成する。
 診療画像選択手段54では、単位画像の中から、診療又は改善対象となる歯牙画像を示す単位画像77を、目視又は自動で抽出する(図7(d)を参照)。
 図1と同様の構成を有し同様の動作を行う診療順位設定手段55、及び診療説明形成手段56で、それぞれ、歯科医師単独又は、好ましくは患者と、コンピュータのモニターに写った単位歯画像を見ながら、診療順位等を記入していく。
 そして、診療順位が決定し、診療開始日等が書き込まれた段階で、表示出力手段57において、コンピュータのモニター78に例えば図7(e)で示すような順序表示された単位画像の配列又は、図7(f)で示すように広範囲画像を更に含めて編集された状態で表示されてもよく、患者に診療の認識と、継続的な診療に同意が得られる状況を形成することができる。
 単位画像707、708、709及び710は、治療開始順に並ぶことが好ましい。図7(f)は、例えば全歯画像データ711を含む画面表示又は、患者が携行する印刷物化した歯データ79である。
 記録手段58は、これらの単位画像をデータベースに記録し、他の患者のスケジュールの調整に適宜利用される。
 また、本発明は、広域画像取得に際し、図3で示した凸面鏡を用いた手法又は、反射鏡を歯列に沿って移動させて、静止画像を結合して得る手法を併合して一枚の画像を形成しても良い。即ち、歯列のみを静止画像とし、舌の部位を凸面反射鏡を用いて撮影し、画像合成をすることで、歪みのない歯列を具えた口腔内広域画像が得られる。
 更に、歯を噛み合わせた状態でパノラマ状の歯列を明瞭に合成を行って形成するパノラマ歯列画像形成手法の一例を図8から図12に示す。
 図8で示すように、カメラにより、左奥から撮影した画像を中央付近まで撮影をし、口腔内カメラの向きを変えて、右奥から中央付近くらいまで連写撮影する手法がとられるが、この場合、一度カメラの方向を変える為に撮影状態が中断することから、左右の歯列画像の合成が正確にできず、ずれてしまうことが多い。
 また、手動によるカメラの移動撮影は、例えば、奥歯の撮影の場合、口腔内内面の頬肉と歯側面間に配置され、この頬肉を押しのける様な状態で口腔内カメラを移動させたり、歯側面との接触状態が形成される等するため、頬肉、歯側面が口腔内カメラの反射鏡や、カメラの撮影部位を支える状態となるが、前歯方向へ口腔内カメラを移動させると、頬肉による圧迫等から解放されて、手持ち状態となり撮影するカメラの位置が不安定となり、画像が乱れやすくなる。特にカメラと被写体である歯側面との距離が変動したり撮影向きにぶれが出たりして、被写体である歯の大きさが変動したり画像に歪みが生じる場合がある。
 図8で示した反射鏡を用いた口腔内カメラ901は、図3で示す構成が例示され、モジュール状のCCDカメラ、C-MOSカメラの周辺に光源用LEDを複数配列した構成であって、反射鏡を介して、口腔内に光源用LEDによる照明を行うとともに、口腔内の歯列等の画像を連写的に得るものであり、奥歯から安定して撮影できるものであるが、これに限るものではなく、反射鏡を用いない直接撮影用のカメラであっても良い場合もある。
 ここで用いる口腔内カメラ901は、平面状の反射鏡902(図3の303)を備えた反射鏡ユニット903(図3の302)を、CCDカメラ、C-MOSカメラなどの撮像器と発光ダイオードを撮像器の周囲に4~8個程度配置した照明器を組み合わせた撮影ユニット905(図3の309)を先端に備えた本体904(図3の301)の先端に交換可能として装着使用する構成をそなえたものが例示される。
 撮影ユニット905は、静止画を例えば毎秒10枚から30枚の範囲で画像が得られる様に撮影する連写手法を用いて静止画デジタル画像を出力するものが例示される。
 連写撮影を始めるまでに、あらかじめ上下の歯を噛み合わせた状態の歯列900aの中央付近にマークMLを付しておく、マークMLは、着色されたシールの一時的付着、色を落とすことが可能な着色ペンによる記載、等、カメラ撮影により画像に鮮明に表示できるものが好ましい。マークMLを例えば歯列の中心付近に付す際の中心付近とは、左右の歯列を連写撮影した後、合成する際の基準となる場所を示すものであって、その他、撮影した画像の中央付近で、画像処理上特徴となる部位を検出し、その部位をマーク画像上に設定するものであってもよい。マークMLは、上歯と下歯にかかる様に配置することが好ましい。
 この連写動作を奥歯の位置であって、例えば906aの状態から906b、906cの様に歯面に沿って、好ましくは歯列面から同じ距離だけ離して、本体904を手で持ち、反射鏡902を動かして撮影する。
 IGは、補正用表示部であり、歯表面に剥離可能な状態で付着される貼付部材に、画像補正用の例えば井桁、四角、三角、碁盤の目、その他の図形であって、画像の歪み、カメラと歯側面間の距離に基づく、画像の大小等の補正が可能な表示であればよく、又補正用表示部IGの色も緑色、その他、画像処理において識別可能な色彩を付したものであれば緑色に限るものではない。
 この貼付部材は、例えば、図8及び図10で示す様に歯の中央であって、マークMLを付した歯の表面に貼り付けても良く、又貼り付ける歯は、一つの歯に限らず、複数の歯に貼付部材を貼り付けて撮影してもよく、その他の歯であって、口腔内で、その他の支えがなく、手動で歯を撮影する部位へ付してもよい場合もある。
 補正用表示部IGを歯表面に付する手段は、マークMLと同様の手法を用いれば良く、表示が唾液等で、溶けたり、滲んだりしないものを用いることが例示され 左歯列一部パノラマ画像と右歯列一部パノラマ画像を、両者に共通して撮影された補正用表示部IGに基づいて、両画像歪みや大きさを補正して、結合する際は好適である。なお、左歯列と中央歯列及び右歯列と3つに分割した一部パノラマ画像を結合する際は、それぞれの一部パノラマ画像列の共通な歯に補助用表示部IGを設けても良い。
 撮影された個々の静止画における補正も、例えば、連写して得られる画像内で、基準となる補助用表示部IGに基づくか、又は、撮影された画像群の中で補正用表示部IGが撮影されているものの一つをブロックマッチング法やテンプレートマッチング法等で検出してこれを基準とし、他の画像で撮影された補助用表示部IGを検出した後、基準画像と比較して、歪み、傾き、大きさの差等を検出し、拡大、縮小、回転、移動調整をするアフィン変換を用いた補正を行っても良い。手動による揺動が避けられない撮影の際、補助用表示部IGを歯に付することによって、安定したパノラマ歯列画像形成の為の合成が可能となる。
 上述のような補正用表示部IGを用いた画像の補正は、例えば、Zhangの方法(IEEE.Transactions on pattern Analysis and Machine Intelligence,22(11);1330-1334,2000)等のカメラ画像のキャリブレーションで用いられる手法を用いても良い。また、補正用表示部IGは、撮影状態、アフィン変換等の処理により必須でない場合もある。
 図8(b)は実際、奥歯から連写した際の一回の撮影範囲を略図的に示したものである。906a→906b→906c→906d→906e→906f→906gの様に口腔内カメラの反射鏡部分を経時的に移動させながら、静止画による連写画像を得る。
 口腔内カメラ901は先端に所定の角度をもった反射鏡902を備えた構成よりなる為、歯列面を図中、左奥歯から撮影していくとすると、中央付近で、本体904の向きを変えて、図中、右奥歯から順に撮影することから、図8で示す906eから906gの面を撮影した後、口腔内カメラ901を反転させて、右奥歯からの撮影が開始する。
 連写のスピードは、本体904を手動で動かすため、手ぶれ等の揺動の影響を考慮して、毎秒20枚から30枚程度として多めに撮影し、手ぶれ、ピンぼけした画像を削除する余裕をもった連写撮影することが好ましい。
 この連写は、マークMLが撮影画面又は反射鏡の中央に来る迄撮影することが好ましいが、それをある程度経過した部位まで行い、その後、撮影された画像を取捨選択してもよい場合もある。
 手動によるカメラ操作の為、合成の前に、各画像の共通部位に基づいてアフィン変換を行い、画像の状態を整えた方が好ましい場合がある。例えば、合成の最初の中心となる画像を基準に比較画像に対してブロックマッチング法で共通する複数の点を検出する。この共通する複数の点に基づいて次の画像をアフィン変換する。例えば、共通部分における基準画像の画素座標(xa、ya)、に対応する次の画像の画素座標(xb、yb)を複数選んで、次式に代入して係数値a~fの値を得る。係数値を次式に代入した状態で、次の画像をアフィン変換していき画像を整理した後、又は画像を整えながら、パノラマ合成を行っても良い。
Figure JPOXMLDOC01-appb-M000001
 このように歯列900aの図中左奥から正面付近まで、連写して得た画像の一部を図9に示し、図8と併用して当該実施例に基づく口腔内カメラの撮影動作を説明する。
 図9(a)から図9(e)は、図8(b)で示す歯列の撮影画像データにおける中心付近907cから907e付近の連写撮影をした際の撮影画像データ列の一例である。なお、口腔内カメラは、反射鏡902を利用して歯列画像を得ていることから、撮影画像は、左右が反転するが、わかりやすくする為に、反転していない状態で図9及び図11に示した。
 図9(a)は、図8(b)の906c付近を撮影し、図9(b)は、906d付近を撮影し、図9(c)は、906e付近を撮影し、図9(d)は、906f付近を撮影し、そして図9(e)は、906g付近を撮影した画像である。なお、手動で撮影するため、撮影画像が常に同じ状態で撮影することができない場合が多い。従って、画像が斜めになっている場合などは、他の歯の状態と例えば重なり合う部分で、アフィン変換を用いて整える補正をすることが好ましく、図9は、補正後の図を示している。補正の際、一つの基準となる部位として、マークMLの他、反射鏡902が撮影された反射鏡面にあらかじめ設定される垂直中央線CL、水平中央線HLを用いてもよい。
 垂直中央線CL、水平中央線HLは、必ずしも画像に表示されるものではなく、また反射鏡の縁部に垂直中央線、水平中央線の始点と終点に該当する部位にそれぞれ突起等の目印を付けておく程度であってもよく、この目印に基づいて仮想的に表示される場合もある。
 また、撮影用CCDカメラのレンズによる歪みをソフトウェアで補正する処理をあわせて行っても良い。
 RMは、鏡の輪郭であり、実際の撮影された画像は、輪郭RM内で円形状の画像となるが、範囲説明をしやすくするために、四角の画像で表示した。
 撮影される画像が手持ちであるため、歯とカメラとの間の距離が異なる場合があるが、この場合は、マークMLと垂直中心線CLとが略一致した画像を基準として、その他の撮影画像の大きさを補正しても良い。なお、反射鏡902の先端部を歯の面に軽く接触させながら、連写撮影を行うことで、得られる画像を安定させることができる場合がある。
 図8で示すように、正面から左側の奥歯に本体904の反射鏡902を配置して、その後正面方向へ移動させて連写し、例えば図9(a)~図9(e)の画像を取得する。この場合、反射鏡902の垂直中心線(CL)にマークMLが一致したタイミングで撮影取得した画像(図9(c)まで)を、合成用画像として採用する。図9(d)以降を用いると合成時、ずれの原因となる場合があるので、合成には使用しない方が好ましい。
 図9(c)に示した画像を基準の画像とすべくマークMLを基準に、必要に応じ、画像の傾きなどを補正する。すなわち、マークMLの長辺及び短辺を基準に画像を補正して基準画像としてもよい。一合成操作例を以下に説明する。
 合成に採用される画像を図9(f)以降に示した。図9(f)が図9(c)に示す画像に相当し、図9(g)は、図9(b)に相当し、図9(e)は、図9(a)に相当する。
 図9(f)で示す画像906eと図9(g)で示す画像906dとを、画像906eを基準として画像906dの画像の形状が一致又は近似する共通部分に基づいて重ね合わせて合成する。
 図9(f)を基準として、重ね合わせた場合、図9(g)の左方面にはみ出た部分を1001aで示す。1001aは、奥歯方向の画像となる。
 次に、図9(g)で示した合成画像と、図9(a)で示した画像906cとを、図9(g)の合成画像を基準として、形状等が共通する部分で目視により、又は画像処理手法により重ね合わせる。重ね合わせた画像であって、図9(g)から左方向へはみ出した部分を1001bで示した。1001bは、奥歯方向の画像となる。
 上記の動作を次に隣接する画像間で行い、更に次の隣接する画像と共通部分で重ねあわせることで、マークが所定の位置にある画像から奥歯方向へパノラマ画像的に合成して左側歯列を形成する。
 その他、図9(f)で示す中心画像にはみ出した部分1001a、1001b・・・・をつなぎ合わせて左半分のパノラマ画像を形成する手法が例示できる。
 また、はみ出した部分の検出は、例えば、図9(c)の906eと図9(b)の906dとの間ではみ出した部分を抽出し、更に図9(b)の906dと図9(a)の906cとの間ではみ出した部分を抽出し、更に次の隣接する画像間ではみ出した部分を集めて、最後に基準画像を図9(f)に示した画像として、このはみ出した部分をつなぎ合わせて、パノラマ画像を形成してもよい。はみ出した部分の画像は、中央よりの画像を基準として、その上から隣接する画像を重ね合わせることが好ましい場合もある。
 なお、完全に重ね合わせて一致または近似しない場合であっても、マーカ部分が共通して存在する場合は、その部分を重ね合わせて同様の合成をおこなってもよい。尚、手動であるため、得られる静止画像ごとに遠近感や、傾きが相違する場合がある。この場合は、アフィン変換等を用いて自動的に補正したり、任意に拡大縮小して調整するものが好ましい。
 合成した状態を図12(a)に示す。図12(a)で示すように左半分のパノラマ歯列画像を形成することができる。
 次に、図10(a)で示すように上下かみ合わせた状態の歯列900aの右奥に本体103dの反射鏡104を配置した状態で、歯列900a表面をなるべく一定の距離を保ちながら、1101a→1101b→1101cと中央へ近づく方向で静止画による連写撮影を行う。図10(b)に、撮影される静止画像と歯列900aとの位置関係を略図的に示した。
 使用者は、口腔内カメラ901を手で持ちながら、1102a→1102b→1102c→1102d→1102e→1102fの方向へ移動させて撮影し、連写的に静止画像を取得する。本例は、手持ち型であるため、撮影画像が左右、奥行き方向で傾いたり、ずれたりするが、アフィン変換を利用して、連写して得られる隣接する画像間に存在する共通部分に基づいて回転、移動を行って画像の調整を行う工程を設けても良い。
 図10(a)で示す口腔内カメラ901は、図8のものをそのまま使用しているため、同一の番号を付して説明を省略した。
 図11(a)から図11(e)では、図10(b)の1102aから1102fの範囲で代表的な画像を示した。図11と図9との間で共通する構成については、図9で示した符号と同一の符号を付した。
 図11において、図11(a)は、図10(b)の1102dの画像付近を示し、図11(b)は、図10(b)の1102eの画像付近を示し、図11(c)は、図10(b)の1102fの画像付近を示す。また、図11(d)は、図10(b)の1102gの画像付近を示し、図11(e)は、図10(b)の1102hの画像付近を示す。
 なお、図11(d)及び図11(e)は、垂直中心線CLとマークMLが一致した後、さらに左方向へ反射鏡104を移動させた際の写真画像であり、これらの画像を採用すると左右方向から撮影された画像の重ね合わせの部分が多くなり画像のずれが生じることから、これを採用せず、図11(a)から図11(c)を採用する。
 上記の画像の中で、マークMLと垂直中心線CLが一致した画像(図11(c)の1102f)を基準にしたものを図11(f)に示す。次に、図11(b)で示す画像1102eと1102fの共通する部位を重ね合わせる。
 画像1102fを基準にして画像1102eをその上から形状が一致又は近似する範囲で重ね合わせた状態ではみ出した部分が1201aである。
 次に、この重ね合わせた画像と図11(b)で示す画像1201bを、重ね合わせた画像を基準にパターンマッチング法等を用いてその上から形状が一致又は略一致する部位で重ね合わせる。
 重ね合わせた状態ではみ出した部分が1201bである。このように隣接する画像を重ね合わせて向かって右側の歯列を形成する。その他の合成方法として、基準画像906eと画像1201a及び1201bを図12(b)で示すように合成するものであってもよい場合もある。なお、前後の画像を重ね合わせた際、多少のずれがある場合は、重ね合わせた箇所のいずれか一方を削除しても良い場合もある。
 以上の手順で、連写静止画を合成していき、左歯列の画像を合成した際の中心画像906eと右歯列の画像を合成した際の中心画像1102fを重ねあわせ、一致又は略一致させることで、図12(c)で示すパノラマ歯列を形成する。
 重ね合わせは、例えば、中央の歯と歯の境界部分(KL)に基づいて、左右のパノラマ歯列を接続合成することが好ましい。なお、歯と歯の境界は、上顎、下顎で異なる場合に対応するために、上顎又は下顎の歯の境界部分を境界として用いて、合成してもよく、その際の合成は、上顎のみのパノラマ歯列と下顎のパノラマ歯列を、それぞれ合成して、最後に上顎と下顎を合成しても良い場合もある。その際も、中心画像間で多少のずれがある場合は、重なった範囲であっていずれか一方の画像を消去しても良い。
 また、あらかじめ中心画像906eと中心画像1102fは必ずしも重ね合わせる必要はなく、どちらかの中心画像1301を採用すればよい場合もある。その場合、例えば中心画像906eを採用した場合、1201a、1201bの大きさ等を多少修正する場合もあり、中心画像1102fを採用した場合は、1001a、1001bの大きさを修正する場合もある。このように、各画像間のはみ出した部分をつなぎあわせる手法の他、はみ出した部分を抽出せず、そのまま共通部分で重ね合わせていく場合は、中心画像同士を大きさを調整しながら重ね合わせをする場合もある。
 このように、中心画像から、左右の歯列を合成して、左側合成歯列と右側合成歯列とし、これらをそれぞれの中心画像に基づいて合成することで、ずれを抑えたパノラマ歯列を形成可能とする。
 中心画像に基づく合成は、例えば、中心の歯と歯の接触ライン(エッジ)を特徴部位として左側合成歯列と右側合成歯列を合成することが好ましい。尚、マークは必ずしも中心の歯に付される必要が無く、撮影の際、カメラの方向を変えるタイミングで撮影される歯の部位等である場合もあり、その他の目的等でマークの位置は適宜選択される。
 特徴部位も、マークと同様、画像合成時に位置あわせ可能な部位であれば、特に限定されない。また、あらかじめ被写体である歯列にマークを付すか、画像からマークに相当する部位を設定することで、より正確な合成が可能となる。
 なお、以上の動作説明は、グラフィックソフトウェアを用いて、コンピュータモニター上に表示された複数の画像を、目視とマウス操作によるコピーペースト、ドラッグアンドドロップ、画像の縮小拡大、傾き補正等の操作に基づいて行った場合、公知の自動パノラマ写真合成用ソフトウェア、例えばPhotoshop Elements 7(登録商標、アドビ社製)、Photo Stitch(登録商標、キャノン社製)等も利用できる場合がある。
〔3次元パノラマ歯列画像の作成〕
 歯列は、咬合平面に対して弓状に湾曲した形状であり、その全体を現実的に把握する場合は、2次元によるパノラマ表示では、個々の歯の様子はわかるが、平面状に歯が並んでいる状態で表示されるため、3次元的な把握は不十分であることから、3次元的に表示できる手法が好ましい。
 口腔内の実画像でパノラマ画像を得る手法は、例えば国際公開(WO)第2007/063980号パンフレットに、歯列アーチホーム概形相似仮想形曲線に近似した形状を持つフレームを形成してその側面に撮像装置を配置したものによって、歯列全体を撮影し、これをステレオ形式とすることで、立体3次元のパノラマ画像を得ることが記載されている。確かに、立体状で歯列の画像を撮影することができるが、アーチホーム概刑相似仮想形曲線を備えたフレームの形成を要する点で簡易的な測定手法とは言い難い面がある。
 次に、実画像による3次元パノラマ画像を形成する実施例を図13に示し説明する。図13は、3次元パノラマ歯列画像形成手段を説明する為のブロック図である。
 参照番号1401は、撮影データ入力手段であり、図14で示すような、カメラを複数備えたステレオ画像撮影用のカメラを接続して、カメラの個数と同じ枚数の画像を同時に形成する手段である。
 撮影データ入力手段1401は、一枚ごとにシャッタを押す様式と、一回シャッタを押すことで複数の写真を撮影する連写的に撮影可能とした構成を備えており、複数の対の静止画像を連続して出力する場合もある。
 1402は、校正手段であり、レンズ形状による歪み、手ぶれ等の補正、遠近距離の補正等を行う為の手段であり、いわゆるキャリブレーション手段といった公知の手法をもちいて構成されるものである。
 校正手段1402は、同時に撮影された画像のそれぞれに校正が施されるものであり、歪みが大きい、周辺部を削除することもある。
 1403は、共通点検出手段であり、例えば一対の画像の共通点を検出するための手段である。共通点検出手段1403は、片方の画像の一画素又はひとまとまりの画素の輝度値を基準用輝度値とし、他の画像の一画素又は、ひとまとまりの画素の輝度値を用いて、例えば、輝度差の総和(SAD)、輝度差の二乗和(SSD)値をとりその最小値又は最大値により一致する部分又はサブピクセル推定により推定された部分を共通点として出力するものである。
 より具体的には、例えば、新井元基他、画像のブロックマッチングにおける相関関数とサブピクセル指定方式の最適化、社団法人情報処理学会研究報告、2004、P33-40に示される構成やその他の公知手法を利用しても良い。
 1404は、ワールド座標変換手段であり、得られた共通点の各画像の座標を、全体的に共通な3次元座標に変換する手段である。
 ワールド座標変換手段1404は、例えば、三角法、8点アルゴリズム法、三角測量法等、算術的手法によりコンピュータ処理で行われ、前記共通点検出手段1403で得られた共通点のそれぞれ写真画像の座標値から視差値や、カメラの特性(内部パラメータであるレンズの焦点距離、画像中心、画素サイズ、及び外部パラメータである2つのカメラの位置、及び姿勢)から、ワールド座標(X、Y、Z)を形成出力するものである。
 例えば、それぞれ異なるカメラの内部パラメータ及び外部パラメータからなる透視投影行列P1、P2、それぞれ撮影した画像の共通点Mのローカル座標(u1、v1)及び(u2,v2)から一般的に知られている次式(1)に基づいて、ワールド座標(X、Y、Z)が求められる。
Figure JPOXMLDOC01-appb-M000002
 カメラの内部パラメータ、外部パラメータを用いて透視投影行列を求めるか、各静止画像から得られる複数の共通点のローカル座標等から透視投影行列P1、P2及びω1、ω2を求めて、上式(1)にもとづいてワールド座標を得る方法等に関しては、例えば、電子情報通信学会誌、Vol.92、No.6、2009、463-468に記載されている手法等の公知手法が好適に用いられる。
 その他3次元座標を得る手法としては、接写手法とともに例えば、歯科材料・器械、Vol.19、No.3、333-338(2000)等に記載されているが、これに限らず、その他一般的な手法をとり得る。
 参照番号1405は、3次元画像形成手段であり、例えばコンピュータ上に仮想的に形成された3次元座標空間に、当該ワールド座標データを表示し、この座標データを直線、又は曲線で結んでいって表示するワイヤーフレーム模型を形成しても良く、更に線で囲まれた部分に仮想面データを貼り付けていくことで、よりリアルなパノラマ3次元データが得られる。3次元パノラマ状の歯列データを立体座標上で、立体化することで、湾曲状の歯列が表示される様にしてもよい
 1406は、表示手段であり、コンピュータ用のモニター、プリンタ、等で形成され、通常のコンピュータモニター上に仮想3次元画像として表示されても良く、更に、湾曲したパノラマ状歯列画像を2次元に投影する等して表示しても良い。
 図14は、2つのカメラを先端に備えたプローブ状の3次元計測用のプローブ1500の一例を示す。1501は、撮像部Aであり、中心にレンズ1501aが配置され、いわゆるカメラモジュール形態を有する。1502は、撮像部Bであり、中心にレンズ1502aが配置され、いわゆるカメラモジュール形態を有する。
 1503は、照明光照射部であり、好ましくは撮像部A1501、撮像部B1502の周囲に設けられており、支持部材1506の内部に形成された発光手段1505が発した光を、光導路1504を介して照明光照射部1503から被写体である歯の表面を照射する部分である。照明光照射部1503は、より均一な照明が行われるような形状であることが好ましく、図14に示された形状に特定されるものではない。
 1503aは、指示用光源であり、撮影面を示す為のものであって、スポットライト的な出力をおこなう部分であり、周辺を黒い円筒体で覆った、赤色、青色、白色等のLEDが用いられる。スポットライト的な光であるため、距離によって、照射面の面積が異なることから、一定に保ちながらプローブ1500を移動させることができる。
 1504は、光導路であり、支持部材1506内部に形成され、表面は、アルミ、銀等の薄膜などの光反射部材で被覆されていることが好ましい。光導路1504は、照明光照射部1503と接続している。
 1505は、発光手段であり、支持部材1506内に装着され、白色LED、その他の光源が例示される。本実施例では、ストロボの様な断続的フラッシュ駆動や、連続的な照明駆動等が行われても良い。
 1506は、支持部材であり、例えば、軽量で硬質なプラスチック材で成型され、先端に、撮像部等が配置され、棒状で、口腔内の奥まで挿入しやすいような形状を有する。 
 1507は、操作用スイッチであり、シャッタ操作等を行うものである。その数は、操作仕様や目的に応じて設定されれば良く任意の構成であればよい。シャッタとして使用する場合は、押している間所定の間隔で連続的にシャッタ駆動を行うような仕様も取り得る。
 1508は、把持部であり、支持部材1506と一体的に構成されており、軽量で、丈夫なプラスチック材等で成型されることが好ましい。
 1509は、外部電源と接続、外部データ処理装置等との接続をするための電気リード線であり、USB接続コネクタを利用したケーブルが利用されても良い。なお、光源がストロボ的な発光であって、連写データをカメラ内部で一時的に記憶できる場合や、Zigbee(登録商標)、無線通信用のフロントエンド回路を用いて無線接続を行う場合等では、接続手段が不要になる場合もある。
 次いで、図13及び図14で示した本実施例の動作について説明する。
 図13の撮影データ入力手段1401において、使用者は、図14で示す把持部1508をもって、図8で示す様に上下の歯が噛みあわされた状態で支持部材1506の先端の撮像部A1501と撮像部B1502を被写体部位に近づけ、指示用光源1503aが指示するスポットライトの大きさ、位置を見ながら、操作用スイッチ1507を押して連写動作を開始する。
 連写動作でなく、撮影ごとにシャッタ用の操作用スイッチ1507を押しても良い場合もあるが手ぶれ等を防ぐ為に押す動作を少なくする連写が好ましい。この押した状態で、図8(a)と同じ位置まで撮影し、次に図10(a)と同様の状態で、同じ位置まで撮影する。
 図15に、一回の連写撮影で得られた画像群の中で対となる画像を示す。なお、口腔内で、歯の表面形状をより精度よく計測する場合は、近接した状態での撮影が好ましく、カメラの焦点距離も接写可能な状態で設定されることが好ましい。これら撮影された画像は、図13の校正手段1402でレンズの曲面によって生じる歪みや、傾き等が校正(キャリブレーション)されて共通点検出手段1403へ出力される。
 3次元処理を行う際、図9及び図11で示すように中心付近から左右方向へ合成することを考慮して中心から行うことが好ましいが、特にこの手法に限定されるものでもない。
 図15(a)は、歯の正面であって、中心に近い場所を撮制した画像であり、図14のプローブ1500を構成要件とする撮影データ入力手段1401で撮影されて得られたデータでもある。
 1701aは、撮像部B1502の画像であり、1701bは、撮像部A1501の画像である。この画像にそれぞれ中心点を同じ部分とした座標を付与し、例えば撮像部B1502が撮影した図15(a)の画像1701aの任意の点A(x1、y1)を設定してこれと同じ位置を示す点A’(x2、y2)を探す。点Aを例えば一つの画素のブロックとして、平均輝度値を求める。図15(a)の画像データ1702aの点A’と想定される位置の近傍から、点Aと同じサイズの画素ブロックを求め両者の輝度値の差の総和又は二乗和をとり、次第に、点A’方向へ、同様の演算を行いながら移動しながら。一致度評価曲線を形成する。
 一致度評価曲線上で、この差分値の総和又は差の二乗和が、一番小さくなった部分、又は一番大きくなった部分を点A’として設定するサブピクセル推定手法が好ましいが共通点を得る手法であれば特にこれに特定されるものではない。
 次に、1701aの点Aのとなりの画素ブロックについて同様の操作を行い、画像1702a上から共通の点を検出する。この操作を繰り返し行い。画像1701aと1702aのオクルージョンの範囲を除いた共通範囲1703aにおいて共通点の座標を求める。この場合も新たに付加したマークMLの位置を中心に共通点座標を形成することが精度の高い共通点を得ることを可能とする。また、このブロックを小さくするとより、精度が高い状態で、共通点が検出できるが処理時間が長くなる為ブロックの大きさ等は適宜選択される。
 次に、図13のワールド座標変換手段1404において、例えば上述の共通点を複数点とって計測した座標値から、視差、焦点距離等撮影器固有のパラメータ及び1式に基づいて3次元ワールド座標系に変換する。この具体的な手法は、上述した文献等に示された通常の方法が好適に採用される。
 図15(a)の一対の画像から共通点を求めた後、次の図15(b)で示す画像対1701b、1702bを用いてオクルージョンの範囲を除いた共通範囲1703bを3次元のワールド座標A(X,Y,Z)に変換する。3次元ワールド座標となった状態で、例えば図15(d)に示すワイヤーフレーム状に成形したものを作成する。
 更に図15(c)で示す画像対1701c、1702cのオクルージョン範囲を除いた共通範囲1703cの各共通点の3次元ワールド座標を求める。
 次に、図13で示す3次元画像形成手段1405において、ワールド座標に変換された図15(a)から求められた3次元座標と図15(b)を平面的な重ね合わせでなく仮想3次元座標空間で重ねあわせる。この重ね合わせた画像に更に図15(c)で示した3次元ワールド座標を重ね合わせる。この重ね合わせは、仮想の3次元空間での重ね合わせであれば、これら3次元ワールド座標化したデータに基づいてコンピュータモニター上に例えば図15(d)で示すようなワイヤーフレーム状の歯列を仮想的にそれぞれ表示し、目視でマウス等コンピュータインターフェースを操作してそれぞれを重ねあわせるようにしておこなうことができるが、重ね合わせの精度を高める場合は、比較する3次元数値のどちらかを基準として、差分比較等により一番差分が小さい状態となるような合成が好ましい場合もある。ブロックマッチングによるサブピクセル推定手法で、共通点を得ても良い。
 図15(a)から図15(c)は、正面に向かって右側の歯列の3次元ワールド座標化したデータに基づく歯列を形成したが、次に左側の歯列の3次元ワールド座標化を行う。ワールド座標化は、上述した公知の手法を用いればよく、例えば、2つの画像に基づく3次元座標を取得した後、共通の座標であるワールド座標への変換を行ったものでも良い。
 左右の歯列の3次元ワールド座標を取得した後、コンピュータの3次元仮想表示、又は座標値の数値的重ね合わせによる近似的一致により結合していけばよい場合もある。その場合、マーク部分の3次元座標データを基準に重ねることが好ましく、当該手法によれば、2次元のみならず3次元座標でも、ずれの無いパノラマ歯列表示が図13で示す表示手段1406によって可能となる。
 重ね合わせは、同じ形状部分のデータ数値での重ね合わせであって、一致しない場合は、両者の座標値の平均をとりながら重ね合わせていく手法、画面上で画像をドラッグアンドドロップの手動手法で、コンピュータマウスを操作しながら重ね合わせた後、座標値を求める方法等が例示される。
 なお、互いに共通した部位をもつ画像であっても、撮影状況から、校正後も、重なり具合が悪い関係にある画像の場合は、共通する画像の内どちらか選択すれば良く、パノラマ画像を作成する為に必要な重ならない部分側の画像を用いても良い場合もある。
 ワールド座標に基づいた三次元化による合成により、全歯列がいわゆる義歯状に表示することが可能となる。
 2次元の歯側面のパノラマデジタル画像表示、及び3次元の歯側面のパノラマデジタル画像表示は、患者にとって自らの全体の歯列状態を容易に理解することができる様になることから、例えば、2次元パノラマ歯列データ、3次元パノラマ歯列データのそれぞれについて、矯正シミュレーション処理、仮想ホワイトニング処理を施して仮想歯列を形成した状態の画像をコンピュータモニター上に併置して、患者に治療の効果等を実感させる態様を形成しても良い。
 矯正シミュレーション処理とは、例えば、2次元パノラマ歯列画像であれば、あらかじめ歯一つの様々な形状のデータベースを部位に応じて作成し、2次元パノラマ歯列画像上のそれぞれの歯の画像に対し、矯正歯科医がグラフィックソフトウェア上でコンピュータマウスを操作してコピーペーストを行って、形成した仮想矯正パノラマ歯列を形成する手段を示す。
 パノラマ3次元歯列画像の場合は、既に3次元座標が設定されていることから、既存のCADソフトウェア上で、矯正歯科医等がパノラマ3次元歯列画像の3次元座標調整を行って、仮想矯正3次元パノラマ歯列を形成する手段が例示される。これらの矯正パノラマ表示手法は、例示であり、その他の手法を取り入れてもよい。
 自らのパノラマ2次元及び3次元歯列画像に対する仮想ホワイトニング処理後の仮想表示も、歯科医がグラフィックソフトウェア上のこれらの画像に対し、色データの調整を行ったものを、併記してもよい。このように仮想矯正、仮想着色処理を、患者自らのパノラマ歯列に行ったものを画面上に併設することで、患者は治療の理解を深めることが可能となる。
〔照準光照射手段〕
 図16は、本発明の一実施例を示す図である。図中、A10は、反射鏡ユニットであり、硬質のプラスチック製等で形成され、先端に所定の角度(例えば45度)で設置された反射鏡A10Kを設け、後端に撮影ユニットA14の外周と接続可能な円筒状の装着部A10Sが形成され、その間は、開放された形状となっている。
 装着部A10Sと撮影ユニットA14との接続は、押し込む形で形成され、離脱も、引き離すだけで可能とする程度で足り、回転防止の為、両者に凹凸を設けたり、楕円形等の非対称形状にしたりしても良い。
 A11は、筐体であり、プラスチック、樹脂で形成され、口径が大きいボールペンのような円筒状で手で持ちやすい形状を具備し、先端に撮影ユニットA14が突出するように配置され、後端には、外部処理装置と接続する為のケーブルA15が接続する。
 A12は、反射鏡ユニットA10の先端に所定の角度で配置された反射鏡A10Kを歯科医、歯科衛生士等が直接見て観察する際の観察方向である。
 A13は、照準光照射面であり、照準用光源A142から出力された照準光が反射鏡A10Kで反射して歯面を照らし出している際の照準光の照射面の一例である。
 照準用光源A142(図16(c)を参照)の位置は任意であり、撮影画像の範囲を決定できる位置であれば、他の位置でも良く、その部位は、例えば、反射鏡ユニットA10の先端部であって、撮影範囲を照明する部位であってもよい。この場合は、光路が短くなるため、指向角度が多少広くても撮影画像の範囲を照明できる場合もある。
 図16(c)に撮影ユニットA14を拡大した状態を示した。図中、A141は、照明用光源であり、広域な指向角度をもつ、LED又はレンズとLEDの組み合わせが例示される。照明用光源A141は、撮影部材A143の周辺に複数配置されている。
 A142は、照準用光源であり、指向角度が小さいLEDや、レンズとLEDの組み合わせによって、照射面に所定の広がりをもつことが可能な出力を行うものが例示される。又、指向角度が小さい光源の場合は、複数所定の間隔をあけて配置されることが好ましい。
 A143は、撮影部材であり、CCD、CMOSのカメラで形成され、画素数は、より多いものが好ましい。
 再び図16(a)に戻ると、A15は、外部画像表示機器と接続するためのケーブルであり、USBケーブルのような汎用ケーブルの他、専用のケーブルで形成されても良い。
 A16a及びA16bは、それぞれ、操作用ボタンA及びBであり、プッシュ式、プル式、又は回転式等で構成され、それぞれのボタンの中で、操作用ボタンA16aを押すと所定時間、照準用光源A142が発光し、反射鏡A10Kを介して要部を一定時間だけ照らす。一定時間とは、利用者が、少なくとも口腔内の要部を照らす照準光を認識できる時間であって、好ましくは、撮影のタイミング、例えば操作用ボタンA16a等が押されるまでである。
 撮影時は、静止画像に異なる配色の照明部が形成される為、観察の妨げになる点で好ましくないが、観察の妨げにならない場合は、特に照準用光を消す必要がなく、点滅させて、利用者に認識させるものであっても良い。
 次に、図16で示す実施例の動作を説明する。
 撮影ユニットA14の撮影部材A143の周辺に装着された照明用光源A141の照明出力は、反射鏡A10Kを介して口腔内の歯AH1を照明する。A14Lが照準光光路である。その他、照明用光源も反射鏡A10Kを介して照射され、照明光面内の一部が照準光照射面A13が形成された状態となっている。
 撮影部材A143は、照らし出された口腔内の部位を、反射鏡A10Kを介して入力し、ケーブルA15を介して、外部モニター装置により表示する。
 歯科医師等の利用者は、外部モニター装置で表示される画像で、撮影位置を把握できるが、診療時間を短くする場合や、治療が含まれる場合等は、デンタルミラーと同様の使用がなされる場合が多く、観察方向がA12で示す様に撮影画像と異なる状態となる場合があるが、その際は、例えば操作用ボタンA16aを押す。操作用ボタンA16aが押されると、照準用光源A142が発光し、発光は、所定の時間、好ましくは撮影開始前まで、行われ、観察者が観察位置と撮影位置を確認する程度発光する。観察者は、撮影位置と観察位置を一致させるため反射鏡A10Kの移動を行い、再度操作用ボタンA16aを押すことで、撮影位置と観察位置の調整を行う。
 位置決めが終了すると、再度操作用ボタンA16a又は操作用ボタンB16bを押すことで静止画又は動画の記録が行われる。上述した操作用ボタンA16aと操作用ボタンB16bの操作内容は、例示であり、場合により適宜選択されるものである。その一例を図16(b)に示した。
 A17は、画像の一例であり、撮影目的とする歯AH1が撮影されている。照準光の照射範囲は、照準光照射面A13で点線で示す円の範囲であり、撮影を目的する要部のおよそ全部が含まれている。
 照準光照射面A13の範囲は、筐体A11及び反射鏡ユニットA10の組み合わせが、歯H1に対して上下に動くことにより変化することから、使用者は、筐体A11及び反射鏡ユニットA10を上下させて、調整すればよく、撮影範囲よりも大きくなったり小さくなったりするが、撮影範囲の要部からずれることが無く、又点光源よりも、撮影範囲の要部を十分に示す。
 以上の操作により、撮影面と観察面が調整され、正確な静止画又は動画の記録が行われる。
 図16(a)で示す筐体A11を持ち、口腔内の観察部位に対し、反射鏡A10Kを目的とする部位を捉えるように縦横に移動させて観察し撮影する。
 口腔内カメラは、口腔内の上顎、又は下顎の狭く深い部位等に挿入され、反射鏡の撮影範囲は、広範囲にわたると共に反射鏡が逆さの状態で口腔内が撮影されたり、斜め状態、横向きなどでも撮影されたりすることから、撮影画像も、傾いたり、逆さになったりする。そこで、本発明は、撮影状態を位置センサによって、検出し、画像が上下反対の状態や、斜めの状態に対してこれを水平に補整する画像補整手段を具えることを実現した。
〔撮影画像修正手段〕
 図17は、本発明の一実施例を説明する為に用いられる口腔内カメラの一例であり、一部を断面図として示した。図中、A21は、把持用の筐体であり、内部空間を具えた円柱状を有し、先端にカメラとカメラの周辺に形成された照明用光源とからなる楕円筒状の撮影ユニットA23が筐体A21より突出した状態で接続し、後端に外部表示装置と連結する為のケーブルA26が接続する。
 照明ユニットの一例を図17に示した。図中、A22は、反射鏡ユニットであり、先端に所定角度で配置された反射鏡A22Hが装着され、後端には、撮影ユニットA23の周辺を覆うように装着可能な円筒状の装着部A22Sが形成され、その他は開放された状態となっている。
 A24は、回路基板であり、筐体A21内部に装着され、画像処理用IC等が実装されている。A25a、A25bは、位置センサであり、回路基板に実装されたICチップ等を有する。位置センサの個数、実装部位は一例であり、センサの種類によっては、実装されない場合もある。
 位置センサA25a、A25bは、加速度センサ、角速度センサ等、口腔内カメラが広範囲な移動状態を取り得ることから、角度によって、計測不能な状態にならないセンサ素子が採用される。位置センサの個数を2つとして示したが、例示であって、軸の数に応じて、チップの数が変化したり、3軸用のユニットがあれば、一つである場合もある。加速度センサ及び角速度センサは3軸のセンサが例示され、位置センサの個数も軸の数等で調整される場合もある。位置センサA25a、A25b・・・のx軸、y軸、z軸は、例えば図19で示す軸が例示される。
 位置センサA25a、A25bを角速度センサ(ジャイロセンサ)とした場合、角速度センサは、例えば、それぞれx軸周りの移動による角度の変化量、y軸周りの移動による角度の変化量、及びz軸周りの移動による角度の変化量をそれぞれ出力する。角速度センサの場合は、x軸、y軸及びz軸の初期状態を任意に設定した状態で、それぞれの軸の変化量を加算していき、カメラの撮影状態を検出する。
 これに対し、加速度センサは、それぞれのx軸方向の加速度成分、y軸方向の加速度成分、z軸方向の加速度成分を出力する。更にこれらの加速度成分の合成ベクトルが姿勢ベクトルを出力し、静止状態にある時は、それぞれ重力加速度ベクトルを示す。この姿勢ベクトルから、カメラの撮影状態が得られる。
 例えば加速度センサは、静止時、重力加速度ベクトルA451の状態を姿勢ベクトルとして出力する為、この状態でのx軸方向、y軸方向、z軸方向のベクトルを基準姿勢としてその後角速度センサを用いてそれぞれの軸の回転変化量を加算等の演算をしていく手法等が利用できることから、
 加速度センサと角速度センサを両方組み合わせることで、カメラの様々な状態を検出してもよい。
 図18は、位置センサを用いて画像表示状態を補整する手段の一例を示すブロック図である。当該ブロック図で示す構成は、コンピュータ処理であれば、プログラムで実行される部分を持つものであってもよい。図中、A31は、撮影手段であり、図17の撮影ユニットA23の中心に配置されたカメラで動画、静止画を撮影する手段を示す。
 A32は、画像補整手段であり、画像記録メモリ、CPU等で構成され、撮影手段A31で得られた画像を一時記録し、位置検出手段A34のカメラ角度情報に基づいて、画像を回転させ見やすい状態の画像データを形成する。
 例えば、撮影ユニットA23が撮影し、モニターに映し出す画像の基準姿勢を定め、その基準姿勢に対し、筐体を動かすことで、基準姿勢画像が回転した場合において、例えば角速度センサ等がそれぞれの軸での角速度から、回転角度の変化量を検出し、その回転角度変化量分を引いた角度だけ、画像を回転させて表示させることで、見やすい画像が形成可能となる。
 なお、図19で示すy軸周りの回転のみで、画像の補整が可能な場合もある。反射鏡で反射させた口腔内の像を撮影する場合、撮影ユニットA23のカメラは、常に反射鏡方向を向いている為、画像が回転するのは、図19で示すy軸座標を中心にした筐体の回転に伴う回転が主となるためである。従って、少なくとも、筐体A11及び反射鏡ユニットA10がx軸、y軸及びz軸方向に変化した状態で、xz平面に映し出される画像を画像表示部において、一定の方向を向く状態に補整されることが好ましい場合もある。
 33は、画像表示手段であり、コンピュータのモニター、その他専用のモニターが示され、画像補整手段A32の出力画像が表示されるものであれば良い。
 34は、位置検出手段であり、図17の位置センサA25a、A25b等で構成され、具体的には、角速度を出力するレートジャイロ、角度を出力するレート積分ジャイロ、姿勢ジャイロ、MEMSタイプその他機械式、光学式等の角速度センサ、ピエゾ抵抗タイプ、静電容量タイプ、熱検知タイプのMEMSセンサ等の加速度センサが利用可能である。
 次に、図18の動作を図17及び図19を参照して説明する。
 図19で示す座標軸は、一つの位置センサが3軸に対応する場合を示すものであり、位置センサがそれぞれ1軸、2軸等で対応する場合は、位置センサの部位毎に対応する座標軸が設定される。
 図17で示す筐体A21を持ち、反射鏡A22Hを口腔内に挿入して目的とする部位を撮影する。その際、筐体A21上に取り付けられたスイッチを操作するなどして初期姿勢状態を記録する。所期姿勢状態における座標の一例を図19のA410で示した。
 位置センサの設置により座標軸が形成される。本実施例では、A421がx軸、A431がy軸、A441がz軸とした。なお、A451は、重力加速度ベクトルであり、加速度センサの静止時の合成された姿勢ベクトルの一例である。従って重力加速度ベクトルは、加速度センサを用いないときは利用できない場合がある。
 口腔内カメラが例えば、奥歯の側面を撮影する為に直立に近い状態での座標を示す。A422はx軸であり、A432はy軸であり、A442はz軸であり、加速度センサを用いた場合、A452は、重力加速度ベクトルを示すことができる。
 口腔内の目的とする部位へ、反射鏡22Hを移動させる。動き方の一例を図19で示す。反射鏡22H及び筐体で構成される口腔内カメラは、A411、A412、A413で示す様な縦横に移動し、撮影手段A31は、それぞれの状態での口腔内画像を静止画、動画で撮影して画像補整手段A32に出力する。
 位置検出手段A34は、例えば、初期姿勢情報をx、y、z方向のそれぞれに対して画像補整手段A32に出力する。尚、本実施例のように、反射鏡の画像を表示する構成の場合、カメラは反射鏡方向に向いている為、カメラ画像が反転したり見づらい状態となるのは、y軸周りの回転に要因があることが多いことから、1軸タイプの位置センサのみを利用してもよい場合もある。画像補整手段A32は、この初期姿勢情報と画像とを対応づけて、画像表示手段A33に出力し、表示させる。
 図19で示す様に口腔内カメラをA411、A412、A413の様に動かして、口腔内を撮影する場合、撮影手段A31は、それぞれの姿勢に応じた画像を出力する。y軸を中心にカメラが回転すると、画像は、逆さに撮影され、撮影状態に対応した画像が出力される。
 位置検出手段A34は、位置センサA25a、A25b(例えばジャイロセンサーの場合)からそれぞれ、x軸、y軸、z軸周りでの角速度を検出し、この角速度からx軸周りの角度の変化量(Δθyz)、y軸周りの角度の変化量(Δθxz)、及びz軸周りの角度の変化量(Δθxy)を検出する。
 これらの変化量を画像補整手段A32へ出力する。画像補整手段A32は、撮影手段A31から入力された画像データと、位置検出手段34から出力された位置情報に基づいて、例えば、角度の変化量に基づいて画像を回転させて、最初の画像の状態に戻す。
 従って、画像表示手段A33は、同じ口腔内対象物をカメラを回転させて動画、静止画で撮影しても、画像は、常に最初の設定状態のままで表示内容画像が変化する表示をすることができる。
 なお、凸面鏡を用いて上顎、下顎の全歯を撮影する場合、文献(Design Wave Magazine, 2008 December, P113-115)に記載された手法による魚眼レンズ補正手段を適用してもよい。
〔撮影動作タイミング調整手段〕
 本発明は、実画像を得る際に操作されるスイッチの押す方法を、例えばコンピュータ操作時に行われるダブルクリック手法のような一定時間に押す回数で、実際撮影する迄の時間を調整して、歯科医の治療時、診察時及び患者説明時、カメラ操作の安定化を図ることを可能とする。又、撮影動作タイミングをモニター画像上でカメラのスイッチを操作して表示されるタイミングを示すアイコン的表示(例えば2回で2秒、その後数回連写)を指定して、そのタイミングを決定しても良い。
 また、画面上に座標等の表示機能をおこなう場合、操作ボタンの押す回数や、押し方、等によって、表示のタイミングを調整することで、口腔内にカメラを挿入しながらの説明する場合と、画像表示のタイミングを調整したりすることも可能である。具体的タイミングの仕様は、携帯端末の画面から入力調整してもよい。
 タイミング調整手段の一例を図20を参照して詳細に説明する。図20において、B7001は、入力手段であり、例えば、図1の操作用インタフェースを構成する押しボタン101d、101eを示している。
 B7002は、入力回数検出手段であり、カウンタ、フリップフロップ等で構成され、押しボタンの押した回数を計数する。この計数は、所定時間間隔内で計数することが好ましい。
 B7003は、遅延手段であり、押しボタンを押した回数と1回押す毎の遅延時間を掛け合わせて遅延時間を設定する為のものである。遅延時間経過後、一つのパルスを出力する。
 B7004は、撮影出力設定手段であり、遅延手段B7003の遅延パルスの立ち下がり時に、撮影を開始する信号を撮影手段B7005へ出力する。
 撮影手段B7005は、撮影開始の信号に基づいて、数枚から数十枚の静止画の連写、又は動画撮影を行う。この撮影によって得られた画像は、画像入力手段B7006に入力され、さらに画像選定手段B7007で、焦点のあった画像が選別されて、保存表示手段B7008で保存又は、図1で示すディスプレイ104に表示される。
 画像入力手段B7006は、撮影手段B7005で得られた画像をデジタルデータとして取り込み画像選定手段B7007へ出力する為のものである。また、画像選定手段B7007は、例えばピントがあった画像のみを選別する為の手段である。
 B7009は、表示手段であり、入力手段B7001のボタンを押してから、実行までを点滅の位置を変えて視覚的に知らせる構成等が示される。表示手段B7009は、歯科医師が、治療の際に目につく場所に設置され、操作ボタンを押してから、あと何秒後に動作を開始するかを表示するものであり、表示手段B7009の一つであるコンピュータのモニター上に表示される場合もある。
 また、遅延時間の間、色が赤色であり、遅延時間が終了すると、白色へ変化するLEDや、遅延時間中のみ連続発光、点滅発光する光源等、遅延時間中であることを使用者が認識できるインジケータを設けることで、余裕のあるボタン操作が可能となり、口腔内作業の幅を広げることが可能となる。
〔X線撮影手段〕
 図21(a)は、本発明の実施例を示すブロック図である。図中、B8011は、X線画像撮影手段であり、X線出力装置と、X線CCDセンサの組み合わせや、X選出力装置とX線蛍光板及びCMOS又はCCDカメラとの組み合わせ、が例示される。具体的には、図21(b)に一例を示した。
 X線画像撮影手段B8011には、既存のパノラマレントゲン撮影装置、X線CT、デンタルレントゲン装置等も含まれ、少なくともコンピュータモニター上にデータとして表示可能であれば良い。直接開けるX線画像データが取得できない場合は、コンピュータに付随するX線画像ビューア化されたデータ、画面のハードコピーデータ、モニター画面共有状態でのデータ、口腔内カメラでモニター上のX線画像を撮影して得られるデータ、等のX線画像データとして取得してもよい。更に図21(b)の構成を含んでいる場合もある。
 B8012は、実画像撮影手段であり、例えば反射型の口腔内カメラが好適に用いられる。実画像撮影手段B8012は、更に図21(c)で示す構成を含んでいる場合がある。
 B8013は、比較部位抽出手段であり、ブロックマッチング手法、サブピクセル推定手法で形成され、X線画像撮影手段B8011で撮影された画像と一致する部分を抽出する為、比較部位を抽出する為のもので例えば撮影された画像の輪郭抽出、複数の画素値の抽出を行いX線画像抽出データを出力するものである。
 B8014は、比較部位抽出手段であり、ブロックマッチング手法、サブピクセル推定手法等で形成され、実画像撮影手段B8012で撮影された画像と一致する部分を抽出する為、比較部位を抽出する為のもので例えば撮影された画像の輪郭抽出、複数の画素値の抽出を行い実画像抽出データを出力するものである。
 B8015は、比較手段であり、それぞれの比較部位抽出手段から出力された抽出データを比較し、一致、略一致、推定一致する部位を一致部として出力する。比較する際、画像を拡大、縮小させる場合があるが、これは、例えば、実画像、X線画像データをBMP、JPEG、GIF等の汎用的形式として変換して汎用のグラフィックソフトウエアにより拡大縮小処理すれば足りる。
 B8016は、一致部記録手段であり、一致した部位、略一致した部位、又は推定一致部位を記録すると共に、表示手段B8017へ送信する。
 表示手段B8017は、コンピュータのモニター(ディスプレイ)装置、携帯電話表示部等が例示されるが、少なくとも、X線画像と、実画像の併置表示、重ねた表示ができる程度の大きさで、X線画像が鮮明に表示される程度の分解能があればよい。
 本実施例は、コンピュータソフトウエアにより実現されるが、ハードウエアにより形成されても良い。
 X線画像撮影手段と、実画像撮影手段は、別々のデバイスであっても良いが、好ましくは、一つのデバイスの一部交換して共有した状態がより好ましい。
 次いで、本実施例の動作について説明する。
 X線画像撮影手段B8011により、測定部位を動画又は静止画で撮影する。X線画像撮影手段B8011が測定する部位は、一つの歯、複数の歯、又は上顎、下顎の全歯などの選択等により行われる。
 次に、実画像撮影手段B8012で、X線画像撮影手段B8011が撮影した部位を動画又は静止画で撮影する。撮影に当たっては、同一の部位を正確に位置決めして撮影してもよいが、目安で撮影しても良い。
 両者から得られた画像の歪みを補正する。補正の手法は、例えばキャリブレーション手法で良く、予め基準となる碁盤の目を撮影して、レンズによる歪み値を算出して、データを補正する。
 次に、比較部位抽出手段B8013及びB8014で、特徴部位の算出を行う。特徴部位は、例えば輪郭であって、X線の場合の歯の輪郭と実画像の歯の輪郭の一部又は全部をそれぞれ抽出する。
 次に、両者の輪郭を比較する。その際、X線画像と、実画像は、輪郭の一部で一致した状態、又はおおよそで一致した状態で、両画像の重なった部位を取り出す。
 比較手段B8015は、上述の重複した両画像を一致部記録手段B8016へ、出力し、一致部記録手段B8016は、両画像を記録する。表示手段B8017は、使用者の選択に応じ、両画像を、表示し、透過状態で重ねたり、併置したりする。
 図23は、X線画像撮影手段及び実画像撮影手段で撮影された画像の一例を示す。図23(a)は、X線画像であり、X線撮影された歯b101が示されている。図23(b)は、図23(a)と同部位で撮影した実画像の歯b102を示している。図23(c)は、これらを重ねて表示した重複画像b103を示すものである。X線画像と実画像の対比により、X線画像が容易に理解することができる。特に実画像表示で歯肉の色、腫れ、炎症の有無が表示可能であることから、X線画像との対応により、歯周病、う蝕の進行度やその有無を、患者にわかりやすく表示することができる。
 次に、X線画像撮影手段の具体的例を図22に示し詳細に説明する。図22において、B9101は、把持用筐体であり、好ましくは、X線不透過用に鉛を含むプラスチック材などで形成されている。
 B9102は、X線出力装置であり、一般的な歯科用の携帯タイプの既製品が好ましいが、特に限るものではなく、歯科診療で用いられるX線出力装置であれば、機能的には十分利用ができるが、携帯タイプは、在宅診療等でも有効であり、実画像と併用したX線画像の利用には好適である。携帯タイプであっても、スタンドに装着して用いることも可能である。
 B9103は、電気リード線であり、汎用のUSBケーブルが用いられる他、専用のケーブル等も利用可能である。
 B9104は、X線用蛍光体であり、ガラス基板上に、蛍光材料CsI、CaWO、Gd22S:Tb3+、549nm(f-f)、(Zn、Cd)s:Agを結晶成長させたもの、塗布したもの等が使用される。
 B9105は、可視光透過部材であって、鉛を含む透光性部材で形成され、可視光のみを透過させる為のものである。
 B9106は、撮影ユニットであって、この場合は、カメラだけでも良く、より高解像度なものが用いられることが好ましい。
 B9107は、X線撮影用支持部材であり、鉛を含むX線不透過部材で形成され、先端に反射鏡B9108、X線用蛍光体B9104等が装着され、他端は、撮影ユニットB9106の周囲に挿入固定される為に開放された筒状を形成している。
 反射鏡B9108は、例えば45度に傾いた状態で形成され、平面状の鏡で形成され、X線投下後の可視化された画像を反射させ、撮影ユニットB9106へ伝達させる為のものである。
 図22(a)において、X線出力装置から出力されたX線を、X線蛍光体B9104で、可視光に変換し、その後、X線成分が除去され、反射鏡B9108で反射された後、撮影ユニットに入力される。B9109は、撮影部位の口腔内の歯列略図である。
 図22(b)は、X線センサによるX線写真画像と反射鏡による実画像を組み合わせた実施例である。B9110は、X線撮影用支持部材であり、図2(a)で示すX線撮影用支持部材B9107と同様にX線不透過部材で形成されている。
 B9111は、可視光透過部材であり、鉛含有の透光性部材で形成され、X線を除去して、可視光を撮影ユニットB9106へ伝達する為のフィルタである。
 B9112は、反射鏡であり、平面状の鏡であり、B9113は、X線センサーであり、既成のX線CCD(CMOS)センサー、イメージングプレートで形成されている。B9114は、X線センサのセンサ信号を外部へ伝達するリード線であり、これも鉛含有の樹脂で被覆されている事が好ましい。
 本実施例は、X線センサーB9113のみの他、反射鏡ユニットと撮影ユニットB9106との組み合わせの併用により、X線可視画像と、実画像を同じタイミングで出力する為の構成を有する。
 反射鏡B9112とX線センサーB9113を組み合わせた構成は、実画像は、歯の裏側を表示するが、歯の表から別途撮影した画像と照合が容易になり、同一の部位を同時に実画像とX線画像を取得できるので一致範囲を求める画像処理を施すことなく、容易に得られる点で好ましい。
 口腔内のX線画像は、患者には難解な画像であるが、同じ撮影部位の実画像を、コンピュータモニター、紙面などに併置又は透過的に重ね合わせて表示することで、X線画像がよりわかりやすくなり、患者への説明が容易になる。
 X線画像は、デンタルレントゲンの場合、1回の撮影で数本の歯を一枚又は一データとして撮影する。この場合、X線センサーとX線出力装置をずらしながら、例えば、連写撮影し、全顎を複数のX線画像化した後、デジタルデータとして、輪郭抽出を行う。そしてそれぞれの隣接するX線画像で歪みの少ない画像の共通部分を検出しブロックマッチング法や重ね合わせて、一致、推定一致する点を検出していき、パノラマ的な画像を形成してもよい。更に実画像も同様にパノラマ的な画像を形成する。これらの画像を、モニター画面又は、用紙上に印刷することで、わかりやすい比較が出来るデータが形成できる。
 データの一例を図23(d)及び図23(e)に示した。図23(d)は、実画像データをデジタル処理をしてつなぎ合わせた状態を示し、b104は、上顎データ、b105は、下顎データである。上顎データb104を例えば、図1で示す口腔内カメラで、位置を少しずつずらしながら例えば連写的に撮影していき、各画像の共通部分を重ね合わせてつなぎ合わせながら作成していく。下顎データb105も同様に作成し、一枚の画像にしていく方法が示されるが、上顎下顎を同時に撮影していき、共通部分を重ね合わせながらつなぎ合わせても良い。連写は、画像として表示される構成が連続しており、又サイズ的にも連続しているので、接続する部位が見つけ安く、サイズ調整も少なくて済む場合がある。
 このようなパノラマ的な実画像を得る場合、中間輝度値法、ブロックマッチング法、オプティカルフロー法等の手法を用いても良い。
 図23(e)は、X線画像を同様につなぎ合わせて作成した上顎X線データb106と下顎X線データb107を示し、更に、下顎においては、実画像による下顎データb108を重ね合わせた状態で、患者にも見やすくしている。
 本実施例は、口腔内実画像、X線画像Y、仮想矯正パノラマ歯列画像、仮想配色によるパノラマ歯列画像等を比較できるように、コンピュータモニター、用紙への印字、印刷によって、患者に自らの口腔内を「見える化」することで、継続的な治療、効果的な予防、積極的な治療による自費率の向上等を促すことが出来る。
 また、歯肉、顎骨で補充が必要な部位をX線、実画像で表示し、人工歯根の植立条件としての顎骨の状態や、実画像での仮想的補綴の状態の合成等がX線画像に基づいて行うことが出来、骨再生手段による再生エリアを表示することもできる。
 実画像、X線画像及び顕微鏡画像は、多角的画像リストとして、見やすくまとめることができ、その編集した結果を画像表示、プリントアウトすることで、口腔内状況に基づく、治療及び予防の手順を患者にわかりやすく示すことが出来る。
 実画像の撮影は、例えば、フロキシン等歯垢着色を行って歯垢付着状況を目視にて観察可能とした後、図23(d)で示す画像を形成して記録装置に記録し、歯垢の付着状況と歯肉の状況を観察可能とする。更に、歯肉の状況に基づいて歯垢を採取し、顕微鏡を用いて歯周病菌画像を形成し、採取部位に関連した状況で、画像編集する。
 更に、X線画像との併用で、歯周病の状況を5段階程度で、見やすく表示する口腔内地図を画像データ、印字データとして形成し、歯周病予防、虫歯予防を適格に行うことを可能とする。
 上述したパノラマ仕様による全歯又は一部の歯の写真画像を取得する実画像形成手段により赤色の染色剤を用いて歯垢が表示された画像データを得る。
 この画像データの赤色の濃淡の度合いをソフトウエアによる例えば輝度値検出手法を用いて検出する検出手段により濃淡値を検出する。この濃淡値で一定の値、例えば、歯周病菌が繁殖しやすい程度に蓄積した状態の厚さに基づく濃さの値を輝度値で換算した値を超えた場合、画像データのその部位に注意マーク(画面上に合成した記号等)を付する手段を設けることで、口腔内染色後の画像をコンピュータモニターやプリンタで出力すると、自動的に歯垢の付着量が多い部分が表示される。この出力表示と、歯肉の状況を画像から見ることができ、歯周病の発見、予防、治療が効率よく行われる。
〔口腔内の仮想的補綴治療表示〕
 本発明は、X線画像と実画像との併設合成によりわかりやすい画像が形成できるが、更に、補綴物の仮想形状や色情報を当該画像に重ね合わせて合成し、治療後の仮想的な状態をわかりやすく表示することを可能とする。
 一例として、図21(a)で示すX線画像撮影手段B8011に図21(b)で示す仮想形状を合成表示する為の手段を後段に付加し、図21(a)で示す実画像撮影手段B8012に図21(c)で示す仮想形状を合成表示する手段を後段に付加する構成を示す。
 更に、仮想形状を予め記憶し、仮想合成表示の際、呼び出して使用する仮想形状等記憶手段B8022を具えることが好ましい。仮想形状等としては、義歯、ブリッジ、クラスプ、ノンクラスプ、インプラント、インレー、クラウン、その他の補綴物、矯正用器具形状情報、又仮想形状には、色情報も含まれ、例えば色調を決定する際に用いられる多数の歯形状を具えた色見本からなるシェードガイドを予め又は使用時にデータ化して蓄積したもの、全歯又は一つの歯の色情報等を蓄積したものが含まれてもよい。当該データの蓄積は、患者の口腔内のX線画像、実画像を撮影した際、その画像を必要に応じ、補正、整理用データを付する等して順次、記憶しても良い。
 図21(b)において、B8018は、X線画像用の仮想形状調整手段であり、撮影されたX線画像撮影手段B8011において、撮影されたX線撮影画像に、仮想形状等記憶手段B8022から使用者から指定され、又は自動的に呼び出された仮想形状をそのサイズを徴したり、X線画像上で容易認識可能でありながら、違和感のない色彩に調整して合成可能な状態に調整する。B8019は、X線画像に対する合成表示手段であり、モニター画面上にX線画像と、仮想形状を合成して表示する手段である。
 図21(b)及び図21(c)は、それぞれ撮影手段に付随的なものとして仮想合成表示手段を追加したが、付随的なものに限らず、目的に応じて、主構成として設定しても良い。又、図21の実画像、X線画像の重ね合わせを行う構成を必要とせず、実画像、X線画像それぞれ単独で仮想表示の合成を行っても良い。この合成は、画像をBMP、JPEG、GIFなどの汎用の形式とし、グリッド表示等と同様にスーパーインポーズ手法を用いたり、汎用のグラフィックソフトウエアで用いられている透過手法や、重ね合わせ手法を用いても良い。
 図21(c)において、B8020は、実画像用の仮想形状調整手段であり、X線画像用の仮想形状調整手段と同じ構成を有する。B8021は、合成表示手段であり、これもX線画像用の合成表示手段と同様の機能、構成を有する。
 次いで、図21で示す仮想表示の合成構成について、図28を参照して詳細に説明する。
 図21(a)において、X線画像撮影手段B8011で、図28(a)で示す全歯
X線画像b201を撮影して形成する。これは、例えば既成のX線パノラマ撮影装置から得られたパノラマ画像や、数本毎に全歯をX線撮影をして画像を取得し、これをデジタル画像に変換した後、それぞれの画像に対し、例えば輪郭抽出後、共通部を検出する。
 個々の画像毎に共通部で接続して全歯のパノラマ的画像を形成しても良い。同様に実画像撮影手段B8012で、図28(b)で示す全歯のパノラマ的実画像b202を形成する。尚、この全歯画像は、この手法に限るものではなく連写撮影をして、適当な画像を選び出してつなぎ合わせる手法などを用いても良い。
 治療部位を画像から見つけ出す。例えば画像b201において奥歯欠損部b219aと奥歯欠損部b219b、前歯の欠損部b219c及び前歯の隙間b219dである、パノラマ的実画像b202も同様である。
 それぞれ、欠損部であって、どのような補綴が必要かを検討し、例えば、前歯補綴物であれば、仮想形状調整手段B8018で仮想形状等記憶手段B8022を検索して補綴可能な形状の前歯の候補を選択する。選択された後、選択画像を読み出して、画面上で、サイズと色を選択しながら合成表示手段B8019で合成して表示モニターで表示する。図28(c)は、例えば仮想構成を合成した画像b203である。合成した画像b203において、下顎の奥歯欠損部b219aとb219bには、人工歯根が適当と見なせる場合は、仮想形状等記憶手段B8022から、人工歯根b213、上部構造b215、複数本に渡る場合は、ブリッジ用のインプラントb212及びブリッジ上部構造b214を選択し、仮想形状調整手段B8018でサイズ、色を調整して、合成表示手段B8019で、合成し、モニター画面、携帯端末のモニター画面に表示する。
 実画像撮影手段で得られたパノラマ的実画像b202にも同様に仮想形状等記憶手段B8022から実画像用の補綴歯、インレーデータ等を呼び出し、仮想形状調整手段B8020で、サイズ、色を調整して、合成表示手段B8021で表示する。
 図28において、b216は、図28(c)のブリッジ用上部構造b214を示し、b219は、図28(c)の上部構造b215を示す。b217は、前歯用のクラウンであり、図28(c)のb210に相当する。b218は、図28(c)の隙間補綴部b211を示す。
 隙間補綴部b211の形成は、例えば、互いの歯がクラウンであれば、クラウンの大きさを大きくして両クラウンを接触状態とすることで形成されてもよい。天然歯の場合は、両方の歯を多少削り取って、補綴する手法が示される。
 合成した画像b203、b204のそれぞれに補綴物を斜線で示した。例えば、合成した画像b203におけるブリッジ用インプラントb212及びブリッジ用上部構造b214では、強度等好ましくない場合は、下顎右側と同様の3本の人工歯根と上部構造を仮想形状等記憶手段B8022から読み出して、置き換えて表示し、欠損部の骨の状況、インプラント可能な範囲を画像を見ながら調整する。
 また、仮想形状等記憶手段から、歯色データを呼び出して、隣接歯との色の関係をモニターで比較調整しながら、決定しても良い。例えば、前歯補綴b210は、汎用のモデルを照合しながら、隣接歯と形状、色を調整して合成し、決定しても良い。
 隙間b219dの治療の仕方も、仮想形状等記憶手段B8022から、インレー、クラウン等、使えそうな補綴様式を選択して、画像にはめ込みながら、仮想形状調整手段B8018で調整し、合成表示手段B8019で合成の具合を見ながら、その他の仮想形状を検討してもよい。この仮想形状が三次元で形成される場合は、画面上で、仮想形状を回転させたりして、平面口腔内画像であっても、より現実的な合成画像を得ることが出来る。
 図28(c)と図28(d)の画像が得られた状態まででも検討するには十分な情報であるが、更に図21(a)の比較部位検出手段B8013で、図28(c)で示す合成画像から、合成前の部位であって、特徴となる部位を指定し、比較部位抽出手段B8014で、図28(d)で示す画像から、合成前の部位であって、特徴となる部位を指定して、比較手段B8015で、両者の比較部位を照合して、一致した状態を一時的に記録し、更に表示する。
 この表示した状態を示す画像を図28(e)で示す。合成画像b205は、実画像とX線画像を重ね合わせたものである。番号は、合成した画像b203、b204で示す補綴状態である。X線画像は、見にくく、特に歯肉部位は、見にくいが、このような合成画像により、X線画像の歯肉部がわかりやすく表示され、しかも上部構造又は歯と、歯根部のバランスをわかりやすく表示可能とする。
 仮想的な装着を画面上で行うことで、患者に実際の治療の結果が想像できる口腔内の表示を行うことができ、又、本人に適当な、着色、あるいは、銀歯、セラミックス等の歯の仮想陳列によるより患者に適した補綴を実現しようとする。治療に際しては、X線画像への仮想的装着は、歯科医師にとっても、治療に参考になる。仮想データは、既成の市販されているデータをそのまま用いて、拡大縮小を行って合成する場合の他、合成後、実際の距離から、補綴データに変換して、色情報と共に、 ホワイトニング、矯正データも得ることが可能となる。
 補綴部位への仮想形状の合成により、実際の補綴物のサイズの一部を求めることができることから、仮想形状等データは、そのまま補綴物製造用のデータとして用いられる場合もある。
 また、この手法をコンピュータによって行うことで、迅速に実際の補綴物の大きさの一部がわかり、そのまま補綴物の製造データとして使用することも可能となる場合もある。
〔携帯端末型情報入出力手段〕
 次いで、本発明の実施例を図24を参照して詳細に説明する。図中、1a01は、小型電池であってボタン型、円筒型、シート型、ピン型等の電池が例示され、また一次電池、二次電池のいずれも使用が可能である。1a02は、昇圧手段であって、DCーDCコンバータ、チョッパー型、その他のスイッチングレギュレータであって、例えば1.5Vを3V前後に昇圧する機能を有するものが使用される。1a03は、制御手段であって、ワンチップタイプのコンピュータ、ASIC等の制御チップが例示される。1a04は、表示手段であって、液晶パネル等で形成される2次元表示可能なものが例示される。
 1a05は、端末側通信手段であって、無線媒体1a0Cの種類によって、適宜調整され、電波であれば、数GHzまでの搬送波出力手段、FM、AM、PCM等の変調手段、送受信アンテナ等を含む回路が用いられ、光であれば、LED、レーザと、CDS等の受光素子の組み合わせが用いられるが、このなかでも、電波を用いたZigbeeモジュール(商品名)等が好適に利用可能である。その他、USB接続等の汎用ケーブル、専用ケーブル等の有線による通信手段でも良い場合がある。
 1a06は、入力手段であり、キーパッド、タッチパッド、その他、押す、触れる等して、使用者の目的とする部位を電気信号に変換するものが例示される。タッチパネル機能を有する液晶パネルを用いる等、表示手段1a04と入力手段1a06が同一のデバイスで兼用される場合もある。
 1a07は、記憶手段で、表示部へ患者データを編集して表示する為にプログラムが記録される。患者データは、主にホストデバイス側で記録される為、一時的な記憶であっても良く、容量に応じて記憶されれば良い。1a08は、入力手段1a06と、端末側通信手段1a05を直接的に接続する電気回線であるが、これは、キーを押すと、そのまま、端末側通信手段1a05を介して、送信される機能を示すものであって、キーボードと、コンピュータとの間の回路回線と同様の構成を示しても良い。制御手段1a03が代行する場合は不要になる場合もある。
 1a0Bは、ホストデバイスであり、患者データ、患者口腔内データ、患者健康データ、勤怠等の歯科従事者関連データ、歯科診療データ、電子化されたカルテデータ、患者予約データ等を蓄積したデータベース、等の歯科医業関の全てのデータを記憶する記録手段1a11、ホストコンピュータ1a10、及び通信手段1a09の組み合わせ構成を示す。
 1a09は、ホスト側の通信手段であって、携帯端末側の端末側通信手段1a05と一対となる構成を示すものである。複数の患者に対して複数の携帯端末が利用されることは珍しくない為、携帯端末または通信手段1a09は多重チャネル設定可能であり、特定の携帯端末からの入力のみを受け付けるようにすることが好ましい。
 1a10は、ホストコンピュータであって、表示用ディスプレイ装置、キーボード、マウス、プリンタ等の周辺機器との組み合わせ構成を示す。1a11は、記録手段であって、ハードディスク、SD、DVD、USBメモリー等の記録メデイアであって、ホストコンピュータ1a10内に収容されていても良い。通信手段1a09も、同様に外部接続の場合の他、内蔵されていても良い場合もある。1a12は、通信ネットワークであって、インターネット、社内LAN、イントラネット等が例示される。1a13は、他のホストデバイスであって、ホストデバイス1a0Bのホストコンピュータ1a10と同様の構成をもち、ホストデバイス1a0Bが所有しない患者データ等を記憶しても良い。また、例えば遠隔地から、携帯端末へ、治療データをおくることで、操作する歯科医師の診察治療を支援することも可能となる。
 次に、図24に示した実施例の動作について説明する。
 電池1a01の電圧を昇圧手段1a02で昇圧して、各手段に供給する。この昇圧手段1a02により、例えば電池電圧1.5vを3V又はそれ以上の電圧に昇圧することで、C-MOS制御素子等が駆動できる。
 制御手段1a03は、表示手段1a04に歯科診療時の診察データ処理用プログラムを記憶手段1a07から呼び出して実行し表示しても良い。さもなければ、ホストコンピュータ1a10から送信されてくるデータをそのまま表示手段1a04で表示してもよい。
 無線通信手段を用いている為、最初または、操作途中で、通信状態が検査され、通信状況が確認される。尚、途中で無線接続が遮断されたとしても、制御手段1a03により、遮断されている間の入出力が一時的に行われる構成としても良い場合もある。
 表示手段1a04の表示に従って、操作者は、入力手段1a06の入力ボタンを押す、触れる等して操作する。この場合、例えば入力手段1a06の「1」のキーを押すと、制御手段1a03を介して表示手段1a04に「1」を出力表示すると共に、端末側通信手段1a05、無線媒体1a0C、通信手段1a09を介して、ホストコンピュータ1a10へ送信する。実行ボタン信号がホストコンピュータ1a10に到達すると、例えば患者名が入力手段1a06からホストコンピュータ1a10へ送信された場合、受信したホストコンピュータ1a10内のデータベースで検索して、データを携帯端末1a0Aへ送信する。送信されたデータは、端末側通信手段1a05を介して制御手段1a03で、表示用に調整され、表示手段1a04で表示される。
 また、ホストコンピュータ1a10から携帯端末へ送信されたデータは、携帯端末1a0Aの表示手段1a04にそのまま表示される構成であってもよく、又、制御手段1a03は、記憶手段1a07からプログラムを呼び出して実行し、ホストコンピュータ1a10から送信されてきたデータをプログラム処理して、表示手段1a04に表示してもよい。
 無線通信手段で送受信されるデータは、符号データ、数値データ、記号データ、その他テキストデータ、画像データを送信する。ホストコンピュータ1a10に必要とする内容がない場合は、他のホストデバイス1a13に通信ネットワーク1a12を介してデータの入手を図る場合もある。
 入力手段1a06からの入力は更に、ホストデバイス側の記録手段1a11に記録される。例えば歯周ポケット深度値が得られて入力手段1a06から手動で入力された場合は、そのまま、ホストコンピュータ1a10を介して記録手段1a11に記録されるが、入力した値を確認する為、表示手段1a04にもその表示をする為の回路を設けても良い。
 次に、本発明の実施例の動作を図24及び図25を参照してより詳細に説明する。
 使用開始の際、図25で示すステップ1b01で示すように自動通信テストが実行され、通信テストが失敗する(NO)と(図25で示すステップ1b02)、エラーメッセージが表示され(図25で示すステップ1b03)、再び図25で示すステップ1b01で自動通信テストが行われる。
 自動通信テストが成功する(YES)と、図24で示すホストコンピュータ1a10が患者・選択メニュー表示データを、通信手段1a09、無線媒体1a0C、端末側通信手段1a05を介して制御手段1a03に出力し、このデータを入力した制御手段1a03は、これを表示手段1a04に出力する。この場合、ホストコンピュータ1a10が出力するのは、表示用データであって、この表示用データを表示手段1a04で表示する場合は、記憶手段1a07から読み出された表示用プログラムを制御手段1a03が実行して形成されることが例示される。
 なお、患者・選択メニューは、携帯端末の記憶手段1a07にプログラムとして記録されていても良い。又、制御手段1a03を介さず、直接表示手段1a04にデータを表示する場合もある。
 図24で示す表示手段1a04は、患者・使用者選択メニューの表示を行う(図25で示すステップ1b04)。
 図25で示すステップ1b05で、患者選択メニュー番号をキーパッドを押して入力した場合(yes)について説明し、その他の選択(NO)は、端子1b05aへ移動して行われるが、同様の操作の繰り返しになる為図示及び説明を省略する。
 患者選択(例えばキーパッドの1を押す。)と、1の信号は、そのまま、無線通信手段を介してホストコンピュータ1a10へ送信されると共に表示手段1a04に、患者名入力ボックスを表示するプログラムが作動する。図25で示すステップ1b06において、患者名又は患者コードをキーパッドを押して入力すると、押す毎に押したキーパッドに対応する記号、文字データがホストコンピュータ1a10に送信され、エンターキーが押されるとホストコンピュータ1a10の記録手段1a11内の記憶データに対し、検索を行う。
 当該検索は、氏名全部一致検索の他、氏又は名だけを入力して検索する部分一致検索等が利用できる為、部分一致の検索の場合に得られた患者リストが表示される。
 患者候補がいるかどうかの選択表示がされ、いる場合は、いる場合を示すキーを押し、その押された情報が、そのままホストコンピュータ1a10に送信され、ホストコンピュータ1a10は、患者データをデータベースから呼び出して、携帯端末1a0Aへ送信する。
 この患者データは、表示手段1a04に表示されるが、この場合、制御手段1a03は、そのまま改行コードごとに列挙表示してもよい
 さらに、患者データ表示の場合、制御手段1a03は、記憶手段1a07から、表示用プログラムを読み出して実行し、表示手段1a04に、プログラムに従った配列を有する表示がされても良い。
 図25で示すステップ1b07で患者候補がいる場合(YES)、図24で示すホストコンピュータ1a10は、携帯端末1a0Aに患者データを送信する(図25で示すステップ1b08)。図25で示すステップ1b07で、患者候補がいない場合(NO)は、新規患者登録を行うか、再度検索する場合もあるが、再度検索のルーチン表示は、省略し、新規患者登録を行うステップ(図25で示すステップ1b09)のみ示した。
 新規患者登録の場合、入力手段1a06のキーパッドを操作して、データを入力する場合、キーパッド入力は、そのままホストコンピュータ1a10へ伝達され、記録手段1a11のデータベースに登録される。尚、新規患者の登録の場合、入力手段1a06からの入力の他、ホストコンピュータ1a10からの入力であっても良く、いずれからの入力でも、ホストコンピュータ1a10の記録手段1a11に記録されている患者情報に新規追加される(図25で示すステップ1b09)。
 患者が特定され、記録が表示されると、次に図25で示すステップ1b10で検査のメニュー表示が携帯端末1a0Aの表示手段1a04で行われる。このメニュー表示は、ホストコンピュータ1a10が出力表示したデータ、又は、このデータを記憶手段1a07から呼び出したプログラムを実行させた制御手段1a03により表示手段1a04が表示したものが例示される。
 これも、検査メニュー関連が、テキスト文章として表示される場合は、ホストデバイス1a0Bから、無線媒体1a0C、制御手段1a03を介してそのまま表示され、データベース固有の配列パターンをもった表示の場合は、記憶手段1a07から、アプリケーションプログラムを読み出してこれを実行しても良い(図25で示すステップ1b10)。
 図25では、プラーク検査を指定することを示しそれ以外の選択(1b11a)は省略している。図25で示すステップ1b11でプラーク検査を指定すると、入力手段1a06を押して入力指定した信号は、直接ホストコンピュータ1a10へ送信され、ホストコンピュータは、過去のプラークデータを出力する。
 ホストコンピュータ1a10が記録手段1a11から呼び出して携帯端末1a0Aへ出力する過去のプラークデータは、数値、記号、文字、動画、静止画等のデータである。制御手段1a03は、記憶手段1a07から呼び出したプラーク表示プログラムを実行し、ホストコンピュータ1a10から出力されたデータに基づいて表示する。
 携帯端末側のキーパッド操作によりどの歯番のどこの側面で、どの段階のプラークを追加記載したかのデータが、図24で示すホストコンピュータ1a10へ送信される。ホストコンピュータ1a10は、記録手段1a11にその旨のデータを記録する。
 図25で示すステップ1b12において、患者のプラーク表示がなされると、修正・追加をするかどうかの図25で示すステップ1b13へ移動し、修正・追加する場合は、上述の様な修正・追加(図25で示すステップ1b14)が行われる。
 修正・追加が完了すると、他の検査を行うかどうか図25で示すステップ1b15で判断され、他の検査を行う場合は、図25で示すステップ1b10の検査メニュー表示がされ、他の検査を行わない場合は、初期メニューに戻るかどうかの表示がされ(図25で示すステップ1b16)、初期メニューへ戻る場合は、図25で示すステップ1b04の患者、使用者選択メニュー表示が行われて、処理が継続する。初期メニューにも戻らない場合は、例えば終了してもよい。
 なお、以上の構成は、あくまで一例であり、例えば、スマートフォン、携帯電話をそのまま歯科情報管理用の携帯端末として使用しても良い場合もあり、少なくとも、歯科従事者が、携行し、口腔内情報、歯科事務情報、歯科従業者情報、その他関連する情報を入力、表示、登録等の操作ができ、必要に応じてホスト端末から情報を読み出し、登録でき、歯科従業者同士が、必要な情報を共有的に表示、入力できれば良く、その目的に応じた構成を取り得るものである。
 以上の操作により、無線通信が行われるのは、キーパッドのコード及び、数値、文字、符号、記号、テキストデータ、画像、動画等のデータであり、リアルタイムで表示ができることから、診療と同時に端末を使用しても、ストレス無く使用が可能である。又、ホストデバイスを腰、背中に装着する場合や、ホストデバイスと携帯端末間を有線で接続しても支障がない場合等、無線通信を使用せず、有線通信を用いてもよい場合もある。
 本発明は、上記した携帯端末で歯科情報の一元管理を実現することも可能である。管理対象となる情報としては、例えば、歯科診療の予約管理システム、電子カルテシステム、会計情報及び診療情報からレセプトデータを作成するレセプトコンピュータシステム、再来患者に関するリコール管理システム等で取り扱われる歯科事務情報、患者情報、カルテ情報、会計情報、診療報酬情報等を入力可能とし、例えばグラフ化された帳票を作成し表示する機能を備えた経営管理システムで取り扱われる歯科事務情報、デジタルレントゲン情報、歯科用顕微鏡情報、歯科用CT情報、口腔内カメラ等の検査情報、治療用歯科ユニット情報、患者用椅子等のデータ情報、歯周ポケット検査用プローブ、その他の機器からの口腔内情報、歯科医師、歯科衛生士、歯科スタッフ、受付事務スタッフ、歯科技工士等の従事者の勤怠等の歯科従事者情報が示されるが、その他、歯磨き情報、プラーク関連情報、歯周病菌情報等、予防情報、生活習慣病関連情報のような、口腔内に限らないが、歯周病に関連する疾病など間接的疾病に関する例えば、血圧、血液情報等も含まれる場合がある。
 また、少なくとも院内有用情報、患者有用情報、問診情報、経営情報等であれば、一元管理の対象となるが、一元管理は、関連する全ての歯科医業情報の管理だけでなく、必要な一部だけの情報を一元管理の対象としても良い場合もある。
 例えばアナログX線撮影装置の場合のようにアナログ写真、画像でしかデータが得られない場合や、手書きデータの場合は、イメージスキャナ、デジタルカメラ、コンピュータ画面のハードコピー等のデジタル変換手段を介してデジタル信号にして、管理することが好ましい場合もある。
 データの一元管理は、上記した携帯端末によって行われても良いが、タブレット型、ノート型、デスクトップ型等の歯科用コンピュータによる一元管理であってもよい。特にインターネットを中心としたネットブック仕様の端末、携帯端末の利用が行われてもよく、無線LANでインターネット接続した携帯端末の利用をしてもよい。
 また、本発明は、クラウドコンピューテイング手法を用いて一元化された情報の提供、情報処理提供等を行っても良い。例えば、携帯端末又はホスト端末は、インターネットを介して存在する一乃至複数のセンタ機関が提供するアプリケーションソフトを端末側の専用又は汎用のブラウザソフトウエアでデータの入出力を、行うものであっても良い。端末側は、一元管理用のアプリケーションソフトウエアをインストールせず、インターネットエクスプローラ(登録商標)、ファイヤーフォックス(登録商標)等のブラウザソフトのみをインストールしておき、このブラウザソフトを介して、センタの歯科情報一元管理用ソフトウエアを実行することによりデータの入出力を行うことが出来、端末側の記録装置の容量を気にせず、小型で簡易性を備えたものとなり得る。
 なお、汎用ブラウザではなく、歯科情報一元管理用ソフトウエア起動専用のソフトを用いてもよい。また、端末側は、クラウド側のリソースに情報を全部蓄積する場合や、個人情報等、安全な管理を必要とする一部情報は、端末側に蓄積する場合もある。
 クラウドの態様は例えば、情報の漏洩が問題となる範囲は、社内だけ、センタ機関だけ、又は、参加する歯科グループ内だけのプライベートクラウドとして、構築されたシステムが好ましいが、セキュリテイが確実であれば、外部のコンピュータによる情報提供サービス機関等によって構築されるパブリッククラウドで構成されても良いし、場合によっては、全部をプライベートクラウド、又はパブリッククラウドとしても良い。
 当該携帯端末は、歯科医師の他、歯科衛生士、歯科受付事務スタッフ、歯科技工士、その他関連する者、場合によっては患者がそれぞれ携行使用しても良い。他のスタッフとデータを共有しても良い。又、ICカード等個人を識別する担体の交換機能を具えることで、一台をそれぞれ交代で専用化して使用することもできる。
 データの一元管理は、各システムで取り扱っているデータ間に互換性があることが好ましいが、必ずしも互換性は必要なく、例えば、画面のハードコピーデータを用いる場合など、少なくとも、携帯端末上に表示され、操作できればよい場合もある。
 本実施例では、外部データベースを設定したサーバと、携帯端末が通信可能な状態でリアルタイムに用いられることが好ましいが、これに限らず、操作が、携帯端末に一時的に記録され、サーバとの交信が可能になった時点で、一時的に記録されたデータがデータベースへ自動的に転送されるバッチ手法を用いても良い。
 例えば、携帯端末上で患者の予約システムを操作する場合、患者の治療、予防の為の通院スケジュールを決定する際、端末上から、候補となる予約日を入力するとデータベースから、予約状況データが読み出され、比較し、重複する予定日を携帯端末の画面上に表示し、変更を促すものであってもよく、携帯端末画面の入力表示欄に複数の治療・予防画面にスケジュールを記入して、印字命令を携帯端末から行うことで、関連するプリンタにより治療・予防スケジュール表を印字印刷して、患者に配布することも可能である。
 携帯端末は、ホストデバイスと、無線・有線で接続される他、口腔内カメラと有線又は無線で接続しても良く、この場合は、治療・予防の必要性がある歯、歯周の撮影位置決めを適格にできる。
 携帯端末とホスト端末間での情報の一元化をはかるだけでなく、いわゆる歯科診療用イス毎に、歯科用コンピュータとして端末をおいた場合、ホスト端末をサーバとして使用すれば、ホスト端末と、各イス毎のコンピュータ間での情報の一元管理が図れる。
 携帯端末へのデータの入力は、上述のように、付設された押型、摺動型、指、ペンその他のものを画面に接触させて操作する型の操作ボタン、回転ダイヤルの他、画面上の仮想ボタン、仮想キーボード、口腔内カメラ等の周辺機器が接続する場合は、周辺機器上の上記ボタン、ダイヤルが例示され、その他、一体的に設置されたマイクロフォンによる音声入力記録、一体的又は別体的に設置されたカメラによるスキャニング記録機能を備えることで、自由入力が容易になる。尚、スキャニング記録機能は、歯科用カメラによって写真画像記録としても良い。
 タブレット型コンピュータ、携帯端末等、画面入力の際の電磁誘導式ペン、抵抗膜式ペンの利用に基づく文字、手書き画像の入力を行う場合、手書き入力データを取り込むようにしておいてもよい。例えば、患者に説明する場合、歯科衛生士に治療手法を説明する場合その他、手書きで画面に表示することが適当である場合は、携帯端末から手書きで画面を入力すると、そのまま表示されたり、ホスト端末のモニター画面に同期して表示されたりすることで、患者への説明、他の従業者への説明をしてもよく、そのまま記録され、後で使用されてもよい。特に口腔内画像に手書きで入力した場合は、そのまま患者のデータとして使用可能である。
 更に音声データも入力出来るようにして、口腔内状況の正確な把握を可能としてもよい。音声データは、例えば、携帯端末画面上で、他の携帯端末使用者と話をする場合は、ウィンドウを指定することで、音声と画像を同時に表示するものであってもよい。又、音声データは、そのまま文字データへ変換させたり、手書き文字も文字データに変換することで、記録容量を低減可能である。特に口腔内の診断を行う場合は、う蝕の状態など、予め専門的な用語を音声データとして登録しておき、携帯端末を介して入力される音声との比較照合により、文字データに変換することで、今まで、書き留めていたデータを、自動的に電子化データとすることができる。
 予め登録しておく専門用語の音声サンプルとテキストデータのテーブルを記録装置に記録し、入力された音声データと音声サンプルデータを比較し、一致又は略一致した場合の音声サンプルデータに対応するテキストデータに変換することで、的確な歯科情報記録を可能とする。
 本実施例は、一元管理下、電子カルテ等の患者情報の入力や、診療報酬情報の入力、等歯科事務に関する情報の入出力を行うことも可能であるが、この場合、ホスト端末と携帯端末が少なくとも入力状態において同期してもよい。即ち、ホスト端末から入力すると、携帯端末にその入力が表示され、出力表示も同様に同期して行われる。画面同期ソフトウエアは、携帯端末が、汎用コンピュータを内蔵する場合、市販のソフトウエアSync+(商品名)の利用などでおこなうことができる。又、携帯端末は、予め内蔵された或いはLAN機能を備えたUSB端末を接続して無線LANの利用を可能とする状態のもの等が示される。これは、ホスト端末と携帯端末間だけでなく、ホスト端末を介して他の携帯端末との間での共有、又は、ホスト端末間で直接的な共有も図れる。直接的な共有は、電磁波、赤外線、等の無線媒体を利用するものの他、中継端末を介したものであっても良い。
 在宅歯科のような場合、携帯端末の記憶容量、処理能力が低く、データが記憶できない場合は、別体の記憶装置、或いは、メール等により、記憶できない分をデータに整理し、専用又は公衆回線を用いてホスト端末へ逐次又は、一定の記憶量ごとに送信をしてもよい。
 このような、端末間での表示の同期は、歯科診療が、例えば共通の室内で行われる際、複雑な入力を携帯端末上から行うことは、時間がかかる為、キーボード、マウス等の入力インタフェースを装備したホスト端末からの入力を可能とすることで、迅速な入力が可能となるのである。
 また、携帯端末、その他の端末を用いた歯科情報の一元管理においては、時系列的データの自動処理を行っても良い。例えば、治療後の患者の治療完了、治療休止時の日時をデータベースから読み出して、現在の日時と照合し、治療後、予め設定した相当期間が経過した際、携帯端末、又は、ホスト端末にその旨を表示する。或いは、そのままダイレクトメールを印字作成することを自動的に行っても良い。
 ホスト端末は、診療報酬作成の時期がくると自動的に携帯端末に通知してもよく、勤怠についても、報告がない日等を自動的に通知し、調整しても良い。
 携帯端末は、X線撮影装置、口腔内カメラ、顕微鏡、等の周辺機器と直接又はホスト端末を介して接続することで、例えば、これらの周辺機器による撮影出力をリアルタイムで携帯端末に表示し、患者名等で特定された患者用データフォルダへ記録する構成も取り得る。これらの周辺機器や歯科用チェア、照明器具等の動作の制御を携帯端末から行っても良い。その際は、制御操作の記録をログとして患者カルテに記録しておいてもよい。
 患者用データフォルダは、ホスト端末を中心に、重複しない状態で、記録され、各端末からの検索により、読み出し可能とすることが好ましい。患者用データフォルダは、一時的使用においては、端末毎に存在するなど複数存在しても良いが、継続的に登録する際は、一つの記憶領域に存在することが好ましい。この記憶領域は、ホスト端末だけでなく、ネットワークを介した遠隔地にあっても良い場合もある。
 当該携帯端末は、更に患者との音声、画像、文字による情報交換を可能としてもよく、特に携帯端末の汎用化が図られた場合は、患者も当該携帯端末を携行することも可能となる。患者が携行した場合は、患者にとって必要な情報のみ閲覧可能とすることが好ましい。これは、例えば、スマートフォン、その他の携帯電話のアプリケーションソフトを上述した歯科用管理端末化する場合は、患者にも、専用のアプリケーションをインストールしてもらうだけで可能となる場合もある。
〔歯科用説明手段〕
 本実施例は、歯科診療について、例えば患者のパノラマ状全歯列画像、治療部位画像をコンピュータのモニター(ディスプレイ)画面に表示すると共に、細分化して形成された動画を目的に応じて結合させて結合動画として再生することにより、患者ごとに治療の説明をする際、わかりやすい説明を可能とするものである。歯科医師は、細分化された動画を予め結合した既成動画列を使用しても良いが、事前に選択し編集結合してもよい。
 歯科医師が事前に選択編集する手法は、セミカスタム的又は既存に結合された動画列を選択使用されるものであるが、更に全ての説明データを組み合わせて、少なくとも一つの動画列を作る実施例について、図26を参照して詳細に説明する。
 図26は、歯科医師が事前に一つの組み合わせ動画として設定する場合の動作を説明する為の図である。図中、1c01は、最初のメニューの表示である。既成動画列を示すリスト、セミカスタム的に結合編集可能なリスト、個々の細分化された動画のリストが表示され、目的に応じて選択していく。
 1c02は、最初のメニュー表示からどれかを選択するステップである。
 1c03は、どれを選択したかで実行ステップが分岐するステップで、NOの場合は、他の結合動画選択(図示せず)へ端子1c03aを介して移動する。YESの場合は、この結合動画に既に登録されているかを動画名検索や細分化動画データに付された固有の符号の組み合わせの検索等の手法により判断するステップ(1c04)へ移動し、仮に登録されている場合(YES)は、端子1c03aを介して、他の結合動画選択へ移行する。
 登録されていない場合は、細分化データの一覧が表示され、更に編集領域が表示される。細分化データの一覧は、目的別によって、区分けがされていてもよく、系列化、ツリーの形成がされていても良い。
 細分化動画データの選択1c05では、一覧から、編集領域へ、コピーペースト、ドラッグアンドドロップで移動させ、時系列的な説明データを編集していく。
 図26において、細分化動画選択が完了した時(1c06)、選択し結合された動画列の再生が、試験的に行われる(1c07)。
 図27は、結合動画の組み合わせ例を示したものである。図中、1d01は、抜歯後の歯肉の回復動画、1d02は、隣在歯の傾斜動画、1d03は、対合歯の廷出動画、1d04は、支台歯の形成動画、1d05は、図1で示した加工物の説明動画及び加工物のセット装着を示す動画である。これら個々の動画は、一つではなく複数の動画が存在しているほうが好ましい場合もある。
 1d01から1d05の一連の動画を結合動画1d00として、名前が付けられて記録装置に記録されたり、個々の細分化動画データに予め付された記号列を記録装置が記録したりした後、結合動画1d00は、コンピュータ画面上で、一つのアイコンとして表示されても良い。
 結合動画1d00は、順番に組み合わせて連続して再生可能な一つの動画を作成するものであるが、個々の動画は、細分化されており、それぞれに、患者用定数、医師用定数が設定されていることが好ましい。個々の動画の形式は、例えば、WMV、AVI、MPEG形式であって、既成の動画編集ソフトウエアにより選択し順番に結合させればよい。
 更にステップ1c08で、医師側データ、患者側データが表示され、時間コストの表示がされ、好ましくは、その他の手法であって、より低コスト、短時間、高利益な説明の表示が場合分けされて行われても良い。
 ステップ1c09において、既に結合動画が作成された状態であっても再選択したい場合は、細分化動画データの選択へ移行させるステップであり、1c10は、このメニューリストを保存するかどうかを選択するステップであり、保存する場合(YES )は、ステップ1c11で結合動画名を入力して登録保存される。保存しない場合は、終了ステップで元に戻って、編集を行うか、そのまま終了するかが選択される(1c12)。
 図26は、医師が結合動画を作成する際の動作を説明したものであるが、実際細分化されたデータは、多数ある為、選択するデータにより時間がかかる場合が生じることから、予め説明の種類ごとに見本を編集ボックス風に形成しておいてもよい。当該実施例は、更に細分化動画に患者自身の口腔内画像を登録してもよく、患者特有の治療、予防等の説明の一部として利用されても良い場合もある。
 本実施例は、主にインフォームドコンセントに利用されるが、患者にとっての治療時間の短縮化や、説明の効率化からすれば、より効率の良い視聴が行われることが好ましいが、その場合には、細分化し、時間が数秒から数分の動画を、医師が患者に説明しながら、実行することで、医師が使用する用語の解説的で補助的な画面表示により、患者にとって、わかりやすい説明となる。
 例えば、細分化したデータのリストをコンピュータ画面上にアイコン、表等で表示し、それぞれ、患者にわかりやすい平易なタイトルを付する。このリストの編集を、上述した携帯端末上で表示し、歯科医師が選択する。選択した状態を、患者が見る画面上に表示する。
 また、患者と治療の話をしながら、簡易携帯端末上で、患者用の選択した組み合わせ動画列を作成して、これを患者用に表示する即席的形成も可能である。即ち、主に歯科従業者が携行する表示部と入力インタフェースを具えた携帯端末、及び患者、予防希望者(患者等とする。)が視聴可能な表示用モニターを具えた端末からなり、歯科従業者が、患者等へ伝達する内容を含む動画、細分化した動画、又はその組み合わせ動画を携帯端末上で、検索し編集する。編集が終了した状態で、患者視聴用端末へ送信する。尚、この場合は、動画データを送信してもよいが、動画データに付した識別データを送信し、患者視聴用の端末が、この識別データを受信して、この識別データ列に基づいた動画を画面上に表示するリアルタイム的処理をするものであってもよい。
 更に歯科医師等が携帯端末を携行した状態で、患者等が視聴する端末の画面表示上の動画の再生、停止、患者データの表示、非表示などのリモート操作を行うものであっても良い。
 また、患者が視聴している画像、データを、歯科従業者が携行する携帯端末上で同期的に表示してもよい。特に、図1で示す口腔内カメラで、患者の口腔内を表示し説明する場合は、説明と症例が一致し、よりわかりやすくなる。
 更に本実施例では、図24で示す携帯端末で、動画データの編集をして、患者が見ることが出来るコンピュータモニターに編集した画像を出力表示させても良い。
 また、当該携帯端末により、患者が見ることができる歯科用コンピュータに接続したモニターへの動画表示の操作を可能としても良い。
〔歯肉と歯の境界検出手段〕
 本発明は、歯と歯肉の境界を明確に設定検出可能とするための構成を含む。
 口腔内カメラの画像は、暗く狭い空間を照明をあてながら撮影する箇所が多いため、例えば、図8及び図10で示すコンピュータ画像処理によるパノラマ画像を形成する手段として、画像間の共通部分を検出する場合や、患者への歯科治療の説明を行う場合等は、歯肉と歯の境など、近似的な色合や唾液の影響等のため、識別困難な場合がある。
 そこで、実画像の歯の輪郭を抽出する輪郭抽出手段、実画像を成分色に変換して、歯及び歯肉の形状を明確にする色成分画像変換手段、色成分画像変換手段で変換された画像と、輪郭抽出画像を合成した合成画像形成手段からなる組み合わせ構成により歯と歯肉の輪郭を歯の汚れや、照明が十分でない場所でも、抽出可能とした。
 輪郭抽出手段は、例えば画像に対し2次元フーリエ変換を行う手段と、当該フーリエ変換後、画像の濃淡の変化を示す周波数領域における位相信号のみを検出して逆フーリエ変換を行う手段で構成される。その他、Z変換系、ラプラス変換系の利用も可能な場合がある。
 色成分画像変換手段は、例えば、RGB表色系、La*b*表色系、HSV表色系、XYZ表色系、xyY表色系、L*u*v*表色系、マンセル表色系、オストワルト表色系、NCS (Natural Color System) 、DIN表色系等の表色系で示される成分色に分解した画像を形成し、この中から、形状が明確に見える成分色を選択して、その成分色に基づいた画像を形成する手段、又は表色系を問わずその成分色を合成して、より形状が明確に見える成分色を形成して当該成分色に基づく画像を形成する手段である。当該選択は、予め口腔内画像にたいして適した成分色を測定して決定することが好ましいが、例えば  La*b*表色系、のL成分画像、a*成分画像、又はb*成分画像のいずれか1つと、HSV表色系のH(色相(Hue))成分画像、S(彩度(Saturation・Chroma))成分画像、V(明度(Brightness・Lightness・Value))成分画像、のいずれか1つとを組み合わせて合成することが示され、異なる表色系の成分色同士の合成が好ましい場合がある。成分色の選択又は組み合わせ合成は、形状が明確に見える成分色への変換又は、複数成分色の合成をおこなうものであれば良い。尚、成分画像とは、成分を強調する画像を例えばプログラム上の成分値を示す数値を調整して得られたもの等を含むものである。
 また、形状が明確に認識可能な成分画像を選択する他に、人がよりその境界を認識できる色の組み合わせを用いて着色する。例えばR(赤色)成分画像を歯肉に適用し、G(緑色)成分画像を歯に適用することが示される。
 また、ここで示す成分色とは、画像から検出したものだけではなく、境界を明確にする色を用いて新たに着色しても良い場合もある。
 そして、合成画像形成手段は、前記輪郭抽出手段で得られた輪郭画像と、色成分画像変換手段で得られた画像を、例えばクロマキー手法のように、輪郭画像の輪郭部分以外を同色系として、色成分画像を透過する等して合成する。又、当該合成後、色成分画像を更に強調するため、人が目視的、又は機械的に、より境界がより区別されるべく歯肉部を赤色系に変色又は濃く強調させ、歯を緑色に変色又は濃く強調させたりする手段を用いても良い。尚、色成分によっては、歯肉色を赤色に、歯色を緑色に変換するものがあれば、その色成分画像に変換してもよい。これらの手段は、いずれもコンピュータソフトウェアにより実現されることが好ましいが、ゲートアレイ、PLD (Programmable Logic Device)等のカスタム、セミカスタムICによって構成される場合もある。
 次に、図29で示す実施例について説明する。図中、2901は、画像入力手段であり、例えば口腔内カメラで撮影された静止画像を入力する手段である。画像入力手段で入力された静止画画像は、フィルタ手段2902に出力される。フィルタ手段2902は、アンシャープフィルタなどのエッジ強調フィルタで示されるが、その他、画像の濃淡を強調するフィルタを用いてもよい場合がある。
 フィルタ手段2902でフィルタ処理が行われた画像は、輪郭抽出手段2903及び成分色画像変換手段2904へ出力される。輪郭抽出手段2903は、2次元フーリエ変換手段、位相信号検出手段、及び逆フーリエ変換手段よりなるが、これらの手段は、open-CV(インテル社製)のようなソフトウェアライブラリ中にあるプログラムモジュールを組み合わせて実行するものが例示される。
 2904は、成分色画像変換手段であり、上述した様に、La*b*表色系、HSV表色系のa*成分色やb*成分色、H成分色S成分色V成分色に変換した画像を形成する手段と、これら成分色を合成する成分色合成手段からなり、色合いが変化するが、歯及び歯肉の形状が明確な画像が形成される。更に、この色合いの変化により、歯の汚れ、虫歯の発見も可能となる場合がある。
 輪郭抽出手段2903で得られた輪郭画像と、成分色画像変換手段2904で成分色画像に変換された画像は、合成表示手段2905へ出力される。合成表示手段2905は、輪郭抽出手段2903の出力した輪郭画像と、成分色画像変換手段の出力成分色画像を合成する。この合成は、例えば、輪郭画像の輪郭以外を同系色化し、この同系色を透明化して、背景映像となる成分色画像と合成するものである。合成された画像は、コンピュータモニター上に表示される。
 これら一連の合成処理により歯肉と歯の境界が鮮明な画像を得ることができる場合がある。又、図12で示す左右の歯列をマークMLがおおよそ画像の中心にくる画像同士(例えば画像906eと画像1102f)を合成する際の目安として例えば中心の2つの歯の境界KLを検出する際、本実施例は好適に用いられる。又、フーリエ変換により位相信号を検出して得られる輪郭画像と実画像をそのまま合成してもよい。また成分色画像のみを用いても形状が明確になる画像が得られることから、成分色画像検出手段で得られた画像のみでも歯肉と歯の境界が明確になる画像が得られる。このような歯と歯肉の境界が明確になった画像は、各種合成作業用の目印として利用されたり、患者への説明用、歯科治療用に用いることができる。
 本発明は、歯科診療における口腔内健全化を図るべく、患者に口腔内情報を見やすい形式で提供することで、患者の口腔内情報を新たにすることができる歯科システムを提案するものであり、歯科医療分野において有効に利用される。
 11  口腔内画像入力手段
 12  診療部位検出手段
 13  単位画像形成手段
 14  診療順位設定手段
 15  診療説明形成手段
 16  表示出力手段
 17  記録手段

Claims (7)

  1.  歯列の側面を連写撮影して画像列を形成する連写画像列形成手段と、前記連写画像列形成手段で形成された画像列を部分的な歯列画像として全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段と、前記側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像に基づいて連結合成して全体の歯列を形成する側面歯列画像合成手段とを備えてなる口腔内撮影表示システム。
  2.  歯列上の所定の位置に撮影画像上認識可能なマークを設定するマーク設定手段と、
     歯列の一方の側面及び他方の側面について連写画像列を形成する連写画像列形成手段と、
     前記一方の側面の連写画像列及び前記他方の側面の連写画像列のそれぞれについて、マークが所定の位置にくる画像から合成することで、一方の側面歯列画像及び他方の側面歯列画像をそれぞれ形成する側面歯列画像形成手段と、
     前記一方の側面歯列画像と前記他方の側面歯列画像を、前記マークが所定の位置にある静止画像中の歯列上の特徴部位に基づいて連結合成する側面歯列画像合成手段とを具備する、請求項1に記載の口腔内撮影表示システム。
  3.  前記側面歯列画像に対応する歯のX線画像を表示するX線画像表示手段と、前記側面歯列画像に対応する歯の仮想矯正又は仮想審美着色した歯列を表示する仮想歯列表示手段とを有する、請求項1に記載の口腔内撮影表示システム。
  4.  前記側面歯列画像合成手段で得られた歯列画像を表示する歯列表示手段と、口腔内を診療改善単位毎に画像化する単位画像化手段と、前記単位画像化手段で単位画像化した画像に対し、診療改善順序情報を設定する設定手段、前記診療改善順序情報が付けられた画像を診療改善順序情報に基づいて、一覧的に表示可能に表示する表示手段と、前記表示手段で得られた表示情報を表示記録した表示媒体とよりなる、請求項1に記載の口腔内撮影表示システム。
  5.  歯科医業に関連するデータを入力調整可能な入力部と、外部データ処理端末及び出勤管理又は、歯科診療管理を行うサーバとデータ通信が可能な通信手段と、前記側面歯列画像合成手段で合成された歯列画像及び前記歯科医業に関連するデータを表示する表示手段とを有する小型で携帯可能なデータ処理端末を具備する、請求項1に記載の口腔内撮影表示システム。
  6.  予め作成された歯科治療を細分化した動画として形成する細分化動画データを蓄積して記憶手段に記憶し、前記記憶手段から、前記細分化動画データを選択して連結接続することで、歯科治療説明用データを形成して前記表示手段で表示する歯科治療説明用データ形成手段を有する、請求項1に記載の口腔内撮影表示システム。
  7.  前記口腔内を画像化する手持ち型の撮影手段と、前記撮影手段に具備された、撮影部位を指示する照明光を照射する照射手段とを有する、請求項1に記載の口腔内撮影表示システム。
PCT/JP2012/050394 2011-01-11 2012-01-11 口腔内撮影表示システム WO2012096312A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP12734447.1A EP2664272A4 (en) 2011-01-11 2012-01-11 SYSTEM FOR IMAGING AND DISPLAYING THE ORAL TRACK
CN201280008136.6A CN103347436B (zh) 2011-01-11 2012-01-11 口腔内拍摄显示系统
CA2824665A CA2824665C (en) 2011-01-11 2012-01-11 Intraoral video camera and display system
US13/978,939 US9463081B2 (en) 2011-01-11 2012-01-11 Intraoral video camera and display system
AU2012206109A AU2012206109B2 (en) 2011-01-11 2012-01-11 Oral imaging and display system

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2011015764 2011-01-11
JP2011-015764 2011-01-11
JP2011017192A JP2012143528A (ja) 2011-01-12 2011-01-12 口腔内撮影表示システム
JP2011-017192 2011-01-12
JP2011020197 2011-01-13
JP2011-020197 2011-01-13
JP2011134633A JP5784381B2 (ja) 2011-01-13 2011-06-16 歯科診療システム
JP2011-134633 2011-06-16

Publications (1)

Publication Number Publication Date
WO2012096312A1 true WO2012096312A1 (ja) 2012-07-19

Family

ID=48948588

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/050394 WO2012096312A1 (ja) 2011-01-11 2012-01-11 口腔内撮影表示システム

Country Status (6)

Country Link
US (1) US9463081B2 (ja)
EP (1) EP2664272A4 (ja)
CN (1) CN103347436B (ja)
AU (1) AU2012206109B2 (ja)
CA (1) CA2824665C (ja)
WO (1) WO2012096312A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036698A (ja) * 2012-08-10 2014-02-27 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
CN103815862A (zh) * 2012-11-19 2014-05-28 大连民族学院 自发光牙医用口镜
EP2967784A4 (en) * 2013-03-11 2016-11-30 Carestream Health Inc METHOD AND SYSTEM FOR TAKING TASTEPRINTS
WO2018078909A1 (ja) * 2016-10-25 2018-05-03 株式会社Leis レセプト作成支援システム
JP2018129720A (ja) * 2017-02-09 2018-08-16 株式会社リコー 撮影装置、撮影方法およびプログラム
US10102643B2 (en) 2013-10-17 2018-10-16 Olympus Corporation Endoscope apparatus and inspection method using endoscope
WO2020218560A1 (ja) * 2019-04-26 2020-10-29 株式会社カイ 歯の位置の分析装置、歯の領域抽出モデル生成方法、歯の位置の分析方法、プログラム、および記録媒体

Families Citing this family (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9492245B2 (en) * 2004-02-27 2016-11-15 Align Technology, Inc. Method and system for providing dynamic orthodontic assessment and treatment profiles
CN102802520B (zh) 2009-06-17 2015-04-01 3形状股份有限公司 聚焦扫描设备
USRE48221E1 (en) 2010-12-06 2020-09-22 3Shape A/S System with 3D user interface integration
ES2705531T3 (es) * 2010-12-06 2019-03-25 3Shape As Sistema con integración de interfaz de usuario 3D
US9403238B2 (en) 2011-09-21 2016-08-02 Align Technology, Inc. Laser cutting
US9375300B2 (en) 2012-02-02 2016-06-28 Align Technology, Inc. Identifying forces on a tooth
DE102012100953B4 (de) * 2012-02-06 2020-01-09 A.Tron3D Gmbh Vorrichtung zum Erfassen der dreidimensionalen Geometrie von Objekten und Verfahren zum Betreiben derselben
US8712228B2 (en) * 2012-02-07 2014-04-29 Carestream Health, Inc. Intraoral camera for dental chairs
US9220580B2 (en) 2012-03-01 2015-12-29 Align Technology, Inc. Determining a dental treatment difficulty
US9414897B2 (en) 2012-05-22 2016-08-16 Align Technology, Inc. Adjustment of tooth position in a virtual dental model
US9361003B2 (en) * 2012-10-18 2016-06-07 Dental Imaging Technologies Corporation Overlay maps for navigation of intraoral images
USD780182S1 (en) * 2013-03-11 2017-02-28 D4D Technologies, Llc Handheld scanner
WO2014156217A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 マスタスレーブシステムとその駆動方法
US10335098B2 (en) * 2013-07-19 2019-07-02 Axion Japan Co., Ltd. Panoramic imaging apparatus and diagnostic imaging method in same apparatus
FR3010629B1 (fr) * 2013-09-19 2018-02-16 Dental Monitoring Procede de controle du positionnement de dents
JP6303446B2 (ja) 2013-11-29 2018-04-04 株式会社リコー 情報処理装置、プログラム、情報処理システム、及び情報処理方法
WO2015106347A1 (en) * 2014-01-20 2015-07-23 Stemmed Implant Technology Inc Apparatus and method for performing implants
US9817489B2 (en) * 2014-01-27 2017-11-14 Apple Inc. Texture capture stylus and method
US10010387B2 (en) 2014-02-07 2018-07-03 3Shape A/S Detecting tooth shade
DE102014207667A1 (de) 2014-04-23 2015-10-29 Sirona Dental Systems Gmbh Verfahren zur Durchführung einer optischen dreidimensionalen Aufnahme
WO2015187261A1 (en) * 2014-06-01 2015-12-10 Capso Vision, Inc. Reconstruction of images from an in vivo multi-camera capsule with confidence matching
US9261358B2 (en) 2014-07-03 2016-02-16 Align Technology, Inc. Chromatic confocal system
US9439568B2 (en) 2014-07-03 2016-09-13 Align Technology, Inc. Apparatus and method for measuring surface topography optically
US10772506B2 (en) 2014-07-07 2020-09-15 Align Technology, Inc. Apparatus for dental confocal imaging
US9675430B2 (en) 2014-08-15 2017-06-13 Align Technology, Inc. Confocal imaging apparatus with curved focal surface
US10449016B2 (en) 2014-09-19 2019-10-22 Align Technology, Inc. Arch adjustment appliance
US9610141B2 (en) 2014-09-19 2017-04-04 Align Technology, Inc. Arch expanding appliance
FR3027505B1 (fr) 2014-10-27 2022-05-06 H 43 Procede de controle du positionnement de dents
FR3027508B1 (fr) 2014-10-27 2016-12-23 H 42 Procede de controle de la dentition
FR3027504B1 (fr) 2014-10-27 2022-04-01 H 43 Procede de controle du positionnement de dents
JP6519144B2 (ja) * 2014-11-06 2019-05-29 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
US9744001B2 (en) 2014-11-13 2017-08-29 Align Technology, Inc. Dental appliance with cavity for an unerupted or erupting tooth
US11147652B2 (en) 2014-11-13 2021-10-19 Align Technology, Inc. Method for tracking, predicting, and proactively correcting malocclusion and related issues
US9400570B2 (en) 2014-11-14 2016-07-26 Apple Inc. Stylus with inertial sensor
JP6262179B2 (ja) * 2014-12-05 2018-01-17 ディオ コーポレーションDio Corporation デンタルインプラント施術のための手術ガイドおよび植立物の製造方法
US9575573B2 (en) 2014-12-18 2017-02-21 Apple Inc. Stylus with touch sensor
US10504386B2 (en) 2015-01-27 2019-12-10 Align Technology, Inc. Training method and system for oral-cavity-imaging-and-modeling equipment
US10108269B2 (en) * 2015-03-06 2018-10-23 Align Technology, Inc. Intraoral scanner with touch sensitive input
CN104771143B (zh) * 2015-04-09 2017-08-11 江西大福医疗科技股份有限公司 一种远程智能光活检诊断仪
EP3288486B1 (en) 2015-05-01 2020-01-15 Dentlytec G.P.L. Ltd. System for dental digital impressions
KR101832753B1 (ko) * 2015-05-08 2018-02-27 (주)바텍이우홀딩스 모델 스캔 겸용 구강 스캔 장치
US10248883B2 (en) 2015-08-20 2019-04-02 Align Technology, Inc. Photograph-based assessment of dental treatments and procedures
TWD175314S (zh) * 2015-09-21 2016-05-01 廣達電腦股份有限公司 口腔內攝影機
US9393089B1 (en) * 2015-10-23 2016-07-19 King Saud University Stabilizing device for dental crowns
US11554000B2 (en) 2015-11-12 2023-01-17 Align Technology, Inc. Dental attachment formation structure
US11931222B2 (en) 2015-11-12 2024-03-19 Align Technology, Inc. Dental attachment formation structures
CA3019321A1 (en) * 2015-11-13 2017-05-18 Rutgers, The State University Of New Jersey Differential diagnosis of periapical diseases based on results of image analysis
US9526417B1 (en) * 2015-12-07 2016-12-27 Omnivision Technologies, Inc. Projector for adaptor-less smartphone eye imaging and associated methods
US11596502B2 (en) 2015-12-09 2023-03-07 Align Technology, Inc. Dental attachment placement structure
US11103330B2 (en) 2015-12-09 2021-08-31 Align Technology, Inc. Dental attachment placement structure
EP3405092A2 (en) * 2016-01-18 2018-11-28 Dentlytec G.P.L. Ltd. Intraoral scanner
CN105652558A (zh) * 2016-02-26 2016-06-08 江苏美伦影像系统有限公司 一种同步曝光控制电路
KR101788039B1 (ko) * 2016-04-12 2017-10-19 오스템임플란트 주식회사 상하 버튼을 구비하는 대상 촬영 장치 및 이를 통한 촬영 방법
JP6378793B2 (ja) * 2016-05-10 2018-08-22 正樹 神原 歯肉診断支援装置および歯肉診断支援システム
US9629532B1 (en) * 2016-05-26 2017-04-25 Dental Smartmirror, Inc. System for in-room use of an intraoral mirror with an integrated camera, and applications thereof
US10383705B2 (en) 2016-06-17 2019-08-20 Align Technology, Inc. Orthodontic appliance performance monitor
WO2017218947A1 (en) 2016-06-17 2017-12-21 Align Technology, Inc. Intraoral appliances with sensing
US10507087B2 (en) 2016-07-27 2019-12-17 Align Technology, Inc. Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth
KR102546050B1 (ko) 2016-07-27 2023-06-22 얼라인 테크널러지, 인크. 치아 진단 기능이 있는 구강 내 스캐너
US20180036100A1 (en) * 2016-08-04 2018-02-08 eClear International Co., Ltd. Method and system for providing 3d teeth alignment image display services, and computer-readable medium on which the method is recorded
ES2808210T3 (es) * 2016-08-15 2021-02-25 Trophy Mapa de arcada dental dinámico
EP3509501A1 (en) 2016-09-10 2019-07-17 Ark Surgical Ltd. Laparoscopic workspace device
US10932733B2 (en) * 2016-09-14 2021-03-02 Dental Imaging Technologies Corporation Multiple-dimension imaging sensor with operation based on movement detection
CN109982616B (zh) * 2016-09-27 2021-10-08 皇家飞利浦有限公司 用于支持至少一个用户执行个人护理活动的装置和方法
KR101877895B1 (ko) * 2016-10-06 2018-07-12 주식회사 메가젠임플란트 임플란트 진단용 영상 생성 시스템 및 그 생성방법
CN106562558A (zh) * 2016-10-27 2017-04-19 哈尔滨医科大学 一种具有摄像功能的智能牙刷
CN109922754B (zh) 2016-11-04 2021-10-01 阿莱恩技术有限公司 用于牙齿图像的方法和装置
EP3824843A1 (en) 2016-12-02 2021-05-26 Align Technology, Inc. Palatal expanders and methods of expanding a palate
WO2018102702A1 (en) 2016-12-02 2018-06-07 Align Technology, Inc. Dental appliance features for speech enhancement
AU2017366755B2 (en) 2016-12-02 2022-07-28 Align Technology, Inc. Methods and apparatuses for customizing rapid palatal expanders using digital models
US11376101B2 (en) 2016-12-02 2022-07-05 Align Technology, Inc. Force control, stop mechanism, regulating structure of removable arch adjustment appliance
US10548700B2 (en) 2016-12-16 2020-02-04 Align Technology, Inc. Dental appliance etch template
KR102592905B1 (ko) * 2016-12-21 2023-10-23 삼성전자주식회사 엑스선 영상 촬영 장치 및 제어방법
KR101854728B1 (ko) * 2016-12-21 2018-05-04 주식회사 디디에스 인공치아 통합 시스템
US10456043B2 (en) 2017-01-12 2019-10-29 Align Technology, Inc. Compact confocal dental scanning apparatus
US10779718B2 (en) 2017-02-13 2020-09-22 Align Technology, Inc. Cheek retractor and mobile device holder
DE102017204500A1 (de) 2017-03-17 2018-09-20 Henkel Ag & Co. Kgaa "Verfahren und Anordnung zum Ermitteln einer nicht-therapeutischen Behandlung von Zähnen"
CN106955087B (zh) * 2017-03-29 2018-05-25 吉林大学 一种调整观察角度并定位托槽粘结位置眼镜
US10613515B2 (en) 2017-03-31 2020-04-07 Align Technology, Inc. Orthodontic appliances including at least partially un-erupted teeth and method of forming them
US11045283B2 (en) 2017-06-09 2021-06-29 Align Technology, Inc. Palatal expander with skeletal anchorage devices
DE102017210222A1 (de) 2017-06-20 2018-12-20 Sirona Dental Systems Gmbh Verfahren zur Erzeugung eines zweidimensionalen Gesamtbilds
US10636522B2 (en) 2017-06-21 2020-04-28 SmileDirectClub LLC Arrangements for intraoral scanning
US20180368954A1 (en) 2017-06-21 2018-12-27 SmileDirectClub LLC Dental impression kit and methods therefor
US11337778B2 (en) 2017-06-21 2022-05-24 Sdc U.S. Smilepay Spv Distributed system for fabricating dental aligners
US11253409B2 (en) 2017-06-21 2022-02-22 Sdc U.S. Smilepay Spv Systems and methods for mobile dentition scanning
US20180368941A1 (en) 2017-06-21 2018-12-27 SmileDirectClub LLC Dental impression kit and methods therefor
KR102573669B1 (ko) * 2017-06-21 2023-09-04 코닌클리케 필립스 엔.브이. 조기 우식 검출을 위한 방법 및 장치
US10639134B2 (en) 2017-06-26 2020-05-05 Align Technology, Inc. Biosensor performance indicator for intraoral appliances
EP4154845A1 (en) 2017-07-04 2023-03-29 Dentlytec G.P.L. Ltd. Dental device with probe
CN107348937A (zh) * 2017-07-04 2017-11-17 厦门大学 一种基于混合云的无线医疗喉镜系统
US10885521B2 (en) 2017-07-17 2021-01-05 Align Technology, Inc. Method and apparatuses for interactive ordering of dental aligners
WO2019018784A1 (en) 2017-07-21 2019-01-24 Align Technology, Inc. ANCHOR OF CONTOUR PALATIN
WO2019021285A1 (en) 2017-07-26 2019-01-31 Dentlytec G.P.L. Ltd INTRA-BUCCAL SCANNER
EP3658067B1 (en) 2017-07-27 2023-10-25 Align Technology, Inc. System and methods for processing an orthodontic aligner by means of an optical coherence tomography
US11633268B2 (en) 2017-07-27 2023-04-25 Align Technology, Inc. Tooth shading, transparency and glazing
US11116605B2 (en) 2017-08-15 2021-09-14 Align Technology, Inc. Buccal corridor assessment and computation
TWI631532B (zh) * 2017-08-16 2018-08-01 台達電子工業股份有限公司 檢測系統及其檢測方法
WO2019036677A1 (en) 2017-08-17 2019-02-21 Align Technology, Inc. SURVEILLANCE OF CONFORMITY OF DENTAL DEVICE
CN111787827A (zh) * 2017-08-17 2020-10-16 特罗菲公司 用于口内表面扫描的模版
EP3459438B1 (en) * 2017-09-26 2020-12-09 The Procter & Gamble Company Device and method for determing dental plaque
CN107812301B (zh) * 2017-09-28 2021-01-01 高芸 一种智能电子口腔溃疡治疗仪及其使用方法
US10813720B2 (en) 2017-10-05 2020-10-27 Align Technology, Inc. Interproximal reduction templates
CN109662753A (zh) * 2017-10-13 2019-04-23 周星 可视口腔刮勺
CN111565668B (zh) 2017-10-27 2022-06-07 阿莱恩技术有限公司 替代咬合调整结构
EP3703608B1 (en) 2017-10-31 2023-08-30 Align Technology, Inc. Determination of a dental appliance having selective occlusal loading and controlled intercuspation
CN107669359B (zh) * 2017-11-01 2023-05-09 四川大学 一种口腔修复用插件式哥特式弓的描记系统及方法
CN111315315B (zh) 2017-11-01 2022-08-23 阿莱恩技术有限公司 自动治疗规划
CN107909609B (zh) * 2017-11-01 2019-09-20 欧阳聪星 一种图像处理方法及装置
WO2019100022A1 (en) 2017-11-17 2019-05-23 Align Technology, Inc. Orthodontic retainers
EP3716885B1 (en) 2017-11-30 2023-08-30 Align Technology, Inc. Orthodontic intraoral appliances comprising sensors
WO2019118876A1 (en) 2017-12-15 2019-06-20 Align Technology, Inc. Closed loop adaptive orthodontic treatment methods and apparatuses
US10980613B2 (en) 2017-12-29 2021-04-20 Align Technology, Inc. Augmented reality enhancements for dental practitioners
US11030746B2 (en) 2018-01-18 2021-06-08 Chengdu Besmile Medical Technology Co., Ltd. Assisted dental beautification method and apparatus for implementing the same
CA3086553A1 (en) 2018-01-26 2019-08-01 Align Technology, Inc. Diagnostic intraoral scanning and tracking
US10835352B2 (en) * 2018-03-19 2020-11-17 3D Imaging and Simulation Corp. Americas Intraoral scanner and computing system for capturing images and generating three-dimensional models
US11937991B2 (en) 2018-03-27 2024-03-26 Align Technology, Inc. Dental attachment placement structure
WO2019192987A1 (en) * 2018-04-02 2019-10-10 Koninklijke Philips N.V. Guidance method and system for teledentistry imaging
KR20200141498A (ko) 2018-04-11 2020-12-18 얼라인 테크널러지, 인크. 해제 가능한 구개 확장기
CN112292094B (zh) * 2018-04-19 2022-05-27 斯迈尔帝睿克特俱乐部公司 用于口内扫描的布置
CN108615223A (zh) * 2018-05-08 2018-10-02 南京齿贝犀科技有限公司 基于局部优化算法的牙齿唇颊侧全景图像拼接方法
CN108648146A (zh) * 2018-05-08 2018-10-12 南京齿贝犀科技有限公司 基于局部优化算法的牙齿舌腭侧全景图像拼接方法
CN108597004A (zh) * 2018-05-08 2018-09-28 南京齿贝犀科技有限公司 基于局部优化算法的牙齿咬合面全景图像拼接方法
CN112105315B (zh) * 2018-05-08 2023-04-18 阿莱恩技术有限公司 基于扫描的自动异位牙齿检测
US11464466B2 (en) * 2018-07-11 2022-10-11 Novodynamics, Inc. Methods and systems for periodontal disease screening
US10835349B2 (en) * 2018-07-20 2020-11-17 Align Technology, Inc. Parametric blurring of colors for teeth in generated images
KR102311387B1 (ko) * 2018-08-07 2021-10-13 주식회사 메디트 3차원 구강 스캐너
JP6692867B2 (ja) * 2018-09-07 2020-05-13 日本航空株式会社 構造物の内部を確認するためのシステムおよび方法
US11151753B2 (en) * 2018-09-28 2021-10-19 Align Technology, Inc. Generic framework for blurring of colors for teeth in generated images using height map
US11443423B2 (en) 2018-10-30 2022-09-13 Dgnct Llc System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex
EP3650821B1 (en) * 2018-11-08 2021-07-28 Sirona Dental Systems GmbH System and method for determining the color of teeth
JP7372513B2 (ja) * 2018-12-05 2023-11-01 ミツミ電機株式会社 撮像デバイス、撮像システム、および産業用ロボット
KR20200075623A (ko) * 2018-12-18 2020-06-26 (주)제노레이 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치 및 방법
EP3897450A1 (en) * 2018-12-20 2021-10-27 Empident GmbH Method and system for oral hygiene inspection
USD918209S1 (en) * 2019-03-08 2021-05-04 D4D Technologies, Llc Handheld scanner tip
JP6936826B2 (ja) * 2019-03-18 2021-09-22 株式会社モリタ製作所 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
US11044400B1 (en) * 2019-04-03 2021-06-22 Kentucky Imaging Technologies Frame stitching in human oral cavity environment using intraoral camera
CN110443869B (zh) * 2019-08-08 2022-11-15 安庆师范大学 一种平面设计图形图像处理装置
US20210121049A1 (en) * 2019-10-24 2021-04-29 Align Technology, Inc. Window self-detection
US20210169319A1 (en) * 2019-12-04 2021-06-10 University Of Washington Nasopharyngeal Mirror Device
WO2021130861A1 (ja) * 2019-12-24 2021-07-01 オリンパス株式会社 内視鏡用プリンタ
US20210244502A1 (en) * 2020-02-11 2021-08-12 Align Technology, Inc. At home progress tracking using phone camera
CN111449791B (zh) * 2020-04-24 2022-02-18 青岛大学附属医院 一种牙齿诊疗系统及其图像传输方法
WO2021229592A1 (en) * 2020-05-12 2021-11-18 Vyagreswara Sarma Mokkapati System and device for intraoral screening of multiple oral abnormalities
CN113808223A (zh) * 2020-06-12 2021-12-17 苏州佳世达光电有限公司 校正器
US20220007937A1 (en) * 2020-07-13 2022-01-13 Johnson & Johnson Surgical Vision, Inc. Probe for eye examination using a distal convex mirror
CN112649985B (zh) * 2020-12-25 2022-02-22 武汉华星光电技术有限公司 一种显示面板及显示装置
JP2022181645A (ja) * 2021-05-26 2022-12-08 富士フイルム株式会社 内視鏡業務支援装置及び内視鏡業務支援システム並びに内視鏡業務支援装置の作動方法
CN114719806B (zh) * 2022-04-28 2024-03-19 中国航发南方工业有限公司 圆弧端齿的数字化测量方法
WO2024007091A1 (en) * 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007886A1 (en) * 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007100A1 (en) * 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
CN116563474B (zh) * 2023-07-05 2023-09-19 有方(合肥)医疗科技有限公司 口腔全景图生成方法及装置
US11925320B1 (en) * 2023-07-28 2024-03-12 Nadia Ahmadzadeh Saffari Oral camera

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62246347A (ja) 1986-04-21 1987-10-27 株式会社吉田製作所 歯科観察診断用ハンドピ−ス
JPH0530402U (ja) 1991-09-25 1993-04-23 日産デイーゼル工業株式会社 内燃機関のバルブスプリング装置
JPH05130991A (ja) 1991-10-25 1993-05-28 Hamamatsu Photonics Kk 医療用x線画像検出装置
JPH1097405A (ja) 1996-09-20 1998-04-14 Sanyo Electric Co Ltd コンピュータシステム
JPH1097404A (ja) 1996-09-20 1998-04-14 Sanyo Electric Co Ltd コンピュータシステム
US5752827A (en) 1994-10-20 1998-05-19 Baron; Yuda Periodontal examination apparatus and method of use
JPH10201757A (ja) 1997-01-16 1998-08-04 Ind Technol Res Inst 歯科放射線撮影用のデジタル式口内画像化システム
JP2001029315A (ja) 1999-07-22 2001-02-06 Yoshida Dental Mfg Co Ltd 口腔内カメラの手元スイッチ
JP2001212161A (ja) 2000-01-31 2001-08-07 Matsushita Electric Ind Co Ltd ビデオスコープ付き口腔洗浄器
JP2001333898A (ja) * 2000-05-26 2001-12-04 Morita Mfg Co Ltd 歯顎顔面領域のx線画像の表示方法、表示装置、この表示方法を実現するプログラムを記録した記録媒体
JP2002355262A (ja) 2001-02-28 2002-12-10 Eastman Kodak Co ディスプレイ一体型口腔カメラ
JP2003299677A (ja) * 2002-04-10 2003-10-21 Shoichi Takamine 個人別管理による歯科診療データ処理システム
JP2004202069A (ja) * 2002-12-26 2004-07-22 Mitsutoyo Corp 画像読取装置、画像読取方法
JP2005144171A (ja) 2003-11-10 2005-06-09 Ivoclar Vivadent Ag 特に患者の歯等の口内対象物の照準合せされた写真を形成するための口内カメラ装置ならびに方法
JP2005304600A (ja) 2004-04-19 2005-11-04 Morita Mfg Co Ltd 生体観察機器、口腔内撮影装置、医療用照射額帯装置及びデンタルミラー
JP2005334426A (ja) 2004-05-28 2005-12-08 Osada Res Inst Ltd 口腔内観察装置
JP3131408U (ja) 2007-02-16 2007-05-10 株式会社ナルコーム製作所 歯周検査用補助具
WO2007063980A1 (ja) 2005-12-03 2007-06-07 Atsushi Takahashi 口腔内パノラマ画像撮像装置、口腔内パノラマ画像撮像システム
JP2008125719A (ja) * 2006-11-20 2008-06-05 Shimadzu Corp 被検体用検査衣
JP2008132336A (ja) * 2006-11-28 2008-06-12 Degudent Gmbh 歯科用の修復物を製造する方法
JP2009516555A (ja) 2005-11-22 2009-04-23 プランメカ オイ 歯科環境での装置およびその装置に属するデバイスを制御する方法
JP2010214055A (ja) * 2009-03-19 2010-09-30 South Coast Dental Kk 歯色の時系列表示装置及びその方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1048625C (zh) * 1992-01-30 2000-01-26 王尚轩 口腔曲面全景体层摄影架
IL125659A (en) * 1998-08-05 2002-09-12 Cadent Ltd Method and device for three-dimensional simulation of a structure
EP1120081A3 (en) * 2000-01-27 2002-05-08 Matsushita Electric Industrial Co., Ltd. Oral cavity image pickup apparatus
JP3959644B2 (ja) * 2003-09-30 2007-08-15 英宏 藤江 歯科診療装置
WO2006092800A2 (en) 2005-03-03 2006-09-08 Cadent Ltd. System and method for scanning an intraoral cavity
WO2010032353A1 (ja) * 2008-09-17 2010-03-25 Motoyama Osamu デジタルx線撮影装置のセンサー緩衝カバー
US8366445B2 (en) * 2010-02-26 2013-02-05 Vuillemot William C Method for dental restoration and related kit
US8417366B2 (en) * 2010-05-01 2013-04-09 Orametrix, Inc. Compensation orthodontic archwire design

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62246347A (ja) 1986-04-21 1987-10-27 株式会社吉田製作所 歯科観察診断用ハンドピ−ス
JPH0530402U (ja) 1991-09-25 1993-04-23 日産デイーゼル工業株式会社 内燃機関のバルブスプリング装置
JPH05130991A (ja) 1991-10-25 1993-05-28 Hamamatsu Photonics Kk 医療用x線画像検出装置
US5752827A (en) 1994-10-20 1998-05-19 Baron; Yuda Periodontal examination apparatus and method of use
JPH1097405A (ja) 1996-09-20 1998-04-14 Sanyo Electric Co Ltd コンピュータシステム
JPH1097404A (ja) 1996-09-20 1998-04-14 Sanyo Electric Co Ltd コンピュータシステム
JPH10201757A (ja) 1997-01-16 1998-08-04 Ind Technol Res Inst 歯科放射線撮影用のデジタル式口内画像化システム
JP2001029315A (ja) 1999-07-22 2001-02-06 Yoshida Dental Mfg Co Ltd 口腔内カメラの手元スイッチ
JP2001212161A (ja) 2000-01-31 2001-08-07 Matsushita Electric Ind Co Ltd ビデオスコープ付き口腔洗浄器
JP2001333898A (ja) * 2000-05-26 2001-12-04 Morita Mfg Co Ltd 歯顎顔面領域のx線画像の表示方法、表示装置、この表示方法を実現するプログラムを記録した記録媒体
JP2002355262A (ja) 2001-02-28 2002-12-10 Eastman Kodak Co ディスプレイ一体型口腔カメラ
JP2003299677A (ja) * 2002-04-10 2003-10-21 Shoichi Takamine 個人別管理による歯科診療データ処理システム
JP2004202069A (ja) * 2002-12-26 2004-07-22 Mitsutoyo Corp 画像読取装置、画像読取方法
JP2005144171A (ja) 2003-11-10 2005-06-09 Ivoclar Vivadent Ag 特に患者の歯等の口内対象物の照準合せされた写真を形成するための口内カメラ装置ならびに方法
JP2005304600A (ja) 2004-04-19 2005-11-04 Morita Mfg Co Ltd 生体観察機器、口腔内撮影装置、医療用照射額帯装置及びデンタルミラー
JP2005334426A (ja) 2004-05-28 2005-12-08 Osada Res Inst Ltd 口腔内観察装置
JP2009516555A (ja) 2005-11-22 2009-04-23 プランメカ オイ 歯科環境での装置およびその装置に属するデバイスを制御する方法
WO2007063980A1 (ja) 2005-12-03 2007-06-07 Atsushi Takahashi 口腔内パノラマ画像撮像装置、口腔内パノラマ画像撮像システム
JP2008125719A (ja) * 2006-11-20 2008-06-05 Shimadzu Corp 被検体用検査衣
JP2008132336A (ja) * 2006-11-28 2008-06-12 Degudent Gmbh 歯科用の修復物を製造する方法
JP3131408U (ja) 2007-02-16 2007-05-10 株式会社ナルコーム製作所 歯周検査用補助具
JP2010214055A (ja) * 2009-03-19 2010-09-30 South Coast Dental Kk 歯色の時系列表示装置及びその方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
DENTAL MATERIALS AND EQUIPMENT, vol. 19, no. 3, 2000, pages 333 - 338
DESIGN WAVE MAGAZINE, December 2008 (2008-12-01), pages 113 - 115
JOURNAL OF THE IEICE, vol. 92, no. 6, 2009, pages 463 - 468
MOTOKI ARAI ET AL.: "Optimization of Correlation Functions and Subpixel Designation Formula in Block Matching of Images", RESEARCH REPORTS OF INFORMATION PROCESSING SOCIETY OF JAPAN, 2004, pages 33 - 40
RIKIYA KIKUMOTO: "The mobile type teleradiology system contributes to a medical scene", GEKKAN SHIN IRYO, 23 July 2010 (2010-07-23), pages 58 - 61 *
See also references of EP2664272A4
ZHANG, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 22, no. 11, 2000, pages 1330 - 1334

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036698A (ja) * 2012-08-10 2014-02-27 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
CN103815862A (zh) * 2012-11-19 2014-05-28 大连民族学院 自发光牙医用口镜
EP2967784A4 (en) * 2013-03-11 2016-11-30 Carestream Health Inc METHOD AND SYSTEM FOR TAKING TASTEPRINTS
US10076391B2 (en) 2013-03-11 2018-09-18 Carestream Dental Technology Topco Limited Method and system for bite registration
US10102643B2 (en) 2013-10-17 2018-10-16 Olympus Corporation Endoscope apparatus and inspection method using endoscope
WO2018078909A1 (ja) * 2016-10-25 2018-05-03 株式会社Leis レセプト作成支援システム
JP2018072946A (ja) * 2016-10-25 2018-05-10 株式会社Leis レセプト作成支援システム
JP2018129720A (ja) * 2017-02-09 2018-08-16 株式会社リコー 撮影装置、撮影方法およびプログラム
WO2020218560A1 (ja) * 2019-04-26 2020-10-29 株式会社カイ 歯の位置の分析装置、歯の領域抽出モデル生成方法、歯の位置の分析方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
AU2012206109A1 (en) 2013-08-15
CN103347436A (zh) 2013-10-09
US20130286174A1 (en) 2013-10-31
CA2824665C (en) 2016-11-01
CA2824665A1 (en) 2012-07-19
CN103347436B (zh) 2016-06-22
EP2664272A1 (en) 2013-11-20
AU2012206109B2 (en) 2015-02-19
US9463081B2 (en) 2016-10-11
EP2664272A4 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
WO2012096312A1 (ja) 口腔内撮影表示システム
JP5784381B2 (ja) 歯科診療システム
US11163976B2 (en) Navigating among images of an object in 3D space
JP6099310B2 (ja) デジタル画像を使用した自動歯科カルテ作成方法
US9262864B2 (en) Synchronized views of video data and three-dimensional model data
US9208531B2 (en) Digital dentistry
Casaglia et al. Dental photography today. Part 1: basic concepts
JP5651132B2 (ja) 口腔内撮影表示システム
EP3527167A1 (en) Video-assisted margin marking for dental models
TWI728374B (zh) 牙齒虛擬編輯方法、系統、電腦設備和儲存媒體
JP2016174903A (ja) 歯科診療システム
CN111768497B (zh) 一种头部动态虚拟模型的三维重建方法、装置及系统
Ahmad Prosthodontics at a Glance
JP2005000631A (ja) 歯科口腔測色写真システム
JP2012143528A (ja) 口腔内撮影表示システム
TWI524873B (zh) Intraocular photography display system
Ahmed et al. Digital dentistry-new era in dentistry
RU2610911C1 (ru) Система и способ виртуального прототипирования улыбки на базе тактильного компьютерного устройства
Dunn et al. The Associate Editor/Change With the Leaves Impressions/Dentists Find Ways to Balance Life, Career Dr. Bob/The Lazy Way to a Healthy Life

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12734447

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13978939

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2824665

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012734447

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2012206109

Country of ref document: AU

Date of ref document: 20120111

Kind code of ref document: A