WO2012011246A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2012011246A1
WO2012011246A1 PCT/JP2011/003931 JP2011003931W WO2012011246A1 WO 2012011246 A1 WO2012011246 A1 WO 2012011246A1 JP 2011003931 W JP2011003931 W JP 2011003931W WO 2012011246 A1 WO2012011246 A1 WO 2012011246A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
image
angle
polarization
subject
Prior art date
Application number
PCT/JP2011/003931
Other languages
English (en)
French (fr)
Inventor
克洋 金森
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180007770.3A priority Critical patent/CN102742258B/zh
Priority to JP2012503816A priority patent/JP4971531B2/ja
Publication of WO2012011246A1 publication Critical patent/WO2012011246A1/ja
Priority to US13/455,386 priority patent/US8648902B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device

Definitions

  • the present invention relates to an image processing apparatus capable of obtaining surface unevenness information exceeding information obtained from a two-dimensional luminance image acquired by an image sensor.
  • Patent Document 1 discloses an endoscope that includes a polarization irradiation unit that irradiates an object with light of a specific polarization component, and a light receiving unit, and generates a shape change image that indicates a shape change of the surface of the object. Yes.
  • the light receiving unit of the endoscope receives light of the specific polarization component in the return light from the object and light of a polarization component different from the specific polarization component in the return light.
  • the imaging unit disclosed in Patent Literature 1 includes an RGB color mosaic and a polarizer arranged to face three directions having different polarization transmission axes.
  • Patent Document 1 describes that a polarization characteristic calculation unit can calculate a polarization direction and generate a two-dimensional distribution of surface inclination information, in particular, in order to make it easier for an observer to visually recognize surface irregularities of mucous membranes. .
  • the present invention has been made to solve the above-described problems, and its main purpose is to perform image processing that can obtain polarization information in units of pixels and obtain uneven information on the surface of the subject based on the polarization information. To provide an apparatus.
  • the subject is irradiated with the polarization illumination unit that sequentially irradiates the subject with three or more types of linearly polarized light having different polarization plane angles, and each of the three or more types of linearly polarized light.
  • the imaging unit sequentially captures the subject and receives the return light from the subject without passing through a polarizer to acquire the luminance value, and the luminance value output from the imaging unit is shown.
  • the relationship between the angle of the polarization plane and the luminance value of each pixel is obtained, and the luminance maximum angle image defined by the angle of the polarization plane that maximizes the luminance value for each pixel, and for each pixel
  • a variation luminance processing unit that generates a luminance modulation degree image defined by a ratio between an amplitude of fluctuation of the luminance value and a luminance average value due to the change of the polarization plane, and the luminance maximum angle image and the luminance modulation degree image Base There are, and a normal line estimation unit for estimating the normal line of the inclined surface of the V-shaped groove on the surface of the object in pixel units.
  • the normal estimation unit includes an azimuth angle processing unit that obtains a candidate for the azimuth angle of the normal from the luminance maximum angle image, and a zenith angle that obtains a zenith angle of the normal from the luminance modulation degree image.
  • a processing unit, and an azimuth ambiguity processing unit that determines one azimuth angle of the normal line from the normal azimuth angle candidates.
  • a normal image generation unit that generates an image of a normal estimated by the normal estimation unit is provided.
  • the azimuth ambiguity processing unit selects one of the normal azimuth angle candidates based on a non-polarized luminance image corresponding to an image under non-polarized illumination or the luminance modulation degree image. Select.
  • variable luminance processing unit generates the non-polarized luminance image by performing an average of a plurality of luminance images acquired by the imaging unit, and provides the non-polarized luminance image to the azimuth angle ambiguity processing unit.
  • the azimuth ambiguity processing unit is configured to generate the normal line based on at least one of a spatial gradient vector of the non-polarized luminance image and a spatial gradient vector of the luminance modulation degree image. Select one of the azimuth angle candidates.
  • the polarized illumination unit and the imaging unit are attached to an endoscope.
  • the polarized illumination unit irradiates non-polarized light with linearly polarized light whose polarization plane sequentially changes into three or more types by transmitting the polarization plane through a polarization plane conversion element whose polarization plane is variable.
  • an angle between the optical axis of the polarized illumination and the optical axis of the imaging unit is 15 ° or less.
  • the imaging unit includes a monochrome imaging device or a color imaging device.
  • an illumination direction setting unit for virtually changing freely the illumination direction of the subject, and a luminance image of the subject illuminated from the illumination direction based on an output of the normal estimation unit To generate.
  • the polarization illumination unit includes a spectral filter that transmits a wavelength band corresponding to a reflectance at which a spectral reflectance characteristic of the surface of the subject is minimized.
  • the polarized illumination unit includes a ring illumination light source that emits unpolarized light, and a ring polarization plane conversion element that converts the unpolarized light emitted from the ring illumination light source into the linearly polarized light. And a ring-type polarization plane conversion element capable of sequentially changing the angle of the polarization plane of the linearly polarized light.
  • the step of sequentially irradiating the subject with three or more types of linearly polarized light with different angles of polarization planes, and when the subject is irradiated with each of the three or more types of linearly polarized light Sequentially capturing the subject, receiving the return light from the subject without passing through a polarizer, and obtaining a luminance value, and the relationship between the angle of the polarization plane and the luminance value of each pixel
  • a luminance maximum angle image defined by the angle of the polarization plane that maximizes the luminance value for each pixel, and the amplitude and average luminance value of the variation of the luminance value due to the change of the polarization plane for each pixel Generating a luminance modulation degree image defined by the ratio of the image, and, based on the luminance maximum angle image and the luminance modulation degree image, an inclined surface in the V-shaped groove existing on the surface of the subject. And estimating the line in pixels.
  • the image processor receives a plurality of polarized images having three or more kinds of linearly polarized light planes that illuminate the subject, and performs image processing to obtain an inclined surface in the V-shaped groove existing on the surface of the subject.
  • the image processing apparatus of the present invention when the subject is irradiated with the polarization illumination unit that sequentially irradiates the subject with three or more types of linearly polarized light having different polarization plane angles, and each of the three or more types of linearly polarized light.
  • a special polarization imaging device is newly developed because it is equipped with an imaging unit that sequentially captures an image of the subject and receives the return light from the subject without passing through a polarizer to acquire a luminance value. It is possible to acquire information corresponding to the maximum luminance angle image and the luminance modulation degree image simultaneously with the color image without having to do this. Then, normal information of surface irregularities is obtained from these images. Since a normal color image sensor can be used as it is, information for visually recognizing surface irregularities can be acquired without using a high-cost polarization image sensor and without degrading image quality due to moire or the like.
  • the figure which shows the structural example of the image processing apparatus of this invention A diagram showing the polarization state of polarized illumination The figure which shows the structure of the image processing apparatus in Embodiment 1 of this invention. Diagram showing the operation of the polarization plane control element Definition of polarization plane angle (A) And (b) is a figure which shows the example of photosensitive cell arrangement
  • the figure which shows the structure of another image processing apparatus for acquiring a color image and a polarization image The figure which shows the photosensitive cell arrangement
  • FIG. 10A The figure which shows the change of the brightness pattern image by the polarization plane rotation of the polarization illumination
  • (B) are diagrams in which incident light is incident on the subject surface from directly above and is reflected once.
  • Graph showing luminance variation for each pixel due to polarization plane rotation of polarized illumination The figure which shows the photograph which shows the surface shape of the sample used for acquisition of the data shown to the graph of FIG. 10A
  • FIG. 10B typically (A) is a figure which shows the polarization direction of polarized illumination, (b) is a figure which shows the mode of the brightness
  • channel of the to-be-photographed object surface from right above. Diagram when polarized light enters the groove at ⁇ I 0 °
  • FIG. 14A is a diagram in which reflected light is generated parallel to and perpendicular to the groove azimuth angle ⁇ in the state of FIG. 14A.
  • Figure where non-polarized light is incident on the groove and reflected light is generated in the direction parallel to and perpendicular to the groove azimuth angle ⁇ 1 is a configuration diagram of an image processing processor according to a first embodiment of the present invention.
  • Diagram of cosine function fitting from polarized luminance samples corresponding to four types of polarized illumination Diagram showing the relationship between the XYZ component of the surface normal, the azimuth angle ⁇ , and the zenith angle ⁇
  • FIG. 25A The figure which shows the azimuth angle ⁇ estimation result of the normal vector of the groove of the star-shaped subject.
  • the figure which shows the zenith angle (theta) estimation result of the normal vector of the groove of a star-shaped subject The figure which shows the image generation experiment result which irradiated the illumination of four directions to the normal image of the star-shaped subject
  • FIG. 27A The figure which shows the structure of the image processing apparatus in Embodiment 2 of this invention. Diagram showing characteristics of optimized spectral filter The figure which shows the structure of Embodiment 3 of this invention.
  • the example of the image processing apparatus includes a polarization illumination unit 120, an imaging unit 140, a variable luminance processing unit 160, and a normal estimation unit 170, as shown in FIG. 1A.
  • the variable luminance processing unit 160 and the normal estimation unit 170 are included in the image processing unit 150.
  • the polarization illumination unit 120 sequentially irradiates the subject 100 with three or more types of linearly polarized light having different angles of polarization planes.
  • a plurality of grooves (hereinafter referred to as “grooves”) 100a exist on the surface of the subject 100 to be imaged by the present invention.
  • a plurality of grooves are observed on the surface of the organ 100 of the subject 100, for example.
  • the linearly polarized light is reflected by the groove 100 a existing on the surface of the subject 100 and enters the imaging unit 140.
  • the imaging unit 140 sequentially images the subject 100 when the subject 100 is irradiated with each of three or more types of linearly polarized light, and receives the return light from the subject without passing through the polarizer. To get the brightness value.
  • return light means light that is reflected by the surface of the subject 100 and is incident on the imaging unit 140 out of the light emitted from the polarization illumination unit 120.
  • the angle between the optical axis of the polarization illumination unit 120 and the optical axis of the imaging unit 140 must not be too large. preferable.
  • the angle between the optical axis of the polarization illumination unit 120 and the optical axis of the imaging unit 140 is set to 15 ° or less, for example.
  • FIG. 1B is a perspective view schematically showing the polarization directions of three types of linearly polarized light having different polarization plane angles.
  • the three polarization states 10, 12, and 14 shown in the figure each have polarization planes with different angles.
  • a bidirectional arrow is described inside a circle schematically showing the polarization states 10, 12, and 14 in FIG. 1B. This arrow indicates the vibration direction of the electric field vector that defines the polarization plane of linearly polarized light.
  • FIG. 1B shows the XYZ coordinates of the right hand system.
  • the X axis and the Y axis are set in the image plane acquired by the imaging unit 140, and the direction of the Z axis is set in the line of sight (optical axis) direction.
  • the plane of polarization of linearly polarized light is a plane including the optical axis that is parallel to the oscillating electric field vector.
  • the vibration direction of the electric field vector of linearly polarized light is parallel to the XY plane.
  • the angle ( ⁇ I) of the polarization plane is defined by the angle formed by the polarization direction (vibration direction of the electric field vector) with respect to the positive direction of the X axis. This angle ⁇ I will be described in more detail later with reference to FIG.
  • the polarization illumination unit 120 sequentially irradiates the subject 100 with three or more types of linearly polarized light having different polarization plane angles, and the imaging unit 140 irradiates the subject 100 with each of the three or more types of linearly polarized light.
  • the subject 100 is sequentially imaged, and at that time, the return light from the subject is received without passing through the polarizer, and the luminance value is acquired.
  • variable luminance processing unit 160 obtains the relationship between the angle of the polarization plane and the luminance value of each pixel based on the signal indicating the luminance value output from the imaging unit 140, and calculates the “maximum luminance angle image” and the “luminance modulation degree”.
  • the “maximum luminance angle image” is an image defined by the angle of the polarization plane that maximizes the luminance value for each pixel constituting the image obtained by imaging.
  • luminance value of the pixel P (x, y) specified by a certain coordinate (x, y) is maximized when the subject 100 is irradiated with linearly polarized light having a polarization plane of 45 °
  • a value of 45 ° which is the maximum luminance angle is set for the pixel P (x, y).
  • luminance maximum angle image is configured by setting such a value of the maximum luminance angle in each pixel.
  • the “brightness modulation degree image” is an image defined by the ratio between the amplitude of the fluctuation of the luminance value accompanying the change of the polarization plane and the average luminance value for each pixel.
  • luminance modulation degree image is configured by setting such a luminance modulation degree value in each pixel.
  • image in this specification means not only a luminance image that is directly recognized by human vision, but also a wide array of numerical values given to each of a plurality of pixels.
  • image when one “luminance maximum angle image” is displayed, the image can be displayed with brightness according to the value of the luminance maximum angle set for each pixel of the “luminance maximum angle image”.
  • the “luminance maximum angle image” expressed in this way includes a light and dark pattern that can be recognized by human vision, but this is different from a normal luminance image showing the luminance of the subject.
  • images the data itself indicating various “images” may be referred to as “images”.
  • the 1A estimates the normal of the inclined surface in the V-shaped groove 100a existing on the surface of the subject 100 on a pixel basis, based on the luminance maximum angle image and the luminance modulation degree image.
  • the azimuth angle of the normal of the inclined surface in the V-shaped groove 100a is perpendicular to the direction in which the V-shaped groove 100a extends.
  • the direction of the V-shaped groove 100a that is, the azimuth angle of the normal of the inclined surface in the V-shaped groove 100a is determined.
  • the zenith angle of the normal line of the inclined surface in the V-shaped groove 100a is determined. The principle on which the normal line estimation unit 170 in the present invention estimates the normal line of the inclined surface in the V-shaped groove 100a on a pixel basis will be described in detail later.
  • FIG. 1C is a diagram schematically illustrating the overall configuration of the image processing apparatus according to the first embodiment of the present invention.
  • the image processing apparatus includes an endoscope 101 and a control device 102.
  • the endoscope 101 includes a distal end portion 113 having an image sensor, a light guide 105, and an insertion portion 103 having a video signal line 111.
  • the insertion portion 103 of the endoscope 101 is long to the left and right as shown, and has a structure that can be bent flexibly.
  • the ride guide 106 can transmit light even in a bent state.
  • the endoscope includes a flexible endoscope having a flexible insertion portion 103 and a rigid endoscope having an insertion portion that is not flexible as in the present embodiment.
  • the insertion portion 103 has a structure that guides return light to an imaging element located behind by using a relay optical system or the like.
  • the present invention can be applied to both a flexible endoscope and a rigid endoscope.
  • the control device 102 includes a light source 104, an image processor 108, and a synchronization device 112.
  • White non-polarized light emitted from the light source 104 is guided to the polarization plane control element 106 of the tip 113 via the light guide 105.
  • the polarization plane control element 106 is composed of, for example, a polarizing plate and a liquid crystal element, and can convert non-polarized light into linearly polarized light with an arbitrary polarization plane by voltage.
  • the polarization plane control element 106 is a device that can rotate the polarization plane using liquid crystal. Examples of the configuration have already been disclosed in Patent Documents 2 and 3 and Non-Patent Document 1 and the like.
  • the polarization plane control element 106 can be configured by a voltage application type liquid crystal device that combines, for example, a ferroelectric liquid crystal, a polarizing film, a quarter wavelength plate, and the like.
  • the polarization plane control element 106 converts non-polarized light generated by the light source 104 and passed through the light guide 105 into linearly polarized light having a polarization plane at an arbitrary angle.
  • the synchronization device 112 sends an instruction to rotate the polarization plane to the polarization plane control element 106 to rotate the polarization plane of the illumination. This polarized illumination is applied to the subject through the illumination lens 107.
  • the synchronization device 112 simultaneously sends a shooting start signal to the image sensor 110 to acquire an image, and performs the above processing a plurality of times.
  • the return light from the subject forms an image on the image sensor 110 through the photographing lens 109.
  • the image sensor 110 may be a monochrome image sensor or a single-plate color image sensor having a color mosaic.
  • the imaged video signal reaches the image processor 108 via the video signal line 111.
  • the light source 104, the light guide 105, the polarization plane control element 106, and the illumination lens 107 implement the polarization illumination unit 120 of FIG. 1A.
  • the imaging unit 140 of FIG. 1A is realized by the photographing lens 109 and the imaging element 110.
  • the variation luminance processing unit 160 and the normal estimation unit 170 in FIG. 1A are realized by the image processor 108.
  • the first image is captured when the polarization plane is 0 ° state 203
  • the second image is captured when the polarization plane is 45 ° state 204
  • the third image is captured when the polarization plane is 90 ° state 205.
  • Is a 135 ° state (the fourth image is taken at 206.
  • This angle may be other than 45 °, and may be an angle obtained by dividing 180 ° by an integer of 3 or more.
  • the imaging device has high sensitivity
  • the exposure time can be shortened, so that the rotation angle can be set more finely.
  • the time required for rotating the polarization plane ranges from a slow operation speed of about 20 (ms) to a high speed type of about 40 to 100 ( ⁇ sec). If high-speed liquid crystal is used and the sensitivity of the image sensor is increased to such an extent that imaging can be performed in this time, even if shooting is performed with polarization rotation in four directions, it has sufficient performance for shooting moving images. Is possible.
  • the optical axis of the illumination lens 107 and the optical axis of the photographing lens 109 are substantially equal. This is because shadows are not generated as much as possible on the subject during observation with the endoscope.
  • an unpolarized average luminance image can be generated by adding separate polarized images from the first image to the fourth image.
  • FIG. 3 is a diagram showing the definition of the angle ⁇ I of the polarization plane in the polarized illumination.
  • the XY coordinate system is set toward the subject.
  • the angle ⁇ I of the polarization plane is defined such that the negative X-axis direction is 0 ° and the positive Y-axis direction is positive.
  • the angle ⁇ I is preserved in the reflection, the angle of the polarization plane of the reflected light and the angle of the polarization plane of the incident light are the same.
  • the angle ⁇ I of the polarization plane is increased or decreased, the same polarization state is repeated with a period of 180 °.
  • the function having the polarization plane angle ⁇ I as a variable is a periodic function having a period of 180 °.
  • the angle ⁇ I of the polarization plane in the polarized illumination may be referred to as “incident polarization plane angle”.
  • FIGS. 4A and 4B are diagrams each illustrating an example of the configuration of the imaging surface of the imaging device 110.
  • FIG. 4A a plurality of photosensitive cells (photodiodes) are regularly arranged in rows and columns on the imaging surface.
  • a color mosaic filter that transmits three wavelengths of RGB is installed as shown in FIG.
  • Each photosensitive cell generates an electrical signal according to the amount of incident light by photoelectric conversion.
  • a conventional luminance image can be used as the image sensor 110.
  • the surface information of the subject is acquired by imaging while rotating the polarization plane of the illumination light as linearly polarized light.
  • FIG. 5 is a diagram showing such another configuration.
  • a difference from the configuration of FIG. 1C is that non-polarized white light from the light source 104 is colored by the rotating color filter 501 and sequentially irradiated in time.
  • the light guide 105 transmits the color illumination as it is.
  • the return light from the subject is generally polarized, but the image sensor may be for a monochrome image. For this reason, for example, a monochrome polarization image pickup device using a pattern polarizer as described in Patent Document 4 can be applied.
  • FIG. 6 is an example of a monochrome polarization image pickup device in which such a pattern polarizer is arranged.
  • Such an imaging device can be configured by a polarization imaging device using a photonic crystal disclosed in Patent Document 4.
  • the pattern polarizer of this monochrome polarization imaging device has wavelength dependence, polarized images in all the RGB wavelength bands cannot be obtained. For example, if the pattern polarizer is designed to correspond to the B wavelength range, only the B polarization image can be obtained. Furthermore, in order to obtain a polarization image, in particular, a polarization degree and a polarization angle, a spatial kind of difference operation in a 2 ⁇ 2 cell is performed on the spatially processed image of the polarization mosaic. It is inevitable that moire occurs in the polarization image. The occurrence of moiré in the case of using this pattern polarizer is mainly caused by spatial image processing for obtaining a polarized image as described above, unlike moiré by simple pixel sampling. It has been found that this is significantly more significant than the occurrence of moiré in pixel sampling. As described above, in the configuration of FIG. 5, the image quality in polarization observation is greatly deteriorated.
  • polarization information can be obtained in units of one pixel using a normal image sensor, and this problem is avoided. That is, the imaging unit in the present embodiment receives the return light without passing through the polarizer and outputs a signal indicating the luminance value. Furthermore, a polarized image is obtained with each color RGB wavelength component. There is no need for an expensive polarization imaging device.
  • the subject is not an organism mucous membrane but an object of a general material such as plastic or wood. This is because the reflection on the mucosal surface is basically a specular reflection, and the reflection can be regarded as the same physical phenomenon without depending on the material of the subject.
  • FIG. 7A and FIG. 7B show images obtained by polarization imaging using a ceramic cup with a smooth surface and a wooden board having fine irregularities on the surface as subjects.
  • the four images in FIG. 7B are diagrams schematically depicting the four images in FIG. 7A.
  • the change in the luminance pattern was not observed so much even when the polarization of the polarized illumination was changed.
  • the angle ⁇ I of the polarization plane of the polarized illumination is changed, the observed luminance image is greatly increased. It turned out that there was a change. Such a difference is explained as follows.
  • FIG. 8 shows a state in which polarized light having an incident angle close to zero is incident on the surface 801 and direct reflection is observed with a camera.
  • the polarization planes of incident polarized light are different by 90 °.
  • the linearly polarized light of the reflected light has almost the same luminance as the incident light only by changing the traveling direction of the light. This is due to the following reason.
  • FIG. 9 is a graph showing the incident angle dependence of the specular reflectance according to Fresnel theory.
  • the horizontal axis represents the incident angle
  • the vertical axis represents the Fresnel reflectance.
  • An incident angle in the vicinity of 0 ° to 15 ° that can be regarded as normal incidence corresponds to a range 901.
  • FIG. 10A is a graph showing the luminance fluctuation of the same pixel when a luminance image is taken while changing the polarization plane of light (polarized illumination) incident on the surface of the wooden board.
  • FIG. 10B is a luminance image of a wooden board to be imaged (luminance image during non-polarized illumination).
  • FIG. 10C is a diagram schematically showing the unevenness of the surface of the wooden board shown in FIG. 10B.
  • FIG. 11 shows the variation of the luminance Y in a specific pixel of the luminance image obtained when the angle ⁇ I of the polarization plane of the polarized illumination is 0 °, 45 °, 90 °, and 135 °. From this graph, it can be seen that the luminance Y periodically varies with respect to the angle ⁇ I of the polarization plane of each polarized illumination.
  • the surface of the wooden board is not smooth and there are many grooves where incident light is reflected multiple times. Therefore, the luminance Y is considered to vary depending on the polarization angle ⁇ I of the illumination. The reason will be described in detail.
  • FIG. 12 shows a state in which a groove 1201 is formed on the surface and multiple reflections are generated twice on the slope.
  • This multiple reflection is thought to occur on various natural objects such as cloth, wood, human skin, and skin, such as a subject surface with many irregularities on the surface.
  • the nature of the first and second reflections is important, and the third and subsequent multiple reflections have low brightness and can be almost ignored, so only the second reflection is considered.
  • 1st time diffuse reflection 2nd time: specular reflection 2nd time: diffuse reflection 2nd time: diffuse reflection 3)
  • 1st time: specular reflection 2nd time: 4 of specular reflection A street phenomenon can be assumed.
  • the phenomenon of specular reflection can be considered as the main phenomenon in the first and second rounds of 4). If the surface of the groove slope is not completely smooth and the illumination light is not perfectly parallel light, the specular reflection is different from the ideal mirror surface. Therefore, according to experiments, it was confirmed that the two-time reflection can be observed and imaged relatively easily even at a position where the specular reflection condition is not completely satisfied, and that the polarization characteristic is caused by specular reflection.
  • FIG. 12A and FIG. 12B each show a part of the groove 1201 present on the surface of the subject. At least a part of the groove 1201 extends in one direction on the subject surface. This extending direction is referred to as “main axis direction”.
  • the actual groove 1201 does not need to extend linearly and may extend curvedly. Even a groove extending in a curve can be regarded as a linear groove extending approximately in the principal axis direction.
  • V-shaped groove a groove that exists on the surface of a living organ can be referred to as a “V-shaped groove”.
  • the cross section of such a V-shaped groove need not be strictly “V-shaped”, and may include a curved surface.
  • the following explanation can be applied if a groove having a substantially “V-shaped” cross section exists on the surface of the subject.
  • a structure in which a concave portion sandwiched between two adjacent convex surfaces extends in a direction perpendicular to the paper surface as shown in FIG. 22 referred to later is an example of a V-shaped groove.
  • the polarized illumination incident perpendicularly to the groove main axis direction 1202 is a P wave.
  • the inclination angle of the groove 1201 of the subject is about 45 ° and illumination is incident on the groove 1201 from above, as can be seen from the graph of Fresnel reflectivity, in this incident angle range 902, S Compared with waves, the reflectance of P waves is extremely weak. Furthermore, the P wave becomes weaker while passing through the reflection once and twice. On the other hand, the S-polarized light shown in FIG. 12B does not weaken so much even after two reflections.
  • the reflected light becomes extremely weak in terms of energy, and the luminance decreases.
  • the incident polarization plane that becomes the S wave the reflected light is not so attenuated in energy and has high brightness.
  • the inventor of the present application has found that the function form of the change in the luminance Y obtained by the twice reflection of the polarized illumination in the groove varies substantially the same as when non-polarized light is incident. Hereinafter, this point will be described.
  • FIG. 13A is a view of the groove on the surface of the subject viewed from directly above the surface. This corresponds to viewing FIG. 12 from above.
  • FIG. 13A shows XY coordinates parallel to the captured image plane.
  • the angle formed between the direction perpendicular to the main axis direction 1202 of the groove 1201 and the positive part of the X axis is denoted by ⁇ .
  • FIG. 13 (b) shows the angle ⁇ I of the polarization plane of the polarized illumination incident on the subject.
  • FIG. 13 (c) shows the contents of FIG. 13 (a) and the contents of FIG. 13 (b) as one.
  • the direction of the groove is designated by the angle ⁇ . This differs from the azimuth angle of the main axis of the groove by 90 °.
  • the direction of the groove is specified by the angle ⁇ .
  • the incident light is reflected twice in the groove as shown in FIG.
  • the luminance of linearly polarized light having a polarization plane at a certain angle ⁇ is observed.
  • FIG. 14B is a diagram illustrating an angle ⁇ of linearly polarized light at which luminance is observed. If the polarization luminance at the angle ⁇ is I ( ⁇ , ⁇ ), this can be expressed by the following equation.
  • the energy reflectances in the groove direction ( ⁇ ) and the principal axis direction ( ⁇ / 2 ⁇ ) are A and B, respectively.
  • This polarization luminance I ( ⁇ , ⁇ ) is expressed by the following expression 2 by modifying expression 1. From this equation 2, it can be seen that the polarization luminance I ( ⁇ , ⁇ ) varies with a period ⁇ with respect to ⁇ .
  • the incident polarization plane angle is not 0 ° but general ⁇ I.
  • the polarization luminance when the incident polarization plane angle is ⁇ I and the observation angle is ⁇ is given by the following equation.
  • the polarization luminance shown by this equation is the polarization luminance observed at the observation angle ⁇ in a specific direction, when observing the average luminance of non-polarized light, the polarization luminance shown by equation 3 is 1 for the observation angle ⁇ .
  • the sine function and cosine function related to ⁇ become zero. That is, the luminance PY ( ⁇ I, ⁇ ) observed when the polarized light having the incident polarization plane angle ⁇ I is incident on the groove specified by the angle ⁇ and reflected twice is 180 ° with respect to ⁇ I as shown in the following equation. Expressed as a periodic function.
  • the degree of modulation of luminance fluctuation can be considered in consideration of the fact that the cosine function term fluctuates from +1 to -1. This ratio is referred to as a luminance modulation degree YD.
  • This luminance modulation degree YD is obtained by the following equation.
  • the maximum luminance angle YPH and the luminance modulation degree YD are given in units of pixels. Therefore, an image in which the maximum luminance angle YPH is set for each pixel constituting the image is referred to as a “maximum luminance angle image YPH”. Similarly, an image in which the luminance modulation degree YD is set for each pixel constituting the image is referred to as a “luminance modulation degree image YD”.
  • the maximum luminance angle YPH and the luminance modulation degree YD are amounts corresponding to the polarization principal axis angle and the polarization degree in normal polarization observation, respectively, but the quantitative relationship is not clear. Therefore, in order to clarify the relationship between the two, the polarization state of twice reflection when non-polarized illumination is incident on the groove is examined.
  • FIG. 15 is a diagram when the unpolarized light 1501 is incident on the groove.
  • unpolarized light 1501 is incident on a groove having an angle of ⁇
  • energy is considered to be evenly distributed in the principal axis direction of the groove and the direction perpendicular thereto, so that energy multiplied by energy reflectivities A and B is used.
  • the polarization luminance takes the maximum value (reflectance B) in the groove main axis direction and takes the minimum value (reflectance A) in the vertical direction of the main axis from the explanation in FIG.
  • the degree of polarization DOP is calculated, It becomes.
  • the maximum luminance angle YPH which is the phase angle of the luminance fluctuation when the angle ⁇ I of the polarization plane in the polarized illumination is rotated, coincides with the polarization main axis in the non-polarized illumination.
  • the luminance modulation degree YD which is the amplitude of the luminance fluctuation when the angle ⁇ I of the polarization plane in the polarized illumination is rotated, matches the polarization degree DOP in the non-polarized illumination. Therefore, the discussion of the Fresnel reflection theory and surface normal on the premise of non-polarized illumination can be used for fluctuations in polarization luminance in the present invention.
  • the image processor 108 in the present embodiment obtains the above-described maximum luminance angle image YPH and luminance modulation degree image YD, and acquires the surface unevenness information of the subject. Next, a configuration example and operation of the image processor 108 will be described with reference to FIG.
  • FIG. 16 is a block diagram showing a configuration of the image processor 108. While changing the incident polarization plane angle ⁇ I of illumination to 0 °, 45 °, 90 °, and 135 °, and illuminating the subject with the polarized light of each incident polarization plane angle ⁇ I, a luminance image group 1601 composed of four luminance images is obtained. To be acquired. The four luminance image groups 1601 thus captured are input to the variable luminance processing unit 160 of the image processor 108.
  • the luminance fluctuation when the polarization plane of the polarized illumination is rotated is a cosine function having a period of 180 °.
  • the variation luminance processing unit 160 fits luminance variation into a cosine function.
  • Y ( ⁇ I) indicating the luminance variation is expressed as follows using the angle ⁇ I of the polarization plane of illumination as a variable.
  • a method for estimating the above value by fitting a cosine function from four equally spaced angle samples is as follows.
  • the luminance Y ⁇ I _ ave of the original image under non-polarized illumination by the following equation.
  • the luminance Y ⁇ I — ave approximately reproduces the luminance image under non-polarized illumination, and can be used as a normal observation image of the endoscope.
  • the luminance Y ⁇ I _ ave can be referred to as a "non-polarized average luminance image".
  • optimal fitting is performed using the least square error from the sampled luminance to the cosine function.
  • it is carried out from samples in four directions of 0 °, 45 °, 90 °, and 135 °. Since the cosine function is determined by three types of information of amplitude, phase, and average value, in order to determine these, any number of samples may be used as long as it is three or more samples. However, in the case of a 45 ° sample, there is a property that the optimum fitting is simplified.
  • the phase ⁇ o of the cosine function that minimizes this square error can be obtained from the following equation. From this equation, the solution is given by:
  • mathematical functions such as inverse trigonometric functions are subject to the following restrictions.
  • the angle taking the minimum value and the angle taking the maximum value can be calculated as follows by performing the case difference from the magnitude relationship between a and c.
  • the value of ⁇ 0max that takes this maximum value may be used as the luminance maximum angle image YPH as it is.
  • the maximum value and the minimum value of the amplitude is as follows.
  • the maximum luminance angle image YPH and the luminance modulation degree image YD are obtained.
  • the reference sign “YPH” is attached to the maximum brightness angle image YPH
  • the reference sign “YPH” is attached to the brightness modulation degree image YD.
  • the luminance maximum angle image YPH is sent to the azimuth angle processing unit 1604, and the luminance modulation degree image YD is sent to the zenith angle processing unit 1606, respectively.
  • FIG. 18A is a diagram showing two angles that specify the normal direction of the surface of the subject, that is, an azimuth angle and a zenith angle.
  • the normal vector is a three-dimensional vector, but the length is normalized to 1. Therefore, the degree of freedom of the normal vector is 2, and when expressed as an angle, it is expressed by an azimuth angle ⁇ within the screen and a zenith angle ⁇ with respect to the line of sight.
  • an XY axis is set in the image, and the direction of the Z axis is the line of sight (optical axis).
  • the relationship with the three normal components (Nx, Ny, Nz) is as shown in the figure.
  • the azimuth angle processing unit 1604 calculates the azimuth angle ⁇ using the luminance maximum angle image YPH.
  • the Fresnel theory regarding specular reflection when non-polarized light is incident is referred to from the above discussion.
  • Non-Patent Document 2 non-polarized light is incident and polarized light is observed with a polarizing plate in front of the camera.
  • the P wave is attenuated and the S wave is dominant in the reflected light that is specularly reflected from the surface of the subject.
  • the azimuth angle ⁇ of the normal line on the groove surface is equal to the angle of the polarization plane that minimizes the luminance.
  • the direction determined by this azimuth angle ⁇ matches the direction perpendicular to the plane of polarization where the luminance is maximum.
  • the azimuth angle ⁇ of the normal of the groove surface matches the direction perpendicular to the direction of the maximum polarization luminance angle. That is, the azimuth angle ⁇ can be obtained using the maximum brightness angle image YPH.
  • this azimuth angle ⁇ has an indefiniteness of 180 °, as introduced in Non-Patent Document 2 as “180 ° ambiguity”. That is, two candidates different by 180 ° are obtained as the azimuth angle ⁇ of the normal line of the groove surface. Here, selecting one of the two candidates is referred to as “indeterminacy processing”.
  • 16 uses an unpolarized luminance image 1612 or a luminance modulation degree luminance modulation degree image YD in order to perform indeterminacy processing.
  • FIG. 19A shows a luminance image of a groove and a cross-sectional configuration 1902. Since the groove is larger than the size of each pixel, a luminance distribution exists within one groove.
  • the groove cross-sectional configuration 1902 has two inclined surfaces, and the inclined angle of the inclined surface is in the range of 30 to 60 °.
  • the luminance value becomes high (bright) in the area 1903 indicated by the halftone dots, and the luminance value becomes low (dark) in the area 1913 near the bottom of the groove. That is, the brightness value has a gradient inside the groove.
  • Unpolarized light to implement the spatial differentiation processing on the luminance Y ⁇ I _ ave obtained under illumination, calculating the gradient vector of the luminance values, the luminance gradient vectors 1904 and 1905 are obtained.
  • the gradient vectors 1904 and 1905 are calculated for each of the two inclined surfaces in the groove.
  • the candidate 1906a is adopted at the point A and the candidate 1907a is adopted at the point B. Therefore, the azimuth angle ⁇ of the candidate 1906a indicated by the downward arrow is selected at the point A, and the azimuth angle ⁇ of the candidate 1907a indicated by the upward arrow is correctly obtained at the point B.
  • the degree of polarization DOP increases near the bottom of the groove due to reflection twice in the groove.
  • the luminance modulation degree value when the polarized illumination is rotated shows the same behavior. Therefore, in the luminance modulation degree image YD, the value (luminance modulation degree) increases in the area 1908 in the vicinity of the groove bottom 1913, and the value decreases outside the groove. Therefore, when the gradient vector of the luminance modulation degree image YD is calculated, luminance modulation degree gradient vectors 1909 and 1910 are calculated.
  • the azimuth angle ⁇ obtained from the maximum brightness angle image YPH has an indefiniteness of 180 °
  • two candidates 1911a and 1911b are obtained at point A
  • two candidates 1912a and 1912b are obtained at point B. Is obtained.
  • the candidate 1911a at the point A and the candidate at the point B 1912a is employed.
  • the gradient vector calculation part and the normal vector calculation part are drawn so as to be different, but this is for convenience. In actual image processing, the gradient vector is accurately calculated at points A and B where the normal vector is estimated.
  • FIG. 19C is a flowchart of the procedure for determining the azimuth angle.
  • step S19C01 the candidate ⁇ 1 of the azimuth angle ⁇ of the groove is obtained by rotating the value of the maximum luminance angle image YPH (maximum luminance angle) by 90 °.
  • step S19C02 another azimuth angle candidate ⁇ 2 obtained by rotating the candidate ⁇ 1 by 180 ° is obtained.
  • step S19C03 the evaluation values ⁇ 1 and ⁇ 2 of the angle difference between the gradient angle obtained from either the luminance gradient or the luminance modulation degree and the candidates ⁇ 1 and ⁇ 2 are calculated.
  • the luminance modulation degree image is a feature that can be stably acquired, and if it is devised for polarized illumination as disclosed in the present invention, it can be acquired without any special contrivance on the imaging device side to be observed, so it is highly effective. .
  • step S19C04 it is selected whether to use the luminance gradient or the luminance modulation degree gradient.
  • the condition of step S19C05 is set, and the one having the larger angular difference is selected from ⁇ 1, ⁇ 2, and ⁇ is determined.
  • the condition of step S19C06 is set, and the one having the smaller angle difference is selected from among ⁇ 1 and ⁇ 2, and ⁇ is determined.
  • the zenith angle processing unit 1606 calculates the zenith angle ⁇ using the luminance modulation degree image YD.
  • the Fresnel theory when non-polarized light is incident is adopted. In this case, as described in Non-Patent Document 2, non-polarized light enters and the polarization is observed with a polarizing plate in front of the camera.
  • the degree of polarization DOP of the reflected light that is specularly reflected from the surface of the object is calculated, the relationship between the zenith angle of the surface normal and the Fresnel theory curve using the refractive index NN is established. To do.
  • the luminance modulation degree image YD value is used instead of DOP to determine the zenith angle.
  • this zenith angle has indefiniteness with a Brewster angle in between.
  • FIG. 20A shows the relationship between the incident angle of illumination and the degree of polarization DOP while changing the refractive index NN from 1.5 to 3.0.
  • the incident angle is directly the zenith angle of the surface.
  • the degree of polarization DOP is calculated from the following Fresnel reflection formula using the refractive index NN of the material when non-polarized incident light is incident on the subject surface at an incident angle ⁇ and is specularly reflected at the same exit angle ⁇ . Is done.
  • the above indefiniteness means that when the zenith angle is obtained from the DOP, two angles are estimated across the Brewster angle, which is the angle at which the curve is maximum, and cannot be determined as one.
  • FIG. 20B is a diagram illustrating a method for solving the indefiniteness with the Brewster angle interposed therebetween. It is assumed that the groove inclination angle due to the surface mucosa in the living body observed with an endoscope is approximately 55 ° or less, which corresponds to the Brewster angle. The difficulty is solved by limiting the search range from 0 ° to Brewster angle shown in FIG. 20B.
  • FIG. 20C is a flowchart for determining the zenith angle.
  • step S20C01 the maximum value MINDIF of the polarization degree difference is set, and in step S20C02, the Brewster angle ⁇ B is theoretically obtained from the refractive index NN.
  • step S20C03 ⁇ is set to 0 °, and if it is smaller than the Brewster angle in S20C04, the following calculation is performed.
  • step S20C05 the theoretical polarization degree DOP shown in (Equation 21) is obtained, and in step S20C06, the difference absolute value DIF between this DOP and the luminance modulation degree YD is calculated. If this DIF is smaller than MINDIF in step S20C07, ⁇ MIN is set to this ⁇ , and DIF is set to MINDIF.
  • step S20C09 the angle of ⁇ is increased by 1 ° and the loop process is continued. If this loop process is exited in step S20C04, ⁇ MIN is determined as the zenith angle.
  • the normal image generation unit 1608 obtains a normal vector (Nx, Ny, Nz) of the subject surface in the camera coordinate system from the obtained azimuth angle ⁇ and zenith angle ⁇ using (Equation 19), and obtains it in a two-dimensional manner. A normal image.
  • the luminance image generation unit 1609 generates a luminance image using a physical reflection model formula by giving a camera viewpoint direction and an illumination light source direction to the obtained normal line image.
  • the Cook-Trans model is used as a model formula that well expresses the specular reflection of the subject. According to this, the luminance Is is expressed by the following equation.
  • ⁇ in the above equation is an angle formed by the bisected vector H and the normal line N
  • ⁇ r is an angle formed by the line-of-sight vector and the normal line N. It is.
  • the Fresnel coefficient F and the geometric damping factor G are expressed by the following equations.
  • the illumination direction setting unit 1610 is an element for setting the light source vector, and is freely set by a doctor who is an observing user in endoscopic diagnosis or the like.
  • Each component shown in FIG. 16 may be realized by special hardware or a combination of hardware and software.
  • at least some of the above-described components can be realized by a processor.
  • the operation of the image processing unit of the present embodiment can be defined by a computer program stored in the memory of the image processing unit.
  • Such a computer program is a set of commands for causing a processor provided in the image processing apparatus to execute various steps (FIGS. 19C and 20C).
  • FIG. 21A is a diagram showing the results of the surface normal estimation experiment according to the present embodiment.
  • the subject is a lenticular lens plate having a kamaboko-shaped cross section.
  • the subject is painted in a red or chocolate color system in order to make specular reflection dominant. The above processing was performed on this subject.
  • FIG. 21A shows the non-polarized luminance image 1612 in FIG. 16, and the lower image in FIG. 21A shows the luminance modulation degree image YD in FIG.
  • white (high lightness) pixels show high luminance, but in a luminance modulation degree image, dark (low lightness) pixels show high values (modulation degree).
  • FIG. 21B is a diagram schematically showing only a part surrounded by the quadrangle of FIG. In the luminance image, a high luminance portion (white portion 2104) corresponding to the convex portion 2101 and a low luminance portion (shaded portion 2103) corresponding to the concave portion 2102 are repeated.
  • the luminance modulation degree image a portion with a high luminance modulation degree (halftone portion 2105) and a portion with a low luminance modulation degree (white portion 2106) are repeated.
  • the low luminance portion corresponds to a high luminance modulation degree.
  • FIG. 22 is a cross-sectional view of the subject (lenticular plate) shown in FIG.
  • the lenticular plate has irregularities periodically, and the illumination light is reflected only once at the convex portion 2201 and imaged by the camera.
  • the light forming the image of the convex part 2201 is reflected once and has extremely high luminance. Since the recess 2202 forms a groove, the light is reflected twice and captured by the camera. For this reason, the image of the light reflected by the recess 2202 has a slightly low luminance.
  • FIG. 23 shows the profiles of luminance and luminance modulation degree in FIG.
  • a curve 2301 in the figure represents the luminance
  • a curve 2302 represents the luminance modulation degree. It can be seen that the luminance modulation degree is increased in the low luminance portion (the concave portion of the curve 2301).
  • FIG. 24 is a plan view showing another subject. This object is obtained by processing and painting eight grooves A to I on a plastic plate.
  • FIG. 24A is a diagram showing a photograph showing a luminance image obtained from a real subject
  • FIG. 24B is a schematic diagram thereof.
  • the azimuth angle interval between the grooves in the plane is 22.5 °.
  • the azimuth angle indeterminacy processing unit 1607 and the zenith angle processing unit 1606 in FIG. 16 are implemented for each groove from A to I of the subject in FIG. It is the result of estimating ⁇ .
  • the graph with halftone dots shows the correct answer, and the graph with diagonal lines shows the estimation results.
  • the correct answer is measured using a laser displacement meter.
  • the azimuth angle estimation result of FIG. 25 is estimated with an error of about 10 °.
  • the error is slightly large.
  • FIG. 27 shows the result of a luminance image obtained by performing all the processes in FIG. 16 on the subject in FIG.
  • FIG. 27A is an image when the position of the illumination light source is irradiated from (a) the right side toward the screen, (b) from the left side toward the screen, (c) from the lower side toward the screen, and (d) from the upper side toward the screen, respectively. Is generated.
  • FIG. 27B is a schematic diagram, and (a) to (d) correspond as they are. It can be seen that the grooves designated by A to I are clearly expressed by the change of the illumination direction. Therefore, it is possible to provide a clear uneven image with respect to an endoscopic image having only illumination from the front as shown in FIG. 24A.
  • the image processing apparatus has substantially the same configuration as that in FIG. 1C, but is different in that a color filter 2801 is added.
  • the polarization state observed in the groove varies greatly depending on the color of the subject. That is, according to the narrow band observation near the wavelength of 520 (nm), subjects such as chocolate and red are dark images as a whole, and very strong polarized light can be observed in the groove, whereas in the yellow color, A bright image as a whole can be obtained, but the polarization in the groove becomes very weak. This is presumably because the diffuse reflection component is dominant in bright colors, and the specular reflection of the two-time reflection is almost hidden.
  • polarized illumination light that matches the wavelength band where the spectral reflectance of the subject is low is used. For example, in the case of the above yellow, a dark image is photographed using a blue illumination color which is a complementary color.
  • the wavelength range of the illumination light is preferably determined in consideration of the spectral reflectance of the subject.
  • FIG. 29 is a diagram showing an example of the spectral reflectance of the large intestine mucosa, which is a representative organ in endoscopic observation.
  • the colonic mucosa has a strong absorption at 520-600 (nm). Therefore, if the spectral filter characteristics are matched to this low reflectance region to have a characteristic of 2801, it will be photographed as a relatively dark color in this wavelength band, which is suitable for observing surface grooves by polarized light as described in the present invention.
  • a filter 2801 is installed at the output stage of the light source 104. Note that the filter 2801 may be used by switching from the case of normal color image observation.
  • the color filter may be installed in front of the imaging side 110.
  • the image processing apparatus according to the present embodiment is an apparatus applied not only to an endoscope but also to a camera with illumination for medical use such as dermatology and dentistry, a fingerprint imaging apparatus, and a surface inspection apparatus.
  • FIG. 30A shows a configuration example of this embodiment.
  • the image processing apparatus of this embodiment includes an apparatus 400 instead of the endoscope 101 in FIG. 1C.
  • the apparatus 400 includes a ring illumination 4001, a ring-shaped polarization plane control element 4002, a photographing lens 4003, and an image sensor 4004.
  • FIG. 30B is a diagram showing an overview of FIG. 30A.
  • a ring-shaped polarization plane control element 4002 is installed on the ring illumination 4001.
  • Non-polarized light is input to the ring illumination 4001 and the polarization plane control element 4002 from a light guide such as an optical fiber, and the polarization plane of the illumination is set to 0 °, 45 °, 90 °, 135 °, for example, as shown in FIG.
  • the ring illumination 4001 may be a self-luminous light source such as an LED that does not use a light guide from the light source. Further, if the angle formed by the imaging optical axis and the optical axis of the illumination light is 15 ° or less, strobe light emission other than ring illumination may be used. By using ring illumination, surface irregularities and grooves can be estimated with high accuracy even in a subject that is difficult to observe with only one illumination.
  • the optical axis of the illumination light is substantially the same as the imaging optical axis and is made uniform, so it is suitable for a device surface inspection device for scratches and irregularities, fingerprint imaging devices, dermatological skin roughness imaging devices, etc. is there.
  • the image processing processor in the first embodiment can be applied to the imaging element 4004 and an image processing processor (not shown).
  • the interval of the rotation angle of the linearly polarized light of illumination is set to 45 °, but this angle does not have to be the same and may be different from each other. Further, the angle interval is not limited to 45 °. However, more than two samples are required to determine the three parameters of the cosine function. That is, it is necessary to change the rotation angle of the linearly polarized light of the illumination to three or more. When there are three types of sample angles, for example, three angles of 0 °, 60 °, and 120 ° can be selected.
  • the present invention is a medical endoscope camera, dermatology, dentistry, internal medicine, surgery and other medical use cameras, industrial endoscope cameras, fingerprint imaging devices, surface inspection devices such as surface unevenness observation, inspection,
  • the present invention can be widely applied to the field of image processing that requires recognition.

Abstract

　本発明の実施形態における偏光面制御素子１０６は、偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光と変換できる。同期装置１１２は、偏光面制御素子１０６に偏光面回転の指示を送り照明の偏光面を回転させ被写体に照射すると同時に撮像素子１１０に撮影開始信号を送って映像を取得し、これを複数回実施する。撮像映像の信号は映像信号線１１１を経由して画像処理プロセッサ１０８に送られる。そこで照明偏光面の変化にともなう前記輝度値の変動を処理し、輝度最大角画像から表面法線の方位角の候補を求め、輝度変調度画像から表面法線の天頂角を求め、方位角の不定性を解決して表面グルーブの法線画像が生成される。

Description

画像処理装置
　本発明は、撮像素子によって取得される２次元輝度画像から得られる情報を超えた表面凹凸情報を得ることができる画像処理装置に関する。
　半透明の粘膜で覆われた生体の臓器表面に対して照明を照射して撮像する内視鏡の分野では、表面からの正反射（鏡面反射）を回避しつつ、表面のテクスチャや表面下の血管画像などを確認する必要がある。そのために偏光照明と偏光撮像を用いた偏光内視鏡が提案されている。例えば、特定の偏光成分の光を物体に照射する偏光照射部と、受光部とを備え、前記物体の表面の形状変化を示す形状変化画像を生成する内視鏡が特許文献１に開示されている。この内視鏡の受光部は、物体からの戻り光における前記特定の偏光成分の光、および前記戻り光における前記特定の偏光成分と異なる偏光成分の光を受光する。特許文献１に開示されている撮像部は、ＲＧＢのカラーモザイクと、偏光透過軸が異なる３つ方向を向くように配列された偏光子とを備えている。特許文献１には、特に観察者が粘膜の表面凹凸を視認しやすくするため、偏光特性算出部が偏光方位を算出し表面の傾斜情報の２次元分布を生成することができると記載されている。
特開２００９－２４６７７０号公報 特開平１１－３１３２４２号公報 米国特許出願公開第２００９／００７９９８２号 特開２００７－８６７２０号公報 国際公開第２００８／１４９４８９号
Ｎｉｃｏｌａｓ Ｌｅｆａｕｄｅｕｘ， ｅｔ．ａｌ ："Ｃｏｍｐａｃｔ ａｎｄ ｒｏｂｕｓｔ ｌｉｎｅａｒ Ｓｔｏｋｅｓ ｐｏｌａｒｉｚａｔｉｏｎ ｃａｍｅｒａ" ，Ｐｒｏｃ． ＳＰＩＥ， Ｖｏｌ． ６９７２， ６９７２０Ｂ， Ｐｏｌａｒｉｚａｔｉｏｎ： Ｍｅａｓｕｒｅｍｅｎｔ， Ａｎａｌｙｓｉｓ， ａｎｄ ＲｅｍｏｔｅＳｅｎｓｉｎｇ ＶＩＩＩ（２００８）; Ｃａｒｙ Ａ．Ａｔｋｉｎｓｏｎ， Ｅｄｗｉｎ Ｒ．ｈａｎｃｏｃｋ："Ｒｅｃｏｖｅｒｙ ｏｆ ｓｕｒｆａｃｅ ｏｒｏｅｎｔａｔｉｎ ｆｒｏｍ ｄｉｆｆｕｓｅ ｐｏｌａｒｉｚａｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｆ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ １５，Ｎｏ．６，Ｊｕｎｅ ２００６，ＰＰ１６５３－１６６４． 宮崎大輔、池内克史：「偏光と放物的曲面の解析による透明物体の表面形状計測」、情報処理学会論文誌、Ｖｏｌ．４４，Ｎｏ．ＳＩＧ９、Ｊｕｌｙ２００３、８６－９３
　本発明者らの実験によると、引用文献１に開示されているような撮像部では、１画素毎の正しい偏光情報を得ることができない。また、被写体の空間周波数との干渉によって偏光画像にモアレ発生が著しく、さらにカラーモザイクの一部が偏光モザイク化されるため、再現されるフルカラー画像の画質も劣化する。
　本発明は、上記課題を解決するためになされたものであり、その主な目的は、画素単位で偏光情報を得ることができ、その偏光情報に基づいて被写体表面の凹凸情報を取得する画像処理装置を提供することにある。
　本発明の画像処理装置は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得する撮像部と、前記撮像部から出力される輝度値を示す信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する変動輝度処理部と、前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定する法線推定部とを備える。
　ある実施形態において、前記法線推定部は、前記輝度最大角画像から前記法線の方位角の候補を求める方位角処理部と、前記輝度変調度画像から前記法線の天頂角を求める天頂角処理部と、前記法線の方位角の候補から前記法線の１つの方位角を決定する方位角不定性処理部と有している。
　ある実施形態において、前記法線推定部によって推定された法線の画像を生成する法線画像生成部を備えている。
　ある実施形態において、前記方位角不定性処理部は、非偏光照明下での画像に相当する非偏光輝度画像、または前記輝度変調度画像に基づいて、前記法線の方位角の候補から１つを選択する。
　ある実施形態において、前記変動輝度処理部は、前記撮像部によって取得された複数の輝度画像の加算平均を行うことにより、前記非偏光輝度画像を生成し、前記方位角不定性処理部に与える。
　ある実施形態において、前記方位角不定性処理部は、前記非偏光輝度画像の空間的な勾配ベクトル、および、前記輝度変調度画像の空間的な勾配ベクトルの少なくとも一方に基づいて、前記法線の方位角の候補から１つを選択する。
　ある実施形態において、前記偏光照明部および前記撮像部は、内視鏡に取り付けられている。
　ある実施形態において、前記偏光照明部は、非偏光の光を、偏光面を可変可能な偏光面変換素子を透過させることによって偏光面が３種類以上に順次変化する直線偏光を照射する。
　ある実施形態において、前記偏光照明の光軸と前記撮像部の光軸との間の角度は１５°以下である。
　ある実施形態において、前記撮像部はモノクロ撮像素子またはカラー撮像素子を有している。
　ある実施形態において、前記被写体の照明方向を仮想的に自在変化させるための照明方向設定部と、前記照明方向から照明された状態の前記被写体の輝度画像を前記法線推定部の出力に基づいて生成するとを備える。
　ある実施形態において、前記偏光照明部は、前記被写体の表面の分光反射率特性が極小になる反射率に相当する波長帯域を透過する分光フィルタを出力段に備える。
　ある実施形態において、前記偏光照明部は、非偏光の光を放射するリング型照明光源と、前記リング型照明光源から放射された非偏光の光を前記直線偏光に変換するリング型偏光面変換素子であって、前記直線偏光の偏光面の角度を順次変化させることができるリング型偏光面変換素子とを備える。
　本発明の画像処理方法は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射するステップと、前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得するステップと、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成するステップと、前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定するステップとを含む。
　本発明の画像処理プロセッサは、被写体を照射する直線偏光の偏光面の角度が３種類以上異なる複数の偏光画像を受け取り、画像処理により、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定する画像処理プロセッサであって、前記複数の偏光画像から前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成するステップと、前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定するステップとを実行する。
　本発明の画像処理装置では、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、３種類以上の直線偏光の各々によって被写体が照射されているときに、順次、被写体を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得する撮像部とを備えているため、特別な偏光撮像素子を新たに開発する必要なしにカラー画像と同時に輝度最大角画像、輝度変調度画像に相当する情報を取得することができる。そして、これらの画像から表面凹凸の法線情報を得る。通常のカラー撮像素子をそのまま利用することができるので、高コストの偏光撮像素子を使う必要もモアレなどにより画質を劣化させることもなく、表面凹凸を視認するための情報を取得することができる。
本発明の画像処理装置の構成例を示す図 偏光照明の偏光状態を示す図 本発明の実施形態１における画像処理装置の構成を示す図 偏光面制御素子の動作を示す図 偏光面角度の定義図 （ａ）および（ｂ）は、それぞれ、本発明の実施形態１で使用され得る撮像素子における光感知セル配置例を示す図 カラー画像と偏光画像を取得するための別の画像処理装置の構成を示す図 図５の画像処理装置における偏光撮像素子の光感知セル配置を示す図 偏光照明の偏光面回転による輝度パターン画像の変化を示す図 偏光照明の偏光面回転による輝度パターン画像の変化を示す模式図 （ａ）および（ｂ）は、入射光が被写体表面に対して直上から入射して１回反射をする図 横軸を入射角とした際のＰ波とＳ波のエネルギーのフレネル反射率を示すグラフ 偏光照明の偏光面回転による画素ごとの輝度変動を示すグラフ 図１０Ａのグラフに示すデータの取得に用いたサンプルの表面形状を示す写真を示す図 図１０Ｂの表面形状を模式的に表す図 （ａ）は、偏光照明の偏光方向を示す図、（ｂ）は偏光照明による輝度変動の様子を示す図 （ａ）および（ｂ）は多重反射による偏光反射光の輝度変動の説明図 （ａ）、（ｂ）、（ｃ）は、被写体表面のグルーブを直上から見た図 グルーブに偏光がΨＩ＝０°にて入射する場合の図 図１４Ａの状態でグルーブ方位角Ψに平行、垂直方向に反射光が発生する図 グルーブに対して非偏光が入射しグルーブ方位角Ψに平行、垂直方向に反射光が発生する図 本発明の実施形態１に関する画像処理プロセッサの構成図 ４種類の偏光照明に対応する偏光輝度サンプルから余弦関数フィッティングをする図 表面法線のＸＹＺ成分と方位角Ψ、天頂角θとの関係を示す図 表面法線Ｎと光源ベクトルＬ、視線ベクトルＶ、２等分ベクトルＨとの関係を示す図 法線の方位角の１８０°の不定性解決に輝度勾配ベクトルを利用する図 法線の方位角の１８０°の不定性解決に輝度変調度勾配ベクトルを利用する図 法線の方位角Ψの不定性を解決するフローチャート 入射角θとフレネル反射による偏光度の関係を示す理論値のグラフ 天頂角θの探索範囲を示す図 天頂角θを決定するフローチャート （ａ）は、被写体にレンチキュラーレンズ板を使った実験結果を示す図、（ｂ）は、（ａ）の一部を拡大し模式的に表現した図 レンチキュラーレンズ板の断面における１回反射と２回反射の発生現象を説明する図 レンチキュラーレンズ板の輝度と輝度変調度ＹＤの実験結果を示す図 星型グルーブ被写体例を示す図 図２５Ａを模式的に表現した図 星型被写体のグルーブの法線ベクトルの方位角φ推定結果を示す図 星型被写体のグルーブの法線ベクトルの天頂角θ推定結果を示す図 星型被写体の法線画像に４方向の照明を照射した画像生成実験結果を示す図 図２７Ａを模式的に表現した図 本発明の実施形態２における画像処理装置の構成を示す図 最適化された分光フィルタの特性を示す図 本発明の実施形態３の構成を示す図 本発明の実施形態３の外観を示す図
　本発明による画像処理装置の例は、図１Ａに示すように、偏光照明部１２０と、撮像部１４０と、変動輝度処理部１６０と、法線推定部１７０とを備えている。変動輝度処理部１６０および法線推定部１７０は、画像処理部１５０に含まれている。
　偏光照明部１２０は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体１００に照射する。本発明が撮像の対象とする被写体１００の表面には、複数の溝（以下、「グルーブ」と称する）１００ａが存在する。被写体１００が例えば生体の臓器表面には、複数のグルーブが観察される。直線偏光は、被写体１００の表面に存在するグルーブ１００ａによって反射され、撮像部１４０に入射する。撮像部１４０は、３種類以上の直線偏光の各々によって被写体１００が照射されているときに、順次、被写体１００を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得する。
　本明細書において、「戻り光」とは、偏光照明部１２０から出た光のうち、被写体１００の表面によって反射され、撮像部１４０に入射する光を意味する。照明光源１２０からの光によって被写体１００の表面に存在するグルーブ１００ａの内部を照らすためには、偏光照明部１２０の光軸と撮像部１４０の光軸との間の角度を大きくしすぎないことが好ましい。偏光照明部１２０の光軸と撮像部１４０の光軸との間の角度は、例えば１５°以下に設定される。
　図１Ｂは、偏光面の角度が異なる３種類の直線偏光の偏光方向を模式的に示す斜視図である。図示されている３つの偏光状態１０、１２、１４は、それぞれ、角度の異なる偏光面を有している。図１Ｂの各偏光状態１０、１２、１４を模式的に示すサークルの内部には、双方向の矢印が記載されている。この矢印は、直線偏光の偏光面を規定する電場ベクトルの振動方向を示している。
　図１Ｂには、右手系のＸＹＺ座標を示している。本明細書では、撮像部１４０によって取得される画像面内にＸ軸およびＹ軸を設定し、Ｚ軸の向きを視線（光軸）方向に設定する。直線偏光の偏光面は、振動する電場ベクトルに平行な、光軸を含む平面である。上記の座標系を採用する場合、直線偏光の電場ベクトルの振動方向はＸＹ平面に平行である。このため、偏光面の角度（ΨＩ）は、Ｘ軸の正方向に対して偏光方向（電場ベクトルの振動方向）が形成する角度によって規定される。この角度ΨＩについては、後に図３を参照して、より詳しく説明する。
　本発明では、偏光照明部１２０から、偏光面の角度が異なる３種類以上の直線偏光が、順次、被写体１００に照射され、撮像部１４０が、３種類以上の直線偏光の各々によって被写体１００が照射されているときに、順次、被写体１００を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得する。
　再び図１Ａを参照する。変動輝度処理部１６０は、撮像部１４０から出力される輝度値を示す信号に基づいて、偏光面の角度と各画素の輝度値との関係を求め、「輝度最大角画像」および「輝度変調度画像」を生成する。本明細書において、「輝度最大角画像」とは、撮像によって得られた画像を構成する各画素について、輝度値が最大となる偏光面の角度によって定義される画像である。例えば、ある座標（ｘ、ｙ）によって特定される画素Ｐ（ｘ、ｙ）の輝度値が、角度４５°の偏光面を有する直線偏光によって被写体１００が照射されたときに最大になる場合、その画素Ｐ（ｘ、ｙ）に対して、輝度最大角である４５°の値が設定される。１つの「輝度最大角画像」は、このような輝度最大角の値を各画素に設定することによって構成される。一方、「輝度変調度画像」とは、各画素について偏光面の変化にともなう輝度値の変動の振幅と輝度平均値との比率によって定義される画像である。ある画素Ｐ（ｘ、ｙ）における輝度変調度が０．３であるならば、この画素Ｐ（ｘ、ｙ）に対して０．３の値が設定される。１つの「輝度変調度画像」は、このような輝度変調度の値を各画素に設定することによって構成される。
　このように、本明細書における「画像」とは、人間の視覚によって直接的に認識される輝度画像を意味するだけではなく、複数の画素の各々に与えられた数値の配列を広く含むものとする。例えば１つの「輝度最大角画像」を表示する場合、「輝度最大角画像」の各画素に設定されている輝度最大角の値に応じた明度で画像を表示することができる。このようにして表現された「輝度最大角画像」は、人間の視覚によって認識できる明暗のパターンを含んでいるが、これは、被写体の輝度を示す通常の輝度画像とは異なるものである。また、本明細書では、簡単のため、各種の「画像」を示すデータそのものを「画像」と称する場合がある。
　図１Ａに示される法線推定部１７０は、輝度最大角画像および輝度変調度画像に基づいて、被写体１００の表面に存在するＶ字グルーブ１００ａ内の傾斜面の法線を画素単位で推定する。Ｖ字グルーブ１００ａを真正面から観察するとき、Ｖ字グルーブ１００ａ内の傾斜面の法線の方位角は、Ｖ字グルーブ１００ａが延びる方向に垂直である。本発明の好ましい実施形態では、まず、Ｖ字グルーブ１００ａの方向、すなわち、Ｖ字グルーブ１００ａ内の傾斜面の法線の方位角を決定する。そして、Ｖ字グルーブ１００ａ内の傾斜面の法線の天頂角を決定する。本発明における法線推定部１７０が、どのような原理に基づいてＶ字グルーブ１００ａ内の傾斜面の法線を画素単位で推定するかについては、後に詳しく説明する。
（実施形態１）
　図１Ｃは、本発明の実施形態１における画像処理装置の全体構成を模式的に示す図である。
　本画像処理装置は、内視鏡１０１と制御装置１０２とを備える。内視鏡１０１は、撮像センサを有する先端部１１３、ライトガイド１０５と映像信号線１１１を有する挿入部１０３とを有している。内視鏡１０１の挿入部１０３は、図示されているようにも左右に長く、フレキシブルに曲がり得る構造を有している。ライドガイド１０６は曲がった状態でも光を伝達することができる。なお、内視鏡には、本実施形態のようにフレキシブルな挿入部１０３を有する軟性鏡と、フレキシブルではない挿入部を有す硬性鏡が存在する。内視鏡のもう１つのタイプである硬性鏡は、挿入部１０３はリレー光学系などを用いて後方に位置する撮像素子へ戻り光を導く構造を有している。本発明は、軟性鏡と硬性鏡のいずれに対しても適用可能である。
　制御装置１０２には光源１０４と画像処理プロセッサ１０８と同期装置１１２とが含まれる。光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して先端部１１３の偏光面制御素子１０６に導かれる。偏光面制御素子１０６は、例えば偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光へと変換できる。
　偏光面制御素子１０６は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献２、３ならびに非特許文献１等に既に開示されている。偏光面制御素子１０６は、例えば強誘電性液晶と、偏光フィルムと、１／４波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。偏光面制御素子１０６は、光源１０４で発生し、ライトガイド１０５を通過した非偏光の光を、任意の角度に偏光面を有する直線偏光へと変換する。
　同期装置１１２は、偏光面制御素子１０６に偏光面回転の指示を送って照明の偏光面を回転させる。この偏光照明は、照明レンズ１０７を通って被写体に照射される。同期装置１１２は同時に撮像素子１１０に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。
　被写体からの戻り光は、撮影レンズ１０９を通って撮像素子１１０上に結像する。この撮像素子１１０はモノクロ撮像素子、あるいはカラーモザイクを有する単板カラー撮像素子であってよい。撮像映像の信号は映像信号線１１１を経由して画像プロセッサ１０８に到達する。
　本実施形態では、光源１０４、ライトガイド１０５、偏光面制御素子１０６、および照明レンズ１０７によって図１Ａの偏光照明部１２０が実現されている。また、撮影レンズ１０９および撮像素子１１０によって図１Ａの撮像部１４０が実現されている。図１Ａの変動輝度処理部１６０および法線推定部１７０は、画像プロセッサ１０８によって実現されている。
　次に、図２を参照して、偏光面制御素子１０６の動作を説明する。
　偏光面が０°状態２０３で第１の画像を撮像し、偏光面が４５°状態２０４で第２の画像を撮像し、偏光面が９０°状態２０５で第３の画像を撮像し、偏光面が１３５°状態（２０６で第４の画像を撮像する。この角度は、４５°以外でもよく、１８０°を３以上の整数で除算した角度であればかまわない。撮像素子が高感度である場合、あるいは照明の照度が高い場合には露光時間が短縮できるので、回転角をより細かく設定できる。
　偏光面の回転に要する時間は、上記文献によれば、動作速度は２０（ｍｓ）程度の遅いものから４０～１００（μｓｅｃ）程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば、４方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。
　図１Ｃから明らかなように、照明レンズ１０７の光軸と撮影レンズ１０９の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。
　なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第１の画像から第４の画像までの別々の偏光画像を加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨＩが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。
　図３は、偏光照明における偏光面の角度ΨＩの定義を示す図である。前述したように、被写体に向かってＸ－Ｙ座標系を設定している。偏光面の角度ΨＩは、Ｘ軸負向きを０°としてＹ軸正向きを正向に定義するものとする。角度ΨＩが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨＩを増加または減少させていくと、１８０°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨＩを変数とする関数は、１８０°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨＩを、「入射偏光面角度」と称する場合がある。
　図４（ａ）および（ｂ）は、それぞれ、撮像素子１１０の撮像面の構成例を示す図である。図４（ａ）に示すように撮像面には、複数の光感知セル（フォトダイオード）が行および列状に規則的に配列されている。カラー撮像の場合には、図４（ｂ）に示すにＲＧＢ３種の波長を透過するカラーモザイクフィルタが設置される。個々の光感知セルは、光電変換により、入射した光の量に応じて電気信号を生成する。このように撮像素子１１０としては、従来の輝度画像用のものを利用できる。本実施形態では、照明光を直線偏光として、その偏光面を回転させながら撮像することによって被写体の表面情報を取得する。
　カラー画像と偏光画像を同時取得する方法では、本発明のように偏光取得を時間軸に展開する方法のほか、カラー撮影を時間軸上に展開するいわゆるカラー面順次方式も考えることができる。
　図５は、このような別の構成を示す図である。図１Ｃの構成と異なるのは、光源１０４からの非偏光白色が回転カラーフィルタ５０１によってカラー照明となり、時間的に順次照射されることである。ライトガイド１０５は、このカラー照明をそのまま透過する。被写体からの戻り光は一般に偏光しているが、撮像素子はモノクロ画像用でよい。このため、例えば特許文献４に記載されているようなパターン偏光子を用いたモノクロ偏光画像撮像素子を適用できる。
　図６は、このようなパターン偏光子を配置したモノクロ偏光画像撮像素子の例である。このような撮像素子は、特許文献４に開示されているフォトニック結晶を用いた偏光イメージング素子によって構成され得る。
　このモノクロ偏光撮像素子のパターン偏光子は波長依存性を有するため、ＲＧＢの全波長帯での偏光画像は得られない。例えばパターン偏光子をＢの波長域に対応するもので設計すると、Ｂの偏光画像しか得られない。さらに偏光画像、特に偏光度および偏光角度を得るためには、偏光モザイクの空間的処理画像にて２×２のセルでの空間的な一種の差分操作を実施することになり、その影響でＢ偏光画像にはモアレが発生することが避けられない。このパターン偏光子を用いた場合のモアレ発生は、単なる画素サンプリングによるモアレとは異なり上記のように偏光画像を得るための空間的画像処理に主原因があり本願発明者らの実験によれば通常の画素サンプリングのモアレ発生にくらべ非常に著しいことが判明している。このように図５の構成においては偏光観察における画質が大きく劣化してしまう。
　本実施形態では、通常の撮像素子を用いて偏光情報を１画素単位で得ることができ、この問題が回避される。すなわち、本実施形態における撮像部は、偏光子を介することなく、戻り光を受け、輝度値を示す信号を出力する。さらにカラーＲＧＢ各波長成分にて偏光画像が得られる。コスト高となる偏光撮像素子も不要となる。
　次に偏光照明の偏光面を回転した時の輝度の変動について説明する。以下の説明では、被写体は生体臓器粘膜ではなくプラスチックや木など一般的な材質の物体を例にとる。これは、粘膜表面での反射が基本的には鏡面反射であるためであり、反射は被写体の材質に依存することなく物理現象として同一とみなせるためである。
　図７Ａおよび図７Ｂは、本発明者らが表面の滑らかな陶器製コップと表面に微細凹凸を有する木の板を被写体として偏光撮像をした画像を示す。図７Ａの左側に位置する２つの画像は、入射偏光面角度ΨＩ＝０°の偏光照明で被写体が照射されているときの輝度画像である。一方、図７Ａの右側に位置する２つの画像は、入射偏光面角度ΨＩ＝９０°の偏光照明で被写体が照射されているときの輝度画像である。
　図７Ｂの４つの画像は、それぞれ、図７Ａの４つの画像を模式的に描いた図である。図７Ａおよび図７Ｂの上段に位置する画像から明らかなように、表面が滑らかな陶器では、偏光照明の偏光を変化させても輝度パターンの変化はあまり観測されなかった。しかし、多くの凹凸が存在する木の板では、図７Ａおよび図７Ｂの下段に位置する画像から明らかなように、偏光照明の偏光面の角度ΨＩを変化させると、観測される輝度画像に大きな変化があることが判明した。このような差は、以下のように説明される。
　図８は、表面８０１に対して入射角がゼロに近い偏光が入射して直接反射をカメラで観測する様子を示している。図８（ａ）、（ｂ）では、入射する偏光の偏光面が９０°異なっている。しかし、反射光の直線偏光は、光の進行方向が変わるだけでエネルギーである輝度は入射光とほぼ同一である。これは以下の理由による。
　図９は、フレネル理論による鏡面反射率の入射角依存性を示すグラフである。横軸が入射角、縦軸がフレネル反射率を示す。屈折率はＮＮ＝１．８を想定した。垂直入射とみなせる０°～１５°付近の入射角度は、範囲９０１に相当する。グラフから読み取れるように、この入射角範囲９０１では、Ｐ波もＳ波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するＰ波とＳ波という偏光の区別が無くなって同じ挙動で反射する。なお、この事実は、屈折率ｎ＝１．４～２．０の自然物体において、広く成立する。
　以上のように、滑らかな表面に対して入射角度がほぼゼロで偏光が入射し、それが１回反射して観測される場合、偏光照明の偏光面を角度ΨＩだけ回転させても反射光のエネルギーが変わらないため、観測される輝度Ｙは不変となる。
　図１０Ａは、木の板の表面に入射する光（偏光照明）の偏光面を変化させながら輝度画像を撮影した場合における同一画素の輝度変動を示すグラフである。図１０Ｂは、撮像対象となる木の板の輝度画像（非偏光照明時の輝度画像）である。図１０Ｃは、図１０Ｂに示される木の板の表面の凹凸を模式的に示した図である。
　図１１は、偏光照明の偏光面の角度ΨＩが０°、４５°、９０°、１３５°のときに得られた輝度画像の特定の画素における輝度Ｙの変動を示している。このグラフから、輝度Ｙは各偏光照明の偏光面の角度ΨＩに対して周期的に変動を示すことがわかる。木の板の表面は滑らかではなく多くのグルーブが存在し、そこで入射光が多重反射する。そのため輝度Ｙは、照明の偏光角度ΨＩに依存して変動を起こすのだと考えられる。この理由を詳述する。
　図１２は、表面にグルーブ１２０１が形成され、その斜面で２回の多重反射が発生している様子を示す。この多重反射は、表面の凹凸が多い被写体表面、例えば布、木材、人の肌、皮など様々な自然物で発生していると考えられる。１回目と２回目の反射の性質が重要となり、３回目以降の多重反射は輝度が小さくほぼ無視できるので２回反射のみを考える。一般に反射の性質を鏡面反射と拡散反射に分離した場合、
１）１回目：拡散反射　２回目： 鏡面反射
２）１回目：拡散反射　２回目： 拡散反射
３）１回目：鏡面反射　２回目： 拡散反射
４）１回目：鏡面反射　２回目： 鏡面反射
の４通りの現象が想定できる。
　このうち、１）と２）は最初の反射によって拡散光として非偏光となり、あらゆる方向に反射する。しかし実験によると被写体が着色しており輝度が暗い場合はこの１回目の拡散反射成分は比較的弱い。これは被写体の内部への光の浸透が少ないことを意味し、フレネル理論によればそれと相補的な３）４）の鏡面反射の現象が優位となる。また、３）のように２回目を拡散反射と考えた場合には、その入射と反射の幾何学的関係から、当然、４）も同時に発生していることがわかる。この場合には、偏光度、輝度のいずれの基準でも、鏡面反射が主たる輝度成分となる。
　以上から、４）の１回目も２回目も鏡面反射という現象を主要な現象として考えればよい。グルーブの斜面の表面は完全に滑らかではなく、照明光も完全な平行光ではない場合には、鏡面反射といえども理想的な鏡面とは異なる。このため実験によれば正反射条件を完全に満たさない位置でも、この２回反射は比較的容易に観測、撮像でき、その偏光特性は鏡面反射で起因するものであることが確認できた。
　次に図１２（ａ）、（ｂ）を参照する。図１２（ａ）および図１２（ｂ）には、それぞれ、被写体の表面に存在するグルーブ１２０１の一部が示されている。グルーブ１２０１の少なくとも一部は、被写体表面上において、一方向に延長している。この延長方向を「主軸方向」と称する。現実のグルーブ１２０１は、直線的に延びている必要はなく、曲線的に延びていてもよい。曲線的に延びているグルーブであっても、その一部は、近似的に主軸方向に延びる直線的なグルーブとみなすことができる。
　なお、被写体表面に存在するグルーブ１２０１の断面は、Ｖ字形状によって近似することができる。このため、生体の臓器表面に存在するようなグルーブは、「Ｖ字グルーブ」と称することができる。このようなＶ字グルーブの断面は、厳密な意味で「Ｖ字」である必要はなく、曲面を含んでいてもよい。概略的に「Ｖ字型」の断面を有するグルーブが被写体表面に存在すれば、以下の説明が適用可能である。後に参照する図２２に示されているような、隣接する２つの凸面に挟まれた凹部が紙面に垂直な方向の延びる構造も、Ｖ字グルーブの一例である。
　図１２（ａ）で示すように、グルーブの主軸方向１２０２に対して垂直に入射する偏光照明はＰ波である。再び図９を参照すると、被写体のグルーブ１２０１の傾斜角が４５°程度と仮定して、そこに真上から照明が入射すると、フレネル反射率のグラフから読み取れるとおり、この入射角範囲９０２では、Ｓ波にくらべてＰ波の反射率が極めて弱くなる。さらにＰ波は１回および２回反射を経由する間にさらに弱くなる。一方図１２（ｂ）で示すＳ偏光は、２回の反射を経てもそれほど弱まらない。その結果、グルーブに対してＰ波となる入射偏光面においては、反射光はエネルギー的にも極めて弱くなり、輝度が低下する。一方、Ｓ波となる入射偏光面においては、反射光はそれほどエネルギーが減衰せず輝度も高い。
　以上のように表面グルーブを仮定すれば、実験にて得られた入射光の偏光面の回転による反射光の輝度変化が説明できる。
　グルーブにおける偏光照明の２回反射によって得られる輝度Ｙの変化の関数形が、非偏光を入射した場合と実質的に同等の変動をすることを本願発明者は見出した。以下、この点を説明する。
　図１３（ａ）は、被写体表面のグルーブを表面の直上から見た図である。これは図１２を上から見ることに相当する。図１３（ａ）には、撮像画像面に平行なＸ－Ｙ座標が記載されている。グルーブ１２０１の主軸方向１２０２に垂直な方向とＸ軸の正部分との間に形成される角度がΨで示されている。図１３（ｂ）は、被写体に入射する偏光照明の偏光面の角度ΨＩを示しており、図１３（ｃ）は、図１３（ａ）の内容と図１３（ｂ）の内容を１つに表示した図である。以降、グルーブの向きを角度Ψにて指定するものとする。これはグルーブの主軸の方位角と９０°異なっている。
　図１４Ａは、簡単のためΨＩ＝０として偏光面がＸ軸に合致している場合にグルーブに対して垂直と水平方向に分配される入射光エネルギーを説明するための図である。グルーブの方向は、角度Ψによって特定されている。入射光が図１２に示すようにグルーブ内で２回反射を起こすと仮定する。このとき、ある角度φの偏光面を有する直線偏光の輝度を観測する。図１４Ｂは、輝度が観測される直線偏光の角度ψを示す図である。角度φにおける偏光輝度をＩ（Ψ、φ）とすると、これは以下の式で表現できる。ただし、グルーブの方向（Ψ）および主軸方向（π／２－Ψ）のエネルギー反射率を、それぞれ、ＡおよびＢとしている。
Figure JPOXMLDOC01-appb-M000001
　この偏光輝度Ｉ（Ψ、φ）は、式１の変形をすることにより、以下の式２で表される。この式２から、偏光輝度Ｉ（Ψ、φ）はφについて周期πで変動することがわかる。
Figure JPOXMLDOC01-appb-M000002
　ここで、入射偏光面角度を０°でなく、一般的なΨＩとする。以上の議論から、入射偏光面角度がΨＩ、観測角度がφの場合の偏光輝度は、以下の式で与えられる。
Figure JPOXMLDOC01-appb-M000003
　この式で示される偏光輝度は特定方向の観測角度φにおいて観測される偏光輝度であるから、非偏光の平均輝度の観測を行う場合には、式３に示される偏光輝度を観測角度φについて１周期積分すればよい。１周期とは１８０°＝πである。この積分によってφに関する正弦関数、余弦関数はゼロになる。すなわち、入射偏光面角ΨＩの偏光が角度Ψで特定されるグルーブに入射し、２回反射する場合に観測される輝度ＰＹ（ΨＩ、Ψ）は、以下の式のようにΨＩについて１８０°の周期関数で表現される。
Figure JPOXMLDOC01-appb-M000004
　輝度ＰＹ（ΨＩ、Ψ）が式４に示すようなΨＩの余弦関数となる場合、輝度ＰＹ（ΨＩ、Ψ）は、Ψ＝ΨＩで最大値をとる。このため、輝度ＰＹ（ΨＩ、Ψ）が最大となる角度Ψ＝ΨＩを輝度最大角ＹＰＨと称する。また変動の振幅については余弦関数項が＋１～―１に変動することを考慮し、輝度変動の変調度を考えることができる。この比率を輝度変調度ＹＤと称することとする。この輝度変調度ＹＤは以下の式で得られる。
Figure JPOXMLDOC01-appb-M000005
　なお、輝度最大角ＹＰＨおよび輝度変調度ＹＤは、画素単位で与えられる。このため、画像を構成する各画素に輝度最大角ＹＰＨを設定した画像を「輝度最大角画像ＹＰＨ」と称する。同様に、画像を構成する各画素に輝度変調度ＹＤを設定した画像を「輝度変調度画像ＹＤ」と称する。
　この輝度最大角ＹＰＨおよび輝度変調度ＹＤは、それぞれ、通常の偏光観測における偏光主軸角および偏光度に対応する量であるが、その量的関係は明確ではなかった。そこで、両者の関係を明確にするため、非偏光の照明をグルーブに入射した場合の２回反射の偏光状態について検討する。
　図１５は、非偏光の光１５０１がグルーブに入射する場合の図である。非偏光の光１５０１がΨの角度を有するグルーブに入射する場合には、エネルギーはグルーブの主軸方向とその垂直方向に均等に分配されると考えられるため、エネルギー反射率Ａ，Ｂを乗じたエネルギーがグルーブの主軸方向とその垂直方向に射出される。φの角度で偏光観測した場合、図１２における説明から、偏光輝度はグルーブの主軸方向において最大値（反射率Ｂ）をとり、主軸の垂直方向にて最小値（反射率Ａ）をとる。偏光度ＤＯＰを計算すると、
Figure JPOXMLDOC01-appb-M000006
 となる。
　上記の議論から、偏光照明における偏光面の角度ΨＩを回転させた場合の輝度変動の位相角である輝度最大角ＹＰＨと非偏光照明時の偏光主軸とは一致することが判明した。同様に偏光照明における偏光面の角度ΨＩを回転させた場合の輝度変動の振幅である輝度変調度ＹＤと非偏光照明時の偏光度ＤＯＰとが一致することも判明した。よって、非偏光の照明を前提としたフレネル反射理論と表面法線の議論を本発明における偏光輝度の変動に利用することができる。
　本実施形態における画像処理プロセッサ１０８は、上述の輝度最大角画像ＹＰＨおよび輝度変調度画像ＹＤを得て、被写体の表面凹凸情報を取得する。次に、図１６を参照して、画像処理プロセッサ１０８の構成例と動作を説明する。
　図１６は画像処理プロセッサ１０８の構成を示すブロック図である。照明の入射偏光面角度ΨＩを０°、４５°、９０°、１３５°と変え、それぞれの入射偏光面角度ΨＩの偏光で被写体を照明しながら、４枚の輝度画像からなる輝度画像群１６０１が取得される。こうして撮像された４枚の輝度画像群１６０１が画像処理プロセッサ１０８の変動輝度処理部１６０に入力される。
　前述のように、偏光照明の偏光面を回転した場合の輝度変動は周期１８０°の余弦関数になる。変動輝度処理部１６０では、輝度変動を余弦関数にフィッティングする。輝度変動を示すＹ（ΨＩ）は、照明の偏光面の角度ΨＩを変数として以下のように表現される。
Figure JPOXMLDOC01-appb-M000007
　図１７は、この輝度変動の余弦関数を示したものであり、上記の振幅ＡＩ、位相Ψｏ、平均値ＹΨI_aveの意味を表している。４個のサンプル点は、簡単のため、この余弦関数上にちょうど載るように描かれている。
　４つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する手法は、以下のとおりである。まず、非偏光照明下での原画像の輝度ＹΨI_aveを以下の式で求める。この式の右辺は、ΨＩ＝０°、４５°、９０°、１３５°の偏光照明で照射された被写体から得られる４つの輝度画像を加算し、平均化することを意味している。輝度ＹΨI_aveは近似的に非偏光照明下での輝度画像を再現しており、内視鏡の通常観察画像として利用することができる。このため、輝度ＹΨI_aveを「非偏光平均輝度画像」と称することができる。
Figure JPOXMLDOC01-appb-M000008
　次にサンプルされた輝度から余弦関数への最小２乗誤差を用いた最適フィッティングを行う。ここでは、０°、４５°、９０°、１３５°という４方向のサンプルから実施する。余弦関数は振幅、位相、平均値の３種の情報で決定されるため、これらを決定するためには３点のサンプル以上であれば実際には何点でもかまわない。しかし、４５°サンプルの場合には最適フィッティングが簡単になる性質がある。
　まず偏光角度が０°、４５°（＝π／４）、９０°（＝π／２）、１３５°（＝３π／４）における輝度の２乗誤差Ｅを以下のように定義する。
Figure JPOXMLDOC01-appb-M000009
この２乗誤差を最小化する余弦関数の位相Ψｏは、以下の式から求められる。
Figure JPOXMLDOC01-appb-M000010
 この式から、解は、次の式で与えられる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
 逆三角関数などの数学関数では一般に以下のような制限が課されている。
Figure JPOXMLDOC01-appb-M000013
　この角度範囲を考慮すると、ａとｃの大小関係からの場合わけを行うことによって、最小値をとる角度と最大値をとる角度は以下のように計算できる。
Figure JPOXMLDOC01-appb-M000014
 この最大値をとるΨ０ｍａｘの値を、そのまま、輝度最大角画像ＹＰＨとすればよい。
Figure JPOXMLDOC01-appb-M000015
　次に、振幅の最大値と最小値を求める。まず、振幅ＡIを求めるため、以下の式を用いて２乗誤差の最小化を行う。
Figure JPOXMLDOC01-appb-M000016
 　　　　　　　　　　　　　　　　　　　　　　
Figure JPOXMLDOC01-appb-M000017
 　　　　　　　　　
　振幅ＡIを用いて、振幅の最大値と最小値は以下のようになる。
Figure JPOXMLDOC01-appb-M000018
　そこで（式５）に（式１８）の振幅最大値Ｙｍａｘと最小値ＹｍｉｎをそれぞれＭＡＸ、ＭＩＮとして用いると輝度変調度画像ＹＤが求められる。
　なお余弦関数への一般の最適フィッティングは３点以上のサンプルにおいて可能であり、その方法は例えば特許文献５に記載されている。
　以上の処理によって輝度最大角画像ＹＰＨと輝度変調度画像ＹＤが得られる。図１６では、輝度最大角画像ＹＰＨに参照符号「ＹＰＨ」、輝度変調度画像ＹＤに参照符号「ＹＰＨ」を付している。図１６に示すように、輝度最大角画像ＹＰＨは方位角処理部１６０４に、輝度変調度画像ＹＤは天頂角処理部１６０６にそれぞれ送られる。
　図１８Ａは、被写体の表面の法線方向を特定する２つの角度、すなわち方位角と天頂角を示す図である。法線ベクトルは、３次元ベクトルであるが、長さが１に正規化されている。そのため、法線ベクトルの自由度は２であり、角度で表現する場合には、画面内の方位角Ψと、視線に対する天頂角θとによって表現される。通常の右手系では、画像内にＸ－Ｙ軸を設定し、Ｚ軸の向きが視線（光軸）方向となる。法線の３成分（Ｎｘ，Ｎｙ，Ｎｚ）との関係は図に示すとおりである。方位角Ψと天頂角θが求められたなら、その点での表面法線は以下のようになる。
Figure JPOXMLDOC01-appb-M000019
　方位角処理部１６０４では、輝度最大角画像ＹＰＨを用いて方位角Ψを算出する。ここで上述の議論から非偏光を入射した場合の鏡面反射に関するフレネル理論を参考にする。この理論では、非特許文献２にあるように非偏光が入射してそれをカメラの前の偏光板で偏光観測する。このとき、被写体表面で鏡面反射した反射光ではＰ波が減衰し、Ｓ波が優位となる。このため、グルーブ表面の法線の方位角Ψは、輝度が最小となる偏光面の角度に等しくなる。この方位角Ψで定まる方向は、輝度が最大となる偏光面に直角の方向に合致する。これを本発明の偏光照明に適用すると、グルーブ表面の法線の方位角Ψは、偏光輝度最大角の方向に直角の方向に合致する。すなわち、輝度最大角画像ＹＰＨを用いて、方位角Ψを求めることができる。
　ここで問題となるのは、非特許文献２で、"１８０°ａｍｂｉｇｕｉｔｙ"と紹介されているとおり、この方位角Ψに１８０°の不定性があることである。すなわち、グルーブ表面の法線の方位角Ψとして、１８０°異なる２つの候補が求められる。この２つの候補から１つを選択することを、ここでは「不定性の処理」と称する。
　図１６に示す方位角不定性処理部１６０７では、不定性の処理を行うため、非偏光輝度画像１６１２、あるいは輝度変調度輝度変調度画像ＹＤを用いる。
　次に、図１９Ａおよび図１９Ｂを参照して、方位角不定性処理部１６０７の処理内容を説明する。図１９Ａには、グルーブの輝度画像および断面構成１９０２が示されている。個々の画素のサイズよりもグルーブは大きいため、１つのグルーブ内で輝度分布が存在する。なお、グルーブの断面構成１９０２は、２つの傾斜面を有しており、傾斜面の傾斜角度は３０～６０°の範囲内にある。
　照明光がグルーブにほぼ直上から照射されると、輝度画像においては、網点で示す領域１９０３で輝度値が高く（明るく）なり、グルーブの底辺付近領域１９１３で輝度値が低く（暗く）なる。すなわち、グルーブの内部で輝度値が勾配を持つ。非偏光照明下で得られた輝度ＹΨI_aveに空間的な微分処理を実施して、輝度値の勾配ベクトルを算出すると、輝度勾配ベクトル１９０４、１９０５が得られる。勾配ベクトル１９０４、１９０５は、グルーブ内の２つの傾斜面の各々について算出される。
　一方、輝度最大角画像ＹＰＨで求められる方位角Ψは１８０°の不定性を有するため、Ａ点においては、２つ候補１９０６ａ，１９０６ｂが得られ、Ｂ点においては、２つの候補１９０７ａ，１９０７ｂが得られる。ここでこれらの候補のベクトルは図１９Ａでは、グルーブの正しい向きとは多少ずれて表示されているが、これは以下の角度差の説明をわかりやすくするためで本質的ではない。
　そして、輝度勾配ベクトルに対する角度差の大きい方の方位角Ψを採用すると、Ａ点においては候補１９０６ａが、Ｂ点においては候補１９０７ａがそれぞれ採用される。そのため、Ａ点では下向きの矢印で示される候補１９０６ａの方位角Ψが選択され、Ｂ点では上向きの矢印で示される候補１９０７ａの方位角Ψが正しく求められる。
　次に、図１９Ｂを参照しながら、輝度変調度画像ＹＤによって２つの候補から１つを選択する例を説明する。
　照明光がグルーブに対してほぼ直上から照射されると、グルーブ内での２回反射のため、グルーブ底面付近で偏光度ＤＯＰが高くなる。前述の理論から偏光照明を回転した場合の輝度変調度値も同様の挙動を示す。そのため、輝度変調度画像ＹＤにおいては、グルーブ底辺付近１９１３の領域１９０８で値（輝度変調度）が大きくなり、グルーブの外側では値が低くなる。そこで輝度変調度画像ＹＤの勾配ベクトルを計算すると、輝度変調度勾配ベクトル１９０９、１９１０が算出される。一方、輝度最大角画像ＹＰＨで求められる方位角Ψは、１８０°の不定性を有するため、Ａ点においては、２つ候補１９１１ａ，１９１１ｂが得られ、Ｂ点においては、２つの候補１９１２ａ，１９１２ｂが得られる。ここで、輝度変調度の勾配ベクトルと輝度最大角との角度差の評価値を使って、角度差の小さいほうの方位角Ψを採用すると、Ａ点においては候補１９１１ａが、Ｂ点においては候補１９１２ａがそれぞれ採用される。なお、図１９Ａ，図１９Ｂでは、勾配ベクトルの算出箇所と法線ベクトルの算出箇所とが異なるように描いてあるが、これは便宜上のためである。実際の画像処理において、勾配ベクトルは法線ベクトルを推定するＡ点、Ｂ点の位置で正確に算出する。
　なお、以上の説明では、輝度勾配ベクトル、あるいは輝度変調度ベクトルを単独で使っても正しく法線ベクトルが求められると錯覚するが実際は、これらの情報は空間微分による多くのノイズを含んでおり単独では全く信頼性がない。本発明の偏光照明を用いた輝度最大角画像と一緒に用いて初めて有用な情報となっていることに注意されたい。
　図１９Ｃは方位角の決定手順のフローチャートである。
　ステップＳ１９Ｃ０１でグルーブの方位角Ψの候補Ψ１を、輝度最大角画像ＹＰＨの値（輝度最大角）を９０°回転することによって求める。ステップＳ１９Ｃ０２で、候補Ψ１を１８０°回転したもう１つの方位角候補Ψ２を求める。ステップＳ１９Ｃ０３では、輝度勾配、あるいは輝度変調度のいずれかから求められた勾配角（ｇｒａｄａｎｇｌｅ）と候補Ψ１、Ψ２との角度差の評価値Δ１、Δ２を算出する。
Figure JPOXMLDOC01-appb-M000020
　輝度勾配を使うか、輝度変調度を使うかは被写体の表面凹凸の性質に従って決定すればよい。しかし輝度の変動がそのまま表面法線を表現するような簡単な状況は実際には少ない。多重反射、その他の工学的影響によって輝度は法線意外の影響で種々に変化する。それに比較すると輝度変調度画像は、安定的に取得できる特徴で、しかも本発明で開示したように偏光照明に工夫すれば観測する撮像素子側には特別な工夫なしで取得できるため有効性が大きい。
　ステップＳ１９Ｃ０４で、輝度勾配を使うのか、輝度変調度勾配を使うのかを選択する。前者の場合には、ステップＳ１９Ｃ０５の条件が設定されてΨ１、Ψ２のうち角度差が大きい方が選択され、Ψが決定される。一方、後者の場合には、ステップＳ１９Ｃ０６の条件が設定されて、Ψ１、Ψ２のうち角度差が小さい方が選択されてΨが決定される。
　天頂角処理部１６０６では、輝度変調度画像ＹＤを用いて天頂角θを算出する。現段階では表面グルーブの２回反射において偏光度と天頂角θの関係を正確に理論的に解明した従来技術はない。本実施形態では、非偏光を入射した場合のフレネル理論を採用する。この場合には、非特許文献２に記載されているように、非偏光が入射してそれをカメラの前の偏光板で偏光観測する。このとき、被写体表面にて鏡面反射した反射光の偏光度ＤＯＰを算出すると、表面の法線の天頂角と、このＤＯＰとの間には屈折率ＮＮを用いたフレネル理論の曲線の関係が成立する。これを本発明の偏光照明に適用すると、輝度変調度画像ＹＤ値をＤＯＰの代わりに用いて天頂角が決定される。ただし、非特許文献２、および非特許文献３でも説明されているように、この天頂角にはブリュースター角を挟んだ不定性がある。
　この不定性を説明する。図２０Ａは照明の入射角と偏光度ＤＯＰの関係を、屈折率ＮＮを１．５から３．０まで変えながら描いたものである。入射角はそのまま表面の天頂角となる。屈折率を大きくすると最大位置が角度の大きな方向に５５°から７０°付近まで移動する。偏光度ＤＯＰは、非偏光の入射光が入射角θで被写体表面に入射しおなじ出射角θにて鏡面反射する場合には、材質の屈折率ＮＮを用いて以下のそのフレネル反射の式から計算される。
Figure JPOXMLDOC01-appb-M000021
　上記の不定性とは、ＤＯＰから天頂角を求める場合に曲線が最大となる角度であるブリュースター角を挟んで２つの角度が推定されて一方に決定できなくなることである。
　図２０Ｂは、このブリュースター角を挟んだ不定性を解決する方法を示す図である。内視鏡で観察される生体内の表面粘膜によるグルーブ傾斜角は、ほぼブリュースター角相当の５５°以下になるという仮定をおく。そして探索範囲を図２０Ｂに示す０°からブリュースター角までに制限することにより困難を解決している。
　図２０Ｃは、天頂角を決定するためのフローチャートである。
　ステップＳ２０Ｃ０１では、偏光度差の最大値ＭＩＮＤＩＦを設定し、ステップＳ２０Ｃ０２では、ブリュースター角θBを屈折率ＮＮから理論的に求める。ステップＳ２０Ｃ０３でθを０°にセットしてＳ２０Ｃ０４でブリュースター角より小さいならば以降の計算を行う。まずステップＳ２０Ｃ０５にて（式２１）で示した理論的な偏光度ＤＯＰを求めておき、ステップＳ２０Ｃ０６にて、このＤＯＰと輝度変調度ＹＤとの差分絶対値ＤＩＦを計算する。ステップＳ２０Ｃ０７にてこのＤＩＦがＭＩＮＤＩＦより小さい場合には、θMINをこのθにセットし、ＭＩＮＤＩＦにＤＩＦをセットする。そしてＳ２０Ｃ０９にてθの角度を１°刻みにて増加してループ処理を継続する。ステップＳ２０Ｃ０４にてこのループ処理を脱出した場合にはθMINを天頂角に決定する。
　法線画像生成部１６０８では、求めた方位角φと天頂角θから（式１９）を用いてカメラ座標系における被写体表面の法線ベクトル（Ｎｘ，Ｎｙ，Ｎｚ）を求め、これを２次元的な法線画像とする。
　輝度画像生成部１６０９では、求められた法線画像に対して、カメラ視点方向と照明光源方向を与えることによって物理反射モデル式を用いて輝度画像を生成する。ここでは被写体の鏡面反射をよく表現するモデル式としてクック＝トランスモデルを使用する。それによると輝度Ｉｓは以下の式で表される。
Figure JPOXMLDOC01-appb-M000022
　図１８Ｂはクック＝トランスモデルを用いる場合のベクトルと角度の関係を示す図であり、表面法線Ｎと、光源ベクトルＬと視点ベクトルＶが描かれている。光源ベクトルＬと視点ベクトルＶの２等分ベクトルＨを用いると、上式におけるαは、２等分ベクトルＨと法線Ｎとのなす角度であり、θｒは視線ベクトルと法線Ｎのなす角度である。フレネル係数Ｆおよび幾何減衰率Ｇは以下の式で表現される。
Figure JPOXMLDOC01-appb-M000023
Figure JPOXMLDOC01-appb-M000024
　また係数Ｋは入射照度に関係する係数である。このクック＝トランスモデルを使えば、表面法線画像から輝度画像を生成することができるが、そのためには屈折率ＮＮのほかに、視線ベクトルＶ、光源ベクトルＬなどの幾何学的な設定を与える必要がある。
　照明方向設定部１６１０は、この光源ベクトルを設定する要素であって、内視鏡診断などにおいては観察するユーザである医師が自由に設定する。
　以上の処理によって２次元画像から表面の凹凸を推定し、表面法線画像として輝度に反映した輝度画像１６１１が生成される。この画像は推定された法線画像に基づいているために照明変更がコンピュータ上で自在に替えることができ、内視鏡の欠点の１つである照明位置の変更ができないため表面凹凸の観察が困難である、という課題を解決することができる。
　なお、図１６に示される各構成要素は、それぞれ、特別のハードウェアによって実現されても良いし、ハードウェアおよびソフトウェアの組み合わせによって実現されても良い。本実施形態では、プロセッサによって上記の構成要素の少なくとも一部が実現され得る。また、本実施形態の画像処理部の動作は、画像処理部のメモリ内に記憶されたコンピュータプログラムによって規定され得る。そのようなコンピュータプグラムは、画像処理装置に設けられたプロセッサに各種のステップ（図１９Ｃ、図２０Ｃ）を実行させる指令のセットである。
　図２１（ａ）は、本実施形態による表面法線推定の実験の結果を示す図である。被写体は、かまぼこ型断面を有するレンチキュラーレンズ板である。被写体は、鏡面反射を支配的にするため、赤色系統、あるいはチョコレート色系統に塗装されている。この被写体に対して、上記の処理を実施した。
　図２１（ａ）の上部画像は、図１６の非偏光輝度画像１６１２を示し、図２１（ａ）の下部画像は、図１６の輝度変調度画像ＹＤを示す。非偏光輝度画像では、白い（明度の高い）画素が高い輝度を示すが、輝度変調度画像では、暗い（明度の低い）画素が高い値（変調度）を示している。図２１（ｂ）は、図２１（ａ）の四角形で囲まれた一部のみを模式的に描いた図である。輝度画像では、凸部２１０１に相当する高輝度部分（白色部分２１０４）と凹部２１０２に相当する低輝度部分（斜線部分２１０３）の繰り返しとなる。一方、輝度変調度画像では、輝度変調度が高い部分（網点部分２１０５）と低い部分（白色部分２１０６）の繰り返しとなっている。そして低輝度部分が高い輝度変調度に対応している。
　図２２は、図２１に示される被写体（レンチキュラー板）の断面図である。レンチキュラー板では凹凸が周期的に存在し、照明光は、凸部２２０１においては１回だけ反射してカメラで撮像される。凸部２２０１の像を形成する光は、１回反射であり、非常な高輝度となる。凹部２２０２はグルーブを形成しているため、光は２回反射してカメラで撮像される。このため、凹部２２０２で反射された光の像は、やや低輝度となる。
　図２３は、図２１における輝度および輝度変調度のプロファイルを示している。図中の曲線２３０１が輝度、曲線２３０２が輝度変調度を表している。低輝度の部分（曲線２３０１の凹部）において、輝度変調度が増加していることがわかる。
　図２４は、別の被写体を示す平面図である。この被写体は、プラスチック板上にＡからＩまでの８本の溝を加工し、塗装したものである。図２４Ａは、実物の被写体から得られた輝度画像を示す写真を示す図であり、図２４Ｂはその模式図である。平面内の溝どうしの方位角度間隔は２２．５°である。
　図２５と図２６は、ぞれぞれ図２４の被写体のＡからＩまでの各グルーブについて図１６の方位角不定性処理部１６０７および天頂角処理部１６０６を実施し、方位角Ψ、天頂角θを推定した結果である。網点を施したグラフが正解を、斜線を施したグラフが推定結果を示す。なお正解は、レーザ変位計を用いて測定している。
　この結果を見ると、図２５の方位角推定結果では、ほぼ１０°程度の誤差で推定が行われている。一方２６の天頂角の推定では誤差がやや大きい。
　図２７は、図２４の被写体に対して図１６の処理を全て実施した輝度画像の結果である。図２７Ａは、照明光源の位置を（ａ）画面向かって右側から、（ｂ）画面向かって左側から、（ｃ）画面向かって下側から（ｄ）画面向かって上側からそれぞれ照射した場合の画像を生成している。図２７Ｂはその模式図であり（ａ）から（ｄ）はそのまま対応する。ＡからＩまでで指定したグルーブは照明方向の変化によってグルーブが明瞭に表現されていることがわかる。したがって図２４Ａで示したような正面からの照明しかない内視鏡画像に対して明瞭な凹凸画像を提供することができる。
（実施形態２）
　次に、図２８を参照しながら、本発明による画像処理装置の第２の実施形態を説明する。
　本実施形態の画像処理装置は、図１Ｃとほぼ同じ構成を備えているが、色フィルタ２８０１が追加されている点で異なる。
　本発明者による実験によると、被写体の色によってグルーブにおいて観測される偏光状態は大きく変化することが判明している。すなわち、波長５２０（ｎｍ）付近の狭帯域観測によれば、チョコレート色、赤色などの被写体は、全体として暗い画像となり、グルーブにおいては非常に強い偏光を観測できるのに対し、イエロー系統色においては全体として明るい画像が得られるがグルーブでの偏光が非常に弱くなってしまう。この理由は、明るい色では拡散反射成分が支配的となり、２回反射の鏡面反射がほとんど隠されてしまうためと推察される。本実施形態においては、強い偏光を観測するため、被写体の分光反射率が低い波長帯に合致した偏光照明光を使う。例えば上記のイエローの場合には補色である青系統の照明色を用いて暗い画像を撮影する。照明光の波長域は、被写体の分光反射率を考慮して決定するのが望ましい。
　図２９は、内視鏡観察における代表的臓器である大腸粘膜の分光反射率の例を示す図である。大腸粘膜は、５２０－６００（ｎｍ）に強い吸収を有する。そこで分光フィルタの特性をこの低反射率領域に合致させて２８０１の特性を持たせれば、この波長帯では比較的暗い色として撮影されるため本発明で述べた偏光による表面グルーブの観察に好適となる。この目的のためにフィルタ２８０１が光源１０４の出力段に設置される。なおフィルタ２８０１は通常のカラー画像観察の場合と切り替えて利用されてよい。またカラーフィルタは撮像側１１０の前に設置されてもよい。
（実施形態３）
　以下、図３０Ａおよび図３０Ｂを参照しながら、本発明による画像処理装置の第２の実施形態を説明する。本実施形態の画像処理装置は、内視鏡のみならず、皮膚科や歯科などメディカル用途の照明付きカメラ、指紋撮影装置、表面検査装置などへ適用される装置である。
　図３０Ａは、本実施形態の一構成例を示している。本実施形態の画像処理装置は、図１Ｃの内視鏡１０１の代わりに、装置４００を備えている。この装置４００は、リング照明４００１、リング状偏光面制御素子４００２、撮影レンズ４００３、撮像素子４００４を有している。
　図３０Ｂは、図３０Ａの概観を示す図である。本実施形態では、リング照明４００１上にリング状偏光面制御素子４００２が設置されている。リング照明４００１および偏光面制御素子４００２には、光ファイバーなどのライトガイドから非偏光が入力され、図２に示されるように、照明の偏光面を例えば０°、４５°、９０°、１３５°のに回転させる。
　なお、リング照明４００１は、光源からのライトガイドを使わないＬＥＤなどによる自発光光源でもかまわない。また、撮像光軸と照明光の光軸のなす角度が１５°以下であればリング照明以外のストロボ発光照明でもかまわない。リング照明を使うことにより、照明が１灯では観察が困難な被写体においても、表面凹凸、グルーブの推定を高精度に実施することができる。特に、照明光の光軸が撮影光軸と略同一であり、かつ均一化されるため、製品表面の傷や凹凸の検査装置、指紋撮影装置、皮膚科用の肌凹凸撮影装置などに好適である。撮影素子４００４、図示されていない画像処理プロセッサは実施形態１における画像処理プロセッサが適用可能である。
　なお、上記の実施形態では、照明の直線偏光の回転角度の間隔を４５°に設定しているが、この角度は同一である必要はなく、互いに異なっていてよい。また、この角度の間隔は４５°にも限定されない。ただし、余弦関数の３個のパラメータを決定するために、３個以上のサンプルが必要になる。すなわち、照明の直線偏光の回転角度は、３種以上に変動させることが必要になる。サンプル角度が３種類の場合、例えば０°、６０°、１２０°の３つの角度が選択され得る。
　本発明は、医療用内視鏡カメラ、皮膚科、歯科、内科、外科などのメディカル用途のカメラ、工業用内視鏡カメラ、指紋撮像装置、表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。
１０１　内視鏡
１０２　制御装置
１０３　挿入部
１０４　光源
１０５　ライトガイド
１０６　偏光面制御素子
１０７　照明レンズ
１０８　画像プロセッサ
１０９　撮影レンズ
１１０　撮像素子
１１１　映像信号線
１１２　同期装置
１１３　先端部
１２０　偏光照明部
１４０　撮像部
１５０　画像処理部
１６０　変動処理部
１７０　法線推定部

Claims (15)

  1. 　偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
    　前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得する撮像部と、
    　前記撮像部から出力される輝度値を示す信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する変動輝度処理部と、
    　前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定する法線推定部と、
    を備える画像処理装置。
  2. 　前記法線推定部は、
    　前記輝度最大角画像から前記法線の方位角の候補を求める方位角処理部と、
    　前記輝度変調度画像から前記法線の天頂角を求める天頂角処理部と、
    　前記法線の方位角の候補から前記法線の１つの方位角を決定する方位角不定性処理部と、
    有している、請求項１に記載の画像処理装置。
  3. 　前記法線推定部によって推定された法線の画像を生成する法線画像生成部を備えている、請求項１または２に記載の画像処理装置。
  4. 　前記方位角不定性処理部は、非偏光照明下での画像に相当する非偏光輝度画像、または前記輝度変調度画像に基づいて、前記法線の方位角の候補から１つを選択する、請求項１から３のいずれかに記載の画像処理装置。
  5. 　前記変動輝度処理部は、前記撮像部によって取得された複数の輝度画像の加算平均を行うことにより、前記非偏光輝度画像を生成し、前記方位角不定性処理部に与える、請求項４に記載の画像処理装置。
  6. 　前記方位角不定性処理部は、前記非偏光輝度画像の空間的な勾配ベクトル、および、前記輝度変調度画像の空間的な勾配ベクトルの少なくとも一方に基づいて、前記法線の方位角の候補から１つを選択する、請求項４または５に記載の画像処理装置。
  7. 　前記偏光照明部および前記撮像部は、内視鏡に取り付けられている請求項１に記載の画像処理装置。
  8. 　前記偏光照明部は、非偏光の光を、偏光面を可変可能な偏光面変換素子を透過させることによって偏光面が３種類以上に順次変化する直線偏光を照射する請求項１から７のいずれかに記載の画像処理装置。
  9. 　前記偏光照明の光軸と前記撮像部の光軸との間の角度は１５°以下である請求項１から８のいずれかに記載の画像処理装置。
  10. 　前記撮像部はモノクロ撮像素子またはカラー撮像素子を有している請求項１から９のいずれかに記載の画像処理装置。
  11. 　前記被写体の照明方向を仮想的に自在変化させるための照明方向設定部と、
    　前記照明方向から照明された状態の前記被写体の輝度画像を前記法線推定部の出力に基づいて生成する輝度画像生成部と、
    を備える、請求項１から１０のいずれかに記載の画像処理装置。
  12. 　前記偏光照明部は、前記被写体の表面の分光反射率特性が極小になる反射率に相当する波長帯域を透過する分光フィルタを出力段に備える請求項１から１１のいずれかに記載の画像処理装置。
  13. 　前記偏光照明部は、
    　非偏光の光を放射するリング型照明光源と、
    　前記リング型照明光源から放射された非偏光の光を前記直線偏光に変換するリング型偏光面変換素子であって、前記直線偏光の偏光面の角度を順次変化させることができるリング型偏光面変換素子と、
    を備える請求項１から１２のいずれかに記載の画像処理装置。
  14. 　偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射するステップと、
    　前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得するステップと、
    　前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成するステップと、
    　前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定するステップと、
    を含む画像処理方法。
  15. 　被写体を照射する直線偏光の偏光面の角度が３種類以上異なる複数の偏光画像を受け取り、画像処理により、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定する画像処理プロセッサであって、
    　前記複数の偏光画像から前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成するステップと、
    　前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定するステップと、
    を実行する画像処理プロセッサ。
PCT/JP2011/003931 2010-07-21 2011-07-08 画像処理装置 WO2012011246A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180007770.3A CN102742258B (zh) 2010-07-21 2011-07-08 图像处理装置
JP2012503816A JP4971531B2 (ja) 2010-07-21 2011-07-08 画像処理装置
US13/455,386 US8648902B2 (en) 2010-07-21 2012-04-25 Image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010164074 2010-07-21
JP2010-164074 2010-07-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/455,386 Continuation US8648902B2 (en) 2010-07-21 2012-04-25 Image processing apparatus

Publications (1)

Publication Number Publication Date
WO2012011246A1 true WO2012011246A1 (ja) 2012-01-26

Family

ID=45496680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003931 WO2012011246A1 (ja) 2010-07-21 2011-07-08 画像処理装置

Country Status (4)

Country Link
US (1) US8648902B2 (ja)
JP (1) JP4971531B2 (ja)
CN (1) CN102742258B (ja)
WO (1) WO2012011246A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015164518A (ja) * 2014-02-06 2015-09-17 パナソニックＩｐマネジメント株式会社 画像処理装置
JP5857227B2 (ja) * 2012-11-09 2016-02-10 パナソニックＩｐマネジメント株式会社 画像処理装置および内視鏡
WO2016174915A1 (ja) * 2015-04-30 2016-11-03 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP2017058383A (ja) * 2014-03-04 2017-03-23 パナソニックＩｐマネジメント株式会社 偏光画像処理装置
WO2019123625A1 (ja) * 2017-12-22 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および表面粗さ取得方法
KR20190091734A (ko) * 2018-01-29 2019-08-07 (주)커넥슨 다중 광원 장치 및 복합 필터를 포함하는 휴대용 내시경 및 이를 위한 다중 광원 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054160A1 (en) * 2011-10-11 2013-04-18 Sony Ericsson Mobile Communications Ab Light sensitive, low height, and high dynamic range camera
KR102477190B1 (ko) * 2015-08-10 2022-12-13 삼성전자주식회사 얼굴 인식 방법 및 장치
JP6679289B2 (ja) * 2015-11-30 2020-04-15 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体
US10521660B2 (en) * 2016-04-28 2019-12-31 Sharp Kabushiki Kaisha Image processing method and image processing device
JP6662745B2 (ja) * 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法
CN106725250A (zh) * 2017-01-09 2017-05-31 清华大学深圳研究生院 一种头端调制的内窥偏振成像系统及测量方法
CN108206904B (zh) * 2017-12-04 2020-11-03 创新先进技术有限公司 图像采集设备、眼部图像采集设备及方法
WO2019225080A1 (ja) * 2018-05-24 2019-11-28 ソニー株式会社 情報処理装置と情報処理方法およびプログラム
CN112654910B (zh) * 2018-09-11 2023-12-22 昕诺飞控股有限公司 具有准直反射器的照明器及组装方法
US10769263B1 (en) 2019-05-07 2020-09-08 Alibaba Group Holding Limited Certificate verification
CN111369464B (zh) * 2020-03-04 2021-11-09 深圳市商汤科技有限公司 去除图像中的反光的方法及装置、电子设备和存储介质
CN111487201B (zh) * 2020-04-27 2021-02-09 华中科技大学 一种偏振图像信息的表征方法和表征参数的计算方法
CN112945384B (zh) * 2021-03-01 2022-06-28 中国科学院空天信息创新研究院 一种多角度偏振卫星的数据预处理方法
JP2023046978A (ja) * 2021-09-24 2023-04-05 富士フイルムビジネスイノベーション株式会社 照合装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246770A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 撮像装置、撮像方法、およびプログラム
WO2009157129A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
JP4762369B2 (ja) * 2009-12-08 2011-08-31 パナソニック株式会社 画像処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313242A (ja) 1998-04-28 1999-11-09 Nippon Hoso Kyokai <Nhk> 撮像用光学機器および撮像装置
EP1358443A2 (en) * 2001-01-22 2003-11-05 Jonathan E. Roth Method and apparatus for polarization-sensitive optical coherence tomography
US7084910B2 (en) * 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
TW200417236A (en) * 2003-02-21 2004-09-01 Realtek Semiconductor Corp Active type digital image capturing device
JP4974543B2 (ja) 2005-08-23 2012-07-11 株式会社フォトニックラティス 偏光イメージング装置
CN101584222B (zh) 2007-05-31 2011-10-12 松下电器产业株式会社 图像处理装置
CN101542232B (zh) 2007-08-07 2011-10-19 松下电器产业株式会社 法线信息生成装置以及法线信息生成方法
US8004675B2 (en) 2007-09-20 2011-08-23 Boss Nova Technologies, LLC Method and system for stokes polarization imaging
JP4486703B2 (ja) 2007-12-07 2010-06-23 パナソニック株式会社 撮像装置
JP4435867B2 (ja) * 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
WO2010004677A1 (ja) * 2008-07-08 2010-01-14 パナソニック株式会社 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置
JP2010104424A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246770A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 撮像装置、撮像方法、およびプログラム
WO2009157129A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
JP4762369B2 (ja) * 2009-12-08 2011-08-31 パナソニック株式会社 画像処理装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5857227B2 (ja) * 2012-11-09 2016-02-10 パナソニックＩｐマネジメント株式会社 画像処理装置および内視鏡
JPWO2014073138A1 (ja) * 2012-11-09 2016-09-08 パナソニックＩｐマネジメント株式会社 画像処理装置および内視鏡
JP2015164518A (ja) * 2014-02-06 2015-09-17 パナソニックＩｐマネジメント株式会社 画像処理装置
JP2017058383A (ja) * 2014-03-04 2017-03-23 パナソニックＩｐマネジメント株式会社 偏光画像処理装置
US10444617B2 (en) 2015-04-30 2019-10-15 Sony Corporation Image processing apparatus and image processing method
WO2016174915A1 (ja) * 2015-04-30 2016-11-03 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JPWO2016174915A1 (ja) * 2015-04-30 2018-02-22 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
WO2019123625A1 (ja) * 2017-12-22 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および表面粗さ取得方法
JPWO2019123625A1 (ja) * 2017-12-22 2020-12-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および表面粗さ取得方法
JP7039616B2 (ja) 2017-12-22 2022-03-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および表面粗さ取得方法
US11327329B2 (en) 2017-12-22 2022-05-10 Sony Interactive Entertainment Inc. Information processing apparatus and surface roughness acquisition method
KR20190091734A (ko) * 2018-01-29 2019-08-07 (주)커넥슨 다중 광원 장치 및 복합 필터를 포함하는 휴대용 내시경 및 이를 위한 다중 광원 장치
KR102041236B1 (ko) * 2018-01-29 2019-11-06 (주)커넥슨 다중 광원 장치 및 복합 필터를 포함하는 휴대용 내시경 및 이를 위한 다중 광원 장치

Also Published As

Publication number Publication date
CN102742258A (zh) 2012-10-17
US8648902B2 (en) 2014-02-11
CN102742258B (zh) 2016-10-26
JP4971531B2 (ja) 2012-07-11
JPWO2012011246A1 (ja) 2013-09-09
US20120206581A1 (en) 2012-08-16

Similar Documents

Publication Publication Date Title
JP4971531B2 (ja) 画像処理装置
JP5450826B2 (ja) 画像処理装置
US8648907B2 (en) Image processing apparatus
JP4762369B2 (ja) 画像処理装置
US9392231B2 (en) Imaging device and endoscope for detecting and displaying the shape of the micro-geometric texture of a transparent structure
US10492660B2 (en) Image processing apparatus and endoscope
US8184194B2 (en) Image processing apparatus, image division program and image synthesising method
US5557324A (en) Polorization viewer
JP4235252B2 (ja) 画像処理装置
US9215966B2 (en) 3D image shooting apparatus and endoscope
US8447079B2 (en) Linearly polarized light imaging method and device
JP2015164518A (ja) 画像処理装置
KR20090113324A (ko) 피하구조물을 물체 표면에 투사하는 장치와 방법
US9282881B2 (en) 3D image shooting apparatus and endoscope
US20230022108A1 (en) Acquisition of optical characteristics
JP2012143363A (ja) 画像処理装置
CN208536839U (zh) 图像采集设备
Kanamori Averaged subtracted polarization imaging for endoscopic diagnostics of surface microstructures on translucent mucosae
WO2021229984A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN110660035A (zh) 一种显微系统图像畸变矫正方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180007770.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012503816

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11809422

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11809422

Country of ref document: EP

Kind code of ref document: A1