WO2014041872A1 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
WO2014041872A1
WO2014041872A1 PCT/JP2013/068003 JP2013068003W WO2014041872A1 WO 2014041872 A1 WO2014041872 A1 WO 2014041872A1 JP 2013068003 W JP2013068003 W JP 2013068003W WO 2014041872 A1 WO2014041872 A1 WO 2014041872A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display device
light
wave plate
display
Prior art date
Application number
PCT/JP2013/068003
Other languages
English (en)
French (fr)
Inventor
武川 洋
佐古 曜一郎
宮島 靖
高井 基行
楢原 立也
和田 成司
浩明 小川
丹下 明
一英 劔持
貴央 谷亀
いちご 早川
正資 武田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP13836576.2A priority Critical patent/EP2896985B1/en
Priority to US14/426,210 priority patent/US9740008B2/en
Priority to JP2014535408A priority patent/JP6260536B2/ja
Priority to CN201380046312.XA priority patent/CN104603674B/zh
Publication of WO2014041872A1 publication Critical patent/WO2014041872A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0136Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  for the control of polarisation, e.g. state of polarisation [SOP] control, polarisation scrambling, TE-TM mode conversion or separation
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1334Constructional arrangements; Manufacturing methods based on polymer dispersed liquid crystals, e.g. microencapsulated liquid crystals
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1335Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/13363Birefringent elements, e.g. for optical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the technology disclosed in the present specification relates to an image display device for displaying a display image as an enlarged virtual image by a virtual image optical system so that the observer observes the image, and in particular, while displaying the image
  • the present invention relates to a transmissive image display device capable of viewing an outside scene.
  • a head-mounted image display device that is, a head mount display, which is worn on the head and used to view an image.
  • a head-mounted image display apparatus has an image display unit for each eye on the left and right, and is configured to be able to control vision and hearing by using it in combination with headphones.
  • the head-mounted image display device can also display different images to the left and right eyes, and can present a three-dimensional image by displaying an image with parallax on the left and right eyes.
  • the head-mounted image display apparatus is equipped with a high-resolution display panel including, for example, a liquid crystal, an organic EL (Electro-Luminescence) element, and the like as display units for the left and right eyes.
  • the head-mounted image display device can also be classified into a light-shielding type and a light-transmitting type.
  • the light-shielding head-mounted image display device is configured to directly cover the user's eyes when worn on the head, increasing the sense of immersion when viewing an image. By setting an appropriate angle of view with an optical lens that projects a display screen and reproducing multiple channels with headphones, it is possible to reproduce a sense of realism as viewed in a movie theater (see, for example, Patent Document 1) about).
  • a display device capable of displaying an image on both the front and back sides has been proposed (see, for example, Patent Documents 3 and 4).
  • the double-sided display can display the same content on both sides or can display different contents on both sides. Since the user can view the image on both the front and back sides of the device body, the dual-sided display can be a good information provision tool.
  • the head-mounted image display apparatus described above can display an image on the front side, ie, facing the eye of the wearer, but does not display an image on the back side, ie, outside the image display apparatus. .
  • the outsider can not confirm what the wearer is watching at all.
  • the wearer's eyes are obscured, it is difficult for an outsider to grasp the wearer's condition (eg, talk or do later).
  • Head-mounted image display devices can be said to be one of the ultimate displays of individuals. However, except the user who wears the device, it is not possible to know the state of the user, what the user is doing, what they are watching, and the degree to which they are concentrated or immersed in viewing. In addition, there are cases where the user himself / herself wants to notify his / her condition to the surroundings, when he / she wants to inform outside of the content being viewed to the outside, and when it is desired to convey useful information related to the content. Can not be informed, and viewing is interrupted.
  • An object of the present invention is to provide an excellent image display device capable of presenting information.
  • an image display device used by being attached to the head or face of a user, A display device for displaying an image; A light guide unit for guiding the image to a place viewed from the user side and a place viewed from the outside of the image display device; A control unit that controls display of an inner image viewed from the user side and an outer image viewed from the outer side;
  • An image display device comprising
  • the light guiding unit of the image display device comprises: a first wave plate for converting polarization characteristics of light emitted from the display device; and the display A polarization beam splitter disposed on the optical axis of incident light of the device and reflecting or passing the incident light according to the polarization characteristic; and second one converting the polarization characteristic of the light passing through the polarization beam splitter A wave plate and a mirror for reflecting light passing through the second wave plate are provided.
  • the passing light of the said polarization beam splitter passes the said 2nd wavelength plate and the mirror, and the said polarization is carried out.
  • the outer image is configured to be displayed by light reflecting off the beam splitter.
  • the display device of the image display apparatus emits the display light composed of the S-polarization component
  • the first wave plate has two minutes. It consists of a single wavelength plate, converts the light emitted from the display device into S-polarization or P-polarization, and the polarization beam splitter is arranged at an angle of 45 degrees with respect to the optical axis of the incident light from the display device Of the light passing through the first wave plate, an S-polarization component is reflected to display the inner image at a place viewed from the user side, and a P-polarization component of the light passing through the first wave plate is passed
  • the second wave plate is a quarter wave plate
  • the mirror is a concave mirror
  • the P-polarization component passing through the polarization beam splitter is passed through the quarter wave plate to form a circle.
  • the control unit causes the display device to light the inner image in synchronization with the first section in which the optical axis azimuth of the half wave plate is set to 0 degrees, and the half wave
  • the display device is configured to turn on the outer image in synchronization with a second section in which the optical axis orientation of the plate is set to 45 degrees.
  • control unit of the image display device changes the ratio of the first section and the second section to change the inner image and the inner section. It is comprised so that each brightness
  • the control unit of the image display device measures the length of time during which the display device turns on the inner image in the first section. Changing the brightness of the inner image, or changing the length of time during which the display device turns on the outer image in the second period to adjust the brightness of the outer image There is.
  • the control unit adjusts the optical axis orientation of the half-wave plate between 0 degrees and 45 degrees to display the light emitted from the display device as the inner image and the outer image. It is configured to adjust each luminance at the time of
  • the half-wave plate of the image display device according to claims 4 and 7 comprises an optical doubler composed of a ferroelectric liquid crystal.
  • the reflectance of the polarization beam splitter is set to 90% or more.
  • the image display device includes a screen on which the outer image is projected.
  • the size of the screen is 2 inches or less, or the gain of the screen is 2 or more.
  • the image display apparatus uses the screen made of polymer dispersed liquid crystal.
  • the control unit is configured to control the scattering action of the screen in synchronization with the display period of the inner image or the outer image.
  • the image display apparatus of claim 10 uses the screen made of a hologram.
  • the control unit is configured to emit display light of a specific wavelength component diffracted by the hologram from the display device when displaying the outer image.
  • the light guiding unit of the image display device includes a half mirror disposed on an optical axis of incident light of the display device; A collimating optical unit for imaging the reflected light of the half mirror, a concave mirror for reflecting the light transmitted through the half mirror, and a screen for projecting the light reflected by the half mirror after reflected by the concave mirror There is.
  • the light guiding unit of the image display device includes a half mirror disposed on an optical axis of incident light of the display device; A collimating optical unit for forming an image of light reflected by a half mirror, a plane mirror for reflecting the light passing through the half mirror, a projection optical unit for projecting light reflected by the half mirror after reflecting the plane mirror, It has a screen.
  • the image display apparatus further includes a projection optical unit that projects the outer image toward the outside.
  • the image display apparatus further includes an input operation unit with which the user performs an input operation.
  • the control unit is configured to control display of the inner image and the outer image according to an input operation by the user.
  • the image display apparatus further includes an environment information acquisition unit that acquires information related to the surrounding environment of the image display apparatus.
  • the control unit is configured to control display of the inner image and the outer image based on the surrounding environment.
  • the image display apparatus further includes a state information acquisition unit that acquires information related to the state of the user.
  • the control unit is configured to control display of the inner image and the outer image based on the state of the user.
  • the image display apparatus further includes a content information acquisition unit that acquires content information related to the image content to be displayed as the inner image.
  • the control unit is configured to control display of the outer image according to the content information.
  • an excellent image display device capable of presenting information can be provided.
  • the head-mounted image display device includes an outer display portion seen from the outside in addition to the inner display portion seen from the user who wears it, and is seen by the wearer
  • the same image as the image of the wearer, the condition of the wearer, and the like can be displayed on the outer display unit to provide various information to the outside.
  • FIG. 1 is a view showing the user wearing the transmissive head-mounted image display device 3 as viewed from the front.
  • FIG. 2 is a view showing the head-mounted image display device 1 as viewed from above.
  • FIG. 3 is a view schematically showing a functional configuration of the transmissive type head-mounted image display device 1 shown in FIGS. 1 and 2.
  • FIG. 4 is a diagram illustrating display intervals of the inner image and the outer image.
  • FIG. 5 is a view showing a state in which a display image of the head-mounted image display device 1 is projected onto a wall surface.
  • FIG. 6 is a view showing a configuration example of the virtual image / real image optical unit 312. As shown in FIG. FIG. FIG.
  • FIG. 7 is a view showing polarization characteristics of display light immediately after being emitted from the display panel 311 in the virtual image / real image optical unit 312 shown in FIG.
  • FIG. 8 is a view showing polarization characteristics of display light which has passed through a half-wave plate 602 whose optical axis azimuth is set to 0 degree in the virtual image / real image optical unit 312 shown in FIG.
  • FIG. 9 is a view showing polarization characteristics of display light which has passed through a half-wave plate 602 whose optical axis direction is inclined at 45 degrees in the virtual image / real image optical unit 312 shown in FIG.
  • FIG. 10 is a view showing polarization characteristics of display light transmitted through the polarization beam splitter 604 in the virtual image / real image optical unit 312 shown in FIG.
  • FIG. 11 is a view showing polarization characteristics of display light transmitted through the polarization beam splitter 604 after being reflected and condensed by the concave mirror 606 in the virtual image / real image optical unit 312 shown in FIG.
  • FIG. 12 is a diagram showing an operation example of the optical axis azimuth of the half-wave plate 602.
  • FIG. 13 is a diagram showing an operation example of the optical axis azimuth of the half-wave plate 602. As shown in FIG. FIG. FIG.
  • FIG. 14 is a diagram showing the optical axis azimuth of the half-wave plate 602 set to an intermediate angle ⁇ of 0 degrees and 45 degrees.
  • FIG. 15 is a diagram showing an S-polarization component emitted when the optical axis direction of the half-wave plate 602 is set to the angle ⁇ .
  • FIG. 16 is a diagram showing the P-polarization component emitted when the optical axis orientation of the half-wave plate 602 is set to the angle ⁇ .
  • FIG. 17 is a diagram showing that the P-polarization component shown in FIG. 16 is converted into circularly polarized light by passing through the quarter-wave plate 605.
  • FIG. 18 is a diagram showing how the circularly polarized light shown in FIG.
  • FIG. 19 is a view showing another configuration example of the virtual image / real image optical unit 312.
  • FIG. 20 is a view showing another configuration example of the real image optical unit 312.
  • FIG. 21 is a state transition diagram showing an operation example of the head-mounted image display device 1 according to an instruction from the user via the input operation unit 302.
  • FIG. 22 is a flow chart showing an operation example of the head-mounted image display device 1 according to the environment information.
  • FIG. 23 is a flowchart showing an operation example of the head-mounted image display device 1 according to the state information of the user.
  • FIG. 24 is a view showing a display example of an icon expressing a state in which the eyelid is closed (degree of eye opening).
  • FIG. 25 is a view showing a display example of an icon expressing the direction of the line of sight (the direction of the pupil).
  • FIG. 26 is a diagram illustrating a method of determining the mental state (awakening / sleepiness / concentration) of the user according to the number of blinks per hour detected by the electro-oculography and the blink time.
  • FIG. 27 is a view exemplifying a method of determining the mental state (awakening / sleepiness / concentration) of the user according to the blink interval detected by the electro-oculogram method and the blink time.
  • FIG. 28 is a diagram illustrating a method of determining the mental state (waking / sleepiness / concentration) of the user according to the blink interval detected by the photographing method and the blink time.
  • FIG. 29 is a diagram showing control of character information 2901 displayed in the outer image so as to be kept horizontal.
  • FIG. 30 is a diagram showing control to maintain the position of the inner image or the outer image mapped to the real space.
  • FIG. 31 is a flowchart showing an operation example of the head-mounted image display device 1 according to the content information.
  • the head-mounted image display device is classified into a light blocking type (see, for example, Patent Document 1) and a transmissive type (see, for example, Patent Document 2). be able to.
  • the techniques disclosed herein can be mainly applied to the latter type as well.
  • FIG. 1 shows a front view of a user wearing the transparent or see-through type head-mounted image display device 1.
  • the head-mounted image display device 1 has a structure similar to that of glasses for correcting vision.
  • the side facing the user's face of the head-mounted image display device 1 is defined as “inside” and the opposite side as “outside”.
  • a virtual image optical unit including a transparent light guide or the like is disposed at a position facing the left and right eyes of the user of the apparatus 1 main body, and an image observed by the user is displayed inside the virtual image optical unit.
  • outside images of external persons can be displayed outside the virtual image optical unit.
  • the virtual image optical unit is supported by, for example, a support in the form of an eyeglass frame.
  • FIG. 2 shows the head-mounted image display device 1 as viewed from above.
  • display panels for displaying and outputting images for the left eye and for the right eye are disposed at the left and right ends of the head-mounted image display device 1, respectively.
  • Each display panel is a micro display such as a liquid crystal display or an organic EL element, and displays and outputs frames of an inner image and an outer image for the left eye and the right eye by time division, for example.
  • the left and right display images are guided by the virtual image optical unit to the vicinity of the left and right eyes, and are separated into an inner image and an outer image. Then, an enlarged virtual image of the inner image is formed on the user's pupil, and an enlarged virtual image of the outer image is formed on a screen disposed outside the virtual image optical unit.
  • the details of the configuration in which the virtual image optical unit guides the output image of the display panel and separates the image into an inner image and an outer image and form an enlarged virtual image will be described later.
  • the display area of the outer image is disposed at a position having a front and back relationship with the display area of the inner image.
  • An outer image may be displayed at a place.
  • the head-mounted image display device 3 displays the outside image at the pair of left and right places, the outside image may be displayed at one or three or more places.
  • the head-mounted image display device 1 includes an audio output unit that outputs audio associated with an image. Further, the head-mounted image display device 1 includes a mounting unit for mounting the device 1 on the head or face of the user. For example, temples (not shown) rotatably supported at the left and right ends of the device 3 main body having a shape similar to the eyeglass frame are attached to the head by being hooked on the user's left and right auricles. Ru.
  • the head-mounted image display device 3 shown in FIGS. 1 and 2 is a binocular type provided with display units for both left and right eyes, it is a monocular type provided with display units only for either right or left. It is also possible to configure.
  • FIG. 3 schematically shows a functional configuration of the transmissive type head-mounted image display device 1 shown in FIGS. 1 and 2.
  • the head-mounted image display device 1 has a function of displaying an inner image viewed from the side of the user wearing the device 1 and an outer image viewed from the outer side of the device. Each part will be described below.
  • the control unit 301 includes a read only memory (ROM) 301A and a random access memory (RAM) 301B.
  • the ROM 301A stores program codes to be executed by the control unit 301 and various data.
  • the control unit 301 executes control of the program loaded into the RAM 301B to start display control of the inner image viewed from the side of the user wearing the device 1 and the outer image viewed from the outer side, and overall operation of the entire device 1 is integrated. Control.
  • As data stored in the ROM 301A device identification information for identifying the device 1 and other information unique to the device can be mentioned.
  • the input operation unit 302 includes one or more operators such as keys, buttons, and switches that the user performs input operations, receives an instruction from the user via the operators, and outputs the instruction to the control unit 501. Further, the input operation unit 302 similarly accepts the user's instruction including the remote control command received by the remote control reception unit 303, and outputs it to the control unit 301. Furthermore, the input operation unit 302 may receive a user's instruction through eye movement or blink action obtained from a state sensor (described later) such as an myoelectric sensor or an electrooculographic sensor.
  • a state sensor described later
  • the control unit 301 in response to an instruction from the user via the input operation unit 302, displays the inner image viewed from the user who wears the device 1 and the outer image viewed from the outer side of the device.
  • the control unit 301 displays on / off of the outer image, display method (size of display image, brightness, contrast, color, display position, continuous display, intermittent display, etc.) Control information.
  • the control unit 301 controls an outer image interlocked with or linked to the content to be displayed as the inner image, in accordance with an instruction from the user.
  • the environment information acquisition unit 304 acquires information on the environment outside the head-mounted image display device 1 and outputs the information to the control unit 301.
  • the environmental information acquisition unit 304 acquires, for example, environmental light intensity, acoustic intensity, position or place, temperature, weather, time, surrounding image, number of people outside, etc. as environmental information.
  • the environmental information acquisition unit 304 acquires a light quantity sensor, a microphone, a GPS (Global Positioning System) sensor, a temperature sensor, a humidity sensor, a clock, an image sensor (camera), a radiation sensor to acquire such environmental information. And the like (all not shown in FIG. 3) may be provided.
  • Environmental information acquired from these environmental sensors is temporarily held, for example, in the RAM 301B.
  • the control unit 301 performs the display operation of the inner image seen from the side of the user wearing the device 1 and the outer image seen from the outside of the device. Control. For example, the control unit 301 turns on / off the outer image, the display method (size of display image, brightness, contrast, color, display position, continuous display, intermittent display, etc.), and information to be displayed according to the environment information. Control. Further, the control unit 301 controls an outer image linked or linked to the content displayed as the inner image, according to the environment information.
  • the state information acquisition unit 305 acquires information on the state of the observer wearing the head-mounted image display device 1, and outputs the information to the control unit 301.
  • the state information for example, the work state of the user (whether the user is attached or not), the action state of the user (position of the user's head while wearing, movement such as walking, movement of eyelids, etc. Get mental level (excitation or concentration such as immersive or concentrated while observing inside image (or do you look while watching), etc.), get physiological status etc. Do.
  • the state information acquisition unit 305 is a mounting sensor including a mechanical switch, a gyro sensor, an acceleration sensor, a speed sensor, a pressure sensor, a body temperature sensor, a sweat sensor, and a muscle sensor to acquire such state information from the user.
  • Various state sensors such as an electro-electric sensor, an electro-oculogram sensor, and an electroencephalogram sensor may be provided. The state information acquired from these state sensors is temporarily held, for example, in the RAM 301B.
  • the control unit 301 determines an inner image viewed from the user who wears the device 1 and an outer image viewed from the outside of the device according to the current status information of the user acquired by the status information acquisition unit 305. Control the display operation of For example, the control unit 301 displays on / off of the outer image, display method (size of display image, brightness, contrast, color, display position, continuous display, intermittent display, etc.) according to the state information of the user. Control information (display of icons and text information that expresses the degree of eye open and the direction of the line of sight). Further, the control unit 301 controls an outer image interlocked with or linked to the content to be displayed as the inner image, in accordance with the state information of the user.
  • the communication unit 306 performs communication processing with another device, and modulation / demodulation and coding / decoding processing of a communication signal.
  • the communication unit 306 receives an image signal to be displayed and output as an inner image from an external device (not shown) serving as an image source.
  • the communication unit 306 can also receive an outer image different from the inner image from the external device.
  • the inner image or the outer image received by the communication unit 306 and demodulated and decoded, or other received data is supplied to the control unit 301. Further, the control unit 301 sends out transmission data to the external device from the communication unit 306.
  • the configuration of the communication unit 306 is arbitrary.
  • the communication unit 306 can be configured according to a communication standard used for transmission and reception operations with an external device as a communication partner.
  • the communication standard may be either wired or wireless. Examples of the communication standard mentioned here include Mobile High-definition Link (MHL), Universal Serial Bus (USB), High Definition Multimedia Interface (HDMI (registered trademark)), Bluetooth (registered trademark) communication, infrared communication, and the like. .
  • the content information acquisition unit 307 acquires information on image content input via the communication unit 306.
  • the content information acquisition unit 307 is realized by a program executed in the control unit 301.
  • the content information acquisition unit 307 can be configured as dedicated hardware outside the control unit 301.
  • the content information acquisition unit 307 for example, metadata attached to the image content (content title, genre, detailed information, URL of related site (Uniform Resource Locator), etc.), total reproduction time of the image content, current reproduction position Or, obtain content information such as the remaining playback time, parental control, and the presence or absence of other usage restrictions.
  • the content information acquisition unit 307 further includes a decoder that decodes data such as a character string encoded and embedded in the image content body.
  • the control unit 301 performs the display operation of the inner image viewed from the user wearing the device 1 and the outer image viewed from the outside of the device. Control. For example, according to the content information, the control unit 301 turns on / off the outer image, the display method (size of display image, brightness, contrast, color tone, display position, continuous display or intermittent display, etc.) A character string such as a URL providing detailed information of content or related information, or a QR code (registered trademark) obtained by encoding the character string or the like is controlled. Further, the control unit 301 controls an outer image interlocked with or linked to the content to be displayed as the inner image according to the content information.
  • the display method size of display image, brightness, contrast, color tone, display position, continuous display or intermittent display, etc.
  • a character string such as a URL providing detailed information of content or related information, or a QR code (registered trademark) obtained by encoding the character string or the like is controlled.
  • the control unit 301 controls an outer image interlocked with or linked to the content
  • An image processing unit 308 generates an inner image based on an image signal output from the control unit 301, and an outer image generates an outer image based on the image signal output from the control unit 301.
  • the image generation unit 308-2 further performs signal processing such as image quality correction on the generated inner image and outer image, and converts the generated image to a resolution according to the screen of the display panel 611. However, when the same image as the inner image is displayed on the outer side, the outer image generation unit 308-2 is omitted.
  • the image multiplexing unit 309 multiplexes the frames of the inner image and the outer image respectively generated by the inner image generation unit 308-1 and the outer image generation unit 308-2 so as to display and output the frames of a single display panel 311.
  • the method of multiplexing is arbitrary, it will be described below as performing time division multiplex processing.
  • the image multiplexing unit 309 inserts one outer image frame for N continuous inner image frames on the time axis.
  • the brightness ratio of the inner image and the outer image is simply N: 1 (however, it is assumed that the brightness at the output of each of the inner image and the outer image is the same). .
  • N 4 in the illustrated example.
  • the outer image that is finally displayed and output becomes a brighter and clearer image.
  • the multiplexing process in the image multiplexing unit 309 is omitted.
  • the transmissive, ie, see-through type, head-mounted image display device 1 receives the display light displayed by the display panel 311 and the display panel 311, which display the image by multiplexing the inner image and the outer image as a display system of images.
  • the virtual image / real image optical unit 312 separates the inner image and the outer image, guides the enlarged virtual image of the inner image to the observer's pupil, and guides the real image of the outer image to the outside.
  • the display panel 311 is made of, for example, a micro display such as an organic EL (Electro Luminescence) display, an inorganic EL display, or a liquid crystal display (LCD: Liquid Crystal Display).
  • a micro display such as an organic EL (Electro Luminescence) display, an inorganic EL display, or a liquid crystal display (LCD: Liquid Crystal Display).
  • LCD Liquid Crystal Display
  • the display driving unit 310 sequentially selects the pixels of the display panel 311 row by row, performs line-sequential scanning, and supplies a pixel signal based on the signal-processed image signal.
  • the virtual image / real image optical unit 312 separates the multiplexed inner image and outer image by, for example, an optical operation, forms a virtual image obtained by enlarging the inner image on the user's pupil, and disposes the real image of the outer image outside. Image on the screen (see FIG. 2).
  • a projection optical unit 313 may be further disposed in front of the screen on which the real image of the outside image is projected.
  • the projection optical unit 313 magnifies and projects the real image of the outside image on a wall surface (not shown) or the like adjacent to the head mounted image display device 1 (same as above). That is, the head-mounted image display device 1 can be utilized also as a small projector (see FIG. 5).
  • FIG. 6 shows an example of the configuration of the virtual image / real image optical unit 312.
  • the illustrated virtual image / real image optical unit 312 is disposed inside the collimating optical unit 601, a half wave plate (HWP) 602, a light guide unit 603, and the light guide unit 603.
  • PBS Polarization Beam Splitter
  • the polarizing beam splitter 604 is disposed at an angle of 45 degrees with respect to the optical axis of the incident light from the display panel 311.
  • the quarter-wave plate 605 is disposed to be orthogonal to the optical axis of the incident light from the display panel 311.
  • the concave mirror 606 is formed on the end face of the light guide portion 603 which is on the opposite side to the incident side of the display light from the display panel 311.
  • the collimating optical unit 601 is, for example, a convex lens, and is an optical system to make luminous flux emitted from each pixel of the display panel 311 enter into a parallel luminous flux group, and the display panel 311 is disposed at a predetermined position of the focal length of the convex lens. Be placed.
  • the parallel luminous flux groups emitted from the collimating optical unit 601 are respectively incident on the light guiding unit 603 through the half wave plate 602.
  • the display light immediately after being emitted from the display panel 311 consists only of the S polarization component (see FIG. 7).
  • a half-wave plate 602 is disposed between the display panel 311 and the polarization beam splitter 604.
  • the display light emitted from the display panel 311 enters the half-wave plate 602 after being collimated by the collimating optical unit 601.
  • the half wave plate 602 used here is capable of dynamically polarizing its optical axis direction.
  • an optical doubler composed of a ferroelectric liquid crystal can be mentioned (see, for example, Patent Document 5).
  • the optical axis azimuth of the half-wave plate 602 when the optical axis azimuth of the half-wave plate 602 is set to 0 degrees, display light consisting of S-polarized light passes from the half-wave plate 602 as it is (see FIG. 8). In addition, when the optical axis direction of the half-wave plate 602 is inclined by 45 degrees, display light converted to P-polarization passes from the half-wave plate 602 (see FIG. 9). Therefore, by changing the angle of the optical axis of the half-wave plate 602, the polarization of display light passing through the half-wave plate 602 can be alternately switched to S-polarization and P-polarization. Further, by switching the cycle of setting the angle of the optical axis of the half-wave plate 602, the duty of S-polarization and P-polarization passing through the half-wave plate 602 can be arbitrarily adjusted.
  • the light guiding portion 603 is made of a substantially transparent material.
  • the parallel luminous flux group consisting of s-polarized light or p-polarized light after having been emitted from the half-wave plate 602 is totally reflected inside the light guiding portion 603 when it is incident from one end face of the light guiding portion 603 and travels straight Propagate to
  • the polarization beam splitter 604 is disposed on the light path of the parallel light beam group at an angle of 45 degrees with respect to the optical axis of the incident light from the display panel 311.
  • the polarization beam splitter 604 has the property of transmitting P polarization and reflecting S polarization (well known). As described above, the parallel luminous flux group is alternately switched to S-polarization and P-polarization by changing the angle of the optical axis of the half-wave plate 602.
  • the optical axis orientation of the half-wave plate 602 is set to 0 degrees, and when the passing light becomes S-polarization, the light is reflected on the front side of the polarization beam splitter 604 (reflected light A in FIG. 6).
  • the reflected light A is emitted from the inner side surface of the light guide 603, and then observed by the observer's pupil as an enlarged virtual image of the display image of the display panel 311. Therefore, at the timing when the display panel 311 displays the inner image, the optical axis azimuth of the half-wave plate 602 may be set to 0 degrees.
  • the optical axis direction of the half-wave plate 602 is inclined by 45 degrees, and when the transmitted light is P-polarized light, it is transmitted through the polarization beam splitter 604.
  • This transmitted light is once converted into circularly polarized light by the rear quarter wave plate 605 (see FIG. 10).
  • This circularly polarized light is reflected and condensed by the concave mirror 606 formed on the other end face of the light guiding portion 603, and then is converted into S-polarized light by passing through the quarter wavelength plate 605 again (see FIG. 11).
  • this S-polarized light is reflected on the back side of the polarization beam splitter 604 (reflected light B in FIG. 6), it travels to the opposite side to the observer's pupil, that is, to the outside.
  • a screen 607 made of a scatterer is disposed on the opposite side to the viewer's pupil, that is, on the outside.
  • the S-polarized light B reflected on the back side of the polarization beam splitter 604 is emitted from the outer side surface of the light guide 603 and then projected onto the screen 607 to project and display a real image of the display image of the display panel 311.
  • the optical axis direction of the half-wave plate 602 may be set to be inclined by 45 degrees.
  • the reflectance of the polarizing beam splitter 604 is increased, preferably to 90% or more.
  • the size of the screen 607 should not be too large, preferably 2 inches or less.
  • the gain of the screen 607 is increased, preferably to a gain of 2 or more (a gain in complete diffusion is set to 1, and a diffusion characteristic such that the front luminance is twice or more compared to the gain of 1) is obtained.
  • a polymer dispersed liquid crystal can be used as the screen 607.
  • PDLC polymer dispersed liquid crystal
  • the display light is converted to P-polarized light by the half-wave plate 602, and the scattering action of the screen 607 is caused only when the real image is projected and displayed. Just do it.
  • the half-wavelength plate 602 passes the display light as S-polarized light and projects it on the pupil of the observer as an enlarged virtual image of the display panel 611, By suppressing the scattering action, it is possible to take advantage of the transparency of the head-mounted image display device 1, that is, the property as a see-through.
  • a hologram screen can be used as the screen 607.
  • the hologram screen is composed of a structure in which interference fringes are laminated on a resin film, and has a property of diffracting light of a specific wavelength and becoming transparent to light of other wavelengths. Therefore, the display image is displayed on the display panel 611 only when the display light is displayed on the display panel 311 and the display light is converted to P-polarized light by the half-wave plate 602 and the real image is projected and displayed. You can output in.
  • the display panel 311 displays the inner image and the half-wave plate 602 passes the display light as s-polarized light and projects the light as an enlarged virtual image of the display panel 311 onto the observer's pupil, the display panel 311 By outputting the displayed image at a wavelength other than the specific wavelength, the transparency of the screen 607 can be maintained, and the transparency of the head-mounted image display device 1, that is, the characteristic as a see-through can be utilized.
  • a projection optical unit 313 may be further disposed in front of the screen 607.
  • the projection optical unit 313 magnifies and projects the real image of the outside image displayed on the display panel 311 on the wall surface or the like in the vicinity of the head mounted image display device 1 (see FIG. 5). That is, the head mounted image display device 1 can be used as a small projector (described above).
  • the observer sees the magnified virtual image of the display image of the display panel 311.
  • the optical axis direction of the half-wave plate 602 is inclined by 45 degrees, a real image of the display image of the display panel 311 is projected on the screen 607. Therefore, by alternately switching the frames of the inner image and the outer image in the display panel 311 in synchronization with the angle change of the optical axis of the half-wave plate 602, the inner image is made an enlarged virtual image to the observer's pupil While outputting, the outside image can be output as a real image on the screen 607.
  • the inner image is displayed on the display panel 311 in synchronization with a period in which the optical axis orientation of the half wavelength plate 602 is set to 0 degrees, and the optical axis orientation of the half wavelength plate 602 is 45 degrees
  • the outer image may be displayed on the display panel 311 in synchronization with the tilt period.
  • FIG. 12 shows an operation example of the optical axis azimuth of the half-wave plate 802.
  • a section in which the optical axis azimuth of the half-wave plate 802 is set to 0 degrees and a section set to 45 degrees are alternately switched.
  • the inner image may be displayed on the display panel 311 in synchronization with the virtual image display section.
  • the P-polarized light emitted from the display panel 311 enters the polarization beam splitter 602, and a real image of the display image of the display panel 311 is displayed on the screen 607. It is a real image display section to be projected. Therefore, the outer image may be displayed on the display panel 311 in synchronization with the real image display section.
  • the display panel 311 should display the inner image in the virtual image display section in which the optical axis azimuth of the half-wave plate 602 is set to 0 degrees, but it is not necessary to light the image over the entire section.
  • FIG. 13 shows an example of the display operation of the display panel 311 synchronized with the operation of the optical axis azimuth of the half-wave plate 602.
  • the display panel 311 lights the virtual image, that is, the inner image only in a part of the virtual image display section.
  • the luminance of the magnified virtual image observed by the observer can be adjusted by the ratio of the lighting time of the image in the virtual image display section.
  • the outside image is a projection image projected onto the screen 607, and since the luminance is relatively low, it is considered preferable that the display unit 611 light the image over the entire real image display section.
  • the inner image or the outer image is alternated in time division by switching the optical axis orientation of the half-wave plate 802 in two steps of 0 degrees and 45 degrees.
  • the optical axis orientation of the half-wave plate 802 to an angle ⁇ between 0 degrees and 45 degrees (see FIG. 14)
  • the S-polarization component and the P-polarization component of the emitted light You can adjust the ratio of In order to change the optical axis orientation of the half wave plate 802, the half wave plate 802 itself may be physically rotated.
  • the S-polarization component after passing through the half-wave plate 602 is reflected on the front side of the polarization beam splitter 604 (reflected light A in FIG. 6). Is observed by the observer as an enlarged virtual image of the displayed image.
  • the P-polarization component after passing through the half-wave plate 602 is transmitted through the polarization beam splitter 604 and is once circularly polarized by the rear quarter-wave plate 605. After being converted (see FIG. 17), it is reflected by the concave mirror 606 and passes through the quarter-wave plate 605 again to be converted into S-polarized light (see FIG. 18). Since the light is reflected on the back side of the splitter 604 (reflected light B in FIG. 6), it is projected on the screen 607 as an outer image.
  • the ratio of S-polarization component to P-polarization component in other words, the luminance ratio of the inner image to the outer image is cos 2 ⁇ : sin 2 ⁇ Become.
  • the luminance of the outside image can be adjusted by changing the optical axis orientation ⁇ of the half-wave plate 602.
  • the configuration example of the virtual image / real image optical unit 312 shown in FIG. 6 since the multiplexed inner image and outer image are separated, it is possible to present an outer image different from the inner image. On the other hand, if an outer image common to the inner image is presented, the configuration of the virtual image / real image optical unit 312 can be simplified.
  • FIG. 19 shows another configuration example of the virtual image / real image optical unit 312.
  • the illustrated virtual image / real image optical unit 312 includes a light guide 1901, a half mirror 1902 disposed inside the light guide, a concave mirror 1903 formed on the end face of the light guide 1901, and an inner image. It comprises collimating optics 1904 for imaging and a screen 1905 for projecting the outside image.
  • the display light emitted from the display panel 311 is incident from one end face of the light guide 1901.
  • the half mirror 1902 is disposed at an angle of 45 degrees with respect to the optical axis of the incident light from the display panel 311, and reflects a part of the incident display light and transmits a part of the incident display light.
  • the intensities of the reflected light and the transmitted light are approximately equal, for example, the intensities of the reflected light may be adjusted to be higher.
  • the display light reflected on the front side of the half mirror 1902 (reflected light A in FIG. 19) is emitted from the inner side surface of the light guide 1901 and then condensed by the collimating optical unit 1904 to display the display image of the display panel 311 It is observed in the pupil of the observer as an enlarged virtual image of
  • the light having passed through the half mirror 1902 is reflected and condensed by the concave mirror 1903 formed on the other end face of the light guide 1901, and then reflected by the back side of the half mirror 1902 (FIG. 19).
  • Reflected light B The reflected light B is emitted from the outer side surface of the light guide 1901 and then projected onto the screen 1905 to project and display a real image of the display image of the display panel 311.
  • the reflectance of the half mirror 1902 is increased, preferably 90% or more.
  • the size of the screen 1905 should not be too large, preferably 2 inches or less.
  • the gain of the screen 1905 is increased, preferably to 2 or more (the gain in complete diffusion is set to 1, and the diffusion characteristic is such that the front luminance is twice or more compared to the gain of 1).
  • FIG. 20 shows still another configuration example of the virtual image / real image optical unit 312.
  • the illustrated virtual image / real image optical unit 312 includes a light guiding unit 2001, a half mirror 2002 disposed inside the light guiding unit 2001, a plane mirror 2003 formed on an end face of the light guiding unit 2001, and an inner image.
  • a collimating optical unit 2004 for forming an image, a projection optical unit 2005 for projecting an outer image, and a screen 2006 are provided.
  • the display light emitted from the display panel 311 is incident from one end face of the light guide portion 2001.
  • the half mirror 2002 is disposed at an angle of 45 degrees with respect to the optical axis of the incident light from the display panel 311, reflects a part of the incident display light, and transmits a part (same as above).
  • the intensities of the reflected light and the transmitted light are approximately equal, for example, the intensities of the reflected light may be adjusted to be higher.
  • the display light reflected on the front side of the half mirror 2002 (reflected light A in FIG. 20) is emitted from the inner side surface of the light guide 2001 and then collected by the collimating optical unit 2004 to display the display image of the display panel 311 It is observed in the pupil of the observer as an enlarged virtual image of
  • the light having passed through the half mirror 2002 is totally reflected by the plane mirror 2003 formed on the other end face of the light guiding portion 2001 and is further reflected on the back side of the half mirror 2002. It emits from the outer side (reflected light B in FIG. 20).
  • the reflected light B is enlarged and projected onto the screen 2006 by the projection optical unit 2005, and the projection image of the display image is displayed.
  • the head-mounted image display can be said to be one of the ultimate displays of an individual.
  • the conventional head-mounted image display device does not have means for transmitting information to the outside, the surrounding people can not receive any information from the user who wears it.
  • the user himself / herself can not transmit information to the outside unless the device is removed and the viewing of the content is interrupted.
  • the head-mounted image display device 1 also has a function of displaying an outer image viewed from the outside of the device, in addition to the inner image viewed from the user who wears the device. . Therefore, the surrounding person can know the state of the user himself, what he / she is doing, what he / she is watching, and the degree to which he / she concentrates or is immersive through the outside image. Also, even when the user is wearing the device (that is, while continuing the viewing of content), the user can convey information about his / her condition and the content being viewed through the outer image.
  • control unit 301 turns on / off the outer image, the display method (size of display image, brightness, and the like according to an instruction from the user via the input operation unit 302. Control the information to be displayed, such as contrast, color, display position, continuous display or intermittent display). Further, the control unit 301 controls an outer image interlocked with or linked to the content to be displayed as the inner image, in accordance with an instruction from the user.
  • Table 1 An example of the display control method of the outer side image and the inner side image according to the instruction from the user is summarized in Table 1 below.
  • FIG. 21 illustrates an operation example of the head-mounted image display device 1 according to an instruction from the user via the input operation unit 302 in the form of a state transition diagram.
  • the head-mounted image display device 1 sets the inside image on and the outside image off.
  • the outer image is turned on, and the image shifts to the both-side image ON state.
  • the display of the outer image is instructed in the both-side image on state, the outer image is turned off and the initial state is restored.
  • both-side image ON state according to an instruction from the user via the input operation unit 302, switching control of an image to be displayed as the outer image or the inner image, color adjustment of the outer image and the inner image, the outer image and the inner image Brightness control, switching the display size of the outside image, moving the display area of the outside image, etc. (full screen display, either left or right display, display using a part of the screen, etc.).
  • the inner image is turned OFF, and the both images are shifted to the OFF state. Also, when the display of the inner image is instructed in the both-sides image off state, the inner image is turned on and the initial state is restored.
  • the outside image In the both-side image on state where the outside image is on and the outside image only, as the outside image, the same image as the inside image or an outside dedicated image different from the inside image is displayed (for example, the user is currently viewing When it is desired to hide or camouflage an inner image to surrounding people, the replaced image content is displayed as an outer image).
  • information on the surrounding environment acquired by the environment sensor (described above), the state of the user acquired by the state sensor (described above), and the like can be displayed as the outer image.
  • information displayed as an outer image (for example, a slide show) ) May be switched.
  • the outer image may be displayed on the inner side so that the user who is wearing can visually check the outer image.
  • the outer image does not always need to be displayed constantly, that is, continuously displayed, and intermittent display may be performed or timer display may be performed when predetermined time is reached.
  • the control unit 301 may perform continuous display, intermittent display, or timer display according to an instruction from the user via the input operation unit 302.
  • the state shifts to the prohibited state for prohibiting the user input operation on the inner image
  • the prohibition of the user input operation on the inner image is released.
  • the state shifts to a prohibited state in which the user input operation to the outer image is prohibited, and In response to the user's input operation, the prohibition of the user input operation on the outside image is released.
  • the image control control unit 301 According to the environmental information acquired by the environmental information acquisition unit 304, the image control control unit 301 according to the surrounding environment displays the inner image seen from the user who wears the device 1 and the outer image seen from the outside of the device Control the action.
  • An example of the display control method of the outer side image and the inner side image according to the environment information is summarized in Table 2 below.
  • FIG. 22 illustrates an operation example of the head-mounted image display device 1 according to the environment information in the form of a flowchart.
  • the illustrated processing operation is started periodically, for example.
  • the environmental information acquisition unit 304 acquires output information of various environmental sensors (described above) as environmental information (step S2201). Then, the control unit 301 analyzes the acquired environment information (step S2202), specifies the surrounding environment, and checks whether a change in the environment in which the inner image or the outer image should be switched has occurred (step S2203). ).
  • control unit 301 controls the display of the outer image according to the current environment (step S2204).
  • the control unit 301 adjusts the brightness level of the outer image so as to be suitable for the current surrounding environment, judging that it is daytime or after sunset according to the current time clocked by the clock.
  • control unit 301 may perform intermittent display or timer display of the outer image according to the current time counted by a clock.
  • control unit 301 determines whether or not a person is present around the head-mounted image display device 1 based on the recognition result of the photographed image of the surrounding camera, and in response to the appearance of the person, the outer image Start the display of. Furthermore, the control unit 301 controls the display area and the display size of the outer image according to the location (azimuth) and the distance at which the appearing person is present. The control unit 301 also controls the display area and the display size of the outer image according to the number of people in the vicinity. When the number of people is large, it is assumed that the security level of the image is lowered, so the control unit 301 may control the luminance level of the external image according to the number of people in the vicinity.
  • the image control control unit 301 According to the current state information of the user acquired by the state information acquisition unit 305, the image control control unit 301 according to the user state is an inner image viewed from the user side wearing the apparatus 1, and the image from the outside of the apparatus 1. Control the display behavior of the visible outside image.
  • An example of the display control method of the outer side image and the inner side image according to the state information is summarized in Table 3 below.
  • FIG. 23 illustrates an operation example of the head-mounted image display device 1 in accordance with the state information of the user in the form of a flowchart.
  • the illustrated processing operation is started periodically, for example.
  • the state information acquisition unit 305 acquires output information of various state sensors (described above) as state information (step S2301). Then, the control unit 301 analyzes the acquired state information (step S2302), specifies the current working state, the action state, the mental state, and the physiological state of the user, and notifies the surrounding person of the user state. Is checked (step S2303).
  • control unit 301 controls the display of the outer image according to the user state (step S2304).
  • the control unit 301 specifies the eyelid state or the direction of the line of sight based on the output information of the state sensor such as the myoelectric sensor, the electrookinetic sensor, or the camera, the eyelid closing state (eye opening degree) Or, an icon (see, for example, FIGS. 24 and 25) expressing the direction of the line of sight (the direction of the pupil) is displayed on the outer image. Further, the icons as shown in FIG. 24 and FIG. 25 may be displayed superimposed on the outer image which is the same as the inner image.
  • control unit 301 specifies the mental state of the user (whether the user is immersive or concentrated while observing the inner image, arousal level, emotion, emotion, etc.) based on the output information of the state sensor, An icon (not shown) expressing the mental state is displayed on the outside image. Furthermore, based on the mental state, it is determined whether or not the user may talk to the user, interrupt the viewing of the inner image, or disturb it, and an icon (not shown) representing the determined situation, Or display a message such as "Now immersive", "Don't talk! On the outside image.
  • blink action can be detected based on output information of a state sensor such as an electromyography sensor or an electro-oculogram sensor.
  • the control unit 301 can determine the mental state of the user according to the number of blinks per hour and the blink time.
  • FIG. 26 exemplifies a method of determining the user's mental state (waking / sleepiness / concentration) according to the number of blinks per hour detected by the electro-oculogram method and the blink time.
  • control unit 301 can determine the mental state of the user according to the blink interval and blink time.
  • FIG. 27 exemplifies a method of determining the mental state (awakening / sleepiness / concentration) of the user according to the blink interval detected by the electro-oculogram method and the blink time.
  • the blink time detected by the electro-oculogram method is tb
  • the blink interval is ti.
  • the blink time threshold is Thb
  • the blink interval threshold is Thi
  • the blink interval maximum threshold is Mi
  • the average blink time A (tb) and the average blink interval A (ti) are each sampled at the sampling number n. It calculates like following Formula (1) and (2).
  • the states are estimated in the order of detection priority shown below.
  • FIG. 28 exemplifies a method of determining the mental state (waking / sleepiness / concentration) of the user according to the blink interval detected by the photographing method and the blink time.
  • the state is estimated in the order of detection priority shown below based on the average blink time A (tb) and the average blink interval A (ti) calculated according to the equations (1) and (2) above. .
  • an electroencephalogram at the time of closing the eye can be obtained from the intraocular electrode.
  • the alpha wave component (frequency of about 10 Hz, amplitude of several tens of ⁇ V) can be observed from the electroencephalogram when the eye is closed, but during sleep, the alpha wave disappears from the electroencephalogram.
  • control unit 301 displays the outer image and the inner image so as to be adapted to the action state.
  • the posture of the user's head (or the head-mounted image display device 1 worn by the user) can be detected based on output information of a state sensor such as a gyro sensor, an acceleration sensor, or a camera.
  • a state sensor such as a gyro sensor, an acceleration sensor, or a camera.
  • control unit 301 controls to keep the character information 2901 displayed in the outer image horizontal (see FIG. 29).
  • the control unit 301 When it is detected that the head has rotated in the (yaw direction), the control unit 301 maintains the position of the inner image or the outer image mapped to the real space. For example, it is assumed that the image indicated by reference numeral 3001 in FIG. 30 is prepared for display of the inner image or the outer image, and the area indicated by reference numeral 3002 is displayed at the current rotational position of the head. In such a case, when the head rotates in the yaw direction (left direction), the head moves to a display area indicated by reference numeral 3003. When the head is rotated in the yaw direction (rightward), the head moves to a display area indicated by reference numeral 3004.
  • the user can perform an action state such as stationary (including sitting, sitting and standing), walking, traveling, moving with a moving object, etc. It can be detected.
  • the control unit 301 controls the display of the outer image to be adapted to such an action state.
  • the image control control unit 301 displays the inner image viewed from the side of the user wearing the device 1 and the outer image viewed from the outside of the device according to the information of the content displayed as the inner image Control the An example of the display control method of the outer side image and the inner side image according to the content information is summarized in Table 5 below.
  • FIG. 31 illustrates an operation example of the head-mounted image display device 1 according to content information in the form of a flowchart.
  • the illustrated processing operation is started periodically, for example.
  • step S3101 when the content information acquisition unit 307 acquires content information (step S3101), the control unit 301 analyzes the acquired state information (step S3102).
  • the content information acquisition unit 307 for example, metadata attached to the image content (content title, genre, detailed information, URL of related site (Uniform Resource Locator), etc.), total reproduction time of the image content, current reproduction position Or, obtain content information such as the remaining playback time, parental control, and the presence or absence of other usage restrictions.
  • metadata attached to the image content content title, genre, detailed information, URL of related site (Uniform Resource Locator), etc.
  • total reproduction time of the image content current reproduction position Or, obtain content information such as the remaining playback time, parental control, and the presence or absence of other usage restrictions.
  • control unit 301 checks whether or not the content information to be notified to the surrounding persons has been acquired (step S3103).
  • control unit 501 causes the user who attached the device 1 according to the content information acquired by the content information acquisition unit 507.
  • the display operation of the inside image seen from the side and the outside image seen from the outside of the device is controlled (step S3104).
  • the control unit 301 turns on / off the outer image, the display method (size of display image, brightness, contrast, color tone, display position, continuous display or intermittent display, etc.)
  • a character string such as a URL providing detailed information of content or related information, or a QR code (registered trademark) obtained by encoding the character string is controlled.
  • the control unit 301 controls an outer image interlocked with or linked to the content to be displayed as the inner image according to the content information.
  • An image display device mounted on a head or a face of a user, wherein the display device displays an image, the place where the image can be seen from the user side, and the place where it can be seen from the outside of the image display device
  • An image display apparatus comprising: a light guide unit leading to each of; and a control unit that controls display of an inner image viewed from the user side and an outer image viewed from the outer side.
  • the light guiding portion includes a first wave plate for converting the polarization characteristic of the light emitted from the display device, and the light guide is disposed on the optical axis of the incident light of the display device.
  • a polarization beam splitter that reflects or passes, a second wave plate that converts and passes the polarization characteristics of the passing light of the polarization beam splitter, and a mirror that reflects the passing light of the second wave plate, Among the incident light of the display device, the light reflected from the polarization beam splitter is used to display the inner image, and the light passing through the polarization beam splitter passes through the second wave plate and the mirror to transmit the polarization beam.
  • the image display apparatus wherein the outer image is displayed by light reflected from a splitter.
  • the display device emits display light consisting of an S-polarization component
  • the first wave plate is a half-wave plate
  • the emission light of the display device is converted to S-polarization or P-polarization
  • the polarization beam splitter is disposed at an angle of 45 degrees with respect to the optical axis of the incident light from the display device to reflect the S-polarization component of the passing light of the first wave plate to the user.
  • the inner image is displayed at a place viewed from the side, and a P-polarization component of the passing light of the first wave plate is transmitted, and the second wave plate is a quarter wave plate and the mirror Is a concave mirror, and the P-polarized light component passing through the polarization beam splitter is converted to circularly polarized light passing through the quarter-wave plate and collected and reflected by the concave mirror, and then the four-minute Passing through the single wave plate in the reverse direction And reflecting the polarized beam splitter is converted into polarized light, and displays the outer image in a location visible from the outside of the image display apparatus, an image display apparatus according to (2).
  • the image display device further including: a collimating optical unit that condenses the light emitted from the display device.
  • the optical axis direction of the half-wave plate can be dynamically polarized, and the control unit synchronizes to the first section in which the optical axis orientation of the half-wave plate is set to 0 degrees And causing the display device to light the outer image in synchronization with a second section in which the optical axis orientation of the half-wave plate is set to 45 degrees, as well as lighting the inner image on the display device.
  • the image display apparatus as described in said (3).
  • the image display device wherein the control unit adjusts the respective luminances of the inner image and the outer image by changing a ratio of the first section and the second section.
  • the control unit adjusts the brightness of the inner image by changing the length of time during which the display device turns on the inner image in the first section, or in the second section.
  • the image display apparatus according to (5), wherein the brightness of the outer image is adjusted by changing the length of time during which the display device lights the outer image.
  • the optical axis direction of the half-wave plate can be dynamically polarized, and the control unit adjusts the optical axis orientation of the half-wave plate to between 0 and 45 degrees.
  • the image display apparatus as described in said (3) which adjusts each brightness
  • the image display device according to (1) including a screen that projects the outer image.
  • the control unit controls the scattering action of the screen in synchronization with the display period of the inner image or the outer image.
  • Image display device as described.
  • the control unit causes the display device to emit display light of a specific wavelength component that is diffracted by the hologram when the outer image is displayed.
  • the light guiding unit includes a half mirror disposed on an optical axis of incident light of the display device, a collimating optical unit that forms an image of light reflected by the half mirror, and the half mirror
  • the image display device according to (1) further comprising: a concave mirror that reflects the passing light; and a screen that projects the light that is reflected by the half mirror after being reflected by the concave mirror.
  • the light guiding unit includes a half mirror disposed on an optical axis of incident light of the display device, a collimating optical unit that forms an image of light reflected by the half mirror, and the half mirror
  • the image display device according to (1) further including: a plane mirror that reflects passing light; and a projection optical unit that reflects the plane mirror and then projects the light that is reflected by the half mirror.
  • the image display device according to (1) further including: a projection optical unit that projects the outer image toward the outside.
  • the apparatus according to (1) further including an input operation unit through which the user performs an input operation, wherein the control unit controls display of the inner image and the outer image according to the input operation by the user.
  • Image display device further including an input operation unit through which the user performs an input operation, wherein the control unit controls display of the inner image and the outer image according to the input operation by the user.
  • An environmental information acquisition unit for acquiring information related to the ambient environment of the image display device, the control unit controlling the display of the inner image and the outer image based on the ambient environment.
  • the image display device 1).
  • the apparatus further comprising: a state information acquisition unit that acquires information on the state of the user, wherein the control unit controls display of the inner image and the outer image based on the state of the user.
  • the image display device according to (21)
  • the head-mounted image display device can be classified into a light blocking type and a transmissive type, the technology disclosed herein can be mainly applied to the transmissive type.
  • the head-mounted image display device can be classified into a binocular type in which the display unit is provided to both the left and right eyes and a monocular type in which the display unit is provided to only one of the left and right eyes.
  • the techniques disclosed in this document can be applied to any of these types.
  • the head-mounted image display device may be of a glasses type or an ear type.

Abstract

 頭部に装着して画像の視聴に利用されるとともに、装着者以外の者に対してもさまざまな情報を提示する画像表示装置を提供する。 画像表示装置は、当該装置を装着したユーザー側から見える内側画像の他に、当該装置の外側から見える外側画像を表示する機能も備える。外部の者は、外側画像を通じて、ユーザー本人の状態や、本人が何をしているか、何を視聴しているのか、視聴に集中若しくは没入している度合いを知ることができる。また、ユーザー本人は、装置を装着したままでも、外部画像を通じて、自分の状態や、視聴しているコンテンツに関する情報を伝えることができる。

Description

画像表示装置
 本明細書で開示する技術は、表示画像を虚像光学系により拡大虚像として観察者に観察させるように表示する画像表示装置に係り、特に、画像を表示している間も観察者は画像越しに外景を眺めることができる透過性の画像表示装置に関する。
 頭部に装着して画像の視聴に利用される頭部装着型の画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。一般に、頭部装着型画像表示装置は、左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用することで、視覚及び聴覚を制御できるように構成されている。また、頭部装着型画像表示装置は、左右の眼に違う画像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば3次元画像を提示することができる。
 頭部装着型画像表示装置は、左右の眼の表示部として、例えば液晶や有機EL(Electro-Luminescence)素子などからなる高解像度の表示パネルを装備する。また、頭部装着型画像表示装置を、遮光性のタイプと透過性のタイプに分類することもできる。遮光性の頭部装着型画像表示装置は、頭部に装着した際に、ユーザーの眼を直接覆うように構成され、画像視聴時に没入感が増す。表示画面を投影する光学レンズで適当な画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる(例えば、特許文献1を参照のこと)。一方、透過性の頭部装着型画像表示装置の場合、ユーザーが頭部に装着し、画像を表示している間も、画像越しに外景を眺めることができるので(例えば、特許文献2を参照のこと)、屋外での使用時や歩行中の使用時において、ユーザーは障害物との衝突などの危険から回避することができる。
 ところで、薄型の表示装置においては、表と裏の両面で画像を表示可能な表示装置について提案がなされている(例えば、特許文献3、4を参照のこと)。両面表示装置は、両面で同一のコンテンツを表示することも、両面で別々のコンテンツを表示することもできる。ユーザーは装置本体の表側及び裏側の双方で画像を観察することができることから、両面表示装置は良好な情報提供ツールとなり得る。
 他方、上述した頭部装着型の画像表示装置は、表側すなわち装着者の眼に対向して画像を表示することはできるが、裏側すなわち画像表示装置の外部に対して画像を表示することはない。このため、外部の者は、装着者が何を見ているのかまったく確認することはできない。また、装着者の眼が覆い隠されているので、外部の者は装着者の状態(例えば、話しかけてもよいか、後にすべきか)を把握するのが難しい。
 頭部装着型画像表示装置は、個人の究極のディスプレイの1つと言える。しかしながら、装置を装着したユーザー本人以外は、その本人の状態や、本人が何をしているか、何を視聴しているのか、視聴に集中若しくは没入している度合いを知ることができない。また、ユーザー本人が自分の状態を周囲に報知したい場合や、視聴しているコンテンツを外部に知らせたい場合や、コンテンツに関連する有用な情報を伝えたい場合もあるが、一旦装置を外してからでないと伝えることができず、視聴が中断してしまう。
 本明細書で開示する技術の目的は、頭部に装着して画像の視聴に利用され、外部の者に対して、装着者が何を見ているか、装着者の現在の状態など、さまざまな情報を提示することができる、優れた画像表示装置を提供することにある。
 本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、
 画像を表示する表示デバイスと、
 前記画像を前記ユーザー側から見える場所並びに前記画像表示装置の外側から見える場所にそれぞれ導く導光部と、
 前記ユーザー側から見える内側画像及び前記外側から見える外側画像の表示を制御する制御部と、
を具備する画像表示装置である。
 本願の請求項2に記載の技術によれば、請求項1に記載の画像表示装置の前記導光部は、前記表示デバイスの出射光の偏光特性を変換する第1の波長板と、前記表示デバイスの入射光の光軸上に配設され偏光特性に応じて入射光を反射又は通過する偏光ビーム・スプリッターと、前記偏光ビーム・スプリッターの通過光の偏光特性を変換して通過する第2の波長板と、前記第2の波長板の通過光を反射する鏡を備えている。そして、前記表示デバイスの入射光のうち前記偏光ビーム・スプリッターを反射する光により前記内側画像を表示するとともに、前記偏光ビーム・スプリッターの通過光が前記第2の波長板及び前記鏡を経て前記偏光ビーム・スプリッターを反射する光により前記外側画像を表示するように構成されている。
 本願の請求項3に記載の技術によれば、請求項2に記載の画像表示装置の前記表示デバイスは、S偏光成分からなる表示光を出射し、前記第1の波長板は、2分の1波長板からなり、前記表示デバイスの出射光をS偏光又はP偏光に変換し、前記偏光ビーム・スプリッターは、前記表示デバイスからの入射光の光軸に対し45度だけ傾けて配置されて、前記第1の波長板の通過光のうちS偏光成分を反射して前記ユーザー側から見える場所に前記内側画像を表示するとともに、前記第1の波長板の通過光のうちP偏光成分を通過し、前記第2の波長板は4分の1波長板からなるとともに、前記鏡は凹面鏡からなり、前記偏光ビーム・スプリッターを通過したP偏光成分は、前記4分の1波長板を通過して円偏光に変換されるとともに前記凹面鏡で集光及び反射した後、前記4分の1波長板を逆方向に通過してS偏光に変換されて前記偏光ビーム・スプリッターを反射して、前記画像表示装置の外側から見える場所に前記外側画像を表示するように構成されている。
 本願の請求項4に記載の技術によれば、請求項3に記載の画像表示装置の前記2分の1波長板の光軸方向をダイナミックに偏光することが可能である。そして、前記制御部は、前記2分の1波長板の光軸方位を0度に設定する第1の区間に同期して前記表示デバイスに前記内側画像を点灯させるとともに、前記2分の1波長板の光軸方位を45度に設定する第2の区間に同期して前記表示デバイスに前記外側画像を点灯させるように構成されている。
 本願の請求項5に記載の技術によれば、請求項4に記載の画像表示装置の前記制御部は、前記第1の区間と前記第2の区間の割合を変えて、前記内側画像及び前記外側画像の各輝度を調整するように構成されている。
 本願の請求項6に記載の技術によれば、請求項4に記載の画像表示装置の前記制御部は、前記第1の区間内で前記表示デバイスが前記内側画像を点灯させる時間の長さを変えて前記内側画像の輝度を調整し、又は、前記第2の区間内で前記表示デバイスが前記外側画像を点灯させる時間の長さを変えて前記外側画像の輝度を調整するように構成されている。
 本願の請求項7に記載の技術によれば、請求項3に記載の画像表示装置の前記2分の1波長板の光軸方向をダイナミックに偏光することが可能である。そして、前記制御部は、前記2分の1波長板の光軸方位を0度から45度の間で調整することにより、前記表示デバイスからの出射光が前記内側画像並びに前記外側画像として表示される際の各々の輝度を調整するように構成されている。
 本願の請求項8に記載の技術によれば、請求項4並びに7に記載の画像表示装置の前記2分の1波長板は、強誘電液晶で構成された光ダブラーからなる。
 本願の請求項9に記載の技術によれば、請求項2に記載の画像表示装置は、前記偏光ビーム・スプリッターの反射率を90%以上に設定している。
 本願の請求項10に記載の技術によれば、請求項1に記載の画像表示装置は、前記外側画像を投影するスクリーンを備えている。
 本願の請求項11に記載の技術によれば、請求項10に記載の画像表示装置は、前記スクリーンのサイズを2インチ以下とし、又は、前記スクリーンのゲインを2以上とする。
 本願の請求項12に記載の技術によれば、請求項10に記載の画像表示装置は、高分子分散型液晶からなる前記スクリーンを使用している。そして、前記制御部は、前記内側画像又は前記外側画像の表示期間に同期させて、前記スクリーンの散乱作用を制御するように構成されている。
 本願の請求項13に記載の技術によれば、請求項10に記載の画像表示装置は、ホログラムからなる前記スクリーンを使用している。そして、前記制御部は、前記外側画像を表示するときには、前記ホログラムで回折する特定波長成分の表示光を前記表示デバイスから出射させるように構成されている。
 本願の請求項14に記載の技術によれば、請求項1に記載の画像表示装置の前記導光部は、前記表示デバイスの入射光の光軸上に配設されたハーフ・ミラーと、前記ハーフ・ミラーの反射光を結像するコリメート光学部と、前記ハーフ・ミラーの通過光を反射する凹面鏡と、前記凹面鏡を反射した後さらに前記ハーフ・ミラーで反射する光を投影するスクリーンを備えている。
 本願の請求項15に記載の技術によれば、請求項1に記載の画像表示装置の前記導光部は、前記表示デバイスの入射光の光軸上に配設されたハーフ・ミラーと、前記ハーフ・ミラーの反射光を結像するコリメート光学部と、前記ハーフ・ミラーの通過光を反射する平面鏡と、前記平面鏡を反射した後さらに前記ハーフ・ミラーで反射する光を投影する投影光学部及びスクリーンを備えている。
 本願の請求項16に記載の技術によれば、請求項1に記載の画像表示装置は、前記外側画像を前記外部に向けて投影する投影光学部をさらに備えている。
 本願の請求項17に記載の技術によれば、請求項1に記載の画像表示装置は、前記ユーザーが入力操作を行なう入力操作部をさらに備えている。そして、前記制御部は、前記ユーザーによる入力操作に応じて、前記内側画像並びに前記外側画像の表示を制御するように構成されている。
 本願の請求項18に記載の技術によれば、請求項1に記載の画像表示装置は、前記画像表示装置の周囲環境に関する情報を取得する環境情報取得部をさらに備えている。そして、前記制御部は、前記周囲環境に基づいて、前記内側画像と前記外側画像の表示を制御するように構成されている。
 本願の請求項19に記載の技術によれば、請求項1に記載の画像表示装置は、前記ユーザーの状態に関する情報を取得する状態情報取得部をさらに備えている。そして、前記制御部は、前記ユーザーの状態に基づいて、前記内側画像と前記外側画像の表示を制御するように構成されている。
 本願の請求項20に記載の技術によれば、請求項1に記載の画像表示装置は、前記内側画像として表示する画像コンテンツに関するコンテンツ情報を取得するコンテンツ情報取得部をさらに備えている。そして、前記制御部は、前記コンテンツ情報に応じて、前記外側画像の表示を制御するように構成されている。
 本明細書で開示する技術によれば、頭部に装着して画像の視聴に利用され、周囲の者に対して、装着者が何を見ているか、装着者の現在の状態など、さまざまな情報を提示することができる、優れた画像表示装置を提供することができる。
 本明細書で開示する技術に係る頭部装着型の画像表示装置は、装着したユーザー側から見える内側表示部の他に、外側から見える外側表示部を備えており、装着者が見ているものと同じ画像や、装着者の状態などを外側表示部に表示して、外部にさまざまな情報を提供することができる。
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、透過性タイプの頭部装着型画像表示装置3を装着したユーザーを正面から眺めた様子を示した図である。 図2は、頭部装着型画像表示装置1を上方から眺めた様子を示した図である。 図3は、図1及び図2に示した透過性のタイプの頭部装着型画像表示装置1の機能構成を模式的に示した図である 図4は、内側画像と外側画像の表示間隔を例示した図である。 図5は、頭部装着型画像表示装置1の表示画像を壁面に投影している様子を示した図である。 図6は、虚像・実像光学部312の構成例を示した図である。 図7は、図6に示した虚像・実像光学部312において、表示パネル311から射出した直後の表示光の偏光特性を示した図である。 図8は、図6に示した虚像・実像光学部312において、光軸方位を0度に設定した2分の1波長板602を通過した表示光の偏光特性を示した図である。 図9は、図6に示した虚像・実像光学部312において、光軸方位を45度に傾けた2分の1波長板602を通過した表示光の偏光特性を示した図である。 図10は、図6に示した虚像・実像光学部312において、偏光ビーム・スプリッター604を透過した表示光の偏光特性を示した図である。 図11は、図6に示した虚像・実像光学部312において、凹面鏡606で反射及び集光された後、偏光ビーム・スプリッター604を透過した表示光の偏光特性を示した図である。 図12は、2分の1波長板602の光軸方位の動作例を示した図である。 図13は、2分の1波長板602の光軸方位の動作例を示した図である。 図14は、2分の1波長板602の光軸方位を0度と45度の中間の角度θに設定した様子を示した図である。 図15は、2分の1波長板602の光軸方位を角度θに設定したときに出射されるS偏光成分を示した図である。 図16は、2分の1波長板602の光軸方位を角度θに設定したときに出射されるP偏光成分を示した図である。 図17は、図16に示したP偏光成分が4分の1波長板605を通過して円偏光に変換された様子を示した図である。 図18は、図17に示した円偏光が4分の1波長板605を通過してS偏光に変換された様子を示した図である。 図19は、虚像・実像光学部312の他の構成例を示した図である。 図20は、実像光学部312の他の構成例を示した図である。 図21は、入力操作部302を介したユーザーからの指示に応じた頭部装着型画像表示装置1の動作例を示した状態遷移図である。 図22は、環境情報に応じた頭部装着型画像表示装置1の動作例を示したフローチャートである。 図23は、ユーザーの状態情報に応じた頭部装着型画像表示装置1の動作例を示したフローチャートである。 図24は、瞼を閉じている状態(目の開き具合)を表現したアイコンの表示例を示した図である。 図25は、視線の方向(瞳の向き)を表現したアイコンの表示例を示した図である。 図26は、眼電方式により検出した時間当たり瞬目回数並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示した図である。 図27は、眼電方式により検出した瞬目間隔並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示した図である。 図28は、撮影方式により検出した瞬目間隔並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示した図である。 図29は、外側画像内に表示されている文字情報2901を水平に保つように制御する様子を示した図である。 図30は、実空間にマッピングされた内側画像又は外側画像の位置を保つように制御する様子を示した図である。 図31は、コンテンツ情報に応じた頭部装着型画像表示装置1の動作例を示したフローチャートである。
 以下、図面を参照しながら本発明の実施形態について詳細に説明する。
 既に述べたように、頭部装着型の画像表示装置は、遮光性のタイプ(例えば、特許文献1を参照のこと)と透過性のタイプ(例えば、特許文献2を参照のこと)に分類することができる。本明細書で開示する技術は、主に後者のタイプにも適用することができる。
A.装置構成
 図1には、透過性すなわちシースルーのタイプの頭部装着型画像表示装置1を装着したユーザーを正面から眺めた様子を示している。
 図1に示す例では、頭部装着型画像表示装置1は、視力矯正用の眼鏡に類似した構造からなる。頭部装着型画像表示装置1本体のユーザーの顔と対峙する側面を「内側」、その反対側の側面を「外側」と定義する。ユーザーが頭部装着型画像表示装置1を装着した際、内側の面はユーザーのみが観察することができ、他方の外側の面は外部に露出して外部の者からも観察することができる。装置1本体のユーザーの左右の眼に対向する位置には、透明な導光部などからなる虚像光学部が配設され、虚像光学部の内側には、ユーザーが観察する画像が表示される。また、虚像光学部の外側には、外部の者が観察できる外側画像が表示される。虚像光学部は、例えば、眼鏡フレーム状の支持体によって支持されている。
 図2には、頭部装着型画像表示装置1を上方から眺めた様子を示している。図示のように、頭部装着型画像表示装置1の左右両端には、左眼用及び右眼用の画像をそれぞれ表示出力する表示パネルが配設されている。各表示パネルは、液晶ディスプレイ又は有機EL素子などのマイクロ・ディスプレイからなるが、それぞれ、左眼用及び右眼用の内側画像と外側画像のフレームを例えば時分割により多重して表示出力する。左右の表示画像は、虚像光学部によって左右それぞれの眼付近まで導光されるとともに、内側画像と外側画像に分離される。そして、内側画像の拡大虚像がユーザーの瞳に結像されるとともに、外側画像の拡大虚像は虚像光学部の外側に配設されたスクリーン上に結像される。なお、虚像光学部が表示パネルの出力画像を導光し、内側画像と外側画像に分離するとともに拡大虚像を形成する構成の詳細については、後述に譲る。
 図1及び図2に示した例では、頭部装着型画像表示装置1は、内側画像の表示領域とは表裏の関係にある位置に外側画像の表示領域が配設されているが、他の場所に外側画像を表示するようにしてもよい。また、頭部装着型画像表示装置3は左右一対の場所に外側画像を表示させているが、単一又は3以上の場所に外側画像を表示するようにしてもよい。
 なお、図1及び図2では図示を省略したが、頭部装着型画像表示装置1は、画像に付随した音声を出力する音声出力部を備えている。また、頭部装着型画像表示装置1は、ユーザーの頭部又は顔部に当該装置1を装着する装着部を備えている。例えば、眼鏡フレームに類似した形状をなす装置3本体の左右それぞれの端部に回動可能に支持されたテンプル部(図示しない)がユーザーの左右の耳介に引っ掛かることによって、頭部に装着される。また、図1及び図2に示した頭部装着型画像表示装置3は左右両方の眼に表示部を備えた両眼タイプであるが、左右いずれか一方にのみ表示部を備えた単眼タイプとして構成することも可能である。
 図3には、図1及び図2に示した透過性のタイプの頭部装着型画像表示装置1の機能構成を模式的に示している。上述したように、頭部装着型画像表示装置1は、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像をそれぞれ表示する機能を備えている。以下、各部について説明する。
 制御部301は、ROM(Read Only Memory)301AやRAM(Random Access Memory)301Bを備えている。ROM301A内には、制御部301で実行するプログラム・コードや各種データを格納している。制御部301は、RAM301Bへロードしたプログラムを実行することで、当該装置1を装着したユーザー側から見える内側画像や外側から見える外側画像の表示制御を始め、当該装置1全体の動作を統括的にコントロールする。ROM301Aに格納するデータとして、当該装置1を識別する装置識別情報やその他の装置固有の情報を挙げることができる。
 入力操作部302は、キーやボタン、スイッチなど、ユーザーが入力操作を行う1以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部501に出力する。また、入力操作部302は、リモコン受信部303で受信したリモコン・コマンドからなるユーザーの指示を同様に受け付けて、制御部301に出力する。さらに、入力操作部302は、筋電センサー、眼電センサーなどの状態センサー(後述)から得られる目の運動や瞬目動作を通じて、ユーザーの指示を受け付けるようにしてもよい。
 本実施形態では、制御部301は、入力操作部302を介したユーザーからの指示に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。例えば、制御部301は、ユーザーからの指示に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報をコントロールする。また、制御部301は、内側画像として表示するコンテンツに連動又は連携した外側画像を、ユーザーからの指示に応じてコントロールする。
 環境情報取得部304は、頭部装着型画像表示装置1の外部の環境に関する情報を取得して、制御部301に出力する。環境情報取得部304は、環境情報として、例えば、環境光強度、音響強度、位置若しくは場所、温度、天気、時刻、周囲画像、外側にいる人数などを取得する。また、環境情報取得部304は、これらの環境情報を取得するために、光量センサーや、マイクロフォン、GPS(Global Positioning System)センサー、温度センサー、湿度センサー、時計、イメージ・センサー(カメラ)、放射線センサーなどの各種の環境センサー(いずれも図3には図示しない)を備えていてもよい。これらの環境センサーから取得された環境情報は、例えばRAM301B内に一時的に保持される。
 本実施形態では、制御部301は、環境情報取得部304が取得した環境情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。例えば、制御部301は、環境情報に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報をコントロールする。また、制御部301は、内側画像として表示するコンテンツに連動又は連携した外側画像を、環境情報に応じてコントロールする。
 状態情報取得部305は、頭部装着型画像表示装置1を装着する観察者の状態に関する情報を取得して、制御部301に出力する。状態情報取得部305は、状態情報として、例えば、ユーザーの作業状態(ユーザーの装着の有無)や、ユーザーの行動状態(装着中のユーザーの頭部の姿勢、歩行などの移動、瞼の開閉状態)、精神状態(内側画像を観察中に没頭若しくは集中しているか(あるいは、ながら見、流し見をしているか)などの興奮度、覚醒度、感情や情動など)、さらには生理状態を取得する。また、状態情報取得部305は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温センサー、発汗センサー、筋電センサー、眼電センサー、脳波センサーなどの各種の状態センサー(いずれも図3には図示しない)を備えていてもよい。これらの状態センサーから取得された状態情報は、例えばRAM301B内に一時的に保持される。
 本実施形態では、制御部301は、状態情報取得部305が取得したユーザーの現在の状態情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。例えば、制御部301は、ユーザーの状態情報に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報(眼の開き具合や視線の方向を表現するアイコンや文字情報の表示)をコントロールする。また、制御部301は、内側画像として表示するコンテンツに連動又は連携した外側画像を、ユーザーの状態情報に応じてコントロールする。
 通信部306は、他の装置との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。例えば、通信部306は、内側画像として表示出力するための画像信号を、画像ソースとなる外部機器(図示しない)から受信する。勿論、通信部306は内側画像とは異なる外側画像も、外部機器から受信することができる。
 通信部306で受信し復調及び復号処理された、内側画像若しくは外側画像、あるいはその他の受信データは制御部301に供給される。また、制御部301は、外部機器への送信データを通信部306から送出する。
 通信部306の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信規格に応じて、通信部306を構成することができる。通信規格は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、MHL(Mobile High-definition Link)やUSB(Universal Serial Bus)、HDMI(登録商標)(High Definition Multimedia Interface)、Bluetooth(登録商標)通信、赤外線通信などを挙げることができる。
 コンテンツ情報取得部307は、通信部306を介して入力される画像コンテンツの情報を取得する。図示の例では、コンテンツ情報取得部307は、制御部301内で実行するプログラムによって実現されるが、制御部301外の専用ハードウェアとしてコンテンツ情報取得部307を構成することもできる。コンテンツ情報取得部307は、例えば、画像コンテンツに付随するメタデータ(コンテンツのタイトル、ジャンル、詳細情報、関連サイトのURL(Uniform Resouorce Locator)など)や、画像コンテンツの総再生時間、現在の再生位置若しくは残り再生時間、ペアレンタル・コントロールやその他の使用制限の有無などのコンテンツ情報を取得する。また、コンテンツ情報取得部307は、符号化され画像コンテンツ本体内に埋め込まれた文字列などのデータを復号するデコーダーを備えている。
 本実施形態では、制御部301は、コンテンツ情報取得部307が取得したコンテンツ情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。例えば、制御部301は、コンテンツ情報に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報(コンテンツの詳細情報や関連情報を提供するURLなどの文字列、又は、文字列を符号化したQRコード(登録商標)など)をコントロールする。また、制御部301は、内側画像として表示するコンテンツに連動又は連携した外側画像を、コンテンツ情報に応じてコントロールする。
 画像処理部308は、制御部301から出力される画像信号に基づいて内側画像を生成する内側画像生成部308-1と、制御部301から出力される画像信号に基づいて外側画像を生成する外側画像生成部308-2を含み、生成された内側画像並びに外側画像に対して画質補正などの信号処理をさらに行なうとともに、表示パネル611の画面に合わせた解像度に変換する。但し、内側画像と同じ画像を外側に表示する場合には、外側画像生成部308-2は省略される。
 画像多重化部309は、内側画像生成部308-1並びに外側画像生成部308-2でそれぞれ生成された内側画像と外側画像のフレームを、単一の表示パネル311で表示出力するよう、多重化処理する。多重化の方法は任意であるが、以下では時分割多重処理するものとして説明する。例えば、図4に示すように、画像多重化部309は、時間軸上で連続する内側画像フレームN枚につき、外側画像フレームを1枚挿入する。この場合の、内側画像と外側画像の輝度比(若しくは、画像の鮮明度)は、単純にはN:1となる(但し、内側画像と外側画像それぞれの出力時の輝度が同一と仮定する)。ここで、Nは1以上の正の整数である(図示の例では、N=4)。Nの値が大きくなると、最終的に表示出力される外側画像はより明るく鮮明な画像になる。但し、内側画像と同じ画像を外側に表示する場合には、画像多重化部309における多重化処理は省略される。
 透過性すなわちシースルー・タイプの頭部装着型画像表示装置1は、画像の表示系統として、内側画像及び外側画像を多重して表示する表示パネル311と、表示パネル311で表示された表示光を入射して、内側画像と外側画像に分離して、観察者の瞳に内側画像の拡大虚像を導くとともに、外側画像の実像を外部へ導く虚像・実像光学部312を備えている。
 表示パネル311は、例えば、有機EL(Electro Luminescence)ディスプレイ、無機ELディスプレイや、液晶ディスプレイ(LCD:Liquid Crystal Display)などのマイクロ・ディスプレイからなる。以下では、直線偏光からなる画像光を出力する液晶ディスプレイを表示パネル311に適用することを前提として説明する。また、表示駆動部310は、表示パネル311の画素を行毎に順次選択し、線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
 虚像・実像光学部312は、多重化された内側画像と外側画像を例えば光学作用により分離し、内側画像を拡大した虚像をユーザーの瞳に結像するとともに、外側画像の実像を外側に配設されたスクリーン(図2を参照のこと)上に結像する。
 なお、オプションとして、外側画像の実像が投射されるスクリーンの前方に、さらに投影光学部313を配設してもよい。投影光学部313は、外側画像の実像を、頭部装着型画像表示装置1に近隣の壁面(図示しない)などに拡大投影する(同上)。すなわち、頭部装着型画像表示装置1を小型プロジェクターとしても活用することができる(図5を参照のこと)。
B.透過性の頭部装着型画像表示装置における光学系の構成
 図6には、虚像・実像光学部312の構成例を示している。図示の虚像・実像光学部312は、コリメート光学部601と、2分の1波長板(Half Wave Plate:HWP)602と、導光部(wave guide)603と、導光部603の内部に配設された偏光ビーム・スプリッター(Polarization Beam Splitter:PBS)604及び4分の1波長板(Quarter Wave Plate)605と、導光部603の端面に形成された凹面鏡(concave mirror)606と、外側画像を投影するためのスクリーン607を備えている。
 偏光ビーム・スプリッター604は、表示パネル311からの入射光の光軸に対し45度だけ傾けて配置される。また、4分の1波長板605は、表示パネル311からの入射光の光軸と直交するように配置される。また、凹面鏡606は、表示パネル311からの表示光の入射側とは反対側となる導光部603の端面に形成されている。
 コリメート光学部601は、例えば凸レンズで構成され、表示パネル311の各画素から射出された光束を入射して平行光束群とするよう光学系であり、凸レンズの焦点距離の所定位置に表示パネル311が配置される。コリメート光学部601から射出された平行光束群は、それぞれ2分の1波長板602を介して導光部603に入射される。表示パネル311から射出した直後の表示光はS偏光成分のみからなる(図7を参照のこと)。
 表示パネル311と偏光ビーム・スプリッター604の間には、2分の1波長板602が配設されている。図6に示す例では、表示パネル311を出射した表示光は、コリメート光学部601で平行光束群となった後に、2分の1波長板602に入射する。ここで用いられる2分の1波長板602は、その光軸方向をダイナミックに偏光可能である。光軸方向をダイナミックに偏光可能な2分の1波長板602の一例として、強誘電液晶で構成された光ダブラーを挙げることができる(例えば、特許文献5を参照のこと)。
 ここで、2分の1波長板602の光軸方位を0度に設定すると、2分の1波長板602からは、S偏光からなる表示光がそのまま通過する(図8を参照のこと)。また、2分の1波長板602の光軸方位を45度だけ傾けると、2分の1波長板602からはP偏光に変換された表示光が通過する(図9を参照のこと)。したがって、2分の1波長板602の光軸の角度変更によって、2分の1波長板602を通過する表示光の偏光をS偏光とP偏光に交互に切り換えることができる。また、2分の1波長板602の光軸の角度設定の周期を切り替えることによって、2分の1波長板602を通過するS偏光とP偏光のデューティーを任意に調整することができる。
 導光部603は、ほぼ透明な素材からなる。2分の1波長板602を出射した後のS偏光又はP偏光からなる平行光束群は、導光部603の一方の端面から入射すると、導光部603の内部で全反射して、直進方向に伝搬する。
 偏光ビーム・スプリッター604は、平行光束群の光路上に、表示パネル311からの入射光の光軸に対し45度だけ傾けて配置されている。偏光ビーム・スプリッター604は、P偏光を透過し、S偏光を反射する性質を持つ(周知)。2分の1波長板602の光軸の角度変更によって平行光束群がS偏光とP偏光に交互に切り換わることは、既に述べた通りである。
 2分の1波長板602の光軸方位を0度に設定し、その通過光がS偏光となるときには、偏光ビーム・スプリッター604の表側で反射する(図6中の反射光A)。この反射光Aは、導光部603の内側の側面から出射した後、表示パネル311の表示画像の拡大虚像として観察者の瞳で観察される。したがって、表示パネル311で内側画像を表示するタイミングでは、2分の1波長板602の光軸方位を0度に設定すればよい。
 一方、2分の1波長板602の光軸方位を45度だけ傾け、その通過光がP偏光のときには、偏光ビーム・スプリッター604を透過する。この透過光は、さらに後方の4分の1波長板605で一旦円偏光に変換される(図10を参照のこと)。この円偏光は、導光部603の他方の端面に形成された凹面鏡606で反射及び集光された後、再び4分の1波長板605を通過することで、S偏光に変換される(図11を参照のこと)。このS偏光は、偏光ビーム・スプリッター604の裏側で反射されると(図6中の反射光B)、観察者の瞳とは反対側すなわち外側に進行する。
 図6に示すように、観察者の瞳とは反対側すなわち外側には、散乱体からなるスクリーン607が配設されている。偏光ビーム・スプリッター604の裏側で反射されたS偏光Bは、導光部603の外側の側面から出射した後、スクリーン607上に投射され、表示パネル311の表示画像の実像を投影表示することになる。したがって、表示パネル311で外側画像を表示するタイミングでは、2分の1波長板602の光軸方位を45度だけ傾くように設定すればよい。
 スクリーン607に投射される外側画像の高輝度を確保するには、偏光ビーム・スプリッター604の反射率を上げ、好ましくは反射率を90%以上とする。併せて、スクリーン607のサイズをあまり大きくせず、好ましくは2インチ以下とする。さらには、スクリーン607のゲインを高くし、好ましくはゲイン2以上とする(完全拡散時のゲインを1とし、ゲイン1のときに比べ正面輝度が2倍以上となるような拡散特性とする)。
 スクリーン607として、高分子分散型液晶(Polymer Dispersed Liquid Crystal:PDLC)を用いることができる。PDLCは、印加電圧に応じて、ポリマー・ネットワークの作用により液晶分子の配列が不規則な状態を誘起して光を散乱させることができる。したがって、表示パネル311で外側画像を表示するとともに、その表示光を2分の1波長板602でP偏光に変換して、その実像を投影表示するときのみ、スクリーン607の散乱作用を生じさせればよい。一方、表示パネル311で内側画像を表示するとともに、2分の1波長板602で表示光をS偏光のまま通過させ、表示パネル611の拡大虚像として観察者の瞳に投影するときには、スクリーン607の散乱作用を抑制することで、頭部装着型画像表示装置1の透過性すなわちシースルーとしての特性を活かすことができる。
 あるいは、スクリーン607として、ホログラム・スクリーンを用いることができる。ホログラム・スクリーンは、樹脂フィルム上に干渉縞を積層した構造体からなり、特定波長の光を回折し、その他の波長の光に対しては透明となる性質を持つ。したがって、表示パネル311で外側画像を表示するとともに、その表示光を2分の1波長板602でP偏光に変換して、その実像を投影表示するときのみ、表示パネル611の表示画像を特定波長で出力すればよい。一方、表示パネル311で内側画像を表示するとともに、2分の1波長板602で表示光をS偏光のまま通過させ、表示パネル311の拡大虚像として観察者の瞳に投影するときには、表示パネル311の表示画像を特定波長以外で出力することで、スクリーン607の透明性を保ち、頭部装着型画像表示装置1の透過性すなわちシースルーとしての特性を活かすことができる。
 なお、オプションとして、スクリーン607の前方に、さらに投影光学部313を配設してもよい。投影光学部313は、表示パネル311に表示された外側画像の実像を、頭部装着型画像表示装置1に近隣の壁面などに拡大投影する(図5を参照のこと)。すなわち、頭部装着型画像表示装置1を小型プロジェクターとしても活用することができる(前述)。
 図6に示した構成例によれば、2分の1波長板602の光軸方位を0度に設定したときには、表示パネル311の表示画像の拡大虚像が観察者に観察される。一方、2分の1波長板602の光軸方位を45度だけ傾けたときには、表示パネル311の表示画像の実像がスクリーン607上に投射される。したがって、2分の1波長板602の光軸の角度変更に同期して、表示パネル311で内側画像と外側画像のフレームを交互に切り換えることで、内側画像を観察者の瞳への拡大虚像として出力するとともに、外側画像をスクリーン607への実像として出力することができる。すなわち、2分の1波長板602の光軸方位を0度に設定する期間に同期して、表示パネル311で内側画像を表示するとともに、2分の1波長板602の光軸方位を45度だけ傾ける期間に同期して、表示パネル311で外側画像を表示するようにすればよい。
 図12には、2分の1波長板802の光軸方位の動作例を示している。同図では、2分の1波長板802の光軸方位を0度に設定する区間と、45度に設定する区間が交互に切り替わる。
 2分の1波長板602の光軸方位を0度に設定する区間では、表示パネル311を出射したS偏光が偏光ビーム・スプリッター602に入射し、表示パネル311の表示画像の拡大虚像が観察者に観察される虚像表示区間となる。したがって、この虚像表示区間に同期して、表示パネル311で内側画像を表示すればよい。
 2分の1波長板602の光軸方位を45度に設定する区間では、表示パネル311を出射したP偏光が偏光ビーム・スプリッター602に入射し、表示パネル311の表示画像の実像がスクリーン607に投射される実像表示区間となる。したがって、この実像表示区間に同期して、表示パネル311で外側画像を表示すればよい。
 また、表示パネル311は、2分の1波長板602の光軸方位を0度に設定する虚像表示区間内で内側画像を表示すべきであるが、区間全体にわたり画像を点灯させる必要はない。図13には、2分の1波長板602の光軸方位の動作に同期した表示パネル311の表示動作例を示している。図示の例では、表示パネル311は、虚像表示区間の一部でのみ虚像用すなわち内側画像を点灯させている。虚像表示区間内での画像の点灯時間の割合により、観察者が観察する拡大虚像の輝度を調整することができる。他方、外側画像は、スクリーン607に投射される投影画像であり、輝度が比較的低いので、実像表示区間全体にわたり表示部611が画像を点灯することが好ましいと思料される。
 ここまでは、図8及び図9に示したように、2分の1波長板802の光軸方位を0度と45度の2段階で切り替えることで、内側画像又は外側画像を時分割で交互に表示させる例について説明してきた。これ対し、2分の1波長板802の光軸方位を0度と45度の中間の角度θに設定することで(図14を参照のこと)、その出射光のS偏光成分とP偏光成分の割合を調整することができる。2分の1波長板802の光軸方位を替えるには、2分の1波長板802自体を物理的に回転させればよい。
 2分の1波長板602を通過した後のS偏光成分は(図15を参照のこと)、偏光ビーム・スプリッター604の表側で反射することから(図6中の反射光A)、表示パネル311の表示画像の拡大虚像として観察者に観察される。また、2分の1波長板602を通過した後のP偏光成分は(図16を参照のこと)、偏光ビーム・スプリッター604を透過し、後方の4分の1波長板605で一旦円偏光に変換された後(図17を参照のこと)、凹面鏡606で反射し再び4分の1波長板605を通過することで、S偏光に変換されると(図18を参照のこと)、偏光ビーム・スプリッター604の裏側で反射することから(図6中の反射光B)、外側画像としてスクリーン607に投影される。
 例えば、2分の1波長板602の光軸方位をθに設定したときには、S偏光成分とP偏光成分の比率、言い換えれば、内側画像と外側画像の輝度比はcos2θ:sin2θとなる。内側画像と同じ外側画像を表示するときには、2分の1波長板602の光軸方位θを変更することで、外側画像の輝度を調整することができる。
 図6に示した虚像・実像光学部312の構成例では、多重された内側画像と外側画像を分離するので、内側画像とは異なる外側画像を提示することができる。これに対し、内側画像と共通の外側画像を提示するのであれば、虚像・実像光学部312の構成を簡素化することができる。
 図19には、虚像・実像光学部312の他の構成例を示している。図示の虚像・実像光学部312は、導光部1901と、導光部の内部に配設されたハーフ・ミラー1902と、導光部1901の端面に形成された凹面鏡1903と、内側画像を結像するコリメート光学部1904と、外側画像を投影するためのスクリーン1905を備えている。
 表示パネル311を出射した表示光は、導光部1901の一方の端面から入射する。ハーフ・ミラー1902は、表示パネル311からの入射光の光軸に対し45度だけ傾けて配置されており、入射した表示光の一部を反射するとともに、一部を透過する。反射光と透過光の強度はほぼ等しいが、例えば反射光の方の強度が大きくなるように調整してもよい。
 ハーフ・ミラー1902の表側で反射した表示光は(図19中の反射光A)、導光部1901の内側の側面から出射した後、コリメート光学部1904で集光され、表示パネル311の表示画像の拡大虚像として観察者の瞳で観察される。
 一方・ハーフ・ミラー1902を通過した光は、導光部1901の他方の端面に形成された凹面鏡1903で反射及び集光された後、ハーフ・ミラー1902の裏側で反射される(図19中の反射光B)。この反射光Bは、導光部1901の外側の側面から出射した後、スクリーン1905上に投射され、表示パネル311の表示画像の実像を投影表示することになる。
 スクリーン1905に投射される外側画像の高輝度を確保するには、ハーフ・ミラー1902の反射率を上げ、好ましくは反射率を90%以上とする。併せて、スクリーン1905のサイズをあまり大きくせず、好ましくは2インチ以下とする。さらには、スクリーン1905のゲインを高くし、好ましくはゲイン2以上とする(完全拡散時のゲインを1とし、ゲイン1のときに比べ正面輝度が2倍以上となるような拡散特性とする)。
 また、図20には、虚像・実像光学部312のさらに他の構成例を示している。図示の虚像・実像光学部312は、導光部2001と、導光部2001の内部に配設されたハーフ・ミラー2002と、導光部2001の端面に形成された平面鏡2003と、内側画像を結像するコリメート光学部2004と、外側画像を投影するための投影光学部2005及びスクリーン2006を備えている。
 表示パネル311を出射した表示光は、導光部2001の一方の端面から入射する。ハーフ・ミラー2002は、表示パネル311からの入射光の光軸に対し45度だけ傾けて配置されており、入射した表示光の一部を反射するとともに、一部を透過する(同上)。反射光と透過光の強度はほぼ等しいが、例えば反射光の方の強度が大きくなるように調整してもよい。
 ハーフ・ミラー2002の表側で反射した表示光は(図20中の反射光A)、導光部2001の内側の側面から出射した後、コリメート光学部2004で集光され、表示パネル311の表示画像の拡大虚像として観察者の瞳で観察される。
 一方・ハーフ・ミラー2002を通過した光は、導光部2001の他方の端面に形成された平面鏡2003で全反射された後、さらにハーフ・ミラー2002の裏側で反射して、導光部2001の外側の側面から出射する(図20中の反射光B)。この反射光Bは、投影光学部2005によりスクリーン2006上に拡大投射され、表示画像の投影像を表示することになる。
 スクリーン2006に投射される外側画像の高輝度を確保するには、ハーフ・ミラー2002の反射率を上げ、併せて、スクリーン2006のサイズをあまり大きくせず、且つ、スクリーン2006のゲインを高くすることが好ましい(同上)。
C.頭部装着型画像表示装置における外側への画像表示
 頭部装着型画像表示装置は、個人の究極のディスプレイの1つということができる。しかしながら、従来の頭部装着型画像表示装置は、外部に対して情報を伝達する手段を備えていないので、周囲の者は、装着したユーザーから何ら情報を受け取ることができない。また、ユーザー本人も、一旦装置を外し、コンテンツの視聴を中断しないと、外部に情報を伝えることはできない。
 これに対し、本実施形態に係る頭部装着型画像表示装置1は、当該装置を装着したユーザー側から見える内側画像の他に、当該装置の外側から見える外側画像を表示する機能も備えている。したがって、周囲の者は、外側画像を通じて、ユーザー本人の状態や、本人が何をしているか、何を視聴しているのか、視聴に集中若しくは没入している度合いを知ることができる。また、ユーザー本人は、装置を装着したままでも(すなわち、コンテンツの視聴を継続しながら)、外側画像を通じて、自分の状態や、視聴しているコンテンツに関する情報を伝えることができる。
C-1.ユーザー操作に応じた画像制御
 上述したように、制御部301は、入力操作部302を介したユーザーからの指示に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報をコントロールする。また、制御部301は、内側画像として表示するコンテンツに連動又は連携した外側画像を、ユーザーからの指示に応じてコントロールする。ユーザーからの指示に応じた外側画像及び内側画像の表示制御方法の一例を、以下の表1にまとめておく。
Figure JPOXMLDOC01-appb-T000001
 図21には、入力操作部302を介したユーザーからの指示に応じた頭部装着型画像表示装置1の動作例を状態遷移図の形式で例示している。
 初期状態では、頭部装着型画像表示装置1は、内側画像オン、外側画像オフとする。ここで、入力操作部302を通じて外側画像の表示が指示されると、外側画像をオンにして、両側画像オン状態に移行する。また、両側画像オン状態で外側画像の表示オフが指示されると、外側画像をオフにして、初期状態に復帰する。
 なお、図21では図示を省略したが、両側画像オン状態で内側画像の表示オフが指示されると、内側画像をオフにして、外側画像のみオン状態になる。
 両側画像オン状態では、さらに入力操作部302を介したユーザーからの指示に応じて、外側画像や内側画像として表示する画像の切り替え制御や、外側画像並びに内側画像の色調整、外側画像並びに内側画像の輝度コントロール、外側画像の表示サイズ切り換えや、外側画像の表示エリアの移動などを行なう(全面表示、左右いずれか一方の表示、画面の一部を用いた表示など)。
 また、初期状態で、入力操作部302を通じて内側画像の表示オフが指示されると、内側画像をオフにして、両側画像オフ状態に移行する。また、両側画像オフ状態で内側画像の表示オンが指示されると、内側画像をオンにして、初期状態に復帰する。
 外側画像がオンとなる両側画像オン状態並びに外側画像のみオン状態では、外側画像として、内側画像と同じ画像、あるいは内側画像とは異なる外側専用の画像を表示する(例えば、ユーザーが現在視聴している内側画像を周囲の者に対し隠蔽若しくはカムフラージュしたいときには、すり替えた画像コンテンツを外側画像として表示する)。また、外側画像として、環境センサー(前述)が取得した周囲環境の情報、状態センサー(前述)が取得したユーザーの状態などを表示することができる。さらに、入力操作部302を介したユーザーからの指示(筋電センサーや眼電センサーで検出される瞬目動作や眼球の動きを含む)に応じて、外側画像として表示する情報を、(例えばスライドショーのように)切り替えるようにしてもよい。また、入力操作部302を介したユーザーからの指示に応じて、外側画像を内側にも表示して、装着中のユーザーが外側画像を目視で確認できるようにしてもよい。
 外側画像がオンとなる両側画像オン状態並びに外側画像のみオン状態では、外側画像を常時すなわち連続表示する必要は必ずしもなく、間欠表示や、所定時間になると表示するタイマー表示を行なうようにしてもよい。制御部301は、入力操作部302を介したユーザーからの指示に応じて、連続表示、間欠表示、タイマー表示のいずれかを行なわせるようにしてもよい。
 内側画像がオンとなっている初期状態又は両側画像オン状態では、入力操作の禁止を指示する入力操作に応じて、内側画像に対するユーザー入力操作を禁止する禁止状態に移行し、さらに禁止解除を指示する入力操作に応じて、内側画像に対するユーザー入力操作の禁止を解除する。また、外側画像がオンになっている両眼画像オン状態では、入力操作の禁止を指示する入力操作に応じて、外側画像に対するユーザー入力操作を禁止する禁止状態に移行し、さらに禁止解除を指示する入力操作に応じて、外側画像に対するユーザー入力操作の禁止を解除する。
C-2.周囲環境に応じた画像制御
 制御部301は、環境情報取得部304が取得した環境情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。環境情報に応じた外側画像及び内側画像の表示制御方法の一例を、以下の表2にまとめておく。
Figure JPOXMLDOC01-appb-T000002
 図22には、環境情報に応じた頭部装着型画像表示装置1の動作例をフローチャートの形式で例示している。図示の処理動作は、例えば定期的に起動する。
 まず、環境情報取得部304が、各種環境センサー(前述)の出力情報を環境情報として取得する(ステップS2201)。そして、制御部301は、取得した環境情報を解析して(ステップS2202)、周囲環境を特定し、内側画像又は外側画像の切り替えを行なうべき環境の変化が発生したかどうかをチェックする(ステップS2203)。
 そして、内側画像又は外側画像の切り替えを行なうべき環境の変化が発生したときには(ステップS2203のYes)、制御部301は、現在の環境に応じた外側画像の表示を制御する(ステップS2204)。
 例えば、環境情報取得部304から、環境光の明暗変化が検出されたときや、位置情報やカメラの撮影画像に基づいて屋外から屋内へ(あるいは屋内から屋外へ)移動したことが検出されたとき、あるいは時計が計時する現在時刻に応じて日中又は日没後であることを判別して、制御部301は、現在の周囲環境に適合するように、外側画像の輝度レベルを調整する。
 また、制御部301は、時計で計時される現在時刻に応じて、外側画像の間欠表示やタイマー表示を行なうようにしてもよい。
 また、制御部301は、周囲カメラの撮影画像の認識結果に基づいて、頭部装着型画像表示装置1の周囲に人物がいるかどうかを判定し、人物が現れたことに応答して、外側画像の表示を開始する。さらに、制御部301は、出現した人物がいる場所(方位)や距離に応じて、外側画像の表示エリアや表示サイズを制御する。また、制御部301は、周囲にいる人数に応じて外側画像の表示エリアや表示サイズを制御する。人数が多いときには、画像の機密レベルが低下することが想定されることから、制御部301は、周囲にいる人数に応じて外部画像の輝度レベルを制御するようにしてもよい。
C-3.ユーザー状態に応じた画像制御
 制御部301は、状態情報取得部305が取得したユーザーの現在の状態情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置1の外側から見える外側画像の表示動作をコントロールする。状態情報に応じた外側画像及び内側画像の表示制御方法の一例を、以下の表3にまとめておく。
Figure JPOXMLDOC01-appb-T000003
 図23には、ユーザーの状態情報に応じた頭部装着型画像表示装置1の動作例をフローチャートの形式で例示している。図示の処理動作は、例えば定期的に起動する。
 まず、状態情報取得部305が、各種状態センサー(前述)の出力情報を状態情報として取得する(ステップS2301)。そして、制御部301は、取得した状態情報を解析して(ステップS2302)、ユーザーの現在の作業状態、行動状態、精神状態、並びに生理状態を特定して、周囲の者に通知すべきユーザー状態が発生したかどうかをチェックする(ステップS2303)。
 そして、周囲の者に通知すべきユーザー状態が発生したときには(ステップS2303のYes)、制御部301は、そのユーザー状態に応じた外側画像の表示を制御する(ステップS2304)。
 例えば、制御部301は、筋電センサーや眼電センサー、カメラなどの状態センサーの出力情報に基づいて、瞼の状態や視線の方向を特定すると、瞼を閉じている状態(目の開き具合)や、視線の方向(瞳の向き)を表現したアイコン(例えば、図24、図25を参照のこと)を外側画像に表示する。また、図24や図25に示したようなアイコンを、内側画像と同じとなる外側画像上に重畳して表示してもよい。
 また、制御部301は、状態センサーの出力情報に基づいて、ユーザーの精神状態(内側画像を観察中に没頭若しくは集中しているかなどの興奮度、覚醒度、感情や情動など)を特定すると、その精神状態を表現したアイコン(図示しない)を外側画像に表示する。さらに、精神状態に基づいて、ユーザーに話しかけてもよいか、内側画像の視聴を中断してよいか、邪魔してもよいかといった状況を判定し、判定した状況表現したアイコン(図示しない)、あるいは「只今没入中」、「話し掛けないでください!」といったメッセージ文を外側画像に表示する。
 例えば、筋電センサーや眼電センサーなどの状態センサーの出力情報に基づいて、瞬目動作を検出できることが知られている。制御部301は、時間当たり瞬目回数並びに瞬目時間に応じて、ユーザーの精神状態を判定することができる。図26には、眼電方式により検出した時間当たり瞬目回数並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示している。
 また、制御部301は、瞬目間隔並びに瞬目時間に応じて、ユーザーの精神状態を判定することができる。図27には、眼電方式により検出した瞬目間隔並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示している。
 ここで、眼電方式により検出した瞬目時間をtb、瞬目間隔をtiとする。また、瞬目時間閾値をThb、瞬目間隔閾値をThi、瞬目間隔最大閾値をMiとして、サンプリング数nにて、平均瞬目時間A(tb)、平均瞬目間隔A(ti)をそれぞれ下式(1)、(2)のように計算する。
Figure JPOXMLDOC01-appb-M000004
 そして、上式(1)、(2)に従って算出した平均瞬目時間A(tb)、平均瞬目間隔A(ti)に基づいて、以下に示す検出優先順位順で、状態を推定する。
Figure JPOXMLDOC01-appb-M000005
 また、カメラの撮影画像に基づいて瞬目動作を検出する撮影方式も知られている。図28には、撮影方式により検出した瞬目間隔並びに瞬目時間に応じたユーザーの精神状態(覚醒/眠気/集中)の判定方法を例示している。撮影方式では、上式(1)、(2)に従って算出した平均瞬目時間A(tb)、平均瞬目間隔A(ti)に基づいて、以下に示す検出優先順位順で、状態を推定する。
Figure JPOXMLDOC01-appb-M000006
 瞬目動作では、閉眼と睡眠を区別し難い場合もある。閉眼と睡眠は、ともに画面を見ていない状態であるが、ユーザーが表示コンテンツを認識しているか否かの違いがある。閉眼時の脳波を眼電電極から取得することができる。閉眼安静時には脳波からα波成分(周波数10Hz程度、振幅数十μV)を観測することができるが、睡眠時には脳波からα波が消失する。
 以上の推定結果に基づいて、ユーザーに話しかけてよい状態か否かを以下のように判断することができる。
Figure JPOXMLDOC01-appb-T000007
 また、制御部301は、状態センサーの出力情報に基づいて、ユーザーの行動状態を特定すると、その行動状態に適合するように、外側画像並びに内側画像を表示する。
 ジャイロ・センサーや加速度センサー、カメラなどの状態センサーの出力情報に基づいて、ユーザーの頭部(若しくはユーザーが装着している頭部装着型画像表示装置1)の姿勢を検出することができる。
 頭部が横(ロール方向)に傾いたと検出されたときには、制御部301は、外側画像内に表示されている文字情報2901を水平に保つように制御する(図29を参照のこと)。
 頭が(ヨー方向)に回転したと検出されたときには、制御部301は、実空間にマッピングされた内側画像又は外側画像の位置を保つようにする。例えば、図30中の参照番号3001に示す画像が、内側画像又は外側画像の表示用に用意され、現在の頭の回転位置では参照番号3002で示すエリアが表示されているとする。このような場合、頭がヨー方向(左向き)に回転すると、参照番号3003で示す表示エリアに移動する。また、頭がヨー方向(右向き)に回転すると、参照番号3004で示す表示エリアに移動する。
 また、ジャイロ・センサーや加速度センサー、カメラなどの状態センサーの出力情報に基づいて、ユーザーが静止(臥位、座位、立位を含む)、歩行、走行、移動体での移動などの行動状態を検出することができる。制御部301は、外側画像の表示を、このような行動状態に適合させるように制御する。
C-4.表示コンテンツに応じた画像制御
 制御部301は、内側画像として表示されるコンテンツの情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする。コンテンツ情報に応じた外側画像及び内側画像の表示制御方法の一例を、以下の表5にまとめておく。
Figure JPOXMLDOC01-appb-T000008
 図31には、コンテンツ情報に応じた頭部装着型画像表示装置1の動作例をフローチャートの形式で例示している。図示の処理動作は、例えば定期的に起動する。
 まず、コンテンツ情報取得部307がコンテンツ情報を取得すると(ステップS3101)、制御部301は、取得した状態情報を解析する(ステップS3102)。
 コンテンツ情報取得部307は、例えば、画像コンテンツに付随するメタデータ(コンテンツのタイトル、ジャンル、詳細情報、関連サイトのURL(Uniform Resouorce Locator)など)や、画像コンテンツの総再生時間、現在の再生位置若しくは残り再生時間、ペアレンタル・コントロールやその他の使用制限の有無などのコンテンツ情報を取得する。
 そして、制御部301は、周囲の者に通知すべきコンテンツ情報を取得したかどうかをチェックする(ステップS3103)。
 ここで、周囲の者に通知すべきコンテンツ情報を取得できたときには(ステップS3103のYes)、制御部501は、コンテンツ情報取得部507が取得したコンテンツ情報に応じて、当該装置1を装着したユーザー側から見える内側画像と、当該装置の外側から見える外側画像の表示動作をコントロールする(ステップS3104)。
 例えば、制御部301は、コンテンツ情報に応じて、外側画像のオン/オフや、表示方法(表示画像のサイズ、輝度、コントラスト、色合い、表示位置、連続表示又は間欠表示など)、表示する情報(コンテンツの詳細情報や関連情報を提供するURLなどの文字列、又は、これらの文字列を符号化したQRコード(登録商標)など)をコントロールする。また、制御部301は、内側画像として表示するコンテンツに連動又は連携した外側画像を、コンテンツ情報に応じてコントロールする。
D.本明細書で開示する技術の構成例
 本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、画像を表示する表示デバイスと、前記画像を前記ユーザー側から見える場所並びに前記画像表示装置の外側から見える場所にそれぞれ導く導光部と、前記ユーザー側から見える内側画像及び前記外側から見える外側画像の表示を制御する制御部と、を具備する画像表示装置。
(2)前記導光部は、前記表示デバイスの出射光の偏光特性を変換する第1の波長板と、前記表示デバイスの入射光の光軸上に配設され偏光特性に応じて入射光を反射又は通過する偏光ビーム・スプリッターと、前記偏光ビーム・スプリッターの通過光の偏光特性を変換して通過する第2の波長板と、前記第2の波長板の通過光を反射する鏡を備え、前記表示デバイスの入射光のうち前記偏光ビーム・スプリッターを反射する光により前記内側画像を表示するとともに、前記偏光ビーム・スプリッターの通過光が前記第2の波長板及び前記鏡を経て前記偏光ビーム・スプリッターを反射する光により前記外側画像を表示する、上記(1)に記載の画像表示装置。
(3)前記表示デバイスは、S偏光成分からなる表示光を出射し、前記第1の波長板は、2分の1波長板からなり、前記表示デバイスの出射光をS偏光又はP偏光に変換し、前記偏光ビーム・スプリッターは、前記表示デバイスからの入射光の光軸に対し45度だけ傾けて配置されて、前記第1の波長板の通過光のうちS偏光成分を反射して前記ユーザー側から見える場所に前記内側画像を表示するとともに、前記第1の波長板の通過光のうちP偏光成分を通過し、前記第2の波長板は4分の1波長板からなるとともに、前記鏡は凹面鏡からなり、前記偏光ビーム・スプリッターを通過したP偏光成分は、前記4分の1波長板を通過して円偏光に変換されるとともに前記凹面鏡で集光及び反射した後、前記4分の1波長板を逆方向に通過してS偏光に変換されて前記偏光ビーム・スプリッターを反射して、前記画像表示装置の外側から見える場所に前記外側画像を表示する、上記(2)に記載の画像表示装置。
(4)前記表示デバイスの出射光を集光するコリメート光学部をさらに備える、上記(2)に記載の画像表示装置。
(5)前記2分の1波長板の光軸方向をダイナミックに偏光可能であり、前記制御部は、前記2分の1波長板の光軸方位を0度に設定する第1の区間に同期して前記表示デバイスに前記内側画像を点灯させるとともに、前記2分の1波長板の光軸方位を45度に設定する第2の区間に同期して前記表示デバイスに前記外側画像を点灯させる、上記(3)に記載の画像表示装置。
(6)前記制御部は、前記第1の区間と前記第2の区間の割合を変えて、前記内側画像及び前記外側画像の各輝度を調整する、上記(5)に記載の画像表示装置。
(7)前記制御部は、前記第1の区間内で前記表示デバイスが前記内側画像を点灯させる時間の長さを変えて前記内側画像の輝度を調整し、又は、前記第2の区間内で前記表示デバイスが前記外側画像を点灯させる時間の長さを変えて前記外側画像の輝度を調整する、上記(5)に記載の画像表示装置。
(8)前記2分の1波長板の光軸方向をダイナミックに偏光可能であり、前記制御部は、前記2分の1波長板の光軸方位を0度から45度の間で調整することにより、前記表示デバイスからの出射光が前記内側画像並びに前記外側画像として表示される際の各々の輝度を調整する、上記(3)に記載の画像表示装置。
(9)前記2分の1波長板は、強誘電液晶で構成された光ダブラーからなる、上記(5)又は(8)のいずれかに記載の画像表示装置。
(10)前記偏光ビーム・スプリッターの反射率を90%以上に設定する、上記(2)に記載の画像表示装置。
(11)前記外側画像を投影するスクリーンを備える、上記(1)に記載の画像表示装置。
(12)前記スクリーンのサイズを2インチ以下とし、又は、前記スクリーンのゲインを2以上とする、上記(11)に記載の画像表示装置。
(13)高分子分散型液晶からなる前記スクリーンを使用し、前記制御部は、前記内側画像又は前記外側画像の表示期間に同期させて、前記スクリーンの散乱作用を制御する、上記(11)に記載の画像表示装置。
(14)ホログラムからなる前記スクリーンを使用し、前記制御部は、前記外側画像を表示するときには、前記ホログラムで回折する特定波長成分の表示光を前記表示デバイスから出射させる、上記(11)に記載の画像表示装置。
(15)前記導光部は、前記表示デバイスの入射光の光軸上に配設されたハーフ・ミラーと、前記ハーフ・ミラーの反射光を結像するコリメート光学部と、前記ハーフ・ミラーの通過光を反射する凹面鏡と、前記凹面鏡を反射した後さらに前記ハーフ・ミラーで反射する光を投影するスクリーンを備える、上記(1)に記載の画像表示装置。
(16)前記導光部は、前記表示デバイスの入射光の光軸上に配設されたハーフ・ミラーと、前記ハーフ・ミラーの反射光を結像するコリメート光学部と、前記ハーフ・ミラーの通過光を反射する平面鏡と、前記平面鏡を反射した後さらに前記ハーフ・ミラーで反射する光を投影する投影光学部及びスクリーンを備える、上記(1)に記載の画像表示装置。
(17)前記外側画像を前記外部に向けて投影する投影光学部をさらに備える、上記(1)に記載の画像表示装置。
(18)前記ユーザーが入力操作を行なう入力操作部をさらに備え、前記制御部は、前記ユーザーによる入力操作に応じて、前記内側画像並びに前記外側画像の表示を制御する、上記(1)に記載の画像表示装置。
(19)前記画像表示装置の周囲環境に関する情報を取得する環境情報取得部をさらに備え、前記制御部は、前記周囲環境に基づいて、前記内側画像と前記外側画像の表示を制御する、上記(1)に記載の画像表示装置。
(20)前記ユーザーの状態に関する情報を取得する状態情報取得部をさらに備え、前記制御部は、前記ユーザーの状態に基づいて、前記内側画像と前記外側画像の表示を制御する、上記(1)に記載の画像表示装置。
(21)前記内側画像として表示する画像コンテンツに関するコンテンツ情報を取得するコンテンツ情報取得部をさらに備え、前記制御部は、前記コンテンツ情報に応じて、前記外側画像の表示を制御する、上記(1)に記載の画像表示装置。
特開2012-141461号公報 特開2012-42654号公報 特開2000-75815号公報 特開2007-251331号公報 米国特許第6198523号公報
 以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
 頭部装着型の画像表示装置は、遮光性のタイプと透過性のタイプに分類することができるが、本明細書で開示する技術は、主に透過性タイプに適用することができる。
 また、頭部装着型の画像表示装置は、左右両方の眼に表示部を備えた両眼タイプと、左右いずれか一方にのみ表示部を備えた単眼タイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。また、頭部装着型の画像表示装置は、眼鏡型や耳掛け型であってもよいことは勿論である。
 要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
 1…頭部装着型画像表示装置
 301…制御部、301A…ROM、301B…RAM
 302…入力操作部、303…リモコン受信部
 304…環境情報取得部、305…状態情報取得部
 306…通信部、307…コンテンツ情報取得部
 308…画像処理部、309…画像多重化部
 310…表示駆動部、311…表示パネル
 312…虚像・実像光学部、313…投影光学部
 601…コリメート光学部、602…2分の1波長板
 603…導光部、604…偏光ビーム・スプリッター
 605…4分の1波長板、606…凹面鏡
 607…スクリーン
 1901…導光部、1902…ハーフ・ミラー
 1903…凹面鏡、1904…コリメート光学部
 1905…スクリーン
 2001…導光部、2002…ハーフ・ミラー
 2003…凹面鏡、2004…コリメート光学部
 2005…投影光学部、2006…スクリーン
 

Claims (20)

  1.  ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、
     画像を表示する表示デバイスと、
     前記画像を前記ユーザー側から見える場所並びに前記画像表示装置の外側から見える場所にそれぞれ導く導光部と、
     前記ユーザー側から見える内側画像及び前記外側から見える外側画像の表示を制御する制御部と、
    を具備する画像表示装置。
  2.  前記導光部は、前記表示デバイスの出射光の偏光特性を変換する第1の波長板と、前記表示デバイスの入射光の光軸上に配設され偏光特性に応じて入射光を反射又は通過する偏光ビーム・スプリッターと、前記偏光ビーム・スプリッターの通過光の偏光特性を変換して通過する第2の波長板と、前記第2の波長板の通過光を反射する鏡を備え、
     前記表示デバイスの入射光のうち前記偏光ビーム・スプリッターを反射する光により前記内側画像を表示するとともに、前記偏光ビーム・スプリッターの通過光が前記第2の波長板及び前記鏡を経て前記偏光ビーム・スプリッターを反射する光により前記外側画像を表示する、
    請求項1に記載の画像表示装置。
  3.  前記表示デバイスは、S偏光成分からなる表示光を出射し、
     前記第1の波長板は、2分の1波長板からなり、前記表示デバイスの出射光をS偏光又はP偏光に変換し、
     前記偏光ビーム・スプリッターは、前記表示デバイスからの入射光の光軸に対し45度だけ傾けて配置されて、前記第1の波長板の通過光のうちS偏光成分を反射して前記ユーザー側から見える場所に前記内側画像を表示するとともに、前記第1の波長板の通過光のうちP偏光成分を通過し、
     前記第2の波長板は4分の1波長板からなるとともに、前記鏡は凹面鏡からなり、前記偏光ビーム・スプリッターを通過したP偏光成分は、前記4分の1波長板を通過して円偏光に変換されるとともに前記凹面鏡で集光及び反射した後、前記4分の1波長板を逆方向に通過してS偏光に変換されて前記偏光ビーム・スプリッターを反射して、前記画像表示装置の外側から見える場所に前記外側画像を表示する、
    請求項2に記載の画像表示装置。
  4.  前記2分の1波長板の光軸方向をダイナミックに偏光可能であり、
     前記制御部は、前記2分の1波長板の光軸方位を0度に設定する第1の区間に同期して前記表示デバイスに前記内側画像を点灯させるとともに、前記2分の1波長板の光軸方位を45度に設定する第2の区間に同期して前記表示デバイスに前記外側画像を点灯させる、
    請求項3に記載の画像表示装置。
  5.  前記制御部は、前記第1の区間と前記第2の区間の割合を変えて、前記内側画像及び前記外側画像の各輝度を調整する、
    請求項4に記載の画像表示装置。
  6.  前記制御部は、前記第1の区間内で前記表示デバイスが前記内側画像を点灯させる時間の長さを変えて前記内側画像の輝度を調整し、又は、前記第2の区間内で前記表示デバイスが前記外側画像を点灯させる時間の長さを変えて前記外側画像の輝度を調整する、
    請求項4に記載の画像表示装置。
  7.  前記2分の1波長板の光軸方向をダイナミックに偏光可能であり、
     前記制御部は、前記2分の1波長板の光軸方位を0度から45度の間で調整することにより、前記表示デバイスからの出射光が前記内側画像並びに前記外側画像として表示される際の各々の輝度を調整する、
    請求項3に記載の画像表示装置。
  8.  前記2分の1波長板は、強誘電液晶で構成された光ダブラーからなる、
    請求項4又は7のいずれかに記載の画像表示装置。
  9.  前記偏光ビーム・スプリッターの反射率を90%以上に設定する、
    請求項2に記載の画像表示装置。
  10.  前記外側画像を投影するスクリーンを備える、
    請求項1に記載の画像表示装置。
  11.  前記スクリーンのサイズを2インチ以下とし、又は、前記スクリーンのゲインを2以上とする、
    請求項10に記載の画像表示装置。
  12.  高分子分散型液晶からなる前記スクリーンを使用し、
     前記制御部は、前記内側画像又は前記外側画像の表示期間に同期させて、前記スクリーンの散乱作用を制御する、
    請求項10に記載の画像表示装置。
  13.  ホログラムからなる前記スクリーンを使用し、
     前記制御部は、前記外側画像を表示するときには、前記ホログラムで回折する特定波長成分の表示光を前記表示デバイスから出射させる、
    請求項10に記載の画像表示装置。
  14.  前記導光部は、前記表示デバイスの入射光の光軸上に配設されたハーフ・ミラーと、前記ハーフ・ミラーの反射光を結像するコリメート光学部と、前記ハーフ・ミラーの通過光を反射する凹面鏡と、前記凹面鏡を反射した後さらに前記ハーフ・ミラーで反射する光を投影するスクリーンを備える、
    請求項1に記載の画像表示装置。
  15.  前記導光部は、前記表示デバイスの入射光の光軸上に配設されたハーフ・ミラーと、前記ハーフ・ミラーの反射光を結像するコリメート光学部と、前記ハーフ・ミラーの通過光を反射する平面鏡と、前記平面鏡を反射した後さらに前記ハーフ・ミラーで反射する光を投影する投影光学部及びスクリーンを備える、
    請求項1に記載の画像表示装置。
  16.  前記外側画像を前記外部に向けて投影する投影光学部をさらに備える、
    請求項1に記載の画像表示装置。
  17.  前記ユーザーが入力操作を行なう入力操作部をさらに備え、
     前記制御部は、前記ユーザーによる入力操作に応じて、前記内側画像並びに前記外側画像の表示を制御する、
    請求項1に記載の画像表示装置。
  18.  前記画像表示装置の周囲環境に関する情報を取得する環境情報取得部をさらに備え、
     前記制御部は、前記周囲環境に基づいて、前記内側画像と前記外側画像の表示を制御する、
    請求項1に記載の画像表示装置。
  19.  前記ユーザーの状態に関する情報を取得する状態情報取得部をさらに備え、
     前記制御部は、前記ユーザーの状態に基づいて、前記内側画像と前記外側画像の表示を制御する、
    請求項1に記載の画像表示装置。
  20.  前記内側画像として表示する画像コンテンツに関するコンテンツ情報を取得するコンテンツ情報取得部をさらに備え、
     前記制御部は、前記コンテンツ情報に応じて、前記外側画像の表示を制御する、
    請求項1に記載の画像表示装置。
     
PCT/JP2013/068003 2012-09-12 2013-07-01 画像表示装置 WO2014041872A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13836576.2A EP2896985B1 (en) 2012-09-12 2013-07-01 Image display device
US14/426,210 US9740008B2 (en) 2012-09-12 2013-07-01 Image display device
JP2014535408A JP6260536B2 (ja) 2012-09-12 2013-07-01 画像表示装置
CN201380046312.XA CN104603674B (zh) 2012-09-12 2013-07-01 图像显示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-200903 2012-09-12
JP2012200903 2012-09-12

Publications (1)

Publication Number Publication Date
WO2014041872A1 true WO2014041872A1 (ja) 2014-03-20

Family

ID=50278006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068003 WO2014041872A1 (ja) 2012-09-12 2013-07-01 画像表示装置

Country Status (5)

Country Link
US (1) US9740008B2 (ja)
EP (1) EP2896985B1 (ja)
JP (1) JP6260536B2 (ja)
CN (2) CN104603674B (ja)
WO (1) WO2014041872A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017185076A (ja) * 2016-04-07 2017-10-12 株式会社ジンズ 情報処理方法、情報処理装置及びプログラム
CN107250951A (zh) * 2015-02-18 2017-10-13 诺基亚技术有限公司 用于提供图像的装置、方法和计算机程序
CN107909922A (zh) * 2017-11-16 2018-04-13 维沃移动通信有限公司 一种移动终端
JP2021124540A (ja) * 2020-01-31 2021-08-30 キヤノン株式会社 画像表示装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150041453A (ko) * 2013-10-08 2015-04-16 엘지전자 주식회사 안경형 영상표시장치 및 그것의 제어방법
GB2521831A (en) * 2014-01-02 2015-07-08 Nokia Technologies Oy An apparatus or method for projecting light internally towards and away from an eye of a user
WO2016013269A1 (ja) * 2014-07-22 2016-01-28 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9804317B2 (en) * 2015-02-06 2017-10-31 Japan Display Inc. Display apparatus
IL239191A0 (en) * 2015-06-03 2015-11-30 Amir B Geva Image sorting system
US10545714B2 (en) 2015-09-04 2020-01-28 Samsung Electronics Co., Ltd. Dual screen head mounted display
WO2017067002A1 (zh) * 2015-10-23 2017-04-27 深圳市柔宇科技有限公司 头戴式显示装置
US10073520B2 (en) * 2015-10-30 2018-09-11 Sony Mobile Communications Inc. Method and system for interaction using holographic display system
CN107250885B (zh) * 2015-12-29 2019-11-12 深圳市柔宇科技有限公司 头戴式显示设备
WO2017127494A1 (en) 2016-01-22 2017-07-27 Corning Incorporated Wide field personal display
CN107995955A (zh) * 2016-09-14 2018-05-04 深圳市柔宇科技有限公司 头戴式显示装置及控制方法
CN106773067A (zh) * 2017-03-21 2017-05-31 深圳市魔眼科技有限公司 一种透射式ar与vr切换显示装置、方法及透明度调节方法
US10020168B1 (en) * 2017-07-20 2018-07-10 Lam Research Corporation Systems and methods for increasing efficiency of delivered power of a megahertz radio frequency generator in the presence of a kilohertz radio frequency generator
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
CN107357003A (zh) * 2017-08-31 2017-11-17 京东方科技集团股份有限公司 一种光波导及光学器件
CN108008558B (zh) * 2017-11-28 2019-12-10 信利光电股份有限公司 一种触摸屏及其制作方法
US10761343B2 (en) * 2018-02-05 2020-09-01 Disney Enterprises, Inc. Floating image display system
IL259276B (en) * 2018-05-10 2021-08-31 Veeride Ltd An augmented reality device supported by a smartphone and a clip-on unit that can be variably attached to user glasses
US10962783B2 (en) * 2018-06-19 2021-03-30 Apple Inc. Electronic devices having electrically adjustable optical layers
US11899214B1 (en) 2018-09-18 2024-02-13 Apple Inc. Head-mounted device with virtually shifted component locations using a double-folded light path
JP2021033173A (ja) * 2019-08-28 2021-03-01 セイコーエプソン株式会社 ヘッドマウントディスプレイ
WO2023205096A1 (en) * 2022-04-19 2023-10-26 Apple Inc. Head-mountable device for eye monitoring

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328257A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JPH09197554A (ja) * 1996-01-22 1997-07-31 Denso Corp 表示装置
JPH10274704A (ja) * 1996-11-14 1998-10-13 Nashua Corp 相容性がないマテリアルズの溶融混合により得られた光学ディフューザー
JP2000075815A (ja) 1998-08-31 2000-03-14 Toppan Printing Co Ltd 両面液晶ディスプレイ装置
US6198523B1 (en) 1999-10-28 2001-03-06 Hewlett-Packard Co. Ferroelectric liquid crystal light doubler with temperature and voltage controlled tilt angle
JP2007156096A (ja) * 2005-12-05 2007-06-21 Shimadzu Corp 頭部装着型表示装置および頭部装着型表示システム
JP2007251331A (ja) 2006-03-14 2007-09-27 Seiko Epson Corp 両面映像ディスプレイ装置、および音声出力方法
JP2008203726A (ja) * 2007-02-22 2008-09-04 Kaoru Togashi 開閉式通信端末装置及び映像切替方法
JP2011075954A (ja) * 2009-09-30 2011-04-14 Brother Industries Ltd ヘッドマウントディスプレイ
JP2012042654A (ja) 2010-08-18 2012-03-01 Sony Corp 表示装置
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2647556B1 (fr) * 1989-05-23 1993-10-29 Thomson Csf Dispositif optique pour l'introduction d'une image collimatee dans le champ visuel d'un observateur et casque comportant au moins un tel dispositif
JP3036255B2 (ja) * 1992-01-27 2000-04-24 松下電器産業株式会社 光波長変換素子およびそれを用いた短波長レーザ光源および短波長レーザ光源を用いた光情報処理装置および光波長変換素子の製造方法
JP3260867B2 (ja) * 1992-12-10 2002-02-25 オリンパス光学工業株式会社 頭部装着型ディスプレイ
JP3487859B2 (ja) * 1994-12-09 2004-01-19 株式会社エンプラス ヘッドマウントディスプレー装置及び該装置に用いるディスプレー用光学系
JP3295583B2 (ja) * 1994-12-19 2002-06-24 シャープ株式会社 光学装置および該光学装置を用いた頭部搭載型ディスプレイ
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
EP0772103A3 (en) 1995-10-30 1998-01-21 Denso Corporation A method for producing a hologram and a display device using the same
US5943171A (en) * 1998-06-03 1999-08-24 International Business Machines Corporation Head mounted displays utilizing reflection light valves
EP1083755A3 (en) * 1999-09-07 2003-11-12 Canon Kabushiki Kaisha Image input apparatus and image display apparatus
JP4812181B2 (ja) * 2001-04-20 2011-11-09 オリンパス株式会社 観察光学系及び撮像光学系及びそれを用いた装置
EP1433160A1 (en) * 2001-09-07 2004-06-30 The Microoptical Corporation Light weight, compact, remountable face-supported electronic display
CN1432841A (zh) * 2002-01-16 2003-07-30 深圳市东方景电子有限公司 一种头戴显示器中提高像质的光学系统
JP3880561B2 (ja) * 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
EP1649445A4 (en) * 2003-04-24 2009-03-25 Displaytech Inc MICRO-DISPLAY AND INTERFACE ON A SINGLE CHIP
WO2006086223A2 (en) * 2005-02-08 2006-08-17 Blue Belt Technologies, Inc. Augmented reality device and method
IL166799A (en) * 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
JP5145669B2 (ja) * 2006-08-21 2013-02-20 株式会社ニコン 携帯信号処理装置及びウエアラブルディスプレイ
JP2008067219A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
US20090322972A1 (en) * 2006-10-24 2009-12-31 Sanyo Electric Co., Ltd. Optical unit and head mounted display apparatus
WO2008089417A2 (en) * 2007-01-18 2008-07-24 The Arizona Board Of Regents On Behalf Of The University Of Arizona A polarized head-mounted projection display
US20090213038A1 (en) * 2008-02-25 2009-08-27 Joseph Huang Head Mounted Display and Real-Time Video Device
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
CN101419339A (zh) * 2008-11-24 2009-04-29 电子科技大学 一种头戴显示器
JP5262688B2 (ja) * 2008-12-24 2013-08-14 ブラザー工業株式会社 プレゼンテーションシステム及びそのプログラム
CN100595635C (zh) * 2009-01-14 2010-03-24 长春大学 智能盲人导航眼镜
JP5287683B2 (ja) * 2009-11-26 2013-09-11 セイコーエプソン株式会社 ヘッドマウントディスプレイ
US8994611B2 (en) * 2010-03-24 2015-03-31 Olympus Corporation Head-mounted type display device
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
US8743464B1 (en) * 2010-11-03 2014-06-03 Google Inc. Waveguide with embedded mirrors
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
KR101997852B1 (ko) * 2010-12-24 2019-10-01 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
JP5631235B2 (ja) * 2011-02-18 2014-11-26 三菱電機株式会社 透過光選択装置、立体画像表示装置及び立体画像表示方法
US8189263B1 (en) * 2011-04-01 2012-05-29 Google Inc. Image waveguide with mirror arrays
US8508851B2 (en) * 2011-07-20 2013-08-13 Google Inc. Compact see-through display system
JP5119357B2 (ja) * 2011-11-28 2013-01-16 オリンパス株式会社 情報表示装置
US8985803B2 (en) * 2012-03-21 2015-03-24 Microsoft Technology Licensing, Llc Freeform-prism eyepiece with illumination waveguide
JP2013242710A (ja) * 2012-05-21 2013-12-05 Sony Corp ユーザインターフェイス、情報表示方法およびプログラム
US8989535B2 (en) * 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9398229B2 (en) * 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
WO2014041871A1 (ja) * 2012-09-12 2014-03-20 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328257A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JPH09197554A (ja) * 1996-01-22 1997-07-31 Denso Corp 表示装置
JPH10274704A (ja) * 1996-11-14 1998-10-13 Nashua Corp 相容性がないマテリアルズの溶融混合により得られた光学ディフューザー
JP2000075815A (ja) 1998-08-31 2000-03-14 Toppan Printing Co Ltd 両面液晶ディスプレイ装置
US6198523B1 (en) 1999-10-28 2001-03-06 Hewlett-Packard Co. Ferroelectric liquid crystal light doubler with temperature and voltage controlled tilt angle
JP2007156096A (ja) * 2005-12-05 2007-06-21 Shimadzu Corp 頭部装着型表示装置および頭部装着型表示システム
JP2007251331A (ja) 2006-03-14 2007-09-27 Seiko Epson Corp 両面映像ディスプレイ装置、および音声出力方法
JP2008203726A (ja) * 2007-02-22 2008-09-04 Kaoru Togashi 開閉式通信端末装置及び映像切替方法
JP2011075954A (ja) * 2009-09-30 2011-04-14 Brother Industries Ltd ヘッドマウントディスプレイ
JP2012042654A (ja) 2010-08-18 2012-03-01 Sony Corp 表示装置
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107250951A (zh) * 2015-02-18 2017-10-13 诺基亚技术有限公司 用于提供图像的装置、方法和计算机程序
JP2018512642A (ja) * 2015-02-18 2018-05-17 ノキア テクノロジーズ オサケユイチア 画像を提供する装置、方法、及びコンピュータプログラム
JP2017185076A (ja) * 2016-04-07 2017-10-12 株式会社ジンズ 情報処理方法、情報処理装置及びプログラム
CN107909922A (zh) * 2017-11-16 2018-04-13 维沃移动通信有限公司 一种移动终端
JP2021124540A (ja) * 2020-01-31 2021-08-30 キヤノン株式会社 画像表示装置

Also Published As

Publication number Publication date
US9740008B2 (en) 2017-08-22
CN107884937A (zh) 2018-04-06
US20150219897A1 (en) 2015-08-06
JPWO2014041872A1 (ja) 2016-08-18
EP2896985A4 (en) 2016-04-06
EP2896985A1 (en) 2015-07-22
CN104603674B (zh) 2017-12-26
JP6260536B2 (ja) 2018-01-17
EP2896985B1 (en) 2018-10-17
CN104603674A (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
JP6569707B2 (ja) 画像制御装置及び画像制御方法
WO2014041872A1 (ja) 画像表示装置
US7976159B2 (en) Continuous adjustable 3deeps filter spectacles for optimized 3deeps stereoscopic viewing and its control method and means
EP3310047B1 (en) Method for displaying 3d image and device for same
JP2013516882A (ja) 立体視眼鏡を認識する装置および方法、ならびに、立体視ビデオストリームの表示を制御する方法
TW201220819A (en) Method, shutter glasses, and apparatus for controlling environment brightness received by shutter glasses
US9191652B2 (en) Systems and methods for presenting three-dimensional content using photosensitive lenses
JP6634697B2 (ja) 頭部装着型表示装置
JP5250701B2 (ja) 照明制御装置、照明制御装置を用いる照明装置及び照明システム並びに照明制御装置とともに利用される表示装置及び眼鏡装置
JP2003230539A (ja) 視線検出装置
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
CN106990534B (zh) 一种虚拟现实眼镜
JP2012164466A (ja) 照明制御装置、照明装置、立体映像システム、照明制御方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13836576

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014535408

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14426210

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE