WO1996017324A1 - Appareil et procede de synthese d'images - Google Patents

Appareil et procede de synthese d'images Download PDF

Info

Publication number
WO1996017324A1
WO1996017324A1 PCT/JP1995/002442 JP9502442W WO9617324A1 WO 1996017324 A1 WO1996017324 A1 WO 1996017324A1 JP 9502442 W JP9502442 W JP 9502442W WO 9617324 A1 WO9617324 A1 WO 9617324A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
depth
spot
color
display
Prior art date
Application number
PCT/JP1995/002442
Other languages
English (en)
French (fr)
Inventor
Katsuhiro Miura
Takashi Yokota
Masaki Takeda
Kuniyuki Konishi
Original Assignee
Namco Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP6329706A external-priority patent/JP2763502B2/ja
Priority claimed from JP6329707A external-priority patent/JP2928119B2/ja
Application filed by Namco Ltd. filed Critical Namco Ltd.
Priority to GB9616102A priority Critical patent/GB2301514B/en
Publication of WO1996017324A1 publication Critical patent/WO1996017324A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017Driving on land or water; Flying

Definitions

  • the present invention relates to an image synthesizing apparatus and an image synthesizing method which can perform a bot display in particular.
  • image synthesizing apparatuses have been known for use in, for example, a three-dimensional game or an operation simulation of an airplane or various vehicles.
  • image information on the three-dimensional object 300 shown in FIG. 13A is stored in the apparatus in advance.
  • the three-dimensional object 300 represents a display object such as a landscape that the player (viewer) 302 can see through the screen 360.
  • the perspective image (projected image) 308 is displayed on the screen 306 by performing perspective projection transformation of the image information of 030 onto the screen 306.
  • the position and direction of the player 302 or the moving body on which the player 302 rides change.
  • a calculation process is performed to determine how the image of the three-dimensional object 300 looks on the screen 303.
  • This calculation process is performed in real time following the operation of the player 302.
  • the player 302 can see in real time a change in the scenery or the like due to a change in the position or direction of the player or the moving body on which the player is riding, as a pseudo three-dimensional image. You will be able to simulate a three-dimensional space.
  • FIG. 13B shows an example of a visual field image (game screen) formed by the above-described image synthesizing apparatus.
  • the image synthesizing apparatus described above is desired to have a spot display function such as projecting a headlight of a car.
  • the 3D image synthesis unit 500 Mixing the input two-dimensional image 506 with the head pattern generated from the semi-transparent or brightness-generating unit 502 giving the ⁇ ⁇ dry pattern (two-dimensional image) 508
  • the output image 510 is obtained by mixing (performing translucent superposition or performing luminance conversion) by the unit 504.
  • the two-dimensional image 506 output from the three-dimensional image synthesizing unit 500 is a two-dimensional image after perspective projection transformation, shading calculation, and deb skew calculation have already been performed.
  • the headlight pattern 508 output from the headlight pattern generator 502 is half-printed so that when the two-dimensional image 506 is superimposed, the image of the superimposed portion can be seen. It is prepared as a transparent or luminance pattern.
  • the pattern on the optical axis of the headlight is brightened so that it looks like a headlight, and the pattern gradually darkens as it goes around.
  • this method has the following problems. For example, consider the case where a car that is projecting a headlight turns sideways for some reason, and at this time there is a wall in the direction the car is facing. This type of image compositing device is naturally conceivable because a car can travel freely in a virtual three-dimensional space. In this case, the headlight pattern 508 is adjusted so that the vehicle looks most realistic when the vehicle travels along the road. Therefore, if the car is projected sideways as described above and the headlight is projected on the wall in that direction, this headlight pattern will be far from the real thing. Problems arise. This is because, in the above-described method, two images that have already lost the depth information (debs information) are overlapped in the mixing unit 504.
  • An object of the present invention is to provide an image synthesizing apparatus and an image synthesizing method capable of displaying a spot reflecting depth information at a low cost without hindering a high-speed image synthesizing process.
  • the present invention is an image synthesizing apparatus for displaying an image obtained by performing a perspective projection transformation of a three-dimensional display object onto a projection plane of a viewpoint coordinate system on a display,
  • Spot information generating means for generating luminance spot information for performing spot display, and luminance conversion means for performing conversion processing on luminance information using the luminance spot information input from the spot information generating means;
  • a shading operation means for obtaining color information to be displayed on each pixel of the display based on the luminance information converted by the luminance conversion means and the color information of a display object; and the shading operation means input from the shading operation means.
  • Depth queuing operation means for performing a depth skew operation on color information based on depth information as depth information.
  • a conversion process is performed on the luminance information based on the generated luminance spot information, a shading operation is performed based on the converted luminance information, and a de-skew operation is subsequently performed.
  • This enables spot display.
  • the depth skew calculation considering the depth information is performed after the luminance conversion process, a spot display reflecting the depth information can be realized by a simple calculation process. As a result, excellent image effects can be obtained while reducing the cost of the device.
  • the conversion process in the brightness conversion unit can be a process of adding the brightness spot information to the brightness information.
  • the portion can be brightened, or an arbitrary color component in the portion can be intensified.
  • the part can be darkened or an arbitrary color component in the part can be weakened.
  • the spot information generating means includes means for generating the spot spot information for spot display together with the luminance spot information, and the spot information generated from the spot information generating means is included in the spot information generating means.
  • depth conversion means for performing a conversion process on depth information, which is depth information may be provided.
  • the present invention is an image synthesizing apparatus for displaying an image obtained by performing perspective projection transformation of a three-dimensional display object on a projection plane of a viewpoint coordinate system on a display,
  • a shading operation means for obtaining color information to be displayed on each pixel of the display based on the depth conversion means to be applied, the luminance information, and the color information of the display object; and the shading operation means input from the shading operation means.
  • Depth skew calculation means for performing a depth skewing calculation on the color information based on the depth information converted by the depth conversion means.
  • the depth information is converted using the generated depth spot information, and the depth queuing operation is performed based on the converted depth information.
  • the depth queuing operation is performed based on the converted depth information.
  • the conversion process in the depth conversion unit can be a process of adding the depth spot information to the depth information.
  • the part appears to be farther away, and when the negative depth spot information is added, the part becomes closer. It will look like a certain state.
  • the present invention also provides a color palette memory having a plurality of color palettes, and reads out the color information of the display object from the plurality of color palettes based on a given color code and outputs the color information to the shading calculation means.
  • Palette reference means, and back color information is set corresponding to each of the plurality of color palettes.
  • the depth skew execution means performs the depth skewing operation based on the depth information and the color information and the back color information.
  • various color effects can be obtained by selecting one of the plurality of color pallets.
  • the back color information corresponding to each color palette can be set externally or stored in the color palette memory in association with each color palette. Can be set. By making the back color information different, the back color can be set for each display object. Thus, various effects such as "fog" can be created. If there are N color palettes (N is an integer of 2 or more), it is possible to prepare N number of color pencils and map the color palettes one-to-one with color palettes. Alternatively, M pieces of back color information (M is an integer smaller than N) may be prepared, and one piece of back color information may be associated with a plurality of color pallets.
  • the color information of a display object or information including at least one of information for generating the color information, luminance information, and depth information is stored in a storage area corresponding to each pixel of the display.
  • character screen information for displaying a character screen on the display device is also generated.
  • the spot information generating means can output at least one of spot information (luminance spot information, depth spot information) and character screen information in synchronization with the output timing from the field buffer section.
  • spot information luminance spot information, depth spot information
  • character screen information character screen information
  • FIG. 1 is an example of a block diagram of a first embodiment of the present invention.
  • FIG. 2 is an example of a block diagram of a three-dimensional image synthesizing unit.
  • FIG. 3 is a diagram for describing three-dimensional arithmetic processing in the present embodiment.
  • FIG. 4 is an example of a block diagram in the case where the texture matching method is used in the first embodiment.
  • FIG. 5 is a diagram showing an example of a memory configuration of a color palette memory.
  • FIG. 6 is a diagram for explaining an example of a de-skewing operation.
  • FIG. 7 is a diagram for explaining a character screen.
  • FIG. 8 is an example of a block diagram of a second embodiment of the present invention.
  • FIG. 9 is an example of a block diagram of the third embodiment of the present invention.
  • FIG. 10 is an example of a block diagram when the texture matching method is used in the third embodiment.
  • FIG. 11 is an example of a block diagram in the case where the arrangement of the field buffer unit is changed in the first embodiment.
  • FIG. 12 is an example of a block diagram in the case where the arrangement of the field buffer unit is changed in the third embodiment.
  • FIG. 13A is a schematic explanatory diagram for explaining the concept of an image synthesizing device capable of forming a three-dimensional image
  • FIG. 13B is a diagram showing an example of a screen formed thereby. .
  • FIG. 14 is a diagram for explaining one method of performing a bot display.
  • FIG. 1 shows a block diagram of a first embodiment of the present invention.
  • the three-dimensional image synthesizing unit 20 the field buffer unit 22, the shading arithmetic unit 24, the depth queuing arithmetic unit 26, and the palette reference unit 28
  • a color palette memory 29 a luminance conversion section 30, a character screen information generation section (spot information generation section) 34, a character memory 36, a palette reference section 38, and a mixing section 40.
  • the three-dimensional image synthesizing unit 20 synthesizes a two-dimensional image after perspective projection transformation at a predetermined viewpoint position and a line of sight in a virtual three-dimensional space where a plurality of display objects are arranged. Shows an example of the block diagram.
  • the operation unit 12 includes, for example, a steering wheel, an accelerator, and the like for driving a racing car, for example, when applied to a racing car game, whereby operation information is input.
  • the virtual three-dimensional space calculation unit 100 performs calculation for setting a plurality of display objects in a virtual three-dimensional space, for example, positions and directions of a racing car, a course, a building, and the like. This calculation is performed based on operation information from the operation unit 12, a game program stored in the processing unit 102, map information set and stored in advance, and the like.
  • information such as the position and direction of the display object set in the virtual three-dimensional space operation unit 100, and the object image read out from the object image information storage unit 212 Various 3D arithmetic processing is performed based on the information. First, as shown in Fig.
  • the polygons that compose them are represented by the world coordinate system (absolute coordinate system) (XW, YW , ZW) to perform the operation for arranging in the virtual 3D space.
  • the coordinate transformation unit 2 14 transforms each of these objects into a viewpoint coordinate system (X v, Y v, ⁇ ⁇ ⁇ ⁇ ) whose origin is the viewpoint position of the player 302, etc.
  • a process for performing coordinate conversion is performed.
  • a so-called clipping process is performed by the clipping processing unit 216, and then a perspective projection conversion process to the screen coordinate system (XS, YS) is performed by the perspective projection conversion unit 218.
  • image information of all dots in the polygon is calculated from data such as vertex coordinates and vertex luminance information of the polygon subjected to the three-dimensional calculation processing in the image supply unit 210.
  • the image information to be obtained may be a color code, luminance information, depth information (depth information), and texture coordinates when using a texture matching method.
  • a texture memory 23 for storing textures is required, and the texture memory 23 is, as shown in FIG. It is arranged between the port reference section 28 and.
  • the field buffer unit 22 stores the texture coordinates obtained by the drawing unit 230, reads out the color code from the texture memory 23 based on the texture coordinates, and displays the pallet. It will be output to the reference unit 28.
  • the texture memory 23 is provided in front of the field buffer 22, a color code is read out using the texture coordinates from the drawing unit 230, and the color code is stored in the field buffer 22. Is also good.
  • the field buffer unit 22 has a storage area corresponding to each pixel of the display.
  • the storage area includes a color code and a luminance for each pixel obtained by the three-dimensional image synthesis unit 20.
  • Information, depth information, etc. are stored. However, for example, the depth information does not necessarily need to be provided for each pixel, but may be provided for each polygon assuming that the values are all the same within a polygon.
  • texture coordinates are stored in the field buffer unit 22 instead of the color code.
  • Information such as color code, brightness information, and depth information is scanned from the upper scanning line to the lower scanning line (or in-line) on the display, and the pallet reference section 28 , Brightness converter 30 and output to the de-skewing operation unit 26 and the like.
  • FIG. 5 shows an example of a memory configuration of the color palette memory 29.
  • the color palette memory 29 contains, for example, 128 kinds of color palettes (FIG. 5 shows only the color palettes 0 to 7 therein).
  • which force palette is used is specified by, for example, the virtual three-dimensional space operation unit 100 shown in FIG.
  • color palette 0 is specified and color code 92 is specified.
  • (R, G, B) (170, 65, 30), which is the color information of the display object, is read.
  • the letter reference section 28 reads out this color information from the color barrel memory 29 based on the color code output from the field buffer section 22. Then, the read color information is output to the shading operation unit 24.
  • different color information can be output even with the same color code by changing the designation of the color palette. This makes it possible, for example, to obtain various color effects simply by specifying different color palettes.
  • the shading operation section 24 includes color information input from the palette reference section 28 and luminance information calculated by the 3D image synthesis section 20 and stored in the field buffer section 22 (actually, the luminance conversion section 30, the color information to be displayed on each pixel of the display is obtained.
  • the luminance information input to the shading operation section 24 is, for example, 8-bit data, which can specify the luminance in 256 steps (1-256).
  • the brightness information is set to be equal to 64 when the brightness information is 64, the brightness of the color information output from the palette reference unit 28 is increased by 1 to 64 times (luminance).
  • the color information can reflect the results of Gouraud shading and Fon shading performed by the 3D image synthesizer 20 and determine the color information to be displayed on the pixels of the display. Becomes possible.
  • the de-skewing unit 26 performs a de-skewing operation on the color information input from the shading operation unit 24 based on the depth information as the depth information.
  • FIG. 6 is a diagram for explaining an example of the depth queuing operation. In the present embodiment, the color information is replaced with the back color information based on the depth information.
  • the depth information may be depth information, that is, a distance from the viewpoint (Z coordinate value).
  • the back color information 802 is specified.
  • the back color information 8002 is specified for each color palette, and may be specified by the virtual three-dimensional space calculation unit 100 in FIG. 2, for example.
  • the color memory 29 may be stored in correspondence with each color palette.
  • the previous color information 800 in FIG. 6 is the color information input from the shading operation unit 24 to the debsky ewing performance unit 26.
  • the depth information C Z is input from the field buffer 22.
  • the depth queuing operation unit 26 Based on the preceding color information 800, the back color information 800, and the depth information CZ, the depth queuing operation unit 26 obtains output color information 800 by a predetermined interpolation process (for example, linear interpolation). The obtained color information is output to the mixing unit 40.
  • a predetermined interpolation process for example, linear interpolation
  • the back color information 802 is set to (200, 50, 30), and the red color is slightly enhanced.
  • the “deep sea” has a blue color close to black, such as (0, 0, 50)
  • the “shallow sea” has a strong blue color, such as (50, 50, 200).
  • the character screen information generator 34 is used for displaying a character screen on the screen.
  • the character screen information generating section 34 generates screen information relating to characters such as, for example, course 874, time 876, evening rice 878, speedometer 879 in FIG. .
  • the character image information (color code, etc.) representing the course 874, the time 876, etc. is stored in the character memory 36.
  • the character screen information generating section 34 reads out image information about the course 74, the time 76, etc.
  • the character memory 36 performs an arithmetic processing for arranging the image information at the position shown in FIG. 7 on the screen.
  • the palette reference section 38 reads the corresponding color information from the color palette memory 29 based on the input color code, and outputs this to the mixing section 40. Then, by the mixing by the mixing section 40, an image as shown in FIG. 7 is formed and output.
  • the character screen information generator 34 is configured to also serve as the spot information generator. That is, the character screen information generating section 34 can generate not only character screen information but also luminance spot information, and the luminance spot information is generated at the same timing as the timing of outputting the color code of the character surface. And is output to the luminance conversion unit 30. This allows the luminance spot information to be output from the field conversion unit 22 at the same timing as when the color code, luminance information, etc. are output from the upper scanning line to the lower scanning line while scanning. It will be output to 30.
  • the luminance spot information is arranged so as to correspond to each pixel of the display, as in the field buffer section 22, so that the character screen information is generated at a desired position on the screen. It is possible to display spots such as Such a character screen information generating section 34 is built in most cases in this type of image synthesizing apparatus. Therefore, according to the present embodiment, such a spot display can be performed without newly providing a hardware device for generating spot information. Can be achieved. In addition, since this kind of character screen information generation section 34 can perform a vertical and horizontal scroll function, it is possible to perform an applied operation such as scrolling a spot display using this function.
  • the character screen information generator 34 controls the color code, for example, in units of 8 bits
  • the character screen information generator 34 and the spot screen information generator can be operated, for example, by operating the highest bit. Can be used by switching to the default information generation unit.
  • the number of color code levels that can be represented is reduced from 256 levels to 128 levels, but it does not require much color information to display the character surface, so even this can be used satisfactorily. be able to.
  • the brightness spot information output to the brightness conversion unit 30 can be changed in 128 steps.
  • the brightness conversion section 30 uses the brightness bottling information input from the character screen information generation section 34 also serving as the bot information generation section to perform conversion processing on the brightness information from the field buffer section 22.
  • the operation to be performed is performed.
  • the pattern of the brightness spot information output from the character screen information generating section 34 is a pattern having, for example, a headlight illumination effect. That is, the pattern is such that the optical axis portion of the headlight becomes the brightest (the brightness spot information becomes larger) and becomes darker (the brightness spot information becomes smaller) toward the periphery.
  • the pattern is such that the optical axis portion of the headlight becomes the brightest (the brightness spot information becomes larger) and becomes darker (the brightness spot information becomes smaller) toward the periphery.
  • the luminance information and the luminance spot information are common to all the RGB components.
  • the present invention is not limited to this, and these may be set separately for each of the RGB. it can.
  • the red luminance component is strong. If the brightness conversion processing is performed in such a manner, a red headlight pattern or the like can be formed. Similarly, spot display of any color is also possible.
  • the conversion processing in the luminance conversion section 30 not only the addition processing but also various kinds of processing can be adopted.
  • a predetermined function expression represented by addition, subtraction, multiplication, division, or the like may be prepared, and the conversion processing may be performed based on this function expression.
  • a conversion table may be prepared in advance, and conversion processing may be performed by reading out corresponding data from this conversion table based on the input luminance information and luminance spot information.
  • the luminance conversion unit 30 performs luminance conversion processing for spot display at the stage of luminance information before performing the de-skew operation. Then, since the depth skew calculation is performed after the brightness conversion processing, it is possible to perform a spot display in which the depth information is reflected. For example, when the back color information is set to “black”, the de-skew calculation unit 26 performs a calculation process of interpolating the color information to “back” as the back color information. Therefore, the effect that the distant display object becomes darker is obtained. As a result, the headlight pattern generated according to the present embodiment becomes a pattern in which the headlight pattern becomes darker as the distance increases, and a headlight display reflecting the depth information can be realized.
  • the present embodiment does not require a large amount of complicated arithmetic processing such as simulating a headlight light source in the three-dimensional image synthesizing unit 20, and utilizes the existing character image information generating unit 34.
  • spot display is possible by simply generating luminance spot information and performing conversion processing in the luminance conversion unit 30.
  • high-quality images can be provided with low-cost equipment.
  • FIG. 8 shows an example of a block diagram of a second embodiment of the present invention. Compare Figure 1 and Figure 8 As will be understood, the first embodiment differs from the second embodiment in the following points. That is, in the second embodiment, a depth conversion unit 32 is newly provided, and both the brightness spot information and the depth spot information are output from the character screen information generation unit 34, and the brightness conversion unit 30 and the depth The data is input to the conversion unit 32. Then, the luminance information and the depth information converted by the luminance conversion unit 30 and the depth conversion unit 32 are input to the shading calculation unit 24 and the debs queuing calculation unit 26, respectively, and the shading calculation is performed based on these information. A de-skewing operation is performed.
  • the depth conversion unit 32 performs an operation of performing a conversion process on the depth information by using the depth spot information input from the character screen information generation unit 34 also serving as the spot information generation unit.
  • this conversion processing is performed by adding positive or negative depth bot information to the depth information.
  • Ing operation is performed. That is, in this case, as is clear from FIG. 6, the output color information 804 closer to the back color information 802 is output from the de-skewing operation unit 26.
  • the conversion process in the depth conversion unit 32 can employ not only the addition process but also various methods, such as multiplying the depth information by the depth spot information, or interpolating the depth information and the depth spot information.
  • the method of [1] is also conceivable.
  • the depth skew operation is represented by the following equation.
  • CG gG (f G (CGX, BG), CZG)
  • CRX to CBX are color information of a display object.
  • BR ⁇ BB Is the luminance information that is input to the recording performance section 24, where is 11 ⁇ :?
  • Reference numeral 8 denotes a function representing a shading operation in the shading operation unit 24.
  • CZR to CZB are R, G, and B components of the depth information
  • gR to gB are functions representing the depth skew operation in the deskew operation unit 26. Then, CR to CB become final color information output from the depth skew calculation unit 26.
  • the depth information is converted by the depth conversion unit 32, and the depth queuing operation can be performed using the converted depth information.
  • the depth queuing operation can be performed using the converted depth information.
  • the depth conversion unit 32 performs conversion so that the depth information CZ becomes small in the spot irradiated with the spot.
  • the character screen information generating section 34 may output the depth spot information so that the depth spot information is reduced in this spot pattern portion.
  • the output color information 8004 moves away from the depth color information 8002 representing the color of "fog”.
  • the portion where the spot display is performed is delayed from being buried in “fog”, and as a result, it is possible to obtain the image effect of performing the spot display in “fog j”.
  • a complicated operation process is conventionally required to be realized by a very simple method of only converting the depth information input to the depth skew operation unit 26. Video effects can be obtained.
  • FIG. 9 shows an example of a block diagram of a third embodiment of the present invention.
  • the brightness conversion unit 30 is not provided and the depth conversion is not performed.
  • An exchange part 32 is provided.
  • the character screen information generating section 34 generates depth spot information without generating luminance spot information, and the depth spot information is input to the depth converting section 32.
  • the depth conversion unit 32 uses the depth spot information to perform a conversion process on the depth information input from the field buffer unit 22, and outputs the result to the depth queuing calculation unit 26.
  • the luminance information output from the field buffer unit 22 is input to the shading operation unit 24 without being subjected to conversion processing by the luminance conversion unit.
  • FIG. 10 is a block diagram showing a case where the texture memory 23 is arranged between the field buffer 22 and the palette reference unit 28.
  • a configuration may be employed in which the texture memory 23 is provided before the field buffer 22.
  • the field buffer unit 22 is arranged after the three-dimensional image synthesizing unit 20.
  • the field buffer section 41 may be arranged after the mixing section 40 (or after the depth queuing operation section 26).
  • the field buffer unit 41 may be arranged after the mixing unit 40 (or after the de-skew operation unit 26).
  • FIG. 12 shows a configuration in which the field buffer unit 41 is provided after the mixing unit 40 in the third embodiment.
  • the color palette memory 29 and the palette reference sections 28 and 38 are provided. However, in the present invention, the configuration may not be provided.
  • the character screen information Although the configuration is such that the functions of the port information generating unit are shared, the configuration may be such that a spot information generating unit is provided independently without sharing these functions.
  • the method of the arithmetic processing performed in the three-dimensional image synthesizing section 42 is not limited to the method described in the above embodiment, and various methods can be adopted.
  • various shading methods can be adopted, and the drawing method is not limited to the method described above for each polygon described above, and drawing may be performed by a so-called scan line algorithm.
  • the method of the arithmetic processing performed in the luminance conversion unit, the depth conversion unit, the shading operation unit, and the depth skew operation unit is not limited to the method described above, and various methods can be adopted.
  • the image synthesizing apparatus and the image synthesizing method of the present invention can be applied to various types of game machines for business use, game machines for home use, flight simulation, driving simulation used in a driving school, and the like.
  • the principles of the present invention can naturally be applied to home game machines, game cartridges used in personal computers, CD-ROMs, algorithms of game programs stored in a DVD, and the like.
  • the present invention can be applied to a large attraction type game device and a simulation device in which a large number of players participate.
  • the present invention when applied to a game device, can be applied to various game devices such as a racing car game, a battle game, a role playing game, and a spaceship game in which a three-dimensional map is formed.
  • the processing may be performed by using a processing device, or may be performed by software using a general-purpose micro-computer, DSP, or the like.

Description

明 細 書 画像合成装置及び画像合成方法
[技術分野]
本発明は、 特にスボット表示が可能な画像合成装置及び画像合成方法に関する, [背景技術]
従来より、 例えば 3次元ゲームあるいは飛行機及び各種乗物の操縱シミュレ一 夕等に使用される画像合成装置として種々のものが知られている。 このような画 像合成装置では、 図 1 3 Aに示す 3次元物体 3 0 0に関する画像情報が、 あらか じめ装置に記憶されている。 この 3次元物体 3 0 0は、 プレーヤ (観者) 3 0 2 がスクリーン 3 0 6を介して見ることができる風景等の表示物を表すものである c そして、 この表示物である 3次元物体 3 0 0の画像情報をスクリーン 3 0 6上に 透視投影変換することにより視界画像 (投影画像) 3 0 8をスクリーン 3 0 6上 に画像表示している。 この装置では、 プレーヤ 3 0 2が、 操作パネル 3 0 4によ り回転、 並進等の操作を行うと、 プレーヤ 3 0 2又はプレーヤ 3 0 2の搭乗する 移動体の位置、 方向が変化し、 この変化に伴い 3次元物体 3 0 0の画像がスクリ ーン 3 0 6上でどのように見えるかを求める演算処理が行われる。 この演算処理 はプレーヤ 3 0 2の操作に追従してリアルタイムで行われる。 これによりプレー ャ 3 0 2は、 プレーヤ自身又はプレーヤ自身の搭乗する移動体の位置、 方向の変 化に伴う風景等の変化を疑似 3次元画像としてリアルタイムに見ることが可能と なり、 仮想的な 3次元空間を疑似体験できることとなる。
図 1 3 Bには、 以上のような画像合成装置により形成される視界画像 (ゲーム 画面) の一例が示される。
さて、 以上に説明した画像合成装置では、 得られる画像をよりリアルなものと するために、 例えば車のへッドライ トを投射する等のスポット表示機能を持つこ とが望まれている。
例えば、 上記スポッ ト表示を可能とするための 1つの手法として、 図 1 4に示 されるような手法が考えられる。 この手法では、 3次元画像合成部 5 0 0から出 力される 2次元画像 5 0 6と、 半透明又は輝度を与えるへッ ドライ トパターン発 生部 5 0 2から出力されるへヅ ドライ トパターン (2次元画像) 5 0 8とを、 ミ キシング部 5 0 4によりミキシングする (半透明の重ね合わせ又は輝度の変換を 行う) ことで、 出力画像 5 1 0が得られる。 この場合、 3次元画像合成部 5 0 0 から出力される 2次元画像 5 0 6は、 透視投影変換、 シェーディング演算、 デブ スキューイング演算が既に施された後の 2次元画像である。 また、 へッ ドライ ト パターン発生部 5 0 2から出力されるへッ ドライ トパターン 5 0 8は、 2次元画 像 5 0 6と重ね合わせた場合に重ね合わせた部分の画像が見えるように半透明又 は輝度のパターンとして用意されたものである。 また、 ヘッ ドライ トらしく見え るように、 ヘッ ドライ トの光軸上の部分を明るく し、 周りに行くにしたがって徐 々に暗くなるような効果を有するパターンとなっている。
しかし、 この手法には、 以下のような問題点がある。 例えば、 へッ ドライ トを 投射している車が、 何らかの原因で横方向に向いてしまい、 この時、 車の向いた 方向に壁があった場合を考える。 この種の画像合成装置では、 車は仮想的な 3次 元空間上を自由に走行することができるため、 このような事は当然考えられる事 態である。 この場合、 ヘッ ドライ トパターン 5 0 8は、 車が道に沿って走行する 場合に最もリアルに見えるようにへッ ドライ トパターンが調整されている。 従つ て、 上記のように車が横に向きへッ ドライ トがその方向にある壁に投射された場 合には、 このへッ ドライ トパターンは現実のものとはかけ離れたものとなるとい う問題が生じる。 これは、 上記手法では、 ミキシング部 5 0 4において、 既に奥 行き情報 (デブス情報) を失った 2つの画像を重ね合わせていることに起因する。 一方、 より リアルにへッ ドライ ト表示をシミュレートしょうとするならば、 車 のヘッ ドライ 卜の部分に 2つの光源を設定し、 この 2つの光源の照明モデルに基 づくシェーディング演算を行えばよい。 しかし、 この場合の 2つの光源は無限遠 点にあるものとみなすことができないため、 これらの光源からの光を平行光線と することはできない。 従って、 これらの光源の照明モデルに基づくシェ一ディン グ演算が非常に大量の計算を要し複雑なものとなってしまい、 画像合成処理の高 速化、 装置の低コスト化を妨げる大きな要因となってしまう。
本発明は以上のような技術的課題を達成するためになされたものであり、 その - - 目的とするところは、 奥行き情報が反映されたスポット表示を、 画像合成処理の 高速化を妨げずに低コス卜で可能とする画像合成装置及び画像合成方法を提供す しと ある。
[発明の開示]
上記課題を解決するために、 本発明は、 3次元表示物を視点座標系の投影面に 透視投影変換することで得られる画像をディスプレイ上に表示するための画像合 成装置であって、
スポット表示を行うための輝度スポット情報を発生するスポット情報発生手段 と、 該スポット情報発生手段から入力された前記輝度スポット情報を用いて、 輝 度情報に対して変換処理を施す輝度変換手段と、 該輝度変換手段により変換され た輝度情報と、 表示物のカラー情報とに基づいて、 前記ディスプレイの各画素に 表示すべきカラー情報を求めるシエーディング演算手段と、 該シエーディング演 箅手段から入力される前記カラー情報に対して、 奥行き情報であるデブス情報に 基づいてデブスキュ一イング演算を施すデプスキューイング演算手段とを含むこ とを特徴とする。
本発明によれば、 発生された輝度スポット情報に基づいて輝度情報に対する変 換処理が行われ、 この変換された輝度情報に基づいてシエーディング演算が行わ れ、 その後に、 デブスキューイング演算が施される。 これにより、 スポット表示 が可能になる。 また、 輝度変換処理後に奥行き情報が考慮されたデプスキューィ ング演算が施されるため、 奥行き情報が反映されたスポッ ト表示を、 簡易な演算 処理で実現できる。 この結果、 装置の低コスト化を図りながらも、 優れた映像効 果を得ることができる。
この場合、 本発明では、 前記輝度変換手段における変換処理を、 前記輝度情報 に対して前記輝度スポット情報を加算する処理とすることができる。 このように すれば、 正の輝度スポット情報が加算された場合には、 その部分を明るく、 ある いはその部分の任意の色成分を強くできる。 また負の輝度スボッ ト情報が加算さ れた場合には、 その部分を暗く、 あるいはその部分の任意の色成分を弱くするこ とができる。 また本発明では、 前記スポッ ト情報発生手段に、 前記輝度スポッ ト情報と共に スポット表示のためのデブススポッ ト情報を発生する手段を含ませ、 前記スポッ ト情報発生手段から入力された前記デブススポッ ト情報を用いて、 奥行き情報で あるデブス情報に対して変換処理を施すデプス変換手段を設けるようにしてもよ い。
また本発明は、 3次元表示物を視点座標系の投影面に透視投影変換することで 得られる画像をディスプレイ上に表示するための画像合成装置であって、
スポッ ト表示を行うためのデブススポッ ト情報を発生するスポッ ト情報発生手 段と、 該スポヅト情報発生手段から入力された前記デブススポッ ト情報を用いて、 奥行き情報であるデブス情報に対して変換処理を施すデブス変換手段と、 輝度情 報と、 表示物のカラー情報とに基づいて、 前記ディスプレイの各画素に表示すベ きカラー情報を求めるシエーディング演算手段と、 該シェーディング演算手段か ら入力される前記カラー情報に対して、 前記デプス変換手段により変換されたデ ブス情報に基づいてデブスキューィング演算を施すデプスキューィング演算手段 とを含むことを特徴とする。
本発明によれば、 発生されたデプススポッ ト情報を用いてデブス情報に対して 変換処理が行われ、 この変換されたデブス情報に基づいてデプスキューイング演 算が行われる。 これにより、 デプス変換が施された画素部分に視点からの距離感 を向上させるような映像効果を作り出すことができ、 例えば 「霧」 の中でのスポ ッ ト表示等が可能となる。
この場合、 本発明では、 前記デブス変換手段における変換処理を、 前記デプス 情報に対して前記デブススポッ ト情報を加算する処理とすることができる。 この ようにすれば、 正のデブススボッ ト情報が加算された場合には、 その部分はより 遠くにある状態に見え、 負のデブススポッ ト情報が加算された場合には、 その部 分はより近くにある状態に見えることになる。
また本発明は、 複数のカラーパレッ トを有するカラ一パレッ トメモリと、 与え られたカラ一コードに基づいて前記複数のカラーパレツ 卜から前記表示物の前記 カラー情報を読み出し前記シヱーディング演算手段に対して出力するパレツ ト参 照手段とを含み、 前記複数のカラ一パレツ 卜の各々に対応して奥カラー情報が設 定され、 前記デプスキューイング演箅手段が、 前記デプス情報に基づいて前記力 ラー情報と前記奥カラ一情報とにより前記デブスキューィング演算を行うことを 特徴とする。
本発明によれば、 複数のカラーパレッ トのいずれかを選択することで、 様々な 色彩効果を得ることができる。 また、 本発明によれば、 奥カラ一情報を、 外部か ら設定する、 あるいは、 カラーパレットメモリ内に各カラ一パレッ トに対応させ て記憶させることで、 各カラーパレツ トに対応した奥カラー情報を設定できる。 そして、 奥カラー情報を異ならせることにより、 表示物体毎に奥カラーの設定が 可能となる。 これにより、 「霧」 等の種々の演出を作り出すことができる。 なお、 カラ一パレッ トが N個 (Nは 2以上の整数) ある場合には、 N個の奥力 ラー倩報を用意し、 奥カラー倩報をカラーパレツ トに 1対 1に対応させてもよい し、 M個 (Mは Nよりも小さい整数) の奥カラー情報を用意し、 複数個のカラー パレツ 卜に 1つの奥カラ一情報を対応させるようにしてもよい。
また本発明は、 表示物の前記カラー情報あるいは該カラー情報を生成するため の情報、 輝度情報、 デブス情報の少なくとも 1つを含む情報を、 前記ディスプレ ィの各画素に対応した格納エリァに格納するフィールドバッファ部を含み、 前記スポッ ト情報発生手段が、 前記フィールドバッファ部から各画素について の前記情報が出力されるタイミングに同期して該画素についての前記輝度スボッ ト情報、 前記デプススポッ ト情報の少なくとも 1つを出力するとともに、 前記デ イスブレイ上にキャラクタ画面を表示するためのキャラクタ画面情報をも発生す ることを特徴とする。
本発明によれば、 フィールドバッファ部の各格納エリアには、 表示物のカラー 情報又はこのカラー情報を生成するための情報 (カラーコード、 テクスチャ座標 等) 、 輝度情報、 デブス情報の少なくとも 1つが記憶される。 そして、 スポッ ト 情報発生手段は、 フィールドバッファ部からの出力タイミングに同期して、 スポ ッ ト情報 (輝度スポッ ト情報、 デプススポッ ト情報) と、 キャラクタ画面情報の 少なくとも一方を出力できる。 これにより、 スポッ ト情報を発生する機能とキヤ ラク夕画面情報を発生する機能とを同一のハードウエアを用いて実現することが 可能となる。 これにより、 例えば、 キャラクタ画面情報を発生する手段を、 もと もと装置が内蔵している場合には、 最小のハードウェア変更で、 スポット倩報の 発生が可能となり、 装置の低コスト化を図ることができる。
[図面の簡単な説明]
第 1図は、 本発明の第 1の実施例のブロック図の一例である。
第 2図は、 3次元画像合成部のブロック図の一例である。
第 3図は、 本実施例における 3次元演算処理について説明するための図であ る。
第 4図は、 第 1の実施例でテクスチャマツビング手法を用いる場合のブロッ ク図の一例である。
第 5図は、 カラーパレツトメモリのメモリ構成の一例を示す図である。 第 6図は、 デブスキューィング演算の一例を説明するための図である。 第 7図は、 キャラクタ画面について説明するための図である。
第 8図は、 本発明の第 2の実施例のブロック図の一例である。
第 9図は、 本発明の第 3の実施例のプロック図の一例である。
第 1 0図は、 第 3の実施例でテクスチャマツビング手法を用いる場合のプロ ック図の一例である。
第 1 1図は、 第 1の実施例でフィールドバッファ部の配置を異ならせた場合 のブロック図の一例である。
第 1 2図は、 第 3の実施例でフィールドバッファ部の配置を異ならせた場合 のプロック図の一例である。
第 1 3図 Aは、 3次元画像を形成できる画像合成装置の概念を説明するため の概略説明図であり、 第 1 3図 Bは、 これににより形成される画面の一例を 示す図である。
第 1 4図は、 スボット表示を行う 1つの手法について説明するための図であ る。
[発明を実施するための最良の形態]
(第 1の実施例) - - 図 1に、 本発明の第 1の実施例のブロック図を示す。 図 1に示すように、 本実 施例は、 3次元画像合成部 2 0、 フィールドバッファ部 2 2、 シヱ一ディング演 算部 2 4、 デプスキューイング演算部 2 6、 パレット参照部 2 8、 カラーパレツ トメモリ 2 9、 輝度変換部 3 0、 キャラクタ画面情報発生部 (スボット情報発生 部) 3 4、 キャラクタメモリ 3 6、 パレット参照部 3 8、 及びミキシング部 4 0 を含む。
3次元画像合成部 2 0は、 複数の表示物が配置された仮想 3次元空間内の所定 の視点位置、 視線方向での透視投影変換後の 2次元画像を合成するものであり、 図 2にはそのブロック図の一例が示される。
図 2において、 操作部 1 2には、 例えばレーシングカーゲームに適用した場合 を例にとれば、 レーシングカーを運転するためのハンドル、 アクセル等が含まれ、 これにより操作情報が入力される。
仮想 3次元空間演算部 1 0 0では、 仮想 3次元空間における複数の表示物、 例 えばレーシングカー、 コース、 ビル等の位置、 方向等を設定する演算が行われる。 この演算は、 操作部 1 2からの操作情報や、 処理部 1 0 2に記憶されるゲームプ ログラム、 あらかじめ設定記憶されているマップ情報等に基づいて行われる。 画像供給部 2 1 0では、 仮想 3次元空間演算部 1 0 0で設定された表示物の位 置、 方向等の情報、 及びオブジェク ト画像情報記憶部 2 1 2から読み出されたォ ブジェクト画像情報に基づいて、 各種の 3次元演算処理が行われる。 即ち、 まず、 図 3に示すように、 レーシングカー、 コース等を表すオブジェクト 3 0 0、 3 3 3、 3 3 4について、 それを構成するポリゴンをワールド座標系 (絶対座標系) ( XW、 YW、 Z W) で表現される仮想 3次元空間上に配置するための演算処理が行 われる。 次に、 座標変換部 2 1 4により、 これらの各ォブジェクトについて、 そ れを構成するポリゴンをプレーヤ 3 0 2の視点位置等を原点とする視点座標系 ( X v、 Y v、 Ζ ν ) へ座標変換する処理が行われる。 その後、 クリッピング処 理部 2 1 6により、 いわゆるクリッピング処理が行われ、 次に、 透視投影変換部 2 1 8により、 スクリーン座標系 (X S、 Y S) への透視投影変換処理が行われる。 その後、 ポリゴンフォーマット変換処理、 必要があればソーティング処理等が行 われることになる。 - - なお、 画像供給部 2 1 0においては、 仮想 3次元空間内の所定の位置に配置さ れた光源からの光に基づいて、 輝度を演箅する処理も行われる。 そして、 本実施 例においては、 演算された輝度情報は、 例えばポリゴンの各頂点に対して頂点輝 度情報として与えられることになる。
描画部 2 3 0では、 画像供給部 2 1 0において 3次元演算処理されたポリゴン の頂点座標、 頂点輝度情報等のデータから、 ポリゴン内の全てのドッ トの画像情 報が演算される。 この場合、 求められる画像情報としては、 カラーコード、 輝度 情報、 デプス情報 (奥行き情報) 、 テクスチャマツビング手法を用いる場合には テクスチャ座標等が考えられる。
本実施例でテクスチャマツビング手法を用いる場合には、 テクスチャを格納す るためのテクスチャメモリ 2 3が必要となり、 このテクスチャメモリ 2 3が、 図 4に示すように、 フィールドバッファ部 2 2とパレツ ト参照部 2 8との間に配置 される。 そして、 この場合には、 フィールドバッファ部 2 2には、 描画部 2 3 0 により求められたテクスチャ座標が格納され、 このテクスチャ座標に基づいてテ クスチヤメモリ 2 3からカラーコードが読み出され、 パレツ ト参照部 2 8に出力 されることになる。
なお、 テクスチャメモリ 2 3をフィールドバッファ部 2 2の前段に設け、 描画 部 2 3 0からのテクスチャ座標でカラーコ一ドを読み出し、 このカラーコードを フィ一ルドバッファ部 2 2に格納するようにしてもよい。
次に、 図 1のフィールドバッファ部 2 2について説明する。 フィールドパッフ ァ部 2 2は、 ディスプレイの各画素に対応した格納エリアを有しており、 この格 納エリアには、 3次元画像合成部 2 0により求められた各画素についてのカラー コード、 輝度情報、 デブス情報等が格納される。 但し、 例えばデブス情報につい ては、 必ずしも画素毎に与える必要はなく、 ポリゴン内においては全て同じ値で あるとしてポリゴン毎に与えてもよい。 また、 テクスチャマツビング手法を用い る場合には、 図 4からも明らかなように、 フィールドバッファ部 2 2には、 カラ 一コードの代わりにテクスチャ座標が格納される。 カラーコード、 輝度情報、 デ ブス情報等の情報は、 ディスプレイ上の上の走査線から下の走査線へと (あるい はイン夕一レスに) スキャンするようにして、 パレツ ト参照部 2 8、 輝度変換部 3 0、 デブスキューイング演算部 2 6等へと出力されることになる。
次に、 パレッ ト参照部 2 8、 カラーパレッ トメモリ 2 9について説明する。 図 5には、 カラーパレッ トメモリ 2 9のメモリ構成の一例が示される。 このカラー パレツ トメモリ 2 9は、 例えば 1 2 8種類のカラーパレツ トを内蔵している (図 5には、 その中のカラーパレッ ト 0〜7のみを示した) 。 これらの中で、 どの力 ラーパレッ トを使用するかは、 例えば図 2に示す仮想 3次元空間演算部 1 0 0に より指定される。 例えば、 カラーパレッ ト 0が指定され、 カラ一コード 9 2が指 定されたとする。 すると、 表示物のカラー情報である (R、 G、 B ) = ( 1 7 0、 6 5、 3 0 ) が読み出されることになる。 ノ、'レッ ト参照部 2 8は、 フィールドパ ッファ部 2 2から出力されるカラーコードに基づいてカラーバレツ トメモリ 2 9 からこのカラ一情報を読み出す。 そして、 読み出されたカラ一情報は、 シエーデ ィング演算部 2 4に出力される。
なお、 本実施例では、 カラーパレッ トの指定を異ならせることで、 同じカラー コードであっても異なるカラー情報を出力させることができる。 これにより、 例 えば、 カラーパレッ トの指定を異ならせるだけで、 様々な色彩効果を得ることが 可能となる。
シエーディング演算部 2 4では、 パレツ ト参照部 2 8から入力されるカラー情 報と、 3次元画像合成部 2 0で演算されフィールドバッファ部 2 2に格納された 輝度情報 (実際には輝度変換部 3 0により変換処理が施されている) とに基づい て、 ディスプレイの各画素に表示すべきカラー情報が求められる。 例えば、 パレ ヅ ト参照部 2 8から出力されるカラー情報が (R、 G、 B ) = ( 5 0、 5 0、 5 0 ) (暗めの白) であり、 入力される輝度情報が輝度を 4倍にするという情報で あつたとする。 すると、 シェーディング演算部 2 4は、 (R、 G、 B ) = ( 2 0 0、 2 0 0、 2 0 0 ) (明るめの白) のカラー情報を出力することになる。 シェ ーデイング演算部 2 4に入力される輝度情報は例えば 8ビッ トデータとなり、 こ れにより 2 5 6段階 ( 1〜2 5 6 ) の輝度を指定できる。 そして、 例えば輝度情 報 = 6 4の場合に等倍の設定になるようにすると、 この輝度情報により、 パレツ ト参照部 2 8から出力されるカラ一情報の輝度を 1ノ 6 4倍 (輝度情報- 1 ) 〜 4倍 (輝度情報 = 2 5 6 ) に設定することが可能となる。 これにより、 表示物の カラー情報に対して、 3次元画像合成部 2 0で行われたグーローシエーディング、 フォンシヱーディングの演箅結果を反映させることができ、 ディスプレイの画素 に表示するべきカラー情報を求めることが可能となる。
デブスキューィング演箅部 2 6では、 シェーディング演算部 2 4から入力され るカラ一情報に対して、 奥行き情報であるデプス情報に基づくデブスキュ一ィン グ演算が施される。 図 6は、 このデプスキューイング演算の一例を説明するため の図である。 本実施例では、 デプス情報に基づいてカラー情報を奥カラー情報 8
0 2により補間する演算を行っている。 この場合のデブス情報としては、 奥行き 情報、 即ち視点からの距離 (Z座標値) が考えられる。 図 6に示すように、 デブ スキューイング演算を行う場合には、 まず奥カラー情報 8 0 2が指定される。 こ の奥カラー倩報 8 0 2は各カラーパレツ 卜毎に指定されるものであり、 これは、 例えば図 2の仮想 3次元空間演算部 1 0 0により指定させてもよいし、 また、 力 ラーバレッ トメモリ 2 9内に、 各カラーパレツ 卜に対応させて記憶させてもよい。 図 6で前カラー情報 8 0 0となるのは、 シェーディング演算部 2 4よりデブスキ ユーイング演箅部 2 6に入力されるカラー情報である。 また、 デブス情報 C Zは、 フィールドバッファ部 2 2より入力される。 デブスキューイング演算部 2 6では、 これらの前カラー情報 8 0 0、 奥カラー情報 8 0 2、 デプス情報 C Zに基づいて、 所定の補間処理 (例えば直線補間) により出力カラー情報 8 0 4が求められ、 求 められたカラー情報はミキシング部 4 0に出力される。
例えば、 「霧」 の仮想 3次元空間を形成する場合には、 この奥カラー情報を
「白」 (例えば ( 1 0 0、 1 0 0、 1 0 0 ) ) に設定する。 すると、 上記デブス キューイング演算により、 視点からの距離が遠いほどカラー情報が 「白 j に近づ くような処理が行われ、 これにより 「霧」 の効果が得られる。 この他にも、 「夕 焼け」 であれば奥カラー情報 8 0 2を ( 2 0 0、 5 0、 3 0 ) として、 赤色を少 し強める。 また、 海については、 「深い海」 は ( 0、 0、 5 0 ) というように黒 色に近い青色として 「浅い海」 は ( 5 0、 5 0、 2 0 0 ) というように青色を強 くする。 また、 「緑の惑星 j であれば、 「霧 j の要素に少し緑色を付加し、 「砂 嵐」 であれば黄色を少し付加する。 このようにして、 種々の仮想 3次元空間を設 定することが可能となる。 キャラクタ画面情報発生部 3 4は、 画面上にキャラクタ画面を表示するために 用いられるものである。 このキャラクタ画面情報発生部 3 4は、 例えば図 7にお いて、 コース 8 7 4、 タイム 8 7 6、 夕コメ一夕 8 7 8、 速度計 8 7 9等のキヤ ラクタに関する画面情報を発生する。 この場合、 コース 8 7 4、 タイム 8 7 6等 を表すキャラクタの画像情報 (カラ一コード等) は、 キャラクタメモリ 3 6に格 納されている。 キャラクタ画面情報発生部 3 4は、 キャラクタメモリ 3 6から、 コース 7 4、 タイム 7 6等についての画像情報を読み出し、 これを画面上の図 7 に示す位置に配置する演算処理を行い、 これによりキャラクタ画面情報を発生す る。 そして、 フィールドバッファ部 2 2が、 上の走査線から下の走査線へとスキ ヤンしながらカラーコード、 輝度情報等を出力するのに同期して、 得られたキヤ ラク夕面のカラーコ一ドをパレツ ト参照部 3 8に出力する。 パレツ ト参照部 3 8 では、 入力されたカラーコードに基づいてカラーパレツ トメモリ 2 9から対応す るカラー情報を読み出し、 これをミキシング部 4 0に出力することになる。 そし て、 ミキシング部 4 0によるミキシングにより、 図 7に示すような画像が形成さ れ出力されることになる。
さて、 本実施例では、 キャラクタ画面情報発生部 3 4が、 スポッ ト情報発生部 を兼用する構成となっている。 即ち、 キャラクタ画面情報発生部 3 4では、 キヤ ラクタ画面情報のみならず輝度スポッ ト情報も発生可能であり、 この輝度スポッ ト情報が、 キャラクタ面のカラーコ一ドを出力するタイミングと同様のタイミン グで輝度変換部 3 0に出力される。 これにより、 フィールドバッファ部 2 2から カラ一コード、 輝度情報等が上の走査線から下の走査線へとスキャンしながら出 力されるのと同様のタイミングで、 輝度スポッ ト情報が輝度変換部 3 0へと出力 されることになる。 これにより、 キャラクタ画面情報発生部 3 4において、 フィ ールドバッファ部 2 2と同様にディスプレイの各画素に対応するように輝度スポ ッ ト情報を配置することで、 画面上の所望の位置にへッ ドライ ト等のスポッ ト表 示を行うことが可能となる。 そして、 このようなキャラクタ画面情報発生部 3 4 は、 この種の画像合成装置においてはほとんどの場合に内蔵されているものであ る。 従って、 本実施例によれば、 スポッ ト情報発生のためのハードウェア装置を 新たに設けることなくこのようなスポッ ト表示が可能となるため、 装置の低コス ト化を図ることができる。 また、 この種のキャラクタ画面情報発生部 3 4では、 縦横のスクロール機能が可能となっているため、 この機能を利用してスポッ ト表 示をスクロールさせる等の応用動作も可能となる。
なお、 キャラクタ画面情報発生部 3 4が例えば 8ビッ ト単位でカラーコードを 制御するものである場合には、 例えば最上位の 1 ビッ トを操作することで、 キヤ ラク夕画面情報発生部とスポッ ト情報発生部とを切り替えて使用することができ る。 これにより、 表現できるカラーコードの段階は 2 5 6段階から 1 2 8段階へ と少なくなるが、 キャラクタ面を表示するにはそれほど多くのカラー情報は必要 とないため、 これでも十分に使用に耐えることができる。 そして、 これにより、 輝度変換部 3 0に出力される輝度スポッ ト情報を、 1 2 8段階で変化させること ができることになる。
輝度変換部 3 0では、 スボッ ト情報発生部を兼用するキャラクタ画面情報発生 部 3 4から入力された輝度スボッ ト情報を用いて、 フィールドバッファ部 2 2か らの輝度情報に対して変換処理を施す演算が行われる。 本実施例においては、 こ の変換処理は、 正又は負の輝度スポッ ト情報を輝度情報に加算することにより行 われる。 例えば、 フィ一ルドバッファ部 2 2からの輝度情報 = 1 0 0で輝度スポ ッ ト情報 = 5 0の場合には、 輝度情報 = 1 5 0がシヱ一ディング演算部 2 4に出 力され、 シェーディング演算部 2 4では、 この輝度情報 = 1 5 0により処理対象 となる画素についてのカラー情報の演算 (陰影付け、 輝度演算) が行われること になる。 本実施例では、 キャラクタ画面情報発生部 3 4から出力される輝度スポ ッ ト情報のパターンは、 例えばへッ ドライ 卜の照明効果を有するようなパターン となっている。 即ち、 へッ ドライ トの光軸部分が最も明るく (輝度スポッ ト情報 が大きくなる) その周囲に行くにしたがって暗くなる (輝度スポッ ト情報が小さ くなる) ようなパターンとなっている。 このような輝度スポッ ト情報を輝度情報 に加算することで、 加算された部分を輝度の明るい色とすることができ、 これに よりヘッ ドライ ト等のスポッ 卜表示が可能となる。
なお、 上記では、 輝度情報及び輝度スポッ ト情報は、 R G Bの全ての成分で共 通のものとなっていたが、 本発明はこれに限らず、 これらを R G Bの各々に別々 に設定することもできる。 例えば、 輝度変換部 3 0において赤の輝度成分が強く なるように輝度変換処理を行えば、 赤色のヘッ ドライ トパターン等を形成するこ ともできる。 同様に任意の色のスポッ ト表示も可能である。
また、 輝度変換部 3 0における変換処理も、 加算処理のみならず種々のものを 採用できる。 例えば、 加減算、 乗算、 除算等で表される所定の関数式を用意し、 この関数式に基づいて変換処理を行っても良い。 また、 変換テーブルをあらかじ め用意し、 入力される輝度情報、 輝度スポッ ト情報に基づいて、 この変換テープ ルから対応するデータを読み出すことで変換処理を行っても良い。
さて、 本実施例においては、 デブスキューイング演算を行う前の輝度情報の段 階で輝度変換部 3 0によりスボッ ト表示のための輝度変換処理が行わる。 そして、 輝度変換処理後にデブスキューイング演算が施されるため、 奥行き情報が反映さ れたスポッ ト表示を行うことが可能となる。 例えば、 奥カラー情報を 「黒」 に設 定した場合には、 デブスキューイング演算部 2 6では、 カラー情報を奥カラー情 報である 「黒」 に補間する演算処理が行われる。 従って、 遠くにある表示物はよ り周りが暗くなるという効果が得られる。 これにより、 本実施例により生成され たへッ ドライ トパターンは、 遠くに行くにしたがって暗くなるというようなパ夕 ーンとなり、 奥行き情報が反映されたへッ ドライ ト表示を実現できることになる。 従って、 例えばレーシングカーゲームにおいて正面を向いていたレーシングカー が横を向き、 その方向に壁があった場合にも、 壁までの奥行き情報が反映されて へッ ドライ ト表現をした画像が合成されることになり、 へッ ドライ トパターンを より現実に近いパターンとすることができる。 この場合、 本実施例では、 例えば 3次元画像合成部 2 0においてへッ ドライ トの光源をシミュレートする等の大量 で複雑な演算処理は必要なく、 既にあるキャラクタ画像情報発生部 3 4を利用し て、 単に輝度スポッ ト情報を発生させ輝度変換部 3 0で変換処理を行うだけで、 スポッ ト表示が可能となっている。 即ち、 奥行きを反映したスポッ ト表示が可能 であるにも関わらず、 このスボッ ト表示を行うためにハードウエアを大幅に高速 化させたり、 ハードウェアの規模を大幅に増大させたりする必要が無く、 低コス 卜の装置で高品質の画像を提供できることとなる。
(第 2の実施例)
図 8に、 本発明の第 2の実施例のブロック図の一例を示す。 図 1と図 8を比較 すればわかるように、 第 1の実施例と第 2の実施例とは次の点で異なる。 即ち、 第 2の実施例では、 デブス変換部 32が新たに設けられ、 キャラクタ画面情報発 生部 34からは、 輝度スポッ ト情報、 デプススポット情報の両方が出力され、 輝 度変換部 30、 デブス変換部 32へと入力される。 そして、 輝度変換部 30、 デ ブス変換部 32で変換された輝度情報、 デブス情報が、 各々、 シェーディング演 算部 24、 デブスキューイング演算部 26に入力され、 これらの情報に基づいて シェーディング演算、 デブスキューイング演算が実行される。
さて、 デブス変換部 32では、 スポッ ト情報発生部を兼用するキャラクタ画面 情報発生部 34から入力されたデプススポッ ト情報を用いて、 デプス情報に対し て変換処理を施す演算が行われる。 本実施例においては、 この変換処理は、 正又 は負のデブススボット情報をデブス情報に加算することにより行われる。 例えば、 デブス情報 CZ = 50でデブススポッ ト情報 = 1 0の場合には、 デブス情報 CZ = 60がデブスキューイング演算部 26に出力され、 デブスキューイング演算部 26では、 この C Z= 60によりデブスキューイング演算が行われる。 即ち、 こ の場合には、 図 6から明らかなように、 より奥カラー情報 802に近づいた出力 カラ一情報 804がデブスキューィング演算部 26から出力されることになる。 もちろん、 この場合、 デブス変換部 32における変換処理も、 加算処理のみなら ず種々の手法を採用でき、 例えばデブス情報に対してデプススポッ ト情報を乗算 したり、 デブス情報とデブススボッ ト情報を補間する等の手法も考えられる。 ま た、 デブス情報を R用、 G用、 B用に 3種類持ち、 これらの R用、 G用、 B用の デブス情報により、 R、 G、 Bの各成分に対して別々にデブスキューイング演算 を行ってもかまわない。 このようにすれば、 例えば G、 B成分のみデブスキュー イング演算により少なくし、 R成分のみを残すことにより、 背景の色を赤に近づ ける等の処理が可能となる。
例えばデブスキューイング演算は次式のように表される。
CR= gR ( f R (CRX、 BR) 、 CZR)
CG=gG ( f G (CGX、 BG) 、 CZG)
CB= gB ( f B ( CBX、 BB) 、 C ZB)
ここで、 CRX~CBXは、 表示物のカラー情報である。 また、 BR〜BBはシエー ディング演箅部 2 4に入力される輝度情報であり、 で11〜:?8は、 シェーディング 演算部 2 4におけるシェーディング演算を表す関数である。 また、 C Z R〜C Z B は、 デプス情報の R、 G、 Bの各成分であり、 gR〜g Bは、 デブスキューイング 演算部 2 6におけるデブスキューイング演算を表す関数である。 そして、 CR〜C Bが、 デプスキューィング演算部 2 6から出力される最終的なカラ一情報となる。 この場合、 例えば f R= f G= f Bとしたり、 C Z R= C Z G= C Z Bとしたり、 gR= g G= gBとすることも可能である。
さて、 本実施例においては、 デブス情報がデプス変換部 3 2により変換され、 この変換されたデプス情報によりデプスキューィング演算を行うことができる。 これにより、 このデブス変換が施された画素部分に視点からの距離感を向上させ るような映像効果を作り出すことができる。 例えば、 「霧」 に設定された仮想 3 次元空間においてスポッ ト表示を行う場合を考える。 この 「霧」 の設定は、 デブ スキューイング演算部 2 6における奥カラ一情報を 「白 j に設定することにより 実現できる。 この場合、 スポッ トの照射された部分の視認性を高めることで、 得 られる画像の現実感を向上させることができる。 本実施例では、 これを実現する ために、 スポッ 卜が照射される部分でデプス情報 C Zが小さくなるようにデプス 変換部 3 2における変換を行っている。 これは、 このスポッ トパターンの部分に おいてデブススポッ ト情報が小さくなるようにキャラクタ画面情報発生部 3 4が デプススポッ ト情報を出力すればよい。 このようにすれば、 図 6から明らかなよ うに、 デブス情報が小さくなり出力カラ一情報 8 0 4が 「霧」 の色を表す奥カラ 一情報 8 0 2から遠ざかることになる。 これにより、 スポッ ト表示が行われる部 分が、 「霧」 に埋もれるのが遅れることになり、 この結果、 「霧 j の中でスポッ 卜表示を行うという映像効果を得ることが可能となる。 このように本実施例によ れば、 デブスキューイング演算部 2 6に入力されるデブス情報を変換するだけと いう非常に簡易な手法で、 従来実現するのに複雑な演算処理が必要であった映像 効果を得ることが可能となる。
(第 3の実施例)
図 9に、 本発明の第 3の実施例のブロック図の一例を示す。 図 1と図 9を比較 すればわかるように、 第 3の実施例では、 輝度変換部 3 0は設けられずデブス変 換部 3 2が設けられている。 そしてキャラクタ画面情報発生部 3 4は、 輝度スポ ット情報を発生せずデプススポッ ト情報を発生し、 このデブススポット情報は、 デプス変換部 3 2に入力される。 デブス変換部 3 2は、 このデブススポッ ト情報 を用いて、 フィールドバッファ部 2 2から入力されるデブス情報に対して変換処 理を施し、 その結果をデプスキューイング演算部 2 6に出力する。 またフィール ドバッファ部 2 2から出力される輝度情報は、 輝度変換部による変換処理を施さ れることなくシエーディング演算部 2 4に入力される。
第 3の実施例によれば、 上記第 2の実施例で説明したように、 スポッ ト表示が 行われる部分が例えば 「霧 j に埋もれるのを遅らせることができ、 この結果、 「霧」 の中でスボット表示を行うという映像効果を得ることができる。 なお、 デ ブス変換部 3 2で行われる変換処理等については、 既に第 2の実施例で説明した ため、 ここでは説明を省略する。 また図 1 0には、 テクスチャメモリ 2 3を、 フ ィールドバッファ部 2 2とパレツ ト参照部 2 8の間に配置した場合のブロック図 を示す。 もちろんテクスチャメモリ 2 3をフィールドバッファ部 2 2の前段に設 ける構成としても構わない。
なお、 本発明は上記第 1〜第 3の実施例に限定されるものではなく、 本発明の 要旨の範囲内で種々の変形実施が可能である。
例えば、 上記第 1の実施例においては、 フィールドバッファ部 2 2を 3次元画 像合成部 2 0の後段に配置する構成としていたが、 本発明はこれに限らず、 図 1 1に示すようにフィールドバッファ部 4 1をミキシング部 4 0の後段 (あるいは デプスキューイング演算部 2 6の後段) に配置する構成としてもよい。 同様に、 上記第 2、 第 3の実施例においてもフィールドバッファ部 4 1をミキシング部 4 0の後段 (あるいはデブスキューィング演算部 2 6の後段) に配置する構成とし てもよい。 例えば図 1 2に、 第 3の実施例において、 フィールドバッファ部 4 1 をミキシング部 4 0の後段に設けた構成を示す。
また、 上記第 1〜第 3の実施例においてはカラーパレッ トメモリ 2 9、 パレツ ト参照部 2 8、 3 8を設ける構成としたが、 本発明では、 これらを設けない構成 とすることもできる。
また、 上記第 1〜第 3の実施例では、 キャラクタ画面情報発生部 3 4にスポッ ト情報発生部の機能を兼用させる構成としたが、 これらを兼用させず独立にスポ ッ ト情報発生部を設ける構成としてもかまわない。
また、 3次元画像合成部 4 2において行われる演算処理の手法は、 上記実施例 で説明したものに限らず、 種々の手法を採用することができる。 例えば、 種々の シェーディング手法を採用できるし、 また、 描画の手法も上記に説明したポリゴ ン毎に行うものに限らず、 いわゆるスキャンラインアルゴリズム等で描画しても 構わない。
また、 輝度変換部、 デブス変換部、 シェーディング演算部、 デプスキューイン グ演算部で行われる演算処理の手法も、 上記に説明した手法に限らず種々の手法 を採用できる。
また、 本発明の画像合成装置、 画像合成方法は、 業務用のゲーム機、 家庭用の ゲーム装置、 フライ トシミュレ一夕、 教習所等で使用されるドライビングシミュ レー夕等の種々のものに適用できる。 特に、 本発明の原理は、 家庭用ゲーム装置、 パーソナルコンビュ一夕に使用されるゲームカートリッジ、 C D— R O M、 フロ ヅビーディスクに格納されるゲームプログラムのアルゴリズム等にも当然に適用 できる。 更に、 多数のプレーヤが参加する大型アトラクション型のゲーム装置、 シミュレーション装置にも適用できる。
また、 ゲーム装置に適用する場合には、 レーシングカーゲーム、 対戦ゲーム、 ロールプレイングゲーム、 3次元的にマップが形成された宇宙船ゲーム等の種々 のゲーム装置に本発明は適用できる。
また、 本発明において 3次元画像合成部、 輝度変換部、 デプス変換部、 キャラ クタ画面情報発生部、 パレッ ト参照部、 シェーディング演算部、 デプスキューィ ング演算部等で行われる演算処理は、 専用の画像処理デバイスを用いて処理して もよいし、 汎用のマイクロコンビユー夕、 D S P等を利用してソフ トウェア的に 処理してもよい。

Claims

請求の範囲
( 1 ) 3次元表示物を視点座標系の投影面に透視投影変換することで得られる画 像をディスプレイ上に表示するための画像合成装置であって、
スボッ ト表示を行うための輝度スポッ ト情報を発生するスボッ ト情報発生手段 と、
該スボッ ト情報発生手段から入力された前記輝度スポッ ト情報を用いて、 輝度 情報に対して変換処理を施す輝度変換手段と、
該輝度変換手段により変換された輝度情報と、 表示物のカラー情報とに基づい て、 前記ディスプレイの各画素に表示すべきカラー情報を求めるシヱーディング 演算手段と、
該シェ一ディング演算手段から入力される前記カラー情報に対して、 奥行き情 報であるデブス情報に基づいてデブスキューイング演算を施すデプスキューィン グ演算手段と、
を含むことを特徴とする画像合成装置。
( 2 ) 前記輝度変換手段における変換処理が、 前記輝度情報に対して前記輝度ス ボッ ト情報を加算する処理であることを特徴とする画像合成装置。
( 3 ) 請求項 1において、
前記スポッ ト情報発生手段が、 前記輝度スポッ ト情報と共にスポッ ト表示のた めのデブススポッ ト情報を発生する手段を含み、
前記スポッ ト情報発生手段から入力された前記デブススボッ ト情報を用いて、 奥行き情報であるデブス情報に対して変換処理を施すデブス変換手段を含むこと を特徴とする画像合成装置。
( 4 ) 請求項 2において、
前記スボッ ト情報発生手段が、 前記輝度スボッ ト情報と共にスポッ ト表示のた めのデブススボッ ト情報を発生する手段を含み、
前記スポッ ト情報発生手段から入力された前記デブススポッ ト情報を用いて、 奥行き情報であるデプス情報に対して変換処理を施すデプス変換手段を含むこと を特徴とする画像合成装置。
( 5 ) 請求項 3において、
前記デブス変換手段における変換処理が、 前記デブス情報に対して前記デブス スボッ ト情報を加箅する処理であることを特徴とする画像合成装置。
( 6 ) 請求項 4において、
前記デプス変換手段における変換処理が、 前記デプス情報に対して前記デプス スポット情報を加箅する処理であることを特徴とする画像合成装置。
( 7 ) 3次元表示物を視点座標系の投影面に透視投影変換することで得られる画 像をディスプレイ上に表示するための画像合成装置であって、
スボッ ト表示を行うためのデプススボッ ト情報を発生するスポッ ト情報発生手 段と、
該スポッ ト情報発生手段から入力された前記デブススポッ ト情報を用いて、 奥 行き情報であるデブス情報に対して変換処理を施すデブス変換手段と、
輝度情報と、 表示物のカラー情報とに基づいて、 前記ディスプレイの各画素に 表示すべきカラー情報を求めるシエーディング演算手段と、
該シヱ一ディング演算手段から入力される前記カラー情報に対して、 前記デブ ス変換手段により変換されたデプス情報に基づいてデブスキューィング演算を施 すデプスキューィング演算手段と、
を含むことを特徴とする画像合成装置。
( 8 ) 請求項 7において、
前記デブス変換手段における変換処理が、 前記デブス情報に対して前記デブス スボッ 卜情報を加算する処理であることを特徴とする画像合成装置。
( 9 ) 請求項 1乃至 8のいずれかにおいて、
複数のカラーパレツ トを有するカラーパレツ トメモリと、
与えられたカラーコードに基づいて前記複数のカラーパレツ トから前記表示物 の前記カラ一情報を読み出し前記シエーディング演算手段に対して出力するパレ ッ ト参照手段とを含み、
前記複数のカラーパレツ トの各々に対応して奥カラー情報が設定され、 前記デブスキュ一ィング演算手段が、 前記デブス情報に基づいて前記カラー情 報と前記奥カラー情報とにより前記デブスキューイング演算を行うことを特徴と する画像合成装置。
( 1 0 ) 請求項 1乃至 8のいずれかにおいて、
表示物の前記カラー情報あるいは該カラー情報を生成するための情報、 輝度情 報、 デブス情報の少なくとも 1つを含む情報を、 前記ディスプレイの各画素に対 応した格納ェリアに格納するフィールドバッファ部を含み、
前記スポッ ト情報発生手段が、 前記フィールドバッファ部から各画素について の前記情報が出力されるタイミングに同期して該画素についての前記輝度スボッ ト情報、 前記デブススポッ ト情報の少なくとも 1つを出力するとともに、 前記デ イスブレイ上にキャラクタ画面を表示するためのキャラクタ画面情報をも発生す ることを特徴とする画像合成装置。
( 1 1 ) 3次元表示物を視点座標系の投影面に透視投影変換することで得られる 画像をディスプレイ上に表示するための画像合成方法であって、
スポッ ト表示を行うための輝度スポッ 卜情報を発生し、 該輝度スポッ ト情報を 用いて輝度情報に対して変換処理を施し、 変換された輝度情報と、 表示物のカラ 一情報とに基づいて、 前記ディスプレイの各画素に表示す きカラー情報を求め、 該カラー情報に対して、 奥行き情報であるデブス情報に基づいてデブスキューィ ング演算を施すことを特徴とする画像合成方法。
( 1 2 ) 請求項 1 1において、
スボッ 卜表示を行うためのデブススポッ ト情報を発生し、 該デブススポッ ト情 報を用いて奥行き情報であるデプス情報に対して変換処理を施すことを特徴とす る画像合成方法。
( 1 3 ) 3次元表示物を視点座標系の投影面に透視投影変換することで得られる 画像をディスプレイ上に表示するための画像合成方法であって、
スボッ ト表示を行うためのデプススポッ ト情報を発生し、 該デブススポッ ト情 報を用いて奥行き情報であるデブス情報に対して変換処理を施し、 輝度情報と、 表示物のカラ一情報とに基づいて、 前記ディスプレイの各画素に表示すべきカラ 一情報を求め、 該カラー情報に対して、 変換された前記デブス情報に基づいてデ ブスキューィング演算を施すことを特徴とする画像合成方法。
PCT/JP1995/002442 1994-12-01 1995-11-30 Appareil et procede de synthese d'images WO1996017324A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
GB9616102A GB2301514B (en) 1994-12-01 1995-11-30 Apparatus and method for image synthesization

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP6/329707 1994-12-01
JP6329706A JP2763502B2 (ja) 1994-12-01 1994-12-01 画像合成装置及び画像合成方法
JP6/329706 1994-12-01
JP6329707A JP2928119B2 (ja) 1994-12-01 1994-12-01 画像合成装置

Publications (1)

Publication Number Publication Date
WO1996017324A1 true WO1996017324A1 (fr) 1996-06-06

Family

ID=26573307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1995/002442 WO1996017324A1 (fr) 1994-12-01 1995-11-30 Appareil et procede de synthese d'images

Country Status (3)

Country Link
US (1) US6100895A (ja)
GB (1) GB2301514B (ja)
WO (1) WO1996017324A1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3514945B2 (ja) * 1997-05-26 2004-04-05 株式会社ソニー・コンピュータエンタテインメント 画像作成方法および画像作成装置
WO1999060526A1 (fr) * 1998-05-20 1999-11-25 Sega Enterprises, Ltd. Processeur d'image, machine de distraction, procede de traitement d'image et support d'enregistrement
JP4203779B2 (ja) * 1999-03-15 2009-01-07 ソニー株式会社 表示要素立体化装置及びその方法
JP4443012B2 (ja) 2000-07-27 2010-03-31 株式会社バンダイナムコゲームス 画像生成装置、方法および記録媒体
JP3629243B2 (ja) * 2002-02-13 2005-03-16 Necマイクロシステム株式会社 モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US8797260B2 (en) * 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US8313380B2 (en) * 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8233642B2 (en) * 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
DE60325536D1 (de) * 2002-09-20 2009-02-12 Nippon Telegraph & Telephone Vorrichtung zum Erzeugen eines pseudo-dreidimensionalen Bildes
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US7656413B2 (en) * 2006-03-29 2010-02-02 Autodesk, Inc. Large display attention focus system
US20110014981A1 (en) * 2006-05-08 2011-01-20 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
DE102007008767B3 (de) * 2007-02-22 2008-07-24 Tomtec Imaging Systems Gmbh Verfahren und Vorrichtung zur Darstellung von 3D Bilddatensätzen auf 2D Bildern
US8169445B2 (en) * 2007-10-01 2012-05-01 Doubleshot, Inc. Methods and systems for full-color three-dimensional image display
US9507167B2 (en) 2007-10-01 2016-11-29 Doubleshot, Inc. Methods and systems for full-color three-dimensional image display
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
CN103258184B (zh) 2008-02-27 2017-04-12 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
CN103210653B (zh) * 2010-11-15 2016-08-31 Lg电子株式会社 用于转换帧格式的方法及使用该方法的装置
US9672432B2 (en) * 2011-06-09 2017-06-06 Aisin Seiki Kabushiki Kaisha Image generation device
US20140267616A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Variable resolution depth representation
US10902265B2 (en) * 2019-03-27 2021-01-26 Lenovo (Singapore) Pte. Ltd. Imaging effect based on object depth information
US20210246636A1 (en) * 2020-02-07 2021-08-12 Caterpillar Inc. System and Method of Autonomously Clearing a Windrow

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0239385A (ja) * 1988-07-29 1990-02-08 Yokogawa Medical Syst Ltd 3次元画像処理装置
JPH04213780A (ja) * 1990-12-10 1992-08-04 Oki Electric Ind Co Ltd 画像処理方法
JPH04315274A (ja) * 1991-04-12 1992-11-06 Sony Corp 画像変換装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0754554B2 (ja) * 1986-02-13 1995-06-07 工業技術院長 表示処理方法
JPH04112277A (ja) * 1990-08-31 1992-04-14 Toyobo Co Ltd 形状識別方法
JP2806023B2 (ja) * 1990-09-19 1998-09-30 ソニー株式会社 画像表示処理装置
JPH05265443A (ja) * 1992-03-17 1993-10-15 Nec Corp 3次元物体画像表示装置構成方式
JP3143208B2 (ja) * 1992-04-24 2001-03-07 三菱プレシジョン株式会社 模擬視界発生方法
JP3426647B2 (ja) * 1992-06-24 2003-07-14 日本電信電話株式会社 3次元トポグラフィシミュレーションのための一般化されたソリッドモデリング
US5977978A (en) * 1996-11-13 1999-11-02 Platinum Technology Ip, Inc. Interactive authoring of 3D scenes and movies

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0239385A (ja) * 1988-07-29 1990-02-08 Yokogawa Medical Syst Ltd 3次元画像処理装置
JPH04213780A (ja) * 1990-12-10 1992-08-04 Oki Electric Ind Co Ltd 画像処理方法
JPH04315274A (ja) * 1991-04-12 1992-11-06 Sony Corp 画像変換装置

Also Published As

Publication number Publication date
GB2301514A (en) 1996-12-04
US6100895A (en) 2000-08-08
GB2301514B (en) 1999-06-09
GB9616102D0 (en) 1996-09-11

Similar Documents

Publication Publication Date Title
WO1996017324A1 (fr) Appareil et procede de synthese d'images
US7274365B1 (en) Graphical processing of object perimeter information
WO1994004989A1 (en) Image synthesizer
US7202867B1 (en) Generation of glow effect
JP4804120B2 (ja) プログラム、情報記憶媒体、及び画像生成システム
US20090080803A1 (en) Image processing program, computer-readable recording medium recording the program, image processing apparatus and image processing method
JP2002170131A (ja) 画像処理装置、画像処理方法及び情報記憶媒体
JP4651527B2 (ja) プログラム、情報記憶媒体及び画像生成システム
JP3394258B2 (ja) 画像合成装置およびこれを用いたビデオゲーム装置
WO2001055970A1 (fr) Systeme de jeux et procede de creation d'images
JP4868586B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
JP2928119B2 (ja) 画像合成装置
AU5652700A (en) Method and apparatus for providing non-photorealistic cartoon outlining within a 3D vodeographic system
JP4827250B2 (ja) プログラム、情報記憶媒体及び画像生成システム
JP3367934B2 (ja) ゲームシステム、ゲームシステムにおける画像描画方法およびゲーム用プログラムが記憶されたコンピュータ読み取り可能な記録媒体
JP2763502B2 (ja) 画像合成装置及び画像合成方法
US6646650B2 (en) Image generating apparatus and image generating program
JP2006318387A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2007164736A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP2010033295A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP3656062B2 (ja) 画像合成装置およびこれを用いたビデオゲーム装置
JP4476040B2 (ja) プログラム、情報記憶媒体、及び画像生成システム
JP2010033302A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP2008077406A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP4693153B2 (ja) 画像生成システム、プログラム及び情報記憶媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): GB US

ENP Entry into the national phase

Ref country code: US

Ref document number: 1996 682780

Date of ref document: 19960731

Kind code of ref document: A

Format of ref document f/p: F