WO1996007275A1 - Dispositif analyseur d'images - Google Patents

Dispositif analyseur d'images Download PDF

Info

Publication number
WO1996007275A1
WO1996007275A1 PCT/JP1995/001740 JP9501740W WO9607275A1 WO 1996007275 A1 WO1996007275 A1 WO 1996007275A1 JP 9501740 W JP9501740 W JP 9501740W WO 9607275 A1 WO9607275 A1 WO 9607275A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
resolution
class
signal component
component
Prior art date
Application number
PCT/JP1995/001740
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Kunio Kawaguchi
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US08/632,476 priority Critical patent/US5748235A/en
Priority to DE69524202T priority patent/DE69524202T2/de
Priority to JP50862396A priority patent/JP4190576B2/ja
Priority to EP95930024A priority patent/EP0731616B1/en
Publication of WO1996007275A1 publication Critical patent/WO1996007275A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049—Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors

Definitions

  • the present invention relates to an imaging device using a charge-coupled device (CCD), and more particularly to an imaging device that obtains a high-resolution video signal using CCD.
  • CCD charge-coupled device
  • the imaging apparatus that images a subject using a charge-coupled device (CCD) and outputs a video signal. This conventional imaging device will be described with reference to FIGS.
  • FIG. 1 is a block diagram showing a configuration of an example of a single-chip type imaging device that obtains a video signal using one CCD.
  • the light to be imaged incident on the optical system 1 is incident on the CCD 3 via the color filter 2.
  • the color filter 2 is a complementary color filter composed of, for example, a yellow filter, a cyan filter, and a magenta filter.
  • the light to be imaged that has entered the CCD 3 via the color filter 2 is photoelectrically converted by the CCD 3 and supplied to the video amplifier 4 as an image signal.
  • the image signal is amplified to a predetermined level by the video amplifier 4 and then supplied to the AZD conversion circuit 5.
  • the A / D conversion circuit 5 converts the imaging signal into a digital signal having a predetermined number of bits.
  • the image signal converted to a digital signal by the A / D conversion circuit 5 It is supplied to the separation circuit 6.
  • the color separation circuit 6 divides the input digital imaging signal into an R signal component, a G signal component, and a B signal component, and supplies each to a signal processing circuit 7.
  • the signal processing circuit 7 performs predetermined signal processing and matrix operation on the supplied R signal component, G signal component, and B signal component, respectively, to obtain a luminance signal Y and a color difference signal R ⁇ Y, ⁇ .
  • Generate The color difference signals R- ⁇ and ⁇ - ⁇ generated by the signal processing circuit 7 are supplied to the modulation circuit 8.
  • the modulation circuit 8 modulates the color subcarrier signal by two-axis (two-phase) quadrature using the color difference signals R- ⁇ and ⁇ - ⁇ , and adds the obtained carrier chrominance signal (hereinafter referred to as a chrominance signal) to an adder 9.
  • a chrominance signal carrier chrominance signal
  • a luminance signal ⁇ is supplied from the signal processing circuit 7 to the other input terminal of the adder 9, and the luminance signal ⁇ and a color signal from the modulation circuit 8 are added to form a digital composite video signal. It is generated and output from output terminal 10.
  • the image pickup device shown in FIG. 1 is configured to obtain the R signal component, the G signal component, and the ⁇ signal component from the light to be imaged by using one image sensor, so that it is small and lightweight, and is portable. Since the number of pixels assigned to each of the suitable force, the R signal component, the G signal component, and the ⁇ signal component is relatively small, the resolution of the imaging signal, that is, the resolution of the composite video signal output from the output terminal 10 is reduced. There is a problem that it is relatively low.
  • a three-chip type imaging device that obtains an imaging signal using three CCDs is also known.
  • An example of the three-plate imaging device will be described with reference to FIG.
  • the light to be imaged is transmitted through an optical system 21 to a color separation prism.
  • the light is incident on the system 22.
  • the color separation prism 22 splits the light to be imaged into red light, green light, and blue light, and makes the light incident on the red imaging CCD 23, the green imaging CCD 24, and the blue imaging CCD 25, respectively.
  • the CCD 23 for red imaging, the CCD 24 for green imaging, and the CCD 25 for blue imaging photoelectrically exchange the incident red light, green light, and blue light, respectively, and generate an R signal component, a G signal component, and a B signal component. Is output.
  • These R signal component, G signal component and B signal component are supplied to video amplifiers 26, 27 and 28, respectively.
  • the video amplifiers 26, 27 and 28 amplify the supplied R signal component, G signal component and B signal component to predetermined levels, respectively, and send the amplified signals to the 0 conversion circuits 29, 30 and 31 respectively.
  • the AZD conversion circuits 29, 30 and 31 convert the R signal component, the G signal component and the B signal component into digital signals having a predetermined number of bits, respectively.
  • the R, G, and B signal components converted into digital signals by the AZD conversion circuits 29, 30 and 31 are supplied to the signal processing circuit 32.
  • the signal processing circuit 32 performs predetermined signal processing and matrix operation processing on the supplied R signal component, G signal component, and B signal component, respectively, to obtain a luminance signal Y, a color difference signal R-Y, ⁇ — generates ⁇
  • the color difference signals R- ⁇ and ⁇ - ⁇ generated by the signal processing circuit 32 are supplied to the modulation circuit 34.
  • the modulation circuit 34 quadrature-modulates the color subcarrier signal by the color difference signals R- ⁇ and ⁇ - ⁇ , and supplies the obtained color signal to one input terminal of the adder 35.
  • a luminance signal ⁇ is supplied from a signal processing circuit 32 to the other input terminal of the adder 35, and the luminance signal ⁇ and a color signal from the modulation circuit 34 are added to form a digital composite image.
  • a signal is generated, Output from output terminals 36.
  • the luminance signal Y and the color difference signals R and ⁇ output from the signal processing circuit 32 are output from the output terminals 37, 38 and 39 as component signals, respectively.
  • the image pickup device shown in FIG. 2 is configured to obtain the R signal component, the G signal component, and the ⁇ signal component from the light to be imaged by using three image pickup devices. It is possible to obtain a video signal having a higher resolution than the resolution of the video signal output from the imaging device.
  • the present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide an imaging apparatus capable of obtaining a high-resolution video signal without increasing the number of CCD pixels. It is to be.
  • DISCLOSURE OF THE INVENTION One aspect of the present invention relates to an imaging unit that converts imaging light input through a color filter into an imaging signal, and an imaging signal supplied from the imaging unit. Separation means for dividing the image signal into R, G, and B signal components; and the R, G, and B signal components are respectively supplied from the separation means, and the R, G, and B signal components are supplied.
  • First, second, and third conversion means for converting the resolution of the signal component to a higher resolution to generate a high-resolution R signal component, a high-resolution G signal component, and a high-resolution B signal component;
  • the high resolution R signal component, the high resolution G signal component and the high resolution B signal component are supplied from the first, second, and third conversion means, and the high resolution R signal component, the high resolution G signal component, and the like.
  • An image pickup apparatus having signal processing means for generating a luminance signal and a color signal from a high-resolution B signal component.
  • the first, second, and third conversion means respectively include a block forming means for dividing an input signal into a plurality of blocks, and data for each block divided by the block forming means.
  • Compression means for compressing the amount, and class detection means for each block, determine the class of each block based on the pattern of the level distribution of the compressed data, and output a signal indicating the class.
  • a prediction coefficient for converting the input signal into a high-resolution signal corresponding to each class is stored, and a prediction coefficient corresponding to the signal indicating the class output from the class determination means is output.
  • Predictive coefficient storing means and predictive calculating means for performing a predictive calculating process on an input signal using a predictive coefficient output from the predictive coefficient storing means to generate a high-resolution signal from the input signal.
  • first, second, and third imaging means for converting red light, green light, and blue light into an R signal component, a G signal component, and a B signal component, respectively.
  • the R signal component, the G signal component, and the B signal component are respectively supplied from the third imaging unit, and the R signal component, the G signal component, and the B signal component are supplied.
  • First, second, and third conversion means for converting the resolution of the signal component to a higher resolution to generate a high-resolution R signal component, a high-resolution G signal component, and a high-resolution B signal component;
  • the high resolution R signal component, the high resolution G signal component and the high resolution B signal component are supplied from the first, second, and third conversion means, and the high resolution R signal component, the high resolution G signal component, and the like.
  • An image pickup apparatus having signal processing means for generating a luminance signal and a color signal from a high-resolution B signal component.
  • an imaging unit that converts input light to be captured into an imaging signal, an imaging signal supplied from the imaging unit, a luminance signal and a first and second color difference signal from the imaging signal. And a luminance signal and the first and second color difference signals are supplied from the signal processing means, respectively, and the resolution of the luminance signal and the first and second color difference signals is converted to a higher resolution. And a first, second, and third conversion means for generating a high-resolution luminance signal and a high-resolution first and second color difference signals.
  • an imaging unit that converts input light to be captured into an imaging signal
  • a signal processing unit that receives an imaging signal from the imaging unit and generates a luminance signal and a color signal from the imaging signal.
  • a luminance signal and a chrominance signal are supplied from the signal processing unit, and a composite video signal is generated from the luminance signal and the chrominance signal.
  • a conversion unit that converts the resolution into a high-resolution composite video signal and outputs the composite video signal.
  • FIG. 4 is a schematic diagram illustrating a two-dimensional array of pixels of the SD signal and pixels of the HD signal.
  • FIG. 5 is a schematic diagram showing a one-dimensional array of pixels of the SD signal and pixels of the HD signal.
  • FIG. 6 is a schematic diagram illustrating a signal level change for explaining ADRC encoding.
  • FIG. 7 is a schematic diagram for explaining the quantization characteristics in the ADRC coding.
  • FIG. 8 is a block diagram showing a configuration of an example of a 1-bit ADRC encoding circuit.
  • FIG. 9 is a schematic diagram illustrating SD pixels used when predicting the values of a plurality of HD pixels.
  • FIG. 10 is a flowchart for explaining the operation of the signal conversion unit.
  • FIG. 11 is a block diagram schematically showing a configuration at the time of learning for determining a prediction coefficient.
  • FIG. 12 is a flowchart for explaining the operation during learning.
  • FIG. 13 is a block diagram showing the configuration of the second embodiment of the imaging apparatus of the present invention.
  • FIG. 14 is a block diagram showing the configuration of a third embodiment of the imaging apparatus of the present invention.
  • FIG. 15 is a block diagram showing the configuration of the fourth embodiment of the imaging apparatus of the present invention.
  • BEST MODE FOR CARRYING OUT THE INVENTION hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
  • a CCD single charge-coupled device
  • R red
  • This is an imaging device that extracts a green (G) signal component and a blue (B) signal component, converts each signal component into a high-resolution signal component, and combines them to generate a high-resolution composite video signal.
  • a signal component before being converted to a high-resolution signal component is referred to as an SD signal as a normal-definition (Standard Definition) signal component, and the converted signal component is referred to as a high-definition (High Definition) signal.
  • the component is called the HD signal.
  • the light to be imaged incident on the optical system 1 is incident on the CCD 3 via the color filter 2.
  • the color filter 2 is a complementary color filter including, for example, a yellow filter, a cyan filter and a magenta filter.
  • the light to be imaged which has entered the CCD 3 via the color filter 2 is photoelectrically converted by the CCD 3 and supplied to the video amplifier 4 as an image signal.
  • This image signal is amplified to a predetermined level by video amplifier 4. After that, it is supplied to the AZD conversion circuit 5.
  • an imaging signal by the imaging signal is converted into di digital signal at (AZD converter 5 is converted into a predetermined number of bits Di digital signal, supplied to the color separation circuit 6 Is done.
  • the color separation circuit 6 divides the input digital imaging signal into an R signal component, a G signal component, and a B signal component, and separates them into an R signal conversion unit 50, a G signal conversion unit 60, and a B signal conversion unit. Supply 70.
  • the R signal converter 50 includes a block circuit 51 for dividing the R signal component supplied from the color separation circuit 6 into a plurality of blocks, and a block circuit 51.
  • a data compression circuit 52 for compressing the R signal component supplied from the compression circuit 51 for each block, and an R signal for each block of the R signal component compressed by the data compression circuit 52.
  • a class code generator 53 that determines a class to be executed by the block based on the pattern of the component level part and generates a class code, and a class code generator 53 that supplies the class code.
  • Coefficient memory 54 that outputs a prediction coefficient corresponding to the class code, and R that is output from the blocking circuit 51 using the prediction coefficient supplied from the prediction coefficient memory 54.
  • a prediction operation is performed for each block for the signal components, and the color separation circuit 6 And a predicted value generation circuit 55 that generates an R signal component having a higher resolution than the resolution of the R signal component output from.
  • the G signal conversion section 60 includes a block forming circuit 61 for dividing the G signal component supplied from the color separation circuit 6 into a plurality of blocks, A data compression circuit 62 for compressing the G signal component supplied from the encoding circuit 61 for each block, and a block of the G signal component compressed by the data compression circuit 62.
  • a class code generator 63 that generates a class code by determining the class to which the block belongs based on the pattern of the class part, and a class code supplied from the class code generator 63.
  • the prediction coefficient memory 64 that outputs the calculated prediction coefficients and the prediction coefficient supplied from the prediction coefficient memory 64, the G signal component output from the blocking circuit 61 is used for each block.
  • a prediction value generation circuit 65 that performs a prediction operation for each signal and generates a G signal component having a higher resolution than the resolution of the G signal component output from the color separation circuit 6.
  • the B signal conversion section 70 includes a block forming circuit 71 for dividing the B signal component supplied from the color separation circuit 6 into a plurality of blocks, A data compression circuit 72 for compressing the B signal component supplied from the blocking circuit 71 for each block, and a block of the B signal component compressed by the data compression circuit 72.
  • the class code generator 73 determines the class to which the block belongs based on the pattern of the level portion of the B signal component and generates a class code, and the class code generator 73 supplies the class code.
  • Coefficient memory 74 that outputs a prediction coefficient corresponding to the class code, and B output from the blocking circuit 71 using the prediction coefficient supplied from the prediction coefficient memory 74. Prediction calculation is performed for each block for the signal component, and the A prediction value generation circuit 75 for generating a B signal component having a higher resolution than the resolution of the B signal component output from the separation circuit 6.
  • the high-resolution R signal component, high-resolution G signal component, and high-resolution B signal component output from the R signal conversion unit 50, the G signal conversion unit 60, and the B signal conversion unit 70, respectively, are processed by a signal processing circuit. Supplied to 80.
  • the signal processing circuit 80 outputs the supplied high-resolution R signal component, A predetermined signal processing and matrix operation are performed on the high-resolution G signal component and the high-resolution B signal component, respectively, to obtain a high-resolution luminance signal Y and a high-resolution color difference signal R — Y, ⁇ — ⁇ Generate Since the configuration and operation principle of the signal processing circuit 80 are well known, a detailed description thereof will be omitted. However, compared to the signal processing circuit 7 of the conventional imaging apparatus shown in FIG. 1, the configuration is such that processing at a high rate is possible.
  • the high-resolution color difference signals R- ⁇ and ⁇ - ⁇ generated by the signal processing circuit 80 are supplied to the modulation circuit 81.
  • the modulation circuit 81 modulates the chrominance subcarrier signal with the high-resolution color difference signals R- ⁇ and ⁇ - ⁇ in two orthogonal directions (two-phase) and obtains a high-resolution carrier chrominance signal (hereinafter referred to as a color signal). Is supplied to one input terminal of the adder 82.
  • the other input terminal of the adder 82 is supplied with a high-resolution luminance signal ⁇ from the signal processing circuit 80, and the high-resolution luminance signal ⁇ and the high-resolution color signal Are added to generate a high-resolution digital composite video signal, which is output from the output terminal 10.
  • the modulation circuit 81 and the adder 82 are configured to be capable of processing at a higher rate than the modulation circuit 8 and the adder 9 of the conventional imaging apparatus shown in FIG.
  • the light to be imaged which has entered the CCD 3 via the optical system 1 and the color filter 2, is photoelectrically converted, and the obtained image signal is amplified to a predetermined level by the video amplifier 4.
  • the image signal amplified to the predetermined level is converted into a digital image signal by an AZD conversion circuit 5 and supplied to a color separation circuit 6, where the R signal component, the G signal component, and the It is divided into B signal components.
  • the separated R signal component, G signal component and The B signal component is supplied to the R signal conversion unit 50, the G signal conversion unit 60, and the B signal conversion unit 70, respectively, and the high resolution R signal component, the high resolution G signal component, and the high resolution B signal component, respectively.
  • the high-resolution R signal component, the high-resolution G signal component, and the high-resolution B signal component are supplied to a signal processing circuit 80, and the high-resolution luminance signal Y and the high-resolution The chrominance signals R-Y and ⁇ - ⁇ are generated.
  • the high-resolution chrominance signals R- ⁇ and ⁇ - ⁇ are supplied to the modulation circuit 81 and are subjected to quadrature two-axis modulation of the color subcarrier signal.
  • the high-resolution luminance signal ⁇ output from the signal processing circuit 80 and the high-resolution color signal output from the modulation circuit 81 are added by the adder 82. By doing so, a high-resolution composite video signal can be obtained from the output terminal 10.
  • the R signal converter 50 Since the configurations and operating principles of the R signal converter 50, the G signal converter 60, and the B signal converter 70 are the same, the R signal converter 50 will be described as an example.
  • the configuration and operation principle of the signal conversion unit are also described in International Publication No. WO 94/14278, but here, the minimum required for configuring the imaging device of the present invention is described. The configuration and operation principle will be described.
  • the signal is supplied to a block circuit 51 of the R signal converter 50.
  • the SD signal to be used is a signal in which one pixel is an 8-bit digital signal at a predetermined sampling frequency.
  • the blocking circuit 51 converts data in the raster one-scan order into data in the order of one-dimensional block, two-dimensional block or three-dimensional block.
  • the output signal of the blocking circuit 51 is supplied to the data compression circuit 52 and the predicted value generation circuit 55.
  • the output data of the data compression circuit 52 is supplied to the class generation circuit 53.
  • the class code from the class code generation circuit 53 is supplied to the prediction coefficient memory 54 as an address signal.
  • the prediction coefficient memory 54 stores prediction coefficients determined in advance by learning.
  • the prediction coefficient from the prediction coefficient memory 54 is supplied to the prediction value generation circuit 55.
  • the data compression circuit 52 and the class code generation circuit 53 are for classifying the target pixel to be predicted, and the classification is performed by patterning the level distribution of each block including the target pixel. It is done according to the A class code indicating the class determined by this classification is output from the class code generation circuit 53. Classification is performed based on the SD signal. If the values (8 bits) of a plurality of SD signal pixels (hereinafter referred to as SD pixels) around the pixel of interest are referred to as they are for classification. There is a problem that the number of classes becomes too large. Therefore, a data compression circuit 52 is provided, and the number of bits of a peripheral pixel (reference pixel) to be referenced is compressed.
  • One example of the data compression circuit 52 is an ADRC encoding circuit.
  • the data compression includes ADRC coding (Adaptive Dynamic Range Coding) (not limited to this, D-cinch, iscrete-sine Transform), VQ (vector quantization), DPCM (Differential Pulse Code Mo dulation), BTC (Block Trancation Coding) ⁇ Non-linear quantization, etc. can be used selectively.
  • ADRC coding Adaptive Dynamic Range Coding
  • VQ vector quantization
  • DPCM Differential Pulse Code Mo dulation
  • BTC Block Trancation Coding
  • the block forming circuit 51 scan-converts the input SD signal from the raster single scanning order of the television signal to the two-dimensional block data order as shown in FIG. In the example of FIG. 4, 3 ⁇ 3 pixels are regarded as one block, and nine SD pixels having the values a to i are included in one block.
  • the prediction value generation circuit 55 generates the values of the four HD pixels A to D located near the center by the one-block SD pixel.
  • the block shown in FIG. 4 is merely an example, and instead, the HD pixel prediction is performed using, for example, a one-dimensional block of four SD pixels a to d as shown in FIG. You can also generate a value. Furthermore, a prediction value of an HD pixel can be generated for a three-dimensional block.
  • the HD pixel A is classified and the predicted value is generated from the SD pixels a, b, and c, and the HD pixel B is classified and the predicted value is calculated from the 50 pixels 3, b, and cd.
  • a generation is made. Also, in the case of learning, classification and generation of predicted values are performed in the same relation.
  • ADRC uses the local correlation of pixels to adaptively remove redundancy in the level direction. For example, as shown in Fig. 6, within the dynamic range of 0 to 255 that the 8-bit original data has, the blocks within the blocks necessary to requantize each block are shown.
  • the dynamic ranges A and B are significantly smaller than the original dynamic range. This Therefore, the number of bits required for requantization can be significantly reduced from the original 8 bits.
  • a new maximum value MAX ' is set.
  • the average value of the pixels in the block having the data level equivalent to the gradation level 0 of the requantization is set as a new minimum value MIN ′.
  • the dynamic range is redefined from the newly obtained maximum value MAX 'and minimum value MIN', and requantization is performed using the following equation (2).
  • [z] represents the largest integer equal to or less than z.
  • ADRC which redefines such new maximum value MAX ', minimum value MIN', and dynamic range DR ', performs efficient information compression without being affected by noise. Can be. Further, as a quantization in ADRC, it is possible to have a characteristic that has a level equal to the maximum value MAX and the minimum value MIN as a representative level to be restored.
  • the value of n pixels compressed from the 8-bit values a to i into each p-bit is supplied to the class code generation circuit 53 by the ADRC described above, and the equation ( A class code class indicating the class represented by 3) is generated.
  • ADRC encoding circuit will be described with reference to FIG. 8, taking a 1-bit ADRC as an example.
  • the detection circuit 122 detects the maximum value MAX and the minimum value MIN of the pixel values in each block with respect to the data converted into the block order from the input terminal 122. To detect.
  • the subtraction circuit 123 is supplied with the maximum value M AX and the minimum value M IN, and subtracts the minimum value M IN from the maximum value M AX to output a dynamic range DR.
  • the subtraction circuit 124 receives the input data and the minimum value MIN, subtracts the minimum value MIN from the input data, and outputs normalized surface element data.
  • the division circuit 125 receives the normalized input data and the dynamic range DR, divides the normalized pixel data by the dynamic range DR, and compares the divided pixel data with the dynamic range DR. To supply.
  • the comparison circuit 126 determines whether the division result of the nine pixels is larger or smaller than 0.5 with reference to 0.5, and according to the result, is set to '0' or '1'.
  • 1-bit data DT is generated. This data DT is output from output terminals 1 2 7 Retrieved. If classifying is performed using this 1-bit ADRC, the class power of an SD block of -3 X 3 pixels is expressed by a 9-bit class code.
  • the prediction coefficient corresponding to the class code is read out from the prediction coefficient memory 54, and the prediction value generation circuit 55 receives the block supplied from the blocking circuit 51. and SD data click unit, reading out the prediction coefficients w, and a to w N, Ri by the calculation in accordance with the linear combination represented by the formula (4), the predicted value y 'for HD pixel is generated .
  • the SD pixel combined with the prediction coefficient is changed according to the target HD pixel.
  • the target HD pixel is A
  • a predicted value of the HD pixel A is generated by Expression (5).
  • the same block (in other words the same class if) for generating a predicted value of the four HD pixels
  • the coefficient can be shared, so that the capacity of the prediction coefficient memory 54 can be reduced and the number of accesses to the prediction coefficient memory 54 can be reduced.
  • the correspondence between the values X, to 9 multiplied by the coefficients in Fig. 9 and the SD pixels a to i is as follows. It is defined based on the distance.
  • X, to X 9 can be considered to be, for example, 9 bits of a class code formed by 1-bit ADRC.
  • the class for each of the HD pixels A to D near the center of one block can be specified only by changing the order of the values obtained by compressing and encoding the values of the SD pixels a to i. Then, these values may be stored in the memory, and the reading order may be changed.
  • FIG. 10 is a flowchart showing the order of processing of up-conversion from an SD signal to an HD signal.
  • step 13 1 Control of up-conversion is started from step 13 1, and in the data blocking in step 13 2, an SD signal is supplied and SD pixels are extracted in processing block units as shown in Fig. 4 Perform processing.
  • step 13 3 if the processing of all input data has been completed, the processing proceeds to the end of step 13 7. If not, the processing proceeds to the class determination of step 13 4. Move on.
  • the class is determined from a pattern determined by the signal level distribution of the SD signal. For example, the class is determined by data compressed by 1-bit ADRC.
  • the prediction coefficient corresponding to the class code is read from the memory.
  • the prediction calculation of step 13 the calculation of equation (4) is performed, and the prediction value y ′ of the HD pixel is output. This series of processing is repeated for all data, and when all data is completed, processing shifts from the end of data in step 133 to the end of step 137, and the processing of up-conversion ends.
  • FIG. 11 is a block diagram showing a configuration of an apparatus which can obtain prediction coefficients by learning.
  • the vertical decimation filter 144 decimates the HD signal in the vertical direction
  • the horizontal decimation filter connected to the vertical decimation filter 144 executes the HD signal in the horizontal direction.
  • Z 2 is thinned out, whereby an image signal having the same number of pixels as the SD signal is supplied to the learning unit 144.
  • the prediction coefficient memory 144 stores the prediction coefficients w, to w seriouslyin an address corresponding to the class determined by the classification circuit provided in the learning unit 144.
  • the method of forming the SD signal from the HD signal is not limited to using the above-described thinning-out filter, and other methods are possible.
  • the value of the SD pixel a may be formed by the average value of four 2 ⁇ 2 pixels (for example, A, B, C, and D).
  • the weighted average value according to the distance between the values of HD pixels for example, one block of HD pixels
  • the SD pixel value may be used as the SD pixel value.
  • the learning unit 144 when one block is composed of 33 pixels, pixels a to i and HD pixels A, B, C, and D are combined. It becomes learning data. Many sets of learning data exist for one frame, and by increasing the number of frames, a very large number of sets of learning data can be used.
  • FIG. 12 is a flowchart showing the operation when the learning section 144 is configured as a software processing.
  • the processing of the learning unit 144 is started from step 151, and in the corresponding data blocking of step 152, the HD signal and the SD signal are supplied, and the HD pixels having an arrangement relationship as shown in FIG. Perform processing to extract A to D and SD pixels a to i.
  • the process proceeds to step 15 56 for determining the prediction coefficient. Processing shifts to class determination.
  • the class is determined from the level distribution pattern of a plurality of SD pixels a to i around the HD pixels A to D to be predicted.
  • the SD pixel is compressed by, for example, ADRRC encoding to reduce the number of bits.
  • the following equations (12), (13) and (14) are created.
  • step 15 6 After all data has been processed from the end of step 15 3, the processing moves to step 1 56, and in the determination of the prediction coefficients in step 15 6, the equation (14) described later is solved using a matrix solution. And determine the prediction coefficient.
  • the prediction coefficients are stored in the memory at the prediction coefficient store of step 157, and a series of operations of the learning section 144 are completed at step 158.
  • the SD pixels a to i are compression-encoded and encoded. Classification based on the encoded values is performed in the same manner as in the signal conversion unit described above.
  • the value and the prediction coefficient of the SD pixels a to i w, the linear combination of the ⁇ w 9, which is the same as described above also point to produce with the predicted value of the HD pixel A to D in the combinations shown in FIG. 9 .
  • the value of the SD pixel ⁇ , and ⁇ ⁇ ⁇ , the true value of the target HD pixel can to have a y, the prediction coefficient for each class w, linear combination of n data-up due to the ⁇ w "has the formula (7).
  • equation (7) is expressed as shown in equation (8).
  • Equation (10) is a solution by the so-called least squares method.
  • Expression (11) the partial differential coefficient of Expression (10) with respect to W i is obtained.
  • equation (14) thus, if equation (14) is solved for wi using a general matrix solution such as the sweeping-out method, the prediction coefficient w, can be obtained. Then, the prediction coefficient wi is stored in the memory with the class code as an address. As described above, the learning unit 144 can determine the prediction coefficient w. Using the HD signal which is the actual data, and this is stored in the memory. The prediction coefficients determined by the learning unit 144 are stored in the prediction coefficient memory 54 of FIG.
  • the light to be imaged passes through a color separation pre- Mechanism 22
  • the color separation prism 22 separates the light to be imaged into red light, green light, and blue light, and makes them respectively enter the red imaging CCD 23, the green imaging CCD 24, and the blue imaging CCD 25.
  • the CCD 23 for red imaging, the CCD 24 for green imaging, and the CCD 25 for blue imaging photoelectrically convert the incident red light, green light, and blue light, respectively, to obtain an R signal component, a G signal component, and a B signal component. Is output.
  • These R signal component, G signal component and B signal component are supplied to video amplifiers 26, 27 and 28, respectively.
  • the video amplifiers 26, 27, and 28 amplify the supplied R, G, and B signal components to predetermined levels, respectively, and provide the amplified signals to the NO conversion circuits 29, 30, and 31. Supply each.
  • the AZD conversion circuits 29, 30 and 31 convert the R signal component, the G signal component and the B signal component into digital signals having a predetermined number of bits, respectively.
  • the R, G, and B signal components converted into digital signals by the AZD conversion circuits 29, 30, and 31, respectively, are converted into an R signal conversion unit 200, a G signal conversion unit, respectively.
  • the signals are supplied to the 210 and B signal converters 220.
  • the R signal converter 200 includes a blocker circuit 201, a data compression circuit 202, a class code generator circuit 203, and a prediction coefficient memory 204. And a predicted value generation circuit 205.
  • the G signal conversion unit 210 includes a blocking circuit 211, a data compression circuit 212, a class code generation circuit 211, and a prediction coefficient memory. 2 14 and a predicted value generation circuit 2 15 are provided.
  • the B signal conversion unit 220 includes a blocking circuit 221, a data compression circuit 222, a class code generation circuit 222, and a prediction coefficient memory. 2 2 4 and a predicted value generation circuit 2 25 are provided.
  • the configuration and operation principle of these R signal conversion unit 200, G signal conversion unit 210 and B signal conversion unit 220 are the same as those of R signal conversion unit 50 shown in FIG. Therefore, the description is omitted.
  • the signal processing circuit 230 supplies a predetermined signal to the supplied high-resolution R signal component, high-resolution G signal component, and high-resolution B signal component, respectively.
  • the high-resolution color difference signals R- ⁇ and ⁇ - ⁇ generated by the signal processing circuit 230 are supplied to the modulation circuit 240.
  • This modulation circuit 240 modulates the color subcarrier signal by high-resolution color difference signals R — ⁇ , ⁇ — ⁇ and performs quadrature two-axis modulation.
  • the obtained high-resolution color signal is input to one input terminal of an adder 250.
  • the other input terminal of the adder 250 is supplied with a high-resolution luminance signal ⁇ ⁇ from the signal processing circuit 230, and the high-resolution luminance signal ⁇ and the high-resolution luminance signal from the modulation circuit 240 are supplied.
  • the high-resolution digital composite video signal is generated by adding the color signals of the respective colors, and output from the output terminal 260.
  • the signal processing circuit 230, the modulation circuit 240, and the adder 250 are provided by the signal processing circuit 32, the modulation circuit 34, and the adder 35 used in the conventional imaging apparatus shown in FIG. It is also configured to be able to process at high speed.
  • the high-resolution luminance signal ⁇ and the high-resolution color difference signals R- ⁇ and ⁇ - ⁇ output from the signal processing circuit 230 are output terminals 270, 2 as high-resolution component signals. Output from 80 and 290 respectively You.
  • the light to be imaged incident on the optical system 1 is incident on the CCD 3 via the color filter 2.
  • the color filter 2 is a complementary color filter composed of, for example, a yellow filter, a cyan filter, and a magenta filter.
  • the light to be imaged that has entered the CCD 3 via the color filter 2 is photoelectrically converted by the CCD 3 and supplied to the video amplifier 4 as an image signal.
  • This imaging signal is supplied to an AZD conversion circuit 5 after being amplified to a predetermined level by a video amplifier 4.
  • the A / D conversion circuit 5 converts the imaging signal into a digital signal having a predetermined number of bits.
  • the image signal converted from the digital signal by the AZD conversion circuit 5 is supplied to the color separation circuit 6.
  • the color separation circuit 6 divides the input digital imaging signal into an R signal component, a G signal component, and a B signal component, and supplies each to a signal processing circuit 7.
  • the signal processing circuit 7 performs predetermined signal processing and matrix operation on the supplied R signal component, G signal component, and B signal component, respectively, to obtain a luminance signal Y and a color difference signal RY, ⁇ — Generate ⁇ .
  • the color difference signals R_ ⁇ and ⁇ - ⁇ generated by the signal processing circuit are supplied to the modulation circuit 8.
  • the modulation circuit 8 orthogonally biaxially modulates the color subcarrier signal by the color difference signals R- ⁇ and ⁇ - ⁇ , and supplies the obtained color signal to one input terminal of an adder 9.
  • the other input terminal of the adder 9 is supplied with a luminance signal ⁇ from the signal processing circuit 7, and outputs the luminance signal ⁇ and the chrominance signal from the modulation circuit 8. Are added to generate a digital composite video signal.
  • the digital composite video signal output from the adder 9 is supplied to a signal conversion unit 300, which converts the digital composite video signal into a high-resolution digital composite video signal and outputs it to an output terminal 31. Output from 0.
  • the configuration and operation principle of the signal conversion unit 300 are the same as the configuration and operation principle of the R signal conversion unit 50 shown in FIG. 3, and a description thereof will be omitted.
  • Blocking circuit 301, data compression circuit 302, class code generation circuit 303, and prediction coefficient memory 304, which constitute signal conversion section 300 shown in FIG. 14, are shown.
  • the prediction value generation circuit 305 includes a blocking circuit 51, a data compression circuit 52, a class code generation circuit 53, and a prediction coefficient It corresponds to the memory 54 and the predicted value generation circuit 55, respectively.
  • the light to be imaged enters the color separation prism 22 via the optical system 21 ⁇
  • the color separation prism 22 separates the light to be imaged into red light, blue light, and blue light, and captures the red light, respectively.
  • the CCD 24 for green imaging, and the CCD 25 for blue imaging are Into the CCD 23 for imaging, the CCD 24 for green imaging, and the CCD 25 for blue imaging.
  • the CCD 23 for red imaging, the CCD 24 for green imaging, and the CCD 25 for blue imaging photoelectrically convert the incident red light, green light, and blue light, respectively, to obtain an R signal component, a G signal component, and a B signal component. Is output.
  • These R signal component, G signal component and B signal component are supplied to video amplifiers 26, 27 and 28, respectively.
  • the video amplifiers 26, 27, and 28 convert the supplied R, G, and B signal components into predetermined signals, respectively.
  • the signal is then amplified and supplied to the / 0 conversion circuits 29, 30 and 31 respectively.
  • These A / D conversion circuits 29, 30 and 31 convert the R signal component-G signal component and B signal component into digital signals having a predetermined number of bits, respectively.
  • the R, G, and B signal components converted into digital signals by the A / D conversion circuits 29, 30 and 31 are supplied to the signal processing circuit 32.
  • the signal processing circuit 32 performs predetermined signal processing and matrix operation processing on the supplied R signal component, G signal component, and B signal component, respectively, to obtain a luminance signal Y and a color difference signal R-Y, ⁇ - Generate ⁇ .
  • the color difference signals R- ⁇ and ⁇ - ⁇ generated by the signal processing circuit 32 are supplied to an R- ⁇ signal conversion unit 410 and a ⁇ - ⁇ signal conversion unit 420, respectively.
  • the chrominance signal R- ⁇ supplied from the signal processing circuit 32 is converted into a high-resolution chrominance signal R- ⁇ by an R- ⁇ signal conversion unit 4110 and output.
  • the chrominance signal ⁇ - ⁇ supplied from the signal processing circuit 32 is converted into a high-resolution chrominance signal ⁇ - ⁇ by a ⁇ - ⁇ signal converter 420 and output.
  • the luminance signal ⁇ ⁇ generated by the signal processing circuit 32 is supplied to the luminance signal conversion unit 400.
  • the luminance signal ⁇ supplied from the signal processing circuit 32 is converted into a high-resolution luminance signal ⁇ ⁇ by a luminance signal converter 400 and output.
  • the luminance signal conversion unit 400 includes a blocking circuit 401, a data compression circuit 402, a class code generation circuit 400, a prediction coefficient memory 4 And a predicted value generation circuit 405.
  • the R— ⁇ signal conversion section 410 includes a block circuit 411, a data compression circuit 412, and a class code generator. It has a circuit 4 13, a prediction coefficient memory 4 14 and a prediction value generation circuit 4 15.
  • the BY signal converter 420 includes a blocker 421, a data compressor 422, a class code generator 423, and a prediction coefficient memory. 4 2 4 and prediction value generation circuit 4 2 5 are provided.
  • the configuration and operation principle of the luminance signal conversion unit 400, the R-Y signal conversion unit 410, and the BY signal conversion unit 420 are described in the structure of the R signal conversion unit 50 shown in FIG. Since the operation principle is the same as that of the first embodiment, the description is omitted.
  • the high-resolution color difference signals R-Y and Y- ⁇ generated by the R-Y signal converter 410 and the B-Y signal converter 420, respectively, are supplied to a modulation circuit 430.
  • the modulation circuit 430 modulates the chrominance sub-carrier signal with the high-resolution color-difference signals R- ⁇ and ⁇ - ⁇ by two-axis orthogonal modulation, and obtains the obtained high-resolution chrominance signal by one of the adders 440. Supply to input terminal.
  • the other input terminal of the adder 440 is supplied with the high-resolution luminance signal ⁇ ⁇ generated by the luminance signal conversion unit 400, and the high-resolution luminance signal ⁇ and the modulation circuit 430 is a high resolution color signal is summed from the generated high-resolution de Lee digital composite video signal, c is outputted Ri good output terminal 4 5 0 the modulation circuit 4 3 0 and the adder 4 4 0
  • the configuration is such that processing at a higher rate can be performed than the modulation circuit 34 and the adder 35 used in the conventional imaging apparatus shown in FIG.
  • High resolution color difference output from 20 Signals B—Y are output from output terminals 460, 470, and 480, respectively, as high-resolution component signals.
  • a prediction coefficient memory may be converted into an R signal component, a G signal component, and a ⁇ signal component.
  • Various modifications can be made without departing from the gist of the present invention, such as sharing the same.
  • an imaging device that can obtain a high-resolution video signal without increasing the number of CCD pixels.

Description

明細書 撮像装置 技術分野 本発明は、 電荷結合素子 （ C C D ) を用いた撮像装置に関し、 特 に C C Dを用いて高解像度の映像信号を得る撮像装置に関する。 背景技術 電荷結合素子 （ C C D ) を用いて被写体を撮像し、 映像信号を出 力する撮像装置が知られている。 この従来の撮像装置について、 図 1 、 図 2を用いて説明する。
図 1 は、 C C Dを 1 つ用いて映像信号を得る単板方式の撮像装置 の一例の構成を示すブロ ッ ク図である。
光学系 1 に入射された被撮像光は、 色フィルタ 2を介して C C D 3 に入射される。 この色フィルタ 2 は、 例えば黄色フィルタ、 シァ ン フ ィ ノレ夕及びマゼンタフ イ ノレタからなる補色フィノレ夕である。 こ の色フ ィルタ 2を介して C C D 3 に入射された被撮像光は、 C C D 3 にて光電変換されて、 撮像信号と してビデオアンプ 4 に供給され る。 この撮像信号は、 ビデオアンプ 4 にて所定のレベルにまで増幅 された後に、 A Z D変換回路 5 に供袷される。 この A / D変換回路 5 にて、 撮像信号が所定のビッ ト数のディ ジタル信号に変換される。 Aノ D変換回路 5 にてディ ジタル信号に変換された撮像信号は、 色 分離回路 6 に供給される。
この色分離回路 6 は、 入力されたディ ジタル撮像信号を R信号成 分、 G信号成分及び B信号成分に分け、 夫々を信号処理回路 7 に供 給する。 信号処理回路 7 は、 供給された R信号成分、 G信号成分及 び B信号成分に夫々所定の信号処理及びマ ト リ クス演算を施して、 輝度信号 Y及び色差信号 R— Y、 Β - Υを生成する。 この信号処理 回路 7 にて生成された色差信号 R - Υ、 Β — Υは、 変調回路 8 に供 給される。
この変調回路 8は、 色副搬送波信号を色差信号 R - Υ、 Β - Υに よって直交 2軸 （二相） 変調し、 得られる搬送色信号 （以下、 色信 号という。 ） を加算器 9の一方の入力端に供給する。 この加算器 9 の他方の入力端には、 信号処理回路 7 よ り輝度信号 Υが供給され、 この輝度信号 Υと変調回路 8からの色信号とが加算されてデイ ジ夕 ル複合映像信号が生成され、 出力端子 1 0 より出力される。
この図 1 に示す撮像装置においては、 1 つの撮像素子を用いて、 被撮像光から R信号成分、 G信号成分及び Β信号成分を得る構成と されているので、 小型軽量であり、 持ち運びには適している力、 R 信号成分、 G信号成分及び Β信号成分の夫々に割り当てられる画素 数が比較的少ないため、 撮像信号の解像度、 すなわち出力端子 1 0 から出力される複合映像信号が有する解像度が比較的低いといった 問題がある。
この解像度を上げるために、 C C Dを 3つ使用して撮像信号を得 る 3板方式の撮像装置も知られている。 この 3板方式の撮像装置の 一例について、 図 2 を参照しながら説明する。
この図 2 において、 被撮像光が光学系 2 1 を介して色分解プリ ズ ム 2 2 に入射される。 色分解プリ ズム 2 2 は、 被撮像光を、 赤色光、 緑色光及び青色光に分光し、 夫々赤色撮像用 C C D 2 3、 緑色撮像 用 C C D 2 4及び青色撮像用 C C D 2 5 に入射させる。
赤色撮像用 C C D 2 3、 緑色撮像用 C C D 2 4及び青色撮像用 C C D 2 5 は、 入射された赤色光、 緑色光及び青色光を夫々光電交換 し、 R信号成分、 G信号成分及び B信号成分を出力する。 これらの R信号成分、 G信号成分及び B信号成分は、 ビデオアンプ 2 6、 2 7及び 2 8 に夫々供給される。 ビデオアンプ 2 6、 2 7及び 2 8 は、 供給された R信号成分、 G信号成分及び B信号成分を夫々所定の レ ベルに増幅して、 0変換回路 2 9、 3 0及び 3 1 に夫々供給す る。 これらの A Z D変換回路 2 9、 3 0及び 3 1 にて、 R信号成分、 G信号成分及び B信号成分が夫々所定のビッ ト数のディ ジタル信号 に変換される。 これらの A Z D変換回路 2 9、 3 0及び 3 1 にて夫 々ディ ジタル信号に変換された R信号成分、 G信号成分及び B信号 成分は、 信号処理回路 3 2 に供給される。
この信号処理回路 3 2は、 供給された R信号成分、 G信号成分及 び B信号成分に夫々所定の信号処理及びマ 卜 リ クス演算処理を施し て、 輝度信号 Y及び色差信号 R— Y、 Β — Υを生成する。 この信号 処理回路 3 2 にて生成された色差信号 R - Υ、 Β - Υは、 変調回路 3 4 に供給される。
この変調回路 3 4 は、 色副搬送波信号を色差信号 R— Υ、 Β - Υ によって直交 2軸変調し、 得られる色信号を加算器 3 5の一方の入 力端に供給する。 この加算器 3 5の他方の入力端には、 信号処理回 路 3 2 よ り輝度信号 Υが供給され、 この輝度信号 Υと変調回路 3 4 からの色信号とが加算されてディ ジタル複合映像信号が生成され、 出力端子 3 6 より出力される。
また、 信号処理回路 3 2から出力される輝度信号 Y、 色差信号 R 一 Υ、 Β — Υは、 コ ンポーネン ト信号と して、 出力端子 3 7、 3 8 及び 3 9から夫々 出力される。
この図 2 に示す撮像装置においては、 3つの撮像素子を用いて、 被撮像光から R信号成分、 G信号成分及び Β信号成分を得る構成と されているので、 図 1 に示される単板方式の撮像装置から出力され る映像信号の解像度よ り も高い解像度の映像信号を得るこ とができ る。
しかしながら、 近年、 N T S C方式の解像度より も高い解像度を 有する高品位テレビジョ ン方式が開発されており、 この高品位テレ ビジ ョ ン方式にも適用できる高解像度の映像信号を得るためには、 3つの C C Dを用いた撮像装置であっても、 N T S C方式の映像信 号を得る場合より もさ らに画素数の多い C C Dを用いる必要がある, C C Dは、 その画素数が多く なるほど、 製造が難し く なり、 コス ト が高く なる。 その結果、 撮像装置全体のコス トが高く なる といった 問題がある。
本発明は、 上述の実情を考慮してなされたものであり、 本発明の 目的は、 C C Dの画素数を増加させるこ とな く、 高解像度の映像信 号を得ることができる撮像装置を提供するこ とである。 発明の開示 この発明の 1 つの態様は、 色フ ィ ルタを介して入力された被撮像 光を撮像信号に変換する撮像手段と、 撮像手段から撮像信号が供給 され、 撮像信号を R信号成分、 G信号成分及び B信号成分に分ける 分離手段と、 分離手段から R信号成分、 G信号成分及び B信号成分 が夫々供給され、 R信号成分、 G信号成分及び B信号成分の解像度 をよ り高い解像度に変換して、 高解像度の R信号成分、 高解像度の G信号成分及び高解像度の B信号成分を生成する第 1、 第 2、 第 3 の変換手段と、 第 1、 第 2、 第 3 の変換手段から高解像度の R信号 成分、 高解像度の G信号成分及び高解像度の B信号成分が供給され、 高解像度の R信号成分、 高解像度の G信号成分及び高解像度の B信 号成分から輝度信号及び色信号を生成する信号処理手段とを有する 撮像装置である。
第 1、 第 2、 第 3の変換手段は、 夫々、 入力された信号を複数の ブロ ッ クに分割するブロ ッ ク化手段と、 ブロ ッ ク化手段で分割され たブロ ッ ク毎にデータ量を圧縮する圧縮手段と、 ブロ ッ ク毎に、 圧 縮後のデータのレベル分布のパター ンに基づいて各ブロ ッ クのク ラ スを決定し、 クラスを示す信号を出力するクラス検出手段と、 各ク ラスに対応させて、 入力信号を高解像度の信号に変換するための予 測係数が記憶されており、 クラス決定手段から出力される クラスを 示す信号に応じた予測係数を出力する予測係数記憶手段と、 予測係 数記憶手段から出力される予測係数を用いて、 入力された信号に予 測演算処理を施して、 入力された信号から高解像度の信号を生成す る予測演算手段とを有する。
この発明の他の態様は、 赤色光、 緑色光及び青色光を夫々 R信号 成分、 G信号成分及び B信号成分に変換する第 1、 第 2、 第 3 の撮 像手段と、 第 1、 第 2、 第 3 の撮像手段から R信号成分、 G信号成 分及び B信号成分が夫々供給され、 R信号成分、 G信号成分及び B 信号成分の解像度をより高い解像度に変換して高解像度の R信号成 分、 高解像度の G信号成分及び高解像度の B信号成分を生成する第 1、 第 2、 第 3の変換手段と、 第 1、 第 2、 第 3の変換手段から高 解像度の R信号成分、 高解像度の G信号成分及び高解像度の B信号 成分が供給され、 高解像度の R信号成分、 高解像度の G信号成分及 び高解像度の B信号成分から輝度信号及び色信号を生成する信号処 理手段とを有する撮像装置である。
この発明のさ らに他の態様は、 入力された被撮像光を撮像信号に 変換する撮像手段と、 撮像手段から撮像信号が供給され、 撮像信号 から輝度信号及び第 1、 第 2 の色差信号を生成する信号処理手段と、 信号処理手段から輝度信号及び第 1、 第 2の色差信号が夫々供給さ れ、 輝度信号及び第 1、 第 2の色差信号の解像度をよ り高い解像度 に変換して、 高解像度の輝度信号及び高解像度の第 1、 第 2の色差 信号を生成する第 1、 第 2、 第 3の変換手段とを有する撮像装置で ある。
この発明のさ らに他の態様は、 入力された被撮像光を撮像信号に 変換する撮像手段と、 撮像手段から撮像信号が供給され、 撮像信号 から輝度信号及び色信号を生成する信号処理手段と、 信号処理手段 から輝度信号及び色信号が供給され、 輝度信号及び色信号から複合 映像信号を生成する合成手段と、 合成手段から複合映像信号が供給 され、 複合映像信号の解像度をよ り高い解像度に変換して、 高解像 度の複合映像信号を生成して出力する変換手段とを有する撮像装置 である。 図面の簡単な説明 図 1 は、 従来の撮像装置の一例の構成を示すブロ ッ ク図である。 図 2 は、 従来の撮像装置の他の例の構成を示すブロ ッ ク図である, 図 3は、 本発明の撮像装置の一実施例の構成を示すブロ ッ ク図で ある。
図 4 は、 S D信号の画素と H D信号の画素の 2次元配列を示すた めの略線図である。
図 5 は、 S D信号の画素と H D信号の画素の 1 次元配列を示すた めの略線図である。
図 6 は、 A D R C符号化の説明のための信号レベル変化を示す略 線図である。
図 7 は、 A D R C符号化における量子化特性を説明するための略 線図である。
図 8は、 1 ビッ ト A D R Cの符号化回路の一例の構成を示すプロ ッ ク図である。
図 9 は、 複数の H D画素の値を予測するときに使用される S D画 素を示す略線図である。
図 1 0 は、 信号変換部の動作を説明するためのフローチャー トで ある。
図 1 1 は、 予測係数を決定する学習時の構成を概略的に示すプロ ッ ク図である。
図 1 2 は、 学習時の動作を説明するためのフローチャー トである。 図 1 3 は、 本発明の撮像装置の第 2の実施例の構成を示すブロ ッ ク図である。
図 1 4 は、 本発明の撮像装置の第 3の実施例の構成を示すブロ ッ ク図である。
図 1 5は、 本発明の撮像装置の第 4の実施例の構成を示すブロ ッ ク図である。 発明を実施するための最良の形態 以下、 本発明の好適な実施例を図面を参照しながら説明する。 まず、 本発明の第 1 の実施例を図 3を参照しながら説明する。 こ の第 1 の実施例は、 固体撮像素子である電荷結合素子 （Charge Cou pled Device) (以下、 C C Dという。 ) を 1枚用いて、 光の 3原色 信号である赤 （ R ) 信号成分、 緑 （ G ) 信号成分及び青 （ B ) 信号 成分を取り出し、 この各信号成分を高解像度の信号成分に変換した 後に合成して高解像度の複合映像信号を生成する撮像装置である。 ここで、 以下、 高解像度の信号成分に変換する前の信号成分を通常 精度 （Standard Definition)の信号成分と して S D信号と呼び、 変 換後の信号成分を高精度 （High Definition)の信号成分と して H D 信号と呼ぶ。
図 3において、 図 1 と対応する部分については、 同じ番号を付し て説明する。
光学系 1 に入射された被撮像光は、 色フィ ルタ 2を介して C C D 3に入射される。 この色フ ィ ルタ 2は、 例えば黄色フ ィ ルタ、 シァ ンフイ ノレタ及びマゼンタフ イノレタからなる補色フィ ルタである。 こ の色フィ ルタ 2を介して C C D 3に入射された被撮像光は、 C C D 3にて光電変換されて、 撮像信号と してビデオアンプ 4に供給され る。 この撮像信号は、 ビデオアンプ 4にて所定のレベルにまで増幅 された後に、 A Z D変換回路 5 に供給される。 この A / D変換回路 5 にて、 撮像信号が所定のビッ ト数のディ ジタル信号に変換される ( A Z D変換回路 5 にてディ ジタル信号に変換された撮像信号は、 色 分離回路 6 に供給される。
この色分離回路 6 は、 入力されたディ ジタル撮像信号を R信号成 分、 G信号成分及び B信号成分に分け、 夫々を R信号変換部 5 0、 G信号変換部 6 0及び B信号変換部 7 0 に供給する。
R信号変換部 5 0 は、 上述の図 3 に示すように、 色分離回路 6か ら供給された R信号成分を複数のブロ ッ クに分割するブロ ッ ク化回 路 5 1 と、 ブロ ッ ク化回路 5 1 から供給される R信号成分を各プロ ッ ク毎に圧縮するデータ圧縮回路 5 2 と、 このデータ圧縮回路 5 2 にて圧縮された R信号成分の各ブロ ッ クを R信号成分のレベル部分 のパター ンに基づいてそのブロ ッ クが厲すべきク ラスを決定してク ラスコ一 ドを発生するクラスコー ド発生回路 5 3 と、 このクラスコ 一ド発生回路 5 3から供給されるクラスコー ドに対応した予測係数 を出力する予測係数メ モ リ 5 4 と、 この予測係数メ モ リ 5 4から供 給される予測係数を用いてブロ ッ ク化回路 5 1 から出力される R信 号成分について各ブロ ッ ク毎に予測演算を行い、 色分離回路 6から 出力される R信号成分の解像度よ り も高い解像度の R信号成分を生 成する予測値生成回路 5 5 とを有する。
また、 G信号変換部 6 0は、 上述の図 3 に示すように、 色分離回 路 6から供給された G信号成分を複数のブロ ッ クに分割するブロ ッ ク化回路 6 1 と、 ブロ ッ ク化回路 6 1 から供給される G信号成分を 各ブロ ッ ク毎に圧縮するデータ圧縮回路 6 2 と、 このデータ圧縮回 路 6 2 にて圧縮された G信号成分の各ブロ ッ クを G信号成分のレべ - 1 o -
ル部分のパター ンに基づいてそのブロ ッ クが属すべきクラスを決定 してク ラスコー ドを発生するクラスコー ド発生回路 6 3 と、 このク ラスコー ド発生回路 6 3から供給されるクラスコー ドに対応した予 測係数を出力する予測係数メ モ リ 6 4 と、 この予測係数メ モ リ 6 4 から供給される予測係数を用いてブロ ッ ク化回路 6 1 から出力され る G信号成分について各ブロ ッ ク毎に予測演算を行い、 色分離回路 6から出力される G信号成分の解像度より も高い解像度の G信号成 分を生成する予測値生成回路 6 5 とを有する。
また、 B信号変換部 7 0 は、 上述の図 3 に示すように、 色分離回 路 6から供給された B信号成分を複数のブロ ッ クに分割するブロ ッ ク化回路 7 1 と、 ブロ ッ ク化回路 7 1 から供給される B信号成分を 各ブロ ッ ク毎に圧縮するデータ圧縮回路 7 2 と、 このデータ圧縮回 路 7 2 にて圧縮された B信号成分の各ブロ ッ クを B信号成分のレべ ル部分のパター ンに基づいてそのブロ ッ クが属すべきクラスを決定 してクラスコー ドを発生するクラスコー ド発生回路 7 3 と、 このク ラスコー ド発生回路 7 3から供給されるクラスコー ドに対応した予 測係数を出力する予測係数メ モ リ 7 4 と、 この予測係数メ モ リ 7 4 から供給される予測係数を用いてブロ ッ ク化回路 7 1 から出力され る B信号成分について各ブロ ッ ク毎に予測演算を行い、 色分離回路 6から出力される B信号成分の解像度より も高い解像度の B信号成 分を生成する予測値生成回路 7 5 とを有する。
R信号変換部 5 0、 G信号変換部 6 0及び B信号変換部 7 0から 夫々出力される高解像度の R信号成分、 高解像度の G信号成分及び 高解像度の B信号成分は、 信号処理回路 8 0に供給される。
この信号処理回路 8 0 は、 供給された高解像度の R信号成分、 高 解像度の G信号成分及び高解像度の B信号成分に夫々所定の信号処 理及びマ ト リ クス演算を施して、 高解像度の輝度信号 Y及び高解像 度の色差信号 R — Y、 Β — Υを生成する。 この信号処理回路 8 0の 構成及び動作原理については周知なので、 その詳細な説明は省略す る。 ただし、 図 1 に示される従来の撮像装置の信号処理回路 7 に比 ベ、 高速レー 卜での処理が可能な構成とされている。
この信号処理回路 8 0 にて生成された高解像度の色差信号 R— Υ、 Β — Υは、 変調回路 8 1 に供給される。 変調回路 8 1 は、 色副搬送 波信号を高解像度の色差信号 R - Υ、 Β - Υによって直交 2軸 （二 相） 変調し、 得られる高解像度の搬送色信号 （以下、 色信号という ) を加算器 8 2の一方の入力端に供給する。 この加算器 8 2の他方 の入力端には、 信号処理回路 8 0 よ り高解像度の輝度信号 Υが供給 され、 この高解像度の輝度信号 Υと変調回路 8 1 からの高解像度の 色信号とが加算されて高解像度のディ ジタル複合映像信号が生成さ れ、 出力端子 1 0 よ り 出力される。 なお、 変調回路 8 1 及び加算器 8 2は、 図 1 に示される従来の撮像装置の変調回路 8及び加算器 9 に比べ、 高速レー 卜での処理が可能な構成とされている。
つぎに、 図 3 に示される本発明の撮像装置の第 1 の実施例の動作 を説明する。
光学系 1 及び色フ ィ ルタ 2を介して C C D 3 に入射された被撮像 光は光電変換され、 得られる撮像信号はビデオアンプ 4で所定のレ ベルに増幅される。 この所定のレベルに増幅された撮像信号は、 A Z D変換回路 5 にてディ ジタル撮像信号に変換されて色分離回路 6 に供給され、 この色分離回路 6 にて、 R信号成分、 G信号成分及び B信号成分に分けられる。 分離された R信号成分、 G信号成分及び B信号成分は夫々 R信号変換部 5 0、 G信号変換部 6 0及び B信号 変換部 7 0に供給され、 夫々高解像度の R信号成分、 高解像度の G 信号成分及び高解像度の B信号成分に変換される。 これらの高解像 度の R信号成分、 高解像度の G信号成分及び高解像度の B信号成分 は、 信号処理回路 8 0 に供給され、 これらの信号成分から高解像度 の輝度信号 Y及び高解像度の色差信号 R - Y、 Β - Υが生成される ( 高解像度の色差信号 R - Υ、 Β — Υは変調回路 8 1 に供給され、 色副搬送波信号を直交 2軸変調するこ とによ り、 高解像度の色信号 に変換される。 信号処理回路 8 0から出力される高解像度の輝度信 号 Υと変調回路 8 1 から出力される高解像度の色信号とを加算器 8 2 にて加算することによって、 出力端子 1 0から高解像度の複合映 像信号が得られる。
このよう にして、 C C Dの画素数は従来の撮像装置に用いられて いる C C Dの画素数と同じでも、 従来の撮像装置の出力複合映像信 号の解像度に比べて解像度が高い複合映像信号を得るこ とができる ( つぎに、 本発明の撮像装置に用いられている R信号変換部 5 0、 G信号変換部 6 0及び B信号変換部 7 0の構成及び動作原理の詳細 について説明する。
これら R信号変換部 5 0、 G信号変換部 6 0及び B信号変換部 7 0の構成及び動作原理は互いに同じなので、 R信号変換部 5 0 を例 にとつて説明する。 なお、 この信号変換部の構成及び動作原理につ いては、 国際公開番号 W O 94 / 14278の公報にも記載されているが、 ここでは、 本発明の撮像装置を構成する上で最低限必要な構成及び 動作原理について説明する。
図 3 において、 R信号変換部 5 0のブロ ッ ク化回路 5 1 に供給さ れる S D信号は、 所定のサンプリ ング周波数でもって、 1 画素が 8 ビッ 卜のディ ジタル信号とされたものである。 このブロ ッ ク化回路 5 1 は、 ラスタ一走査順のデータを 1次元ブロ ッ ク、 2次元ブロ ッ ク又は 3次元ブロ ッ クの順序のデータに変換する。
ブロ ッ ク化回路 5 1 の出力信号がデータ圧縮回路 5 2及び予測値 生成回路 5 5に供給される。 データ圧縮回路 5 2の出力データがク ラスコ一 ド発生回路 5 3に供給される。 ク ラスコー ド発生回路 5 3 からのク ラスコー ドがァ ドレス信号と して予測係数メ モ リ 5 4に供 給される。 予測係数メモ リ 5 4には、 予め学習によって決定された 予測係数が格納されている。 予測係数メ モ リ 5 4からの予測係数が 予測値生成回路 5 5に供給される。
データ圧縮回路 5 2及びク ラスコー ド発生回路 5 3は、 予測の対 象の注目画素のクラス分けを行うためのものであり、 クラス分けは、 注目画素を含むブロ ッ ク毎のレベル分布のパター ンに従ってなされ る。 このクラス分けで決定されたク ラスを指示するク ラスコー ドが クラスコー ド発生回路 5 3から出力される。 クラス分けは、 S D信 号に基づいてなされるカ^ 注目画素の周辺の複数の S D信号の画素 (以下、 S D画素という。 ） の値 （ 8 ビッ 卜） をそのまま クラス分 けのために参照すると、 クラス数が多く なり過ぎる問題がある。 そ こで、 データ圧縮回路 5 2が設けられており、 参照される周辺の画 素 （参照画素） のビッ ト数が圧縮される。 データ圧縮回路 5 2の一 例は、 A D R C符号化回路である。
なお、 データ圧縮と しては、 A D R C符号化 （ Adaptive Dynamic Range Coding) (こ限らず、 Dし 丁 、 iscrete し osine Transform) 、 V Q (ベク トル量子化） 、 D P C M (Differential Pulse Code Mo dulation) 、 B T C (Block Trancation Coding ) ゝ 非線形量子化 等を選択的に使用するこ とができる。
ブロ ッ ク化回路 5 1 では、 テレビジ ョ ン信号のラスタ一走査の順 序から図 4に示すような 2次元プロ ッ クのデータの順序へ入力 S D 信号を走査変換する。 図 4の例では、 3 X 3画素が 1 ブロ ッ ク とさ れ、 a〜 i の値をそれぞれ有する 9個の S D画素が 1 ブロ ッ クに含 まれる。 この 1 ブロ ッ クの S D画素によって、 中心付近に位置する 4個の H D画素 A〜 Dの値が予測値生成回路 5 5において生成され る。
図 4 に示されるブロ ッ クは、 単なる一例であり、 代わりに、 例え ば図 5 に示されるよう に 4個の S D画素 a〜 dからなる 1次元ブロ ッ クを用いて、 H D画素の予測値を生成するこ ともできる。 さ らに- 3次元プロ ッ クに対しても、 H D画素の予測値を生成することがで きる。
図 5の 1次元配列において、 S D画素 a、 b、 cから H D画素 A のクラス分けと予測値の生成がなされ、 50画素 3、 b、 c dか ら H D画素 Bのク ラス分けと予測値の生成がなされる。 また、 学習 の場合も同様の関係でクラス分けと予測値の生成がなされる。
ここで、 データ圧縮回路 5 2 と して採用するこ とができる A D R C符号化について説明する。
A D R Cは、 画素の局所的な相関を利用してレベル方向の冗長度 を適応的に除去する ものである。 例えば図 6に示すように、 8 ビッ 卜の原データが有する 0〜 2 5 5のダイナ ミ ッ ク レンジの中で、 各 ブロ ッ ク毎に再量子化するのに必要なブロ ッ ク内のダイナ ミ ッ ク レ ンジ A、 Bは、 原ダイナ ミ ッ ク レンジに比して大幅に小さい。 この ため、 再量子化に必要なビッ ト数は、 元の 8 ビッ トよ り大幅に低減 するこ とができる。
元のビッ ト数 （ 8 ビッ ト） よ り少ない割当てビッ ト数を p、 プロ ッ クのダイナ ミ ッ ク レンジを D R、 ブロ ッ ク内のある画素の値を X , 再量子化コー ドを Qとすると、 次の式 （ 1 ) によりブロ ッ ク内の最 大値 MA Xと最小値 M I Nとの間を 2 P 個に均等に分割して再量子 化を行う。 図 7 ( a ) に p = 3の場合の再量子化を示す。
D R = MA X - M I N + 1
Q = [ ( χ - Μ Ι Ν + 0. 5 ) x 2 p/ D R ] ( 1 ) ここで、 [ z ] は、 z以下の最大の整数を表す。
次に、 図 7 ( a ) における p ビッ ト再量子化の階調レベルの中の ( 2 p- 1 )に相当するデータ レベルを有するブロ ッ ク内画素の平均 値を計算し、 これを図 7 ( b ) に示すよう に、 新たな最大値 MA X ' とする。 また、 再量子化の階調レベル 0に相当するデータレベル を有するブロ ッ ク内の画素の平均値を新たな最小値 M I N ' とする。 新し く 求められた最大値 M A X' 及び最小値 M I N' からダイナ ミ ッ ク レンジを定義し直して、 次の式 （ 2 ) によって、 再量子化を行 ラ。
D R ' = M A X ' - M I N '
q = [ ( x - M I N ' ) x ( 2 p - 1 ) / D R ' + 0. 5 ]
( 2 ) ここで、 [ z ] は、 z以下の最大の整数を表す。
このような新たな最大値 M A X ' 、 最小値 M I N ' 、 ダイナ ミ ツ ク レンジ D R' を定義し直す A D R Cは、 ノイズの影罂を受けるこ とな く、 効率の良い情報量の圧縮を行う こ とができる。 さ らに、 A D R Cにおける量子化.と して、 復元される代表レベル と して、 最大値 M A X及び最小値 M I Nと等しいレベルを持つよう な特性も可能である。
2次元ブロ ッ クの例では、 上述の A D R Cによって、 8 ビッ トの 値 a 〜 i から各 p ビッ 卜へ圧縮された n画素の値がク ラスコー ド発 生回路 5 3へ供給され、 式 （ 3 ) によって表されるクラスを指示す る ク ラスコー ド class が生成される。
n
class =∑qi(2p)' (3) こ こで、 1 ビッ ト A D R Cを例にとって、 A D R C符号化回路に ついて図 8 を参照して説明する。
図 8 において、 入力端子 1 2 1 からのブロ ッ クの順序に変換され たデータに対して、 検出回路 1 2 2 は、 各ブロ ッ ク内の画素の値の 最大値 M A X、 最小値 M I Nを検出する。 減算回路 1 2 3 は、 これ らの最大値 M A X及び最小値 M I Nが供給され、 最大値 M A Xから 最小値 M I Nを減算してダイナ ミ ッ ク レ ン ジ D Rを出力する。 一方、 減算回路 1 2 4 は、 入力データ及び最小値 M I Nが供給され、 入力 データから最小値 M I Nを減算して、 正規化された面素データを出 力する。
割算回路 1 2 5 は、 正規化された入力データ及びダイナ ミ ッ ク レ ンジ D Rが供給され、 正規化された画素データをダイナ ミ ッ ク レ ン ジ D Rで割り算して比較回路 1 2 6 に供給する。 比較回路 1 2 6 は, 9個の画素の割算結果が 0. 5 を基準と して、 より大きいか、 よ り 小さいかの判断を行い、 この結果に応じて ' 0 ' 又は ' 1 ' の 1 ビ ッ トデータ D Tを発生する。 このデータ D Tが出力端子 1 2 7から 取り 出される。 この 1 ビッ ト A D R Cを用いてク ラス分けを行えば- 3 X 3画素の S Dブロ ッ クのク ラス力、'、 9 ビッ 卜のク ラスコー ドで 表現される。
図 3に戻って説明すると、 クラスコー ドと対応する予測係数が予 測係数メ モ リ 5 4から読み出され、 予測値生成回路 5 5では、 プロ ッ ク化回路 5 1 から供給されたブロ ッ ク単位の S Dデータ と、 読み 出された予測係数 w ,〜w Nとから、 式 （ 4 ) に示す線形 1 次結合に 従った演算によ り、 H D画素の予測値 y ' が生成される。
y = W l l + W 2 2 + ' · ' -Ι- W n X n ( 4 ) 上述の図 4の例では、 （ n = l、 2、 · · · ·、 9 ) である。 予 測対象である注目 H D画素の位置に対応して、 図 9に示す関係でも つて、 所定の S Dデータ力く X ,〜 < !)と して用いられる。
すなわち、 1 ブロ ッ ク内の 4個の H D画素 A〜 Dのそれぞれの予 測値を生成する ときに、 注目 H D画素に応じて予測係数と組み合わ される S D画素が変更される。 例えば注目 H D画素が Aの場合、 式 ( 5 ) によ り、 H D画素 Aの予測値が生成される。
y = w i a + W 2 b + W 3 C + ' - * + w n i ( 5 ) また、 例えば注目 H D画素が Bの場合、 式 （ 6 ) により、 H D画 素 Bの予測値が生成される。
y = w i a + w 2d + W 3 C + * * * + w n e ( 6 ) このよう に、 同じブロ ッ ク （言い換えると同じクラス） の 4個の H D画素の予測値を生成するための係数を共通するこ とでき、 予測 係数メ モ リ 5 4の容量の削減と予測係数メ モ リ 5 4に対するァク セ ス回数を少な く するこ とができる。 図 9の係数に乗じられる値 X ,〜 9 と S D画素 a〜 i の対応関係は、 注目 H D画素と S D画素間の 距離に基づいて規定されたものである。
ここで、 X ,〜 X 9は、 例えば 1 ビッ ト A D R Cで形成されたク ラ スコー ドの 9 ビッ ト と考えるこ と もできる。 すなわち、 1 ブロ ッ ク の中心付近の H D画素 A〜Dのそれぞれに関するクラスは、 S D画 素 a〜 i の値を圧縮符号化した値の順序を変えるのみで、 規定する こ とができる。 そ して、 これらの値をメモリ に蓄えておき、 読出 し 順序を変更すればよい。
図 1 0は、 S D信号から H D信号へのアップコ ンバー トの処理の 順序を示すフ ローチ ヤ一トである。
ステップ 1 3 1 からアップコ ンバー トの制御が開始され、 ステツ プ 1 3 2のデータブロ ッ ク化では、 S D信号が供給され、 図 4 に示 すように S D画素を処理ブロ ッ ク単位に取り出す処理を行う。 ステ ップ 1 3 3のデータ終了では、 入力された全データの処理が終了 し ていれば、 ステップ 1 3 7の終了へ、 終了していなければ、 ステツ プ 1 3 4 のクラス決定へ処理が移る。
ステップ 1 3 4のクラス決定では、 S D信号の信号レベルの分布 で定まるパターンからクラスが決定される。 例えば 1 ビッ ト A D R Cによって圧縮されたデータによ り クラスが決定される。 ステップ 1 3 5では、 クラスコー ドに対応する予測係数をメモ リから読み出 す。 ステップ 1 3 6の予測演算では、 式 （ 4 ) の演算を行い、 H D 画素の予測値 y ' を出力する。 この一連の処理が全データに対し繰 り返され、 全データが終了すればステップ 1 3 3のデータ終了から ステップ 1 3 7の終了に処理が移り、 アップコ ンバー 卜の処理が終 了する。
上述のよう に、 予測係数メ モ リ 5 4 には、 予め学習によ り得られ た予測係数が記憶されている。 こ こで、 この学習について説明する, 図 1 1 は、 予測係数を学習によ り得る装置の構成を示すブロ ッ ク図 である。
入力端子 1 4 1 を介して、 標準的な H D信号の静止画像が多数枚 入力され、 垂直間引きフィ ルタ 1 4 2及び学習部 1 4 4にへ供給さ れる。 垂直間引きフ ィ ルタ 1 4 2は、 H D信号を垂直方向に間引き し、 この垂直間引きフ ィ ルタ 1 4 2に接続された水平間引きフ ィ ル 夕 1 4 3は、 H D信号を水平方向に 1 Z 2に間引き し、 これによ り , S D信号と同等の画素数の画像信号が学習部 1 4 4 に供給される。 予測係数メ モ リ 1 4 5は、 学習部 1 4 4内に設けられているクラス 分け回路で決定されたクラスと対応するア ド レスに予測係数 w , 〜 w„を記憶する。
H D信号から S D信号を形成する方法と しては、 上述のような間 引きフ ィ ルタを使用するのに限らず、 他の方法が可能である。 例え ば図 4の画素配置のよう に、 2 X 2画素の 4画素 （例えば A、 B、 C、 D ) の平均値によって S D画素 aの値を形成しても良い。 さ ら に、 単純平均値ではな く、 よ り広い範囲内の H D画素 （例えば 1 ブ ロ ッ クの H D画素） の値の距離に応じた加重平均値を S D画素の値 と しても良い。
学習部 1 4 4では、 図 4の配列のよう に、 3 3の 50画素にょ つて 1 ブロ ッ クが構成される場合、 画素 a ~ i と H D画素 A、 B、 C、 Dがー組の学習データとなる。 1 フ レームに関して多数組の学 習データが存在し、 且つ、 フ レーム数を増加させるこ とにより非常 に多数の組の学習データを利用するこ とができる。
S D画素 a〜 i を圧縮し、 圧縮された S D画素の値の 2次元分布 のパターンにより クラスを決定する ク ラス分けと、 各クラスの予測 係数を最小二乗法により決定する演算処理とを学習部 1 4 4が行う c ク ラス分けは、 図 3のデータ圧縮回路 5 2 とク ラスコー ド発生回路 5 3が行う処理と同一のものである。 この学習部 1 4 4をソフ ト ウ エア処理の構成と した時のその動作を示すフローチヤ一 トを図 1 2 に示す。
ステップ 1 5 1から学習部 1 4 4の処理が開始され、 ステップ 1 5 2の対応データブロ ッ ク化では、 H D信号と S D信号が供給され、 図 4に示すような配列関係にある H D画素 A〜 D及び S D画素 a〜 i を取り 出す処理を行う。 ステップ 1 5 3のデータ終了では、 入力 された全データ例えば 1 フ レームのデータの処理が終了していれば、 ステップ 1 5 6の予測係数決定へ、 終了していなければ、 ステップ 1 5 4のクラス決定へ処理が移る。
ステップ 1 5 4のクラス決定では、 予測対象の H D画素 A〜 Dの 周辺の複数の S D画素 a〜 i のレベル分布のパターンからクラスが 決定される。 この制御では、 ビッ ト数削減のため上述のように、 S D画素が例えば A D R C符号化によって圧縮される。 ステップ 1 5 5の正規方程式加算では、 後述する式 （ 1 2 ) 、 式 （ 1 3 ) 及び式 ( 1 4 ) の方程式を作成する。
ステップ 1 5 3のデータ終了から全データの処理が終了後、 処理 がステツプ 1 5 6に移り、 ステップ 1 5 6の予測係数決定では、 後 述する式 （ 1 4 ) を行列解法を用いて解いて、 予測係数を決める。 ステップ 1 5 7の予測係数ス 卜ァで、 予測係数をメモリ にス 卜ァ し、 ステップ 1 5 8で学習部 1 4 4の一連の動作が終了する。
図 4の画素配列を使用 して、 S D画素 a〜 i を圧縮符号化し、 符 号化された値に基づいてクラス分けがされるこ とは、 上述の信号変 換部と同様である。 また、 S D画素 a〜 i の値と予測係数 w ,〜 w 9 との線形 1 次結合によって、 H D画素 A〜 Dの予測値を図 9に示す 組合せでもって生成する点も上述と同様である。
こ こで、 H D画素の値を S D画素の値から予測するための係数を 求める処理をよ り詳細に説明する。
S D画素の値を χ ,〜 χ ηと し、 注目 H D画素の真値を y と したと き、 ク ラス毎に予測係数 w ,〜 w„による n タ ップの線形 1 次結合は、 式 （ 7 ) で表される。
y = W 1 X I + W 2 X 2 + · · · + W n X n ( 7 ) 学習前は、 w , が未定係数である。
上述のよう に、 学習はク ラス毎に複数の H Dデータ及び S Dデ一 夕に対して行う。 データ数が mの場合、 式 （ 7 ) は式 （ 8 ) に示す よう に表される。
y j = V l X i l + W 2 \ 1 2 ÷ ' ' ' -f W n X j n ( 8
(但し、 j = 1、 2、 · · - m)
m > nの場合、 w i〜w nは一意には決ま らないので、 誤差べク 卜 ル eの要素を式 （ 9 ) によ り定義して、 次の式 （ 1 0 ) を最小にす る予測係数を求める。
e j = y j ' ― ( w i x ； i + w 2 x j 2 + · · · + w n x , n ) ( 9ソ
Figure imgf000023_0001
式 （ 1 0 ) は、 いわゆる最小自乗法による解法である。 ここで、 式 （ 1 1 ) に示すように、 式 （ 1 0 ) の W i による偏微分係数を求 める。 ∑2 (11)
Figure imgf000024_0001
そ して、 この式 （ 1 1 ) を 0 にするような各 w を決めれば、 予 測係数を求めるこ とができる。 従って、
PJ (12) p=Q (13)
J=0 と して、 行列を用いる と
(14)
Figure imgf000024_0002
とな り、 掃き出 し法等の一般的な行列解法を用いて、 式 （ 1 4 ) を w i について解けば、 予測係数 w , が求ま る。 そ して、 ク ラスコ ー ドをア ド レスと して、 この予測係数 w i をメ モ リ に格納してお く。 以上のよ う に学習部 1 4 4 が実データである H D信号を用いて予 測係数 w . を決定するこ とができ、 これがメモリ に格納される。 そ して、 学習部 1 4 4で決定された予測係数が図 3の予測係数メ モ リ 5 4 に蓄えられている。
つぎに、 本発明の撮像装置の第 2 の実施例について図 1 3を参照 しながら説明する。 なお、 図 2 に示される従来の撮像装置と同じ部 分については同じ番号を付して説明する。
この図 1 3 において、 被撮像光が光学系 2 1 を介して色分解プリ ズム 2 2に入射される。 色分解プリ ズム 2 2は、 被撮像光を、 赤色 光、 緑色光及び青色光に分光し、 夫々赤色撮像用 C C D 2 3、 緑色 撮像用 C C D 2 4及び青色撮像用 C C D 2 5 に入射させる。
赤色撮像用 C C D 2 3、 緑色撮像用 C C D 2 4及び青色撮像用 C C D 2 5は、 入射された赤色光、 緑色光及び青色光を夫々光電変換 し、 R信号成分、 G信号成分及び B信号成分を出力する。 これらの R信号成分、 G信号成分及び B信号成分は、 ビデオアンプ 2 6、 2 7及び 2 8 に夫々供給される。 ビデオアンプ 2 6、 2 7及び 2 8 は、 供給された R信号成分、 G信号成分及び B信号成分を夫々所定のレ ベルに増幅して、 ノ 0変換回路 2 9、 3 0及び 3 1 に夫々供給す る。 これらの A Z D変換回路 2 9、 3 0及び 3 1 にて、 R信号成分、 G信号成分及び B信号成分が夫々所定のビッ ト数のディ ジタル信号 に変換される。 これらの A Z D変換回路 2 9、 3 0及び 3 1 にて夫 々 ディ ジタル信号に変換された R信号成分、 G信号成分及び B信号 成分は、 夫々 R信号変換部 2 0 0、 G信号変換部 2 1 0及び B信号 変換部 2 2 0 に供給される。
R信号変換部 2 0 0 は、 上述の図 1 3 に示すよう に、 ブロッ ク化 回路 2 0 1、 データ圧縮回路 2 0 2、 クラスコー ド発生回路 2 0 3、 予測係数メ モ リ 2 0 4及び予測値生成回路 2 0 5を備える。
また、 G信号変換部 2 1 0 は、 上述の図 1 3 に示すよう に、 プロ ッ ク化回路 2 1 1、 データ圧縮回路 2 1 2、 クラスコー ド発生回路 2 1 3、 予測係数メ モ リ 2 1 4及び予測値生成回路 2 1 5を備える。 また、 B信号変換部 2 2 0 は、 上述の図 1 3 に示すよう に、 プロ ッ ク化回路 2 2 1、 データ圧縮回路 2 2 2、 クラスコー ド発生回路 2 2 3、 予測係数メ モ リ 2 2 4及び予測値生成回路 2 2 5を備える。 これらの R信号変換部 2 0 0、 G信号変換部 2 1 0及び B信号変 換部 2 2 0の構成及び動作原理は、 図 3 にて示される R信号変換部 5 0の構成及び動作原理と同じであるため、 その説明を省略する。
R信号変換部 2 0 0、 G信号変換部 2 1 0及び B信号変換部 2 2 0 にて夫々生成された高解像度の R信号成分、 高解像度の G信号成 分及び高解像度の B信号成分は、 信号処理回路 2 3 0 に供給される c 信号処理回路 2 3 0は、 供給された高解像度の R信号成分、 高解像 度の G信号成分及び高解像度の B信号成分に夫々所定の信号処理及 びマ ト リ クス演算を施して、 高解像度の輝度信号 Y及び高解像度の 色差信号 R — Y、 Β - Υを生成する。 この信号処理回路 2 3 0 にて 生成された高解像度の色差信号 R - Υ、 Β - Υは、 変調回路 2 4 0 に供給される。
この変調回路 2 4 0 は、 色副搬送波信号を高解像度の色差信号 R — Υ、 Β — Υによって直交 2軸変調し、 得られる高解像度の色信号 を加算器 2 5 0の一方の入力端に供給する。 この加算器 2 5 0の他 方の入力端には、 信号処理回路 2 3 0 より高解像度の輝度信号 Υが 供給され、 この高解像度の輝度信号 Υと変調回路 2 4 0からの高解 像度の色信号とが加算されて高解像度のディ ジタル複合映像信号が 生成され、 出力端子 2 6 0 よ り 出力される。 なお、 信号処理回路 2 3 0、 変調回路 2 4 0及び加算器 2 5 0 は、 図 2 に示される従来の 撮像装置で用いられる信号処理回路 3 2、 変調回路 3 4及び加算器 3 5 より も高速レー 卜での処理が可能な構成とされている。
また、 信号処理回路 2 3 0から出力される高解像度の輝度信号 Υ、 高解像度の色差信号 R - Υ、 Β — Υは、 高解像度のコンポーネン ト 信号と して、 出力端子 2 7 0、 2 8 0及び 2 9 0から夫々 出力され る。
つぎに、 本発明の撮像装置の第 3 の実施例について、 図 1 4を参 照しながら説明する。 なお、 図 1 に示される従来の撮像装置と同 じ 部分については同じ番号を付して説明する。
光学系 1 に入射された被撮像光は、 色フ ィルタ 2 を介して C C D 3 に入射される。 この色フ ィ ルタ 2 は、 例えば黄色フ ィルタ、 シァ ンフィ ノレ夕及びマゼンタフイノレ夕からなる補色フィ ルタである。 こ の色フ ィ ルタ 2 を介して C C D 3 に入射された被撮像光は、 C C D 3 にて光電変換されて、 撮像信号と してビデオアンプ 4 に供給され る。 この撮像信号は、 ビデオアンプ 4 にて所定のレベルにまで増幅 された後に、 A Z D変換回路 5 に供給される。 この A / D変換回路 5 にて、 撮像信号が所定のビッ ト数のディ ジタル信号に変換される。 A Z D変換回路 5 にてディ ジタル信号の変換された撮像信号は、 色 分離回路 6 に供給される。
この色分離回路 6 は、 入力されたディ ジタル撮像信号を R信号成 分、 G信号成分及び B信号成分に分け、 夫々を信号処理回路 7 に供 給する。 信号処理回路 7は、 供給さ'れた R信号成分、 G信号成分及 び B信号成分に夫々所定の信号処理及びマ ト リ クス演算を施して、 輝度信号 Y及び色差信号 R - Y、 Β — Υを生成する。 この信号処理 回路にて生成された色差信号 R _ Υ、 Β — Υは、 変調回路 8に供給 される。
この変調回路 8 は、 色副搬送波信号を色差信号 R— Υ、 Β - Υに よって直交 2軸変調し、 得られる色信号を加算器 9の一方の入力端 に供給する。 この加算器 9の他方の入力端には、 信号処理回路 7 よ り輝度信号 Υが供給され、 こ の輝度信号 Υと変調回路 8からの色信 号とが加算されてディ ジタル複合映像信号が生成される。
この加算器 9から出力されるディ ジタル複合映像信号は信号変換 部 3 0 0 に供給され、 この信号変換部 3 0 0にて高解像度のディ ジ タル複合映像信号に変換されて出力端子 3 1 0 よ り出力される。 信 号変換部 3 0 0の構成及び動作原理については、 図 3 に示される R 信号変換部 5 0の構成及び動作原理と同じなので、 その説明を省略 する。 なお、 図 1 4 に示される信号変換部 3 0 0 を構成するブロ ッ ク化回路 3 0 1、 データ圧縮回路 3 0 2、 ク ラスコー ド発生回路 3 0 3、 予測係数メ モ リ 3 0 4及び予測値生成回路 3 0 5 は、 図 3示 される R信号変換部 5 0を構成するブロ ッ ク化回路 5 1、 データ圧 縮回路 5 2、 ク ラスコー ド発生回路 5 3、 予測係数メ モリ 5 4及び 予測値生成回路 5 5 に夫々対応する。
つぎに、 本発明の撮像装置の第 4 の実施例について、 図 1 5を参 照しながら説明する。 なお、 図 2 に示される従来の撮像装置と同じ 部分については同じ番号を付して説明する。
被撮像光が光学系 2 1 を介して色分解プリ ズム 2 2 に入射される < 色分解プリ ズム 2 2 は、 被撮像光を、 赤色光、 綠色光及び青色光に 分光し、 夫々赤色撮像用 C C D 2 3、 緑色撮像用 C C D 2 4及び青 色撮像用 C C D 2 5 に入射させる。
赤色撮像用 C C D 2 3、 緑色撮像用 C C D 2 4及び青色撮像用 C C D 2 5 は、 入射された赤色光、 緑色光及び青色光を夫々光電変換 し、 R信号成分、 G信号成分及び B信号成分を出力する。 これらの R信号成分、 G信号成分及び B信号成分は、 ビデオアンプ 2 6、 2 7及び 2 8 に夫々供給される。 ビデオアンプ 2 6、 2 7及び 2 8 は, 供給された R信号成分、 G信号成分及び B信号成分を夫々所定のレ ベルに増幅して、 / 0変換回路 2 9、 3 0及び 3 1 に夫々供給す る。 これらの Aノ D変換回路 2 9、 3 0及び 3 1 にて、 R信号成分- G信号成分及び B信号成分が夫々所定のビッ ト数のディ ジタル信号 に変換される。 これらの A / D変換回路 2 9、 3 0及び 3 1 にて夫 々 ディ ジタル信号に変換された R信号成分、 G信号成分及び B信号 成分は、 信号処理回路 3 2 に供給される。
信号処理回路 3 2 は、 供給された R信号成分、 G信号成分及び B 信号成分に夫々所定の信号処理及びマ ト リ クス演算処理を施して、 輝度信号 Y及び色差信号 R - Y、 Β - Υを生成する。 この信号処理 回路 3 2 にて生成された色差信号 R - Υ、 Β - Υは、 夫々 R - Υ信 号変換部 4 1 0及び Β - Υ信号変換部 4 2 0 に供給される。
信号処理回路 3 2から供給された色差信号 R - Υは、 R— Υ信号 変換部 4 1 0 にて、 高解像度の色差信号 R— Υに変換されて出力さ れる。 また、 信号処理回路 3 2から供給された色差信号 Β — Υは、 Β - Υ信号変換部 4 2 0 にて、 高解像度の色差信号 Β — Υに変換さ れて出力される。
また、 信号処理回路 3 2 にて生成された輝度信号 Υは、 輝度信号 変換部 4 0 0 に供給される。 信号処理回路 3 2から供給された輝度 信号 Υは、 輝度信号変換部 4 0 0 にて、 高解像度の輝度信号 Υに変 換されて出力される。
輝度信号変換部 4 0 0 は、 上述の図 1 5 に示すよう に、 ブロ ッ ク 化回路 4 0 1、 データ圧縮回路 4 0 2、 クラスコ一 ド発生回路 4 0 3、 予測係数メ モ リ 4 0 4及び予測値生成回路 4 0 5を備える。
また、 R — Υ信号変換部 4 1 0 は、 上述の図 1 5 に示すように、 ブロ ッ ク化回路 4 1 1、 データ圧縮回路 4 1 2、 クラスコー ド発生 回路 4 1 3、 予測係数メ モリ 4 1 4及び予測値生成回路 4 1 5を備 える。
また、 B - Y信号変換部 4 2 0 は、 上述の図 1 5 に示すように、 ブロ ッ ク化回路 4 2 1、 データ圧縮回路 4 2 2、 クラスコー ド発生 回路 4 2 3、 予測係数メモリ 4 2 4及び予測値生成回路 4 2 5を備 える。
これらの輝度信号変換部 4 0 0、 R - Y信号変換部 4 1 0及び B - Y信号変換部 4 2 0の構成及び動作原理については、 図 3 に示さ れる R信号変換部 5 0の構成及び動作原理と同じなので、 その説明 を省略する。
R - Y信号変換部 4 1 0及び B — Y信号変換部 4 2 0 にて夫々生 成された高解像度の色差信号 R— Y、 Β — Υは、 変調回路 4 3 0 に 供給される。 この変調回路 4 3 0 は、 色副搬送波信号を高解像度の 色差信号 R - Υ、 Β — Υによって直交 2軸変調し、 得られる高解像 度の色信号を加算器 4 4 0の一方の入力端に供給する。 この加算器 4 4 0の他方の入力端には、 輝度信号変換部 4 0 0にて生成された 高解像度の輝度信号 Υが供給され、 この高解像度の輝度信号 Υと変 調回路 4 3 0からの高解像度の色信号とが加算されて高解像度のデ イ ジタル複合映像信号が生成され、 出力端子 4 5 0 よ り出力される c なお、 変調回路 4 3 0及び加算器 4 4 0 は、 図 2 に示される従来の 撮像装置で用いられる変調回路 3 4及び加算器 3 5 より も高速レー 卜での処理が可能な構成とされている。
また、 輝度信号変換部 4 0 0から出力される高解像度の輝度信号 Y、 R— Υ信号変換部 4 1 0から出力される高解像度の色差信号 R - Υ、 及び Β - Υ信号変換部 4 2 0から出力される高解像度の色差 信号 B — Yは、 高解像度のコ ンポーネン ト信号と して、 出力端子 4 6 0、 4 7 0及び 4 8 0から夫々 出力される。
なお、 本発明の撮像装置は、 第 1 から第 4 の実施例にのみ限定さ れる ものではな く、 例えば、 予測係数メモ リ を、 R信号成分、 G信 号成分及び Β信号成分の変換処理について共通化する等、 本発明の 要旨を逸脱しない範囲で種々の変形が可能である。
本発明によれば、 C C Dの画素数を増加させるこ とな く、 高解像 度の映像信号を得るこ とができる撮像装置を提供できる。

Claims

請求の範囲
1 . 色フ ィ ルタを介して入力された被撮像光を撮像信号に変換す る撮像手段と、
上記撮像手段から上記撮像信号が供給され、 該撮像信号を R信号 成分、 G信号成分及び B信号成分に分ける分離手段と、
上記分離手段から上記 R信号成分、 G信号成分及び B信号成分が 夫々供給され、 該 R信号成分、 G信号成分及び B信号成分の解像度 をよ り高い解像度に変換して、 高解像度の R信号成分、 高解像度の G信号成分及び高解像度の B信号成分を生成する第 1 、 第 2、 第 3 の変換手段と、
上記第 1、 第 2、 第 3の変換手段から上記高解像度の R信号成分、 高解像度の G信号成分及び高解像度の B信号成分が供給され、 該高 解像度の R信号成分、 高解像度の G信号成分及び高解像度の B信号 成分から輝度信号及び色信号を生成する信号処理手段と、
を有するこ とを特徴とする撮像装置。
2 . さ らに、 上記信号処理手段から出力される上記輝度信号及び 色信号から複合映像信号を生成する合成手段を有する
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
3 . 上記第 1、 第 2、 第 3の変換手段は、 夫々、
入力された信号を複数のブロ ッ クに分割するブロ ッ ク化手段と、 上記ブロ ッ ク化手段で分割されたブロ ッ ク毎にデータ量を圧縮す る圧縮手段と、 上記ブロ ッ ク毎に、 圧縮後のデータのレベル分布のパター ンに基 づいて各ブロ ッ クのクラスを決定し、 該クラスを示す信号を出力す る ク ラス検出手段と、
各ク ラスに対応させて、 入力信号を高解像度の信号に変換するた めの予測係数が記憶されており、 上記クラス決定手段から出力され る上記ク ラスを示す信号に応じた予測係数を出力する予測係数記憶 手段と、
上記予測係数記憶手段から出力される予測係数を用いて、 上記入 力された信号に予測演算処理を施して、 上記入力された信号から高 解像度の信号を生成する予測演算手段と、
を有するこ とを特徴とする請求の範囲第 1 項に記載の撮像装置。
4 . 赤色光、 緑色光及び青色光を夫々 R信号成分、 G信号成分及 び B信号成分に変換する第 1、 第 2、 第 3 の撮像手段と、
上記第 1、 第 2、 第 3 の撮像手段から上記 R信号成分、 G信号成 分及び B信号成分が夫々供給され、 該 R信号成分、 G信号成分及び B信号成分の解像度をよ り高い解像度に変換して高解像度の R信号 成分、 高解像度の G信号成分及び高解像度の B信号成分を生成する 第 1、 第 2、 第 3の変換手段と、
上記第 1、 第 2、 第 3の変換手段から上記高解像度の R信号成分、 高解像度の G信号成分及び高解像度の B信号成分が供給され、 該高 解像度の R信号成分、 高解像度の G信号成分及び高解像度の B信号 成分から輝度信号及び色信号を生成する信号処理手段と、
を有するこ とを特徴とする撮像装置。
5 . さ らに、 上記信号処理手段から出力される上記輝度信号及び 色信号から複合映像信号を生成する合成手段を有する
こ とを特徴とする請求の範囲第 4項に記載の撮像装置。
6 . 上記第 1、 第 2、 第 3 の変換手段は、 夫々、
入力された信号を複数のブロ ッ クに分割するブロ ッ ク化手段と、 上記ブロ ッ ク化手段で分割されたブロ ッ ク毎にデータ量を圧縮す る圧縮手段と、
上記プロ ッ ク毎に、 圧縮後のデータのレベル分布のパター ンに基 づいて各ブロ ッ クのク ラスを決定し、 該クラスを示す信号を出力す るクラス検出手段と、
各クラスに対応させて、 入力信号を高解像度の信号に変換するた めの予測係数が記憶されており、 上記クラス決定手段から出力され る上記ク ラスを示す信号に応じた予測係数を出力する予測係数記憶 手段と、
上記予測係数記憶手段から出力される予測係数を用いて、 上記入 力された信号に予測演算処理を施して、 上記入力された信号から高 解像度の信号を生成する予測演算手段と、
を有するこ とを特徴とする請求の範囲第 4項に記載の撮像装置。
7 . 入力された被撮像光を撮像信号に変換する撮像手段と、 上記撮像手段から上記撮像信号が供給され、 該撮像信号から輝度 信号及び第 1、 第 2 の色差信号を生成する信号処理手段と、
上記信号処理手段から上記輝度信号及び第 1、 第 2 の色差信号が 夫々供給され、 該輝度信号及び第 1、 第 2の色差信号の解像度をよ り高い解像度に変換して、 高解像度の輝度信号及び高解像度の第 1 第 2の色差信号を生成する第 1、 第 2、 第 3の変換手段と、
を有するこ とを特徴とする撮像装置。
8 . さ らに、 上記第 1、 第 2、 第 3 の変換手段から出力される上 記高解像度の輝度信号及び高解像度の第 1、 第 2の色差信号から複 合映像信号を生成する合成手段を有する
こ とを特徴とする請求の範囲第 7項に記載の撮像装置。
9 . 上記第 1、 第 2及び第 3 の変換手段は、 夫々、
入力された信号を複数のブロ ッ クに分割するブロ ッ ク化手段と、 上記ブロ ッ ク化手段で分割されたブロ ッ ク毎にデータ量を圧縮す る圧縮手段と、
上記ブロ ッ ク毎に、 圧縮後のデータのレベル分布のパター ンに基 づいて各ブロ ッ クのクラスを決定し、 該ク ラスを示す信号を出力す るクラス検出手段と、
各ク ラ スに対応させて、 入力信号を高解像度の信号に変換するた めの予測係数が記憶されており、 上記ク ラス決定手段から出力され る上記クラスを示す信号に
応じた予測係数を出力する予測係数記憶手段と、
上記予測係数記憶手段から出力される予測係数を用いて、 上記入 力された信号に予測演算処理を施して、 上記入力された信号から高 解像度の信号を生成する予測演算手段と、
を有するこ とを特徴とする請求の範囲第 7項に記載の撮像装置。
1 0 . 入力された被撮像光を撮像信号に変換する撮像手段と、 上記撮像手段から上記撮像信号が供給され、 該撮像信号から輝度 信号及び色信号を生成する信号処理手段と、
上記信号処理手段から上記輝度信号及び色信号が供給され、 該輝 度信号及び色信号から複合映像信号を生成する合成手段と、
上記合成手段から複合映像信号が供給され、 該複合映像信号の解 像度をより高い解像度に変換して、 高解像度の複合映像信号を生成 して出力する変換手段と、
を有するこ とを特徴とする撮像装置。
1 1 . 上記変換手段は、
入力された信号を複数のブロ ッ クに分割するブロ ッ ク化手段と、 上記ブロ ッ ク化手段で分割されたブロ ッ ク毎にデータ量を圧縮す る圧縮手段と、
上記ブロ ッ ク毎に、 圧縮後のデータのレベル分布のパター ンに基 づいて各ブロ ッ クのク ラスを决定し、 該ク ラスを示す信号を出力す るクラス検出手段と、
各ク ラスに対応させて、 入力信号を高解像度の信号に変換するた めの予測係数が記憶されており、 上記クラス決定手段から出力され る上記ク ラスを示す信号に応じた予測係数を出力する予測係数記憶 手段と、
上記予測係数記憶手段から出力される予測係数を用いて、 上記入 力された信号に予測演算処理を施して、 上記入力された信号から 高解像度の信号を生成する予測演算手段と、
を有するこ とを特徴とする請求の範囲第 1 1 項に記載の撮像装置 c
PCT/JP1995/001740 1994-08-31 1995-08-31 Dispositif analyseur d'images WO1996007275A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US08/632,476 US5748235A (en) 1994-08-31 1995-08-31 Imaging apparatus including means for converting red, green, and blue signal components of standard resolution to respective high resolution signal components
DE69524202T DE69524202T2 (de) 1994-08-31 1995-08-31 Bildaufnahmevorrichtung
JP50862396A JP4190576B2 (ja) 1994-08-31 1995-08-31 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置
EP95930024A EP0731616B1 (en) 1994-08-31 1995-08-31 Image pickup device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP20695894 1994-08-31
JP6/206958 1994-08-31

Publications (1)

Publication Number Publication Date
WO1996007275A1 true WO1996007275A1 (fr) 1996-03-07

Family

ID=16531834

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1995/001740 WO1996007275A1 (fr) 1994-08-31 1995-08-31 Dispositif analyseur d'images

Country Status (7)

Country Link
US (1) US5748235A (ja)
EP (1) EP0731616B1 (ja)
JP (1) JP4190576B2 (ja)
KR (1) KR100366738B1 (ja)
CN (1) CN1136381A (ja)
DE (1) DE69524202T2 (ja)
WO (1) WO1996007275A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000049812A1 (en) * 1999-02-19 2000-08-24 Sony Corporation Image signal processor, image signal processing method, learning device, learning method, and recorded medium
WO2001030087A1 (fr) * 1999-10-19 2001-04-26 Matsushita Electric Industrial Co., Ltd. Appareil de captage d'image couleur
JP2002064819A (ja) * 2000-08-22 2002-02-28 Sony Corp 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP2008136221A (ja) * 2007-12-14 2008-06-12 Sony Corp 学習装置および方法、並びに、画像処理装置および方法
US7826658B2 (en) * 2002-05-15 2010-11-02 Sony Corporation Image processing system, image processing method, image processing recording medium, and program suitable for extraction processing

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3748088B2 (ja) 1996-07-17 2006-02-22 ソニー株式会社 画像処理装置および方法、並びに学習装置および方法
KR100657776B1 (ko) * 1998-09-30 2006-12-15 소니 가부시끼 가이샤 연산 장치, 변환기, 및 이들의 방법
KR100730499B1 (ko) * 1999-04-23 2007-06-22 소니 가부시끼 가이샤 화상 변환 장치 및 방법
US6463566B1 (en) * 2000-02-04 2002-10-08 Massachusetts Institute Of Technology Dynamic double sampling charge integrator
JP4470280B2 (ja) * 2000-05-24 2010-06-02 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP4574045B2 (ja) * 2001-03-30 2010-11-04 ルネサスエレクトロニクス株式会社 半導体集積回路および撮像システム
US6648543B2 (en) * 2001-04-19 2003-11-18 Saab Ericsson Space Ab Device for a space vessel
US7113223B2 (en) * 2001-04-20 2006-09-26 Mti Film Llc High resolution color conforming
JP4320657B2 (ja) * 2005-12-26 2009-08-26 ソニー株式会社 信号処理装置
JP4508132B2 (ja) * 2006-02-27 2010-07-21 ソニー株式会社 撮像装置、撮像回路、および撮像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63102580A (ja) * 1986-10-20 1988-05-07 Matsushita Electric Ind Co Ltd 撮像装置
JPH04257175A (ja) * 1991-02-12 1992-09-11 Matsushita Electric Ind Co Ltd 撮像装置およびその撮像方法
JPH05130622A (ja) * 1991-10-31 1993-05-25 Victor Co Of Japan Ltd 撮像装置
JPH06178277A (ja) * 1992-12-10 1994-06-24 Sony Corp 画像情報変換装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661850A (en) * 1986-01-31 1987-04-28 Rca Corporation Progressive scan television system with interlaced inter-field sum and difference components
US5008739A (en) * 1989-02-13 1991-04-16 Eastman Kodak Company Real-time digital processor for producing full resolution color signals from a multi-color image sensor
US5095364A (en) * 1989-09-26 1992-03-10 Sony Corporation Color television camera including rate converting unit and low pass filter circuit for limiting frequency range of an output composite video signal
JP3094431B2 (ja) * 1990-08-24 2000-10-03 富士写真光機株式会社 内視鏡の映像信号処理方式
US5268758A (en) * 1990-09-26 1993-12-07 Matsushita Electric Industrial Co., Ltd. Horizontal line interpolation circuit and image pickup apparatus including it
JP3278881B2 (ja) * 1991-12-13 2002-04-30 ソニー株式会社 画像信号生成装置
JP3235200B2 (ja) * 1992-08-26 2001-12-04 株式会社日立製作所 撮像装置
KR100360206B1 (ko) * 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
US5546194A (en) * 1994-03-23 1996-08-13 Videofaxx, Inc. Method and apparatus for converting a video image format to a group III fax format

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63102580A (ja) * 1986-10-20 1988-05-07 Matsushita Electric Ind Co Ltd 撮像装置
JPH04257175A (ja) * 1991-02-12 1992-09-11 Matsushita Electric Ind Co Ltd 撮像装置およびその撮像方法
JPH05130622A (ja) * 1991-10-31 1993-05-25 Victor Co Of Japan Ltd 撮像装置
JPH06178277A (ja) * 1992-12-10 1994-06-24 Sony Corp 画像情報変換装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0731616A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000049812A1 (en) * 1999-02-19 2000-08-24 Sony Corporation Image signal processor, image signal processing method, learning device, learning method, and recorded medium
CN1310521C (zh) * 1999-02-19 2007-04-11 索尼公司 图象信号处理设备和方法、学习设备和方法以及记录介质
KR100745386B1 (ko) * 1999-02-19 2007-08-03 소니 가부시끼 가이샤 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체
US7512267B2 (en) 1999-02-19 2009-03-31 Sony Corporation Learning device and learning method for image signal processing
US7573508B1 (en) 1999-02-19 2009-08-11 Sony Corporation Image signal processing apparatus and method for performing an adaptation process on an image signal
US8106957B2 (en) 1999-02-19 2012-01-31 Sony Corporation Image signal processing apparatus, and image signal processing method
WO2001030087A1 (fr) * 1999-10-19 2001-04-26 Matsushita Electric Industrial Co., Ltd. Appareil de captage d'image couleur
US6967748B1 (en) 1999-10-19 2005-11-22 Matsushita Electric Industrial Co., Ltd. Color image pickup device
JP2002064819A (ja) * 2000-08-22 2002-02-28 Sony Corp 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4691762B2 (ja) * 2000-08-22 2011-06-01 ソニー株式会社 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
US7826658B2 (en) * 2002-05-15 2010-11-02 Sony Corporation Image processing system, image processing method, image processing recording medium, and program suitable for extraction processing
JP2008136221A (ja) * 2007-12-14 2008-06-12 Sony Corp 学習装置および方法、並びに、画像処理装置および方法

Also Published As

Publication number Publication date
DE69524202T2 (de) 2002-07-04
DE69524202D1 (de) 2002-01-10
CN1136381A (zh) 1996-11-20
JP4190576B2 (ja) 2008-12-03
KR100366738B1 (ko) 2003-03-06
EP0731616A4 (en) 1999-01-20
EP0731616A1 (en) 1996-09-11
US5748235A (en) 1998-05-05
EP0731616B1 (en) 2001-11-28

Similar Documents

Publication Publication Date Title
US8106957B2 (en) Image signal processing apparatus, and image signal processing method
US5412427A (en) Electronic camera utilizing image compression feedback for improved color processing
US5734427A (en) High resolution electronic still camera with an electronic viewfinder for displaying a reduced image
US8428120B2 (en) Method and apparatus of Bayer pattern direct video compression
WO1996007275A1 (fr) Dispositif analyseur d&#39;images
US5719624A (en) Image recording apparatus with arithmetic processing
JPH09130813A (ja) マルチメディア対応可能なｃｃｄカメラシステム
JPH1118089A (ja) 画像データ圧縮装置
JP2003199019A (ja) 撮像装置および方法、記録媒体、並びにプログラム
US7194129B1 (en) Method and system for color space conversion of patterned color images
JPH11112977A (ja) 画像撮像圧縮システム
WO1999013429A1 (en) A method for directly compressing a color image and tailoring the compression based on the color filter array, optics, and sensor characteristics
WO2011010431A1 (ja) 画像処理装置、画像処理方法および撮像装置
US20040252894A1 (en) Image compression apparatus and image processing system
JPH07131721A (ja) ディジタルスチルカメラ
JPH0937202A (ja) デジタルカメラ
US11785352B2 (en) Image encoding apparatus, method for controlling the same, and non-transitory computer-readable storage medium
US20240015409A1 (en) Imaging device and image processing system
JP3109855B2 (ja) 電子カメラ、画像信号圧縮装置及びその方法
JP4515546B2 (ja) 画像信号処理装置およびこの装置を備えた電子スチルカメラ
JPS639282A (ja) 画像情報符号化装置
JP3519610B2 (ja) カメラおよびカメラシステム
JP2002044501A (ja) 電子スチルカメラ
Atsumi Digital camera system built on JPEG2000 compression and decompression
WO2000018111A1 (en) Efficient compression engine for digital image data

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 95190978.9

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): DE FR GB

WWE Wipo information: entry into national phase

Ref document number: 1995930024

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 08632476

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1019960702198

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1995930024

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1995930024

Country of ref document: EP