Nothing Special   »   [go: up one dir, main page]

WO2011067850A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2011067850A1
WO2011067850A1 PCT/JP2009/070384 JP2009070384W WO2011067850A1 WO 2011067850 A1 WO2011067850 A1 WO 2011067850A1 JP 2009070384 W JP2009070384 W JP 2009070384W WO 2011067850 A1 WO2011067850 A1 WO 2011067850A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
image
luminance
luminance signal
circuit
Prior art date
Application number
PCT/JP2009/070384
Other languages
English (en)
French (fr)
Inventor
信也 平井
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to GB1209769.7A priority Critical patent/GB2488283B/en
Priority to CN200980162742.1A priority patent/CN102640500B/zh
Priority to KR1020127016437A priority patent/KR101391161B1/ko
Priority to PCT/JP2009/070384 priority patent/WO2011067850A1/ja
Priority to DE112009005418.8T priority patent/DE112009005418B4/de
Priority to RU2012127768/07A priority patent/RU2519829C2/ru
Priority to JP2011544157A priority patent/JP5591261B2/ja
Priority to BR112012013067A priority patent/BR112012013067A2/pt
Priority to US12/958,221 priority patent/US8508625B2/en
Publication of WO2011067850A1 publication Critical patent/WO2011067850A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Definitions

  • the present invention relates to image processing for suppressing a folding signal generated in an image signal.
  • color filters for image sensors such as CCD and CMOS sensors, and those having a combination of primary colors (red, green, blue) and complementary colors (cyan, magenta, yellow) are typical.
  • FIG. 13 is a diagram showing the primary color Bayer arrangement of the image sensor. A pattern in which one red (R) and one blue (B) are arranged obliquely with respect to the four pixels and green (G1, G2) is arranged with respect to the remaining two pixels is repeated.
  • V-LPF vertical low-pass filter
  • H-LPF horizontal low-pass filter
  • V-LPF processing and H-LPF processing are similarly performed to generate an R luminance signal.
  • a value other than the B pixel is set to 0, and V-LPF processing and H-LPF processing are similarly performed to generate a B luminance signal.
  • a signal obtained by adding the R luminance signal and the B luminance signal to the G luminance signal may be used as the first luminance signal.
  • V-LPF processing for limiting the vertical band using the signals of the pixels of all colors without distinguishing the colors among the signals of the RGB pixels obtained by digitizing the output of the image sensor of the primary color Bayer array Then, H-LPF processing for limiting the horizontal band is performed to obtain a new signal.
  • a signal obtained by this method is referred to as a second luminance signal.
  • FIG. 14 is a diagram showing a resolvable spatial frequency characteristic of the first luminance signal and the second luminance signal.
  • the x-axis indicates the frequency space in the horizontal (H) direction of the subject
  • the y-axis indicates the frequency space in the vertical (V) direction
  • the spatial frequency increases as the distance from the origin increases.
  • the resolution limit in the horizontal and vertical directions of the first luminance signal generated using only the G pixel signal is equal to the Nyquist frequency ( ⁇ / 2) of the G pixel array.
  • the limit resolution frequency in the oblique direction is lower than in the horizontal and vertical directions, and the space in which the inside of the rhombus region 1501 in FIG. 14 can be resolved. It becomes frequency.
  • the luminance signal having the highest resolution among the R, G, and B luminance signals is the G luminance signal generated from only the G pixel signal.
  • the second luminance signal since the luminance signal is generated using the signals of the pixels of all colors, the second luminance signal has a spatial frequency at which the square area 1502 as shown in the figure can be resolved when the subject is achromatic. Unlike the first luminance signal, pixels of any color are present in all the lines even in the oblique direction, so that the spatial frequency that can be resolved in the oblique direction is higher than that of the first luminance signal.
  • signals are hardly output from pixels other than the R pixel, only a resolution in a range 1503 that is a quarter of that when the subject is achromatic can be obtained.
  • Patent Document 1 there has been proposed one that generates a luminance signal by changing the mixing ratio of the first luminance signal and the second luminance signal depending on whether the subject is black and white or color.
  • Patent Document 3 a method of suppressing noise by dividing an image signal into a plurality of frequency components is known. Also, a method is known in which a reduced image signal obtained by reducing an image signal is generated, and noise is suppressed by combining the reduced image signal and the original image signal.
  • a reduced image composed of lower frequency components than the input image is generated by performing reduction processing on the input image signal. Then, the edge intensity is detected from the reduced image signal of the low frequency component, and a region where the edge component should be maintained is obtained based on the edge intensity. Then, the original image signal and the reduced image signal of the low frequency component are combined to generate a new image signal by changing the weight for each region so that the image of the region where the edge component should be maintained is not blurred. .
  • the method of suppressing noise by synthesizing the image signals of the plurality of frequency bands does not consider the aliasing signal.
  • each pixel can have all color signals without interpolation by downsampling processing performed at the time of band division.
  • the color filters in a certain row are arranged in the order of R, G, R, G, R, G...
  • the R signal originally arranged in one cycle for every two pixels becomes a signal for each pixel by the downsampling process.
  • the G signal originally present in one of the two pixels becomes a signal for each pixel by the down-sampling process.
  • the value is obtained by calculating an average value from pixel values on both sides in order to match the center of gravity position of the G signal to the R signal.
  • all RGB color signals are generated at the same pixel position without interpolation.
  • the generation of a plurality of types of signals at the same pixel position is referred to as synchronization.
  • the down-sampled image signal is synchronized, in order to synthesize the original image signal with the down-sampled image signal, it is also necessary to synchronize the original image signal. However, even though the noise is suppressed by the downsampling process, the original image signal is synchronized, so that the aliasing signal included in the original image signal is superimposed on the synthesized image signal. Become.
  • the present invention has been made in view of the above problems, and in an image processing apparatus that performs noise processing or the like by dividing an input signal into a plurality of bands, it can also suppress a folded signal of an image signal due to sampling of an image sensor.
  • An object is to provide a possible image processing apparatus.
  • the invention according to claim 1 of the present application is configured to generate a plurality of image signals having different frequency bands from the image signal, and generate the image signal from the image signal.
  • a synthesizing unit that synthesizes the plurality of image signals and an image signal composed of a plurality of color signals including a first color signal are input, and the image signal is in accordance with the first color signal of the input image signals.
  • a first luminance signal generating means for generating a first luminance signal using an image signal obtained by interpolating the first color signal for a non-existing pixel; and a plurality of colors including the first color signal
  • a second luminance signal generating unit that receives the image signal composed of signals and generates a second luminance signal using the plurality of color signals without distinguishing the plurality of color signals; and the first luminance signal And the second luminance signal, or
  • a luminance mixing unit that generates a luminance signal selected from any one of the plurality of image signals to be combined by the combining unit, and the image signal having the highest frequency band is generated by the luminance mixing unit.
  • An image processing apparatus including a luminance signal is provided.
  • the invention according to claim 7 of the present application includes a generation step in which an image signal is input and a plurality of image signals having different frequency bands are generated from the image signal, and the generation step A synthesis step of synthesizing the plurality of generated image signals and an image signal composed of a plurality of color signals including a first color signal are input, and the first color signal of the input image signals is input Including a first luminance signal generation step for generating a first luminance signal using an image signal obtained by interpolating the first color signal for a pixel not complying with the first color signal, and A second luminance signal generating step of receiving an image signal composed of a plurality of color signals and generating a second luminance signal using the plurality of color signals without distinguishing the plurality of color signals; Combining one luminance signal and the second luminance signal; Or a luminance mixing step for generating a luminance signal of which one is selected, and the image signal having the highest frequency band among the plurality of image
  • the present invention it is possible to suppress the aliasing signal while performing the noise suppression processing by dividing the image signal into a plurality of bands.
  • FIG. 3 is a flowchart for explaining processing contents in an image processing circuit 105 in FIG. 2.
  • FIG. 3 is a diagram for explaining a process in which a first luminance signal generation circuit 204 in FIG. 2 generates a first luminance signal Ya.
  • FIG. 3 is a diagram for explaining a process in which a second luminance signal generation circuit 205 in FIG. 2 generates a second luminance signal Yb. It is a figure which shows the mixing rate (alpha) of the 1st luminance signal with respect to saturation S.
  • FIG. 3 is a diagram for explaining a process in which a first luminance signal generation circuit 204 in FIG. 2 generates a first luminance signal Ya.
  • FIG. 3 is a diagram for explaining a process in which a second luminance signal generation circuit 205 in FIG. 2 generates a second luminance signal Yb.
  • FIG. 6 is a diagram for explaining an upsampling process in an enlargement circuit 212.
  • FIG. It is a figure which shows the example of the filter coefficient of edge detection in the synthetic
  • FIG. 1 is a diagram showing a schematic configuration of a digital camera according to an embodiment of the present invention.
  • the present invention can be realized not only with a digital camera but also with a digital video camera, a personal computer, or the like as long as the apparatus can perform image processing on an image signal.
  • the optical system 101 includes a lens group including a zoom lens and a focus lens, a diaphragm device, and a shutter device.
  • the optical system 101 adjusts the magnification, focus position, or light amount of the subject image that reaches the image sensor 102.
  • the image sensor 102 is a photoelectric conversion element such as a CCD (Charge-Coupled Device) or CMOS (Complementary-Metal-Oxide-Semiconductor) sensor, and generates an image signal by converting a subject image into an electrical signal.
  • CCD Charge-Coupled Device
  • CMOS Complementary-Metal-Oxide-Semiconductor
  • the pre-processing circuit 103 includes a CDS (Correllated Double Double Sampling) circuit and an amplifier circuit.
  • the CDS circuit suppresses the dark current included in the image signal generated by the image sensor 102, and the amplifier circuit amplifies the image signal output from the CDS circuit.
  • the A / D converter 104 converts the image signal output from the preprocessing circuit 103 into a digital image signal.
  • the image processing circuit 105 performs white balance processing, noise suppression processing, gradation conversion processing, contour correction processing, and the like on the image signal, and outputs the image signal as a luminance signal Y and color difference signals U and V.
  • the image processing circuit 105 also calculates a brightness value of the subject and a focus value indicating the focus state of the subject from the image signal.
  • the image processing circuit 105 can perform similar image processing not only on the image signal output from the A / D converter 104 but also on the image signal read from the recording medium 109.
  • the control circuit 106 controls each circuit constituting the digital camera of the present embodiment to control the operation of the digital camera. Based on the luminance value obtained from the image signal processed by the image processing circuit 105 and the instruction transmitted from the operation member 110, drive control of the optical system 101 and the image sensor 102 is also performed.
  • the display memory 107 is a memory that temporarily stores an image signal that is a source of an image displayed on the display device 108.
  • the display device 108 includes a liquid crystal display or an organic EL (Electro Luminescence) display, and displays an image using an image signal generated by the image sensor 102 or an image signal read from the recording medium 109. It is possible to function as an electronic viewfinder by updating and displaying continuous image signals read from the image sensor 102 as needed.
  • the display device 108 displays not only images but also digital camera status display, shutter speed selected by the user or determined by the camera, character information such as aperture value or sensitivity information, and luminance distribution measured by the image processing circuit 105. A graph or the like can also be displayed.
  • the recording medium 109 may be configured to be detachable from the digital camera or may be built in the digital camera.
  • the operation member 110 is a member that the user operates to send an instruction to the digital camera.
  • the bus 111 is used to exchange image signals among the image processing circuit 105, the control circuit 106, the display memory 107, and the recording medium 109.
  • control circuit 106 starts controlling the operation of each circuit.
  • the image sensor 102 photoelectrically converts the subject image transmitted through the optical system 101 to generate an analog image signal
  • the A / D converter 104 digitizes the analog image signal processed by the pre-processing circuit 103.
  • the image processing circuit 105 performs white balance processing, noise suppression processing, gradation conversion processing, contour correction processing, and the like on the image signal output from the A / D converter 104.
  • the image signal processed by the image processing circuit 105 is displayed as an image on the display device 108 via the display memory 107.
  • an image signal is continuously generated by the image sensor 102, and an image of the subject is updated and displayed in real time using the continuous image signal that is read by the display device 108. Functions as a viewfinder.
  • the control circuit 106 again adjusts the operation of the optical system 101 based on the luminance value and the focus value obtained by the image processing circuit 105 and shoots a still image.
  • the image processing circuit 105 performs various image processing including noise suppression processing on the still image signal.
  • the recording medium 109 records the image signal output from the image processing circuit 105.
  • FIG. 2 is a diagram illustrating a part of the configuration of the image processing circuit 105.
  • the image processing circuit 105 of this embodiment includes a white balance circuit 201, a luminance color generation circuit 202, and a band processing circuit 203.
  • the luminance color generation circuit 202 includes a first luminance signal generation circuit 204, a second luminance signal generation circuit 205, a luminance mixing circuit 206, and a color generation circuit 207.
  • the band processing circuit 203 includes a noise suppression circuit 208, a synthesis rate calculation circuit 209, a reduction circuit 210, a noise suppression circuit 211, an enlargement circuit 212, and an image synthesis circuit 213.
  • FIG. 3 is a flowchart for explaining processing contents in the white balance circuit 201, the luminance color generation circuit 202, and the band processing circuit 203 of the image processing circuit 105.
  • the image processing circuit 105 receives the image signal output from the A / D converter 104, the image processing circuit 105 performs the processing shown in the flowchart of FIG.
  • step S301 the white balance circuit 201 performs white balance processing on the image signal received from the A / D converter 104.
  • the image signal is configured in the RAW format, and each pixel has a signal of any one color of RGB.
  • the white balance circuit 201 calculates a gain coefficient for each color signal so that the RGB signal levels for a subject that can be regarded as white are substantially equal. Since the gain coefficient may be calculated by a general method, details are omitted.
  • step S302 the first luminance signal generation circuit 204 generates the first luminance signal Ya.
  • FIG. 4 is a diagram for explaining a process in which the first luminance signal generation circuit 204 generates the first luminance signal Ya.
  • the first luminance signal generation circuit 204 receives the RAW image signal of the Bayer array output from the white balance circuit 201, and separates the RAW image signal into image signals for each color. To do. Specifically, an image signal composed of a G signal in which 0 is inserted as a signal of a pixel other than the G pixel, an image signal composed of an R signal in which 0 is inserted as a signal of a pixel other than the R pixel, and a signal of a pixel other than the B pixel As a result, an image signal composed of a B signal with 0 inserted is generated.
  • the first luminance signal generation circuit 204 performs synchronization by generating each color signal in each pixel by interpolation processing.
  • Ra (1,1) R (1,1) (1)
  • Ra (1,2) ⁇ R (1,1) + R (1,3) ⁇ / 2 (2)
  • Ra (2,1) ⁇ R (1,1) + R (3,1) ⁇ / 2 (3)
  • Ra (2,2) ⁇ R (1,1) + R (1,3) + R (3,1) + R (3,3) ⁇ / 4 (4)
  • the signal Ba (m, n) after interpolation in the image signal composed of the B signal is also calculated in the same manner.
  • the interpolated signal Ga (m, n) can be calculated as in equations (5) to (8).
  • Ga (2,2) ⁇ G (1,2) + G (3,2) + G (2,1) + G (2,3) ⁇ / 4 (5)
  • Ga (2,3) ⁇ 4 ⁇ G (2,3) + G (1,2) + G (1,4) + G (3,2) + G (3,4) ⁇ / 8 (6)
  • Ga (3,2) ⁇ 4 ⁇ G (3,2) + G (2,1) + G (2,3) + G (4,1) + G (4,3) ⁇ / 8 (7)
  • Ga (3,3) ⁇ G (2,3) + G (4,3) + G (3,2) + G (3,4) ⁇ / 4 (8)
  • interpolation methods are merely examples, and various other known interpolation methods can be applied.
  • the correlation for each direction of the subject is determined in advance, and the weighting of the signal located in the direction with the highest correlation is increased to perform interpolation. May be.
  • the first luminance signal Ya (m, n) in the pixel at the coordinates (m, n) can be obtained.
  • Ya (m, n) 0.3 ⁇ Ra (m, n) + 0.6 ⁇ Ga (m, n) + 0.1 ⁇ Ba (m, n) (9)
  • the first luminance signal generation circuit 204 outputs the obtained first luminance signal Ya to the luminance mixing circuit 206.
  • step S303 the second luminance signal generation circuit 205 generates the second luminance signal Yb.
  • the second luminance signal Yb is a luminance signal generated by equally treating the signals of the pixels of all colors without distinguishing the color signals.
  • FIG. 5 is a diagram for explaining a process in which the second luminance signal generation circuit 205 generates the second luminance signal Yb.
  • the second luminance signal generation circuit 205 receives the RAW image signal output from the white balance circuit 201.
  • the second luminance signal generation circuit 205 performs vertical low-pass filter (V-LPF) processing and horizontal low-pass filter (H-LPF) processing on the RAW format image signal to obtain a second luminance signal Yb.
  • V-LPF vertical low-pass filter
  • H-LPF horizontal low-pass filter
  • a filter coefficient that can be expressed by [1, 2, 1] may be used.
  • the direction of the filter and the filter coefficient may be adaptively changed according to the edge state of the image signal and the correlation level with surrounding pixels.
  • the processing in the second luminance signal generation circuit 205 may be omitted, and a RAW format image signal may be handled as the second luminance signal Yb. That is, the second luminance signal Yb can be obtained for each pixel as in the equations (10) to (13).
  • Yb (1,1) R (1,1) (10)
  • Yb (1,2) G (1,2)
  • Yb (2,1) G (2,1) (12)
  • Yb (2,2) B (2,2) (13)
  • step S304 the luminance mixing circuit 206 mixes the first luminance signal Ya and the second luminance signal Yb to generate a luminance signal Yp.
  • the luminance mixing circuit 206 applies the first luminance signal Ya and the second luminance signal Yb to the equation (14) for each pixel, thereby calculating the luminance for each pixel.
  • the signal Yp is obtained.
  • Yp ⁇ ⁇ Ya + (1 ⁇ ) ⁇ Yb (14)
  • the luminance mixing circuit 206 reads the mixing ratio ⁇ corresponding to the saturation S from a memory (not shown).
  • FIG. 6 is a diagram illustrating the mixing ratio ⁇ of the first luminance signal with respect to the saturation S. As shown in FIG. 6, the luminance mixing circuit 206 increases the mixing rate ⁇ for pixels with high saturation to increase the mixing rate of the first luminance signal Ya, and sets the mixing rate ⁇ for pixels with low saturation. Decreasing to increase the mixing ratio of the second luminance signal Yb.
  • the method of obtaining the mixing ratio between the first luminance signal Ya and the second luminance signal Yb is not limited to this, and the mixing ratio obtained from the absolute value of the difference between the R signal and the G signal and the difference between the B signal and the G signal are not limited.
  • the final mixing ratio may be determined by multiplying the mixing ratio obtained from the absolute value.
  • only the luminance signal having the higher mixing ratio may be selected.
  • the second luminance signal Yb may be used only for that region.
  • the composition ratios of the colors included in the high frequency components of the first luminance signal Ya and the second luminance signal Yb are different, the values of the first luminance signal Ya and the second luminance signal Yb when the subject color is biased. A big difference comes out. Therefore, the low-frequency component of the first luminance signal Ya and the high-frequency component of the second luminance signal Yb are obtained, and a third luminance signal Yc obtained by combining these is obtained, and the third luminance signal Yc and the first luminance signal Ya are obtained. May be mixed at the above mixing ratio.
  • step S305 the color generation circuit 207 generates the color difference signals Up and Vp using the RGB signals output from the white balance circuit 201.
  • the color generation circuit 207 performs color interpolation processing, false color removal processing, matrix conversion, and the like on the RGB signals to generate color difference signals Up and Vp.
  • a general method may be used as a method of generating the color difference signals Up and Vp, and the method itself is publicly known, and thus detailed description thereof is omitted.
  • step S 305 the luminance signal Yp and the color difference signals Up and Vp in which the aliasing signal is suppressed inside the luminance color generation circuit 202 are generated, and these signals are output to the band processing circuit 203.
  • step S306 the reduction circuit 210 receives the luminance signal Yp generated by the luminance mixing circuit 206 and the color difference signals Up and Vp generated by the color generation circuit, and uses them to generate an image signal with a reduced band.
  • the reduction circuit 210 performs V-LPF processing and H-LPF processing having a filter coefficient indicated by [1, 2, 1] for each of the luminance signal Yp and the color difference signals Up, Vp. Then, the reduction circuit 210 performs downsampling processing on the luminance signal Y p and the color difference signals Up and Vp after the LPF processing so that the number of pixels is 1 ⁇ 2 in the horizontal and vertical directions, and the luminance signal Y low and the color difference Signals U low and V low are generated.
  • the highest frequency band of the low-frequency layer image signal is half of the highest frequency band of the high-frequency layer image signal
  • the low-frequency side frequency band of the high-frequency layer image signal is the low-frequency layer image signal.
  • the frequency band is superimposed.
  • step S307 the noise suppression circuit 208 performs noise suppression processing on the high frequency layer image signal, and the noise suppression circuit 211 performs noise suppression processing on the low frequency layer image signal. Since the processing contents of the noise suppression circuit 208 and the noise suppression circuit 211 are the same, the contents of the noise suppression processing will be described here by taking the noise suppression circuit 208 as an example.
  • the noise suppression circuit 208 performs noise suppression processing using the target pixel in the high-frequency hierarchical image signal and the luminance signal Yp of the peripheral pixels included in the 5 ⁇ 5 pixel range centered on the target pixel.
  • the noise suppression circuit 208 calculates the absolute value of the difference between the luminance signal Yp of the target pixel and the surrounding pixels and compares it with a threshold value. That is, assuming that the luminance signal of the pixel of interest is Yp (s, t), the luminance signal of the surrounding pixels is Yp (i, j), and the threshold is TH Y , the luminance signal Y (i, j) that satisfies Expression (16) is obtained.
  • Yp (i, j) ⁇ Yp (s, t)
  • the noise suppression circuit 208 uses Up (s, t) and Vp (s, t) as the color difference signals of the target pixel, Up (i, j) and Vp (i, j) as the peripheral pixel values, and TH C as the threshold value. Then, Up (i, j) and Vp (i, j) satisfying Expression (17) are obtained.
  • Up (i, j) and Vp (i, j) satisfying this expression are extracted, and the average values thereof are replaced with the color difference signals Up (s, t) and Vp (s, t) of the target pixel.
  • the noise suppression circuit 208 performs processing on the luminance signal Yp, the color difference signals Up, and Vp for all the pixels, thereby suppressing noise in the high-frequency layer image signal. Note that since a 5 ⁇ 5 pixel range cannot be set for the pixels at the end of the image signal, the noise is suppressed by appropriately changing the setting method of the peripheral pixels for such pixels.
  • the noise suppression circuit 211 also performs similar processing on the luminance signal Y low , the color difference signals U low , and V low of the low-frequency layer image signal, thereby suppressing noise in the low-frequency layer image signal.
  • the method of suppressing noise is not limited to this, and various other known noise suppression methods can be applied.
  • the low-frequency layer image signal that has been subjected to noise suppression processing by the noise suppression circuit 211 is output to the enlargement circuit 212.
  • the enlargement circuit 212 performs upsampling processing on the low-frequency layer image signal on which noise suppression processing has been performed, and makes the number of pixels of the low-frequency layer image signal equal to the number of pixels of the high-frequency layer image signal. Specifically, as shown in FIG. 7, the number of pixels of the low-frequency layer image signal is doubled and the signal of the newly generated pixel is set to 0. Then, for example, by performing linear interpolation on the pixels having a value of 0 using the values of the surrounding pixels, signals can be given to the pixels at all positions. These processes are performed for each of the luminance signal Y low , the color difference signals U low , and V low .
  • step S308 the synthesis rate calculation circuit 209 calculates the synthesis rate of the high-frequency layer image signal and the low-frequency layer image signal. Specifically, the synthesis rate calculation circuit 209 obtains an edge component in each pixel using the filter shown in FIG. 8 for the luminance signal Yp of the high-frequency layer image signal. Then, the composite calculation circuit 209 reads the mixing rate ⁇ corresponding to the edge component from a memory (not shown).
  • FIG. 9 is a diagram showing the mixing ratio ⁇ of the high-frequency layer image signal with respect to the edge component. As shown in FIG.
  • the synthesis rate calculation circuit 209 increases the mixing rate ⁇ in the pixels with a high edge component to increase the mixing rate of the high-frequency layer image signal, and the mixing rate ⁇ in the pixels with a low edge component. Is reduced to increase the mixing ratio of the low-frequency layer image signal.
  • step S309 the image synthesis circuit 213 uses the mixing rate ⁇ obtained by the synthesis rate calculation circuit 209 to synthesize the luminance signal Yp of the high-frequency layer image signal and the low-frequency layer image signal Y low , and the luminance signal Y Get.
  • the luminance signal Yp of the high-frequency layer image signal that has been subjected to noise suppression processing by the noise suppression circuit 208 and the luminance signal Y low of the low-frequency layer image signal that has been enlarged by the enlargement circuit 212 are expressed as 18).
  • Y ⁇ ⁇ Yp + (1 ⁇ ) ⁇ Y low (18)
  • the image signal having a plurality of frequency bands is generated from the image signal in which the aliasing signal is suppressed in advance, so that even when the image signals of the plurality of frequency bands are synthesized, the aliasing is performed. It becomes possible to suppress the signal.
  • a plurality of reduction circuits 210, noise suppression circuits 211, and expansion circuits 212 are provided, and noise suppression processing is performed on each of the low-frequency layer image signals multi-layered in different frequency bands, and these are combined by the image composition circuit 213. You may do it.
  • image signals of a plurality of frequency bands are generated, and the aliasing signal suppression process is performed on some image signals of the plurality of image signals.
  • the basic configuration is the same as that of the first embodiment, and the description will focus on the differences.
  • FIG. 10 is a diagram showing a part of the configuration of the image processing circuit 105 in the present embodiment.
  • the image processing circuit 105 of this embodiment includes a white balance circuit 201, a luminance color generation circuit 202, and a band processing circuit 1003.
  • the band processing circuit 1003 includes a noise suppression circuit 208, a synthesis rate calculation circuit 209, a reduction circuit 1010, a noise suppression circuit 211, an enlargement circuit 212, and an image synthesis circuit 213.
  • the luminance signal Y low and the color difference signals U low and V low are generated by inputting the luminance signal Yp and the color difference signals Up and Vp to the reduction circuit 210.
  • the luminance signal Y low and the color difference signals U low and V low are generated from the RAW format RGB signal output from the white balance circuit 201, and the folding signal is output only to the high-frequency layer image signal. The difference is that the suppression process is applied.
  • FIG. 11 is a flowchart for explaining processing contents in the white balance circuit 201, the luminance color generation circuit 202, and the band processing circuit 1003 of the image processing circuit 105.
  • step S1101 the white balance circuit 201 performs white balance processing on the image signal received from the A / D converter 104.
  • the reduction circuit 1010 separates the Bayer array RAW format image signal into image signals for each color. Specifically, an image signal composed of a G signal in which 0 is inserted as a signal of a pixel other than the G pixel, an image signal composed of an R signal in which 0 is inserted as a signal of a pixel other than the R pixel, and a signal of a pixel other than the B pixel As a result, an image signal composed of a B signal with 0 inserted is generated. Then, for each color image signal, V-LPF processing and H-LPF processing are performed using filter coefficients that can be expressed by [1, 2, 1], for example, and synchronization is performed.
  • the reduction circuit 1010 performs downsampling processing on the synchronized image signals of the respective colors, and generates an image signal in which the number of pixels is halved in the horizontal and vertical directions. Then, the luminance signal Y low and the color difference signals U low and V low are generated by performing the calculation of Expression (9) using the image signal subjected to the down-sampling processing.
  • step S1103 the first luminance signal generation circuit 204 generates the first luminance signal Ya from the Bayer array RAW image signal output from the white balance circuit 201 by the same processing as in step S302 of FIG. .
  • step S1104 the second luminance signal generation circuit 205 generates the second luminance signal Yb from the Bayer array RAW image signal output from the white balance circuit 201 by the same processing as in step S303 of FIG. .
  • step S1105 the luminance mixing circuit 206 mixes the first luminance signal Ya and the second luminance signal Yb by the same processing as in step S304 in FIG. 3, and generates the luminance signal Yp.
  • step S1106 the color generation circuit 207 generates the color difference signals Up and Vp using the RGB signals output from the white balance circuit 201 by the same processing as in step S305 in FIG.
  • step S1107 the noise suppression circuit 208 performs noise suppression processing on the high frequency layer image signal, and the noise suppression circuit 211 performs noise suppression processing on the low frequency layer image signal output from the reduction circuit 1010.
  • These noise suppression processes are the same as those in step S307 in FIG.
  • step S1108 the synthesis rate calculation circuit 209 calculates the synthesis rate of the high-frequency layer image signal and the low-frequency layer image signal by the same processing as in step S308 of FIG.
  • step S1109 the image synthesizing circuit 213 synthesizes the high-frequency layer image signal and the low-frequency layer image signal using the mixing rate ⁇ obtained by the synthesis rate calculation circuit 209 by the same processing as in step S309 of FIG. To do.
  • processing for suppressing the aliasing signal is performed on the high-frequency layer image signal, but the aliasing signal is applied to the low-frequency layer image signal output from the reduction circuit 1010.
  • the processing to suppress is not performed. This is because, in the process of generating the low-frequency layer image signal, it is considered that the influence of the aliasing signal has already been suppressed because the image signal has been subjected to low-pass filter processing to smooth the image signal. It is.
  • an image signal in a plurality of frequency bands is generated from one image signal, and the aliasing signal is previously suppressed for the image signal in the highest frequency band, thereby synthesizing the image signals in the plurality of frequency bands. Even in this case, the folding signal can be suppressed.
  • the band processing circuit 203 generates another image signal having a frequency band lower than that of the original image signal.
  • the original image signal has a plurality of frequency bands that do not overlap. It is different in that it is separated into frequency components.
  • FIG. 12 is a diagram showing a part of another configuration of the image processing circuit 105.
  • circuits having the same configuration as in FIG. 2 are assigned the same reference numerals as in FIG.
  • the image processing circuit 105 of this embodiment includes a white balance circuit 201, a luminance color generation circuit 202, and a band processing circuit 1203.
  • the luminance signal Yp and the color difference signals Up and Vp in which the aliasing signal output from the luminance color generation circuit 202 is suppressed are first input to the LPF 1211 and the high pass filter (HPF) 1212 of the band processing circuit 1203.
  • the LPF 1211 performs V-LPF processing and H-LPF processing on the luminance signal Yp and the color difference signals Up and Vp, respectively, similarly to the reduction circuit 210 of FIG. 2, and the luminance signal Y low1 and the color difference signals U low1 and V low1. Is generated.
  • the V-LPF process and the H-LPF process have filter coefficients represented by [1, 2, 1], for example.
  • the HPF 1212 subtracts the luminance signal Y low1 and the color difference signals U low1 and V low1 generated by the LPF 1211 from the luminance signal Yp and the color difference signals Up and Vp output from the luminance color generation circuit 202. As a result, the HPF 1212 can extract the luminance signal Y high1 and the color difference signals U high1 and V high1 which are the high frequency components of the luminance signal Yp and the color difference signals Up and Vp.
  • the luminance signal Y high1 and the color difference signals U high1 and V high1 are input to the noise suppression circuit 1213, and noise suppression processing is performed in the same manner as the noise suppression circuit 208 in FIG. Further, the luminance signal Y high1 and the color difference signals U high1 and V high1 are input to the synthesis rate calculation circuit 1214, and the synthesis rate is calculated by the same method as the synthesis rate calculation circuit 209 in FIG.
  • the luminance signal Y low1 and the color difference signals U low1 and V low1 generated by the LPF 1211 are input to a downsampling (DS) circuit 1215.
  • the DS circuit 1215 performs downsampling processing on the luminance signal Y low1 and the color difference signals U low1 and V low1 so that the number of pixels is 1 ⁇ 2 in the horizontal and vertical directions, and the luminance signal Yp 2 and the color difference signal Up 2. , Vp 2 is generated.
  • the luminance signal Yp 2 and the color difference signals Up 2 and Vp 2 output from the DS circuit 1215 are input to the LPF 1216 and the HPF 1217.
  • the LPF 1216 performs V-LPF processing and H-LPF processing on each of the luminance signal Yp 2 and the color difference signals Up 2 and Vp 2 in the same manner as the reduction circuit 210 in FIG. 2 to obtain the luminance signal Y low2 and the color difference signal U low2. , V low2 is generated.
  • the HPF 1217 subtracts the luminance signal Y low2 and the color difference signals U low2 and V low2 generated by the LPF 1216 from the luminance signal Yp 2 and the color difference signals Up 2 and Vp 2 output from the DS circuit 1215. As a result, HPF1217 can extract a luminance signal Y high2 and color difference signals U high2, V high2 is a high-frequency component of the luminance signal Yp 2 and the color difference signals Up 2, Vp 2.
  • the luminance signal Y high2 and the color difference signals U high2 and V high2 are input to the noise suppression circuit 1218, and noise suppression processing is performed in the same manner as the noise suppression circuit 208 in FIG.
  • the luminance signal Y high2 and the color difference signals U high2 and V high2 are input to the synthesis rate calculation circuit 1219, and the synthesis rate is calculated in the same manner as the synthesis rate calculation circuit 209 in FIG.
  • the luminance signal Y low2 and the color difference signals U low2 and V low2 generated by the LPF 1216 are input to the DS circuit 1220.
  • the DS circuit 1220 performs down-sampling processing on the luminance signal Y low2 and the color difference signals U low2 and V low2 so that the number of pixels is 1 ⁇ 2 in the horizontal and vertical directions, and the luminance signal Yp 3 and the color difference signal Up 3 , Vp 3 is generated.
  • the luminance signal Yp 3 and the color difference signals Up 3 and Vp 3 output from the DS circuit 1220 are input to the LPF 1221 and the HPF 1222.
  • the LPF 1221 performs the V-LPF processing and the H-LPF processing on the luminance signal Yp 3 and the color difference signals Up 3 and Vp 3 , respectively, similarly to the reduction circuit 210 of FIG. 2, and the luminance signal Y low3 and the color difference signal U low3 and Vlow3 are generated.
  • the HPF 1222 subtracts the luminance signal Y low3 and the color difference signals U low3 and V low3 generated by the LPF 1221 from the luminance signal Yp 3 and the color difference signals Up 3 and Vp 3 output from the DS circuit 1215. As a result, HPF1222 can extract a luminance signal Y High3 and color difference signals U high3, V high3 is a high-frequency component of the luminance signal Yp 3 and the color difference signals Up 3, Vp 3.
  • the luminance signal Y high3 and the color difference signals U high3 and V high3 are input to the noise suppression circuit 1223, and noise suppression processing is performed in the same manner as the noise suppression circuit 208 in FIG. Further, the luminance signal Y high3 and the color difference signals U high3 and V high3 are input to the synthesis rate calculation circuit 1224, and the synthesis rate is calculated in the same manner as the synthesis rate calculation circuit 209 in FIG.
  • the luminance signal Y low3 and the color difference signals U low3 and V low3 generated by the LPF 1221 are input to the DS circuit 1225.
  • the DS circuit 1225 performs downsampling processing on the luminance signal Y low3 and the color difference signals U low3 and V low3 so that the number of pixels is 1 ⁇ 2 in the horizontal and vertical directions, and the luminance signal Yp 4 and the color difference signal Up 4 , Vp 4 is generated.
  • the luminance signal Yp 4 and the color difference signals Up 4 and Vp 4 are input to the noise suppression circuit 1226 and subjected to noise suppression processing in the same manner as the noise suppression circuit 208 in FIG.
  • the luminance signal Y high1 , the luminance signal Y high2 , the luminance signal Y high3 , and the luminance signal Yp 4 do not overlap with each other, and the frequency band decreases from the luminance signal Y high1 toward Yp 4 .
  • the enlargement circuit 1227 performs upsampling processing on each signal output from the noise suppression circuit 1226, and sets the number of pixels of the signal output from the noise suppression circuit 1226 to the pixel of the signal output from the noise suppression circuit 1223. Equal to the number.
  • the image synthesis circuit 1228 outputs the signal output from the enlargement circuit 1227 and the noise suppression circuit 1223 in the same manner as the image synthesis circuit 213 in FIG. Synthesized signals.
  • the enlargement circuit 1229 performs an upsampling process on the signal output from the image synthesis circuit 1228, and sets the number of pixels of the signal output from the image synthesis circuit 1228 as the number of pixels of the signal output from the noise suppression circuit 1218. Make equal.
  • the image composition circuit 1230 outputs the signal output from the enlargement circuit 1229 and the noise suppression circuit 1218 in the same manner as the image composition circuit 213 in FIG. 2 using the composition ratio obtained by the composition ratio calculation circuit 1219. Synthesized signals.
  • the enlargement circuit 1231 performs an upsampling process on the signal output from the image composition circuit 1230, and sets the number of pixels of the signal output from the image composition circuit 1230 to the pixel of the signal output from the noise suppression circuit 1213. Equal to the number.
  • the image composition circuit 1232 outputs the signal output from the enlargement circuit 1231 and the noise suppression circuit 1213 in the same manner as the image composition circuit 213 in FIG. Synthesized signals.
  • the image signal in which the aliasing signal is suppressed in advance is divided into the image signals of a plurality of frequency bands, so that the aliasing signal is suppressed even when these image signals of the plurality of frequency bands are synthesized. Is possible.
  • the image signal of the highest frequency band among the image signals of the plurality of frequency bands to be combined includes the luminance signal generated by the luminance mixing circuit. ing.
  • the aliasing signal in the image signal in the highest frequency band is suppressed, so the effect of the aliasing signal is almost increased even when synthesized with an image signal in a lower frequency band.
  • the low-frequency layer image signal is generated by reducing the original image signal.
  • the low-frequency image signal is reduced by performing LPF processing on the original image signal without reducing the image signal.
  • a hierarchical image signal may be generated.
  • the luminance mixing circuit is arranged if the luminance signal generated by the luminance mixing circuit is included in the image signal of the highest frequency band among the image signals of the plurality of frequency bands to be synthesized.
  • the position to be performed is not limited to the above-described embodiment.
  • the present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.
  • Luminance color generation circuit 203 1003, 1203 Band processing circuit 204 First luminance signal generation circuit 205 Second luminance signal generation circuit 206 Luminance mixing circuit 207 Color generation circuit 208, 211, 1213, 1218, 1223, 1226 Noise suppression circuit 209, 1214, 1219, 1224 Composition ratio calculation circuit 210, 1010 Reduction circuit 212, 1227, 1229, 1231 Enlargement circuit 213, 1228, 1230, 1232 Image composition circuit 1211, 1216, 1221 Low pass filter (LPF) 1212, 1217, 1222 High pass filter (HPF) 1215, 1220, 1225 Downsampling (DS) circuit
  • LPF Low pass filter
  • HPF High pass filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

　１つの画像信号から複数の周波数帯域の画像信号を生成し、これら複数の周波数帯域の画像信号を合成することでノイズを抑圧する帯域処理回路と、折り返し信号を抑圧した輝度信号を生成する輝度色生成回路を有する。帯域処理回路で合成する複数の周波数帯域の画像信号のうちの最も周波数帯域の画像信号には、輝度色生成回路で生成した折り返し信号を抑圧した輝度信号が含まれる。

Description

画像処理装置
　本発明は、画像信号に生じる折り返し信号を抑圧する画像処理に関するものである。
　ＣＣＤやＣＭＯＳセンサー等の撮像素子の色フィルタには様々な種類が存在し、原色（赤、緑、青）や補色（シアン、マゼンタ、イエロー）の色の組み合わせを有するものが代表的である。
　図１３は、撮像素子の原色ベイヤー配列を示す図である。４つの画素に対して、１つの赤（Ｒ）および１つの青（Ｂ）が斜めに配置され、残りの２つの画素に対して緑（Ｇ１、Ｇ２）が配置されるパターンが繰り返される。
　被写体に、撮像素子の分解能を超える高周波成分が含まれていると、その高周波成分の影響によって、撮像素子で生成された画像信号には折り返し信号が生じてしまう。そして、この折り返し信号を抑圧するための方法が、色々と提案されている。
　例えば、折り返し信号を抑圧するために、図１３に示す原色ベイヤー配列のうち、ＲおよびＢ画素の信号を用いずに、Ｇ（Ｇ１、Ｇ２）画素の信号のみを用いて輝度信号を生成する方法がある。
　まず、原色ベイヤー配列の撮像素子の出力をデジタル化したＲＧＢの各画素の信号のうち、Ｇ画素以外の信号の値を０とする。次に、垂直方向の帯域を制限する垂直ローパスフィルタ（Ｖ－ＬＰＦ）処理、および、水平方向の帯域を制限する水平ローパスフィルタ（Ｈ－ＬＰＦ）処理を行う。こうすることで、各画素に対して、Ｇ画素の信号を用いて補間を行った信号が生成され、Ｇの輝度信号が得られる。以下、この方式で得られた信号を第１輝度信号という。
　あるいは、Ｒ画素以外の信号の値を０として、同様にＶ－ＬＰＦ処理およびＨ－ＬＰＦ処理を施してＲの輝度信号を生成する。同様に、Ｂ画素以外の信号の値を０として、同様にＶ－ＬＰＦ処理およびＨ－ＬＰＦ処理を施してＢの輝度信号を生成する。そして、これらをＲの輝度信号とＢの輝度信号をＧの輝度信号に加えることで得られる信号を第１輝度信号としてもよい。
　また、折り返し信号を抑圧するために、図１３に示す原色ベイヤー配列の全ての色の信号を用いて輝度信号を生成する方法がある。
　原色ベイヤー配列の撮像素子の出力をデジタル化したＲＧＢの各画素の信号のうち、色を区別することなく、全色の画素の信号を用いて、垂直方向の帯域を制限するＶ－ＬＰＦ処理、および、水平方向の帯域を制限するＨ－ＬＰＦ処理を行い、新たな信号を得る。以下、この方式で得られた信号を第２輝度信号という。
　図１４は、第１輝度信号と第２輝度信号の解像可能な空間周波数特性を示す図である。
　ｘ軸は被写体の水平（Ｈ）方向の周波数空間を、ｙ軸は垂直（Ｖ）方向の周波数空間を示し、原点から遠ざかるほど空間周波数が高くなる。
　Ｇ画素の信号のみを用いて生成した第１輝度信号の水平および垂直方向の解像限界は、Ｇ画素の配列のナイキスト周波数（π／２）に等しい。しかし、斜め方向はＧの画素が存在しないラインが存在するため、斜め方向の限界解像周波数は、水平および垂直方向に比べて低くなり、図１４のひし形領域１５０１の内部が解像可能な空間周波数となる。
　これは、Ｒ、Ｇ、Ｂの輝度信号を合成して第１輝度信号を生成する場合も同様である。なぜなら、Ｒ、Ｇ、Ｂの輝度信号のうち、最も解像度の高い輝度信号が、Ｇ画素の信号のみから生成したＧの輝度信号であるためである。
　一方、第２輝度信号は、全色の画素の信号を用いて輝度信号を生成するため、被写体が無彩色の場合、図のような正方形領域１５０２が解像可能な空間周波数となる。第１輝度信号と異なり、斜め方向においても全てのラインにいずれかの色の画素が存在することになるため、斜め方向の解像可能な空間周波数は第１輝度信号よりも高くなる。しかしながら、例えば赤い被写体においては、Ｒ画素以外の画素からは信号がほとんど出力されないため、被写体が無彩色のときの４分の１の範囲１５０３の解像度しか得られなくなってしまう。
　画像信号に含まれる折り返し信号を抑圧するために、このような第１輝度信号、第２輝度信号の特性を考慮して、輝度信号を生成する方法が提案されている。
　例えば、被写体が白黒なのか、カラーなのかに応じて、第１輝度信号と第２輝度信号の混合比率を変化させて輝度信号を生成するものが提案されている（特許文献１）。
　また、被写体が図１４における斜め方向の相関が強いの否かに応じて、第１輝度信号と第２輝度信号の混合比率を変化させて輝度信号を生成するものが提案されている（特許文献２）。
　しかしながら、これらの方法は、折り返し信号を抑圧するという点では優れているが、それ以外のノイズ信号を抑圧するものではない。
　例えば、近年は撮像素子の画素の微小化が進んでいる。この画素の微小化に起因してノイズが増加する場合もある。このノイズを信号処理により抑圧する様々な方法が知られているが、ノイズを抑圧することにより、画像がぼけるという影響を与えることが知られている。
　これを回避する方法として、画像信号を複数の周波数成分に分割してノイズを抑圧する方法が知られている（特許文献３）。また、画像信号を縮小した縮小画像信号を生成し、この縮小画像信号と元の画像信号を合成することでノイズを抑圧する方法が知られている（特許文献４）。
　例えば、入力された画像信号に対して、縮小処理を行うことで、入力された画像よりも低周波成分で構成された縮小画像を生成する。そして、低周波成分の縮小画像信号からエッジ強度を検出し、このエッジ強度に基づいて、エッジ成分を維持すべき領域を求める。そして、このエッジ成分を維持すべき領域の画像がぼけないように、領域ごとに重み付けを変えて、元の画像信号と、低周波成分の縮小画像信号を合成し、新たな画像信号を生成する。
特開２００３－３４８６０９号公報 特開２００８－０７２３７７号公報 特開２００８－０１５７４１号公報 特開２００９－１９９１０４号公報
　しかしながら、この複数の周波数帯域の画像信号を合成することによってノイズを抑圧する方法は、折り返し信号については考慮していない。
　原色ベイヤー配列のような単板センサの場合、帯域分割の際に行うダウンサンプリング処理により、補間をせずとも各画素がすべての色信号を有することが可能となる。
　その理由について説明する。ここでは、水平方向に半分の画素数にダウンサンプリング処理する場合で説明する。
　図１５のようにある行の色フィルタがＲ、Ｇ、Ｒ、Ｇ、Ｒ、Ｇ・・・の順に配列されているとする。この行において、Ｒ信号のみに注目すると、元々２画素に１つの周期で並んでいるＲ信号がダウンサンプリング処理により１画素毎の信号となる。また、Ｇ信号のみに注目した場合も、元々２画素に１つ存在するＧ信号がダウンサンプリング処理により１画素毎の信号となっている。ただし、Ｇ信号のダウンサンプリング処理では、Ｇ信号の重心位置をＲ信号に合わせるため両隣の画素値から平均値を演算することより値を求めている。以上のように、ダウンサンプリング処理を行うことで同じ画素位置に、補間をせずともＲＧＢすべての色信号が生成されることになる。以下、このように同じ画素位置に複数種類の信号が生成されることを同時化と呼ぶ。
　ダウンサンプリング処理した画像信号は同時化されているため、元の画像信号をこのダウンサンプリング処理した画像信号と合成するためには、元の画像信号も同時化する必要がある。しかしながら、ダウンサンプリング処理によってノイズを抑圧したにも関わらず、この元の画像信号を同時化することによって、元の画像信号に含まれていた折り返し信号が合成した画像信号に重畳してしまうことになる。
　本発明は、上記問題に鑑みてなされたもので、入力信号を複数の帯域に分割することによりノイズ処理などを行う画像処理装置において、撮像素子のサンプリングによる画像信号の折り返し信号も抑圧することが可能な画像処理装置を提供することを目的とする。
　上記課題を解決するため、本願請求項１に記載の発明は、画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成手段と、前記生成手段で生成された前記複数の画像信号を合成する合成手段と、第１の色信号を含む複数の色信号で構成された画像信号が入力され、入力された画像信号のうちの前記第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成手段と、前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成手段と、前記第１輝度信号と前記第２輝度信号を合成、あるいは、いずれかを選択した輝度信号を生成する輝度混合手段とを有し、前記合成手段にて合成する前記複数の画像信号のうちの最も周波数帯域の高い画像信号は、前記輝度混合手段にて生成された輝度信号を含むことを特徴とする画像処理装置を提供する。
　同様に、上記課題を解決するため、本願請求項７に記載の発明は、画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成工程と、前記生成工程で生成された前記複数の画像信号を合成する合成工程と、第１の色信号を含む複数の色信号で構成された画像信号が入力され、入力された画像信号のうちの前記第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成工程と、前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成工程と、前記第１輝度信号と前記第２輝度信号を合成、あるいは、いずれかを選択した輝度信号を生成する輝度混合工程とを有し、前記合成工程にて合成する前記複数の画像信号のうちの最も周波数帯域の高い画像信号は、前記輝度混合工程にて生成された輝度信号を含むことを特徴とする画像処理方法を提供する。
　以上説明したように、本発明によれば、画像信号を複数の帯域に分割することによるノイズ抑圧処理を実行しつつ、折り返し信号を抑圧することが可能となる。
本発明の実施形態におけるデジタルカメラの概略構成を示す図である。 本発明の第１の実施形態における画像処理回路１０５の構成の一部を示す図である。 図２の画像処理回路１０５における処理内容を説明するためのフローチャートである。 図２の第１輝度信号生成回路２０４が第１輝度信号Ｙａを生成する過程を説明するための図である。 図２の第２輝度信号生成回路２０５が第２輝度信号Ｙｂを生成する過程を説明するための図である。 彩度Ｓに対する第１輝度信号の混合率αを示す図である。 拡大回路２１２におけるアップサンプリング処理を説明するための図である。 図２の合成率算出回路２０９におけるエッジ検出のフィルタ係数の例を示す図である。 エッジ成分に対する高域階層画像信号の混合率βを示す図である。 本発明の第２の実施形態における画像処理回路１０５の構成の一部を示す図である。 図１０の画像処理回路１０５における処理内容を説明するためのフローチャートである。 本発明の第３の実施形態における画像処理回路１０５の構成の一部を示す図である。 撮像素子の原色ベイヤー配列を示す図である。 第１輝度信号と第２輝度信号の解像可能な空間周波数特性を示す図である。 ダウンサンプリング処理により各画素がすべての色信号を有することを説明するための図である。
　（第１の実施形態）
　図１は、本発明の実施の形態におけるデジタルカメラの概略構成を示す図である。本発明は、画像信号に対して画像処理を施すことができる装置であれば、デジタルカメラに限らず、デジタルビデオカメラやパーソナルコンピュータなどでも実現することが可能である。
　図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り装置、および、シャッター装置を備えている。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。本実施形態では撮像素子１０２はＣＣＤで構成されているものとする。
　前置処理回路１０３は、ＣＤＳ（Correllated Double Sampling）回路や増幅回路を備えている。ＣＤＳ回路は撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力された画像信号をデジタルの画像信号に変換する。
　画像処理回路１０５は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行い、画像信号を輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。画像処理回路１０５はＡ／Ｄ変換器１０４から出力された画像信号のみでなく、記録媒体１０９から読み出した画像信号に対しても同様の画像処理を行うことができる。制御回路１０６は、本実施形態のデジタルカメラを構成する各回路を制御して、デジタルカメラの動作を統括する。画像処理回路１０５で処理された画像信号から得られる輝度値や操作部材１１０から送信された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。
　表示メモリ１０７は、表示装置１０８で表示する画像の元になる画像信号を一時的に記憶するメモリである。表示装置１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像素子１０２で生成された画像信号や、記録媒体１０９から読み出した画像信号を用いて、画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示することで、電子的なビューファインダーとして機能することが可能である。表示装置１０８は画像だけではなく、デジタルカメラの状態表示、ユーザーが選択あるいはカメラが決定したシャッター速度、絞り値、あるいは、感度情報などの文字情報、画像処理回路１０５にて測定した輝度分布を示すグラフ等も表示することが可能である。記録媒体１０９は、このデジタルカメラに着脱可能に構成されたものであっても、デジタルカメラに内蔵されたものであってもよい。
　操作部材１１０は、ユーザーがデジタルカメラに指示を送るために操作する部材である。バス１１１は、画像処理回路１０５、制御回路１０６、表示メモリ１０７、および、記録媒体１０９の間で画像信号をやり取りするために用いられる。
　次に、本実施形態におけるデジタルカメラの撮影時の動作の一例について説明する。
　ユーザーによって操作部材１１０が操作され、撮影準備を開始する指示が送られると、制御回路１０６がそれぞれの回路の動作の制御を開始する。
　撮像素子１０２が光学系１０１を透過した被写体像を光電変換してアナログの画像信号を生成し、Ａ／Ｄ変換器１０４が前置処理回路１０３によって処理されたアナログの画像信号をデジタル化する。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行う。
　画像処理回路１０５で処理された画像信号は、表示メモリ１０７を介して、表示装置１０８で画像として表示される。上述したように、撮像素子１０２で連続的に画像信号を生成し、表示装置１０８が読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示することで、電子的なビューファインダーとして機能する。
　ユーザーが操作部材１１０に含まれるシャッターボタンを操作するまで、これらの処理を繰り返す。ユーザーがシャッターボタンを操作すると、制御回路１０６は画像処理回路１０５で得られた輝度値や合焦値に基づいて光学系１０１の動作を再調整して静止画の撮影を行う。画像処理回路１０５が、この静止画の画像信号に対してノイズ抑圧処理を含む種々の画像処理を行う。そして、記録媒体１０９が画像処理回路１０５から出力された画像信号を記録する。
　ここで、本発明の特徴である、画像処理回路１０５におけるノイズ抑圧処理について詳細に説明を行う。図２は、画像処理回路１０５の構成の一部を示す図である。
　本実施形態の画像処理回路１０５は、ホワイトバランス回路２０１、輝度色生成回路２０２、および、帯域処理回路２０３を含む。輝度色生成回路２０２は、第１輝度信号生成回路２０４、第２輝度信号生成回路２０５、輝度混合回路２０６、および、色生成回路２０７で構成されている。帯域処理回路２０３は、ノイズ抑圧回路２０８、合成率算出回路２０９、縮小回路２１０、ノイズ抑圧回路２１１、拡大回路２１２、および、画像合成回路２１３で構成されている。
　図３は、画像処理回路１０５のホワイトバランス回路２０１、輝度色生成回路２０２、および、帯域処理回路２０３における処理内容を説明するためのフローチャートである。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号を受け取ると、この図３のフローチャートに示す処理を行う。
　ステップＳ３０１において、ホワイトバランス回路２０１が、Ａ／Ｄ変換器１０４から受け取った画像信号に対して、ホワイトバランス処理を行う。この時点では、画像信号はＲＡＷ形式で構成されており、１画素につき、ＲＧＢのいずれか１色の信号を有している。ホワイトバランス回路２０１は、白とみなせる被写体に対するＲＧＢの信号レベルがほぼ等しくなるように、色信号別にゲイン係数を算出する。なお、ゲイン係数の算出は一般的な方法によって算出すればよいので、詳細は省略する。
　ステップＳ３０２において、第１輝度信号生成回路２０４が、第１輝度信号Ｙａを生成する。図４は、第１輝度信号生成回路２０４が第１輝度信号Ｙａを生成する過程を説明するための図である。
　第１輝度信号生成回路２０４は、図４に示すように、ホワイトバランス回路２０１から出力されたベイヤー配列のＲＡＷ形式の画像信号が入力され、このＲＡＷ形式の画像信号を色毎の画像信号に分離する。具体的には、Ｇ画素以外の画素の信号として０を挿入したＧ信号からなる画像信号、Ｒ画素以外の画素の信号として０を挿入したＲ信号からなる画像信号、Ｂ画素以外の画素の信号として０を挿入したＢ信号からなる画像信号を生成する。
　次に、第１輝度信号生成回路２０４は、補間処理によって各画素におけるそれぞれの色信号を生成することで、同時化を行う。
　例えば、Ｒ信号からなる画像信号において、座標（ｍ，ｎ）における補間前の信号をＲ（ｍ，ｎ）、補間後の信号をＲａ（ｍ，ｎ）とすると、補間後の信号Ｒａ（ｍ，ｎ）を式（１）～式（４）のように算出することができる。
Ｒａ（１，１）= Ｒ（１，１）・・・（１）
Ｒａ（１，２）=｛Ｒ（１，１）＋Ｒ（１，３）｝／２・・・（２）
Ｒａ（２，１）=｛Ｒ（１，１）＋Ｒ（３，１）｝／２・・・（３）
Ｒａ（２，２）=｛Ｒ（１，１）＋Ｒ（１，３）＋Ｒ（３，１）＋Ｒ（３，３）｝／４・・・（４）
　Ｂ信号からなる画像信号における補間後の信号Ｂａ（ｍ，ｎ）も、同様の方法で算出する。
　また、Ｇ信号からなる画像信号においては、補間後の信号Ｇａ（ｍ，ｎ）を式（５）～式（８）のように算出することができる。
Ｇａ（２，２）＝｛Ｇ（１，２）＋Ｇ（３，２）＋Ｇ（２，１）＋Ｇ（２，３）｝／４・・・（５）
Ｇａ（２，３）＝｛４×Ｇ（２，３）＋Ｇ（１，２）＋Ｇ（１，４）＋Ｇ（３，２）＋Ｇ（３，４）｝／８・・・（６）
Ｇａ（３，２）＝｛４×Ｇ（３，２）＋Ｇ（２，１）＋Ｇ（２，３）＋Ｇ（４，１）＋Ｇ（４，３）｝／８・・・（７）
Ｇａ（３，３）＝｛Ｇ（２，３）＋Ｇ（４，３）＋Ｇ（３，２）＋Ｇ（３，４）｝／４・・・（８）
　もちろん、これらの補間方法は一例であって、これ以外の公知の様々な補間方法を適用することが可能である。例えば、元の信号の高域の特性劣化を抑止するため、被写体の方向毎の相関をあらかじめ判定しておき、最も相関の高い方向に位置する信号の重み付けを大きくして、補間を行うようにしてもよい。
　このようにして求めたＲａ信号、Ｇａ信号、Ｂａ信号を式（９）に当てはめることにより、座標（ｍ，ｎ）の画素における第１輝度信号Ｙａ（ｍ，ｎ）を求めることができる。
　Ｙａ（ｍ，ｎ）＝０．３×Ｒａ（ｍ，ｎ）＋０．６×Ｇａ（ｍ，ｎ）＋０．１×Ｂａ（ｍ，ｎ）・・・（９）
　そして、第１輝度信号生成回路２０４は、求めた第１輝度信号Ｙａを、輝度混合回路２０６へ出力する。
　なお、ここではＲａ信号、Ｇａ信号、Ｂａ信号を用いて第１輝度信号Ｙａを求める例を挙げて説明を行ったが、Ｇａ信号をそのまま第１輝度信号Ｙａとしても良い。
　ステップＳ３０３において、第２輝度信号生成回路２０５が、第２輝度信号Ｙｂを生成する。第２輝度信号Ｙｂは、第１の輝度信号Ｙａと異なり、色信号を区別することなく、全色の画素の信号を均等に扱って生成される輝度信号である。図５は、第２輝度信号生成回路２０５が第２輝度信号Ｙｂを生成する過程を説明するための図である。
　第２輝度信号生成回路２０５は、図５に示すように、ホワイトバランス回路２０１から出力されたＲＡＷ形式の画像信号が入力される。第２輝度信号生成回路２０５は、この、ＲＡＷ形式の画像信号に対して垂直ローパスフィルタ（Ｖ－ＬＰＦ）処理、および、水平ローパスフィルタ（Ｈ－ＬＰＦ）処理を行い、第２輝度信号Ｙｂとする。このＶ－ＬＰＦ処理およびＨ－ＬＰＦ処理では、例えば、［１、２、１］で表すことのできるフィルタ係数を用いればよい。あるいは、画像信号のエッジの状態や周囲の画素との相関レベルに応じて、フィルタの方向やフィルタ係数を適応的に変更してもよい。
　なお、第２輝度信号生成回路２０５における処理を省略し、ＲＡＷ形式の画像信号を、第２輝度信号Ｙｂとして扱うようにしてもよい。すなわち、式（１０）～式（１３）のように、画素ごとに第２輝度信号Ｙｂを求めることができる。
Ｙｂ（１，１）＝Ｒ（１，１）・・・（１０）
Ｙｂ（１，２）＝Ｇ（１，２）・・・（１１）
Ｙｂ（２，１）＝Ｇ（２，１）・・・（１２）
Ｙｂ（２，２）＝Ｂ（２，２）・・・（１３）
　ステップＳ３０４において、輝度混合回路２０６は、第１輝度信号Ｙａと第２輝度信号Ｙｂを混合し、輝度信号Ｙｐを生成する。輝度混合回路２０６は、輝度信号Ｙｐに対する第１輝度信号の混合率をαとすると、画素ごとに第１輝度信号Ｙａおよび第２輝度信号Ｙｂを式（１４）に当てはめることで、画素ごとの輝度信号Ｙｐを求めている。
Ｙｐ＝α×Ｙａ＋（１－α）×Ｙｂ・・・（１４）
　ここで、本実施形態では、輝度混合回路２０６は、被写体の彩度Ｓに応じて、輝度信号Ｙｐに対する第１輝度信号の混合率αを決定する。この混合率αの求めた方について説明する。輝度混合回路２０６は第１輝度信号生成回路２０４と同様に、ＲＡＷ形式の画像信号を色毎に分離して同時化を行う。そして、式（１５）のように、各画素におけるＲ信号とＧ信号の差分の絶対値とＢ信号とＧ信号の差分の絶対値を加算することで、各画素における彩度Ｓを求める。
Ｓ＝｜Ｒ－Ｇ｜＋｜Ｂ－Ｇ｜・・・（１５）
　輝度混合回路２０６は、この彩度Ｓに応じた混合率αを不図示のメモリから読み出す。図６は、彩度Ｓに対する第１輝度信号の混合率αを示す図である。図６に示すように、輝度混合回路２０６は、彩度の高い画素においては混合率αを大きくして第１輝度信号Ｙａの混合率を大きくし、彩度の低い画素においては混合率αを小さくして第２輝度信号Ｙｂの混合率を大きくする。
　なお、第１輝度信号Ｙａと第２輝度信号Ｙｂの混合率の求め方はこの限りではなく、Ｒ信号とＧ信号の差分の絶対値から求めた混合率と、Ｂ信号とＧ信号の差分の絶対値から求めた混合率を乗算して、最終的な混合率を決定しても良い。また、第１輝度信号Ｙａと第２輝度信号Ｙｂを加算して合成するのではなく、混合率が高いほうの輝度信号のみを選択するようにしてもよい。あるいは、斜め方向の相関が閾値よりも高いと判断された領域が存在する場合には、その領域のみに対して第２輝度信号Ｙｂを用いるように構成しても良い。また、第１輝度信号Ｙａおよび第２輝度信号Ｙｂの高域成分に含まれる色の構成比が異なるため、被写体の色が偏っていると、第１輝度信号Ｙａと第２輝度信号Ｙｂの値に大きな差が出る。そこで、第１輝度信号Ｙａの低域成分と第２輝度信号Ｙｂの高域成分を求めて、これらを合成した第３輝度信号Ｙｃを求め、この第３の輝度信号Ｙｃと第１輝度信号Ｙａとを上記の混合率で混合するようにしてもよい。
　ステップＳ３０５において、色生成回路２０７は、ホワイトバランス回路２０１から出力されたＲＧＢ信号を用いて色差信号Ｕｐ、Ｖｐを生成する。色生成回路２０７は、ＲＧＢ信号に対して色補間処理、偽色除去処理、および、マトリックス変換などを行って色差信号Ｕｐ、Ｖｐを生成する。色差信号Ｕｐ、Ｖｐの生成の仕方は一般的な方法を用いればよく、その方法自体は公知であるため、詳細な説明は省略する。
　以上のステップＳ３０５までの処理によって、輝度色生成回路２０２の内部で折り返し信号が抑圧された輝度信号Ｙｐと、色差信号Ｕｐ、Ｖｐが生成され、これらの信号が帯域処理回路２０３へ出力される。
　ステップＳ３０６において、縮小回路２１０が、輝度混合回路２０６で生成された輝度信号Ｙｐと色生成回路で生成された色差信号Ｕｐ、Ｖｐを受け取り、これらを用いて帯域を落とした画像信号を生成する。
　縮小回路２１０は、輝度信号Ｙｐと色差信号Ｕｐ、Ｖｐのそれぞれに対し、［１、２、１］で示されるフィルタ係数を有するＶ－ＬＰＦ処理およびＨ－ＬＰＦ処理を施す。それから縮小回路２１０は、水平および垂直方向において画素数が１／２となるように、ＬＰＦ処理後の輝度信号Ｙｐと色差信号Ｕｐ、Ｖｐにダウンサンプリング処理を施して、輝度信号Ｙｌｏｗと色差信号Ｕｌｏｗ、Ｖｌｏｗを生成する。
　本実施形態では、低域階層画像信号の最も高い周波数帯域は、高域階層画像信号の最も高い周波数帯域の半分となり、高域階層画像信号の低域側の周波数帯域が、低域階層画像信号の周波数帯域と重畳している。
　ステップＳ３０７において、ノイズ抑圧回路２０８が高域階層画像信号に対してノイズ抑圧処理を行い、ノイズ抑圧回路２１１が低域階層画像信号に対してノイズ抑圧処理を行う。ノイズ抑圧回路２０８とノイズ抑圧回路２１１の処理内容は同じなので、ここではノイズ抑圧回路２０８を例に挙げて、ノイズ抑圧処理の中身について説明する。
　ノイズ抑圧回路２０８は、高域階層画像信号における注目画素と、その注目画素を中心とした５×５画素の範囲に含まれる周辺画素の輝度信号Ｙｐを用いて、ノイズ抑圧処理を行う。
　ノイズ抑圧回路２０８は、注目画素と周辺画素の輝度信号Ｙｐの差分の絶対値を演算し、閾値と比較する。すなわち、注目画素の輝度信号をＹｐ（ｓ，ｔ）、周辺画素の輝度信号をＹｐ（ｉ，ｊ）、閾値をＴＨＹとすると、式（１６）を満たす輝度信号Ｙ（ｉ，ｊ）を求める。
Ｙｐ（ｉ，ｊ）－Ｙｐ（ｓ，ｔ）｜＜ＴＨＹ
ただし、ｓ－２≦ｉ≦ｓ＋２、ｔ－２≦ｊ≦ｔ＋２・・・（１６）
　そして、この式を満たすＹｐ（ｉ，ｊ）を抽出し、その平均値を注目画素の輝度信号Ｙｐ（ｓ，ｔ）の値として置き換える。
　また、ノイズ抑圧回路２０８は、注目画素の色差信号をＵｐ（ｓ，ｔ）、Ｖｐ（ｓ，ｔ）、周辺画素値をＵｐ（ｉ，ｊ）、Ｖｐ（ｉ，ｊ）、閾値をＴＨＣとすると、式（１７）を満たすＵｐ（ｉ，ｊ）とＶｐ（ｉ，ｊ）を求める。
｜Ｕｐ（ｉ，ｊ）－Ｕｐ（ｓ，ｔ）｜＋｜Ｖｐ（ｉ，ｊ）－Ｖｐ（ｓ，ｔ）｜＜ＴＨＣ
　ただし、ｓ－２≦ｉ≦ｓ＋２、ｔ－２≦ｊ≦ｔ＋２・・・（１７）
　そして、この式を満たすＵｐ（ｉ，ｊ）とＶｐ（ｉ，ｊ）を抽出し、それぞれの平均値を注目画素の色差信号Ｕｐ（ｓ，ｔ）、Ｖｐ（ｓ，ｔ）として置き換える。
　ノイズ抑圧回路２０８は、これらの輝度信号Ｙｐ、色差信号Ｕｐ、Ｖｐに対する処理を全ての画素に対して行うことで、高域階層画像信号のノイズを抑圧する。なお、画像信号の端部の画素については５×５画素の範囲を設定できないため、このような画素については周辺画素の設定方法を適宜変更してノイズの抑圧を行うようにする。
　ノイズ抑圧回路２１１も、同様の処理を低域階層画像信号の輝度信号Ｙｌｏｗ、色差信号Ｕｌｏｗ、Ｖｌｏｗに対して行うことで、低域階層画像信号のノイズを抑圧する。勿論、ノイズを抑圧する方法はこれに限られるものではなく、一般的に知られている他の様々なノイズの抑圧方法を適用することが可能である。
　そして、ノイズ抑圧回路２１１によってノイズ抑圧処理が行われた低域階層画像信号は、拡大回路２１２に出力される。拡大回路２１２は、ノイズ抑圧処理が行われた低域階層画像信号に対してアップサンプリング処理を行い、低域階層画像信号の画素数を、高域域階層画像信号の画素数と等しくする。具体的には、図７に示すように、低域階層画像信号の画素数を２倍に増やすとともに、新たに生成された画素の信号を０とする。それから、例えば、０の値とされた画素に対し、周囲にある画素の値を用いて線形補間を行うことで、全ての位置の画素に対して信号を持たせることができる。これらの処理を、輝度信号Ｙｌｏｗ、色差信号Ｕｌｏｗ、Ｖｌｏｗのそれぞれに対して行う。
　ステップＳ３０８において、合成率算出回路２０９が、高域階層画像信号と低域階層画像信号の合成率を算出する。具体的には、合成率算出回路２０９は高域階層画像信号の輝度信号Ｙｐに対して、図８に示すフィルタを用いて各画素におけるエッジ成分を求める。そして、合成算出回路２０９は、このエッジ成分に応じた混合率βを不図示のメモリから読み出す。図９は、エッジ成分に対する高域階層画像信号の混合率βを示す図である。図９に示すように、合成率算出回路２０９は、エッジ成分の高い画素においては混合率βを大きくして高域階層画像信号の混合率を大きくし、エッジ成分の低い画素においては混合率βを小さくして低域階層画像信号の混合率を大きくする。
　ステップＳ３０９において、画像合成回路２１３が、合成率算出回路２０９で求められた混合率βを用いて、高域階層画像信号の輝度信号Ｙｐと低域階層画像信号Ｙｌｏｗを合成し、輝度信号Ｙを得る。具体的には、ノイズ抑圧回路２０８でノイズ抑圧処理が施された高域階層画像信号の輝度信号Ｙｐと、拡大回路２１２で拡大処理された低域階層画像信号の輝度信号Ｙｌｏｗを、式（１８）を用いて加算する。
Ｙ＝β×Ｙｐ＋（１－β）×Ｙｌｏｗ・・・（１８）
　同様に、ノイズ抑圧回路２０８でノイズ抑圧処理が施された高域階層画像信号の色差信号Ｕｐ、Ｖｐと、拡大回路２１２で拡大処理された低域階層画像信号の輝度信号Ｕｌｏｗ、Ｖｌｏｗを、式（１９）、式（２０）を用いて加算する。
Ｕ＝β×Ｕｐ＋（１－β）×Ｕｌｏｗ・・・（１９）
Ｖ＝β×Ｖｐ＋（１－β）×Ｖｌｏｗ・・・（２０）
　以上のように、予め折り返し信号を抑圧した画像信号から、複数の周波数帯域の画像信号を生成する構成としたことで、これらの複数の周波数帯域の画像信号を合成した場合であっても、折り返し信号を抑制することが可能となる。
　なお、本実施形態では１つの階層の低域階層画像信号しか生成しない構成を例にあげて説明を行ったが、これに限られるものではない。縮小回路２１０、ノイズ抑圧回路２１１および拡大回路２１２をそれぞれ複数設け、異なる周波数帯域で多階層化した低域階層画像信号のそれぞれに対してノイズ抑圧処理を行い、それらを画像合成回路２１３で合成するようにしても良い。
　（第２の実施形態）
　次に、本発明の第２の実施形態について説明する。本実施形態では、複数の周波数帯域の画像信号を生成し、これら複数の画像信号の一部の画像信号に対して、折り返し信号の抑圧処理を行うものである。基本的な構成は第１の実施形態と同様であり、異なる点を中心に説明を行う。
　図１０は、本実施形態における画像処理回路１０５の構成の一部を示す図である。図１０のうち、図２と同じ構成を有する回路には、図２と同じ符号を付与している。本実施形態の画像処理回路１０５は、ホワイトバランス回路２０１、輝度色生成回路２０２、および、帯域処理回路１００３を含む。
　帯域処理回路１００３は、ノイズ抑圧回路２０８、合成率算出回路２０９、縮小回路１０１０、ノイズ抑圧回路２１１、拡大回路２１２、および、画像合成回路２１３で構成されている。第１の実施形態では、輝度信号Ｙｐと色差信号Ｕｐ、Ｖｐを縮小回路２１０に入力することで、輝度信号Ｙｌｏｗと色差信号Ｕｌｏｗ、Ｖｌｏｗを生成していた。これに対し、本実施形態では、ホワイトバランス回路２０１から出力されたＲＡＷ形式のＲＧＢ信号から、輝度信号Ｙｌｏｗと色差信号Ｕｌｏｗ、Ｖｌｏｗを生成し、高域階層画像信号にのみ折り返し信号の抑圧処理を施す点が異なる。
　図１１は、画像処理回路１０５のホワイトバランス回路２０１、輝度色生成回路２０２、および、帯域処理回路１００３における処理内容を説明するためのフローチャートである。
　ステップＳ１１０１において、ホワイトバランス回路２０１が、Ａ／Ｄ変換器１０４から受け取った画像信号に対して、ホワイトバランス処理を行う。
　ステップＳ１１０２において、縮小回路１０１０が、ベイヤー配列のＲＡＷ形式の画像信号を、色毎の画像信号に分離する。具体的には、Ｇ画素以外の画素の信号として０を挿入したＧ信号からなる画像信号、Ｒ画素以外の画素の信号として０を挿入したＲ信号からなる画像信号、Ｂ画素以外の画素の信号として０を挿入したＢ信号からなる画像信号を生成する。そして、それぞれの色の画像信号に対して、例えば［１、２、１］で表すことのできるフィルタ係数を用いて、Ｖ－ＬＰＦ処理およびＨ－ＬＰＦ処理を施して同時化を行う。それから縮小回路１０１０は、同時化したそれぞれの色の画像信号に対してダウンサンプリング処理を施して、水平および垂直方向において画素数が１／２となる画像信号を生成する。そして、これらのダウンサンプリング処理を施した画像信号を用いて式（９）の演算を行うことで、輝度信号Ｙｌｏｗと色差信号Ｕｌｏｗ、Ｖｌｏｗを生成する。
　ステップＳ１１０３において、第１輝度信号生成回路２０４が、図３のステップＳ３０２と同様の処理により、ホワイトバランス回路２０１から出力されたベイヤー配列のＲＡＷ形式の画像信号から、第１輝度信号Ｙａを生成する。
　ステップＳ１１０４において、第２輝度信号生成回路２０５が、図３のステップＳ３０３と同様の処理により、ホワイトバランス回路２０１から出力されたベイヤー配列のＲＡＷ形式の画像信号から、第２輝度信号Ｙｂを生成する。
　ステップＳ１１０５において、輝度混合回路２０６は、図３のステップＳ３０４と同様の処理により、第１輝度信号Ｙａと第２輝度信号Ｙｂを混合し、輝度信号Ｙｐを生成する。
　ステップＳ１１０６において、色生成回路２０７は、図３のステップＳ３０５と同様の処理により、ホワイトバランス回路２０１から出力されたＲＧＢ信号を用いて色差信号Ｕｐ、Ｖｐを生成する。
　ステップＳ１１０７において、ノイズ抑圧回路２０８が高域階層画像信号に対してノイズ抑圧処理を行い、ノイズ抑圧回路２１１が縮小回路１０１０から出力された低域階層画像信号に対してノイズ抑圧処理を行う。これらのノイズ抑圧処理は図３のステップＳ３０７と同様の処理である。
　ステップＳ１１０８において、合成率算出回路２０９が、図３のステップＳ３０８と同様の処理により、高域階層画像信号と低域階層画像信号の合成率を算出する。
　ステップＳ１１０９において、画像合成回路２１３が、図３のステップＳ３０９と同様の処理により、合成率算出回路２０９で求められた混合率βを用いて、高域階層画像信号と低域階層画像信号を合成する。
　このように本実施形態では、高域階層画像信号に対しては折り返し信号を抑圧するための処理を行っているが、縮小回路１０１０から出力された低域階層画像信号に対しては、折り返し信号を抑圧するための処理を行っていない。これは、低域階層画像信号を生成する過程で、この画像信号にはローパスフィルタ処理が施されて画像信号が平滑化されているため、折り返し信号の影響がすでに抑圧されていると考えられるためである。
　このように、１つの画像信号から複数の周波数帯域の画像信号を生成し、最も高い周波数帯域の画像信号に対して予め折り返し信号を抑圧することで、これらの複数の周波数帯域の画像信号を合成した場合でも折り返し信号を抑制することが可能となる。
　（第３の実施形態）
　次に、本発明の第３の実施形態について説明する。第１の実施形態では、帯域処理回路２０３において、元の画像信号よりも周波数帯域を低くした別の画像信号を生成したが、本実施形態では、元の画像信号を周波数帯域が重ならない複数の周波数成分に分離する点で異なる。
　図１２は、画像処理回路１０５の別の構成の一部を示す図である。図１２のうち、図２と同じ構成を有する回路には、図２と同じ符号を付与している。本実施形態の画像処理回路１０５は、ホワイトバランス回路２０１、輝度色生成回路２０２、および、帯域処理回路１２０３を含む。
　輝度色生成回路２０２より出力された折り返し信号が抑圧された輝度信号Ｙｐおよび色差信号Ｕｐ、Ｖｐは、まず帯域処理回路１２０３のＬＰＦ１２１１およびハイパスフィルタ（ＨＰＦ）１２１２に入力される。
　ＬＰＦ１２１１は、図２の縮小回路２１０と同様に輝度信号Ｙｐと色差信号Ｕｐ、Ｖｐのそれぞれに対してＶ－ＬＰＦ処理およびＨ－ＬＰＦ処理を施し、輝度信号Ｙｌｏｗ１と色差信号Ｕｌｏｗ１、Ｖｌｏｗ１を生成する。このＶ－ＬＰＦ処理およびＨ－ＬＰＦ処理は、例えば［１、２、１］で示されるフィルタ係数を有する。
　ＨＰＦ１２１２は、輝度色生成回路２０２より出力された輝度信号Ｙｐ、色差信号Ｕｐ、Ｖｐから、ＬＰＦ１２１１で生成された輝度信号Ｙｌｏｗ１、色差信号Ｕｌｏｗ１、Ｖｌｏｗ１を減算する。その結果、ＨＰＦ１２１２は、輝度信号Ｙｐおよび色差信号Ｕｐ、Ｖｐの高周波成分である輝度信号Ｙｈｉｇｈ１および色差信号Ｕｈｉｇｈ１、Ｖｈｉｇｈ１を抽出することができる。
　輝度信号Ｙｈｉｇｈ１および色差信号Ｕｈｉｇｈ１、Ｖｈｉｇｈ１はノイズ抑圧回路１２１３に入力され、図２のノイズ抑圧回路２０８と同様の方法でノイズ抑圧処理が施される。また、輝度信号Ｙｈｉｇｈ１および色差信号Ｕｈｉｇｈ１、Ｖｈｉｇｈ１は合成率算出回路１２１４に入力され、図２の合成率算出回路２０９と同様の方法で合成率が算出される。
　ＬＰＦ１２１１で生成された輝度信号Ｙｌｏｗ１と色差信号Ｕｌｏｗ１、Ｖｌｏｗ１は、ダウンサンプリング（ＤＳ）回路１２１５に入力される。ＤＳ回路１２１５は、水平および垂直方向において画素数が１／２となるように、輝度信号Ｙｌｏｗ１と色差信号Ｕｌｏｗ１、Ｖｌｏｗ１にダウンサンプリング処理を施して、輝度信号Ｙｐ２と色差信号Ｕｐ２、Ｖｐ２を生成する。
ＤＳ回路１２１５から出力された輝度信号Ｙｐ２および色差信号Ｕｐ２、Ｖｐ２は、ＬＰＦ１２１６およびＨＰＦ１２１７に入力される。
　ＬＰＦ１２１６は、図２の縮小回路２１０と同様に輝度信号Ｙｐ２と色差信号Ｕｐ２、Ｖｐ２のそれぞれに対してＶ－ＬＰＦ処理およびＨ－ＬＰＦ処理を施し、輝度信号Ｙｌｏｗ２と色差信号Ｕｌｏｗ２、Ｖｌｏｗ２を生成する。
　ＨＰＦ１２１７は、ＤＳ回路１２１５より出力された輝度信号Ｙｐ２、色差信号Ｕｐ２、Ｖｐ２から、ＬＰＦ１２１６で生成された輝度信号Ｙｌｏｗ２、色差信号Ｕｌｏｗ２、Ｖｌｏｗ２を減算する。その結果、ＨＰＦ１２１７は、輝度信号Ｙｐ２および色差信号Ｕｐ２、Ｖｐ２の高周波成分である輝度信号Ｙｈｉｇｈ２および色差信号Ｕｈｉｇｈ２、Ｖｈｉｇｈ２を抽出することができる。
　輝度信号Ｙｈｉｇｈ２および色差信号Ｕｈｉｇｈ２、Ｖｈｉｇｈ２はノイズ抑圧回路１２１８に入力され、図２のノイズ抑圧回路２０８と同様の方法でノイズ抑圧処理が施される。また、輝度信号Ｙｈｉｇｈ２および色差信号Ｕｈｉｇｈ２、Ｖｈｉｇｈ２は合成率算出回路１２１９に入力され、図２の合成率算出回路２０９と同様の方法で合成率が算出される。
　ＬＰＦ１２１６で生成された輝度信号Ｙｌｏｗ２と色差信号Ｕｌｏｗ２、Ｖｌｏｗ２は、ＤＳ回路１２２０に入力される。ＤＳ回路１２２０は、水平および垂直方向において画素数が１／２となるように、輝度信号Ｙｌｏｗ２と色差信号Ｕｌｏｗ２、Ｖｌｏｗ２にダウンサンプリング処理を施して、輝度信号Ｙｐ３と色差信号Ｕｐ３、Ｖｐ３を生成する。
　ＤＳ回路１２２０から出力された輝度信号Ｙｐ３および色差信号Ｕｐ３、Ｖｐ３は、ＬＰＦ１２２１およびＨＰＦ１２２２に入力される。
　ＬＰＦ１２２１は、図２の縮小回路２１０と同様に、輝度信号Ｙｐ３と色差信号Ｕｐ３、Ｖｐ３のそれぞれに対してＶ－ＬＰＦ処理およびＨ－ＬＰＦ処理を施し、輝度信号Ｙｌｏｗ３と色差信号Ｕｌｏｗ３、Ｖｌｏｗ３を生成する。
　ＨＰＦ１２２２は、ＤＳ回路１２１５より出力された輝度信号Ｙｐ３、色差信号Ｕｐ３、Ｖｐ３から、ＬＰＦ１２２１で生成された輝度信号Ｙｌｏｗ３、色差信号Ｕｌｏｗ３、Ｖｌｏｗ３を減算する。その結果、ＨＰＦ１２２２は、輝度信号Ｙｐ３および色差信号Ｕｐ３、Ｖｐ３の高周波成分である輝度信号Ｙｈｉｇｈ３および色差信号Ｕｈｉｇｈ３、Ｖｈｉｇｈ３を抽出することができる。
　輝度信号Ｙｈｉｇｈ３および色差信号Ｕｈｉｇｈ３、Ｖｈｉｇｈ３はノイズ抑圧回路１２２３に入力され、図２のノイズ抑圧回路２０８と同様の方法でノイズ抑圧処理が施される。また、輝度信号Ｙｈｉｇｈ３および色差信号Ｕｈｉｇｈ３、Ｖｈｉｇｈ３は合成率算出回路１２２４に入力され、図２の合成率算出回路２０９と同様の方法で合成率が算出される。
　ＬＰＦ１２２１で生成された輝度信号Ｙｌｏｗ３と色差信号Ｕｌｏｗ３、Ｖｌｏｗ３は、ＤＳ回路１２２５に入力される。ＤＳ回路１２２５は、水平および垂直方向において画素数が１／２となるように、輝度信号Ｙｌｏｗ３と色差信号Ｕｌｏｗ３、Ｖｌｏｗ３にダウンサンプリング処理を施して、輝度信号Ｙｐ４と色差信号Ｕｐ４、Ｖｐ４を生成する。
　輝度信号Ｙｐ４および色差信号Ｕｐ４、Ｖｐ４はノイズ抑圧回路１２２６に入力され、図２のノイズ抑圧回路２０８と同様の方法でノイズ抑圧処理が施される。
　輝度信号Ｙｈｉｇｈ１、輝度信号Ｙｈｉｇｈ２、輝度信号Ｙｈｉｇｈ３、および、輝度信号Ｙｐ４は互いの周波数帯域が重畳しておらず、輝度信号Ｙｈｉｇｈ１からＹｐ４に向かってその周波数帯域が低くなる。これは色差信号Ｕｈｉｇｈ１乃至Ｕｐ４、Ｖｈｉｇｈ１乃至Ｖｐ４についても同様である。
　拡大回路１２２７は、ノイズ抑圧回路１２２６から出力されたそれぞれの信号に対してアップサンプリング処理を行い、ノイズ抑圧回路１２２６から出力された信号の画素数を、ノイズ抑圧回路１２２３から出力された信号の画素数と等しくする。画像合成回路１２２８は、合成率算出回路１２２４で求められた合成率を用いて、図２の画像合成回路２１３と同様の方法で、拡大回路１２２７から出力された信号とノイズ抑圧回路１２２３から出力された信号を合成する。
　拡大回路１２２９は、画像合成回路１２２８から出力された信号に対してアップサンプリング処理を行い、画像合成回路１２２８から出力された信号の画素数を、ノイズ抑圧回路１２１８から出力された信号の画素数と等しくする。画像合成回路１２３０は、合成率算出回路１２１９で求められた合成率を用いて、図２の画像合成回路２１３と同様の方法で、拡大回路１２２９から出力された信号とノイズ抑圧回路１２１８から出力された信号を合成する。
　さらに、拡大回路１２３１は、画像合成回路１２３０から出力された信号に対してアップサンプリング処理を行い、画像合成回路１２３０から出力された信号の画素数を、ノイズ抑圧回路１２１３から出力された信号の画素数と等しくする。画像合成回路１２３２は、合成率算出回路１２１４で求められた合成率を用いて、図２の画像合成回路２１３と同様の方法で、拡大回路１２３１から出力された信号とノイズ抑圧回路１２１３から出力された信号を合成する。
　このように、予め折り返し信号を抑圧した画像信号から、複数の周波数帯域の画像信号に分割する構成としたことで、これらの複数の周波数帯域の画像信号を合成した場合でも折り返し信号を抑制することが可能となる。
　以上のように、上述したいずれの実施形態においても、合成される複数の周波数帯域の画像信号のうち、最も高い周波数帯域の画像信号においては、輝度混合回路にて生成された輝度信号が含まれている。このように構成することで、最も高い周波数帯域の画像信号における折り返し信号が抑圧されているため、それよりも低い周波数帯域の画像信号と合成した場合であっても、折り返し信号の影響はほとんど増加することはない。
　なお、上述した実施形態では、元の画像信号を縮小することで低域階層画像信号を生成していたが、画像信号を縮小せずに、元の画像信号にＬＰＦ処理を施すことで低域階層画像信号を生成するようにしてもよい。
　なお、本発明は、合成される複数の周波数帯域の画像信号のうち、最も高い周波数帯域の画像信号に輝度混合回路で生成した輝度信号が含まれている構成であれば、輝度混合回路を配置する位置は、上述した実施形態に限定されるものではない。
　（他の実施形態）
　また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
　２０１　ホワイトバランス部
　２０２　輝度色生成回路
　２０３、１００３、１２０３　帯域処理回路
　２０４　第１輝度信号生成回路
　２０５　第２輝度信号生成回路
　２０６　輝度混合回路
　２０７　色生成回路
　２０８、２１１、１２１３、１２１８、１２２３、１２２６　ノイズ抑圧回路
　２０９、１２１４、１２１９、１２２４　合成率算出回路
　２１０、１０１０　縮小回路
　２１２、１２２７、１２２９、１２３１　拡大回路
　２１３、１２２８、１２３０、１２３２　画像合成回路
　１２１１、１２１６、１２２１　ローパスフィルタ（ＬＰＦ）
　１２１２、１２１７、１２２２　ハイパスフィルタ（ＨＰＦ）
　１２１５、１２２０、１２２５　ダウンサンプリング（ＤＳ）回路

Claims (11)

  1. 　画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成手段と、
    　前記生成手段で生成された前記複数の画像信号を合成する合成手段と、
    　第１の色信号を含む複数の色信号で構成された画像信号が入力され、入力された画像信号のうちの前記第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成手段と、
    　前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成手段と、
    　前記第１輝度信号と前記第２輝度信号を合成、あるいは、いずれかを選択した輝度信号を生成する輝度混合手段とを有し、
    　前記合成手段にて合成する前記複数の画像信号のうちの最も周波数帯域の高い画像信号は、前記輝度混合手段にて生成された輝度信号を含むことを特徴とする画像処理装置。
  2. 　前記生成手段は、前記輝度混合手段にて生成された輝度信号を含む画像信号が入力されることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第１輝度信号生成手段および前記第２輝度信号生成手段は、前記生成手段で生成された複数の画像信号のうちの最も周波数帯域の高い画像信号が入力されることを特徴とする請求項１に記載の画像処理装置。
  4. 　前記生成手段は、入力された画像信号よりも周波数帯域の低い画像信号を生成することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
  5. 　前記第１輝度信号生成手段および前記第２輝度信号生成手段は、ベイヤー配列の撮像素子で生成された赤、緑、および、青の色信号で構成された画像信号が入力され、
    　前記第１の色信号が緑の色信号であることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
  6. 　前記生成手段にて生成された複数の画像信号のそれぞれに対して、ノイズ抑圧処理を行うノイズ抑圧手段を有することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
  7. 　画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成工程と、
    　前記生成工程で生成された前記複数の画像信号を合成する合成工程と、
    　第１の色信号を含む複数の色信号で構成された画像信号が入力され、入力された画像信号のうちの前記第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成工程と、
    　前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成工程と、
    　前記第１輝度信号と前記第２輝度信号を合成、あるいは、いずれかを選択した輝度信号を生成する輝度混合工程とを有し、
    　前記合成工程にて合成する前記複数の画像信号のうちの最も周波数帯域の高い画像信号は、前記輝度混合工程にて生成された輝度信号を含むことを特徴とする画像処理方法。
  8. 　前記生成工程において、前記輝度混合工程にて生成された輝度信号を含む画像信号が入力されることを特徴とする請求項７に記載の画像処理方法。
  9. 　前記第１輝度信号生成工程および前記第２輝度信号生成工程において、前記生成工程で生成された複数の画像信号のうちの最も周波数帯域の高い画像信号が入力されることを特徴とする請求項８に記載の画像処理方法。
  10. 　請求項７に記載の画像処理方法をコンピュータに実行させるために前記コンピュータが読み出すことが可能なプログラム。
  11. 　請求項１０に記載のプログラムを記憶した記憶媒体。
PCT/JP2009/070384 2009-12-04 2009-12-04 画像処理装置 WO2011067850A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
GB1209769.7A GB2488283B (en) 2009-12-04 2009-12-04 Image Processing device
CN200980162742.1A CN102640500B (zh) 2009-12-04 2009-12-04 图像处理设备
KR1020127016437A KR101391161B1 (ko) 2009-12-04 2009-12-04 화상처리장치
PCT/JP2009/070384 WO2011067850A1 (ja) 2009-12-04 2009-12-04 画像処理装置
DE112009005418.8T DE112009005418B4 (de) 2009-12-04 2009-12-04 Bildverarbeitungsgerät
RU2012127768/07A RU2519829C2 (ru) 2009-12-04 2009-12-04 Устройство обработки изображений
JP2011544157A JP5591261B2 (ja) 2009-12-04 2009-12-04 画像処理装置
BR112012013067A BR112012013067A2 (pt) 2009-12-04 2009-12-04 aparelho de processamento de imagem
US12/958,221 US8508625B2 (en) 2009-12-04 2010-12-01 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/070384 WO2011067850A1 (ja) 2009-12-04 2009-12-04 画像処理装置

Publications (1)

Publication Number Publication Date
WO2011067850A1 true WO2011067850A1 (ja) 2011-06-09

Family

ID=44081665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/070384 WO2011067850A1 (ja) 2009-12-04 2009-12-04 画像処理装置

Country Status (9)

Country Link
US (1) US8508625B2 (ja)
JP (1) JP5591261B2 (ja)
KR (1) KR101391161B1 (ja)
CN (1) CN102640500B (ja)
BR (1) BR112012013067A2 (ja)
DE (1) DE112009005418B4 (ja)
GB (1) GB2488283B (ja)
RU (1) RU2519829C2 (ja)
WO (1) WO2011067850A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235054A (ja) * 2012-05-07 2013-11-21 Canon Inc 焦点検出装置及び撮像装置
WO2014038685A1 (en) * 2012-09-10 2014-03-13 Ricoh Company, Ltd. Image processor, imaging apparatus equipped with the same, and image processing method
WO2019155944A1 (ja) * 2018-02-09 2019-08-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および撮像装置
JP2020092288A (ja) * 2018-12-03 2020-06-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5493760B2 (ja) * 2009-01-19 2014-05-14 株式会社ニコン 画像処理装置およびデジタルカメラ
US9143749B2 (en) * 2011-10-11 2015-09-22 Sony Corporation Light sensitive, low height, and high dynamic range camera
JP6020904B2 (ja) * 2012-02-01 2016-11-02 パナソニックＩｐマネジメント株式会社 画像処理装置および撮像装置
JP5895195B2 (ja) * 2012-03-13 2016-03-30 パナソニックＩｐマネジメント株式会社 ノイズ削減装置およびノイズ削減方法
JP2013218281A (ja) * 2012-03-16 2013-10-24 Seiko Epson Corp 表示システム、表示プログラム及び表示方法
JP5919086B2 (ja) * 2012-05-09 2016-05-18 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
US9036086B2 (en) * 2013-03-29 2015-05-19 Konica Minolta Laboratory U.S.A., Inc. Display device illumination
US9088740B2 (en) * 2013-06-21 2015-07-21 Himax Imaging Limited System and method of reducing noise
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
US20150092089A1 (en) * 2013-09-27 2015-04-02 Broadcom Corporation System And Method For Under Sampled Image Enhancement
US10848730B2 (en) 2017-06-15 2020-11-24 Blackmagic Design Pty Ltd Raw image processing system and method
JP7507554B2 (ja) * 2019-11-20 2024-06-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
EP4117282A4 (en) * 2020-03-06 2023-04-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, imaging apparatus, electronic device, image processing system and signal processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128186A (ja) * 1999-10-27 2001-05-11 Olympus Optical Co Ltd 画像処理装置
JP2003348609A (ja) * 2002-05-29 2003-12-05 Canon Inc 信号処理装置及び方法
JP2008015741A (ja) * 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3745948B2 (ja) * 2000-08-25 2006-02-15 シャープ株式会社 画像処理装置およびデジタルカメラ
JP4055927B2 (ja) * 2000-08-25 2008-03-05 シャープ株式会社 画像処理装置およびデジタルカメラ
AU2003239746A1 (en) * 2002-07-04 2004-01-23 Koninklijke Philips Electronics N. V. Method and apparatus for signal processing, computer program product, computing system and camera
US7274827B2 (en) 2002-09-12 2007-09-25 Pentax Corporation Filter process
JP3893099B2 (ja) * 2002-10-03 2007-03-14 オリンパス株式会社 撮像システムおよび撮像プログラム
EP1524625A2 (en) * 2003-10-17 2005-04-20 Matsushita Electric Industrial Co., Ltd. Enhancement of interpolated image
JP4700445B2 (ja) 2005-09-01 2011-06-15 オリンパス株式会社 画像処理装置および画像処理プログラム
JP4293174B2 (ja) 2005-09-28 2009-07-08 ソニー株式会社 撮像装置および画像処理装置
JP4424292B2 (ja) * 2005-09-28 2010-03-03 ソニー株式会社 撮像装置、露出制御方法およびプログラム
RU2298226C1 (ru) * 2005-10-28 2007-04-27 Самсунг Электроникс Ко., Лтд. Способ улучшения цифровых изображений
JP4859220B2 (ja) 2006-09-13 2012-01-25 キヤノン株式会社 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置
KR101385961B1 (ko) * 2007-12-21 2014-04-16 삼성전자주식회사 영상신호의 색 노이즈 제거 장치 및 방법
JP5253835B2 (ja) 2008-02-19 2013-07-31 株式会社キーエンス 画像生成装置、画像生成方法及びコンピュータプログラム
JP4958926B2 (ja) * 2009-02-09 2012-06-20 キヤノン株式会社 信号処理装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128186A (ja) * 1999-10-27 2001-05-11 Olympus Optical Co Ltd 画像処理装置
JP2003348609A (ja) * 2002-05-29 2003-12-05 Canon Inc 信号処理装置及び方法
JP2008015741A (ja) * 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235054A (ja) * 2012-05-07 2013-11-21 Canon Inc 焦点検出装置及び撮像装置
WO2014038685A1 (en) * 2012-09-10 2014-03-13 Ricoh Company, Ltd. Image processor, imaging apparatus equipped with the same, and image processing method
JP2014053830A (ja) * 2012-09-10 2014-03-20 Ricoh Co Ltd 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法
US9426437B2 (en) 2012-09-10 2016-08-23 Ricoh Company, Ltd. Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing
CN111543053A (zh) * 2018-02-09 2020-08-14 索尼半导体解决方案公司 图像处理器、图像处理方法和摄像设备
WO2019155944A1 (ja) * 2018-02-09 2019-08-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および撮像装置
JPWO2019155944A1 (ja) * 2018-02-09 2021-01-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および撮像装置
JP7225131B2 (ja) 2018-02-09 2023-02-20 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および撮像装置
US11665440B2 (en) 2018-02-09 2023-05-30 Sony Semiconductor Solutions Corporation Image processor, image processing method, and imaging device
JP7521023B2 (ja) 2018-02-09 2024-07-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および撮像装置
US12200372B2 (en) 2018-02-09 2025-01-14 Sony Semiconductor Solutions Corporation Image processor, image processing method, and imaging device
JP2020092288A (ja) * 2018-12-03 2020-06-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7183015B2 (ja) 2018-12-03 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
CN102640500A (zh) 2012-08-15
GB2488283A (en) 2012-08-22
KR101391161B1 (ko) 2014-05-07
DE112009005418B4 (de) 2018-09-13
JP5591261B2 (ja) 2014-09-17
RU2519829C2 (ru) 2014-06-20
KR20120098802A (ko) 2012-09-05
JPWO2011067850A1 (ja) 2013-04-18
GB201209769D0 (en) 2012-07-18
GB2488283B (en) 2015-10-21
CN102640500B (zh) 2014-12-24
DE112009005418T5 (de) 2012-11-15
US8508625B2 (en) 2013-08-13
US20110134292A1 (en) 2011-06-09
BR112012013067A2 (pt) 2016-11-22
RU2012127768A (ru) 2014-01-10

Similar Documents

Publication Publication Date Title
JP5591261B2 (ja) 画像処理装置
JP5451782B2 (ja) 画像処理装置および画像処理方法
US8724895B2 (en) Techniques for reducing color artifacts in digital images
TWI386049B (zh) A solid-state imaging device, and a device using the solid-state imaging device
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
RU2523003C1 (ru) Устройство обработки изображения и способ управления для устройства обработки изображения
JP6087612B2 (ja) 画像処理装置および画像処理方法
JP5430379B2 (ja) 撮像装置及びその制御方法及びプログラム
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP2008252767A (ja) ノイズ低減装置、ノイズ低減方法、及び電子機器
JP6407643B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
JP4385748B2 (ja) 画像信号処理装置及び画像信号処理方法
JP6408884B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7022544B2 (ja) 画像処理装置及び方法、及び撮像装置
US9013606B2 (en) Image processing apparatus and control method thereof
JP2007180893A (ja) 画像処理装置および撮像装置
JP2006166030A (ja) 色雑音低減手法およびカラー撮像装置
WO2017026449A1 (ja) 撮像装置
JP2005328338A (ja) 撮像装置及び撮像装置付き携帯端末
JP2009231965A (ja) 画像処理装置
JP2009017513A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980162742.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09851858

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 4239/CHENP/2012

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2011544157

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 1209769

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20091204

WWE Wipo information: entry into national phase

Ref document number: 1209769.7

Country of ref document: GB

WWE Wipo information: entry into national phase

Ref document number: 1120090054188

Country of ref document: DE

Ref document number: 112009005418

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 20127016437

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012127768

Country of ref document: RU

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012013067

Country of ref document: BR

122 Ep: pct application non-entry in european phase

Ref document number: 09851858

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 112012013067

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120530