JP4645607B2

JP4645607B2 - Image processing apparatus and method, program, and recording medium

Info

Publication number: JP4645607B2
Application number: JP2007061368A
Authority: JP
Inventors: 博明小野; 知生光永; 誠司小林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-03-12
Filing date: 2007-03-12
Publication date: 2011-03-09
Anticipated expiration: 2022-02-01
Also published as: JP2007209012A

Description

本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、例えば、単板式CCDイメージセンサ等を用いて取得した画像信号から、広ダイナミックレンジのカラー画像信号を生成する場合に用いて好適な画像処理装置および方法、プログラム、並びに記録媒体に関する。 The present invention relates to an image processing apparatus and method, a program, and a recording medium, and is suitable for use when, for example, generating a wide dynamic range color image signal from an image signal acquired using a single-plate CCD image sensor or the like. The present invention relates to an image processing apparatus and method, a program, and a recording medium.

CCD(Charge Coupled Device)やCMOS(Complementary Mental-Oxide Semiconductor)等のような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、ＦＡ(Factory Automation)の分野における部品検査装置、およびＭＥ(Medical Electronics)の分野における電子内視鏡等の光計測装置に幅広く利用されている。 Solid-state imaging devices such as CCD (Charge Coupled Device) and CMOS (Complementary Mental-Oxide Semiconductor) are used as imaging devices such as video cameras and digital still cameras, component inspection devices in the field of FA (Factory Automation), and ME ( Widely used in optical measuring devices such as electronic endoscopes in the field of Medical Electronics.

従来、固体撮像素子を用いた撮像装置および光計測機器のダイナミックレンジを向上させるために、画素毎に異なる感度で計測した光強度信号を合成する方法が知られている。以下、そのような第１乃至第４の従来方法について説明する。 Conventionally, a method of synthesizing light intensity signals measured with different sensitivities for each pixel is known in order to improve the dynamic range of an imaging apparatus using a solid-state imaging device and an optical measurement device. Hereinafter, such first to fourth conventional methods will be described.

第１の従来方法としては、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測する方法を挙げることができる。この方法は、特開平８−２２３４９１号公報等に開示されている。しかしながら、第１の方法では、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、省コスト化や省スペース化の面で不利である問題があった。 As a first conventional method, there is a method in which incident light optically branched to a plurality of optical axes having different transmittances is measured with a solid-state imaging device arranged on each optical axis. This method is disclosed in JP-A-8-223491. However, the first method requires a plurality of solid-state imaging devices and a complicated optical system for branching light, which is disadvantageous in terms of cost saving and space saving.

第２の従来方法としては、１つの固体撮像素子を用い、その露光時間を複数に分割して複数枚の画像を撮像した後、それらを合成する方法を挙げることができる。この方法は、特開平８−３３１４６１号公報等に開示されている。しかしながら、第２の方法では、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーンを正しく撮像できないという問題があった。 As a second conventional method, there is a method in which one solid-state imaging device is used, the exposure time is divided into a plurality of images, and a plurality of images are captured and then combined. This method is disclosed in JP-A-8-331461. However, in the second method, the information measured at different sensitivities is taken at different times and is taken at different time widths, so that the light intensity changes momentarily. There was a problem that it was not possible to capture a correct scene.

第３の従来方法としては、１つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を１組として、受光素子の１組を出力画像の１画素に対応させるようにし、１組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像する方法を挙げることができる。この方法は、米国特許第５７８９７３７号公報等に開示されている。固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるフィルタで覆う方法がある。また、特開２０００−６９４９１号公報には、第３の従来方法をカラー画像に適応する技術が開示されている。 As a third conventional method, one solid-state imaging device is used, a plurality of light-receiving elements adjacent to each other on the imaging surface of the solid-state imaging device are set as one set, and one set of light-receiving elements is made to correspond to one pixel of the output image. In addition, there may be mentioned a method of imaging by setting the sensitivities of a plurality of light receiving elements constituting one set differently. This method is disclosed in US Pat. No. 5,789,737. As a method for changing the sensitivity of each of the light receiving elements constituting the solid-state imaging element, there is a method of covering each light receiving element with a filter having a different transmittance. Japanese Patent Laid-Open No. 2000-69491 discloses a technique for applying the third conventional method to a color image.

第３の従来方法によれば、第１の従来方法において問題であった省コスト化や省スペース化の面で有利となる。また、第２の従来方法において問題であった動的シーンを正しく撮像できないことを解決することができる。しかしながら、第３の従来方法では、隣接する複数の受光素子を１組として出力画像の１画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子から成る撮像素子が必要であり、ユニットセルサイズが大きくなる課題があった。 The third conventional method is advantageous in terms of cost saving and space saving, which were problems in the first conventional method. In addition, it is possible to solve the problem that the dynamic scene that has been a problem in the second conventional method cannot be imaged correctly. However, in the third conventional method, a plurality of adjacent light receiving elements are set as one set and correspond to one pixel of the output image. Therefore, in order to ensure the resolution of the output pixel, the light reception is several times the number of pixels of the output image. An image sensor made up of the elements is required, and there is a problem that the unit cell size becomes large.

第４の従来方法としては、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子毎、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成する方法を挙げることができる。受光素子毎の露出が異なるような仕組みは、受光素子毎に光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する。この方法は、文献「S.K.Nayar and T.Mitsunaga,"High Dynamic Range Imaging:Spatially Varying Pixel Exposures",Proc. of Computer Vision and Pattern Recognition 2000,Vol.1,pp.472-479,June,2000」に開示されている。 As a fourth conventional method, an image signal obtained by imaging an image sensor having a normal dynamic range with a mechanism in which the exposure is different for each light receiving element corresponding to one pixel of the output image. And a method of generating a wide dynamic range image signal by performing predetermined image processing. A mechanism in which the exposure of each light receiving element is different can be realized by creating a pattern of spatial sensitivity by changing the light transmittance or aperture ratio of each light receiving element. This method is described in the document “SKNayar and T. Mitsunaga,“ High Dynamic Range Imaging: Spatially Varying Pixel Exposures ”, Proc. Of Computer Vision and Pattern Recognition 2000, Vol. 1, pp. 472-479, June, 2000. It is disclosed.

第４の従来方法では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報だけしか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。 In the fourth conventional method, each light receiving element has only one type of sensitivity. Therefore, each pixel of the captured image can acquire only the information of the dynamic range of the original image sensor, but the obtained image signal is subjected to predetermined image processing so that the sensitivity of all pixels is uniform. As a result, an image having a wide dynamic range can be generated. Further, since all the light receiving elements are exposed at the same time, it is possible to correctly capture a moving subject. Furthermore, since one light receiving element corresponds to one pixel of the output image, there is no problem of an increase in unit cell size.

上述したように、第４の従来方法は、第１乃至第３の従来方法の問題を解決することが可能である。しかしながら、第４の従来方法は、ダイナミックレンジが広いモノクロ画像を生成することを前提としたものであり、ダイナミックレンジが広いカラー画像を生成することについては、その技術が確立されていない課題があった。具体的には、画素毎に色や感度が異なる画像を元に、全ての画素が全ての色成分を有し、かつ、感度を均一化する技術は確立されていない課題があった。 As described above, the fourth conventional method can solve the problems of the first to third conventional methods. However, the fourth conventional method is premised on generating a monochrome image with a wide dynamic range, and there is a problem that the technology has not been established for generating a color image with a wide dynamic range. It was. Specifically, there is a problem that all pixels have all color components based on images having different colors and sensitivities for each pixel, and a technique for uniformizing the sensitivity has not been established.

したがって、第４の従来技術をカラー画像に適用する場合における色バランスの補正方法についても確立されていない課題があった。 Therefore, there has been a problem that the color balance correction method in the case where the fourth conventional technique is applied to a color image has not been established.

また、第４の従来技術の応用として、撮像する画像の各画素の対応する撮像素子の感度の違いを、撮像素子の読み出しタイミングを変えることで実現する場合において、動きのある被写体を撮像した場合、低感度の画素と高感度の画素とに露出時間が異なることに起因する情報差が発生してしまい、それを局所的に処理すると動きのある被写体のブレ部分にノイズが残ってしまう課題があった。 In addition, as an application of the fourth conventional technique, in the case where the difference in sensitivity of the image sensor corresponding to each pixel of the image to be captured is realized by changing the readout timing of the image sensor, a moving subject is imaged The difference in information caused by the difference in exposure time between low-sensitivity pixels and high-sensitivity pixels occurs, and when this is processed locally, there is a problem that noise remains in the blurred portion of a moving subject. there were.

本発明はこのような状況に鑑みてなされたものであり、画素毎に色や感度が異なる色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が色バランスの調整された全ての色成分を有し、かつ、ノイズが抑制された復元画像を生成できるようにするものである。 The present invention has been made in view of such a situation, and based on a color / sensitivity mosaic image having different colors and sensitivities for each pixel, the sensitivity characteristics of each pixel are made uniform, and each pixel Is capable of generating a restored image having all color components of which the color balance has been adjusted and in which noise is suppressed.

本発明の第１の側面である画像処理装置は、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する撮像素子から出力された色・感度モザイク画像を元にして、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分を有する復元画像を生成する画像処理装置において、前記色・感度モザイク画像の色成分と感度の配列を示す色・感度モザイクパターン情報に基づき、前記色・感度モザイク画像を元にして、各画素の感度が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成手段と、生成された複数の前記感度別色画像を色成分毎に合成して広ダイナミックレンジの色画像を生成する合成手段と、生成された各色成分に対応する複数の前記広ダイナミックレンジの色画像を元にして前記復元画像を生成する復元画像生成手段とを含む。
前記感度別色画像生成手段は、前記色・感度モザイク画像を構成する全ての画素のうち、同一の感度を有し、かつ、同一の色成分を有する画素を用いた補間処理によって前記感度別色画像を生成することができる。
前記合成手段は、前記複数の前記感度別色画像の対応する画素同士の画素値を加算することにより加算画像を生成する加算手段と、生成された前記加算画像を構成する画素の感度特性を補償する感度特性補償手段とを含むことができる。
本発明の第１の側面である画像処理方法は、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する撮像素子から出力された色・感度モザイク画像を元にして、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分を有する復元画像を生成する画像処理装置の画像処理方法において、前記色・感度モザイク画像の色成分と感度の配列を示す色・感度モザイクパターン情報に基づき、前記色・感度モザイク画像を元にして、各画素の感度が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成ステップと、生成された複数の前記感度別色画像を色成分毎に合成して広ダイナミックレンジの色画像を生成する合成ステップと、生成された各色成分に対応する複数の前記広ダイナミックレンジの色画像を元にして前記復元画像を生成する復元画像生成ステップとを含む。
本発明の第１の側面である記録媒体は、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する撮像素子から出力された色・感度モザイク画像を元にして、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分を有する復元画像を生成するためのプログラムであって、前記色・感度モザイク画像の色成分と感度の配列を示す色・感度モザイクパターン情報に基づき、前記色・感度モザイク画像を元にして、各画素の感度が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成ステップと、生成された複数の前記感度別色画像を色成分毎に合成して広ダイナミックレンジの色画像を生成する合成ステップと、生成された各色成分に対応する複数の前記広ダイナミックレンジの色画像を元にして前記復元画像を生成する復元画像生成ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
本発明の第１の側面であるプログラムは、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する撮像素子から出力された色・感度モザイク画像を元にして、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分を有する復元画像を生成するコンピュータに、前記色・感度モザイク画像の色成分と感度の配列を示す色・感度モザイクパターン情報に基づき、前記色・感度モザイク画像を元にして、各画素の感度が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成ステップと、生成された複数の前記感度別色画像を色成分毎に合成して広ダイナミックレンジの色画像を生成する合成ステップと、生成された各色成分に対応する複数の前記広ダイナミックレンジの色画像を元にして前記復元画像を生成する復元画像生成ステップとを含む処理を実行させる。 In the image processing apparatus according to the first aspect of the present invention, each pixel has any one of a plurality of color components, and any one of the plurality of sensitivity characteristics with respect to the light intensity. In an image processing apparatus for generating a restored image in which the sensitivity of each pixel is uniformed and each pixel has the plurality of color components based on a color / sensitivity mosaic image output from an image pickup device having , based on the color and sensitivity mosaic pattern information indicating a sequence of the sensitivity color component of said color and sensitivity mosaic image, based on the color and sensitivity mosaic image, a uniform sensitivity of each pixel, and, and sensitivity each color image generating means for generating a sensitivity-specific color image having a single color component of each pixel, that were generated plurality of synthesized and wide dynamic range of the color image the sensitivity each color image for each color component synthesizing means for generating a generated Including a restored image generating means for color images of a plurality of the wide dynamic range corresponding to each color component based on generating the restored image.
The sensitivity-specific color image generation unit is configured to perform the sensitivity-specific color by interpolation using pixels having the same sensitivity and having the same color component among all the pixels constituting the color / sensitivity mosaic image. An image can be generated.
The synthesizing unit compensates sensitivity characteristics of the pixels constituting the added image and an adding unit that generates an added image by adding pixel values of corresponding pixels of the plurality of sensitivity-specific color images. And sensitivity characteristic compensation means.
In the image processing method according to the first aspect of the present invention, each pixel has any one of a plurality of color components, and any one of the plurality of sensitivity characteristics with respect to light intensity. An image processing apparatus for generating a restored image in which the sensitivity of each pixel is uniform and each pixel has the plurality of color components based on a color / sensitivity mosaic image output from an image pickup device having In the image processing method, based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity arrangement of the color / sensitivity mosaic image, based on the color / sensitivity mosaic image, the sensitivity of each pixel is uniform, In addition, a sensitivity-specific color image generation step for generating a sensitivity-specific color image having a single color component of each pixel, and a color having a wide dynamic range by combining the plurality of generated sensitivity-specific color images for each color component When generating an image Steps and, based on the color image of a plurality of the wide dynamic range for each color component generated and a restored image generation step of generating the restored image.
In the recording medium according to the first aspect of the present invention, each pixel has any one of a plurality of color components, and has any one of a plurality of sensitivity characteristics with respect to light intensity. This is a program for generating a restored image in which the sensitivity of each pixel is made uniform and each pixel has the plurality of color components based on the color / sensitivity mosaic image output from the image pickup device. Based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity array of the color / sensitivity mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and A sensitivity-specific color image generation step for generating a sensitivity-specific color image having a single color component of the pixel, and generating a color image with a wide dynamic range by synthesizing the plurality of generated sensitivity-specific color images for each color component A synthesis step to A plurality of said program for executing the processing including a restored image generation step of generating the restored image based on the color image of wide dynamic range on a computer corresponding to each color component has been made is recorded.
In the program according to the first aspect of the present invention, each pixel has any one of a plurality of color components, and has any one of a plurality of sensitivity characteristics with respect to light intensity. Based on the color / sensitivity mosaic image output from the image sensor, the sensitivity of each pixel is made uniform, and the computer generates a restored image in which each pixel has the plurality of color components. Based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity arrangement of the sensitivity mosaic image, based on the color / sensitivity mosaic image, the sensitivity of each pixel is uniform, and each pixel has a single sensitivity. A sensitivity-specific color image generation step for generating a sensitivity-specific color image having a color component; a combination step for generating a wide dynamic range color image by combining the generated plurality of sensitivity-specific color images for each color component; Generated Color images of a plurality of the wide dynamic range corresponding to each color component based on to execute processing including the restored image generating step of generating the restored image.

本発明の第１の側面においては、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する撮像素子から出力された色・感度モザイク画像の色成分と感度の配列を示す色・感度モザイクパターン情報に基づき、前記色・感度モザイク画像を元にして、各画素の感度が均一であって、かつ、各画素の単一の色成分を有する感度別色画像が生成され、生成された複数の前記感度別色画像を色成分毎に合成して広ダイナミックレンジの色画像が生成され、生成された各色成分に対応する複数の前記広ダイナミックレンジの色画像を元にして復元画像が生成される。In the first aspect of the present invention, each pixel has any one of a plurality of color components, and has any one of a plurality of sensitivity characteristics with respect to light intensity. Based on the color / sensitivity mosaic pattern information indicating the color component of the color / sensitivity mosaic image output from the color / sensitivity mosaic pattern information, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and A sensitivity-specific color image having a single color component of each pixel is generated, and a plurality of the generated sensitivity-specific color images are synthesized for each color component to generate a wide dynamic range color image. A restored image is generated based on the plurality of wide dynamic range color images corresponding to the components.

本発明の第２の側面である画像処理装置は、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、複数の感度特性のうちのいずれかの感度特性を有する撮像素子から出力された色・感度モザイク画像を元にして、各画素の感度が均一化されている各色成分に対応する複数の色画像を生成する画像処理装置において、前記色・感度モザイク画像の色成分と感度の配列を示す色・感度モザイクパターン情報に基づき、前記色・感度モザイク画像を元にして、各画素の感度が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成手段と、生成された複数の前記感度別色画像を色成分毎に合成して広ダイナミックレンジの前記色画像を生成する合成手段とを含む。
前記感度別色画像生成手段は、前記色・感度モザイク画像を構成する全ての画素のうち、同一の感度を有し、かつ、同一の色成分を有する画素を用いた補間処理によって前記感度別色画像を生成することができる。
前記合成手段は、前記複数の前記感度別色画像の対応する画素同士の画素値を加算することにより加算画像を生成する加算手段と、生成された前記加算画像を構成する画素の感度特性を補償する感度特性補償手段とを含むことができる。
本発明の第２の側面である画像処理方法は、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、複数の感度特性のうちのいずれかの感度特性を有する撮像素子から出力された色・感度モザイク画像を元にして、各画素の感度が均一化されている各色成分に対応する複数の色画像を生成する画像処理装置の画像処理方法において、前記色・感度モザイク画像の色成分と感度の配列を示す色・感度モザイクパターン情報に基づき、前記色・感度モザイク画像を元にして、各画素の感度が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成ステップと、生成された複数の前記感度別色画像を色成分毎に合成して広ダイナミックレンジの前記色画像を生成する合成ステップとを含む。
本発明の第２の側面である記録媒体は、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、複数の感度特性のうちのいずれかの感度特性を有する撮像素子から出力された色・感度モザイク画像を元にして、各画素の感度が均一化されている各色成分に対応する複数の色画像を生成するためのプログラムであって、前記色・感度モザイク画像の色成分と感度の配列を示す色・感度モザイクパターン情報に基づき、前記色・感度モザイク画像を元にして、各画素の感度が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成ステップと、生成された複数の前記感度別色画像を色成分毎に合成して広ダイナミックレンジの前記色画像を生成する合成ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
本発明の第２の側面であるプログラムは、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、複数の感度特性のうちのいずれかの感度特性を有する撮像素子から出力された色・感度モザイク画像を元にして、各画素の感度が均一化されている各色成分に対応する複数の色画像を生成するコンピュータに、前記色・感度モザイク画像の色成分と感度の配列を示す色・感度モザイクパターン情報に基づき、前記色・感度モザイク画像を元にして、各画素の感度が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成ステップと、生成された複数の前記感度別色画像を色成分毎に合成して広ダイナミックレンジの前記色画像を生成する合成ステップとを含む処理を実行させる。 In the image processing apparatus according to the second aspect of the present invention, each pixel has any one of a plurality of color components, and has any one of a plurality of sensitivity characteristics. In the image processing apparatus that generates a plurality of color images corresponding to each color component in which the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image output from the element, the color of the color / sensitivity mosaic image Based on the color / sensitivity mosaic pattern information indicating the arrangement of components and sensitivity, the sensitivity of each pixel is uniform and has a single color component for each pixel based on the color / sensitivity mosaic image. A sensitivity-specific color image generating unit that generates another color image; and a plurality of generated sensitivity-specific color images for each color component to generate a color image having a wide dynamic range.
The sensitivity-specific color image generation unit is configured to perform the sensitivity-specific color by interpolation using pixels having the same sensitivity and having the same color component among all the pixels constituting the color / sensitivity mosaic image. An image can be generated.
The synthesizing unit compensates sensitivity characteristics of the pixels constituting the added image and an adding unit that generates an added image by adding pixel values of corresponding pixels of the plurality of sensitivity-specific color images. And sensitivity characteristic compensation means.
In the image processing method according to the second aspect of the present invention, each pixel has any one of a plurality of color components, and has any one of the plurality of sensitivity characteristics. In the image processing method of the image processing apparatus for generating a plurality of color images corresponding to each color component in which the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image output from the element, the color / sensitivity Based on the color / sensitivity mosaic pattern information indicating the arrangement of color components and sensitivity of the mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image and a single color of each pixel. A sensitivity-specific color image generating step for generating a sensitivity-specific color image having a component, and a combining step for generating the color image having a wide dynamic range by combining the plurality of generated sensitivity-specific color images for each color component. Including.
The recording medium according to the second aspect of the present invention is an image pickup device in which each pixel has any one of a plurality of color components, and has any one of a plurality of sensitivity characteristics. A program for generating a plurality of color images corresponding to each color component in which the sensitivity of each pixel is made uniform based on the color / sensitivity mosaic image output from Based on the color / sensitivity mosaic pattern information indicating the arrangement of color components and sensitivity, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and each pixel has a single color component. A process including a sensitivity-specific color image generation step for generating a sensitivity-specific color image, and a combination step of generating the color image having a wide dynamic range by combining the generated plurality of sensitivity-specific color images for each color component. Run on computer Program that has been recorded.
The program according to the second aspect of the present invention is an image sensor in which each pixel has any one of a plurality of color components and has any one of a plurality of sensitivity characteristics. Based on the output color / sensitivity mosaic image, a computer that generates a plurality of color images corresponding to each color component in which the sensitivity of each pixel is uniformed is sent to the color / sensitivity mosaic image. Based on the color / sensitivity mosaic pattern information indicating the arrangement, based on the color / sensitivity mosaic image, a sensitivity-specific color image having uniform sensitivity of each pixel and a single color component of each pixel is obtained. A process including a sensitivity-specific color image generation step to be generated and a synthesis step of combining the generated plurality of sensitivity-specific color images for each color component to generate the color image having a wide dynamic range is executed.

本発明の第２の側面においては、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、複数の感度特性のうちのいずれかの感度特性を有する撮像素子から出力された色・感度モザイク画像の色成分と感度の配列を示す色・感度モザイクパターン情報に基づき、前記色・感度モザイク画像を元にして、各画素の感度が均一であって、かつ、各画素の単一の色成分を有する感度別色画像が生成され、生成された複数の前記感度別色画像を色成分毎に合成して広ダイナミックレンジの前記色画像が生成される。 In the second aspect of the present invention, each pixel has any one of a plurality of color components and is output from an image sensor having any one of a plurality of sensitivity characteristics. Based on the color / sensitivity mosaic pattern information indicating the arrangement of color components and sensitivity of the color / sensitivity mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and each pixel A color image by sensitivity having a single color component is generated, and the color image having a wide dynamic range is generated by synthesizing the generated plurality of color images by sensitivity for each color component.

本発明の第１の側面によれば、画素毎に色や感度が異なる色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が色バランスの調整された全ての色成分を有し、かつ、ノイズが抑制された復元画像を生成することが可能となる。
本発明の第２の側面によれば、画素毎に色や感度が異なる色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が色バランスの調整された全ての色成分を有し、かつ、ノイズが抑制された復元画像を生成可能な、広ダイナミックレンジの色画像を生成することが可能となる。 According to the first aspect of the present invention, the sensitivity characteristics of each pixel are made uniform based on a color / sensitivity mosaic image having different colors and sensitivities for each pixel, and the color balance of each pixel is adjusted. It is possible to generate a restored image that has all the color components that have been generated and that has suppressed noise.
According to the second aspect of the present invention, the sensitivity characteristics of each pixel are made uniform based on a color / sensitivity mosaic image having different colors and sensitivities for each pixel, and each pixel has a color balance adjustment. Therefore, it is possible to generate a color image with a wide dynamic range that can generate a restored image that has all of the color components that are generated and that suppresses noise.

図１は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。 FIG. 1 shows a configuration example of a digital still camera according to an embodiment of the present invention. The digital still camera is roughly composed of an optical system, a signal processing system, a recording system, a display system, and a control system.

光学系は、被写体の光画像を集光するレンズ１、光画像の光量を調整する絞り２、および、集光された光画像を光電変換して電気信号に変換するCCDイメージセンサ４から構成される。 The optical system includes a lens 1 that collects a light image of a subject, a diaphragm 2 that adjusts the light amount of the light image, and a CCD image sensor 4 that photoelectrically converts the collected light image into an electrical signal. The

信号処理系は、CCDイメージセンサ４からの電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路(CDS:Correlated Double Sampling)５、相関２重サンプリング回路５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６から入力されるディジタル信号に所定の画像処理を施す画像処理部７から構成される。なお、画像処理部７が実行する処理の詳細については後述する。 The signal processing system is a correlated double sampling circuit (CDS) 5 that reduces noise by sampling the electrical signal from the CCD image sensor 4 and an analog signal output from the correlated double sampling circuit 5 as a digital signal. An A / D converter 6 for converting to A, and an image processing unit 7 for performing predetermined image processing on the digital signal input from the A / D converter 6. Details of processing executed by the image processing unit 7 will be described later.

記録系は、画像処理部７が処理した画像信号を符号化してメモリ９に記録し、また、読み出して復号し、画像処理部７に供給するCODEC(Compression/Decompression)８、および、画像信号を記憶するメモリ９から構成される。 The recording system encodes the image signal processed by the image processing unit 7 and records it in the memory 9, and reads and decodes the codec (Compression / Decompression) 8 and the image signal supplied to the image processing unit 7. It consists of a memory 9 for storage.

表示系は、画像処理部７が処理した画像信号をアナログ化するＤ／Ａコンバータ１０、アナログ化された画像信号を後段のディスプレイ１２に適合する形式のビデオ信号にエンコードするビデオエンコーダ１１、および、入力されるビデオ信号に対応する画像を表示することによってファインダとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ１２から構成される。 The display system includes a D / A converter 10 that converts the image signal processed by the image processing unit 7 into analog, a video encoder 11 that encodes the analog image signal into a video signal in a format suitable for the display 12 on the subsequent stage, and The display 12 includes an LCD (Liquid Crystal Display) or the like that functions as a finder by displaying an image corresponding to an input video signal.

制御系は、CCDイメージセンサ４乃至画像処理部７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）３、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部１３、および、ドライブ１５を制御して磁気ディスク１６、光ディスク１７、光磁気ディスク１８、または半導体メモリ１９に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、操作入力部１３から入力されるユーザからのコマンド等に基づいてディジタルスチルカメラの全体を制御するCPU(Central Processing Unit)などよりなる制御部１４から構成される。 The control system controls the timing generator (TG) 3 that controls the operation timing of the CCD image sensor 4 to the image processing unit 7, the operation input unit 13 for inputting a shutter operation and other commands by the user, and the drive 15. Then, the control program stored in the magnetic disk 16, the optical disk 17, the magneto-optical disk 18, or the semiconductor memory 19 is read out, based on the read control program, a user command input from the operation input unit 13, and the like. The control unit 14 includes a CPU (Central Processing Unit) that controls the entire digital still camera.

当該ディジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ１および絞り２を介してCCDイメージセンサ４に入射され、CCDイメージセンサ４によって光電変換されて電気信号となる。得られた電気信号は、相関２重サンプリング回路５によってノイズ成分が除去され、Ａ／Ｄコンバータ６によってディジタル化された後、画像処理部７が内蔵する画像メモリに一時格納される。 In the digital still camera, an optical image (incident light) of a subject enters the CCD image sensor 4 through the lens 1 and the diaphragm 2 and is photoelectrically converted by the CCD image sensor 4 into an electrical signal. A noise component is removed from the obtained electrical signal by the correlated double sampling circuit 5, digitized by the A / D converter 6, and then temporarily stored in an image memory built in the image processing unit 7.

なお、通常の状態では、タイミングジェネレータ３による信号処理系に対する制御により、画像処理部７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部７が内蔵する画像メモリの画像信号は、Ｄ／Ａコンバータ１０によってアナログ信号に変換され、ビデオエンコーダ１１によってビデオ信号に変換されて対応する画像がディスプレイ１２に表示される。 In a normal state, the image signal built in the image processing unit 7 is constantly overwritten at a constant frame rate by the control of the signal processing system by the timing generator 3. The image signal in the image memory built in the image processing unit 7 is converted into an analog signal by the D / A converter 10 and converted into a video signal by the video encoder 11, and a corresponding image is displayed on the display 12.

ディスプレイ１２は、当該ディジタルスチルカメラのファインダの役割も担っている。ユーザが操作入力部１３に含まれるシャッタボタンを押下した場合、制御部１４は、タイミングジェネレータ３に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部７の画像メモリに画像信号が上書きされないように信号処理系を制御する。画像処理部７の画像メモリに保持された画像データは、CODEC８によって符号化されてメモリ９に記録される。以上のようなディジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。 The display 12 also serves as a viewfinder for the digital still camera. When the user presses the shutter button included in the operation input unit 13, the control unit 14 causes the timing generator 3 to hold the image signal immediately after the shutter button is pressed, that is, the image processing unit 7 The signal processing system is controlled so that the image signal is not overwritten in the image memory. The image data held in the image memory of the image processing unit 7 is encoded by the CODEC 8 and recorded in the memory 9. The operation of the digital still camera as described above completes the acquisition of one piece of image data.

次に、当該ディジタルスチルカメラの動作の概要について、図２を参照して説明する。当該ディジタルスチルカメラは、CCDイメージセンサ４を中心とする光学系の撮像処理によって、被写体を画素毎に異なる色と感度で撮像し、色と感度がモザイク状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得る。その後、画像処理部７を中心とする信号処理系により、撮像処理によって得られた色・感度モザイク画像を元に、各画素が全ての色成分を有し、かつ、均一の感度を有する広ダイナミックレンジ画像を生成される。以下、色・感度モザイク画像を元にして、各画素が全ての色成分を有し、かつ、均一の感度を有する広ダイナミックレンジ画像を生成する信号処理系の処理を、デモザイク処理とも記述する。 Next, an outline of the operation of the digital still camera will be described with reference to FIG. The digital still camera captures a subject with different colors and sensitivities for each pixel by an imaging process of an optical system centered on the CCD image sensor 4, and images in which the colors and sensitivities are in a mosaic shape (hereinafter referred to as color / sensitivity). It is described as a mosaic image, details of which will be described later. Thereafter, the signal processing system centered on the image processing unit 7 is used to generate a wide dynamic image in which each pixel has all color components and uniform sensitivity based on the color / sensitivity mosaic image obtained by the imaging process. A range image is generated. Hereinafter, the processing of the signal processing system that generates a wide dynamic range image in which each pixel has all color components and uniform sensitivity based on the color / sensitivity mosaic image is also referred to as demosaic processing.

例えば、当該ディジタルスチルカメラによって図３に示すような被写体を撮影した場合、撮像処理により、図４に示すような色・感度モザイク画像が得られ、画像処理により、各画素が全ての色成分と均一の感度を有する広ダイナミックレンジ画像に変換される。すなわち、図４に示す色・感度モザイク画像を元にして図３に示す被写体の本来の色を広ダイナミックレンジで復元する。 For example, when the subject as shown in FIG. 3 is photographed by the digital still camera, a color / sensitivity mosaic image as shown in FIG. 4 is obtained by the imaging process, and each pixel is converted to all the color components by the image process. It is converted into a wide dynamic range image having uniform sensitivity. That is, based on the color / sensitivity mosaic image shown in FIG. 4, the original color of the subject shown in FIG. 3 is restored with a wide dynamic range.

次に、光学系の撮像処理によって得る色・感度モザイク画像の、画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）Ｐ１乃至Ｐ１４を図５乃至図１８に示す。 Next, pixel color component and sensitivity arrangement patterns (hereinafter referred to as color / sensitivity mosaic patterns) P1 to P14 of the color / sensitivity mosaic image obtained by the imaging processing of the optical system are shown in FIGS.

色・感度モザイクパターンを構成する色の組み合わせとしては、Ｒ（赤）、Ｇ（緑）、およびＢ（青）からなる３色の組合せの他、Ｙ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）、およびＧ（緑）からなる４色の組合せ等が考えられる。感度の段階としては、Ｓ０およびＳ１から成る２段階の他、感度Ｓ２を追加した３段階、さらに、感度Ｓ３を追加した４段階等とすることができる。なお、色の種類や組み合わせおよび感度の段階は任意であり、上述した例に限定されるものではない。 As a combination of colors constituting the color / sensitivity mosaic pattern, a combination of three colors including R (red), G (green), and B (blue), Y (yellow), M (magenta), and C ( A combination of four colors including cyan) and G (green) is conceivable. As the sensitivity stage, in addition to the two stages composed of S0 and S1, there may be three stages where sensitivity S2 is added, and four stages where sensitivity S3 is added. Note that the types and combinations of colors and the stage of sensitivity are arbitrary, and are not limited to the above-described examples.

図５乃至図１８においては、１マス目が１画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。例えば、Ｇ₀と表示された画素は、色がＧ（緑）であって、感度がＳ０であることを示している。また、感度については、数字が大きいほどより高感度である、すなわち、Ｓ０よりもＳ１の方が高感度である。 In FIG. 5 to FIG. 18, the first square corresponds to one pixel, the English character indicates the color, and the number as the subscript of the English character indicates the sensitivity. For example, the pixel displayed as G ₀ indicates that the color is G (green) and the sensitivity is S 0. As for the sensitivity, the larger the number, the higher the sensitivity. That is, S1 is more sensitive than S0.

色・感度モザイクパターンＰ１乃至Ｐ１４は、以下に示す第１乃至第４の特徴によって分類することができる。 The color / sensitivity mosaic patterns P1 to P14 can be classified according to the following first to fourth characteristics.

第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。第１の特徴について、図５に示す色・感度モザイクパターンＰ１を参照して説明する。 The first feature is that when pixels having the same color and sensitivity are focused, they are arranged in a grid pattern, and when pixels having the same color regardless of sensitivity are focused, they are grid patterns It is arranged in. The first feature will be described with reference to the color / sensitivity mosaic pattern P1 shown in FIG.

図５の色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２^1/2の間隔で、垂直方向には２^3/2の間隔で格子状の配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２^1/2の間隔で格子状の配置されている。 In the color / sensitivity mosaic pattern P1 of FIG. 5, when attention is paid to pixels whose color is R regardless of sensitivity, as is apparent when the drawing is rotated 45 degrees clockwise, they are horizontal. It is arranged in a lattice pattern at intervals of 2 ^{1/2 in} the direction and at intervals of 2 ^3/2 in the vertical direction. When attention is paid to pixels whose color is B regardless of sensitivity, they are also arranged in the same manner. When attention is paid to pixels whose color is G regardless of the sensitivity, they are arranged in a grid pattern at intervals of 2 ^{1/2 in} the horizontal direction and the vertical direction.

なお、第１の特徴は、図５に示す色・感度モザイクパターンＰ１の他、色・感度モザイクパターンＰ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐ１３にも共通である。 The first feature is common to the color / sensitivity mosaic patterns P2, P4, P6, P8, P9, P10, P11, and P13 in addition to the color / sensitivity mosaic pattern P1 shown in FIG.

第２の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。 The second feature is that when pixels with the same color and sensitivity are focused, they are arranged in a grid pattern, and when pixels with the same sensitivity regardless of color are focused, they are grid pattern When an arbitrary pixel is focused, all colors included in the color / sensitivity mosaic pattern among the colors of a total of five pixels, that pixel and four pixels located above, below, left, and right, are included. Is included.

なお、第２の特徴は、図７に示す色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ７，Ｐ８，Ｐ９，Ｐ１２，Ｐ１４にも共通である。 The second feature is common to the color / sensitivity mosaic patterns P5, P7, P8, P9, P12, and P14 in addition to the color / sensitivity mosaic pattern P3 shown in FIG.

第３の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ(Bayer)配列をなしていることである。第３の特徴について、図６に示す色・感度モザイクパターンＰ２を参照して説明する。 The third feature is that it has the first feature, and furthermore, three kinds of colors are used, and they form a Bayer array. The third feature will be described with reference to the color / sensitivity mosaic pattern P2 shown in FIG.

図６の色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素だけ間隔を空けて市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインだけ間隔を空けて配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインだけ間隔を空けて配置されている。したがって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列をなしている。 In the color / sensitivity mosaic pattern P2 in FIG. 6, when attention is paid to pixels whose color is G regardless of the sensitivity, they are arranged in a checkered pattern with an interval of one pixel. When attention is paid to pixels whose color is R regardless of the sensitivity, they are arranged with an interval of one line. Similarly, when attention is paid to pixels whose color is B regardless of the sensitivity, they are similarly arranged with an interval of one line. Therefore, the pattern P2 has a Bayer array if attention is paid only to the color of the pixel.

なお、第３の特徴は、図６の色・感度モザイクパターンＰ２の他、色・感度モザイクパターンＰ１０，Ｐ１１にも共通である。 The third feature is common to the color / sensitivity mosaic patterns P10 and P11 in addition to the color / sensitivity mosaic pattern P2 of FIG.

第４の特徴は、第２の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。第４の特徴について、図７に示す色・感度モザイクパターンＰ３を参照して説明する。 The fourth feature has the second feature. Further, when attention is paid to pixels having the same sensitivity, the arrangement is a Bayer arrangement. The fourth feature will be described with reference to the color / sensitivity mosaic pattern P3 shown in FIG.

図７の色・感度モザイクパターンＰ３において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ回転させて見れば明らかなように、それらは２^1/2の間隔を空けてベイヤ配列をなしている。また、感度Ｓ１の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。 In the color / sensitivity mosaic pattern P3 in FIG. 7, when only the pixel of sensitivity S0 is focused, as is apparent when the drawing is rotated by 45 degrees diagonally, they are arranged in a Bayer arrangement with an interval of 2 ^1/2. I am doing. Similarly, when attention is paid only to the pixels having the sensitivity S1, they form a Bayer array.

なお、第４の特徴は、図７の色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ１２にも共通である。 The fourth feature is common to the color / sensitivity mosaic patterns P5 and P12 in addition to the color / sensitivity mosaic pattern P3 of FIG.

ところで、以下、図５乃至図１８に示した色・感度モザイクパターンＰ１乃至Ｐ１４に関連し、画素の感度に拘わらず色の配列だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度の配列だけに注目して「感度のモザイク配列」と記述する。 By the way, the color / sensitivity mosaic patterns P1 to P14 shown in FIG. 5 to FIG. 18 will be described as “color mosaic arrangement” by paying attention only to the color arrangement regardless of the pixel sensitivity. Further, focusing on only the sensitivity array regardless of the color, it is described as “sensitivity mosaic array”.

次に、CCDイメージセンサ４において上述した色・感度モザイクパターンを実現する方法について説明する。 Next, a method for realizing the above-described color / sensitivity mosaic pattern in the CCD image sensor 4 will be described.

色・感度モザイクパターンのうち、色のモザイク配列については、CCDイメージセンサ４の受光素子の上面に、画素毎に異なる色の光だけを透過させるオンチップカラーフィルタ２２（図１９）を配置することによって実現する。 Among the color / sensitivity mosaic patterns, for the color mosaic arrangement, an on-chip color filter 22 (FIG. 19) that transmits only light of different colors for each pixel is disposed on the upper surface of the light receiving element of the CCD image sensor 4. Realized by.

また、色・感度モザイクパターンのうち、感度のモザイク配列については、光学的な方法、または電子的な方法によって実現する。 Of the color / sensitivity mosaic patterns, the sensitivity mosaic arrangement is realized by an optical method or an electronic method.

感度のモザイク配列を光学的に実現する方法について説明する。図１９は、CCDイメージセンサ４の受光素子の断面を示している。受光素子の上部表面には、オンチップレンズ２１が配置されている。オンチップレンズ２１は、図面上方から入射される光がフォトダイオード（ＰＤ）２３に集光されるようになされている。オンチップカラーフィルタ２２は、入射光の色を制限する（特定の波長帯域だけを透過させる）。受光素子の下部には、ウェハ中にフォトダイオード２３が形成されている。フォトダイオード２３は、入力された光量に対応して電荷を生じる。フォトダイオード２１の両脇には、垂直レジスタ２６が形成されている。垂直レジスタ２６の上部には、垂直レジスタ２１を駆動する垂直レジスタ駆動電極２５が配線されている。 A method for optically realizing the sensitivity mosaic arrangement will be described. FIG. 19 shows a cross section of the light receiving element of the CCD image sensor 4. An on-chip lens 21 is disposed on the upper surface of the light receiving element. The on-chip lens 21 is configured such that light incident from above is condensed on a photodiode (PD) 23. The on-chip color filter 22 limits the color of incident light (transmits only a specific wavelength band). A photodiode 23 is formed in the wafer below the light receiving element. The photodiode 23 generates an electric charge corresponding to the input light quantity. Vertical registers 26 are formed on both sides of the photodiode 21. A vertical register drive electrode 25 for driving the vertical register 21 is wired on the vertical register 26.

垂直レジスタ２６は、フォトダイオード２３で生じた電荷を転送する領域である。垂直レジスタ２６と垂直レジスタ駆動電極２５は、そこで電荷が生じないように、シールド２４によって遮光されている。シールド２４は、フォトダイオード２３の上部だけが開口しており、その開口部分を入射光が通過してフォトダイオード２３に到達するようになされている。 The vertical register 26 is an area where charges generated in the photodiode 23 are transferred. The vertical register 26 and the vertical register drive electrode 25 are shielded from light by the shield 24 so that no charge is generated there. The shield 24 is open only at the top of the photodiode 23 so that incident light passes through the opening and reaches the photodiode 23.

以上説明したように構成されるCCDイメージセンサ４は、下記の方法によって各受光素子の感度を変えることができる（フォトダイオード２３に対する入射光量を変化させることができる）。 The CCD image sensor 4 configured as described above can change the sensitivity of each light receiving element by the following method (the amount of light incident on the photodiode 23 can be changed).

例えば、図２０に示すように、隣接する受光素子の一方にはオンチップレンズ２１を設け、他方にはオンチップレンズ２１を設けないことにより、隣接する受光素子でそれぞれ集光される光量を変化させることができる。また、例えば図２１に示すように、オンチップカラーフィルタ２２の上方（または下方）にオンチップニュートラルデンシティ（ＮＤ）フィルタ３１を設置することにより、光の透過率を変えることができる。また、例えば図２２に示すように、隣接する受光素子のシールド２４の開口部分の面積を、一方を広く、他方を狭くすることにより、フォトダイオード２３に対する入射光量を変化させることができる。 For example, as shown in FIG. 20, by providing an on-chip lens 21 in one of the adjacent light receiving elements and not providing the on-chip lens 21 in the other, the amount of light collected by the adjacent light receiving elements is changed. Can be made. Further, for example, as shown in FIG. 21, by installing an on-chip neutral density (ND) filter 31 above (or below) the on-chip color filter 22, the light transmittance can be changed. For example, as shown in FIG. 22, the amount of incident light on the photodiode 23 can be changed by making one of the areas of the openings of the shields 24 of adjacent light receiving elements wider and narrower the other.

次に、感度のモザイク配列を電子的に実現する２種類の方法について説明する。 Next, two methods for electronically realizing a sensitivity mosaic arrangement will be described.

第１の方法は、例えば、隣接する２つの受光素子（第1および第2の受光素子）に対し、制御のタイミングを違えることによって２つの受光素子を異なる感度に設定する方法である。第１の方法について、図２３を参照して説明する。 The first method is, for example, a method in which two light receiving elements are set to different sensitivities by changing the control timing for two adjacent light receiving elements (first and second light receiving elements). The first method will be described with reference to FIG.

図２３Ａは、CCDイメージセンサ４の露光期間を示している。図２３Ｂは、電荷掃き出しを指令するパルス電圧のタイミングを示している。図２３Ｃは、電荷転送を指令する制御電圧が与えられるタイミングを示している。図２３Ｄは、第１の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図２３Ｅは、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化を示している。図２３Ｆは、第２の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図２３Ｇは、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。 FIG. 23A shows the exposure period of the CCD image sensor 4. FIG. 23B shows the timing of the pulse voltage that commands the charge sweep. FIG. 23C shows timing at which a control voltage for instructing charge transfer is applied. FIG. 23D shows the timing of the pulse voltage that instructs the first light receiving element to read out charges. FIG. 23E shows a change in the amount of charge accumulated in the first light receiving element in response to application of the charge sweep-out pulse voltage and the charge readout pulse voltage. FIG. 23F shows the timing of the pulse voltage that instructs the second light receiving element to read out charges. FIG. 23G shows a change in the amount of charge accumulated in the second light receiving element in response to application of the charge sweep-out pulse voltage and the charge readout pulse voltage.

感度のモザイク配列を電子的に実現する第１の方法において、電荷掃き出しパルス電圧は、第１および第２の受光素子に対し共通して、露光期間以外においては、フォトダイオード２３から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで１回だけ電荷をリセットするために供給される。 In the first method for electronically realizing the sensitivity mosaic arrangement, the charge sweep-out pulse voltage is common to the first and second light receiving elements, and the charge is swept out of the photodiode 23 during the periods other than the exposure period. (Reset) is supplied, and during the exposure period, the charge is supplied only once at a predetermined timing.

電荷転送電圧は、露光期間以外においては、第１および第２の受光素子に対し共通して垂直レジスタ２６に電荷を転送させるための波形電圧が供給され、露光期間中においては、垂直レジスタ２６からの電荷の転送が停止されるように電荷転送電圧は供給されない。 The charge transfer voltage is supplied with a waveform voltage for transferring charges to the vertical register 26 in common to the first and second light receiving elements except during the exposure period, and from the vertical register 26 during the exposure period. The charge transfer voltage is not supplied so that the charge transfer is stopped.

電荷読み出しパルス電圧は、各受光素子に対して異なるタイミングで供給される。第１の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミング（図２３Ｂ）の直前に、１回目の電荷読み出しパルス電圧が供給され、露光期間中の終了の直前に２回目の電荷読み出しパルス電圧が供給される。 The charge readout pulse voltage is supplied to each light receiving element at different timings. For the first light receiving element, the first charge readout pulse voltage is supplied immediately before the supply timing of the charge sweep-out pulse voltage during the exposure period (FIG. 23B), and the second time just before the end during the exposure period. The charge read pulse voltage is supplied.

その結果、第１の受光素子からは、１回目および２回目の電荷読み出しパルス電圧の供給タイミングのそれぞれにおける第１の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２６の電荷の転送は停止されているので、それら２回の読み出し電荷量が垂直レジスタ２６の中で加算され、露光期間終了後に同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。 As a result, the accumulated charge amount of the first light receiving element at the first and second charge read pulse voltage supply timings is read out from the first light receiving element to the vertical register 26. Note that since the transfer of charges in the vertical register 26 is stopped during the exposure period, these two readout charge amounts are added in the vertical register 26, and from the vertical register 26 as data of the same frame after the exposure period ends. It is supposed to be transferred.

一方、第２の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミングの直前に１回だけ電荷読み出しパルス電圧が供給される。その結果、第２の受光素子からは、１回だけの電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２３の電荷の転送は停止されているので、第２の受光素子から読み出された蓄積電荷は、露光期間終了後に、第１の受光素子から読み出された蓄積電荷と同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。 On the other hand, the charge read pulse voltage is supplied to the second light receiving element only once just before the supply timing of the charge sweep pulse voltage during the exposure period. As a result, from the second light receiving element, the accumulated charge amount of the second light receiving element at the supply timing of the charge reading pulse voltage only once is read out to the vertical register 26. Since the transfer of charges in the vertical register 23 is stopped during the exposure period, the accumulated charge read from the second light receiving element is accumulated from the first light receiving element after the exposure period ends. The data is transferred from the vertical register 26 as data of the same frame as the electric charge.

以上のように、第１の受光素子に対する制御タイミングと、第２の受光素子とに対する制御タイミングとが異なるようすることにより、同じ露光期間中に第１の受光素子殻読み出される蓄積電荷量と、第２の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。 As described above, by making the control timing for the first light receiving element different from the control timing for the second light receiving element, the accumulated charge amount read out from the first light receiving element shell during the same exposure period, The accumulated charge amount read from the second light receiving element, that is, the sensitivity can be set differently.

しかしながら、感度のモザイク配列を電子的に実現する第１の方法では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないことが短所である。 However, the first method for electronically realizing a sensitivity mosaic arrangement is disadvantageous in that it cannot measure subject information over the entire exposure period depending on the light receiving element.

次に、感度のモザイク配列を電子的に実現する第２の方法について、図２４を参照して説明する。図２４Ａ乃至図２４Ｇはそれぞれ、図２３Ａ乃至図２３Ｇと同様に、CCDイメージセンサ４の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第１の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化、第２の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。 Next, a second method for electronically realizing a sensitivity mosaic arrangement will be described with reference to FIG. FIG. 24A to FIG. 24G are similar to FIG. 23A to FIG. 23G, respectively, the exposure period of the CCD image sensor 4, the timing of the pulse voltage for instructing the charge sweep, the timing at which the control voltage for instructing the charge transfer is applied, The change in the amount of charge accumulated in the first light receiving element in response to the timing of the pulse voltage for instructing the light receiving element to read out the charge, the charge sweeping pulse voltage, and the charge reading pulse voltage, the second light receiving A change in the amount of charge accumulated in the second light receiving element is shown in response to the timing of the pulse voltage for instructing charge readout to the element, the charge sweep-out pulse voltage, and the charge readout pulse voltage.

感度のモザイク配列を電子的に実現する第２の方法においては、露光期間中において、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が複数回繰り返して供給される。 In the second method of electronically realizing the sensitivity mosaic arrangement, the charge sweep-out pulse voltage and the charge readout pulse voltage are repeatedly supplied a plurality of times during the exposure period.

すなわち、電荷掃き出しパルス電圧については、第１および第２の受光素子の双方に対し、露光期間中において、１回目の電荷掃き出しパルス電圧と２回目の電荷掃き出しパルス電圧の組が複数回供給される。電荷読み出しパルス電圧については、第１の受光素子に対しては、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回目の電荷読み出しパルス電圧が供給され、２回目の電荷掃き出しパルス電圧の直前に２回目の電荷読み出しパルス電圧が供給される。一方、第２の受光素子に対しては、電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回だけ電荷読み出しパルス電圧が供給される。 That is, for the charge sweep pulse voltage, a set of the first charge sweep pulse voltage and the second charge sweep pulse voltage is supplied to both the first and second light receiving elements a plurality of times during the exposure period. . Regarding the charge readout pulse voltage, for the first light receiving element, the first charge readout pulse voltage is set immediately before the first charge sweep pulse voltage for each set of the first and second charge sweep pulse voltages. The second charge read pulse voltage is supplied immediately before the second charge sweep pulse voltage. On the other hand, the charge read pulse voltage is supplied to the second light receiving element only once for each set of charge sweep pulse voltages, just before the first charge sweep pulse voltage.

その結果、第１の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量と、２回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、垂直レジスタ２６の電荷の転送が停止されているので、これら組毎に２回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。第２の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に１回だけ供給される電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が読み出される。これら組ごとに１回ずつ読み出された電荷量は、垂直レジスタ２６の中で加算される。 As a result, from the first light receiving element, the accumulated charge amount of the first light receiving element at the supply timing of the first charge read pulse voltage and the second time for each set of the first and second charge sweep pulse voltages. The accumulated charge amount of the first light receiving element at the supply timing of the charge read pulse voltage is read out. Note that, during the exposure period, the transfer of charges in the vertical register 26 is stopped, so that the amount of charge read out twice for each set is added in the vertical register 26. From the second light receiving element, the accumulated charge amount of the second light receiving element at the supply timing of the charge read pulse voltage supplied only once for each set of the first and second charge sweep pulse voltages is read. The charge amount read once for each group is added in the vertical register 26.

以上のように、感度のモザイク配列を電子的に実現する第２の方法では、露光期間において電荷の読み出しを複数に亘って繰り返すことになるので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。すなわち、第２の方法は、上述した第１の方法の短所を解決することが可能である。 As described above, in the second method of electronically realizing the sensitivity mosaic arrangement, the readout of the charge is repeated over a plurality of times during the exposure period, so that information on the subject over the entire area during the exposure period is measured. It becomes possible. That is, the second method can solve the disadvantages of the first method described above.

なお、上述した感度のモザイク配列を電子的に実現する第１および第２の方法に関連し、一般的に、CCDイメージセンサ４の読み出し制御は、水平ライン毎に配線される垂直レジスタ駆動電極２５に印加される。例えば、図５に示した色・感度モザイクパターンＰ１のように、水平ライン毎に感度が変わるような感度のモザイク配列を実現するためには、その電極構造を利用すればよいので、ラインごとに異なる読み出しパルス電圧が印加されるように若干の改良をおこなえばよい。さらに、３相駆動の垂直レジスタを持つプログレッシブスキャンのCCDイメージセンサにおいては、その電極構造を工夫することによって、２段階感度による任意のモザイク配列を電子的に実現できる。 Incidentally, in relation to the first and second methods for electronically realizing the above-described sensitivity mosaic arrangement, generally, the readout control of the CCD image sensor 4 is performed by the vertical register drive electrode 25 wired for each horizontal line. To be applied. For example, as in the color / sensitivity mosaic pattern P1 shown in FIG. 5, in order to realize a sensitivity mosaic arrangement in which the sensitivity changes for each horizontal line, the electrode structure may be used. A slight improvement may be made so that different read pulse voltages are applied. Further, in a progressive scan CCD image sensor having a three-phase drive vertical register, an arbitrary mosaic arrangement with two-step sensitivity can be realized electronically by devising the electrode structure.

図２５は、２段階の感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第１の電極構造を示している。図２６は、図２５の図中の線分ａａ'におけるCCDイメージセンサの断面図を示している。第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。一方、第３相垂直レジスタ駆動電極４４は、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。また、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４は、対応するフォトダイオ−ド２３に隣接する読み出しゲ−ト４１上にもかかるようになされている。 FIG. 25 shows a first electrode structure of a polysilicon electrode for vertical transfer by electrode wiring used for realizing a mosaic arrangement of two levels of sensitivity. FIG. 26 shows a cross-sectional view of the CCD image sensor taken along line aa ′ in FIG. Since the first-phase vertical register drive electrode 42 and the second-phase vertical register drive electrode 43 are connected to the electrodes of adjacent pixels on the same horizontal line, the electrodes on the same horizontal line are driven in synchronization. On the other hand, since the third-phase vertical register drive electrode 44 is connected to the electrodes of adjacent pixels on the same vertical line, the electrodes on the same vertical line are driven synchronously. The second-phase vertical register drive electrode 43 and the third-phase vertical register drive electrode 44 are also placed on the read gate 41 adjacent to the corresponding photodiode 23.

したがって、第２相垂直レジスタ駆動電極４３、または第３相垂直レジスタ駆動電極４４に読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを一時的に取り除き、対応するフォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送することが可能である。以下、図２５および図２６に示した電極構造をＯＲ型の電極構造と記述する。 Therefore, when a read pulse is applied to the second phase vertical register drive electrode 43 or the third phase vertical register drive electrode 44, the barrier of the read gate 41 is temporarily removed and stored in the corresponding photodiode 23. The stored charge can be transferred to the vertical register 26. Hereinafter, the electrode structure shown in FIGS. 25 and 26 is described as an OR-type electrode structure.

図２７は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第２の電極構造を示している。図２７の図中の線分ａａ'におけるCCDイメージセンサの断面も、図２６に示した断面図と同様である。すなわち、第２の電極構造においても、第１の電極構造と同様に、第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。第３相垂直レジスタ駆動電極４４は、第１の電極構造と同様に、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。 FIG. 27 shows a second electrode structure of a polysilicon electrode for vertical transfer using electrode wirings used to realize a sensitivity mosaic arrangement having two levels of sensitivity. The cross section of the CCD image sensor taken along line aa ′ in FIG. 27 is the same as the cross section shown in FIG. That is, also in the second electrode structure, as in the first electrode structure, the first-phase vertical register drive electrode 42 and the second-phase vertical register drive electrode 43 are connected to the electrodes of adjacent pixels on the same horizontal line. Therefore, the electrodes on the same horizontal line are driven synchronously. Similarly to the first electrode structure, the third-phase vertical register drive electrode 44 is connected to the electrodes of adjacent pixels on the same vertical line, so that the electrodes on the same vertical line are driven in synchronization.

しかしながら、第３相垂直レジスタ駆動電極４４が対応するフォトダイオ−ド２３に隣接する読み出しゲート４１上において、当該フォトダイオ−ド２３の辺縁部分に沿って配置され、次いでそれに隣接するように第２相垂直レジスタ駆動電極４３の細長く加工された部分が読み出しゲート４１にかかるようになされている点が第１の電極構造と異なる。 However, the third-phase vertical register drive electrode 44 is arranged on the readout gate 41 adjacent to the corresponding photodiode 23 along the edge portion of the photodiode 23, and then adjacent to the photodiode 23. The difference from the first electrode structure is that the elongated processed portion of the two-phase vertical register drive electrode 43 covers the read gate 41.

したがって、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４のうち、一方だけに読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを取り除くことができない。読み出しゲ−ト４１のバリアを取り除き、フォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送するためには、第２相垂直レジスタ駆動電極４３と第３相垂直レジスタ駆動電極４４に同時に読み出しパルスを印加する必要がある。以下、図２７に示した電極構造をAND型の電極構造と記述する。 Therefore, when a read pulse is applied to only one of the second phase vertical register drive electrode 43 and the third phase vertical register drive electrode 44, the barrier of the read gate 41 cannot be removed. In order to remove the barrier of the read gate 41 and transfer the charges accumulated in the photodiode 23 to the vertical register 26, the second-phase vertical register drive electrode 43 and the third-phase vertical register drive electrode 44 are connected to each other. It is necessary to apply a read pulse at the same time. Hereinafter, the electrode structure shown in FIG. 27 is described as an AND-type electrode structure.

以上説明したＯＲ型の電極構造とAND型の電極構造を１つのCCDイメージセンサ内で組み合わせて用いることにより、２段階感度による任意のモザイク配列を実現することができる。例えば、図５に示した色・感度モザイクパターンＰ１のうち、感度のモザイク配列を実現するためには、図２８に示すようにＯＲ型の電極構造とAND型の電極構造を組み合わせればよい。 By using the OR-type electrode structure and the AND-type electrode structure described above in combination in one CCD image sensor, an arbitrary mosaic arrangement with two-step sensitivity can be realized. For example, in order to realize a sensitivity mosaic arrangement in the color / sensitivity mosaic pattern P1 shown in FIG. 5, an OR-type electrode structure and an AND-type electrode structure may be combined as shown in FIG.

図５と図２８を比較すれば明らかなように、２段階の感度Ｓ０，Ｓ１のうち、低感度Ｓ０の画素にはAND型の電極構造を採用し、高感度Ｓ１の画素にはＯＲ型の電極構造を採用するようにする。このように、ＯＲ型とAND型の電極構造を組み合わせて構成したCCDイメージセンサ４に対し、その第２相垂直レジスタ駆動電極４３に読み出しパルス電圧を印加すれば、ＯＲ型の画素だけで電荷読み出しがおこなわれ、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４に同時に読みだしパルス電圧を印加すれば、ＯＲ型とAND型の両方、すなわち全ての画素で電荷読み出しがおこなわれることになる。 As is clear from comparison between FIG. 5 and FIG. 28, of the two levels of sensitivity S0 and S1, the low sensitivity S0 pixel employs an AND-type electrode structure, and the high sensitivity S1 pixel employs an OR type. Adopt an electrode structure. In this way, if a readout pulse voltage is applied to the second-phase vertical register drive electrode 43 for the CCD image sensor 4 configured by combining the OR type and AND type electrode structures, the charge readout is performed only by the OR type pixels. If a read voltage is applied simultaneously to the second-phase vertical register drive electrode 43 and the third-phase vertical register drive electrode 44, charge reading is performed in both the OR type and the AND type, that is, all the pixels. It will be.

なお、第２相垂直レジスタ駆動電極４３、および第３相垂直レジスタ駆動電極４４に対するパルス電圧の供給タイミングは、図２４（図２３でもよい）に示した制御タイミングのうち、同図Ｄの１回目の電荷読み出しパルス電圧の供給タイミングと、同図Ｆの電荷読み出しパルス電圧の供給タイミングにおいて、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４の両方を駆動し、同図Ｄの２回目の電荷読み出しパルス電圧の供給タイミングにおいて第２相垂直レジスタ駆動電極４３だけを駆動するようにすれば、ＯＲ型の電極構造の画素は高感度Ｓ１となり、AND型の電極構造の画素は低感度Ｓ０となる。 The supply timing of the pulse voltage to the second-phase vertical register drive electrode 43 and the third-phase vertical register drive electrode 44 is the first time in the same diagram D of the control timing shown in FIG. 24 (or FIG. 23). Both the second-phase vertical register drive electrode 43 and the third-phase vertical register drive electrode 44 are driven at the charge read pulse voltage supply timing and the charge read pulse voltage supply timing shown in FIG. If only the second-phase vertical register drive electrode 43 is driven at the second charge readout pulse voltage supply timing, the pixel having the OR type electrode structure has high sensitivity S1, and the pixel having the AND type electrode structure is low. Sensitivity S0 is obtained.

同様に、２段階の感度を有するその他の感度のモザイク配列も、ＯＲ型の電極構造とAND型の電極構造を組み合わせることによって実現することができる。 Similarly, a mosaic arrangement of other sensitivities having two levels of sensitivity can also be realized by combining an OR type electrode structure and an AND type electrode structure.

例えば、図６に示した色・感度モザイクパターンＰ２のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図２９に示すように組み合わせればよい。図７に示した色・感度モザイクパターンＰ３のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３０に示すように組み合わせればよい。図８に示した色・感度モザイクパターンＰ４のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３１に示すように組み合わせればよい。図９に示した色・感度モザイクパターンＰ５のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３２に示すように組み合わせればよい。 For example, among the color / sensitivity mosaic pattern P2 shown in FIG. 6, in order to realize a sensitivity mosaic pattern, the OR type and the AND type may be combined as shown in FIG. Of the color / sensitivity mosaic pattern P3 shown in FIG. 7, in order to realize a sensitivity mosaic pattern, the OR type and the AND type may be combined as shown in FIG. Of the color / sensitivity mosaic pattern P4 shown in FIG. 8, in order to realize a sensitivity mosaic pattern, the OR type and the AND type may be combined as shown in FIG. Of the color / sensitivity mosaic pattern P5 shown in FIG. 9, in order to realize a sensitivity mosaic pattern, the OR type and the AND type may be combined as shown in FIG.

次に、図３３は、入力される色・感度モザイク画像を元にして、各画素が全ての色成分を有し、かつ、感度が均一である広ダイナミックレンジ画像を生成するデモザイク処理を実行する画像処理部７の構成例を示している。 Next, FIG. 33 executes a demosaic process for generating a wide dynamic range image in which each pixel has all color components and the sensitivity is uniform based on the input color / sensitivity mosaic image. An example of the configuration of the image processing unit 7 is shown.

なお、図３３においては、色・感度モザイクパターンＰ１の色・感度モザイク画像が入力されるように図示されているが、入力する色・感度モザイク画像の色・感度モザイクパターンは任意である。 In FIG. 33, the color / sensitivity mosaic image P1 of the color / sensitivity mosaic pattern P1 is input, but the color / sensitivity mosaic image of the input color / sensitivity mosaic image is arbitrary.

また、画像処理部７を構成する各部には、入力される色・感度モザイク画像の色・感度モザイクパターンを示す情報が供給されているものとする。 Further, it is assumed that information indicating the color / sensitivity mosaic pattern of the input color / sensitivity mosaic image is supplied to each unit constituting the image processing unit 7.

また、図３３においては、出力結果としての各画素が全ての色成分を有し、かつ、感度が均一である広ダイナミックレンジ画像を、各画素の感度が均一である広ダイナミックレンジの３種類の色画像として示している。 Further, in FIG. 33, each pixel as an output result has all color components and a wide dynamic range image with uniform sensitivity, and three types of wide dynamic range with uniform sensitivity of each pixel. Shown as a color image.

色バランス補正部６１は、入力される色・モザイク画像の色バランスを補正して、補正済みの色・モザイク画像を感度別色画像生成部６２に出力する。ここで、色バランスを補正する処理とは、一般にホワイトバランス処理と呼ばれている処理であり、各色の平均を算出して用いてもよいし、既存の統計情報を用いてもよい。 The color balance correction unit 61 corrects the color balance of the input color / mosaic image and outputs the corrected color / mosaic image to the sensitivity-specific color image generation unit 62. Here, the process of correcting the color balance is a process generally called a white balance process, and an average of each color may be calculated and used, or existing statistical information may be used.

図３４は、色バランス補正部６１の第１の構成例を示している。色バランス算出部７１は、入力される色・感度モザイク画像の全体から１つの色バランス情報を算出する。その方法は、各色の平均を算出して用いてもよいし、既存の統計情報を用いてもよい。色バランス調整部７２は、色バランス算出部７１によって算出される色バランス情報に基づき、入力される色・感度モザイク画像の色バランスを補正する。色バランス補正済みの色・感度モザイク画像は、感度別色画像生成部６２に供給される。 FIG. 34 shows a first configuration example of the color balance correction unit 61. The color balance calculation unit 71 calculates one color balance information from the entire input color / sensitivity mosaic image. In this method, the average of each color may be calculated and used, or existing statistical information may be used. The color balance adjustment unit 72 corrects the color balance of the input color / sensitivity mosaic image based on the color balance information calculated by the color balance calculation unit 71. The color / sensitivity mosaic image whose color balance has been corrected is supplied to the sensitivity-specific color image generation unit 62.

図３５は、色バランス補正部６１の第２の構成例を示している。感度別色バランス算出部８１は、入力される色・感度モザイク画像の感度毎の色バランス情報を算出する。その方法は、各感度について、各色の平均を算出して用いてもよいし、既存の統計情報を用いてもよい。図３５の場合、感度Ｓ０の色バランス情報と、感度Ｓ１の色バランス情報が算出される。 FIG. 35 shows a second configuration example of the color balance correction unit 61. The sensitivity-specific color balance calculation unit 81 calculates color balance information for each sensitivity of the input color / sensitivity mosaic image. The method may calculate and use the average of each color for each sensitivity, or may use existing statistical information. In the case of FIG. 35, the color balance information of sensitivity S0 and the color balance information of sensitivity S1 are calculated.

感度別色バランス情報合成部８２は、感度別色バランス算出部８１によって算出される感度別の色バランス情報を合成して１つの色バランス情報を生成する。色バランス調整部８３は、感度別色バランス情報合成部８２によって生成される色バランス情報に基づき、入力される色・感度モザイク画像の色バランスを補正する。色バランス補正済みの色・感度モザイク画像は、感度別色画像生成部６２に供給される。 The sensitivity-specific color balance information combining unit 82 combines the sensitivity-specific color balance information calculated by the sensitivity-specific color balance calculation unit 81 to generate one color balance information. The color balance adjustment unit 83 corrects the color balance of the input color / sensitivity mosaic image based on the color balance information generated by the sensitivity-specific color balance information synthesis unit 82. The color / sensitivity mosaic image whose color balance has been corrected is supplied to the sensitivity-specific color image generation unit 62.

図３３に戻る。感度別色画像生成部６２は、入力される色バランス補正済みの色・感度モザイク画像のうち、同一の感度および色成分を有する画素を用いた補間によって感度別色画像を生成する。いまの場合、例えば、色バランス補正済みの色・感度モザイク画像のうちの感度Ｓ０でＲ成分の画素だけに注目して、補間により、感度Ｓ０でＲ成分の画素だけで構成される感度別色画像Ｒ０を生成する。同様に、感度Ｓ１でＲ成分の画素だけで構成される感度別色画像Ｒ１、感度Ｓ０でＧ成分の画素だけで構成される感度別色画像Ｇ０、感度Ｓ１でＧ成分の画素だけで構成される感度別色画像Ｇ１、感度Ｓ０でＢ成分の画素だけで構成される感度別色画像Ｂ０、および、感度Ｓ１でＢ成分の画素だけで構成される感度別色画像Ｂ１を生成する。なお、補間以外の方法によって、感度別色画像を生成するようにしてもよい。 Returning to FIG. The sensitivity-specific color image generation unit 62 generates a sensitivity-specific color image by interpolation using pixels having the same sensitivity and color component among the input color / sensitivity mosaic images after color balance correction. In this case, for example, in the color / sensitivity mosaic image that has undergone color balance correction, paying attention to only the R component pixel with sensitivity S0, and by interpolation, the sensitivity-specific colors composed of only the R component pixel with sensitivity S0. An image R0 is generated. Similarly, a sensitivity-specific color image R1 composed only of R component pixels with sensitivity S1, a sensitivity-specific color image G0 composed of only G component pixels with sensitivity S0, and a G component pixel composed of sensitivity S1. A sensitivity-specific color image G1, a sensitivity-specific color image B0 composed of only B component pixels with sensitivity S0, and a sensitivity-specific color image B1 composed of only B component pixels with sensitivity S1 are generated. Note that the sensitivity-specific color image may be generated by a method other than interpolation.

画像合成部６３Ｒは、感度別色画像生成部６２によって生成される感度別色画像Ｒ０，Ｒ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｒを生成する。 The image synthesis unit 63R generates a color image R with a wide dynamic range by synthesizing corresponding pixel pairs of the sensitivity-specific color images R0 and R1 generated by the sensitivity-specific color image generation unit 62.

図３６は、画像合成部６３Ｒの構成例を示している。加算部９１は、感度別色画像生成部６２によって生成される感度別色画像Ｒ０，Ｒ１の同一座標の画素対を加算することによって加算画像を生成し、合成感度補償部９２に出力する。合成感度補償部９２は、合成感度補償関数を導出し、加算画像の画素（Ｒ₀＋Ｒ₁）に対して、導出する合成感度補償関数を用いて感度補償を施して広ダイナミックレンジの色画像Ｒを生成する。 FIG. 36 shows a configuration example of the image composition unit 63R. The adding unit 91 generates an added image by adding pixel pairs having the same coordinates in the sensitivity-specific color images R0 and R1 generated by the sensitivity-specific color image generating unit 62, and outputs the added image to the combined sensitivity compensation unit 92. The composite sensitivity compensation unit 92 derives a composite sensitivity compensation function, performs sensitivity compensation on the pixel (R ₀ + R ₁ ) of the added image using the derived composite sensitivity compensation function, and performs a wide dynamic range color image R. Is generated.

ここで、合成感度補償部推定部９２が導出する合成感度補償関数について、図３７乃至図３９を参照して説明する。図３７において、横軸は入射光の強度、縦軸は画素値を示しており、線ａ，ｂは、それぞれ、感度Ｓ０，Ｓ１の画素の感度特性を示している。同図において、高い方の感度Ｓ１（線ｂ）は、低い方の感度Ｓ０（線ａ）に対して４倍の感度を有している。 Here, the composite sensitivity compensation function derived by the composite sensitivity compensation unit estimation unit 92 will be described with reference to FIGS. In FIG. 37, the horizontal axis indicates the intensity of the incident light, the vertical axis indicates the pixel value, and the lines a and b indicate the sensitivity characteristics of the pixels having the sensitivity S0 and S1, respectively. In the figure, the higher sensitivity S1 (line b) is four times as sensitive as the lower sensitivity S0 (line a).

合成感度補償部９２の前段である加算部９１においては、図３７の特性曲線ａに示すような感度特性で取得された画素Ｒ₀と、同図の特性曲線ｂに示すような感度特性で取得された感度Ｓ１の画素Ｒ₁が加算されている。従って、それらの加算値Ｒ₀＋Ｒ₁は、特性曲線ａと特性曲線ｂを合成した、図３８の特性曲線ｃが示す感度特性を有することになる。 In the addition unit 91, which is the previous stage of the combined sensitivity compensation unit 92, the pixel R ₀ acquired with the sensitivity characteristic as shown in the characteristic curve a in FIG. 37 and the sensitivity characteristic as shown in the characteristic curve b in FIG. The pixel R ₁ having the sensitivity S1 is added. Therefore, the added value R ₀ + R ₁ has the sensitivity characteristic indicated by the characteristic curve c in FIG. 38, which is a combination of the characteristic curve a and the characteristic curve b.

したがって、加算画像の画素（Ｒ₀＋Ｒ₁）は、広ダイナミックレンジではあるが、その感度特性は、図３８の特性曲線ｃのように非線形（折れ線）となっている。そこで、非線形である加算画像の画素（Ｒ₀＋Ｒ₁）の感度特性が線形となるように補償するために、加算画像の画素（Ｒ₀＋Ｒ₁）に、特性曲線ｃの逆特性曲線ｄ（図３９）を合成感度補償関数として導出する。 Therefore, although the pixel (R ₀ + R ₁ ) of the added image has a wide dynamic range, its sensitivity characteristic is non-linear (a broken line) as shown by a characteristic curve c in FIG. Therefore, in order to compensate so that the non-linear addition image pixel (R ₀ + R ₁ ) has a linear sensitivity characteristic, the addition image pixel (R ₀ + R ₁ ) has an inverse characteristic curve d ( FIG. 39) is derived as a composite sensitivity compensation function.

なお、合成感度補償部９２が処理毎に合成感度補償関数を導出するのではなく、合成感度補償関数を合成感度補償部９２に予め供給するようにしてもよい。また、合成感度補償関数の代わりに、ルックアップテーブルを用いるようにしてもよい。 The composite sensitivity compensation unit 92 may not supply a composite sensitivity compensation function for each process, but may supply the composite sensitivity compensation function to the composite sensitivity compensation unit 92 in advance. Further, a lookup table may be used instead of the composite sensitivity compensation function.

図３３に戻る。画像合成部６３Ｇは、感度別色画像生成部６２によって生成される感度別色画像Ｇ０，Ｇ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｇを生成する。画像合成部６３Ｂは、感度別色画像生成部６２によって生成される感度別色画像Ｂ０，Ｂ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｂを生成する。なお、画像合成部６３Ｇ，６３Ｒの構成例は、図３６に示した画像合成部６３Ｒの構成例と同様であるので、その説明は省略する。 Returning to FIG. The image synthesis unit 63G generates a color image G with a wide dynamic range by synthesizing corresponding pixel pairs of the sensitivity-specific color images G0 and G1 generated by the sensitivity-specific color image generation unit 62. The image synthesis unit 63B generates a color image B with a wide dynamic range by synthesizing corresponding pixel pairs of the sensitivity-specific color images B0 and B1 generated by the sensitivity-specific color image generation unit 62. Note that the configuration example of the image synthesis units 63G and 63R is the same as the configuration example of the image synthesis unit 63R shown in FIG.

次に、画像処理部７によるデモザイク処理について、図４０のフローチャートを参照して説明する。 Next, demosaic processing by the image processing unit 7 will be described with reference to the flowchart of FIG.

なお、既に画像処理部７には、色・感度モザイク画像と、色・感度モザイク画像の色・感度モザイクパターンを示す情報が供給されているものとする。 It is assumed that the image processing unit 7 has already been supplied with information indicating the color / sensitivity mosaic image and the color / sensitivity mosaic pattern of the color / sensitivity mosaic image.

ステップＳ１において、色バランス補正部６１は、供給された色・モザイク画像の色バランスを補正する。具体的には、図４１または図４２のフローチャートに示す動作により、供給された色・モザイク画像の色バランスを補正する。その後、色バランス補正部６１は、色バランス補正済みの色・感度モザイク画像を、感度別色画像生成部６２に供給する。 In step S1, the color balance correction unit 61 corrects the color balance of the supplied color / mosaic image. Specifically, the color balance of the supplied color / mosaic image is corrected by the operation shown in the flowchart of FIG. 41 or 42. Thereafter, the color balance correction unit 61 supplies the color / sensitivity mosaic image after the color balance correction to the sensitivity-specific color image generation unit 62.

図４１のフローチャートは、色バランス補正部６１の第１の構成例に対応する動作を示している。ステップＳ１１において、色バランス算出部７１は、入力された色・感度モザイク画像の全体から１つの色バランス情報を算出する。ステップＳ１２において、色バランス調整部７２は、色バランス算出部７１によって算出された色バランス情報に基づき、入力された色・感度モザイク画像の色バランスを調整する。 The flowchart in FIG. 41 illustrates an operation corresponding to the first configuration example of the color balance correction unit 61. In step S11, the color balance calculation unit 71 calculates one color balance information from the entire input color / sensitivity mosaic image. In step S 12, the color balance adjustment unit 72 adjusts the color balance of the input color / sensitivity mosaic image based on the color balance information calculated by the color balance calculation unit 71.

図４２のフローチャートは、色バランス補正部６１の第２の構成例に対応する動作を示している。ステップＳ２１において、感度別色バランス算出部８１は、入力された色・感度モザイク画像のうち、感度Ｓ０の画素に基づいて感度Ｓ０の色バランス情報を生成し、感度Ｓ１の画素に基づいて感度Ｓ１の色バランス情報を生成する。ステップＳ２２において、感度別色バランス情報合成部８２は、感度別色バランス算出部８１によって算出された、感度Ｓ０の色バランス情報、および感度Ｓ１の色バランス情報を合成して１つの色バランス情報を生成する。ステップＳ２３において、色バランス調整部８３は、感度別色バランス情報合成部８２によって生成された色バランス情報に基づき、入力された色・感度モザイク画像の色バランスを補正する。 The flowchart in FIG. 42 illustrates an operation corresponding to the second configuration example of the color balance correction unit 61. In step S21, the sensitivity-specific color balance calculation unit 81 generates color balance information of sensitivity S0 based on pixels of sensitivity S0 in the input color / sensitivity mosaic image, and sensitivity S1 based on pixels of sensitivity S1. Generate color balance information for. In step S22, the sensitivity-specific color balance information synthesis unit 82 synthesizes the color balance information of sensitivity S0 and the color balance information of sensitivity S1 calculated by the sensitivity-specific color balance calculation unit 81 to generate one color balance information. Generate. In step S23, the color balance adjusting unit 83 corrects the color balance of the input color / sensitivity mosaic image based on the color balance information generated by the sensitivity-specific color balance information combining unit 82.

図４０に戻る。ステップＳ２において、感度別色画像生成部６２は、色バランス補正部６１から供給された色バランス補正済みの色・感度モザイク画像に基づいて感度別色画像を生成する。 Returning to FIG. In step S 2, the sensitivity-specific color image generation unit 62 generates a sensitivity-specific color image based on the color-balance-corrected color / sensitivity mosaic image supplied from the color balance correction unit 61.

ステップＳ３において、画像合成部６３Ｒは、感度別色画像生成部６２によって生成された感度別色画像Ｒ０，Ｒ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｒを生成する。画像合成部６３Ｇは、感度別色画像生成部６２によって生成された感度別色画像Ｇ０，Ｇ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｇを生成する。画像合成部６３Ｂは、感度別色画像生成部６２によって生成された感度別色画像Ｂ０，Ｂ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｂを生成する。 In step S3, the image synthesis unit 63R generates a color image R with a wide dynamic range by synthesizing corresponding pixel pairs of the sensitivity-specific color images R0 and R1 generated by the sensitivity-specific color image generation unit 62. The image synthesis unit 63G generates a color image G having a wide dynamic range by synthesizing corresponding pixel pairs of the sensitivity-specific color images G0 and G1 generated by the sensitivity-specific color image generation unit 62. The image synthesis unit 63B generates a color image B with a wide dynamic range by synthesizing corresponding pixel pairs of the sensitivity-specific color images B0 and B1 generated by the sensitivity-specific color image generation unit 62.

ステップＳ３の画像合成部６３Ｒによる、広ダイナミックレンジの色画像Ｒを生成する処理について、図４３を参照して説明する。ステップＳ３１において、加算部９１は、感度別色画像生成部６２によって生成された感度別色画像Ｒ０，Ｒ１の同一座標の画素対を加算して加算画像を生成し、合成感度補償部９２に出力する。ステップＳ３２において、合成感度補償部９２は、合成感度補償関数を導出する。なお、加算部９１によるステップＳ３１の処理と、合成感度補償部９２によるステップＳ３２の処理は、平行して同時に実行するようにしてもよい。 Processing for generating a color image R with a wide dynamic range by the image composition unit 63R in step S3 will be described with reference to FIG. In step S 31, the addition unit 91 adds the pixel pairs of the same coordinates of the sensitivity-specific color images R 0 and R 1 generated by the sensitivity-specific color image generation unit 62 to generate an added image, and outputs the added image to the combined sensitivity compensation unit 92. To do. In step S32, the composite sensitivity compensation unit 92 derives a composite sensitivity compensation function. Note that the processing in step S31 by the adding unit 91 and the processing in step S32 by the composite sensitivity compensation unit 92 may be performed simultaneously in parallel.

ステップＳ３３において、合成感度補償部９２は、加算画像の画素（Ｒ₀＋Ｒ₁）に対し、導出した合成感度補償関数を用いて感度補償を施すことによって、広ダイナミックレンジの色画像Ｒを生成する。 In step S33, the composite sensitivity compensation unit 92 generates a color image R with a wide dynamic range by performing sensitivity compensation on the pixel (R ₀ + R ₁ ) of the added image using the derived composite sensitivity compensation function. .

なお、画像合成部６３Ｇ，６３Ｂのそれぞれによる、広ダイナミックレンジの色画像Ｇ，Ｂを生成する処理も同様である。 The processing for generating color images G and B with a wide dynamic range by the image composition units 63G and 63B is the same.

図４０に戻る。以上、画像処理部７によるデモザイク処理の説明を終了する。 Returning to FIG. This is the end of the description of the demosaic process performed by the image processing unit 7.

以上のように、画像処理部７によれば、色・感度モザイク画像を元にして、全ての画素に対し、全色を均一な感度で復元することが可能となる。これにより、広ダイナミックレンジ画像を生成することが可能となる。 As described above, according to the image processing unit 7, it is possible to restore all colors with uniform sensitivity for all pixels based on the color / sensitivity mosaic image. Thereby, it is possible to generate a wide dynamic range image.

また、特に、感度別色画像を生成した後に色別画像を生成することにより、撮像素子が露出時間を変更することで感度を変える方式の場合に発生する動きのある被写体のブレ部分のノイズを緩和することができ、動被写体のブレ部分の再現性を向上させることが可能となる。 In particular, by generating color-specific images after generating sensitivity-specific color images, the noise of blurring parts of moving subjects that occurs when the image sensor changes the sensitivity by changing the exposure time is used. Therefore, the reproducibility of the blurred portion of the moving subject can be improved.

さらに、色・感度モザイク画像の全ての画素に対して、１つの色バランス情報を用いて補正を行うことにより、適正な色バランス補正を施すことが可能となる。 Furthermore, it is possible to perform an appropriate color balance correction by correcting all the pixels of the color / sensitivity mosaic image using one color balance information.

なお、上述したように、画像処理部７によるデモザイク処理は任意の色・感度モザイクパターンを有する色・感度モザイク画像に対して施すことが可能であるが、特に、色・感度モザイクパターンＰ１の色・感度モザイク画像を処理対象とする場合において上述した効果を奏することができる。 As described above, the demosaic processing by the image processing unit 7 can be performed on a color / sensitivity mosaic image having an arbitrary color / sensitivity mosaic pattern. In particular, the color of the color / sensitivity mosaic pattern P1 -The effect mentioned above can be show | played when a sensitivity mosaic image is made into a process target.

また、本発明は、本実施の形態のようなディジタルスチルカメラの他、画像処理を実施するあらゆる機器に適用することが可能である。 Further, the present invention can be applied to any device that performs image processing in addition to the digital still camera as in the present embodiment.

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。 By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.

この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１６（フロッピディスクを含む）、光ディスク１７（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１８（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１９などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。 As shown in FIG. 1, this recording medium is distributed to provide a program to a user separately from a computer, and includes a magnetic disk 16 (including a floppy disk) on which a program is recorded, an optical disk 17 (CD- It is not only composed of a package medium composed of ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disk 18 (including MD (Mini Disc)), or semiconductor memory 19. It is configured by a ROM, a hard disk or the like on which a program is recorded, which is provided to the user in a state of being pre-installed in the computer.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.

本発明を適用したディジタルスチルカメラの構成例を示すブロック図である。It is a block diagram which shows the structural example of the digital still camera to which this invention is applied. ディジタルスチルカメラの動作の概要を説明する図である。It is a figure explaining the outline | summary of operation | movement of a digital still camera. 被写体の一例を示す図である。It is a figure which shows an example of a to-be-photographed object. 図３に対応する色・感度モザイク画像の一例を示す図である。FIG. 4 is a diagram illustrating an example of a color / sensitivity mosaic image corresponding to FIG. 3. 色・感度モザイクパターンＰ１を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P1. 色・感度モザイクパターンＰ２を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P2. 色・感度モザイクパターンＰ３を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P3. 色・感度モザイクパターンＰ４を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P4. 色・感度モザイクパターンＰ５を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P5. 色・感度モザイクパターンＰ６を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P6. 色・感度モザイクパターンＰ７を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P7. 色・感度モザイクパターンＰ８を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P8. 色・感度モザイクパターンＰ９を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P9. 色・感度モザイクパターンＰ１０を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P10. 色・感度モザイクパターンＰ１１を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P11. 色・感度モザイクパターンＰ１２を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P12. 色・感度モザイクパターンＰ１３を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P13. 色・感度モザイクパターンＰ１４を示す図である。It is a figure which shows the color and sensitivity mosaic pattern P14. CCDイメージセンサ４の受光素子の断面を示す図である。2 is a view showing a cross section of a light receiving element of a CCD image sensor 4. FIG. 感度のモザイク配列をオンチップレンズ２１の有無に実現する方法を説明するための図である。4 is a diagram for explaining a method for realizing a sensitivity mosaic arrangement with or without an on-chip lens 21. FIG. 感度のモザイク配列をオンチップＮＤフィルタ３１の有無によって実現する方法を説明するための図である。4 is a diagram for explaining a method of realizing a sensitivity mosaic arrangement by the presence or absence of an on-chip ND filter 31. FIG. 感度のモザイク配列をシールド２４の開口部分の面積の広狭によって実現する方法を説明するための図である。FIG. 5 is a diagram for explaining a method for realizing a sensitivity mosaic arrangement by changing the area of an opening of a shield 24; 感度のモザイク配列を電子的に実現する第１の方法を説明するための図である。It is a figure for demonstrating the 1st method of implement | achieving a sensitivity mosaic arrangement | sequence electronically. 感度のモザイク配列を電子的に実現する第２の方法を説明するための図である。It is a figure for demonstrating the 2nd method of implement | achieving a sensitivity mosaic arrangement | sequence electronically. ＯＲ型の電極構造を示す図である。It is a figure which shows OR type electrode structure. ＯＲ型の電極構造の断面を示す図である。It is a figure which shows the cross section of OR type electrode structure. AND型の電極構造を示す図である。It is a figure which shows an AND type electrode structure. 色・感度モザイクパターンＰ１を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。It is a figure which shows the combination of the OR type electrode structure and AND type electrode structure for implement | achieving the color and sensitivity mosaic pattern P1. 色・感度モザイクパターンＰ２を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。It is a figure which shows the combination of the OR type electrode structure and AND type electrode structure for implement | achieving the color and sensitivity mosaic pattern P2. 色・感度モザイクパターンＰ３を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。It is a figure which shows the combination of the OR type electrode structure and AND type electrode structure for implement | achieving the color and sensitivity mosaic pattern P3. 色・感度モザイクパターンＰ４を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。It is a figure which shows the combination of the OR type electrode structure and AND type electrode structure for implement | achieving the color and sensitivity mosaic pattern P4. 色・感度モザイクパターンＰ５を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。It is a figure which shows the combination of the OR type electrode structure and AND type electrode structure for implement | achieving the color and sensitivity mosaic pattern P5. 画像処理部７の構成例を示すブロック図である。3 is a block diagram illustrating a configuration example of an image processing unit 7. FIG. 図３３の色バランス補正部６１の第１の構成例を示すブロック図である。FIG. 34 is a block diagram illustrating a first configuration example of a color balance correction unit 61 in FIG. 33. 図３３の色バランス補正部６１の第２の構成例を示すブロック図である。FIG. 34 is a block diagram illustrating a second configuration example of the color balance correction unit 61 in FIG. 33. 図３３の画像合成部６３Ｒの構成例を示すブロック図である。It is a block diagram which shows the structural example of the image composition part 63R of FIG. 合成感度補償部９２によって導出される合成感度補償関数について説明するための図である。It is a figure for demonstrating the synthetic | combination sensitivity compensation function derived | led-out by the synthetic | combination sensitivity compensation part 92. FIG. 合成感度補償部９２によって導出される合成感度補償関数について説明するための図である。It is a figure for demonstrating the synthetic | combination sensitivity compensation function derived | led-out by the synthetic | combination sensitivity compensation part 92. FIG. 合成感度補償部９２によって導出される合成感度補償関数を示す図である。It is a figure which shows the synthetic | combination sensitivity compensation function derived | led-out by the synthetic | combination sensitivity compensation part 92. FIG. 画像処理部７によるデモザイク処理を説明するフローチャートである。5 is a flowchart for explaining demosaic processing by an image processing unit 7; 図３４に示した色バランス補正部６１の第１の構成例による動作を説明するフローチャートである。35 is a flowchart for explaining the operation of the color balance correction unit 61 shown in FIG. 34 according to the first configuration example. 図３５に示した色バランス補正部６１の第１の構成例による動作を説明するフローチャートである。36 is a flowchart for explaining the operation of the color balance correction unit 61 shown in FIG. 35 according to the first configuration example. 画像合成部６３Ｒによる色画像合成処理を説明するフローチャートである。It is a flowchart explaining the color image composition process by the image composition unit 63R.

Explanation of symbols

７画像処理部，１４制御部，１６磁気ディスク，１７光ディスク，１８光磁気ディスク，１９半導体メモリ，６１色バランス補正部，６２感度別色画像生成部，６３Ｒ，６３Ｇ，６３Ｂ画像合成部，７１色バランス算出部，７２色バランス調整部，８１感度別色バランス算出部，８２感度別色バランス情報合成部，８３色バランス調整部，９１加算部，９２合成感度補償部 7 image processing unit, 14 control unit, 16 magnetic disk, 17 optical disk, 18 magneto-optical disk, 19 semiconductor memory, 61 color balance correction unit, 62 color image generation unit by sensitivity, 63R, 63G, 63B image composition unit, 71 colors Balance calculation unit, 72 color balance adjustment unit, 81 color balance calculation unit by sensitivity, 82 color balance information synthesis unit by sensitivity, 83 color balance adjustment unit, 91 addition unit, 92 synthesis sensitivity compensation unit

Claims

A color / sensitivity mosaic image output from an image sensor in which each pixel has one of a plurality of color components and has any one of a plurality of sensitivity characteristics with respect to light intensity. Originally, in the image processing apparatus in which the sensitivity of each pixel is made uniform and each pixel generates a restored image having the plurality of color components,
Based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity arrangement of the color / sensitivity mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and each pixel A sensitivity-specific color image generating means for generating a sensitivity-specific color image having a single color component;
A synthesizing unit that synthesizes the plurality of generated color images for each sensitivity to generate a color image with a wide dynamic range;
An image processing apparatus comprising: a restored image generating unit configured to generate the restored image based on a plurality of color images having a wide dynamic range corresponding to the generated color components.

The sensitivity-specific color image generation unit is configured to perform the sensitivity-specific color by interpolation using pixels having the same sensitivity and having the same color component among all the pixels constituting the color / sensitivity mosaic image. The image processing apparatus according to claim 1, wherein an image is generated.

The synthesis means includes
Adding means for generating an added image by adding pixel values of corresponding pixels of the plurality of sensitivity-specific color images;
The image processing apparatus according to claim 1, further comprising: a sensitivity characteristic compensation unit that compensates a sensitivity characteristic of a pixel constituting the generated added image.

A color / sensitivity mosaic image output from an image sensor in which each pixel has one of a plurality of color components and has any one of a plurality of sensitivity characteristics with respect to light intensity. Originally, in the image processing method of the image processing apparatus for generating a restored image in which the sensitivity of each pixel is uniform and each pixel has the plurality of color components,
Based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity arrangement of the color / sensitivity mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and each pixel A sensitivity-specific color image generation step for generating a sensitivity-specific color image having a single color component;
Combining a plurality of generated sensitivity-specific color images for each color component to generate a wide dynamic range color image;
A restored image generating step of generating the restored image based on a plurality of color images having a wide dynamic range corresponding to the generated color components.

A color / sensitivity mosaic image output from an image sensor in which each pixel has one of a plurality of color components and has any one of a plurality of sensitivity characteristics with respect to light intensity. A program for generating a restored image in which the sensitivity of each pixel is uniformed and each pixel has the plurality of color components,
Based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity arrangement of the color / sensitivity mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and each pixel A sensitivity-specific color image generation step for generating a sensitivity-specific color image having a single color component;
Combining a plurality of generated sensitivity-specific color images for each color component to generate a wide dynamic range color image;
A recording medium on which is recorded a program that causes a computer to execute processing including a restored image generation step of generating the restored image based on a plurality of color images having a wide dynamic range corresponding to the generated color components.

A color / sensitivity mosaic image output from an image sensor in which each pixel has one of a plurality of color components and has any one of a plurality of sensitivity characteristics with respect to light intensity. Based on the computer, the sensitivity of each pixel is equalized, and each computer generates a restored image having the plurality of color components.
Based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity arrangement of the color / sensitivity mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and each pixel A sensitivity-specific color image generation step for generating a sensitivity-specific color image having a single color component;
Combining a plurality of generated sensitivity-specific color images for each color component to generate a wide dynamic range color image;
A restored image generating step of generating a restored image based on a plurality of color images having a wide dynamic range corresponding to the generated color components.

Each pixel has one of a plurality of color components, and based on a color / sensitivity mosaic image output from an image sensor having any one of a plurality of sensitivity characteristics In the image processing apparatus for generating a plurality of color images corresponding to each color component in which the sensitivity of each pixel is uniform,
Based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity arrangement of the color / sensitivity mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and each pixel A sensitivity-specific color image generating means for generating a sensitivity-specific color image having a single color component;
An image processing apparatus comprising: a synthesizing unit that synthesizes the plurality of generated sensitivity-specific color images for each color component to generate the color image having a wide dynamic range.

The sensitivity-specific color image generation unit is configured to perform the sensitivity-specific color by interpolation using pixels having the same sensitivity and having the same color component among all the pixels constituting the color / sensitivity mosaic image. The image processing apparatus according to claim 7 , wherein an image is generated.

The synthesis means includes
Adding means for generating an added image by adding pixel values of corresponding pixels of the plurality of sensitivity-specific color images;
The image processing apparatus according to claim 7 , further comprising: a sensitivity characteristic compensation unit that compensates a sensitivity characteristic of a pixel constituting the generated added image.

Each pixel has one of a plurality of color components, and based on a color / sensitivity mosaic image output from an image sensor having any one of a plurality of sensitivity characteristics In the image processing method of the image processing apparatus for generating a plurality of color images corresponding to each color component in which the sensitivity of each pixel is made uniform,
Based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity arrangement of the color / sensitivity mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and each pixel A sensitivity-specific color image generation step for generating a sensitivity-specific color image having a single color component;
An image processing method comprising: combining a plurality of generated sensitivity-specific color images for each color component to generate the color image having a wide dynamic range.

Each pixel has one of a plurality of color components, and based on a color / sensitivity mosaic image output from an image sensor having any one of a plurality of sensitivity characteristics A program for generating a plurality of color images corresponding to each color component in which the sensitivity of each pixel is uniform,
Based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity arrangement of the color / sensitivity mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and each pixel A sensitivity-specific color image generation step for generating a sensitivity-specific color image having a single color component;
A recording medium on which a program for causing a computer to execute a process including a synthesis step of generating a color image having a wide dynamic range by combining a plurality of generated color images by sensitivity for each color component.

Each pixel has one of a plurality of color components, and based on a color / sensitivity mosaic image output from an image sensor having any one of a plurality of sensitivity characteristics In a computer that generates a plurality of color images corresponding to each color component in which the sensitivity of each pixel is made uniform,
Based on the color / sensitivity mosaic pattern information indicating the color component and sensitivity arrangement of the color / sensitivity mosaic image, the sensitivity of each pixel is uniform based on the color / sensitivity mosaic image, and each pixel A sensitivity-specific color image generation step for generating a sensitivity-specific color image having a single color component;
A program that executes a process including a combining step of generating a color image with a wide dynamic range by combining the plurality of generated color images by sensitivity for each color component.