JP5566680B2 - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP5566680B2 JP5566680B2 JP2009293475A JP2009293475A JP5566680B2 JP 5566680 B2 JP5566680 B2 JP 5566680B2 JP 2009293475 A JP2009293475 A JP 2009293475A JP 2009293475 A JP2009293475 A JP 2009293475A JP 5566680 B2 JP5566680 B2 JP 5566680B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- flash
- exposure control
- control value
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明は、撮像装置及び撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method.
デジタルスチルカメラなどの電子的撮像装置において、従来のホワイトバランス補正処理は、一つのホワイトバランスゲインを画像全体に一律に適用する処理である。 In an electronic imaging apparatus such as a digital still camera, the conventional white balance correction process is a process that uniformly applies one white balance gain to the entire image.
例えば照明光(環境光)が暗いシーンでは露光不足を解消するために、フラッシュを発光して撮影を行う。フラッシュを発光して撮影したとき、ホワイトバランスゲインは、フラッシュの発光量等に応じて算出される。その際、環境光とフラッシュ光が混合されているシーンで撮影した場合、デジタルスチルカメラに近い距離にある被写体は、適切なホワイトバランスとすることができる。しかし、遠い距離にある被写体は、フラッシュ光よりも環境光の依存度が高くなる。そのため、環境光が蛍光灯などの場合、環境光とフラッシュ光との色温度差が大きくなる。その結果、ホワイトバランス補正処理を画像全体に適用すると、遠い距離にある白い被写体が黄色くなるなど不適切なホワイトバランスとなる問題が発生する。 For example, in a scene where the illumination light (environment light) is dark, shooting is performed by emitting a flash in order to eliminate insufficient exposure. When shooting with the flash fired, the white balance gain is calculated according to the flash emission amount and the like. At that time, when shooting in a scene in which ambient light and flash light are mixed, a subject close to the digital still camera can have an appropriate white balance. However, a subject at a far distance is more dependent on ambient light than flash light. Therefore, when the environmental light is a fluorescent lamp or the like, the color temperature difference between the environmental light and the flash light becomes large. As a result, when the white balance correction process is applied to the entire image, there arises a problem that an inappropriate white balance occurs such as a white subject at a long distance becomes yellow.
このため、特許文献1では、画像全体を適切なホワイトバランスとするために、フラッシュ発光画像とフラッシュ非発光画像を画素単位に比較することでフラッシュ反射量を算出する。そして、算出したフラッシュ反射量から最適なホワイトバランスゲインを画素単位に算出し画像に適用する技術が開示されている。
For this reason, in
また、特許文献2では、フラッシュ反射量を特許文献1と異なる方式で算出する方法が開示されている。
Patent Document 2 discloses a method for calculating the flash reflection amount by a method different from that of
特許文献1では、フラッシュ発光時の露光制御値に合わせたフラッシュ非発光画像と、フラッシュ発光画像を取得する。そして、それぞれの画像の対応する信号値を比較することでフラッシュ反射量を算出し、画素単位にホワイトバランスゲインを算出する。
In
この際、フラッシュ非発光時の画像はフラッシュ発光時の露光制御値に合わせているため、フラッシュ非発光状態では不適正露光となり暗い画像となる。そのため、フラッシュ非発光画像に違和感がでてくるという問題がある。 At this time, since the image when the flash is not emitted matches the exposure control value when the flash is emitted, in the non-flash state, the exposure is inappropriate and a dark image is obtained. For this reason, there is a problem in that a sense of incongruity appears in the non-flash image.
特許文献2でも同様に、フラッシュ非発光画像とフラッシュ発光画像を取得する。そして、それぞれの画像の対応する信号値の比率をフラッシュ反射量とし、画素単位にホワイトバランスゲインを算出する。 Similarly in Patent Document 2, a flash non-light emission image and a flash light emission image are acquired. Then, the ratio of the corresponding signal value of each image is set as the flash reflection amount, and the white balance gain is calculated for each pixel.
この際、フラッシュ非発光画像はフラッシュ発光時の露光制御値に合わせるという前提になっているため、特許文献1と同様に、フラッシュ非発光状態では不適正露光となり暗い画像となる。そのため、フラッシュ非発光画像に違和感がでてくるという問題がある。
At this time, since it is assumed that the flash non-light-emitting image is adjusted to the exposure control value at the time of flash light emission, similarly to
フラッシュ非発光画像とフラッシュ発光画像を取得して、フラッシュ反射量を算出する場合、従来、フラッシュ非発光画像とフラッシュ発光画像の露光制御値を一致させていた。これにより、フラッシュ反射量は算出できるが、フラッシュ非発光時の画像は、フラッシュ発光時の露光制御値に合わせているため、適正な露光制御値で撮影されない。そのため、フラッシュ非発光画像とフラッシュ発光画像とで2回撮影を行っているにもかかわらず、フラッシュ非発光画像を、ライブビュー画像や記録画像として利用することができないという問題があった。 In the case where the flash non-light-emitting image and the flash light-emitting image are acquired and the flash reflection amount is calculated, conventionally, the exposure control values of the flash non-light-emitting image and the flash light-emitting image are matched. Thereby, although the flash reflection amount can be calculated, the image when the flash is not emitted does not take an image with an appropriate exposure control value because it matches the exposure control value when the flash is emitted. Therefore, there is a problem that the flash non-light-emitting image cannot be used as a live view image or a recorded image even though the flash non-light-emitting image and the flash light-emitting image are shot twice.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フラッシュ非発光時の画像とフラッシュ発光時の画像を画素単位で比較することでフラッシュ反射光量を求め、画素単位に適切なホワイトバランスゲインを算出する方法において、フラッシュ非発光画像を適正露光の画像とすることで、無駄な撮影をすることなくフラッシュ発光時の画像全体を適切なホワイトバランスにすることが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to compare the image when the flash is not emitted and the image when the flash is emitted in pixel units, thereby reducing the flash reflected light amount. In a method for calculating and calculating an appropriate white balance gain for each pixel, the non-flash image is set to an appropriate exposure image, so that the entire image during flash emission is set to an appropriate white balance without wasteful shooting. It is an object of the present invention to provide a new and improved image pickup apparatus and image pickup method that can be used.
上記課題を解決するために、本発明のある観点によれば、被写体から受光した光に基づいて、フラッシュを発光せずに撮影して取得される第一の画像の明るさが適正となる第一の露光制御値と、フラッシュを発光して撮影して取得される第二の画像の明るさが適正となる第二の露光制御値を算出する露光制御値算出部と、第一の露光制御値に基づいて撮影し第一の画像を取得し、第二の露光制御値に基づいて撮影し第二の画像を取得する撮像部と、第一の露光制御値と第二の露光制御値との差分である露光制御値差分を算出する露光制御値差分算出部と、取得された第一の画像の全画素について第一の被写体輝度を算出し、取得された第二の画像の全画素について第二の被写体輝度を算出する被写体輝度算出部と、露光制御値差分と、画素毎の第一の被写体輝度と、画素毎の第二の被写体輝度との差分である被写体輝度差分を全画素について算出する被写体輝度算出部と、被写体輝度差分から画素単位にフラッシュ反射量を算出するフラッシュ反射量算出部と、フラッシュ反射量から画素単位にホワイトバランスゲインを算出するホワイトバランスゲイン算出部とを備える、撮像装置が提供される。 In order to solve the above-described problem, according to an aspect of the present invention, the brightness of a first image obtained by photographing without emitting a flash based on light received from a subject is appropriate. An exposure control value calculating unit that calculates a first exposure control value and a second exposure control value at which the brightness of a second image acquired by shooting with flash is appropriate; and a first exposure control An imaging unit that captures images based on the values to acquire a first image, captures images based on the second exposure control values, and acquires a second image; a first exposure control value and a second exposure control value; An exposure control value difference calculation unit that calculates an exposure control value difference that is a difference between the first subject luminance and the first subject luminance for all pixels of the acquired first image, and for all pixels of the acquired second image A subject brightness calculation unit for calculating a second subject brightness, an exposure control value difference, and a pixel-by-pixel A subject brightness calculation unit that calculates a subject brightness difference, which is a difference between the first subject brightness and the second subject brightness for each pixel, for all pixels, and a flash reflection that calculates a flash reflection amount for each pixel from the subject brightness difference An imaging apparatus is provided that includes an amount calculation unit and a white balance gain calculation unit that calculates a white balance gain in units of pixels from the flash reflection amount.
この構成により、被写体からの光に基づいてフラッシュ非発光による第一の画像の明るさが適正となる第一の露光制御値と、フラッシュ発光による第二の画像の明るさが適正となる第二の露光制御値が算出され、第一の露光制御値及び第二の露光制御値に基づいて第一の画像及び第二の画像が取得される。また、第一の露光制御値及び第二の露光制御値の露光制御値差分が算出され、取得された第一の画像及び第二の画像の全画素についてそれぞれ第一の被写体輝度と第二の被写体輝度が算出される。更に、露光制御値差分と、画素毎の第一及び第二の被写体輝度との被写体輝度差分が全画素について算出され、被写体輝度差分から画素単位にフラッシュ反射量が算出され、フラッシュ反射量から画素単位にホワイトバランスゲインが算出される。その結果、フラッシュ非発光画像を適正露光の画像とすることで、無駄な撮影をすることなくフラッシュ発光時の画像全体を適切なホワイトバランスにすることができる。 With this configuration, the first exposure control value at which the brightness of the first image by flash non-emission is appropriate based on the light from the subject, and the second at which the brightness of the second image by flash emission is appropriate. The first exposure control value is calculated, and the first image and the second image are acquired based on the first exposure control value and the second exposure control value. In addition, an exposure control value difference between the first exposure control value and the second exposure control value is calculated, and the first subject brightness and the second exposure are obtained for all the pixels of the acquired first image and second image, respectively. The subject brightness is calculated. Further, the subject brightness difference between the exposure control value difference and the first and second subject brightness for each pixel is calculated for all pixels, the flash reflection amount is calculated for each pixel from the subject brightness difference, and the pixel is calculated from the flash reflection amount. A white balance gain is calculated in units. As a result, by setting the non-flash image to an appropriately exposed image, it is possible to achieve an appropriate white balance for the entire image during flash emission without wasteful shooting.
上記ホワイトバランスゲインを第二の画像の全画素に画素単位で適用して、画素単位でホワイトバランスを制御するホワイトバランス制御部を更に備える。この構成により、ホワイトバランスゲインが第二の画像の全画素に画素単位で適用されて、画素単位でホワイトバランスが制御される。 The image processing apparatus further includes a white balance control unit that applies the white balance gain to all pixels of the second image in units of pixels and controls white balance in units of pixels. With this configuration, the white balance gain is applied to all pixels of the second image in units of pixels, and the white balance is controlled in units of pixels.
上記第一の露光制御値と第二の露光制御値は、露光制御値算出部によって個別に算出され、第一の露光制御値と第二の露光制御値が一致する必要がない。 The first exposure control value and the second exposure control value are individually calculated by the exposure control value calculation unit, and the first exposure control value and the second exposure control value do not need to match.
上記撮像部は、露光制御値算出部によって算出された第一の露光制御値のうち、絞り値を一致させた第二の露光制御値で撮影し第二の画像を取得する。 The imaging unit captures a second exposure control value obtained by matching the aperture value among the first exposure control values calculated by the exposure control value calculation unit, and acquires a second image.
上記フラッシュ反射量算出部によって算出されたフラッシュ反射量に基づいて、環境光のカラーバランスとフラッシュ光のカラーバランスを線形補間し、対象画素のカラーバランスを算出するカラーバランス算出部を更に備え、ホワイトバランスゲイン算出部は、カラーバランスに基づいてホワイトバランスゲインを算出する。 Based on the flash reflection amount calculated by the flash reflection amount calculation unit, the color balance calculation unit further linearly interpolates the color balance of the ambient light and the color balance of the flash light, and calculates the color balance of the target pixel. The balance gain calculation unit calculates a white balance gain based on the color balance.
また、上記課題を解決するために、本発明の別の観点によれば、被写体から受光した光に基づいて、フラッシュを発光せずに撮影して取得される第一の画像の明るさが適正となる第一の露光制御値と、フラッシュを発光して撮影して取得される第二の画像の明るさが適正となる第二の露光制御値を算出するステップと、第一の露光制御値に基づいて撮影し第一の画像を取得し、第二の露光制御値に基づいて撮影し第二の画像を取得するステップと、第一の露光制御値と第二の露光制御値との差分である露光制御値差分を算出するステップと、取得された第一の画像の全画素について第一の被写体輝度を算出し、取得された第二の画像の全画素について第二の被写体輝度を算出するステップと、露光制御値差分と、画素毎の第一の被写体輝度と、画素毎の第二の被写体輝度との差分である被写体輝度差分を全画素について算出するステップと、被写体輝度差分から画素単位にフラッシュ反射量を算出するステップと、フラッシュ反射量から画素単位にホワイトバランスゲインを算出するステップとを備える、撮像方法が提供される。 In order to solve the above problem, according to another aspect of the present invention, the brightness of the first image obtained by photographing without emitting the flash based on the light received from the subject is appropriate. A first exposure control value, a step of calculating a second exposure control value at which the brightness of the second image acquired by flash photography is appropriate, and the first exposure control value The first image is acquired based on the second exposure control value, the second image is acquired based on the second exposure control value, and the difference between the first exposure control value and the second exposure control value is obtained. Calculating the exposure control value difference, calculating the first subject brightness for all pixels of the acquired first image, and calculating the second subject brightness for all pixels of the acquired second image Step, exposure control value difference, and first subject luminance for each pixel Calculating the subject brightness difference, which is the difference from the second subject brightness for each pixel, for all pixels, calculating the flash reflection amount in pixel units from the subject brightness difference, and white balance in pixel units from the flash reflection amount An imaging method comprising the step of calculating a gain.
以上説明したように本発明によれば、フラッシュ非発光時の画像とフラッシュ発光時の画像を画素単位で比較することでフラッシュ反射光量を求め、画素単位に適切なホワイトバランスゲインを算出する方法において、フラッシュ非発光画像を適正露光の画像とすることで、無駄な撮影をすることなくフラッシュ発光時の画像全体を適切なホワイトバランスにすることができる。 As described above, according to the present invention, the flash reflected light amount is obtained by comparing the image when the flash is not emitted and the image when the flash is emitted in the unit of pixel, and the appropriate white balance gain is calculated for each pixel. By setting the non-flash image to an appropriately exposed image, the entire image during flash emission can be set to an appropriate white balance without wasteful shooting.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
図1は、本発明の一実施形態に係る撮像装置100においての画像処理パイプラインのブロック図を示す。図2は、本実施形態に係る撮像装置100のホワイトバランスゲインの算出動作を示すフローチャートである。
FIG. 1 is a block diagram of an image processing pipeline in an
レンズ102を通過した光は、CCDイメージセンサー108又はCMOSイメージセンサーなどの撮像素子に結像する。その結果、CCDイメージセンサー108から信号処理部110を経てRGB画像信号が得られる。信号処理部110は、CCDイメージセンサー108からの信号に対して色分離処理、A/D変換等をする。
The light that has passed through the lens 102 forms an image on an image sensor such as a
信号処理部110で得られたRGB画像信号は、前処理部112による欠陥画素補正、黒レベル補正、シェーディング補正などの処理が施される。前処理部112は、AE評価値算出部124を有し、RGB画像信号に基づいて、AE評価値を算出する。AE評価値は、適正AE算出部150に送られる。実際に撮影が行われると、適正AE算出部150で算出されたAE値に基づいて、露光制御部152は、絞り104、シャッター106を調整する。
The RGB image signal obtained by the
また、前処理部112で処理された画像信号は、後処理部114によるホワイトバランス補正処理、ベイヤ色補間(デモザイク)処理、色補正処理、エッジ強調処理、ガンマ補正処理、ノイズ低減処理などの種々の画像処理が施される。その後、RGB→YCC変換部116において、RGB信号がYCC信号に変換され、データ圧縮部118において、JPEG等の形式で圧縮処理される。そして、インターフェースであるメモリーカード接続部120を介して、メモリーカード122に画像データが記録される。
The image signal processed by the
本実施形態は、フラッシュ160を発光して撮影することで取得されるフラッシュ発光画像に対し、画素単位に適切なホワイトバランスゲインを算出することを特徴とする。 The present embodiment is characterized in that an appropriate white balance gain is calculated for each pixel with respect to a flash emission image acquired by shooting with the flash 160 being emitted.
以下、本実施形態に係る撮像装置100の撮影動作について説明する。ユーザーによって、シャッターボタンが押圧されることで、撮影が開始される。以下では、露光条件によってフラッシュ発光が必要な場合について説明する。フラッシュ発光が必要な露光条件の場合、1回の撮影は、フラッシュ160を発光しないフラッシュ非発光撮影とフラッシュ160を発光するフラッシュ発光撮影を行う。
Hereinafter, the shooting operation of the
まず、フラッシュ160を発光せずに撮影を行って、フラッシュ非発光時の画像を取得する(ステップS101)。撮影前に、適正AE算出部150によって感度(SV)、シャッタースピード(TV)、絞り(AV)の制御によって、フラッシュが発光されていない照明などの環境光のみの場合の適正な第一の露光制御値が決定される。ここで決定された第一の露光制御値でフラッシュ160を発光せずに撮影する(第一の撮像)。その結果、例えば図5のような画像が取得される。
First, photographing is performed without the flash 160 being emitted, and an image when the flash is not emitted is acquired (step S101). Before shooting, the appropriate
第一の撮像記憶部132によって、フラッシュ発光前の環境光のRGB画像信号が取得され、画像メモリ130などの記憶手段に保持される(ステップS102)。
An RGB image signal of ambient light before flash emission is acquired by the first
続けて適正AE算出部150によって、フラッシュ発光時に適正で、かつ第一の露光制御値における絞り値を一致させた第二の露光制御値が決定される。そして、第二の露光制御値でフラッシュ160を発光して撮影する(第二の撮像)(ステップS103)。その結果、図4のようなフラッシュ発光後の画像が取得される。
Subsequently, the appropriate
第二の撮像記憶部134によって、フラッシュ発光撮影によるRGB画像信号が、画像メモリ130などの記憶手段に保持される。
The second
第二の撮像において、第一の撮像と絞り値を一致させるのは、絞り値の違いにより画像周辺光量に変化が出るためであり、フラッシュ発光画像とフラッシュ非発光画像にフラッシュ光量以外の光量の違いをなくすためである。ただし、絞り値の違いにより画像周辺光量に変化がない場合は、この限りではない。 In the second imaging, the first imaging and the aperture value are matched because the amount of light around the image changes due to the difference in the aperture value, and there is a light amount other than the flash light amount in the flash emission image and the flash non-emission image. This is to eliminate the difference. However, this is not the case when there is no change in the amount of light around the image due to the difference in aperture value.
露光条件を決定する際、露光制御値には式1の関係があり、式1を使用する。ここでTVはシャッタースピード、AVは絞り値、SVは感度、BVは被写体輝度となり、それぞれAPEX値で表現されている。式1によれば、図6に示すようなフラッシュ非発光画像を撮影するときの露光制御値と、図5に示すようなフラッシュ発光画像を撮影するときの露光制御値が一致していない場合に、各露光制御値の差分を考慮できる。
When determining the exposure conditions, the exposure control value has the relationship of
ここでTV、AV、SVは適正AE算出部150によって既知であるため、BVを求める式2に変形する。被写体輝度BVは撮像装置100で撮影する被写体が持っている輝度値である。
Here, since TV, AV, and SV are already known by the appropriate
フラッシュ非発光時のTV、AV、SVから算出される被写体輝度値BVを第一の露光制御値BVl、フラッシュ発光時のTV、AV、SVから算出される被写体輝度値BVを第二の露光制御値BVsとし、それぞれ式2により求める。フラッシュ非発光時はそれぞれTVl、AVl、SVlとし式3のように、フラッシュ発光時はTVs、AVs、SVsとし式4のようになる。 The subject brightness value BV calculated from the TV, AV, and SV when the flash is not emitted is the first exposure control value BV1, and the subject brightness value BV calculated from the TV, AV, and SV when the flash is emitted is the second exposure control. The value BVs is obtained by Equation 2. When the flash is not emitted, TVl, AVl, and SVl are set as shown in Equation 3, and when the flash is emitted, TVs, AVs, and SVs are set as shown in Equation 4.
次に、式3と式4から求めたBVlとBVsの差分を算出する式5によって、露光制御値差分算出部141が、第一の露光制御値BVlと第二の露光制御値BVsの差分BVdiffを算出する(ステップS104)。 Next, the exposure control value difference calculation unit 141 calculates the difference BVdiff between the first exposure control value BVl and the second exposure control value BVs according to Expression 5 that calculates the difference between BVl and BVs obtained from Expression 3 and Expression 4. Is calculated (step S104).
差分BVdiffは、第一の露光制御値BVlと、第二の露光制御値BVsが一致していれば、差分が0となる。 The difference BVdiff is 0 if the first exposure control value BVl and the second exposure control value BVs match.
マルチAWB処理部140において、カラーバランス算出部145が、フラッシュ非発光画像のRGB画像信号を色別(RGB別)に全画面分積算し、フラッシュ160が発光されていない環境光のみの場合のカラーバランスCBer(=R/G)、CBeb(=B/G)を算出する。同時に、環境光がなくフラッシュ光だけで撮像した場合のカラーバランスCBfr,CBfbを既知の値としてROMにあらかじめ保持しておいたものを、ROMから読み出す。
In the
図1は、本発明の実施形態に係る撮像装置100においての画像処理パイプラインのブロック図を示す。入力値は、フラッシュ非発光時のRGB画像信号と、フラッシュ発光時のRGB画像信号になっており、出力値のホワイトバランスゲインは全画素数分のホワイトバランスゲインとなる。ホワイトバランス制御部126が、全画素において、画素単位でホワイトバランスゲインを適用する。
FIG. 1 is a block diagram of an image processing pipeline in an
まずは、入力値となる画像メモリ130などの記憶手段に保持されたフラッシュ非発光時のRGB画像信号と、フラッシュ発光時のRGB画像信号を基に、画素単位の被写体輝度を算出する。画素単位の被写体輝度の算出は、図3のようにR,G,G,Bの四つの画素12を一組としたベイヤユニット14を1画素とみなすか、ベイヤ色補間(デモザイク)処理によって、ベイヤ画像におけるR,G,G,Bの四つの画素から各色(R,G,B)一つずつの画素を生成して行う。
First, the subject brightness in units of pixels is calculated based on the RGB image signal at the time of non-flash emission and the RGB image signal at the time of flash emission held in a storage unit such as the
フラッシュ非発光画像、フラッシュ発光画像の各画素について、被写体輝度算出部142によって画素単位の被写体輝度値を算出する。算出式は以下の通りである。式6、式7において、Yは各画素の輝度Yである。なお、Gの信号値を輝度Yの代わりに使用することも可能である。AEは、露出制御値を算出する適正AE算出部150が目標としている目標輝度信号値である。この式6と式7を用いた計算で、画素単位で、フラッシュ非発光画像の第一の被写体輝度値BVlpと、フラッシュ発光画像の第二の被写体輝度値BVspを求める(ステップS105、S106)。ここで、BVlpとBVspは対数で表した信号値であり、APEX値に単位系を揃えている。
For each pixel of the non-flash image and the flash image, the subject
このようにして求めた画素単位のフラッシュ非発光画像の第一の被写体輝度値BVlpと、露光制御値の差分BVdiffを考慮して、フラッシュ非発光被写体輝度差分BVlpdiffを求める(ステップS107)。図5の適正露光で撮影されたフラッシュ非発光画像に対し、式8の計算を適用すると、図6のような画像となる。 The flash non-emission subject luminance difference BVlpdiff is obtained in consideration of the first subject luminance value BVlp of the flash non-emission image obtained in this way and the exposure control value difference BVdiff (step S107). When the calculation of Expression 8 is applied to the flash non-light-emitting image photographed with the proper exposure of FIG. 5, an image as shown in FIG. 6 is obtained.
式8、式9の概念図を図7、図8、図9にて表す。図7は被写体に環境光は当たらずフラッシュ光のみが当たっている場合を示し、図4のAの位置における概念図となっている。図4のAでは、画素単位のフラッシュ発光画像被写体輝度差分BVdiffpが高くなり、フラッシュ反射量が多いことがわかる。 The conceptual diagrams of Equation 8 and Equation 9 are shown in FIG. 7, FIG. 8, and FIG. FIG. 7 shows a case where the subject is not exposed to ambient light but only flash light, and is a conceptual diagram at the position A in FIG. In FIG. 4A, it can be seen that the flash emission image subject luminance difference BVdiffp for each pixel is high and the flash reflection amount is large.
同様に、図8は被写体にフラッシュ光と環境光が混在している場合を示し、図4のBの位置における概念図となっている。図4のBでは、画素単位のフラッシュ発光画像被写体輝度差分BVdiffpがそれほど高くなく、フラッシュ反射量があまりないことがわかる。 Similarly, FIG. 8 shows a case where flash light and ambient light are mixed in the subject, and is a conceptual diagram at the position B in FIG. In FIG. 4B, it can be seen that the flash emission image subject luminance difference BVdiffp in units of pixels is not so high and the flash reflection amount is not so much.
図9は被写体に環境光のみが当たっている場合、つまりフラッシュ光が届いていない場合を示し、図4のCの位置における概念図となっている。図4のCでは、画素単位のフラッシュ発光画像被写体輝度差分BVdiffpが0であり、フラッシュが届いていないこと、即ちフラッシュの影響がないことが分かる。 FIG. 9 shows a case where only the ambient light hits the subject, that is, a case where the flash light does not reach, and is a conceptual diagram at a position C in FIG. In FIG. 4C, the flash emission image subject luminance difference BVdiffp in units of pixels is 0, and it can be seen that the flash has not arrived, that is, there is no influence of the flash.
式9で求めたBVdiffpからフラッシュ反射量算出部144が各画素のフラッシュ反射量を求める(ステップS108)。フラッシュ発光画像の光量Lfは式10のようになる。
The flash reflection
フラッシュ発光画像の光量Lfから、フラッシュ非発光画像における環境光量を1とした時の各画素のフラッシュ反射量(Ratio)を求めると式11のようになる。 When the flash reflection amount (Ratio) of each pixel when the environmental light amount in the flash non-light-emitting image is set to 1 from the light amount Lf of the flash light-emitting image, Expression 11 is obtained.
この各画素のフラッシュ反射量(Ratio)を基に、カラーバランス算出部145が、フラッシュ光のカラーバランス(CBf)と環境光のカラーバランス(CBe)を線形補間し、対象画素のカラーバランス(CB)を求める(ステップS109)。カラーバランスCBはR、Bそれぞれ個別に求める。
Based on the flash reflection amount (Ratio) of each pixel, the color
式3から式13までを全画素について行うことで(ステップS111)、フラッシュ非発光画像とフラッシュ発光画像の露光制御値が違う場合でも、フラッシュ光と環境光が混在しているシーンについて適切なホワイトバランスゲインを画素単位に求めることができる。 By performing Expression 3 to Expression 13 for all pixels (step S111), even if the exposure control values of the flash non-light-emitting image and the flash light-emitting image are different, an appropriate white is obtained for a scene in which flash light and ambient light are mixed. The balance gain can be obtained for each pixel.
すべての画素のホワイトバランスゲインを算出した後に、ホワイトバランス制御部126がフラッシュ発光画像の該当画素にホワイトバランスゲインを適用することで、適切なホワイトバランス処理を行うことができる。
After calculating the white balance gain of all the pixels, the white
従来は、フラッシュ非発光画像を適正露光にできない問題があった。しかし、本実施形態では、適正露光のフラッシュ非発光画像と、フラッシュ発光画像との露光制御値の差分を算出する。その結果、フラッシュ発光画像で、環境光とフラッシュ光が混在したシーンに対しても画素単位で適切なホワイトバランスゲインを算出できる。 Conventionally, there has been a problem that a non-flash image cannot be properly exposed. However, in the present embodiment, the difference between the exposure control values of the flash non-emission image with proper exposure and the flash emission image is calculated. As a result, an appropriate white balance gain can be calculated on a pixel-by-pixel basis for a scene in which ambient light and flash light are mixed in the flash emission image.
また、フラッシュ非発光画像が適正露光となるため、画像に違和感がないことから、フラッシュ非発光画像をライブビュー画像に使用できる。即ち、フラッシュ非発光画像をライブビュー画像に使用する場合は、図10に示すように、ライブビュー画像の読み出しのために露光条件の変更が不要であり、ライブビュー画像のための露光が不要になる。その結果、フラッシュ非発光撮影の後すぐにフラッシュ発光撮影ができるため、シャッターから画像取得までの間隔(Release Time Lag)をなくすことができる。 In addition, since the flash non-light-emitting image is properly exposed and the image does not feel strange, the flash non-light-emitting image can be used as the live view image. That is, when the flash non-light-emitting image is used for the live view image, as shown in FIG. 10, it is not necessary to change the exposure condition for reading the live view image, and the exposure for the live view image is unnecessary. Become. As a result, since flash flash photography can be performed immediately after flash non-flash photography, the interval from the shutter to image acquisition (Release Time Lag) can be eliminated.
従来は、図11に示すように、フラッシュ非発光撮影後、ライブビュー画像の読み出しのためにも、露光条件の変更を行って、ライブビュー画像のための露光が必要であった。フラッシュ非発光画像がライブビュー画像の場合において、本発明では図10のようなタイムチャートとなることから、図11に示す従来技術よりも2フレーム分の時間を短縮することができる。 Conventionally, as shown in FIG. 11, after the flash non-flash photography, exposure for a live view image is also required by changing the exposure condition for reading a live view image. In the case where the flash non-light-emitting image is a live view image, in the present invention, a time chart as shown in FIG. 10 is obtained, so that the time for two frames can be shortened as compared with the prior art shown in FIG.
また、フラッシュ非発光画像がキャプチャー画像の場合は、従来技術では適正露光ではないため使用できなかった画像も記録することができ、本発明による補正後のフラッシュ発光画像とあわせてフラッシュ発光とフラッシュ非発光の2枚撮影モードが実現できる。 In addition, when the non-flash image is a captured image, it is possible to record an image that could not be used because it was not properly exposed in the prior art, and together with the corrected flash image according to the present invention, flash emission and non-flash It is possible to realize a two-shot shooting mode with light emission.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
100 撮像装置
102 レンズ
104 絞り
106 シャッター
108 CCDイメージセンサー
110 信号処理部
112 前処理部
114 後処理部
116 RGB→YCC変換部
118 データ圧縮部
120 メモリーカード接続部
122 メモリーカード
124 AE評価値算出部
126 ホワイトバランス制御部
130 画像メモリ
132 第一の撮像記憶部
134 第二の撮像記憶部
140 マルチAWB処理部
141 露光制御値差分算出部
142 被写体輝度算出部
143 被写体輝度差分算出部
144 フラッシュ反射量算出部
145 カラーバランス算出部
146 ホワイトバランスゲイン算出部
150 適正AE算出部
152 露光制御部
160 フラッシュ
DESCRIPTION OF
Claims (5)
前記第一の露光制御値に基づいて撮影し前記第一の画像を取得し、絞り値を前記第一の露光制御値における絞り値と一致させた前記第二の露光制御値に基づいて撮影し前記第二の画像を取得する撮像部と、
前記第一の露光制御値と前記第二の露光制御値との差分である露光制御値差分を算出する露光制御値差分算出部と、
取得された前記第一の画像の全画素について第一の被写体輝度を算出し、取得された前記第二の画像の全画素について第二の被写体輝度を算出する被写体輝度算出部と、
前記露光制御値差分と、画素毎の前記第一の被写体輝度と、画素毎の前記第二の被写体輝度との差分である被写体輝度差分を全画素について算出する被写体輝度差分算出部と、
前記被写体輝度差分から画素単位にフラッシュ反射量を算出するフラッシュ反射量算出部と、
前記フラッシュ反射量から画素単位にホワイトバランスゲインを算出するホワイトバランスゲイン算出部と
を備える、撮像装置。 Based on the light received from the subject, the first exposure control value at which the brightness of the first image obtained by photographing without emitting the flash is appropriate, and obtained by photographing by emitting the flash An exposure control value calculation unit that calculates a second exposure control value at which the brightness of the second image to be set is appropriate,
Photographing based on the first exposure control value, obtaining the first image, photographing based on the second exposure control value in which the aperture value is matched with the aperture value in the first exposure control value. An imaging unit for acquiring the second image;
An exposure control value difference calculating unit that calculates an exposure control value difference that is a difference between the first exposure control value and the second exposure control value;
A subject brightness calculation unit that calculates a first subject brightness for all pixels of the acquired first image and calculates a second subject brightness for all pixels of the acquired second image;
A subject luminance difference calculation unit that calculates a subject luminance difference that is a difference between the exposure control value difference, the first subject luminance for each pixel, and the second subject luminance for each pixel;
A flash reflection amount calculation unit for calculating a flash reflection amount in pixel units from the subject luminance difference;
An imaging apparatus comprising: a white balance gain calculation unit that calculates a white balance gain in pixel units from the flash reflection amount.
前記ホワイトバランスゲイン算出部は、前記カラーバランスに基づいて前記ホワイトバランスゲインを算出する、請求項1〜3のいずれか1項に記載の撮像装置。 Based on the flash reflection amount calculated by the flash reflection amount calculation unit, the color balance calculation unit further calculates a color balance of the target pixel by linearly interpolating the color balance of the ambient light and the color balance of the flash light,
The white balance gain calculation unit calculates the white balance gain based on the color balance, the imaging apparatus according to any one of claims 1-3.
前記第一の露光制御値に基づいて撮影し前記第一の画像を取得し、絞り値を前記第一の露光制御値における絞り値と一致させた前記第二の露光制御値に基づいて撮影し前記第二の画像を取得するステップと、
前記第一の露光制御値と前記第二の露光制御値との差分である露光制御値差分を算出するステップと、
取得された前記第一の画像の全画素について第一の被写体輝度を算出し、取得された前記第二の画像の全画素について第二の被写体輝度を算出するステップと、
前記露光制御値差分と、画素毎の前記第一の被写体輝度と、画素毎の前記第二の被写体輝度との差分である被写体輝度差分を全画素について算出するステップと、
前記被写体輝度差分から画素単位にフラッシュ反射量を算出するステップと、
前記フラッシュ反射量から画素単位にホワイトバランスゲインを算出するステップと
を備える、撮像方法。 Based on the light received from the subject, the first exposure control value at which the brightness of the first image obtained by photographing without emitting the flash is appropriate, and obtained by photographing by emitting the flash Calculating a second exposure control value at which the brightness of the second image is appropriate;
Photographing based on the first exposure control value, obtaining the first image, photographing based on the second exposure control value in which the aperture value is matched with the aperture value in the first exposure control value. Obtaining the second image;
Calculating an exposure control value difference that is a difference between the first exposure control value and the second exposure control value;
Calculating a first subject brightness for all pixels of the acquired first image, and calculating a second subject brightness for all pixels of the acquired second image;
Calculating a subject brightness difference, which is a difference between the exposure control value difference, the first subject brightness for each pixel, and the second subject brightness for each pixel, for all pixels;
Calculating a flash reflection amount in pixel units from the subject luminance difference;
Calculating a white balance gain in pixel units from the flash reflection amount.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009293475A JP5566680B2 (en) | 2009-12-24 | 2009-12-24 | Imaging apparatus and imaging method |
KR1020100127875A KR101710630B1 (en) | 2009-12-24 | 2010-12-14 | Photographing apparatus, photographing method and recording medium |
US12/977,550 US8441552B2 (en) | 2009-12-24 | 2010-12-23 | Photographing apparatus with improved white balance correction and method and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009293475A JP5566680B2 (en) | 2009-12-24 | 2009-12-24 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011135378A JP2011135378A (en) | 2011-07-07 |
JP5566680B2 true JP5566680B2 (en) | 2014-08-06 |
Family
ID=44347630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009293475A Expired - Fee Related JP5566680B2 (en) | 2009-12-24 | 2009-12-24 | Imaging apparatus and imaging method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5566680B2 (en) |
KR (1) | KR101710630B1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014120813A (en) * | 2012-12-13 | 2014-06-30 | Samsung R&D Institute Japan Co Ltd | Image pickup device and image pickup method |
JP6335776B2 (en) * | 2014-12-25 | 2018-05-30 | オリンパス株式会社 | Endoscope system |
JP6778602B2 (en) * | 2016-12-14 | 2020-11-04 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Image pickup device, image data generation method and image data generation program |
CN117793540A (en) * | 2022-09-27 | 2024-03-29 | 华为技术有限公司 | Photosensitive processing apparatus and method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3540485B2 (en) * | 1995-04-13 | 2004-07-07 | 株式会社リコー | Electronic still camera |
JP2003348601A (en) * | 2002-05-27 | 2003-12-05 | Fuji Photo Film Co Ltd | Auto white balance control method and electronic camera |
JP3838243B2 (en) * | 2003-09-04 | 2006-10-25 | ソニー株式会社 | Image processing method, image processing apparatus, and computer program |
JP4735039B2 (en) * | 2005-05-18 | 2011-07-27 | カシオ計算機株式会社 | White balance adjusting device, white balance adjusting method and program |
JP5064312B2 (en) * | 2007-08-06 | 2012-10-31 | パナソニック株式会社 | White balance adjusting device, imaging device, white balance adjusting method, program, and integrated circuit |
JP5169318B2 (en) * | 2007-09-18 | 2013-03-27 | 株式会社リコー | Imaging apparatus and imaging method |
-
2009
- 2009-12-24 JP JP2009293475A patent/JP5566680B2/en not_active Expired - Fee Related
-
2010
- 2010-12-14 KR KR1020100127875A patent/KR101710630B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR20110074443A (en) | 2011-06-30 |
JP2011135378A (en) | 2011-07-07 |
KR101710630B1 (en) | 2017-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103685971B (en) | Image pickup apparatus and control method thereof | |
JP6049343B2 (en) | Image processing apparatus, image processing method, and program | |
JP5743696B2 (en) | Image processing apparatus, image processing method, and program | |
CN102377943B (en) | Image pickup apparatus and image pickup method | |
RU2504108C2 (en) | Image processing apparatus, image processing method and recording medium | |
JP5808142B2 (en) | Image processing apparatus, image processing method, and program | |
WO2004010711A1 (en) | Imaging data processing method, imaging data processing device, and computer program | |
US20110157412A1 (en) | Photographing Apparatus and Method and Recording Medium | |
JP5225137B2 (en) | Imaging apparatus, image processing method, and program | |
JP5566680B2 (en) | Imaging apparatus and imaging method | |
JP6778602B2 (en) | Image pickup device, image data generation method and image data generation program | |
JP2013141105A (en) | Image processing device, electronic camera, and image processing program | |
JP5854716B2 (en) | Image processing apparatus, image processing method, and program | |
CN114143443B (en) | Dual sensor camera system and camera method thereof | |
KR102068747B1 (en) | Photographing apparatus and method | |
JP2006171315A (en) | Stroboscope controller, stroboscope control program, and stroboscope control method | |
JP5566679B2 (en) | Imaging apparatus and imaging method | |
JP6570311B2 (en) | Image processing apparatus and image processing method | |
JP2013201477A (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP2012134678A (en) | Imaging apparatus and imaging method | |
JP6616674B2 (en) | Image processing apparatus and method, and imaging apparatus | |
JP2017034536A (en) | Image processing apparatus, image processing method, and program | |
JP6021885B2 (en) | Image processing apparatus, image processing method, and program | |
JP2021087125A (en) | Image processing device, control method thereof, and program | |
JP2013090238A (en) | Imaging device and white balance adjustment method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5566680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |