JP6312487B2 - 画像処理装置及びその制御方法、並びに、プログラム - Google Patents
画像処理装置及びその制御方法、並びに、プログラム Download PDFInfo
- Publication number
- JP6312487B2 JP6312487B2 JP2014064116A JP2014064116A JP6312487B2 JP 6312487 B2 JP6312487 B2 JP 6312487B2 JP 2014064116 A JP2014064116 A JP 2014064116A JP 2014064116 A JP2014064116 A JP 2014064116A JP 6312487 B2 JP6312487 B2 JP 6312487B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pupil
- divided
- imaging
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000003384 imaging method Methods 0.000 claims description 78
- 210000001747 pupil Anatomy 0.000 claims description 68
- 239000000203 mixture Substances 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000003705 background correction Methods 0.000 description 32
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000009825 accumulation Methods 0.000 description 12
- 230000035508 accumulation Effects 0.000 description 12
- 239000002131 composite material Substances 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
また、本発明は、上述した画像処理装置の制御方法、及び、当該制御方法をコンピュータに実行させるためのプログラムを含む。
まず、特許文献1にかかる従来技術を図9を用いて説明する。
J107は、撮像装置の瞳面である。J108は、マイクロレンズアレイである。J109は、複数の画素からなる画素アレイである。例えば、マイクロレンズアレイJ108及び画素アレイJ109は、撮像素子を構成する。J111は、1つの画素(主画素)である。この1つの画素(主画素)J111は、上記の特許文献2と同様に、複数の光電変換部(具体的には、J110aに示す副画素とJ110bに示す副画素)を有して構成されている。
J201aは、図9に示す副画素J110aのシェーディング特性を示す。また、J201bは、図9に示す副画素J110bのシェーディング特性を示す。図9の像面中央はX=0に対応し、像面端はX=500に対応する。
J303は、図9に示す副画素J110bを適正露出にして撮像した瞳分割画像(適正露出画像)である。また、J302は、図9に示す副画素J110aを1段(1EV)アンダー露出にして撮像した瞳分割画像(アンダー露出画像)である。
しかしながら、上述した特許文献1に開示されたダイナミックレンジ拡大加算モードでは、瞳のケラレによるシェーディングの影響でダイナミックレンジ拡大効果が低減してしまう。つまり、図11に示すアンダー露出画像J302と適正露出画像J303は、撮像素子の撮像領域のうちの領域2においては1段以上の露出段差を確保することができるが、撮像素子の撮像領域のうちの領域1においては1段未満の露出段差しか確保できない。このように露出段差が確保できない場合に画像合成を行うと、画像合成後の画像の画質が低下するという問題が生じる。
まず、本発明の第1の実施形態について説明する。
図3は、図6に示すアンダー露出画像602に乗算するシェーディング補正係数(アンダー露出画像用シェーディング補正係数)の一例を示す図である。また、図4は、図6に示す適正露出画像603に乗算するシェーディング補正係数(適正露出画像用シェーディング補正係数)の一例を示す図である。図3及び図4のいずれも、横軸は撮像部105の撮像領域における画素位置(X)であり、縦軸はシェーディング補正係数である。
210は、アンダー露出画像用シェーディング補正部である。アンダー露出画像用シェーディング補正部210は、図6のアンダー露出画像602に対して、図3のアンダー露出画像用シェーディング補正係数301a,301bを乗算することで、シェーディング補正をする。このシェーディング補正により、図6の補正後アンダー露出画像604が生成される。また、図3のアンダー露出画像用シェーディング補正係数301a,301bは、例えば、図1に示すROM102から読み出されてRAM103に展開されたものが、アンダー露出画像用シェーディング補正係数入力202として入力される。
220は、適正露出画像用シェーディング補正部である。適正露出画像用シェーディング補正部220は、図6の適正露出画像603に対して、図4の適正露出画像用シェーディング補正係数401a,401bを乗算することで、シェーディング補正をする。このシェーディング補正により、図6の補正後適正露出画像605が生成される。また、図4の適正露出画像用シェーディング補正係数401a,401bは、例えば、図1に示すROM102から読み出されてRAM103に展開されたものが、適正露出画像用シェーディング補正係数入力204として入力される。
230は、画像合成部である。画像合成部230は、図6の補正後アンダー露出画像604と補正後適正露出画像605を画像合成して、合成画像としてダイナミックレンジ拡大画像を生成する。231は、ダイナミックレンジ拡大画像出力である。
次に、本発明の第2の実施形態について説明する。
721は、ターゲットフレーム入力である。このターゲットフレーム入力721は、ゲインアップされたアンダー露出A像802aもしくはゲインアップされたアンダー露出B像802bのいずれかが入力される。722は、参照フレーム入力である。この参照フレーム入力722は、適正露出A像J201aもしくは適正露出B像J201bのいずれかが入力される。
731は、動きベクトル入力(動きベクトル算出部730で算出された動きベクトルの入力)である。712は、参照フレーム入力であり、適正露出(A+B)像801abが入力される。
711は、アンダー露出(A+B)像入力(図8のアンダー露出(A+B)像802abの入力)である。741は、動き補償後適正露出(A+B)像入力(動き補償された適正露出(A+B)像801abの入力)である。751は、ダイナミックレンジ拡大画像出力である。
図5は、本発明の実施形態を示し、図7に示す画像合成部750の動作を説明するための図である。図5において、横軸は被写体Hの明るさであり、縦軸は画素値である。ここで、本実施形態においては、被写体Hの明るさは、例えばアンダー露出(A+B)像の画素値を参照すればよい。
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
Claims (11)
- 撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子と、
前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からHDR合成処理に用いる画像を選択する選択手段と
を有することを特徴とする画像処理装置。 - 前記複数の瞳分割画像は、少なくとも、前記撮像素子における第1の画素から得られた第1の瞳分割画像と、前記撮像素子における第2の画素から得られた第2の瞳分割画像とを含み、
前記撮像素子における撮像領域は、少なくとも、第1の領域と第2の領域とを含む複数の領域に区分されており、
前記選択手段は、
前記第1の領域については、前記HDR合成処理に用いる画像であって第1の露出量に係る画像として前記第1の瞳分割画像を選択するとともに、前記HDR合成処理に用いる画像であって前記第1の露出量よりも露出量が少ない第2の露出量に係る画像として前記第1の瞳分割画像ではない他の瞳分割画像を選択し、
前記第2の領域については、前記HDR合成処理に用いる画像であって前記第1の露出量に係る画像として前記第2の瞳分割画像を選択するとともに、前記HDR合成処理に用いる画像であって前記第2に露出量に係る画像として前記第2の瞳分割画像ではない他の瞳分割画像を選択することを特徴とする請求項1に記載の画像処理装置。 - 前記選択手段により選択された前記HDR合成処理に用いる画像に対して、前記瞳のケラレによる明暗ムラを補正する明暗ムラ補正手段を更に有することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記複数の領域ごとに、前記選択手段により選択された複数の瞳分割画像を合成して合成画像を生成する画像合成手段を更に有することを特徴とする請求項2に記載の画像処理装置。
- 前記撮像素子は、前記複数の瞳分割画像を複数の露出量において撮像するものであり、
前記撮像素子における撮像領域の複数の領域ごとに、前記複数の露出量において前記撮像素子で撮像された複数の瞳分割画像間で動きベクトルを算出する動きベクトル算出手段を更に有することを特徴とする請求項1に記載の画像処理装置。 - 前記複数の瞳分割画像は、少なくとも、前記撮像素子における第1の画素から得られた第1の瞳分割画像と、前記撮像素子における第2の画素から得られた第2の瞳分割画像とを含み、
前記撮像素子における撮像領域は、少なくとも、第1の領域と第2の領域とを含む複数の領域に区分されており、
前記撮像素子は、少なくとも、第1の露出量と当該第1の露出量よりも露出量が少ない第2の露出量を含む複数の露出量において前記撮像を行い、
前記動きベクトル算出手段は、前記第1の領域については、前記第1の露出量および前記第2の露出量において前記撮像された、前記第1の瞳分割画像ではない他の瞳分割画像間で前記動きベクトルを算出し、前記第2の領域については、前記第1の露出量および前記第2の露出量において前記撮像された、前記第2の瞳分割画像ではない他の瞳分割画像間で前記動きベクトルを算出することを特徴とする請求項5に記載の画像処理装置。 - 少なくとも、前記第1の露出量において前記撮像素子で撮像された複数の瞳分割画像を加算して第1の加算画像を生成するとともに、前記第2の露出量において前記撮像素子で撮像された複数の瞳分割画像を加算して第2の加算画像を生成する画像加算手段と、
少なくとも、前記動きベクトルを用いて前記第1の加算画像を動き補償して動き補償画像を生成する動き補償手段と、
少なくとも、前記第2の加算画像と前記動き補償画像とを合成して合成画像を生成する画像合成手段と
を更に有することを特徴とする請求項6に記載の画像処理装置。 - 前記第1の瞳分割画像は、前記第1の領域では前記第2の瞳分割画像よりも前記瞳のケラレ量が小さく、前記第2の瞳分割画像は、前記第2の領域では前記第1の瞳分割画像よりも前記瞳のケラレ量が小さいことを特徴とする請求項2、4、6、7の何れか1項に記載の画像処理装置。
- 前記画像合成手段は、被写体の明るさが所定の閾値よりも暗い場合については、露出量の多い方の入力画像を選択して出力し、被写体の明るさが所定の閾値よりも明るい場合については、露出量の少ない方の入力画像を選択して出力することを特徴とする請求項4又は7に記載の画像処理装置。
- 撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子を備える画像処理装置の制御方法であって、
前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からHDR合成処理に用いる画像を選択する選択工程を有することを特徴とする画像処理装置の制御方法。 - 撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子を備える画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からHDR合成処理に用いる画像を選択する選択工程をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014064116A JP6312487B2 (ja) | 2014-03-26 | 2014-03-26 | 画像処理装置及びその制御方法、並びに、プログラム |
US14/662,781 US9699387B2 (en) | 2014-03-26 | 2015-03-19 | Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014064116A JP6312487B2 (ja) | 2014-03-26 | 2014-03-26 | 画像処理装置及びその制御方法、並びに、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015186247A JP2015186247A (ja) | 2015-10-22 |
JP6312487B2 true JP6312487B2 (ja) | 2018-04-18 |
Family
ID=54192162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014064116A Active JP6312487B2 (ja) | 2014-03-26 | 2014-03-26 | 画像処理装置及びその制御方法、並びに、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9699387B2 (ja) |
JP (1) | JP6312487B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6071257B2 (ja) * | 2012-06-07 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
JP6587380B2 (ja) * | 2014-09-12 | 2019-10-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 |
JP6585890B2 (ja) * | 2014-09-30 | 2019-10-02 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
EP3096512B1 (en) * | 2015-05-18 | 2017-03-22 | Axis AB | Method and camera for producing an image stabilized video |
JP6652294B2 (ja) * | 2015-10-29 | 2020-02-19 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
JP6748454B2 (ja) * | 2016-03-10 | 2020-09-02 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP6873688B2 (ja) * | 2016-12-27 | 2021-05-19 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
JP2018107664A (ja) * | 2016-12-27 | 2018-07-05 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
US10706512B2 (en) * | 2017-03-07 | 2020-07-07 | Adobe Inc. | Preserving color in image brightness adjustment for exposure fusion |
CN108053444B (zh) * | 2018-01-02 | 2021-03-12 | 京东方科技集团股份有限公司 | 瞳孔定位方法及装置、设备和存储介质 |
EP3820138A1 (en) * | 2019-11-06 | 2021-05-12 | Koninklijke Philips N.V. | A system for performing image motion compensation |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002199284A (ja) | 2000-12-25 | 2002-07-12 | Canon Inc | 撮像素子 |
JP4544334B2 (ja) | 2008-04-15 | 2010-09-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2011059337A (ja) * | 2009-09-09 | 2011-03-24 | Fujifilm Corp | 撮像装置 |
JP5825817B2 (ja) * | 2011-04-01 | 2015-12-02 | キヤノン株式会社 | 固体撮像素子及び撮像装置 |
JP5898481B2 (ja) | 2011-12-13 | 2016-04-06 | キヤノン株式会社 | 撮像装置及び焦点検出方法 |
US20130162625A1 (en) * | 2011-12-23 | 2013-06-27 | Michael L. Schmit | Displayed Image Improvement |
JP6053347B2 (ja) * | 2012-06-25 | 2016-12-27 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
KR102039464B1 (ko) * | 2013-05-21 | 2019-11-01 | 삼성전자주식회사 | 전자 센서와, 그의 제어 방법 |
-
2014
- 2014-03-26 JP JP2014064116A patent/JP6312487B2/ja active Active
-
2015
- 2015-03-19 US US14/662,781 patent/US9699387B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015186247A (ja) | 2015-10-22 |
US9699387B2 (en) | 2017-07-04 |
US20150281540A1 (en) | 2015-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6312487B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
JP5767485B2 (ja) | 画像処理装置及び制御方法 | |
US9838625B2 (en) | Image processing apparatus and control method for image processing apparatus for controlling correction of a black level in a combined image signal | |
US10397473B2 (en) | Image processing apparatus having an image synthesis unit that generates synthesized image data depending on an object brightness, and related image-pickup apparatus | |
KR20110032344A (ko) | 고대비 영상 생성 장치 및 방법 | |
US11838649B2 (en) | Image capturing device and control method thereof and medium | |
JP2015144475A (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
JP5713643B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
JP6305290B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP7479831B2 (ja) | 撮像装置およびその制御方法、プログラム | |
US11431924B2 (en) | Image capturing apparatus and control method thereof | |
JP6449320B2 (ja) | 撮像装置 | |
JP2009022044A (ja) | 画像処理装置及び画像処理プログラム | |
JP6990988B2 (ja) | 撮像装置及び撮像素子の制御方法 | |
JP2015037222A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP5721552B2 (ja) | 撮像装置および画像合成方法 | |
JP5631153B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
US20240354900A1 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2023090494A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2013115547A (ja) | 撮像装置及びその制御方法 | |
JP2018110298A (ja) | 画像処理装置および画像処理方法 | |
JP2018147417A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2018151422A (ja) | 焦点検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180320 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6312487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |