Nothing Special   »   [go: up one dir, main page]

JP2017050693A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2017050693A
JP2017050693A JP2015172319A JP2015172319A JP2017050693A JP 2017050693 A JP2017050693 A JP 2017050693A JP 2015172319 A JP2015172319 A JP 2015172319A JP 2015172319 A JP2015172319 A JP 2015172319A JP 2017050693 A JP2017050693 A JP 2017050693A
Authority
JP
Japan
Prior art keywords
image
unit
time
luminance
edge portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015172319A
Other languages
English (en)
Other versions
JP6635722B2 (ja
Inventor
松本 哲
Satoru Matsumoto
哲 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015172319A priority Critical patent/JP6635722B2/ja
Publication of JP2017050693A publication Critical patent/JP2017050693A/ja
Application granted granted Critical
Publication of JP6635722B2 publication Critical patent/JP6635722B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】電力及びメモリの消費を低減することができる画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】画像処理装置は、画像を生成する撮像部と、撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出部と、エッジ部輝度算出部により算出された輝度に応じて、異なる順序で露光時間が異なる複数の画像を撮像部に生成させる制御部と、露光時間が異なる複数の画像を合成する画像合成部とを有する。
【選択図】図2

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
近年のデジタルカメラなどの画像処理装置では、音声付き動画を撮影記録する様々な方式が採られており、最近では、露光時間を変更しながらオーバー露光、適正露光、アンダー露光の画像を連続撮像して各画像を合成するものが知られている。この合成により、ダイナミックレンジの広い動画(以下、HDR動画という)を生成することができる。
特許文献1では、連続撮像した各画像の被写体に変化があり、画像合成に不具合が発生する場合には、画像合成を行わないと判断し、撮像した画像をそのまま利用する方法が開示されている。
特開2007−36742号公報
しかし、特許文献1では、画像合成を行う各画像のうち、例えば最後の画像で画像合成を行わないと判断された場合、以下の2点の課題がある。1点目は、最後の画像以前の画像に対して合成のために行った処理が無駄となってしまうことである。2点目は、撮像した画像をそのまま利用するために、画像合成を行わないことが決定する時(最後の画像の被写体の変化の検出時)まで、撮像した画像をメモリに保持しておかなければならないことである。つまり、特許文献1では、電力とメモリを無駄に消費してしまうという課題がある。
本発明の目的は、電力及びメモリの消費を低減することができる画像処理装置、画像処理方法及びプログラムを提供することである。
本発明の画像処理装置は、画像を生成する撮像部と、前記撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出部と、前記エッジ部輝度算出部により算出された輝度に応じて、異なる順序で露光時間が異なる複数の画像を前記撮像部に生成させる制御部と、前記露光時間が異なる複数の画像を合成する画像合成部とを有することを特徴とする。
露光時間の順序を異ならせることにより、電力及びメモリの消費を低減することができる。
本実施形態による画像処理装置の構成例を示す図である。 本実施形態による画像処理方法を示すフローチャートである。 本実施形態による撮像フレームレート切り替え時を示す図である。 比較例による撮像フレームレート切り替え時を示す図である。 本実施形態によるメモリ使用状況を示す図である。 比較例によるメモリ使用状況を示す図である。
図1は、本発明の実施形態による画像処理装置100の構成例を示すブロック図である。画像処理装置100は、例えばカメラであり、ズームレンズ110、カメラのブレを補正するシフトレンズ111、及び焦点調節用フォーカスレンズ112を有する。メカニカルシャッタ113は、レンズ110〜112から撮像素子115への光束を遮断する。絞り114は、撮像素子115への光束を調節する。撮像素子115は、光電変換により、被写体の光像を基に画像信号を生成する撮像部である。タイミング発生部116は、撮像素子115を駆動し、サンプリングに必要なタイミングパルスを画像処理部117に出力する。
画像処理部117は、SSG回路145、前処理回路141、AF評価値演算回路142、輝度積分回路143、信号処理回路146、画像合成回路144、縮小回路147、ラスタブロック変換回路148及び圧縮回路149を有する。SSG回路145は、撮像駆動用の同期信号を生成する。具体的には、SSG回路145は、タイミング発生部116から撮像駆動用クロック信号を入力し、水平及び垂直同期信号を生成してタイミング発生部116及び撮像素子115に出力する。前処理回路141は、入力画像を行単位で輝度積分回路143と信号処理回路146とに分配する。また、前処理回路141は、撮像データに必要となるチャネル間のデータ補正等の処理を行う。AF評価値演算回路142は、設定された複数の評価領域内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストを表す所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。輝度積分回路143は、RGB信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。信号処理回路146は、撮像素子115の出力データに対して、色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、信号処理回路146は、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部123にYUV形式の画像データを格納する。また、信号処理回路146は、生成するYUV形式の画像データの輝度信号(Y)をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。画像合成回路144は、メモリ部123に格納された複数のRGB形式の撮像画像、又はその撮像画像に対して信号処理を施した複数のYUV形式の画像データを入力し、画像データに対し画素単位で設定された係数を乗じて加算することにより合成画像を生成する。縮小回路147は、信号処理回路146の出力信号を入力し、入力される画素データの切り出し、間引き、及び線形補間処理等を行い、水平及び垂直方向に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路148は、縮小回路147で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部123がバッファメモリとして用いられて実現される。圧縮回路149は、バッファメモリでブロックスキャンデータに変換されたYUV画像データを動画圧縮方式に従って圧縮して、動画ビットストリームを出力する。
露出制御部118は、メカニカルシャッタ113及び絞り114を制御する。レンズ駆動部119は、ズームレンズ110及び焦点調節用フォーカスレンズ112を光軸上に沿って移動させ、被写体像を撮像素子115上に結像させる。また、レンズ駆動部119は、角速度センサ及び加速度センサの出力に応じてシフトレンズ111を駆動し、画像処理装置100の手ブレを光学的に補正する。また、レリーズスイッチ120は、撮影指示を行うためのスイッチである。また、動画ボタン180は、動画記録を指示するスイッチである。
システム制御部121は、CPUと、インターフェース回路と、DMAC(Direct・Memory・Access・Controller)と、バスアービターとを有する。システム制御部121が実行するプログラムは、フラッシュメモリ122に記憶されている。また、メモリ部123は、DRAM等であり、各処理途中のデータを一時保存する他、フラッシュメモリ122内のプログラムを展開して使用される。インターフェース部124は、記録媒体200とのインターフェースである。コネクタ125は、記録媒体200と接続を行う。記録媒体着脱検知スイッチ126は、記録媒体200の着脱を検知する。
マイクロフォン127は、入力された音声を音声信号に変換する。A/D変換器128は、マイクロフォン127のアナログ音声出力をデジタル音声信号に変換する。音声処理部129は、デジタル音声データに所定の音声処理を施し、音声ビットストリームを出力する。
電源制御部130は、電池検出回路及びDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源132は、一次電池あるいは二次電池あるいはACアダプター等であり、電源コネクタ131を介して電源制御部130に接続される。これらの制御は、システム制御部121で行われる。
再生回路150は、画像処理部117で生成され、メモリ部123に記憶された画像データを表示用画像に変換してモニタ151に転送する。モニタ151は、表示装置である。再生回路150は、YUV形式の画像データを輝度成分信号Yと変調色差成分Cとに分離し、D/A変換を行ったアナログ化された輝度成分信号Yにローパスフィルタリング(LPF)を施す。また、再生回路150は、D/A変換を行ったアナログ変調色差成分Cにバンドパスフィルタリング(BPF)を施して変調色差成分Cの周波数成分のみを抽出する。再生回路150は、こうして生成された信号成分とサブキャリア周波数に基づいて、Y信号とRGB信号に変換生成して、モニタ151に出力する。このように、撮像素子115からの画像データを逐次処理してモニタ151に表示することによって電子ビューファインダ(EVF)が実現される。
記録媒体200は、半導体メモリ等から構成される記録部201、画像処理装置100とのインターフェース部202、画像処理装置100と接続を行うコネクタ203、媒体記録禁止スイッチ204を有する。
本実施形態では、露光時間を変えて連続する複数のフレームの画像を合成することによりHDR動画を生成する例を説明する。HDRは、ハイダイナミックレンジである。ここでは、画像の明暗差を判定し、その判定結果により、HDR動画もしくは通常動画を動的に切り替えながら記録を行う自動HDR動画について説明する。
なお、前提として、撮像素子115としてCMOSセンサを使用し、記録フレームレートは60FPSとする。HDR動画時の撮像駆動モードは少なくとも180FPS以上の高速読み出しが可能なモードを使用するものとする。ただし、撮像フレームレートは180FPS又は60FPSの可変設定とする。HDR動画では、撮像フレームレートを180FPSとして、連続撮像したオーバー露光、適正露光、アンダー露光の3枚を合成することで、1枚のHDRフレームを作成する。一方、通常動画では、撮像フレームレートを60FPSに切り替える。
図2は、画像処理装置100の画像処理方法(自動HDR動画記録処理)を示すフローチャートである。この各処理は、システム制御部121がフラッシュメモリ122に格納されたプログラムをメモリ部123に展開して実行することにより実現される。なお、図2は、動画ボタン180により動画記録開始が指示された後の処理を表している。
まず、ステップS201では、システム制御部121は、画像処理部117に対して、通常動画用の60FPSの撮像駆動指示を行う。さらに、システム制御部121は、撮像素子115に対して、通常動画用のタイミング設定を行う。次に、ステップS202では、システム制御部121は、撮像素子115から画像処理部117に入力された画像を複数ブロックに分割し、ブロック毎に信号を積分した結果を基に画像が適正露光(M)となるような適正露光時間の設定を行う。そして、システム制御部121は、適正露光時間で撮像素子115に画像を生成させる。
次に、ステップS203では、システム制御部(エッジ部抽出部)121は、ステップS202の適正露光時間で生成された適正露光画像(M)に対して、主要被写体のエッジ部を抽出する。次に、ステップS204では、システム制御部(エッジ部輝度算出部)121は、ステップS203により抽出されたエッジ部の輝度を算出する。次に、ステップS205では、システム制御部(明暗差検出部)121は、上記の適正露光画像のブロック毎に信号を積分し、その積分結果を基に適正露光画像内の高輝度ブロックと低輝度ブロックの間の明暗差を検出する。次に、ステップS206では、システム制御部121は、適正露光画像を動画の1フレームとしてエンコードして記録する。すなわち、画像処理部(画像合成部)117は、適正露光時間の画像を合成せずに出力する。次に、ステップS207では、システム制御部121は、動画ボタン180による動画記録停止が指示されているか否かを判定する。動画記録停止が指示されている場合にはステップS208へ進み、指示されていない場合にはステップS209へ進む。
ステップS209では、システム制御部121は、ステップS205又は後述するステップS216、S228で検出した明暗差が第2の閾値以上か否かを判定する。明暗差が第2の閾値未満である場合にはステップS201へ戻り、第2の閾値以上である場合にはステップS210へ進む。
ステップS210では、システム制御部121は、画像処理部117に対して、HDR動画用の180FPSの撮像駆動指示を行う。さらに、システム制御部121は、撮像素子115に対して、HDR動画用のタイミング設定を行う。次に、ステップS211では、システム制御部121は、ステップS204又は後述するステップS215、S227で算出したエッジ部の輝度が第1の閾値以上か否かを判定する。輝度が第1の閾値未満である場合にはステップS212へ進み、第1の閾値以上である場合にはステップS224へ進む。
ステップS212では、システム制御部121は、撮像素子115から画像処理部117に入力された画像を複数ブロックに分割し、ブロック毎に信号を積分した結果を基に画像が適正となる適正露光時間(M)を決定する。そして、システム制御部121は、フレーム毎に露光時間がアンダー露光時間、適正露光時間、オーバー露光時間の順序(L→M→H)で変わるように露光時間の設定を行い、各露光時間のフレームの画像を撮像素子115から読み出す。すなわち、システム制御部121は、アンダー露光時間、適正露光時間、オーバー露光時間の順序で撮像素子115に画像を生成させる。
次に、ステップS213では、システム制御部(エッジ部抽出部)121は、ステップS212でアンダー露光時間で生成されたアンダー露光画像(L)から、主要被写体のエッジ部を抽出する。次に、ステップS214では、システム制御部(エッジ部抽出部)121は、ステップS212で適正露光時間で生成された適正露光画像(M)から、主要被写体のエッジ部を抽出する。次に、ステップS215では、システム制御部(エッジ部輝度算出部)121は、ステップS214で抽出されたエッジ部の輝度を算出する。次に、ステップS216では、システム制御部(明暗差検出部)121は、適正露光画像(M)のブロック毎に信号を積分し、その積分結果を基に適正露光画像内の高輝度ブロックと低輝度ブロックの間の明暗差を検出する。次に、ステップS217では、システム制御部121は、ステップS213で抽出したアンダー露光画像(L)のエッジ部の有無を判定する。エッジ部がある場合にはステップS218へ進み、エッジ部がない場合にはステップS223へ進む。
ステップS218では、システム制御部121は、ステップS212で適正露光時間で生成された適正露光画像(M)から、合成用画像(M’)を生成する。次に、ステップS219では、システム制御部121は、ステップS212でアンダー露光時間で生成されたアンダー露光画像(L)とステップS218で生成された合成用画像(M’)とを画像処理部117により合成し、中間合成画像(L+M’=α)を生成する。次に、ステップS220では、システム制御部121は、ステップS212でオーバー露光時間で生成されたオーバー露光画像(H)から、合成用画像(H’)を生成する。次に、ステップS221では、システム制御部121は、ステップS219で生成された中間合成画像(L+M’=α)と、ステップS220で生成された合成用画像(H’)とを画像処理部117により合成し、HDR画像(L+M’+H’)を生成する。HDR画像(L+M’+H’)は、アンダー露光画像(L)に対して、適正露光画像(M)及びオーバー露光画像(H)を合成した画像である。すなわち、画像処理部(画像合成部)117は、アンダー露光時間、適正露光時間及びオーバー露光時間で生成された画像を合成し、その合成したHDR画像(L+M’+H’)を出力する。次に、ステップS222では、システム制御部121は、ステップS221で生成されたHDR画像(L+M’+H’)を動画の1フレームとしてエンコードして記録する。その後、ステップS207へ進む。
ステップS223では、システム制御部121は、ステップS212で適正露光時間で生成された適正露光画像(M)を合成せずに動画の1フレームとしてエンコードして記録する。すなわち、画像処理部(画像合成部)117は、適正露光時間で生成された画像を合成せずに出力する。その後、ステップS207へ進む。
ステップS224では、システム制御部121は、撮像素子115から画像処理部117に入力された画像を複数ブロックに分割し、ブロック毎に信号を積分した結果を基に画像が適正となる適正露光時間(M)を決定する。そして、システム制御部121は、フレーム毎に露光時間がオーバー露光時間、適正露光時間、アンダー露光時間の順序(H→M→L)で変わるように露光時間の設定を行い、各露光時間のフレームの画像を撮像素子115から読み出す。すなわち、システム制御部121は、オーバー露光時間、適正露光時間、アンダー露光時間の順序で撮像素子115に画像を生成させる。
次に、ステップS225では、システム制御部(エッジ部抽出部)121は、ステップS224でオーバー露光時間で生成されたオーバー露光画像(H)から、主要被写体のエッジ部を抽出する。次に、ステップS226では、システム制御部(エッジ部抽出部)121は、ステップS224で適正露光時間で生成された適正露光画像(M)から、主要被写体のエッジ部を抽出する。次に、ステップS227では、システム制御部(エッジ部輝度算出部)121は、ステップS226で抽出されたエッジ部の輝度を算出する。次に、ステップS228では、システム制御部121は、適正露光画像(M)のブロック毎に信号を積分し、その積分結果を基に適正露光画像内の高輝度ブロックと低輝度ブロックの間の明暗差を検出する。次に、ステップS229では、システム制御部121は、ステップS225で抽出されたオーバー露光画像(H)のエッジ部の有無を判定する。エッジ部がある場合にはステップS230へ進み、エッジ部がない場合にはステップS223へ進む。
ステップS230では、システム制御部121は、ステップS224で適正露光時間で生成された適正露光画像(M)から、合成用画像(M’)を生成する。次に、ステップS231では、システム制御部121は、ステップS224でオーバー露光時間で生成されたオーバー露光画像(H)とステップS230で生成された合成用画像(M’)とを画像処理部117により合成し、中間合成画像(H+M’=β)を生成する。次に、ステップS232では、システム制御部121は、ステップS224でアンダー露光時間で生成されたアンダー露光画像(L)から、合成用画像(L’)を生成する。次に、ステップS233では、システム制御部121は、ステップS231で生成された中間合成画像(H+M’=β)と、ステップS232で生成された合成用画像(L’)とを画像処理部117により合成し、HDR画像(H+M’+L’)を生成する。HDR画像(H+M’+L’)は、オーバー露光画像(H)に対して、適正露光画像(M)及びアンダー露光画像(L)を合成した画像である。すなわち、画像処理部(画像合成部)117は、オーバー露光時間、適正露光時間及びアンダー露光時間で生成された画像を合成し、その合成したHDR画像(H+M’+L’)を出力する。次に、ステップS234では、システム制御部121は、ステップS233で生成されたHDR画像(H+M’+L’)を動画の1フレームとしてエンコードして記録する。その後、ステップS207へ進む。
ステップS208では、システム制御部121は、ステップS207にて動画ボタン180による動画記録停止が指示されていると判定された場合であるので、動画記録を停止し、本処理を終了する。
以上のように、システム制御部121は、ステップS211の輝度に応じて、異なる順序で露光時間が異なる複数の画像を撮像素子115に生成させる(S212又はS224)。
図3は、本実施形態において、自動HDR動画記録中に、撮像フレームレートが60FPSから180FPSへ切り替える際の、画像の読み出しから動画エンコードまでの様子を時系列で表した図である。撮像VD3aは、撮像垂直同期信号である。センサ読み出し3bは、撮像素子115からの読み出し処理を表す。エッジ部抽出3cは、読み出し画像からの主要被写体のエッジ部抽出処理を表す。エッジ部輝度算出3dは、抽出したエッジ部の輝度算出処理を表す。明暗差検出3eは、画像内の明暗差検出処理を表す。合成用画像生成3fは、合成用画像を生成する処理を表す。合成3gは、画像合成処理を表す。動画エンコード3hは、動画をエンコードする処理を表す。記録VD3iは、記録垂直同期信号である。
時刻t1〜t2では、システム制御部121は、通常動画記録を行っている状態であり、撮像フレームレートは60FPS、1垂直期間は16.67msとなっている。時刻t1では、システム制御部121は、センサ読み出し3bに示すように、適正露光画像(M)の読み出しを行う(S202)。次に、システム制御部121は、エッジ抽出3cに示すように、その画像から主要被写体のエッジ部を抽出する(S203)。次に、システム制御部121は、エッジ部輝度算出3dに示すように、そのエッジ部の輝度を算出する(S204)。次に、システム制御部121は、明暗差検出3eに示すように、画像内の明暗差を検出する(S205)。次に、システム制御部121は、動画エンコード3hに示すように、動画をエンコード処理する(S206)。
時刻t2では、システム制御部121は、画像内から検出した明暗差が第2の閾値以上と判定し(S209)、撮像フレームレートを60FPSから180FPSへ切り替える(S210)。これにより、撮像フレームレートは180FPS、1垂直期間は5.56msとなる。ここで、ステップS211で、時刻t1で読み出された画像のエッジ部の輝度が第1の閾値未満である場合を説明する。システム制御部121は、センサ読み出し3bに示すように、アンダー露光画像(L)の読み出しを行う(S212)。次に、システム制御部121は、エッジ部抽出3cに示すように、そのアンダー露光画像(L)から主要被写体のエッジ部を抽出する(S213)。その結果、ステップS217で、エッジ部がないと判定される場合を説明する。
時刻t3では、システム制御部121は、センサ読み出し3bに示すように、適正露光画像(M)の読み出しを行う(S212)。上記のステップS217で、エッジ部がないと判定されているので、システム制御部121は、適正露光画像(M)に対して、主要被写体のエッジ部抽出3c(S214)、エッジ部輝度算出3d(S215)、合成用画像生成3f(S218)を行わない。さらに、システム制御部121は、合成3g(S219,S221)を行わず、動画エンコード3hを行う(S223)。
時刻t4では、上記のステップS217で、エッジ部がないと判定されているので、システム制御部121は、センサ読み出し3bのオーバー露光画像(H)の読み出し(S212)を行わない。その後、時刻t2〜t4の処理が繰り返される。
時刻t5では、システム制御部121は、センサ読み出し3bに示すように、アンダー露光画像(L)の読み出しを行う(S212)。次に、システム制御部121は、エッジ部抽出3cに示すように、アンダー露光画像(L)から主要被写体のエッジ部を抽出する(S213)。その結果、ステップS217で、エッジ部があると判定される場合を説明する。
時刻t6では、システム制御部121は、センサ読み出し3bに示すように、適正露光画像(M)の読み出しを行う(S212)。次に、システム制御部121は、エッジ部抽出3cに示すように、適正露光画像(M)から主要被写体のエッジ部を抽出する(S214)。次に、システム制御部121は、明暗差検出3eに示すように、適正露光画像(M)内の明暗差を検出する(3e)。次に、システム制御部121は、合成用画像生成3fに示すように、合成用画像(M’)を生成する(S218)。次に、システム制御部121は、合成3gに示すように、アンダー露光画像(L)と合成用画像(M’)とを合成し、合成画像(L+M’=α)を生成する(S219)。
時刻t7では、システム制御部121は、センサ読み出し3bに示すように、オーバー露光画像(H)の読み出しを行う(S212)。次に、システム制御部121は、合成用画像生成3fに示すように、オーバー露光画像(H)から主要被写体の合成用画像(H’)を生成する(S220)。次に、システム制御部121は、合成3gに示すように、合成画像(α)と合成用画像(H’)とを合成し、合成画像(α+H’=β)を生成する(S221)。次に、システム制御部121は、動画エンコード3hに示すように、動画をエンコード処理する(S222)。
図4は、比較例において、撮像フレームレートが60FPSから180FPSへ切り替える際の、画像の読み出しから動画エンコードまでの様子を時系列で表した図である。撮像VD4aは、撮像垂直同期信号である。センサ読み出し4bは、撮像素子115からの読み出し処理を表す。エッジ部抽出4cは、読み出し画像からの主要被写体のエッジ部抽出処理を表す。明暗差検出4dは、画像内の明暗差検出処理を表す。合成用画像生成4eは、合成用画像を生成する処理を表す。合成4fは、画像合成処理を表す。動画エンコード4gは、動画をエンコードする処理を表す。記録VD4hは、記録垂直同期信号である。
時刻t1〜t2では、システム制御部121は、通常動画記録を行っている状態であり、撮像フレームレートは60FPS、1垂直期間は16.67msとなっている。時刻t1では、システム制御部121は、センサ読み出し4bに示すように、適正露光画像(M)の読み出しを行う。次に、システム制御部121は、明暗差検出4dに示すように、適正露光画像(M)から画像内の明暗差を検出する。次に、システム制御部121は、動画エンコード4gに示すように、動画をエンコード処理する。
時刻t2では、上記の検出した明暗差が第2の閾値以上となり、システム制御部121は、撮像フレームレートを60FPSから180FPSへ切り替える。これにより、撮像フレームレートは180FPS、1垂直期間は5.56msとなる。なお、図4では、システム制御部121は、撮像フレームレートが180FPSの際の露光時間の変更順序を、常にオーバー露光、適正露光、アンダー露光(H→M→L)としている。
時刻t2では、システム制御部121は、センサ読み出し4bに示すように、オーバー露光画像(H)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、オーバー露光画像(H)から主要被写体のエッジ部を抽出する。
時刻t3では、システム制御部121は、センサ読み出し4bに示すように、適正露光画像(M)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、適正露光画像(M)から主要被写体のエッジ部を抽出する。次に、システム制御部121は、明暗差検出4dに示すように、適正露光画像(M)内の明暗差を検出する。次に、システム制御部121は、合成用画像生成4eに示すように、合成用画像(M’)を生成する。次に、システム制御部121は、合成4fに示すように、オーバー露光画像(H)と合成用画像(M’)とを合成し、合成画像(H+M’=α)を生成する。
時刻t4では、システム制御部121は、センサ読み出し4bに示すように、アンダー露光画像(L)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、アンダー露光画像(L)から主要被写体のエッジ部を抽出する。その結果、エッジ部がないと判定される場合を説明する。その場合、システム制御部121は、動画エンコード4gに示すように、時刻t3で読み出された適正露光画像(M)に対して動画エンコード処理を行う。
図3の本実施形態と比較して、図4の比較例の無駄な処理を説明する。図4の比較例では、時刻t2におけるオーバー露光画像(H)の読み出し、時刻t3における適正露光画像(M)に対する主要被写体のエッジ部抽出処理4c、合成用画像(M’)生成処理4e、合成画像(H+M’=α)の生成処理4fが無駄な処理である。これにより、図4の比較例では、余計な電力を消費してしまっている。逆に、図3の本実施形態は、図4の比較例に比較して、無駄な処理及び余計な電力消費を低減することができる。
時刻t5では、システム制御部121は、センサ読み出し4bに示すように、オーバー露光画像(H)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、オーバー露光画像(H)から主要被写体のエッジ部を抽出する。
時刻t6では、システム制御部121は、センサ読み出し4bに示すように、適正露光画像(M)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、適正露光画像(M)から主要被写体のエッジ部を抽出する。次に、システム制御部121は、明暗差検出4dに示すように、適正露光画像(M)内の明暗差を検出する。次に、システム制御部121は、合成用画像生成4eに示すように、合成用画像(M’)を生成する。次に、システム制御部121は、合成4fに示すように、合成画像(H+M’=α)を生成する。
時刻t7では、システム制御部121は、センサ読み出し4bに示すように、アンダー露光画像(L)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、アンダー露光画像(L)から主要被写体のエッジ部を抽出する。その結果、エッジ部があると判定される場合を説明する。その場合、システム制御部121は、合成用画像生成4eに示すように、アンダー露光画像(L)から主要被写体の合成用画像(L’)を生成する。次に、システム制御部121は、合成4fに示すように、合成画像(α+L’=β)を生成する。
つまり、図3の本実施形態と比較して、図4の比較例では、時刻t7におけるアンダー露光画像(L)の主要被写体のエッジ部抽出処理4cが無駄な処理であり、余計な電力を消費してしまっている。逆に、図3の本実施形態は、図4の比較例に比較して、無駄な処理及び余計な電力消費を低減することができる。
図5は、本実施形態によるHDR動画時のメモリ部123の使用状況を表した図である。なお、適正露光画像(M)から抽出されたエッジ部の輝度算出結果が第1の閾値未満であり(S211)、撮像フレームレートが180FPSの際の露光時間の変更順序は、アンダー露光、適正露光、オーバー露光(L→M→H)の場合を例に示している(S212)。
まず、時刻5aでは、システム制御部121は、アンダー露光画像(L)をメモリ部123内の領域Aに格納する。システム制御部121は、このアンダー露光画像(L)から主要被写体のエッジ部を抽出し、エッジ部があると判定される場合を説明する(S217)。
次に、時刻5bでは、システム制御部121は、適正露光画像(M)をメモリ部123内の領域Bに格納する。次に、時刻5cでは、システム制御部121は、オーバー露光画像(H)をメモリ部123内の領域Cに格納する。また、時刻5cでは、システム制御部121は、メモリ部123内の領域Bに格納された適正露光画像(M)から生成した合成用画像(M’)をメモリ部123内の領域Dに格納する。
なお、アンダー露光、適正露光、オーバー露光(L→M→H)の順に露光した画像を合成することは前述の通りであるため、適正露光画像(M)のみを動画エンコードすることはない。つまり、適正露光画像(M)は、合成用画像(M’)を生成後は不要となり、メモリ部123から削除して構わない。
次に、時刻5dでは、システム制御部121は、メモリ部123内の領域Aに格納されたアンダー露光画像(L)と領域Dに格納された合成用画像(M’)とを合成した中間合成画像(L+M’)をメモリ部123内の領域Bへ格納する。その際、領域Bに格納されていた適正露光画像(M)は上書きされる。また、時刻5dでは、システム制御部121は、メモリ部123内の領域Cに格納されたオーバー露光画像(H)から生成した合成用画像(H’)をメモリ部123内の領域Eに格納する(5d)。
次に、時刻5eでは、システム制御部121は、メモリ部123内の領域Bに格納された中間合成画像(L+M’)と領域Eに格納された合成用画像(H’)とを合成したHDR画像(L+M’+H’)をメモリ部123内の領域Cに格納する。その際、領域Cに格納されていたオーバー露光画像(H)は上書きされる。
図6は、比較例によるHDR動画時のメモリ部123の使用状況を表した図である。なお、撮像フレームレートが180FPSの際の露光時間の変更順序は、常にオーバー露光、適正露光、アンダー露光(H→M→L)である。
まず、時刻6aでは、システム制御部121は、オーバー露光画像(H)をメモリ部123内の領域Aに格納する。次に、時刻6bでは、システム制御部121は、適正露光画像(M)をメモリ部123内の領域Bに格納する。
次に、時刻6cでは、システム制御部121は、アンダー露光画像(L)をメモリ部123内の領域Cに格納する。また、時刻6cでは、システム制御部121は、メモリ部123内の領域Bに格納された適正露光画像(M)から生成した合成用画像(M’)をメモリ部123内の領域Dに格納する。
次に、時刻6dでは、システム制御部121は、メモリ部123内の領域Cに格納されたアンダー露光画像(L)から生成した合成用画像(L’)をメモリ部123内の領域Eに格納する。また、時刻6dでは、システム制御部121は、メモリ部123内の領域Aに格納されたオーバー露光画像(H)と領域Dに格納された合成用画像(M’)とを合成した中間合成画像(H+M’)をメモリ部123内の領域Fに格納する。
ここで、オーバー露光、適正露光、アンダー露光を合成できるかどうかは、時刻6cにてメモリ部123内の領域Cに格納されたアンダー露光画像(L)から主要被写体のエッジ部を抽出しないと判断できない。つまり、この時点では、適正露光画像(M)のみを動画エンコードする可能性があり、適正露光画像(M)が格納されたメモリ部123内の領域Bを他の画像で上書きすることはできない。よって、前述の中間合成画像(H+M’)は、メモリ部123内の領域Fへ格納される。
次に、時刻6eでは、システム制御部121は、メモリ部123内の領域Fに格納された中間合成画像(H+M’)と領域Eに格納された合成用画像(L’)とを合成したHDR画像(H+M’+L’)をメモリ部123内の領域Dに格納する。その際、領域Cに格納されていた合成用画像(M’)は、上書きされる。
つまり、図5の本実施形態と比較して、図6の比較例では、メモリ部123は、画像1枚分の領域Fの余計なメモリを消費してしまっている。逆に、図5の本実施形態は、図6の比較例と比較して、余計なメモリ消費を低減することができる。以上のように、本実施形態によれば、HDR動画生成の際に、電力及びメモリの消費を低減することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
115 撮像素子、117 画像処理部、121 システム制御部

Claims (10)

  1. 画像を生成する撮像部と、
    前記撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出部と、
    前記エッジ部輝度算出部により算出された輝度に応じて、異なる順序で露光時間が異なる複数の画像を前記撮像部に生成させる制御部と、
    前記露光時間が異なる複数の画像を合成する画像合成部と
    を有することを特徴とする画像処理装置。
  2. 前記制御部は、前記エッジ部輝度算出部により算出された輝度が第1の閾値未満である場合には、アンダー露光時間、適正露光時間、オーバー露光時間の順序で前記撮像部に画像を生成させ、前記エッジ部輝度算出部により算出された輝度が前記第1の閾値以上である場合には、オーバー露光時間、適正露光時間、アンダー露光時間の順序で前記撮像部に画像を生成させることを特徴とする請求項1記載の画像処理装置。
  3. 前記画像合成部は、前記エッジ部輝度算出部により算出された輝度が前記第1の閾値未満である場合、前記アンダー露光時間で生成された画像にエッジ部がある場合には、前記アンダー露光時間、前記適正露光時間及び前記オーバー露光時間で生成された画像を合成して出力し、前記アンダー露光時間で生成された画像にエッジ部がない場合には、前記適正露光時間で生成された画像を合成せずに出力することを特徴とする請求項2記載の画像処理装置。
  4. 前記画像合成部は、前記エッジ部輝度算出部により算出された輝度が前記第1の閾値以上である場合、前記オーバー露光時間で生成された画像にエッジ部がある場合には、前記オーバー露光時間、前記適正露光時間及び前記アンダー露光時間で生成された画像を合成して出力し、前記オーバー露光時間で生成された画像にエッジ部がない場合には、前記適正露光時間で生成された画像を合成せずに出力することを特徴とする請求項2又は3記載の画像処理装置。
  5. 前記エッジ部輝度算出部は、適正露光時間で生成された画像のエッジ部の輝度を算出することを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
  6. さらに、前記撮像部により生成された画像内の明暗差を検出する明暗差検出部を有し、
    前記明暗差検出部により検出された明暗差が第2の閾値以上であり、かつ前記エッジ部輝度算出部により算出された輝度が前記第1の閾値未満であり、かつ前記アンダー露光時間で生成された画像にエッジ部がある場合には、前記画像合成部は、前記アンダー露光時間、前記適正露光時間及び前記オーバー露光時間で生成された画像を合成して出力し、
    前記明暗差検出部により検出された明暗差が前記第2の閾値未満である場合には、前記制御部は、適正露光時間で前記撮像部に画像を生成させ、前記画像合成部は、前記生成された適正露光時間の画像を合成せずに出力することを特徴とする請求項3記載の画像処理装置。
  7. さらに、前記撮像部により生成された画像内の明暗差を検出する明暗差検出部を有し、
    前記明暗差検出部により検出された明暗差が第2の閾値以上であり、かつ前記エッジ部輝度算出部により算出された輝度が前記第1の閾値以上であり、かつ前記オーバー露光時間で生成された画像にエッジ部がある場合には、前記画像合成部は、前記オーバー露光時間、前記適正露光時間及び前記アンダー露光時間で生成された画像を合成して出力し、
    前記明暗差検出部により検出された明暗差が前記第2の閾値未満である場合には、前記制御部は、適正露光時間で前記撮像部に画像を生成させ、前記画像合成部は、前記生成された適正露光時間の画像を合成せずに出力することを特徴とする請求項4記載の画像処理装置。
  8. 前記画像合成部は、連続する複数のフレームの画像を合成することにより動画を生成することを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
  9. エッジ部輝度算出部により、撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出ステップと、
    制御部により、前記エッジ部輝度算出ステップで算出された輝度に応じて、異なる順序で露光時間が異なる複数の画像を前記撮像部に生成させる制御ステップと、
    画像合成部により、前記露光時間が異なる複数の画像を合成する画像合成ステップと
    を有することを特徴とする画像処理方法。
  10. 撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出ステップと、
    前記エッジ部輝度算出ステップで算出された輝度に応じて、異なる順序で露光時間が異なる複数の画像を前記撮像部に生成させる制御ステップと、
    前記露光時間が異なる複数の画像を合成する画像合成ステップと
    をコンピュータに実行させるためのプログラム。
JP2015172319A 2015-09-01 2015-09-01 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP6635722B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015172319A JP6635722B2 (ja) 2015-09-01 2015-09-01 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015172319A JP6635722B2 (ja) 2015-09-01 2015-09-01 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017050693A true JP2017050693A (ja) 2017-03-09
JP6635722B2 JP6635722B2 (ja) 2020-01-29

Family

ID=58280350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015172319A Expired - Fee Related JP6635722B2 (ja) 2015-09-01 2015-09-01 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6635722B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087269A (ja) * 2009-09-18 2011-04-28 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2011103558A (ja) * 2009-11-11 2011-05-26 Casio Computer Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2011188277A (ja) * 2010-03-09 2011-09-22 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2013074334A (ja) * 2011-09-26 2013-04-22 Canon Inc 画像処理装置及びその方法、撮像装置
JP2013074335A (ja) * 2011-09-26 2013-04-22 Canon Inc 画像処理装置及びその方法、撮像装置
JP2015144475A (ja) * 2015-03-11 2015-08-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087269A (ja) * 2009-09-18 2011-04-28 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2011103558A (ja) * 2009-11-11 2011-05-26 Casio Computer Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2011188277A (ja) * 2010-03-09 2011-09-22 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2013074334A (ja) * 2011-09-26 2013-04-22 Canon Inc 画像処理装置及びその方法、撮像装置
JP2013074335A (ja) * 2011-09-26 2013-04-22 Canon Inc 画像処理装置及びその方法、撮像装置
JP2015144475A (ja) * 2015-03-11 2015-08-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
JP6635722B2 (ja) 2020-01-29

Similar Documents

Publication Publication Date Title
JP2007251860A (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
JP6831493B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6116299B2 (ja) 撮像装置及びその制御方法
JP2008148180A (ja) 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP2009169282A (ja) 撮像装置及びそのプログラム
CN110278375B (zh) 图像处理方法、装置、存储介质及电子设备
JP2005055746A (ja) 撮像装置、合焦制御方法、およびプログラム
JP6118118B2 (ja) 撮像装置およびその制御方法
JP5797072B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP6278729B2 (ja) 撮像装置、その制御方法及びプログラム
JP6152009B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2008136113A (ja) 画像処理装置、撮像装置及び画像処理方法
JP6147116B2 (ja) 撮像装置、その制御方法及び制御プログラム
JP5947625B2 (ja) 撮像装置、及びその制御方法
JP2012090041A (ja) 画像処理装置及び方法、並びにプログラム
JP6635722B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5264541B2 (ja) 撮像装置及びその制御方法
JP6800693B2 (ja) 撮像装置及び撮像装置の駆動方法
JP2014027460A (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
JP5351663B2 (ja) 撮像装置およびその制御方法
JP2012129900A (ja) 撮像装置及び撮像方法
JP2011175608A (ja) 画像処理装置及び画像処理方法
JP6486132B2 (ja) 撮像装置およびその制御方法、並びにプログラム
JP2015125467A (ja) 画像処理装置、その制御方法、および制御プログラム
JP2006050308A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191217

R151 Written notification of patent or utility model registration

Ref document number: 6635722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees