JP2013165439A - フラッシュバンド補正装置、フラッシュバンド補正方法及び撮像装置 - Google Patents

Abstract

【課題】映像データのフレームに生じたフラッシュバンドを適切に検出して補正すること。
【解決手段】フラッシュバンド補正装置１０は、ローリングシャッタ方式の撮像素子がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によってフレーム内に生じたライン毎の輝度レベルの段差であるフラッシュバンドの開始ライン及び終了ラインにより、フラッシュバンドが生じるフレームを検出するフラッシュバンド検出部１１と、フラッシュバンドが検出された開始ライン及び終了ラインに基づいてフレームレートを変換する前の映像信号のフレームの組み合わせを決定してフレームレートを１／ｎ倍に変換するフレームレート変換部１２と、を備える。
【選択図】図２

Description

本開示は、例えば、被写体に強い光（以下、「フラッシュ」という。）を照射して撮像した映像データのフレームに生じるフラッシュバンドを検出する場合に適用するフラッシュバンド補正装置、フラッシュバンド補正方法及び撮像装置に関する。

従来、カメラに用いられる撮像素子には、水平ライン（以下、「ライン」という。）毎に順次露光を開始し、ライン毎に映像信号を順次読み出してフレームを出力するローリングシャッタ方式を採用したものが知られている。このローリングシャッタ方式の撮像素子では、ライン毎に露光期間が異なる。このため、撮像素子が映像信号を読み出すフレームレートより短い期間にフラッシュ等が焚かれると、表示される映像のフレーム毎に帯状の輝度レベルの段差（フラッシュバンド）が生じることがある。以下、輝度レベルを「レベル」と略記し、フラッシュバンドを「ＦＢ」と略記する。

図１８は、従来のフレームに生じたＦＢの例を示す説明図である。
図１８Ａは、縦軸に垂直方向のライン数（本）をとり、横軸に時間（秒）をとって、撮像素子が出力するフレームとフラッシュとの関係を示す。
撮像素子は、フレームの上部から下部の方向に読み出した映像信号を出力する。そして、１フレーム目から２フレーム目にわたってフラッシュが焚かれている。

図１８Ｂは、各フレームの映像の例を示す。
図１８Ａに示したように、１フレーム目から２フレーム目にわたってフラッシュが焚かれると、１フレーム目の下部のラインにはフラッシュの影響によりレベルの段差が生じる。一方、２フレーム目については、１フレーム目の最も下部のラインの映像信号が読み出される前に、２フレーム目の上部のラインの映像信号が読み出される。このため、２フレーム目の上部のラインにはフラッシュの影響によりレベルの段差が生じる。

このように、フレーム中にＦＢが生じると、１フレーム目では、映像の下部が明るくなり、２フレーム目では映像の上部が明るくなる。そして、複数のフレームにわたってＦＢが生じると、動画の再生時や静止画のキャプチャ時にＦＢが見えてしまうため、映像の品質が落ちてしまう。

従来、ＦＢが生じたフレームが映像に与える影響を抑えるために、レベルの段差を解消するように補正したり、該当するフレーム自体を捨てたりするなどの対策がとられていた。これらの対策の前提として、ＦＢの有無を検出する方法が検討されていた。

特許文献１には、ＦＢの検出方法として、１フレーム目の下部と２フレーム目の上部に画素のレベルが増加した領域が存在することを検出する第１の条件を用いる方法が開示されている。この方法では、１フレーム目でレベルが増加した領域が、２フレーム目でレベルが減少していることを第２の条件として設定してＦＢを検出している。

さらに別の方法として、特許文献２には、適正な露出で撮像された連続するフレームから、露出が飽和しているフレームを検出する方法について開示されている。

特開２０１０−１３５９２１号公報 特開２００７−３０６２２５号公報

ところで、ローリングスキャン方式で撮像された映像にはＦＢが発生することが多い。ＦＢを補正するためには、２枚以上のフレームを重ね合わせて、ＦＢを目立たなくする方法が有るが、１枚の画像としては時間軸が延びてしまい、動きが激しい被写体を撮像した映像では、違和感が出る可能性があった。また、リアルタイムでＦＢが生じた映像を補正するためには、ＦＢの検出と補正を行うためのアルゴリズムが大変難しくなる。さらにＦＢを誤検出したり誤補正したりする場合もあった。

また、特許文献１に開示されたＦＢの検出方法には、ＦＢの開始ラインと終了ラインが１フレーム内に収まる場合や、ＦＢが３フレーム以上にわたって連続する場合を検出できなかった。また、特許文献２に開示されたＦＢの検出方法は、高輝度の動体や光源の位置が変動すると、この変動した動体や光源によりＦＢが生じたものと誤検出する可能性があった。

本開示はこのような状況に鑑みて成されたものであり、フレームレートを１／ｎ倍に変換する際に、変換前のフレームに生じたＦＢを適切に補正するものである。

本開示は、ローリングシャッタ方式の撮像素子がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によってフレーム内に生じたライン毎のレベルの段差であるフラッシュバンドの開始ライン及び終了ラインにより、フラッシュバンドが生じるフレームを検出し、フラッシュバンドが検出された開始ライン及び終了ラインに基づいてフラッシュバンドを補正してフレームレートを１／ｎ倍に変換するものである。

本開示によれば、フラッシュバンドが生じたフレームを検出すると、フラッシュバンドを補正した上でフレームレートを１／ｎ倍に変換するため、補正後のフレームにフラッシュバンドの目立たない良好な映像を提供することが可能となる。

本開示の第１の実施の形態例における撮像装置の構成例を示すブロック図である。 本開示の第１の実施の形態例におけるＦＢ補正装置の内部構成例を示すブロック図である。 本開示の第１の実施の形態例におけるフレームレート変換部が１２０Ｐから６０Ｐにフレームレートを変換する際の補正処理の例を示す説明図である。 本開示の第１の実施の形態例におけるフレームレート変換部が通常の補正処理と補正処理Ａを行う例を示すフローチャートである。 本開示の第１の実施の形態例におけるフレームレート変換部がシングルＦＢを補正する処理の例を示す説明図である。 本開示の第２の実施の形態例におけるフレームレート変換部が１２０Ｐから６０Ｐにフレームレートを変換する際の補正処理の例を示す説明図である。 本開示の第２の実施の形態例におけるフレームレート変換部が通常の補正処理と補正処理Ａ，Ｂを行う例を示すフローチャートである。 本開示の第２の実施の形態例におけるフレームレート変換部がマルチＦＢの補正処理を実行する一例を示す説明図である。 本開示の第２の実施の形態例におけるフレームレート変換部がマルチＦＢの補正処理を実行する他の例を示す説明図である。 本開示の第３の実施の形態例におけるフレームレート変換部が１８０Ｐから６０Ｐにフレームレートを変換する際の補正処理の例を示す説明図である。 本開示の第３の実施の形態例におけるフレームレート変換部が通常の補正処理と補正処理Ｃを行う例を示すフローチャートである。 本開示の第３の実施の形態例におけるシングルＦＢの場合に行われる補正処理の例を示す説明図である。 本開示の第４の実施の形態例におけるフレームレート変換部が１８０Ｐから６０Ｐにフレームレートを変換する際の補正処理の例を示す説明図である。 本開示の第４の実施の形態例におけるフレームレート変換部が通常の補正処理と補正処理Ｃ，Ｄ，Ｅを行う例を示すフローチャートである。 本開示の第４の実施の形態例におけるフレームレート変換部がマルチＦＢの補正処理を実行する一例を示す説明図である。 本開示の第４の実施の形態例におけるフレームレート変換部がマルチＦＢの補正処理を実行する他の例を示す説明図である。 本開示の他の実施の形態例におけるＦＢ補正装置の変形例を示すブロック図である。 従来のフレームに生じたＦＢの例を示す説明図である。

以下、本開示を実施するための最良の形態（以下、実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態例（１２０Ｐから６０Ｐにフレームレートを変換する際に、シングルＦＢを補正する処理の例）
２．第２の実施の形態例（１２０Ｐから６０Ｐにフレームレートを変換する際に、マルチＦＢを補正する処理の例）
３．第３の実施の形態例（１８０Ｐから６０Ｐにフレームレートを変換する際に、シングルＦＢを補正する処理の例）
４．第４の実施の形態例（１８０Ｐから６０Ｐにフレームレートを変換する際に、マルチＦＢを補正する処理の例）
５．変形例

＜１．第１の実施の形態例＞
［１２０Ｐから６０Ｐにフレームレートを変換する際に、シングルＦＢを補正する処理の例］
始めに、一つのフレームにフラッシュが焚かれた場合における本開示の第１の実施の形態例に係るＦＢ補正の処理例について、図１〜図５を参照して説明する。本実施の形態では、フレームに生じたＦＢを検出し、検出したフラッシュバンドを補正してフレームレートを変換するフラッシュバンド補正装置１０（以下、ＦＢ補正装置１０）及び、ＦＢ補正装置１０を備えた撮像装置１の例について説明する。このＦＢ補正装置１０は、後述する内部ブロックが連携して行うフラッシュバンド補正方法を実現する。以下の説明において、映像データの１つのフレームに１回だけフラッシュが焚かれ、１又は２フレームに渡ってＦＢが発生することを「シングルフラッシュバンド（以下、シングルＦＢ）」と呼ぶ。

図１は、撮像装置１の内部構成例を示すブロック図である。
始めに、一般的なカメラシステムを採用した撮像装置１について説明する。本開示に係る技術は、撮像装置１が用いる撮像処理方法にも適用される。

撮像装置１は、ローリングシャッタ方式の撮像素子やレンズ系等を備え、ＲＧＢの３原色の映像信号を出力する撮像部２と、撮像部２から受け取った映像信号に所定の処理を行う映像信号処理回路３とを備える。この撮像素子には、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが用いられる。なお、撮像部２が備える撮像素子やレンズ系等は不図示としてある。

撮像素子は、レンズ系を介して入射した被写体の像光を画素毎に露光して、ライン毎に映像信号を出力する。撮像素子が所定のフレームレートでフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によってフレーム内に生じたライン毎の輝度レベルの段差であるＦＢが生じる場合がある。そして、撮像部２は、不図示のＡ／Ｄ（Analog/Digital）変換部を用いて、撮像素子が出力した映像信号をアナログ信号からデジタル信号に変換し、量子化された映像信号を生成する。

映像信号処理回路３は、撮像部２から受け取る映像信号の欠陥を補正する撮像系補正部３１と、ユーザ等によってなされる不図示の操作部の指示に応じて映像信号のゲイン等を調整するゲイン調整部３２とを備える。ここでは、撮像系補正部３１とゲイン調整部３２を合わせて映像信号の線形補正を行う線形補正部として用いる。

また、映像信号処理回路３は、映像信号のニー補正を行うニー補正部３３と、映像信号のガンマ補正を行うガンマ補正部３４とを備える。ニー補正部３３とガンマ補正部３４を合わせて映像信号の非線形補正を行う非線形補正部として用いる。さらに、映像信号処理回路３は、ガンマ補正部３４から受け取った映像信号を外部の記録媒体（フラッシュメモリ、ＨＤＤ等）に書き込む映像信号を出力信号として生成する出力信号生成部３５を備える。

撮像部２が出力するＲＧＢの３原色の映像信号は、撮像系補正部３１とゲイン調整部３２によって線形処理された後、所定の信号規格に収めるために、ニー補正部３３にてレベル圧縮される。また、映像信号が出力されるモニタのガンマに対応するためにガンマ補正部３４によってガンマ補正が行われる。その後、出力信号生成部３５は、最終的な出力形式に変換した映像信号を不図示のモニタ等に出力する。

図２は、ＦＢ補正装置１０の内部構成例を示すブロック図である。
ＦＢ補正装置１０は、撮像部２から入力する映像データのフレームからＦＢを検出するフラッシュバンド検出部１１（以下、ＦＢ検出部１１）と、ＦＢの開始ライン及び終了ラインに基づいてフレームレートを変換する前の映像信号のフレームの組み合わせを決定し、映像データのフレームレートを１／ｎ倍（ｎは、２以上の整数）に変換するフレームレート変換部１２を備える。また、ＦＢ補正装置１０は、フレームレート変換部１２によって映像データの書込み又は読出しが行われるフレームメモリ１３を備える。

上述したようにＦＢ検出部１１は、ＦＢのフレーム内におけるＦＢの有無並びに開始ライン及び終了ラインを検出する。このため、ＦＢ補正装置１０は、線形補正部又は非線形補正部のいずれかの前段に配置されるようにすればよい。このとき、ＦＢ補正装置１０に続けて配置される線形補正部又は非線形補正部は、１／ｎ倍に変換されたフレームを含む映像データに所定の処理を加える撮像処理部として用いられる。

ＦＢ検出部１１に入力する映像データはプログレッシブ信号であり、フレームレートを、例えば１２０フレーム／秒（以下、１２０Ｐ）又は１８０フレーム／秒（以下、１８０Ｐ）としている。そして、フレームレート変換部１２が１２０Ｐを１／２倍に周波数変換した映像データはプログレッシブ信号であり、フレームレートは６０フレーム／秒（以下、６０Ｐ）となる。また、後述するものの、フレームレート変換部１２が１８０Ｐを１／３倍に周波数変換した映像データもプログレッシブ信号であり、フレームレートは６０Ｐとなる。

ここで、映像データの読み出し時間を、１フレームの時間よりも短くすれば、読み出した映像データからＦＢを減らせることはよく知られている。このことから、元のフレームレートの倍のフレームレートで映像データを読み出すと、ＦＢが映像データに発生する確率は半分になる。

このため、倍のフレームレートで撮像した２枚のフレームを足し合わせることでＦＢの発生を減らせることが示される。しかし、２枚のフレームを足し合わせてもＦＢの発生確率が半分になるだけで、残りの発生確率により足し合わせたフレームにＦＢが現れる。このため以下に説明する方法により、足し合わせる２枚のフレームを、ＦＢの発生状況によって組み替えれば、ＦＢを減らすことができる。

次に、ＦＢ補正装置１０に入力する映像データを第１フレーム〜第１７フレームまで取り出して行うＦＢ補正の処理例について図３〜図５を参照して説明する。以下の説明では、複数のフレームのまとまりを「グループ」と呼び、グループ内に含まれる第ｎ番目のフレームを「第ｎ領域」とも略記する。また、リアルタイムで１２０Ｐを６０Ｐのフレームレートに変換するために、変換後のフレームレートである６０Ｐの１フレームを「現フレーム」と呼ぶ。そして、フレームレート変換部１２が変換した後のフレームレートの１フレームの長さだけ前にある変換前のフレームレートの複数のフレームを「現グループ」と呼び、現グループに対して後続する変換前のフレームレートのフレームを「次グループ」と呼ぶ。また、現グループに対して先行する変換前のフレームレートのフレームを「前グループ」と呼ぶ。

ここで、この現フレームの１フレームだけ直前にある変換前のフレームレートである１２０Ｐの第１領域、及び第１領域に続く第２領域を「現グループ」と呼ぶ。そして、現グループに対して６０Ｐの１フレームだけ前にある１２０Ｐの第１及び第２領域を「前グループ」と呼ぶ。また、後述するものの現グループに対して６０Ｐの１フレームだけ後ろにある１２０Ｐの第１及び第２領域を「次グループ」と呼ぶ。

図３は、フレームレート変換部１２が１２０Ｐから６０Ｐにフレームレートを変換する際の補正処理の例を示す説明図である。図３Ａは、現グループの第１及び第２領域を加算平均する例を示す。図３Ｂは、第１領域にフラッシュが焚かれた場合に、現グループの第１及び第２領域を加算平均する例を示す。図３Ｃは、第１の実施の形態例に係る補正処理Ａの例を示す。

ＦＢ検出部１１は、現グループ内でＦＢが開始又は終了したことを検出する。このとき、フレームレート変換部１２は、少なくとも現グループに含まれる映像データをフレームメモリ１３に書込み、ＦＢ検出部１１が検出したＦＢの開始又は終了する領域に基づいて、フレームメモリ１３から読み出した映像データに対して以下に説明する補正処理を行って、フレームレートを変換する。

ここで、第１の実施の形態例に係るフレームレート変換部１２がＦＢを補正するための条件を以下のように定義する。
（１）通常の補正処理
通常、フレームレート変換部１２は、１２０Ｐの各フレームに交互に現れる現グループの第１及び第２領域を加算平均する処理を行う（図３Ａ）。
また、フレームレート変換部１２は、現グループの第１領域でＦＢが開始し、図３Ｃに示す状態でない場合、６０Ｐの現フレームとして、１２０Ｐの現グループの第１及び第２領域を加算平均する処理を行う（図３Ｂ）。

（２）補正処理Ａ
フレームレート変換部１２は、第２領域でＦＢが開始し、第１領域でＦＢが開始していない場合に、第１の実施の形態例に係る補正処理Ａを行う（図３Ｃ）。
このとき、１２０Ｐのフレームのうち、現グループの第１領域でＦＢが開始せず、現グループの第２領域でＦＢが開始した場合、６０Ｐの現フレームとして、１２０Ｐの現グループの第２領域と、次グループの第１領域を加算平均する。

このため、第１の実施の形態例に係るフレームレート変換部１２は、ＦＢが現グループにない場合、又はＦＢが現グループの第１領域で開始した場合に、現グループの第１及び第２領域を加算平均する。また、ＦＢが現グループの第２領域で開始した場合に、現グループの第２領域と次グループの第１領域を加算平均する。そして、映像データのフレームレートを１／２倍に変換している。

図４は、フレームレート変換部１２が通常の補正処理と補正処理Ａを行う例を示すフローチャートである。
始めに、フレームレート変換部１２は、１２０Ｐの現グループの第１及び第２領域に対してＦＢがあるか判断する（ステップＳ１）。第１及び第２領域にＦＢがなければ、現グループの第１及び第２領域を加算平均する通常の補正処理を行って（ステップＳ５）、処理を終了する。

現グループの第１及び第２領域にＦＢがあれば、現グループの第１領域でＦＢが開始したか判断する（ステップＳ２）。第１領域でＦＢが開始していれば、通常の補正処理を行って（ステップＳ５）、処理を終了する。

第１領域でＦＢが開始していなければ、現グループの第２領域でＦＢが開始したと判断できる。このとき、現グループの第１領域を捨て（ステップＳ３）、ＦＢが開始する現グループの第２領域と、次グループの第１領域を加算平均する補正処理Ａを行って（ステップＳ４）、処理を終了する。

図５は、フレームレート変換部１２がシングルＦＢを補正する処理の例を示す説明図である。図５Ａは、従来のシングルＦＢの補正例を示す。図５Ｂは、第１の実施の形態例に係るシングルＦＢの補正例を示す。図５Ａに示すようにフレームレート変換部１２は、第１の実施の形態例に係るシングルＦＢの補正処理をオフ（無効）としてあり、通常のＦＢ補正処理を行うものとする。

図５Ａより、１２０Ｐのフレームのうち、第５フレームと第１２フレームでフラッシュが焚かれ、シングルＦＢが開始していることが示される。従来は、第１及び第２フレーム、第３及び第４フレーム、…のように、現グループに含まれる連続する２フレームの映像データを加算平均してＦＢを補正していた。このため、フレームレートを変換した後の映像データの第３フレームは、周波数変換する前の映像データの第５及び第６フレームを加算平均したものとなる。しかし、１２０Ｐのフレームの第１２フレームでは、第１１フレームが加算平均されるため、変換後の映像データの第６及び第７フレームにはＦＢが生じてしまう。

ここで、図５Ｂに示すようにフレームレート変換部１２のＦＢ補正処理をオン（有効）にする。このとき、６０Ｐの第６フレームは、第１１フレームを捨てて、第１２及び第１３フレームを加算平均したものとなる。また、６０Ｐの第７フレームは、１２０Ｐの第１４及び第１５フレームを加算平均したものとなり、６０Ｐの第８フレームは、１２０Ｐの第１５及び第１６フレームを加算平均したものとなる。その後、不図示としてある６０Ｐの第９フレーム以降は、１２０Ｐの第１７及び第１８フレーム以降のフレームを一組ずつで順次平均したものとなる。

以上説明した第１の実施の形態例に係るＦＢ補正装置１０によれば、フレームレート変換部１２が１２０Ｐから６０Ｐに映像データのフレームレートを変換する際に、変換前のフレームに生じたシングルＦＢをリアルタイムで補正できる。このとき、通常の補正処理に加えて、ＦＢ検出部１１が１２０Ｐにおける現グループの第２領域にフラッシュが焚かれ、ＦＢが開始したことを検出すると、フレームレート変換部１２がＦＢを補正するために用いるフレームの組を変える補正処理Ａを行う。このため、変換後の６０ＰのフレームからＦＢの発生を効率的に抑え、ＦＢを目立たなくすることができる。

また、フレームレート変換部１２は、１２０Ｐの現グループのフレームに生じたＦＢにより補正処理を判断しているため、６０Ｐの１フレームの遅延でＦＢ補正を行うことができ、ほぼリアルタイム（低遅延）での処理が可能となる。このように、ＨＦＲ（High Frame Rate）である映像データをＬＦＲ（Low Frame Rate）に周波数変換する際には、変換後のフレームの時間軸が極端に変動せず、リアルタイム性が保たれる。また、ＦＢ検出部１１がＦＢを誤検出したことにより、フレームレート変換部１２がＦＢの誤補正を行ったとしても、誤補正されるフレームはわずかである。このため、変換前のフレームレートで連続してＦＢ補正装置１０に入力する映像データの連続性を維持したまま、ＦＢ補正装置１０は映像データを出力できる。

＜２．第２の実施の形態例＞
［１２０Ｐから６０Ｐにフレームレートを変換する際に、マルチＦＢを補正する処理の例］
次に、複数のフレームに連続してフラッシュが焚かれた場合における本開示の第２の実施の形態例に係るＦＢ補正の処理例について、図６〜図９を参照して説明する。以下の説明において、既に第１の実施の形態で説明した図１に対応する部分には同一符号を付し、詳細な説明を省略する。また、映像データの複数のフレームに連続してフラッシュが焚かれ（以下、「マルチフラッシュ」と呼ぶ）、３フレーム以上に渡ってＦＢが発生することを「マルチフラッシュバンド（以下、「マルチＦＢ」）」と呼ぶ。

マルチフラッシュが焚かれると、上述した第１の実施の形態例に係る補正処理だけでは、マルチＦＢが現れてしまう。そこで、第２の実施の形態例に係るフレームレート変換部１２は、２枚のフレームを組み合わせる場合と、１枚のフレームをそのまま使う場合とを使い分けて、マルチＦＢにも対応する。

図６は、フレームレート変換部１２が１２０Ｐから６０Ｐにフレームレートを変換する際の補正処理の例を示す説明図である。図６Ａと図６Ｂは、通所の補正処理の例を示す。図６Ｃは、上述した第１の実施の形態例に係る補正処理Ａの例を示す。図６Ｄは、第２の実施の形態例に係る補正処理Ｂの例を示す。

第２の実施の形態例に係るフレームレート変換部１２がＦＢを補正するための条件を以下のように定義する。ここで、図６Ａに示す通常の補正処理と、図６Ｃに示す補正処理Ａは、第１の実施の形態例に係るフレームレート変換部１２が行う処理と同様であるため説明を省略する。

（１）通常の補正処理
フレームレート変換部１２は、現グループの第１領域でＦＢが開始し、図６Ｃと図６Ｄに示す状態ではない場合、６０Ｐの現フレームとして、１２０Ｐの現グループの第１及び第２領域を加算平均する処理を行う（図６Ｂ）。
（２）補正処理Ｂ
フレームレート変換部１２は、第１領域でＦＢが開始せず、第１領域でＦＢが終了し、かつ、第２領域でＦＢが終了せず、第２領域でＦＢが開始しない場合に第２の実施の形態例に係る補正処理Ｂを行う。この補正処理Ｂは、６０Ｐの現フレームとして、現グループの第２領域を２倍に伸張する（図６Ｄ）。

このため、第２の実施の形態例に係るフレームレート変換部１２は、第１の実施の形態例に係るフレームレート変換部１２が行う処理に加えて、ＦＢが前グループの第２領域で開始し、現グループの第２領域で終了した場合に、現グループの第１及び第２領域を加算平均する。また、ＦＢが現グループの第２領域で開始し、次グループの第１領域で終了した場合に、現グループの第２領域と次グループの第１を加算平均する。ＦＢが前グループの第２領域で開始し、現グループの第１領域で終了した場合に、次グループの第２領域を２倍に伸張して加算平均する。そして、映像データのフレームレートを１／２倍に変換している。

図７は、フレームレート変換部１２が通常の補正処理と補正処理Ａ，Ｂを行う例を示すフローチャートである。
始めに、フレームレート変換部１２は、１２０Ｐの現グループの第１及び第２領域でＦＢがあるか判断する（ステップＳ１１）。第１及び第２領域でＦＢがなければ、第１及び第２領域を加算平均する通常の補正処理を行って（ステップＳ１８）、処理を終了する。

現グループの第１及び第２領域にＦＢがあれば、現グループの第１領域でＦＢが開始したか判断する（ステップＳ１２）。現グループの第１領域でＦＢが開始していれば、通常の補正処理を行って（ステップＳ１８）、処理を終了する。

現グループの第１領域でＦＢが開始していなければ、現グループの第２領域でＦＢが開始したか判断する（ステップＳ１３）。現グループの第２領域でＦＢが開始していれば、現グループの第１領域を捨て（ステップＳ１４）、ＦＢが開始する現グループの第２領域と、次グループの第１領域を加算平均する補正処理Ａを行って（ステップＳ１５）、処理を終了する。

ステップＳ１３において、前グループの第２領域でＦＢが開始したと判断した場合、現グループの第１領域でＦＢが終了したか判断する（ステップＳ１６）。現グループの第１領域でＦＢが終了した場合、現グループの第２領域を２倍に伸張する補正処理Ｂを行って（ステップＳ１７）、処理を終了する。

ステップＳ１６において、現グループの第２領域でＦＢが終了した場合、通常の補正処理を行って（ステップＳ１８）、処理を終了する。

図８は、第２の実施の形態例に係るフレームレート変換部１２がマルチＦＢの補正処理を実行する一例を示す説明図である。図８Ａは、マルチＦＢに対して行う第１の実施の形態例と同様のシングルＦＢの補正例を示す。図８Ｂは、第２の実施の形態例に係るマルチＦＢの補正例を示す。

図８Ａに示すように、１２０Ｐのフレームのうち、第２、第８、第９、第１２及び第１５フレームでフラッシュが焚かれ、ＦＢが開始している。ここで、第８及び第９フレームにマルチＦＢが発生している。フレームレート変換部１２は、第１の実施の形態例に係る補正処理を行うと、１２０Ｐの第２フレームで開始したＦＢは、補正処理Ａによって１２０Ｐの第３フレームと加算平均される。

また、１２０Ｐの第８フレームで開始したＦＢは、補正処理Ａによって１２０Ｐの第９フレームと加算平均される。しかし、１２０Ｐの第９フレームでもＦＢが発生しており、１２０Ｐの第１０フレームでＦＢが終了する。このとき、６０Ｐの第４フレームは第８及び第９フレームを加算平均したものとなるが、６０Ｐの第５フレームには、１２０Ｐの第１０フレームで発生したＦＢが現れる。なお、６０Ｐの第４フレームにも、１回目のフラッシュ光（１２０Ｐの第８フレーム）と２回目のフラッシュ光（１２０Ｐの第９フレーム）の輝度の違いによるＦＢが現れる。しかし、連続する１２０Ｐの２フレームの内、一方のフレームにフラッシュ光があり、他方のフレームにフラッシュ光がない場合に６０Ｐのフレームに生じるＦＢに比べ、フラッシュ光が２回連続することで生じるＦＢは、視覚的な影響は少ない。このため、フラッシュ光が２回連続することで生じるＦＢは、補正する対象から外してもよい。このようなＦＢが発生しても、ビデオカメラ映像における極端な高輝度（フラッシュ光）は、ＦＢ補正装置１０に続けて配される高輝度圧縮回路等により輝度が圧縮され、輝度の違いが目立たなくなるためである。

そして、１２０Ｐの第１２及び第１３フレームが平均されて６０Ｐの第６フレームに変換されるが、６０Ｐの第７フレームには、１２０Ｐの第１３フレームに現れたＦＢが現れる。また、１２０Ｐの第１５フレームは捨てられ、６０Ｐの第８フレームは１２０Ｐの第１５及び第１６フレームを加算平均したものとなる。

ここで、図８Ｂに示すように、第２の実施の形態例に係るマルチＦＢの補正処理をオン（有効）とし、マルチＦＢを補正する。このとき、以下のように１２０Ｐのフレームが補正されて６０Ｐの各フレームが生成される。
６０Ｐの第１フレームは、１２０Ｐの第２フレームでＦＢが開始するため、補正処理Ａにより１２０Ｐの第２及び第３フレームを加算平均したものとなる。
６０Ｐの第２フレームは、補正処理Ｂにより１２０Ｐの第４フレームを２倍に伸張したものとなる。
６０Ｐの第３フレームは、通常の補正処理により１２０Ｐの第５及び第６フレームを加算平均したものとなる。
６０Ｐの第４フレームは、補正処理Ａにより１２０Ｐの第８及び第９フレームを加算平均したものとなる。ここで、１２０Ｐの第７フレームは捨てられる。

６０Ｐの第５フレームは、通常の補正処理により１２０Ｐの第９及び第１０フレームを加算平均したものとなる。ここで、１２０Ｐの第１１フレームは捨てられる。
６０Ｐの第６フレームは、補正処理Ａにより１２０Ｐの第１２及び第１３フレームを加算平均したものとなる。
６０Ｐの第７フレームは、補正処理Ｂにより１２０Ｐの第１４フレームを２倍に伸張したものとなる。
６０Ｐの第８フレームは、通常の補正処理により１２０Ｐの第１５及び第１６フレームを加算平均したものとなる。

図９は、第２の実施の形態例に係るフレームレート変換部１２がマルチＦＢの補正処理を実行する他の例を示す説明図である。図９Ａは、１２０Ｐのフレームの例を示し、図９Ｂは、６０Ｐのフレームの例を示す。

図９に示すように、１２０Ｐの第２、第５、第６、第８、第９、第１２及び第１３フレームにフラッシュが焚かれているものとする。このため、１２０Ｐの第２及び第３フレーム、第５〜第１０フレーム、第１２〜第１４フレームでＦＢが発生している。

まず、１２０Ｐの第２フレームでＦＢが開始しているので、６０Ｐの第１フレームは、補正処理Ａにより１２０Ｐの第２及び第３フレームを加算平均したものとなる。
６０Ｐの第２フレームは、補正処理Ｂにより１２０Ｐの第４フレームを２倍に伸張したものとなる。
また、１２０Ｐの第５フレームでＦＢが開始し、第６フレームで終了するので、６０Ｐの第３フレームは、通常の補正処理により１２０Ｐの第５及び第６フレームが加算平均したものとなる。
また、１２０Ｐの第６フレームでＦＢが開始し、第７フレームで終了するので、１２０Ｐの第７フレームは捨てられる。

次に、１２０Ｐの第８フレームでＦＢが開始し、第１０フレームで終了する。ここで、第９フレームでは、第８及び第９フレームで開始したＦＢが重なっている。
このとき、６０Ｐの第４フレームは、補正処理Ａにより１２０Ｐの第８及び第９フレームが加算平均したものとなる。
６０Ｐの第５フレームでは、通常の補正処理により１２０Ｐの第９及び第１０フレームが加算平均され、１２０Ｐの第１１フレームは捨てられる。

次に、１２０Ｐの第１２フレームでＦＢが開始し、第１４フレームで終了する。
このとき、６０Ｐの第６フレームは、補正処理Ａにより１２０Ｐの第１２及び第１３フレームが加算平均される。
６０Ｐの第７フレームは、通常の補正処理により１２０Ｐの第１３及び第１４フレームが加算平均される。
その後、６０Ｐの第８フレームは、通常の補正処理により１２０Ｐの第１５及び第１６フレームが加算平均したものとなる。

以上説明した第２の実施の形態例に係るＦＢ補正装置１０によれば、フレームレート変換部１２が前グループの第２領域でフラッシュが焚かれ、現グループの第１領域でＦＢが終了した場合に、現グループの第２領域を２倍に伸張する補正処理Ｂを行う。そして、現グループの第１領域でＦＢが開始し、補正処理Ａ，Ｂを行う状態にない場合には、通常の補正処理を行う。このため、上述した第１の実施の形態例に係る補正処理Ａに加えて補正Ｂを行うことにより、１２０Ｐから６０Ｐにフレームレートを変換する処理において、マルチＦＢの補正をリアルタイムで行い、６０Ｐのフレームに生じるＦＢを目立たなくすることができる。

この場合においても、上述した第１の実施の形態例に係るＦＢ補正装置１０と同様に、最大６０Ｐの１フレーム内に遅延を抑えながらリアルタイム処理を行うために、次グループについてはＦＢの開始又は終了の判定を行っていない。このため、１２０Ｐの前グループ又は現グループのフレームに基づいて高速でＦＢを補正することができる。

＜３．第３の実施の形態例＞
［１８０Ｐから６０Ｐにフレームレートを変換する際に、シングルＦＢを補正する処理の例］
次に、一つのフレームにフラッシュが焚かれた場合における本開示の第３の実施の形態例に係るＦＢ補正の処理例について、図１０〜図１２を参照して説明する。
図１０は、第３の実施の形態例に係るフレームレート変換部１２が１８０Ｐから６０Ｐにフレームレートを変換する際の補正処理の例を示す説明図である。図１０Ａは、従来行われた第１領域と、このフレームに続く第２領域を加算平均する例を示す。図１０Ｂは、第１領域にフラッシュが焚かれた場合に、第２領域と加算平均する例を示す。図１０Ｃは、第３の実施の形態例に係る補正処理の例を示す。

ここで、６０Ｐの現フレームの１フレームだけ直前にある変換前のフレームレートである１８０Ｐの第１〜第３領域を「現グループ」と呼ぶ。そして、現グループに対して６０Ｐの１フレームだけ前にある１８０Ｐの第１〜第３領域を「前グループ」と呼ぶ。また、後述するものの現グループに対して６０Ｐの１フレームだけ後ろにある１８０Ｐの第１〜第３領域を「次グループ」と呼ぶ。

第３の実施の形態例に係るフレームレート変換部１２がＦＢを補正するための条件を以下のように定義する。
（１）通常の補正処理
通常、フレームレート変換部１２は、交互に繰り返して１８０Ｐの各フレームに現れる第１〜第３領域を加算平均する処理を行う（図１０Ａ）。
また、フレームレート変換部１２は、現グループの第１領域でＦＢが開始し、図１０Ｃに示す状態でない場合、６０Ｐの現フレームとして、１８０Ｐの現グループの第１〜第３領域を加算平均する処理を行う（図１０Ｂ）。
（２）補正処理Ｃ
ここで、フレームレート変換部１２は、現グループの第３領域でＦＢが開始し、現グループの第１領域でＦＢが開始していない場合に第３の実施の形態例に係る補正処理Ｃを行う（図１０Ｃ）。このとき、フレームレート変換部１２は、６０Ｐの現フレームとして、１８０Ｐの現グループの第２及び第３領域と、次グループの第１領域を加算平均する処理を行う。

このため、第３の実施の形態例に係るフレームレート変換部１２は、ＦＢが現グループにない場合、又はＦＢが現グループの第１又は第２領域で開始した場合に、現グループの第１乃至第３領域を加算平均する。また、ＦＢが現グループの第３領域で開始して、次グループの第１領域で終了した場合に、現グループの第２及び第３領域と次グループの第１領域を加算平均する。そして、映像データのフレームレートを１／３倍に変換している。

図１１は、第３の実施の形態例に係るフレームレート変換部１２が通常の補正処理と補正処理Ｃを行う例を示すフローチャートである。
始めに、フレームレート変換部１２は、１８０Ｐの現グループの第１〜第３領域でＦＢがあるか判断する（ステップＳ２１）。現グループの第１〜第３領域でＦＢがなければ、第１〜第３領域を加算平均する通常の補正処理を行って（ステップＳ２６）、処理を終了する。

１〜第３第１〜第３領域にＦＢがあれば、前グループの第３領域でＦＢが開始したか判断する（ステップＳ２２）。前グループの第３領域でＦＢが開始していれば、現グループの第２及び第３領域と次グループの第１領域を加算平均する補正処理Ｃを行って（ステップＳ２５）、処理を終了する。

ステップＳ２２において、前グループの第３領域でＦＢが開始していなければ、現グループの第３領域でＦＢが開始したか判断する（ステップＳ２３）。前グループの第３領域でＦＢが開始せず、現グループの第１又は第２領域でＦＢが開始していれば、第１〜第３領域を加算平均する通常の補正処理を行って（ステップＳ２６）、処理を終了する。

現グループの第３領域でＦＢが開始していれば、現グループの第１領域を捨て（ステップＳ２４）、現グループの第２及び第３領域と次グループの第１領域を加算平均する補正処理Ｃを行って（ステップＳ２５）、処理を終了する。

図１２は、シングルＦＢの場合に行われる補正処理の例を示す説明図である。図１２Ａは、従来のシングルＦＢの補正例を示す。図１２Ｂは、第３の実施の形態例に係るシングルＦＢの補正例を示す。図１２Ａに示すフレームレート変換部１２は、第３の実施の形態例に係るシングルＦＢの補正処理をオフ（無効）としてあり、通常のＦＢ補正処理を行うものとする。

図１２Ａには、１８０Ｐのフレームのうち、第５、第１２及び第１９フレームでフラッシュが焚かれ、シングルＦＢが開始していることが示される。従来は、第１〜第３フレーム、第４〜第６フレーム、…のように、現グループに含まれる連続する３フレームの映像データを加算平均してＦＢを補正していた。このため、フレームレートを変換した後の６０Ｐの第２フレームは、１８０Ｐのフレームの第４〜第６フレームを加算平均したものとなる。また、１８０Ｐの第１９フレームは現グループの第１領域でＦＢが開始し、第２領域となる第２０フレームでＦＢが終了するため、６０Ｐの第７フレームは、１２０Ｐの第１９〜第２１フレームを加算平均したものとなる。しかし、１８０Ｐのフレームの第１２フレームは現グループの第３領域でＦＢが開始し、第１３フレームの第１領域でＦＢが終了するため、６０Ｐの第４及び第５フレームにはＦＢが生じてしまう。

このため、図１２Ｂに示すようにフレームレート変換部１２のＦＢ補正処理をオン（有効）にする。このとき、１８０Ｐの第１２フレームでＦＢが開始すると、６０Ｐの第４フレームでは、１８０Ｐの現グループに含まれる第１０フレームを捨てて、現グループの第１１及び第１２フレームと、次グループの第１３フレームを加算平均する。また、６０Ｐの第５フレームは、１８０Ｐの現グループである第１４及び第１５フレームと、次グループである第１６フレームを加算平均する。

以上説明した第３の実施の形態例に係るＦＢ補正装置１０によれば、フレームレート変換部１２が現グループの第３領域にフラッシュが焚かれ、シングルＦＢが開始した場合には、現グループの第２及び第３領域と、次グループの第１領域を加算平均する補正処理Ｃを行う。このようにＦＢをリアルタイムで補正するため、１８０Ｐを６０Ｐに変換した後のフレームには、ＦＢの発生を効率的に抑え、ＦＢを目立たなくすることができる。

＜４．第４の実施の形態例＞
［１８０Ｐから６０Ｐにフレームレートを変換する際に、マルチＦＢを補正する処理の例］
次に、複数のフレームに連続してフラッシュが焚かれた場合における本開示の第４の実施の形態例に係るＦＢ補正の処理例について、図１３〜図１６を参照して説明する。
図１３は、第４の実施の形態例に係るフレームレート変換部１２が１８０Ｐから６０Ｐにフレームレートを変換する際の補正処理の例を示す説明図である。図１３Ａ〜図１３Ｃは、図１０Ａ〜図１０Ｃに示した図と同じものである。図１３Ｄと図１３Ｅは、前グループの第３領域でＦＢが開始した場合に、現グループの第２及び第３領域を加算して１．５倍に伸張する補正処理Ｄ，Ｅの例を示す。

第４の実施の形態例に係るフレームレート変換部１２がＦＢを補正するための条件を以下のように定義する。ここで、図１３Ａと図１３Ｃに示す通常の補正処理と補正処理Ｃは、第３の実施の形態例に係るフレームレート変換部１２が行う処理と同様であるため説明を省略する。

（１）通常の補正処理
フレームレート変換部１２は、現グループの第１領域でＦＢが開始し、図１３Ｃと図１３Ｄに示す状態ではない場合、６０Ｐの現フレームとして、１８０Ｐの現グループの第１〜第３領域を加算平均する処理を行う（図１３Ｂ）。
（２）補正処理Ｄ
フレームレート変換部１２は、前グループの第３領域でＦＢが開始し、現グループの第１領域でＦＢが終了した場合であって、現グループの第２及び第３領域でＦＢが発生していない場合に、現グループの第２及び第３領域を加算して１．５倍に伸張する（図１３Ｄ）。
（３）補正処理Ｅ
フレームレート変換部１２は、前グループの第３領域でＦＢが開始し、現グループの第１領域でＦＢが終了し、さらに現グループの第２領域でＦＢが開始し、現グループの第３領域でＦＢが終了した場合に、現グループの第２及び第３領域を加算して１．５倍に伸張する（図１３Ｅ）。

このため、第４の実施の形態例に係るフレームレート変換部１２は、第３の実施の形態例に係るフレームレート変換部１２が行う処理に加えて、ＦＢが前グループの第３領域で開始し、現グループの第１領域で終了した場合に、現グループの第２及び第３領域を１．５倍に伸張して加算平均して、フレームレートを１／３倍に変換している。

図１４は、第４の実施の形態例に係るフレームレート変換部１２が通常の補正処理と補正処理Ｃ，Ｄ，Ｅを行う例を示すフローチャートである。
始めに、フレームレート変換部１２は、１８０Ｐの現グループの第１〜第３領域でＦＢがあるか判断する（ステップＳ３１）。第１〜第３領域でＦＢがなければ、第１〜第３領域を加算平均する通常の補正処理を行って（ステップＳ４２）、処理を終了する。

現グループの第１〜第３領域にＦＢがあれば、現グループの第１領域でＦＢが開始したか判断する（ステップＳ３２）。現グループの第１領域でＦＢが開始していれば、通常の補正処理を行って（ステップＳ４２）、処理を終了する。

現グループの第１領域でＦＢが開始していなければ、前グループの第３領域でＦＢが開始したか判断する（ステップＳ３３）。前グループの第３領域でＦＢが開始した場合には、現グループの第３領域でＦＢが開始したか判断する（ステップＳ３４）。現グループの第３領域でＦＢが開始した場合には、現グループの第２及び第３領域と、次グループの第１領域を加算平均する補正処理Ｃを行って（ステップＳ４１）、処理を終了する。

現グループの第３領域でＦＢが開始していない場合には、現グループの第１領域でＦＢが終了したか判断する（ステップＳ３５）。現グループの第２又は第３領域でＦＢが終了していれば、通常の補正処理を行って（ステップＳ４２）、処理を終了する。

現グループの第１領域でＦＢが終了していれば、現グループの第２及び第３領域にＦＢがあるか判断する（ステップＳ３６）。現グループの第２及び第３領域にＦＢがなければ、現グループの第２及び第３領域を１．５倍に伸張する補正処理Ｄを行って（ステップＳ３７）、処理を終了する。一方、現グループの第２及び第３領域にＦＢがあれば、現グループの第２及び第３領域を１．５倍に伸張する補正処理Ｅを行って（ステップＳ３８）、処理を終了する。

ステップＳ３３において、前グループの第３領域でＦＢが開始していない場合には、現グループの第３領域でＦＢが開始したか判断する（ステップＳ３９）。現グループの第３領域でＦＢが開始していない場合、通常の補正処理を行って（ステップＳ４２）、処理を終了する。

現グループの第３領域でＦＢが開始した場合、ＦＢが開始する前の現グループの第１領域を捨て（ステップＳ４０）、現グループの第２及び第３領域と、次グループの第１領域を加算平均する補正処理Ｃを行って（ステップＳ４１）、処理を終了する。

図１５は、第４の実施の形態例に係るフレームレート変換部１２がマルチＦＢの補正処理を実行する一例を示す説明図である。図１５Ａは、第３の実施の形態例と同様にシングルＦＢの補正例を示す。図１５Ｂは、第４の実施の形態例に係るマルチＦＢの補正例を示す。

図１５Ａに示すように、１８０Ｐのフレームのうち、第３、第７、第１１、第１２、第１８及び第２０フレームでフラッシュが焚かれ、ＦＢが開始している。ここで、フレームレート変換部１２は、第３の実施の形態例と同様の補正処理を行うと、１８０Ｐの第３フレームで開始したＦＢは、補正処理Ｃによって現グループの第２及び第３フレームと、次グループの第４フレームにより加算平均される。

ここで、１２０Ｐの第１１フレームで開始したＦＢは、通常の補正処理によって１８０Ｐの第１０〜第１２フレームで加算平均される。しかし、１２０Ｐの第１２フレームでもＦＢが発生しているため、第１３フレームでＦＢが終了する。このとき、６０Ｐの第５フレームには、１８０Ｐの第１３フレームに発生したＦＢが現れる。

ここで、図１５Ｂに示すように、第４の実施の形態例に係るマルチＦＢの補正処理をオン（有効）とし、マルチＦＢを補正する。このとき、以下のように１８０Ｐのフレームが補正されて６０Ｐの各フレームが生成される。
６０Ｐの第１フレームは、１８０Ｐの第３フレームでＦＢが開始するため、補正処理Ｃにより１８０Ｐの第２〜第４フレームを加算平均したものとなる。
６０Ｐの第２フレームは、１８０Ｐの第４フレームでＦＢが終了するため、補正処理Ｄにより１８０Ｐの第５及び第６フレームを１．５倍に伸張したものとなる。
６０Ｐの第３フレームは、通常の補正処理により１８０Ｐの第７〜９フレームを加算平均したものとなる。
６０Ｐの第４フレームは、通常の補正処理により１８０Ｐの第１０〜１２フレームを加算平均したものとなる。

６０Ｐの第５フレームは、１８０Ｐの第１３フレームでＦＢが終了し、第１４及び第１５フレームでＦＢがないため、補正処理Ｄにより１８０Ｐの第１４及び第１５フレームを１．５倍に伸張したものとなる。ここで、１８０Ｐの第１３フレームは捨てられる。
６０Ｐの第６フレームは、補正処理Ｃにより１８０Ｐの第１７〜第１９フレームを加算平均したものとなる。ここで、１８０Ｐの第１６フレームは捨てられる。
６０Ｐの第７フレームは、１８０Ｐの第１９フレームでＦＢが終了し、第１４及び第１５フレームでＦＢがあるため、補正処理Ｅにより１８０Ｐの第２０及び第２１フレームを１．５倍に伸張したものとなる。
６０Ｐの第８フレームは、通常の補正処理により１８０Ｐの第２２〜２４フレームを加算平均したものとなる。

図１６は、第４の実施の形態例に係るフレームレート変換部１２がマルチＦＢの補正処理を実行する他の例を示す説明図である。図１６Ａは、１８０Ｐのフレームの例を示し、図１６Ｂは、６０Ｐのフレームの例を示す。

１８０Ｐの第３、第９、第１１、第１２、第１８及び第２０フレームにフラッシュが焚かれているものとする。このため、１８０Ｐの第３及び第４フレーム、第９〜第１３フレーム、第１８〜第２１フレームでＦＢが発生している。

まず、１８０Ｐの第３フレームでＦＢが開始しているので、６０Ｐの第１フレームは、補正処理Ｃにより１８０Ｐの第２〜第４フレームを加算平均したものとなる。
６０Ｐの第２フレームは、補正処理Ｄにより１８０Ｐの第５及び第６フレームを１．５倍に伸張したものとなる。
６０Ｐの第３フレームは、補正処理Ｃにより１８０Ｐの第８〜第１０フレームを加算平均したものとなる。
６０Ｐの第４フレームは、補正処理Ｃにより１８０Ｐの第１１〜第１３フレームを加算平均したものとなる。
６０Ｐの第５フレームは、補正処理Ｄにより１８０Ｐの第１４及び第１５フレームを１．５倍に伸張したものとなる。このとき、１８０Ｐの第１６フレームは捨てられる。
６０Ｐの第６フレームは、補正処理Ｃにより１８０Ｐの第１７〜第１９フレームを加算平均したものとなる。
６０Ｐの第７フレームは、補正処理Ｅにより１８０Ｐの第２０及び第２１フレームを１．５倍に伸張したものとなる。このとき、１８０Ｐの第１６フレームは捨てられる。
６０Ｐの第８フレームは、通所の補正処理により１８０Ｐの第２２〜第２４フレームを加算平均したものとなる。

以上説明した第４の実施の形態例に係るＦＢ補正装置１０によれば、フレームレート変換部１２が前グループの第３領域でフラッシュが焚かれ、現グループの第１領域でＦＢが終了した場合に、現グループの第２及び第３領域を１．５倍に伸張する補正処理Ｄ，Ｅを行う。このため、上述した第３の実施の形態例に係る補正処理Ｃに加えて、補正処理Ｄ，Ｅを行うことにより、１８０Ｐから６０Ｐにフレームレートを変換する処理において、マルチＦＢの補正をリアルタイムで行い、６０Ｐのフレームに生じるＦＢを目立たなくする。

上述したように第１〜第４の実施の形態例に係るＦＢ補正装置１０によれば、フレームレート変換部１２が２倍以上のＨＦＲで撮影した映像データのフレームレートを低いフレームレートに周波数変換する際、変換後の映像データからＦＢを消すことができる。この時に、組み合わせるフレームの順列を調整することで、ＦＢを目立たなくすることが可能となる。特に、映像データをライブ映像として配信する場合には、遅延をできるだけ少なくする必要がある。このため、例えば、撮像素子にＣＭＯＳセンサ等を使い、ローリングスキャン方式で撮影したビデオ映像に発生するＦＢを補正する際に、リアルタイムかつ低遅延で処理することができる。

＜５．変形例＞
なお、上述した第１及び第２の実施の形態例では１２０Ｐを６０Ｐに変換し、第３及び第４の実施の形態例では１８０Ｐを６０Ｐに変換する処理例について説明したが、変換前後のフレームレートはこれらの値に限らない。また、ローリングスキャン方式を使う撮像素子であれば、ＣＭＯＳセンサ以外のものを用いてもよい。

また、ＦＢ検出部１１に入力する映像データは、プログレッシブ信号であることが望ましいが、フレームレート変換部１２が出力する映像データはプログレッシブ信号の他にインターレース信号であってもよい。このため、映像を表示するモニタの種類に合わせて、フレームレート変換部１２が出力する映像信号の方式を任意に変えてよい。

また、上述した第１〜第４の実施の形態例に係るＦＢ補正装置１０では、各ブロックをハードウェアにより構成したが、ソフトウェアで実行してもよい。ここで、ソフトウェアで実行するためのＦＢ補正装置２０の構成について説明する。

図１７は、ＦＢ補正装置２０の内部構成例を示すブロック図である。
ＦＢ補正装置２０は、上述したＦＢ補正装置１０と同様に、ＦＢ検出部１１、フレームレート変換部１２、フレームメモリ１３を備える。さらに、ＦＢ補正装置２０は、ＦＢ検出部１１の検出結果を処理して、フレームレート変換部１２の動作を制御する制御部１４を備える。この制御部１４には、例えば中央処理装置（ＣＰＵ：Central Processing Unit）が用いられる。このようにＦＢ補正装置２０の動作をソフトウェアで制御することによって、フレームレート変換部１２が行う処理を複雑化することが可能となる。

また、上述した実施の形態例における一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、又は各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータ等に所望のソフトウェアを構成するプログラムをインストールして実行させればよい。

また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（又はＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行う。その処理によって上述した実施の形態例の機能が実現される場合も含まれる。

また、本開示は上述した実施の形態例に限られるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。

なお、本開示は以下のような構成も取ることができる。
（１）ローリングシャッタ方式の撮像素子が所定のフレームレートでフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎の輝度レベルの段差であるフラッシュバンドのフレーム内における開始ライン及び終了ラインを検出するフラッシュバンド検出部と、
前記開始ライン及び終了ラインに基づいてフレームレートを変換する前の前記映像信号のフレームの組み合わせを決定してフレームレートを１／ｎ倍に変換するフレームレート変換部と、を備える
フラッシュバンド補正装置。
（２）
前記フレームレート変換部は、変換前のフレームレートが変換後のフレームレートの２倍である場合に、変換後のフレームレートの１フレームの長さだけ前にある変換前のフレームレートの複数のフレームを現グループとし、前記現グループに対して後続する変換前のフレームレートのフレームを次グループとし、フラッシュバンドが現グループにない場合、又はフラッシュバンドが現グループの第１領域で開始した場合に、前記現グループの第１及び第２領域を加算平均し、フラッシュバンドが現グループの第２領域で開始した場合に、前記現グループの第２領域と前記次グループの第１領域を加算平均して、前記フレームレートを１／２倍に変換する
前記（１）記載のフラッシュバンド補正装置。
（３）
前記フレームレート変換部は、前記現グループに対して先行する変換前のフレームレートのフレームを前グループとし、フラッシュバンドが前記前グループの第２領域で開始し、現グループの第２領域で終了した場合に、前記現グループの第１及び第２領域を加算平均し、フラッシュバンドが前記現グループの第２領域で開始し、前記次グループの第１領域で終了した場合に、前記現グループの第２領域と前記次グループの第１を加算平均し、フラッシュバンドが前記前グループの第２領域で開始し、現グループの第１領域で終了した場合に、前記次グループの第２領域を２倍に伸張して加算平均して、前記フレームレートを１／２倍に変換する
前記（１）又は（２）記載のフラッシュバンド補正装置。
（４）
前記フレームレート変換部は、変換前のフレームレートが変換後のフレームレートの３倍である場合に、変換後のフレームレートの１フレームの長さだけ前にある変換前のフレームレートの複数のフレームを現グループとし、前記現グループに対して後続する変換前のフレームレートのフレームを次グループとし、フラッシュバンドが現グループにない場合、又はフラッシュバンドが現グループの第１又は第２領域で開始した場合に、前記現グループの第１乃至第３領域を加算平均し、フラッシュバンドが現グループの第３領域で開始して、前記次グループの第１領域で終了した場合に、前記現グループの第２及び第３領域と前記次グループの第１領域を加算平均して、前記フレームレートを１／３倍に変換する
前記（１）記載のフラッシュバンド補正装置。
（５）
前記フレームレート変換部は、前記現グループに対して先行する変換前のフレームレートのフレームを前グループとし、フラッシュバンドが前記前グループの第３領域で開始し、現グループの第１領域で終了した場合に、前記現グループの第２及び第３領域を１．５倍に伸張して加算平均して、前記フレームレートを１／３倍に変換する
前記（１）又は（４）記載のフラッシュバンド補正装置。
（６）
ローリングシャッタ方式の撮像素子がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎の輝度レベルの段差であるフラッシュバンドの開始ライン及び終了ラインにより、フラッシュバンドが生じるフレームを検出することと、
前記フラッシュバンドが検出された開始ライン及び終了ラインに基づいてフレームレートを変換する前の前記映像信号のフレームの組み合わせを決定してフレームレートを１／ｎ倍に変換することを、含む
フラッシュバンド補正方法。
（７）
ローリングシャッタ方式の撮像素子がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎の輝度レベルの段差であるフラッシュバンドの開始ライン及び終了ラインにより、フラッシュバンドが生じるフレームを検出するフラッシュバンド検出部と、
前記フラッシュバンドが検出された開始ライン及び終了ラインに基づいてフレームレートを変換する前の前記映像信号のフレームの組み合わせを決定してフレームレートを変換するフレームレート変換部と、を有するフラッシュバンド補正装置と、
１／ｎ倍に変換された前記映像データに所定の処理を加える撮像処理部と、を備えた
撮像装置。

１…撮像装置、２…撮像部、３…映像信号処理回路、１０…ＦＢ補正装置、１１…ＦＢ検出部、１２…フレームレート変換部、１３…フレームメモリ、１４…制御部、２０…ＦＢ補正装置、３１…撮像系補正部、３２…ゲイン調整部、３３…ニー補正部、３４…ガンマ補正部、３５…出力信号生成部

Claims (7)

1. ローリングシャッタ方式の撮像素子が所定のフレームレートでフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎の輝度レベルの段差であるフラッシュバンドのフレーム内における開始ライン及び終了ラインを検出するフラッシュバンド検出部と、
   前記開始ライン及び終了ラインに基づいてフレームレートを変換する前の前記映像信号のフレームの組み合わせを決定してフレームレートを１／ｎ倍に変換するフレームレート変換部と、を備える
   フラッシュバンド補正装置。
2. 前記フレームレート変換部は、変換前のフレームレートが変換後のフレームレートの２倍である場合に、変換後のフレームレートの１フレームの長さだけ前にある変換前のフレームレートの複数のフレームを現グループとし、前記現グループに対して後続する変換前のフレームレートのフレームを次グループとし、フラッシュバンドが現グループにない場合、又はフラッシュバンドが現グループの第１領域で開始した場合に、前記現グループの第１領域、及び前記第１領域に続く第２領域を加算平均し、フラッシュバンドが現グループの第２領域で開始した場合に、前記現グループの第２領域と前記次グループの第１領域を加算平均して、前記フレームレートを１／２倍に変換する
   請求項１記載のフラッシュバンド補正装置。
3. 前記フレームレート変換部は、前記現グループに対して先行する変換前のフレームレートのフレームを前グループとし、フラッシュバンドが前記前グループの第２領域で開始し、現グループの第２領域で終了した場合に、前記現グループの第１及び第２領域を加算平均し、フラッシュバンドが前記現グループの第２領域で開始し、前記次グループの第１領域で終了した場合に、前記現グループの第２領域と前記次グループの第１を加算平均し、フラッシュバンドが前記前グループの第２領域で開始し、現グループの第１領域で終了した場合に、前記次グループの第２領域を２倍に伸張して加算平均して、前記フレームレートを１／２倍に変換する
   請求項２記載のフラッシュバンド補正装置。
4. 前記フレームレート変換部は、変換前のフレームレートが変換後のフレームレートの３倍である場合に、変換後のフレームレートの１フレームの長さだけ前にある変換前のフレームレートの複数のフレームを現グループとし、前記現グループに対して後続する変換前のフレームレートのフレームを次グループとし、フラッシュバンドが現グループにない場合、又はフラッシュバンドが現グループの第１又は第２領域で開始した場合に、前記現グループの第１乃至第３領域を加算平均し、フラッシュバンドが現グループの第３領域で開始して、前記次グループの第１領域で終了した場合に、前記現グループの第２及び第３領域と前記次グループの第１領域を加算平均して、前記フレームレートを１／３倍に変換する
   請求項１記載のフラッシュバンド補正装置。
5. 前記フレームレート変換部は、前記現グループに対して先行する変換前のフレームレートのフレームを前グループとし、フラッシュバンドが前記前グループの第３領域で開始し、現グループの第１領域で終了した場合に、前記現グループの第２及び第３領域を１．５倍に伸張して加算平均して、前記フレームレートを１／３倍に変換する
   請求項４記載のフラッシュバンド補正装置。
6. ローリングシャッタ方式の撮像素子がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎の輝度レベルの段差であるフラッシュバンドの開始ライン及び終了ラインにより、フラッシュバンドが生じるフレームを検出することと、
   前記フラッシュバンドが検出された開始ライン及び終了ラインに基づいてフレームレートを変換する前の前記映像信号のフレームの組み合わせを決定してフレームレートを１／ｎ倍に変換することを、含む
   フラッシュバンド補正方法。
7. ローリングシャッタ方式の撮像素子がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎の輝度レベルの段差であるフラッシュバンドの開始ライン及び終了ラインにより、フラッシュバンドが生じるフレームを検出するフラッシュバンド検出部と、
   前記フラッシュバンドが検出された開始ライン及び終了ラインに基づいてフレームレートを変換する前の前記映像信号のフレームの組み合わせを決定してフレームレートを変換するフレームレート変換部と、を有するフラッシュバンド補正装置と、
   １／ｎ倍に変換された前記フレームを含む映像データに所定の処理を加える撮像処理部と、を備えた
   撮像装置。

Images