JP5407651B2 - 画像処理装置、画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関する。

近年、静止画像の撮影においては、撮像素子から出力される画像信号をカメラ内で画像処理等を施すことなくそのまま（未現像状態のまま）記録する、所謂、Ｒａｗ画像記録が行えるデジタルカメラが一般化してきている。

撮影画像をＲａｗ画像として記録すれば、画質の劣化を最小限に抑えることができると共に、撮影後に、撮影画像の色調やコントラスト、シャープネスなどをユーザー自身が思うように調整できる。これにより、撮影時に、ホワイトバランスや露出などの設定を気にする必要がなくなるので、ユーザーは被写体に集中して撮影を行うことができるようになる。このように、Ｒａｗ画像記録のメリットは大きい。

このようなメリットから、例えば特許文献１などにも記載されるように、動画像の撮影においてもＲａｗ画像記録を利用することが望まれている。

特開２００９−５５３３５号公報

しかしながら、静止画像と異なり、動画像は多数のフレームから構成されるのでデータ量が非常に多くなる。そのため、動画像の場合には画像の圧縮が必要となるのであるが、例えばＭＰＥＧ（Moving Picture Experts Group）などの既存の圧縮符号化処理／方式を適用しても、動画像のフレームがＲａｗ状態（未現像状態）のままでは圧縮が難しく、ＭＰＥＧ本来の圧縮効率を得ることはできない。これは、Ｒａｗ画像が、撮像素子の色配列（ベイヤー(Bayer)配列など）に依存した画素構造となっており、個々のフレームにおける隣接する画素間の相関が低く、フレーム間の相関も当然低くなるからである。

また、このようなＲａｗ状態の動画像を効率的に圧縮し、その圧縮後のデータをＲａｗ状態の動画像に復号する手法は、未だ提案されていない。

本発明の目的は、Ｒａｗ状態の動画像を効率的に圧縮し、圧縮後のデータをＲａｗ状態の動画像に復号することができる画像処理装置および画像処理プログラムを提供することである。

第１の発明の画像処理装置は、連続的な一連の撮影により取得された複数枚のＲａｗ画像を圧縮符号化／復号する画像処理装置であって、前記Ｒａｗ画像から分離された色成分毎のデータを、それぞれ個別に圧縮符号化／復号する圧縮符号化／復号手段と、圧縮符号化を非可逆圧縮で行うときに、圧縮符号化されたデータについて前記Ｒａｗ画像への復号が確保されるように、前記分離の前処理として、前記Ｒａｗ画像の色成分毎に、圧縮符号化の処理／方式の特性から推定される色合いの変化度合いに基づいて決定したゲインを用いてゲイン調整を行う画像処理手段とを備える。

第２の発明は、第１の発明において、画像処理手段は、圧縮符号化を行うときに、前記分離の前処理として、前記Ｒａｗ画像に階調変換処理を施す。

第３の発明は、第１又は第２の発明において、圧縮符号化／復号手段は、既存の処理／方式を用いて圧縮符号化／復号を行う。

第４の発明は、第１ないし第３の発明の何れか一の発明において、前記Ｒａｗ画像の各色成分は、撮像素子の色配列に基づいて区分される。

第５の発明の画像処理プログラムは、連続的な一連の撮影により取得された複数枚のＲａｗ画像を圧縮符号化／復号する画像処理プログラムであって、第１ないし第３の発明の何れか一の発明の圧縮符号化／復号手段及び画像処理手段が行う処理をコンピュータに実行させる。

本発明を利用すれば、Ｒａｗ状態の動画像を効率的に圧縮し、圧縮後のデータをＲａｗ状態の動画像に復号することができる。

本発明を適用したデジタルカメラの構成の一例を示すブロック図。 デジタルカメラが行うＲａｗ動画像記録に係る動作を示すフローチャート。 色成分毎のフレームデータの作成について説明する図。

以下、本発明の実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。

図１は、本実施形態のデジタルカメラのブロック図である。

デジタルカメラは、撮像レンズ１１およびレンズ駆動部１２と、撮像素子１３と、アナログ信号処理部１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、表示制御部１８と、表示部１９と、制御部２０と、圧縮／復号部２１と、記録インターフェース（記録Ｉ／Ｆ）２２と、記録媒体２３と、操作部２４と、バス２５とを有している。ここで、バッファメモリ１６、画像処理部１７、表示制御部１８、制御部２０、圧縮／復号部２１、記録Ｉ／Ｆ２２は、バス２５を介して接続されている。また、レンズ駆動部１２、アナログ信号処理部１４、ＴＧ１５、操作部２４は、それぞれ制御部２０に接続されている。

撮像レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１１を１枚のレンズとして図示している。

レンズ駆動部１２は、制御部２０の指示に応じてレンズ駆動信号を発生し、撮像レンズ１１を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ１１を通過した光束による被写体像を撮像素子１３の受光面に形成する。

撮像素子１３は、動画像の撮影が可能な撮像素子であり、例えば、ＣＣＤ型撮像素子、あるいはＣＭＯＳ型撮像素子などによって構成される。なお、撮像素子１３は、勿論、１フレーム毎の静止画の撮影も可能である。

撮像素子１３は、撮像レンズ１１の像空間側に配置され、その受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１３の出力はアナログ信号処理部１４に接続されている。

アナログ信号処理部１４は、制御部２０の指示に応じて、撮像素子１３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などのアナログ信号処理を施すと共に、その処理後の画像信号を出力する。なお、アナログ信号処理部１４の出力はバッファメモリ１６に接続されている。

また、アナログ信号処理部１４は、制御部２０の指示に基づいてゲイン調整の調整量を設定し、それによってＩＳＯ感度に相当する撮影感度の調整を行う。

ＴＧ１５は、制御部２０の指示に基づき撮像素子１３およびアナログ信号処理部１４に対してタイミングパルスを供給する。撮像素子１３およびアナログ信号処理部１４の駆動タイミングはそのタイミングパルスによって制御される。

バッファメモリ１６は、アナログ信号処理部１４から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ１６は、制御部２０により記録媒体２３から読み出された画像データや、制御部２０による処理の過程で作成された画像データを一時的に記憶する。

画像処理部１７は、制御部２０の指示に応じて、バッファメモリ１６の画像データに対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの画像処理を施す。なお、画像処理部１７は、ＡＳＩＣなどとして構成される。

表示制御部１８は、制御部２０の指示に応じて、画像処理後の画像データに所定の信号処理（例えば、ＮＴＳＣ方式の複合映像信号に変換するための信号処理）を施して表示部１９へ出力する。この出力により、画像データが表示部１９に表示される。なお、表示部１９は、デジタルカメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどである。

圧縮／復号部２１は、制御部２０の指示に応じて、バッファメモリ１６の画像データに圧縮処理又は復号処理を施す。なお、圧縮処理及び復号処理は、静止画撮影時には、例えばＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われ、動画撮影時には、例えばＭＰＥＧ（Moving Picture Experts Group）形式などによって行われる。

なお、本実施形態のデジタルカメラでは、動画撮影時には、ＭＰＥＧ形式などの動画像データを作成するだけでなく、撮影された各フレームの画像データを未現像状態のＲａｗ形式のまま圧縮した動画像データ（以下、Ｒａｗ動画像データと呼ぶ。）を作成することもできるが、この点については後述する。

記録Ｉ／Ｆ２２には、記録媒体２３を接続するためのコネクタが形成されている。記録Ｉ／Ｆ２２は、そのコネクタに接続された記録媒体２３にアクセスして、各種データの書き込みや読み出しを行う。制御部２０は、撮影時には、この記録Ｉ／Ｆ２２を介して、バッファメモリ１６の圧縮処理後の画像データを記録媒体２３へ記録する。なお、記録媒体２３は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。

操作部２４は、モード設定ボタン、レリーズボタン、動画撮影ボタン等の各種の操作部材を含み、ユーザーによる部材操作の内容に応じた操作信号を制御部２０に送る。

制御部２０は、ユーザーによる操作部材の操作内容に応じてデジタルカメラの各部を統括制御する。

例えば、撮影モードで動作中に動画撮影ボタンが押下されると、制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動して動画の撮影を開始する。このとき、撮像素子１３は、所定の画素数の画像が所定のフレームレートで取得されるように駆動され、動画の各フレームに対応する画像データがアナログ信号処理部１４を介してバッファメモリ１６へ順次記録される。この後、制御部２０は、画像処理部１７を駆動して、バッファメモリ１６に記録された各フレームの画像データに対し画像処理を施す。また、制御部２０は、表示制御部１８を駆動して、その画像処理後の画像データを表示部１９に表示させる。そして、制御部２０は、圧縮／復号部２１を駆動して、その画像処理後の画像データに対しＭＰＥＧ形式などによる圧縮処理を施すと共に、その圧縮されたデータ（動画像データ）を記録Ｉ／Ｆ２２を介して記録媒体２３へ記録する。

また、動画撮影中に、もう一度、動画撮影ボタンが押下されると、制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５の駆動を停止して動画の撮影を終了する。

ところで、本実施形態のデジタルカメラは、動画撮影時に、Ｒａｗ動画像データを作成して、それを記録媒体２３へ記録する機能（Ｒａｗ動画像記録機能）を有している。

以下、この機能について、本実施形態のデジタルカメラが行う動作を、図２のフローチャートを参照して説明する。図２のフローチャートの処理は、Ｒａｗ動画像記録機能が有効に設定されている場合において、ユーザーが動画撮影ボタンを押下してデジタルカメラに動画の撮影を指示したときに実行されるものである。

ステップ１０１（Ｓ１０１）：制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動して動画の撮影を開始する。このとき、撮像素子１３は、所定の画素数の画像が所定のフレームレートで取得されるように駆動され、動画の各フレームに対応する画像データがアナログ信号処理部１４を介してバッファメモリ１６へ順次記録される。

ステップ１０２：制御部２０は、Ｒａｗ動画像データの記録に使用する記録用ファイルを作成する。なお、記録用ファイルは、記録Ｉ／Ｆ２２を介して記録媒体２３上に作成される。

ステップ１０３：制御部２０は、バッファメモリ１６に順次取得される動画の各フレームの画像データを色成分毎に分離して、色成分毎のフレームデータを作成する。

具体的には、例えば、図３の（１）に示すように、動画の各フレームの画像データがベイヤー（Bayer）配列のＲａｗデータであるとした場合には、図３の（２）に示すように、各フレームの画像データを色成分毎に分離して、Ｒ，Ｇr，Ｇb，Ｂの４つのフレームデータ（サイズは元の１／４）を作成する。なお、作成された４つのフレームデータは、例えばバッファメモリ１６などへ格納される。

ステップ１０４：制御部２０は、順次作成されるＲ成分のフレームデータを圧縮符号化して、Ｒ成分の部分動画像データを生成する。なお、生成された部分動画像データは、例えばバッファメモリ１６などへ格納される。

ところで、Ｒ成分を含め、各色成分のフレームデータは、それぞれ単体ではモノクロのフレームと考えることが可能であり、またフレーム内においては隣接する画素間の相関も高くなる。そのため、各色成分のフレームデータの圧縮符号化には、既存の動画用の圧縮符号化処理／方式である、例えば「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」などを適用することができる。このように、本発明は、既存の動画用の圧縮符号化処理／方式をそのまま適用可能であり、汎用性が高い。

ステップ１０５：制御部２０は、順次作成されるＧr成分のフレームデータを圧縮符号化して、Ｇr成分の部分動画像データを生成する。なお、生成された部分動画像データは、例えばバッファメモリ１６などへ格納される。

ステップ１０６：制御部２０は、順次作成されるＧb成分のフレームデータを圧縮符号化して、Ｇb成分の部分動画像データを生成する。なお、生成された部分動画像データは、例えばバッファメモリ１６などへ格納される。

ステップ１０７：制御部２０は、順次作成されるＢ成分のフレームデータを圧縮符号化して、Ｂ成分の部分動画像データを生成する。なお、生成された部分動画像データは、例えばバッファメモリ１６などへ格納される。

ステップ１０８：制御部２０は、生成された各色成分（Ｒ，Ｇr，Ｇb，Ｂ）の部分動画像データを、それぞれ記録Ｉ／Ｆ２２を介して記録媒体２３上の記録用ファイルへ記録する。

ステップ１０９：制御部２０は、撮影終了が指示された否かを判定し、指示された場合にはステップ１１０へ移行し（Ｙｅｓ側）、一方、指示されていない場合にはステップ１０３へ移行して上記の処理を繰り返す（Ｎｏ側）。なお、撮影終了の指示は、既述のとおり、ユーザーによる動画撮影ボタンの再押下によって行われる。

ステップ１１０：制御部２０は、付加情報を圧縮符号化すると共に、その処理後のデータを記録Ｉ／Ｆ２２を介して記録媒体２３上の記録用ファイルへ記録する。

なお、付加情報は、本発明の手法によって圧縮符号化されたＲａｗ動画像データを復号する際などに必要となる情報であり、例えば、撮像素子の色配列（上記ベイヤー配列など）を示す情報や、圧縮符号化処理／方式（上記ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４など）を示す情報などである。撮像素子の色配列を示す情報は、どのような色成分の部分動画像データが生成されたかを知るために、また圧縮符号化処理／方式を示す情報は、どのような手法を用いて圧縮符号化が行われたかを知るために使用することができる。

また、付加情報の圧縮符号化には、例えば、ハフマン符号化などの周知の圧縮符号化処理／方式を適用することができる。

ステップ１１１：制御部２０は、記録Ｉ／Ｆ２２を介して記録媒体２３上の記録用ファイルをクローズし、また、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５の駆動を停止して、動画の撮影を終了する。

（実施形態の補足事項）
なお、上記では、各色成分のフレームデータを圧縮符号化する処理（上記ステップ１０４〜１０７）を縦続的に実行するように説明した。しかし、その処理は、並列に実行してもよい。

また、上記ステップ１１０では、付加情報を圧縮符号化するように説明した。しかし、付加情報は暗号化するようにしてもよい。なお、その場合の暗号化には、例えば、ＡＥＳ（Advanced Encryption Standard）などの周知の暗号化処理／方式を適用することができる。なお、上記の説明から容易に理解されることだが、付加情報については、圧縮符号化、暗号化のいずれを行う場合にも、それに用いた処理／方式が復号時において既知である必要がある。

また、上記のフローチャートの処理では特に説明しなかったが、撮影によって取得される動画の各フレームの画像データを順次デジタルカメラのＬＣＤモニタなどに表示するようにしてもよい。なお、その場合、表示用の画像データには、画像処理部１７によって画像処理を施すようにする。

また、上記では、制御部２０が、Ｒａｗ動画像データの作成に係る処理（上記ステップ１０３〜１０７及びステップ１１０）を行うようにした。しかし、その処理は、圧縮／復号部２１、或いは、専用に設けた別の回路が、制御部２０の指示に応じて行うようにしてもよい。

また、上記では、動画の各フレームの画像データがベイヤー配列のＲａｗデータであるとした場合に、各フレームの画像データを色成分毎に分離して、Ｒ，Ｇr，Ｇb，Ｂの４つのフレームデータを作成するように説明した。しかし、ＧrとＧbの色成分については、それら２つの平均をとって１つの色成分のＧとするようにしてもよい。つまり、その場合、Ｒ，Ｇ，Ｂの３つのフレームデータを作成するようにする。また、その場合には、その１つの色成分のＧとしたことを示す情報を付加情報として持たせるようにするとよい。

また、上記では、動画の各フレームの画像データは、Ｒ，Ｇ（Ｇr及びＧb），Ｂのベイヤー配列のＲａｗデータであるとしたが、もちろん、ベイヤー以外のカラー配列のＲａｗデータであってもよい。さらに、画像データのカラーは、ＲＧＢカラーだけでなく、ＣＭＹカラーであってもよい。

また、上記ステップ１０３の前処理として、階調変換処理を、動画の各フレームの画像データに対して施すようにするとよい。そうすることで、例えば、画像データの元の階調が１２ビットであった場合に１０ビットに階調変換すれば、変換しない場合と比べて、圧縮後に作成されるＲａｗ動画像データのデータ量を減らす（少なくする）ことができ、また、既存の動画像圧縮符号化処理／方式に対応したビット数に変換可能となる。

また、上記ステップ１０４〜１０７での圧縮符号化に非可逆の圧縮符号化処理／方式を用いる場合には、上記ステップ１０３の前処理として、ホワイトバランス調整などの画像の色成分に対するゲイン調整処理を、動画の各フレームの画像データに対して施すようにするとよい。これは、非可逆圧縮の場合、その圧縮符号化処理によって動画像の色合いが圧縮後に変化（画質劣化）してしまう可能性があるためである。従って、圧縮前に、予め、各フレームの画像データの色成分毎（例えば、Ｒ，Ｇ，Ｂ毎）にそれぞれ異なるゲインを使用してゲイン調整を行うことで、その画質劣化を低減させることができる。なお、調整に使用するゲインは、圧縮符号化処理／方式の特性から推定される色合いの変化（画質劣化）度合いに基づいてその値を決定するようにする。

また、これら階調変換処理とゲイン調整処理との両方を、上記ステップ１０３の前処理として、動画の各フレームの画像データに対して施すようにしてもよい。

なお、上記では、圧縮符号化処理について説明したが、復号処理については、上記と逆の手順で行うことで容易に実現することができる。但し、上記の説明から容易に理解されるとおり、最初に付加情報をデコードし、そして、そのデコード後の情報に基づいて各色成分の部分動画像データを復号する必要がある。

また、上記では、Ｒａｗ状態の動画像を圧縮符号化する例について説明したが、本発明の手法は、連写撮影されたＲａｗ状態の静止画像群（連写画像）についても同様に適用することができる。そのため、連写撮影されたＲａｗ状態の静止画像を個々に圧縮符号化する場合と比べて圧縮率を高めることができる。

（実施形態の作用効果）
以上、本実施形態のデジタルカメラでは、撮影により取得された動画の各フレームの画像データ（Ｒａｗデータ）から、色成分毎のフレームデータが作成される。このように画像データ（Ｒａｗデータ）から分離された色成分毎のデータ（フレームデータ）は、それぞれ単体ではモノクロのフレームと考えることが可能であり、フレーム内における隣接画素間の相関も高いので、効率的に圧縮することが可能である。なお、圧縮には既存の動画用の圧縮符号化処理／方式をそのまま適用することが可能である。

そして、それら色成分毎のフレームデータが、それぞれ個別に圧縮符号化されて、色成分毎の部分動画像データが生成される。

また、生成された全ての色成分の部分動画像データは、記録用ファイルにＲａｗ動画像データとして記録される。

なお、このようにして記録媒体などに記録されたＲａｗ動画像データは、上記と逆の手順によって復号することができる。

従って、本実施形態のデジタルカメラによれば、Ｒａｗ状態の動画像を効率的に圧縮し、圧縮後のデータをＲａｗ状態の動画像に復号することができる。

（その他）
なお、上述したデジタルカメラの動作に係るプログラムのステップ１０２〜１１１（但しステップ１０９は除く。）の処理については、コンピュータなどの外部処理装置に実行させてもよい。その場合、必要なプログラムがＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体やインターネット等の通信網などを介して外部処理装置へインストールされる。

また、上記ではデジタルカメラの実施例を説明したが、本発明は、動画像や連写画像を撮影することが可能な他の機器、例えば、デジタルビデオカメラや携帯電話などにも適用することが可能である。

１１…撮像レンズ，１２…レンズ駆動部，１３…撮像素子，１４…アナログ信号処理部，１５…タイミングジェネレータ（ＴＧ），１６…バッファメモリ，１７…画像処理部，１８…表示制御部，１９…表示部，２０…制御部，２１…圧縮／復号部，２２…記録インターフェース（記録Ｉ／Ｆ），２３…記録媒体，２４…操作部，２５…バス

Claims (5)

1. 連続的な一連の撮影により取得された複数枚のＲａｗ画像を圧縮符号化／復号する画像処理装置であって、
   前記Ｒａｗ画像から分離された色成分毎のデータを、それぞれ個別に圧縮符号化／復号する圧縮符号化／復号手段と、
   前記圧縮符号化を非可逆圧縮で行うときに、圧縮符号化されたデータについて前記Ｒａｗ画像への復号が確保されるように、前記分離の前処理として、前記Ｒａｗ画像の色成分毎に、前記圧縮符号化の処理／方式の特性から推定される色合いの変化度合いに基づいて決定したゲインを用いてゲイン調整を行う画像処理手段と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像処理手段は、前記圧縮符号化を行うときに、前記分離の前処理として、前記Ｒａｗ画像に階調変換処理を施す
   ことを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記圧縮符号化／復号手段は、既存の処理／方式を用いて前記圧縮符号化／復号を行う
   ことを特徴とする画像処理装置。
4. 請求項１ないし請求項３の何れか一項に記載の画像処理装置において、
   前記Ｒａｗ画像の各色成分は、撮像素子の色配列に基づいて区分される
   ことを特徴とする画像処理装置。
5. 連続的な一連の撮影により取得された複数枚のＲａｗ画像を圧縮符号化／復号する画像処理プログラムであって、
   前記請求項１ないし請求項３の何れか一項に記載の前記圧縮符号化／復号手段及び前記画像処理手段が行う処理をコンピュータに実行させる
   ことを特徴とする画像処理プログラム。

Images