JP2009124278A - 撮像装置 - Google Patents

Abstract

【課題】民生用ビデオカメラにおいて画像メモリを用いた高度な信号処理を行ないつつ、電力消費量を抑えて装置を小型化する為の低消費電力化の為の技術課題を解決すること。
【解決手段】本発明では、カメラ信号処理回路にデータ圧縮・伸張手段を持たせて、高画質化のための画像処理を行なうための画像データを一時的に画像メモリ格納する際に、画像データを圧縮してからメモリに格納する。
【選択図】図１

Description

本発明は、小型で高画質でのビデオカメラに関する。

民生用ビデオカメラを取り巻く環境としては、高精細の画像表示が出来るパーソナルコンピュータやハイビジョンテレビが普及しつつ有る。そのため、民生用ビデオカメラの開発においては、従来よりも高解像度かつ高画質で撮影できる製品をユーザに提供することが重要な課題のひとつになっている。

高解像度且つ高画質のビデオカメラを実現するにあたっては、画像メモリを用いた高画質化のための動画像処理技術や画素数の多い撮像素子を用いた高解像度の静止画撮影処理技術を開発して、それを製品に搭載することが必要になってくる。例えば、特許文献１によれば、時間的に連続する複数枚のインタレース画像から、動きの有無を検出して、過去のフィールド情報を用いて画面内での補間と、時間軸方向での補間を適応的に切り替えることにより、良好なプログレッシブ画像を生成する技術に関して記載されている。このように画像メモリを用いることで、時間軸方向での情報を用いた高度なフィルタリング処理を行なうことで、高画質の画像生成を行なうことが期待できる。

特開昭62-111586号公報

一方、一般に民生用のビデオカメラは、手に持って撮影を行なう機会が多いことから、小型で軽量なものがユーザから熱望されている。装置を小型で軽量なものとするための重要な要素技術としては、低消費電力が挙げられる。その理由は電力消費量が大きくなると連続使用時間の低下に対応するためバッテリ容量を増やす必要が生じたり、電力消費により発生する熱を外部へ逃がす熱対策を行なう必要が生じたりすることで、装置が大型化するからである。このように民生用ビデオカメラにおいては、小型軽量と高画質高性能を兼ね備える為には、高度で複雑な信号処理をなるべく少ない消費電力で行なう技術が重要となる。

民生用ビデオカメラにおいて画像メモリを用いた高度な信号処理を行ないつつ、電力消費量を抑えて装置を小型化する為の低消費電力化の為の技術課題を解決することを目的とする。

本発明では、カメラ信号処理回路にデータ圧縮・伸張手段を持たせて、高画質化のための画像処理を行なうための画像データを一時的に画像メモリに格納する際に、画像データを圧縮してからメモリに格納する。

本発明のビデオカメラでは、カメラ信号処理回路に設けられたデータ圧縮・伸張手段でデータを圧縮してから画像メモリへの書き込みを行なうため、メモリへのアクセス頻度を抑えることで消費電力を低減する。また、データを圧縮してからメモリに格納する為、画像データ量も圧縮手段の無い方式に比べて減らすことも出来る。すなわち、メモリの数量自体も減らすことが出来ることになり、これもまた消費電力の低減に繋がる。

本発明ではフレーム相関を利用して高画質処理を行なう画像信号処理回路を有するビデオカメラにおいて、該画像信号処理回路に、デジタルデータ列の圧縮・伸張手段を設けて、フレーム相関処理のための参照画像のメモリに読み書きする際に、該圧縮・伸張手段を利用して、圧縮データをメモリに格納する様にすることで、メモリへのアクセス頻度をなるべく抑えた、低消費電力のビデオカメラシステムを実現するため次のような形態をとる。

図１は本発明におけるビデオカメラシステムの一例を示すものである。同図において、１０１は撮像レンズ、１０２は撮像素子、１０３はＹ／Ｃ変換回路、１０４は高画質処理回路、１０５はカメラ信号処理開回路を制御するマイクロプロセッサ、１０６は圧縮伸張回路、１０７はメモリインターフェース回路、１０８はフレームメモリを示している。また、１００は１０３のＹ／Ｃ変換回路、１０４の高画質処理回路、１０５のマイクロプロセッサ、１０６の圧縮伸張回路及び１０７のメモリインターフェース回路から構成されるカメラ信号処理回路を示しており、通常はこれらを纏めてＬＳＩの形態をとることが多くなっている。本ビデオカメラシステムの概略動作は次の通りである。被写体から到達する光が撮像レンズ１０１によって撮像素子１０２の受光面上に結像される。該撮像素子はＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサやＣＣＤ（Charge-Coupled Device）センサ等の一般的なイメージセンサであり、該撮像素子の受光面上には、グリッド状にフォトダイオードが並べられている。各々のフォトダイオードでは到達する光を逐次電気的エネルギーに変換して電荷として蓄える。また、該撮像素子では蓄えられる電荷を任意の時間毎に不要電荷としての排出または、撮像信号としての読み出しが繰り返される。該撮像素子では排出と読み出しの間隔を制御することで露光時間の最適化が出来るようになっている。該撮像素子から読み出された撮像信号は、カメラ信号処理回路１００に供給されて、Ｙ／Ｃ変換回路１０３により撮像信号であるＲＧＢ信号から輝度及び色信号に変換される。図２はＲＧＢベイヤー配列のカラーフィルターを持つ撮像素子からプログレッシブ読み出しされた撮像信号から、Ｙ：Ｃｒ：Ｃｂ（４：２：２）のインタレース信号を生成する場合のイメージを示した図である。同図において上段は第１のフィールドにおける輝度信号と色信号、下段は第２のフィールドにおける輝度信号と色信号の生成の様子を示している。例えばＲＧＢ撮像信号のＢ２２の座標に相当するＹＣｒＣｂ信号は、Ｙ２２、Ｃｂ２２、Ｃｒ２２ということになる。すなわち、垂直方向の座標をｖ、水平方向の座標をｈとした場合の各座標における輝度信号と色信号は、同図中でＹｖｈ、Ｃｂｖｈ、Ｃｒｖｈとして示されており、インタレース方式の信号処理では第１のフィールドで生成される信号と第２のフィールドで生成される信号の垂直方向に互いに補間するラインの座標の信号となる。また、生成される色信号は水平座標に対して偶数座標のみ存在しているが、これは４：２：２フォーマットの画像信号を扱う場合を例にしている為である。一般的に４：２：２フォーマットの画像信号では色に対する解像度の視感度が低いことを利用して水平方向に間引きを行なうことで情報量の削減を行なっている。特定の座標に対する輝度信号と色信号は、先ず該特定の座標に対するＲ、Ｇ、Ｂの信号を予測した後、ついで予測したＲＧＢの値に係数をかけることで生成することができる。最も単純な方法では垂直３画素、水平３画素の領域から各座標のＲ、Ｇ、Ｂの値を予測して、輝度信号Ｙと色信号Ｃｂ、Ｃｒを生成する方法がある。例えばＢ２２の座標に対する輝度信号と色信号は該単純な予測方法を用いて次のような式で生成することが可能である。
Ｒ２２＝（Ｒ１１＋Ｒ１３＋Ｒ３１＋Ｒ３３）÷４・・・(式１)
Ｂ２２＝Ｂ２２ ・・・(式２)
Ｇ２２＝（Ｇ１２＋Ｇ２１＋Ｇ２３＋Ｇ３２）÷４・・・(式３)
Ｙ２２＝＋０．２９９×Ｒ２２＋０．５８７×Ｇ２２＋０．１１４×Ｂ２２
Ｃｂ２２＝−０．１９６×Ｒ２２−０．３３１×Ｇ２２＋０．５００×Ｂ２２
Ｃｒ２２＝＋０．５００×Ｒ２２−０．４１９×Ｇ２２−０．０８１×Ｂ２２
以上のように該Ｙ／Ｃ変換回路では輝度信号と色信号の生成が行なわれる。なおここでは、説明を簡略化するために３画素×３画素の領域から輝度信号と色信号が生成される過程を一例示したが、実際にはＲＧＢ信号の補間処理（式１〜３）は各信号の帯域を均一にするために、広範囲の領域に対してフィルタリングをかけるのが一般的である。

１０３のＹ／Ｃ変換回路で生成された輝度信号と色信号は、高画質処理回路１０４及び圧縮・伸張回路１０６に送られる。該圧縮・伸張回路では、該Ｙ／Ｃ変換回路により生成された輝度信号と色信号の圧縮処理が行われる。圧縮処理により生成された輝度及び色を示す符号データはメモリインターフェース回路１０７を介してフレームメモリ１０８に一時保存される。さらに、該圧縮・伸張回路は該フレームメモリに一時保存された符号データを該メモリーインターフェース経由で読み出して、ベースバンドの輝度信号及び色信号に戻して該高画質処理回路へ供給することも行なう。図３は該圧縮・伸張回路の構成の一例を示したものである。同図において、２０１はＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Pulse Code Modulation）処理回路、２０２は圧縮処理回路、２０３は書き込みバッファ、２０４は伸張処理回路、２０５は逆ＤＰＣＭ処理回路、２０６は読み出しバッファを示している。該ＤＰＣＭ処理回路はＤＰＣＭ処理を輝度信号Ｙ、色信号Ｃｂ及び色信号Ｃｒそれぞれ信号成分ごとに個別（図４参照）で行なう。ＤＰＣＭ処理手順としては、始に水平の各ラインの先頭画像信号レベルを最初に基準値として出力して、以降隣接するデータとの差分値を出力する。図５はある１ラインに着目した場合のＤＰＣＭ処理の様子を示したものであり、上段はＤＰＣＭ処理前の信号、下段はＤＰＣＭ処理後の信号に対応させたものである。例えば、ＤＰＣＭ処理前のＹ（輝度）信号をＹi、Ｃｂ信号をＣｂｊ、Ｃｒ信号をＣｒｋとしたとき、ＤＰＣＭ処理後のＹ信号をＤ_i、Ｃｂ信号をＤｂ_j、Ｃｒ信号をＤｒ_kと対応させている。このとき、ＤＰＣＭ処理の様子は、図５に記された符号を用いて次のような式で表現される。

Ｄi＝｛Ｄ０，Ｄ１，Ｄ２，・・・，(Ｄｎ−１)｝
＝｛Ｙ０，Ｙ０−Ｙ１，Ｙ１−Ｙ２，・・・，（Ｙｎ−２）−（Ｙｎ−１）
Ｄbj＝｛Ｄb０，Ｄb１，Ｄb２，・・・，(Ｄbｎ−１)｝
＝｛Cb０，Cb０−Cb１，Cb1−Cb２，・・・，（Cbm−２）−（Cbm）｝
Ｄrｋ＝｛Ｄｒ０，Ｄｒ１，Ｄｒ２，・・・，(Ｄｒｎ−１)｝
＝｛Cｒ０，Cｒ０−Cｒ１，Cｒ1−Cｒ２，・・・，（Cｒm−２）−（Cｒm）｝
該ＤＰＣＭ処理回路でのデータの先頭の判別はデータの有効範囲を示すアサート信号を用いるが例えばそれは、図５のW_REQに示すような形態をとる。
２０２の圧縮処理回路は、ロスレスの圧縮方式によるデータ圧縮を行い書き込みバッファ２０３にデータを転送する。ここで用いるロスレスの圧縮アルゴリズムの例としてはハフマン法による可変長符号方式が上げられる。ハフマン法では出現確率の高い値に対して短い符号長を与えるように符号化することでデータ量を圧縮することが可能であること一般的に知られている。一方、一般的に自然画像信号では隣接する画像信号の相関性が高いという性質、すなわち隣接する輝度と色の信号レベルが大半の場合において近いレベルとなる性質が有るため、該ＤＰＣＭ処理回路によるＤＰＣＭ処理後の画像信号は絶対値の小さい値ほど出現確立が高くなる。この性質を利用して、出現確率の高い絶対値の低い値ほど、符号長の短い符号を与えるハフマン符号化を適用することで、ロスレスのデータ圧縮を実現することが可能である。該圧縮処理回路で圧縮された符号データはビット列として書き込みバッファ２０３に供給され、該着込みバッファでは該ビット列をバイト単位にパッキング処理をしつつ、ＦＩＦＯ（First In First Out）バッファに溜め込む。該溜め込まれたバイトデータはフレームメモリ１０８にアクセスするバースト単位でメモリインターフェース１０７に転送される。また、該書き込みバッファは例外処理として１ライン分の圧縮処理が終了した時点で、バースト単位分のデータ量に満たない場合は、ダミーのデータを埋め込んで該メモリーインターフェース１０７へのデータ転送も行なう。

一方、フレームメモリ１０８からのデータ読み出しにおいては、図６に示すようなリードリクエスト信号（R-REQ）を基準にデータ読み出しを行なう必要があり、その際のレイテンシ、すなわちリクエスト発生からリードデータ出力までの遅延時間を極力少なくする必要が有るため、該リクエストが発生以前からフレームメモリ１０８から伸張処理回路２０４への圧縮データ読み出しが行われる。読み出された圧縮データは該伸張処理回路でバイト単位のデータからシリアルのデータへと変換されて、DPCM信号に複合される。複合されたDPCM信号は、２０５の逆ＤＰＣＭ処理回路により逆DPCM変換処理され先読みデータとして２０６の読み出しバッファに蓄えられる。該読み出しバッファはFIFOバッファであり、リードリクエストに応じて過去のフレームの画像データを高画質処理回路１０４に転送する。

該高画質処理回路では、フレームメモリ１０８に一時保存された過去のフィールドの輝度信号及び色信号と、該Ｙ／Ｃ変換回路で生成された現在の輝度信号及び色信号を用いて高画質な画像処理を行なう。該画像処理の一例としては、例えば画像信号のドット数変換などがある。ドット数変換とは、例えば元々垂直方向ｎドット、水平方向ｍドットの画像を４倍のドット数で表現したり、あるいは１／４のドット数で表現したりする解像度変換処理である。通常解像度変換処理は、変換後の座標の信号レベルを周囲の信号レベルから予測して保管する方法が一般的に行なわれている。図７はインタレース信号を垂直方向のドット数を２倍にする場合における垂直方向の補間する様子の一例を示したものであり、上段が第一のフィールドの補間の様子を、下段が第二のフィールドの補間の様子を示したものである。ここでは第一のフィールドでは０．５ドット垂直方向にオフセットした画像を、第二のフィールドではオリジナルの画像から全くオフセットしない画像を作ることを想定した補間の様子を示している。インタレース画像における垂直方向のドット数を２倍にする際、この補間方法によれば、過去のフィールド情報用いることで、補間後の画像を座標の近いドットから保管することが出来る為、過去のフィールド情報を用いない補間方式（図８）に比べて精度良く保管データの予測することが可能となる。以上高画質処理に関しては、ドット数変換を行なう場合を例としてあげたが、高画質処理についてはこれに限定するものではなく、フレーム間予測によるノイズ低減処理など、フレーム間の情報を用いて画質を向上するすべての処理をさすものである。

第１の実施例では、高画質処理のために過去のフィールド情報を用いるカメラシステムで、高画質処理で参照する過去のフィールド情報をロスレスの圧縮・伸張を介してフレームメモリに一時保管する場合について説明したが、ここではロッシーな圧縮処理をしたのちにフレームメモリに一時保管する場合の実施例について説明する。図９及び図１０は図１における圧縮・伸張回路１０６に不可逆の圧縮処理を適用した場合の一例を示す図である。図９において３０１及び３０２はビットシフト回路を示しており、３０１のビットシフト回路ではバス幅を縮小する方向にビットシフト、３０２のビットシフト回路は３０１のビットシフト回路で縮小したバス幅を元に戻す方向にビットシフトする。一方、図１０においては４０１のローパスフィルタ回路を示しており、フィールドメモリに格納するデータに帯域制限を掛ける役割を果たす。何れも新たに追加された回路により不可逆の圧縮がかかるが、第１の実施例に対してより圧縮効果か見込めるため、フレームメモリへのアクセス頻度さらに低減することが出来る。この場合における、過去のフィールド情報を利用して高画質処理は、過去の情報を間接的に利用したものが考えられる。間接的に利用する方法では、圧縮・伸張処理が必ずしも可逆である必要はなく。そのような高画質処理の一例としては、例えばＹ／Ｃ変換回路１０３で作られた信号に対して、フィルタリング処理をかける際において、同一の画面内で過去のフィールド情報に応じてフィルタリング係数を変える場合に利用できる。フィルタリング係数を変えるパラメータとしては例えば動きベクトルなどがあり、フィルタリング処理としては帯域制限処理が上げられる。デジタル記録方式のカメラでは、一般にＭＰＥＧ（Moving Picture Experts Group）などの画像圧縮フォーマットが用いられており、圧縮するベースバンドの画像信号の周波数分布により圧縮効率は密接な関係がある。例えば高周波成分が多い信号に対して、無理に圧縮効率を上げようとすると、圧縮処理は破綻して、ブロックノイズなどの要因となる。一方では、人間の視覚特性においては、動きの激しいものに対する周波数分解能が低下する為、ベースバンドの段階で信号に帯域制限がかかっていても大きなあらは見えない。そこで、高画質処理回路では、過去のフィールド情報からは動き情報だけを検出し、動きの激しい部分は厳しく帯域制限を動きの少ない部分には緩く帯域制限をかける事が可能となり、ＭＰＥＧなどの動画像圧縮フォーマットに好適な画像処理が実現するため、高効率で高画質の動画圧縮信号を生成することが出来る。以上のように、実施例２では不可逆の圧縮処理を可能とする構成をとることで、必要に応じて高画質処理のための画像メモリに格納する画像データの圧縮処理において、可逆、不可逆を適宜切り替えることで、さらに効率よく高画質処理を行なうことが可能になる。

以上、本発明の好適な実施例を説明した。本発明は、その一実施形態として、画像メモリ利用した高画質処理を行なうビデオカメラで利用できる。

本発明におけるビデオカメラシステムの一例。（実施例１） インタレース信号生成のイメージ図。（実施例１） 図３は該圧縮・伸張回路の構成の一例。（実施例１） 色信号Ｃｂ及び色信号Ｃｒを個別ＤＰＣＭにすることの説明図。（実施例１） ある１ラインに着目した場合のＤＰＣＭ処理の様子。（実施例１） フレームメモリ１０８からのデータ読み出しタイミングを説明図。（実施例１） 垂直方向の補間する様子の一例。（実施例１） 過去のフィールド情報を用いない補間方式。（実施例１） 圧縮・伸張回路に不可逆の圧縮処理を適用した場合の一例。（実施例２） 圧縮・伸張回路に不可逆の圧縮処理を適用した場合の一例。（実施例２）

符号の説明

１００ カメラ信号処理回路
１０１ 撮像レンズ
１０２ 撮像素子
１０３ Ｙ／Ｃ変換回路
１０４ 高画質処理回路
１０５ マイクロプロセッサ
１０６ 圧縮伸張回路
１０７ メモリインターフェース回路
１０８ フレームメモリ
２０１ ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Pulse Code Modulation）処理回路
２０２ 圧縮処理回路
２０３ 書き込みバッファ
２０４ 伸張処理回路
２０５ 逆ＤＰＣＭ処理回路
２０６ 読み出しバッファ
３０１ ビットシフト回路
３０２ ビットシフト回路
４０１ ローパスフィルタ回路

Claims (4)

1. 光を電気信号に変換する撮像素子と、該撮像素子に被写体の光像を結像させる光学レンズと、該撮像素子から読み出される撮像信号から被写体の明るさ及び色をしめす画像信号を生成する構成される信号処理回路から構成される撮像装置であって、該信号処理回路は、撮像信号をある規格で決まった信号フォーマットの画像信号に変換する変換処理回路と、該変換処理回路により生成された画像信号を画像情報として一時的にメモリ手段に保管するためのメモリインターフェース回路、該メモリ手段に一時記憶された複数枚の画像情報と画像信号を用いて新たな画像信号を生成する加工処理回路、該変換処理回路及び該加工処理回路で生成された画像信号をある任意の単位で圧縮及び伸張を行なう圧縮伸張回路で構成され、該メモリ手段に画像データを書き込む際は画像データを圧縮、該メモリ手段から画像データを読み出す際は画像データを伸張させることを可能とし、それを利用することで該メモリ手段と該信号処理回路の間で受け渡しをするデータ量を削減することを特徴とした撮像装置。
2. 請求項１に記載の撮像装置であって、任意の単位で行なわれる圧縮及び伸張処理は、DPCMと可変長符号化処理による可逆の圧縮伸張処理であることを特徴とした撮像装置。
3. 請求項１または請求項２に記載の撮像装置であって、任意の単位で行なわれる圧縮処理において、該加工処理に必要な周波数分解能に着目して該加工処理のための参照画像の解像度変換を行なうことで画像データ量を削減したうえで圧縮処理を行なって、該メモリ手段に一時保管することを特徴とした撮像装置。
4. 請求項１または請求項２に記載の撮像装置であって、任意の単位で行なわれる圧縮処理において、該加工処理に必要なビット精度に基づいて量子化荒くすることで画像データ量を削減したうえで圧縮処理を行なって、該メモリ手段に一時保管することを特徴とした撮像装置。

Images