JP4724637B2 - 撮像装置、撮像システム、撮像方法、プログラム及び記録媒体 - Google Patents

Description

本発明は撮像装置、撮像システム、撮像方法、プログラム及び記録媒体に関し、特に、フレーム間予測符号化が破綻しそうな場合に、発生符号量を減少させるために用いて好適な技術に関する。

一般的にフレーム間予測符号化では、送信符号量をある一定のレートを超えないように符号量制御を行う。すなわち、出力バッファの残留量を逐次監視し、発生符号量が残留量を超えそうな時には、粗く量子化することによって符号量を減少させる制御を行う。ところが、動画撮影時には、手ぶれ等が原因で多くの符号量が必要となる場合が多い。このような時には粗く量子化するため、ブロックノイズ等が現れ、画質が大きく劣化してしまう。

そこで、従来から、ＡＦ評価値に対してスレッショルドの値を設定し、該設定されたスレッショルドに応じて符号化の精度を調節することにより圧縮符号化が破綻しないように制御する撮像装置が提案されている（例えば、特許文献１参照）。

特開２００３−２１９４１６号公報

しかしながら、特許文献１に記載のビデオカメラ装置では、圧縮符号化が破綻しないように制御するためのスレッショルドの値を設定することが難しかった。また、スレッショルドの値を設定する処理が必要となるので、発生符号量を減少させるための処理が複雑となるという問題点があった。さらに、スレッショルドの値を設定することに失敗すると、発生符号量を減少させるための処理が不安定であるという問題点があった。

本発明は前述の問題点に鑑み、圧縮符号化が破綻しそうな場合に、簡単にかつ安定して発生符号量を減少させることができるようにすることを目的としている。

本発明の撮像装置は、撮像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記画像信号を画像データに信号処理する信号処理手段と、前記信号処理手段によって信号処理された画像データに基づいて前記撮像光学系の合焦状態を示す評価値を取得する評価値取得手段と、前記評価値に応じて前記撮像光学系を移動させて焦点の調節をするよう制御する焦点調節手段と、前記信号処理手段によって信号処理された画像データを圧縮符号化する圧縮符号化手段とを備え、前記評価値取得手段は、前記圧縮符号化手段から出力される圧縮符号量情報に応じて、前記信号処理手段によって信号処理された画像データのＲＧＢ成分の比率を変更して前記評価値を取得することを特徴とする。

本発明の撮像システムは前記の撮像装置と、撮像光学系とを有することを特徴とする。

本発明の撮像方法は、撮像光学系により結像された被写体像を光電変換して得られた画像信号を画像データに信号処理する信号処理工程と、前記信号処理工程で信号処理された画像データに基づいて前記撮像光学系の合焦状態を示す評価値を取得する評価値取得工程と、前記評価値に応じて前記撮像光学系を移動させて焦点の調節をするよう制御する焦点調節工程と、前記信号処理工程によって信号処理された画像データを圧縮符号化する圧縮符号化工程とを備え、前記評価値取得工程では、前記圧縮符号化工程により出力される圧縮符号量情報に応じて、前記信号処理工程によって信号処理された画像データのＲＧＢ成分の比率を変更して前記評価値を取得することを特徴とする。

本発明のプログラムは、前記の撮像方法をコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記のプログラムを記録したことを特徴とする。

本発明によれば、圧縮符号化が破綻しそうな場合に、簡単にかつ安定して発生符号量を減少させることができる。

（第１の実施形態）
以下、本発明の好適な実施形態について、添付図面を参照しながら詳細に説明する。
図１は、本実施形態の撮像装置の機能構成例を示すブロック図である。
図１において、１はレンズ（フォーカスレンズを含む）であり、２は絞りである。３は撮像素子であり、４はＣＤＳ回路及びＡ／Ｄ変換器を含むアナログフロントエンド部（ＡＦＥと図示する）である。

５はレンズ１、絞り２及び撮像素子３を駆動する駆動回路であり、６は撮像した画像データから輝度信号や色差信号を生成するカメラ信号処理回路である。７は画像データを記憶する画像メモリであり、８はカメラ信号処理回路６でカメラ信号処理された画像データをフレーム間予測符号化処理するフレーム間予測符号化処理回路である。

９はフレーム間予測符号化処理回路８から送られる符号量情報によりＡＦ評価値を生成するＡＦ評価値生成回路であり、１１は撮像装置から取り外し可能な記録媒体である。このＡＦ評価値とはレンズ１を含む撮像光学系の合焦状態を示すものである。１０はフレーム間予測符号化処理された画像データを記録媒体１１に記録する記録処理回路であり、１２は撮像装置全体を制御するシステム制御部である。また、１５はシステム制御部１２と撮像装置内の各ブロックとの通信を行うバスである。

１３はシステム制御部１２で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶しておく不揮発性メモリ（ＲＯＭ）である。１４は不揮発性メモリ１３に記憶されたプログラム及び制御データを転送して記憶しておき、システム制御部１２が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。

以下、前述のように構成された撮像装置での撮像動作について説明する。撮像動作に先立ち、撮像装置の電源投入時等のシステム制御部１２の動作開始時において、不揮発性メモリ１３から必要なプログラム、制御データおよび補正データを揮発性メモリ１４に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部１２が撮像装置を制御する際に使用するものとする。さらに、必要に応じて、追加のプログラムやデータを不揮発性メモリ１３から揮発性メモリ１４に転送したり、システム制御部１２が直接不揮発性メモリ１３内のデータを読み出して使用したりするものとする。

まず、システム制御部１２から送られる制御信号により、絞り２とレンズ１とを駆動して、適切な明るさに設定された被写体像を撮像素子３上に結像させる。撮像素子３は、システム制御部１２により制御される駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。

撮像素子３から出力されたアナログの画像信号は、システム制御部１２により制御される動作パルスにより、ＡＦＥ４内部のＣＤＳ回路でクロック同期性ノイズを除去し、ＡＦＥ４内部のＡ／Ｄ変換器でデジタル画像信号に変換される。システム制御部１２により制御されるカメラ信号処理回路６は、ＡＦＥ４の出力であるデジタル画像信号から、輝度色差の画像データを生成する。

画像メモリ７は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。フレーム間予測符号化処理回路８は、信号処理されたデジタル画像信号を圧縮符号化する。フレーム間予測符号化処理回路８によって符号化された画像データは、記録処理回路１０において記録媒体１１に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換されて記録媒体１１に記録される。また、ＡＦ評価値生成回路９はフレーム間予測符号化処理回路８から出力される符号量情報に応じて、ＡＦ評価値の演算の仕方を変えるよう制御する。

システム制御部１２は、バス１５を介して、駆動回路５、カメラ信号処理回路６、フレーム間予測符号化処理回路８、ＡＦ評価値生成回路９及び記録処理回路１０を制御する。各信号処理回路に必要な制御パラメータや、回路を制御するプログラム等の情報は、システム制御部１２に接続された不揮発性メモリ１３から読み出される。

次に、図２に、本実施形態におけるカメラ信号処理回路６の構成例を示す。なお、本実施形態では、原色フィルタがベイヤー状に配置された撮像素子を持つ単板撮像装置を例に説明する。

画素ごとに、撮像素子３の色フィルタに対応した色のデジタル画像データ（ＲＡＷと表記）がＡＦＥ４からカメラ信号処理回路６に入力される。このＲＡＷデータの状態では、各画素位置に対して、ＲＧＢいずれかの色フィルタに対応した色の値しか持たない。そのため、同時化処理回路６００では、入力されるＲＡＷデータに対して、ＲＧＢの画素に分離した後、すべての画素位置でＲＧＢの値を持つように補間演算を行う。

同時化処理回路６００で生成されるＲＧＢの画像信号は、ＹＣマトリクス処理回路６０１において、例えば、以下の数１〜数３に示す演算によって、輝度信号ＹＬと色差信号ＣＲ、ＣＢとに変換される。

輪郭補償回路６０２においては、ＡＦＥ４から入力されるＲＡＷデータから、Ｇの画素を分離した後、輝度の高周波成分ＹＨを抽出する処理を行う。また、加算回路６０３においては、ＹＬとＹＨとを合成し、Ｙ'としてフレーム間予測符号化処理回路８へ出力する。

図３に、本実施形態におけるフレーム間予測符号化処理回路８の構成例を示す。
図３において、ブロック化回路８００は、カメラ信号処理回路６で信号処理された画像データを８×８画素の入力ブロックに分割して、第１の加算器８０１に出力する。

第１の加算器８０１は、ブロック化回路８００によって分割された入力ブロックと、フレームメモリ８０９より出力された予測値とを加算して、両者の差として差分画像を直交変換回路８０２に出力する。そして、直交変換回路８０２は、この差分画像を直交変換し、直交変換された変換係数を量子化回路８０３に出力する。

量子化回路８０３は、直交変換された変換係数をレート設定等で決まるテーブルによって量子化する。そして、量子化された変換係数を逆量子化回路８０６及びランレングス符号化回路８０４に出力する。ランレングス符号化回路８０４は、量子化回路８０３で量子化された変換係数をランレングス符号化して、多重化回路８０５に出力する。

多重化回路８０５は、ランレングス符号化回路８０４で符号化された結果と動きベクトル検出回路８１０で検出された動きベクトルとを多重化する。そして、多重化された信号がバッファ８１１に一時保存され、ある一定のレートで記録処理回路１０へ出力される。

一方、逆量子化回路８０６は、量子化回路８０３で量子化された変換係数を逆量子化して直交変換係数に戻し、逆直交変換回路８０７に出力する。逆直交変換回路８０７は、逆量子化回路８０６で逆量子化した直交変換係数を逆直交変換し、逆直交変換によって得られた差分画像を第２の加算器８０８に出力する。

第２の加算器８０８は、フレームメモリ８０９から出力された予測値と逆直交変換回路８０７から出力された差分画像とを加算して、再生画素をフレームメモリ８０９に出力する。フレームメモリ８０９は、第２の加算器８０８から出力された再生画素値から再生画像を生成して保存し、その再生画像を次フレームの予測値として動きベクトル検出回路８１０に出力する。

動きベクトル検出回路８１０は、カメラ信号処理回路６で信号処理された画像データとフレームメモリ８０９から出力された再生画像とから動きベクトルを求め、多重化回路８０５及びフレームメモリ８０９へ出力する。また、符号量情報算出回路８１２は、バッファ８１１の占有量から換算した符号量情報をＡＦ評価値生成回路９へ出力する。

ここで符号量情報とは、目標符号量に対して発生符号量がどのくらい多いか少ないかについての情報、または、このままだとフレーム間予測符号化が破綻してしまうかどうかという情報である。また、本実施形態では、符号量情報についてはバッファの占有量から換算するようにしているが、量子化する際の量子化係数から換算するなど、符号量の状態がわかればよい。

次に、本実施形態のＡＦ評価値生成回路９の制御動作について、図４のフローチャートを参照しながら説明する。
まず、ステップＳ４００において、フレーム間予測符号化処理回路８内部の符号量情報算出回路８１２から符号量情報を読み出す。

ここで、図５に示すように、画像データの高周波成分と発生符号量とは、高周波成分が少ないと発生符号量も少なくなるという関係にある。すなわち、発生符号量を減らしたい場合には、画像データの高周波成分を減らせばよいということになる。ここで、レンズにはその光学特性によって軸上色収差が存在し、ＲＧＢ成分単色で見た場合のベストピントのフォーカスレンズの位置は、図６に示すように、わずかにずれる。

一般的なＡＦ動作では、Ｇの高周波成分のピーク位置が人の目にはベストピントとなることから、例えば、Ｒｇ：Ｇｇ：Ｂｇ＝０．２５：０．５：０．２５のようにＧの比率を高くしてＡＦ評価値を生成している。また、輝度信号はＧの比率が高いため、ＡＦ評価値がＧの高周波成分のピーク位置に近ければ近いほど、映像信号に高周波成分が多くなり、発生符号量が増加する。

そこで、ステップＳ４０１において、図７（ａ）に示すように符号量に応じてＲｇ、Ｇｇ、Ｂｇのゲインを設定する。次に、ステップＳ４０２において、カメラ信号処理回路６内部の同時化処理回路６００から、色成分信号ＲＧＢをそれぞれ読み出す。そして、ステップＳ４０３において、例えば、以下の数４に示す演算によって、輝度信号ＹＡＦを生成する。

次に、ステップＳ４０４において、高周波成分を取り出し、ステップＳ４０５において、高周波成分を積算する。次に、ステップＳ４０６において、高周波成分の積算が完了したかどうかを判断する。この判断の結果、完了していなかったら、ステップＳ４０２へ戻る。一方、ステップＳ４０６の判断の結果、積算が完了であれば、ステップＳ４０７において、ＡＦ評価値として積算した値をシステム制御部１２へ出力する。

以上、説明したように、符号量情報に応じてＡＦ評価値制御の際のＲＧＢゲインを変え、ＡＦ評価値のピーク位置をベストピークから安定してずらすことにより、入力画像をぼかし、発生符号量を減少させることができる。また、ずれる範囲は軸上色収差の範囲なので、ずらし過ぎて大きくぼやけることはない。なお、Ｒｇ、Ｇｇ、Ｂｇは、ＡＦ評価値生成回路９内にテーブルとして持っていたり、演算したりしてもよい。また、具体的な数値はこれに限るものではなく、外部から制御できるものであってもよい。

（第２の実施形態）
次に、図７〜図１０を参照しながら、本実施形態について説明する。
図８は本実施形態における撮像装置のブロック図である。また、図９に本実施形態におけるカメラ信号処理回路６のブロック図である。

本実施形態は、第１の実施形態と略同様であって、同一部材には同一番号を付しており、重複する構成の説明は省略する。第１の実施形態と異なっている点は、カメラ信号処理回路６に色相検出回路６０４が含まれている点である。色相検出回路６０４は、被写体の色相を検出し、色相に応じた制御信号ＣＯＬをＡＦ評価値生成回路９へ出力する。そして、制御信号ＣＯＬとフレーム間予測符号化処理回路８内部の符号量情報算出回路８１２とを用いてＡＦ評価値生成回路９の制御方法を変える。

図９において、色相検出回路６０４は、ＹＣマトリクス処理回路６０１からの色差信号ＣＢ、ＣＲを用いて、例えば以下の数５に示す演算によって被写体の色相θを算出する。

また、色相θが以下のようなとき、制御信号ＣＯＬを以下の数６に示すように出力する。

また、πは円周率を表す。すなわち、制御信号ＣＯＬが「１」の場合は被写体が比較的赤いものであることを示し、制御信号ＣＯＬが「０」の場合は被写体が比較的青いものであることを示す。

次に、本実施形態におけるＡＦ評価値生成回路９の制御動作について、図１０のフローチャートを参照しながら説明する。
まず、ステップＳ９００において、フレーム間予測符号化処理回路８内部の符号量情報算出回路８１２から、符号量情報を読み出す。

次に、ステップＳ９０１において、カメラ信号処理回路６内部の色相検出回路６０４から被写体の色相に応じた制御信号ＣＯＬを読み出す。そして、読み出した制御信号ＣＯＬが「０」であるか「１」であるかを判断する。この判断の結果、制御信号ＣＯＬが「０」であったならば、ステップＳ９０２において、ＲＧＢゲインを図７（ａ）に示すようにＲｇの比率が高くなるように設定する。一方、ステップＳ９０１の判断の結果、制御信号ＣＯＬが「１」であったならば、ステップＳ９０３において、ＲＧＢゲインを図７（ｂ）に示すようにＢｇの比率が高くなるように設定する。

例えば、制御信号ＣＯＬが「０」、すなわち、被写体が青いものであったならば、画像データは、Ｂの高周波成分を多く有する。ここで、ＡＦ評価値のＢの比率を高めてしまうと、高周波成分を効率よく減少させることができないため、発生符号量を効率よく減少させることができない。そこで、ＲＧＢゲインのＲｇの比率を高くし、ＡＦ評価値のＲの比率を高くすることによって、ＡＦ評価値のピークをＲの方向へずらし、画像データの高周波成分を効率よく減少させる。これにより、発生符号量を効率よく減少させることができる。

次に、ステップＳ９０４において、カメラ信号処理回路６内部の同時化処理回路６００から、色成分信号ＲＧＢをそれぞれ読み出す。そして、ステップＳ９０５において、例えば数４に示した演算によって、輝度信号ＹＡＦを生成する。

次に、ステップＳ９０６において、高周波成分を取り出し、ステップＳ９０７において、高周波成分を積算する。また、ステップＳ９０８において、高周波成分の積算が完了であるか否かを判断する。この判断の結果、積算が完了していなかったらステップＳ９０４へ戻る。一方、ステップＳ９０８の判断の結果、積算が完了であれば、ステップＳ９０９において、ＡＦ評価値として積算した値をシステム制御部１２へ出力する。

以上、説明したように、本実施形態においては、色相検出回路６０４を用いて検出した色相から被写体が比較的青いか、比較的赤いかを判断するようにしたので、ＲＧＢ比率を変えても発生符号量を効率よく減少できない状態を防ぐことができる。

（第３の実施形態）
次に、図１１を参照しながら、本実施形態について説明する。
本実施形態は、第２の実施形態と略同様であって、同一部材には同一番号を付しており、重複する構成の説明は省略する。異なっている点は、カメラ信号処理回路６の色相検出回路６０４から、色相に応じた制御信号ＣＯＬだけではなく、色相θも出力し、圧縮符号量情報、制御信号ＣＯＬ及び色相θに応じて、ＡＦ評価値生成回路９の評価値生成方法を変える点である。

図１１に、本実施形態におけるＡＦ評価値生成回路９の評価値生成方法のフローチャートを示す。
まず、ステップＳ１１００において、フレーム間予測符号化処理回路８内部の符号量情報算出回路８１２から符号量情報を読み出す。

次に、ステップＳ１１０１において、カメラ信号処理回路６内部の色相検出回路６０４から、制御信号ＣＯＬと色相θとから成る色相情報を読み出す。そして、読み出した制御信号ＣＯＬが「０」であるか「１」であるかを判断する。この判断の結果、制御信号ＣＯＬが「０」であったならば、ステップＳ１１０２へ進み、ＲＧＢゲインを図７（ａ）に示すようにＲｇの比率が高くなるように設定する。また、ステップＳ１１０１の判断の結果、制御信号ＣＯＬが「１」であったならば、ステップＳ１１０３へ進み、ＲＧＢゲインを図７（ｂ）に示すように、Ｂｇの比率が高くなるように設定する。

次に、ステップＳ１１０４において、輝度信号の計算に必要な係数α、β、γを図１２に示すようにそれぞれ設定する。例えば、被写体がマゼンタの場合は、赤と青の高周波成分を多く有する。この場合に発生符号量を減らすために、高周波成分が少ないＧのピーク位置にＡＦ評価値を合わせる。そこで、α＝０、β＝１、γ＝０として、ＡＦ評価値内のＧの比率を高めることによって、高周波成分が少ないＧのピーク位置にＡＦ評価値を合わせる。

次に、ステップＳ１１０５へ進み、カメラ信号処理回路６内部の同時化処理回路６００から、色成分をそれぞれ読み出す。そして、ステップＳ１１０６において、例えば、以下の数７に示す演算によって、輝度信号ＹＡＦを生成する。

次に、ステップＳ１１０７において、高周波成分を取り出し、ステップＳ１１０８において、高周波成分を積算する。次に、ステップＳ１１０９において、高周波成分の積算が完了したか否かを判断する。この判断の結果、完了していなかったならば、ステップＳ１１０５へ戻る。一方、ステップＳ１１０９の判断の結果、積算が完了であれば、ステップＳ１１１０において、ＡＦ評価値として積算した値をシステム制御部１２へ出力する。

以上、説明したように、制御信号ＣＯＬと色相θとを用いることにより、それぞれの色相に適したＡＦ評価値を生成できるようになる。これにより効果的にＡＦ評価値のピーク位置をベストピークから安定してずらすことができ、入力画像を効果的にぼかし、発生符号量を減少させることができる。

また、ずれる範囲は軸上色収差の範囲なので、ずらし過ぎて大きくぼやけることはない。なお、α、β、γは、ＡＦ評価値制御回路内にテーブルとして持っていたり、演算したりしてもよい。また、具体的な数値はこれに限るものではなく、外部から制御できるものであってもよい。

（第４の実施形態）
次に、図１３〜図１５を参照しながら、本実施形態について説明する。
図１３は、本実施形態における撮像装置のブロック図である。また、図１４は、本実施形態におけるカメラ信号処理回路６のブロック図である。
本実施形態は第３の実施形態と略同様であって、同一部材には同一番号を付しており、重複する構成の説明は省略する。異なっている点は、カメラ信号処理回路６に色抑圧回路６０５が含まれており、ＡＦ評価値生成回路９から評価値生成情報Ｔを入力する点である。

図１４において、色抑圧回路６０５は、ＹＣマトリクス処理回路６０１から色差信号ＣＢと色差信号ＣＲ、ＡＦ評価値生成回路９からＡＦ評価値生成情報、及び輪郭補償回路６０２から輝度信号の高周波成分ＹＨを入力する。そして、これらを用いて、ＡＦ評価値のＲＧＢ比率を変えた際に、輝度のエッジ周辺に発生する色にじみを、システム制御部１２から読み出したＣＲｇ、ＣＢｇを用いて、例えば、以下の数８及び数９に示す演算によって抑圧する。

本実施形態における色抑圧回路６０５の制御動作について図１５に示すフローチャートを参照しながら説明する。
まず、ステップＳ１４００において、輪郭補償回路６０２から、輝度信号の高周波成分ＹＨを読み出す。次に、ステップＳ１４０１において、着目画素が高輝度部周辺か否かを判断する。この判断の結果、高輝度部周辺であったならば、色抑圧処理を行うため、ステップＳ１４０２に進む。一方、ステップＳ１４０１の判断の結果、高輝度部周辺でなければ、ステップＳ１４０６へ進む。

ステップＳ１４０２において、ＡＦ評価値生成回路９からＡＦ評価値生成情報を読み出す。次に、ステップＳ１４０３において、ＡＦ評価値生成情報からＲＧＢゲイン設定情報を読み出し、ＲＧＢゲインの設定がどのようになっているかを判別する。ここで、ＲＧＢゲイン設定情報は、第２の実施形態の図７に示したように、色相から設定されたＲＧＢゲイン比率をどのように設定するかという情報を指す。

この判別の結果、ＲＧＢゲイン設定がＲｇの比率が高くなるように設定されていた場合は、ＡＦ評価値のピークはＲのピーク方向へずれるため、Ｂがぼけて入力され、高輝度部周辺ではＢの色にじみが発生する。そこで、ステップＳ１４０４へ進み、ＣＢの抑圧ゲインであるＣＢｇを０に設定し、高輝度部周辺に発生するＢの色にじみを抑圧するように設定する。

一方、ステップＳ１４０３の判別の結果、ＲＧＢゲイン設定がＢｇの比率が高くなるように設定されていた場合は、ＡＦ評価値のピークがＢのピーク方向へずれるために、Ｒがぼけて入力され、高輝度部周辺ではＲの色にじみが発生する。そこで、ステップＳ１４０５へ進み、ＣＲの抑圧ゲインであるＣＲｇを０に設定し、高輝度部周辺に発生するＲの色にじみを抑圧するように設定する。ここで、ＣＢｇ、ＣＲｇは０に設定したが、外部から抑圧を制御してもよい。

次に、ステップＳ１４０６において、設定されたＣＢｇ、ＣＲｇを用いて演算を行い、処理を終了する。本実施形態では、高輝度部周辺に発生する色にじみを抑圧した。一方、同時化処理回路６００から入力された色成分信号ＲＧＢの高周波成分やＹＣマトリクス回路６０１から入力された色差信号ＣＢ、ＣＲの高周波成分を抽出して、色の境界で発生する色にじみを抑圧するようにしてもよい。

以上説明したように、本実施形態によれば、色抑圧回路６０５を用いることによって、ＡＦ評価値のＲＧＢ比率を変えた場合に高輝度部周辺に発生する色にじみを抑圧することができる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図４、１０、１１、１５に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態における撮像装置の構成例を示すブロック図である。 本発明の第１の実施形態におけるカメラ信号処理回路の構成例を示すブロック図である。 本発明の第１の実施形態におけるフレーム間予測符号化処理回路の構成例を示すブロック図である。 本発明の第１の実施形態におけるＡＦ評価値生成回路の処理手順の一例を示すフローチャートである。 本発明の第１の実施形態において、画像データの高周波成分と発生符号量との関係を示す図である。 本発明の第１の実施形態において、高周波成分とフォーカスレンズの位置との関係を示す図である。 本発明の第１の実施形態において、発生符号量とＲｇ、Ｇｇ、Ｂｇのゲイン量との関係を示す図である。 本発明の第２の実施形態における撮像装置の構成例を示すブロック図である。 本発明の第２の実施形態におけるカメラ信号処理回路の構成例を示すブロック図である。 本発明の第２の実施形態におけるＡＦ評価値生成回路の処理手順の一例を示すフローチャートである。 本発明の第３の実施形態におけるＡＦ評価地生成回路の処理手順の一例を示すフローチャートである。 本発明の第３の実施形態において、色相とα、β、γとの関係を示す図である。 本発明の第４の実施形態における撮像装置の構成例を示すブロック図である。 本発明の第４の実施形態におけるカメラ信号処理回路の構成例を示すブロック図である。 本発明の第４の実施形態におけるＡＦ評価値生成回路の処理手順の一例を示すフローチャートである。

符号の説明

１ レンズ
２ 絞り
３ 撮像素子
４ ＡＦＥ
５ 駆動回路
６ カメラ信号処理回路
７ 画像メモリ
８ フレーム間予測符号化処理回路
９ ＡＦ評価値生成回路
１０ 記録処理回路
１１ 記録媒体
１２ システム制御部
１３ 不揮発性メモリ（ＲＯＭ）
１４ 揮発性メモリ（ＲＡＭ）
１５ バス
６００ 同時化処理回路
６０１ ＹＣマトリクス処理回路
６０２ 輪郭補償回路
６０３ 加算回路
６０４ 色相検出回路
６０５ 色抑圧回路
８００ ブロック化回路
８０１ 第１の加算器
８０２ 直交変換回路
８０３ 量子化回路
８０４ ランレングス符号化回路
８０５ 多重化回路
８０６ 逆量子化回路
８０７ 逆直交変換回路
８０８ 第２の加算器
８０９ フレームメモリ
８１０ 動きベクトル検出回路
８１１ バッファ
８１２ 符号量情報算出回路

Claims (8)

1. 撮像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
   前記画像信号を画像データに信号処理する信号処理手段と、
   前記信号処理手段によって信号処理された画像データに基づいて前記撮像光学系の合焦状態を示す評価値を取得する評価値取得手段と、
   前記評価値に応じて前記撮像光学系を移動させて焦点の調節をするよう制御する焦点調節手段と、
   前記信号処理手段によって信号処理された画像データを圧縮符号化する圧縮符号化手段とを備え、
   前記評価値取得手段は、前記圧縮符号化手段から出力される圧縮符号量情報に応じて、前記信号処理手段によって信号処理された画像データのＲＧＢ成分の比率を変更して前記評価値を取得することを特徴とする撮像装置。
2. 被写体の色情報を検出する色情報検出手段を有し、
   前記評価値取得手段は、前記色情報検出手段によって検出された色情報と前記圧縮符号量情報とに応じて、前記ＲＧＢ成分の比率を変更して前記評価値を取得することを特徴とする請求項１に記載の撮像装置。
3. 前記評価値取得手段は、前記圧縮符号化手段から出力される圧縮符号量情報に応じて、前記信号処理手段によって信号処理された画像データのＲＧＢ成分のうち、ＲまたはＢの比率を高くして前記評価値を取得することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記信号処理手段は、前記画像データの色信号を抑圧する色抑圧手段と、前記画像データの輝度の高周波成分を抽出する抽出手段とを有し、前記色抑圧手段は、前記評価値取得手段によって取得された評価値における情報と前記抽出手段によって抽出された輝度の高周波成分とに基づいて色信号を抑圧することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 請求項１乃至４のいずれか１項に記載の撮像装置と、
   撮像光学系とを有することを特徴とする撮像システム。
6. 撮像光学系により結像された被写体像を光電変換して得られた画像信号を画像データに信号処理する信号処理工程と、
   前記信号処理工程で信号処理された画像データに基づいて前記撮像光学系の合焦状態を示す評価値を取得する評価値取得工程と、
   前記評価値に応じて前記撮像光学系を移動させて焦点の調節をするよう制御する焦点調節工程と、
   前記信号処理工程によって信号処理された画像データを圧縮符号化する圧縮符号化工程とを備え、
   前記評価値取得工程では、前記圧縮符号化工程により出力される圧縮符号量情報に応じて、前記信号処理工程によって信号処理された画像データのＲＧＢ成分の比率を変更して前記評価値を取得することを特徴とする撮像方法。
7. 請求項６に記載の撮像方法をコンピュータに実行させることを特徴とするプログラム。
8. 請求項７に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images