JP2009071473A - データ処理回路 - Google Patents

Abstract

【構成】ＣＭＯＳ型撮像装置から周期的に出力される水平３８４０画素×垂直２１６０画素の生画像データは分配器４４によって４ブロックの部分画像データに分割される。分割された４ブロックの部分画像データは、前処理ブロックＰＢ１〜ＰＢ４によって並列的に前処理を施される。一方、ＣＣＤ型撮像装置から周期的に出力される水平１２８０画素×垂直９６０画素の生画像データは、前処理ブロックＰＢ５によって直列的に前処理を施される。ＣＣＤ型撮像装置から出力される生画像データの画素数は、ＣＭＯＳ型撮像装置から出力される生画像データの画素数の１／４以下である。“４”という数値はＣＣＤ撮像装置から出力された生画像データに対する並列前処理の数に相当する。
【効果】ＣＣＤ撮像装置用の前処理およびＣＭＯＳ型撮像装置用の前処理に共通のクロック周波数を適用できる。
【選択図】図５

Description

この発明は、撮像装置から出力された画像データに既定のデータ処理を施す、データ処理回路に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、４０万画素の固体撮像素子が装着されたときは、１４．３ＭＨｚまたは２８．６ＭＨｚ（＝１４．３ＭＨｚ×２）の周波数を有するクロックに従って映像処理が実行される。一方、５０万画素の固体撮像素子が装着されたときは、１８ＭＨｚまたは３６ＭＨｚ（＝１８ＭＨｚ×２）の周波数を有するクロックに従って映像処理が実行される。これによって、クロスカラー妨害を十分に軽減することができる。
特開平９−２８４６６０号公報［H04N 5/335, 5/208, 5/21］

しかし、背景技術では、撮像素子毎に異なるクロック周波数を準備する必要があるため、回路構成が複雑化するおそれがある。

それゆえに、この発明の主たる目的は、回路構成を簡略化できる、データ処理回路を提供することである。

この発明に従うデータ処理回路(IC1：実施例で相当する参照符号。以下同じ)は、第１数に相当する画素を有して第１撮像装置から周期的に出力される第１画像データをＮブロック（Ｎ：２以上の整数）の部分画像データに分割する分割手段(44)、分割手段によって分割されたＮブロックの部分画像データに対して第１処理を並列的に実行する第１処理手段(FB1~FB4)、および第１数の１／Ｎである第２数に相当する画素を有して第２撮像装置から周期的に出力される第２画像データに対して第２処理を直列的に実行する第２処理手段(FB5)を備える。

分割手段は、第１数に相当する画素を有して第１撮像装置から周期的に出力される第１画像データをＮブロックの部分画像データに分割する。第１処理手段は、分割手段によって分割されたＮブロックの部分画像データに対して第１処理を並列的に実行する。第２処理手段は、第１数の１／Ｎである第２数に相当する画素を有して第２撮像装置から周期的に出力される第２画像データに対して第２処理を直列的に実行する。

このように、第１画像データは第１数に相当する画素を有し、第２画像データは第２数に相当する画素を有する。さらに、第２数は、第１数の１／Ｎである。第１画像データはＮブロックの部分画像データに分割されて並列的に第１処理を施され、第２画像データは直列的に第２処理を施される。この結果、第１撮像装置用の第１処理および第２撮像装置用の第２処理に共通の周波数のクロックを適用することができ、回路構成の簡略化が可能となる。

好ましい局面では、第１処理手段によって処理された第１画像データおよび第２処理手段によって処理された第２画像データをメモリ(22a, 22b)に書き込む書き込み手段(20a, 20b)をさらに備える。

他の好ましい局面では、第１撮像装置は第１周期で第１画像データを出力し、第２撮像装置は第２周期で第２画像データを出力し、第１処理手段は第１周波数に同期して第１処理を実行し、第２処理手段は第２周波数に同期して第２処理を実行し、第１周波数と第２周波数との比率は第１数の１／Ｎに第１周期を掛算して得られる数値と第２数に第２周期を掛算して得られる数値との比率に相当する。

その他の好ましい局面では、第１撮像装置が第１画像データを出力する周期は第２撮像装置が第２画像データを出力する周期よりも短い。

さらにその他の好ましい局面では、第１処理手段によって処理された第１画像データおよび第２処理手段によって処理された第２画像データの各々に対して第３処理を実行する第３処理手段(BB1)をさらに備える。

他の好ましい局面では、第２数に相当する画素を覆う抽出エリアを第１撮像装置の撮像面上に割り当てる割り当て手段(72)、および第１処理手段によって処理された第１画像データのうち割り当て手段によって割り当てられた抽出エリアに属する一部の画像データを第３処理のために抽出する抽出手段(20a)をさらに備える。

さらに好ましくは、光軸に直交する方向における撮像面の動きを相殺する方向に抽出エリアを移動させる移動手段(S5)をさらに備える。

この発明によれば、第１画像データは第１数に相当する画素を有し、第２画像データは第２数に相当する画素を有する。さらに、第２数は、第１数の１／Ｎである。第１画像データはＮブロックの部分画像データに分割されて並列的に第１処理を施され、第２画像データは直列的に第２処理を施される。この結果、第１撮像装置用の第１処理および第２撮像装置用の第２処理に共通の周波数のクロックを適用することができ、回路構成の簡略化が可能となる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のビデオカメラ１０は、光学レンズ１２を含む。被写界の光学像は、光学レンズ１２を経て撮像装置１４の撮像面に照射される。撮像面には複数の画素が２次元に配列され、各画素では光量に応じた電荷が生成される。撮像面は原色ベイヤ配列の色フィルタ（図示せず）によって覆われ、各画素で生成される電荷はＲ(Red)，Ｇ(Green)またはＢ(Blue)の色情報を有する。

電源が投入されると、ＣＰＵ３８は、スルー画像処理を実行するべく、対応する命令を撮像装置１４とデータ処理回路ＩＣ１を構成する前処理回路１８，後処理回路２４およびビデオ表示回路２６とに与える。撮像装置１４は、ＳＧ(Signal Generator)１６から出力されるタイミング信号（垂直同期信号Ｖｓｙｎｃおよびクロック信号を含む）に応答して、撮像面を露光し、かつ露光によって撮像面で生成された電荷をラスタ走査態様で読み出す。撮像装置１４からは、撮像面で生成された電荷に基づく生画像データが周期的に出力される。

撮像装置１４としては、ＣＭＯＳ型撮像装置およびＣＣＤ型撮像装置のいずれか一方が採用される。ＣＭＯＳ型撮像装置は図２（Ａ）に示す撮像面を有する一方、ＣＣＤ型撮像装置は図２（Ｂ）に示す撮像面を有する。

図２（Ａ）に示す撮像面は、水平３８４０画素×垂直２１６０画素を有する。このうち、ほぼ中央の水平３３２５画素×垂直１８７０画素（解像度：約６００万画素）が有効画像エリアに相当し、周辺の残エリアが光学的黒エリアに相当する。また、図２（Ｂ）に示す撮像面は、水平１２８０画素×垂直９６０画素を有する。このうち、ほぼ中央の水平１０２４画素×垂直７６８画素（解像度：ＸＧＡ）が有効画像エリアに相当し、周辺の残エリアが光学的黒エリアに相当する。

ＣＭＯＳ型撮像装置が撮像装置１４として採用された場合、垂直同期信号Ｖｓｙｎｃは１／６０秒毎に出力され、この結果、光学的黒成分を含む水平３８４０画素×垂直２１６０画素の生画像データが６０ｆｐｓのフレームレートで撮像装置１４から出力される。一方、ＣＣＤ型撮像装置が撮像装置１４として採用された場合、垂直同期信号Ｖｓｙｎｃは１／３０秒毎に出力され、この結果、光学的黒成分を含む水平１２８０画素×垂直９６０画素の生画像データが３０ｆｐｓのフレームレートで撮像装置１４から出力される。

前処理回路１８は、撮像装置１４から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御，Ｋｎｅｅ処理などの処理を施し、処理された生画像データを図３（Ａ）または図３（Ｂ）に示す要領でデータバスＡに出力する。ＣＭＯＳ型撮像装置が採用されたときは、光学的黒成分を含む水平３８４０画素×垂直２１６０画素の生画像データが図３（Ａ）に示す要領で前処理回路１８からデータバスＡに出力される。また、ＣＣＤ型撮像装置が採用されたときは、光学的黒成分を含む水平１２８０画素×垂直９６０画素の生画像データが図３（Ｂ）に示す要領で前処理回路１８から出力される。データバスＡに出力された生画像データは、メモリ装置ＭＤ１を構成するメモリ制御回路２０ａに与えられ、メモリ制御回路２０ａによってＳＤＲＡＭ２２ａに書き込まれる。

撮像面には、図２（Ａ）または図２（Ｂ）に示す要領で抽出エリアが割り当てられる。ＣＭＯＳ型撮像装置の撮像面に割り当てられる抽出エリアの大きさは水平１９２０画素×垂直１０８０画素（解像度：約２００万画素）に相当し、ＣＣＤ型撮像装置の撮像面に割り当てられる抽出エリアの大きさは水平６４０画素×垂直４８０画素（解像度：ＶＧＡ）に相当する。後処理回路２４は、このような抽出エリアをメモリ制御回路２０ａに対して定義し、抽出エリアに属する一部の生画像データの読み出しを要求する。メモリ制御回路２０ａは、定義された抽出エリアに属する生画像データを垂直同期信号Ｖｓｙｎｃが発生する毎にＳＤＲＡＭ２２ａから読み出す。

こうして抽出エリアから抽出された生画像データは、データバスＡを経て後処理回路２４に入力され、色分離，白バランス調整，ＹＵＶ変換などの処理を施される。この結果、ＣＭＯＳ型撮像装置が採用されたときは、水平１９２０画素×垂直１０８０画素のＹＵＶ画像データが図４（Ａ）に示す要領で後処理回路２４から出力される。また、ＣＣＤ型撮像装置が採用されたときは、水平６４０画素×垂直４８０画素のＹＵＶ画像データが図４（Ｂ）に示す要領で後処理回路２４から出力される。

後処理回路２４から出力されたＹＵＶ画像データは、データバスＢを介してメモリ装置ＭＤ２を構成するメモリ制御回路２０ｂに与えられ、メモリ制御回路２０ｂによってＳＤＲＡＭ２２ｂに書き込まれる。

ビデオ表示回路２６は、ＳＤＲＡＭ２２ｂに格納されたＹＵＶ画像データを、垂直同期信号Ｖｓｙｎｃが発生する毎にメモリ制御回路２０ｂを通して読み出す。読み出されたＹＵＶ画像データは、データバスＢを介してビデオ表示回路２６に入力される。ビデオ表示回路２６は入力されたＹＵＶ画像データに基づいてＬＣＤモニタ３０を駆動し、これによって被写界を表すリアルタイム動画像つまりスルー画像がモニタ画面に表示される。

後処理回路２４はまた、ＹＵＶ変換によって生成されたＹＵＶ画像データに基づいて光軸に直交する方向における撮像面の微小な動きを手振れとして検出し、検出された手振れを示す動きベクトルを垂直同期信号Ｖｓｙｎｃが発生する毎にＣＰＵ３８に与える。ＣＰＵ３８は、図２（Ａ）または図２（Ｂ）に示す抽出エリアを動きベクトルが相殺される方向に移動させる。後処理回路２４がメモリ制御回路２０ａに対して定義する抽出エリアは移動後の抽出エリアであり、メモリ制御回路２０ａによって読み出される一部の生画像データも移動後の抽出エリアに属する画像データである。この結果、手振れが抑えられたスルー画像がＬＣＤモニタ３０から出力される。

スルー画像処理の途中でキー入力装置４２によって動画記録開始操作が行われると、ＣＰＵ３８は、Ｈ２６４エンコーダ３２およびＩ／Ｆ３４に処理命令を与える。Ｈ２６４エンコーダ３２は、後処理回路２４と同様に、図２（Ａ）または図２（Ｂ）に示す抽出エリアをメモリ制御回路２０ｂに対して定義し、抽出エリアに属する一部のＹＵＶ画像データの読み出しを要求する。メモリ制御回路２０ｂは、定義された抽出エリアに属するＹＵＶ画像データを垂直同期信号Ｖｓｙｎｃが発生する毎にＳＤＲＡＭ２２ｂから読み出す。

読み出されたＹＵＶ画像データは、データバスＢを介してＨ２６４エンコーダ３２に入力され、Ｈ２６４フォーマットに従う圧縮処理を施される。Ｈ２６４圧縮を施された画像データつまりＨ２６４データは、データバスＢを介してメモリ制御回路２０ｂに与えられ、メモリ制御回路２０ｂによってＳＤＲＡＭ２２ｂに書き込まれる。

Ｉ／Ｆ回路３４は、ＳＤＲＡＭ２２ｂに蓄積された複数フレームのＨ２６４データをメモリ制御回路２０ｂを通して読み出し、読み出されたＨ２６４データをデータバスＢから入力し、そして入力されたＨ２６４データをファイル形式で記録媒体３６に記録する。動画記録開始操作に応答して生成された複数フレームのＨ２６４データは、記録媒体３６内の同じ動画ファイルに蓄積されていく。キー入力装置４０上で動画記録終了操作が行われると、動画記録タスクが停止される。動画記録タスクが停止することでＨ２６４エンコーダ３２およびＩ／Ｆ回路３４による上述の動作も停止され、これによって動画ファイルが完成する。

ＣＰＵ３８は、上述の各種動作に対応するキャラクタコードをメモリ制御回路２０ａ（または２０ｂ）を通してＳＤＲＡＭ２０ａ（または２０ｂ）に書き込む。キャラクタ表示回路２８は、ＳＤＲＡＭ２２ａ（または２２ｂ）に格納されたキャラクタコードをメモリ制御回路２０ａ（または２０ｂ）を通して読み出し、読み出されたキャラクタコードをデータバスＡ（またはＢ）から入力し、そして入力されたキャラクタコードに基づいてＬＣＤモニタ３０を駆動する。この結果、上述の各種動作をガイドするキャラクタがＯＳＤ態様でモニタ画面に表示される。

前処理回路１８は、図５に示すように構成される。ＣＯＭＳ型撮像装置が撮像装置１４として採用された場合、撮像装置１４から出力された生画像データは分配器４４に与えられる。分配器４４は、与えられた生画像データを水平方向において４分割し、分割された４ブロックの生画像データを前処理ブロックＦＢ１〜ＦＢ４にそれぞれ入力する。

前処理ブロックＦＢ１に与えられる生画像データは４×Ｎ番目（Ｎ：０，１，２，３，…）の水平画素によって構成され、前処理ブロックＦＢ２に与えられる生画像データは４×Ｎ＋１番目の水平画素によって構成される。また、前処理ブロックＦＢ３に与えられる生画像データは４×Ｎ＋２番目の水平画素によって構成され、前処理ブロックＦＢ４に与えられる生画像データは４×Ｎ＋３番目の水平画素によって構成される。

前処理ブロックＦＢ１はディジタルクランプ回路４６ａ，画素欠陥補正回路４８ａ，ゲイン制御回路５０ａおよびＫｎｅｅ処理回路５２ａによって構成され、前処理ブロックＦＢ２はディジタルクランプ回路４６ｂ，画素欠陥補正回路４８ｂ，ゲイン制御回路５０ｂおよびＫｎｅｅ処理回路５２ｂによって構成される。また、前処理ブロックＦＢ３はディジタルクランプ回路４６ｃ，画素欠陥補正回路４８ｃ，ゲイン制御回路５０ｃおよびＫｎｅｅ処理回路５２ｃによって構成され、前処理ブロックＦＢ４はディジタルクランプ回路４６ｄ，画素欠陥補正回路４８ｄ，ゲイン制御回路５０ｄおよびＫｎｅｅ処理回路５２ｄによって構成される。

したがって、各ブロックの生画像データはいずれも、ディジタルクランプ，画素欠陥補正，ゲイン制御およびＫｎｅｅ処理の一連の処理を共通的かつ並列的に施される。前処理ブロックＦＢ１〜ＦＢ４から並列して出力された生画像データはその後、ＳＲＡＭ６６に書き込まれる。

ＣＣＤ型撮像装置が撮像装置１４として採用された場合、撮像装置１４から出力された生画像データは前処理ブロックＦＢ５に与えられる。前処理ブロックＦＢ５は、ディジタルクランプ回路５４，画素欠陥補正回路５６，スミア補正回路５８，ゲイン制御回路６０およびＫｎｅｅ処理回路６２によって構成され、生画像データは、ディジタルクランプ，画素欠陥補正，スミア補正，ゲイン制御およびＫｎｅｅ処理の一連の処理を直列的に施される。前処理ブロックＦＢ５から直列して出力された生画像データはその後、ＳＲＡＭ６６に書き込まれる。

コントローラ６４は、ＳＲＡＭ６６に格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路２０ａまたは２０ｂに向けて発行し、発行先から承認信号が返送されたときに既定量の生画像データをＳＲＡＭ６６から読み出す。セレクタ６８は、データバスＡおよびＢにそれぞれ接続された２つの出力端子を有し、読み出された生画像データをこの２つの出力端子の一方から出力する。

コントローラ６４はレジスタＲ１を参照して書き込み要求の発行先を特定し、セレクタ６８はレジスタＲ１を参照して生画像データの出力先を特定する。レジスタＲ１には、メモリ装置ＭＤ１を識別する識別情報が登録される。したがって、書き込み要求はメモリ装置ＭＤ１を構成するメモリ制御回路２０ａに向けて発行され、ＳＲＡＭ６６から読み出された生画像データはメモリ装置ＭＤ１に接続されたデータバスＡに向けて出力される。

生画像データを形成する各画素は、ＣＭＯＳ型撮像装置およびＣＣＤ型撮像装置のいずれを採用した場合でも、１２ビットで表現される。ＣＭＯＳ型撮像装置が採用された場合、前処理ブロックＭＤ１〜ＭＤ４の各々から並列的に出力された各画素の生画像データは、時分割態様で１２ビットずつＳＲＡＭ６６に書き込まれ、水平４画素に相当する４８ビットずつＳＲＡＭ６６から読み出される。ＣＣＤ型撮像装置が採用された場合、生画像データは、１２ビット（＝１画素）ずつＳＲＡＭ６６に書き込まれ、１２ビット（＝１画素）ずつＳＲＡＭ６６から読み出される。

なお、データバスＡおよびＢの各々は６４ビットのバス幅を有し、６４ビット＞４８ビット＞１２ビットであることから、データ転送処理が破綻することはない。また、ＳＤＲＡＭ２２ａおよび２２ｂの各々は×３２ビット構成を有するＤＤＲ型のＳＤＲＡＭであり、転送された生画像データは各々の記憶素子に３２ビットずつ格納される。

後処理回路２４は、図６に示すように構成される。コントローラ７２は、ＳＲＡＭ７４に格納されたデータ量が閾値を下回る毎に読み出し要求をメモリ制御回路２０ａまたは２０ｂに向けて発行し、発行先から承認信号が返送されたときにＳＲＡＭ７４へのデータ書き込みを実行する。ＳＲＡＭ７４に書き込むべき生画像データは読み出し要求の発行先から出力された既定量のデータであり、データバスＡまたはＢを転送される。セレクタ７０は、データバスＡおよびＢにそれぞれ接続された２つの入力端子を有し、ＳＲＡＭ７４に接続された１つの出力端子を有する。データバスＡまたはＢを転送された生画像データは、このようなセレクタ７０を介してＳＲＡＭ７４に与えられる。

コントローラ７２はレジスタＲ２を参照して読み出し要求の発行先を特定し、セレクタ７０はレジスタＲ２を参照して生画像データの入力元を特定する。レジスタＲ２には、メモリ装置ＭＤ１を示す識別情報が登録される。したがって、読み出し要求はメモリ装置ＭＤ１を構成するメモリ制御回路２０ａに向けて発行され、生画像データはメモリ制御回路ＭＤ１に接続されたデータバスＡを経てセレクタ７０に入力される。

後処理ブロックＢＢ１を構成する色分離回路７６は、ＳＲＡＭ７４に格納された生画像データに色分離処理を施す。この結果、各画素がＲ，ＧおよびＢの全ての色情報を有するＲＧＢ画像データが生成される。白バランス調整回路７８は色分離回路７６から出力されたＲＧＢ画像データの白バランスを調整し、ＹＵＶ変換回路８０は白バランス調整回路７８から出力されたＲＧＢ画像データをＹＵＶ画像データに変換する。変換されたＹＵＶ画像データは、ＳＲＡＭ８６に書き込まれる。

図５に示すコントローラ６４と同様、コントローラ８４は、ＳＲＡＭ８６に格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路２０ａまたは２０ｂに向けて発行し、発行先から承認信号が返送されたときに既定量のＹＵＶ画像データをＳＲＡＭ８６から読み出す。セレクタ８８は、データバスＡおよびＢにそれぞれ接続された２つの出力端子を有し、ＳＲＡＭ８６から読み出されたＹＵＶ画像データをこの２つの出力端子の一方から出力する。

コントローラ８４はレジスタＲ３を参照して書き込み要求の発行先を特定し、セレクタ８８はレジスタＲ３を参照してＹＵＶ画像データの出力先を特定する。レジスタＲ３には、メモリ装置ＭＤ２を示す識別情報が登録される。したがって、書き込み要求はメモリ装置ＭＤ２を構成するメモリ制御回路２０ｂに向けて発行され、ＳＲＡＭ５４から読み出された生画像データはメモリ装置ＭＤ２に接続されたデータバスＢに向けて出力される。

動き検出回路８２は、ＹＵＶ変換回路８０から連続的に出力された２フレームのＹＵＶ画像データを参照して、光軸に直交する方向における撮像面の微小な動きを手振れとして検出する。このような検出処理は、垂直同期信号Ｖｓｙｎｃが発生する毎に実行される。動き検出回路８２はさらに、検出された手振れを示す動きベクトルを作成し、作成された動きベクトルをＣＰＵ３８に向けて出力する。

ＳＧ１６から出力されるクロック信号のうち図５に示す前処理ブロックＦＢ１〜ＦＢ５ならびに図６に示す後処理ブロックＢＢ１に与えられるクロック信号は、１２５ＭＨｚの周波数を有する。前処理ブロックＦＢ１〜ＦＢ５および後処理ブロックＢＢ１は、１２５ＭＨｚのクロック周波数に同期して上述の処理を実行する。ここで、“１２５ＭＨｚ”という数値は、以下に述べる理由から導き出される。

ＣＭＯＳ型撮像装置から出力される生画像データは、水平３８４０画素×垂直２１６０画素の画素数と６０ｆｐｓのフレームレートとを有する。このような生画像データに対して直列的に前処理を実行するには、１画素に１クロックを割り当てるとして、約５００ＭＨｚ（＝３８４０×２１６０×６０）のクロック周波数が必要となる。しかし、この実施例によれば、ＣＭＯＳ型撮像装置から出力された生画像データは、４ブロックに分割されて並列的に前処理を施される。このため、ＣＭＯＳ型撮像装置から出力された生画像データの前処理に必要なクロック周波数は、１２５ＭＨｚ（＝５００ＭＨｚ／４）まで抑えられる。

一方、ＣＣＤ型撮像装置から出力される生画像データは、水平１２８０画素×垂直９６０画素の画素数と３０ｆｐｓのフレームレートとを有する。このような生画像データに対する直列的な前処理に必要なクロック周波数は、約３７ＭＨｚ（＝１２８０×９６０×３０）である。したがって、ＣＣＤ型撮像装置から出力される生画像データは、上述した１２５ＭＨｚのクロックで十分に処理できる。

また、ＣＭＯＳ型撮像装置が採用されたときに後処理ブロックＢＢ１で生成されるＹＵＶ画像データは、水平１９２０画素×垂直１０８０画素の画素数と６０ｆｐｓのフレームレートとを有する。つまり、後処理ブロックＢＢ１によって注目される画像データの画素数は、前処理ブロックＦＢ１〜ＦＢ４によって注目される画像データの画素数の１／４である（フレームレートは共通）。さらに、後処理ブロックＢＢ１は、直列的に後処理を実行する。したがって、後処理ブロックＢＢ１の処理に必要なクロック周波数は、１２５ＭＨｚとなる。なお、処理に余裕を持たせるために、１２５ＭＨｚを上回るクロック周波数を用意してもよい。

ＣＣＤ型撮像装置が採用されたときに後処理ブロックＢＢ１で生成されるＹＵＶ画像データは、水平６４０画素×垂直４８０画素の画素数と３０ｆｐｓのフレームレートとを有する。このようなＹＵＶ画像データの後処理は、１２５ＭＨｚのクロック周波数で十分である。

ＣＰＵ３８は、図７に示す手振れ補正タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４２に記憶される。

まず、垂直同期信号Ｖｓｙｎｃが発生したか否かをステップＳ１で判別する。ここでＹＥＳと判別されると、ステップＳ３で後処理回路２４から動きベクトルを取り込む。ステップＳ５では、取り込まれた動きベクトルが相殺される方向に抽出エリアを移動させる。ステップＳ５の処理が完了すると、ステップＳ１に戻る。

以上の説明から分かるように、ＣＭＯＳ型撮像装置は、水平３８４０画素×垂直２１６０画素の生画像データを出力する。出力された生画像データは、前処理回路１８による前処理を経てＳＤＲＡＭ２２ａに書き込まれる。メモリ制御回路２０ａは、ＳＤＲＡＭ２２ａに格納された生画像データのうち抽出エリアに属する水平１９２０画素×垂直１０８０画素の生画像データを抽出する。後処理回路２４は、１２５ＭＨｚのクロック周波数に同期した後処理をメモリ制御回路２０ａによって抽出された生画像データに対して実行する。

ここで、１２５ＭＨｚという数値は、水平３８４０画素×垂直２１６０画素の生画像データに直列的に前処理を施す場合に必要なクロック周波数（＝５００ＭＨｚ）を基準周波数として、（水平１９２０画素×垂直１０８０画素）／（水平３８４０画素×垂直２１６０画素）に基準周波数を掛算することで算出される。

つまり、後処理用のクロック周波数である１２５ＭＨｚは、前処理を施される画像データの画素数と後処理を施される画像データの画素数との相違に基づいて決定される。これによって後処理用の周波数を適正値に設定でき、ひいては回路規模の適正化が図られる。

また、前処理回路１８は、撮像装置１４から出力された生画像データをＮブロック（Ｎ：２以上の整数としての“４”）の部分画像データに分割し、分割されたＮブロックの部分画像データに対して前処理を並列的に実行する。一方、後処理回路２４は、メモリ制御回路２０ａから与えられた生画像データに対して後処理を直列的に実行する。

前処理を並列的に実行することで、前処理に必要なクロック周波数は基準周波数（＝５００ＭＨｚ）の１／Ｎとなる。Ｎ＝４であるため、前処理用のクロック周波数は具体的には１２５ＭＨｚである。これによって、前処理用の周波数を低く抑えることができ、さらには前処理回路１８および後処理回路２４に共通の周波数を用いることができる。

また、前処理回路１８が注目する画素数（＝水平３８４０画素×垂直２１６０画素）と後処理回路２４が注目する画素数（＝水平１９２０画素×垂直１０８０画素）と前処理ブロック数（＝４）との間には、“（水平１９２０画素×垂直１０８０画素）／（水平３８４０画素×垂直２１６０画素）＝前処理ブロック数”の関係が成り立つ。この関係成り立つように前処理ブロック数を決定することで、前処理ブロック数つまり並列前処理数の適正化が図られ、画像データ処理の性能が向上する。

さらに、他の局面から前処理回路１８を眺めると、ＣＭＯＳ型撮像装置から周期的に出力される水平３８４０画素×垂直２１６０画素の生画像データは分配器４４によって４ブロックの部分画像データに分割される。分割された４ブロックの部分画像データは、前処理ブロックＦＢ１〜ＦＢ４によって並列的に前処理を施される。一方、ＣＣＤ型撮像装置から周期的に出力される水平１２８０画素×垂直９６０画素の生画像データは、前処理ブロックＦＢ５によって直列的に前処理を施される。

ここで、ＣＣＤ型撮像装置から出力される生画像データの画素数は、ＣＭＯＳ型撮像装置から出力される生画像データの画素数の１／４以下である。“４”という数値はＣＣＤ撮像装置から出力された生画像データに対する並列前処理の数に相当する。この結果、ＣＣＤ撮像装置用の前処理およびＣＭＯＳ型撮像装置用の前処理に共通のクロック周波数（＝１２５ＭＨｚ）を適用することができ、回路構成の簡略化が可能となる。

なお、ＣＣＤ型撮像装置とＣＭＯＳ型撮像装置との間でフレームレートが相違することから、時間軸を考慮した場合、ＣＣＤ型撮像装置から単位時間あたりに出力される画素数は、ＣＭＯＳ型撮像装置から単位時間あたりに出力される画素数の１／８となる。

なお、この実施例では、図５に示すように、ＣＭＯＳ型撮像装置を前処理ブロックＦＢ１〜ＦＢ４に固定的に割り当て、ＣＣＤ型撮像装置を前処理ブロックＦＢ５に固定的に割り当てるようにしている。しかし、ＣＭＯＳ撮像装置およびＣＣＤ型撮像装置は択一的に採用されるため、前処理ブロックＦＢ４はＣＭＯＳ型撮像装置およびＣＣＤ型撮像装置によって兼用するようにしてもよい。この場合、前処理回路１８は、好ましくは図８に示すように構成される。

図８によれば、前処理回路ＦＢ５が省略され、前処理ブロックＦＢ４の前段にセレクタ９０が追加され、さらにスミア補正回路５８およびゲイン制御回路５０ｄの間にセレクタ９２が追加される。セレクタ９０は、分配器４４から出力された４ブロック目の画像データおよびＣＣＤ型撮像装置から出力された生画像データを択一的に前処理ブロックＦＢ４に入力する。セレクタ９２は、画素欠陥補正回路４８ｄの出力およびスミア補正回路５８の出力を択一的にゲイン制御回路５０ｄに入力する。セレクタ９０および９２の選択態様は、ＣＭＯＳ型撮像装置およびＣＣＤ型撮像装置のいずれが撮像装置１４として採用されるかによって変更される。

また、この実施例では、ＣＭＯＳ型撮像装置から出力された生画像データに前処理を施すために生画像データを４ブロックに分割するようにしているが、分割するブロックの数は“４”に限られるものではない。

さらに、この実施例では、ＣＭＯＳ型撮像装置として図２（Ａ）に示す画素数を有する撮像装置を想定しているが、図２（Ａ）に示す画素数は上述したクロック周波数（１２５ＭＨｚまたは５００ＭＨｚ）および並列前処理数（＝４）で対応できる上限値であり、これ以下の画素数を有するＣＭＯＳ型撮像装置を採用してもよいことは言うまでもない。同様に、ＣＣＤ型撮像装置は図２（Ｂ）に示す画素数を有し、かつＣＣＤ型撮像装置から出力される生画像データのフレームレートは３０ｆｐｓであるが、前処理ブロックＦＢ５のクロック周波数は１２５ＭＨｚであるため、ＣＣＤ型撮像装置の画素数およびフレームレートはそれぞれ水平１９２０画素×垂直１０８０画素および６０ｆｐｓまで増大させることができる。

換言すれば、ＣＣＤ型撮像装置の画素数およびフレームレートをこの実施例の通りとするならば、前処理ブロックＦＢ５の周波数を１２５ＭＨｚよりも低い値（上述した約３７ＭＨｚ）に抑えることができる。つまり、前処理ブロックＦＢ５の最適クロック周波数は数１に従って算出することができ、こうして算出されたクロック周波数を有するクロック信号で前処理ブロックＦＢ５を駆動するようにしてもよい。
［数１］

Ｆｃｃｄ＝（ＰＸｃｃｄ×ＦＰＳｃｃｄ）／（ＰＸｃｍｏｓ／Ｎ×ＦＰＳｃｍｏｓ）×Ｆｃｍｏｓ
Ｆｃｃｄ：前処理ブロックＦＢ５のクロック周波数
Ｆｃｏｍｓ：前処理ブロックＦＢ１〜ＦＢ４のクロック周波数
ＰＸｃｃｄ：ＣＣＤ型撮像装置の画素数
ＦＰＳｃｃｄ：ＣＣＤ型撮像装置のフレームレート
ＰＸｃｍｏｓ：ＣＭＯＳ型撮像装置の画素数
ＦＰＳｃｍｏｓ：ＣＭＯＳ型撮像装置のフレームレート

また、この実施例では、ＣＭＯＳ撮像装置およびＣＣＤ撮像装置を択一的に採用するようにしているが、図５に示す前処理回路１８を用いるのであれば、ＣＭＯＳ撮像装置およびＣＣＤ撮像装置の両方を設けたビデオカメラを構成するようにしてもよい。この場合、図５に示すＳＲＡＭ６６からは６０ビットのデータを出力する必要があるが、データバスＡおよびＢは６４ビットのバス幅を有し、６４ビット＞６０ビットであるため、処理が破綻することはない。

なお、この実施例では１画素を１２ビットで表現しているが、１画素を１４ビットで表現するようにしてもよい。この場合、データバスＡおよびＢのバス幅は適宜拡大することができる。

この発明の一実施例の構成を示すブロック図である。 （Ａ）はＣＭＯＳ型撮像装置の撮像面の一例を示す図解図であり、（Ｂ）はＣＣＤ型撮像装置の撮像面の一例を示す図解図である。 （Ａ）はＣＭＯＳ型撮像装置が採用されたときの前処理回路の出力動作の一例を示すタイミング図であり、（Ｂ）はＣＣＤ型撮像装置が採用されたときの前処理回路の出力動作の一例を示すタイミング図である。 （Ａ）はＣＭＯＳ型撮像装置が採用されたときの後処理回路の出力動作の一例を示すタイミング図であり、（Ｂ）はＣＣＤ型撮像装置が採用されたときの後処理回路の出力動作の一例を示すタイミング図である。 前処理回路の構成の一例を示すブロック図である。 後処理回路の構成の一例を示すブロック図である。 ＣＰＵの動作の一部を示すフロー図である。 他の実施例に適用される前処理回路の構成の一例を示すブロック図である。

符号の説明

１０ …ビデオカメラ
１４ …撮像装置
１８ …前処理回路
ＭＤ１，ＭＤ２ …メモリ装置
２４ …後処理回路
２６ …ビデオ表示回路
３２ …Ｈ２６４エンコーダ
３８ …ＣＰＵ

Claims (8)

1. 第１数に相当する画素を有して第１撮像装置から周期的に出力される第１画像データをＮブロックの部分画像データに分割する分割手段、
   前記分割手段によって分割されたＮブロック（Ｎ：２以上の整数）の部分画像データに対して第１処理を並列的に実行する第１処理手段、および
   前記第１数の１／Ｎである第２数に相当する画素を有して第２撮像装置から周期的に出力される第２画像データに対して第２処理を直列的に実行する第２処理手段を備える、データ処理回路。
2. 前記第１処理手段によって処理された第１画像データおよび前記第２処理手段によって処理された第２画像データをメモリに書き込む書き込み手段をさらに備える、請求項１記載のデータ処理回路。
3. 前記第１撮像装置は第１周期で前記第１画像データを出力し、
   前記第２撮像装置は第２周期で前記第２画像データを出力し、
   前記第１処理手段は第１周波数に同期して前記第１処理を実行し、
   前記第２処理手段は第２周波数に同期して前記第２処理を実行し、
   前記第１周波数と前記第２周波数との比率は前記第１数の１／Ｎに前記第１周期を掛算して得られる数値と前記第２数に前記第２周期を掛算して得られる数値との比率に相当する、請求項１または２記載のデータ処理回路。
4. 前記第１撮像装置が前記第１画像データを出力する周期は前記第２撮像装置が前記第２画像データを出力する周期よりも短い、請求項１ないし３のいずれかに記載のデータ処理回路。
5. 前記第１処理手段によって処理された第１画像データおよび前記第２処理手段によって処理された第２画像データの各々に対して第３処理を実行する第３処理手段をさらに備える、請求項１ないし４のいずれかに記載のデータ処理回路。
6. 前記第２数に相当する画素を覆う抽出エリアを前記第１撮像装置の撮像面上に割り当てる割り当て手段、および
   前記第１処理手段によって処理された第１画像データのうち前記割り当て手段によって割り当てられた抽出エリアに属する一部の画像データを前記第３処理のために抽出する抽出手段をさらに備える、請求項１ないし５のいずれかに記載のデータ処理回路。
7. 光軸に直交する方向における前記撮像面の動きを相殺する方向に前記抽出エリアを移動させる移動手段をさらに備える、請求項６記載のデータ処理回路。
8. 請求項１ないし７のいずれかに記載のデータ処理回路を備える、ビデオカメラ。

Images