JP4246018B2 - 電子カメラ装置及びその画像処理方法 - Google Patents

Description

本発明は、撮影直後にその撮影画像を高速に確認表示するのに好適な電子カメラ装置及びその画像処理方法に関する。

従来、撮影した画像を直ちに確認できるように、撮影直後に所定時間、撮影画像をＬＣＤ（ Liquid Crystal Display ）等の表示部へ確認表示することを可能にさせる機能を備えた電子カメラがある。
この機能に係る処理では、一般的に、ＣＣＤ（ Charge Coupled Devices ）等の撮像素子から取り込まれた、画像表示のための処理を施されていないデータ（以下、これを「RAWデータ」という）をバッファメモリに一時記憶する。

そして、一時記憶されたＲＡＷデータから記録用の画像データを生成して記録し、またその一時記憶されたＲＡＷデータから画像データ数を表示サイズ（ＬＣＤ（Liquid Crystal Display）表示サイズやビデオ表示サイズ等）に減じた確認表示用画像データを生成して表示する、等の処理が行われる。また、サムネイル画像やインデックス画像等の画像データの生成に係る処理についても同様にして行われる。

一方で、モニタ表示用の画像データと記録用の画像データを生成する技術の一例として、特許文献１には、リアルタイムモニタ用の画像データと記録用の画像データを生成可能とした撮影装置が提案されている。
この撮影装置では、モニタ表示を行う際は、光電変換手段に２系統の画像データ出力動作を実行させる。そして、撮影画像処理手段には２系統の画像データ入力に応じてモニタ画像データの生成動作を実行させる処理が行われる。また、記録動作を実行させる際には、光電変換手段に１系統の画像データ出力動作を実行させ、撮影画像処理手段には１系統の画像データ入力に応じて記録画像データの生成動作を実行させる処理が行われる。

また、撮像処理の高速化を実現する技術の一例として、特許文献２には、テレビジョンカメラから得られたデジタル映像信号のメモリへの書込みを制御して２次元空間的に任意の領域に分割し、各分割領域毎に映像信号を並列に信号処理する信号処理装置が提案されている。
特開平９−２２４１９４号公報 特開２０００−３１２３１１号公報

ところで、上述した機能を備えた電子カメラでは、バッファメモリに一時記憶されたＲＡＷデータから確認表示用の画像データを生成する処理が行われているため、撮像素子が高画素数化してＲＡＷデータが大容量になると、そのＲＡＷデータをバッファメモリから読み出す際のメモリアクセス時間が非常に長くなる。その結果として、確認表示用の画像データを生成するまでに要する時間が長くなり、撮影画像を高速に表示することができないという問題があった。

そこで、例えば、前述の特許文献１の提案を適用して確認表示の高速化を実現しようとすることも考えられる。しかし、この場合には、光電変換手段（ＣＣＤ等）の仕様が限定されることとなるため、汎用性がなく、高価になる虞がある。
また、前述の特許文献２の提案を適用して確認表示の高速化を実現しようとすることも考えられる。しかし、この場合には分割した領域を合成する処理が必要となり、また更に画素数変換処理も必要となるので処理時間が長くなり、確認表示を高速に行うことはできない。

本発明は、上記実情に鑑み、撮影直後に、その撮影画像を高速に確認表示することができる電子カメラ装置及びその画像処理方法を提供することを目的とする。

上記目的を達成するため、本発明の第１の態様に係る電子カメラ装置は、撮像して得られた画像信号をＡ／Ｄ変換して撮像画像データを得るＡ／Ｄ変換手段と、前記撮像画像データから記録のための画像データを生成するための前処理を行う第１の画像データ処理手段と、前記第１の画像データ処理手段により行われる前処理と並列して処理を可能になされるとともに、前記撮像画像データから前記記録のための画像データよりもデータ数の少ない表示のための画像データを生成するためにフィルタ処理及び画素数変換処理を含む前処理を行う第２の画像データ処理手段と、前記第１の画像データ処理手段により得られた記録のための画像データを生成するための前処理をされた画像データ及び前記第２の画像データ処理手段により得られた表示のための画像データを生成するための前処理をされた画像データを共に一時記憶する記憶手段と、前記記憶手段に記憶された記録のための画像データ及び表示のための画像データを基に、前記撮像画像データに係る記録及び表示を行うための画像処理を行う第３の画像データ処理手段と、を有し、前記フィルタ処理及び前記画素数変換処理は、画素数減少率を１／２ｎ（ｎは正の整数）とする場合に、両処理後の画素位置が前記フィルタ処理に用いるフィルタのタップ中心から１／４ずらした位置になるよう補間処理を行うようになされた、構成である。

上記の構成によれば、Ａ／Ｄ変換手段により得られた撮像画像データから記録のための画像データを生成するための前処理と、その撮像画像データから表示のための画像データを生成するための前処理とを並列して行うことができ、その記録に係る前処理が行われた画像データと表示に係る前処理が行われた画像データとを記憶手段に記憶することができる。これにより、表示用（例えば確認表示用）の画像データを生成する場合には、記憶手段から読み出す画像データとして、表示のための画像データを読み出せば良いことになるので、記憶手段から読み出す画像データのデータ容量が、従来のＲＡＷデータを読み出していたときに比べて格段に少なくなり、結果として表示のための画像データを得るまでに要する処理時間を大幅に短縮することができる。よって、撮影直後に、撮影画像を高速に確認表示することが可能になる。尚、電子カメラ装置とは、電子カメラの機能を備えた装置のことであり、例えば、電子カメラはもちろんのこと、電子カメラの機能を備えた携帯電話機や携帯情報端末装置なども、これに含まれる。

本発明の第２の態様に係る電子カメラ装置は、上記第１の態様において、前記フィルタ処理及び前記画素数変換処理は、画素数減少率を１／（２ｎ＋１）（ｎは正の整数）とする場合に、両処理後の画素位置が前記フィルタ処理に用いるフィルタのタップ中心になるよう補間処理を行うようになされた、構成である。

本発明の第３の態様に係る電子カメラ装置は、上記第１の態様において、前記フィルタ処理及び前記画素数変換処理は、前記撮像画像データの横方向についての、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）処理及び前記画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理と、前記撮像画像データの縦方向についての、ラインバッファを使用したＬＰＦ処理及び前記画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理とを行うようになされた、構成である。

この構成によれば、例えば、インターレーススキャン方式により撮像して得られた撮像画像データの縦方向についての画素数変換処理を行う場合に、使用するラインバッファを１つで構成すれば、部品点数の削減及び部品コストの低減が可能になる。
本発明の第４の態様に係る電子カメラ装置は、上記第１の態様において、前記第２の画像データ処理手段は、前記撮像画像データに対し、当該撮像画像データの入力順である横方向のフィルタ処理を行う横方向フィルタ部と、前記横方向フィルタ部によりフィルタ処理が行われた画像データに対し、横方向の画像データ数を減ずる補間処理を行う横方向画素数変換部と、前記横方向画素数変換部により補間処理が行われた画像データに対し、縦方向のフィルタ処理を行う縦方向フィルタ部と、前記縦方向フィルタ部によりフィルタ処理が行われた画像データに対し、縦方向の画像データ数を減ずる補間処理を行う縦方向画素数変換部と、を有する構成である。

この構成によれば、第２の画像データ処理手段による前処理は、横方向フィルタ部が撮像画像データに対し横方向のフィルタ処理を行い、横方向画素数変換部が横方向フィルタ部により得られた画像データに対し横方向の画像データ数を減ずる補間処理を行い、縦方向フィルタ部が横方向画素数変換部により得られた画像データに対し縦方向のフィルタ処理を行い、縦方向画素数変換部が縦方向フィルタ部により得られた画像データに対し縦方向の画像データ数を減ずる補間処理を行うことによって、行われる。

本発明の第５の態様に係る電子カメラ装置は、上記第１の態様において、前記第２の画像データ処理手段は、前記撮像画像データに対し、当該撮像画像データの入力順である横方向のフィルタ処理を行う横方向フィルタ部と、前記横方向フィルタ部によりフィルタ処理が行われた画像データに対し、横方向の画像データ数を減ずる補間処理を行う横方向画素数変換部と、前記横方向画素数変換部により補間処理が行われた画像データに対し、縦方向のフィルタ処理及び縦方向の画像データ数を減ずる補間処理のための係数を乗じる乗算器と、前記乗算器による乗算結果得られた画像データをライン単位で一時記憶するラインバッファと、前記ラインバッファに記憶された画像データと前記乗算器で乗算された次のラインの画像データをもとに縦方向の画像データ数を減ずる補間処理を行う縦方向画素数変換部と、を有する構成である。

この構成によれば、第２の画像データ処理手段による前処理は、横方向フィルタ部が撮像画像データに対し横方向のフィルタ処理を行い、横方向画素数変換部が横方向フィルタ部により得られた画像データに対し横方向の画像データ数を減ずる補間処理を行い、乗算器が横方向画素数変換部により得られた画像データに対し縦方向のフィルタ処理及び縦方向の画像データ数を減ずる補間処理のための係数を乗じ、ラインバッファが乗算器により得られた画像データをライン単位で一次記憶し、縦方向画素数変換部がラインバッファに記憶された画像データと乗算器で乗算された次のラインの画像データをもとに縦方向の画像データ数を減ずる補間処理を行うことによって、行われる。

本発明の第６の態様に係る電子カメラ装置は、上記第５の態様において、前記ラインバッファは、同一の色フィルタ配列のラインデータ毎に異なるラインバッファを有し、前記縦方向画素数変換部は、同一の色フィルタ配列のラインデータ毎に縦方向の画像データ数を減ずる補間処理を行う、構成である。

この構成によれば、例えばＲ（赤），Ｇ（緑）やＧ，Ｂ（青）のような、同一の色フィルタ配列のラインデータ毎に、ラインバッファが設けられ、縦方向画素数変換部による補間処理は、その同一の色フィルタ配列のラインデータ毎に行われる。
本発明の第７の態様に係る電子カメラ装置は、上記第３の態様において、プログレッシブスキャン方式により撮像して得られた撮像画像データに対して前記第２の画像データ処理手段による前処理を行う場合、前記撮像画像データの縦方向については、少なくとも２つのラインバッファを使用してＬＰＦ処理及び画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を行うようになされた、構成である。

この構成によれば、使用するラインバッファを２つとすれば、部品点数の削減及び部品コストの低減が可能になる。
本発明の第８の態様に係る電子カメラ装置は、上記第１の態様において、前記第３の画像データ処理手段は、記録のための画像処理として画像データ圧縮処理を行うようになされた、構成である。

この構成によれば、第３の画像データ処理手段により、記録のための画像処理として画像データ圧縮処理が行われる。
本発明の第９の態様に係る電子カメラ装置は、上記第１の態様において、前記第１の画像データ処理手段により行われる前処理と並列して処理を可能になされるとともに、前記撮像画像データから前記表示のための画像データよりもデータ数の少ないインデックス画像データを生成する第４の画像データ処理手段、を更に有する構成である。

この構成によれば、Ａ／Ｄ変換手段により得られた撮像画像データから記録のための画像データを生成するための前処理と、その撮像画像データからインデックス画像データを生成する処理とを並列して行うことができ、そのインデックス画像データを前述の記憶手段に記憶させることができる。これにより、インデックス画像データを生成する場合には、記憶手段からそのインデックス画像データを読み出せば良いことになるので、記憶手段から読み出す画像データのデータ容量が、従来のＲＡＷデータを読み出していたときに比べて格段に少なくなり、結果としてインデックス画像データの生成を高速に行うことができる。

本発明の第１０の態様に係る電子カメラ装置は、上記第１の態様において、前記第３の画像データ処理手段は、前記記憶手段に記憶された表示のための画像データを基に、前記表示のための画像データよりもデータ数の少ないインデックス画像データを生成するようになされた、構成である。

この構成によれば、インデックス画像データを生成する場合には、記憶手段から前述の表示のための画像データを読み出しそれを基に行えば良いことになるので、記憶手段から読み出す画像データのデータ容量が、従来のＲＡＷデータを読み出していたときに比べて格段に少なくなり、結果としてインデックス画像データの生成を高速に行うことができる。

本発明の第１１の態様に係る電子カメラ装置は、上記第１の態様において、前記画像信号は、プログレッシブスキャン方式又はインターレーススキャン方式により撮像して得られた、構成である。
この構成によれば、撮像して画像信号を得る際のスキャン方式として、プログレッシブスキャン方式、又はインターレーススキャン方式の何れにも対応可能になる。
本発明の第１２の態様に係る電子カメラ装置は、上記第５の態様において、前記乗算器が前記係数を前記横方向画素数変換部により補間処理が行われた画像データに乗じることによって、前記縦方向の画像データ数を減ずる補間処理後の画素位置を算出するようになされた、構成である。

また、本発明は、上記の電子カメラ装置に限らず、電子カメラ装置の画像処理方法として構成することも可能である。

本発明によれば、撮影直後に、その撮影画像を高速に確認表示することが可能になる。

以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、本発明の一実施の形態に係る電子カメラ装置の一例である電子カメラの構成例である。尚、電子カメラ装置とは、電子カメラの機能を備えた装置のことであり、例えば、電子カメラはもちろんのこと、電子カメラの機能を備えた携帯電話機や携帯情報端末装置なども、これに含まれる。本実施形態では、電子カメラ装置の一例として、図１に示した電子カメラを適用するが、前述の電子カメラの機能を備えた携帯電話器や携帯情報端末装置などを適用することも可能である。

図１において、この電子カメラは、撮影直後に所定時間、その撮影により得られた画像を確認表示することを可能にさせる機能（以下、これをレックビュー表示機能という）を備えている。
撮影レンズ系１は、フォーカスレンズや絞り等を備え、被写体像を撮像素子２へ結像させる。

撮像素子２は、例えばＣＣＤ（Charge Coupled Device ）であり、撮影レンズ系１の作用により撮像素子２上に結像されている被写体像を光電変換して、画像を表現している電気信号（画像信号）を出力する。尚、撮像素子２のスキャン方式は、例えばプログレッシブスキャン方式、或いはインターレーススキャン方式等である。

撮像回路３は、ノイズ成分を低減させるＣＤＳ（Correlated Double Sampling）、及び信号レベルを安定化させるＡＧＣ（Automatic Gain Control）等を備えて構成され、システムコントローラ１０（以下、シスコン１０）の制御の基、撮像素子２から出力されたアナログ電気信号のノイズ成分を低減させると共に、その信号レベルを安定化させて出力する。

Ａ／Ｄ部４は、撮像回路３から出力されたアナログ電気信号をデジタル電気信号に変換して出力する。尚、本明細書中では、このＡ／Ｄ部４から出力されたデジタル電気信号のことを撮像画像データと称す。
画像処理部５は、前処理部Ａ５ａと、前処理部Ｂ５ｂと、処理部５ｃ等を備え、各種の画像処理を行う。

前処理部Ａ５ａは、Ａ／Ｄ部４から出力された撮像画像データから記録のための画像データを生成するための前処理を行う。例えば、その前処理として、ホワイトバランス補正，ＬＰＦ色分離，色マトリクス補正，色γ補正，ＹＣ変換，画像の拡大・縮小（リサイズ）、等といった各種の画像処理を行う。この記録のための画像データは、主画像データとして、バッファメモリ９に記録される。

前処理部Ｂ５ｂは、前処理部Ａ５ａにより行われる前処理と並列して処理を可能になされるとともに、Ａ／Ｄ部４から出力された撮像画像データから、フィルタ処理及び画素数変換後の画素位置関係を考慮した画素数変換処理を含む前処理を行う。この前処理により、画像の確認表示に適する、記録のための画像データよりもデータ数の少ない表示のための画像データを得る。この表示のための画像データは、表示装置や表示ＬＣＤ１６の解像度に適した画素数、即ち、高画素数の画像データである主画像データよりも画像データ数の小さい副画像データとして用いられる。

処理部５ｃは、バッファメモリ９に一時記憶された記録のための画像データを基に撮像画像データに係る記録を行うための画像処理や、バッファメモリ９に一時記憶された表示のための画像データを基に撮像画像データに係る表示を行うための画像処理や、その他各種の画像処理を行う。例えば、画像データの記録・再生のためのＪＰＥＧ（Joint Photographic Experts Group）方式等による画像データの圧縮・伸張処理等を行う。また、前述の表示のための画像データよりもデータ数が少ないインデックス画像データ（サムネイル画像データも含む）の生成処理等も行う。

また、画像処理部５、Ｉ／Ｆ６、外部Ｉ／Ｆ７、画像表示出力部８、バッファメモリ９、シスコン１０は何れもバス１１に接続されている。
Ｉ／Ｆ（インターフェイス）６は、この電子カメラとカードスロット１２に装着された着脱メモリ１３との間でのデータの授受を可能にするためのインターフェイス機能を提供するものである。

着脱メモリ１３は、この電子カメラに着脱可能な記録媒体であって、この電子カメラで撮影された画像を表現している画像データ等が記録される保存用の記録媒体である。例えば、この着脱メモリ１３は、スマートメディア（登録商標）やコンパクトフラッシュ（登録商標）等のメモリカードである。

外部Ｉ／Ｆ７は、この電子カメラと外部入出力端子１４に接続されている外部装置との間でのデータの授受を可能にするためのインターフェイス機能を提供するものである。
画像表示出力部８は、処理部５ｃにより画像処理が行われた表示のための画像データを基に、ビデオアウト端子１５に接続されている表示装置や表示ＬＣＤ１６が表示可能な映像信号を生成して出力する、等といった処理を行う。これにより、例えば、ビデオアウト端子１５に接続されている表示装置や表示ＬＣＤ１６には、その映像信号に基づく画像等が表示される。

バッファメモリ９は、例えばＤＲＡＭ（ Dynamic Random Access Memory ）であり、画像処理部５による各種画像処理における処理中の画像データ等の一時保存用として、或いはシスコン１０による制御処理の実行のためのワークエリア等として使用されるメモリである。例えば、前処理部Ａ５ａにより得られた記録のための画像データや、前処理部Ｂ５ｂにより得られた表示のための画像データ等が一時的に記憶される。

シスコン１０は、ＣＰＵ（中央演算処理部）を含んで構成され、不図示の内部メモリに格納されているカメラプログラムを実行することで、この電子カメラ全体の動作を制御する。
レンズ系駆動部１７は、シスコン１０の制御の基、撮影レンズ系１（フォーカスレンズ位置や絞り等）を制御する。

ストロボ発光部１８は、シスコン１０の制御の基、ストロボを発光する。
操作部１９は、撮影者からの各種指示を受け付け、それをシスコン１０へ通知するための各種ボタンやスイッチ等であり、例えば、撮影指示を可能にさせるレリースボタンや、前述のレックビュー表示機能の使用を指示可能にさせるレックビューボタン等である。

電源部２０は、この電子カメラの各部へ電力を供給する。
以上が、この電子カメラの構成である。
次に、この電子カメラの動作について説明する。
ここでは、その動作の一例として、レックビュー表示機能の使用が指示されて撮影指示が為されたときに行われる電子カメラの動作について説明する。尚、この動作は、シスコン１０が内部メモリに格納されているカメラプログラムを読み込んで実行することによって実現される。

この動作において、撮影者によりレックビューボタンが押下されてレックビュー表示機能の使用が指示される。その後、にレリースボタンが押下されて撮影指示が為されると、まず、撮影レンズ系１の作用により結像されている被写体像が撮像素子２により光電変換されてアナログ電気信号が出力される。

このアナログ電気信号は、撮像回路３によりノイズ成分が低減されると共に信号レベルが安定化されて、Ａ／Ｄ部４によりデジタル電気信号である撮像画像データに変換される。
この撮像画像データは、前処理部Ａ５ａと前処理部Ｂ５ｂとにそれぞれ入力され、前処理部Ａ５ａによる記録のための画像データを得る処理と、前処理部Ｂ５ｂによる表示のための画像データを得る処理が並列して行われる。

すなわち、前処理部Ａ５ａにより、入力された撮像画像データに対し、ホワイトバランス補正，ＬＰＦ色分離，色マトリクス補正，色γ補正，ＹＣ変換，画像の拡大・縮小（リサイズ）、等といった各種の画像処理が行われ、記録のための画像データが得られる。得られた記録のための画像データは、バッファメモリ９へ一時記憶される。

また、前処理部Ｂ５ｂにより、前述の前処理部Ａ５ａによる処理と並列して、入力された撮像画像データに対し、フィルタ処理及び画素数変換後の画素位置関係を考慮した画素数変換処理を含む前処理が行われ、表示ＬＣＤ１６（若しくはビデオアウト端子１５に接続されている表示装置）への画像のプレビュー表示に適する、前述の記録のための画像データよりもデータ数の少ない表示のための画像データが得られる。得られた表示のための画像データは、バッファメモリ９へ一時記憶される。

バッファメモリ９に一時記憶された表示のための画像データは、処理部５ｃにより読み出され、該処理部５ｃにより、撮像画像データに係る表示を行うための画像処理が行われると共に、その表示のための画像データから該表示のための画像データよりもデータ数の少ないインデックス画像データを生成する処理等が行われる。尚、撮像画像データに係る表示を行うための画像処理では、例えば、ホワイトバランス補正，ＬＰＦ色分離，色マトリクス補正，色γ補正，ＹＣ変換，画像の縮小、等といった画像処理が行われる。また、生成されたインデックス画像データは、画像データ圧縮処理等が行われる。

そして、画像表示出力部８により、その撮像画像データに係る表示を行うための画像処理が行われた画像データを基に表示ＬＣＤ１６（若しくはビデオアウト端子１５に接続されている表示装置）が表示可能な映像信号が生成されて表示ＬＣＤ１６（若しくはビデオアウト端子１５に接続されている表示装置）へ出力され、その映像信号に基づく画像が表示ＬＣＤ１６（若しくはビデオアウト端子１５に接続されている表示装置）に表示される。尚、このときに表示される画像は、レックビュー表示機能に係る、予め設定されている所定時間の間、継続して表示される。

一方、バッファメモリ９に一時記憶された記録のための画像データは、処理部５ｃにより読み出され、該処理部５ｃにより撮像画像データに係る記録を行うための画像処理として画像データ圧縮処理等が行われて、Ｉ／Ｆ６及びカードスロット１２を介して、着脱メモリ１３に記録される。このとき、前述の画像データ圧縮処理等が行われたインデックス画像データも一緒に記録される。

以上のような動作により、レックビュー表示機能の使用が指示されて撮影指示が為されたときには、前処理部Ａ５ａによりバッファメモリ９に記憶する前の撮像画像データから記録のための画像データを生成するための前処理が行われ、その前処理と並列して前処理部Ｂ５ｂによりバッファメモリ９に記憶する前の撮像画像データから表示のための画像データを生成するための前処理が行われる。これにより、撮像画像データをバッファメモリ９から読み出す処理を行うことなく、確認表示用（レックビュー表示用）の画像データを得ることができる。よって、確認表示用の画像データを得るまでに要する処理時間を大幅に短縮することができる。また、撮影直後に、その撮影画像を高速に確認表示することが可能になる。

続いて、前述の前処理部Ｂ５ｂの構成、及びその前処理部Ｂ５ｂにより行われる処理の処理内容ついて更に詳細に説明する。
尚、本説明では、撮像素子２のスキャン方式が、プログレッシブスキャン方式である場合とインターレーススキャン方式である場合とに分けて説明する。また、何れの場合においても、撮像素子２は、原色フィルタを用いた単板式のカラーＣＣＤで構成され、その原色フィルタは、２×２の４画素に対し、Ｇ（緑）を２画素、Ｒ（赤）とＢ（青）を１画素づつ割り当てたベイヤー方式によるものであるとする。

まず、撮像素子２のスキャン方式がプログレッシブスキャン方式である場合の、前処理部Ｂ５ｂの構成、及び前処理部Ｂ５ｂにより行われる処理の処理内容について説明する。
図２は、その前処理部Ｂ５ｂの構成例である。
同図において、横方向ＬＰＦ処理部２１と横方向画素数変換処理部２２は、撮像画像データの横方向についてのＬＰＦ処理及び画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を行う構成である。ここで、撮像画像データの横方向とは、横方向ＬＰＦ処理部２１に入力される撮像画像データの入力順である方向、即ちライン方向を意味する。

尚、この撮像画像データの横方向についてのＬＰＦ処理及び画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を、以下単に、撮像画像データの横方向についての処理と言う。
横方向ＬＰＦ処理部２１は、Ａ／Ｄ部４から順次入力されるラインデータ（撮像画像データ）に対しＬＰＦ処理を行う。本例では、撮像素子２のスキャン方式がプログレッシブスキャン方式であるので、Ｒ，Ｇからなるラインデータ（以下、単にＲラインデータと言う）と、Ｇ，Ｂからなるラインデータ（以下、単にＢラインデータと言う）が交互に入力される。

横方向画素数変換処理部２２は、横方向ＬＰＦ処理部２１の出力ラインデータに対し、画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を行う。尚、この横方向画素数変換処理部２２は、その画素数変換処理において、画素数減少率を１／整数として処理を行う。このようにすることで、後段となるラインバッファ２９，３０のメモリ容量に応じたラインデータに自由に画素数変換させて出力することができる。また、補間処理では、画素数減少率に応じて補間を行う画素位置の影響が適正になるよう画素等の組み合わせが選択されて補間が行われる。

また、４つのセレクタ２３，２７，２８，３１と、２つの乗算器２４，２５と、加算器２６と、２つのラインバッファ２９，３０は、撮像画像データの縦方向についてのＬＰＦ処理及び画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を行う構成である。ここで、撮像画像データの縦方向とは、前述の横方向に対する縦方向を意味する。

尚、この撮像画像データの縦方向についてのＬＰＦ処理及び画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を、以下単に、撮像画像データの縦方向についての処理と言う。
この撮像画像データの縦方向についての処理を行う構成を用いた画素数変換処理においては、その画素数減少率を１／整数とすることで、使用するラインバッファの数を２つに抑え、部品点数の削減及び部品コストの低減を可能にしている。

セレクタ２３，２７，２８，３１は、複数の入力データの中から一つの入力データを選択して出力する。尚、セレクタ２３に入力されるＫ１，Ｋ２，Ｋ３，・・・，ＫＮの各々は、横方向画素数変換処理部２２の出力ラインデータに乗算される、撮像画像データの縦方向についての処理に係るフィルタ係数及び補間係数を含む係数である。このようにすることで、使用する係数の総数を少なくしている。また、各係数の値及び係数の総数Ｎは、その縦方向の画素数減少率等により異なる。これらの各係数は、例えば、シスコン１０の内部メモリに記録されていても良いし、或いは、前述の画素数減少率に応じて、シスコン１０による計算によって求められるものであっても良い。

乗算器２４，２５は、２つの入力データを積算して出力する。
加算器２６は、２つの入力データを加算して出力する。
ラインバッファ２９，３０は、撮像画像データの縦方向についての処理の処理中のラインデータが一時的に格納される。尚、本例では、Ｒラインデータがラインバッファ２９に格納され、Ｂラインデータがラインバッファ３０に格納される。

次に、上述した構成の前処理部Ｂ５ｂにより行われる処理の処理内容について説明する。
始めに、撮像画像データの横方向についての処理を、図３(a),(b),(c),(d) を用いて説明する。

前述したように、撮像画像データである、ＲラインデータとＢラインデータは、交互に横方向ＬＰＦ処理部２１へ入力される。入力されたラインデータは、横方向ＬＰＦ処理部２１により、例えば図３(a) に示した３タップのフィルタサイズのフィルタ係数が用いられてＬＰＦ処理が行われ、横方向画素数変換処理部２２へ出力される。

このときに行われるＬＰＦ処理の一例を、同図(b) を用いて説明する。
同図(b) 上段は、横方向ＬＰＦ処理部２１へ入力される入力ラインデータを示し、同図(b) 下段は、横方向ＬＰＦ処理部２１から出力される出力ラインデータを示している。尚、同図(b) に示した入力ラインデータ及び出力ラインデータは、説明の便宜のため、何れも同色の画素（例えばＲ）についてのみを示しているが、他の色（例えばＢ又はＧ）の画素についても同様にして行われる（同図(c),(d) において同じ）。

同図(b) に示したように、出力ラインデータの画素３６の値ａは、入力ラインデータの画素３２，３３，３４の値Ａ，Ｂ，Ｃと前述のフィルタ係数を用いて、Ａ×１／４＋Ｂ×１／２＋Ｃ×１／４により、求められる。また、出力ラインデータの画素３７の値ｂは、入力ラインデータの画素３３，３４，３５の値Ｂ，Ｃ，Ｄと前述のフィルタ係数を用いて、Ｂ×１／４＋Ｃ×１／２＋Ｄ×１／４により、求められる。以下、同様にして各画素の値が求められ、出力ラインデータが得られる。なお、上記のフィルタの段数はこれに限るものではなく、多段の構成としても勿論構わない。

このようにして得られた出力ラインデータは、横方向画素数変換処理部２２へ入力され、画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理が行われて後段へ出力される。
このときの横方向画素数変換処理部２２により行われる処理の一例を、同図(c),(d) を用いて説明する。ここでは、自由な画素数減少率により処理を行う例として画素数減少率を２／３とした場合について同図(c) をもとに、また、前記のように画素数減少率が１／整数の例として画素数減少率を１／２とした場合について同図(d) をもとに説明する。

同図(c) 上段は、横方向画素数変換処理部２２へ入力される入力ラインデータ（横方向ＬＰＦ処理部２１の出力ラインデータ）を示し、同図(c) 下段は、横方向画素数変換処理部２２から出力される出力ラインデータを示している。
同図(c) に示したように、横方向画素数変換処理部２２により行われる処理では、画素数変換後の画素位置関係を考慮して、２点補間により画素数減少率が２／３（１／１．５）の画素数変換処理が行われる。尚、この２点補間では、その横方向の画素数減少率（減少画像サイズ）に応じて補間を行う画素位置の影響が適正になるよう画素等の組み合わせが選択されて補間が行われる。すなわち、出力ラインデータの画素４１の値は、入力ラインデータの画素３８，３９の値ａ，ｂを用いて、ａ×１＋ｂ×０により求められ、また、出力ラインデータの画素４２の値は、入力ラインデータの画素３９，４０の値ｂ，ｃを用いて、ｂ×１／２＋ｃ×１／２により、求められる。以下、同様にして各画素の値が求められ、出力ラインデータが得られる。

同様に、同図(d) に示すように、横方向画素数変換処理部２２により行われる処理では、画素数変換後の画素位置関係を考慮して、２点補間により画素数減少率が１／２の画素数変換処理が行なわれる。すなわち、出力ラインデータの画素４１´の値は、入力ラインデータの画素３８、３９の値ａ、ｂを用いて、ａ×３／４＋ｂ×１／４により求められ、また出力ラインデータの画素４２´の値は、入力ラインデータの画素４０、４３の値ｃ、ｄを用いて、ｃ×３／４＋ｄ×１／４より求められる。以下、同様にして各画素の値が求められ、出力ラインデータが得られる。

以上の、撮像画像データの横方向についての処理により、横方向画素数変換処理部２２からは、その処理が行われたＲラインデータとＢラインデータが交互に出力される。
続いて、撮像画像データの縦方向についての処理を、図４(a),(b) 及び図５(a),(b) を用いて説明する。

図４(a),(b) 及び図５(a),(b) は、画素数減少率がそれぞれ１／２、１／３、１／４、１／５の場合の、撮像画像データの縦方向についての処理例を示した図である。
尚、図４(a),(b) 及び図５(a),(b) において、Ｒ１，Ｒ２，・・・，ＲＮは、横方向画素数変換処理部２２から出力されたＲラインデータの中のＮライン目のＲラインデータであることを示し、Ｂ１，Ｂ２，・・・，ＢＮは、横方向画素数変換処理部２２から出力されたＢラインデータの中のＮライン目のＢラインデータであることを示している（図７(a),(b) 及び図８(a),(b) において同じ）。

まず、図４(a) を用いて画素数減少率が１／２の場合の、撮像画像データの縦方向についての処理について説明する。
同図(a) に示した例は、縦方向の画素数減少率（減少画像サイズ）が１／２であることに応じて、ＬＰＦ処理に係るフィルタサイズが３タップとされ、また補間を行う画素位置の影響が適正になるよう画素等の組み合わせが選択されて２点補間処理を含む画素数変換処理が行われた例である。

すなわち、同図(a) に示したように、Ｒ１，Ｒ２，Ｒ３のＲラインデータから１つのＲラインデータを、Ｒ３，Ｒ４，Ｒ５のＲラインデータから１つのＲラインデータを、といった具合に、入力ラインデータとなる３つのＲラインデータから出力ラインデータとなる１つのＲラインデータが得られるように処理が行われ、また、Ｂ１，Ｂ２，Ｂ３のＢラインデータから１つのＢラインデータを、Ｂ３，Ｂ４，Ｂ５のＢラインデータから１つのＢラインデータを、といった具合に、入力ラインデータとなる３つのＢラインデータから出力ラインデータとなる１つのＢラインデータが得られるように処理が行われる。

但し、画素数減少率が１／２や１／４等というように、画素数減少率が１／偶数の場合には、画素数変換後の画素位置関係を考慮して、出力ラインデータであるＲラインデータが得られる処理では、そのＲラインデータがタップの中心から１／４上にずれるような係数Ｋｒ（Ｋｒ１，Ｋｒ２，・・・）が求められ、該係数Ｋｒが用いられて処理が行われる。また、出力ラインデータであるＢラインデータが得られる処理では、そのＢラインデータがタップの中心から１／４下にずれるような係数Ｋｂ（Ｋｂ１，Ｋｂ２，・・・）が求められ、該係数Ｋｂが用いられて処理が行われる（撮像素子２がインターレーススキャン方式の場合も同じ）。これらの係数Ｋｒ，Ｋｂは、前述のとおり、例えば、シスコン１０によって求められる。或いは、これらの係数Ｋｒ，Ｋｂを、予め、シスコン１０の内部メモリに記憶させておき、必要に応じて読み出して用いるようにしても良い。

本例のように画素数減少率が１／２の場合には、係数Ｋｒとして、Ｋｒ１，Ｋｒ２，Ｋｒ３が求められ、また、係数Ｋｂとして、Ｋｂ１，Ｋｂ２，Ｋｂ３が求められて処理が行われる。
実際には、出力ラインデータとなるＲラインデータが得られる処理において、入力ラインデータとなる３つのＲラインデータの中の各ラインデータに、対応する係数Ｋｒ１，Ｋｒ２，Ｋｒ３をそれぞれ掛けて、それらの和を求めることにより、タップの中心から１／４上にずらすことが可能になる。すなわち、入力ラインデータとなる３つのＲラインデータの中の、第１ラインのＲラインデータ×Ｋｒ１＋第２ラインのＲラインデータ×Ｋｒ２＋第３ラインのＲラインデータ×Ｋｒ３により、それが可能になる。

また、同様にして、出力ラインデータとなるＢラインデータが得られる処理において、入力ラインデータとなる３つのＢラインデータの各ラインデータに、対応する係数Ｋｂ１，Ｋｂ２，Ｋｂ３をそれぞれ掛けて、それらの和を求めることにより、タップの中心から１／４下にずらすことが可能になる。すなわち、入力ラインデータとなる３つのＢラインデータの中の、第１ラインのＢラインデータ×Ｋｂ１＋第２ラインのＢラインデータ×Ｋｂ２＋第３ラインのＢラインデータ×Ｋｂ３により、それが可能になる。

例えば、入力ラインデータである、Ｒ１，Ｒ２，Ｒ３のＲラインデータの同列のＲ画素４６，４７，４８の値から、出力ラインデータであるＲラインデータのＲ画素４９の値を得る場合には、画素４６の値と画素４７の値、画素４７の値と画素４８の値の重みをそれぞれ１／２とし、それぞれの２点補間により得られた２つの値に対し、Ｒ１，Ｒ２側を３／４、Ｒ２，Ｒ３側を１／４の重みとして２点補間を行うことで、タップの中心から１／４上にずらすことが可能になる。

すなわち、Ｒ１のＲラインデータには１／２×３／４＝３／８、Ｒ２のＲラインデータには１／２×３／４＋１／２×１／４＝１／２、Ｒ３のＲラインデータには１／２×１／４＝１／８の重みを掛けてそれぞれの和を求めることにより、タップの中心から１／４上にずらすことが可能になる。

また、入力ラインデータである、Ｂ１，Ｂ２，Ｂ３のＢラインデータの同列のＢ画素５０，５１，５２の値から、出力ラインデータであるＢラインデータのＢ画素５３の値を得る場合には、画素５０の値と画素５１の値、画素５１の値と画素５２の値の重みをそれぞれ１／２とし、それぞれの２点補間により得られた２つの値に対し、Ｂ１，Ｂ２側を１／４、Ｂ２，Ｂ３側を３／４の重みとして２点補間を行うことで、タップの中心から１／４下にずらすことが可能になる。

すなわち、Ｂ１のＢラインデータには１／２×１／４＝１／８、Ｂ２のＢラインデータには１／２×１／４＋１／２×３／４＝１／２、Ｂ３のＢラインデータには１／２×３／４＝３／８の重みを掛けてそれぞれの和を求めることにより、タップの中心から１／４下にずらすことが可能になる。

従って、Ｋｒ１＝３／８，Ｋｒ２＝４／８，Ｋｒ３＝１／８になり、また、Ｋｂ１＝１／８，Ｋｂ２＝４／８，Ｋｂ３＝３／８になる。
続いて、このような処理の流れを、図２に示した構成を用いて説明する。但し、本例では、セレクタ２３に入力される係数Ｋとして、係数Ｋ１乃至Ｋ３を前述の係数Ｋｒ１乃至Ｋｒ３とし、係数Ｋ４乃至Ｋ６を前述の係数Ｋｂ１乃至Ｋｂ３とする。

前述したように、横方向画素数変換処理部２２からは、撮像画像データの横方向についての処理が行われたＲラインデータとＢラインデータが交互に出力される。
まず、Ｒ１のラインデータは、乗算器２５によりセレクタ２３から出力されたＫ１が乗算され、セレクタ２７を介してラインバッファ２９へ格納される。

続くＢ１のラインデータは、乗算器２５によりセレクタ２３から出力されたＫ４が乗算され、セレクタ２８を介してラインバッファ３０へ格納される。
続くＲ２のラインデータは、乗算器２４によりセレクタ２３から出力されたＫ２が乗算され、加算器２６によりセレクタ３１を介してラインバッファ２９に格納されていたラインデータが加算され、セレクタ２７を介してラインバッファ２９に格納される。

続くＢ２のラインデータは、乗算器２４によりセレクタ２３から出力されたＫ５が乗算され、加算器２６によりセレクタ３１を介してラインバッファ３０に格納されていたラインデータが加算され、セレクタ２８を介してラインバッファ３０に格納される。
続くＲ３のラインデータは、乗算器２４によりセレクタ２３から出力されたＫ３が乗算され、加算器２６によりセレクタ３１を介してラインバッファ２９に格納されていたラインデータが加算されてバッファメモリ９へ格納される。これにより、Ｒ１，Ｒ２，Ｒ３のＲラインデータから得られた１つのＲラインデータがバッファメモリ９に格納される。一方で、Ｒ３のラインデータは、乗算器２５によりセレクタ２３から出力されたＫ１が乗算され、セレクタ２７を介してラインバッファ２９へ格納され、以降、同様にしてＲラインデータについての処理が行われる。

続くＢ３のラインデータは、乗算器２４によりセレクタ２３から出力されたＫ６が乗算され、加算器２６によりセレクタ３１を介してラインバッファ３０に格納されていたラインデータが加算されてバッファメモリ９へ格納される。これにより、Ｂ１，Ｂ２，Ｂ３のＢラインデータから得られた１つのＢラインデータがバッファメモリ９に格納される。一方で、Ｂ３のラインデータは、乗算器２５によりセレクタ２３から出力されたＫ４が乗算され、セレクタ２８を介してラインバッファ３０へ格納され、以降、同様にしてＢラインデータについての処理が行われる。

以上が、画素数減少率が１／２の場合の撮像画像データの縦方向についての処理である。
続いて、図４(b) を用いて画素数減少率が１／３の場合の、撮像画像データの縦方向についての処理について説明する。

同図(b) に示した例は、縦方向の画素数減少率（減少画像サイズ）が１／３であることに応じて、ＬＰＦ処理に係るフィルタサイズが４タップとされ、また補間を行う画素位置の影響が適正になるよう画素等の組み合わせが選択されて２点補間処理を含む画素数変換処理が行われた例である。

すなわち、同図(b) に示したように、Ｒ１乃至Ｒ４のＲラインデータから１つのＲラインデータを、Ｒ４乃至Ｒ７のＲラインデータから１つのＲラインデータを、といった具合に、入力ラインデータとなる４つのＲラインデータから出力ラインデータとなる１つのＲラインデータが得られるように処理が行われ、また、Ｂ２乃至Ｂ５のＢラインデータから１つのＢラインデータを、Ｂ５乃至Ｂ８のＢラインデータから１つのＢラインデータを、といった具合に、入力ラインデータとなる４つのＢラインデータから出力ラインデータとなる１つのＢラインデータが得られるように処理が行われる。

但し、画素数減少率が１／３や１／５等というように、画素数減少率が１／奇数の場合には、画素数変換後の画素位置関係を考慮して、出力ラインデータとなるＲラインデータが得られる処理では、そのＲラインデータがタップの中心になるような係数Ｋｒ（Ｋｒ１，Ｋｒ２，・・・）が求められ、該係数Ｋｒが用いられて処理が行われる。また、出力ラインデータとなるＢラインデータが得られる処理では、そのＢラインデータがタップの中心になるような係数Ｋｂ（Ｋｂ１，Ｋｂ２，・・・）が求められ、該係数Ｋｂが用いられて処理が行われる（撮像素子２がインターレーススキャン方式の場合も同じ）。

本例のように画素数減少率が１／３の場合には、係数Ｋｒとして、Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４が求められ、また、係数Ｋｂとして、Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４が求められて処理が行われる。
実際には、出力ラインデータとなるＲラインデータが得られる処理において、入力ラインデータとなる４つのＲラインデータの中の各ラインデータに、対応する係数Ｋｒ１，Ｋｒ２，Ｋｒ，Ｋｒ４をそれぞれ掛けて、それらの和を求めることにより、タップの中心にすることが可能になる。すなわち、入力ラインデータとなる４つのＲラインデータの中の、第１ラインのＲラインデータ×Ｋｒ１＋第２ラインのＲラインデータ×Ｋｒ２＋第３ラインのＲラインデータ×Ｋｒ３＋第４ラインのＲラインデータ×Ｋｒ４により、それが可能になる。

また、同様にして、出力ラインデータとなるＢラインデータが得られる処理において、入力ラインデータとなる４つのＢラインデータの各ラインデータに、対応する係数Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４をそれぞれ掛けて、それらの和を求めることにより、タップの中心にすることが可能になる。すなわち、入力ラインデータとなる４つのＢラインデータの中の、第１ラインのＢラインデータ×Ｋｂ１＋第２ラインのＢラインデータ×Ｋｂ２＋第３ラインのＢラインデータ×Ｋｂ３＋第４ラインのＢラインデータ×Ｋｂ４により、それが可能になる。

尚、本例の場合、Ｋｒ１＝１／８，Ｋｒ２＝３／８，Ｋｒ３＝３／８，Ｋｒ４＝１／８になり、また、Ｋｂ１＝１／８，Ｋｂ２＝３／８，Ｋｂ３＝３／８，Ｋｂ４＝１／８になる。
続いて、このような処理の流れを、図２に示した構成を用いて説明する。但し、本例では、セレクタ２３に入力される係数Ｋとして、係数Ｋ１乃至Ｋ４を前述の係数Ｋｒ１乃至Ｋｒ４（前述の係数Ｋｂ１乃至Ｋｂ４でもある）とする。

入力ラインデータとなる４つのＲラインデータから出力ラインデータである１つのＲラインデータが得られる処理では、セレクタ２３，２７，３１、乗算器２４，２５、加算器２６、ラインバッファ２９、及び係数Ｋ１乃至Ｋ４が用いられて、前述の図４(a) の画素数減少率が１／２の場合の例にて説明したＲラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＲラインデータが得られる。

また、入力ラインデータとなる４つのＢラインデータから出力ラインデータとなる１つの出力ラインデータが得られる処理では、セレクタ２３，２８，３１、乗算器２４，２５、加算器２６、ラインバッファ３０、及び係数Ｋ５乃至Ｋ８が用いられて、前述の図４(a) の画素数減少率が１／２の場合の例にて説明したＢラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＢラインデータが得られる。

以上が、画素数減少率が１／３の場合の撮像画像データの縦方向についての処理である。
続いて、図５(a) を用いて画素数減少率が１／４の場合の、撮像画像データの縦方向についての処理について説明する。

同図(a) に示した例は、縦方向の画素数減少率（減少画像サイズ）が１／４であることに応じて、ＬＰＦ処理に係るフィルタサイズが５タップとされ、また補間を行う画素位置の影響が適正になるよう画素等の組み合わせが選択されて２点補間処理を含む画素数変換処理が行われた例である。

すなわち、同図(a) に示したように、Ｒ１乃至Ｒ５のＲラインデータから１つのＲラインデータを、Ｒ５乃至Ｒ９のＲラインデータから１つのＲラインデータを、といった具合に、入力ラインデータとなる５つのＲラインデータから出力ラインデータとなる１つのＲラインデータが得られるように処理が行われ、また、Ｂ２乃至Ｂ６のＢラインデータから１つのＢラインデータを、Ｂ６乃至Ｂ１０のＢラインデータから１つのＢラインデータを、といった具合に、入力ラインデータとなる５つのＢラインデータから出力ラインデータとなる１つのＢラインデータが得られるように処理が行われる。

但し、画素数減少率が１／偶数（１／４）であるので、画素数変換後の画素位置関係を考慮して、出力ラインデータとなるＲラインデータが得られる処理では、そのＲラインデータがタップの中心から１／４上にずれるような係数Ｋｒ（Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４，Ｋｒ５）が求められ、該係数Ｋｒが用いられて処理が行われる。また、出力ラインデータとなるＢラインデータが得られる処理では、そのＢラインデータがタップの中心から１／４下にずれるような係数Ｋｂ（Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４，Ｋｂ５）が求められ、該係数Ｋｂが用いられて処理が行われる。

実際には、出力ラインデータとなるＲラインデータが得られる処理において、入力ラインデータとなる５つのＲラインデータの中の各ラインデータに、対応する係数Ｋｒ１，Ｋｒ２，Ｋｒ，Ｋｒ４，Ｋｒ５をそれぞれ掛けて、それらの和を求めることにより、タップの中心から１／４上にずらすことが可能になる。すなわち、入力ラインデータとなる５つのＲラインデータの中の、第１ラインのＲラインデータ×Ｋｒ１＋第２ラインのＲラインデータ×Ｋｒ２＋第３ラインのＲラインデータ×Ｋｒ３＋第４ラインのＲラインデータ×Ｋｒ４＋第５ラインのＲラインデータ×Ｋｒ５により、それが可能になる。

また、同様にして、出力ラインデータとなるＢラインデータが得られる処理において、入力ラインデータとなる５つのＢラインデータの各ラインデータに、対応する係数Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４，Ｋｂ５をそれぞれ掛けて、それらの和を求めることにより、タップの中心から１／４下にずらすことが可能になる。すなわち、入力ラインデータとなる５つのＢラインデータの中の、第１ラインのＢラインデータ×Ｋｂ１＋第２ラインのＢラインデータ×Ｋｂ２＋第３ラインのＢラインデータ×Ｋｂ３＋第４ラインのＢラインデータ×Ｋｂ４＋第５ラインのＢラインデータ×Ｋｂ５により、それが可能になる。

尚、本例の場合、Ｋｒ１＝３／３２，Ｋｒ２＝１０／３２，Ｋｒ３＝１２／３２，Ｋｒ４＝６／３２，Ｋｒ５＝１／３２になり、また、Ｋｂ１＝１／３２，Ｋｂ２＝６／３２，Ｋｂ３＝１２／３２，Ｋｂ４＝１０／３２，Ｋｂ５＝３／３２になる。
続いて、このような処理の流れを、図２に示した構成を用いて説明する。但し、本例では、セレクタ２３に入力される係数Ｋとして、係数Ｋ１乃至Ｋ５を前述の係数Ｋｒ１乃至Ｋｒ５とし、係数Ｋ６乃至Ｋ１０を前述の係数Ｋｂ１乃至Ｋｂ５とする。

入力ラインデータとなる５つのＲラインデータから出力ラインデータとなる１つのＲラインデータが得られる処理では、セレクタ２３，２７，３１、乗算器２４，２５、加算器２６、ラインバッファ２９、及び係数Ｋ１乃至Ｋ５が用いられて、前述の図４(a) の画素数減少率が１／２の場合の例にて説明したＲラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＲラインデータが得られる。

また、入力ラインデータとなる５つのＢラインデータから出力ラインデータとなる１つのＢラインデータが得られる処理では、セレクタ２３，２８，３１、乗算器２４，２５、加算器２６、ラインバッファ３０、及び係数Ｋ６乃至Ｋ１０が用いられて、前述の図４(a) の画素数減少率が１／２の場合の例にて説明したＢラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＢラインデータが得られる。

以上が、画素数減少率が１／４の場合の撮像画像データの縦方向についての処理である。
続いて、図５(b) を用いて画素数減少率が１／５の場合の、撮像画像データの縦方向についての処理について説明する。

同図(b) に示した例は、縦方向の画素数減少率（減少画像サイズ）が１／５であることに応じて、ＬＰＦ処理に係るフィルタサイズが６タップとされ、また補間を行う画素位置の影響が適正になるよう画素等の組み合わせが選択されて２点補間処理を含む画素数変換処理が行われた例である。

すなわち、同図(b) に示したように、Ｒ１乃至Ｒ６のＲラインデータから１つのＲラインデータを、Ｒ６乃至Ｒ１１のＲラインデータから１つのＲラインデータを、といった具合に、入力ラインデータとなる６つのＲラインデータから出力ラインデータとなる１つのＲラインデータが得られるように処理が行われ、また、Ｂ３乃至Ｂ８のＢラインデータから１つのＢラインデータを、Ｂ８乃至Ｂ１３のＢラインデータから１つのＢラインデータを、といった具合に、入力ラインデータとなる６つのＢラインデータから出力ラインデータとなる１つのＢラインデータが得られるように処理が行われる。

但し、画素数減少率が１／奇数（１／５）であるので、画素数変換後の画素位置関係を考慮して、出力ラインデータとなるＲラインデータを得る処理では、そのＲラインデータがタップの中心になるような係数Ｋｒ（Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４，Ｋｂ５，Ｋｂ６）が求められ、該係数Ｋｒが用いられて処理が行われる。また、出力ラインデータとなるＢラインデータを得る処理では、そのＢラインデータがタップの中心になるような係数Ｋｂ（Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４，Ｋｂ５，Ｋｂ６）が求められ、該係数ｋｂが用いられて処理が行われる。

実際には、出力ラインデータとなるＲラインデータが得られる処理において、入力ラインデータとなる６つのＲラインデータの中の各ラインデータに、対応する係数Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４，Ｋｒ５，Ｋｒ６をそれぞれ掛けて、それらの和を求めることにより、タップの中心にすることが可能になる。すなわち、入力ラインデータとなる６つのＲラインデータの中の、第１ラインのＲラインデータ×Ｋｒ１＋第２ラインのＲラインデータ×Ｋｒ２＋第３ラインのＲラインデータ×Ｋｒ３＋第４ラインのＲラインデータ×Ｋｒ４＋第５ラインのＲラインデータ×Ｋｒ５＋第６ラインのＲラインデータ×Ｋｒ６により、それが可能になる。

また、同様にして、出力ラインデータとなるＢラインデータが得られる処理において、入力ラインデータとなる６つのＢラインデータの各ラインデータに、対応する係数Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４，Ｋｂ５，Ｋｂ６をそれぞれ掛けて、それらの和を求めることにより、タップの中心にすることが可能になる。すなわち、入力ラインデータとなる６つのＢラインデータの中の、第１ラインのＢラインデータ×Ｋｂ１＋第２ラインのＢラインデータ×Ｋｂ２＋第３ラインのＢラインデータ×Ｋｂ３＋第４ラインのＢラインデータ×Ｋｂ４＋第５ラインのＢラインデータ×Ｋｂ５＋第６ラインのＢラインデータ×Ｋｂ６により、それが可能になる。

尚、本例の場合、Ｋｒ１＝１／３２，Ｋｒ２＝５／３２，Ｋｒ３＝１０／３２，Ｋｒ４＝１０／３２，Ｋｒ５＝５／３２，Ｋｒ６＝１／３２になり、また、Ｋｂ１＝１／３２，Ｋｂ２＝５／３２，Ｋｂ３＝１０／３２，Ｋｂ４＝１０／３２，Ｋｂ５＝５／３２，Ｋｂ６＝１／３２になる。

続いて、このような処理の流れを、図２に示した構成を用いて説明する。但し、本例では、セレクタ２３に入力される係数Ｋとして、係数Ｋ１乃至Ｋ６を前述の係数Ｋｒ１乃至Ｋｒ６とし、係数Ｋ７乃至Ｋ１２を前述の係数Ｋｂ１乃至Ｋｂ６とする。
入力ラインデータとなる６つのＲラインデータから出力ラインデータとなる１つのＲラインデータが得られる処理では、セレクタ２３，２７，３１、乗算器２４，２５、加算器２６、ラインバッファ２９、及び係数Ｋ１乃至Ｋ６が用いられて、前述の図４(a) の画素数減少率が１／２の場合の例にて説明したＲラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＲラインデータが得られる。

また、入力ラインデータとなる６つのＢラインデータから出力ラインデータとなる１つのＢラインデータが得られる処理では、セレクタ２３，２８，３１、乗算器２４，２５、加算器２６、ラインバッファ３０、及び係数Ｋ７乃至Ｋ１２が用いられて、前述の図４(a) の画素数減少率が１／２の場合の例にて説明したＢラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＢラインデータが得られる。

以上が、画素数減少率が１／５の場合の撮像画像データの縦方向についての処理である。
このような、撮像素子２のスキャン方式がプログレッシブスキャン方式である場合の撮像画像データの縦方向についての処理により、前処理部Ｂ５ｂからは、その処理が行われたＲラインデータとＢラインデータが交互に出力され、表示のための画像データが得られる。

次に、撮像素子２のスキャン方式がインターレーススキャン方式である場合の、前処理部Ｂ５ｂの構成、及び前処理部Ｂ５ｂにより行われる処理の処理内容について説明する。
図６は、その前処理部Ｂ５ｂの構成例である。
同図において、横方向ＬＰＦ処理部６０と横方向画素数変換部６１は、撮像画像データの横方向についての処理を行う構成であり、図２に示した横方向ＬＰＦ処理部２１と横方向画素数変換処理部２２の構成と同様である。

また、セレクタ６２と、２つの乗算器６３，６４と、２つの加算器６５，６６と、２つのラインバッファ６７，６８は、撮像画像データの縦方向についての処理を行う構成である。尚、この構成により行われる画素数変換処理においても、その縮小率を１／整数とすることで、構成するラインバッファの数を２つに抑え、部品点数の削減及び部品コストの低減を可能にしている。また、セレクタ６２に入力される係数Ｋ１，Ｋ２，Ｋ３，・・・，ＫＮについても、前述したとおりである。

次に、上述した構成の前処理部Ｂ５ｂにより行われる処理の処理内容について説明する。
始めに、撮像画像データの横方向についての処理を説明する。
撮像画像データの横方向についての処理では、前述の図３を用いて説明した処理と同様の処理が行われる。但し、本例は、撮像素子２のスキャン方式がインターレーススキャン方式であるので、横方向ＬＰＦ処理部６０に入力されるラインデータは、まず奇数フィールドのラインデータ（本例ではＲラインデータとする）が順に入力され、続いて偶数フィールドのラインデータ（本例ではＢラインデータとする）が順に入力されるものである。従って、横方向画素数変換部６１からは、撮像画像データの横方向についての処理が行われた、Ｒラインデータが順に出力され、続いてＢラインデータが順に出力される。

続いて、撮像画像データの縦方向についての処理を、図７(a),(b) 及び図８(a),(b) を用いて説明する。
図７(a),(b) 及び図８(a),(b) は、画素数減少率がそれぞれ１／２、１／３、１／４、１／５の場合の、撮像画像データの縦方向についての処理例を示した図である。

まず、図７(a) を用いて画素数減少率が１／２の場合の、撮像画像データの縦方向についての処理について説明する。
同図(a) に示した例は、縦方向の画素数減少率（減少画像サイズ）が１／２であることに応じて、ＬＰＦ処理に係るフィルタサイズが４タップとされ、また補間を行う画素位置の影響が適正になるよう画素等の組み合わせが選択されて２点補間処理を含む画素数変換処理が行われた例である。

すなわち、同図(a) に示したように、Ｒ１乃至Ｒ４のＲラインデータから１つのＲラインデータを、Ｒ３乃至Ｒ６のＲラインデータから１つのＲラインデータを、といった具合に、入力ラインデータとなる４つのＲラインデータから出力ラインデータとなる１つのＲラインデータが得られるように処理が行われ、また、Ｂ１乃至Ｂ４のＢラインデータから１つのＢラインデータを、Ｂ３乃至Ｂ６のＢラインデータから１つのＢラインデータを、といった具合に、入力ラインデータとなる４つのＢラインデータから出力ラインデータとなる１つのＢラインデータが得られるように処理が行われる。

但し、画素数減少率が１／偶数（１／２）であるので、画素数変換後の画素位置関係を考慮して、出力ラインデータとなるＲラインデータが得られる処理では、そのＲラインデータがタップの中心から１／４上にずれるような係数Ｋｒ（Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４）が求められ、該係数Ｋｒが用いられて処理が行われる。また、出力ラインデータとなるＢラインデータが得られる処理では、そのＢラインデータがタップの中心から１／４下にずれるような係数Ｋｂ（Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４）が求められ、該係数Ｋｂが用いられて処理が行われる。

実際には、出力ラインデータとなるＲラインデータが得られる処理において、入力ラインデータとなる４つのＲラインデータの中の各ラインデータに、対応する係数Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４をそれぞれ掛けて、それらの和を求めることにより、タップの中心から１／４上にずらすことが可能になる。すなわち、入力ラインデータとなる４つのＲラインデータの中の、第１ラインのＲラインデータ×Ｋｒ１＋第２ラインのＲラインデータ×Ｋｒ２＋第３ラインのＲラインデータ×Ｋｒ３＋第４ラインのＲラインデータ×Ｋｒ４により、それが可能になる。

また、同様にして、出力ラインデータとなるＢラインデータが得られる処理において、入力ラインデータとなる４つのＢラインデータの各ラインデータに、対応する係数Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４をそれぞれ掛けて、それらの和を求めることにより、タップの中心から１／４下にずらすことが可能になる。すなわち、入力ラインデータとなる４つのＢラインデータの中の、第１ラインのＢラインデータ×Ｋｂ１＋第２ラインのＢラインデータ×Ｋｂ２＋第３ラインのＢラインデータ×Ｋｂ３＋第４ラインのＢラインデータ×Ｋｂ４により、それが可能になる。

尚、本例の場合、Ｋｒ１＝３／１６，Ｋｒ２＝７／１６，Ｋｒ３＝５／１６，Ｋｒ４＝１／１６になり、また、Ｋｂ１＝１／１６，Ｋｂ２＝５／１６，Ｋｂ３＝７／１６，Ｋｂ４＝３／１６になる。
続いて、このような処理の流れを、図６に示した構成を用いて説明する。但し、本例では、セレクタ６２に入力される係数Ｋとして、係数Ｋ１乃至Ｋ４を前述の係数Ｋｒ１乃至Ｋｒ４とし、係数Ｋ５乃至Ｋ８を前述の係数Ｋｂ１乃至Ｋｂ４とする。

前述したように、横方向画素数変換処理部２２からは、撮像画像データの横方向についての処理が行われた、Ｒラインデータが順に出力され、続いてＢラインデータが順に出力される。
まず、Ｒ１のラインデータは、乗算器６３によりセレクタ６２から出力されたＫ１が乗算され、加算器６５を介してそのままラインバッファ６７へ格納される。

続くＲ２のラインデータは、乗算器６３によりセレクタ６２から出力されたＫ２が乗算され、加算器６５によりラインバッファ６７に格納されていたラインデータが加算されてラインバッファ６７へ格納される。
続くＲ３のラインデータは、乗算器６３によりセレクタ６２から出力されたＫ３が乗算され、加算器６５によりラインバッファ６７に格納されていたラインデータが加算されてラインバッファ６７へ格納される。一方で、Ｒ３のラインデータは、乗算器６４によりセレクタ６２から出力されたＫ１が乗算され、加算器６６を介してそのままラインバッファ６８へ格納される。

続くＲ４のラインデータは、乗算器６３によりセレクタ６２から出力されたＫ４が乗算され、加算器６５によりラインバッファ６７に格納されていたラインデータが加算されてバッファメモリ９へ格納される。これにより、Ｒ１乃至Ｒ４のＲラインデータから得られた１つのＲラインデータがバッファメモリ９に格納される。一方で、Ｒ４のラインデータは、乗算器６４によりセレクタ６２から出力されたＫ２が乗算され、加算器６６によりラインバッファ６８に格納されていたラインデータが加算されてラインバッファ６８へ格納される。

以下同様にして、出力ラインデータとなる１つのＲラインデータが得られる処理毎に、ラインバッファ６７及び６８が交互に使用されて、出力ラインデータとなるＲラインデータが全て得られる。
続くＢラインデータについても同様にして、出力ラインデータとなる１つのＢラインデータが得られる処理毎に、ラインバッファ６７及び６８が交互に使用されて、出力ラインデータとなるＢラインデータが全て得られる。但し、このＢラインデータの処理においては、係数Ｋ５乃至Ｋ８が使用されて処理が行われる。

以上が、画素数減少率が１／２の場合の撮像画像データの縦方向についての処理である。
続いて、図７(b) を用いて画素数減少率が１／３の場合の、撮像画像データの縦方向についての処理について説明する。

同図(b) に示した例は、縦方向の画素数減少率（減少画像サイズ）が１／３であることに応じて、ＬＰＦ処理に係るフィルタサイズが６タップとされ、また補間を行う画素位置の影響が適正になるよう画素等の組み合わせが選択されて２点補間処理を含む画素数変換処理が行われた例である。

すなわち、同図(b) に示したように、Ｒ１乃至Ｒ６のＲラインデータから１つのＲラインデータを、Ｒ４乃至Ｒ９のＲラインデータから１つのＲラインデータを、といった具合に、入力ラインデータとなる６つのＲラインデータから出力ラインデータとなる１つのＲラインデータが得られるように処理が行われ、また、Ｂ２乃至Ｂ７のＢラインデータから１つのＢラインデータを、Ｂ５乃至Ｂ１０のＢラインデータから１つのＢラインデータを、といった具合に、入力ラインデータとなる６つのＢラインデータから出力ラインデータとなる１つのＢラインデータが得られるように処理が行われる。

但し、画素数減少率が１／奇数（１／３）であるので、画素数変換後の画素位置関係を考慮して、出力ラインデータとなるＲラインデータが得られる処理では、そのＲラインデータがタップの中心になるような係数Ｋｒ（Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４，Ｋｒ５，Ｋｒ６）が求められ、該係数Ｋｒが用いられて処理が行われる。また、出力ラインデータとなるＢラインデータが得られる処理では、そのＢラインデータがタップの中心になるような係数Ｋｂ（Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４，Ｋｂ５，Ｋｂ６）が求められ、該係数Ｋｂが用いられて処理が行われる。

実際には、出力ラインデータとなる１つのＲラインデータが得られる処理において、入力ラインデータとなる６つのＲラインデータの中の各ラインデータに、対応する係数Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４，Ｋｒ５，Ｋｒ６をそれぞれ掛けて、それらの和を求めることにより、タップの中心にすることができる。

また、同様にして、出力ラインデータとなるＢラインデータが得られる処理において、入力ラインデータとなる６つのＢラインデータの各ラインデータに、対応する係数Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４，Ｋｂ５，Ｋｂ６をそれぞれ掛けて、それらの和を求めることにより、タップの中心にすることができる。

尚、本例の場合、Ｋｒ１＝１／３２，Ｋｒ２＝５／３２，Ｋｒ３＝１０／３２，Ｋｒ４＝１０／３２，Ｋｒ５＝５／３２，Ｋｒ６＝１／３２になり、また、Ｋｂ１＝１／３２，Ｋｂ２＝５／３２，Ｋｂ３＝１０／３２，Ｋｂ４＝１０／３２，Ｋｂ５＝５／３２，Ｋｂ６＝１／３２になる。

続いて、このような処理の流れを、図６に示した構成を用いて説明する。但し、本例では、セレクタ６２に入力される係数Ｋとして、係数Ｋ１乃至Ｋ６を、前述の係数Ｋｒ１乃至Ｋｒ６（係数Ｋｂ１乃至Ｋｂ６でもある）とする。
入力ラインデータとなるＲ１乃至Ｒ６のラインデータについては、乗算器６３，加算器６５，ラインバッファ６７，及び係数Ｋ１乃至Ｋ６が用いられて、前述の図７(a) の画素数減少率が１／２の場合の例にて説明したＲ１乃至Ｒ４のラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＲラインデータが得られる。

また、入力ラインデータとなるＲ４乃至Ｒ９のラインデータについては、乗算器６４、加算器６６、ラインバッファ６８、及び係数Ｋ１乃至Ｋ６が用いられて、前述の図７(a) の画素数減少率が１／２の場合の例にて説明したＲ３乃至Ｒ６のラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＲラインデータが得られる。

以下同様に、出力ラインデータとなる１つのＲラインデータが得られる処理毎に、ラインバッファ６７及び６８が交互に使用されて、出力ラインデータとなるＲラインデータが全て得られる。
続くＢラインデータについても同様にして処理が行われ、出力ラインデータとなるＢラインデータが全て得られる。

以上が、画素数減少率が１／３の場合の撮像画像データの縦方向についての処理である。
続いて、図８(a) を用いて画素数減少率が１／４の場合の、撮像画像データの縦方向についての処理について説明する。

同図(a) に示した例は、縦方向の画素数減少率（減少画像サイズ）が１／４であることに応じて、ＬＰＦ処理に係るフィルタサイズが８タップとされ、また補間を行う画素位置の影響が適正になるよう画素等の組み合わせが選択されて２点補間処理を含む画素数変換処理が行われた例である。

すなわち、同図(a) に示したように、Ｒ１乃至Ｒ８のＲラインデータから１つのＲラインデータを、Ｒ５乃至Ｒ１２のＲラインデータから１つのＲラインデータを、といった具合に、入力ラインデータとなる８つのＲラインデータから出力ラインデータとなる１つのＲラインデータが得られるように処理が行われ、また、Ｂ２乃至Ｂ９のＢラインデータから１つのＢラインデータを、Ｂ６乃至Ｂ１３のＢラインデータから１つのＢラインデータを、といった具合に、入力ラインデータとなる８つのＢラインデータから出力ラインデータとなる１つのＢラインデータが得られるように処理が行われる。

但し、画素数減少率が１／偶数（１／４）であるので、画素数変換後の画素位置関係を考慮して、出力ラインデータとなるＲラインデータが得られる処理では、そのＲラインデータがタップの中心から１／４上にずれるような係数Ｋｒ（Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４，Ｋｒ５，Ｋｒ６，Ｋｒ７，Ｋｒ８）が求められ、該係数Ｋｒが用いられて処理が行われる。また、出力ラインデータとなるＢラインデータが得られる処理では、そのＢラインデータがタップの中心から１／４下にずれるような係数Ｋｂ（Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４，Ｋｂ５，Ｋｂ６，Ｋｂ７，Ｋｂ８）が求められ、該係数が用いられて処理が行われる。

実際には、出力ラインデータとなるＲラインデータが得られる処理において、入力ラインデータとなる８つのＲラインデータの中の各ラインデータに、対応する係数Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４，Ｋｒ５，Ｋｒ６，Ｋｒ７，Ｋｒ８をそれぞれ掛けて、それらの和を求めることにより、タップの中心から１／４上にずらすことが可能になる。すなわち、入力ラインデータとなる８つのＲラインデータの中の、第１ラインのＲラインデータ×Ｋｒ１＋第２ラインのＲラインデータ×Ｋｒ２＋第３ラインのＲラインデータ×Ｋｒ３＋第４ラインのＲラインデータ×Ｋｒ４＋第５ラインのＲラインデータ×Ｋｒ５＋第６ラインのＲラインデータ×Ｋｒ６＋第７ラインのＲラインデータ×Ｋｒ７＋第８ラインのＲラインデータ×Ｋｒ８により、それが可能になる。

また、同様にして、出力ラインデータとなるＢラインデータが得られる処理において、入力ラインデータとなる８つのＢラインデータの各ラインデータに、対応する係数Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４，Ｋｂ５，Ｋｂ６，Ｋｂ７，Ｋｂ８をそれぞれ掛けて、それらの和を求めることにより、タップの中心から１／４下にずらすことが可能になる。すなわち、入力ラインデータとなる８つのＢラインデータの中の、第１ラインのＢラインデータ×Ｋｂ１＋第２ラインのＢラインデータ×Ｋｂ２＋第３ラインのＢラインデータ×Ｋｂ３＋第４ラインのＢラインデータ×Ｋｂ４＋第５ラインのＢラインデータ×Ｋｂ５＋第６ラインのＢラインデータ×Ｋｂ６＋第７ラインのＢラインデータ×Ｋｂ７＋第８ラインのＢラインデータ×Ｋｂ８により、それが可能になる。

続いて、このような処理の流れを、図６に示した構成を用いて説明する。但し、本例では、セレクタ６２に入力される係数Ｋとして、係数Ｋ１乃至Ｋ８を前述の係数Ｋｒ１乃至Ｋｒ８とし、係数Ｋ９乃至Ｋ１６を前述の係数Ｋｂ１乃至Ｋｂ８とする。
入力ラインデータとなるＲ１乃至Ｒ８のラインデータについては、乗算器６３、加算器６５、ラインバッファ６７、及び係数Ｋ１乃至Ｋ８が用いられて、前述の図７(a) の画素数減少率が１／２の場合の例にて説明したＲ１乃至Ｒ４のラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＲラインデータが得られる。

また、入力ラインデータとなるＲ５乃至Ｒ１２のラインデータについては、乗算器６４、加算器６６、ラインバッファ６８、及び係数Ｋ１乃至Ｋ８が用いられて、前述の図７(a) の画素数減少率が１／２の場合の例にて説明したＲ３乃至Ｒ６のラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＲラインデータが得られる。

以下同様に、出力ラインデータとなる１つのＲラインデータが得られる処理毎に、ラインバッファ６７及び６８が交互に使用されて、出力ラインデータとなるＲラインデータが全て得られる。
続くＢラインデータについても同様にして処理が行われ、出力ラインデータとなるＢラインデータが全て得られる。但し、このＢラインデータの処理においては、係数Ｋ９乃至Ｋ１８が用いられて処理が行われる。

以上が、画素数減少率が１／４の場合の撮像画像データの縦方向についての処理である。
続いて、図８(b) を用いて画素数減少率が１／５の場合の、撮像画像データの縦方向についての処理について説明する。

同図(a) に示した例は、縦方向の画素数減少率（減少画像サイズ）が１／５であることに応じて、ＬＰＦ処理に係るフィルタサイズが１０タップとされ、また補間を行う画素位置の影響が適正になるよう画素等の組み合わせが選択されて２点補間処理を含む画素数変換処理が行われた例である。

すなわち、同図(b) に示したように、Ｒ１乃至Ｒ１０のＲラインデータから１つのＲラインデータを、Ｒ６乃至Ｒ１５のＲラインデータから１つのＲラインデータを、といった具合に、入力ラインデータとなる１０ラインのＲラインデータから出力ラインデータとなる１つのＲラインデータが得られるように処理が行われ、また、Ｂ３乃至Ｂ１２のＢラインデータから１つのＢラインデータを、Ｂ８乃至Ｂ１７のＢラインデータから１つのＢラインデータを、といった具合に、入力ラインデータとなる１０ラインのＢラインデータから出力ラインデータとなる１つのＢラインデータが得られるように処理が行われる。

但し、画素数減少率が１／奇数（１／５）であるので、画素数変換後の画素位置関係を考慮して、出力ラインデータとなるＲラインデータが得られる処理では、そのＲラインデータがタップの中心になるような係数Ｋｒ（Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４，Ｋｒ５，Ｋｒ６，Ｋｒ７，Ｋｒ８，Ｋｒ９，Ｋｒ１０）が求められ、該係数Ｋｒが用いられて処理が行われる。また、出力ラインデータとなるＢラインデータが得られる処理では、そのＢラインデータがタップの中心になるような係数Ｋｂ（Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４，Ｋｂ５，Ｋｂ６，Ｋｂ７，Ｋｂ８，Ｋｂ９，Ｋｂ１０）が求められ、該係数が用いられて処理が行われる。

実際には、出力ラインデータとなるＲラインデータが得られる処理において、入力ラインデータとなる１０ラインのＲラインデータの中の各ラインデータに、対応する係数Ｋｒ１，Ｋｒ２，Ｋｒ３，Ｋｒ４，Ｋｒ５，Ｋｒ６，Ｋｒ７，Ｋｒ８，Ｋｒ９，Ｋｒ１０をそれぞれ掛けて、それらの和を求めることにより、タップの中心にすることが可能になる。すなわち、入力ラインデータとなる１０ラインのＲラインデータの中の、第１ラインのＲラインデータ×Ｋｒ１＋第２ラインのＲラインデータ×Ｋｒ２＋第３ラインのＲラインデータ×Ｋｒ３＋第４ラインのＲラインデータ×Ｋｒ４＋第５ラインのＲラインデータ×Ｋｒ５＋第６ラインのＲラインデータ×Ｋｒ６＋第７ラインのＲラインデータ×Ｋｒ７＋第８ラインのＲラインデータ×Ｋｒ８＋第９ラインのＲラインデータ×Ｋｒ９＋第１０ラインのＲラインデータ×Ｋｒ１０により、それが可能になる。

また、同様にして、出力ラインデータとなるＢラインデータが得られる処理において、入力ラインデータとなる１０ラインのＢラインデータの各ラインデータに、対応する係数Ｋｂ１，Ｋｂ２，Ｋｂ３，Ｋｂ４，Ｋｂ５，Ｋｂ６，Ｋｂ７，Ｋｂ８，Ｋｂ９，Ｋｂ１０をそれぞれ掛けて、それらの和を求めることにより、タップの中心にすることが可能になる。すなわち、入力ラインデータとなる１０ラインのＢラインデータの中の、第１ラインのＢラインデータ×Ｋｂ１＋第２ラインのＢラインデータ×Ｋｂ２＋第３ラインのＢラインデータ×Ｋｂ３＋第４ラインのＢラインデータ×Ｋｂ４＋第５ラインのＢラインデータ×Ｋｂ５＋第６ラインのＢラインデータ×Ｋｂ６＋第７ラインのＢラインデータ×Ｋｂ７＋第８ラインのＢラインデータ×Ｋｂ８＋第９ラインのＢラインデータ×Ｋｂ９＋第１０ラインのＢラインデータ×Ｋｂ１０により、それが可能になる。

続いて、このような処理の流れを、図６に示した構成を用いて説明する。但し、本例では、セレクタ６２に入力される係数Ｋとして、係数Ｋ１乃至Ｋ１０を前述の係数Ｋｒ１乃至Ｋｒ１０とし、係数Ｋ１１乃至Ｋ２０を前述の係数Ｋｂ１乃至Ｋｂ１０とする。
入力ラインデータとなるＲ１乃至Ｒ１０のラインデータについては、乗算器６３、加算器６５、ラインバッファ６７、及び係数Ｋ１乃至Ｋ１０が用いられて、前述の図７(a) の画素数減少率が１／２の場合の例にて説明したＲ１乃至Ｒ４のラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＲラインデータが得られる。

また、入力ラインデータとなるＲ６乃至Ｒ１５のラインデータについては、乗算器６４、加算器６６、ラインバッファ６８、及び係数Ｋ１乃至Ｋ１０が用いられて、前述の図７(a) の画素数減少率が１／２の場合の例にて説明したＲ３乃至Ｒ６のラインデータについての処理の流れと同様にして処理が行われ、出力ラインデータとなるＲラインデータが得られる。

以下同様に、出力ラインデータとなる１つのＲラインデータが得られる処理毎に、ラインバッファ６７及び６８が交互に使用されて、出力ラインデータとなるＲラインデータが全て得られる。
続くＢラインデータについても同様にして処理が行われ、出力ラインデータとなるＢラインデータが全て得られる。但し、このＢラインデータの処理においては、係数Ｋ１１乃至Ｋ２０が用いられて処理が行われる。

以上が、画素数減少率が１／５の場合の撮像画像データの縦方向についての処理である。
このような、撮像素子２のスキャン方式がインターレーススキャン方式である場合の撮像画像データの縦方向についての処理により、前処理部Ｂ５ｂからは、その処理が行われた、Ｒラインデータが順に出力され、続いてＢラインデータが順に出力され、表示のための画像データが得られる。

尚、上述した撮像画像データの縦方向についての処理において、使用する係数Ｋを少なくするため、重複する係数を１つの係数Ｋとして処理するようにしても良い。
また、上述した撮像画像データの縦方向についての処理においては、画素数減少率が１／２，１／３，１／４，１／５の場合を例に説明したが、その他の画素数減少率（但し、１／整数）を適用して処理するようにしても良い。

また、本実施形態では、表示のための画像データからインデックス画像データを生成する処理を、画像処理部５の処理部５ｃが行うものであったが、この処理を行うための構成を新たに設けるようにしても良い。
図９は、そのような場合の画像処理部５の構成例である。

同図に示したように、画像処理部５は、表示のための画像データからインデックス画像データを生成する処理を行うための構成として、新たに前処理部Ｃ５ｄを備えている。Ａ／Ｄ部４から出力された撮像画像データは、前処理部Ａ５ａ及び前処理部Ｂ５ｂに入力されると共に、前処理部Ｃ５ｄにも入力される。

前処理部Ｃ５ｄは、前処理部Ａ５ａにより行われる前処理と並列して処理を可能になされるとともに、撮像画像データから表示のための画像データよりもデータ数の少ないインデックス画像データを生成する、といった処理を行う。尚、この前処理部Ｃ５ｄにより行われる処理では、例えば、前述の前処理部Ｂ５ｂにより行われる処理と同様の処理等を行うことにより、そのインデックス画像データを生成するようにしても良い。このインデックス画像データは、バッファメモリ９に記録される。

また、本実施形態において、横方向画素数変換処理部２２（又は６１）が行う、画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を、同時化処理と間引き処理により実現するようにしても良い。
このような処理を行う横方向画素数変換部について、図１０(a),(b),(c) を用いて説明する。

同図(a) は、その横方向画素数変換部の構成例である。
同図(a) に示したように、横方向画素数変換部７１は、同時化処理部７１ａと間引き処理部７１ｂにより構成される。同時化処理部７１ａは、横方向ＬＰＦ処理部２１（又は６０）の出力ラインデータを同時化する処理を行い、間引き処理部７１ｂは、該同時化されたラインデータを間引く処理を行う。

同図(b) は、同時化処理部７１ａにより行われる同時化処理を説明する図である。同図(b) 上段のＬＰＦ画像とは、同時化処理部７１ａの入力ラインデータ（横方向ＬＰＦ処理部２１（又は６０）の出力ラインデータ）を示し、同図(b) 下段の同時化画像とは、同時化処理部７１ａの出力ラインデータを示している。尚、同図(b) では、説明の便宜のため、Ｒ，Ｇからなるラインデータを例に説明するが、Ｇ，Ｂからなるラインデータについても同様にして処理が行われる（同図(c) において同じ）。

同図(b) に示したように、同時化処理では、同時化処理部７１ａの入力ラインデータの同色隣接２画素の１：３内分点，３：１内分点を求めることにより同時化が行われ、同時化処理部７１ａの出力ラインデータが得られる。
すなわち、Ｒ画素の場合には、
Ｒ（ｎ）ａ＝｛３×Ｒ（ｎ）＋Ｒ（ｎ＋１）｝／４
Ｒ（ｎ）ｂ＝｛Ｒ（ｎ）＋３×Ｒ（ｎ＋１）｝／４
により求められる（但し、ｎは負でない整数）。Ｇ画素についても同様にして求められる。

同図(c) は、間引き処理部７１ｂにより行われる間引き処理を説明する図である。同図(c) 上段の同時化画像とは、間引き処理部７１ｂの入力ラインデータ（同時化処理部７１ａの出力ラインデータ）を示し、同図(c) 下段の間引き画像とは、間引き処理部７１ｂの出力ラインデータを示している。但し、同図(c) は、画素数減少率を１／３とした場合の例である。

同図(c) に示したように、画素数減少率が１／３であることに応じて間引きが行われて間引き画像が得られる。
以上のような横方向画素数変換部の構成によっても、画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を実現することができる。

また、本実施形態では、前処理部Ｂ５ｂの構成として、図２，図６を、また前処理部Ｂ５ｂにより行われる処理を、図４(a),(b) ，図５(a),(b) ，図７(a),(b) ，図８(a),(b) を用いて説明したが、部品点数の削減等を考慮しないのであれば、その構成及びその処理は、これらに限定されるものではなく、その他の構成及び処理を適用するようにしても良い。

また、本実施形態では、撮像素子２に用いられるフィルタとして原色フィルタを適用したが、補色タイプのフィルタ（補色フィルタ）を適用するようにしても良く、その場合も同様にして処理が行われる。
以上、本発明の電子カメラ装置及びその画像処理方法について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。

本発明の一実施の形態に係る電子カメラ装置の一例である電子カメラの構成例である。 フィルタ処理及び画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を行う前処理部の構成例である。 (a),(b),(c),(d) は、撮像画像データの横方向についての処理を説明する図である。 (a) は画素数減少率が１／２の場合の撮像画像データの縦方向についての処理例を示した図、(b) は画素数減少率が１／３の場合の撮像画像データの縦方向についての処理例を示した図である。 (a) は画素数減少率が１／４の場合の撮像画像データの縦方向についての処理例を示した図、(b) は画素数減少率が１／５の場合の撮像画像データの縦方向についての処理例を示した図である。 フィルタ処理及び画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を行う前処理部の他の構成例である。 (a) は画素数減少率が１／２の場合の撮像画像データの縦方向についての他の処理例を示した図、(b) は画素数減少率が１／３の場合の撮像画像データの縦方向についての他の処理例を示した図である。 (a) は画素数減少率が１／４の場合の撮像画像データの縦方向についての他の処理例を示した図、(b) は画素数減少率が１／５の場合の撮像画像データの縦方向についての他の処理例を示した図である。 画像処理部の他の構成例である。 (a),(b),(c) は、他の構成による横方向画素数変換部を説明する図である。

符号の説明

１ 撮影レンズ系
２ 撮像素子
３ 撮像回路
４ Ａ／Ｄ部
５ 画像処理部
５ａ，５ｂ 前処理部
５ｃ 処理部
５ｄ 前処理部
６ Ｉ／Ｆ
７ 外部Ｉ／Ｆ
８ 画像表示出力部
９ バッファメモリ
１０ シスコン
１１ バス
１２ カードスロット
１３ 着脱メモリ
１４ 外部入出力端子
１５ ビデオアウト端子
１６ 表示ＬＣＤ
１７ レンズ系駆動部
１８ ストロボ発光部
１９ 操作部
２０ 電源部
２１ 横方向ＬＰＦ処理部
２２ 横方向画素数変換処理部
２３ セレクタ
２４，２５ 乗算器
２６ 加算器
２７，２８ セレクタ
２９，３０ ラインバッファ
３１ セレクタ
３２，３３，３４，３５ 画素
３６，３７ 画素
３８，３９，４０ 画素
４１，４２，４１´，４２´ 画素
４３ 画素
４６，４７，４８ 画素
４９ 画素
５０，５１，５２ 画素
５３ 画素
６０ 横方向ＬＰＦ処理部
６１ 横方向画素数変換処理部
６２ セレクタ
６３，６４ 乗算器
６５，６６ 加算器
６７，６８ ラインバッファ
７１ 横方向画素数変換処理部
７１ａ 同時化処理部
７１ｂ 間引き処理部

Claims (14)

1. 撮像して得られた画像信号をＡ／Ｄ変換して撮像画像データを得るＡ／Ｄ変換手段と、
   前記撮像画像データから記録のための画像データを生成するための前処理を行う第１の画像データ処理手段と、
   前記第１の画像データ処理手段により行われる前処理と並列して処理を可能になされるとともに、前記撮像画像データから前記記録のための画像データよりもデータ数の少ない表示のための画像データを生成するためにフィルタ処理及び画素数変換処理を含む前処理を行う第２の画像データ処理手段と、
   前記第１の画像データ処理手段により得られた記録のための画像データを生成するための前処理をされた画像データ及び前記第２の画像データ処理手段により得られた表示のための画像データを生成するための前処理をされた画像データを共に一時記憶する記憶手段と、
   前記記憶手段に記憶された記録のための画像データ及び表示のための画像データを基に、前記撮像画像データに係る記録及び表示を行うための画像処理を行う第３の画像データ処理手段と、
   を有し、
   前記フィルタ処理及び前記画素数変換処理は、画素数減少率を１／２ｎ（ｎは正の整数）とする場合に、両処理後の画素位置が前記フィルタ処理に用いるフィルタのタップ中心から１／４ずらした位置になるよう補間処理を行うようになされた、
   ことを特徴とする電子カメラ装置。
2. 前記フィルタ処理及び前記画素数変換処理は、画素数減少率を１／（２ｎ＋１）（ｎは正の整数）とする場合に、両処理後の画素位置が前記フィルタ処理に用いるフィルタのタップ中心になるよう補間処理を行うようになされた、
   ことを特徴とする請求項１記載の電子カメラ装置。
3. 前記フィルタ処理及び前記画素数変換処理は、前記撮像画像データの横方向についての、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）処理及び前記画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理と、前記撮像画像データの縦方向についての、ラインバッファを使用したＬＰＦ処理及び前記画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理とを行うようになされた、
   ことを特徴とする請求項１記載の電子カメラ装置。
4. 前記第２の画像データ処理手段は、
   前記撮像画像データに対し、当該撮像画像データの入力順である横方向のフィルタ処理を行う横方向フィルタ部と、
   前記横方向フィルタ部によりフィルタ処理が行われた画像データに対し、横方向の画像データ数を減ずる補間処理を行う横方向画素数変換部と、
   前記横方向画素数変換部により補間処理が行われた画像データに対し、縦方向のフィルタ処理を行う縦方向フィルタ部と、
   前記縦方向フィルタ部によりフィルタ処理が行われた画像データに対し、縦方向の画像データ数を減ずる補間処理を行う縦方向画素数変換部と、
   を有することを特徴とする請求項１に記載の電子カメラ装置。
5. 前記第２の画像データ処理手段は、
   前記撮像画像データに対し、当該撮像画像データの入力順である横方向のフィルタ処理を行う横方向フィルタ部と、
   前記横方向フィルタ部によりフィルタ処理が行われた画像データに対し、横方向の画像データ数を減ずる補間処理を行う横方向画素数変換部と、
   前記横方向画素数変換部により補間処理が行われた画像データに対し、縦方向のフィルタ処理及び縦方向の画像データ数を減ずる補間処理のための係数を乗じる乗算器と、
   前記乗算器による乗算結果得られた画像データをライン単位で一時記憶するラインバッファと、
   前記ラインバッファに記憶された画像データと前記乗算器で乗算された次のラインの画像データをもとに縦方向の画像データ数を減ずる補間処理を行う縦方向画素数変換部と、
   を有することを特徴とする請求項１に記載の電子カメラ装置。
6. 前記ラインバッファは、同一の色フィルタ配列のラインデータ毎に異なるラインバッファを有し、
   前記縦方向画素数変換部は、同一の色フィルタ配列のラインデータ毎に縦方向の画像データ数を減ずる補間処理を行う、
   ことを特徴とする請求項５に記載の電子カメラ装置。
7. プログレッシブスキャン方式により撮像して得られた撮像画像データに対して前記第２の画像データ処理手段による前処理を行う場合、前記撮像画像データの縦方向については、少なくとも２つのラインバッファを使用してＬＰＦ処理及び画素数変換後の画素位置関係を考慮した補間処理を含む画素数変換処理を行うようになされた、
   ことを特徴とする請求項３記載の電子カメラ装置。
8. 前記第３の画像データ処理手段は、記録のための画像処理として画像データ圧縮処理を行うようになされた、
   ことを特徴とする請求項１記載の電子カメラ装置。
9. 前記第１の画像データ処理手段により行われる前処理と並列して処理を可能になされるとともに、前記撮像画像データから前記表示のための画像データよりもデータ数の少ないインデックス画像データを生成する第４の画像データ処理手段、
   を更に有することを特徴とする請求項１記載の電子カメラ装置。
10. 前記第３の画像データ処理手段は、前記記憶手段に記憶された表示のための画像データを基に、前記表示のための画像データよりもデータ数の少ないインデックス画像データを生成するようになされた、
    ことを特徴とする請求項１記載の電子カメラ装置。
11. 前記画像信号は、プログレッシブスキャン方式又はインターレーススキャン方式により撮像して得られた、
    ことを特徴とする請求項１記載の電子カメラ装置。
12. 前記乗算器が前記係数を前記横方向画素数変換部により補間処理が行われた画像データに乗じることによって、前記縦方向の画像データ数を減ずる補間処理後の画素位置を算出するようになされた、
    ことを特徴とする請求項５記載の電子カメラ装置。
13. Ａ／Ｄ変換手段が、撮像して得られた画像信号をＡ／Ｄ変換して撮像画像データを取得し、
    第１の画像データ処理手段が、前記撮像画像データから記録のための画像データを生成するための第１の前処理を行い、又は第２の画像データ処理手段が、前記撮像画像データから前記記録のための画像データよりもデータ数の少ない表示のための画像データを生成するためにフィルタ処理及び画素数変換処理を含む第２の前処理を行い、或いは前記第１の前処理と前記第２の前処理とを並列して行い、
    記憶手段が、前記記録のための画像データを生成するための第１の前処理を行った画像データ及び前記表示のための画像データを生成するための第２の前処理を行った画像データを共に一時記憶し、
    第３の画像データ処理手段が、前記記憶した記録のための画像データ及び表示のための画像データを基に、前記撮像画像データに係る記録及び表示を行うための画像処理を行い、
    前記フィルタ処理及び前記画素数変換処理は、画素数減少率を１／２ｎ（ｎは正の整数）とする場合に、両処理後の画素位置が前記フィルタ処理に用いるフィルタのタップ中心から１／４ずらした位置になるよう補間処理を行うようになされた、
    ことを特徴とする電子カメラ装置の画像処理方法。
14. 前記フィルタ処理及び前記画素数変換処理は、画素数減少率を１／（２ｎ＋１）（ｎは正の整数）とする場合に、両処理後の画素位置が前記フィルタ処理に用いるフィルタのタップ中心になるよう補間処理を行うようになされた、
    ことを特徴とする請求項１３記載の電子カメラ装置の画像処理方法。

Images