JP4596988B2

JP4596988B2 - 画像撮像装置

Info

Publication number: JP4596988B2
Application number: JP2005166926A
Authority: JP
Inventors: 基雄東
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-06-07
Filing date: 2005-06-07
Publication date: 2010-12-15
Anticipated expiration: 2025-06-07
Also published as: JP2006345056A

Description

本発明は、画像撮像装置に関し、特に、画角の異なる画像を同時に取得する際に用いて好適な画像撮像装置に関する。

従来から、ビデオカメラやデジタルカメラなどの画像入力装置においては、撮影する被写体までの距離や被写体の画角に対して占める大きさに合わせてレンズの焦点距離を変更し、拡大縮小を自由に行うズーム機能が広く利用されている。これらのズーム機能の方式としては、通常内部のレンズを機械的に動かす事により実現されている光学ズームと、イメージャから出力される画像の一部を利用し、画素間に新たな画素を補間することにより電子的に被写体を拡大する電子ズームに大別される。ここで、電子ズームは、光学ズームと比較して駆動部分が無く小型かつ安価に装置を構成できるという利点を有する一方で、画質的に劣るという問題点がある。

こうした問題に対して、図２９に示すように、入力画像の周辺部を圧縮する機能を持つ固定焦点距離画像入力光学系と、これを受光する、主として、均一な画素密度を有する受光素子とを備え、この圧縮による歪みを含んだ受光素子の受光画像を補正変換する機能を備える事により、その動作領域において同等の解像度のズーム画像を実現する事を特徴とする電子ズーム画像入力方式が知られている（例えば、特許文献１参照。）。そのため、このような方式を採用すれば、広角画像についても、望遠画像についても、周辺部の画質劣化は避けられないものの、中央部の画像劣化が少ない画像を得ることが期待できる。
特開平１０−２３３９５０号公報

しかし、上記特許文献１に記載された画像入力装置で撮影された画像は、中央部分と周辺部分とで特性が異なるため、単純な座標変換処理によって光学系の歪曲収差を補正するだけでは画質的に良いものは得がたいという問題がある。

そこで、本発明は、上記課題を解決するためになされたものであり、画角の異なる画像を高画質に同時に得ることが可能な画像撮像装置を提供することを目的とする。

前記課題を解決するため、本発明は、以下の手段を提案している。
請求項１に係る発明は、中央部を拡大し周辺部を圧縮する歪曲収差特性を持つ光学系と、画素単位で、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の色フィルタが所定の配列で貼付され、画素が二次元に配列され、前記光学系により結像された被写体像を画像データに変換するイメージセンサと、前記イメージセンサ上の任意の画素の周囲に位置し、該任意の画素が有する色とは異なる同一色の色フィルタが貼付された画素群の各画像データに対して、前記任意の画素から前記光学系の歪曲収差特性を補正した後における前記画素群の各画素までの画素間距離に応じた重み付けを行って画素を加算し、前記任意の画素における他の色の画像データを生成するＲＧＢ同時化回路と、を有することを特徴とする画像撮像装置を提案している。
この発明によれば、ＲＧＢ同時化回路により、イメージセンサ上の任意の画素における他の色の画像データは、その周囲に位置し、この任意の画素の色とは異なり、かつ同一色の色フィルタが貼付された画素群の各画像データに対して、任意画素から先の画素群の各画素までの光学系の歪曲収差特性を補正した後の画素間距離に応じた重み付けを行って画素を加算することにより生成される。したがって、光学系の歪曲収差特性に応じて各画素の画像データが生成されるので、精度の高い他の色の画像データが得られる。

請求項２に係る発明は、請求項１に記載された画像撮像装置について、前記イメージセンサからの画像データを記憶するフレームメモリと、該フレームメモリから、指定された画角に応じた画像データを読み出すフレームメモリ出力制御回路と、前記ＲＧＢ同時化回路によって同時化された画像データの内、第１の閾値よりも小さな歪曲収差特性を有する領域に対して第１のフィルタリング処理を実行する第１のフィルタ回路と、前記第１のフィルタ回路からの出力画像データに対して、その歪曲収差を補正する歪曲収差補正回路と、を更に有し、前記ＲＧＢ同時化回路は、前記フレームメモリから読み出された画像データに対して、前記イメージセンサ上の任意の画素の周囲に位置し、該任意の画素が有する色とは異なる同一色の色フィルタが貼付された画素群の各画像データに対して、前記任意の画素から前記光学系の歪曲収差特性を補正した後における前記画素群の各画素までの画素間距離に応じた重み付けを行って画素を加算し、前記任意の画素における他の色の画像データを生成する、ことを特徴とする画像撮像装置を提案している。
この発明によれば、中央部が拡大され、且つ、周辺部が圧縮された歪曲収差特性を持つ被写体像に係る画像データが記憶されたフレームメモリから、フレームメモリ出力制御回路により、指定された画角に応じた画像データが読み出され、ＲＧＢ同時化回路により、同時化された画像データの内、第１の閾値よりも小さい歪曲収差特性を有する領域に対し、第１のフィルタ回路によりフィルタリング処理が実行された後、その出力画像データに対して、その歪曲収差が歪曲収差補正回路により補正される。このとき、ＲＧＢ同時化回路は、フレームメモリから読み出された画像データに対して、その周囲に位置し、この任意の画素の色とは異なり、かつ同一色の色フィルタが貼付された画素群の各画像データに対して、任意画素から先の画素群の各画素までの光学系の歪曲収差特性を補正した後の画素間距離に応じた重み付けを行って画素を加算することにより、イメージセンサ上の任意の画素における他の色の画像データを生成する。したがって、光学系の歪曲収差特性に応じて精度の高い各画素の画像データが生成され、また、歪曲収差補正時に、実空間上で狭まる領域の画質劣化が抑えられ、任意の画角においても高画質な画像を得ることができる。

請求項３に係る発明は、請求項２に記載された画像撮像装置について、前記歪曲収差補正回路からの出力画像データの内、第２の閾値よりも大きい歪曲収差特性を有する領域に対し、前記第１のフィルタ回路によるフィルタリングとは異なるフィルタリング処理を実行する第２のフィルタ回路を更に有することを特徴とする画像撮像装置を提案している。

この発明によれば、歪曲収差補正回路からの出力画像データの内、第２の閾値よりも大きい歪曲収差特性を有する領域に対し、第２のフィルタ回路により、第１のフィルタ回路によるフィルタリングとは異なるフィルタリング処理が実行される。したがって、歪曲収差補正時に、実空間上で広がる領域の画質劣化が抑えられ、任意の画角においても高画質な画像を得ることができる。

請求項４に係る発明は、請求項３に記載された画像撮像装置について、前記第２のフィルタ回路は、前記画像データ中に含まれるエッジを強調するエッジ強調処理を実行することを特徴とする画像撮像装置を提案している。

この発明によれば、画像データ中に含まれるエッジを強調するエッジ強調処理が、第２のフィルタ回路により実行される。したがって、エッジを強調することにより、領域拡大により低下した空間的な高周波成分を補うことができ、任意の画角においても高画質な画像を得ることができる。

請求項５に係る発明は、請求項３に記載された画像撮像装置について、前記第２のフィルタ回路は、前記画像データ中に含まれるノイズを軽減するノイズ軽減処理を実行することを特徴とする画像撮像装置を提案している。

この発明によれば、画像データ中に含まれるノイズを軽減するノイズ軽減処理が、第２のフィルタ回路により実行される。したがって、領域が小さくなる部分は、領域を小さくすることによりノイズ軽減されるが、この効果がない拡大される領域に関しても、ノイズを軽減することができるため、任意の画角においても高画質な画像を得ることができる。

請求項６に係る発明は、請求項２または３に記載された画像撮像装置について、前記画像データ中の画素欠陥を補正する画素欠陥補正手段、前記画像データのホワイトバランスを補正するホワイトバランス補正手段、又は、前記画像データのシェーディングを補正するシェーディング補正手段の内、少なくとも１つを含む画像データ補正手段を、更に有し、前記フレームメモリは、前記画像データ補正手段からの出力画像データを記憶することを特徴とする画像撮像装置を提案している。

この発明によれば、画像データ補正手段により、画像データ中の画素欠陥、画像データのホワイトバランス、又は、画像データのシェーディングの、少なくとも１つの画像処理が施され、処理後の出力画像データがフレームメモリに記憶される。したがって、歪曲収差を補正する前に予め、画像データ中の画素欠陥、画像データのホワイトバランス、又は、画像データのシェーディングの、少なくとも１つの画像処理が施された出力画像データがフレームメモリに記憶されるため、任意の画角においても高画質な画像を得ることができる。

請求項７に係る発明は、請求項６に記載された画像撮像装置について、前記シェーディング補正手段は、前記歪曲収差特性と、前記光学系を保持する鏡枠による周辺減光特性とに基づいて補正処理を実行することを特徴とする画像撮像装置を提案している。

この発明によれば、画像データに対して、歪曲収差特性と光学系を保持する鏡枠による周辺減光特性とに基づき、シェーディング補正処理が実行される。したがって、歪曲収差特性と光学系を保持する鏡枠による周辺減光特性とに基づき、シェーディング補正処理が実行されるので、画面全体で輝度の揺らぎを抑えた画像データがフレームメモリに記憶される。

請求項８に係る発明は、請求項７に記載された画像撮像装置について、前記シェーディング補正手段が、前記光学系の光軸上に配置された補正処理に対応する特性を有する光学フィルタであることを特徴とする画像撮像装置を提案している。

この発明によれば、補正処理に対応する特性を有する光学フィルタを経た被写体像がイメージセンサ上に結像され、画像データとしてイメージセンサから出力される。したがって、光学系内で、シェーディング補正処理に対応する特性が被写体像に対して付与されるので、その分、後段の処理を軽減することができる。

請求項９に係る発明は、請求項７に記載された画像撮像装置について、前記シェーディング補正手段が、補正処理に対応する大きさ又は透過率の少なくとも一方の特性を有し、前記イメージセンサに画素単位で形成されたマイクロレンズであることを特徴とする画像撮像装置を提案している。

この発明によれば、補正処理に対応する大きさ又は透過率の少なくとも一方の特性を有するマイクロレンズが画素単位で形成されたイメージセンサにより、被写体像が画像データに変換されて出力される。したがって、イメージセンサ上のマイクロレンズにより、シェーディング補正処理に対応する特性が被写体像に対して付与されるので、その分、後段の処理を軽減することができる。

請求項１０に係る発明は、請求項１に記載された画像撮像装置について、前記光学系は、前記歪曲収差特性を記憶した記憶装置とともに鏡枠に保持されており、前記歪曲収差補正回路は、前記記憶装置から読み出された前記歪曲収差特性に基づいて処理を実行することを特徴とする画像撮像装置を提案している。

この発明によれば、鏡枠内の記憶装置から読み出された歪曲収差特性に基づき、画像データに対し、歪曲収差の補正が実行される。したがって、鏡枠内に、歪曲収差特性を記憶した記憶装置を有しているため、鏡枠を交換した際にも、交換した鏡枠に応じた歪曲収差補正が行える。

請求項１１に係る発明は、請求項２に記載された画像撮像装置について、前記第１のフィルタ回路は、前記画像データに対してローパスフィルタ処理を実行することを特徴とする画像撮像装置を提案している。

この発明によれば、第１のフィルタ回路により、画像データの第１の閾値よりも小さい歪曲収差特性を有する領域に対してローパスフィルタ処理が施された後、歪曲収差補正回路に入力される。したがって、歪曲収差補正時に、実空間上で狭まるこれらの領域の、折り返し歪の影響による画質の劣化が抑えられ、任意の画角においても高画質な画像を得ることができる。

請求項１２に係る発明は、請求項１に記載された画像撮像装置について、前記イメージセンサは、前記画像データを出力させるラインを間引く割合を、前記歪曲収差特性に応じて異ならせるモードを備えることを特徴とする画像撮像装置を提案している。

この発明によれば、歪曲収差特性に応じ、異なった間引きの割合で、ラインから画像データを出力するモードを設定することが可能となる。したがって、歪曲収差補正後の画質の劣化を抑えた間引き画像を得ることができ、撮影する画角を決めるために被写体を観察する際に使うスルー画や動画を撮影する際のイメージセンサ出力画像データが得られる。

請求項１３に係る発明は、請求項１に記載された画像撮像装置について、前記ＲＧＢ同時化回路は、前記任意の画素をＤＸ、前記画素群の内、前記ＤＸを挟んで左右に位置する画素をＤ１、Ｄ２、及び前記ＤＸを挟んで上下に位置する画素をＤ３、Ｄ４、歪曲収差補正後の画素Ｄ１と画素ＤＸの距離をＴ１、画素Ｄ２と画素ＤＸとの距離をＴ２、画素Ｄ３と画素ＤＸとの距離をＴ３、画素Ｄ４と画素ＤＸとの距離をＴ４としたときに、前記任意の画素ＤＸの他の色の画像データを、数１から数３までの何れか１つを用いて演算することを特徴とする画像撮像装置を提案している。

この発明によれば、任意の画素の色とは異なり、かつ同一色の色フィルタが貼付された画素群の各画像データに対して、光学系の歪曲収差特性を補正した後の画素間距離に反比例した重み付けを行って、近傍４点の補間（数１）、左右の２点の補間（数２）、又は上下の２点の補間（数３）により、任意画素における他の色の画像データが生成される。したがって、光学系の歪曲収差特性に応じて各画素の画像データが生成されるので、精度の高い画像データが得られる。

本発明によれば、画角の異なる画像を高画質に、しかも同時に得ることができるという効果がある。

（第１の実施の形態）
図１は本発明の第１の実施形態に係る画像撮像装置たるデジタルカメラを示す構成図である。
図１に示すように、デジタルカメラは、歪曲収差を持つ光学系１０１と、イメージセンサ１０２と、第１のフィルタ回路、第２のフィルタ回路、歪曲収差補正回路、画像データ補正手段、ＲＧＢ同時化回路たる歪曲収差補正画像処理装置１０３と、画像表示装置１０４と、フレームメモリたる画像記憶装置１０５と、フレームメモリ出力制御回路たる制御装置１０６と、操作部１０７とから構成されている。

歪曲収差を持つ光学系１０１は、中央部を拡大し、周辺部を圧縮する歪曲収差特性を有する光学系である。イメージセンサ１０２は、歪曲収差を持つ光学系１０１を通して撮像された光学像を電気信号に変換するための光電変換素子であり、例えば、ＣＣＤやＣＭＯＳセンサー等である。歪曲収差補正画像処理装置１０３は、イメージセンサ１０２から出力された画像信号に対して、これを表示や圧縮に必要な形式に変換する。また、光学歪曲収差を補正し、高画質化のための画像処理を行い、記録の為のデータ圧縮処理を行う。なお、構成の詳細については後述する。

画像表示装置１０４は、液晶等から構成され、撮影された画像を表示する。画像記憶装置１０５は、撮影した画像データを記録するための半導体メモリや磁気メモリ等である。制御装置１０６は、歪曲収差を持つ光学系１０１、イメージセンサ１０２、歪曲収差補正画像処理装置１０３、画像表示装置１０４等を図示しないＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等に格納された制御プログラムにしたがって制御する。操作部１０７は、ユーザがカメラを操作するために用いる各種機能に対応するボタンやスイッチ類、情報表示部等から構成されている。

図２（ａ）、（ｂ）は、図２（ｃ）に示すような歪曲収差が無い通常の光学系で撮影された光学像を歪曲収差を持つ光学系１０１で撮影した場合の光学像を例示している。このうち、図２（ａ）は、縦・横独立に周辺部になるほど光学像を圧縮するような歪曲収差を発生させた光学系で撮影される光学像の例であり、図２（ｂ）は、共軸系の光学系により、同心円状に中心部からの距離が大きくなるほど光学像を圧縮するような樽型の歪曲収差を発生させた光学系で撮影される光学像の例である。なお、図２（ａ）〜（ｃ）は全て同一の被写体を撮影した光学像の例である。

このように、本発明の歪曲収差を持つ光学系１０１は、中央部の画像は拡大され、周辺部の画像は縮小されるように構成されているものであり、図２（ａ）、図２（ｂ）の光学系を組み合わせたような光学歪曲収差として実現することも可能である。なお、一般的に、図２（ａ）のような歪曲収差を発生させた方が、より高画質に補正を行う事が可能である。以下では、図２（ａ）の歪曲収差を例に、本実施形態について説明する。

図３は、図２（ａ）の場合と同様に、縦・横独立な歪曲収差を持つ光学系１０１により撮影された画像データを示す模式図であり、図３（ａ）は、撮影された原画を、図３（ｂ）は、この被写体の本来の画像、すなわち、光学収差の無い光学系で撮影された画像を示している。

図３（ａ）は、前述した図２（ａ）と同様に、被写体の中央部が縦・横共に拡大され、被写体の周辺部が縦・横共に圧縮されている。この図３（ａ）、図３（ｂ）における（１）〜（１３）は被写体の横方向に等間隔の距離を有する座標位置を示しており、Ａ〜Ｏは縦方向に等間隔の距離を有する座標位置を示している。従って、図３（ａ）、図３（ｂ）において、同一の符号により定められる座標位置（例えば、図３（ａ）における（（７）、Ｈ）と図３（ｂ）における（（７）、Ｈ））には、同じ画像が対応している。なお、このような歪曲収差を持つ光学系は、図４に示すようにカマボコ形のシリンドリカルレンズ４０１、４０２を縦・横に組み合わせる事により実現できる。

図３（ｂ）に示すような風景を本実施形態におけるデジタルカメラで撮影した場合、その光学像は歪曲収差を持つ光学系１０１を通して、その中央部が拡大され、周辺部が圧縮されて図３（ａ）に示すような画像としてイメージセンサ１０２上に像を結ぶ。そして、この歪曲収差を持った光学像は、イメージセンサ１０２により電気信号に変換される。

なお、このイメージセンサ１０２にはベイヤー配列の色フィルタが貼付られており、ベイヤー配列の色情報を含む画素データが順次出力される。そして、この画素データは図示しないアナログフロントエンド回路（ＣＤＳ・ＰＧＡ・Ａ／Ｄ）を通じてデジタル信号に変換され、歪曲収差補正画像処理装置１０３に入力される。

歪曲収差補正画像処理装置１０３は、図５に示すように、画像データ補正手段たる画像補正部５０１と、ＲＧＢ同時化回路たるＲＧＢ同時化部５０２と、第１のフィルタ回路たる第１のフィルタ５０３と、歪曲収差補正回路たる収差補正部５０４と、拡大／縮小部５０５と、第２のフィルタ回路たる第２のフィルタ５０７と、ＹＣ変換部５０８と、画像圧縮部５０９と、表示用変換部５１０と、フレームメモリ５１１とから構成されている。

画像補正回路５０１は、イメージセンサ１０２から入力した撮影画像に対して、画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）を実施する。なお、このシェーディング補正は、図６（ａ）および（ｂ）に示すように、光学系の歪曲収差により周辺部が圧縮される事による増光の影響と、鏡枠等により周辺光がけられる影響による減光の影響を加味し、図７（ａ）または（ｂ）に示すような補正回路により補正を行う。

具体的な補正処理は、図７（ａ）の場合、イメージセンサ１０２から入力した画像における物理的な座標位置をアドレスとして指定すると、補正係数がデータとして出力される参照テーブルメモリ７０１を用いて行われる。また、図７（ｂ）の場合には、歪曲収差による増光の影響を物理的な座標位置（ｘ，ｙ）の関数Ｆ（ｘ，ｙ）として表したものと、鏡枠等により周辺光がけられる影響による減光の影響を物理的な座標位置（ｘ，ｙ）の関数Ｇ（ｘ，ｙ）として表したものの積として演算器７０２が構成され、この演算器７０２に物理的な座標位置（ｘ，ｙ）をアドレスとして入力することにより、演算結果として補正係数が出力される。

なお、図示しないが、参照テーブルメモリ７０１の容量を複数点分に限定し、テーブルに無い座標位置の補正係数を参照テーブルメモリ７０１に保存されている近傍の座標のデータから線形補間などによって計算して算出してもかまわない。

また、こういったシェーディング補正は、図７（ｃ）に示すような光学系の歪曲収差により周辺部が圧縮される事による増光の影響と、鏡枠等により周辺光がけられる影響による減光の影響を加味した特性に基づいて光の透過率を変化させたような光学減光フィルタを歪曲収差を持つ光学系に加える事によっても実現できる。また、さらに、図７（ｄ）に示すようなイメージャのオンチップレンズの大きさや透過率などにより光学系の歪曲収差によって周辺部が圧縮される事による増光の影響と、鏡枠等により周辺光がけられる影響による減光の影響を加味した特性に基づいて開口率を変化させる事などによっても補正を行う事ができる。

フレームメモリ５１１は、画像補正回路５０１によって画像補正を施された画像信号を格納する。なお、このように、一度、画像信号をフレームメモリに記録する理由は、図８に示すように、イメージャから出力されるプログレッシブやインターレースのラスタースキャンにおけるデータの並びを後段の空間的な画像処理が連続する処理系において、フレームメモリを介さなくても連続して処理できるデータの並び順であるブロックラインスキャンなどに並び替える為であり、もうひとつは、後述するように、広角画像・望遠画像を同時撮影する事を可能にする為である。

ＲＧＢ同時化回路５０２は、フレームメモリ５１１から撮影者が指定した画角に応じた分の画像データを読み出し、このベイヤー画像データから全座標位置におけるＲＧＢ全ての色データを補間によって生成する。

なお、こういった同時化の処理は、通常、周囲の同色フィルタの画素データから補間して生成する。これを図９（ａ）を用いて、説明する。いま、赤色のデータに着目すると、例えば、図９（ａ）において、９０２の位置のデータは、９０１のデータと９０３のデータから補間して生成し、９０４の位置のデータは、９０１のデータと９０７のデータとから補間して生成する。この際、光学系に歪曲収差が無ければ、２つの画素の平均値として補間データを生成すれば良いが、撮像されたベイヤーの画像データは図９（ａ）に示すように光学歪曲収差により歪んでいるものをイメージセンサにより均等にサンプリングした画像データとなっている。従って、実際の風景（補正後の画像）は図９（ｂ）のようになり、得られる画素の座標位置は均等にはならない。（図９（ａ）および（ｂ）で（１）〜（１３）は被写体に対して、横方向に等間隔である座標位置を示しており、Ａ〜Ｏは縦方向に等間隔である座標位置を示している。従って、例えば、図９（ａ）における（（２）、Ｂ）と図９（ｂ）における（（２）、Ｂ））とは、同じ画像が対応している。）

このため、撮像された画像を高画質に補間するためには、実際の風景（補正後の画像）における距離に応じて補正を行う必要がある。つまり、図９（ａ）における９０１の画素データと９０３の画素データとから９０２の画素データを補間する際、補正後の（図９（ｂ）の）９０１の画素データと９０２の画素データ間との距離がＸＡ、補正後の９０３の画素データと９０２の画素データ間との距離がＸＢである場合、９０２の位置のＲ色データは、
９０２のＲデータ＝（９０１のＲデータ×（ＸＢ／（ＸＡ＋ＸＢ））
＋（９０３のＲデータ×（ＸＡ／（ＸＡ＋ＸＢ））
として補間して生成する必要がある。

また、同様に、
９０４の位置のＲデータ＝（９０１のＲデータ×（ＹＢ／（ＹＡ＋ＹＢ））
＋（９０７のＲデータ×（ＹＡ／（ＹＡ＋ＹＢ））
として補間して生成する必要がある。なお、他の座標位置のＲデータ及びＢデータ、Ｇデータも同様にして生成することができる。

また、上記は、近傍２点から補間する例を示したが、Ｇデータなどは近傍の４点から補正する方が高画質に補正できる。この場合、歪曲収差補正後の被写体の画素間距離に反比例した重み付けを行って同様に補正すれば良く、下記の演算式にて生成する事もできる。
９０５のＧデータ＝（９０４のＧデータ×（ＸＢ／（ＸＡ＋ＸＢ））
＋（９０６のＧデータ×（ＸＡ／（ＸＡ＋ＸＢ））／２）
＋（９０２のＧデータ×（ＹＢ／（ＹＡ＋ＹＢ））
＋（９０８のＧデータ×（ＹＡ／（ＹＡ＋ＹＢ））／２）
また、ＲデータやＢデータも上記近傍２点からの生成と組み合わせたり、斜め方向の近傍画素からの補間を行う事により同様にして生成することができる。

第１のフィルタ５０３は、ＲＧＢ同時化部５０２によってＲＧＢ同時化された画像データを歪曲収差補正処理に先立って、ＲＧＢ各色の信号に対して、それぞれ独立に空間的なフィルタ処理を行う。これは、歪曲収差補正を行う際に、画像の中央部分が縮小されるときに画像の高周波成分が折り返って画質を劣化させる事を防止するために行う処理である。なお、このローパスフィルタの特性は、撮影したい画角（ズーム位置）に応じて変化させる必要があり、図１０（ａ）から図１０（ｂ）のように、イメージセンサ１０２の出力画像を縮小処理しなければならない場合に、図１０（ａ）の１００１に示す中央の領域に関してのみ実行する必要があり、画像周辺部の逆に拡大処理しなければならない領域１００２には実行されないようにする必要がある。

図１１は、第１のフィルタ５０３を３×３の空間フィルタとして構成した例であり、係数（Ｃ１１〜Ｃ３３）の値を設定する事によってローパスフィルタとして機能させることが出来る。なお、レジスタに格納されている係数（Ｃ１１〜Ｃ３３）は画素の座標位置に応じて値を変更する必要があり、図１０（ａ）の周辺部１００２の領域においては、Ｃ２２のみを”１”に設定し他を”０“に設定する事により、フィルタが作用しないように制御する。また、中央部のフィルタ処理領域１００１のフィルタ係数は、その座標位置により、画角と歪曲収差の度合により決定される縮小率に応じて変化させることが高画質に画像処理を行う上で望ましい。

図１１の構成例では、全ての係数を歪曲収差による影響を加味して独立に設定できるように構成したが、画質を多少犠牲にし、歪曲収差の影響を無視して、上下・左右に対象な位置の画素データを先に加算してから共通化した係数を乗じるように構成して、必要な乗算器の数を削減して回路規模を小さく構成する事もできるし、さらに画質を犠牲にして一定値とすることもできる。ただし、この場合、１００１と１００２との境界部のみはぼかす必要がある。また、歪曲収差が大きく、中央部の縮小率が大きい場合には、回路規模が大きくなってしまうが４×４や５×５のようにもっと大きなフィルタを構成する必要がある。また、フィルタの構成は本実施形態で示したようなマトリックスフィルタに限らない。

収差補正部５０４は、第１のフィルタ５０３において、歪曲収差補正により縮小される画像の中央部に対して、ローパスフィルタ処理を施された画像信号をＲＧＢ各色独立に入力する。収差補正部５０４の具体的な構成は、図１２に示すようになっており、歪曲収差補正後の画像データの座標から対応する歪曲収差を持った画像上の座標位置を計算する対応座標算出部１２０１と、前段の第１のフィルタ５０３等で処理された画像データを格納するＩＦ画像メモリ１２０２と、対応座標算出部１２０１で計算した目標とする座標の画素データを得るために必要な記録済の近傍画素データの座標を演算し、この座標のデータをＩＦ画像メモリ１２０２から読み出す近傍画素データ読出部１２０３と、近傍画素データ読出部１２０３において読み出された近傍の画素データから目標とする座標の画素データを演算する補正画素値演算部１２０４とから構成される。

次に、図１３を用いて、収差補正部５０４における歪曲収差補正の方法について説明する。
図１３（ａ）は歪曲収差補正後の画像であり、この図の格子の交点の画素データを演算することがこの収差補正部の目的である。ここで、座標値（Ｘｎ，Ｙｎ）の画素１３０１を求める場合を例に説明する。

まず、対応座標算出部１２０１に、座標値（Ｘｎ，Ｙｎ）を入力すると、対応座標算出部１２０１は、光学歪曲収差や倍率色収差を補正する前の原画における対応する座標値（Ｘｓ，Ｙｓ）を計算する。なお、本実施形態のように縦・横独立に１次元の歪曲収差を持つ場合には、それぞれの座標値を独立に演算して求める事が可能である。また、この演算はレンズ設計にも依存するが、一次元であるため簡単な演算回路で実現したり、入力座標をアドレスとし、対応するデータに出力座標値を記録したテーブルメモリを用いたり、あるいは、テーブルメモリの数を離散的な数点に限り中間を線形補間で実現する折れ線近似法などにより求めることが出来る。

このようにして演算した座標の位置を図１３（ｂ）の１３０２とする。なお、図１３（ｂ）に示す格子は、図１３（ａ）の格子に対応するように記載されており、中央部が拡大され、周辺部が圧縮された光学歪曲収差を持っている事を示している。従って、１３０２は目標とする座標位置から物理的な座標位置はずれているが、対応する画像が映っている座標である事が解る。

しかし、イメージセンサ１０２により実際に撮像された画素の位置は図１３（ｃ）に示すように、この歪曲収差を持った画像上で均等の格子状の位置となり、求めたい画素位置のデータではない。従って、近傍画素データ読出部１２０３により目標画素１３０３（Ｘｓ，Ｙｓ）の近傍の記録されている座標位置のデータ１３０４〜１３０７をＩＦ画像メモリ１２０２から読出し、補正画素値演算部１２０４において、線形補間などの手段により目標画素１３０３（Ｘｓ，Ｙｓ）の値を算出する。なお、本実施形態においては、近傍４画素から線形補間により演算する方法を示したが、補間演算はこの方法に限らず、最近傍の画素で代用したり、近傍１６画素からキュービック補間により算出したり、他の補間方法を用いてもかまわない。

また、本実施形態では、ＲＧＢ各色信号を独立に収差補正を実施する構成を採っている。従って、光学系が倍率色収差を持っていた場合にも、各色毎に補正量を調整する事により歪曲収差と同時に収差補正を行う事が可能である。逆に、もしも倍率色収差が補正の不要な程度に小さい場合には、補正画素値演算部１２０４を各色で共通化できるため、回路規模を小さく構成することも可能である。

また、本実施形態では、光学歪曲収差を縦・横独立に行う方法を示したが、共軸系のレンズを用いた場合には、中心からの距離に応じて同心円状の歪曲収差が発生する。こういった場合の座標値は、一般的にＹ＝多項式で求める事が可能である。また、入力座標をアドレスとし、対応するデータに出力座標値を記録したテーブルメモリを用いたり、テーブルメモリの数を離散的な数点に限り中間を線形補間で実現する折れ線近似法などにより求めることも出来る。

拡大／縮小部５０５は、収差補正部５０４において、歪曲収差を補正された画像データを入力し、ＲＧＢそれぞれの信号毎に線形補間やＣｕｂｉｃ補間などにより補間画素値を計算する。拡大／縮小部５０５は、図１４に示すように、対応座標算出部１４０１と、ＩＦ画像メモリ１４０２と、近傍画素データ読出部１４０３と、補正画素値演算部１４０４とから構成されている。

対応座標算出部１４０１は、座標値（Ｘｎ，Ｙｎ）を入力すると、画像の拡大または縮小を行う前の原画における対応する座標値（Ｘｓ，Ｙｓ）を計算する。ＩＦ画像メモリ１４０２は、歪曲収差補正を実施した画像データを格納する。画素データ読出部１４０３は拡大／縮小後の目標とする座標位置の画素値を計算するため、保存されている近傍の画素データを読み出す。補正画素値演算部１４０４は、近傍の画素データから目標とする座標位置の画素値を計算する。

図１５は、この拡大／縮小処理を説明するための図である。
同図において、実線の格子部１５１８はＩＦ画像メモリ１４０２に格納されている入力画像データの画素が記録されている位置を示しており、破線の格子部１５１９は、縮小処理を行うために求める画素の座標位置を示している。ここで、破線の格子上の１５０１の画素値を求める場合、この画素の破線の格子部１５１９における座標位置が対応座標算出部１４０１に入力され、入力画像の実線の格子部１５１８における座標位置に変換される。そして、この座標位置データは、近傍画素データ読出部１４０３に入力され、近傍画素データ読出部１４０３にて、画素値算出対象である１５０１近傍にある１６点の実線格子上の座標位置を演算し、これらの画素データをＩＦ画像メモリ１４０２から読み出す。そして、これらの画像データを補正画素値演算部１４０４に出力して、補正画素値演算部１４０４において、キュービック補間により、求める１５０１の画素値を計算する。なお、この補間演算はこの方法に限らず、最近傍の画素で代用したり、近傍４画素から線形補間により算出したり、他の補間方法を用いてもかまわない。

このようにして、所望の大きさにリサイズされた画像データは、図５に示す第２のフィルタ５０７に入力され、空間的なフィルタ処理を施される。これは、歪曲収差補正を行った結果、画像の周辺部分が拡大される事に伴って画像の解像度が低下して劣化した画質を回復するために行うエッジ強調フィルタ処理や第１のフィルタ５０３や歪補正による縮小によってノイズが軽減される中央部とのノイズレベル差を軽減するためのノイズ軽減フィルタ処理である。

この処理は、撮影したい画角（ズーム位置）に応じて変化するイメージセンサ出力画像を拡大処理しなければならない図１０（ａ）の１００２に示すような周辺の領域に関してのみ実行する事が望ましい。これは、画像中央部の縮小処理された領域は解像度が低下しておらず、そのままでは画像周辺部だけがボケた画像になる事を防止する為である。また、画像中央部は縮小される事によりノイズの軽減効果も得られる為、画像周辺部だけがノイズが目立つ画像になる事を防止する為である。従って、画像の中央部については、エッジ強調処理やノイズ軽減処理も少なくとも画像周辺部と同等には実行する必要がない。

このフィルタは、図１１のローパスフィルタと同じ構成で実現可能であり、係数（Ｃ１１〜Ｃ３３）の値を設定する事によってエッジ強調フィルタとして機能させることが出来る。なお、レジスタに格納されている係数（Ｃ１１〜Ｃ３３）は画素の座標位置に応じて、値を変更する必要があり、図１０（ａ）の中央部１００１のような領域においては、Ｃ２２のみを”１”に設定し他を”０“に設定する事により、フィルタが作用しないように制御する事もできる。

図１１の構成例では、全ての係数を歪曲収差による影響を加味して独立に設定できるように構成したが、画質を多少犠牲にして歪曲収差の影響を無視して上下・左右に対象な位置の画素データを先に加算してから共通化した係数を乗じるように構成し、必要な乗算器の数を削減して回路規模を小さく構成する事もできる。また、歪曲収差が大きく周辺部の拡大率が大きい場合には回路規模が大きくなってしまうが、４×４や５×５のようにもっと大きなフィルタとして構成した方が画質の向上を図ることができるし、さらに画質を犠牲にして一定値とすることもできる。ただし、この場合、１００１と１００２との境界部のみはぼかす必要がある。また、フィルタは本実施形態で示したようなマトリックスフィルタに限らない。

上記のようにして周辺部の画質を回復させた後、画像データは、図５に示す表示用変換部５１０に入力され、ＴＦＴ液晶パネルなど画像表示装置の入力に必要な形式に変換（ＮＴＳＣ形式などに合わせた画像のリサイズやインターレース変換など）した後、図１に示す画像表示装置１０４に出力される。また、この画像信号は同時に、ＹＣ変換部５０８において、ＲＧＢの色空間からＹＣｂＣｒの色空間に変換され、ＪＰＥＧ等の画像圧縮部５０９にて圧縮処理を施した後に、図１に示す画像記憶装置１０５に出力される。

なお、本実施形態においては、図５に示すように収差補正と拡大／縮小を別個に実施する例として示したが、この２つの機能は共に周辺の画素データから新しい座標位置のデータを生成する機能であり、生成する座標位置を計算する際に収差による分と、拡大／縮小による分とを併せて計算することにより、図１６に示すように、この部分を共通化して回路規模を低減することが可能である。なお、図１６においては、図５に示した構成要素と同様の機能および作用を有するものについては、同一の符号を付している。

また、図１７に示すように、ベイヤーデータのままで、上記と同様に、第１のフィルタ１７０３によって、画像中央部分にローパスフィルタ処理を施し、この画像データを入力して収差補正・拡大／縮小処理部１７０６において、収差補正と、拡大／縮小処理を行い、その後に、ＲＧＢ同時化部１７０２において、ＲＧＢ同時化処理を行うように処理の順序を変更することも可能である。但し、この場合には、図５や図１６の構成と同様にＲＧＢ独立に収差補正を行うことは可能であるが、周辺同色画素からのみの補正となるため高画質な倍率色収差の補正は困難になる。また、回路を簡易化するためには、倍率色収差補正に対応できないような構成になる。なお、図１７においては、図５に示した構成要素と同様の機能および作用を有するものについては、同一の符号を付している。

また、図１８に示すように、ＲＧＢ同時化部５０２においてＲＧＢ同時化を行った後に、ＹＣ変換部１８０８において、輝度・色差信号（ＹＣｂＣｒ信号）に変換を行い、その後、第１のフィルタ１８０３において、画像中央部分に対し、輝度・色差信号個別にローパスフィルタ処理を施し、さらに、収差補正・拡大／縮小処理部１８０６において、収差補正と拡大／縮小処理とを行って、その後に、第２のフィルタ１８０７において、周辺部のエッジ強調フィルタ処理やノイズ軽減フィルタ処理を行うように、処理の順序を変更することも可能である。なお、図１８においては、図５に示した構成要素と同様の機能および作用を有するものについては、同一の符号を付している。

なお、この場合にも、図５や図１６の構成において、ＲＧＢ独立に収差補正を行うことで可能となっていた倍率色収差の補正は困難になるが、一方で、解像度に大きく影響する輝度信号だけに高精度な処理を行う事で、高画質と低コストを両立させる事が可能になる。

また、図１９に示すように、ベイヤーデータのままで、第１のフィルタ１７０３において画像中央部分にローパスフィルタ処理を施し、この状態で、収差補正・拡大／縮小処理部１７０６において、収差補正と拡大／縮小処理とを行い、その後に、ＲＧＢ同時化部１７０２において、ＲＧＢ同時化を行った後、ＹＣ変換部１９０８において、輝度・色差信号（ＹＣｂＣｒ信号）に変換してから、第２のフィルタ１９０７において、周辺部のエッジ強調フィルタ処理やノイズ軽減フィルタ処理を行うように処理の順序を変更することも可能である。なお、図１９においては、図５、図１７、図１８に示した構成要素と同様の機能および作用を有するものについては、同一の符号を付している。

なお、この場合にも図５や図１６の構成において、ＲＧＢ独立に収差補正を行うことで可能となっていた倍率色収差の補正は困難になるが、解像度に大きく影響する輝度信号だけに高精度な処理を行う事で、高画質と低コストを両立させる事が可能になる。

次に、本実施形態におけるデジタルカメラのユーザーインターフェイスやその操作方法等に関して説明する。
本発明における歪曲収差を持つ光学系を通じて撮像された画像データからは、高画質な望遠画像と広角画像を同時に得る事が可能である。従って、通常の撮像モードに加えて、広角・望遠同時撮影モード、広角モニタ・望遠撮影モードの３種類の撮像モードの設定が可能である。また、この広角・望遠同時撮影モードは、子供の運動会や学芸会など広角画像と中央部を拡大した望遠画像の両方を同時に撮影したい場合に有効な撮像モードであり、広角モニタ・望遠撮影モードは、動きの激しい被写体を容易に追尾しつつ被写体の拡大画像を撮影するような用途に最適な撮影モードである。

本実施形態においては、この３種類の撮像モードを切替スイッチにより、図２０に示すように順次切り替えて使用する事になるが、この際、撮影者には、どういったモードで撮影されているのかを明確に示す必要がある。そこで、本発明では、通常の広角撮影や望遠撮影時には、図２１（ｃ）に示すように、一般的なカラー表示とし、広角でモニタしながら望遠撮影している場合には、図２１（ａ）のように、画像中に実際に撮影される部分をカラーで、記録されない部分を白黒などの単色表示したり、輝度を変更したり、色調を強調処理したり、淡くしたりする特殊表示とする。

また、広角望遠同時撮影を行う場合には、図２１（ｂ）のように通常撮影表示に加えて望遠側の撮影範囲を示す枠線を表示する事で撮影者に広角望遠同時撮影を行っていることを報知する。こうすることによって、ＴＦＴ液晶などのモニタを見ていれば直感的に撮影モードが解るようにする。

こういった撮影モードを制御する操作部の構成例を図２２に示し、図２２（ａ）を元にデジタルカメラの操作を説明する。撮影者は、モードボタン２２０２を操作して３つの撮影モードから所望のモードを選択する。この時、広角・望遠同時撮影モードまたは広角モニタ・望遠撮影モードを選択した場合には、撮影者が望遠側と広角側とのズーム倍率を独立して設定できる必要がある。本実施形態の図２２（ａ）の例では、広角側のＴｅｌｅ1ボタン２２０５・Ｗｉｄｅ１ボタン２２０６と、望遠側のＴｅｌｅ２ボタン２２０７・Ｗｉｄｅ２ボタン２２０８とを独立に備えているため、双方の画角を被写体の状況に合わせて設定することができる。このようにして画角を決定した後に、シャッタボタン２２０１を押すことで撮影することができる。

なお、ズームボタンは、必ずしも広角・望遠の２系統に対して独立に備える必要はなく、図２２（ｂ）に示すように１系統のＴｅｌｅボタン２２０９・Ｗｉｄｅボタン２２１０をＴ／Ｗ切替ボタン２２０３を用いて切り替えて使用する事もできる。この場合、切り替えスイッチはズームキーの中央部など近傍に配置することが望ましく、また図示しないが、どちら側に設定されているかはモニタ上に文字や記号で表示したり、枠線の色で表示し、撮影者に明示する。また、図２２（ｃ）に示すように、ズームボタンと切替スイッチを一体化した切替レバー２２０４を備えてもよい。なお、撮影中であっても、撮影モードの変更が可能なように構成されている。

また、図２２では広角・望遠の２枚を同時撮影できる例で示したが、本発明の光学歪曲収差を持つ光学系で撮影した原画からは、２枚に限らず３枚以上の任意の数の画角を同時撮影することが出来る。こういった場合、図２２（ａ）の構成では、さらにＴｅｌｅボタンとＷｉｄｅボタンを増やす必要があるが、図２２（ｂ）や図２２（ｃ）の構成では同様の操作ボタンを備える事で操作が可能となる事は自明である。

次に、広角・望遠同時撮影モード時や広角モニタ・望遠撮影モード時における、操作部のボタン操作と画面表示の関係について説明する。
図２１（ｄ）の通常撮影モード（広角）の状態から、モードボタンを押した場合、カメラの撮影モードは図２０に示すように、広角・望遠同時撮影モードとなり、この事をユーザに表示する為、画像表示装置１０４の画像は図２１（ｂ）のように変化する。そして、さらに、モードボタンを押した場合、カメラの撮影モードは図２０に示すように広角モニタ・望遠撮影モードとなり、この事をユーザに表示する為、画像表示装置１０４の画像は図２１（ａ）のように変化する。そして、この状態から、モードボタンを押した場合、カメラの撮影モードは、図２０に示すように通常撮影モードとなり、この事をユーザに表示する為、画像表示装置１０４の画像は図２１（ｄ）の状態に戻る。そして、この通常撮影状態でＴｅｌｅボタンを操作すると、図２１（ｃ）の状態（望遠）となり、Ｗｉｄｅボタンを操作すると、図２１（ｄ）の状態（広角）に戻る。

また、図２２（ｃ）の操作部を持つカメラで広角・望遠同時撮影モード時や広角モニタ・望遠撮影モード時に、Ｔ／Ｗ切替ボタンやズームを操作した場合の動作を図２３を用いて説明する。
図２３において、撮影モードが広角・望遠同時撮影モード時であり、ズームの操作がＷｉｄｅ側の画像に対して有効になっている状態を図２３（ｂ）に示す。この図では、ズーム操作が有効になっている側の枠線を太く表示してユーザに示している。なお、このように枠線の太さを変えたり、色や形を変えたり、輝度を変えたりすることで現在のズーム操作状況をユーザに示す事ができる。

この状態から、切替レバー２２０４を右に倒すとＴｅｌｅボタン操作となり、図２３（ａ）のように画面全体がズームアップされて拡大される。このとき、表示されている枠線も連動して拡大される。逆に、切替レバー２２０４を左に倒すと図２３（ｃ）のように撮影される範囲が広がると共に、縮小される。このとき、表示されている枠線も連動して縮小される。従って、切替レバー２２０４を左右に倒してズーム操作を行うと表示は図２３（ａ）〜（ｂ）〜（ｃ）と変化してユーザに撮影範囲を表示する事ができる。

次に、再び、図２３（ｂ）の状態から、今度は切替レバー２２０４を押し込んだ場合、この操作はＴ／Ｗ切替ボタンの操作となり、ズーム操作が有効となる画角が広角側から望遠側に移り、これに伴って表示も図２３（ｅ）のように枠線の太さが広角側と望遠側で入れ替わる。そして、この状態から、切替レバー２２０４を右に倒すと、Ｔｅｌｅボタン操作となり、図２３（ｄ）のように画面全体の表示は変化せず、望遠側の撮影範囲を示す枠線が小さくなる。これにより撮影範囲が狭くなる、即ち枠線の中が拡大撮影される事を表示する。

逆に、切替レバー２２０４を左に倒すと図２３（ｆ）のように、画面全体の表示は変化せず望遠側の撮影範囲を示す枠線が大きくなる。これにより撮影範囲が広くなる、即ち枠線の中が拡大撮影される事を表示する。従って、切替レバー２２０４を左右に倒してズーム操作を行うと表示は図２３（ｄ）〜（ｅ）〜（ｆ）と変化してユーザに撮影範囲を表示する事ができる。また、図２３（ｅ）の状態から、再び切替レバー２２０４を押し込んだ場合、Ｔ／Ｗ切替ボタンの操作となり、ズーム操作が有効となる画角が望遠側から広角側に移り、これに伴って表示も図２３（ｂ）のように枠線の太さが広角側と望遠側で入れ替わる。

上記の説明では、Ｔ／Ｗ切替ボタンの操作は図中の中央の（ｂ）と（ｅ）の間で説明したが、広角・望遠共にどの画角の状態であってもＴ／Ｗ切替ボタンの操作によりズーム操作が有効となる画角を入れ替える事が可能である。また、上記説明においては、切替の表示は図１の画像表示装置１０４に撮影画像と重畳して表示する方法を示したが、ユーザへの表示の方法はこれに限らず、例えば、図２２（ｄ）に示すように、操作部にＬＥＤを配置し、あるいは液晶表示パネル等を配置して、こういった部分に表示するようにしても構わないし、トグルスイッチのような状態を固定する形態のボタンを採用して表示しても良い。また、これらの複数の方法を適宜組み合わせてユーザに表示しても構わない。

広角望遠同時撮影を行う場合、イメージセンサ１０２の出力信号を歪曲収差補正画像処理装置１０３内にある図示しないＤＲＡＭ等の一時記憶媒体に保持し、まず、ユーザが設定した広角の設定値に応じて、歪曲収差補正画像処理装置１０３における各種パラメータ（輝度補正やフィルタの係数、拡大／縮小率など）の設定を行う。次に、上述したような画像処理を実行して歪曲収差が補正された広角撮影画像を得、これを圧縮して画像記憶装置１０５に記録する。

さらに、歪曲収差補正画像処理装置１０３内にある図示しないＤＲＡＭ等の一時記憶媒体に保持されている画像データから、今度は、ユーザが設定した望遠の設定値に応じて、歪曲収差画像処理装置１０３における各種パラメータ（輝度補正やフィルタの係数、拡大／縮小率など）の設定を行う。そして、上述したような画像処理を実行して、歪曲収差が補正された望遠撮影画像を得、これを圧縮して画像記憶装置１０５に記録する。

広角望遠同時撮影モード時には、このように１度の撮影により広角撮影画像と望遠撮影画像の両方の画像を得ることができる。そして、この時記録されるファイル名は後から同時撮影された事が容易に判別可能なように同一のプリフィックスを付けるなどする。また撮影後は記録された画像をプレビュー表示するが、広角側と望遠側の画像を一定時間ずつ順次表示するように構成する事もできるし、広角側又は望遠側のいずれか一方の画像を同時撮影画像である旨をユーザに明示して表示し、広角・望遠切り替えボタンの操作で表示を切り替え可能なように構成する事もできる。なお、カメラ内で歪曲収差を持った原画像から広角・望遠画像を生成する同時撮影時の画像処理の順序は広角画像と望遠画像のどちらを先に行っても構わない。

通常撮影モード時や広角モニタ・望遠撮影モード時には、歪曲収差画像処理装置１０３内にある図示しないＤＲＡＭ等の一時記憶媒体に保持されている画像データからユーザが設定した撮影画角の設定値に応じて、歪曲収差画像処理装置１０３における各種パラメータ（輝度補正やフィルタの係数、拡大／縮小率など）の設定を行う。そして、上述したような画像処理を実行して、歪曲収差が補正された撮影画像を得、これを圧縮して画像記憶装置１０５に記録する動作は１度のみである。また、撮影後は記録された画像をプレビュー表示するが、この場合には、撮影した画像を一定時間表示するのみとし、広角・望遠切り替えボタンまたはモードボタンの操作は無効とする。

本実施形態に係るデジタルカメラは当然、撮影した画像の表示も可能であり、広角・望遠同時撮影モードで撮影した画像を表示する場合には、広角側と望遠側の画像を自動的に一定時間ずつ順次繰り返して表示するように構成する事も可能であるし、通常のコマ送りボタンで広角側又は望遠側のいずれか一方の画像がユーザに同時撮影画像である旨を明示して表示された際には、通常のコマ送りボタンの操作に加えて広角・望遠切り替えボタンの操作でも表示を切り替え可能に構成する事もできる。また、通常のコマ送りボタンでは一画角のみの表示として次に進めてもよい。

本実施形態に係るデジタルカメラでは、ファインダーとして表示部にスルー画を表示する際にも、光学系の歪曲収差補正を実施する必要がある。こういった用途に向けて、イメージャには図２４（ａ）に示すように縦のラインを間引いて高フレームレートに読み出すファインダーモードが用意されている場合が多い。しかし、歪曲収差を持ち周辺部が圧縮された画像をこのように均等に間引き、それを前述したように補正し、その後補間によって必要なライン数を得た場合、画質は大幅に劣化する。従って、図２４（ｂ）に示すように歪曲補正後に得られるラインが均等になるように周辺部を密に、中央部を疎に間引くようにする事で高画質なスルー画表示を実現する。

なお、レンズの歪曲収差や鏡枠に関する情報を焦点距離やＦ値などと共にレンズ内に設けられたＲＯＭ等の情報記憶手段に格納し、カメラ本体から、この情報を読みだしてフィルタリングやシェーディング補正、歪曲収差補正のための座標変換を行うように構成する事により、レンズ交換式のカメラに適用しても、交換レンズに応じた適正な歪曲収差補正を実施する事が可能になる。

次に、デジタルカメラのズーム機能の概要について説明する。
歪曲収差を持つ光学系１０１を通じて撮像された画像は、図２５（ａ）に示すように中央部分が拡大され、周辺部分が圧縮されたような歪曲収差を有している。本発明の画像撮像装置を用いて、広角の撮影を行う場合、図２５（ａ）の２５０３で示す全画素を用いて歪曲収差補正を行うと共に、中央部は縮小し、周辺部分は拡大して図２５（ｂ）に示すような、歪曲収差が補正された元のサイズの画像データを得る。

望遠の撮影を行う場合、図２５（ａ）の２５０１で示す範囲の画素を切出して歪曲収差補正を行うと共に、中央部はそのままで、周辺部分は拡大して図２５（ｃ）に示すような、歪曲収差が補正された元のサイズの画像データを得る。広角と望遠の中間レベルの画角で撮影を行う場合、例えば、図２５（ａ）の２５０２で示す範囲の画素を切出して歪曲収差補正を行うと共に、中央部は縮小し、周辺部分は拡大して図２５（ｄ）に示すような、歪曲収差が補正された元のサイズの画像データを得る。なお、図２５（ａ）から（ｄ）において、２５０１〜２５０３は同一の画角範囲を示している。このようにする事で、駆動部が無いズームを実現できる。また、歪曲収差が無い光学系で撮影された電子ズームに比較して、望遠撮影時には切出す範囲が大きいため高画質であり、特に中央部は拡大する必要が無いため劣化が無い。

次に、図５の構成を持つ本発明の第１の実施形態であるデジタルカメラを用いて被写体を捉え、広角・望遠同時撮影を行う時の処理の流れを説明する。
まず、ユーザが、広角・望遠同時撮影モードでカメラを使用し液晶モニタを通して被写体を観測している時、本実施形態に係るデジタルカメラはイメージセンサ１０２をファインダーモードで駆動し、縦方向を２００ライン程度に間引いた画像を連続的に得る。次に、上記画像を画像補正部５０１において、画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）する。この際、上述したように歪曲収差による影響を加味した補正を実施する。画像補正されたデータは、フレームメモリ５１１に連続的に保存される。

ユーザが、広角側の画角を決めるための操作を実施している場合、このフレームメモリ５１１から、ユーザが液晶モニタで観測している広角側の画角に相当する分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。ＲＧＢ同時化部５０２は、この読み出されたベイヤーデータに対してＲＧＢ同時化処理を実施する。この際、上述したように歪曲収差による影響を加味した補正を実施する。

ＲＧＢ同時化処理されたデータは、第１のフィルタ５０３において、フィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして、画像信号を液晶モニタに表示するサイズまで縮小するのに適した係数でフィルタリングする。なお、歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、縮小されない部分についてはマトリクスフィルタの係数を中心のみ１にしてローパスフィルタがかからないようにする。

次に、第１のフィルタ５０３において、フィルタ処理されたデータは、収差補正部５０４に入力され、歪曲収差を補正するための座標変換処理が行われ、ついで、拡大／縮小部５０５において、液晶モニタに表示するサイズに縮小される。このとき、画像データに拡大処理した部分があれば、それらの部分について、第２のフィルタ５０７により、エッジ強調及びノイズ軽減処理が行われる。

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０に入力され、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。そして、表示変換部５１０は、この表示変換部５１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。

広角側の画角を操作できる状態で、ユーザが、図２２（ｂ）に示すズームを制御するＴｅｌｅボタン２２０９やＷｉｄｅボタン２２１０により画角を切替えると、ユーザが、液晶モニタで観測している画角に対応して、フレームメモリ５１１から読み出す画像データの画角を変更して読み出す。なお、これに伴って、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）が変化する為、これに連動して、ＲＧＢ同時化部５０２の処理や第１のフィルタ５０３、歪曲収差補正部５０４、拡大／縮小部５０５、第２のフィルタ５０７へのパラメータも変更する。

ユーザが、図２２（ｂ）に示すＴ／Ｗ切り替えボタン２２０３を操作すると、それまで操作していた側（例えば広角側）の画角が決定され、別の側（例えば望遠側）の画角を操作するモードになる。このとき、ユーザが、図２２（ｂ）に示すズームを制御するＴｅｌｅボタン２２０９やＷｉｄｅボタン２２１０により画角を切替えても、ユーザが液晶モニタで観測している画角に変化は無く、液晶モニタは、広角画像に対応した画角を表示し続ける。従って、フレームメモリ５１１から読み出す画像データの画角は広角側の画角に応じたものを読み出す。また、ＲＧＢ同時化部５０２の処理や第１のフィルタ５０３、歪曲収差補正部５０４、拡大／縮小部５０５、第２のフィルタ５０７へのパラメータも広角側の画角に対応したものを使用する。

図２２（ｂ）に示すズームを制御するＴｅｌｅボタン２２０９やＷｉｄｅボタン２２１０の操作に応じて変化するのは、液晶モニタ上に表示される望遠側撮影領域を示す枠であり、この枠が、Ｔｅｌｅボタン２２０９を押して望遠に倒せば小さく、Ｗｉｄｅボタン２２１０を押して広角側に倒せば大きくなるように変化する。

ユーザが、望遠側の画角も決定して、図２２（ｂ）に示すシャッタボタン２２０１を操作すると、ＡＥ／ＡＦ等の処理が実行された後、イメージセンサは全画素をプログレッシブまたはインターレースで出力する通常の撮影モードで駆動される。そして、この画像は、画像補正部５０１において、画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）が行われる。この際、上述したように歪曲収差による影響を加味した補正を実施する。

画像補正されたデータは、フレームメモリ５１１に１フレーム分保存される。そして、最初に、広角側の画像データを生成するため、このフレームメモリ５１１からユーザが広角側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。

読み出されたデータは、ＲＧＢ同時化部５０２において、ベイヤーデータからＲＧＢ同時化される。この際、上述したように歪曲収差による影響を加味した補正を実施する。ＲＧＢ同時化されたデータは、第１のフィルタ５０３でローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして、ユーザが設定した記録撮影する画像サイズに合うようにするために縮小される部分に関して、その縮小の度合いに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、記録する画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。

ローパスフィルタ処理されたデータは、収差補正部５０４において、歪曲収差を補正するための座標変換処理が行われる。座標変換処理されたデータは、拡大／縮小部５０５において、記録する画像サイズに拡大／縮小処理される。ついで、拡大／縮小処理されたデータは、第２のフィルタ５０７において、拡大処理した部分に関して、エッジ強調及びノイズ軽減処理が行われる。

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０において、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。表示用変換部５１０は、この表示用変換部５１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。

一方、第２のフィルタ５０７から出力されたデータは、ＹＣ変換部５０８にも入力され、ＹＣ変換部５０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理も行われる。ＹＣ変換部５０８において、色空間に変換された信号は、画像圧縮部５０９において、ＪＰＥＧ圧縮が施され、メモリカードなどの画像記憶装置に広角撮影画像として記録される。

次に、望遠側の画像データを生成する為に、このフレームメモリ５１１からユーザが望遠側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。読み出されたデータは、ＲＧＢ同時化部５０２において、ベイヤーデータからＲＧＢ同時化される。この際、上述したように歪曲収差による影響を加味した補正を実施する。

ＲＧＢ同時化されたデータは、第１のフィルタ５０３に入力され、ローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして、ユーザが設定した記録撮影する画像サイズに合うようにするために縮小される部分に関して、その縮小の度合いに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、記録する画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。なお、中心部も縮小されない場合には、画像の全領域に関してフィルタの係数を中心Ｃ２２のみ１にしてローパスフィルタがかからないようにする。

ローパスフィルタ処理されたデータは、収差補正部５０４において、歪曲収差を補正するための座標変換処理が行われ、その後、拡大／縮小部５０５において、記録する画像サイズに拡大／縮小処理される。そして、第２のフィルタ５０７において、拡大処理した部分に関して、エッジ強調及びノイズ軽減処理が行われる。

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０において、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。表示用変換部５１０は、この表示用変換部５１０内の表示用のフレームメモリを読み出して、液晶モニタへ画像を表示し続ける。この時点で液晶モニタにはそれまでの広角画像の表示から望遠画像の表示に切り替わる。

一方で、第２のフィルタ５０７から出力されたデータは、ＹＣ変換部５０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理も行われる。ＹＣ変換部５０８において、色空間に変換された信号は、画像圧縮部５０９において、ＪＰＥＧ圧縮処理が行われ、メモリカードなどの画像記録装置に望遠撮影画像として記録される。

次に、図１６に示すデジタルカメラを用いて被写体を捉え、広角・望遠同時撮影を行う時の処理の流れについて説明する。この場合の処理は、上述した図５の構成を持つデジタルカメラの処理の流れとほぼ同様であり、歪曲収差を補正するための座標変換処理と、表示や記録する画像サイズに拡大／縮小する処理とが共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、収差補正および拡大／縮小処理を共有し、同時処理を実現する点のみが異なっている。

次に、図１７に示すデジタルカメラを用いて被写体を捉え、広角・望遠同時撮影を行う時の処理の流れを説明する。なお、画像補正部５０１において、画素欠陥補正等を行い、これをフレームメモリ５１１に連続的に保存するとともに、フレームメモリ５１１から広角側の画角に相当する分の画像データを後段において、処理し易い順番に並び替えてデータが読み出される処理までは、上記図５の構成における処理と同様であるため、その詳細は省略する。

フレームメモリ５１１から読み出されたベイヤー画像データは、第１のフィルタ１７０３において、ローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を液晶モニタに表示するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３,Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。なお、ベイヤー画像に対するフィルタリング処理である為、回路は一系統であってもかまわないが周囲の同色フィルタが貼り付けられた画素のみを対象として、各色毎にそれぞれ別個に係数を切り替えて処理を行う。

ローパスフィルタ処理されたベイヤー画像データは、収差補正拡大／縮小部１７０６において、歪曲収差を補正するための座標変換処理と、液晶モニタに表示する画像サイズに縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。なお、この処理に関してもベイヤーデータであるため、各色毎に同色フィルタの画素のみを対象とした処理となる。

収差補正および拡大／縮小処理されたベイヤー画像データは、ＲＧＢ同時化部１７０２において、ベイヤーデータからＲＧＢ同時化される。ＲＧＢ同時化されたデータは、拡大処理した部分があるときには、第２のフィルタ５０７において、エッジ強調及びノイズ軽減処理が行われる。

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０において、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。表示変換部５１０は、この表示変換部５１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。

広角側の画角を操作できる状態で、ユーザが、図２２（ｃ）に示すズームを制御する切替レバー２２０４を左右に倒す事により画角を切替えると、ユーザが液晶モニタで観測している画角に対応して、フレームメモリ５１１から読み出す画像データの画角を変更して読み出す。なお、これに伴って、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）が変化する為、これに連動してＲＧＢ同時化部１７０２の処理や第１のフィルタ１７０３、収差補正拡大／縮小部１７０６、第２のフィルタ５０７へのパラメータも変更する。

ユーザが、図２２（ｃ）に示す切替レバー２２０４を押し込む操作すると、それまで操作していた側（例えば広角側）の画角が決定され、別の側（例えば望遠側）の画角を操作するモードになる。ユーザが、図２２（ｃ）に示すズームを制御する切替レバー２２０４を左右に倒す事により画角を切替えても、ユーザが液晶モニタで観測している画角に変化は無く、液晶モニタは広角画像に対応した画角を表示し続ける。従って、フレームメモリ５１１から読み出す画像データの画角は広角側の画角に応じたものを読み出す。また、ＲＧＢ同時化部１７０２の処理や第１のフィルタ１７０３、収差補正拡大／縮小部１７０６、第２のフィルタ５０７へのパラメータも広角側の画角に対応したものを使用する。

図２２（ｃ）に示すズームを制御する切替レバー２２０４を左右に倒す事に応じて変化するのは液晶モニタ上に表示される望遠側撮影領域を示す枠であり、この枠が、切替レバー２２０４を右に倒して望遠にすれば小さく、切替レバー２２０４を左に倒して広角側にすれば大きくなるように変化する。

ユーザが、望遠側の画角も決定して、図２２（ｃ）に示すシャッタボタン２２０１を操作すると、ＡＥ／ＡＦ等の処理が実行された後、イメージセンサは全画素をプログレッシブまたはインターレースで出力する通常の撮影モードで駆動される。このとき、上記画像については、画像補正部５０１において画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）が実行される。また、この際、上述したように歪曲収差による影響を加味した補正を実施する。

画像補正されたデータは、フレームメモリ５１１に１フレーム分保存される。そして、最初に、広角側の画像データを生成する為に、このフレームメモリ５１１からユーザが広角側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。

読み出されたデータは、第１のフィルタ１７０３において、そのベイヤー画像に対してローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。なお、ベイヤー画像に対するフィルタリング処理である為、周囲の同色フィルタが貼り付けられた画素のみを対象として、各色毎にそれぞれ別個に処理を行う。

ローパスフィルタ処理されたベイヤー画像は、収差補正拡大／縮小部１７０６において、歪曲収差を補正するための座標変換処理と記録する画像サイズに拡大／縮小する処理とが共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。なお、この処理に関してもベイヤーデータであるため、各色毎に同色フィルタの画素のみを対象とした処理となる。

収差補正および拡大／縮小処理されたベイヤー画像データは、ＲＧＢ同時化部１７０２において、ベイヤーデータからＲＧＢ同時化される。ＲＧＢ同時化されたデータは、第２のフィルタ５０７において、拡大処理した部分に関して、エッジ強調及びノイズ軽減処理が行われる。

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０において、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。表示変換部５１０は、この表示変換部５１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示する。

また、第２のフィルタ５０７から出力されたデータは、ＹＣ変換部５０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理も行われる。ＹＣ変換部５０８において、色空間に変換された信号は、画像圧縮部５０９において、ＪＰＥＧ圧縮処理が行われ、メモリカードなどの画像記録装置に広角撮影画像として記録される。

次に、望遠側の画像データを生成する為に、このフレームメモリ５１１からユーザが望遠側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。読み出されたデータは、第１のフィルタ１７０３において、そのベイヤー画像に対してローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。なお、ベイヤー画像に対するフィルタリング処理である為、周囲の同色フィルタが貼り付けられた画素のみを対象として、各色毎にそれぞれ別個に処理を行う。また、中心部も縮小されない場合には、画像の全領域に関してフィルタの係数を中心Ｃ２２のみ１にしてローパスフィルタがかからないようにする。

ローパスフィルタ処理されたベイヤーデータは、収差補正拡大／縮小部１７０６において、歪曲収差を補正するための座標変換処理と、記録する画像サイズに拡大／縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。なお、この処理もベイヤーデータに対するものであるため、同色フィルタの画素のみを対象としたものになる。

収差補正および拡大／縮小処理されたベイヤー画像データは、ＲＧＢ同時化部１７０２において、ベイヤーデータからＲＧＢ同時化される。この際、上述したように歪曲収差による影響を加味した補正を実施する。ＲＧＢ同時化されたデータは、第２のフィルタ５０７において、拡大処理した部分に関して、エッジ強調及びノイズ軽減処理が行われる。

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０において、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。表示変換部５１０は、この表示変換部５１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。この時点で液晶モニタにはそれまでの広角画像の表示から望遠画像の表示に切り替わる。

また、第２のフィルタ５０７から出力されたデータは、ＹＣ変換部５０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理も行われる。ＹＣ変換部５０８において、色空間に変換された信号は、画像圧縮部５０９において、ＪＰＥＧ圧縮処理が行われ、メモリカードなどの画像記録装置に望遠撮影画像として記録される。

次に、図１８に示すデジタルカメラを用いて被写体を捉え、広角・望遠同時撮影を行う時の処理の流れを説明する。なお、画像補正部５０１において、画素欠陥補正等を行い、これをフレームメモリ５１１に連続的に保存するとともに、フレームメモリ５１１から広角側の画角に相当する分の画像データを後段において、処理し易い順番に並び替えてデータを読み出し、このデータをＲＧＢ同時化する処理までは、上記図５の構成における処理と同様であるため、その詳細は省略する。

ＲＧＢ同時化されたデータは、ＹＣ変換部１８０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。変換されたＹＣｂＣｒ信号は、第１のフィルタ１８０３において、ローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を液晶モニタに表示するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。

ローパスフィルタ処理されたＹＣｂＣｒ信号は、収差補正・拡大／縮小部１８０６において、歪曲収差を補正するための座標変換処理と、液晶モニタに表示する画像サイズに縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。そして、収差補正および拡大／縮小処理されたＹＣｂＣｒ信号は、拡大処理した部分があれば、第２のフィルタ１８０７においては、エッジ強調及びノイズ軽減処理される。

第２のフィルタ１８０７から出力されたＹＣｂＣｒ信号は、表示用変換部１８１０において、液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１８１０内の表示用のフレームメモリに書き込まれる。表示変換部１８１０は、この表示変換部内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。

ユーザが、図２２（ａ）に示す広角側のズームを制御するＴｅｌｅボタン２２０５やＷｉｄｅボタン２２０６により広角側の画角を切替えると、ユーザが液晶モニタで観測している画角に対応して、フレームメモリ５１１から読み出される画像データの画角も変更される。なお、これに伴って、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）が変化する為、これに連動して、ＲＧＢ同時化部５０２の処理やＹＣ変換部１８０８、第１のフィルタ１８０３、収差補正・拡大／縮小部１８０６、第２のフィルタ１８０７へのパラメータも変更される。

また、ユーザが、図２２（ａ）に示す望遠側のズームを制御するＴｅｌｅボタン２２０７やＷｉｄｅボタン２２０８により望遠側の画角を切替えると、フレームメモリ５１１から読み出される画像データの画角は変更されず広角側の画角を継続して読み出す。従って、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）は変化しない為、ＲＧＢ同時化部５０２の処理やＹＣ変換部１８０８、第１のフィルタ１８０３、収差補正・拡大／縮小部１８０６、第２のフィルタ１８０７へのパラメータも変更されない。

図２２（ａ）に示す望遠側のズームを制御するＴｅｌｅボタン２２０７やＷｉｄｅボタン２２０８の操作に応じて変化するのは、液晶モニタ上に表示される望遠側撮影領域を示す枠であり、この枠が、Ｔｅｌｅボタン２２０７を押して望遠に倒せば小さく、Ｗｉｄｅボタン２２０８を押して広角側に倒せば大きくなるように変化する。本実施形態では、このようにユーザは広角側の画角も望遠側の画角も同時に切替える操作をする事も可能である。

ユーザが、広角側と望遠側の画角を決定して、図２２（ａ）に示すシャッタボタン２２０１を操作すると、ＡＥ／ＡＦ等の処理が実行された後、イメージセンサは全画素をプログレッシブまたはインターレースで出力する通常の撮影モードで駆動される。このとき、上記画像については、画像補正部５０１において画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）が実行される。また、この際、上述したように歪曲収差による影響を加味した補正を実施する。

読み出されたデータは、ＲＧＢ同時化部５０２において、ベイヤーデータからＲＧＢ同時化される。この際、上述したように歪曲収差による影響を加味した補正が実施される。ＲＧＢ同時化されたデータは、ＹＣ変換部１８０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。

変換されたＹＣｂＣｒ信号は、第１のフィルタ１８０３において、そのＹＣｂＣｒ画像個々にローパスフィルタ処理が行われる。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。

ローパスフィルタ処理されたＹＣｂＣｒ信号は、収差補正・拡大／縮小部１８０６において、歪曲収差を補正するための座標変換処理と、記録する画像サイズに拡大／縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像で、どの位置にあったかの計算を合わせて行う事で、同時に処理される。

収差補正および拡大／縮小処理されたＹＣｂＣｒ信号は、第２のフィルタ１８０７において、拡大処理された部分に関して、エッジ強調及びノイズ軽減処理が行われる。第２のフィルタ１８０７から出力されたＹＣｂＣｒ信号は、表示用変換部１８１０において、液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１８１０内の表示用のフレームメモリに書き込まれる。表示用変換部１８１０は、この表示用変換部１８１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。また、第２のフィルタ１８０７から出力されたＹＣｂＣｒ信号は、画像圧縮部５０９において、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号が間引かれて、ＪＰＥＧ圧縮が行われ、メモリカードなどの画像記憶装置に広角撮影画像として記録される。

ＲＧＢ同時化されたデータは、ＹＣ変換部１８０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。ＹＣｂＣｒ信号は、第１のフィルタ１８０３でＹＣｂＣｒ画像個々にローパスフィルタ処理が行われる。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。

ローパスフィルタ処理されたＹＣｂＣｒ信号は、収差補正・拡大／縮小部１８０６において、歪曲収差を補正するための座標変化処理と、記録する画像サイズに拡大／縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。

収差補正および拡大／縮小処理されたＹＣｂＣｒ信号は、拡大処理した部分に関して、第２のフィルタ１８０７において、エッジ強調及びノイズ軽減処理が行われる。第２のフィルタ１８０７から出力されたＹＣｂＣｒ信号は、表示用変換部１８１０において、液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１８１０内の表示用のフレームメモリに書き込まれる。表示用変換部１８１０は、この表示用変換部１８１０内の表示用のフレームメモリを読み出して、液晶モニタへ画像を表示する。また、第２のフィルタ１８０７から出力されたＹＣｂＣｒ信号は、画像圧縮部５０９において、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号が間引かれて、ＪＰＥＧ圧縮が行われ、メモリカードなどの画像記憶装置に広角撮影画像として記録される。

次に、図１９に示す歪曲収差補正画像処理装置を有する画像撮像装置（デジタルカメラ）を用いて被写体を捉え、広角・望遠同時撮影を行う時の処理の流れを説明する。なお、画像補正部５０１において、画素欠陥補正等を行い、これをフレームメモリ５１１に連続的に保存するとともに、フレームメモリ５１１から広角側の画角に相当する分の画像データを後段において、処理し易い順番に並び替えてデータを読み出し、このデータにローパスフィルタ処理を行い、収差補正および拡大／縮小処理を行って、ＲＧＢ同時化を行うまでは、上記図１７の構成における処理と同様であるため、その詳細は省略する。

ＲＧＢ同時化されたデータは、ＹＣ変換部１９０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。ＹＣｂＣｒ信号は、同信号に拡大処理した部分があれば、第２のフィルタ１９０７において、エッジ強調及びノイズ軽減処理が行われる。

第２のフィルタ１９０７から出力された信号は、表示用変換部１９１０において、液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１９１０内の表示用のフレームメモリに書き込まれる。表示変換部１９１０は、この表示変換部１９１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。

望遠側の画角を操作できる状態で、ユーザが、図２２（c）に示すズームを制御する切替レバー２２０４を左右に倒す事により画角を切替えると、ユーザが液晶モニタで観測している画角に対応して、フレームメモリ５１１から読み出される画像データの画角が変更される。なお、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）は広角側の画角で決まる為、ＲＧＢ同時化部１７０２の処理や第１のフィルタ１７０３、収差補正・拡大／縮小部１７０６、第２のフィルタ１９０７へのパラメータも広角側の画角で決定される。従って、望遠側の画角操作では変化せず、図２２（ｃ）に示すズームを制御する切替レバー２２０４を左右に倒す事に応じて変化するのは液晶モニタ上に表示される望遠側撮影領域を示す枠であり、この枠が、切替レバー２２０４を右に倒して望遠にすれば小さく、切替レバー２２０４を左に倒して広角側にすれば大きくなるように変化する。

次に、ユーザが、図２２（ｃ）に示す切替レバー２２０４を押し込む操作すると、それまで操作していた側（例えば望遠側）の画角が決定され、別の側（例えば広角側）の画角を操作するモードになる。広角側の画角を操作できる状態で、図２２（ｃ）に示すズームを制御する切替レバー２２０４を左右に倒す事により画角を切替えると、ユーザが液晶モニタで観測している画角に対応して、フレームメモリ５１１から読み出す画像データの画角を変更して読み出す。なお、これに伴って、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）が変化する為、これに連動してＲＧＢ同時化部１７０２の処理や第１のフィルタ１７０３、収差補正・拡大／縮小部１７０６、第２のフィルタ１９０７へのパラメータも変更する。

読み出されたベイヤー画像データは、第１のフィルタ１７０３において、ローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。また、ベイヤー画像に対するフィルタリング処理である為、周囲の同色フィルタが貼り付けられた画素のみを対象として、各色毎にそれぞれ別個に処理を行う。尚、中心部も縮小されない場合には、画像の全領域に関してフィルタの係数を中心Ｃ２２のみ１にしてローパスフィルタがかからないようにする。

ローパスフィルタ処理されたベイヤー画像データは、収差補正・拡大／縮小部１７０６において、歪曲収差を補正するための座標変化処理と、記録する画像サイズに拡大／縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。

収差補正および拡大／縮小処理されたベイヤー画像データは、ＲＧＢ同時化部１７０２にいてＲＧＢ同時化される。ＲＧＢ同時化されたデータは、ＹＣ変換部１９０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理が行われる。ＹＣｂＣｒ信号は、拡大処理した部分に関して、第２のフィルタ１９０７において、エッジ強調及びノイズ軽減処理が行われる。

第２のフィルタ１９０７から出力されたＹＣｂＣｒ信号は、表示用変換部１９１０において液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１９１０内の表示用のフレームメモリに書き込まれる。また、表示用変換部１９１０は、この表示用変換部１９１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。また、第２のフィルタ１９０７から出力されたＹＣｂＣｒ信号は、画像圧縮部５０９にも入力され、画像圧縮部５０９において、ＪＰＥＧ圧縮が行われ、メモリカードなどの画像記憶装置に広角撮影画像として記録される。

次に、望遠側の画像データを生成する為に、このフレームメモリ５１１からユーザが望遠側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。読み出されたベイヤー画像データは、第１のフィルタ１７０３において、ローパスフィルタ処理が行われる。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。尚、ベイヤー画像に対するフィルタリング処理である為、周囲の同色フィルタが貼り付けられた画素のみを対象として、各色毎にそれぞれ別個に処理を行う。

ローパスフィルタ処理されたベイヤー画像データは、収差補正・拡大／縮小部１７０６において、歪曲収差を補正するための座標変換処理と、記録する画像サイズに拡大／縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。

収差補正および拡大／縮小処理されたベイヤー画像データは、ＲＧＢ同時化部１７０２において、ベイヤーデータからＲＧＢ同時化される。ＲＧＢ同時化されたデータは、ＹＣ変換部１９０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理が行われる。ＹＣｂＣｒ信号は、拡大処理した部分に関して、第２のフィルタ１９０７において、エッジ強調及びノイズ軽減処理が行われる。

第２のフィルタ１９０７から出力されたＹＣｂＣｒ信号は、表示用変換部１９１０において液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１９１０内の表示用のフレームメモリに書き込まれる。また、表示用変換部１９１０は、この表示用変換部１９１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。この時点で液晶モニタにはそれまでの広角画像の表示から望遠画像の表示に切り替わる。また、第２のフィルタ１９０７から出力されたＹＣｂＣｒ信号は、画像圧縮部５０９にも入力され、画像圧縮部５０９において、ＪＰＥＧ圧縮が行われ、メモリカードなどの画像記憶装置１０５に望遠撮影画像として記録される。なお、上述のようにして、同一の画像データから作成された広角および望遠の撮影画像に対しては、画像記憶装置１０５に格納する際、同一の画像データから作成されたことを示すために、例えば、ファイル名に同一のプリフィクスを付するようにインデックスを付与しておくとよい。これにより、撮像画像間の関連を容易に確認することが可能となる。

（第２の実施形態）
図２６は、本発明の第２の実施形態に係る画像撮像装置たる監視カメラの構成を示したものである。図２６に示すように、本発明の第２の実施形態に係る監視カメラは、カメラヘッド２６０６と、受信記録システム２６１３により構成されており、さらに、カメラヘッド２６０６は、歪曲収差を持つ光学系２６０１と、イメージセンサ２６０２と、処理圧縮装置２６０３と、画像送信装置２６０４と、カメラ制御装置２６０５とから構成されており、受信システム２６１３は、画像受信装置２６０７と、歪曲収差補正装置２６０８と、画像記憶装置２６０９と、画像表示装置２６１０と、受信表示制御装置２６１１と、操作部２６１２とから構成されている。

歪曲収差を持つ光学系２６０１は、中央部を拡大し、周辺部を圧縮する歪曲収差特性を有する光学系である。イメージセンサ２６０２は、歪曲収差を持つ光学系１０１を通して撮像された光学像を電気信号に変換するための光電変換素子であり、例えば、ＣＣＤやＣＭＯＳセンサー等である。処理圧縮装置２６０３は、イメージセンサ２６０２から出力された画像信号の画素欠陥を補正したり、シェーディング補正を行った後可逆または非可逆の圧縮処理を行う。画像送信装置２６０４は、有線または無線により通信するために、データを通信プロトコルに合わせて変換し、エラー訂正符号を付加する。カメラ制御装置２６０５は、所定の制御プログラムに応じて、カメラヘッド２６０６全体を制御する。

一方、画像受信装置２６０７は、カメラヘッド２６０６から伝送される画像信号を受信する。歪曲収差補正装置２６０８は、画像記憶装置２６０９から読み出したデータを解凍処理した後、画像データを画像表示装置２６１０で表示可能な形式に変換する。画像記憶装置２６０９は、画像受信装置２６０７で受信した歪曲収差を持ったまま圧縮処理された原画像データをそのままで記録する。画像表示装置２６１０は、歪曲収差補正装置２６０８から出力される画像データを表示する液晶等の表示装置である。受信表示制御装置２６１１は、監視カメラシステムのオペレータが表示状態を指定したり、カメラヘッドの状態を指定したりするための操作部２６１２からの入力を受け、受信記録システム２６１３内の各部を制御すると共に、画像受信装置２６０７を介してカメラヘッド２６０６へ制御信号を送信する。なお、本実施形態は、監視カメラシステムに関するものであるため、カメラヘッド２６０６を受信記録システム２６１３とは別体で構成し、複数のカメラヘッド２６０６からの画像データを１台の受信記録システム２６１３で受けて同時に記録保持するように構成する事もできる。

以下、本発明の第２の実施形態に係る監視カメラの動作について説明する。
歪曲収差を持つ光学系２６０１を通じて撮像された光学像はイメージセンサ２６０２によりベイヤー配列などの電気信号に変換され、処理圧縮装置２６０３に入力される。処理圧縮装置２６０３の構成は図２７に示すようになっており、入力された画像信号は、画像補正部２７０１で画素欠陥補正やＲＧＢ各信号の大きさを概略揃えるだけの簡易ホワイトバランスの補正を施され、ＲＧＢ同時化部２７０２でベイヤー配列から各画素のＲＧＢ信号を補間により生成する。そして、ＹＣ変換部２７０３において、ＲＧＢ信号を輝度・色差信号に変換し、画像圧縮部２７０４において、ＪＰＥＧ等の圧縮処理が実行される。

なお、光学系の歪曲収差を補正するための光学特性に関する情報やこの歪曲収差による周辺増光や鏡枠による周辺減光に起因して発生するシューディングに関する情報、簡易ホワイトバランスの処理内容を含むホワイトバランスを正確に補正する為の情報は、歪曲収差情報記憶部２７０５にその特性値やパラメータそのもの、または、特性値やパラメータを特定するためのインデックスとを対にして作成されたテーブルの形で記録されている。処理圧縮装置２６０３は、特性値やパラメータ、あるいはインデックスをＪＰＥＧファイルのヘッダ部に一緒に記録する。なお、インデックスをＪＰＥＧファイルのヘッダに記録する場合には、予め、別のファイルとしてテーブルを受信記録システム２６１３に送信しておくか、ＪＰＥＧファイルと一緒に、関連付けたファイルとして送信するようにする。このインデックスによる補正のために必要な情報の送信は、ＪＰＥＧファイルの容量を大きくせずに済むという利点がある。

また、本実施形態においては、正確なホワイトバランス補正やシェーディング補正を受信記録システム側で行う構成として記載しているが、正確なホワイトバランス補正やシェーディング補正をカメラヘッド側の処理圧縮装置２６０３内における画像補正部２７０１で予め実施する構成にしても構わない。また、圧縮前後に暗号化等の処理を加えてもかまわない。

このようにして、処理圧縮装置２６０３において、圧縮処理まで実行された画像信号は、画像送信装置２６０４へ送られ、有線または無線により通信を行うために、データを通信プロトコルに合わせて変換したり、エラー訂正符号を付加したりした後、送信される。なお、この画像送信装置２６０４は、受信記録システムからのカメラ制御信号の受信も行い、この情報をカメラ制御装置２６０５へ伝送する役割も担っている。そして、カメラ制御装置２６０５は、この信号を受けて光学系のシャッタや絞りなどの制御やイメージセンサ２６０２の駆動モードの制御、処理圧縮装置２６０３のパラメータ設定などを実施する。また、カメラヘッドにて圧縮処理された画像信号は、歪曲収差の補正は実施されておらず、歪曲収差を持ったままで圧縮処理された信号である。

上記のようにして、カメラヘッド２６０６から送信された画像信号は、受信記録システム２６１３で受信され、画像受信装置２６０７へ送られる。そして、この画像受信装置２６０７にて、復調処理やエラー訂正などの処理が為された後、歪曲収差補正装置２６０８及び画像記憶装置２６０９へ送られる。

また、画像記憶装置２６０９は、半導体メモリまたは磁気ディスク装置や光磁気ディスク装置などの大容量記憶装置であり、カメラヘッド２６０６から送出された動画または一定時間毎や画面に変化が生じた時など特定の条件が成立した時毎に撮影された静止画を記録する。なお、この記録画像は光学系の歪曲収差を持った状態で圧縮されているものであり、上述のように、レンズの歪曲収差を補正したり、正確なホワイトバランス補正、シェーディングを補正したりするための情報も特性値やパラメータ、あるいはインデックスの形で付加されており、ともに記憶される。なお、インデックスの場合には、特性値やパラメータと対応付けるためのテーブルも記憶される。

図２８は、図２６に示す歪曲収差補正装置２６０８の構成図である。上述のように、画像受信装置２６０７から送られた画像信号は、伸張部２８０１でＪＰＥＧ圧縮を解凍され、画像補正部２８０６で正確なホワイトバランス補正とシェーディング補正が実施される。画像補正されたデータは、第１のフィルタ２８０２により、画像中央部の縮小する部分にローパスフィルタ処理を施す。そして、ローパスフィルタ処理されたデータは、収差補正・拡大／縮小部２８０３で歪曲収差の補正と表示に適した大きさへのリサイズが実行され、第２のフィルタ２８０４により周辺部のエッジ強調やノイズ軽減処理が施されて、表示用変換部２８０５において、インターレース処理やＮＴＳＣへのエンコードなどが行われる。

なお、この際、画像記憶装置２６０９に、画像データと一緒に記憶されている正確なホワイトバランス補正、シェーディング補正のためのデータは、歪曲収差情報保持部２８０７に保持され、このデータに基づいて、画像補正部２８０６においてホワイトバランスの補正及び、シェーディング補正が実施される。また、このシェーディング補正処理は、図７（ａ）（ｂ）に示すように参照テーブルメモリを用いて実施しても、演算回路により実施しても構わない。そして、この補正を実施した後、この補正済みの画像データは、第１のフィルタ２８０２に送られるとともに、補正済みである旨のマーカーがファイルのヘッダ部に記録されて、再圧縮処理を行った後、画像記憶装置２６０９に再記録される。再記録された画像データは、適宜読み出されて、伸張部２８０１を経て第１のフィルタ２８０２に直接入力されるよう制御される。これは、既に、画像補正部２８０６による処理が施されているためであり、ヘッダ部に記録された先にマーカーの内容に基づいて先の制御が行われる。

また、第１の実施形態と同様に、第１のフィルタ２８０２は、図１０の１００１に示す画像中央部に対するローパスフィルタであり、図１１にその構成例を示す。また、収差補正拡大／縮小部２８０３は、図１２と図１４を一体化した構造のものであり、図１４に示す対応座標算出部１４０１において、図１５の破線の格子１５１９における座標位置を入力画像の実線の格子１５１８における座標位置に変換すると共に、光学歪曲収差や倍率色収差を補正する前の原画における対応する座標値を合わせて計算する。

また、補正画素値の計算は１６点のＣｕｂｉｃ補間でも４点の線形補間でも構わない。そして、第２のフィルタ２８０４は、図１０の１００２に示す画像周辺部に対するエッジ強調フィルタ及びノイズ軽減フィルタであり、図１１にその構成例を示す。

図２６に示す受信記録システム２６１３は、操作部２６１２も備えており、監視カメラのオペレータの操作によりカメラを操作するための信号を受信表示制御装置２６１１、画像受信装置２６０７を通じてカメラヘッド２６０６へ送ったり、受信表示制御装置２６１１を通じて受信記録システム２６１３内の各部を制御し、表示画角の変更や過去の記録画像の再生操作を実施することができる。

また、画像記憶装置２６０９には、前述したように、歪曲収差を補正する前の原画及び補正に必要な光学系情報が一緒に記憶されているため、再生時に自由に中央部を拡大したり全体を表示したりして画角を変更しても通常の電子ズームのように画質が劣化する事は無い。

また、レンズの歪曲収差や鏡枠に関する情報を焦点距離やＦ値などと共に鏡枠内に設けられたＲＯＭ等の情報記憶手段に格納し、カメラ本体からこの情報を読みだして、歪曲収差情報記憶部２７０５に保持するように構成し、フィルタリングやシェーディング補正、歪曲収差補正のための座標変換を行うように構成する事により、レンズ交換式のカメラに適用しても交換レンズに応じた適正な歪曲収差補正を実施する事が可能になる。

以上、図面を参照して本発明の実施例について詳述してきたが、具体的な構成はこれらの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

第１の実施形態に係るデジタルカメラ画像撮像装置の構成図である。光学系における歪曲収差の有無による光学像を例示した図である。原画像と歪曲収差を有する光学系により撮像された画像とを例示する図である。歪曲収差を有する光学系の構成を例示する図である。歪曲収差補正画像処理装置の構成例を示す図である。歪曲収差による周辺部の増光と鏡枠による減光の影響を示した図である。画像補正回路の構成を例示する図である。フレームメモリによるデータの並べ替えの様子を示した図である。歪曲収差を有する光学系により撮像された画像に対してＲＧＢ同時化を行う場合の処理を説明する図である。第１のフィルタ回路および第２のフィルタ回路によりフィルタ処理を行う領域を示す図である。フィルタ回路の構成例を示す図である。収差補正部の構成例を示す図である。収差補正部における歪曲収差補正処理を説明するための図である。拡大／縮小部の構成例を示す図である。拡大／縮小部における拡大／縮小処理を説明するための図である。歪曲収差補正画像処理装置の構成例を示す図である。歪曲収差補正画像処理装置の構成例を示す図である。歪曲収差補正画像処理装置の構成例を示す図である。歪曲収差補正画像処理装置の構成例を示す図である。撮影モードの切り替えを示す図である。各撮影モードのモード遷移を示す図である。操作部の構成例を示す図である。Ｔ／Ｗ切替ボタン等を操作した場合の動作遷移を示す図である。歪曲収差を持つ光学系により撮像された画像を高フレームレートで読み出す場合の処理を説明する図である。ズーム機能を説明するための図である。第２の実施形態に係る監視カメラの構成図である。第２の実施形態に係る処理圧縮装置の構成例を示す図である。第２の実施形態に係る歪曲収差補正装置構成例を示す図である。従来例を示す図である。

符号の説明

１０１、２６０１歪曲収差を持つ光学系
１０２、２６０２イメージセンサ
１０３歪曲収差補正画像処理装置
１０４、２６１０画像表示装置
１０５、２６０９画像記憶装置
１０６制御装置
１０７、２６１２操作部
４０１、４０２シリドリカルレンズ
５０１、２７０１、２８０６画像補正部
５０２、１７０２、２７０２ＲＧＢ同時化部
５０３、１７０３、１８０３、２８０２第１のフィルタ
５０４収差補正部
５０５拡大／縮小部
５０６、１７０６、１８０６、２８０３収差補正・拡大／縮小部
５０７、１８０７、１９０７、２８０４第２のフィルタ
５０８、１８０８、１９０８、２７０３ＹＣ変換部
５０９画像圧縮部
５１０、１８１０、２８０５表示用変換部
５１１フレームメモリ
１２０１、１４０１対応座標算出部
１２０２、１４０２ＩＦ画像メモリ
１２０３、１４０３近傍画像データ読出部
１２０４、１４０４補正画像値演算部
２２０１シャッタボタン
２２０２モードボタン
２２０３Ｔ／Ｗ切替ボタン
２２０４切替レバー
２２０５Ｔｅｌｅ１ボタン
２２０６Ｗｉｄｅ１ボタン
２２０７Ｔｅｌｅ２ボタン
２２０８Ｗｉｄｅ２ボタン
２２０９Ｔｅｌｅボタン
２２１０Ｗｉｄｅボタン
２２１１ＬＥＤ
２６０３処理圧縮装置
２６０４画像送信装置
２６０５カメラ制御装置
２６０６カメラヘッド
２６０７画像受信装置
２６０８歪曲収差補正装置
２６１１受信表示制御装置
２６１３受信システム
２７０４圧縮部
２７０５歪曲収差情報記憶部
２８０１伸張部
２８０７歪曲収差情報保持部

Claims

中央部を拡大し周辺部を圧縮する歪曲収差特性を持つ光学系と、
画素単位で、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の色フィルタが所定の配列で貼付され、画素が二次元に配列され、前記光学系により結像された被写体像を画像データに変換するイメージセンサと、
前記イメージセンサ上の任意の画素の周囲に位置し、該任意の画素が有する色とは異なる同一色の色フィルタが貼付された画素群の各画像データに対して、前記任意の画素から前記光学系の歪曲収差特性を補正した後における前記画素群の各画素までの画素間距離に応じた重み付けを行って画素を加算し、前記任意の画素における他の色の画像データを生成するＲＧＢ同時化回路と、
を有することを特徴とする画像撮像装置。
前記イメージセンサからの画像データを記憶するフレームメモリと、
該フレームメモリから、指定された画角に応じた画像データを読み出すフレームメモリ出力制御回路と、
前記ＲＧＢ同時化回路によって同時化された画像データの内、第１の閾値よりも小さな歪曲収差特性を有する領域に対して第１のフィルタリング処理を実行する第１のフィルタ回路と、
前記第１のフィルタ回路からの出力画像データに対して、その歪曲収差を補正する歪曲収差補正回路と、
を更に有し、
前記ＲＧＢ同時化回路は、
前記フレームメモリから読み出された画像データに対して、前記イメージセンサ上の任意の画素の周囲に位置し、該任意の画素が有する色とは異なる同一色の色フィルタが貼付された画素群の各画像データに対して、前記任意の画素から前記光学系の歪曲収差特性を補正した後における前記画素群の各画素までの画素間距離に応じた重み付けを行って画素を加算し、前記任意の画素における他の色の画像データを生成する、
ことを特徴とする請求項１に記載の画像撮像装置。
前記歪曲収差補正回路からの出力画像データの内、第２の閾値よりも大きい歪曲収差特性を有する領域に対し、前記第１のフィルタ回路によるフィルタリングとは異なるフィルタリング処理を実行する第２のフィルタ回路を更に有することを特徴とする請求項２に記載の画像撮像装置。
前記第２のフィルタ回路は、前記画像データ中に含まれるエッジを強調するエッジ強調処理を実行することを特徴とする請求項３に記載の画像撮像装置。
前記第２のフィルタ回路は、前記画像データ中に含まれるノイズを軽減するノイズ軽減処理を実行することを特徴とする請求項３に記載の画像撮像装置。
前記画像データ中の画素欠陥を補正する画素欠陥補正手段、前記画像データのホワイトバランスを補正するホワイトバランス補正手段、又は、前記画像データのシェーディングを補正するシェーディング補正手段の内、少なくとも１つを含む画像データ補正手段を、更に有し、
前記フレームメモリは、前記画像データ補正手段からの出力画像データを記憶することを特徴とする請求項２又は３に記載の画像撮像装置。
前記シェーディング補正手段は、前記歪曲収差特性と、前記光学系を保持する鏡枠による周辺減光特性とに基づいて補正処理を実行することを特徴とする請求項６に記載の画像撮像装置。
前記シェーディング補正手段が、前記光学系の光軸上に配置された補正処理に対応する特性を有する光学フィルタであることを特徴とする請求項７に記載の画像撮像装置。
前記シェーディング補正手段が、補正処理に対応する大きさ又は透過率の少なくとも一方の特性を有し、前記イメージセンサに画素単位で形成されたマイクロレンズであることを特徴とする請求項７に記載の画像撮像装置。
前記光学系は、前記歪曲収差特性を記憶した記憶装置とともに鏡枠に保持されており、
前記歪曲収差補正回路は、前記記憶装置から読み出された前記歪曲収差特性に基づいて処理を実行することを特徴とする請求項１に記載の画像撮像装置。
前記第１のフィルタ回路は、前記画像データに対してローパスフィルタ処理を実行することを特徴とする請求項２に記載の画像撮像装置。
前記イメージセンサは、前記画像データを出力させるラインを間引く割合を、前記歪曲収差特性に応じて異ならせるモードを備えることを特徴とする請求項１に記載の画像撮像装置。
前記ＲＧＢ同時化回路は、前記任意の画素をＤＸ、前記画素群の内、前記ＤＸを挟んで左右に位置する画素をＤ１、Ｄ２、及び前記ＤＸを挟んで上下に位置する画素をＤ３、Ｄ４、歪曲収差補正後の画素Ｄ１と画素ＤＸの距離をＴ１、画素Ｄ２と画素ＤＸとの距離をＴ２、画素Ｄ３と画素ＤＸとの距離をＴ３、画素Ｄ４と画素ＤＸとの距離をＴ４としたときに、前記任意の画素ＤＸの他の色の画像データを、数１から数３までの何れか１つを用いて演算することを特徴とする請求項１に記載の画像撮像装置。