JP2004312072A

JP2004312072A - 画像処理装置及びカメラ、並びに画像処理方法

Info

Publication number: JP2004312072A
Application number: JP2003098831A
Authority: JP
Inventors: Yoshihisa Shimazu; 義久嶋津; Keiichi Tsumura; 敬一津村; Takahiro Iwazawa; 高広岩澤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-04-02
Filing date: 2003-04-02
Publication date: 2004-11-04
Also published as: CN1255984C; US20040196380A1; CN1534988A

Abstract

【課題】メモリの容量を抑えた画像処理装置を提供する。
【解決手段】イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理装置であって、画像を行単位で格納するラインメモリを有する共有メモリと、前記共有メモリを用いて前記画像処理を行う画像処理部と、前記画像処理部を制御するＣＰＵとを備える。前記画像処理部は、それぞれが前記画像処理として所定の処理を行う、複数の処理回路を有する。前記複数の処理回路のうちの少なくとも２つは、前記共有メモリとして同一のものを用いて処理を行う。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、イメージセンサから出力された信号を処理する画像処理技術に関する。
【０００２】
【従来の技術】
イメージセンサとしてＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙｍｅｔａｌｏｘｉｄｅｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像デバイス等を用いたデジタルスチルカメラ、デジタルカメラ付き携帯電話、デジタルビデオカメラ等のデジタル式のカメラにおいては、イメージセンサから読み出された画像信号に対して画像処理装置が画像処理を行い、その結果を表示装置に出力する。この際、イメージセンサからの画像の読み出し、及び表示装置への画像信号の出力は、１画面中のライン毎に行われる。このため、画像処理装置内の各機能ブロックにおいては、ライン単位でデータを格納することができるラインメモリを用いた処理を行うことが望ましい。ラインメモリを用いた従来技術としては、ズーム処理をラインメモリで行うもの（例えば、特許文献１参照）や、画像処理をブロック単位で行うとともに画像圧縮をラインメモリで行うもの（例えば、特許文献２参照）がある。
【０００３】
このように、画像処理は、ラインメモリを用いて行うようにするのが望ましい。そこで、前記特許文献１及び特許文献２に開示された技術を組み合わせて、全ての処理をラインメモリを用いて行うようにすると、次のような構成を有する画像処理装置を得ることができる。
【０００４】
図９は、従来の技術による画像処理装置の構成の一例を示すブロック図である。図９の画像処理装置は、処理回路として、前処理回路９２２、ＹＣ信号処理回路９２４、縮小ズーム回路９２６、ポストフィルタ９２８、ＪＰＥＧ処理回路９３４、及び垂直拡大回路９３６を備えており、更に、これらの処理回路のそれぞれに対応して、ライン単位のメモリ９６１〜９６６を備えている。各処理回路は、それぞれに対応するメモリを用いてライン単位の処理を行う。
【０００５】
この場合、各メモリは、対応する処理回路がこの画像処理装置において扱う最大の画像を処理することができるような容量を、予め備えておく必要がある。
【０００６】
【特許文献１】
特開２００１−１９７３４８号公報
【特許文献２】
特開平５−２５２５２２号公報
【０００７】
【発明が解決しようとする課題】
しかし、画像処理装置においては、様々な処理が組み合わされて行われており、前述の処理回路を全て用いた処理を行う必要がない場合もある。このような場合、各処理回路に対応したメモリを必ず備えることとすると、処理に用いられないメモリが存在することになる。
【０００８】
近年、イメージセンサの画素数の増大に伴い、１ラインの画素数が増え、必要なラインメモリの容量が増大してきている。また、近年の画像処理装置の多機能化に伴い、ラインメモリを必要とする処理回路の数が増えている。このため、ラインメモリ容量の増大が画像処理装置のコストを上昇させる要因となっているが、その一方で、画像処理装置を低コスト化することも望まれている。
【０００９】
本発明は、メモリの容量を抑えた画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
前記課題を解決するため、請求項１の発明が講じた手段は、イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理装置であって、画像を行単位で格納するラインメモリを有する共有メモリと、前記共有メモリを用いて前記画像処理を行う画像処理部と、前記画像処理部を制御するＣＰＵとを備え、前記画像処理部は、それぞれが前記画像処理として所定の処理を行う、複数の処理回路を有するものであり、前記複数の処理回路のうちの少なくとも２つは、前記共有メモリとして同一のものを用いて処理を行うものである。
【００１１】
請求項１の発明によると、２つの処理回路の一方が用いられない場合や、必要なメモリの容量が小さい場合には、共有メモリの容量を抑えることができる。
【００１２】
請求項２の発明では、請求項１に記載の画像処理装置において、前記画像処理部は、前記イメージセンサから得られた画像信号に対して前処理を行う前処理回路と、前記前処理後の信号を輝度信号及び色差信号に変換して出力する輝度色差信号処理回路と、前記輝度信号及び色差信号が表す画像を縮小させ、得られた画像を出力する縮小ズーム回路と、前記縮小ズーム回路の出力に応じた画像に対して圧縮符号化を行い、得られた結果を前記画像処理部の出力とする圧縮処理回路とを、前記複数の処理回路として備えるものである。
【００１３】
請求項２の発明によると、縮小処理が不要である場合には、縮小ズーム回路は共有メモリを用いる必要がなく、縮小処理が行われる場合には、画像が小さくなるので、圧縮処理回路で必要になる共有メモリの容量を少なくすることができる。したがって、同一の共有メモリを用いることによって、メモリの容量を抑えることができる。
【００１４】
請求項３の発明では、請求項２に記載の画像処理装置において、前記画像処理部は、垂直拡大回路と、前記縮小ズーム回路の出力にポストフィルタ処理を行い、前記圧縮処理回路又は前記垂直拡大回路に出力するポストフィルタとを、前記複数の処理回路として更に備えるものであり、前記垂直拡大回路は、ポストフィルタ処理後の画像を垂直方向に拡大する垂直拡大処理を行い、得られた結果を前記画像処理部の出力とするものである。
【００１５】
請求項４の発明は、請求項１に記載の画像処理装置において、前記画像処理部の出力を表示又は記録媒体への書き込みに適した信号に変換して出力する出力部を更に備え、前記出力部は、前記画像処理部で用いられる前記共有メモリを用いて処理を行うように構成されているものである。
【００１６】
請求項５の発明は、請求項１に記載の画像処理装置において、前記複数の処理回路のそれぞれには、それぞれにおける処理の必要に応じて、前記共有メモリの領域が割り当てられていることを特徴とする。
【００１７】
請求項６の発明は、カメラとして、請求項２に記載の画像処理装置と、前記画像処理装置に画像信号を出力するイメージセンサと、前記画像処理装置の出力を記録媒体に書き込む記録装置とを備えるものである。
【００１８】
請求項７の発明は、イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理方法であって、画像を行又は列毎に共有メモリに格納するステップと、前記共有メモリを用いて前記画像処理を行うステップとを備え、前記画像処理を行うステップは、それぞれが前記画像処理として所定の処理を行う、複数の処理ステップ有するものであり、前記複数の処理ステップのうちの少なくとも２つは、前記共有メモリとして同一のものを用いて処理を行うものである。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２０】
図１は、本発明の実施形態に係る画像処理装置を備えるカメラの構成の例を示すブロック図である。図１のカメラは、例えばデジタルスチルカメラ、デジタルカメラ付き携帯電話、デジタルビデオカメラである。図１のカメラは、画像処理装置１００と、イメージセンサ１２と、ＡＤ変換器（ＡＤＣ）１３と、記録装置１４と、表示装置１５とを備えている。また、画像処理装置１００は、画像処理部２０と、ＣＰＵ５０と、共有メモリ６０と、出力部７０とを備えている。画像の画素の水平方向の並びを行、垂直方向の並びを列と称することとする。
【００２１】
イメージセンサ１２は、例えばＣＣＤやＣＭＯＳ撮像デバイスである。イメージセンサ１２は、画像信号をＡＤ変換器１３に出力する。ＡＤ変換器１３は、入力された信号をデジタルデータに変換して、画像処理部２０に出力する。
【００２２】
画像処理部２０は、ＣＰＵ５０の指示に従って、イメージセンサ１２の出力に画像処理を行って、出力部７０に出力する。画像処理を行う際に、画像処理部２０は、共有メモリ６０を用いる。
【００２３】
共有メモリ６０は、画像を行単位で格納するラインメモリを複数有している。
各ラインメモリは、ｍ画素（ｍは自然数）のデータを格納することができる容量（これを１Ｈと称する）を有する。画像の１行分の画素を複数のラインメモリにまたがって格納することはしないので、共有メモリ６０に１行分の画素として格納可能な画素数はｍである。したがって、通常は、画像処理装置１００において処理可能な画像の１行の最大画素数はｍである。以下では例として、ｍ＝１２８０であるとし、共有メモリ６０は、ラインメモリを１８個有しているものとする。
【００２４】
出力部７０は、バッファを有し、画像処理部２０の出力を、記録装置１４における記録媒体への書き込み、及び表示装置１５における表示に適した形式の信号に変換して出力するインタフェースとして動作する。記録装置１４は、出力部７０の出力をメモリカード等の記録媒体に書き込む。表示装置１５は、例えば液晶表示器であって、イメージセンサ１２が出力する画像のモニタ表示を行う。
【００２５】
図２は、図１の画像処理部２０の構成の例を示すブロック図である。画像処理部２０は、処理回路として、前処理回路２２と、輝度色差信号処理回路（以下では、ＹＣ信号処理回路と称する）２４と、縮小ズーム回路２６と、ポストフィルタ２８と、ＪＰＥＧ（ｊｏｉｎｔｐｈｏｔｏｇｒａｐｈｉｃｉｍａｇｅｃｏｄｉｎｇｅｘｐｅｒｔｓｇｒｏｕｐ）処理回路３４と、垂直拡大回路３６とを備えている。更に、画像処理部２０は、共有メモリ制御回路４２を備えている。これらの画像処理部２０内の回路はいずれも、ＣＰＵ５０の指示に従って動作する。
【００２６】
前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、ＪＰＥＧ処理回路３４、及び垂直拡大回路３６は、入力されたデータに対する処理を行うことなくそのまま出力することもできるように構成されているものとする。また、これらの回路は、共有メモリ制御回路４２を介して共有メモリ６０にアクセスする。
【００２７】
また、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、ＪＰＥＧ処理回路３４、及び垂直拡大回路３６の各処理回路は、共有メモリとして同一のものを用いて処理を行う。言い換えると、これらの処理回路は、共有メモリ６０を共有するように構成されている。ＣＰＵ５０は、これらの処理回路のそれぞれに、それぞれにおける処理の必要に応じて、共有メモリ６０の領域を割り当てる。
【００２８】
更に、出力部７０は、共有メモリ６０を用いて処理を行い、共有メモリ６０を画像処理部２０の各処理回路と共有するように構成されている。ＣＰＵ５０は、出力部７０における処理の必要に応じて、共有メモリ６０の領域を割り当てる。
以下では、出力部７０に対する共有メモリ６０の領域の割り当てについては、説明を省略する。
【００２９】
前処理回路２２は、イメージセンサ１２から得られた画像信号に対して、黒レベルの抽出、ホワイトバランスの検出、及びガンマ補正のうちの少なくとも１つを前処理として行い、得られた結果をＹＣ信号処理回路２４に出力する。
【００３０】
ＹＣ信号処理回路２４は、前処理回路２２の出力を受け取り、これにＹＣ信号処理を行って、縮小ズーム回路２６に出力する。ＹＣ信号処理は、黒レベル補正、ホワイトバランス補正、並びに輝度信号及び色差信号への変換をいうものとする。
【００３１】
縮小ズーム回路２６は、一次補間を行って、輝度信号及び色差信号が表す画像を縮小させるズーム処理を行い、得られた結果をポストフィルタ２８に出力する。
【００３２】
ポストフィルタ２８は、係数が可変のローパスフィルタを有しており、ポストフィルタ処理、すなわち、縮小ズーム回路２６から入力された画像の低域成分を通過させ、アパーチャ補正を行う処理を行って、ＪＰＥＧ処理回路３４に出力する。
【００３３】
圧縮処理回路としてのＪＰＥＧ処理回路３４は、ポストフィルタ２８から出力された画像に対してＪＰＥＧに基づく圧縮符号化（ＪＰＥＧ圧縮処理）を行い、得られた結果を、垂直拡大回路３６を経由して出力部７０に出力する。更にＪＰＥＧ圧縮処理結果は記録装置１４に出力され、メモリカード等の記録媒体に書き込まれる。
【００３４】
垂直拡大回路３６は、ポストフィルタ２８が出力する画像をＪＰＥＧ処理回路３４を経由して受け取り、これを垂直方向の画素数が表示装置１５に適合するように垂直方向に拡大する垂直拡大処理を行い、出力部７０に出力する。更に垂直拡大処理結果は表示装置１５に出力され、表示される。
【００３５】
図３は、図１の画像処理装置１００における処理の流れの例を示すフローチャートである。図４は、図１の画像処理装置１００におけるデータの流れの第１の例を示す説明図である。以下のデータの流れを示す図では、共有メモリ制御回路４２を省略する。図４の場合、イメージセンサ１２が出力する画像のサイズが横１２８０（＝ｍ）×縦９６０画素であるとし、画像処理として、前処理、ＹＣ信号処理、ズーム処理（本例においては、倍率１／２）、ポストフィルタ処理、及び垂直拡大処理が行われるものとする。この場合、画像処理装置１００に入力される画像の水平方向の１行分のデータ量は、１／２Ｈに相当する。図２〜図４を参照して、画像処理装置１００の動作を説明する。
【００３６】
図３のステップＳ１１では、ＣＰＵ５０は、イメージセンサ１２が出力する信号が表す画像の水平画素数を、画像処理装置１００に入力される画像の水平画素数として設定する。この値は、接続されるイメージセンサ１２に応じて、画像処理装置１００の外部から設定することができるようになっている。より具体的には、画像処理装置１００で扱う画像の水平画素数が、共有メモリ６０の各ラインメモリに格納できる画素数（＝ｍ）の１／２以下であるか否かを設定する。
【００３７】
水平画素数がｍ／２以下である場合には、１つのラインメモリに２行分の画素データを格納することができる。一方、水平画素数がｍ／２よりも多い場合には、１つのラインメモリに１行分の画素データしか格納することができない。このため、水平画素数がｍ／２以下であるか否かによって、各処理回路に割り当てる共有メモリ６０の容量を変更する必要がある。ここでは、ｍ＝１２８０であるので、水平画素数がｍ／２よりも多いということが設定される。
【００３８】
ステップＳ１２では、ＣＰＵ５０は、処理内容を設定する。具体的には、ズーム処理、ポストフィルタ処理、ＪＰＥＧ圧縮処理、及び垂直拡大処理等を行うか否か、ズーム処理を行う場合の倍率等を設定する。図４の場合は、ズーム処理、ポストフィルタ処理、及び垂直拡大処理を行うこと、並びに、ズーム処理の倍率が１／２であることが設定される。
【００３９】
ステップＳ１３では、ＣＰＵ５０は、画像処理部２０の各処理回路、すなわち、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、ＪＰＥＧ処理回路３４、及び垂直拡大回路３６に、共有メモリ６０の領域の割り当てを行う。
【００４０】
この際、実際に行われる処理に対してのみ、共有メモリ６０が割り当てられる。倍率が１／２以下のズーム処理を行う場合等には、それ以降の処理において１つのラインメモリに複数の行の画素データを格納することができる点も考慮して、割り当てが行われる。
【００４１】
図４の場合は、ズーム処理の倍率が１／２であるので、１つのラインメモリには縮小後の画像の２行分のデータを格納することができる。すると、ポストフィルタ処理及び垂直拡大処理を行うには、いずれもラインメモリが２Ｈ分必要となる。そこで、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、及び垂直拡大回路３６には、それぞれ共有メモリ６０の２Ｈ、４Ｈ、４Ｈ、２Ｈ、及び２Ｈに相当するラインメモリを割り当てることとする。
【００４２】
ステップＳ２２では、前処理回路２２は、イメージセンサ１２が出力する画像信号が表す画像の水平方向の１行を単位として扱い、前処理回路２２に割り当てられた、共有メモリ６０の領域との間で読み書きを行って前処理を行い、得られた結果をＹＣ信号処理回路２４に出力する。その後、ステップＳ２４に進む。
【００４３】
ステップＳ２４では、ＹＣ信号処理回路２４は、この回路に割り当てられた、共有メモリ６０の領域との間で読み書きを行ってＹＣ信号処理を行い、得られた結果を縮小ズーム回路２６に出力する。その後、ステップＳ３２に進む。
【００４４】
ステップＳ３２では、ＣＰＵ５０は、ズーム処理を行うか否かを判断する。ズーム処理を行う場合はステップＳ３４に、行わない場合はステップＳ３６に進む。図４の場合、ズーム処理を行うので、ステップＳ３４に進む。
【００４５】
ステップＳ３４では、縮小ズーム回路２６は、この回路に割り当てられた、共有メモリ６０の領域との間で読み書きを行って、画像の画素数を減少させるズーム処理を行い、得られた結果をポストフィルタ２８に出力する。その後、ステップＳ３６に進む。図４の場合、縮小ズーム回路２６は、水平方向の画素数が１／２になるように画像を縮小する処理を行う。
【００４６】
ステップＳ３６では、ＣＰＵ５０は、ポストフィルタ処理を行うか否かを判断する。ポストフィルタ処理を行う場合はステップＳ３８に、行わない場合はステップＳ４２に進む。図４の場合は、ポストフィルタ処理を行うので、ステップＳ３８に進む。
【００４７】
ステップＳ３８では、ポストフィルタ２８は、これに割り当てられた、共有メモリ６０の領域との間で読み書きを行って、ポストフィルタ処理を行い、得られた結果を垂直拡大回路３６に出力する。その後、ステップＳ４２に進む。
【００４８】
ステップＳ４２では、ＣＰＵ５０は、ＪＰＥＧ圧縮処理を行うか否かを判断する。ＪＰＥＧ圧縮処理を行う場合はステップＳ４４に、行わない場合はステップＳ４６に進む。図４の場合は、ＪＰＥＧ圧縮処理を行わないので、ステップＳ４６に進む。
【００４９】
ステップＳ４６では、ＣＰＵ５０は、垂直拡大処理を行うか否かを判断する。垂直拡大処理を行う場合はステップＳ４８に進み、行わない場合は処理を終了する。
【００５０】
ステップＳ４８では、垂直拡大処理回路３６は、この回路に割り当てられた、共有メモリ６０の領域との間で読み書きを行って、垂直拡大処理を行い、得られた結果を出力部７０に出力する。その後、処理を終了する。
【００５１】
また、ステップＳ４４では、ＪＰＥＧ処理回路３４は、この回路に割り当てられた、共有メモリ６０の領域との間で読み書きを行って、ＪＰＥＧ圧縮処理を行い、得られた結果を垂直拡大処理回路３６を経由して出力部７０に出力する。その後、処理を終了する。
【００５２】
このように、画像処理装置１００においては、ＪＰＥＧ圧縮処理と垂直拡大処理とのうち、いずれか一方のみが行われるようになっている。共有メモリ６０は、これらの処理の両方のためにラインメモリを有しておく必要がないので、処理回路のそれぞれに対応した独立したメモリを備える場合に比べて、メモリ容量を削減することができる。
【００５３】
図５は、図１の画像処理装置１００におけるデータの流れの第２の例を示す説明図である。図５の場合も、図４の場合と同様に、イメージセンサ１２が出力する画像のサイズが横１２８０（＝ｍ）×縦９６０画素であるとする。ここでは、画像処理として、前処理、ＹＣ信号処理、ポストフィルタ処理、及びＪＰＥＧ圧縮処理が行われるものとする。図２、図３及び図５を参照して、画像処理装置１００の動作を説明する。
【００５４】
ステップＳ１１における処理は、図４の場合と同様である。ステップＳ１２では、ＣＰＵ５０は、ポストフィルタ処理、及びＪＰＥＧ圧縮処理を行うことを設定する。
【００５５】
図５の場合は、画像処理装置１００に入力される画像の水平画素数がｍであり、ズーム処理が行われないので、１つのラインメモリには画像の１行分のデータを格納することしかできない。そこで、ステップＳ１３では、ＣＰＵ５０は、前処理回路２２、ＹＣ信号処理回路２４、ポストフィルタ２８、及びＪＰＥＧ処理回路３４に、それぞれ共有メモリ６０の２Ｈ、４Ｈ、４Ｈ、及び８Ｈに相当するラインメモリを割り当てる。
【００５６】
図５の場合、共有メモリ６０には合計１８Ｈの容量が必要となる。これは共有メモリ６０に最も多くの容量を必要とする場合にあたる。これに対し、図９のように、共有メモリを用いず、各処理回路に対応したメモリを備える場合には、縮小ズーム回路及び垂直拡大処理回路に対応するメモリのいずれにも、常に容量４Ｈが必要である。したがって、画像処理装置におけるメモリ容量を８Ｈ削減することができたことになる。
【００５７】
図３のステップＳ２２以降における処理は、ステップＳ３４のズーム処理を行わない点と、ステップＳ４８の垂直拡大処理に代えてステップＳ４４のＪＰＥＧ圧縮処理を行う点との他は、図４の場合と同様であるので、その説明を省略する。
【００５８】
このように、画像処理装置１００によると、ズーム処理を行わないので、縮小ズーム回路２６にはラインメモリが割り当てられない。このため、外部メモリを用いることなく、限られた共有メモリ６０を有効に用いて、サイズの大きな画像にＪＰＥＧ圧縮処理を行うことができる。
【００５９】
図６は、図１の画像処理装置１００におけるデータの流れの第３の例を示す説明図である。図６の場合も、図４の場合と同様に、イメージセンサ１２が出力する画像のサイズが横１２８０（＝ｍ）×縦９６０画素であるとする。ここでは、画像処理として、前処理、ＹＣ信号処理、ズーム処理（本例においては、倍率１／４）、ポストフィルタ処理、及びＪＰＥＧ圧縮処理が行われるものとする。図２、図３及び図６を参照して、画像処理装置１００の動作を説明する。
【００６０】
ステップＳ１１における処理は、図４の場合と同様である。ステップＳ１２では、ＣＰＵ５０は、ズーム処理、ポストフィルタ処理、及びＪＰＥＧ圧縮処理を行うこと、並びに、ズーム処理の倍率が１／４であることを設定する。
【００６１】
図６の場合は、画像処理装置１００に入力される画像の水平画素数がｍであり、ズーム処理の倍率が１／４であるので、１つのラインメモリには縮小後の画像の４行分のデータを格納することができる。
そこで、ステップＳ１３では、ＣＰＵ５０は、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、及びＪＰＥＧ処理回路３４に、それぞれ共有メモリ６０の２Ｈ、４Ｈ、４Ｈ、１Ｈ及び２Ｈに相当するラインメモリを割り当てる。
【００６２】
図３のステップＳ２２以降における処理は、ステップＳ４８の垂直拡大処理に代えてステップＳ４４のＪＰＥＧ圧縮処理を行う点の他は、図４の場合と同様であるので、その説明を省略する。
【００６３】
図７は、図１の画像処理装置１００におけるデータの流れの第４の例を示す説明図である。図７の場合、イメージセンサ１２が出力する画像のサイズが横６４０（＝ｍ／２）×縦４８０画素であるとし、画像処理として、前処理、ＹＣ信号処理、ズーム処理（本例においては、倍率１／２）、ポストフィルタ処理、及び垂直拡大処理が行われるものとする。この場合、画像処理装置１００に入力される画像の水平方向の１行分のデータ量は、１／２Ｈに相当する。図２、図３及び図７を参照して、画像処理装置１００の動作を説明する。
【００６４】
ステップＳ１１では、ＣＰＵ５０は、画像処理装置１００に入力される画像の水平画素数がｍ／２以下であることを設定する。ステップＳ１２では、ＣＰＵ５０は、ズーム処理、ポストフィルタ処理、及び垂直拡大処理を行うこと、並びに、ズーム処理の倍率が１／２であることを設定する。
【００６５】
図７の場合は、画像処理装置１００に入力される画像の水平画素数がｍ／２であり、ズーム処理の倍率が１／２であるので、１つのラインメモリには縮小後の画像の４行分のデータを格納することができる。そこで、ステップＳ１３では、ＣＰＵ５０は、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、及び垂直拡大処理回路３６に、それぞれ共有メモリ６０の１Ｈ、２Ｈ、２Ｈ、１Ｈ、及び１Ｈに相当するラインメモリを割り当てる。
【００６６】
図３のステップＳ２２以降における処理は、図４の場合と同様であるので、詳細な説明は省略する。
【００６７】
図８は、図１の画像処理装置１００におけるデータの流れの第５の例を示す説明図である。図８の場合、イメージセンサ１２が出力する画像のサイズが横６４０（＝ｍ／２）×縦４８０画素であるとし、画像処理として、前処理、ＹＣ信号処理、ズーム処理（本例においては、倍率１／２）、ポストフィルタ処理、及びＪＰＥＧ圧縮処理が行われるものとする。この場合、画像処理装置１００に入力される画像の水平方向の１行分のデータ量は、１／２Ｈに相当する。図２、図３及び図８を参照して、画像処理装置１００の動作を説明する。
【００６８】
ステップＳ１１における処理は、図７の場合と同様である。ステップＳ１２では、ＣＰＵ５０は、ズーム処理、ポストフィルタ処理、及びＪＰＥＧ圧縮処理を行うこと、並びに、ズーム処理の倍率が１／２であることを設定する。
【００６９】
図８の場合は、画像処理装置１００に入力される画像の水平画素数がｍ／２であり、ズーム処理の倍率が１／２であるので、１つのラインメモリには縮小後の画像の４行分のデータを格納することができる。そこで、ステップＳ１３では、ＣＰＵ５０は、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、及びＪＰＥＧ処理回路３４に、それぞれ共有メモリ６０の１Ｈ、２Ｈ、２Ｈ、１Ｈ、及び２Ｈに相当するラインメモリを割り当てる。
【００７０】
図３のステップＳ２２以降における処理は、図５の場合と同様であるので、詳細な説明は省略する。
【００７１】
このように、画像処理装置１００においては、実際に画像処理を行う回路にのみ、その処理に必要な容量の共有メモリを割り当てるので、画像処理部の全ての処理回路に対して、各処理回路で使用する可能性がある最大の容量のメモリを予め備える必要がない。したがって、メモリの容量を抑えることができる。
【００７２】
なお、以上の実施形態では、画像処理装置が１つの共有メモリを備える場合について説明したが、複数の共有メモリを備えるようにしてもよい。例えば、画像処理部内の２つの回路が第１の共有メモリを用い、画像処理部内の他の２つの回路が第２の共有メモリを用いるようにしてもよい。
【００７３】
【発明の効果】
以上のように、本発明によると、画像処理装置が備える必要があるメモリの容量を抑えることができる。したがって、画像処理装置の低コスト化を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置を備えるカメラの構成の例を示すブロック図である。
【図２】図１の画像処理部の構成の例を示すブロック図である。
【図３】図１の画像処理装置における処理の流れの例を示すフローチャートである。
【図４】図１の画像処理装置におけるデータの流れの第１の例を示す説明図である。
【図５】図１の画像処理装置におけるデータの流れの第２の例を示す説明図である。
【図６】図１の画像処理装置におけるデータの流れの第３の例を示す説明図である。
【図７】図１の画像処理装置におけるデータの流れの第４の例を示す説明図である。
【図８】図１の画像処理装置におけるデータの流れの第５の例を示す説明図である。
【図９】従来の技術による画像処理装置の構成の一例を示すブロック図である。
【符号の説明】
１２イメージセンサ
１３ＡＤ変換器
１４記録装置
１５表示装置
２０画像処理部
２２前処理回路
２４輝度色差信号処理回路（ＹＣ信号処理回路）
２６縮小ズーム回路
２８ポストフィルタ
３４ＪＰＥＧ処理回路（圧縮処理回路）
３６垂直拡大回路
５０ＣＰＵ
６０共有メモリ
７０出力部
１００画像処理装置

Claims

イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理装置であって、
画像を行単位で格納するラインメモリを有する共有メモリと、
前記共有メモリを用いて前記画像処理を行う画像処理部と、
前記画像処理部を制御するＣＰＵとを備え、
前記画像処理部は、
それぞれが前記画像処理として所定の処理を行う、複数の処理回路を有するものであり、
前記複数の処理回路のうちの少なくとも２つは、
前記共有メモリとして同一のものを用いて処理を行うものである画像処理装置。
請求項１に記載の画像処理装置において、
前記画像処理部は、
前記イメージセンサから得られた画像信号に対して前処理を行う前処理回路と、
前記前処理後の信号を輝度信号及び色差信号に変換して出力する輝度色差信号処理回路と、
前記輝度信号及び色差信号が表す画像を縮小させ、得られた画像を出力する縮小ズーム回路と、
前記縮小ズーム回路の出力に応じた画像に対して圧縮符号化を行い、得られた結果を前記画像処理部の出力とする圧縮処理回路とを、前記複数の処理回路として備えるものであることを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記画像処理部は、
垂直拡大回路と、
前記縮小ズーム回路の出力にポストフィルタ処理を行い、前記圧縮処理回路又は前記垂直拡大回路に出力するポストフィルタとを、前記複数の処理回路として更に備えるものであり、
前記垂直拡大回路は、
ポストフィルタ処理後の画像を垂直方向に拡大する垂直拡大処理を行い、得られた結果を前記画像処理部の出力とするものであることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記画像処理部の出力を表示又は記録媒体への書き込みに適した信号に変換して出力する出力部を更に備え、
前記出力部は、
前記画像処理部で用いられる前記共有メモリを用いて処理を行うように構成されているものであることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記複数の処理回路のそれぞれには、それぞれにおける処理の必要に応じて、前記共有メモリの領域が割り当てられていることを特徴とする画像処理装置。
請求項２に記載の画像処理装置と、
前記画像処理装置に画像信号を出力するイメージセンサと、
前記画像処理装置の出力を記録媒体に書き込む記録装置とを備えるカメラ。
イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理方法であって、
画像を行又は列毎に共有メモリに格納するステップと、
前記共有メモリを用いて前記画像処理を行うステップとを備え、
前記画像処理を行うステップは、
それぞれが前記画像処理として所定の処理を行う、複数の処理ステップ有するものであり、
前記複数の処理ステップのうちの少なくとも２つは、
前記共有メモリとして同一のものを用いて処理を行うものである画像処理方法。