JP2012191465A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】画素数削減画像に対する補正処理によりジャギーを低減させた高品質な画像を生成する。
【解決手段】撮像素子における撮影画像の総画素数を削減した画素数削減画像を入力画像とし、入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出し、画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出し、複数方向のエッジ強度に基づいて、複数方向の平滑化成分としての補間画素値各々に対する重みを算出し、複数方向の平滑化成分としての補間画素値と、重み算出部の算出した重みとの加重加算によるブレンド処理を行い、画素ブロックの中心画素である補正対象画素の画素値を算出する。これらの処理により、画素数削減画像における重心ずれの補正が実行されジャギーが低減される。
【選択図】図２５

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像に発生するジャギーを低減させる処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

例えばカメラで撮影した画像を印刷出力あるいは表示出力した場合、出力されるオブジェクトの画像輪郭が本来のオブジェクトの輪郭と異なり、階段状のギザギザな輪郭として出力されることがある。
この階段状のギザギザは、一般にジャギーと呼ばれる。ジャギーは折り返し雑音の一種であり、このジャギーを低減させる画像処理について、従来から様々な提案がなされている。

例えば特許文献１（特開２０１０−６７２７２号公報）は、エッジ検出による方向判定を行い、よりエッジに平行な方向に平滑化成分の重みを大きくして各方向のブレンドを行うことでジャギーの低減を図る手法を開示している。。
しかし、この手法は、重心のずれた画素を用いてエッジ保存平滑化を行うと、サブピクセル単位でエッジと垂直方向にずれた画素同士の平滑化となるため、解像度が劣化してしまうという問題がある。

また、特許文献２（特開２００９−０７０１２３号公報）は、超解像度手法を用い、エッジ近傍については低解像度画像の高解像度化を行うことでジャギーの強調を抑制する手法を開示している。
しかし、一般的に超解像度手法は計算量が膨大であり、小規模な回路で実現することは難しいという問題がある。

さらに、特許文献３（特開２００４−２３４６２３号公報）は、連続撮影した画像間の位置を合わせて重ねあわせることで、ジャギーも低減された高品質な画像を生成する手法を開示している。
しかし、この手法は、位置合わせがわずかにずれるだけでエッジがぼけてしまい、解像度劣化を引き起こしてしまうという問題がある。
また、画像全体の動き情報であるグローバルモーションと、画像の一部の動き情報であるローカルモーションの両者を考慮して画像間の位置ずれを正確に算出することは非常に難しく、画像内すべての領域での解像度改善は困難であるという問題もある。

特開２０１０−６７２７２号公報 特開２００９−０７０１２３号公報 特開２００４−２３４６２３号公報

本開示は、例えば上記問題点に鑑みてなされたものであり、ジャギーの削減を簡易な構成で実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
撮像素子における撮影画像の総画素数を削減した画素数削減画像を入力画像とし、
入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出するエッジ強度算出部と、
前記画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出する補間画素値算出部と、
前記エッジ強度算出部の算出した複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出する重み算出部と、
前記複数方向の平滑化成分としての補間画素値と、前記重み算出部の算出した重みとの加重加算によるブレンド処理を行い、前記画素ブロックの中心画素である補正対象画素の画素値を算出するブレンド処理部と、
を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記複数方向は。水平方向と、垂直方向と、右上方向と、左上方向の４方向である。

さらに、本発明の画像処理装置の一実施態様において、前記画素数削減画像は、ベイヤー配列画像を持つ画像である。

さらに、本発明の画像処理装置の一実施態様において、前記画素数削減画像は、ベイヤー配列画像を持つ画像であり、補正対象画素はＧ画素である。

さらに、本発明の画像処理装置の一実施態様において、前記エッジ強度算出部は、前記補正対象画素を中心とした画素ブロック単位で複数のラプラシアン絶対値を算出し、算出した複数のラプラシアン絶対値を適用して前記補正対象画素位置における複数方向のエッジ強度を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記補間画素値算出部は、前記画素ブロックに設定される特定方向のライン上の画素の画素値に基づいて複数の平滑化成分を算出し、算出した複数の平滑化成分に基づいて、前記補正対象画素に対応する平滑化成分としての補間画素値を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記補間画素値算出部は、前記画素数削減画像に含まれる重心ずれの発生した画素に基づいた補間画素値の算出を行う。

さらに、本発明の画像処理装置の一実施態様において、前記重み算出部は、前記エッジ強度算出部の算出した複数方向のエッジ強度の各々に対して、予め規定したクリッピング関数を適用したクリッピング処理を実行し、クリッピング後の複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出する。

さらに、本発明の画像処理装置の一実施態様において、前記画素数削減画像は、ベイヤー配列画像を持つ画像であり、補正対象画素はＧ画素であり、前記画像処理装置は、さらに、前記ブレンド処理部の出力するＧ画素を有する補正画像に対するデモザイク処理を実行するデモザイク処理部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記デモザイク処理部は、ベイヤー配列におけるＧ画素とＲ画素の相関、およびＧ画素とＢ画素の相関関係の利用処理による各画素のＲＧＢ画素値を設定するデモザイク処理を実行する。

さらに、本発明の第２の側面は、
撮像素子における画素加算、または間引き処理後のＲＡＷ画像に対して、画素加算または間引き処理前の解像度を元にして、注目Ｇ画素の中心を通るエッジ方向を求め、
求めたエッジ方向と垂直な直線上に近傍のＧ画素を射影し、射影されたＧ画素をエッジに垂直な方向にリサンプリング処理を実行して、リサンプリング画素の画素値であるリサンプリング信号を用いて前記注目Ｇ画素の画素値を決定する処理を実行する画像補正部を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像補正部は、エッジ方向を事前に定めた特定方向のエッジ成分の線形和によって表現し、前記特定方向のエッジ成分ごとに前記リサンプリング処理を実行し、前記特定方向の複数方向のリサンプリング信号に対して、前記線形和表現のエッジ成分とほぼ同じ比率の加重平均を実行して前記注目Ｇ画素の画素値を決定する。

さらに、本発明の第３の側面は、
撮像素子と、
撮像素子の撮影画像の総画素数の削減処理を実行して画素数削減画像を生成する画素数削減部と、
前記画素数削減画像を入力画像とし、
入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出するエッジ強度算出部と、
前記画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出する補間画素値算出部と、
前記エッジ強度算出部の算出した複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出する重み算出部と、
前記複数方向の平滑化成分としての補間画素値と、前記重み算出部の算出した重みとの加重加算によるブレンド処理を行い、前記画素ブロックの中心画素である補正対象画素の画素値を算出するブレンド処理部と、
を有する撮像装置にある。

さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行する画像処理方法であり、
エッジ強度算出部が、撮像素子における撮影画像の総画素数を削減した画素数削減画像を入力画像とし、
入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出するエッジ強度算出ステップと、
補間画素値算出部が、前記画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出する補間画素値算出ステップと、
重み算出部が、前記エッジ強度算出部の算出した複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出する重み算出ステップと、
ブレンド処理部が、前記複数方向の平滑化成分としての補間画素値と、前記重み算出部の算出した重みとの加重加算によるブレンド処理を行い、前記画素ブロックの中心画素である補正対象画素の画素値を算出するブレンド処理ステップと、
を実行する画像処理方法にある。

さらに、本発明の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
エッジ強度算出部に、撮像素子における撮影画像の総画素数を削減した画素数削減画像を入力画像し、入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出させるエッジ強度算出ステップと、
補間画素値算出部に、前記画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出させる補間画素値算出ステップと、
重み算出部に、前記エッジ強度算出部の算出した複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出させる重み算出ステップと、
ブレンド処理部に、前記複数方向の平滑化成分としての補間画素値と、前記重み算出部の算出した重みとの加重加算によるブレンド処理を行い、前記画素ブロックの中心画素である補正対象画素の画素値を算出させるブレンド処理ステップと、
を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、画素数削減画像に対する補正処理によりジャギーを低減させた高品質な画像を生成することが可能となる。
具体的には、例えば、撮像素子における撮影画像の総画素数を削減した画素数削減画像を入力画像とし、入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出し、画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出し、複数方向のエッジ強度に基づいて、複数方向の平滑化成分としての補間画素値各々に対する重みを算出し、複数方向の平滑化成分としての補間画素値と、重み算出部の算出した重みとの加重加算によるブレンド処理を行い、画素ブロックの中心画素である補正対象画素の画素値を算出する。これらの処理により、画素数削減画像における重心ずれの補正が実行されジャギーが低減される。

画素数削減処理における問題点について説明する図である。 画素数削減処理における問題点について説明する図である。 画素数削減処理における問題点としてのジャギーの発生について説明する図である。 画像処理装置の一例である撮像装置の構成例について説明する図である。 画像処理装置において実行する処理の概要について説明する図である。 水平（Ｈ）（＝横）方向のラプラシアン絶対値の算出処理について説明する図である。 垂直（Ｖ）（＝縦）方向のラプラシアン絶対値の算出処理について説明する図である。 右上（Ｒ）方向のラプラシアン絶対値の算出処理について説明する図である。 左上（Ｌ）方向のラプラシアン絶対値の算出処理について説明する図である。 ラプラシアン絶対値の加重平均値の算出に用いるフィルタ構成の一例について説明する図である。 画素加算処理の一例について説明する図である。 水平・垂直方向ともに加算比率を１：３とした加算処理について説明する図である。 重心ずれの発生している場合と、重心ずれの発生していない場合、それぞれの場合における右上斜め方向のサンプリング間隔の違いの例を示す図である。 水平１：１，垂直１：１加算処理を実行した場合の補間処理例について説明する図である。 左上（Ｌ）方向のエッジを持つパターンに対応する平滑化Ｇ成分（Ｇ_Ｌ）を算出する処理について説明する図である。 左上（Ｌ）方向のエッジを持つパターンに対応する平滑化Ｇ成分（Ｇ_Ｌ）を算出する処理について説明する図である。 右上方向（Ｒ）のエッジパターンを持つ場合の右上（Ｒ）方向の平滑化Ｇ成分（Ｇ_Ｒ）の算出処理について説明する図である。 水平１：３，垂直１：１加算処理を実行した場合の補間処理例について説明する図である。 水平１：３，垂直１：１加算処理を実行した場合の補間処理例について説明する図である。 中心位置の４画素ブロック３５１の中心を通りエッジ方向（左上（Ｌ））と垂直な右上左下斜め４５度の直線ライン３５２からの各Ｇ画素までの距離を示す図である。 右上（Ｒ）方向のエッジパターンの場合の補間信号をリサンプリングして、目的とする平滑化Ｇ成分（Ｇ_Ｒ）を算出する時の距離の分布を示す図である。 水平（Ｈ）の平滑化Ｇ成分（Ｇ_Ｈ）を算出する処理について説明する図である。 ラプラシアン総和Ｄに対し、閾値によって決まるクリッピング処理を行うためのクリッピング関数の例を示す図である。 任意方向のエッジが検出される場合の処理について説明する図である。 画像補正部１５２の構成と処理をまとめて説明する図である。 画像補正部の処理対象とする画素ブロックの例について説明する図である。 バイアス値算出部の処理について説明する図である。 ４方向エッジ強度算出部の処理について説明する図である。 ４方向エッジ強度算出部の処理について説明する図である。 ４方向補間画素値算出部の処理について説明する図である。 ４方向補間画素値算出部の処理について説明する図である。 ４方向補間画素値算出部の処理について説明する図である。 ４方向重み算出部の処理について説明する図である。 ブレンド処理部の処理について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．画像におけるジャギー発生について
２．画像処理装置の構成例について
３．信号処理部における処理の概要について
４．画像補正部の実行する処理について
４−１．（処理１）画素数削減画像（ＲＡＷ画像）のＧ成分を用いて、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）を求める処理
４−２．（処理２）水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）を算出する処理
４−３．（処理３）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して乗算する重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を処理１で求めた４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）に応じて決定する処理
４−４．処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して、処理３で求めた重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を乗算したブレンド処理により、出力画素値を算出する処理
５．デモザイク処理について
６．任意方向のエッジに対応した処理について
７．画像補正部の構成と処理のまとめ
７−１．バイアス値算出部の処理について
７−２．４方向エッジ強度算出部の処理について
７−３．４方向補間画素値算出部の処理について
７−４．４方向重み算出部の処理について
７−５．ブレンド処理部の処理について
８．本開示の構成のまとめ

［１．画像におけるジャギー発生について］
先に説明したように、カメラで撮影した画像を印刷出力や表示出力した場合、出力画像に含まれるオブジェクトの画像輪郭が本来の輪郭と異なり、階段状のギザギザを持つ場合がある。このギザギザは、一般にジャギーと呼ばれる。

このジャギーは、例えば画素数が多い高解像度の撮像素子を利用した撮影画像に対して、画素の間引きや合成処理を行って、画素数を削減した出力画像を生成する場合にも発生する。

昨今の撮像装置は、高解像度の画像撮影のために、数１００万〜数１０００万画素の極めて多数の画素を持つ撮像素子を備えたものが多くなってきている。
しかし、撮像素子の有する画素数に対応する高解像度画像の出力可能な表示装置が利用されることは少なく、また、撮像素子から出力される高解像度画像をメモリにそのまま記録すると記録に必要となるメモリ容量が増大してしまい、記録可能な画像枚数が減少してしまうといった事態が発生する。

このような状況を考慮し、高画素数の撮像素子を備えた撮像装置では、撮像素子からの出力画素信号をそのままメモリに記録せず、出力画素数を間引く処理や、複数画素の加算演算などを含む合成処理によって、総画素数を削減してメモリに記録する処理が多く行われている。
しかし、このような画素数変換処理によって、出力画像にジャギーが発生するという問題が顕在化してきている。

この画素数ジャギーの削減に基づくジャギー発生について、図を参照して説明する。
図１には、
（ａ）撮像素子の画素配列（ベイヤー（Ｂａｙｅｒ）配列）、
（ｂ）出力画素の画素重心、
これらの図を示している。

図１（ａ）に示す画素配列は、撮像素子の高画素数の画素配列であり、撮影画像は、高画素数の画素情報を有している。この画素数を削減してメモリ格納画像を生成する。例えば、図１（ａ）の撮像素子の同じ色の画素４画素に基づいて、出力画像の１画素の画素値を設定し出力する。
すなわち、４画素を１画素に集約して出力して総画素数を削減する。
図１（ｂ）出力画素の画素重心は、画素数削減後の出力画素各々についての元の撮像素子における画素重心を示した図である。

例えば、図１（ｂ）のＧｂ画素３１は、図１（ａ）の３×３画素ブロック２１の４隅のＧｂ画素の画素値を均等に用いて決定される画素値である。３×３画素ブロック２１の中心位置に画素重心が設定される。この重心位置を示しているのが、図１（ｂ）のＧｂ画素３１である

図１に示す例は、（ａ）に示す８×８画素の６４画素を、（ｂ）に示す４×４＝１６画素として、出力画像の画素数を撮像素子の画素数の１／４に削減する処理を行っている例である。

この処理のために、例えば図１（ａ）に示す３×３画素のブロック２１の４隅の（Ｇｂ）画素の加算平均処理を実行して、出力画像における１つのＧｂ画素の画素値を算出している。

すなわち、図１（ａ）に示す３×３画素のブロック２１に含まれる４つのＧｂ画素に基づいて、図１（ｂ）に示すＧｂ画素３１の画素値を算出している。
この場合、出力画像におけるＧｂ画素３１の重心は、水平右方向をｘ、垂直下方向をｙとした座標軸において、（ｘ，ｙ）＝（２，２）の位置、すなわち、図１（ｂ）に示すＧｂ画素３１の位置となる。

また、図１（ａ）に示す３×３画素のブロック２２に含まれる４つのＢ画素に基づいて、図１（ｂ）に示すＢ画素３２の画素値が算出される。
この場合、出力画像におけるＢ画素３２の重心は、（ｘ，ｙ）＝（３，２）の位置、すなわち、図１（ｂ）に示すＢ画素３２の位置となる。

同様に、図１（ａ）に示す３×３画素のブロック２３に含まれる４つのＧｂ画素に基づいて、図１（ｂ）に示すＧＢ画素３３の画素値が算出される。
この場合、出力画像におけるＧｂ画素３３の重心は、（ｘ，ｙ）＝（６，２）の位置、すなわち、図１（ｂ）に示すＢ画素３３の位置となる。

また、図１（ａ）に示す３×３画素のブロック２４に含まれる４つのＢ画素に基づいて、図１（ｂ）に示すＢ画素３４の画素値が算出される。
この場合、出力画像におけるＢ画素３４の重心は、（ｘ，ｙ）＝（７，２）の位置、すなわち、図１（ｂ）に示すＢ画素３４の位置となる。

図１（ｂ）に示す計１６個の画素は、出力画像とする場合、４×４画素の画像として出力される。
すなわち、図２（ｃ）に示すような４×４画素の画像７０として出力される。
図２には、
（ｂ）出力画素の画素重心（図１（ｂ）と同じ）
（ｃ）出力画像の画素位置
これらを示している。

図２（ｃ）では左上の２×２画素、すなわちＧｂ画素３１、Ｂ画素３２を含む２×２画素のブロックを固定して考えている。この設定とした場合、その他の３つの２×２の画素プロックは、いずれも図２（ｃ）に示す矢印（α）、（β）、（γ）に従って移動させて図２（ｃ）に示す４×４画素の画像７０の構成画素として出力されることになる。

このシフト処理によって、以下のような問題が発生する。
例えば、
画素重心の位置が（ｘ，ｙ）＝（６，２）のＧｂ画素３３は、出力画像では、画素位置が（ｘ，ｙ）＝（３，２）のＧｂ画素５３として設定される。
また、
画素重心の位置が（ｘ，ｙ）＝（７，２）のＢ画素３４は、出力画像では、画素位置が（ｘ，ｙ）＝（３，３）のＢ画素５４として設定される。

ここで、縮尺率を算出する。
画素位置（ｘ，ｙ）＝（２，２）のＧＢ画素３１を固定位置とした基準画素と仮定して考える。
図２（ｂ）に示す画素位置（ｘ，ｙ）＝（６，２）のＧｂ画素３３は、基準画素であるＧｂ画素３１から４画素離れている。
これが、出力画像では、画素位置が（ｘ，ｙ）＝（３，２）のＧｂ画素５３として設定されるので、その基準画素：Ｇｂ画素３１からの距離は２画素となる。
すなわち、縮尺率は、
２画素／４画素＝１／２
となる。

一方、図２（ｂ）に示す画素位置（ｘ，ｙ）＝（７，２）のＢ画素３４は、基準画素であるＧｂ画素３１から５画素離れている。
これが、出力画像では、画素位置が（ｘ，ｙ）＝（４，２）のＢ画素５４として設定されるので、その基準画素：Ｇｂ画素３１からの距離は３画素となる。
すなわち、縮尺率は、
３画素／５画素＝３／５
となる。

このように、画素間の縮尺率がばらばらとなり、撮像素子の画素配列に対応する撮影画像の各画素の相対位置と異なる相対位置を有する出力画像が生成されてしまうことになる。
すなわち、撮像素子において撮影されたオリジナル画像の各画素の間隔が不均一に縮小されて出力画像が生成されてしまう。
このような画素間隔の不均等は画質劣化を引き起こす。
具体的には、例えば図３に示すようなジャギーの拡大などの劣化を発生させる。

図３（Ａ）のオリジナル画像は、撮像素子の撮影画像に相当する画素数の多い高解像度の画像であり、この画像はジャギーが小さい。
この図３（Ａ）のオリジナル画像に基づいて、図１〜図２を参照して説明した相対的な画素位置をばらばらにしてしまう画素数削減処理を行うと、図３（Ｂ）に示すようなジャギーの拡大した画像が生成されてしまう。
なお、ジャギーは、折り返し雑音の一種である。加算後の画素重心の間隔の不均等により、ジャギー劣化は大きくなる。
なお、この他にも、ＲＧＢの各配色の位置関係の乱れなどにより、出力画像の色もオリジナル画像と差が発生するなど、様々な画質劣化を引き起こすことになる。

本開示に係る画像処理装置では、このような画素数削減に伴って発生するジャギーの発生を抑制する処理を実現する。

［２．画像処理装置の構成例について］
本開示に係る画像処理装置の一例として撮像装置の構成例について、図４を参照して説明する。
図４は、撮像装置の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部１０３に入力される。信号処理部１０３は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正、デモザイク処理等、一般的なカメラにおける信号処理を行う。

さらに、信号処理部１０３は、画素数の削減処理と、ジャギー低減を実現する画像補正処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。

制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

［３．信号処理部における処理の概要について］
前述のように、信号処理部１０３は、一般的なカメラにおける信号処理の他、画素数の削減処理と、ジャギー低減を実現する画像補正処理を実行する。
この処理の概要について、図５を参照して説明する。

図５には、以下の３つの画像データを示している。
（ａ）撮影画像
（ｂ）画素数削減画像
（ｃ）画素数削減補正画像
これらの３つの画像である。

信号処理部１０３は、図５に示す画素数削減部１５１、画像補正部１５２、デモザイク処理部１５３を有する。

（ａ）撮影画像は、撮像素子１０２の撮影する画像であり、撮像素子１０２の画素単位で画素値が設定された画像データである。
なお、本実施例ではベイヤー配列（ＲＧｒＧｂＢ）の配列を持つ撮像素子の出力に対する処理例について説明する。

図５に示す（ｂ）画素数削減画像は、（ａ）撮影画像の画素数を、１／４の画素数に削減した画像の画素の画素重心の位置を示している。画素数削減画像の画素はマル枠で示す画素である。
画素数削減画像の画素重心が、元の（ａ）撮影画像のどの位置に対応するかを示している。

画素数削減部１５１は、（ａ）撮影画像を入力し、例えば４つのＧｂ画素の画素値の加算平均処理を行って１つのＧｂ画素の画素値を算出する。先に図１を参照して説明したと同様の３×３画素ブロックの４頂点にあるＧｂ画素の画素値の加算平均を行うものである。
Ｒ．Ｇｒ，Ｇｂ．Ｂのすべての画素について、４つの画素値から１つの出力画素値を算出して、１／４の画素数に削減した（ｂ）画素数削減画像を生成する。
この処理は、先に図１〜図２を参照して説明した従来の画素数削減処理と同様である。

（ｂ）画素数削減画像に示すマル枠で示すＲ，Ｇｒ，Ｇｂ，Ｂの画素位置は、図１（ｂ）を参照して説明した画素重心の画素位置である。
このまま、出力画像を生成すると、図２、図３を参照して説明したジャギーの発生した画像となってしまう。

そこで、本実施例の画像処理装置では、図５に示す（ｂ）画素数削減画像を信号処理部１０３内の画像補正部１５２に入力して、画素重心を移動させる画像補正を実行する。
この画像補正部１５２における画像補正処理によって、図５（ｃ）に示す画素数削減補正画像を生成する。

図５（ｃ）に示す画素数削減補正画像と、図５（ｂ）に示す画素数削減画像との差異は、
Ｇｂと、Ｇｒの画素重心位置が移動している点である。
このように、本実施例の画像処理装置では、Ｇｂ，Ｇｒの画素重心を移動させる処理を実行する。

この画素重心の移動処理により、図５（ｃ）に示す画素数削減補正画像では、各色信号の相対位置が撮影画像とほぼ同様の設定となる。すなわち、画素数削減補正画像における各色（ＲＧｒＧｂＢ）の相対位置関係を、元のオリジナル画像である（ａ）撮影画像における各色の相対位置とほぼ同様の設定とすることができる。

なお、以下に説明する実施例では、ＲＧｒＧｂＢ画素構成を持つベイヤー（Ｂａｙｅｒ）配列におけるＧ画素（ＧｒとＧｂ）に対してのみ処理を行う。Ｇ画素は、画像全体に占める画素数の割合が多く、Ｇ画素に対する処理を行うことで十分なジャギー低減効果が得られる。この処理の結果、先に図３を参照して説明したようなジャギーの発生が抑制され、高品質な画素数削減補正画像が生成される。

なお、デモザイク処理部１５３は、図５（ｂ）に示す画素数削減補正画像に基づくデモザイク処理を実行し、各画素に全ての色情報（ＲＧｒＧｂＢ）を設定した画像データを生成する。

［４．画像補正部の処理について］
以下、本開示の画像処理装置において実行するジャギー低減効果を奏する画像補正処理、すなわち、図５に示す画像補正部１５２の実行する処理について説明する。

図５を参照して説明したように、画像補正部１５２は、例えば画素加算や、画素間引き処理によって生成されるＲＡＷ画像としての図５（ｂ）に示す画素数削減画像に対する補正処理を実行する。なお、ここでＲＡＷ画像はデモザイク処理のなされていない画像であり、各画素に１つの画素値のみが設定されている画像を意味する。

画像補正部１５２は、重心ずれを調整することで、従来は補正が困難であった画素重心のずれに起因するジャギーを低減する。
画像補正部１５２の実行する処理には、具体的には、以下の４つの処理（処理１）〜（処理４）が含まれる。
（処理１）画素数削減画像（ＲＡＷ画像）のＧ成分を用いて、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）を求める処理
（処理２）水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）を算出する処理
（処理３）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して乗算する重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を処理１で求めた４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）に応じて決定する処理
（処理４）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して、処理３で求めた重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を乗算したブレンド処理により、出力画素値を算出する処理
以下、これらの（処理１）〜（処理４）の各処理について順に説明をする。

（４−１．（処理１）画素数削減画像（ＲＡＷ画像）のＧ成分を用いて、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）を求める処理）
まず、）画素数削減画像（ＲＡＷ画像）のＧ成分を用いて、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）を求める処理について説明する。

画像補正部１５２は、図５（ｂ）に示す画素数削減画像（ＲＡＷ画像）を入力し、入力した画素数削減画像に含まれる画素のＧ（ＧｒとＧｂ）画素の画素値を用いて、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）を求める処理を実行する。

なお、以下の実施例では、撮像素子１０２で撮影された画像と、信号処理部の生成する画素数削減画像がともにＲＧｒＧｂＢのベイヤー（Ｂａｙｅｒ）配列を有する画像である場合の処理例について説明する。

画像補正部１５２は、画素数削減画像であるベイヤー（Ｂａｙｅｒ）配列に含まれるＧ（ＧｒとＧｂ）画素の画素値を用いて画素値の２次微分値の絶対値に相当するラプラシアン絶対値を求める。
さらに、予め設定したエッジ強度算出領域内のＧ（ＧｒとＧｂ）位置の画素値のラプラシアン絶対値を加重平均して各領域におれるエッジ強度を算出する。

以下、水平（Ｈ）（＝横）、垂直（Ｖ）（＝縦）、右上（Ｒ）、左上（Ｌ）方向、各方向の計４方向それぞれのＧ（ＧｒとＧｂ）画素値のラプラシアン絶対値の具体的な計算方法について説明する。

（ａ．水平（Ｈ）（＝横）方向と、垂直（Ｖ）（＝縦）方向のラプラシアン絶対値の算出処理について）
まず、水平（Ｈ）（＝横）方向と、垂直（Ｖ）（＝縦）方向のラプラシアン絶対値の算出処理について、図６、図７を参照して説明する。

最初に図６を参照して、水平（Ｈ）（＝横）方向のラプラシアン絶対値の算出処理について説明する。
図６に示す画像は、図５（ｂ）に示す画素数削減画像に対応する画素数削減画像２０１（ＲＡＷ画像）である。図５（ｂ）では、画素数削減画像の画素重心位置を元の撮影画像の画素配列中に示した図としているが、図６に示す画素数削減画像２０１は、図５（ｂ）に示す離間した各画素を集積させて生成した画素数削減画像に相当する。すなわち、先に図２（ｃ）を参照して説明した画素位置の設定によって生成した画素数削減画像（ＲＡＷ画像）である。

この図６に示す画素数削減画像２０１は、各色の画素重心の相対位置が、元の撮影画像の画素配列における各色の画素重心の相対位置とずれがあり、先に図３を参照して説明したジャギーの発生が懸念される画像である。

図６に示す画素数削減画像２０１はベイヤー（Ｂａｙｅｒ）配列を有し、水平（Ｈ）（＝横）方向と垂直（Ｖ）（＝縦）方向のいずれの方向にも、１画素おきにＧ（ＧｒまたはＧｂ）画素が出現する。このＧ成分を利用してラプラシアンを求める。

水平（Ｈ）（＝横）方向のラプラシアン絶対値の計算手法について説明する。
一例として、図６に示す画像２０１の画素Ｇｒ２，２１１の位置での水平（Ｈ）（＝横）方向ラプラシアン絶対値Ｌ_{Ｇｒ２＿Ｈ}を算出する例について説明する。
画像補正部１５２は、図６に示す画像２０１の画素Ｇｒ２，２１１の位置での水平（Ｈ）（＝横）方向ラプラシアン絶対値Ｌ_{Ｇｒ２＿Ｈ}を求める場合、Ｇｒ２と水平（Ｈ）（＝横）方向に１画素離れた位置にあるＧｒ１，Ｇｒ３の各画素値を用いて次の式（式１）に従った計算を行う。

・・・（式１）

なお、上記式において、
Ｌ_{Ｇｒ２＿Ｈ}：画素Ｇｒ２の位置での水平（Ｈ）（＝横）方向ラプラシアン絶対値
Ｇｒ１：画素Ｇｒ２から横方向に１画素離れた位置の画素Ｇｒ１の画素値、
Ｇｒ２：画素Ｇｒ２の画素値、
Ｇｒ３：画素Ｇｒ２から横方向に１画素離れた位置の画素Ｇｒ３の画素値、
である。

画像補正部１５２は、画素数削減画像２０１に含まれるＧ成分、すなわち、Ｇｒ、Ｇｂの各画素位置において、上記（式１）に従った横方向のラプラシアン絶対値を算出する。
例えば図６に示すＧｂ２，２１２の位置での水平（Ｈ）（＝横）方向ラプラシアン絶対値Ｌ_{Ｇｂ２＿Ｈ}を求める場合、Ｇｂ２と横方向に１画素離れた位置にあるＧｂ１，Ｇｂ３の各画素値を用いて上記式（式１）と同様の計算を行う。

上記式（式１）において、
Ｇｒ１をＧｂ１、
Ｇｒ２をＧｂ２、
Ｇｒ３をＧｂ３、
これらに置き換えて、Ｇｂ２，２１２の位置での水平（Ｈ）（＝横）方向ラプラシアン絶対値Ｌ_{Ｇｂ２＿Ｈ}を求める。

垂直（Ｖ）（＝縦）方向に関しても同様に１画素離れた縦方向のＧ成分を用いてラプラシアンの絶対値を求める。
例えば図７に示すＧｂ５，２２１の位置での垂直（Ｖ）（＝縦）方向ラプラシアン絶対値Ｌ_{Ｇｂ５＿Ｖ}を求める場合、Ｇｂ５と縦方向に１画素離れた位置にあるＧｂ１，Ｇｂ９の各画素値を用いて上記式（式１）と同様の計算を行う。

上記式（式１）において、
Ｇｒ１をＧｂ５、
Ｇｒ２をＧｂ１、
Ｇｒ３をＧｂ９、
これらに置き換えて、Ｇｂ５，２２１の位置での垂直（Ｖ）（＝縦）方向ラプラシアン絶対値Ｌ_{Ｇｂ５＿Ｖ}を求める。

また、例えば図７に示すＧｒ５，２２２の位置での垂直（Ｖ）（＝縦）方向ラプラシアン絶対値Ｌ_{Ｇｒ５＿Ｖ}を求める場合、Ｇｒ５と縦方向に１画素離れた位置にあるＧｒ１，Ｇｒ９の各画素値を用いて上記式（式１）と同様の計算を行う。

上記式（式１）において、
Ｇｒ１をＧｒ５、
Ｇｒ２をＧｒ１、
Ｇｒ３をＧｒ９、
これらに置き換えて、Ｇｒ５，２２２の位置で垂直（Ｖ）（＝縦）方向ラプラシアン絶対値Ｌ_{Ｇｒ５＿Ｖ}を求める。

（ｂ．右上（Ｒ）、左上（Ｌ）方向のラプラシアン絶対値の算出処理について）
次に、右上斜め方向と左上斜め方向、すなわち、右上（Ｒ）、左上（Ｌ）方向のラプラシアン絶対値の算出処理について図８、図９を参照して説明する。
斜め方向に関しては対象とするＧ画素と斜め方向に隣接するＧ画素３つを用いてラプラシアンの絶対値を求める。

図８を参照して右上（Ｒ）方向のラプラシアン絶対値の算出処理について説明する。
例えば、図８に示すＧｂ５，２３１の位置の右上（Ｒ）方向ラプラシアン絶対値Ｌ_{Ｇｂ５＿Ｒ}を求める場合、Ｇｂ５と右上斜め方向のラインに沿って出現するＧ成分画素である右上のＧｒ２画素と左下のＧｒ５画素の各画素値を用いて次の式（式２）に従った計算を行う。

・・・（式２）

なお、上記式において、
Ｌ_{Ｇｂ５＿Ｒ}：画素Ｇｂ５の位置での右上（Ｒ）方向ラプラシアン絶対値
Ｇｒ２：画素Ｇｂ５の右上位置の画素Ｇｒ２の画素値、
Ｇｂ５：画素Ｇｂ２の画素値、
Ｇｒ３：画素Ｇｂ５の左下位置の画素Ｇｒ３の画素値、
である。

左上（Ｌ）方向ラプラシアン絶対値についても、上記（式２）と同様の算出式に従って左上（Ｌ）方向ラプラシアン絶対値を算出する。
例えば、図９に示すＧｂ５，２３１の位置の左上（Ｌ）方向のラプラシアン絶対値Ｌ_{Ｇｂ５＿Ｌ}を求める場合、Ｇｂ５と左上（Ｌ）斜め方向のラインに沿って出現するＧ成分画素である左上のＧｒ１画素と右下のＧｒ４画素の各画素値を用いて上記式（式２）に従った計算を行う。
上記（式２）において、Ｇｒ２の代わりにＧｒ１、Ｇｒ３の代わりにＧｒ４を利用する。

なお、画像補正部１５２において上記のラプラシアン絶対値の算出対象とする画像は、先に図５を参照して説明したように、図５（ｂ）に示す画素数削減画像である。画素数削減画像は、画素加算や、画素間引き処理によって、元の（ａ）撮影画像の画素数が削減された画像であり、図２を参照して説明したように画素重心のずれが発生していることがある。

このような画素重心のずれのある（ｂ）画素数削減画像に基づいて算出するラプラシアンは、元のオリジナル画像である（ａ）撮影画像に基づいて算出されるラプラシアンとは異なる。すなわち、本来、求めたい角度からずれた方向のラプラシアンを計算することになる。しかし、その誤差は最大でも１割未満であり、４方向の強度の比率を求める程度であれば大きな影響はないことを定量的に確認済みである。

画像補正部１５２は、上述した処理に従って、
（１）水平（Ｈ）方向のラプラシアン絶対値、
（２）垂直（Ｖ）方向のラプラシアン絶対値、
（３）右上（Ｒ）方向のラプラシアン絶対値、
（４）左上（Ｌ）方向のラプラシアン絶対値、
これらの４つのラプラシアン絶対値を求める。

このように、画像補正部１５２は、画素数削減画像に含まれるＧ成分（Ｇｒ，Ｇｂ）を用いて各方向のラプラシアン絶対値を求める。
画像補正部１５２は、次に、Ｇ位置におけるラプラシアン絶対値を加重平均することでエッジ強度を算出する。

ラプラシアン絶対値の加重平均値の算出には、エッジ強度算出対象とする画素を中心としたＮ×Ｎ画素内に存在する全てのＧ位置で求めたラプラシアン絶対値を利用した重み付け平均、すなわち加重平均値の算出処理として実行する。
エッジ強度算出対象とする画素に対応する中心画素のラプラシアン絶対値に大きめの重みを与え、周囲には小さめの重みを与える。
重みの設定例を図１０に示す。図１０に示す例はＮ×Ｎ＝５×５とした領域設定に基づく重み設定例である。

図１０に示す重み設定例は、以下の設定となっている。
エッジ強度算出対象とするＧ画素（ＧｒまたはＧｂ）に重み３６、
その周囲の４つのＧ画素（ＧｒまたはＧｂ）に重み１６、
さらにその周囲の、
水平垂直方向の４つのＧ画素（ＧｒまたはＧｂ）に重み６、
斜め方向の４つのＧ画素（ＧｒまたはＧｂ）に重み１、
このような設定である。

画像補正部１５２は、これらの重みを利用して各Ｇ位置で算出したラプラシアン絶対値の加重平均を算出して、中心位置のＧ画素のエッジ強度を示すラプラシアン絶対値の加重平均値を算出する。なお、実際の計算時には重みの総和が１となるように正規化することが必要である。
画像補正部１５２は、上述した処理に従って、画素数削減画像のＧ画素（ＧｒとＧｂ）単位で以下の各値を算出する。
（１）Ｄ_Ｈ：水平（Ｈ）方向のラプラシアン絶対値の水平方向ラプラシアン総和（加重平均）、
（２）Ｄ_Ｖ：垂直（Ｖ）方向のラプラシアン絶対値の垂直方向ラプラシアン総和（加重平均）、
（３）Ｄ_Ｒ：右上（Ｒ）方向のラプラシアン絶対値の右上方向ラプラシアン総和（加重平均）、
（４）Ｄ_Ｌ：左上（Ｌ）方向のラプラシアン絶対値の左上方向ラプラシアン総和（加重平均）、
これらの４つの方向のラプラシアン総和（加重平均）を求める。

（４−２．（処理２）水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）を算出する処理）
次に（処理２）である水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）を算出する処理について説明する。

本手法では画素加算による画素重心ずれを積極活用することで解像度劣化を抑えた補間処理を実現している。まず画素加算方式によって発生する画素重心ずれの説明を行い、その後に２種類の画素加算方式に対応する平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）の算出具体例について説明する。

画素加算は、例えば、撮影処理に際して撮像素子（イメージセンサ）１０２の各画素に蓄積される電荷のアナログ出力信号に対する加算・リサンプリング処理によって実現される。具体的には、撮像素子１０２の各画素の出力回路を、２画素の出力の加算構成を設定することで実現される。

例えば撮像素子（イメージセンサ）１０２の縦横方向に隣接する同色の画素４つを１：１で加算したり、もしくは水平方向にだけ重み付けして加算したりする、などの方式が用いられる。

画素加算処理の一例について、図１１を参照して説明する。
図１１に示す例は、撮像素子（イメージセンサ）１０２の３×３画素ブロック内に含まれる同一色の画素の画素加算処理例を示している。
図１１は、３×３画素ブロック内に含まれる４つのＲ画素の画素値を均等に加算して平均値を算出して画素数削減画像の出力画素値（Ｒ画素値）を算出する処理例を示している。図１１には、
（ａ）撮影画像の画素加算処理例（Ｒ画素の場合）
（ｂ）加算処理による画素数削減画像の画素重心（Ｒ画素の場合）
これらの各図を示している。

図１１に示す例は、４つの同つ色の画素値に基づいて、画素数削減画像の１つの画素の画素値を設定する処理であり、元の撮像素子の撮影画像の総画素数を１／４の画素数に削減した画素数削減画像を生成する処理に相当する。
図１１は、４つの画素値の画素加算に際して、すべて均等に加算する処理、すなわち、水平１：１，垂直１：１の設定での画素加算の例を示している。

図１１に示す、
（ｂ）加算処理による画素数削減画像の画素重心（Ｒ画素の場合）
には、画素数削減画像におけるＲ画素の画素重心を示している。○で示したＲ部分が重心位置を表している。

Ｒ画素の重心は、４画素単位のブロックの中心ではなく、すべて４画素単位のブロックの右下に偏った位置となっている。図１１に示す処理は、画素数を１／４にする画素数削減処理であり、４画素単位のブロックの中央位置に画素重心が設定されることが好ましい。
すなわち、画素数削減画像の各画素の画素重心が、４画素単位のブロックの中央位置に設定されれば、画素数削減前の撮影画像の各色の相対位置と同じ相対位置を持つ画素数削減画像が生成されることになり、先に図１〜図３を参照して説明したような重心ずれに起因するジャギーの発生が抑制されることになる。

図１１（ｂ）に示す画素重心ずれは、先に図１〜図３を参照して説明した処理と同様の処理であり、ジャギーが発生してしまう。
すなわち、このような単純な加算方式では簡易的なリサンプリング効果と画素の重心ずれが起こるため、ジャギーが発生してしまう。

本来であれば画質劣化の原因としかならない重心ずれであるが、本手法ではこれを積極活用することで解像度劣化を従来よりも抑制したジャギー低減を実現する。
ジャギーを低減させるための処理の概要について説明する。

同一色の４画素を用いて画素加算を行って画素数削減画像の１つの画素の画素値を算出する場合、図１１に示すような、水平１：１，垂直１：１の加算処理、すなわち４つの画素の画素値を均等に加算する処理を行うと図１１（ｂ）示すような画素重心の設定となり、結果として画素重心ずれに基づくジャギーが発生する。

この問題を解決するためには、例えば図１２に示すように、水平・垂直方向ともに加算比率を１：３とした加算処理を実行すればよい。
図１２に示す画素加算処理例も、図１１に示す処理と同様、３×３画素ブロックに含まれる同一色の４画素の画素値に基づいて、画素数削減画像の１つの画素の画素値を算出する処理例である。図１２には、
（ａ）加算処理例（Ｇｒ画素の場合）
（ｂ）加算処理による画素数削減画像の画素重心（Ｇｒ画素の場合）
これらの図を示している。

図１２に示す、
（ｂ）加算処理による画素数削減画像の画素重心（Ｇｒ画素の場合）
には、画素数削減画像におけるＧｒ画素の画素重心を示している。マル（○）で示したＧｒ部分が重心位置を表している。
図１２（ｂ）に示す例では、図１１（ｂ）に示す例と異なり、
Ｇｒ画素の重心は、４画素単位のブロックの中心に設定されいている。図１２に示す処理は、画素数を１／４にする画素数削減処理であり、４画素単位のブロックの中央位置に画素重心が設定することが好ましい。

すなわち、画素数削減画像の各画素の画素重心が、４画素単位のブロックの中央位置に設定されれば、画素数削減前の撮影画像の各色の相対位置と同じ相対位置を持つ画素数削減画像が生成されることになり、先に図１〜図３を参照して説明したような重心ずれに起因するジャギーの発生が抑制されることになる。

このように、画素値の加算比率を変更した加算処理を行うことで、画素数削減画像の画素の画素重心を移動させることができる。その結果、ジャギーの発生を抑制することが可能となる。

図１２にはＧｒ画素に対する処理を示したが、その他のＧｂ画素についても、それぞれ４画素の加算比率を調整することで、出力画素の画素重心の位置を制御可能となる。
すなわち図１２（ｂ）に示す４画素ブロックの中心位置に重心を設定した画素の設定が可能となり、結果としてジャギーを抑制した画素数削減画像を生成することが可能となる。

また、画素重心を、４画素ブロックの中心位置に配列することで、重心ずれの発生した画素数削減画像と異なり、例えば斜め方向の１つのライン上に画素が並んで配列されることになり、より高いサンプリング間隔で信号を観察することができる。

例えば右上から左下に向かう直線状のエッジが存在するパターンを考える。エッジの特徴として、エッジに沿って平滑化をしてもそのパターンの解像度は劣化しないため、エッジに平行な方向で隣接するＧｒ同士、Ｇｂ同士を平滑化すると画素加算後の解像度よりも高いサンプリング間隔でエッジに垂直な方向、つまり左上から右下斜め方向に解像度の劣化していない信号を取り出すことができる。

一方、重心ずれが起こっていない場合はＧｒ、Ｇｂ同士でもＧｒ、Ｇｂ両者を用いても斜め方向に平滑化した成分は画素加算後の解像度において√２画素分の間隔の斜め成分信号しか取得できない。

図１３に、重心ずれの発生している場合と、重心ずれの発生していない場合、それぞれの場合における右上斜め方向のサンプリング間隔の違いの例を示す。
図１３には、
（１）重心ずれのある場合のサンプリング間隔
（２）重心ずれのない場合のサンプリング間隔
これらの例を示している。
いずれもＧ画素（ＧｒとＧｂ）について、斜め方向のラインにおけるサンプリング間隔（画素間隔）を示している。

図１３（１）に示す重心ずれが発生した場合、図のように、
Ｇｒ同士を平滑化したＧｒラインと、
Ｇｂ同士を平滑化したＧｂライン、
これらの２種類の平滑化成分を取得することができる。

ＧｒラインとＧｂラインの間隔はＢａｙｅｒ配列の斜め方向のサンプリング間隔より密であるため、より高解像度な信号をこれら平滑化成分からリサンプリングすることができる。

一方、図１３（ｂ）に示す重心ずれがない場合はＧｒラインとＧｂラインが一致し（Ｇライン）、これらの間隔はＢａｙｅｒ配列と等しくなる。
図１３（ｂ）に示すＧラインの間隔は、図１３（ａ）に示すＧｂラインとＧｒラインの間隔より広く、結果として、図１３（ａ）の設定の方が高解像度な信号を平滑化成分からリサンプリングすることができる。

次に、ここまでに述べた重心ずれを利用した平滑化成分算出方法を、以下の画素加算方式にて適用した具体例について説明する。
（ａ）水平１：１、垂直１：１加算（図１１に示す処理）
（ｂ）水平１：３、垂直１：１加算

（（ａ）水平１：１、垂直１：１加算（図１１に示す処理）に対応する補間処理について）
まず、先に図１１を参照して説明した水平１：１，垂直１：１加算処理を実行した場合の補間処理例について、図１４以下の各図を参照して説明する。
図１１を参照して説明した水平１：１，垂直１：１加算処理を実行した場合、画素数削減画像の各画素の重心位置は、図１４に示す設定となる。

各画素Ｒ，Ｇｒ，Ｇｂ，Ｂの重心位置は○で示している。この加算方式の重心ずれの場合、左上右下斜め方向のエッジを持つパターンに対しては高いサンプリング間隔の信号を補間することができる。

この左上（Ｌ）方向のエッジを持つパターンに対応する平滑化Ｇ成分（Ｇ_Ｌ）を算出する処理について図１５以下を参照して説明する。
例えば、左上（Ｌ）方向のエッジを持つパターンに対応する平滑化Ｇ成分の算出処理は、
（ａ）エッジ方向（Ｌ）に沿って補間画素値を算出する処理、
（ｂ）算出した補間画素値等の複数の画素値を用いて、最終的な画素値を設定する目的画素位置の画素値を算出するリサンプリング処理、
これら（ａ），（ｂ）２つの処理によって行われる。

まず、上記（ａ）の処理、すなわち、図１５に示すようにエッジ方向（Ｌ）に沿って補間画素値を算出する処理について説明する。
なお、最終的な画素値を設定する目的画素位置を目的画素位置３０１とする。
この目的画素位置のエッジに垂直な方向のライン３０２上に補間画素値を設定する。

図１５に示すように、Ｇｒ画素Ｇｒ１とＧｒ２を左上方向に１：１で補間すると、図中のＧｒ１２，３１１の位置でリサンプリング（補間処理）された信号（補間画素の画素値）を求めることができる。
なお、この補間信号は、左上右下斜め方向のエッジパターンであれば右上方向（画素値変化率の大きい方向）には解像度劣化が起こっていない。

同様にＧｂ１とＧｂ２を補間してＧｂ１２，３１２を得ると、右上方向のライン３０２上には画素加算前の解像度と同じサンプリング間隔のＧ成分を求めることができる。

これらの多数の信号を用いて、上記の（ｂ）の処理、すなわち、
（ｂ）算出した補間画素値等の複数の画素値を用いて、最終的な画素値を設定する目的画素位置の画素値を算出するリサンプリング処理を実行する。
このリサンプリング処理により、より高周波成分を残した信号を補間することができる。

なお、リサンプリングは例えば算出した補間画素値等の複数の画素値信号に対して所定のリサンプリングフィルタを適用することで執行可能である。
例えば、図１６に示すように、斜め方向に補間した成分Ｇｒ１２，３１１，Ｇｂ１２，３１２と、元々の成分Ｇｂ３，Ｇｒ３の４つの値に対して［−１，５，５，−１］のような高域強調効果のある線形フィルタをたたみ込むことで図中の補間画素位置３０１で高域強調された信号が補間される。

この補間信号を左上（Ｌ）方向のエッジを持つパターンに対応する平滑化Ｇ成分（Ｇ_Ｌ）として算出する。具体的には、
Ｇ_Ｌ＝（−１（Ｇｂ１２）＋５（Ｇｒ１２）＋５（Ｇｂ３）−１（Ｇｒ３））／８
上記式に従って、平滑化Ｇ成分（Ｇ_Ｌ）を算出する。
なお、
Ｇｂ１２はＧｂ１２の画素値、
Ｇｒ１２はＧｒ１２の画素値、
Ｇｂ３はＧｂ３の画素値、
Ｇｒ３はＧｒ３の画素値である。
なお、フィルタ係数は一例であり、この他のフィルタ係数も利用可能である。

また、斜め方向の補間成分をさらに増やして、もっと大きな線形フィルタでリサンプリングをしても良い。いずれの方法にしても、左上右下方向の解像度劣化のない信号を高いサンプリング間隔で補間できるため、通常のリサンプリングよりも高い解像度の信号を復元することができる。

なお、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｒ，Ｇ_Ｌ）は、図１５、図１６を参照して説明した処理によって算出可能であるが、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ）は、重心ずれを利用した多数の補間画素値を利用できないため、隣接画素を利用したリサンプリングを行う。

図１７を参照して右上方向（Ｒ）のエッジパターンを持つ場合の右上（Ｒ）方向の平滑化Ｇ成分（Ｇ_Ｒ）の算出処理について説明する。
図１７の［（ａ）処理１］に示すように、まず補間画素Ｇの設定対象とする４画素の補間画素位置ブロック３２１内に、右上左下方向に隣接するブロックにあるＧｒを用いて、これら２つのＧｒ画素値を均等に加算平均（１：１補間）して、図１７（ａ）に示すＧｒ画素３２２の画素値を算出して画素Ｇｒ３２２を設定する。この補間成分の重心は補間画素位置ブロック３２１内に位置する。

次に、図１７の［（ｂ）処理２］に示すように、補間画素位置ブロック３２１内に位置する重心ずれ補正対象のＧ成分（Ｇｂ）の画素値と、［処理１］において補間されたＧｒ画素３２２の画素値成分を１：１で加算平均した画素値を算出し、補間画素位置ブロック３２１内の中心位置に補間画素３２３として設定する。
この補間処理により、重心ずれ補正対象のＧ成分（Ｇｂ）の重心を、補間画素位置ブロック３２１の中心に移動させることができる。
なお、この処理は、重心ずれ補正対象Ｇ画素（Ｇｂ）と、右上左下方向に隣接する２つのＧ成分（Ｇｒ）に対して順に［１，２，１］という線形フィルタを畳み込むことと等しい。

水平と垂直向のエッジパターンに対応する水平（Ｈ）、垂直（Ｖ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ）についてはジャギーがそもそも目立たないため、重心ずれの補正を行わずにそのまま出力する。

（（ｂ）水平１：３、垂直１：１加算に対応する補間処理について）
次に、水平１：３，垂直１：１加算処理を実行した場合の補間処理例について、図１８以下の各図を参照して説明する。

水平１：３、垂直１：１加算の場合の補間処理も、上述した水平１：１，垂直１：１加算処理を実行した場合の補間処理と基本的な考え方は変わらず、重心ずれによって特定方向に抽出できる高いサンプリング間隔の信号からリサンプリングを行うことで重心ずれを補正した位置の画素値を算出する。

図１８に水平１：３、垂直１：１加算処理を実行した場合の重心位置を示す。水平方向の重心は画素の中心にあるが、垂直方向の重心がずれているため、これを利用して高いサンプリング間隔の信号を補間する。

まず、左上（Ｌ）方向に対する補間処理ついて、図１９を参照して説明する。水平１：１、垂直１：１加算時と同様にＧｒ同士、Ｇｂ同士で左上右下斜め方向に補間する。
この場合も、先に説明した処理と同様、
（ａ）エッジ方向に沿って補間画素値を算出する処理、
（ｂ）算出した補間画素値等の複数の画素値を用いて、最終的な画素値を設定する目的画素位置の画素値を算出するリサンプリング処理、
これら（ａ），（ｂ）２つの処理を行う。

図１９に示す中心位置の４画素ブロック３５１の中心を通りエッジ方向（左上（Ｌ））と垂直な右上左下斜め４５度の直線３５２上に補間画素の重心が位置するように、その直線からの距離に合わせて重み付けを行う。

図２０に中心位置の４画素ブロック３５１の中心を通りエッジ方向（左上（Ｌ））と垂直な右上左下斜め４５度の直線ライン３５２からの各Ｇ画素までの距離を示す（単位は画素加算前の１画素のサイズ）。この距離に応じて、直線上に重心が重なるような内分点を求める。

例えば、図１９中のＧｒ１、Ｇｒ２の補間の場合、直線３５２からの両者の距離はそれぞれ、（（７√２）／４）、（（９√２）／４）となるため、内分点Ｇｒ１２は以下の式（式３）を適用した加重平均によって求められる。

・・・（式３）

他の内分点も求めた後は、これら信号に対してリサンプリングを行う。リサンプリングも水平１：１、垂直１：１加算と同様に高域強調効果のあるような任意のリサンプリングフィルタを利用する。
この処理によって、平滑化Ｇ成分（Ｇ_Ｌ）を算出する。

次に右上（Ｒ）方向のエッジパターンの場合の処理例について説明する。この時も補間方法は左上右下斜め方向と同様にエッジ方向（右上（Ｒ））と垂直なライン３５３からの距離に応じた加重平均によって高いサンプリング間隔の補間信号を一旦作り、それらをリサンプリングして、目的とする平滑化Ｇ成分（Ｇ_Ｒ）を算出する。

図２１にこの時の距離の分布を示す。図２０を参照して説明した処理と同様、ライン３５３からの距離にしたがって補間を行う。

水平（Ｈ）方向の場合は単純な補間によって、水平（Ｈ）の平滑化Ｇ成分（Ｇ_Ｈ）を算出する。
図２２に示すようにまず縦方向に隣接するＧ成分（Ｇｒ１，Ｇｒ２）を用いて横方向の補間成分Ｇｒ１２を生成する。次に、画素値の算出目的とする画素Ｇｉ３７１位置のブロックに含まれる画素Ｇｂ１とＧｒ１２を用いて、目的画素Ｇｉ３７１からの距離に応じた加重平均値を求め、Ｇｉの画素値を算出する。算出されたＧｉを、水平（Ｈ）の平滑化Ｇ成分（Ｇ_Ｈ）とする。
なお、この加重平均は、
Ｇｂ１：Ｇｒ１２＝５：１
となる。
また、対象画素がＧｒの場合は上下が反転した配置となる。

垂直（Ｖ）方向の成分については補正を行わない。これは、水平１：３、垂直１：１の場合は横方向の重心ずれが発生しないためである。そのため、縦方向にエッジが伸びるようなパターンでは補正を行わずに、そのまま値を出力する。

（４−３．（処理３）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して乗算する重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を処理１で求めた４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）に応じて決定する処理）
次に、（処理３）として、処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して乗算する重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を処理１で求めた４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）に応じて決定する処理について説明する。

４方向の重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）は、処理１で求めた４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）に応じて決定する。
処理１では、先に説明したように、
画素数削減画像のＧ画素（ＧｒとＧｂ）単位で以下の各値を算出する。
（１）Ｄ_Ｈ：水平（Ｈ）方向のラプラシアン絶対値の水平方向ラプラシアン総和（加重平均）、
（２）Ｄ_Ｖ：垂直（Ｖ）方向のラプラシアン絶対値の垂直方向ラプラシアン総和（加重平均）、
（３）Ｄ_Ｒ：右上（Ｒ）方向のラプラシアン絶対値の右上方向ラプラシアン総和（加重平均）、
（４）Ｄ_Ｌ：左上（Ｌ）方向のラプラシアン絶対値の左上方向ラプラシアン総和（加重平均）、
これらの４つの方向のラプラシアン総和（加重平均）を求めた。

処理３では、まず、これらのラプラシアン総和Ｄに対し、閾値によって決まるクリッピング処理を行ってクリッピング済みの総和Ｄ'を求める。
クリッピングは次の式（式４）に示すような非線形関数によって実行可能である。

・・・・・（式４）

また図２３にクリッピング関数を示す。

図２３に示すように、上限閾値ｔｈ_{ｌｏｗｅｒ}と上限閾値ｔｈ_{ｕｐｐｅｒ}を設定し、その閾値の間を直線状に遷移する重み分布を設定する。閾値は実際の運用によって設定する。得られた各方向のクリッピング済みのラプラシアン値総和を用いて４方向（水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ））の成分に対する重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を以下の式（式５）に従って計算する。

・・・・・（式５）

（４−４．（処理４）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して、処理３で求めた重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を乗算したブレンド処理により、出力画素値を算出する処理）
最後に、（処理４）、すなわち、処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して、処理３で求めた重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を乗算したブレンド処理により、出力画素値を算出する処理について説明する。

処理４では、処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して、処理３で求めた重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を乗算したブレンド処理を実行する。
ブレンド処理は、例えば以下の式（式６）に従って行う。

・・・・・（式６）

以上の処理により、画素数削減画像の補正画像としての画素数削減補正画像の画素値（Ｇ'）が決定される。
上記（式６）によって算出される画素値Ｇ'は、図５（ｃ）に示す重心位置が元の撮影画像の４×４画素ブロックの中心位置に設定した場合の画素値に対応することになる。
結果として、重心がずれたＧ成分の補正により、重心位置が４×４画素ブロックの中心位置に設定され、ジャギーの低減が実現される。

［５．デモザイク処理について］
次に、図５に示すデモザイク処理部１５３の処理について説明する。
デモザイク処理部１５３では、画素数削減補正画像を入力して、画素数削減補正画像の各画素位置にＲＧＢの各画素画素値を設定する処理を実行する。
デモザイク処理部１５３はＧ画素とＲ画素、およびＧ画素とＢ画素の相関関係を利用した処理によって各画素のＲＧＢ画素値を設定するデモザイク処理を行うように構成される。
なお、本処理例では、Ｇ画素に対してのみ画素値の再設定を行っているが、この理由は、具体的には例えば以下の理由である。

（１）デモザイクにおいてＲ／Ｂ画素の低周波成分の補間には、自身とその周囲のＲ／Ｂ画素から得られた低周波成分を利用する。画素加算・間引き処理によって起こる重心ずれ量は低周波成分算出領域に比べると誤差程度に小さい。よってＲ／Ｂ画素の重心ずれは得られる低周波成分にほとんど影響を与えない。
（２）デモザイクにおいてＲ／Ｂ画素の高周波成分の補間にはＧ成分の高周波成分を使用する。つまりＲ／Ｂ画素の重心ずれは高周波成分の補間に影響を与えない
上記の理由により、本手法ではＧ画素のみに対する処理を実行し、Ｒ／Ｂ画素に対する処理は施していない。この処理によって充分なジャギー低減効果を実現している。

［６．任意方向のエッジに対応した処理について］
上述した説明では、例えばエッジ方向やリサンプリング処理の方向として、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向を選択して処理を行う手法について説明したが、任意方向のエッジ角度検出が可能である場合、そのエッジ方向に方向な画素の画素値を用いたリサンプリング処理を行う構成としてもよい。

例えば図２４に示すように、点線で示すエッジ方向ライン３８１に示すエッジ方向が検出された場合、その近傍のＧ画素の画素値に基づいて、エッジ方向ライン３８１上にリサンプリング処理を行ってリサンプリング画素値を算出して、これらの各画素値を用いて、必要とする位置のＧ画素値を算出することができる。
なお、任意方向のエッジを検出する構成としては、例えば全方向分のエッジ検出フィルタを利用した構成やハフ変換などの処理が適用可能である。

このように、画像補正部は、撮像素子における画素加算、または間引き処理後のＲＡＷ画像に対して、画素加算または間引き処理前の解像度を元にして、注目Ｇ画素の中心を通るエッジ方向を求め、求めたエッジ方向と垂直な直線上に近傍のＧ画素を射影し、射影されたＧ画素をエッジに垂直な方向にリサンプリング処理を実行して、リサンプリング画素の画素値であるリサンプリング信号を用いて注目Ｇ画素の画素値を決定することが可能である。

さらに、画像補正部は、任意方向のエッジ検出が困難である構成では、上記の処理において、エッジの方向については、例えば、事前に定めた特定方向、具体的には、例えば水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向、これらの特定方向のエッジ成分の線形和によって表現し、これらの特定方向のエッジ成分ごとにリサンプリング処理を実行し、前記特定方向の複数方向のリサンプリング信号に対して、前記線形和表現のエッジ成分とほぼ同じ比率の加重平均を実行して注目Ｇ画素の画素値を決定することが可能となる。正しいエッジ方向が検出される場合には、特定方向のエッジ成分に応じた加重平均などのブレンド処理を行うことなく、検出されたエッジ方向に基づく処理のみを実行して注目画素の画素値を決定することができる。

［７．画像補正部の構成と処理のまとめ］
次に、図２５以下を参照して、画像補正部１５２の実行する処理について、処理単位で順次、説明する。
先に説明したように、画像補正部１５２は、以下の４つの処理を実行する。
（処理１）画素数削減画像（ＲＡＷ画像）のＧ成分を用いて、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）を求める処理
（処理２）水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）を算出する処理
（処理３）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して乗算する重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を処理１で求めた４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）に応じて決定する処理、
（処理４）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して、処理３で求めた重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を乗算したブレンド処理により、出力画素値を算出する処理

上記（処理１）〜（処理４）の各処理を実行する。
図２５には、これらの処理を実行する各処理部を区分して記載した画像補正部１５２の詳細構成図である。
画像補正部１５２は、図２５に示すように、
バイアス値算出部５０１、
４方向エッジ強度算出部５０２、
４方向補間画素値算出部５０３、
４方向重み算出部５０４、
ブレンド処理部５０５、
これらを有する。

４方向エッジ強度算出部５０２が、上述の（処理１）、すなわち、
（処理１）画素数削減画像（ＲＡＷ画像）のＧ成分を用いて、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）を求める処理
上記の（処理１）を実行する。

４方向補間画素値算出部５０３が、上述の（処理２）、すなわち、
（処理２）水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）を算出する処理
上記の（処理２）を実行する。

４方向重み算出部５０４が、上述の（処理３）、すなわち、
（処理３）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して乗算する重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を処理１で求めた４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）に応じて決定する処理
上記の（処理３）を実行する。

ブレンド処理部５０５が、上述の（処理４）、すなわち、
（処理４）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して、処理３で求めた重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を乗算したブレンド処理により、出力画素値を算出する処理
上記の（処理４）を実行する。

画像補正部１５２は、図２５に示すように、画素数削減画像４０１を入力して、画像補正処理によって、画素数削減補正画像４５１を生成して出力する。

図２５に示す画素数削減画像４０１は、図５に示す画素数削減部１５１が生成する図５（ｂ）に示す画素数削減画像に相当する。
また、図２５に示す画素数削減補正画像４５１は、図５（ｃ）に示す画素数削減補正画像に相当する。

なお、画像補正部１５２は、画素数削減画像４０１の画素ブロックを予め既定したＮ×Ｎ画素ブロック単位で入力して順次処理を行う。
ここでは、図２６（ａ），（ｂ）に示すように、Ｇ画素（ＧｂまたはＧｒ）を中心とした５×５画素の画素ブロックを入力して、画素ブロック単位で処理を実行し、中心のＧ画素（ＧｂまたはＧｒ）の画素値を算出する処理を実行する例について説明する。
なお、以下の説明では、ＧｒとＧｂをまとめて、図２６（ｃ）に示すようにＧ画素として説明する。

以下、下記各構成部の処理についてまとめて説明する。
バイアス値算出部５０１、
４方向エッジ強度算出部５０２、
４方向補間画素値算出部５０３、
４方向重み算出部５０４、
ブレンド処理部５０５、
これらを有する。

（７−１．バイアス値算出部の処理について）
まず、バイアス値算出部５０１の処理について図２７を参照して説明する。
バイアス値算出部５０１は、４方向エッジ強度算出部５０２の算出する、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）であるラプラシアン値総和の輝度依存性をキャンセルするための係数をバイアス値として算出する処理を実行する。

この係数（バイアス値）は、例えば、入力画素ブロック（５×５画素ブロック）中心画素（Ｇ）の画素値の平方根の逆数として算出する。なお、バイアス値算出部５０１は、中心画素（Ｇ）の画素値の平方根の逆数を算出する演算部として構成してもよいが、実際の演算を行うと除算＆平方根演算を行う必要があり、予め演算結果をテーブル化して保持する設定として、テーブルを利用して係数（バイアス値）を出力する構成としてもよい。

テーブルを利用することで、演算量を削減することが可能となる。
なお、バイアス値算出部５０１の算出する係数（バイアス値）は、ラプラシアン値総和から各方向の重みを計算する４方向重み算出部５０４に入力されてラプラシアン値総和の輝度依存性をキャンセルするため利用される。

（７−２．４方向エッジ強度算出部の処理について）
次に、４方向エッジ強度算出部５０２の処理について、図２８以下を参照して説明する。４方向エッジ強度算出部５０２は、上述の（処理１）、すなわち、
（処理１）画素数削減画像（ＲＡＷ画像）のＧ成分を用いて、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）を求める処理
上記の（処理１）を実行する。

図２８には、水平（Ｈ）方向のエッジ強度算出部５０２Ｈの詳細構成を示している。
水平（Ｈ）方向のエッジ強度算出部５０２Ｈは、図２８に示すように、
ラプラシアン算出部６１１、
係数乗算部６１２、
総和算出部６１３、
これらの構成を有している。

ラプラシアン算出部６１１は、
入力画素ブロック（５×５画素ブロック）の第１，３，５の各水平ラインに含まれる３つのＧ画素の画素値を利用してラプラシアン絶対値を算出する。
例えば、第１水平ラインのラプラシアン算出処理は、図２８（ａ）に示すように、
ラプラシアン絶対値（Ｌ）を、
Ｌ＝｜Ｇｒ_１−２Ｇｒ_２−Ｇｒ_３｜
上記式に従って算出する。
他のラインについても同様に３つのＧ画素値を利用して各ライン対応のラプラシアン絶対値（Ｌ）を算出する。

係数乗算部６１２では、ラプラシアン算出部６１１の各ライン対応の算出値（ラプラシアン絶対値（Ｌ））に対して、バイアス値算出部５０１の算出した係数（バイアス値）を乗算する。この処理は、ラプラシアン値総和の輝度依存性をキャンセルするための処理である。
なお、図には係数の例として０．５，２，０．５を示しているが、これは一例であり、この他、様々な係数の利用が可能である。
なお、この係数（バイアス値）の乗算処理は、先に図１０を参照して説明した重み設定に基づくラプラシアン絶対値の加重平均算出処理に対応する処理である。

総和算出部６１３は、係数乗算部６１２の出力を入力して、水平方向（Ｈ）のエッジ強度（Ｄ_Ｈ）に対応するラプラシアン値総和を算出する。
総和算出部６１３では、図２８（ｂ）に示すように、以下の算出式に従って水平方向（Ｈ）のエッジ強度（Ｄ_Ｈ）（＝ラプラシアン値総和）を算出する。
Ｄ_Ｈ＝０．５｜Ｇｒ_１−２Ｇｒ_２−Ｇｒ_３｜
＋２｜Ｇｒ_４−２Ｇｒ_５−Ｇｒ_６｜
＋０．５｜Ｇｒ_７−２Ｇｒ_８−Ｇｒ_９｜

ここでは、Ｇｒ画素が中心画素の５×５画素ブロックに対する処理例について説明したがＧｂ画素が中心画素である場合も、Ｇｂ画素の画素値に基づいて同様のエッジ強度（＝ラプラシアン値総和）算出処理を実行する。

また、垂直（Ｖ）方向のエッジ強度（Ｄ_Ｖ）（＝ラプラシアン値総和）の算出においては、５×５画素ブロックの左端、中央、右端の縦ラインのＧ（ＧｒまたはＧｂ）画素の画素値を利用した処理を実行する。

次に、図２９を参照して、右上（Ｒ方向のエッジ強度算出部５０２Ｒの詳細について説明する。
右上（Ｒ）方向のエッジ強度算出部５０２Ｒは、図２９に示すように、
ラプラシアン算出部６１１、
係数乗算部６１２、
総和算出部６１３、
これらの構成を有している。

ラプラシアン算出部６１１は、
入力画素ブロック（５×５画素ブロック）のＧ画素が３つ取得可能な３つの右上斜めラインに含まれる３つのＧ画素の画素値を利用してラプラシアン絶対値を算出する。
例えば、図２９（ａ）に示すように、左上側のラプラシアン絶対値（Ｌ）は、
Ｌ＝｜Ｇｒ_１−２Ｇｒ_２−Ｇｒ_３｜
上記式に従って算出する。
他のラインについても同様に３つのＧ画素値を利用して各ライン対応のラプラシアン絶対値（Ｌ）を算出する。
なお、中央画素を通る右上ラインには、５つのＧ画素が含まれており、中央画素を通る右上ラインからは、５つのＧ画素から、連続する３つのＧ画素からなる３つの画素グループに対応する３つのラプラシアン絶対値（Ｌ）を算出する。

すなわち、ラプラシアン算出部６１１は、
左上の右上がり斜めラインから１つのラプラシアン絶対値（Ｌ）、
中央画素を含む右上がり斜めラインから３つのラプラシアン絶対値（Ｌ）、
右下の右上がり斜めラインから１つのラプラシアン絶対値（Ｌ）、
これら計５つのラプラシアン絶対値を算出する。

係数乗算部６１２では、ラプラシアン算出部６１１の算出した算出値（ラプラシアン絶対値（Ｌ））に対して、バイアス値算出部５０１の算出した係数（バイアス値）を乗算する。この処理は、ラプラシアン値総和の輝度依存性をキャンセルするための処理である。
なお、図には係数の例として０．５，０．５，２，０．５，０．５を示しているが、これは一例であり、この他、様々な係数の利用が可能である。

総和算出部６１３は、係数乗算部６１２の出力を入力して、右上方向（Ｒ）のエッジ強度（Ｄ_Ｒ）に対応するラプラシアン値総和を算出する。
総和算出部６１３では、図２９（ｂ）に示すように、以下の算出式に従って右上方向（Ｒ）のエッジ強度（Ｄ_Ｒ）（＝ラプラシアン値総和）を算出する。
Ｄ_Ｒ＝０．５｜Ｇｒ_１−２Ｇｒ_２−Ｇｒ_３｜
＋０．５｜Ｇｒ_４−２Ｇｒ_５−Ｇｒ_６｜
＋２｜Ｇｒ_５−２Ｇｒ_６−Ｇｒ_７｜
＋０．５｜Ｇｒ_６−２Ｇｒ_７−Ｇｒ_８｜
＋０．５｜Ｇｒ_９−２Ｇｒ_１０−Ｇｒ_１１｜

ここでは、Ｇｒ画素が中心画素の５×５画素ブロックに対する処理例について説明したがＧｂ画素が中心画素である場合も、Ｇｂ画素の画素値に基づいて同様のエッジ強度（＝ラプラシアン値総和）算出処理を実行する。

また、左上（Ｌ）方向のエッジ強度（Ｄ_Ｌ）（＝ラプラシアン値総和）の算出においては、５×５画素ブロックから取得される３本の左上斜めラインのＧ（ＧｒまたはＧｂ）画素の画素値を利用した処理を実行する。

（７−３．４方向補間画素値算出部の処理について）
次に、４方向補間画素値算出部５０３の処理について説明する。
４方向補間画素値算出部５０３は、上述したように、以下の（処理２）、すなわち、
（処理２）水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の計４方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）を算出する処理
上記の（処理２）を実行する。

図３０には、水平（Ｈ）方向の補間画素値算出部５０３Ｈの詳細構成を示している。
水平（Ｈ）方向の補間画素値算出部５０３Ｈは、図３０に示すように、
平滑化処理部６２１、
重心制御部６２２、
これらの構成を有している。

平滑化処理部６２１は、
処理対象画素である入力画素ブロック（５×５画素ブロック）の中心画素の上または下の水平ラインの２つのＧ画素の画素値の平均値をＧ_{ｓｍｏｏｔｈ}として算出する。
例えば図３０（ａ）に示すように、
Ｇ_{ｓｍｏｏｔｈ}＝（Ｇｂ１＋Ｇｂ２）／２
上記算出式により、２つのＧ画素の画素値平均値をＧ_{ｓｍｏｏｔｈ}として算出する。

重心制御部６２２は、
平滑化処理部６２１の算出値（Ｇ_{ｓｍｏｏｔｈ}）と、処理対象画素である入力画素ブロック（５×５画素ブロック）の中心画素の画素値との加重平均を実行して、水平（Ｈ）方向の平滑化Ｇ成分（Ｇ_Ｈ）を算出する。例えば、図３０（ｂ）に示すように、
Ｇ_Ｈ＝（Ｇ_{ｓｍｏｏｔｈ}＋５Ｇｒ）／６
上記式に従って、水平（Ｈ）方向の平滑化Ｇ成分（Ｇ_Ｈ）を算出する。

なお、この４方向補間画素値算出部５０３における補間画素値算出処理においては、例えば、先に図１３〜図２１を参照して説明したように、図５（ｂ）に示すような画素数削減画像に含まれる重心ずれの発生した画素に基づいた補間画素値の算出処理が行われる。従って、例えば、図１３（ａ），（ｂ）を比較して説明したように、より密なＧｒラインとＧｎラインに設定されるＧｂ，Ｇｒ画素を利用した補間画素値の算出が可能となり、密なＧｒラインとＧｎラインの高解像度信号を利用した補間画素の画素値算出が可能となる。結果として、解像度の低下を抑えた画素値設定が可能となる。

なお、図３０では、中心画素がＧｒ画素の場合について説明したが、Ｇｂが中心画素の場合も、ＧｂとＧｒの画素の入れ替えを行った同様の算出式が適用可能である。

図３１は、垂直（Ｖ）方向の補間画素値算出部５０３Ｖの詳細構成を示している。
垂直（Ｖ）方向の平滑化Ｇ成分（Ｇ_Ｖ）は、処理対象画素である５×５画素ブロックの中心のＧ画素の画素値をそのまま利用する。

次に、図３２を参照して、右上（Ｒ）方向の補間画素値算出部５０３Ｒの詳細構成について説明する。
右上（Ｒ）方向の補間画素値算出部５０３Ｒは、図３２に示すように、
平滑化処理部６３１、
リサンプリング部６３２、
これらの構成を有している。

平滑化処理部６３１は、
処理対象画素である入力画素ブロック（５×５画素ブロック）の中心画素の、
左上の右上（Ｒ）方向ライン、
中心画素を通る右上（Ｒ）方向ライン、
右下の右上（Ｒ）方向ライン、
これら３本の右上（Ｒ）方向ラインにある中心画素と同じ画素（ＧｒまたはＧｂ）の２つの画素を利用して、計４つの平滑化信号を得る。

例えば、図３２（ａ）には、入力画素ブロック（５×５画素ブロック）の中心画素の左上の右上（Ｒ）方向ラインにある３つの連続Ｇ画素を利用した平滑化信号値（Ｇ'）の算出例を示している。
平滑化信号値（Ｇ'）は、以下の式によって算出する。
Ｇ'＝（７Ｇｒ_１＋９Ｇｒ_２）／１６

平滑化処理部６３１は、図３２（ａ）に示すと同様、処理対象画素である入力画素ブロック（５×５画素ブロック）の中心画素の、
左上の右上（Ｒ）方向ライン、
中心画素を通る右上（Ｒ）方向ライン、
右下の右上（Ｒ）方向ライン、
これら３本の右上（Ｒ）方向ラインにある中心画素と同じ画素（ＧｒまたはＧｂ）の２つの画素を利用して、計４つの平滑化信号を得る。

リササンプリング処理６３２は、これらの４つの平滑化信号を利用して、処理対象画素である入力画素ブロック（５×５画素ブロック）の中心画素に対応する右上（Ｒ）方向の平滑化Ｇ成分（Ｇ_Ｒ）を算出する。例えば、図３２（ｂ）に示すように、
４つの平滑化信号Ｇ'に対して［−１，５，５，−１］のフィルタを適用して、中心画素に対応する右上（Ｒ）方向の平滑化Ｇ成分（Ｇ_Ｒ）を算出する。

図３２では、右上（Ｒ）方向の補間画素値算出部５０３Ｒにおける右上（Ｒ）方向の平滑化Ｇ成分（Ｇ_Ｒ）を算出する処理について説明したが、左上（Ｌ）方向の補間画素値算出部５０３Ｌにおける左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｌ）の算出処理は、利用するラインが、左上（Ｌ）方向のラインとなる。

（７−４．４方向重み算出部の処理について）
次に、４方向重み算出部５０４の処理について説明する。
４方向重み算出部５０４は、上述したように、以下の（処理３）、すなわち、
（処理３）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して乗算する重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を処理１で求めた４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）に応じて決定する処理、
上記の（処理３）を実行する。

図３３は、４方向重み算出部５０４の詳細構成を示している。４方向重み算出部５０４は、図３３に示すように、
クリッピング部６４１、
方向重み算出部６４２、
これらの構成を有している。

クリッピング部６４１は、４方向エッジ強度算出部から入力するラプラシアン値総和に相当する４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）のクリッピング処理を実行する。
この処理例を図３３（ａ）に示している。この処理は、先に、図２３を参照して説明した処理に相当する。上限閾値ｔｈ_{ｌｏｗｅｒ}と上限閾値ｔｈ_{ｕｐｐｅｒ}を設定し、その閾値の間を直線状に遷移する重み分布を設定する。閾値は実際の運用によって設定する。

クリッピング部６４１は、このクリッピング処理により、各々が０〜１の値に設定された４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）を生成して方向重み算出部６４２に出力する。

方向重み算出部６４２は、４方向のエッジ強度（Ｄ_Ｈ，Ｄ_Ｖ，Ｄ_Ｒ，Ｄ_Ｌ）を用いて、図３３（ｂ）に示す式に従って、４方向（水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ））の成分に対する重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を算出する。
この算出式は、先に（式５）として説明した式である。

（７−５．ブレンド処理部の処理について）
次に、ブレンド処理部５０５の処理について、図３４を参照して説明する。ブレンド処理部５０５は、上述の（処理４）、すなわち、
（処理４）処理２で求めた水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）に対して、処理３で求めた重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を乗算したブレンド処理により、出力画素値を算出する処理
上記の（処理４）を実行する。

ブレンド処理部５０５は、図２５に示すように、４方向補間画素値算出部５０３から、水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ）方向の平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）を入力する。
また、４方向重み算出部５０４から４方向（水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ））の成分に対する重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）を入力する。

図３４に示すように、ブレンド処理部５０５は、４方向（水平（Ｈ）、垂直（Ｖ）、右上（Ｒ）、左上（Ｌ））各々について、平滑化Ｇ成分（Ｇ_Ｈ，Ｇ_Ｖ，Ｇ_Ｒ，Ｇ_Ｌ）と、重み（Ｗ_Ｈ，Ｗ_Ｖ，Ｗ_Ｒ，Ｗ_Ｌ）とを個別に乗算する４つの乗算部と、４つの乗算結果を加算する１つの加算部を備えている。
この演算構成によって、先に説明した（式６）に従ったブレンド処理を実行して、画素数削減画像の補正画像としての画素数削減補正画像の画素値（Ｇ'）を決定する。

すなわち、
Ｇ'＝Ｗ_ＨＧ_Ｈ＋Ｗ_ＶＧ_Ｖ＋Ｗ_ＲＧ_Ｒ＋Ｗ_ＬＧ_Ｌ
上記式に従って、画素数削減補正画像の画素値（Ｇ'）を決定する。
なお、この例では、画素値（Ｇ'）は、５×５画素ブロックの中心のＧ画素（ＧｒまたはＧｂ）の画素値である。
処理画像のＧ画素について、同様の処理を実行して、画素数削減補正画像の画素値（Ｇ'）を決定する。

この処理によって、画素数削減画像における重心がずれたＧ成分が補正され、重心ずれのない画素数削減補正画像（図５（ｃ）に対応）が生成される。
この結果、先に図３を参照して説明したようなジャギーの発生が抑制された高品質な画像生成が可能となる。

なお、先に説明したように、これらの処理によって生成された画素数削減補正画像は、図５に示すデモザイク処理部１５３に入力され、各画素位置にＲＧＢの各画素値を設定するデモザイク処理が実行された後、表示装置等への出力やメモリへの記録処理が実行される。

本処理により、全体の計算量を低減し、また解像度を維持したままジャギーを低減した品質の高い画像を生成して出力することができる。

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。

（１）撮像素子における撮影画像の総画素数を削減した画素数削減画像を入力画像とし、
入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出するエッジ強度算出部と、
前記画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出する補間画素値算出部と、
前記エッジ強度算出部の算出した複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出する重み算出部と、
前記複数方向の平滑化成分としての補間画素値と、前記重み算出部の算出した重みとの加重加算によるブレンド処理を行い、前記画素ブロックの中心画素である補正対象画素の画素値を算出するブレンド処理部と、
を有する画像処理装置。

（２）前記複数方向は。水平方向と、垂直方向と、右上方向と、左上方向の４方向である（１）に記載の画像処理装置。
（３）前記画素数削減画像は、ベイヤー配列画像を持つ画像である（１）または（２）に記載の画像処理装置。
（４）前記画素数削減画像は、ベイヤー配列画像を持つ画像であり、補正対象画素はＧ画素である（１）〜（３）いずれかに記載の画像処理装置。
（５）前記エッジ強度算出部は、前記補正対象画素を中心とした画素ブロック単位で複数のラプラシアン絶対値を算出し、算出した複数のラプラシアン絶対値を適用して前記補正対象画素位置における複数方向のエッジ強度を算出する（１）〜（４）いずれかに記載の画像処理装置。

（６）前記補間画素値算出部は、前記画素ブロックに設定される特定方向のライン上の画素の画素値に基づいて複数の平滑化成分を算出し、算出した複数の平滑化成分に基づいて、前記補正対象画素に対応する平滑化成分としての補間画素値を算出する（１）〜（５）いずれかに記載の画像処理装置。
（７）前記補間画素値算出部は、前記画素数削減画像に含まれる重心ずれの発生した画素に基づいた補間画素値の算出を行う（１）〜（６）いずれかに記載の画像処理装置。
（８）前記重み算出部は、前記エッジ強度算出部の算出した複数方向のエッジ強度の各々に対して、予め規定したクリッピング関数を適用したクリッピング処理を実行し、クリッピング後の複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出する（１）〜（７）いずれかに記載の画像処理装置。

（９）前記画素数削減画像は、ベイヤー配列画像を持つ画像であり、補正対象画素はＧ画素であり、前記画像処理装置は、さらに、前記ブレンド処理部の出力するＧ画素を有する補正画像に対するデモザイク処理を実行するデモザイク処理部を有する（１）〜（８）いずれかに記載の画像処理装置。
（１０）前記デモザイク処理部は、ベイヤー配列におけるＧ画素とＲ画素の相関、およびＧ画素とＢ画素の相関関係の利用処理による各画素のＲＧＢ画素値を設定するデモザイク処理を実行する（１）〜（９）いずれかに記載の画像処理装置。

（１１）撮像素子における画素加算、または間引き処理後のＲＡＷ画像に対して、画素加算または間引き処理前の解像度を元にして、注目Ｇ画素の中心を通るエッジ方向を求め、求めたエッジ方向と垂直な直線上に近傍のＧ画素を射影し、射影されたＧ画素をエッジに垂直な方向にリサンプリング処理を実行して、リサンプリング画素の画素値であるリサンプリング信号を用いて前記注目Ｇ画素の画素値を決定する処理を実行する画像補正部を有する前記（１）〜（１０）に記載の画像処理装置。
（１２）前記画像補正部は、エッジ方向を事前に定めた特定方向のエッジ成分の線形和によって表現し、前記特定方向のエッジ成分ごとに前記リサンプリング処理を実行し、前記特定方向の複数方向のリサンプリング信号に対して、前記線形和表現のエッジ成分とほぼ同じ比率の加重平均を実行して前記注目Ｇ画素の画素値を決定する前記（１）〜（１１）に記載の画像処理装置。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、画素数削減画像に対する補正処理によりジャギーを低減させた高品質な画像を生成することが可能となる。
具体的には、例えば、撮像素子における撮影画像の総画素数を削減した画素数削減画像を入力画像とし、入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出し、画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出し、複数方向のエッジ強度に基づいて、複数方向の平滑化成分としての補間画素値各々に対する重みを算出し、複数方向の平滑化成分としての補間画素値と、重み算出部の算出した重みとの加重加算によるブレンド処理を行い、画素ブロックの中心画素である補正対象画素の画素値を算出する。これらの処理により、画素数削減画像における重心ずれの補正が実行されジャギーが低減される。

１０１ 光学レンズ
１０２ 撮像素子
１０３ 信号処理部
１０５ 制御部
１２０ 出力画像
１５１ 画素数削減部
１５２ 画像補正部
１５３ デモザイク処理部
２０１ 画素数削減画像
４０１ 画素数削減画像
４５１ 画素数削減補正画像
５０１ バイアス値算出部
５０２ ４方向エッジ強度算出部
５０３ ４方向補間画素値算出部
５０４ ４方向重み算出部
５０５ ブレンド処理部
６１１ ラプラシアン算出部
６１２ 係数乗算部
６１３ 総和算出部
６２１ 平滑化処理部
６２２ 重心制御部
６３１ 平滑化処理部
６３２ リサンプリング処理部
６４１ クリッピング部
６４２ 方向重み算出部

Claims (15)

1. 撮像素子における撮影画像の総画素数を削減した画素数削減画像を入力画像とし、
   入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出するエッジ強度算出部と、
   前記画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出する補間画素値算出部と、
   前記エッジ強度算出部の算出した複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出する重み算出部と、
   前記複数方向の平滑化成分としての補間画素値と、前記重み算出部の算出した重みとの加重加算によるブレンド処理を行い、前記画素ブロックの中心画素である補正対象画素の画素値を算出するブレンド処理部と、
   を有する画像処理装置。
2. 前記複数方向は。水平方向と、垂直方向と、右上方向と、左上方向の４方向である請求項１に記載の画像処理装置。
3. 前記画素数削減画像は、ベイヤー配列画像を持つ画像である請求項１に記載の画像処理装置。
4. 前記画素数削減画像は、ベイヤー配列画像を持つ画像であり、補正対象画素はＧ画素である請求項１に記載の画像処理装置。
5. 前記エッジ強度算出部は、
   前記補正対象画素を中心とした画素ブロック単位で複数のラプラシアン絶対値を算出し、算出した複数のラプラシアン絶対値を適用して前記補正対象画素位置における複数方向のエッジ強度を算出する請求項１に記載の画像処理装置。
6. 前記補間画素値算出部は、
   前記画素ブロックに設定される特定方向のライン上の画素の画素値に基づいて複数の平滑化成分を算出し、算出した複数の平滑化成分に基づいて、前記補正対象画素に対応する平滑化成分としての補間画素値を算出する請求項１に記載の画像処理装置。
7. 前記補間画素値算出部は、
   前記画素数削減画像に含まれる重心ずれの発生した画素に基づいた補間画素値の算出を行う請求項１に記載の画像処理装置。
8. 前記重み算出部は、
   前記エッジ強度算出部の算出した複数方向のエッジ強度の各々に対して、予め規定したクリッピング関数を適用したクリッピング処理を実行し、クリッピング後の複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出する請求項１に記載の画像処理装置。
9. 前記画素数削減画像は、ベイヤー配列画像を持つ画像であり、補正対象画素はＧ画素であり、
   前記画像処理装置は、さらに、
   前記ブレンド処理部の出力するＧ画素を有する補正画像に対するデモザイク処理を実行するデモザイク処理部を有する請求項１に記載の画像処理装置。
10. 前記デモザイク処理部は、
    ベイヤー配列におけるＧ画素とＲ画素の相関、およびＧ画素とＢ画素の相関関係の利用処理による各画素のＲＧＢ画素値を設定するデモザイク処理を実行する請求項９に記載の画像処理装置。
11. 撮像素子における画素加算、または間引き処理後のＲＡＷ画像に対して、画素加算または間引き処理前の解像度を元にして、注目Ｇ画素の中心を通るエッジ方向を求め、
    求めたエッジ方向と垂直な直線上に近傍のＧ画素を射影し、射影されたＧ画素をエッジに垂直な方向にリサンプリング処理を実行して、リサンプリング画素の画素値であるリサンプリング信号を用いて前記注目Ｇ画素の画素値を決定する処理を実行する画像補正部を有する画像処理装置。
12. 前記画像補正部は、
    エッジ方向を事前に定めた特定方向のエッジ成分の線形和によって表現し、前記特定方向のエッジ成分ごとに前記リサンプリング処理を実行し、前記特定方向の複数方向のリサンプリング信号に対して、前記線形和表現のエッジ成分とほぼ同じ比率の加重平均を実行して前記注目Ｇ画素の画素値を決定する請求項１１に記載の画像処理装置。
13. 撮像素子と、
    撮像素子の撮影画像の総画素数の削減処理を実行して画素数削減画像を生成する画素数削減部と、
    前記画素数削減画像を入力画像とし、
    入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出するエッジ強度算出部と、
    前記画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出する補間画素値算出部と、
    前記エッジ強度算出部の算出した複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出する重み算出部と、
    前記複数方向の平滑化成分としての補間画素値と、前記重み算出部の算出した重みとの加重加算によるブレンド処理を行い、前記画素ブロックの中心画素である補正対象画素の画素値を算出するブレンド処理部と、
    を有する撮像装置。
14. 画像処理装置において画像処理を実行する画像処理方法であり、
    エッジ強度算出部が、撮像素子における撮影画像の総画素数を削減した画素数削減画像を入力画像とし、
    入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出するエッジ強度算出ステップと、
    補間画素値算出部が、前記画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出する補間画素値算出ステップと、
    重み算出部が、前記エッジ強度算出部の算出した複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出する重み算出ステップと、
    ブレンド処理部が、前記複数方向の平滑化成分としての補間画素値と、前記重み算出部の算出した重みとの加重加算によるブレンド処理を行い、前記画素ブロックの中心画素である補正対象画素の画素値を算出するブレンド処理ステップと、
    を実行する画像処理方法。
15. 画像処理装置において画像処理を実行させるプログラムであり、
    エッジ強度算出部に、撮像素子における撮影画像の総画素数を削減した画素数削減画像を入力画像し、入力画像から選択される補正対象画素を中心とした画素ブロック単位で複数方向のエッジ強度を算出させるエッジ強度算出ステップと、
    補間画素値算出部に、前記画素ブロックにおける複数方向の平滑化成分としての補間画素値を算出させる補間画素値算出ステップと、
    重み算出部に、前記エッジ強度算出部の算出した複数方向のエッジ強度に基づいて、前記複数方向の平滑化成分としての補間画素値各々に対する重みを算出させる重み算出ステップと、
    ブレンド処理部に、前記複数方向の平滑化成分としての補間画素値と、前記重み算出部の算出した重みとの加重加算によるブレンド処理を行い、前記画素ブロックの中心画素である補正対象画素の画素値を算出させるブレンド処理ステップと、
    を実行させるプログラム。