JP2007251558A

JP2007251558A - 画像処理装置および画像処理方法、並びにプログラム

Info

Publication number: JP2007251558A
Application number: JP2006071680A
Authority: JP
Inventors: Hirotaka Ishii; 啓喬石井; Tanichi Ando; 丹一安藤
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2006-03-15
Filing date: 2006-03-15
Publication date: 2007-09-27
Anticipated expiration: 2026-03-15
Also published as: JP4957030B2

Abstract

【課題】認識処理に最適な画像を得ることができるようにする。
【解決手段】顔領域検出部２２は、撮像装置１１で撮像された顔画像から顔の領域を検出する。画像判定部２３は、検出された顔の領域の画像が認識処理に適しているか否かを判定し、認識処理に適していないと判定した場合、認識処理に最適な画像となる露出量を決定する。即ち、画像判定部２３は、顔の領域の画像の画素値のヒストグラムと基準画像の画素値のヒストグラムとの誤差が所定内となる露出量を決定する。本発明は、例えば、画像処理装置に適用できる。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、認識処理に最適な画像を得ることができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。

ユーザの顔を撮像装置で撮像し、画像処理装置で認識処理する認識処理システムにおいて、高速に、あるいは、簡単に認識処理することができるようにする様々な技術が提案されている（例えば、特許文献１，２参照）。従来、これらの撮像装置では、自動露出（露光）によって撮像が行われている。
特開２００５−８４９７９号公報特開２００５−１４１７２０号公報

しかしながら、自動露出では、撮像領域全体に対して、レンズを通して入ってくる光の強さと同等になるように、撮像装置のEV値が決定されるため、例えば、顔の認識を行う場合に、顔の領域以外の背景の明るさによって、認識対象としての顔領域の画素値が変化してしまい、認識ができないことがあった。

本発明は、このような状況に鑑みてなされたものであり、認識処理に最適な画像を得ることができるようにするものである。

本発明の一側面の画像処理装置は、基準画像との比較によって画像の処理を行う画像処理装置において、前記画像から顔の領域を検出する顔領域検出手段と、前記画像の画素値のヒストグラムを作成するヒストグラム作成手段と、前記画像のうちの前記顔の領域の画素値のヒストグラムと、前記基準画像の画素値のヒストグラムとの誤差が所定内となるように、前記画像を撮像した撮像装置の露出量を決定する決定手段と、決定された前記露出量に、前記撮像装置を制御する制御手段とを備える。

本発明の一側面の画像処理装置においては、画像から顔の領域が検出され、その画像の画素値のヒストグラムが作成される。そして、画像のうちの顔の領域の画素値のヒストグラムと、基準画像の画素値のヒストグラムとの誤差が所定内となるように、画像を撮像した撮像装置の露出量が決定され、その決定された露出量に、撮像装置が制御される。従って、認識処理に最適な画像を得ることができる。

この顔領域検出手段、ヒストグラム作成手段、および決定手段は、例えば、CPUなどにより構成され、制御手段は、例えば、IEEE1394，Ethernet（登録商標）やUSB（Universal Serial Bus）等に準じた有線通信やIEEE(The Institute of Electrical and Electronic Engineers)802.11a，802.11b、および802.11gなどの無線LAN（Local Area Network）、またはBluetooth等様々な無線通信を行う通信部により構成される。

前記決定手段には、前記撮像装置のシャッタ速度またはF値を決定することにより、前記撮像装置の露出量を決定させることができる。従って、認識処理に最適な画像を得ることができる。

前記決定手段には、前記顔の領域の画素値のヒストグラムの中心値と、前記基準画像の画素値のヒストグラムの中心値との誤差が所定内となるように、前記撮像装置の露出量を決定させることができる。従って、認識処理に最適な画像を得ることができる。

本発明の一側面の画像処理方法は、基準画像との比較によって画像の処理を行う画像処理方法において、前記画像から顔の領域を検出し、前記画像の画素値のヒストグラムを作成し、前記画像のうちの前記顔の領域の画素値のヒストグラムと、前記基準画像の画素値のヒストグラムとの誤差が所定内となるように、前記画像を撮像した撮像装置の露出量を決定し、決定された前記露出量に、前記撮像装置を制御するステップを含む。

本発明の一側面のプログラムは、基準画像との比較による画像の処理を、コンピュータに実行させるプログラムにおいて、前記画像から顔の領域を検出し、前記画像の画素値のヒストグラムを作成し、前記画像のうちの前記顔の領域の画素値のヒストグラムと、前記基準画像の画素値のヒストグラムとの誤差が所定内となるように、前記画像を撮像した撮像装置の露出量を決定し、決定された前記露出量に、前記撮像装置を制御するステップを含む。

本発明の一側面の画像処理方法およびプログラムにおいては、画像から顔の領域が検出され、その画像の画素値のヒストグラムが作成される。そして、画像のうちの顔の領域の画素値のヒストグラムと、基準画像の画素値のヒストグラムとの誤差が所定内となるように、画像を撮像した撮像装置の露出量が決定され、その決定された露出量に、撮像装置が制御される。従って、認識処理に最適な画像を得ることができる。

本発明によれば、認識処理に最適な画像を得ることができる。

図１は、本発明を適用した画像処理システムの第１の実施の形態の構成例を示している。なお、図１において、太線の実線は、画像データを表し、細線の実線は、制御データを表している。

図１の画像処理システム１は、認識対象としての人間の顔を撮像する撮像装置１１と、撮像装置１１から供給される顔が含まれた画像（以下、顔画像と称する）の認識処理を行う画像処理装置１２とにより構成されている。

撮像装置１１は、画像処理装置１２から供給される、撮像のタイミングを表すタイミング信号に基づいて、認識対象としての顔を撮像し、その結果得られる顔画像を画像処理装置１２に供給する。この撮像装置１１は、自動露出（露光）による撮像と、手動露出による撮像とが可能である。

自動露出（露光）によって撮像する場合、撮像装置１１は、設定した露出量を画像処理装置１２に供給する。この露出量は、一般に、EV値として表すことができ、EV値は、絞り値F、シャッタ速度T、およびフィルム感度に相当するイメージャの感度ISOによって決定され、次式で表される。
EV値＝log₂F²−Log₂T−log₂（ISO/100）

イメージャの感度ISOは、撮像装置ごとに固定値となるので、画像処理装置１２に予め記憶するようになされており、撮像装置１１は、撮像時に設定した絞り値Fとシャッタ速度Tを画像処理装置１２に供給する。なお、イメージャの感度ISOを、絞り値Fとシャッタ速度Tとともに、その都度供給してもよい。

一方、手動露出によって撮像する場合には、撮像装置１１は、画像処理装置１２から供給される絞り値Fとシャッタ速度Tで撮像する。

画像処理装置１２は、フレームメモリ２１、顔領域検出部２２、画像判定部２３、認識処理部２４、基準画像記憶部２５、および通信部２６により構成されている。

フレームメモリ２１は、撮像装置１１から供給される顔画像を一時的に記憶し、必要に応じて、顔領域検出部２２および画像判定部２３に供給する。顔領域検出部２２は、フレームメモリ２１から供給される顔画像から、顔の領域を検出し、その結果得られる顔の領域を表す情報（顔領域情報）を画像判定部２３に供給する。なお、顔領域検出部２２が行う顔の領域の検出方法については特に限定せずに任意の方法を採用することができる。例えば、顔領域検出部２２は、供給された顔画像から輪郭部を抽出し、抽出された輪郭部のうち顔の輪郭に合致するものを検出することにより、顔の領域を検出する。また例えば、顔領域検出部２２は、供給された顔画像をラベリングし、ラベリングされた画像のうちの、最も大きいサイズ、または、所定範囲内のサイズの画像を顔の領域として検出する。

画像判定部２３には、フレームメモリ２１から顔画像が供給されるとともに、顔領域検出部２２から顔領域情報が供給される。画像判定部２３は、顔領域検出部２２から供給される顔領域情報に基づいて、顔画像から顔の領域の画像（顔領域画像）を特定する。そして、画像判定部２３は、特定された顔領域画像が認識処理に適した画像か否かを判定する。具体的には、画像判定部２３は、顔領域画像の輝度分布の中心値と、基準画像記憶部２５に記憶されている、認識処理の基準となる基準画像の輝度分布の中心値との誤差が所定内であるか否かにより、顔領域画像が認識処理に適した画像か否かを判定する。ここで、基準画像または顔領域画像の輝度分布の中心値は、横軸を画素値、縦軸を画素数として表される画素値のヒストグラムのうち、画素値の（最大値−最小値）／２で得られる値とする。なお、基準画像または顔領域画像の輝度分布の中心値を、画素数の最も多い画素値や、画素値の平均値としてもよい。即ち、基準画像または顔領域画像の輝度分布の中心値は、顔領域画像全体または基準画像全体の明るさの度合いを表すものであればよい。なお、以下において、基準画像と顔領域画像を特に区別する必要がない場合、認識画像と称する。

顔領域画像が認識処理に適した画像であると判定された場合、画像判定部２３は、その顔領域画像を認識処理部２４に供給する。一方、顔領域画像が認識処理に適した画像ではないと判定された場合、画像判定部２３は、顔領域画像の輝度分布の中心値と基準画像の輝度分布の中心値との誤差が少なくなるような絞り値Fとシャッタ速度Tを決定し、通信部２６に供給する。

認識処理部２４は、画像判定部２３から供給された顔領域画像と、基準画像記憶部２５に記憶されている基準画像とを比較することによって、撮像装置１１で撮像された顔が登録されている本人であるかどうかを認証する。

基準画像記憶部２５は、撮像装置１１で撮像された顔が登録されている本人であるかどうかを認証する基準となる、基準画像を記憶する。この基準画像は、顔画像を撮像する前に予め撮像装置１１で撮像されて、基準画像記憶部２５に記憶される。

通信部２６は、撮像装置１１を制御する。具体的には、通信部２６は、画像判定部２３からの絞り値Fとシャッタ速度Tを撮像装置１１に送信する。また、通信部２６は、図示せぬ操作部または制御部からの制御信号に基づいてタイミング信号も撮像部１１に送信する。

以上のように構成される画像処理システム１の画像処理装置１２では、撮像装置１１で撮像された顔画像から顔の領域が検出される。そして、検出された顔の領域の画像の明るさ（輝度分布）が基準画像の分布と同様になるように撮像装置１１の露出量が制御される。これにより、認識処理に最適な顔領域画像を得ることができる。

図２は、図１の撮像装置１１の詳細な構成例を示している。

撮像装置１１は、レンズ４１、絞り４２、イメージセンサ４３、A/D変換部４４、および撮像制御部４５により構成されている。

レンズ４１および絞り４２を通った被写体からの光は、イメージセンサ４３に入射される。イメージセンサ４３は、例えば、CMOS（Complementary Mental Oxide Semiconductor）センサやCCD(Charge Coupled Device)センサなどにより構成され、撮像制御部４５からのタイミング信号に従って撮像する。即ち、イメージセンサ４３は、受光した被写体からの光に対応するアナログの電気信号をA/D変換部４４に供給する。

A/D（Analog/Digital）変換部４４は、イメージセンサ４３から供給されるアナログの電気信号を、所定ビット数のデジタル信号に変換し、画像信号として画像処理装置１２に出力する。なお、A/D変換部４４としては、８ビットのデジタル信号に変換するA/Dコンバータが使用されることが多い。この場合、A/D変換部４４から出力される画像は、２５６階調で表される。

撮像制御部４５は、画像処理装置１２から供給されるタイミング信号をイメージセンサ４３に供給することにより、撮像のタイミングを制御する。また、撮像制御部４５は、自動露出モードでは、図示せぬ露出計で測光した被写体の照度と同等になるように、絞り４２およびイメージセンサ４３のシャッタ速度を制御する。一方、手動露出モードでは、撮像制御部４５は、絞り４２およびイメージセンサ４３のシャッタ速度を、画像処理装置１２から供給される絞り値Fおよびシャッタ速度Tに設定する。

以上のように構成される撮像装置１１では、自動露出または画像処理装置１２から送信された絞り値Fおよびシャッタ速度Tにより、認識対象としての顔を含む顔画像が撮像されて、８ビットのデジタル信号にA/D変換された後、画像処理装置１２に出力される。

図３は、画像処理装置１２の画像判定部２３の詳細な構成例を示している。

画像判定部２３は、分布作成部６１、判定部６２、およびEV補正計算部６３により構成されている。

画像判定部２３の分布作成部６１は、顔領域検出部２２から供給される顔領域情報に基づいて、顔画像から顔の領域部分を特定する。ここで特定された領域の画像が、顔領域画像である。また、分布作成部６１は、顔領域画像の輝度分布と、基準画像記憶部２５に記憶されている基準画像の輝度分布を作成し、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値をそれぞれ求める。

判定部６２は、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値との誤差が所定内であるか否かにより、顔領域画像が認識処理に適した画像か否かを判定する。

判定部６２は、顔領域画像が認識処理に適した画像であると判定した場合、顔領域画像を認識処理部２４に供給する。一方、判定部６２が、顔領域画像が認識処理に適した画像ではないと判定した場合、顔領域画像の明るさ（画素値）を補正するための絞り値Fとシャッタ速度Tを、EV補正計算部６３に計算させる。

EV補正計算部６３は、通信部２６から、顔領域画像が撮像されたときに撮像装置１１で設定された絞り値Fとシャッタ速度Tを取得する。また、EV補正計算部６３は、判定部６２において顔領域画像が認識処理に適した画像ではないと判定された場合に、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値との誤差が所定内となるように、撮像装置１１の露出量を決定する。

ここで、露出量（EV値）は、上述したように、イメージャの感度が固定値であるので、絞り値Fとシャッタ速度Tにより決定され、EV値を実現する絞り値Fとシャッタ速度Tは、その組み合わせにより何通りか存在する。例えば、絞り値F＝２かつシャッタ速度T＝1/1000秒、絞り値F＝４かつシャッタ速度T＝1/250秒、絞り値F=８かつシャッタ速度1/60秒のそれぞれは、互いに同一の露出量（EV値）となる。また、自動露出で決定されたEV値を基準EV値とすると、基準EV値に対して２倍、４倍、・・・の明るさであるEV値は、基準EV値＋１、基準EV値＋２、・・・となり、基準EV値に対して光量が１／２、１／４・・・の明るさであるEV値は、基準EV値−１、基準EV値−２、・・・となる。なお、以下において、・・・、−２EV値、−１EV値、＋１EV値、＋２EV値、・・・は、基準EV値を基準とする相対のEV値を表す。

従って、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値との誤差が所定内となるような露出量を決定するためには、絞り値Fか、または、シャッタ速度Tのいずれか一方を変更するようにしても良いし、その両方を変更しても良い。本実施の形態では、EV補正計算部６３は、絞り値Fを固定して、シャッタ速度Tを変更することにより、撮像装置１１の露出量を、基準画像の輝度分布の中心値との誤差が所定内となるように決定する。例えば、基準EV値で撮像された顔画像から、明るさを２倍にするためには、絞り値Fを変更せずに、シャッタ速度を１／２倍の時間にさせる。

EV補正計算部６３は、決定された絞り値Fおよびシャッタ速度Tを通信部２６に供給する。そして、通信部２６によって、絞り値Fとシャッタ速度Tが撮像装置１１に供給される。

以上のように構成される画像判定部２３では、顔領域画像が認識処理に適した画像であるか否かを判定する。そして、顔領域画像が認識処理に適した画像であると判定された場合、その顔領域画像が認識処理部２４に供給される。一方、顔領域画像が認識処理に適した画像ではないと判定された場合、認識処理に最適な顔領域画像を得るための絞り値Fおよびシャッタ速度Tが求められる。

次に、図４のフローチャートを参照して、認識処理において基準画像と比較される比較画像として、最適な顔画像を取得する比較画像取得処理について説明する。この処理は、画像処理装置１２の図示せぬ操作部または制御部によって、認識処理の開始が指示されたときに開始される。

初めに、ステップＳ１において、通信部２６は、撮像装置１１にタイミング信号を供給する。そして、通信部２６からのタイミング信号によって撮像装置１１で撮像された顔画像がフレームメモリ２１に入力され、フレームメモリ２１は、ステップＳ２において、撮像装置１１からの顔画像を記憶する。

ステップＳ３において、顔領域検出部２２は、フレームメモリ２１から供給される顔画像から、顔の領域を検出し、その結果得られる顔領域情報を画像判定部２３に供給する。

ステップＳ４において、画像判定部２３の分布作成部６１は、フレームメモリ２１から供給される顔画像の輝度分布と基準画像記憶部２５に記憶されている基準画像の輝度分布とを作成する。また、分布作成部６１は、顔領域検出部２２から供給される顔領域情報に基づいて、顔画像の輝度分布の顔の領域部分を特定する。さらに、ステップＳ４において、分布作成部６１は、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値をそれぞれ求める。

ステップＳ５において、画像判定部２３の判定部６２は、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値との誤差が所定内であるあるか否かにより、いま撮像装置１１で撮像された顔領域画像が認識処理に適した画像か否かを判定する。

ステップＳ５で、いま撮像装置１１で撮像された顔領域画像が認識処理に適した画像ではないと判定された場合、ステップＳ６において、EV補正計算部６３は、通信部２６を介して、顔領域画像が撮像されたときの絞り値Fとシャッタ速度Tを撮像装置１１から取得するとともに、顔領域画像の輝度分布の中心値と、基準画像の輝度分布の中心値との誤差が所定内となるように、撮像装置１１の露出量を計算し、決定する。この例では、撮像装置１１から供給された絞り値Fとシャッタ速度Tのうちの、シャッタ速度Tのみを変更した補正量が計算される。

そして、ステップＳ７において、通信部２６は、画像判定部２３のＥＶ補正計算部６３から供給された絞り値Fおよびシャッタ速度Tを撮像装置１１に送信する。その後、処理はステップＳ１に戻り、それ以降の処理が繰り返される。

一方、ステップＳ５で、いま撮像装置１１で撮像された顔領域画像が認識処理に適した画像であると判定された場合、ステップＳ８において、判定部６２は、顔領域検出部２２から供給された顔領域画像を、比較画像として認識処理部２４に供給し、処理を終了する。これにより、認識処理部２４では、判定部６２からの最適な顔領域画像を、基準画像記憶部２５に記憶されている基準画像と比較することにより、撮像装置１１で撮像された顔画像に映っている顔（ユーザ）が登録されている本人であるかどうかを認証する認証処理を行うことができる。

次に、図５のフローチャートを参照して、顔認証処理において基準となる基準画像を基準画像記憶部２５に登録する基準画像登録処理について説明する。この処理は、図４に示した比較画像取得処理より前に、予め行われる。

初めに、ステップＳ２１において、通信部２６は、撮像装置１１にタイミング信号を供給する。そして、通信部２６からのタイミング信号によって撮像装置１１で撮像された顔画像がフレームメモリ２１に入力され、フレームメモリ２１は、ステップＳ２２において、撮像装置１１からの顔画像を記憶する。ステップＳ２１の処理は後述するように何回か繰り返されるが、初回の処理では、撮像装置１１が自動露出で撮影した顔画像がフレームメモリ２１に入力される。２回目以降の処理では、後述するステップＳ２７の処理で撮像装置１１に送信された絞り値Fおよびシャッタ速度Tで撮影された顔画像がフレームメモリ２１に入力される。

ステップＳ２３において、顔領域検出部２２は、フレームメモリ２１から供給される顔画像から、顔の領域を検出し、その結果得られる顔領域情報を画像判定部２３に供給する。

ステップＳ２４において、分布作成部６１は、フレームメモリ２１から供給される顔画像の輝度分布を作成する。また、分布作成部６１は、顔領域検出部２２から供給される顔領域情報に基づいて、顔画像の輝度分布のうちの顔の領域部分を特定する。

ステップＳ２５において、画像判定部２３の判定部６２は、撮像装置１１の露出量（EV値）をいくつか変更して、所定回数の顔領域画像の輝度分布を求めたか否かを判定する。画像処理装置１２では、基準画像登録処理において、露出量を、例えば、基準EV値と、＋２EV値、＋１EV値、−１EV値乃至−３EV値にそれぞれ変えて、計６回の顔領域画像の分布を求めることが予め記憶されており、ステップＳ２５では、その所定回数分の顔領域画像の輝度分布が求められたか否かが判定される。

ステップＳ２５で、所定回数分の顔領域画像の輝度分布が求められていないと判定された場合、ステップＳ２６において、EV補正計算部６３は、まだ求めていないEV値となるようにシャッタ速度Tを変更する。

ステップＳ２７において、通信部２６は、画像判定部２３のEV補正計算部６３から供給された絞り値Fおよびシャッタ速度Tを撮像装置１１に送信する。その後、処理はステップＳ２１に戻り、それ以降の処理が繰り返される。

一方、ステップＳ２５で、所定回数分の顔領域画像の輝度分布が求められたと判定された場合、ステップＳ２８において、判定部６２は、ステップＳ２１乃至Ｓ２４の処理を繰り返し実行することにより求められた、ＥＶ値のそれぞれ異なる顔領域画像の輝度分布から、基準画像として最適な顔領域画像を選択し、基準画像記憶部２５に記憶させて、処理を終了する。ステップＳ２８では、判定部６２は、所定回数の撮像により得られた所定個数の顔領域画像の輝度分布のうち、輝度分布の中心値が０乃至２５５（２５６階調）の画素値の中心値１２７に近く、かつ、分布の広がりの大きい（分散の大きい）顔画像が、基準画像として選択され、基準画像記憶部２５に記憶される。

図６は、図５の基準画像登録処理で求められた、ＥＶ値がそれぞれ異なる顔領域画像の輝度分布を示している。

図６に示した−３ＥＶ値乃至＋２ＥＶ値までの６個の顔領域画像の輝度分布では、自動露出（基準ＥＶ値）よりも明るさを１／２倍にした−１ＥＶ値で撮像されたときの顔領域画像が、基準画像として選択され、基準画像記憶部２５に記憶される。

以上のように、図１の画像処理システム１によれば、撮像装置１１で認識対象の顔を含んで撮像された顔画像のうちの、顔の領域だけの輝度分布を用いて、基準画像を登録する。また、顔の領域だけの輝度分布を用いて、より具体的には、顔領域画像の輝度分布の中心値と基準画像の輝度分布の中心値との誤差が所定内となるように、撮像装置１１の絞り値Ｆまたはシャッタ速度Ｔを制御したので、認識処理に最適な画像を得ることができる。

次に、上述したCMOSセンサやCCDセンサなどのイメージセンサよりもダイナミックレンジの広いイメージセンサを採用することにより、絞り値Fおよびシャッタ速度Tを調整することがないようにした実施の形態について説明する。

図７は、画像処理システムの第２の実施の形態を示している。なお、図７において、上述した第１の実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

図７の画像処理システム１０１は、約１７０dBの非常に広いダイナミックレンジを有するHDRC（High Dynamic Range CMOS）（登録商標）撮像装置１１１と、第１の実施の形態と同様の画像処理装置１２とにより構成されている。

HDRC撮像装置１１１は、図８および図９を参照して後述するように、対数変換型の撮像素子を用いて約170dBの非常に広いダイナミックレンジで認識対象としての顔を撮像し、画像処理装置１１２に供給する。なお、HDRC撮像装置１１１は、上述した撮像装置１１と同様に、画像処理装置１１２から供給されるタイミング信号に基づいて撮像を行う。

図７の画像処理装置１２のフレームメモリ２１、顔領域検出部２２、画像判定部２３、認識処理部２４、基準画像記憶部２５、および通信部２６は、基本的に、図１を参照して説明した処理と同様の処理を行う。但し、図７においては、通信部２６は、タイミング信号のみをHDRC撮像装置１１１に供給し、絞り値Fおよびシャッタ速度TについてはHDRC撮像装置１１１に供給しない。

図８は、図７のHDRC撮像装置１１１の詳細な構成例を示している。

HDRC撮像装置１１１は、レンズ１４１、絞り１４２、対数変換型イメージセンサ１４３、対数変換部１４４、A/D変換部１４４、および撮像制御部４５により構成されている。

レンズ１４１および絞り１４２を通った被写体からの光は、対数変換型イメージセンサ１４３に入射される。対数変換型イメージセンサ１４３は、例えば、HDRCなどにより構成され、撮像制御部１４６からのタイミング信号に従って撮像する。即ち、対数変換型イメージセンサ１４３は、タイミング信号に同期して、入射された光の明るさ（照度）に応じた電荷を蓄積し、その蓄積された電荷を対数変換部１４４に供給する。

対数変換部１４４は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部１４４は、MOSFETのサブスレッショルド特性を利用して、対数変換型イメージセンサ１４３から供給される電荷を、画素ごとに電荷の数（電流の強さ）の対数（被写体の光の光量の対数）にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部１４４は、生成したアナログの電気信号をA/D変換部１４５に供給する。

A/D変換部１４５は、対数変換部１４４から供給されるアナログの電気信号を、所定ビット数のデジタル信号に変換し、画像処理装置１２に出力する。なお、HDRC撮像装置１１１のA/D変換部１４５では、広いダイナミックレンジに対応するため、１４ビットのビット数が採用されている。従って、顔画像の画素値は、最も暗い０から最も明るい２¹⁴−１の範囲の値をとる。

撮像制御部１４６は、画像処理装置１２から供給されるタイミング信号を対数変換型イメージセンサ１４３に供給することにより、撮像のタイミングを制御する。

以上のように構成されるHDRC撮像装置１１１は、対数変換型イメージセンサ１４３に入射された光の明るさ（入射光量）の対数に比例した画素値からなるデジタルの画像信号を出力する。ここで、“比例”とは、ほぼ比例するものも含む。なお、対数変換型のイメージセンサについては、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。また、対数変換型イメージセンサ１４３では、電荷を蓄積せずに、そのまま対数変換部１４４に供給させるようにすることも可能である。

図９は、対数変換型イメージセンサ１４３、CCDセンサ、銀塩フィルム、および、人の目の感度特性を示すグラフである。図９の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。曲線L1は対数変換型イメージセンサ１４３の感度特性を示し、曲線L2はCCDセンサの感度特性を示し、曲線L3は銀塩フィルムの感度特性を示し、曲線L4は人の目の感度特性を示している。

対数変換型イメージセンサ１４３は、上述したように、入射光量の対数に比例した画素値からなる画像信号を出力することにより、対数変換型イメージセンサ１４３を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCDセンサ、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで被写体を撮像することができる。

従って、対数変換型イメージセンサ１４３を用いた撮像装置１１１は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞り値Fやシャッタ速度Tを調整して入射光量を調整する必要がない。すなわち、撮像装置１１１は、入射光量を調整しなくても、被写体の詳細な輝度分布を忠実に再現することができる。

例えば、昼間に顔を撮像する場合、画角内に太陽が入っていても、撮像装置１１１により撮像された画像は、入射光量を調整しなくても、太陽と顔の輝度の分布を忠実に再現した画像となる。また、夜間に顔を撮像する場合でも、撮像装置１１１により撮像された画像は、入射光量を調整しなくても、顔と顔以外の領域の輝度の分布を忠実に再現した画像となる。

なお、対数変換型イメージセンサ１４３のダイナミックレンジは、上述した１７０dBに限定されるものではなく、利用目的に応じて、約１００ｄＢあるいは２００ｄＢなど、必要なダイナミックレンジに対応したものを用いることができる。

また、CCDセンサおよび銀塩フィルムでは、曲線L2および曲線L3に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型イメージセンサ１４３では、感度特性が入射光の照度の対数に比例する。このことから、対数変換型イメージセンサ１４３を用いた撮像装置１１１は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像装置１１１により撮像された画像の画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するという特徴も有している。

以上のように、図７の画像処理システム１０１によれば、HDRC撮像装置１１１が非常に広いダイナミックレンジを有しているので、絞り値Fやシャッタ速度Tを調整して入射光量を調整する必要がない。

しかしながら、HDRC撮像装置１１１から出力される顔画像は、図１０に示すように、１４ビット、即ち、０乃至２¹⁴−１の画素値で表されるが、そのなかの顔の領域部分は、僅かに数ビット（図１０では、２または３ビット）分の階調でしか表されていない。即ち、HDRC撮像装置１１１は、ダイナミックレンジが広い分、顔の領域の画素値が占める割合が少ない。

また、A/D変換処理するA/Dコンバータは、８ビットのビット数までは一般的な電気回路で多く使用されるため安価であるが、８ビットより大きいビット数のものは高価である。即ち、HDRC撮像装置１１１を用いた画像処理システム１０１では、高価な１４ビットのA/Dコンバータが必要であるが、実際に認識処理に必要な顔の領域には、その数ビット分しか利用されていないという問題がある。

図１１は、正確な認識処理を行うために、最低何階調程度の画素値が必要かを調べた結果を示すグラフである。

図１１に示すグラフの横軸は、被写体の照度（単位は、ルクス）を表し、グラフの右側の縦軸は、基準画像と比較画像の類似度を表す。なお、実験の結果から、類似度が、粗い点線で示される５５０以上である場合に、信頼性の高い認識処理を行うことができることが判っている。また、グラフの左側の縦軸は、１０ビットでの顔領域画像の画素値を表している。

図１１において、細かい点線は、画素値の最大値を表し、２点鎖線は、画素値の最小値を表している。また、１点鎖線は、画素値の最大値から最小値を引いた差分を表し、実線は、基準画像と比較画像の類似度を表している。

図１１に示すグラフは、類似度が５５０を超えるためには、被写体の照度が少なくとも３０ルクス程度必要であることを表している。また、図１１に示すグラフは、類似度が５５０となったときの画素値の差分は、１点鎖線で示されるように１７５程度となっており、基準画像および比較画像が、７ビット（１２８階調）以上の階調を必要としていることを表している。

そこで、第３の実施の形態として、１４ビットのA/D変換部に代えて、８ビットのA/D変換部を採用し、図１２に示すように、HDRC撮像装置で得られた０乃至２¹⁴−１の画素値のうちの顔の領域の画素値の最小値から最大値の範囲の階調数が、例えば、８ビット（２５６階調）に対して所定の割合（例えば、８０％乃至９０％）となるような画素値の下限値M1から上限値M2までの電気信号を、８ビットのA/D変換部に入力させることを考える。逆に言えば、画素値の下限値Ｍ１と上限値Ｍ２を、HDRC撮像装置で得られた０乃至２¹⁴−１の画素値のうちの顔の領域の画素値の最小値から最大値の範囲のＫ倍（１≦Ｋ）となるようにする。例えば、上述の所定の割合を８０％とした場合、顔の領域は、２５６×０．８＝２０４階調の画素値で表されることになり、上述した１７５程度以上という条件を満たすことができる。

図１３は、そのような画像処理システムの第３の実施の形態を示している。

図１３の画像処理システム２０１は、HDRC撮像装置２１１と画像処理装置２１２とにより構成されている。なお、図１３において、上述した実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

画像処理システム２０１では、基準画像を画像処理装置２１２に登録するとき、および、比較画像を画像処理装置２１２に入力するときのいずれも、HDRC撮像装置２１１で少なくとも２回撮像する必要がある。１回目の基準画像または比較画像は、顔領域画像が所定の割合で含まれる画素値の下限値Ｍ１および上限値Ｍ２を決定するために利用される。２回目の基準画像または比較画像は、１回目の顔画像で決定された画素値の下限値Ｍ１および上限値Ｍ２に従って抽出された画像となり、認証処理用の画像として利用される。なお、２回目にHDRC撮像装置２１１で撮像されて出力される画像を補正後の画像とも称する。また、画像処理装置２１２において、入力された画像が１回目の画像であるのか、２回目の画像であるのかは、操作部または制御部からの指示により認識することができるようになされている。

HDRC撮像装置２１１は、対数変換型の撮像素子を用いて約170dBの非常に広いダイナミックレンジで認識対象としての顔を撮像し、その結果得られるアナログの画像信号を８ビットのデジタル信号に変換して、画像処理装置２１２に供給する。なお、HDRC撮像装置２１１は、図７の撮像装置１１１と同様に、画像処理装置２１２から供給されるタイミング信号に基づいて撮像を行う。

画像処理装置２１２は、フレームメモリ２１、顔領域検出部２２、補正量決定部２２１、認識処理部２４、基準画像記憶部２５、および通信部２２２により構成されている。

即ち、画像処理装置２１２は、フレームメモリ２１、顔領域検出部２２、認識処理部２４、および基準画像記憶部２５を有している点において、図７の画像処理装置１２と共通し、図７の画像判定部２３および通信部２６に代えて、補正量決定部２２１および通信部２２２を有している点において、図７の画像処理装置１２と相違する。

補正量決定部２２１には、フレームメモリ２１から顔画像が供給されるとともに、顔領域検出部２２から顔領域情報が供給される。補正量決定部２２１は、顔領域検出部２２から供給される顔領域情報に基づいて、顔画像から顔領域画像を特定する。そして、補正量決定部２２１は、顔領域画像の画素値の最小値と最大値を求め、その求められた顔の領域の画素値の範囲が、全体の、例えば、８０％となるような画素値の下限値Ｍ１および上限値Ｍ２を決定する。さらに、補正量決定部２２１は、決定された画素値の下限値Ｍ１および上限値Ｍ２を通信部２２２に供給する。

通信部２２２は、補正量決定部２２１から供給される、補正量としての画素値の下限値Ｍ１および上限値Ｍ２を撮像装置２１１に供給する。また、通信部２６は、図示せぬ操作部または制御部からの制御信号に基づいてタイミング信号も撮像部１１に供給する。

図１４は、図１３のHDRC撮像装置２１１の詳細な構成例を示している。

HDRC撮像装置２１１は、レンズ１４１、絞り１４２、対数変換型イメージセンサ１４３、対数変換部１４４、信号補正部２４１、A/D変換部２４２、および撮像制御部２４３により構成されている。

即ち、図１４のHDRC撮像装置２１１は、レンズ１４１、絞り１４２、対数変換型イメージセンサ１４３、および対数変換部１４４を有する点において、図８のHDRC撮像装置１１１と共通し、A/D変換部１４４および撮像制御部４５に代えて、信号補正部２４１、A/D変換部２４２、および撮像制御部２４３を有する点において、図８のHDRC撮像装置１１１と相違する。

信号補正部２４１は、例えば、アナログの信号処理回路であり、撮像制御部２４３から補正量としての画素値の下限値Ｍ１および上限値Ｍ２が供給された場合、画素値の下限値Ｍ１および上限値Ｍ２をA/D変換前の電圧値に変換する。以下において、画素値の下限値Ｍ１および上限値Ｍ２に対応する電圧値を、下限電圧値および上限電圧値と称する。信号補正部２４１は、対数変換部１４４から供給されるアナログの電気信号のうち、下限電圧値から上限電圧値までのアナログ信号を抽出し、A/D変換部２４２に供給する。一方、信号補正部２４１は、撮像制御部２４３から補正量が供給されない場合には、対数変換部１４４から供給されるアナログの電気信号をそのままA/D変換部に供給する。

A/D変換部２４２は、例えば、A/Dコンバータであり、対数変換部１４４から供給されるアナログの電気信号を、８ビットのデジタル信号に変換し、画像信号として画像処理装置２１２に出力する。

撮像制御部２４３は、画像処理装置２１２から供給されるタイミング信号を対数変換型イメージセンサ１４３に供給することにより、撮像のタイミングを制御する。また、撮像制御部２４３は、画像処理装置２１２から補正量としての画素値の下限値Ｍ１および上限値Ｍ２が供給された場合、それを信号補正部２４１に供給する。

図１５は、図１３の補正量決定部２２１の詳細な構成例を示している。

補正量決定部２２１は、分布作成部２６１および上下限値決定部２６２により構成されている。

分布作成部２６１は、フレームメモリ２１から供給される顔画像の輝度分布を作成する。上下限値決定部２６２は、顔領域検出部２２から供給される顔領域情報に基づいて、顔画像の輝度分布のうちの顔の領域部分を特定する。そして、上下限値決定部２６２は、特定された顔の領域部分の画素値の最小値と最大値から、顔の領域部分の画素値の範囲が所定の割合（例えば、８０％）となるような画素値の下限値Ｍ１および上限値Ｍ２を決定する。決定された画素値の下限値Ｍ１および上限値Ｍ２は、通信部２２２に供給される。

図１６のフローチャートを参照して、画像処理システム２０１の認識画像取得処理について説明する。

初めに、ステップＳ６１において、画像処理装置２１２からHDRC撮像装置２１１にタイミング信号が供給され、HDRC撮像装置２１１の対数変換型イメージセンサ１４３は、認識対象としての顔を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部１４４から信号補正部２４１に供給される。

ステップＳ６２において、信号補正部２４１は、対数変換部１４４からのアナログ信号をそのままA/D変換部２４２に供給する。さらに、ステップＳ６２において、A/D変換部２４２は、信号補正部２４１からのアナログの電気信号を８ビットのデジタル信号に変換し、画像信号として画像処理装置２１２に出力する。

ステップＳ６３において、画像処理装置２１２のフレームメモリ２１は、HDRC撮像装置２１１からの顔画像を記憶する。フレームメモリ２１に記憶された顔画像は、顔領域検出部２２と補正量決定部２２１に供給される。

ステップＳ６４において、顔領域検出部２２は、フレームメモリ２１から供給された顔画像から、顔の領域を検出し、その結果得られる顔領域情報を補正量決定部２２１に供給する。

ステップＳ６５において、補正量決定部２２１の分布作成部２６１は、フレームメモリ２１から供給される顔画像の輝度分布を作成する。

ステップＳ６６において、補正量決定部２２１の上下限値決定部２６２は、顔領域検出部２２から供給される顔領域情報に基づいて、顔画像の輝度分布のうちの顔の領域部分を特定する。そして、上下限値決定部２６２は、特定された顔の領域部分の画素値の最小値と最大値から、顔の領域部分の画素値の範囲が全体の所定の割合（例えば、８０％）となるような画素値の下限値Ｍ１および上限値Ｍ２を決定する。

ステップＳ６７において、決定された画素値の下限値Ｍ１および上限値Ｍ２が、通信部２２２に供給され、通信部２２２は、それをHDRC撮像装置２１１に供給する。

ステップＳ６８において、HDRC撮像装置２１１の撮像制御部２４３は、画像処理装置２１２から供給された画素値の上限値Ｍ１および下限値Ｍ２を信号補正部２４１に供給する。そして、信号補正部２４１は、画素値の下限値Ｍ１および上限値Ｍ２をA/D変換前の電圧値（下限電圧値および上限電圧値）に変換する。

ステップＳ６９において、画像処理装置２１２からHDRC撮像装置２１１にタイミング信号が供給され、HDRC撮像装置２１１の対数変換型イメージセンサ１４３は、顔を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部１４４から信号補正部２４１に供給される。

ステップＳ７０において、HDRC撮像装置２１１の信号補正部２４１は、対数変換部１４４から供給されるアナログの電気信号のうち、下限電圧値から上限電圧値までのアナログ信号を抽出し、A/D変換部２４２に供給する。

ステップＳ７１において、HDRC撮像装置２１１のA/D変換部２４２は、信号補正部２４１からのアナログの電気信号を８ビットのデジタル信号に変換し、画像信号として画像処理装置２１２に出力する。

ステップＳ７２において、画像処理装置２１２のフレームメモリ２１は、HDRC撮像装置２１１からの顔画像を記憶する。フレームメモリ２１に記憶された顔画像は、補正量決定部２２１に供給される。

ステップＳ７３において、補正量決定部２２１は、フレームメモリ２１から供給される顔画像を認識処理部２４に供給して、処理を終了する。これにより、認識処理部２４では、補正量決定部２２１からの顔領域画像と、基準画像記憶部２５に記憶されている基準画像とで、認証処理を行うことができる。

以上のように、画像処理システム２０１の認識画像取得処理によれば、１回目の撮像で得られた顔画像から、顔の領域部分の画素値の最小値から最大値の範囲を求め、２回目の撮像では、その範囲の画像信号（アナログの電気信号）だけをA/D変換部２４２に入力させるようにしたので、２００階調程度の、認識処理を行うのに十分な階調数を有する顔領域画像を得ることができる。即ち、認識処理に最適な画像を得ることができる。

また、画像処理システム２０１において撮像に用いられるHDRC撮像装置２１１は、約１７０dBの広ダイナミックレンジで被写体を撮像することができるので、絞り値Fやシャッタ速度Tを調整して入射光量を調整する必要がない。また、HDRC撮像装置２１１のA/D変換部２４２は、８ビットのデジタル信号に変換すればよいので、８ビットよりもビット数の多い、高価なA/Dコンバータを使用する必要がなく、コストを抑制することができる。

なお、画像処理システム２０１では、基準画像についても同様に、図１６の認識画像取得処理によって求めて、基準画像記憶部２５に記憶させることができる。

以上の画像処理システム２０１では、画像処理装置２１２で補正量を決定し、HDRC撮像装置２１１に供給するようにしたが、HDRC撮像装置自身で補正量を求め、８ビットの階調で表される補正後の画像を出力するようにさせることもできる。

図１７は、HDRC撮像装置自身で補正量を求め、８ビットの階調で表される補正後の画像を出力するようにしたHDRC撮像装置の構成例を示している（第４の実施の形態）。図１７において、上述した実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

図１７のHDRC撮像装置３０１は、レンズ１４１、絞り１４２、対数変換型イメージセンサ１４３、対数変換部１４４、信号補正部２４１、およびA/D変換部２４２を有する点において、図１４のHDRC撮像装置２１１と共通し、フレームメモリ２１、顔領域検出部２２、補正量決定部２２１、スイッチ（SW）３１１、および撮像制御部３１２を有する点において、図１４のHDRC撮像装置２１１と相違する。但し、HDRC撮像装置３０１のフレームメモリ２１、顔領域検出部２２、および補正量決定部２２１は、図１３の画像処理装置２１２が有するものと同一のものである。

スイッチ３１１は、撮像制御部３１２の制御により、A/D変換部２４２からの電気信号を、図示せぬ後段の装置に出力するか、または、フレームメモリ２１に供給するかを切替える。A/D変換部２４２からの電気信号を後段の装置に出力する場合には、端子部３１１ａが選択され、フレームメモリ２１に供給する場合には、端子部３１１ｂが選択される。

撮像制御部３１２は、タイミング信号を対数変換型イメージセンサ１４３に供給することにより、撮像のタイミングを制御する。また、撮像制御部３１２は、スイッチ３１１に、A/D変換部２４２からの電気信号を、図示せぬ後段の装置に出力するか、または、フレームメモリ２１に供給するかを切替えさせる。なお、撮像制御部３１２は、定期的にタイミング信号を供給したり、スイッチ３１１を切替させても良いし、他の装置からの制御信号に基づいて、タイミング信号を供給したり、スイッチ３１１を切替させても良い。図１７では、撮像制御部３１２からスイッチ３１１への制御線の図示が省略されている。

図１８は、認識画像としての補正後の画像を出力する、図１７のHDRC撮像装置３０１の認識画像出力処理のフローチャートである。

認識画像出力処理では、初めに、ステップＳ１０１において、撮像制御部３１２は、スイッチ３１１をフレームメモリ２１側、即ち、端子部３１１ｂに設定させる。

ステップＳ１０２において、対数変換型イメージセンサ１４３は、撮像制御部３１２からのタイミング信号に基づいて、認識対象としての顔を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部１４４から信号補正部２４１に供給される。

ステップＳ１０３において、信号補正部２４１は、対数変換部１４４からのアナログ信号をそのままA/D変換部２４２に供給する。さらに、ステップＳ１０３において、A/D変換部２４２は、アナログの電気信号を８ビットのデジタル信号に変換し、スイッチ３１１に供給する。スイッチ３１１では、端子部３１１ｂが選択されているため、A/D変換部２４２から供給された電気信号は、フレームメモリ２１に供給される。

ステップＳ１０４において、フレームメモリ２１は、スイッチ３１１を介してA/D変換部２４２から供給された顔画像を記憶する。

ステップＳ１０５において、顔領域検出部２２は、フレームメモリ２１から供給される顔画像から、顔の領域を検出し、その結果得られる顔領域情報を補正量決定部２２１に供給する。

ステップＳ１０６において、補正量決定部２２１の分布作成部２６１は、フレームメモリ２１から供給される顔画像の輝度分布を作成する。

ステップＳ１０７において、補正量決定部２２１の上下限値決定部２６２は、顔領域検出部２２から供給される顔領域情報に基づいて、顔画像の輝度分布のうちの顔の領域部分を特定する。そして、上下限値決定部２６２は、特定された顔の領域部分の画素値の最小値と最大値から、顔の領域部分の画素値の範囲が所定の割合（例えば、８０％）となるような画素値の下限値Ｍ１および上限値Ｍ２を決定し、信号補正部２４１に供給する。

ステップＳ１０８において、信号補正部２４１は、画素値の下限値Ｍ１および上限値Ｍ２をA/D変換前の電圧値（下限電圧値および上限電圧値）に変換する。

ステップＳ１０９において、撮像制御部３１２は、スイッチ３１１を外部出力側、即ち、端子部３１１aに設定させる。

ステップＳ１１０において、対数変換型イメージセンサ１４３は、撮像制御部３１２からのタイミング信号に基づいて、顔を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部１４４から信号補正部２４１に供給される。

ステップＳ１１１において、信号補正部２４１は、対数変換部１４４から供給されるアナログの電気信号のうち、下限電圧値から上限電圧値までのアナログ信号を抽出し、A/D変換部２４２に供給する。

ステップＳ１１２において、A/D変換部２４２は、信号補正部２４１からのアナログの電気信号を８ビットのデジタル信号に変換し、画像信号として出力し、処理を終了する。

以上のようにして、１回目の撮像で得られた顔画像から、顔の領域の画素値の最小値から最大値の範囲を求め、その範囲が所定の割合となる下限値Ｍ１から上限値Ｍ２の画像信号（アナログの電気信号）だけを、２回目の撮像でA/D変換部２４２に入力させることにより、顔の領域の画素値の範囲が認識処理を行うのに十分な階調数を有する顔領域画像を出力することができる。即ち、認識処理に最適な画像を得ることができる。

図１７のHDRC撮像装置３０１では、２回の撮像を行う必要があったが、図１９は、１回の撮像でできるようにしたHDRC撮像装置の構成例を示している（第５の実施の形態）。なお、図１９において、上述した実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

即ち、図１９のHDRC撮像装置４０１は、フレームメモリ２１、顔領域検出部２２、レンズ１４１、絞り１４２、対数変換型イメージセンサ１４３、対数変換部１４４、補正量決定部２２１、信号補正部２４１、およびA/D変換部２４２を有する点において、図１７のHDRC撮像装置３０１と共通し、対数変換部１４４と信号補正部２４１との間に遅延部４１１と、対数変換部１４４とフレームメモリ２１との間にA/D変換部４１２が設けられている点において、図１７のHDRC撮像装置３０１と相違する。

遅延部４１１は、対数変換部１４４から供給されたアナログの電気信号を、所定時間遅延させ、その後、信号補正部２４１に供給する。具体的には、補正量決定部２２１が画素値の下限値Ｍ１および上限値Ｍ２を求め、信号補正部２４１に供給するまでの間、遅延部４１１は、対数変換部１４４から供給されたアナログの電気信号を遅延させる。

A/D変換部４１２は、対数変換部１４４から供給されるアナログの電気信号を、８ビットのデジタル信号に変換し、フレームメモリ２１に供給する。

次に、図２０のフローチャートを参照して、図１９のHDRC撮像装置４０１による認識画像出力処理について説明する。

初めに、ステップＳ１６１において、対数変換型イメージセンサ１４３は、撮像制御部２４３からのタイミング信号に基づいて、認識対象としての顔を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部１４４から遅延部４１１およびA/D変換部４１２に供給される。

ステップＳ１６２において、遅延部４１１は、対数変換部１４４から供給されたアナログの電気信号を、所定時間遅延させてから、信号補正部２４１に供給する。

ステップＳ１６３において、A/D変換部４１２は、アナログの電気信号を８ビットのデジタル信号に変換し、フレームメモリ２１に供給する。

ステップＳ１６４において、フレームメモリ２１は、A/D変換部４１２から供給された顔画像を記憶する。

ステップＳ１６５において、顔領域検出部２２は、フレームメモリ２１から供給される顔画像から、顔の領域を検出し、その結果得られる顔領域情報を補正量決定部２２１に供給する。

ステップＳ１６６において、補正量決定部２２１の分布作成部２６１は、フレームメモリ２１から供給される顔画像の輝度分布を作成する。

ステップＳ１６７において、補正量決定部２２１の上下限値決定部２６２は、顔領域検出部２２から供給される顔領域情報に基づいて、顔画像の輝度分布のうちの顔の領域部分を特定する。そして、上下限値決定部２６２は、特定された顔の領域部分の画素値の最小値と最大値から、顔の領域部分の画素値の範囲が所定の割合（例えば、８０％）となるような画素値の下限値Ｍ１および上限値Ｍ２を決定し、信号補正部２４１に供給する。

ステップＳ１６８において、信号補正部２４１は、画素値の下限値および上限値をA/D変換前の電圧値（下限電圧値および上限電圧値）に変換する。

ステップＳ１６９において、信号補正部２４１は、遅延部４１１から供給されるアナログの電気信号のうち、下限電圧値から上限電圧値までのアナログ信号を抽出し、A/D変換部２４２に供給する。

ステップＳ１７０において、A/D変換部２４２は、信号補正部２４１からのアナログの電気信号を８ビットのデジタル信号に変換し、画像信号として出力し、処理を終了する。

以上のようにして、顔の領域部分の画素値の最小値から最大値の範囲を求め、その範囲の信号を、遅延させたアナログの電気信号から抽出して、A/D変換部２４２に入力させることにより、認識処理を行うのに十分な階調数を有する顔領域画像を出力することができる。即ち、認識処理に最適な画像を得ることができる。

上述した第１乃至第５の実施の形態では、認識対象としての顔の領域を検出して、顔の領域の画像の輝度分布が、認識処理するのに最適な画像を取得する例について説明したが、顔の領域自体を検出することが難しい場合には、カーソル等により、顔の領域をユーザに指定させてもよい。従って、画像処理システムでは、HDRC撮像装置で撮像して得られた画像のなかの所定の領域を指定し、その指定された所定の領域の輝度分布が認識処理するのに最適となるような画像を求めることができる。

図２１は、指定された所定の領域の輝度分布が認識処理するのに最適となるような画像を求める画像処理システムの構成例を示している（第６の実施の形態）。なお、図２１において、図１３と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

図２１の画像処理システム５０１は、HDRC撮像装置２１１と画像処理装置５１１とにより構成されている。また、画像処理装置５１１は、フレームメモリ２１、認識処理部２４、基準画像記憶部２５、補正量決定部２２１、通信部２２２、領域指定部５２１、および指定領域検出部５２２により構成されている。

図２１の画像処理システム５０１は、図１３の画像処理システム２０１と比較して、HDRC撮像装置２１１と、フレームメモリ２１、認識処理部２４、基準画像記憶部２５、補正量決定部２２１、および通信部２２２とが共通し、領域指定部５２１および指定領域検出部５２２が相違する。なお、第６の実施の形態では、HDRC撮像装置２１１が撮像して画像処理装置５１１に出力する画像を顔画像と区別して撮影画像と称する。

領域指定部５２１は、HDRC撮像装置２１１から供給される画像から、認識処理の対象とする領域を指定する。例えば、領域指定部５２１は、図示せぬディスプレイにHDRC撮像装置２１１から供給される撮影画像とともに領域指定枠を表示させ、ユーザに領域指定枠を所望の位置および大きさに設定させる。

指定領域検出部５２２は、領域指定部５２１で指定された領域を、認識処理の対象領域として内部に記憶する。また、指定領域検出部５２２は、フレームメモリ２１から供給される撮影画像から、領域指定部５２１によって指定された領域を検出し、その結果得られる指定領域情報を補正量決定部２２１に供給する。

次に、図２２のフローチャートを参照して、画像処理装置５１１による領域指定処理について説明する。

ステップＳ１８１において、領域指定部５２１は、領域を指定させるための領域指定枠をディスプレイに表示させる。

ステップＳ１８２において、領域指定部５２１は、領域が確定されたか否かを判定し、領域が確定されたと判定するまで待機する。例えば、ユーザは、ディスプレイに表示された領域指定枠を所望の位置、大きさに設定し、決定したら確定ボタン等を操作する。これにより、ステップＳ１８２では、領域が確定されたと判定される。

ステップＳ１８２で、領域が確定されたと判定された場合、ステップＳ１８３において、指定領域検出部５２２は、領域指定部５２１で指定された領域を、認識処理の対象領域として記憶する。

次に、図２３のフローチャートを参照して、画像処理システム５０１の認識画像取得処理について説明する。

初めに、ステップＳ２０１において、画像処理装置５１１からHDRC撮像装置２１１にタイミング信号が供給され、HDRC撮像装置２１１の対数変換型イメージセンサ１４３は、被写体を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部１４４から信号補正部２４１に供給される。

ステップＳ２０２において、信号補正部２４１は、対数変換部１４４からのアナログ信号をそのままA/D変換部２４２に供給する。さらに、ステップＳ２０２において、A/D変換部２４２は、アナログの電気信号を８ビットのデジタル信号に変換し、画像信号として画像処理装置５１１に出力する。

ステップＳ２０３において、画像処理装置５１１のフレームメモリ２１は、HDRC撮像装置２１１からの撮影画像を記憶する。フレームメモリ２１に記憶された撮影画像は、指定領域検出部５２２と補正量決定部２２１に供給される。

ステップＳ２０４において、指定領域検出部５２２は、フレームメモリ２１から供給された撮影画像から、上述した領域指定処理によって指定された指定領域を検出し、その結果得られる指定領域情報を補正量決定部２２１に供給する。

ステップＳ２０５において、補正量決定部２２１の分布作成部２６１は、フレームメモリ２１から供給される撮影画像の輝度分布を作成する。

ステップＳ２０６において、補正量決定部２２１の上下限値決定部２６２は、指定領域検出部２２から供給される指定領域情報に基づいて、撮影画像の輝度分布のうちの指定領域部分を特定する。そして、上下限値決定部２６２は、特定された指定領域部分の画素値の最小値と最大値から、指定領域部分の画素値の範囲が所定の割合（例えば、８０％）となるような画素値の下限値Ｍ１および上限値Ｍ２を決定する。

ステップＳ２０７において、決定された画素値の下限値Ｍ１および上限値Ｍ２が、通信部２２２に供給され、通信部２２２は、それをHDRC撮像装置２１１に供給する。

ステップＳ２０８において、HDRC撮像装置２１１の撮像制御部２４３は、画像処理装置５１１から供給された画素値の上限値Ｍ１および下限値Ｍ２を信号補正部２４１に供給する。そして、信号補正部２４１は、画素値の下限値および上限値をA/D変換前の電圧値（下限電圧値および上限電圧値）に変換する。

ステップＳ２０９において、画像処理装置５１１からHDRC撮像装置２１１にタイミング信号が供給され、HDRC撮像装置２１１の対数変換型イメージセンサ１４３は、被写体を撮像する。そして、撮像されることにより得られたアナログの電気信号が、対数変換部１４４から信号補正部２４１に供給される。

ステップＳ２１０において、HDRC撮像装置２１１の信号補正部２４１は、対数変換部１４４から供給されるアナログの電気信号のうち、下限電圧値から上限電圧値までのアナログ信号を抽出し、A/D変換部２４２に供給する。

ステップＳ２１１において、HDRC撮像装置２１１のA/D変換部２４２は、信号補正部２４１からのアナログの電気信号を８ビットのデジタル信号に変換し、画像信号として画像処理装置５１１に出力する。

ステップＳ２１２において、画像処理装置５１１のフレームメモリ２１は、HDRC撮像装置２１１からの撮影画像を記憶する。フレームメモリ２１に記憶された撮影画像は、補正量決定部２２１に供給される。

ステップＳ２１３において、補正量決定部２２１は、フレームメモリ２１から供給される撮影画像を認識処理部２４に供給して、処理を終了する。

以上のように、画像処理システム５０１の認識画像取得処理によれば、１回目の撮像で得られた撮影画像から、予め指定された指定領域部分の画素値の最小値から最大値の範囲を求め、２回目の撮像では、その範囲の画像信号（アナログの電気信号）だけをA/D変換部２４２に入力させるようにしたので、認識処理を行うのに十分な階調数を有する指定領域画像を得ることができる。即ち、認識処理に最適な画像を得ることができる。

また、画像処理システム５０１において撮像に用いられるHDRC撮像装置２１１は、約１７０dBの広ダイナミックレンジで被写体を撮像することができるので、絞り値Fやシャッタ速度Tを調整して入射光量を調整する必要がない。HDRC撮像装置２１１のA/D変換部２４２には、８ビットよりもビット数の多い、高価なA/Dコンバータを使用する必要がないので、コストを抑制することができる。

図２４のHDRC撮像装置６０１と図２５のHDRC撮像装置７０１は、図１７のHDRC撮像装置３０１と図１９のHDRC撮像装置４０１を、それぞれ、顔領域の代わりに、指定された領域を検出するようにした場合の構成例を示している。

図２４のHDRC撮像装置６０１および図２５のHDRC撮像装置７０１では、それぞれ、図１７のHDRC撮像装置３０１および図１９のHDRC撮像装置４０１の顔領域検出部２２に代えて、領域指定部５２１および指定領域検出部５２２が設けられている。図２４および図２５の領域指定部５２１および指定領域検出部５２２は、図２１における場合と同様であるので、その説明を省略する。また、図２４のHDRC撮像装置６０１および図２５のHDRC撮像装置７０１の認識画像出力処理は、図１８のステップＳ１０５処理および図２０のステップＳ１６５の処理が顔領域から指定領域となっただけであるので、その説明を省略する。領域を指定する領域指定処理についても図２２を参照して説明した処理と同様である。

図２４のHDRC撮像装置６０１および図２５のHDRC撮像装置７０１においても、指定領域部分の画素値の最小値から最大値の範囲を求め、その範囲が所定の割合となる下限値Ｍ１から上限値Ｍ２の信号だけを、遅延させたアナログの電気信号から抽出して、A/D変換部２４２に入力させることにより、認識処理を行うのに十分な階調数を有する指定領域画像を出力することができる。即ち、認識処理に最適な画像を得ることができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

図２６は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。CPU（Central Processing Unit）８０１は、ROM（Read Only Memory）８０２、または記憶部８０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）８０３には、CPU８０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU８０１、ROM８０２、およびRAM８０３は、バス８０４により相互に接続されている。

CPU８０１にはまた、バス８０４を介して入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、キーボード、マウス、マイクロホンなどよりなる入力部８０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、スピーカなどよりなる出力部８０７が接続されている。CPU８０１は、入力部８０６から入力される指令に対応して各種の処理を実行する。そして、CPU８０１は、処理の結果を出力部８０７に出力する。

入出力インタフェース８０５に接続されている記憶部８０８は、例えばハードディスクからなり、CPU８０１が実行するプログラムや各種のデータを記憶する。通信部８０９は、インターネットやローカルエリアネットワークなどのネットワークを介して、または直接に接続された外部の装置と通信する。

なお、通信部８０９は、無線または有線による通信を行うものでもよいし、無線と有線の両方の通信が可能なものでもよい。さらに、その通信方式も特に限定されず、例えば、無線の場合、IEEE(The Institute of Electrical and Electronic Engineers)802.11a，802.11b、および802.11gなどの無線LAN（Local Area Network）、またはBluetooth等様々な無線通信方式が利用可能である。同様に、有線の場合も、IEEE1394，Ethernet（登録商標）やUSB（Universal Serial Bus）等に準じた有線通信方式が利用可能である。

入出力インタフェース８０５に接続されているドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部８０８に転送され、記憶される。また、プログラムやデータは、通信部８０９を介して取得され、記憶部８０８に記憶されてもよい。

撮像部８１１は、CCD、CMOS、HDRC等の撮像素子により構成され、被写体を撮像し、撮像した被写体の画像データを、入出力インタフェース８０５を介してCPU８０１等に供給する。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理システムの一実施の形態の構成例を示す図である。図１の撮像装置の詳細な構成例を示すブロック図である。画像処理装置の画像判定部の詳細な構成例を示すブロック図である。画像処理装置の比較画像取得処理を説明するフローチャートである。画像処理装置の基準画像登録処理を説明するフローチャートである。顔画像の輝度分布を示す図である。画像処理システムのその他の実施の形態の構成例を示す図である。図７のHDRC撮像装置の詳細な構成例を示す図である。対数変換型イメージセンサ、CCDセンサ、銀塩フィルム、および人の目の感度特性を示す図である。 HDRC撮像装置から出力される顔画像の輝度分布を説明する図である。認識処理を行う階調数について説明する図である。認識処理を行う階調数について説明する図である。画像処理システムのさらにその他の実施の形態の構成例を示す図である。図１３のHDRC撮像装置の詳細な構成例を示す図である。図１３の補正量決定部の詳細な構成例を示すブロック図である。図１３の画像処理システムの認識画像取得処理を説明するフローチャートである。 HDRC撮像装置の実施の形態の構成例を示す図である。図１７のHDRC撮像装置の認識画像出力処理を説明するフローチャートである。 HDRC撮像装置のその他の実施の形態の構成例を示す図である。図１９のHDRC撮像装置の認識画像出力処理を説明するフローチャートである。画像処理システムのさらにその他の実施の形態の構成例を示す図である。図２１の画像処理システムの領域指定処理を説明するフローチャートである。図２１の画像処理システムの認識画像取得処理を説明するフローチャートである。 HDRC撮像装置のさらにその他の実施の形態の構成例を示す図である。 HDRC撮像装置のさらにその他の実施の形態の構成例を示す図である。本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１画像処理システム
１１撮像装置
２２顔領域検出部
２３画像判定部
２６通信部
６１分布作成部
６２判定部
６３ EV補正計算部
１０１画像処理システム
１１１ HDRC撮像装置
２０１画像処理システム
２１１ HDRC撮像装置
２２１補正量決定部
２２２通信部
２４１信号補正部
２４２ A/D変換部
２６１分布作成部
２６２上下限値決定部
３０１，４０１ HDRC撮像装置
５０１画像処理システム
５２１領域指定部
５２２指定領域検出部
６０１，７０１ HDRC撮像装置

Claims

基準画像との比較によって画像の処理を行う画像処理装置において、
前記画像から顔の領域を検出する顔領域検出手段と、
前記画像の画素値のヒストグラムを作成するヒストグラム作成手段と、
前記画像のうちの前記顔の領域の画素値のヒストグラムと、前記基準画像の画素値のヒストグラムとの誤差が所定内となるように、前記画像を撮像した撮像装置の露出量を決定する決定手段と、
決定された前記露出量に、前記撮像装置を制御する制御手段と
を備える画像処理装置。
前記決定手段は、前記撮像装置のシャッタ速度またはF値を決定することにより、前記撮像装置の露出量を決定する
請求項１に記載の画像処理装置。
前記決定手段は、前記顔の領域の画素値のヒストグラムの中心値と、前記基準画像の画素値のヒストグラムの中心値との誤差が所定内となるように、前記撮像装置の露出量を決定する
請求項１に記載の画像処理装置。
基準画像との比較によって画像の処理を行う画像処理方法において、
前記画像から顔の領域を検出し、
前記画像の画素値のヒストグラムを作成し、
前記画像のうちの前記顔の領域の画素値のヒストグラムと、前記基準画像の画素値のヒストグラムとの誤差が所定内となるように、前記画像を撮像した撮像装置の露出量を決定し、
決定された前記露出量に、前記撮像装置を制御する
ステップを含む画像処理方法。
基準画像との比較による画像の処理を、コンピュータに実行させるプログラムにおいて、
前記画像から顔の領域を検出し、
前記画像の画素値のヒストグラムを作成し、
前記画像のうちの前記顔の領域の画素値のヒストグラムと、前記基準画像の画素値のヒストグラムとの誤差が所定内となるように、前記画像を撮像した撮像装置の露出量を決定し、
決定された前記露出量に、前記撮像装置を制御する
ステップを含むプログラム。