JP2007067792A

JP2007067792A - 撮像装置

Info

Publication number: JP2007067792A
Application number: JP2005250819A
Authority: JP
Inventors: Yoshizo Mori; 吉造森
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-08-31
Filing date: 2005-08-31
Publication date: 2007-03-15

Abstract

【課題】赤外線を利用して精度高く被写体を特定する撮像装置を提供すること。
【解決手段】
デジタルカメラ１において、撮像素子６は、被写体を含む被写界を複数の画素単位で撮像して撮像データを出力し、撮影者は、スイッチ１１を介して、検出したい被写体の温度を設定被写体温度として設定し、赤外センサ５は、被写界を赤外光成分に分解した上で複数の画素単位で撮像し、複数の画素の各画素単位の赤外成分レベル情報により構成される赤外光データを出力し、温度センサ７は、デジタルカメラ１周辺の周辺温度を検出する。信号処理装置１０は、赤外センサ５からの赤外光データと撮影者が設定した設定被写体温度と温度センサ７により検出された周辺温度とに基づいて、撮像データの複数の画素のうち検出したい被写体に対応する画素を特定する。
【選択図】図２

Description

本発明は、被写体を特定する撮像装置に関する。

テレビ電話などで、撮影した画像の中から人物だけを抽出する技術が知られている（特許文献１参照）。このような技術では、人物を特定するために赤外線が利用される。

特開平７−２５０２７２号公報

しかし、周囲温度が高くなると、人物と周囲温度との境界が判別しにくくなるという問題が生じる。また、赤外線を利用した人物の特定精度を向上させる必要も生じる。

本発明は、赤外線を利用して精度高く被写体を特定する撮像装置を提供する。

請求項１の発明は、撮像装置に適用され、被写体を含む被写界を複数の画素単位で撮像して撮像データを出力する撮像手段と、検出したい被写体の温度を設定被写体温度として設定する被写体温度設定手段と、被写界を赤外光成分に分解した上で複数の画素単位で撮像し、複数の画素の各画素単位の赤外成分レベル情報により構成される赤外光データを出力する赤外光撮像手段と、撮像装置周辺の周辺温度を検出する周辺温度検出手段と、赤外光データと設定被写体温度と周辺温度とに基づいて、撮像データの複数の画素のうち検出したい被写体に対応する画素を特定することにより被写体を特定する被写体特定手段とを備えることを特徴とするものである。
請求項２の発明は、請求項１に記載の撮像装置において、被写体特定手段は、設定被写体温度と周辺温度とに基づいて被写体に対応する被写体赤外成分レベル範囲を設定し、赤外光データの中から被写体赤外成分レベル範囲に該当する赤外成分レベルに対応する画素を第１被写体画素として特定し、撮像データの複数の画素から第１被写体画素に対応する画素を特定することを特徴とするものである。
請求項３の発明は、請求項２に記載の撮像装置において、被写体特定手段は、設定被写体温度と周辺温度との差の絶対値が所定値より大きい場合は、第１温度以上第２温度以下に対応する赤外成分レベルである第１範囲を被写体赤外成分レベル範囲として設定し、設定被写体温度と周辺温度との差の絶対値が所定値以下の場合は、第３温度以上第４温度以下に対応する赤外成分レベルである第２範囲を被写体赤外成分レベル範囲として設定し、第２範囲を設定する際に、第３温度が第１温度より高い値となるような設定と、第４温度が第２温度より低い値となるような設定との少なくとも一方の設定をすることを特徴とするものである。
請求項４の発明は、請求項３に記載の撮像装置において、被写体特定手段は、設定被写体温度と周辺温度との差の絶対値が所定値より大きい場合は、第１範囲を第１温度以上第２温度以下に対応する赤外成分レベルである第１レベル以上第２レベル以下の範囲に設定し、設定被写体温度と周辺温度との差の絶対値が所定値以下の場合は、第１レベルから第１レベルより小さい第３レベルへの変換と第２レベルから第２レベルより大きい第４レベルへの変換を含む赤外成分レベルのレベル変換をした後に、第２範囲を、第３温度以上第４温度以下に対応する第５レベル以上第６レベル以下の範囲に設定し、第２範囲を設定する際に、第５レベルを第３レベルより大きい値とする設定と第６レベルを第４レベルより小さい値とする設定との少なくとも一方の設定を行うことを特徴とするものである。
請求項５の発明は、請求項３に記載の撮像装置において、被写体特定手段は、設定被写体温度と周辺温度との差の絶対値が所定値より大きい場合は、第１範囲を第１温度以上第２温度以下に対応する赤外成分レベルである第１レベル以上第２レベル以下の範囲に設定し、設定被写体温度と周辺温度との差の絶対値が所定値以下の場合は、第２範囲を第３温度以上第４温度以下に対応する赤外成分レベルである第３レベル以上第４レベル以下の範囲に設定し、第２範囲を設定する際に、第３レベルを第１レベルより大きい値とする設定と、第４レベルを第２レベルより小さい値とする設定との少なくとも一方の設定を行うことを特徴とするものである。
請求項６の発明は、請求項１に記載の撮像装置において、少なくとも２つのマイクを有し、被写界のどの方向から音が発せられているかを検出して方向情報を出力する音検出手段を更に備え、被写体特定手段は、方向情報を考慮して検出したい被写体を特定することを特徴とするものである。
請求項７の発明は、請求項６に記載の撮像装置において、音検出手段の機能の有効または無効のいずれか一方を指定する指定手段を更に備えることを特徴とするものである。
請求項８の発明は、請求項１に記載の撮像装置において、撮像データのうち被写体特定手段により被写体として特定された第１データに対して第１画像処理を行い、被写体特定手段により被写体として特定されなかった第２データに対して第１画像処理と異なる第２画像処理を行う画像処理手段を更に備えることを特徴とするものである。
請求項９の発明は、請求項８に記載の撮像装置において、画像処理手段は、第１データに対して第１ホワイトバランス処理を行い、第２データに対して第２ホワイトバランス処理を行うことを特徴とするものである。
請求項１０の発明は、請求項８に記載の撮像装置において、画像処理手段は、第１データに対して第１輪郭強調処理を行い、第２データに対して第２輪郭強調処理を行うことを特徴とするものである。
請求項１１の発明は、請求項８に記載の撮像装置において、画像処理手段は、第１データに対して第１色再現処理を行い、第２データに対して第２色再現処理を行うことを特徴とするものである。
請求項１２の発明は、請求項１に記載の撮像装置において、被写体特定手段により特定された画素に対応する撮像データに基づいて、撮像データに対して行う画像処理を決定し、撮像データに対して画像処理を行う画像処理手段を更に備えることを特徴とするものである。
請求項１３の発明は、請求項１２に記載の撮像装置において、画像処理はホワイトバランス処理であることを特徴とするものである。
請求項１４の発明は、請求項１２に記載の撮像装置において、画像処理は輪郭強調処理であることを特徴とするものである。
請求項１５の発明は、請求項１２に記載の撮像装置において、画像処理は色再現処理であることを特徴とするものである。
請求項１６の発明は、撮像装置に適用され、被写体を含む被写界を複数の画素単位で撮像して撮像データを出力する撮像手段と、検出したい被写体の温度を設定被写体温度として設定する被写体温度設定手段と、被写界を赤外光成分に分解した上で複数の画素単位で撮像し、複数の画素の各画素単位の赤外成分レベル情報により構成される赤外光データを出力する赤外光撮像手段と、被写体までの距離を被写体距離情報として検出する被写体距離検出手段と、被写体距離情報に基づいて、赤外光データの複数の画素の赤外成分レベルを補正赤外成分レベルに補正することにより、赤外光データを補正赤外光データに変換する赤外光データ補正手段と、補正赤外光データと設定被写体温度とに基づいて、撮像データの複数の画素のうち検出したい被写体に対応する画素を特定することにより被写体を特定する被写体特定手段とを備えることを特徴とするものである。
請求項１７の発明は、請求項１６に記載の撮像装置において、被写体特定手段は、設定被写体温度に基づいて被写体に対応する被写体赤外成分レベル範囲を設定し、補正赤外光データの中から被写体赤外成分レベル範囲に該当する補正赤外成分レベルに対応する画素を第１被写体画素として特定し、撮像データの複数の画素から第１被写体画素に対応する画素を特定することを特徴とするものである。
請求項１８の発明は、請求項１６に記載の撮像装置において、撮像装置周辺の周辺温度を検出する周辺温度検出手段を更に備え、被写体特定手段は、補正赤外光データと設定被写体温度と周辺温度とに基づいて、撮像データの複数の画素のうち検出したい被写体に対応する画素を特定することにより被写体を特定することを特徴とするものである。
請求項１９の発明は、請求項１８に記載の撮像装置において、被写体特定手段は、設定被写体温度と周辺温度とに基づいて被写体に対応する被写体赤外成分レベル範囲を設定し、補正赤外光データの中から被写体赤外成分レベル範囲に該当する補正赤外成分レベルに対応する画素を第１被写体画素として特定し、撮像データの複数の画素から第１被写体画素に対応する画素を特定することを特徴とするものである。
請求項２０の発明は、請求項１９に記載の撮像装置において、被写体特定手段は、設定被写体温度と周辺温度との差の絶対値が所定値より大きい場合は、第１温度以上第２温度以下に対応する赤外成分レベルである第１範囲を被写体赤外成分レベル範囲として設定し、設定被写体温度と周辺温度との差の絶対値が所定値以下の場合は、第３温度以上第４温度以下に対応する赤外成分レベルである第２範囲を被写体赤外成分レベル範囲として設定し、第２範囲を設定する際に、第３温度が第１温度より高い値となるような設定と、第４温度が第２温度より低い値となるような設定との少なくとも一方の設定をすることを特徴とするものである。
請求項２１の発明は、請求項２０に記載の撮像装置において、被写体特定手段は、設定被写体温度と周辺温度との差の絶対値が所定値より大きい場合は、第１範囲を第１温度以上第２温度以下に対応する赤外成分レベルである第１レベル以上第２レベル以下の範囲に設定し、設定被写体温度と周辺温度との差の絶対値が所定値以下の場合は、第１レベルから第１レベルより小さい第３レベルへの変換と第２レベルから第２レベルより大きい第４レベルへの変換を含む赤外成分レベルのレベル変換をした後に、第２範囲を、第３温度以上第４温度以下に対応する第5レベル以上第６レベル以下の範囲に設定し、第２範囲を設定する際に、第５レベルを第３レベルより大きい値とする設定と第６レベルを第４レベルより小さい値とする設定との少なくとも一方の設定を行うことを特徴とするものである。
請求項２２の発明は、請求項２０に記載の撮像装置において、被写体特定手段は、設定被写体温度と周辺温度との差の絶対値が所定値より大きい場合は、第１範囲を第１温度以上第２温度以下に対応する赤外成分レベルである第１レベル以上第２レベル以下の範囲に設定し、設定被写体温度と周辺温度との差の絶対値が所定値以下の場合は、第２範囲を第３温度以上第４温度以下に対応する第３レベル以上第４レベル以下の範囲に設定し、第２範囲を設定する際に、第３レベルを第１レベルより大きい値とする設定と、第４レベルを第２レベルより小さい値とする設定との少なくとも一方の設定を行うことを特徴とするものである。
請求項２３の発明は、請求項１８から２２のいずれかに記載の撮像装置において、周辺温度が被写体の周辺温度である被写体周辺温度に相当するか否かを判定する被写体周辺温度判定手段をさらに備え、被写体周辺温度判定手段が、周辺温度が被写体周辺温度に相当しないと判定する場合は、被写体特定手段は、被写体を特定する際に周辺温度を考慮しないことを特徴とするものである。
請求項２４の発明は、請求項１６に記載の撮像装置において、赤外光データ補正手段は、赤外光データの複数の画素の赤外成分レベルを被写体距離情報の増加につれて２乗に比例して増加させるように補正することを特徴とするものである。
請求項２５の発明は、請求項１６に記載の撮像装置において、赤外光撮像手段は、被写体までの距離が所定距離である場合において適切な被写体温度に対応する赤外成分レベルを出力するものであって、赤外光データ補正手段は、被写体までの距離と所定距離との差分を２乗した値である補正値を、赤外光データの赤外成分レベルに乗算することを特徴とするものである。
請求項２６の発明は、請求項１６に記載の撮像装置において、少なくとも２つのマイクを有し、被写界のどの方向から音が発せられているかを検出して方向情報を出力する音検出手段を更に備え、被写体特定手段は、方向情報を考慮して検出したい被写体を特定することを特徴とするものである。
請求項２７の発明は、請求項２６に記載の撮像装置において、音検出手段の機能の有効または無効のいずれか一方を指定する指定手段を更に備えることを特徴とするものである。
請求項２８の発明は、請求項１６に記載の撮像装置において、撮像データのうち被写体特定手段により被写体として特定された第１データに対して第１画像処理を行い、被写体特定手段により被写体として特定されなかった第２データに対して第１画像処理と異なる第２画像処理を行う画像処理手段を更に備えることを特徴とするものである。
請求項２９の発明は、請求項２８に記載の撮像装置において、画像処理手段は、第１データに対して第１ホワイトバランス処理を行い、第２データに対して第２ホワイトバランス処理を行うことを特徴とするものである。
請求項３０の発明は、請求項２８に記載の撮像装置において、画像処理手段は、第１データに対して第１輪郭強調処理を行い、第２データに対して第２輪郭強調処理を行うことを特徴とするものである。
請求項３１の発明は、請求項２８に記載の撮像装置において、画像処理手段は、第１データに対して第１色再現処理を行い、第２データに対して第２色再現処理を行うことを特徴とするものである。
請求項３２の発明は、請求項１６に記載の撮像装置において、被写体特定手段により特定された画素に対応する撮像データに基づいて、撮像データに対して行う画像処理を決定し、撮像データに対して画像処理を行う画像処理手段を更に備えることを特徴とするものである。
請求項３３の発明は、請求項３２に記載の撮像装置において、画像処理はホワイトバランス処理であることを特徴とするものである。
請求項３４の発明は、請求項３２に記載の撮像装置において、画像処理は輪郭強調処理であることを特徴とするものである。
請求項３５の発明は、請求項３２に記載の撮像装置において、画像処理は色再現処理であることを特徴とするものである。

本発明は、以上説明したように構成しているので、赤外線を利用して精度高く被写体を特定することができる。

図１は、本発明の撮像装置の一実施の形態であるデジタルカメラ（電子カメラ）１の構成を示す図である。デジタルカメラ１は、レンズ２、ミラー３、ペンタプリズム４、赤外センサ５、撮像素子６、温度センサ７、マイク８、ＷＢ（ホワイトバランス）センサ９、信号処理装置１０、スイッチ１１などから構成される。

デジタルカメラ１は、デジタル一眼レフカメラである。撮影者は、レンズ２、ミラー３、ペンタプリズム４、ファインダ（不図示）を通して被写体を観察する。撮影者がシャッターレリーズボタン（不図示）をオンすると、ミラー３がアップし、ＣＣＤ撮像素子もしくはＣＭＯＳ撮像素子のような撮像素子６により被写体を撮像（撮影）する。撮像素子６により撮像され生成された撮像データは、信号処理装置１０に入力される。

信号処理装置１０には、赤外センサ５、温度センサ７、ＷＢセンサ９などの各種のセンサ信号が入力され、これらのセンサ信号を使用して、撮像素子６から入力される撮像データについて各種の処理を行う。また、信号処理装置１０には、マイク８からの音声信号、レンズ２からの被写体までの距離情報、スイッチ１１からの信号も入力される。信号処理装置１０は、不図示のマイクロプロセッサおよびメモリを含む周辺回路から構成され、メモリに格納されたプログラムを実行することにより、各種の処理を行う。

このように構成された本実施の形態のデジタルカメラ１は、被写界（撮像範囲）に含まれる被写体を撮像し、撮像した被写界の範囲からある被写体を特定し、特定した被写体に適した各種の画像処理を行う。被写界には、１個あるいは２個以上複数の被写体が含まれる。以下、撮像した被写界の範囲からある被写体を特定する方法について、詳細に説明する。

図２は、上述した各種センサおよび信号処理装置１０の機能ブロックを示す図である。撮像素子６は、例えば３０００×２０００画素のＣＣＤ撮像素子から構成されている。撮像素子６は、レンズ２を通して被写体を含む被写界を撮像し、３０００×２０００画素の複数の画素の撮像データとして信号処理アルゴリズム部２１に出力する。

赤外センサ５は、撮像素子６よりも少ない例えば６４０×４３０の画素として赤外光センサが配列されている。赤外センサ５は、ミラー３およびペンタプリズム４を介して、撮像素子６と同じ被写界を撮像する。撮像素子６と赤外センサ５の撮像画面のアスペクト比はほぼ同一である。赤外センサ５で撮像された各画素の赤外光アナログ信号は、Ａ／Ｄ変換部２２に順次出力される。

Ａ／Ｄ変換部２２は、赤外センサ５からの各画素の赤外光アナログ信号を順次Ａ／Ｄ変換し、０℃をゼロとし１００℃をフルスケールとした１画素あたり１バイト（８ビット）のデータを赤外光データ生成部３５に順次出力する。赤外光データ生成部３５は、Ａ／Ｄ変換部２２からの出力データを微調整（微調整については後述）し、６４０×４３０画素の赤外光データＴ１を生成する。すなわち、赤外センサ５は、被写界を赤外光成分に分解した上で複数の画素で撮像し、Ａ／Ｄ変換部２２および赤外光データ生成部３５を介して、複数の画素の各画素単位の赤外成分レベル情報により構成される赤外光データを出力する。これにより、撮像素子６が撮像する被写界の温度データを得る。

赤外光データ生成部３５から出力される赤外光データＴ１は、補正部２３においてレンズ２からの距離情報ｄ（ｍ）に基づき補正される。補正された赤外光データＴ１’は、レベル変換部２４に入力される。レンズ２は、レンズの回転角に応じた距離情報ｄを補正部２３に出力する。デジタルカメラ１では、合焦動作のためレンズ２が随時回転駆動される。主要被写体に合焦すると、レンズの回転角に応じた主要被写体までの距離情報ｄがレンズ２から出力される。

赤外センサ５は、対象物から発する赤外線を検出して対象物の温度を測定するために使用されるセンサである。対象物が同じであっても、赤外センサ５の各画素あたりの出力値は対象物までの距離によって変化する。図３は、赤外センサ５の出力レベルと距離ｄ（ｍ）と検出温度との関係を示す図である。図３は、赤外センサ５の出力値が、距離の２乗に比例して低下すること、すなわち距離の２乗に反比例することが示されている。

例えば、２５℃の対象物が１ｍの距離では、赤外センサ５は出力値Ｔａを検出するが、２５℃の対象物が５ｍの距離では、赤外センサ５は距離の２乗に比例して低下した出力値Ｔｂを検出する。逆に言えば、赤外センサ５の出力値がＴａの場合、対象物までの距離が１ｍであれば対象物の温度は２５℃であるが、対象物までの距離が５ｍであれば対象物の温度は３０℃である。

このように、赤外センサ５の出力値が対象物までの距離によって変化するという特性があるため、赤外光データ生成部３５は、所定の距離（本実施の形態では１ｍ）を基準にした赤外センサの出力値（赤外光データの値）と温度との関係データ（テーブル）を保有し、この関係データを使用してＡ／Ｄ変換部２２から出力されるデータを微調整する。この関係データは、例えば、予め実験等により、所定の距離に温度が測定できる熱源をおき、その熱源の温度を随時変化させて赤外センサ５と同等の赤外センサで赤外光を検出して赤外センサの出力値を取得する。このようにして得られた所定距離にある対象物の赤外センサ出力値（赤外光データ値）対温度の特性データを赤外光データ生成部３５が保有する。具体的には、信号処理装置１０のメモリに格納されている。赤外光データ生成部３５の補正処理によりＡ／Ｄ変換部２２から出力される１バイトのデータはビット飛びを生じることになるが、赤外光データ生成部３５は基準距離における温度のデータに対応する赤外光データＴ１を出力する。

補正部２３は、赤外センサ５の出力である赤外光データＴ１を被写体までの距離ｄによって補正する。具体的には、赤外光データＴ１の各画素の値に、補正係数ｂ（ｄ−１）^２をかけて補正し、補正された赤外光データＴ１’を出力する。すなわち、被写体までの距離と所定距離１ｍとの差分を２乗した値をかけて補正している。係数ｂは、実験あるいは理論値により決められる係数である。距離ｄは、レンズ２から出力される距離情報により求められる合焦した被写体までの距離（ｍ）である。補正係数中の１は上記の所定の距離であり、本実施の形態では１ｍである。

温度センサ７は、デジタルカメラ１のボディに設けられ、デジタルカメラ１周辺の温度を検出する。温度センサ７で検出されたアナログ温度信号は、Ａ／Ｄ変換部２５でＡ／Ｄ変換され、スイッチ部２６を経由してレベル変換部２４に入力される。スイッチ部２６は、通常オンしている機能を有する。また、スイッチ部２６は、所定の条件によりオフする機能を有する。すなわち、スイッチ部２６は、通常、レベル変換部２４に温度センサ７により検出された周辺温度を考慮してレベル変換処理をさせる機能を有し、所定の条件のときはレベル変換部２４に周辺温度を考慮したレベル変換処理を行なわせない機能を有する。この所定の条件については後述する。

スイッチ１１は、撮影者が検出したい被写体の温度Ｔｃ（℃）を設定するために操作するスイッチである。撮影者は、デジタルカメラ１のモニタ（不図示）に表示されるメニュー画面を見ながら、スイッチ１１を操作して検出したい被写体の温度Ｔｃを設定する。例えば、人物を検出したい場合は、Ｔｃ＝３６．５℃を設定する。検出温度範囲設定部２７は、スイッチ１１を使用して設定された検出温度Ｔｃを中心として所定の温度範囲を設定する。例えば、人物のＴｃ＝３６．５℃が設定された場合は、検出温度範囲設定部２７は温度範囲を３６．５±２℃すなわち３４．５〜３８．５℃を温度範囲として設定する。

２値化処理部２８では、設定された検出温度Ｔｃに基づき赤外光データに対して２値化処理を行う。まず、２値化処理部２８の処理を説明するために、レベル変換部２４でレベル変換処理を行わない前提で２値化処理を考えてみる。この場合、補正後の赤外光データＴ１’が２値化処理部２８に入力される。２値化処理部２８は、赤外光データＴ１’の各画素の値が、設定された検出温度範囲内であれば１とし、検出温度範囲外であれば０とする。例えば、人物のＴｃ＝３６．５℃が設定された場合は、温度が３４．５〜３８．５℃に対応する赤外光データの赤外成分レベルの範囲に該当する画素のみが１として設定される。このようにして、温度が３４．５〜３８．５℃の範囲の人物のみが抽出された６４０×４３０画素の２値化データが生成される。

次に、レベル変換部２４で行うレベル変換処理について説明する。人物を検出するような場合、通常、人物である被写体の温度と人物周辺の温度との温度差がある程度あるため、人物を抽出しやすい。しかし、人物周辺温度が高温になり、人物の温度３６．５℃に近づくような値になってくると、人物である被写体が検出されにくい状況になってくる。すなわち、人物周辺温度が高温になり人物の温度に近づいてくると、人物に接する空気の温度も人物に近い温度となり、人物として検出される幅が大きくなってしまうという問題が生じる。

そこで、本実施の形態では、検出したい被写体の温度Ｔｃと被写体周辺温度との差に応じて、赤外センサ５で検出された値のレベルを変換するようにしている。被写体周辺温度は、温度センサ７で検出されるデジタルカメラ１の周辺温度で代用する。すなわち、検出したいとして設定された被写体の検出温度Ｔｃと周辺温度との差の絶対値が小さくなれば、赤外光データと設定された被写体の検出温度Ｔｃとの差を強調するようなレベル変換をして、検出したい被写体を検出しやすくしている。

レベル変換部２４でのレベル変換は、次の式により行う。
Ｔ３＝ａ・Ｔ１’＋Ｔｃｄ（１−ａ）．．．（１）
ただし、
｜Ｔｃｄ−Ｔ２’｜≦２のときａ＝５．．．（２）
２＜｜Ｔｃｄ−Ｔ２’｜≦５のときａ＝２．．．（３）
５＜｜Ｔｃｄ−Ｔ２’｜のときａ＝１．．．（４）
Ｔ３はレベル変換部２４でレベル変換された赤外光データ（赤外成分レベル情報）である。Ｔ１’はレベル変換部２４へ入力される赤外光データ（赤外成分レベル情報）である。Ｔｃｄは検出したい被写体の検出温度Ｔｃをデジタル化した値である。Ｔ２’は温度センサ７により検出されたデジタルカメラ１の周辺温度である。係数ａは、検出温度Ｔｃと周辺温度との差が変化しても、後述する２値化処理で被写体として特定される範囲が一定となるような値を、実験等により求めて決定する。

図４は、式（１）を使用したレベル変換の具体例を示す図である。例えば、人物のＴｃ＝３６．５℃が設定され、検出温度範囲を３６．５±２℃と設定されたとする。赤外光データは８ｂｉｔでデジタル化され、１００℃をフルスケール（２５５ｄｉｇｉｔ）とすると、検出温度範囲設定部２７は、検出温度Ｔｃｄ＝９３、検出温度範囲＝８８〜９８を設定する。

図４は、条件式（４）が成立する場合はグラフ４１によりレベル変換し、条件式（２）が成立する場合はグラフ４２によりレベル変換することを示している。グラフ４１は、設定された検出温度と周辺温度との差の絶対値が大きい場合、具体的には所定の値５より大きい場合であり、傾き１のグラフを示し、実際にはレベル変換されず赤外光データＴ１’の値がそのまま赤外光データＴ３の値となる。

グラフ４２は、設定された検出温度と周辺温度との差の絶対値が小さい場合であり、具体的には所定の値２以下の場合であり、検出温度Ｔｃｄ＝９３を中心に傾き５のグラフを示している。従って、Ｔ１’＝９３はそのままのＴ３＝９３、Ｔ１’＝９０はＴ３＝７８へ、Ｔ１’＝９６はＴ３＝１０８へレベル変換されている。すなわち、設定された検出温度Ｔｃｄ＝９３との差が強調されるようにレベル変換されている。

２値化処理部２８では、このようにレベル変換された赤外光データＴ３に対して、レベル変換前に設定された検出温度範囲＝８８〜９８で２値化処理を行う。すなわち、設定された検出温度と周辺温度との差が小さい場合は、レベル変換部２４で検出温度との差を強調しながら、検出温度範囲を固定として２値化処理をする。その結果、赤外光データのレベルをそのままにして、検出温度範囲を狭めて２値化処理をしているのと等価となる。

グラフ４２によりレベル変換された状態での検出温度範囲＝８８〜９８は、レベル変換前の検出温度範囲＝９２〜９４に相当する。これは、温度に換算すると３６．１〜３６．９℃、すなわち３６．５±０．４℃に相当する。すなわち、レベル変換をすることにより、検出温度範囲３６．５±２℃を３６．５±０．４℃に狭めたのと等価となる。

検出温度範囲の赤外光データの赤外成分レベルは、設定された検出温度と周辺温度との差の絶対値が大きい場合（＞５）では温度３４．５〜３８．５℃に対応する値が設定される。また、検出温度範囲の赤外光データの赤外成分レベルは、設定された検出温度と周辺温度との差の絶対値が小さくなる（≦２）と温度３６．１〜３６．９℃に対応する値が設定される。差が小さい場合の検出温度範囲の下限３６．１℃は差が大きい場合の検出温度範囲の下限３４．５℃より高く、差が小さい場合の検出温度範囲の上限３６．９℃は差が大きい場合の検出温度範囲の上限３８．５℃より低い値が設定されている。

なお、レベル変換後、赤外光データＴ３には存在しない値については、階調補間によりデータを作成する。

図５は、信号処理アルゴリズム部２１の詳細を示す図である。信号処理アルゴリズム部２１は、被写体検出アルゴリズム部３１、ＷＢアルゴリズム部３２、色再現部３３、輪郭強調部３４、ＷＢゲイン部３８、ＷＢゲイン算出部３９などからなる。

被写体検出アルゴリズム部３１は、２値化処理部２８からの２値化データと、撮像素子６からの撮像データに基づき、撮像データから所望の被写体を特定し抽出する。具体的には、２値化データにおいて１と設定されている画素に対応する撮像データの画素のみを抽出する。なお、撮像データの画素３０００×２０００と２値化データの画素６４０×４３０は１対１には対応していない。従って、２値化データの画素６４０×４３０を撮像データの画素３０００×２０００に広げるように対応させ２値化処理を行う。

ＷＢアルゴリズム部３２、ＷＢゲイン算出部３９、ＷＢゲイン部３８は、撮像素子６から出力される撮像データに対してホワイトバランス処理を行う。本実施の形態では、被写体検出アルゴリズム部３１で特定した被写体に適したホワイトバランス処理を行う。すなわち、被写体検出アルゴリズム部３１で特定した被写体の撮像データと特定されなかった（非被写体）撮像データに対して、ホワイトバランスの処理内容を変更する。

例えば、画像全体の通常のホワイトバランス処理で得られたＲＧＢの係数に対し、被写体検出アルゴリズム部３１で特定された画素に対してはそのＲＧＢの係数を変更する。

以下、ホワイトバランス処理について説明する。ＷＢアルゴリズム部３２は、撮像データ全体から、Ｒ＝撮像素子６のＲ画素出力値の合計、Ｂ＝撮像素子６のＢ画素出力値の合計、Ｇ＝撮像素子６のＧ画素出力値の合計／２を求める。Ｇ画素の画素数は、Ｒ画素Ｂ画素の画素数の２倍であるため、２で割り算する。次に、ＷＢアルゴリズム部３２は、Ｒ／ＧおよびＢ／Ｇを求める。

ここで求めたＲ／ＧおよびＢ／Ｇは、後述する色温度比較のためにも利用される。また、ＷＢゲイン部３８は、１枚の画像の画像データを記憶するバッファメモリを含んでおり、後述する色温度比較処理が行われ、２値化処理を経て各画素に対応したＷＢゲインが設定されるまでの間、バッファメモリに画像データが保持されている。

ＷＢゲイン算出部３９は、ＷＢゲインを次のように設定する。被写体として特定されなかった画素用の非被写体用ＷＢゲイン（Ｒデータ）に先に求めたＲ／Ｇを設定し、同様に、被写体として特定されなかった画素用の非被写体用ＷＢゲイン（Ｂデータ）に先に求めたＢ／Ｇを設定する。また、被写体として特定された画素用の被写体用ＷＢゲイン（Ｒデータ）に先に求めたＲ／Ｇに係数ａ１を掛けたものａ１×Ｒ／Ｇを設定し、同様に、被写体として特定された画素用の被写体用ＷＢゲイン（Ｂデータ）に先に求めたＢ／Ｇに係数ａ２を掛けたものａ２×Ｂ／Ｇを設定する。ａ１、ａ２は、被写体に適した係数値が、経験値や実験値から決定される。

ＷＢゲイン部３８は、２値化処理部２８の出力に同期して、ＷＢゲイン部３８のバッファメモリの画像データにＷＢゲイン算出部３９のゲインを掛ける。このようにして、ＷＢゲイン算出部３９は、被写体か非被写体であるかという観点で、適切なＷＢゲインを選び、被写体に適したホワイトバランス処理が行われる。

次に、色再現部３３の処理について説明する。遅延回路３３ａは、色再現部３３が被写体と非被写体とを適切に区別して処理できるように、２値化処理部２８の出力を遅延させて色再現部３３へ出力する。

色再現部３３は、撮像素子６から出力され、ホワイトバランス処理が終了した撮像データに対して色再現処理を行う。本実施の形態では、被写体検出アルゴリズム部３１で特定した被写体に適した色再現処理を行う。すなわち、被写体検出アルゴリズム部３１で特定した被写体の撮像データと特定されなかった撮像データに対して、色再現の処理内容を変更する。

通常は、撮像素子６により撮像された撮像データ全体に対して、撮像した条件や、撮像内容や、撮像データの用途等に応じて異なる色再現処理が行われる。例えば、人物を撮像した撮像データに対しては、人物の肌色の微妙なトーンをきれいに再現する人物に適した色再現処理を行う。風景を撮像した撮像データに対しては、青空や草木の緑をあざやかに再現する風景に適した色再現再現処理を行う。また、スタジオで撮像した撮像データに対しては、広い色域をもつため画像調整のしやすい画像を得るスタジオ撮像に適した色再現処理を行う。これらの色再現処理は、色空間（表色系）を適宜変換しながら行なわれる。

しかし、本実施の形態では、被写体検出アルゴリズム部３１で特定した被写体の撮像データに対して適応的な色再現処理を行う。例えば、戸外で人物を撮像した場合、被写体検出アルゴリズム部３１で特定した人物の撮像データに対しては、人物に適した色再現処理を行い、その他の撮像データに対しては、風景に適した色再現処理を行う。スタジオで人物を撮像した場合は、人物の撮像データに対しては人物に適した色再現処理を行い、人物以外の撮像データに対しては、スタジオ撮像に適した色再現処理を行う。

具体的には、色再現部３３は、撮影モードとしてポートレートモードが設定されたときにおいてのみ、次の処理をする。被写体の画素の画素値（２値化処理部２８の出力が１）に対してポートレート撮影モード用色処理ルックアップテーブルにより色変換する。そして、非被写体の画素の画素値（２値化処理部２８の出力が０）に対して風景撮影モード用色処理ルックアップテーブルにより色変換する。なお、ポートレ一ト撮影モードで撮影されていない場合は、色処理３３は何も処理を行わない。

次に、輪郭強調部３４の処理について説明する。遅延回路３４ａは、輪郭強調部３４が被写体と非被写体とを適切に区別して処理できるように、２値化処理部２８の出力を遅延させて輪郭強調３４へ出力する。

輪郭強調部３４は、撮像素子６から出力され、ホワイトバランス処理が終了し、色再現処理が終了した撮像データに対して必要に応じて輪郭強調処理を行う。本実施の形態では、被写体検出アルゴリズム部３１で特定した被写体に適した輪郭強調処理を行う。すなわち、被写体検出アルゴリズム部３１で特定した被写体の撮像データと特定されなかった撮像データに対して、輪郭強調の処理内容を変更する。

例えば、風景の画像に対して輪郭強調処理を行うと、風景が鮮明になるという効果がある。一方、風景と同じように人物の画像にも輪郭強調処理を行うと、肌の凸凹感が強調されて好ましくない場合がある。そこで、本実施の形態では、被写体検出アルゴリズム部３１で人物を特定し、人物の撮像データには輪郭強調処理を行わず、人物以外の撮像データに対しては輪郭強調処理を行うようにする。あるいは、人物の撮像データには弱い輪郭強調処理を行い、人物以外の撮像データに対してはそれより強い輪郭強調処理を行うようにする。

上記のホワイトバランス処理や色再現処理や輪郭強調処理では、被写体検出アルゴリズム部３１で特定した被写体の撮像データと特定されなかった撮像データに対して、異なる画像処理を行うようにした。しかし、特定した被写体の撮像データと特定されなかった撮像データに対して、必ずしも異なる画像処理にしなくてもよい。すなわち、被写体検出アルゴリズム部３１で特定した被写体の撮像データに応じて、特定した被写体に適切な画像処理内容を決定し、決定した画像処理の内容を撮像データ全体に対して行う場合であってもよい。

例えば、被写体検出アルゴリズム部３１で特定された画素の撮像データを使用してホワイトバランスの係数を求め、このようにして求めた係数を画像全体に適用するようにしてもよい。なお、撮像データ全体とは画像全体のことを言い、被写界全体の撮像データのことである。

次に、スイッチ部２６の動作について説明する。スイッチ部２６は、レベル変換部２４のレベル変換処理に温度センサ７により検出された周辺温度を考慮するか否かを指定するスイッチである。スイッチ部２６は、プログラムによるソフトウェアの機能である。

スイッチ部２６がオンの場合、レベル変換部２４は、前述の条件式（２）〜（４）により選択された係数ａを代入した（１）式を用いてレベル変換を行う。一方スイッチ部２６がオフの場合、レベル変換部２４は、係数ａ＝１を代入した（１）式を用いて演算を行う。この場合、レベル変換部２４の入力値Ｔ１’と出力値Ｔ３とは同じ値となる。即ち、この場合、レベル変換部２４がレベル変換を行っていないのと同じこととなる。次に、どのような場合にスイッチ部２６がオンされて、どのような場合にスイッチ部２６がオフされるかについて説明する。

ここでは、温度センサ７により検出されたデジタルカメラ１の周辺温度は、被写体の周辺温度に相当するものとして使用されている。これは、デジタルカメラ１と被写体は同じ雰囲気にいるものとして、デジタルカメラ１の周辺温度が被写体の周辺温度として代用できると考えられるからである。

しかし、撮像環境によっては、温度センサ７により検出されたデジタルカメラ１の周辺温度が、被写体の周辺温度に相当しない場合がある。そのような場合にも、レベル変換部２４に温度センサ７により検出された周辺温度を考慮してレベル変換処理をさせると、被写体の特定が不正確なものとなる。例えば、屋内から戸外の被写体を撮像するような場合、デジタルカメラ１の周辺温度と被写体周辺温度とは必ずしも一致しない。

そこで、本実施の形態では、ＷＢセンサ９とＷＢアルゴリズム部３２の処理結果を利用して、デジタルカメラ１の周辺温度が被写体の周辺温度に相当するかどうかを判定するようにしている。ＷＢセンサ９は、デジタルカメラ１の上部に露出して設けられ、デジタルカメラ１周辺の照明光の色温度を検出する。一方、ＷＢアルゴリズム部３２は、撮像データのホワイトバランス処理のため、被写体の照明光の色温度を推定する。

ＷＢセンサ９は、Ｒ撮像素子とＧ撮像素子とＢ撮像素子とを備える。各撮像素子の出力は、Ａ／Ｄ変換部３６によってＡ／Ｄ変換される。Ａ／Ｄ変換部３６の出力値はＬＵＴ（ルックアップテーブル）部３７に入力される。

ＬＵＴ部３７は、まず、Ｒ／ＧおよびＢ／Ｇを求める。図７は、色温度対Ｒ／ＧおよびＢ／Ｇを示すグラフである。図７に示すグラフに対応するデータがルックアップテーブルとして信号処理装置１０内のメモリに格納されている。ＬＵＴ部３７は、ルックアップテーブルを参照して、Ｒ／Ｇに対応する色温度である色温度（Ｒ／Ｇ）、および、Ｂ／Ｇに対応する色温度である色温度（Ｂ／Ｇ）を求める。次に、ＬＵＴ部３７は、色温度ＷＢ１＝（色温度（Ｒ／Ｇ）＋色温度（Ｂ／Ｇ））／２を求め、色温度ＷＢ１を色温度比較部２９へ出力する。

ＷＢアルゴリズム部３２は、ホワイトバランス処理のところで説明したように、撮像データ全体から、Ｒ＝撮像素子６のＲ画素出力値の合計、Ｂ＝撮像素子６のＢ画素出力値の合計、Ｇ＝撮像素子６のＧ画素出力値の合計／２を求める。そして、ＷＢアルゴリズム部３２は、Ｒ／ＧおよびＢ／Ｇを求める。これらの値は、ホワイトバランス処理と共通に使用するものである。

次に、ＷＢアルゴリズム部３２は、ＬＵＴ部３７と同様に、ルックアップテーブルに参照して、Ｒ／Ｇに対応する色温度である色温度（Ｒ／Ｇ）、および、Ｂ／Ｇに対応する色温度である色温度（Ｂ／Ｇ）を求める。次に、ＷＢアルゴリズム部３２は、色温度ＷＢアルゴ＝（色温度（Ｒ／Ｇ）＋色温度（Ｂ／Ｇ））／２を求め、色温度ＷＢアルゴを色温度比較部２９へ出力する。

色温度比較部２９は、ＷＢセンサ９から入力されるデジタルカメラ１周辺の照明光の色温度ＷＢ１と、ＷＢアルゴリズム部３２から入力される被写体の照明光の色温度ＷＢアルゴとを比較する。色温度比較部２９は、色温度の差が例えば５００Ｋ以上あると、温度センサ７からの温度は被写体周辺温度に相当しないと判断し、スイッチ部２６をオフさせる。

色温度の差が５００Ｋ以上あると、照明光が異なると判断され、デジタルカメラ１が存在する環境と被写体が存在する環境とが異なると判断できる。従って、温度センサ７からの温度は必ずしも被写体周辺温度に相当しないと判断できる。

次に、マイク８の利用について説明する。本実施の形態のデジタルカメラ１には、撮像時、被写体からの音声等を録音するためにマイク８が設けられている。マイク８は、２つのマイクを有するステレオマイクである。例えば、デジタルカメラ１ボディの左右に２つのマイクが設けられている。

方向判定部３０は、右マイクおよび左マイクからの２つの音信号を入力し、２つのマイクからの音信号の位相差を分析することにより、音を発している被写体の方向を検出することができる。ここでいう方向とは、カメラから見て右方向、左方向であり、言い換えると、撮像した画像内すなわち被写界内の右方向あるいは左方向である。

図６は、音信号の位相差により方向を判定する様子を説明する図である。図６（ａ）は右マイクからの音信号であり、図６（ｂ）は左マイクからの音信号である。両信号とも波形は同じであるが、右マイクの信号の方が早くデジタルカメラ１に到達していることを示している。これにより、方向判定部３０は、音を発生する被写体が右側にあると判定する。位相差の程度によって、どの程度右かあるいは左かも判定できる。

２値化処理部２８は、被写体を特定するとき、方向判定部３０から出力される音を発している被写体の方向情報も使用する。例えば、人物を特定する場合、人間は音を発している可能性が高いため、検出温度範囲内として特定された被写体のうち、音を発している方向の被写体のみを人物として特定する。

具体的には、被写界を左右に２分し、方向が右として判定された場合は、右半分にある特定された被写体のみを最終的に特定する被写体とする。方向が左として判定された場合は、左半分にある特定された被写体のみを最終的に特定する被写体とする。また、右方向あるいはか左方向の程度が強い場合には、被写界を左右に３分、４分あるいはそれ以上に分割してその端の領域にある被写体を特定するようにしてもよい。

なお、方向判定部３０による被写体の方向判定結果を使用するかしないかは、撮影者がスイッチ１１により設定することができる。すなわち、撮影者は、方向判定部３０による方向判定機能をオンオフ（有効／無効）させることができる。これは、撮影者が、デジタルカメラ１のモニタ（不図示）に表示されるメニュー画面を見ながら、スイッチ１１を操作して設定することができる。

以上のように構成されたデジタルカメラ１は、次のような効果を奏する。
（１）被写体の周辺温度を考慮して、所望の被写体を特定するようにしているので、赤外線を利用した被写体の特定を精度よく行うことができる。特に、被写体の周辺温度が被写体の温度に近づき、被写体と周辺温度との境界が判別しにくくなっても、精度よく被写体を特定することができる。
（２）検出したいとして設定された被写体の温度と周辺温度との差が小さい場合、赤外センサで検出された赤外光データのレベルを、設定された被写体の温度との差が広がるようにレベルを変換しているので、精度よく被写体を特定することができる。本実施の形態では、被写体を特定する場合、ある幅を持った検出温度範囲に入るもので被写体を特定している。もし、被写体の温度と周辺温度との差が小さくなってくると、被写体として特定する範囲が広がってしまう。しかし、上記のようにレベルを変換し、検出温度範囲を一定としているので、被写体として検出される範囲が広がったりしない。すなわち、設定された被写体の温度と周辺温度との差が大きかろうと小さかろうと、特定される被写体の範囲（幅）を一定とすることができる。
（３）赤外光データ自体を設定された被写体の温度との差が広がるようにレベル変換しているので、実質検出温度範囲を狭めたのと等価な結果を得ることができる。
（４）温度センサ７により検出されたデジタルカメラ１の周辺温度が被写体の周辺温度に相当しないと判定する場合、周辺温度を考慮したレベル変換処理をしないようにしている。これにより、誤ったレベル変換による不正確な被写体の特定を排除することができる。また、この判定をＷＢセンサ９の出力と、ＷＢアルゴリズム部３２の出力を利用して行っているので、この判定のために特別なセンサを設ける必要がない。すなわち、ホワイトバランス処理のために設けられた仕組みを使用するだけで、上記の判定を行うことができる。
（５）ステレオマイクを利用して、被写体の方向判定を行い、その方向判定結果を利用して被写体を特定しているので、より精度の高い被写体特定を行うことができる。特に、音声を発する人物や、大きなエンジン音のレーシングカーなどの被写体を特定するときに効果を奏する。また、マイクによる方向判定を利用するかしないかは、撮影者が任意に設定することができるので、撮像環境（撮影環境）に応じた適切な被写体の特定を行うことができる。
（６）特定した被写体に対して、専用のホワイトバランス処理を行っているので、被写体に応じた適切なホワイトバランスを行うことができる。また、特定した被写体の撮像データを使用して設定されたホワイトバランス係数を画像全体にかけることも可能である。このような場合であっても、画像全体のホワイトバランスが主要被写体に適したものとなる。
（７）特定した被写体に対して、個別に色再現処理を行うことができるので、適応的な色再現処理が可能である。例えば、人物の被写体と風景の被写体を識別することができるので、人物に適した色再現処理と風景に適した色再現処理を個別に行うことができる。人物と風景画両方撮像されている画像であっても、人物の肌色の微妙なトーンをきれいに再現しながら、同時に青空や草木の緑をあざやかに再現することが可能となる。これにより、人間の目にとって自然な色合いの画像を得ることができる。
（８）特定した被写体に対して、個別に輪郭強調処理を行うことができるので、被写体に適した輪郭強調が可能である。例えば、人物と風景の画両方撮像されている画像であっても、風景を鮮明にしながら、人物の肌は柔らかなトーンとすることも可能となる。
（９）赤外センサ５の出力を被写体までの距離によって補正するので、精度の高い赤外センサ出力を得ることができる。Ａ／Ｄ変換部２２からは、対象物が所定の距離の場合に高精度な赤外光データが出力されるように設定されている。従って、被写体までの距離とこの所定の距離の差分の２乗に比例させる計算をするだけで、容易に精度の高い赤外センサ出力を得ることができる。

（変形例）
上記では、検出したい被写体の温度Ｔｃと被写体周辺温度との差に応じて、赤外センサ５で検出された値のレベルを変換するようにした。しかし、検出したい被写体の温度Ｔｃと被写体周辺温度との差に応じて、検出温度範囲を変更するようにしてもよい。すなわち、検出したい被写体の温度Ｔｃと被写体周辺温度との差が小さくなるにつれて検出温度範囲を小さくするようにしてもよい。例えば、以下のような条件で検出温度範囲を設定してもよい。
｜Ｔｃｄ−Ｔ２’｜≦１℃のとき３６．５±０．１℃
１℃＜｜Ｔｃｄ−Ｔ２’｜≦２℃のとき３６．５±０．３℃
２℃＜｜Ｔｃｄ−Ｔ２’｜のとき３６．５±０．５℃

この場合、赤外光データの１ビットあたりの分解能として、上記の検出温度範囲の違いが設定できる分解能が必要となる。そのためには、Ａ／Ｄ変換部２２における温度に対する分解能が高いことが好ましい。例えば、Ａ／Ｄ変換部２２の分解能を１６ビットにすることにより、８ビットの場合と比べて、分解能が２５６倍となる。

本変形例を実現するには、図２において以下のようにすればよい。まず、レベル変換部２４は不要であるので削除し、温度センサ７の出力Ｔ２’を検出温度範囲設定部２７に入力するようにする。検出温度範囲設定部２７は、スイッチ１１を使用して設定された検出温度Ｔｃｄ（Ｔｃ）と温度センサ７の出力Ｔ２’との差に応じて、設定された検出温度Ｔｃｄを中心とした検出温度範囲を設定し、２値化処理部２８に出力する。２値化処理部２８は、赤外光データＴ１’の各画素の値が、設定された検出温度範囲内であれば１とし、検出温度範囲外であれば０とする。

これにより、検出したい被写体の温度Ｔｃと被写体周辺温度との差に応じて、単に検出温度範囲を変更するだけで、簡単な処理で、上記実施の形態のレベル変換と同様な効果を得ることができる。

上記の実施の形態では、デジタルカメラ１はデジタル一眼レフカメラの例で説明をしたが、必ずしもこの内容に限定する必要はない。コンパクトデジタルカメラのようなデジタルカメラであってもよい。また、カメラつき携帯電話やテレビ電話のカメラなどにも適用できる。さらに、本発明は、ビデオカメラにも適用できる。すなわち、ＣＣＤ撮像素子のような撮像素子で被写体を撮像するあらゆる撮像装置に適用できる。

上記の実施の形態では、被写体を特定した結果を、ホワイトバランス処理や色再現処理や輪郭強調処理などの画像処理に応用する例で説明をしたが、必ずしもこの内容に限定する必要はない。その他の、画像処理であってもよい。被写体を特定した結果を利用できる画像処理であればどのような画像処理であってもよい。

上記の実施の形態では、レンズ２が出力するレンズの回転角に応じた距離情報で被写体までの距離を取得する例を説明をしたが、必ずしもこの内容に限定する必要はない。その他の測距手段を使用するものであってもよい。すなわち、被写体までの距離が把握できる方法であれば、どのような方法でも本発明に使用できる。

上記の実施の形態では、赤外センサ５出力を被写体までの距離に応じて補正し、補正した赤外センサの出力値を被写体を特定する処理に利用する例で説明をしたが、必ずしもこの内容に限定する必要はない。この内容を赤外線温度計に応用してもよい。この場合、赤外線温度計は、測定対象物までの距離を測定する測距センサを有し、測距センサにより測定され距離により赤外センサの出力を補正する。

上記の実施の形態では、人物の検出温度範囲を３６．５±２℃の例で説明をしたが、必ずしもこの内容に限定する必要はない。変形例で示した３６．５±０．５℃のような範囲でもよい。あるいは、他の検出温度範囲であってもよい。ただし、設定する温度範囲およびレベル変換で変換される温度範囲についてデータ処理が可能なビット分解能のデータで処理をするようにする。

上記の実施の形態では、レベル変換をする場合としない場合とで、検出温度範囲の赤外光データの値は同じ値を使用し、結果として検出温度範囲が異なるようになる例を説明した。しかし、必ずしも、レベル変換をする場合としない場合とで、検出温度範囲の赤外光データの値を同じとする必要はない。レベル変換をした場合に、レベル変換をしない場合に比べて結果として検出温度範囲が狭まるような検出温度範囲に対応する赤外光データの値を使用すればよい。

また、レベル変換を小さくする場合と大きくする場合との間においても同様である。上記の実施の形態では、設定された検出温度と周辺温度との差の絶対値がそれほど小さくない場合には（前述条件式（３）の場合）、中規模のレベル変換をし（ａ＝２）、設定された検出温度と周辺温度との差の絶対値がこれより大きい場合には（前述条件式（４）の場合）、上記より規模の大きなレベル変換をする（ａ＝５）。この場合、検出温度範囲の赤外光データの値に同じ値を使用するので、結果として検出温度範囲が異なるようになる。しかしこの場合にも、中規模のレベル変換をする場合と大規模のレベル変換をする場合とで、検出温度範囲の赤外光データの値を同じとする必要はない。大規模のレベル変換をした場合に、中規模のレベル変換をした場合に比べて結果として検出温度範囲が狭まるような検出温度範囲に対応する赤外光データの値を使用すればよい。

上記の実施形態では、所定の距離（１ｍ）を基準にした赤外センサ５の出力値と温度との特性データをメモリに記憶しておき、この特性データに基づいて赤外光データ生成部３５が赤外光データを生成することとしたがこの構成に限られない。例えば以下のような構成としてもよい。この例は、特性データを記憶するメモリを搭載することなく、赤外光データ生成部３５を設けることなく、Ａ／Ｄ変換部２２の出力値をデジタルカメラ１の工場出荷前の調整により調整することにより、Ａ／Ｄ変換部２２の出力値を所望の値とする。

具体的には、工場出荷前の調整において、１ｍの距離にある被写体が摂氏０度であるときＡ／Ｄ変換部２２の出力が０となるようにＡ／Ｄ変換部２２を調整する。次に、１ｍの距離にある被写体が摂氏１００度であるときにＡ／Ｄ変換部２２の出力が２２５となるようにＡ／Ｄ変換部２２を調整する。よって、摂氏０度から１００度の範囲にある１ｍの距離の被写体に対して、Ａ／Ｄ変換部２２はその出力レンジが０から２５５になるように調整される。更に１ｍの距離にある被写体が摂氏２５度であるときに、Ａ／Ｄ変換部２２の出力が６４となるように調整する。このような構成とすれば、特性データを記憶するメモリが不要となるので、部品点数を減らし、コストを削減することができる。また、赤外光データ生成部３５による処理が不要となり、プログラムが簡単となる。さらに、Ａ／Ｄ変換部２２のフルスケールを調整するので、ビット飛びがなく高精度である。

上記の実施の形態では、信号処理装置１０内で行う各種の処理は、マイクロプロセッサがプログラムを実行することにより行う例を説明をしたが、必ずしもこの内容に限定する必要はない。各種の処理をワイヤードロジックで構成するようにしてもよい。その場合は、各種の回路はゲートアレイなどのＡＳＩＣで構成するのが好ましい。また、マイクロプログラミングやその他の実現方法であってもよい。すなわち、前述した機能を実現できる方法であればどのような方法でもよい。

上記の実施の形態では、ＷＢアルゴリズム部３２によって求められたＲ／ＧとＢ／Ｇとに基づいて、ＷＢゲイン算出部３９が被写体用ＷＢゲインと非被写体用ＷＢゲインとを求めることにしたが、次のようにしてもよい。ＷＢセンサ９から入力されるデジタルカメラ１周辺の照明光の色温度ＷＢ１とＷＢアルゴリズム部３２から入力される被写体の照明光の色温度ＷＢアルゴとの色温度が５００Ｋ未満であると、色温度比較部２９が判断した場合は、ＷＢセンサ９の出力に基づいてＷＢゲインを求めることにしてもよい。即ち、ＬＵＴ部３７によって求められたＲ／ＧとＢ／Ｇとに基づいて、ＷＢゲイン算出部３９が被写体用ＷＢゲインと非被写体用ＷＢゲインとを求めることにしてもよい。この場合は、ＬＵＴ部３７によって求められたＲ／ＧとＢ／ＧがＷＢゲイン算出部３９に出力される（不図示）。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

本発明の撮像装置の一実施の形態であるデジタルカメラ１の構成を示す図である。各種センサおよび信号処理装置１０の機能ブロックを示す図である。赤外センサ５の出力レベルと距離ｄ（ｍ）と検出温度との関係を示す図である。レベル変換の具体例を示す図である。信号処理アルゴリズム部２１の詳細を示す図である。音信号の位相差により方向を判定する様子を説明する図である。色温度対Ｒ／ＧおよびＢ／Ｇを示すグラフである。

符号の説明

１デジタルカメラ
２レンズ
３ミラー
４ペンタプリズム
５赤外センサ
６撮像素子
７温度センサ
８マイク
９ＷＢセンサ
１０信号処理装置
１１スイッチ
２１信号処理アルゴリズム部
２２、２５、３６Ａ／Ｄ変換部
２３補正部
２４レベル変換部
２６スイッチ部
２７検出温度範囲設定部
２８２値化処理部
２９色温度比較部
３０方向判定部
３１被写体検出アルゴリズム部
３２ＷＢアルゴリズム部
３３色再現部
３３ａ、３３ｂ遅延回路
３４輪郭強調部
３５赤外光データ生成部
３７ＬＵＴ部
３８ＷＢゲイン部
３９ＷＢゲイン算出部

Claims

撮像装置であって、
被写体を含む被写界を複数の画素単位で撮像して撮像データを出力する撮像手段と、
検出したい被写体の温度を設定被写体温度として設定する被写体温度設定手段と、
前記被写界を赤外光成分に分解した上で複数の画素単位で撮像し、前記複数の画素の各画素単位の赤外成分レベル情報により構成される赤外光データを出力する赤外光撮像手段と、
撮像装置周辺の周辺温度を検出する周辺温度検出手段と、
前記赤外光データと前記設定被写体温度と前記周辺温度とに基づいて、前記撮像データの複数の画素のうち前記検出したい被写体に対応する画素を特定することにより前記被写体を特定する被写体特定手段とを備えることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記被写体特定手段は、前記設定被写体温度と前記周辺温度とに基づいて前記被写体に対応する被写体赤外成分レベル範囲を設定し、前記赤外光データの中から前記被写体赤外成分レベル範囲に該当する前記赤外成分レベルに対応する画素を第１被写体画素として特定し、前記撮像データの複数の画素から前記第１被写体画素に対応する画素を特定することを特徴とする撮像装置。
請求項２に記載の撮像装置において、
前記被写体特定手段は、
前記設定被写体温度と前記周辺温度との差の絶対値が所定値より大きい場合は、第１温度以上第２温度以下に対応する赤外成分レベルである第１範囲を前記被写体赤外成分レベル範囲として設定し、前記設定被写体温度と前記周辺温度との差の絶対値が所定値以下の場合は、第３温度以上第４温度以下に対応する赤外成分レベルである第２範囲を前記被写体赤外成分レベル範囲として設定し、
前記第２範囲を設定する際に、前記第３温度が前記第１温度より高い値となるような設定と、前記第４温度が前記第２温度より低い値となるような設定との少なくとも一方の設定をすることを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記被写体特定手段は、
前記設定被写体温度と前記周辺温度との差の絶対値が所定値より大きい場合は、前記第１範囲を前記第１温度以上前記第２温度以下に対応する赤外成分レベルである第１レベル以上第２レベル以下の範囲に設定し、
前記設定被写体温度と前記周辺温度との差の絶対値が所定値以下の場合は、前記第１レベルから前記第１レベルより小さい第３レベルへの変換と前記第２レベルから前記第２レベルより大きい第４レベルへの変換を含む前記赤外成分レベルのレベル変換をした後に、前記第２範囲を、前記第３温度以上前記第４温度以下に対応する第５レベル以上第６レベル以下の範囲に設定し、
前記第２範囲を設定する際に、前記第５レベルを前記第３レベルより大きい値とする設定と前記第６レベルを前記第４レベルより小さい値とする設定との少なくとも一方の設定を行うことを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記被写体特定手段は、
前記設定被写体温度と前記周辺温度との差の絶対値が所定値より大きい場合は、前記第１範囲を前記第１温度以上前記第２温度以下に対応する赤外成分レベルである第１レベル以上第２レベル以下の範囲に設定し、
前記設定被写体温度と前記周辺温度との差の絶対値が所定値以下の場合は、前記第２範囲を第３温度以上第４温度以下に対応する赤外成分レベルである第３レベル以上第４レベル以下の範囲に設定し、
前記第２範囲を設定する際に、前記第３レベルを前記第１レベルより大きい値とする設定と、前記第４レベルを前記第２レベルより小さい値とする設定との少なくとも一方の設定を行うことを特徴とする撮像装置。
請求項１に記載の撮像装置において、
少なくとも２つのマイクを有し、前記被写界のどの方向から音が発せられているかを検出して方向情報を出力する音検出手段を更に備え、
前記被写体特定手段は、前記方向情報を考慮して前記検出したい被写体を特定することを特徴とする撮像装置。
請求項６に記載の撮像装置において、
前記音検出手段の機能の有効または無効のいずれか一方を指定する指定手段を更に備えることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記撮像データのうち前記被写体特定手段により前記被写体として特定された第１データに対して第１画像処理を行い、前記被写体特定手段により前記被写体として特定されなかった第２データに対して前記第１画像処理と異なる第２画像処理を行う画像処理手段を更に備えることを特徴とする撮像装置。
請求項８に記載の撮像装置において、
前記画像処理手段は、前記第１データに対して第１ホワイトバランス処理を行い、前記第２データに対して第２ホワイトバランス処理を行うことを特徴とする撮像装置。
請求項８に記載の撮像装置において、
前記画像処理手段は、前記第１データに対して第１輪郭強調処理を行い、前記第２データに対して第２輪郭強調処理を行うことを特徴とする撮像装置。
請求項８に記載の撮像装置において、
前記画像処理手段は、前記第１データに対して第１色再現処理を行い、前記第２データに対して第２色再現処理を行うことを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記被写体特定手段により特定された画素に対応する前記撮像データに基づいて、前記撮像データに対して行う画像処理を決定し、前記撮像データに対して前記画像処理を行う画像処理手段を更に備えることを特徴とする撮像装置。
請求項１２に記載の撮像装置において、
前記画像処理はホワイトバランス処理であることを特徴とする撮像装置。
請求項１２に記載の撮像装置において、
前記画像処理は輪郭強調処理であることを特徴とする撮像装置。
請求項１２に記載の撮像装置において、
前記画像処理は色再現処理であることを特徴とする撮像装置。
撮像装置であって、
被写体を含む被写界を複数の画素単位で撮像して撮像データを出力する撮像手段と、
検出したい被写体の温度を設定被写体温度として設定する被写体温度設定手段と、
前記被写界を赤外光成分に分解した上で複数の画素単位で撮像し、前記複数の画素の各画素単位の赤外成分レベル情報により構成される赤外光データを出力する赤外光撮像手段と、
前記被写体までの距離を被写体距離情報として検出する被写体距離検出手段と、
前記被写体距離情報に基づいて、前記赤外光データの前記複数の画素の赤外成分レベルを補正赤外成分レベルに補正することにより、前記赤外光データを補正赤外光データに変換する赤外光データ補正手段と、
前記補正赤外光データと前記設定被写体温度とに基づいて、前記撮像データの複数の画素のうち前記検出したい被写体に対応する画素を特定することにより前記被写体を特定する被写体特定手段とを備えることを特徴とする撮像装置。
請求項１６に記載の撮像装置において、
前記被写体特定手段は、前記設定被写体温度に基づいて前記被写体に対応する被写体赤外成分レベル範囲を設定し、前記補正赤外光データの中から前記被写体赤外成分レベル範囲に該当する前記補正赤外成分レベルに対応する画素を第１被写体画素として特定し、前記撮像データの複数の画素から前記第１被写体画素に対応する画素を特定することを特徴とする撮像装置。
請求項１６に記載の撮像装置において、
前記撮像装置周辺の周辺温度を検出する周辺温度検出手段を更に備え、
前記被写体特定手段は、前記補正赤外光データと前記設定被写体温度と前記周辺温度とに基づいて、前記撮像データの複数の画素のうち前記検出したい被写体に対応する画素を特定することにより被写体を特定することを特徴とする撮像装置。
請求項１８に記載の撮像装置において、
前記被写体特定手段は、前記設定被写体温度と前記周辺温度とに基づいて前記被写体に対応する被写体赤外成分レベル範囲を設定し、前記補正赤外光データの中から前記被写体赤外成分レベル範囲に該当する前記補正赤外成分レベルに対応する画素を第１被写体画素として特定し、前記撮像データの複数の画素から前記第１被写体画素に対応する画素を特定することを特徴とする撮像装置。
請求項１９に記載の撮像装置において、
前記被写体特定手段は、
前記設定被写体温度と前記周辺温度との差の絶対値が所定値より大きい場合は、第１温度以上第２温度以下に対応する赤外成分レベルである第１範囲を前記被写体赤外成分レベル範囲として設定し、前記設定被写体温度と前記周辺温度との差の絶対値が所定値以下の場合は、第３温度以上第４温度以下に対応する赤外成分レベルである第２範囲を前記被写体赤外成分レベル範囲として設定し、
前記第２範囲を設定する際に、前記第３温度が前記第１温度より高い値となるような設定と、前記第４温度が前記第２温度より低い値となるような設定との少なくとも一方の設定をすることを特徴とする撮像装置。
請求項２０に記載の撮像装置において、
前記被写体特定手段は、
前記設定被写体温度と前記周辺温度との差の絶対値が所定値より大きい場合は、前記第１範囲を前記第１温度以上前記第２温度以下に対応する赤外成分レベルである第１レベル以上第２レベル以下の範囲に設定し、
前記設定被写体温度と前記周辺温度との差の絶対値が所定値以下の場合は、前記第１レベルから前記第１レベルより小さい第３レベルへの変換と前記第２レベルから前記第２レベルより大きい第４レベルへの変換を含む前記赤外成分レベルのレベル変換をした後に、前記第２範囲を、前記第３温度以上前記第４温度以下に対応する第5レベル以上第６レベル以下の範囲に設定し、
前記第２範囲を設定する際に、前記第５レベルを前記第３レベルより大きい値とする設定と前記第６レベルを前記第４レベルより小さい値とする設定との少なくとも一方の設定を行うことを特徴とする撮像装置。
請求項２０に記載の撮像装置において、
前記被写体特定手段は、
前記設定被写体温度と前記周辺温度との差の絶対値が所定値より大きい場合は、前記第１範囲を第１温度以上第２温度以下に対応する赤外成分レベルである第１レベル以上第２レベル以下の範囲に設定し、
前記設定被写体温度と前記周辺温度との差の絶対値が所定値以下の場合は、前記第２範囲を第３温度以上第４温度以下に対応する第３レベル以上第４レベル以下の範囲に設定し、
前記第２範囲を設定する際に、前記第３レベルを前記第１レベルより大きい値とする設定と、前記第４レベルを前記第２レベルより小さい値とする設定との少なくとも一方の設定を行うことを特徴とする撮像装置。
請求項１８から２２のいずれかに記載の撮像装置において、
前記周辺温度が前記被写体の周辺温度である被写体周辺温度に相当するか否かを判定する被写体周辺温度判定手段をさらに備え、
前記被写体周辺温度判定手段が、前記周辺温度が前記被写体周辺温度に相当しないと判定する場合は、前記被写体特定手段は、前記被写体を特定する際に前記周辺温度を考慮しないことを特徴とする撮像装置。
請求項１６に記載の撮像装置において、
前記赤外光データ補正手段は、前記赤外光データの前記複数の画素の赤外成分レベルを前記被写体距離情報の増加につれて２乗に比例して増加させるように補正することを特徴とする撮像装置。
請求項１６に記載の撮像装置において、
前記赤外光撮像手段は、被写体までの距離が所定距離である場合において適切な被写体温度に対応する赤外成分レベルを出力するものであって、
前記赤外光データ補正手段は、前記被写体までの距離と前記所定距離との差分を２乗した値である補正値を、前記赤外光データの前記赤外成分レベルに乗算することを特徴とする撮像装置。
請求項１６に記載の撮像装置において、
少なくとも２つのマイクを有し、前記被写界のどの方向から音が発せられているかを検出して方向情報を出力する音検出手段を更に備え、
前記被写体特定手段は、前記方向情報を考慮して前記検出したい被写体を特定することを特徴とする撮像装置。
請求項２６に記載の撮像装置において、
前記音検出手段の機能の有効または無効のいずれか一方を指定する指定手段を更に備えることを特徴とする撮像装置。
請求項１６に記載の撮像装置において、
前記撮像データのうち前記被写体特定手段により前記被写体として特定された第１データに対して第１画像処理を行い、前記被写体特定手段により前記被写体として特定されなかった第２データに対して前記第１画像処理と異なる第２画像処理を行う画像処理手段を更に備えることを特徴とする撮像装置。
請求項２８に記載の撮像装置において、
前記画像処理手段は、前記第１データに対して第１ホワイトバランス処理を行い、前記第２データに対して第２ホワイトバランス処理を行うことを特徴とする撮像装置。
請求項２８に記載の撮像装置において、
前記画像処理手段は、前記第１データに対して第１輪郭強調処理を行い、前記第２データに対して第２輪郭強調処理を行うことを特徴とする撮像装置。
請求項２８に記載の撮像装置において、
前記画像処理手段は、前記第１データに対して第１色再現処理を行い、前記第２データに対して第２色再現処理を行うことを特徴とする撮像装置。
請求項１６に記載の撮像装置において、
前記被写体特定手段により特定された画素に対応する前記撮像データに基づいて、前記撮像データに対して行う画像処理を決定し、前記撮像データに対して前記画像処理を行う画像処理手段を更に備えることを特徴とする撮像装置。
請求項３２に記載の撮像装置において、
前記画像処理はホワイトバランス処理であることを特徴とする撮像装置。
請求項３２に記載の撮像装置において、
前記画像処理は輪郭強調処理であることを特徴とする撮像装置。
請求項３２に記載の撮像装置において、
前記画像処理は色再現処理であることを特徴とする撮像装置。