JP4038817B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関するものであり、詳しくは、被写体を撮影すると同時に、撮影者の目の部分を撮影し、その撮影した瞳孔の動きを観察して、被写体のフォーカス等を行うようにした撮像装置に関する。
【０００２】
【従来の技術】
従来技術における撮像装置、例えば、デジタルスチルカメラやビデオカメラでは、撮影や再生といった機能項目に対してユーザが設定を変更したり、実施したりする際、釦やスイッチといったものが必ず外装に取付けられ、それを入力デバイスとして操作させてきた。
しかし、近年デジタルスチルカメラやビデオカメラは小型化になってきており、その結果、釦やスイッチというものが極力排除される方向に進んでいる。
なくなった釦やスイッチの代用として、現在押圧式の表示装置の利用から、人間の視線や音声を利用して操作を補助する方法が採られてきている。
特に、視線を利用する方法は、釦やスイッチを殆ど使用することなく操作できる。又、音声を使用した撮影においては、被写体を自然な動きで追いながら、操作することができる。
又、現在の視線の入力では、一般的に使用者や電子ビューファインダーを覗き込み、覗き込んだ状態に対して、ＬＥＤを照射し、その反射から瞳孔の位置を検出して位置を特定するものである。
【０００３】
【特許文献１】
特開平０４−９６５８０号公報 （第２頁 第１図）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来技術で説明した電子ビューファインダ−を覗き込んで、ＬＥＤを照射することで瞳孔の位置を検出して位置を特定するという手法では、ユーザは常に電子ビューファインダーを覗き込む行為が必要であり、近年のデジタルスチルカメラやビデオカメラで多い大画面の表示装置の利用ができなかったり、又、装置として電子ビューファインダーを必要とするため、小型化するうえで障害になっているという問題がある。
従って、小型化する撮像装置、例えば、デジタルスチルカメラやビデオカメラにおいて、ユーザが所望する撮像機能の設定を瞳孔の動きで特定する手法に解決しなければならない課題を有する。
【０００５】
【課題を解決するための手段】
上記課題を達成するために、本発明に係る撮像装置は、次に示す構成にすることである。
【０００６】
（１）撮像装置は、被写体を撮像する第１の撮像手段と、前記第１の撮像手段で撮像する画像が表示される表示器と、前記表示器をみている撮影者の目を撮像する第２の撮像手段と、前記第２の撮像手段で撮像した目の情報から撮影者の目の注視点を検出する注視点検出手段と、を備え、前記注視点検出手段で検出された注視点の位置情報は、前記表示器の指定された位置にキャリブレーションキャラクターを表示させ、該キャリブレーションキャラクターをみて算出された注視点を前記表示器の表示領域に位置合わせるキャリブレーションによる情報であると共に、前記表示器で注視された表示領域に対して前記第１の撮像手段で撮像された被写体のフォーカスを追従させることである。
（２）前記撮影者の注視点の位置情報は、前記表示器に表示するようにしたことを特徴とする（１）に記載の撮像装置。
【０００８】
このように、被写体を撮像するときに撮影者の目を撮像して注視点を観察することで、被写体のフォーカス等を撮影者の目の動きによって自動的に調整することができる。
【０００９】
【発明の実施の形態】
次に、本願発明に係る撮像装置の実施形態について図面を参照して説明する。
【００１０】
本願発明に係る撮像装置は、図１に示すように、被写体を取り込む第１のレンズ部１１、第１のシャッタ１２、第１のアイリス１３を介して撮像素子に結像させるための第１のＣＣＤ部１４と、結像された画像を電気信号に変換し、デジタル信号に変換する第１のフロントエンド部１５と、画像信号の信号処理を行うＤＳＰを備えた信号処理部１７と、ＣＰＵを備えた中央制御装置１８と、ＲＡＭ部１９と、ＲＯＭ部２０と、ＯＳＤ表示を制御するディスプレイコントロール部２１と、液晶画面である表示器に相当するＬＣＤ２２と、メモリーカード２３を制御するメモリーインターフェイス部２４と、中央制御装置１８により制御され第１のＣＣＤ部１４で取り込む映像のクロックを生成するタイミングジェネレータ２５と、中央制御装置１８により制御され第１のＣＣＤ部１４で取り込む映像の同期を取る垂直ドライバー２６と、中央制御装置１８により制御され、第１のレンズ部１１と、第１のアイリス１３を制御するレンズ／アイリスドライバー２７と、電源制御部２８と、温度センサー２９と、釦及びスイッチからなる外部操作部３０と、第１のネットワークインターフェイス部３１と、第２のネットワークインターフェイス部３２と、を備え、加えて更に、撮影者の顔面を撮像する第２のレンズ部３３、第２のシャッタ３４、第２のアイリス３５を介して撮像素子に結像させるための第２のＣＣＤ部３６と、第２のＣＣＤ部３６に結像された画像をデジタル信号に変換する第２のフロントエンド部３７と、からなり、第２のフロントエンド部３７で変換された信号は信号処理部１７に送られ、被写体に対する瞳孔の位置を検出して目の注視点を検出する処理が行われる。
【００１１】
このうち、第１のレンズ部１１、第１のシャッタ１２、第１のフォーカス／アイリス１３を介して撮像素子に結像させるための第１のＣＣＤ部１４、第１のフロントエンド部１５が第１の撮像手段１６を形成し、撮影者の顔面を撮像する第２のレンズ部３３、第２のシャッタ３４、第２のアイリス３５を介して撮像素子に結像させるための第２のＣＣＤ部３６と、第２のＣＣＤ部３６に結像された画像をデジタル信号に変換する第２のフロントエンド部３７が第２の撮像手段３８を形成する。
そして、中央制御装置１８、ＲＡＭ部１９、ＲＯＭ部２０、ディスプレイコントロール部２１、メモリーインターフェイス部２４、信号処理部１７、第１のネットワークインターフェイス部３１、第２のネットワークインターフェイス部３２がバスライン３９に接続され、中央制御装置１８により制御される構成になっている。
【００１２】
信号処理部１７は、第１の撮像手段１６で得られた映像信号から輝度を検出すると共に第２の撮像手段３８で撮像した目の情報から撮影者の目の注視点を検出する注視点検出手段を備え、ＳＤＲＡＭコントローラ４０を介してＳＤＲＡＭメモリ４１に輝度の情報及び注視点の情報を蓄積する。
【００１３】
中央制御装置１８は、上記の信号処理部１７で得られた注視点の情報やキャリブレーションされた情報等から第１のフォーカス／アイリス１３を制御してフォーカスを追従させるように制御したり、その他、ＬＣＤ２２に各種操作モードを所定のキャラクターで表示させる操作モード表示手段を備え、信号処理部１７の注視点検出手段で検出された注視点の位置情報に基づいて、何れかのキャラクターを注視していることが検出されたとき、対応した操作モードにするように制御する。
【００１４】
このような構成からなる撮像装置における動作について、以下、説明する。
先ず、実際に撮影者の注視点を検出する手法について、図１０に示すフローチャートを参照して、以下説明する。
先ず、ユーザが外部操作部３０の本スイッチをオンにする（ステップＳＴ１１）。その結果を中央制御装置１８が受理すると、第２のＣＣＤ部３６と第２のフロントエンド部３７に対して電源制御部２８を制御して、電源を供給し、結像を開始する（ステップＳＴ１２）。
【００１５】
被写体を向いた第１のＣＣＤ部１４より第１のフロントエンド部１５でデジタル信号とされた画像情報を信号処理部１７に入力し、輝度を算出する（ステップＳＴ１３）。
【００１６】
それと同時に、撮影者に向いた第２のＣＣＤ部３６は、撮影者の画像、特に顔面の画像を結像し、そのアナログデータを第２のＣＣＤ部３６に直結した第２のフロントエンド部３７で、デジタル信号にし、その情報を信号処理部１７に送る（ステップＳＴ１４）。
信号処理部１７では、第２のフロントエンド部３７より入力されたデジタル信号をＳＤＲＡＭコントローラ４０を介してＳＤＲＡＭメモリ４１に貼付け格納する（ステップＳＴ１５）。
【００１７】
中央制御装置１８では、図２に示すように、ＳＤＲＡＭメモリ４１に格納された顔面の情報から先鋭度と肌色領域検出を行い、顔を特定し、その後、白情報のある領域を検出する（ステップＳＴ１５）。
そして、図３に示すように、検出された白情報の領域からその縦横の範囲を決定し、その範囲の最大最小点から伸ばした直線上で縦横が重なる部分の領域ＺをＳＤＲＡＭメモリ４１上の本画像から抜き出し、別のメモリエリアに格納する（ステップＳＴ１６、ＳＴ１７、ＳＴ１８）。
【００１８】
格納された領域から実際の瞳孔の大きさを検出する方法は、色差からと二値化からがあるが、今回は二値化の方法で説明する。
人間の目の領域は、白、虹彩、瞳孔で濃淡が異なる。中央制御装置１８では、図４に示すように、この濃淡を正確に検知するため、格納された領域に対して、ステップ毎に二値化の閾値を変化させる（ステップＳＴ１９）。
【００１９】
閾値を変化させ、二値化を行った後、先鋭度を検出して、格納された領域内における最小の円周の先鋭度を算出し、その幅、最大の円周の先鋭度の白の部分Ａ１１、Ａ１２、その次の虹彩の部分の円周の幅Ａ２１、Ａ２２、瞳孔の外周の幅Ａ３１、Ａ３２を決定する（ステップＳＴ２０）。
上記の閾値では、Ａ１１〜Ａ３２までの情報が特定できない場合は、再度閾値をインクリメントかデクリメントし、再度、同様の処理を行う（ステップＳＴ２１）。
【００２０】
また、瞳孔の外周の幅Ａ３１、Ａ３２の座標情報より、（Ａ３１＋Ａ３２）／２で、実際の瞳孔の注視点である中心点座標Ｐ１が求められる（ステップＳＴ２２）。
【００２１】
次に、中心点座標Ｐ１については、後述するキャリブレーションの結果を使用して位置補正が行われる（ステップＳＴ２３）。
【００２２】
そして、この補正された中心点座標Ｐ１が前の状態から極端に移動や閾値を超えていない場合には、中心点座標Ｐ１の結果から位置キャラクター表示を生成し、ディスプレイコントロール部２１を経由して表示器であるＬＣＤ２２に表示する（ステップＳＴ２４、ＳＴ２５）。
【００２３】
キャリブレーションは、目の注視点とＬＣＤ２２の表示領域との関係を関連付けするもので、キャリブレーション時は、図６及び図７に示すように、中心に指標（Ｐｏ（１２７、１２７））とＬＣＤ２２の四隅に対してキャラクタ（Ｐｙ（０、２５５）、Ｐｘ（２５５、０））を表示し、撮影者はそれを注目してもらうことで、画面中心時の瞳孔中心基準座標（Ｐｏ（０、０））と四隅の座標が求められる。このキャリブレーションについては後述する。
【００２４】
そして、中心点を（０．０）として、各四隅はそこからの規定のオフセット値として算出する。その結果は、中央制御装置１８内に保持する。記録情報は、ＥＥＰＲＯＭといったメモリに保存することも可能である。
【００２５】
次に、撮影者の瞳孔の位置が変化した場合は、図５に示すように、上述の図４で示した処理と同じく、人間の目の領域は、白、虹彩、瞳孔で濃淡が異なる。中央制御装置１８では、この濃淡を正確に検知するため、格納された領域に対して、ステップ毎に二値化の閾値を変化させる。閾値を変化させ、二値化を行った後、先鋭度を検出して、格納された領域内における最小の円周の先鋭度を算出し、その幅、最大の円周の先鋭度の白の部分Ａ１１、Ａ１２、その次の虹彩の部分の円周の幅Ａ２１、Ａ２２、瞳孔の外周の幅Ａ３１、Ａ３２を決定することで、移動した瞳孔の中心点座標Ｐ２が求められる。中心点座標Ｐ２を検出時、抜き出した指定領域が、極端にずれている場合は、直前の抜き出し領域をＺ（図３参照）と比較し、位置補正をかけた後で最終的な中心点座標Ｐ２とする。
【００２６】
中心点は、図７に示すように、キャリブレーションした中心位置との比率で、画面内の移動位置を決定する。ここで、中心点座標Ｐ２の情報がキャリブレーションした、四隅のオフセット値を超えていた場合、ＬＣＤ２２上の位置キャラクター表示は、直前の位置のままとする。
範囲内であれば、図８に示すように、中央制御装置では中心点座標Ｐ２の位置にキャラクター表示（Ｐ１（１０、−２０））を生成し、ディスプレイコントロール部２１を経由して、ＬＣＤ２２に表示する。
もし、その座標位置が、機能をオンするキャラクター表示の領域内であれば、中央制御装置１８では、カウントを開始する。中央制御装置１８では、カウントをデクリメントし、零になった時点でもその領域内に注視点がある場合は、領域内の機能をオンとして、設定などを変更させる。
【００２７】
この方法を利用して、一定の領域に対してフォーカスを合わせることが可能なのは自明である。即ち、ＬＣＤ２２に撮像画像が表示されているときに、注視点で決定された特定領域のフォーカシングをする。このようにすることで、例えば、被写体の遠望の位置を注視点にすると、その遠望の領域にピント合わせがされる。
この点については後述する。
又、ユーザがＬＣＤ２２をオフにした場合は、それを中央制御装置１８で判断し、撮影者を撮像する第２のＣＣＤ部３６と第２のフロントエンド部３７の電源供給を停止或いは省電力モードに移行させる。
【００２８】
ユーザ操作により、ＬＣＤ２２が再びオンになったことを、中央制御装置１８が検知した場合、第２のＣＣＤ部３６と第２のフロントエンド部３７の電源供給を元に戻し、再びスイッチがオンであれば、上記処理を再開する。
【００２９】
次に、キャリブレーションについて、図１１に示すフローチャートを参照して説明する。
先ず、注視点入力のスイッチがオンされると、ＬＣＤ２２にキャリブレーションキャラクターが表示される（ステップＳＴ３１、ＳＴ３２）。
次に、上記図１０のフローチャートで説明した注視点の処理が開始され、カウンターのデクリメントが開始され、設定位置はキャラクターの状態を変化させることでユーザに知らせる（ステップＳＴ３３、ＳＴ３４）。
【００３０】
そして、カウンターが零でないときには一定間隔でカウンターのデクリメントを行い、カウンターが零になるまで行う（ステップＳＴ３５、ＳＴ３６）。
【００３１】
カウンターが零になると、次に注視点の処理結果を指定位置と対応させて登録する（ステップＳＴ３７）。
【００３２】
次のキャリブレーション位置がある場合には、カウンターをプリセットし、上記ステップＳＴ３４〜ＳＴ３７の注視点処理結果を指定位置と対応させて登録する（ステップＳＴ３８、ＳＴ３９）。
【００３３】
次に、キャリブレーション位置がない場合には、完了表示した後に、通常表示に戻る（ステップＳＴ４０）。
【００３４】
このようにしてキャリブレーションを行うわけであるが、それは、例えば、図９に示すように、センターの位置がＬＣＤでは（１２７、１２７）であるのに対してユーザの位置は（３０、３０）、レフトトップの位置がＬＣＤでは（０、２５５）であるのに対してユーザの位置は（２０、４０）、ライトトップの位置がＬＣＤでは（２５５、２５５）であるのに対して、ユーザの位置は（４０、４０）、レフトボトムの位置がＬＣＤでは（０、０）であるのに対して、ユーザの位置は（２０、２０）、ライトボトムの位置がＬＣＤでは（０、２５５）であるのに対して、ユーザの位置は（４０、２０）であるように対応付けできるのである。
【００３５】
次に、上記注視点を得ることで、撮像画像のフォーカスを行うことについて、図１２に示すフローチャートを参照して説明する。
先ず、注視点入力するためのスイッチをオンにし、カウンターをリセットして注視点の処理を開始する（ステップＳＴ４１、ＳＴ４２）。
【００３６】
そして、指定領域に注視点がきているかどうかを確認する（ステップＳＴ４３）。
【００３７】
指定領域に注視点が存在しているときには、カウンターのデクリメントを開始する（ステップＳＴ４４）。
【００３８】
カウンターが零でないときには、一定間隔でカウンターをデクリメントする（ステップＳＴ４５、ＳＴ４６）。
【００３９】
カウンターが零であるときに、いまだ注視点が指定領域に存在しているかを調べる（ステップＳＴ４７）。
【００４０】
指定領域に注視点が存在しているときには、指定領域に割り当てられている処理、即ち、指定領域のフォーカスを行う処理を実行する（ステップＳＴ４８）。
【００４１】
以上のように、本発明の撮像装置では、被写体を撮像する第１の撮像手段１６とは別に、撮影者の顔面、特に目が映る程度の第２の撮像手段３８を持ち、そこより光電変換された信号から、撮影者の顔情報より瞳孔の位置を検出し、その結果より目の注視点を算出し、注視点をＬＣＤ２２に表示させることにより、ユーザに対してボタンを使用しないが、簡単に操作が可能な入力方法を提供できるのである。
又、目の位置とＬＣＤ２２の表示領域との関連性を持たせる、所謂、キャリブレーションを行うことで、ユーザの目の移動範囲に対しても汎用性を持たせられる。
又、上記入力方法でＬＣＤ２２上のキャラクタを見ることにより、設定等が変更できるので、ボタンやスイッチが削減でき、更なる小型化が可能になる。
また、従来のような電子ビューファインダーを覗き込む必要性がなくなるため、小型化と汎用的な視線入力デバイスを提供することができる。
【００４２】
【発明の効果】
以上説明したように、本願発明の撮像装置は、被写体を撮像する第１の撮像手段の他に撮影者の顔面、特に目を撮像する第２の撮像手段を備え、この第２の撮像手段で撮像した目の瞳孔の位置である注視点からＬＣＤに表示されている撮像画像の撮像機能の設定をするようにしたことで、撮影者の目により様々な撮影の条件を設定変更することができるようになり、釦やスイッチといった操作部材を省くことができ、装置自体のコンパクト化及び小型化を図ることができるという効果がある。
【図面の簡単な説明】
【図１】本発明に係る撮像装置にブロック図である。
【図２】同、第２の撮像手段で撮像した撮影者の顔の部分を表示部の撮像画面上に表示した説明図である。
【図３】同、目の白の部分、虹彩、瞳孔の部分を抽出した様子を示した説明図である。
【図４】同、目の瞳孔が移動した様子を示した説明図である。
【図５】同、表示部のＬＣＤの領域と目の動き具合の関連性を示すキャリブレーションの様子を示した説明図である。
【図６】同、ＬＣＤの表示領域と目との関連性を示した説明図である。
【図７】同、ＬＣＤの表示領域と目との関連性を示した説明図である。
【図８】同、キャリブレーションしたＬＣＤの位置と目の位置との関係を示した表である。
【図９】同、キャリブレーションのデータのイメージを示した表である。
【図１０】同、注視点入力のためのフローチャートである。
【図１１】同、注視点入力におけるキャリブレーションのフローチャートである。
【図１２】同、注視点入力におけるフオーカス処理のフローチャートである。
【符号の説明】
１１；第１のレンズ部、１２；第１のシャッタ、１３；第１のアイリス、１４；第１のＣＣＤ部、１５；第１のフロントエンド部、１６；第１の撮像手段、１７；信号処理部、１８；中央制御装置、１９；ＲＡＭ部、２０；ＲＯＭ部、２１；ディスプレイコントロール部、２２；ＬＣＤ、２３；メモリーカード、２４；メモリーインターフェイス部、２５；タイミングジェネレータ、２６；垂直ドライバ、２７；レンズ／アイリスドライバ、２８；電源制御部、２９；温度センサー、３０；外部操作部、３１；第１のネットワークインターフェイス部、３２；第２のネットワークインターフェイス部、３３；第２のレンズ部、３４；第第２のシャッタ、３５；第２のアイリス、３６；第２のＣＣＤ部、３７；第２のフロントエンド部、３８；第２の撮像手段、３９；バスライン、４０；ＳＤＲＡＭコントローラ、４１；ＳＤＲＡＭメモリ。

Claims (2)

1. 被写体を撮像する第１の撮像手段と、前記第１の撮像手段で撮像する画像が表示される表示器と、前記表示器をみている撮影者の目を撮像する第２の撮像手段と、前記第２の撮像手段で撮像した目の情報から撮影者の目の注視点を検出する注視点検出手段と、を備え、
   前記注視点検出手段で検出された注視点の位置情報は、前記表示器の指定された位置にキャリブレーションキャラクターを表示させ、該キャリブレーションキャラクターをみて算出された注視点を前記表示器の表示領域に位置合わせるキャリブレーションによる情報であると共に、前記表示器で注視された表示領域に対して前記第１の撮像手段で撮像された被写体のフォーカスを追従させることを特徴とする撮像装置
2. 前記撮影者の注視点の位置情報は、前記表示器に表示するようにしたことを特徴とする請求項１に記載の撮像装置。

Images