JPH05328197A

JPH05328197A - 撮影装置

Info

Publication number: JPH05328197A
Application number: JP4154165A
Authority: JP
Inventors: Hideo Yokota; 秀夫横田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1992-05-22
Filing date: 1992-05-22
Publication date: 1993-12-10
Anticipated expiration: 2016-07-30
Also published as: JP3192483B2

Abstract

(57)【要約】【目的】画面内における撮影者の意図する領域を簡単
に設定する。【構成】撮像素子２からの画像信号より画面内に領域
を設定する領域設定手段３と、撮影者の視線を検知する
視線検知手段８，９，１１と、前記領域設定手段にて設
定された領域が複数の場合、そのうちの意図する領域
を、前記視線検知手段よりの視線情報に基づいて選択す
る領域選択手段１２とを備え、画面内に複数の領域が設
定されている場合、そのうちの意図する領域の選択を、
視線情報に基づいて自動的に行うようにしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮像素子からの画像信
号より画面内に領域を設定する領域設定手段を備えた、
ビデオカメラ等の撮影装置の改良に関するものである。

【０００２】

【従来の技術】従来、種々の撮影制御に際して、撮影画
面内に領域を設定することがなされている。例えば、オ
トフォーカスにおいては、合焦情報を検出する為の合
焦検出領域を、また、撮影者の手振れ等による画像のブ
レ補正においては、画像の動きを検出するブレ検知領域
を、それぞれ設定し、この設定した領域内の撮像信号に
基づいて各々の撮影制御を行っていた。

【０００３】また、被写体の合焦情報などに基づいて先
の合焦検出領域を自動的に被写体に追尾させることを可
能とするものも提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来例において、撮影制御に際して設定される領域は予め
画面内に設定される構成となっており、必要に応じて撮
影者が任意の位置に設定するといった事はできず、撮影
の範囲が制限されてしまっていた。このため、合焦情報
などの被写体の情報に基づいて抽出すべく被写体領域
（範囲）を設定するものにおいては、合焦状態にあるか
否かによりその領域を設定してしまうために、撮影者の
意図する被写体と異なる被写体を選択、つまり意図しな
い被写体にピントの合った映し出されてしまうといった
問題点があった。

【０００５】また、撮影後に領域を設定して、画像の合
成などを編集作業として行うような編集装置も多種提案
されているが、このように画面内の意図した位置に領域
を設定可能とするものにおいては、編集装置を別に準備
する必要があることと、別に時間をかけて作業を行わな
ければならないこと、さらには撮影後の画像にのみ領域
設定した情報を使用することができないなどの問題があ
った。

【０００６】本発明の目的は、上記の点に鑑み、画面内
における撮影者の意図する領域を簡単に選択することで
きる撮影装置を提供することである。

【０００７】

【課題を解決するための手段】本発明は、撮像素子から
の画像信号より画面内に領域を設定する領域設定手段
と、該領域設定手段にて設定された領域が複数の場合、
そのうちの意図する領域を外部操作により選択する領域
選択手段とを備え、また、撮像素子からの画像信号より
画面内に領域を設定する領域設定手段と、撮影者の視線
を検知する視線検知手段と、前記領域設定手段にて設定
された領域が複数の場合、そのうちの意図する領域を、
前記視線検知手段よりの視線情報に基づいて選択する領
域選択手段とを備えている。

【０００８】

【作用】領域選択手段は、画面内に複数の領域が設定さ
れている場合、そのうちの意図する領域の選択を、外部
操作により、或は、視線情報に基づいて自動的に行うよ
うにしている。

【０００９】

【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。

【００１０】図１は本発明第１の実施例における撮影装
置のブロック図であり、同図において、１は撮影レン
ズ、２はＣＣＤなどの撮像素子、３は撮像素子２よりの
撮像信号から画面内における被写体の領域（範囲）を抽
出（設定）する被写体抽出回路、４は前記被写体抽出回
路３にて抽出された領域情報に基づきその被写体枠を生
成する被写体枠生成回路、５は前記被写体枠生成回路３
で生成された被写体枠を映像信号に合成し、合成画像を
ファインダに表示するファインダ制御回路、６は電子ビ
ューファインダなどの表示装置、７はファインダを観察
するためのファインダレンズ、８は撮影者の眼球の動き
から撮影者の視線を検知する視線検知光学系、９は眼球
の像を検出する検出器、１０はファインダ系の光路と視
線検出系の光路を分離する光路分離ミラー、１１は視線
の位置を抽出する視線抽出回路、１２は被写体抽出回路
３からの領域情報と視線抽出回路１１からの視線情報に
基づいて主要被写体を決定し、被写体情報の制御をする
被写体情報制御回路、１３は撮像素子２からの撮像信号
をテレビジョン規格に準じた映像信号に変化する映像信
号変換回路、１４は撮影レンズ１の駆動を制御する撮影
レンズ駆動回路、１５は撮像素子１の露光時間やシャッ
タスピードなどを制御する撮像素子駆動回路、１６は各
回路における動作の同期をとるための信号を発生する同
期信号発生回路である。

【００１１】ここで、図２を用いて被写体抽出回路３で
の動作について説明する。

【００１２】被写体抽出回路３は、撮像素子２から被写
体像のエッヂ部分のボケ量に応じたボケ幅を検出し（図
２(a) 参照）、検出された合焦度に応じたエッヂのボケ
幅の撮像画面上における分布を認識し（図２(b) 参
照）、合焦状態にある分布から主要被写体の領域を設定
する（図２(c) 参照）。

【００１３】次に、上述した視線検知光学系８、イメー
ジセンサ９及び視線抽出回路１１等より成る視線検知装
置による視線検出方法の基本原理について、図３により
説明する。

【００１４】図３において、１０４は観察者に対して不
感の赤外光を放射する発光ダイオード等の光源であり、
投光レンズ１０６の焦点面に配置されている。

【００１５】光源１０４より発光した赤外光は投光レン
ズ１０６により平行光となり、ハーフミラー１０５で反
射し、眼球の角膜１０１を照明する。この時、角膜１０
１の表面で反射した赤外光の一部に基く角膜反射像ｄは
ハーフミラー１０５を透過し、図１の視線検知光学系８
に相当する受光レンズ１０７により集光され、同じく図
１の検出器９に相当するイメージセンサ１０９上の位置
ｄ´に角膜反射像ｄを再結像する。

【００１６】また、虹彩１０３の端部ａ，ｂからの光束
はハーフミラー１０５、受光レンズ１０７を介してイメ
ージセンサ１０９の上に導光され、その位置ａ´，ｂ´
に該端部ａ，ｂの像を結像する。受光レンズ１０７の光
軸に対する眼球の光軸の回転角θが小さい場合、虹
彩１０３の端部ａ，ｂのＺ座標をＺａ，Ｚｂとすると、
虹彩１０３の中心位置ｃの座標ＺｃはＺｃ≒（Ｚａ＋Ｚｂ）／２と表される。

【００１７】また、角膜反射像の発生位置ｄのＺ座標を
Ｚｄ，角膜１０１の曲率中心Ｏと虹彩１０３の中心Ｃま
でを距離ＯＣとすると、眼球光軸の回転角θはＯＣ・ｓｉｎθ≒Ｚｃ−Ｚｄ …………（１）の関係式を略満足する。このため、イメージセンサ１０
９上に投影された各特異点（角膜反射像ｄ及び虹彩の端
部ａ，ｂ）の位置を検出することにより、眼球光軸の
回転角θを求めることができる。この時（１）式は β・ＯＣ・ｓｉｎθ≒｛（Ｚａ＋Ｚｂ）／２｝−Ｚｄ …………（２）と書き換えられる。但し、βは角膜反射像の発生位置ｄ
と受光レンズ７との距離Ｌと受光レンズ１０７とイメー
ジセンサ１０９との距離Ｌｏで決る倍率で、通常ほぼ一
定の値となっている。

【００１８】上記のような原理により、観察者の被検眼
の視線の方向（注視点）を検出することができる。

【００１９】次に、本発明の第１の実施例における撮影
装置に動作について、図４のフローチャート及び図５，
図６に基づいて説明する。

【００２０】ステップ１０１において、被写体抽出回路
３により前述した様に撮像素子２から被写体情報が取り
込まれ（図５(a) 参照）、次のステップ１０２におい
て、被写体数が１つかそれ以上であるかの判別が行われ
る。この結果、１つであれば被写体領域は既に確定であ
るのでステップ１０８へ進み、２つ以上であった場合に
は主要被写体を確定するためにステップ１０４へと進
む。この実施例では、図５(a) に示す様に被写体数が３
つの場合を想定しているので、ステップ１０２からステ
ップ１０３へと進むことになる。ステップ１０３におい
ては、例えばボケ幅に関する情報から被写体の領域の設
定が行われ、この領域情報に基づいて被写体枠生成回路
４にて該領域の枠にあたる画像が生成される（図５(b)
参照）。そして、ステップ１０４において、この画像
（被写体枠）がファインダ制御回路５へ供給され、ここ
で該被写体枠と撮像信号とが合成され、この合成された
画像が表示装置６に表示される。

【００２１】この時、撮影者は前記電子ビューファイン
ダ等の表示装置６上の像をファインダレンズ７を通して
観察しているが、その際の撮影者の眼球の動きが前述の
視線検出光学系８を通して検出器９で検出され、この検
出された眼球の像に基づいて視線抽出回路１１にて視線
の位置検出がなされており、ステップ１０５において、
被写体抽出スイッチがＯＮされることによりステップ１
０６へ進み、ここで前記視線抽出回路１１にて生成され
た視線情報が被写体情報制御回路１２へと供給される。
そして、ステップ１０７において、被写体情報制御回路
１２にて前記視線情報と被写体抽出回路３からの領域情
報から主要な被写体が決定され（図５(c) 参照）、被写
体領域が確定される。

【００２２】前述した様に被写体情報制御回路１２にて
被写体領域が確定した後はステップ１０８へ進み、主要
の被写体情報を生成する。そして、次のステップ１０９
において、この主要被写体情報に基づいて撮影レンズ駆
動回路１４によって撮影レンズ１を駆動したり、撮像素
子駆動回路１５によって撮像素子２の駆動を行う。

【００２３】また、図６(a) に示す様に主被写体が抽出
した位置より動いた場合には、被写体抽出回路３からの
領域情報に基づき追従するように選択（図６(b) 参照）
されると共に、追従して得られる主被写体情報に基づい
て撮影レンズ駆動回路１４によって撮影レンズ１が駆
動、又撮像素子駆動回路１５によって撮像素子２の駆動
が、それぞれ継続される。

【００２４】なお、２つ以上の被写体があった場合の選
択は被写体抽出スイッチで行う様にしているが、この代
りに、視線の注視している位置を計測し、その頻度の高
い位置を撮影者の最も注視している位置と自動的に判断
し、その位置を視線情報として、被写体情報制御回路１
２が主被写体を自動的に決定するような構成であっても
良い。また、被写体の抽出に使用する撮像信号の情報
は、ボケ幅ではなく、輝度信号や、色信号でも良いし、
これらを合せて使用しても良い。

【００２５】（第２の実施例）図７は本発明の第２の実
施例における撮影装置を示すブロック図であり、図１と
同じ部分は同一符合を付してある。

【００２６】図７において、１７は被写体枠を一時的に
記憶するメモリである。

【００２７】この第２の実施例では、被写体抽出を行う
時に、撮影レンズ１のフォーカスレンズ群を駆動し、異
なる被写体距離に位置する各被写体を画像信号より抽出
し、それらを合せて表示した被写体枠から撮影者が主要
な被写体を決定できるようにしたものである。

【００２８】次に、本発明の第２の実施例における撮影
装置に動作について、図８のフローチャート及び図９，
図１０に基づいて説明する。

【００２９】被写体を撮影者が抽出する状態になると、
ステップ２０１において、撮影レンズ駆動回路１４を通
して撮影レンズ１内のフォーカスレンズが無限遠位置に
セットされ、次のステップ２０２において、被写体抽出
回路３により撮像素子２から被写体情報が取り込まれ
（図９(a) の左図参照）、次のステップ２０３におい
て、第１の実施例と同様に例えばボケ幅に関する情報か
ら被写体の領域の設定が行われ、この領域情報に基づい
て被写体枠生成回路４にて該領域の枠にあたる画像が生
成される（図５(a) の右図参照）。そして、ステップ２
０４において、この画像（被写体枠）がメモリ１７に記
憶される。次に、ズテップ２０５へ進み、ここでは先の
フォーカスレンズが所定量至近側に駆動され、被写体距
離が変更され、ステップ２０６にて所定回数同様の動作
が繰り返し行われたか否かの判別が行われる。

【００３０】所定回数行われていない場合には、ステッ
プ２０１へ動作は戻り、同様の動作が繰り返し行われ
る。この実施例においては、図９に示すように(a) 〜
(d) の５回行われる場合を想定しており、よって、各ル
ープにおいて抽出された被写体枠は順次メモリ１７に合
せて記憶されることになる。

【００３１】所定回数フォーカスレンズが駆動され、所
定回数分の被写体枠を生成したのち、ステップ２０７へ
と動作は進み、ここではメモリ１７に記憶されている被
写体枠の合成が行われ、次のステップ２０８において、
合成された被写体枠の画像はファインダ制御回路５に供
給され、映像信号と合成されて表示装置６に表示される
（図１０(a) 参照）。

【００３２】この時、撮影者は前記電子ビューファイン
ダ等の表示装置６上の像をファインダレンズ７を通して
観察しているが、その際の撮影者の眼球の動きが前述し
た様に視線検出光学系８を通して検出器９で検出され、
この検出された眼球の像に基づいて視線抽出回路１１に
て視線の位置検出がなされており、ステップ２０９にお
いて、被写体抽出スイッチがＯＮされることによりステ
ップ２１０へ進み、ここで前記視線抽出回路１１にて生
成された視線情報が被写体情報制御回路１２へと供給さ
れる。そして、ステップ２１１において、被写体情報制
御回路１２にて前記視線情報と被写体抽出回路３からの
領域情報から主要な被写体が決定され（図１０(b) 参
照）、被写体領域が確定される。

【００３３】前述した様に被写体情報制御回路１２にて
被写体領域が確定した後はステップ２１２へ進み、主要
の被写体情報を生成する。そして、次のステップ１０９
において、この主要被写体情報に基づいて撮影レンズ駆
動回路１４によって撮影レンズ１を駆動したり、撮像素
子駆動回路１５によって撮像素子２の駆動を行う。

【００３４】また、主被写体が抽出した位置より動いた
場合には、被写体抽出回路３からの領域情報に基づき追
従するように選択されると共に、追従して得られる主被
写体情報に基づいて、撮影レンズ駆動回路１４によって
撮影レンズ１の駆動が、又撮像素子駆動回路１５によっ
て撮像素子２の駆動が、それぞれ継続される。

【００３５】なお、第１の実施例と同様、複数の中より
主被写体を選択する方法としては、視線の注視している
位置を計測し、その頻度の高い位置を撮影者の最も注視
している位置と自動的に判断し、その位置を視線情報と
して、被写体情報制御回路１２が主被写体を自動的に決
定するような構成であっても良い。また、被写体を抽出
するための撮像信号が、ボケ幅ではなく輝度信号や色信
号による場合でも、フォーカスの合っている時がコント
ラストが良くなるので、同様な方法で被写体を抽出する
ことができる。

【００３６】（第３の実施例）図１１は本発明の第３の
実施例における撮影装置を示すブロック図であり、図１
及び図７と同じ部分は同一符合を付してある。

【００３７】この第３の実施例では、画面上で撮影者の
注視する部分の映像信号に基づいて被写体の領域を抽出
するようにしたものであり、図１３を用いて図１２のフ
ローチャートにしたがって動作説明を行う。

【００３８】撮影者が被写体を抽出する状態になると、
ステップ３０１において、被写体情報制御回路１２より
ファインダ制御回路５に視線の位置を表示装置６へ表示
するべく指示がなされ、これによりファインダ制御回路
５の働きにより、視線抽出回路１１からの視線情報に基
づいた位置にカーソルが合成されて表示装置６に表示さ
れる（図１３(a) →(b) 参照）。次のステップ３０２に
おいては、被写体抽出スイッチがＯＮされているか否か
の判別が行われ、ＯＮが判別されることによりステップ
３０３へ進み、ここでは先の表示を停止する。次のステ
ップ３０４においては、被写体抽出回路３により被写体
抽出スイッチがＯＮになった時の視線情報が検出され、
ステップ３０５においては、被写体の抽出が成功したか
否かの判別がなされる。被写体の抽出が成功しなかった
場合には、同様の動作を行うべくステップ３０１へ戻
り、成功した場合はステップ３０７へと進む。

【００３９】ステップ３０７においては、視線位置近傍
の撮像信号に基づいて被写体領域が設定され、この領域
情報が被写体情報制御回路１２へ供給され、次のステッ
プ３０８において、被写体情報制御回路１２により領域
情報に基づいて被写体領域情報が生成され（図１３(c)
参照）、撮影レンズ駆動回路１４や撮像素子駆動回路１
５へ供給されてこれらが駆動される。

【００４０】また、主被写体が抽出した位置より動いた
場合には、被写体抽出回路３からの領域情報に基づき追
従するように選択されると共に、追従して得られる主被
写体情報に基づいて、撮影レンズ駆動回路１４によって
撮影レンズ１の駆動が、又撮像素子駆動回路１５によっ
て撮像素子２の駆動が、それぞれ継続される。

【００４１】以上の各実施例によれば、画像情報より被
写体が複数である場合にはそれぞれの領域を設定し、撮
影者の視線情報に基づいてその領域中より主被写体の領
域を選択するようにしているため、特別な操作をするこ
となく、撮影者の意図する被写体領域を、言換えれば撮
影制御の対象と成るべく領域をリアルタイムで抽出する
ことができ、よって、例えば従来のように意図しない被
写体にピントがあったり、不適性露出となったりするこ
とがなくる。

【００４２】（変形例）以上の各実施例では、複数の被
写体領域中より主被写体領域を選択するために、視線検
知装置からの視線情報を用いているが、これに限定され
るものではなく、外部よりダイアル操作等により画面内
に表示したカーソル位置を可変して行うようにしても良
い。

【００４３】

【発明の効果】以上説明したように、本発明によれば、
撮像素子からの画像信号より画面内に領域を設定する領
域設定手段と、該領域設定手段にて設定された領域が複
数の場合、そのうちの意図する領域を外部操作により選
択する領域選択手段とを備え、また、撮像素子からの画
像信号より画面内に領域を設定する領域設定手段と、撮
影者の視線を検知する視線検知手段と、前記領域設定手
段にて設定された領域が複数の場合、そのうちの意図す
る領域を、前記視線検知手段よりの視線情報に基づいて
選択する領域選択手段とを備え、画面内に複数の領域が
設定されている場合、そのうちの意図する領域の選択
を、外部操作により、或は、視線情報に基づいて自動的
に行うようにしている。

【００４４】よって、画面内における撮影者の意図する
領域を簡単に設定することが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における撮影装置のブロ
ック図である。

【図２】図１の被写体抽出回路における動作を説明する
ための図である。

【図３】図１の視線検知装置似置ける視線検知方法につ
いて説明するための図である。

【図４】本発明の第１の実施例における撮影装置の主要
部分の動作を示すフローチャートである。

【図５】図４の動作説明を助けるための図である。

【図６】同じく図４の動作説明を助けるための図であ
る。

【図７】本発明の第２の実施例における撮影装置のブロ
ック図である。

【図８】本発明の第２の実施例における撮影装置の主要
部分の動作を示すフローチャートである。

【図９】図８の動作説明を助けるための図である。

【図１０】同じく図８の動作説明を助けるための図であ
る。

【図１１】本発明の第２の実施例における撮影装置のブ
ロック図である。

【図１２】本発明の第３の実施例における撮影装置の主
要部分の動作を示すフローチャートである。

【図１３】図１１の動作説明を助けるための図である。

【符合の説明】

１撮影レンズ２撮像素子３被写体抽出回路４被写体枠生成回路５ファインダ制御回路８視線検知光学系９検出器１１視線抽出回路１２被写体情報制御回路１３映像信号変換回路１７メモリ

Claims

【特許請求の範囲】

【請求項１】撮像素子からの画像信号より画面内に領
域を設定する領域設定手段と、該領域設定手段にて設定
された領域が複数の場合、そのうちの意図する領域を外
部操作により選択する領域選択手段とを備えた撮影装
置。
【請求項２】撮像素子からの画像信号より画面内に領
域を設定する領域設定手段と、撮影者の視線を検知する
視線検知手段と、前記領域設定手段にて設定された領域
が複数の場合、そのうちの意図する領域を、前記視線検
知手段よりの視線情報に基づいて選択する領域選択手段
とを備えた撮影装置。
【請求項３】領域設定手段は、画面内における被写体
の大きさに相当する領域を設定する手段であることを特
徴とする請求項１又は２記載の撮影装置。
【請求項４】視線検知手段は、撮影者の視線を検出す
るための光学系を具備していることを特徴とする請求項
２記載の撮影装置。