JPH04288122A - 視線表示装置 - Google Patents
視線表示装置Info
- Publication number
- JPH04288122A JPH04288122A JP3052068A JP5206891A JPH04288122A JP H04288122 A JPH04288122 A JP H04288122A JP 3052068 A JP3052068 A JP 3052068A JP 5206891 A JP5206891 A JP 5206891A JP H04288122 A JPH04288122 A JP H04288122A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- movement
- display device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 89
- 238000001514 detection method Methods 0.000 claims description 32
- 230000004886 head movement Effects 0.000 claims description 29
- 230000004424 eye movement Effects 0.000 claims description 24
- 210000003128 head Anatomy 0.000 claims description 22
- 210000005252 bulbus oculi Anatomy 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 abstract description 9
- 238000003384 imaging method Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 7
- 230000005284 excitation Effects 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 230000004418 eye rotation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】この発明は、視線表示装置に関し
、特に、広い視野を有する被観察者の視線の動きを表示
する視線表示装置に関する。
、特に、広い視野を有する被観察者の視線の動きを表示
する視線表示装置に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】従来
では、自動車や航空機などを運転または操縦している運
転者の視線の動きの分析において、運転者の頭部運動に
よる視線の動きへの影響を考慮せず、運転者の眼球の運
動による視線の動きだけが分析されていた。したがって
、眼球運動だけでなく、頭部運動をも考慮に入れて正確
な視線の動きの検出を行なう必要があり、本願出願人に
よりすでにその提案がなされている。
では、自動車や航空機などを運転または操縦している運
転者の視線の動きの分析において、運転者の頭部運動に
よる視線の動きへの影響を考慮せず、運転者の眼球の運
動による視線の動きだけが分析されていた。したがって
、眼球運動だけでなく、頭部運動をも考慮に入れて正確
な視線の動きの検出を行なう必要があり、本願出願人に
よりすでにその提案がなされている。
【０００３】検出された視線の動きは、運転席から見え
る外部状況を撮影した映像の上に重ねて表示される。外
部状況は１台のカメラにより撮影されることが好ましい
のであるが、運転者の視野が非常に広いことから、これ
を１台のカメラにより撮影することが一般に難しい。か
りに、魚眼レンズを使用して運転者の全視野を撮影する
ことができたとしても、映像の周辺部分において歪みが
生じてしまう。したがって、その映像の上に視線を重ね
て表示しても、その視線の動きを分析するのに支障をき
たしていた。
る外部状況を撮影した映像の上に重ねて表示される。外
部状況は１台のカメラにより撮影されることが好ましい
のであるが、運転者の視野が非常に広いことから、これ
を１台のカメラにより撮影することが一般に難しい。か
りに、魚眼レンズを使用して運転者の全視野を撮影する
ことができたとしても、映像の周辺部分において歪みが
生じてしまう。したがって、その映像の上に視線を重ね
て表示しても、その視線の動きを分析するのに支障をき
たしていた。
【０００４】この発明は、上記のような課題を解決する
ためになされたもので、歪みのない背景映像の上に、広
い視野を有する被観察者の視線の動きを表示できる視線
表示装置を提供することを目的とする。
ためになされたもので、歪みのない背景映像の上に、広
い視野を有する被観察者の視線の動きを表示できる視線
表示装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】請求項１の発明にかかる
視線表示装置は、被観察者の眼球の運動を検出する眼球
運動検出手段と、被観察者の頭部の運動を検出する頭部
運動検出手段と、眼球運動検出手段および頭部運動検出
手段からの出力データを演算処理することにより、被観
察者の視線の動きを求める視線演算手段と、被観察者の
視野を複数の部分に分け、各部分をそれぞれ撮影する複
数の撮影手段と、視線演算手段によって得られる被観察
者の視線の動きに応答して、複数の撮影手段によって撮
影された複数の映像信号のうちのいくつかを選択するす
る映像選択手段と、映像選択手段によって選択された映
像信号に基づいて、選択された映像を表示し、かつ表示
された映像上に視線演算手段によって得られる視線の動
きを表示する表示手段とを含む。
視線表示装置は、被観察者の眼球の運動を検出する眼球
運動検出手段と、被観察者の頭部の運動を検出する頭部
運動検出手段と、眼球運動検出手段および頭部運動検出
手段からの出力データを演算処理することにより、被観
察者の視線の動きを求める視線演算手段と、被観察者の
視野を複数の部分に分け、各部分をそれぞれ撮影する複
数の撮影手段と、視線演算手段によって得られる被観察
者の視線の動きに応答して、複数の撮影手段によって撮
影された複数の映像信号のうちのいくつかを選択するす
る映像選択手段と、映像選択手段によって選択された映
像信号に基づいて、選択された映像を表示し、かつ表示
された映像上に視線演算手段によって得られる視線の動
きを表示する表示手段とを含む。
【０００６】請求項２の発明にかかる視線表示装置は、
被観察者の眼球の運動を検出する眼球運動検出手段と、
被観察者の頭部の運動を検出する頭部運動検出手段と、
眼球運動検出手段および頭部運動検出手段からの出力デ
ータを演算処理することにより、被観察者の視線の動き
を求める視線演算手段と、被観察者の視野を複数の部分
に分け、各部分をそれぞれ撮影する複数の撮影手段と、
複数の撮影手段によって撮影された複数の映像を１つの
画面上に表示できるように合成する映像合成手段と、映
像合成手段によって合成された映像を表示し、かつ表示
された映像上に視線演算手段によって得られる視線の動
きを表示する表示手段とを含む。
被観察者の眼球の運動を検出する眼球運動検出手段と、
被観察者の頭部の運動を検出する頭部運動検出手段と、
眼球運動検出手段および頭部運動検出手段からの出力デ
ータを演算処理することにより、被観察者の視線の動き
を求める視線演算手段と、被観察者の視野を複数の部分
に分け、各部分をそれぞれ撮影する複数の撮影手段と、
複数の撮影手段によって撮影された複数の映像を１つの
画面上に表示できるように合成する映像合成手段と、映
像合成手段によって合成された映像を表示し、かつ表示
された映像上に視線演算手段によって得られる視線の動
きを表示する表示手段とを含む。
【０００７】
【作用】請求項１の発明における視線表示装置では、映
像選択手段が被観察者の視線の動きに応じて表示手段に
よって表示されるべき映像のいくつかを選択する。表示
手段では、選択された映像が表示され、かつその映像の
上に視線演算手段によって得られる視線の動きが表示さ
れる。したがって、歪みのない背景映像の上に被観察者
の視線の動きを表示することができる。
像選択手段が被観察者の視線の動きに応じて表示手段に
よって表示されるべき映像のいくつかを選択する。表示
手段では、選択された映像が表示され、かつその映像の
上に視線演算手段によって得られる視線の動きが表示さ
れる。したがって、歪みのない背景映像の上に被観察者
の視線の動きを表示することができる。
【０００８】請求項２の発明における視線表示装置では
、映像合成手段が、複数の撮影手段によって撮影された
複数の映像を１つの画面上に表示できるように合成する
。表示手段では、合成された映像が表示され、その映像
上に視線演算手段によって得られる視線の動きが表示さ
れる。したがって、歪みのない背景映像の上に被観察者
の視線の動きを表示することができる。
、映像合成手段が、複数の撮影手段によって撮影された
複数の映像を１つの画面上に表示できるように合成する
。表示手段では、合成された映像が表示され、その映像
上に視線演算手段によって得られる視線の動きが表示さ
れる。したがって、歪みのない背景映像の上に被観察者
の視線の動きを表示することができる。
【０００９】
【実施例】図１は、この発明の一実施例を示す視線運動
表示装置のブロック図である。図１を参照して、この視
線運動表示装置は、磁気センサを用いて運転者の頭部運
動を検出する頭部運動検出装置６と、運転者の眼球の運
動を検出する眼球運動検出装置５と、検出された頭部運
動データおよび眼球運動データを演算処理することによ
り運転者の視線データを求める注視点処理装置７と、求
められた視線データの画像処理を行なう画像処理装置８
と、運転席から撮影される外部状況を示す映像信号に画
像処理された視線信号をスーパーインポーズするスーパ
ーインポーザ９と、スーパーインポーザ９の出力に接続
された表示装置１０とを含む。この視線運動表示装置は
、さらに、運転席から見える外部状況を撮影するための
たとえば４つのカメラＣ１ないしＣ４と、注視点処理装
置７からの切換信号ＳＷに応答して、カメラＣ１ないし
Ｃ４によって撮影された映像信号を選択する画像切換器
３とを含む。したがって、スーパーインポーザ９は、画
像切換器３から出力される外部状況を示す選択された映
像信号の上に視線信号をスーパーインポーズすることに
なる。
表示装置のブロック図である。図１を参照して、この視
線運動表示装置は、磁気センサを用いて運転者の頭部運
動を検出する頭部運動検出装置６と、運転者の眼球の運
動を検出する眼球運動検出装置５と、検出された頭部運
動データおよび眼球運動データを演算処理することによ
り運転者の視線データを求める注視点処理装置７と、求
められた視線データの画像処理を行なう画像処理装置８
と、運転席から撮影される外部状況を示す映像信号に画
像処理された視線信号をスーパーインポーズするスーパ
ーインポーザ９と、スーパーインポーザ９の出力に接続
された表示装置１０とを含む。この視線運動表示装置は
、さらに、運転席から見える外部状況を撮影するための
たとえば４つのカメラＣ１ないしＣ４と、注視点処理装
置７からの切換信号ＳＷに応答して、カメラＣ１ないし
Ｃ４によって撮影された映像信号を選択する画像切換器
３とを含む。したがって、スーパーインポーザ９は、画
像切換器３から出力される外部状況を示す選択された映
像信号の上に視線信号をスーパーインポーズすることに
なる。
【００１０】図２は、図１に示した４つのカメラＣ１な
いしＣ４の運転席における配置を示す配置図である。図
２を参照して、カメラＣ１は、運転者２から見た左側ド
アミラー２１を含む左視野に相当する映像を撮影する。 カメラＣ２は、運転者２から見た正面の視野の映像を撮
影する。カメラＣ３は、運転者２から見た右側のドアミ
ラー２３を含む右視野の映像を撮影する。カメラＣ４は
、ルームミラー２２，速度計などの表示器２４およびシ
フトレバー（図示せず）などを含む映像を撮影する。 すなわち、カメラＣ１ないしＣ４は、運転者２から見る
ことのできる上記の周囲状況を撮影できる位置にそれぞ
れ配置されている。
いしＣ４の運転席における配置を示す配置図である。図
２を参照して、カメラＣ１は、運転者２から見た左側ド
アミラー２１を含む左視野に相当する映像を撮影する。 カメラＣ２は、運転者２から見た正面の視野の映像を撮
影する。カメラＣ３は、運転者２から見た右側のドアミ
ラー２３を含む右視野の映像を撮影する。カメラＣ４は
、ルームミラー２２，速度計などの表示器２４およびシ
フトレバー（図示せず）などを含む映像を撮影する。 すなわち、カメラＣ１ないしＣ４は、運転者２から見る
ことのできる上記の周囲状況を撮影できる位置にそれぞ
れ配置されている。
【００１１】図５は、図１に示した頭部運動検出装置６
のブロック図である。図５を参照して、この頭部運動検
出装置６は、基準磁界を発生する励磁コイル６１と、励
磁コイル６１を交流駆動するためのドライブ回路６５と
、被観察者の頭部に装着されたセンサコイル６２と、被
観察者の頭部に動きに応じてセンサコイル６２に誘起さ
れた電圧を検出する検出回路６３と、検出回路６３によ
って検出された電圧に基づいて演算処理により被観察者
の頭部運動を求めるＣＰＵ６４とを含む。ＣＰＵ６４は
ドライブ回路６５をも制御する。励磁コイル６１は、３
軸（Ｘ，Ｙ，Ｚ）方向に巻かれた３つのコイルにより構
成される。各コイルには、ドライブ回路６５から発生さ
れた、それぞれ周波数の異なった駆動用電源電圧が供給
される。したがって、励磁コイル６１によって３軸を基
準とする磁界が発生され、その磁界の中に被観察者がい
ることになる。センサコイル６２も、（Ｘ，Ｙ，Ｚ）方
向にそれぞれ巻かれた３つの検出用コイルを備えている
。被観察者の頭部が動くと、その動きに応じてセンサコ
イル６２内の各コイルに起電力が誘起される。各コイル
に生じた起電力を検出回路６３により検出することによ
り、被観察者の頭部の動きに応じた信号が得られる。 ＣＰＵ６４は、この信号に基づいて演算処理することに
より、被観察者の頭部の動きを示す頭部運動データＨを
求め、それを出力する。
のブロック図である。図５を参照して、この頭部運動検
出装置６は、基準磁界を発生する励磁コイル６１と、励
磁コイル６１を交流駆動するためのドライブ回路６５と
、被観察者の頭部に装着されたセンサコイル６２と、被
観察者の頭部に動きに応じてセンサコイル６２に誘起さ
れた電圧を検出する検出回路６３と、検出回路６３によ
って検出された電圧に基づいて演算処理により被観察者
の頭部運動を求めるＣＰＵ６４とを含む。ＣＰＵ６４は
ドライブ回路６５をも制御する。励磁コイル６１は、３
軸（Ｘ，Ｙ，Ｚ）方向に巻かれた３つのコイルにより構
成される。各コイルには、ドライブ回路６５から発生さ
れた、それぞれ周波数の異なった駆動用電源電圧が供給
される。したがって、励磁コイル６１によって３軸を基
準とする磁界が発生され、その磁界の中に被観察者がい
ることになる。センサコイル６２も、（Ｘ，Ｙ，Ｚ）方
向にそれぞれ巻かれた３つの検出用コイルを備えている
。被観察者の頭部が動くと、その動きに応じてセンサコ
イル６２内の各コイルに起電力が誘起される。各コイル
に生じた起電力を検出回路６３により検出することによ
り、被観察者の頭部の動きに応じた信号が得られる。 ＣＰＵ６４は、この信号に基づいて演算処理することに
より、被観察者の頭部の動きを示す頭部運動データＨを
求め、それを出力する。
【００１２】図３は、被観察者である運転者２の頭部運
動の各運動パラメータの方向を示す概略図である。運転
者２の前頭部に前述のセンサコイル６２が装着される。 図３に示したパラメータＨｘ，Ｈｙ，Ｈｚ，Ｈθ，Ｈφ
およびＨψは、それぞれこの図に示す方向の頭部運動の
動きを示している。すなわち、Ｈｘは頭部の水平平行運
動を示し、Ｈｙは前後方向の動きを示し、Ｈｚは垂直平
行運動を示す。また、Ｈθは首を左右に傾ける方向の運
動を示し、Ｈφは首の上下方向の回転運動を示し、Ｈψ
は頭部の左右方向の回転運動を示す。
動の各運動パラメータの方向を示す概略図である。運転
者２の前頭部に前述のセンサコイル６２が装着される。 図３に示したパラメータＨｘ，Ｈｙ，Ｈｚ，Ｈθ，Ｈφ
およびＨψは、それぞれこの図に示す方向の頭部運動の
動きを示している。すなわち、Ｈｘは頭部の水平平行運
動を示し、Ｈｙは前後方向の動きを示し、Ｈｚは垂直平
行運動を示す。また、Ｈθは首を左右に傾ける方向の運
動を示し、Ｈφは首の上下方向の回転運動を示し、Ｈψ
は頭部の左右方向の回転運動を示す。
【００１３】図４は、運転席における頭部運動検出の様
子を示す概略図である。図４を参照して、ハンドルの下
部などのような運転席に近い固定された位置に励磁コイ
ル６１が取付けられる。センサコイル６２は、運転者前
頭部に取付けられる。運転者の頭部が動くことにより、
励磁コイル６１とセンサコイル６２との間に位置関係が
相対的に変化し、頭部運動検出が行なわれる。
子を示す概略図である。図４を参照して、ハンドルの下
部などのような運転席に近い固定された位置に励磁コイ
ル６１が取付けられる。センサコイル６２は、運転者前
頭部に取付けられる。運転者の頭部が動くことにより、
励磁コイル６１とセンサコイル６２との間に位置関係が
相対的に変化し、頭部運動検出が行なわれる。
【００１４】図６は、図１に示した眼球運動検出装置５
における検出原理を示す概略図である。この装置では、
角膜表面の白目と黒目の反射率の違いを利用する強膜反
射方式を用いたものが一例として示される。他の方式と
して、角膜反射方式やサーチコイル方式も適用できる。 図６を参照して、左右の目Ｅ１およびＥ２の前方に、セ
ンサ７１および７２がそれぞれ配置される。各センサ７
１および７２の中央には、発光素子７３が配置される。 発光素子７３として、比較的指向性の広い±２１゜程度
の赤外線投射の発光ダイオードが用いられる。発光素子
７３の両側には、受光素子７４が設けられる。受光素子
７４として、指向性の鋭い±１０゜程度のフォトダイオ
ードが用いられる。発光素子７３から眼球に向けて投射
された光は白目および黒目の部分で反射する。白目と黒
目とでは反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平（左右）の眼球運動の動きが出力と
して得られ、和を取れば垂直（上下）方向の眼球の動き
が出力として得られる。
における検出原理を示す概略図である。この装置では、
角膜表面の白目と黒目の反射率の違いを利用する強膜反
射方式を用いたものが一例として示される。他の方式と
して、角膜反射方式やサーチコイル方式も適用できる。 図６を参照して、左右の目Ｅ１およびＥ２の前方に、セ
ンサ７１および７２がそれぞれ配置される。各センサ７
１および７２の中央には、発光素子７３が配置される。 発光素子７３として、比較的指向性の広い±２１゜程度
の赤外線投射の発光ダイオードが用いられる。発光素子
７３の両側には、受光素子７４が設けられる。受光素子
７４として、指向性の鋭い±１０゜程度のフォトダイオ
ードが用いられる。発光素子７３から眼球に向けて投射
された光は白目および黒目の部分で反射する。白目と黒
目とでは反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平（左右）の眼球運動の動きが出力と
して得られ、和を取れば垂直（上下）方向の眼球の動き
が出力として得られる。
【００１５】水平方向と垂直方向とでは、眼球に対する
センサ７１および７２の位置が異なり、水平方向のセン
サ７１は眼球の上下に対して中央に反射光を検出し、垂
直方向のセンサ７２は下方にて反射光を検出するように
それぞれ配置される。そして、一方の目Ｅ１に水平方向
のセンサ７１が配置され、他方の目Ｅ２の垂直方向のセ
ンサ７２が配置される。これらを同時に用いれば、２次
元的な眼球運動を検出することができる。このような検
出原理を用いて眼球の移動速度，移動方向，移動距離，
注視時間などを求める手法は、たとえば特開昭６０−１
２６１４０号公報において開示される。したがって、図
１に示した眼球運動検出装置５から運転者の眼球運動を
示すデータＥが得られ、注視点処理装置７に与えられる
。
センサ７１および７２の位置が異なり、水平方向のセン
サ７１は眼球の上下に対して中央に反射光を検出し、垂
直方向のセンサ７２は下方にて反射光を検出するように
それぞれ配置される。そして、一方の目Ｅ１に水平方向
のセンサ７１が配置され、他方の目Ｅ２の垂直方向のセ
ンサ７２が配置される。これらを同時に用いれば、２次
元的な眼球運動を検出することができる。このような検
出原理を用いて眼球の移動速度，移動方向，移動距離，
注視時間などを求める手法は、たとえば特開昭６０−１
２６１４０号公報において開示される。したがって、図
１に示した眼球運動検出装置５から運転者の眼球運動を
示すデータＥが得られ、注視点処理装置７に与えられる
。
【００１６】図７は、頭部運動による視線の動きを説明
するための概略図である。図７を参照して、一般に視対
象が移動すると、眼球はその視対象に追従して動く。こ
の眼球の動きに代えて、頭部を移動させることによって
も視対象を追いかけることができる。通常は、両者の動
きを併用して行なっている。頭部運動には、足や背骨の
向きによる平行移動と、首，背骨，腰，足などによって
実現される回転運動とがある。この頭部運動を後述する
方法により、眼球の回転角へ換算し、図７に示した頭部
運動補正眼球回転角αが得られる。図１に示した注視点
処理装置７では、この頭部運動補正眼球回転角αと眼球
自身の回転角θとの組合わせにより、視線データが表現
される。ここで、この回転角αとθの和を総称して視線
と定義する。
するための概略図である。図７を参照して、一般に視対
象が移動すると、眼球はその視対象に追従して動く。こ
の眼球の動きに代えて、頭部を移動させることによって
も視対象を追いかけることができる。通常は、両者の動
きを併用して行なっている。頭部運動には、足や背骨の
向きによる平行移動と、首，背骨，腰，足などによって
実現される回転運動とがある。この頭部運動を後述する
方法により、眼球の回転角へ換算し、図７に示した頭部
運動補正眼球回転角αが得られる。図１に示した注視点
処理装置７では、この頭部運動補正眼球回転角αと眼球
自身の回転角θとの組合わせにより、視線データが表現
される。ここで、この回転角αとθの和を総称して視線
と定義する。
【００１７】図１に示した注視点処理装置７における処
理を以下に説明する。注視点処理装置７は、頭部運動デ
ータＨと眼球運動データＥとを受ける。データＨの水平
運動成分として（Ｈｘ，Ｈｙ，Ｈｚ）が与えられ、回転
運動成分として（Ｈφ，Ｈθ，Ｈψ）が与えられるもの
とする。頭部運動の水平成分（Ｈｘ，Ｈｙ，Ｈｚ）によ
り視線が変化するが、これを眼球回転角（Ｅｘ，Ｅｙ）
に換算するには次式が用いられる。ここでＤは被験者と
観察対象までの距離である。
理を以下に説明する。注視点処理装置７は、頭部運動デ
ータＨと眼球運動データＥとを受ける。データＨの水平
運動成分として（Ｈｘ，Ｈｙ，Ｈｚ）が与えられ、回転
運動成分として（Ｈφ，Ｈθ，Ｈψ）が与えられるもの
とする。頭部運動の水平成分（Ｈｘ，Ｈｙ，Ｈｚ）によ
り視線が変化するが、これを眼球回転角（Ｅｘ，Ｅｙ）
に換算するには次式が用いられる。ここでＤは被験者と
観察対象までの距離である。
【００１８】
【数１】
【００１９】首を左肩方向または右肩方向にＨθだけ傾
げると、眼球運動系の座標が回転する。したがって、Ｈ
θだけ傾いた眼球運動座標系（Ｘｅ，Ｙｅ）を元の観察
対象に直交した座標系（Ｘｅ′，Ｙｅ′）に変換する必
要がある。そのため次式が用いられる。
げると、眼球運動系の座標が回転する。したがって、Ｈ
θだけ傾いた眼球運動座標系（Ｘｅ，Ｙｅ）を元の観察
対象に直交した座標系（Ｘｅ′，Ｙｅ′）に変換する必
要がある。そのため次式が用いられる。
【００２０】
【数２】
Ｘｅ′＝Ｘｅ・ｃｏｓＨθ＋Ｙｅ・ｓｉｎＨθ
……（３）Ｙｅ′＝−Ｘ
ｅ・ｓｉｎＨθ＋Ｙｅ・ｃｏｓＨθ
……（４）頭部運動により実現される視
線の動き（Ｘｈ，Ｙｈ）は、式（１）および（２）から
、次式により表わされる。
……（３）Ｙｅ′＝−Ｘ
ｅ・ｓｉｎＨθ＋Ｙｅ・ｃｏｓＨθ
……（４）頭部運動により実現される視
線の動き（Ｘｈ，Ｙｈ）は、式（１）および（２）から
、次式により表わされる。
【００２１】
【数３】
Ｘｈ＝Ｅｘ＋Ｈψ
……（５）Ｙｈ＝Ｅｙ＋Ｈφ
……（６）したがって、頭の動きを
考慮した視線の動き（Ｘｖ，Ｙｖ）は、式（３）ないし
（６）より、次式により表わされる。
……（５）Ｙｈ＝Ｅｙ＋Ｈφ
……（６）したがって、頭の動きを
考慮した視線の動き（Ｘｖ，Ｙｖ）は、式（３）ないし
（６）より、次式により表わされる。
【００２２】
【数４】
Ｘｖ＝Ｘｅ′＋Ｘｈ
……（７）Ｙｖ＝Ｙｅ′＋Ｙｈ
……（８）式（７）および（８）を用い
ることにより、頭部運動と眼球運動とを組合わせて行な
われている通常の視線の動きを再現することができる。 以上のような処理は、図１に示した注視点処理部７にお
いて行なわれ、視線の動きを示す視線データが画像処理
装置８に与えられる。
……（７）Ｙｖ＝Ｙｅ′＋Ｙｈ
……（８）式（７）および（８）を用い
ることにより、頭部運動と眼球運動とを組合わせて行な
われている通常の視線の動きを再現することができる。 以上のような処理は、図１に示した注視点処理部７にお
いて行なわれ、視線の動きを示す視線データが画像処理
装置８に与えられる。
【００２３】注視点処理装置７では、上記の視線運動の
検出に加えて、視線運動の動きに基づく切換信号ＳＷの
発生が行なわれる。すなわち、前述の演算処理により運
転者２の視線の位置、すなわち注視点の位置が得られる
ので、その注視点の位置を含む状況を撮影しているカメ
ラが選択される。たとえば、視線の水平方向の角度をψ
とし、垂直方向の角度をφとすると、カメラＣ１は、ψ
＜−３０゜かつ−２０゜＜φ＜２０゜の範囲において選
択される。カメラＣ２は、−３０゜＜ψ＜３０゜かつ−
２０゜＜φ＜２０゜の範囲において選択される。カメラ
Ｃ３は、ψ＞＋３０゜かつ−２０゜＜φ＜２０゜の範囲
において選択される。カメラＣ４は、−２０゜≦ψ≦２
０゜かつφ＜−２０゜またはφ＞２０゜の範囲において
選択される。したがって、図１に示した画像切換器３は
、切換信号ＳＷに応答して、カメラＣ１ないしＣ４のう
ち現在の視線のある映像を映している映像信号とその直
前の視線の位置を示している映像信号とをスーパーイン
ポーザ９に与える。
検出に加えて、視線運動の動きに基づく切換信号ＳＷの
発生が行なわれる。すなわち、前述の演算処理により運
転者２の視線の位置、すなわち注視点の位置が得られる
ので、その注視点の位置を含む状況を撮影しているカメ
ラが選択される。たとえば、視線の水平方向の角度をψ
とし、垂直方向の角度をφとすると、カメラＣ１は、ψ
＜−３０゜かつ−２０゜＜φ＜２０゜の範囲において選
択される。カメラＣ２は、−３０゜＜ψ＜３０゜かつ−
２０゜＜φ＜２０゜の範囲において選択される。カメラ
Ｃ３は、ψ＞＋３０゜かつ−２０゜＜φ＜２０゜の範囲
において選択される。カメラＣ４は、−２０゜≦ψ≦２
０゜かつφ＜−２０゜またはφ＞２０゜の範囲において
選択される。したがって、図１に示した画像切換器３は
、切換信号ＳＷに応答して、カメラＣ１ないしＣ４のう
ち現在の視線のある映像を映している映像信号とその直
前の視線の位置を示している映像信号とをスーパーイン
ポーザ９に与える。
【００２４】画像処理装置８は、注視点処理装置７から
与えられた視線データに画像処理を施し、表示装置１０
の画面上に、その視線を表示するのに必要な視線信号を
出力し、それをスーパーインポーザ９に与える。スーパ
ーインポーザ９は、画像切換器３から与えられる映像信
号の上に、与えられた視線信号をスーパーインポーズす
る。スーパーインポーズされた映像信号は表示装置１０
に与えられ、表示装置１０の画面上の選択された背景映
像の上に、運転者の視線の動きが表示される。図８ない
し図１０は、図１に示した表示装置１０における表示例
を示す画面図である。図８は、図２に示したカメラＣ２
によって撮影された映像内で視線が動く場合の表示を示
す。図９は、視線が左側のドアミラー２１に移動したと
きの表示を示す。視線は移動する直前において図８に示
した映像の左側にあるため、左側の映像とカメラＣ１に
よって得られる映像とが同時に表示され、その上に視線
の動きが表示される。同様にして、視線が右側のドアミ
ラー２３に移動したときの表示例が図１０に示される。
与えられた視線データに画像処理を施し、表示装置１０
の画面上に、その視線を表示するのに必要な視線信号を
出力し、それをスーパーインポーザ９に与える。スーパ
ーインポーザ９は、画像切換器３から与えられる映像信
号の上に、与えられた視線信号をスーパーインポーズす
る。スーパーインポーズされた映像信号は表示装置１０
に与えられ、表示装置１０の画面上の選択された背景映
像の上に、運転者の視線の動きが表示される。図８ない
し図１０は、図１に示した表示装置１０における表示例
を示す画面図である。図８は、図２に示したカメラＣ２
によって撮影された映像内で視線が動く場合の表示を示
す。図９は、視線が左側のドアミラー２１に移動したと
きの表示を示す。視線は移動する直前において図８に示
した映像の左側にあるため、左側の映像とカメラＣ１に
よって得られる映像とが同時に表示され、その上に視線
の動きが表示される。同様にして、視線が右側のドアミ
ラー２３に移動したときの表示例が図１０に示される。
【００２５】図１１は、この発明の別の実施例を示す視
線運動表示装置のブロック図である。図１１を参照して
、この視線運動表示装置は、図１に示した画像切換器３
に代えて、画像合成装置４を含む点において図１に示し
た装置と異なる。画像合成装置４は、前述の４つのカメ
ラＣ１ないしＣ４からの映像信号を受けるように接続さ
れる。画像合成装置４は、表示装置１０の１つの画面上
に４つのカメラＣ１ないしＣ４から得られる映像を同時
に表示できるよう、映像信号の合成を行なう。合成され
た映像信号はスーパーインポーザ９に与えられる。スー
パーインポーザ９は合成された映像信号上に視線信号を
スーパーインポーズし、スーパーインポーズされた信号
を表示装置１０に与える。表示装置１０における画像の
表示例が図１２に示される。図１２に示されるように、
４つのカメラＣ１ないしＣ４によって得られた映像が１
つの画面内に表示されており、その画面上で視線の動き
が表示される。
線運動表示装置のブロック図である。図１１を参照して
、この視線運動表示装置は、図１に示した画像切換器３
に代えて、画像合成装置４を含む点において図１に示し
た装置と異なる。画像合成装置４は、前述の４つのカメ
ラＣ１ないしＣ４からの映像信号を受けるように接続さ
れる。画像合成装置４は、表示装置１０の１つの画面上
に４つのカメラＣ１ないしＣ４から得られる映像を同時
に表示できるよう、映像信号の合成を行なう。合成され
た映像信号はスーパーインポーザ９に与えられる。スー
パーインポーザ９は合成された映像信号上に視線信号を
スーパーインポーズし、スーパーインポーズされた信号
を表示装置１０に与える。表示装置１０における画像の
表示例が図１２に示される。図１２に示されるように、
４つのカメラＣ１ないしＣ４によって得られた映像が１
つの画面内に表示されており、その画面上で視線の動き
が表示される。
【００２６】このようにして、広い視野を有する運転者
から見える状況を４つのカメラＣ１ないしＣ４を用いて
撮影し、その撮影された映像上に運転者の視線の動きが
表示される。したがって、歪みのない背景映像の上に運
転者の視線の動きを表示することができるので、視線の
動きの分析が容易となった。
から見える状況を４つのカメラＣ１ないしＣ４を用いて
撮影し、その撮影された映像上に運転者の視線の動きが
表示される。したがって、歪みのない背景映像の上に運
転者の視線の動きを表示することができるので、視線の
動きの分析が容易となった。
【００２７】
【発明の効果】以上のように、請求項１の発明によれば
、被観察者の視野の各部分を撮影する複数の撮影手段を
設け、映像選択手段によって選択された映像上に視線が
表示されるので、歪みのない背景映像の上に被観察者の
視線の動きを表示できる視線表示装置が得られた。
、被観察者の視野の各部分を撮影する複数の撮影手段を
設け、映像選択手段によって選択された映像上に視線が
表示されるので、歪みのない背景映像の上に被観察者の
視線の動きを表示できる視線表示装置が得られた。
【００２８】請求項２の発明によれば、複数の撮影手段
によって得られた被観察者の視野の各部分を１つの画面
上に表示できるように合成する映像合成手段を設けたの
で、歪みのない背景映像の上に被観察者の視線の動きを
表示できる視線表示装置が得られた。
によって得られた被観察者の視野の各部分を１つの画面
上に表示できるように合成する映像合成手段を設けたの
で、歪みのない背景映像の上に被観察者の視線の動きを
表示できる視線表示装置が得られた。
【図１】この発明の一実施例を示す視線運動表示装置の
ブロック図である。
ブロック図である。
【図２】図１に示した４つのカメラの運転席における配
置を示す配置図である。
置を示す配置図である。
【図３】運転者の頭部運動の各運動パラメータの方向を
示す概略図である。
示す概略図である。
【図４】運転席における頭部運動検出の様子を示す概略
図である。
図である。
【図５】図１に示した頭部運動検出装置のブロック図で
ある。
ある。
【図６】図１に示した眼球運動検出装置における検出原
理を示す概略図である。
理を示す概略図である。
【図７】頭部運動における視線の動きを説明するための
概略図である。
概略図である。
【図８】図１に示した表示装置の表示例を示す画面図で
ある。
ある。
【図９】図１に示した表示装置の別の表示例を示す画面
図である。
図である。
【図１０】図１に示した表示装置のさらに別の例を示す
画面図である。
画面図である。
【図１１】この発明の別の実施例を示す視線運動表示装
置のブロック図である。
置のブロック図である。
【図１２】図１１に示した表示装置の表示例を示す画面
図である。
図である。
３ 画像切換器
４ 画像合成装置
５ 眼球運動検出装置
６ 頭部運動検出装置
７ 注視点処理装置
１０ 表示装置
Claims (2)
- 【請求項１】 広い視野を有する被観察者の視線の動
き表示する視線表示装置であって、前記被観察者の眼球
の運動を検出する眼球運動検出手段と、前記被観察者の
頭部運動を検出する頭部運動検出手段と、前記眼球運動
検出手段および前記頭部運動検出手段からの出力データ
を演算処理することにより、前記被観察者の視線の動き
を求める視線演算手段と、前記被観察者の視野を複数の
部分に分け、各部分をそれぞれ撮影する複数の撮影手段
と、前記視線演算手段によって得られる前記被観察者の
視線の動きに応答して、前記複数の撮影手段によって撮
影された複数の映像信号のうちのいくつかを選択する映
像選択手段と、前記映像選択手段によって選択された映
像信号に基づいて、選択された映像を表示し、かつ表示
された映像上に前記視線演算手段によって得られる視線
の動きを表示する表示手段とを含む、視線表示装置。 - 【請求項２】 広い視野を有する被観察者の視線の動
きを表示する視線表示装置であって、前記被観察者の眼
球の運動を検出する眼球運動検出手段と、前記被観察者
の頭部の運動を検出する頭部運動検出手段と、前記眼球
運動検出手段および前記頭部運動検出手段からの出力デ
ータを演算処理することにより、前記被観察者の視線の
動きを求める視線演算手段と、前記被観察者の視野を複
数の部分に分け、各部分をそれぞれ撮影する複数の撮影
手段と、前記複数の撮影手段によって撮影された複数の
映像を１つの画面上に表示できるように合成する映像合
成手段と、前記映像合成手段によって合成された映像を
表示し、かつ表示された映像上に前記視線演算手段によ
って得られる視線の動きを表示する表示手段とを含む、
視線表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3052068A JPH04288122A (ja) | 1991-03-18 | 1991-03-18 | 視線表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3052068A JPH04288122A (ja) | 1991-03-18 | 1991-03-18 | 視線表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04288122A true JPH04288122A (ja) | 1992-10-13 |
| JPH0583246B2 JPH0583246B2 (ja) | 1993-11-25 |
Family
ID=12904500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3052068A Granted JPH04288122A (ja) | 1991-03-18 | 1991-03-18 | 視線表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04288122A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009525529A (ja) * | 2006-02-01 | 2009-07-09 | トビー テクノロジー アーベー | コンピュータシステムにおけるグラフィカルフィードバックの生成 |
| WO2013175701A1 (ja) * | 2012-05-25 | 2013-11-28 | 株式会社ソニー・コンピュータエンタテインメント | 映像解析装置、映像解析方法、および注視点表示システム |
| WO2016002656A1 (ja) * | 2014-06-30 | 2016-01-07 | 凸版印刷株式会社 | 視線計測システム、視線計測方法、及びプログラム |
| JP2016527536A (ja) * | 2013-06-07 | 2016-09-08 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング |
-
1991
- 1991-03-18 JP JP3052068A patent/JPH04288122A/ja active Granted
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009525529A (ja) * | 2006-02-01 | 2009-07-09 | トビー テクノロジー アーベー | コンピュータシステムにおけるグラフィカルフィードバックの生成 |
| WO2013175701A1 (ja) * | 2012-05-25 | 2013-11-28 | 株式会社ソニー・コンピュータエンタテインメント | 映像解析装置、映像解析方法、および注視点表示システム |
| JP2013244212A (ja) * | 2012-05-25 | 2013-12-09 | Sony Computer Entertainment Inc | 映像解析装置、映像解析方法、および注視点表示システム |
| CN104302226A (zh) * | 2012-05-25 | 2015-01-21 | 索尼电脑娱乐公司 | 视频分析设备、视频分析方法和注视点显示系统 |
| US9727130B2 (en) | 2012-05-25 | 2017-08-08 | Sony Interactive Entertainment Inc. | Video analysis device, video analysis method, and point-of-gaze display system |
| JP2016527536A (ja) * | 2013-06-07 | 2016-09-08 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング |
| WO2016002656A1 (ja) * | 2014-06-30 | 2016-01-07 | 凸版印刷株式会社 | 視線計測システム、視線計測方法、及びプログラム |
| JPWO2016002656A1 (ja) * | 2014-06-30 | 2017-05-25 | 凸版印刷株式会社 | 視線計測システム、視線計測方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0583246B2 (ja) | 1993-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170324899A1 (en) | Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method | |
| EP0618471B1 (en) | Image display apparatus | |
| US6389153B1 (en) | Distance information generator and display device using generated distance information | |
| US20060098087A1 (en) | Housing device for head-worn image recording and method for control of the housing device | |
| JPH10327433A (ja) | 合成画像の表示装置 | |
| JPH08313843A (ja) | 視線追従方式による広視野高解像度映像提示装置 | |
| JPH0824358B2 (ja) | 画像ディスプレー装置 | |
| KR100911066B1 (ko) | 화상 표시 시스템, 화상 표시 방법 및 기록 매체 | |
| EP4158447A1 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
| JP2002176661A (ja) | 画像表示装置 | |
| JPH06189906A (ja) | 視線方向計測装置 | |
| JP2017046233A (ja) | 表示装置及び情報処理装置及びその制御方法 | |
| JPH0449943A (ja) | 眼球運動分析装置 | |
| JPH04288122A (ja) | 視線表示装置 | |
| JPH05289739A (ja) | 立体画像処理装置およびテレオペレーティングシステム | |
| WO2012131862A1 (ja) | 画像処理装置、方法およびプログラム | |
| JP6608208B2 (ja) | 画像表示装置 | |
| JPH10115878A (ja) | 指向性スクリーンを用いる３次元画像投写システム | |
| JP2936544B2 (ja) | 視覚情報表示装置 | |
| JP3976860B2 (ja) | 立体映像撮像装置 | |
| JP3206874B2 (ja) | 遠隔施工支援用の画像システム | |
| JPH04288123A (ja) | 視線表示装置 | |
| JP4235291B2 (ja) | 立体映像システム | |
| JP6813437B2 (ja) | 表示システム | |
| JPH10291188A (ja) | 立体映像提示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19940621 |
|
| LAPS | Cancellation because of no payment of annual fees |