JPH08238222A - Apparatus for recognizing line of gaze - Google Patents
Apparatus for recognizing line of gazeInfo
- Publication number
- JPH08238222A JPH08238222A JP7066728A JP6672895A JPH08238222A JP H08238222 A JPH08238222 A JP H08238222A JP 7066728 A JP7066728 A JP 7066728A JP 6672895 A JP6672895 A JP 6672895A JP H08238222 A JPH08238222 A JP H08238222A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- center
- sight
- cornea
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、視線認識装置に関し、
特に、頭部に機器を装着することなく、かつ眼球の位置
が広範囲に動くような状況においても、安定して視線を
認識することができる視線認識装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a visual line recognition device,
In particular, the present invention relates to a line-of-sight recognition device that can stably recognize a line-of-sight even when the position of the eyeball moves over a wide range without mounting a device on the head.
【０００２】[0002]
【従来の技術】従来、この種の視線認識装置において、
視線認識に使われる特徴パラメータとしては、瞳孔，黒
目，角膜反射像，水晶体反射像など、様々な特徴パラメ
ータが用いられ、その視線認識の処理が行われる。その
特徴パラメータの中で、角膜反射像は輝度が高く、ま
た、抽出しやすいことから、視線認識において、よく用
いられる特徴パラメータ（特徴量の情報）である。2. Description of the Related Art Conventionally, in this type of visual line recognition device,
Various characteristic parameters such as a pupil, a black eye, a corneal reflection image, and a crystalline lens reflection image are used as the characteristic parameters used for the visual axis recognition, and the visual axis recognition processing is performed. Among the characteristic parameters, the corneal reflection image has high brightness and is easy to extract, and thus is a characteristic parameter (characteristic amount information) often used in line-of-sight recognition.
【０００３】角膜反射像を用いる視線認識法としては、
次のような２種類の方法がある。すなわち、頭部に光
源およびセンサが具備されている機器を装着するタイプ
（以下、機器装着型と略称する）と、光源およびセン
サが頭部とは独立して存在しているタイプ（以下、機器
非装着型と略称する）である。As a visual line recognition method using a corneal reflection image,
There are two types of methods as follows. That is, a type in which a device equipped with a light source and a sensor is mounted on the head (hereinafter referred to as a device mounting type), and a type in which the light source and the sensor exist independently of the head (hereinafter, a device). It is abbreviated as a non-wearable type).
【０００４】の機器装着型の代表例としては、アイマ
ークレコーダが挙げられる。ここでの視線認識では、眼
球の回転中心と眼球を観測する観測系と点光源との位置
関係が固定されているという条件の下では、角膜反射像
は眼球の回転に応じて移動するという動作原理が用られ
て、眼球の回転中心と角膜の曲率中心の位置がずれてい
ることを利用する。このような機器装着型の装置によ
り、頭部座標系における視線を容易に認識することがで
きる。As a typical example of the equipment mounting type, there is an eye mark recorder. In the gaze recognition here, under the condition that the positional relationship between the rotation center of the eyeball, the observation system for observing the eyeball, and the point light source is fixed, the corneal reflection image moves according to the rotation of the eyeball. The principle is used, and the fact that the center of rotation of the eyeball and the center of curvature of the cornea are offset is used. With such a device-mounted device, the line of sight in the head coordinate system can be easily recognized.
【０００５】また、の機器非装着型の代表例として
は、Ｃｏｒｎｓｗｅｅｔ 等が開発した角膜反射像と第
４プルキンエ像（水晶体後面における反射像）を用いる
手法や、角膜反射像と瞳孔中心を用いる手法などが挙げ
られる。この機器非装着型の場合には、光源および観測
系に対する頭部の位置が固定されていないため、角膜反
射像の動きは、眼球の動き成分だけでなく、頭部の動き
成分も含まれる。そこで、角膜運動成分のみを抽出する
ため、角膜反射像だけでなく、第４プルキンエ像や瞳孔
中心の情報が用いられる。Further, as a typical example of the non-equipment type, a method using a corneal reflection image and a fourth Purkinje image (reflection image on the posterior surface of the lens) developed by Cornsweet et al., Or a method using a corneal reflection image and a pupil center And so on. In the case of this non-equipment type, since the position of the head with respect to the light source and the observation system is not fixed, the movement of the corneal reflection image includes not only the movement component of the eyeball but also the movement component of the head. Therefore, in order to extract only the corneal motion component, not only the corneal reflection image but also the fourth Purkinje image and information on the center of the pupil are used.
【０００６】特徴パラメータの角膜反射像からは、角膜
の曲率中心の位置情報が得られる。また、瞳孔中心の位
置情報は、眼球の画像処理により容易に得られるので、
眼球の光軸方向が判定できる。例えば、図３に示すよう
な眼球モデルを考えれば、明らかなように、角膜曲率中
心Ｏと瞳孔中心Ｃの位置情報から、眼球の光軸方向が判
定できる。なお、図３において、３１は角膜、３２は強
膜、３３は虹彩、３４は水晶体である。また、第４プル
キンエ像からは、水晶体後面の曲率中心の位置情報が得
られるので、角膜反射像（角膜曲率中心）と第４プルキ
ンエ像からも、同様にして、眼球の光軸方向が得られ
る。なお、実際には、ここで求められる眼球光軸と視線
軸には、ずれがあるため補正を行う。Position information of the center of curvature of the cornea can be obtained from the corneal reflection image of the characteristic parameter. Further, since the position information of the center of the pupil can be easily obtained by image processing of the eyeball,
The optical axis direction of the eyeball can be determined. For example, considering an eyeball model as shown in FIG. 3, as is apparent, the optical axis direction of the eyeball can be determined from the position information of the corneal curvature center O and the pupil center C. In FIG. 3, 31 is a cornea, 32 is a sclera, 33 is an iris, and 34 is a crystalline lens. Further, since the position information of the center of curvature of the posterior surface of the lens is obtained from the fourth Purkinje image, the optical axis direction of the eyeball can be similarly obtained from the corneal reflection image (corneal curvature center) and the fourth Purkinje image. . In reality, there is a deviation between the optical axis of the eyeball and the line-of-sight axis obtained here, so correction is performed.
【０００７】[0007]
【発明が解決しようとする課題】このように、従来にお
ける視線認識方法は、機器非装着型の場合には、角膜反
射像から角膜曲率中心の位置を求めてから、他の情報
（瞳孔中心や第４プルキンエ像など）と統合して視線を
求める方法が、一般的な方法となっている。なお、この
場合において、角膜曲率中心を求める際の計算アルゴリ
ズムの根拠は、角膜の球面性であるが、実際の角膜は非
球面であり、角膜頂点部と角膜周辺部では、曲率がかな
り異なる場合が多い。このため、眼球の角膜全体を球と
してモデル化した視線認識方法では、十分な精度の向上
が期待できない。As described above, in the conventional eye gaze recognition method, in the case of the non-equipment type, the position of the corneal curvature center is obtained from the corneal reflection image, and then other information (such as the pupil center and the pupil center) is obtained. A general method is to obtain a line of sight by integrating with a fourth Purkinje image). In this case, the basis of the calculation algorithm for obtaining the center of curvature of the cornea is the spherical property of the cornea, but the actual cornea is an aspherical surface, and the curvature is considerably different between the apex of the cornea and the peripheral part of the cornea. There are many. For this reason, the gaze recognition method in which the entire cornea of the eyeball is modeled as a sphere cannot be expected to sufficiently improve accuracy.
【０００８】具体例で説明する。図７は、視線認識装置
の実験環境を説明する図であり、また、図８は、図７に
示す視線認識装置の実験環境による実験結果例を示す図
である。例えば、図７（ａ）および（ｂ）に示すよう
に、ＣＣＤカメラ７１と、ディスプレイ装置７２，発光
ダイオード群のパターン光源７３，および視線計算処理
装置７４から構成される視線認識装置の実験環境を用い
て、被験者７５の視線方向の認識を行う場合は、被験者
７５の視線の方向に応じて、角膜反射像の位置が異なっ
てくる。A specific example will be described. FIG. 7 is a diagram for explaining an experimental environment of the visual line recognition device, and FIG. 8 is a diagram showing an example of an experimental result by the experimental environment of the visual line recognition device shown in FIG. 7. For example, as shown in FIGS. 7A and 7B, an experimental environment of a visual line recognition device including a CCD camera 71, a display device 72, a pattern light source 73 of a light emitting diode group, and a visual line calculation processing device 74 is set. When using the recognition of the line-of-sight direction of the subject 75, the position of the corneal reflection image varies depending on the direction of the line-of-sight of the subject 75.
【０００９】つまり、図７に示す実験環境において、被
験者７５の視線認識対象の眼球に参照光となるパターン
光ビームを照射し、当該眼球の角膜上に複数の特徴点を
持つ像を結像させるパターン光ビームの光源として、図
７（ｂ）に示すように、赤外線発光ダイオードを、ディ
スプレイ装置７２の画面の周囲に約３００個を矩形状に
配設する。そして、ここからの矩形のパターン光源７３
を、視線認識対象の眼球の角膜に照射し、角膜反射像を
ＣＣＤカメラ７１により検出する。ＣＣＤカメラ７１
は、ディスプレイ装置７２の上部に設けられており、被
験者７５の人の眼球の画像を取り込む。なお、デイスプ
レイ装置７２の画面中のｓ０〜ｓ５の丸印は、ここでの
実験に用いた注視点の位置を示している。That is, in the experimental environment shown in FIG. 7, the eyeball of the subject 75 whose line-of-sight recognition target is irradiated with the pattern light beam as the reference light to form an image having a plurality of characteristic points on the cornea of the eyeball. As a light source of the pattern light beam, as shown in FIG. 7B, about 300 infrared light emitting diodes are arranged in a rectangular shape around the screen of the display device 72. Then, the rectangular pattern light source 73 from here
Is irradiated on the cornea of the eyeball to be recognized as the line of sight, and the cornea reflection image is detected by the CCD camera 71. CCD camera 71
Is provided on the upper part of the display device 72 and captures an image of the eyeball of the person of the subject 75. The circle marks s0 to s5 on the screen of the display device 72 indicate the position of the gazing point used in the experiment here.
【００１０】このような実験結果によると、被験者の視
線の方向に応じて、図８（ａ）および図８（ｂ）に示す
ようになり、被験者が注視する位置を注視点ｓ０，ｓ１
と変えた場合、その視線に応じて、角膜反射像の位置が
異なってくる。図８（ａ）に示す画像は、注視点ｓ０を
注視している場合の被験者の人の眼の画像であり、図８
（ｂ）の画像は、注視点ｓ１を注視している場合の被験
者の人の眼の画像である。ここでの眼球上の歪んだ四角
い白抜きの図形が角膜反射像であり、見ている場所に応
じて反射像の角膜上の位置が変位化する。注視点ｓ０を
注視しているときは角膜中央から周辺部にかけて反射像
ができ、注視点ｓ１を注視しているときには角膜頂点部
に反射像ができる。According to the results of such an experiment, as shown in FIGS. 8 (a) and 8 (b), depending on the direction of the line of sight of the subject, the positions at which the subject gazes are gaze points s0 and s1.
When changed to, the position of the corneal reflection image differs depending on the line of sight. The image shown in FIG. 8A is an image of the human eye of the subject when gazing at the gazing point s0.
The image in (b) is an image of the human eye of the subject when gazing at the gazing point s1. The distorted square figure on the eyeball here is a corneal reflection image, and the position of the reflection image on the cornea is displaced depending on the place where the user is looking. When gazing at the gazing point s0, a reflection image is formed from the center of the cornea to the peripheral portion, and when gazing at the gazing point s1, a reflection image is formed at the apex of the cornea.
【００１１】このように、視線認識の対象となる眼球の
角膜上にその光源パターンの反射像を結像させている状
態において、その視線方向が異なる場合、被験者の眼球
の見ている方向によって、四角いパターン光源（７３：
図７）の画像の角膜における反射位置は異なる。ディス
プレイ装置の画面の端（注視点ｓ０）を見ているとき
は、図８（ａ）に示すような眼球像となり、ディスプレ
イ装置の中央部（注視点ｓ１）を見ているときには、図
８（ｂ）に示すような眼球像となる。なお、図８（ａ）
の場合、角膜中央部から角膜周辺部まで広範囲に結像し
ている。As described above, in the state where the reflected image of the light source pattern is formed on the cornea of the eyeball which is the object of line-of-sight recognition, when the line-of-sight direction is different, the direction of the eyeball of the subject is Square pattern light source (73:
The reflection position on the cornea of the image of FIG. 7) is different. When looking at the edge of the screen of the display device (attention point s0), an eyeball image as shown in FIG. 8A is obtained, and when looking at the central portion (attention point s1) of the display device at FIG. The eyeball image is as shown in b). Note that FIG.
In the case of, the image is formed in a wide range from the central part of the cornea to the peripheral part of the cornea.
【００１２】視線認識を行う場合には、四角いパターン
光源の画像の特徴点である反射像の屈折点（矩形の４隅
の点）の位置情報を用いて視線計算を行う。四角いパタ
ーン光源の反射像を用いるため、被験者の動きによって
は、その眼瞼により反射像の一部が遮られる場合もある
が、四角いパターン光源の特徴点の屈折点は最高４点検
出される。本例では、検出された屈折点のうち適当に２
点を選択して視線計算を行うが、その際、屈折点の選択
の仕方によって、どれだけのバラツキが生じるかの実験
結果を、図９に示している。When the line-of-sight recognition is performed, the line-of-sight calculation is performed using the positional information of the refraction points (points at the four corners of the rectangle) of the reflection image, which are the characteristic points of the image of the rectangular pattern light source. Since the reflection image of the square pattern light source is used, a part of the reflection image may be blocked by the eyelid depending on the movement of the subject, but up to four inflection points of the feature points of the square pattern light source are detected. In this example, 2 out of the detected refraction points is appropriately set.
The line-of-sight calculation is performed by selecting points. FIG. 9 shows an experimental result showing how much variation occurs depending on how the refraction points are selected.
【００１３】図９（ａ）および図９（ｂ）に示すグラフ
は、ｓ０を注視している場合とｓ１を注視している場合
のそれぞれの場合において、ディスプレス表示画面の座
標系の注視点ｓ０，ｓ１の表示位置と計算された視線の
位置をそれぞれに表示している。すなわち、図９（ａ）
のグラフは、図８（ａ）の画像を用いて視線計算を行っ
た結果の例であり、この場合、４ヵ所の特徴点から２点
を選んで計算しているので、図中には、その組合せの数
（4Ｃ2＝６）により６点の計算された視線の位置の結果
が示されている。この視線位置の計算結果の場合、前述
したように、注視点ｓ０がディスプレイ装置の画面の端
部であり、図８（ａ）に示すように、角膜反射像は比較
的に角膜の広範囲に結像しているため、角膜周辺部での
曲率と中央部での曲率の違いが、計算結果に大きなバラ
ツキを与えている。The graphs shown in FIGS. 9 (a) and 9 (b) show the gazing point of the coordinate system of the display screen when s0 is gazed and when s1 is gazed. The display positions of s0 and s1 and the calculated line-of-sight position are displayed respectively. That is, FIG. 9 (a)
The graph of is an example of the result of line-of-sight calculation using the image of FIG. 8A. In this case, since two points are selected from the four feature points for calculation, The number of combinations ( 4 C 2 = 6) gives the results of the calculated gaze position of 6 points. In the case of the calculation result of the line-of-sight position, as described above, the gazing point s0 is the end portion of the screen of the display device, and as shown in FIG. 8A, the corneal reflection image is formed in a relatively wide range of the cornea. Since it is an image, the difference between the curvature at the peripheral part of the cornea and the curvature at the central part gives a large variation to the calculation result.
【００１４】また、図９（ｂ）のグラフは、図８（ｂ）
の画像を用いて視線計算を行った結果の例である。この
場合においても、４ヵ所の特徴点から２点を選んで計算
しているので、図中には、その組合せの数（4Ｃ2＝６）
により６点の計算された視線の位置の結果が示されてい
るが、この視線位置の計算結果の場合は、注視点ｓ１が
ディスプレイ装置の画面の中央部であるので、図８
（ｂ）に示すように、角膜反射像は角膜頂点付近で結像
していることから、曲率の違いが大きくなく、図８
（ｂ）の画像を用いて視線計算を行った計算結果は、比
較的計算結果のバラツキが小さいものとなっている。Further, the graph of FIG. 9 (b) is shown in FIG. 8 (b).
It is an example of the result of performing the line-of-sight calculation using the image. In this case as well, two points are selected from the four characteristic points for calculation, so the number of combinations ( 4 C 2 = 6) is shown in the figure.
Shows the result of the calculated line-of-sight position of six points. In the case of the result of calculation of the line-of-sight position, since the gazing point s1 is the central portion of the screen of the display device, FIG.
As shown in FIG. 8B, since the corneal reflection image is formed near the apex of the cornea, the difference in curvature is not so large, and FIG.
The calculation result of the line-of-sight calculation using the image of (b) has a relatively small variation in the calculation result.
【００１５】なお、機器非装着型の場合は、頭部，光
源，観測系の位置関係が固定されない状態における視線
認識であるため、角膜上のあらゆる場所に反射像が結像
される可能性があり、また、視線の計算結果のバラツキ
が大きいと、視線計算結果の補正処理が非常に難しくな
る。すなわち、視線の計算に用いる反射像の特徴点の選
択の相違によっては、所定の補正方法が他の選択では余
り有効ではないという状況も生じる。In the case of the non-equipment type, since the line-of-sight recognition is performed in a state where the positional relationship between the head, the light source, and the observation system is not fixed, there is a possibility that a reflection image may be formed on any place on the cornea. In addition, if the variation in the line-of-sight calculation result is large, it becomes very difficult to correct the line-of-sight calculation result. That is, depending on the difference in the selection of the characteristic points of the reflection image used for the calculation of the line of sight, a situation arises in which the predetermined correction method is not very effective in other selections.
【００１６】本発明は、これらの様々な問題点を解決す
るためになされたものであり、本発明の目的は、角膜の
曲率がほぼ一定であると見なせる領域だけから角膜反射
像の情報を抽出して視線方向を計算し、視線方向の計算
に用いる角膜反射像の扱い方によって計算結果にバラツ
キが生じないようにした視線認識装置を提供することに
ある。The present invention has been made in order to solve these various problems, and an object of the present invention is to extract information of a corneal reflection image only from a region where the curvature of the cornea can be considered to be substantially constant. Another object of the present invention is to provide a line-of-sight recognition device in which the line-of-sight direction is calculated and the calculation result does not vary depending on how the corneal reflection image used to calculate the line-of-sight direction is handled.
【００１７】[0017]
【課題を解決するための手段】上記のような目的を達成
するため、本発明による視線認識装置は、視線認識対象
の眼球に光を照射し当該眼球の角膜上に複数の特徴点を
持つ像を結像させ、前記角膜上に結像された像の特徴点
から前記眼球の角膜曲率中心を求め、角膜曲率中心と瞳
孔中心の位置情報から視線方向を認識する視線認識装置
において、角膜曲率中心と瞳孔中心の位置関係から仮の
視線方向を計算する仮視線計算手段（１６ａ）と、仮の
視線方向と瞳孔の位置情報から限定された角膜領域を求
める角膜領域判定手段（１６ｂ）と、前記限定された角
膜領域内に前記像の特徴点がある場合には、仮の視線方
向を視線認識結果とし、限定された角膜領域内に前記像
の特徴点がない場合には、限定された角膜領域内に存在
する像の特徴点を選択し、選択された像の特徴点から前
記眼球の角膜曲率中心を求めて、角膜曲率中心と瞳孔中
心の位置情報とから視線方向を認識し、視線認識結果と
する処理手段（１６ｃ）とを備えることを特徴とする。In order to achieve the above object, a visual line recognition device according to the present invention is an image having a plurality of characteristic points on the cornea of the eyeball by irradiating the eyeball of the visual line recognition target with light. In the visual axis recognition device for recognizing the visual line direction from the positional information of the center of the corneal curvature and the center of the pupil, by obtaining the image of the corneal curvature center of the eyeball from the characteristic point of the image formed on the cornea. And a tentative line-of-sight calculation means (16a) for calculating a tentative line-of-sight direction from the positional relationship between the pupil center and a corneal region determination unit (16b) for obtaining a limited corneal region from the tentative line-of-sight direction and the position information of the pupil. When there is a feature point of the image in the limited corneal region, the provisional line-of-sight direction is used as the line-of-sight recognition result, and when there is no feature point of the image in the limited corneal region, the limited cornea The feature points of the image existing in the area A processing means (16c) which obtains the corneal curvature center of the eyeball from the feature points of the selected image, recognizes the visual line direction from the positional information of the corneal curvature center and the pupil center, and obtains the visual line recognition result. It is characterized by being provided.
【００１８】[0018]
【作用】本発明の視線認識装置における視線認識の基本
動作は、まず、視線認識対象の眼球に光（例えば、複数
の識別可能な特徴点を有するパターン光ビーム）を照射
して、当該眼球の角膜上に複数の特徴点を持つ像を結像
させ、前記角膜上に結像された像の特徴点から前記眼球
の角膜曲率中心を求め、角膜曲率中心と瞳孔中心の位置
情報から視線方向を認識する。この場合、仮視線計算手
段（１６ａ）が、角膜曲率中心と瞳孔中心の位置関係か
ら仮の視線方向を計算すると、角膜領域判定手段（１６
ｂ）が、仮の視線方向と瞳孔の位置情報から限定された
角膜領域を求める。そして、処理手段（１６ｃ）が、前
記限定された角膜領域内に前記像の特徴点がある場合に
は、仮の視線方向を視線認識結果とし、また、限定され
た角膜領域内に前記像の特徴点がない場合には、限定さ
れた角膜領域内に存在する像の特徴点を選択し、選択さ
れた像の特徴点から、前記眼球の角膜曲率中心を求め
て、角膜曲率中心と瞳孔中心の位置情報とから視線方向
を認識し、視線認識結果とする。The basic operation of line-of-sight recognition in the line-of-sight recognition device of the present invention is as follows. First, the eyeball of the line-of-sight recognition target is irradiated with light (for example, a pattern light beam having a plurality of identifiable characteristic points), An image having a plurality of characteristic points is formed on the cornea, the corneal curvature center of the eyeball is obtained from the characteristic points of the image formed on the cornea, and the line-of-sight direction is determined from the position information of the corneal curvature center and the pupil center. recognize. In this case, when the provisional line-of-sight calculation means (16a) calculates the provisional line-of-sight direction from the positional relationship between the corneal curvature center and the pupil center, the corneal region determination means (16).
In b), the limited corneal region is obtained from the provisional line-of-sight direction and pupil position information. Then, when there is a feature point of the image in the limited corneal region, the processing means (16c) sets the provisional line-of-sight direction as the line-of-sight recognition result, and the image of the image in the limited corneal region. When there is no feature point, the feature point of the image existing in the limited corneal region is selected, the center of corneal curvature of the eye is obtained from the feature point of the selected image, and the center of corneal curvature and the center of the pupil are calculated. The line-of-sight direction is recognized based on the position information of (1) and the line-of-sight recognition result.
【００１９】このようにして、視線認識において、眼球
の角膜を球面として、モデル化して扱うことのできる角
膜の領域を限定することにより、曲率中心として求まる
位置の精度が高くなる。この結果、認識される視線の精
度を高くすることができる。また、これにより、視線認
識の結果には、計算処理による結果のバラツキが少なく
なり、後処理の視線方向の補正が行い易くなる。In this way, in the visual axis recognition, the cornea of the eyeball is assumed to be a spherical surface, and the area of the cornea that can be modeled and treated is limited, so that the accuracy of the position obtained as the center of curvature becomes high. As a result, the accuracy of the recognized line of sight can be increased. Further, as a result, the variation in the result of the calculation processing is reduced in the result of the line-of-sight recognition, and it becomes easier to correct the line-of-sight direction in the post-processing.
【００２０】[0020]
【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。図１は本発明の一実施例にかかる視線認
識装置の全体の構成を示すブロック図である。図１にお
いて、１１は撮像装置（ＣＣＤカメラ）、１２は画像処
理部、１３は画像解析認識部、１４は光源パターンデー
タベース、１５は曲率中心演算部、１６は視線演算処理
部、１６ａは仮視線計算部、１６ｂは領域判定部、１６
ｃは視線認識処理部である。DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be specifically described below with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of a visual line recognition device according to an embodiment of the present invention. In FIG. 1, 11 is an image pickup device (CCD camera), 12 is an image processing unit, 13 is an image analysis / recognition unit, 14 is a light source pattern database, 15 is a curvature center calculation unit, 16 is a visual axis calculation processing unit, and 16a is a temporary visual line. The calculation unit, 16b is the area determination unit, 16
Reference numeral c is a line-of-sight recognition processing unit.
【００２１】撮像装置１１により、撮影された眼の画像
データは、画像ノイズを画像処理部１２により除去し、
画像解析認識部１３により、閾値処理を行って、虹彩，
眼瞼等の像を除去し、角膜反射像のみを抽出する前処理
を行う。光源パターンデータベース１４には、被験者の
視線認識の対象となる眼球の角膜上に、複数の特徴点を
持つ反射像を結像させているパターン光ビームの光源パ
ターンが格納されている。画像解析認識部１３は、この
光源パターンの矩形マスクを用いた画像解析処理を行
う。すなわち、画面上の抽出された角膜反射像に対し
て、光源パターンの矩形マスクによるマスク走査の画像
処理を行って、予め用意された光源パターンと合致する
ものを判定し、反射像の複数の特徴点を検出すると共
に、その特徴点の画像上における位置情報を特定する。In the image data of the eye photographed by the image pickup device 11, image noise is removed by the image processing unit 12,
The image analysis / recognition unit 13 performs threshold processing,
The image of the eyelid or the like is removed, and pre-processing is performed to extract only the corneal reflection image. The light source pattern database 14 stores a light source pattern of a pattern light beam that forms a reflection image having a plurality of feature points on the cornea of the eyeball that is the subject of line-of-sight recognition. The image analysis recognition unit 13 performs image analysis processing using the rectangular mask of this light source pattern. In other words, the extracted corneal reflection image on the screen is subjected to mask scanning image processing using a rectangular mask of the light source pattern, and it is determined which one matches the light source pattern prepared in advance. The point is detected and the position information of the feature point on the image is specified.
【００２２】曲率中心演算部１５は、後述するように、
公知の演算手法を用いて、撮影された画像中の曲率中心
を求める。そして、求められた曲率中心の位置を視線演
算処理部１６に供給する。視線演算処理部１６は、曲率
中心の位置が供給されると、視線計算を行って、視線認
識処理を行う。次に、視線演算処理部１６が行う視線計
算について、具体的に説明する。The curvature center calculator 15 will be described later.
The center of curvature in the captured image is obtained using a known calculation method. Then, the calculated position of the center of curvature is supplied to the line-of-sight calculation processing unit 16. When the position of the center of curvature is supplied, the line-of-sight calculation processing unit 16 performs line-of-sight calculation and performs line-of-sight recognition processing. Next, the gaze calculation performed by the gaze calculation processing unit 16 will be specifically described.
【００２３】図２は、視線演算処理部が行う視線計算を
中心とする視線認識処理の処理フローを示すフローチャ
ートである。図２を参照して説明する。処理を開始する
と、まず、ステップ２１において、角膜反射像から曲率
中心に用いる特徴点を選び、角膜曲率中心を求める。次
に、ステップ２２において、角膜曲率中心と瞳孔中心の
位置関係から仮の視線を方向を計算し、次のステップ２
３において、仮の視線方向と瞳孔の位置関係から限定さ
れた角膜領域を求める。そして、次のステップ２４にお
いて、求められた角膜領域に対し、特徴点が限定された
角膜領域に含まれるか否かを判定する。特徴点が限定さ
れた角膜領域に含まれる場合は、次のステップ２５に進
み、先に求めた仮の視線方向を、ここで求める視線認識
結果として出力し、この処理を終了する。また、ステッ
プ２４の判定において、特徴点が限定された角膜領域に
含まれない場合は、ステップ２６に進み、角膜領域に含
まれる特徴点を選択し直し、角膜曲率中心を再計算して
求める。そして、ステップ２２に戻り、ステップ２２か
らの処理を繰り返す。FIG. 2 is a flowchart showing the processing flow of the visual axis recognition processing centered on the visual axis calculation performed by the visual axis calculation processing section. This will be described with reference to FIG. When the processing is started, first, in step 21, a feature point used as the center of curvature is selected from the corneal reflection image, and the center of corneal curvature is obtained. Next, in step 22, the direction of the tentative line of sight is calculated from the positional relationship between the corneal curvature center and the pupil center, and the next step 2
In 3, the limited corneal region is obtained from the temporary positional relationship between the line-of-sight direction and the pupil. Then, in the next step 24, it is determined whether or not the feature points are included in the limited corneal region with respect to the obtained corneal region. If the feature point is included in the limited corneal region, the process proceeds to the next step 25, and the previously obtained provisional line-of-sight direction is output as the line-of-sight recognition result obtained here, and this process is ended. If the feature point is not included in the limited corneal region in the determination in step 24, the process proceeds to step 26, the feature point included in the corneal region is reselected, and the corneal curvature center is recalculated and obtained. Then, the process returns to step 22 and the processing from step 22 is repeated.
【００２４】なお、本実施例の視線認識装置において
は、角膜反射像を形成するための光源パターンとして、
図７に示したような四角いパターン光源（断面が四角形
のパターン光ビーム）を用いているが、このようにし
て、被験者の視線認識の対象となる眼球の角膜上に、そ
の光源パターンの反射像を結像させている状態を具体例
として、視線認識の計算処理について、視線演算処理部
１６の動作を具体的に説明する。In the visual line recognition device of this embodiment, the light source pattern for forming the corneal reflection image is
A square pattern light source (a pattern light beam having a quadrangular cross section) as shown in FIG. 7 is used, and in this way, a reflection image of the light source pattern is formed on the cornea of the eyeball which is the subject of line-of-sight recognition of the subject. The operation of the line-of-sight calculation processing unit 16 will be specifically described regarding the calculation process of the line-of-sight recognition, using the state where the image is formed as a specific example.
【００２５】視線演算処理部１６においては、まず、仮
視線計算部１６ａにより仮の視線計算を行う。その場
合、図３に示す眼球モデルに従って説明すると、例え
ば、視線認識を行う対象眼球の虹彩（黒目）３３と強膜
（白目）３２との境界（以下、虹彩輪郭と称する）が円
形であり、しかも、その円の中心が、瞳孔中心と一致す
るとして、眼球の幾何学形状をモデル化する。また、眼
球をモデル化するパラメータである虹彩輪郭の半径
（ｒ）と角膜の曲率半径（Ｒ）は、ここでは曲率中心演
算部１５による処理によって、事前に所定の前処理によ
って計測されているものとする。In the line-of-sight calculation processing unit 16, first, the temporary line-of-sight calculation unit 16a performs temporary line-of-sight calculation. In that case, to explain according to the eyeball model shown in FIG. 3, for example, the boundary between the iris (black eye) 33 and the sclera (white eye) 32 of the target eyeball for which line-of-sight recognition is performed (hereinafter, referred to as iris contour) is circular, Moreover, the geometrical shape of the eyeball is modeled assuming that the center of the circle coincides with the center of the pupil. The radius (r) of the iris contour and the radius of curvature (R) of the cornea, which are parameters for modeling the eyeball, are measured in advance by a predetermined preprocessing by the processing by the curvature center calculation unit 15 here. And
【００２６】図７により先に説明したように、例えば、
視線認識の前処理において、被験者７５がＣＣＤカメラ
７１のレンズを注視した状態で、カメラに対して眼球が
真正面を向いている時の眼球画像から角膜領域を切り出
し、切り出した領域画像の直径とカメラの倍率によっ
て、その虹彩輪郭の半径（ｒ）を算出する。As described above with reference to FIG. 7, for example,
In the pre-process of line-of-sight recognition, the cornea region is cut out from the eyeball image when the subject 75 is gazing at the lens of the CCD camera 71 and the eyeball is facing directly in front of the camera, and the diameter of the cutout region image and the camera The radius (r) of the iris contour is calculated by the magnification of.
【００２７】また、曲率半径（Ｒ）についても、文献
「光学シリーズ１０，めがね光学，小瀬輝次監修，大頭
仁他著，共立出版（株）発行」に記載されているよう
に、公知のオフサルモメータ（ｏｐｈｔｈａｌｍｏｍｅ
ｔｅｒ）の原理により計測する。すなわち、この場合に
は、角膜反射像の位置がその曲率半径によって変化する
ことを利用し、１ないし２個の視標（特徴像）の角膜反
射像を種々の方法で分離し、再び合致させることにより
角膜曲率半径を測定する。The radius of curvature (R) is also known as described in the document "Optical Series 10, Glass Optics, Supervision by Teruji Kose, Hitoshi Ohtou et al., Kyoritsu Shuppan Co., Ltd." Salmometer
ter) principle. That is, in this case, by utilizing the fact that the position of the corneal reflection image changes depending on the radius of curvature thereof, the corneal reflection images of one or two visual targets (feature images) are separated by various methods and are matched again. To measure the radius of curvature of the cornea.
【００２８】角膜曲率中心と瞳孔中心の距離ｄの求め方
は、例えば、眼球の角膜をほぼ完全な球面としてモデル
化し、虹彩輪郭の半径（ｒ）から、ｄ＝（Ｒ2−ｒ2）
1/2として近似する。または、瞳孔を円としてモデル化
し、瞳孔輪郭がはっきりと抽出されている画像を用い
て、視線方向に応じて瞳孔の円が楕円として観測できる
と推定し、その瞳孔の画像の輪郭を楕円でフィッティン
グし、その楕円の長軸と単軸の長さの比から、眼球の光
軸の方向（θ：カメラの光軸方向と眼球方向のなす角）
を計算し、更に、その時の角膜反射像から求まる角膜曲
率中心と瞳孔中心の距離（Ｌ）から、距離ｄ（ｄ＝Ｌ／
ｓｉｎθ）を求めるようにしても良い。The distance d between the center of curvature of the cornea and the center of the pupil is calculated, for example, by modeling the cornea of the eyeball as a substantially perfect sphere, and d = (R 2 −r 2 ) from the radius (r) of the iris contour.
Approximate as 1/2 . Alternatively, by modeling the pupil as a circle and using an image in which the contour of the pupil is clearly extracted, it is estimated that the pupil circle can be observed as an ellipse according to the line-of-sight direction, and the contour of the pupil image is fitted with an ellipse. The direction of the optical axis of the eyeball from the ratio of the major axis of the ellipse to the length of the single axis (θ: angle between the optical axis direction of the camera and the eyeball direction)
From the distance (L) between the center of the corneal curvature and the center of the pupil obtained from the corneal reflection image at that time, and the distance d (d = L /
sin θ) may be obtained.
【００２９】次に、領域判定部１６ｂにより、仮に求ま
った視線方向から角膜上の特徴点選択領域Ａを求める。
ここで、特徴点選択領域Ａの大きさを規定するパラメー
タとして、角度αを設定する（図３）。この角度αは、
特徴点選択領域Ａの縁の点と角膜曲率中心Ｏを結ぶ線分
と眼球光軸とのなす角度とする。ただし、撮像した眼の
画像から特徴点選択領域Ａを推定する際には若干の注意
を要する。図４および図５により、後述するように、眼
の画像に特徴点選択領域Ａの全体が映っている場合と、
一部が隠れている場合の２通りの可能性があるので、そ
れぞれの場合に応じて、眼の画像中の特徴点選択領域Ａ
の計算法に違いがある。Next, the area determination unit 16b calculates the feature point selection area A on the cornea from the tentatively obtained line-of-sight direction.
Here, the angle α is set as a parameter that defines the size of the feature point selection area A (FIG. 3). This angle α is
The angle formed by the line segment connecting the edge point of the feature point selection area A and the corneal curvature center O and the eyeball optical axis. However, some caution is required when estimating the feature point selection area A from the captured eye image. As will be described later with reference to FIGS. 4 and 5, the case where the entire feature point selection area A is shown in the eye image,
Since there are two possibilities when a part is hidden, depending on each case, the feature point selection area A in the eye image is selected.
There is a difference in the calculation method of.
【００３０】図４および図５は、ここでの特徴点選択領
域Ａの全体が眼の画像に映っている場合と、一部が隠れ
ている場合のそれぞれの画像処理の違いを説明する図で
ある。図４（ａ）は、２つの場合の観測方向１と観測方
向２との観測方向の違いを説明する図であり、図４
（ｂ）は、観測方向１から見た眼球像を説明する模式図
であり、図４（ｃ）は、観測方向２から見た眼球像を説
明する模式図である。また、図５において、５１は角膜
の曲率を中心として角膜曲率半径Ｒに等しい半径の球面
（つまり角膜を含む球面）、５２は瞳孔、５３は特徴点
選択領域Ａとなる観測楕円をそれぞれ表している。FIGS. 4 and 5 are views for explaining the difference in image processing between the case where the entire feature point selection area A is shown in the eye image and the case where a part of the feature point selection area A is hidden. is there. FIG. 4A is a diagram for explaining the difference in the observation direction between the observation direction 1 and the observation direction 2 in the two cases.
FIG. 4B is a schematic diagram illustrating an eyeball image viewed from the observation direction 1, and FIG. 4C is a schematic diagram illustrating an eyeball image viewed from the observation direction 2. Further, in FIG. 5, reference numeral 51 denotes a spherical surface having a radius equal to the corneal curvature radius R centering on the curvature of the cornea (that is, a spherical surface including the cornea), 52 denotes a pupil, and 53 denotes an observation ellipse serving as the feature point selection area A, respectively. There is.
【００３１】図４は、その２つの場合の可能性について
模式的に表現しているが、図５は、図４の状態における
幾何学的モデルを更に詳しく表現した図となっている。
図４および図５を参照すると、仮に求まった視線方向、
すなわち、眼球光軸とカメラの光軸のなす角度をθとす
ると、求める特徴点選択領域Ａの縁は、角膜曲率中心Ｏ
と瞳孔中心Ｃとを結ぶ線分ＯＣの延長線上であり、角膜
曲率中心ＯからＲｃｏｓαｓｉｎθの距離（角膜曲率中
心Ｏから見て瞳孔中心Ｃの方向の延長線上）に中心（Ｃ
Ａ）を持ち、楕円長軸の半径がＲｓｉｎαであり、楕円
短軸の半径がＲｓｉｎαｃｏｓθの楕円５３となる。FIG. 4 schematically shows the possibilities of the two cases, while FIG. 5 shows the geometric model in the state of FIG. 4 in more detail.
Referring to FIG. 4 and FIG. 5, the tentative gaze direction,
That is, when the angle formed by the optical axis of the eyeball and the optical axis of the camera is θ, the edge of the desired feature point selection area A has a corneal curvature center O
On the extension line of the line segment OC connecting the center C of the pupil and the center C of the distance from the center O of the corneal curvature to R cos α sin θ (on the extension line in the direction of the center C of the pupil viewed from the center O of the corneal curvature).
And the radius of the major axis of the ellipse is Rsinα and the radius of the minor axis of the ellipse is Rsinαcosθ.
【００３２】しかし、眼球光軸に対して大きな角度の付
いた方向から撮影した場合には、カメラの光軸から見
て、奥の方の楕円の一部が見えないことがある。その際
には、求めたい画像中の特徴点選択領域Ａは、図５
（ｂ）に示すように、楕円５３と角膜曲率中心Ｏを中心
として曲率半径Ｒの球の輪郭に囲まれる領域（ハッチン
グで示す領域）になる。ただし、視線方向とカメラの光
軸方向が直角をなす場合は、ここでの楕円５３は直線と
なり、求める特徴点選択領域Ａは、縁と当該直線の間の
領域になる。However, when the image is taken from a direction with a large angle with respect to the optical axis of the eyeball, a part of the ellipse toward the back may not be seen when viewed from the optical axis of the camera. At that time, the feature point selection area A in the image to be obtained is shown in FIG.
As shown in (b), it becomes a region surrounded by the contour of a sphere having a radius of curvature R centering on the ellipse 53 and the corneal curvature center O (region indicated by hatching). However, when the line-of-sight direction and the optical axis direction of the camera form a right angle, the ellipse 53 here is a straight line, and the desired feature point selection area A is the area between the edge and the straight line.
【００３３】次に、視線認識処理部１６ｃにおいて、視
線認識の結果処理を行う。この視線認識の結果処理で
は、まず、仮視線計算部１６ａによる仮の視線計算にお
いて、用いた角膜反射像が特徴点選択領域Ａに含まれる
かどうかを判定する。このような処理の結果、もしも、
仮の視線計算において用いた角膜反射像の特徴点が含ま
れている場合には、仮の視線方向を最終的な認識結果と
して出力する。もし、含まれていなければ、特徴点選択
領域Ａ内から角膜反射像を再び選択して、仮視線計算部
１６ａによる視線計算の処理を行う。Next, the line-of-sight recognition processing unit 16c performs the result processing of the line-of-sight recognition. In the visual line recognition result processing, first, it is determined whether or not the corneal reflection image used in the temporary visual line calculation by the temporary visual line calculation unit 16a is included in the feature point selection area A. As a result of such processing,
If the feature points of the corneal reflection image used in the temporary line-of-sight calculation are included, the temporary line-of-sight direction is output as the final recognition result. If not included, the corneal reflection image is selected again from within the feature point selection area A, and the visual line calculation processing by the temporary visual line calculation unit 16a is performed.
【００３４】以上のような過程を視線認識処理に含めた
場合の処理過程の実験例を、より具体的に説明すると、
例えば、サンプル画像として、図８（ａ）に示す眼球の
画像を用いて処理を行った場合を例として説明する。た
だし、ここでの実験例においては、特徴点選択領域Ａを
規定するパラメータの角度αを１５度とした。図８
（ａ）の画像を用いて、視線認識処理を実施した結果
を、図６に示している。いうまでもないが、最初に求め
る粗い視線の精度が、そのまま特徴点選択領域Ａの推定
精度となるため、パラメータの角度αをある程度以上に
小さくしても効果はない。図６（ａ）は、図８（ａ）の
画像から四角い角膜反射像を抽出した結果である。四角
い像の４隅を検出し（図中の丸で囲まれたところ）、そ
の中から、下の２点を選択して、仮の視線を計算する。
更に、その計算結果に基づいて、特徴点選択領域Ａを計
算する。特徴点選択領域Ａ内にある反射像を抽出した結
果が、図６（ｂ）となっている。この場合、特徴点選択
領域Ａ内にある特徴点２点を用いて、再度、視線方向を
計算する。More specifically, an experimental example of the processing steps when the above-described steps are included in the line-of-sight recognition processing is as follows.
For example, a case where processing is performed using the image of the eyeball shown in FIG. 8A as a sample image will be described as an example. However, in this experimental example, the angle α of the parameter defining the feature point selection area A was set to 15 degrees. FIG.
FIG. 6 shows the result of performing the line-of-sight recognition process using the image of (a). Needless to say, since the accuracy of the rough line-of-sight initially obtained becomes the estimation accuracy of the feature point selection area A as it is, there is no effect even if the parameter angle α is made smaller than a certain degree. FIG. 6A is a result of extracting a square corneal reflection image from the image of FIG. 8A. The four corners of the square image are detected (enclosed by circles in the figure), and the lower two points are selected from them to calculate a provisional line of sight.
Further, the feature point selection area A is calculated based on the calculation result. The result of extracting the reflection image in the feature point selection area A is shown in FIG. In this case, the line-of-sight direction is calculated again using two feature points in the feature point selection area A.
【００３５】このようにして、常に限定された領域の角
膜反射像の情報を利用することで、視線認識において、
角膜の非球面性の影響を少なくすることができる。本実
施例では、特徴点選択領域Ａを球面性の高いと思われる
角膜頂点部付近を選んでいるが、その他の領域であって
も構わない。例えば、コンタクトレンズを使う被験者な
らば、コンタクトレンズのレンズ表面の一部の領域など
球面性の高いと思われる特定の領域を選んで、視線認識
を行うようにしてもよい。In this way, by utilizing the information of the corneal reflection image of the always limited area, in the visual axis recognition,
The influence of the asphericity of the cornea can be reduced. In the present embodiment, the feature point selection area A is selected near the corneal apex, which is considered to have a high spherical property, but may be another area. For example, a subject who uses a contact lens may select a specific region that is considered to have a high spherical property, such as a partial region of the lens surface of the contact lens, to perform line-of-sight recognition.
【００３６】[0036]
【発明の効果】以上、説明したように、本発明による視
線認識装置においては、まず、仮に粗い視線方向を求め
てから、角膜反射像を選択する特徴点選択領域Ａを求め
ることにより、常に、角膜上の限定された範囲での反射
像を抽出して、その反射像を用いて視線認識を行う。す
なわち、これは、眼球の角膜を球面として近似すること
の精度を高めることであり、角膜全体から適当に反射像
を選択して、視線方向を計算する場合よりも、球面とし
ての近似精度の高い限定された領域からの反射像を選択
する方が、計算結果のバラツキが小さくなる。バラツキ
が小さくなることで、更に、視線認識の補正（視軸と眼
球光軸のずれ、測定誤差などに起因する結果の補正）も
行いやすくなる。As described above, in the visual line recognition device according to the present invention, first, a rough visual line direction is first obtained, and then a feature point selection area A for selecting a corneal reflection image is obtained, so that A reflection image in a limited range on the cornea is extracted, and the line-of-sight recognition is performed using the reflection image. That is, this is to improve the accuracy of approximating the cornea of the eyeball as a spherical surface, and the approximation accuracy as a spherical surface is higher than that in the case of appropriately selecting a reflection image from the entire cornea and calculating the gaze direction. The variation of the calculation result is smaller when the reflection image from the limited area is selected. By reducing the variation, it becomes easier to perform the correction of the line-of-sight recognition (the correction of the result caused by the deviation between the visual axis and the optical axis of the eyeball, the measurement error, etc.).
【００３７】また、このような視線認識の手法は、角膜
上の広範囲に像が結像する可能性のある状況、すなわ
ち、特に視線を計測する際に、頭部に機器を装着しない
状況であって、しかも頭部の運動を許容するような状況
においても、同様の効果をもたらす。Further, such a visual line recognition method is a situation in which an image may be formed in a wide area on the cornea, that is, a device is not worn on the head especially when measuring the visual line. Moreover, even in a situation where the movement of the head is allowed, the same effect is brought about.
【図１】 図１は本発明の一実施例にかかる視線認識装
置の全体の構成を示すブロック図、FIG. 1 is a block diagram showing the overall configuration of a visual line recognition device according to an embodiment of the present invention,
【図２】 図２は視線演算処理部が行う視線計算を中心
とする視線認識処理の処理フローを示すフローチャー
ト、FIG. 2 is a flowchart showing a processing flow of eye gaze recognition processing centering on eye gaze calculation performed by an eye gaze calculation processing unit;
【図３】 図３は視線計算の際に用いる眼球モデルを説
明する図、FIG. 3 is a diagram for explaining an eyeball model used when calculating a line of sight;
【図４】 図４は画像中の特徴点選択領域の求め方が視
線方向によって違うことがあることを模式的に表現した
図、FIG. 4 is a diagram schematically showing that the method of obtaining a feature point selection region in an image may differ depending on the line-of-sight direction,
【図５】 図５は図４の状態における幾何学的モデルを
更に詳しく表現した図、5 is a more detailed representation of the geometric model in the state of FIG. 4,
【図６】 図６は図８の画像を用いて視線認識処理を実
施した結果の処理画像の一例を示す図、FIG. 6 is a diagram showing an example of a processed image as a result of carrying out a gaze recognition process using the image of FIG. 8;
【図７】 図７は、視線認識装置の実験環境を説明する
図、FIG. 7 is a diagram illustrating an experimental environment of the gaze recognition device,
【図８】 図８は、図７に示す視線認識装置の実験環境
による実験結果例を示す図、8 is a diagram showing an example of an experimental result in an experimental environment of the gaze recognition device shown in FIG. 7,
【図９】 図９は反射像の四隅の点から適当に２点を選
んで視線認識するときに２点の選び方によって結果にバ
ラツキが出ることを示す図である。FIG. 9 is a diagram showing that when two points are appropriately selected from the four corners of the reflected image and the line of sight is recognized, the results vary depending on how the two points are selected.
１１…撮像装置（ＣＣＤカメラ）、１２…画像処理部、
１３…画像解析認識部、１４…光源パターンデータベー
ス、１５…曲率中心演算部、１６…視線演算処理部、１
６ａ…仮視線計算部、１６ｂ…領域判定部、１６ｃ…視
線認識処理部、３１…角膜、３２…強膜、３３…虹彩、
３４…水晶体、５１…眼球モデルの球面、５２…瞳孔、
５３…特徴点選択領域Ａとなる観測楕円、７１…ＣＣＤ
カメラ、７２…ディスプレイ装置、７３…発光ダイオー
ド群のパターン光源、７４…視線計算処理装置。11 ... Imaging device (CCD camera), 12 ... Image processing unit,
13 ... Image analysis recognition unit, 14 ... Light source pattern database, 15 ... Curvature center calculation unit, 16 ... Line-of-sight calculation processing unit, 1
6a ... provisional line-of-sight calculation unit, 16b ... region determination unit, 16c ... line-of-sight recognition processing unit, 31 ... cornea, 32 ... sclera, 33 ... iris,
34 ... crystalline lens, 51 ... spherical surface of eyeball model, 52 ... pupil,
53 ... Observation ellipse serving as feature point selection area A, 71 ... CCD
Camera, 72 ... Display device, 73 ... Pattern light source of light emitting diode group, 74 ... Line-of-sight calculation processing device.
Claims (1)
球の角膜上に複数の特徴点を持つ像を結像させ、前記角
膜上に結像された像の特徴点から前記眼球の角膜曲率中
心を求め、角膜曲率中心と瞳孔中心の位置情報から視線
方向を認識する視線認識装置において、 角膜曲率中心と瞳孔中心の位置関係から仮の視線方向を
計算する仮視線計算手段と、 仮の視線方向と瞳孔の位置情報から限定された角膜領域
を求める角膜領域判定手段と、 前記限定された角膜領域内に前記像の特徴点がある場合
には、仮の視線方向を視線認識結果とし、限定された角
膜領域内に前記像の特徴点がない場合には、限定された
角膜領域内に存在する像の特徴点を選択し、選択された
像の特徴点から前記眼球の角膜曲率中心を求めて、角膜
曲率中心と瞳孔中心の位置情報とから視線方向を認識
し、視線認識結果とする処理手段とを備えることを特徴
とする視線認識装置。1. An eyeball as a gaze recognition target is irradiated with light to form an image having a plurality of characteristic points on the cornea of the eyeball, and the cornea of the eyeball is formed from the characteristic points of the image formed on the cornea. In a line-of-sight recognition device that obtains the center of curvature and recognizes the line-of-sight direction from the position information of the center of corneal curvature and the center of the pupil, a provisional line-of-sight calculation unit that calculates a temporary line-of-sight direction from the positional relationship between the center of corneal curvature and the center of the pupil, and A corneal region determination means for obtaining a limited corneal region from the line-of-sight direction and position information of the pupil, and when there is a feature point of the image in the limited corneal region, the provisional line-of-sight direction as the line-of-sight recognition result, When there is no feature point of the image in the limited corneal region, the feature point of the image existing in the limited corneal region is selected, and the corneal curvature center of the eyeball is selected from the feature points of the selected image. To find the position information of the center of corneal curvature and the center of the pupil. A line-of-sight recognition device, comprising: processing means for recognizing a line-of-sight direction from a report and obtaining a line-of-sight recognition result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06672895A JP3453911B2 (en) | 1995-03-02 | 1995-03-02 | Gaze recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06672895A JP3453911B2 (en) | 1995-03-02 | 1995-03-02 | Gaze recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08238222A true JPH08238222A (en) | 1996-09-17 |
| JP3453911B2 JP3453911B2 (en) | 2003-10-06 |
Family
ID=13324251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06672895A Expired - Fee Related JP3453911B2 (en) | 1995-03-02 | 1995-03-02 | Gaze recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3453911B2 (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6092888A (en) * | 1983-10-27 | 1985-05-24 | Tokyo Electric Co Ltd | Electronic typewriter |
| JPS6097052A (en) * | 1983-09-26 | 1985-05-30 | イー・アイ・デュ・ポン・ドゥ・ヌムール・アンド・カンパニー | Cyanohydrine forming catalyst |
| JP2002143094A (en) * | 2000-11-07 | 2002-05-21 | Nac Image Technology Inc | Visual axis detector |
| JP2004518497A (en) * | 2001-02-21 | 2004-06-24 | カール ツァイス イェナ ゲーエムベーハー | Distance determination method in the anterior segment |
| WO2005077258A1 (en) * | 2004-02-17 | 2005-08-25 | National University Corporation Shizuoka University | Eyeshot detection device using distance image sensor |
| JP2009297323A (en) * | 2008-06-16 | 2009-12-24 | Kobe Univ | Visual axis measuring apparatus |
| JP2011115460A (en) * | 2009-12-04 | 2011-06-16 | Saga Univ | Visual axis controlling device, method of controlling visual axis, and program of the same |
| JP2011172853A (en) * | 2010-02-25 | 2011-09-08 | Kobe Univ | Device, method and program for measuring visual axis |
| EP2450738A1 (en) | 2010-11-08 | 2012-05-09 | Seiko Epson Corporation | Progressive power lens and progressive power lens design method |
| JP2012137970A (en) * | 2010-12-27 | 2012-07-19 | Casio Comput Co Ltd | Information processing device and method, and program |
| JP2015181798A (en) * | 2014-03-25 | 2015-10-22 | 株式会社Ｊｖｃケンウッド | Detection apparatus and detection method |
| JP2015181797A (en) * | 2014-03-25 | 2015-10-22 | 株式会社Ｊｖｃケンウッド | Detection apparatus and detection method |
| JP2017080325A (en) * | 2015-10-30 | 2017-05-18 | キヤノン株式会社 | Ophthalmological photographing apparatus, method for operating the same, and program |
| US10159408B2 (en) | 2014-03-25 | 2018-12-25 | JVC Kenwood Corporation | Detection apparatus and detection method |
| JP2019512726A (en) * | 2016-03-11 | 2019-05-16 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ | Corneal sphere tracking to generate an eye model |
| US10614577B1 (en) | 2016-03-11 | 2020-04-07 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| EP3917377A4 (en) * | 2019-07-26 | 2022-11-02 | Google LLC | Method and system for automatic pupil detection |
| WO2024004416A1 (en) * | 2022-06-27 | 2024-01-04 | ソニーグループ株式会社 | Line-of-sight detection device |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010039646A (en) * | 2008-08-01 | 2010-02-18 | Dainippon Printing Co Ltd | Contract terminal apparatus, contract management system and method, program, and recording medium |
| JP5912351B2 (en) | 2011-09-05 | 2016-04-27 | 国立大学法人浜松医科大学 | Autism diagnosis support system and autism diagnosis support apparatus |
| JP5926210B2 (en) | 2012-03-21 | 2016-05-25 | 国立大学法人浜松医科大学 | Autism diagnosis support system and autism diagnosis support apparatus |
-
1995
- 1995-03-02 JP JP06672895A patent/JP3453911B2/en not_active Expired - Fee Related
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6097052A (en) * | 1983-09-26 | 1985-05-30 | イー・アイ・デュ・ポン・ドゥ・ヌムール・アンド・カンパニー | Cyanohydrine forming catalyst |
| JPS6092888A (en) * | 1983-10-27 | 1985-05-24 | Tokyo Electric Co Ltd | Electronic typewriter |
| JP2002143094A (en) * | 2000-11-07 | 2002-05-21 | Nac Image Technology Inc | Visual axis detector |
| JP2004518497A (en) * | 2001-02-21 | 2004-06-24 | カール ツァイス イェナ ゲーエムベーハー | Distance determination method in the anterior segment |
| US7284858B2 (en) | 2001-02-21 | 2007-10-23 | Carl Zeiss Meditec Ag | Method for determining distances in the anterior ocular segment |
| WO2005077258A1 (en) * | 2004-02-17 | 2005-08-25 | National University Corporation Shizuoka University | Eyeshot detection device using distance image sensor |
| US7533988B2 (en) | 2004-02-17 | 2009-05-19 | National University Corporation Shizuoka University | Eyeshot detection device using distance image sensor |
| JP2009297323A (en) * | 2008-06-16 | 2009-12-24 | Kobe Univ | Visual axis measuring apparatus |
| JP2011115460A (en) * | 2009-12-04 | 2011-06-16 | Saga Univ | Visual axis controlling device, method of controlling visual axis, and program of the same |
| JP2011172853A (en) * | 2010-02-25 | 2011-09-08 | Kobe Univ | Device, method and program for measuring visual axis |
| EP2450738A1 (en) | 2010-11-08 | 2012-05-09 | Seiko Epson Corporation | Progressive power lens and progressive power lens design method |
| US8550622B2 (en) | 2010-11-08 | 2013-10-08 | Hoya Lens Manufacturing Philippines Inc. | Progressive power lens and progressive power lens design method |
| JP2012137970A (en) * | 2010-12-27 | 2012-07-19 | Casio Comput Co Ltd | Information processing device and method, and program |
| US8523358B2 (en) | 2010-12-27 | 2013-09-03 | Casio Computer Co., Ltd. | Information processing apparatus, method, and storage medium storing program |
| JP2015181798A (en) * | 2014-03-25 | 2015-10-22 | 株式会社Ｊｖｃケンウッド | Detection apparatus and detection method |
| JP2015181797A (en) * | 2014-03-25 | 2015-10-22 | 株式会社Ｊｖｃケンウッド | Detection apparatus and detection method |
| US10159408B2 (en) | 2014-03-25 | 2018-12-25 | JVC Kenwood Corporation | Detection apparatus and detection method |
| JP2017080325A (en) * | 2015-10-30 | 2017-05-18 | キヤノン株式会社 | Ophthalmological photographing apparatus, method for operating the same, and program |
| JP2019512726A (en) * | 2016-03-11 | 2019-05-16 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ | Corneal sphere tracking to generate an eye model |
| US10614577B1 (en) | 2016-03-11 | 2020-04-07 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| EP3917377A4 (en) * | 2019-07-26 | 2022-11-02 | Google LLC | Method and system for automatic pupil detection |
| WO2024004416A1 (en) * | 2022-06-27 | 2024-01-04 | ソニーグループ株式会社 | Line-of-sight detection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3453911B2 (en) | 2003-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3453911B2 (en) | Gaze recognition device | |
| EP2150170B1 (en) | Methods and apparatus for estimating point-of-gaze in three dimensions | |
| US7284858B2 (en) | Method for determining distances in the anterior ocular segment | |
| US8170293B2 (en) | Multimodal ocular biometric system and methods | |
| US10213104B2 (en) | Eye position registering and tracking | |
| US12056274B2 (en) | Eye tracking device and a method thereof | |
| US20120194784A1 (en) | Iris image definition estimation system using the astigmatism of the corneal reflection of a non-coaxial light source | |
| JP2008264341A (en) | Eye movement measurement method and eye movement measuring instrument | |
| JP2002219106A (en) | Pupillometer, refraction corrector and pupillometric method | |
| EP1274341A2 (en) | Selective corneal aberrometry | |
| JP5092120B2 (en) | Eye movement measurement device | |
| JP3711053B2 (en) | Line-of-sight measurement device and method, line-of-sight measurement program, and recording medium recording the program | |
| JP2002000567A (en) | Method of measuring pupil center position and method of detecting view point position | |
| Morelande et al. | Automatic estimation of the corneal limbus in videokeratoscopy | |
| US20220338730A1 (en) | Device and method for detecting tear film breakup | |
| JPH06319701A (en) | Glance recognizing device | |
| US6556691B1 (en) | System for measuring curved surfaces | |
| CN115137292B (en) | Intelligent cornea topography instrument | |
| IL310806A (en) | Eye tracking device and a method thereof | |
| García-Dopico et al. | Precise Non-Intrusive Real-Time Gaze Tracking System for Embedded Setups. | |
| CN118864587A (en) | Eye movement tracking method, pupil detection model training method and related device | |
| CN117495864A (en) | Imaging direction computing system and diopter estimating system based on image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |