JP3452685B2 - 顔画像の処理装置 - Google Patents
顔画像の処理装置Info
- Publication number
- JP3452685B2 JP3452685B2 JP11205095A JP11205095A JP3452685B2 JP 3452685 B2 JP3452685 B2 JP 3452685B2 JP 11205095 A JP11205095 A JP 11205095A JP 11205095 A JP11205095 A JP 11205095A JP 3452685 B2 JP3452685 B2 JP 3452685B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- face
- eye
- candidate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Emergency Alarm Devices (AREA)
Description
【０００１】
【産業上の利用分野】この発明は運転者等の顔画像の処
理装置に関し、特にカメラで撮影された顔画像を処理し
て顔の特徴領域を抽出し、特徴領域の状態から運転者の
運転状態等を検出する装置に用いる顔画像の処理装置に
関する。
理装置に関し、特にカメラで撮影された顔画像を処理し
て顔の特徴領域を抽出し、特徴領域の状態から運転者の
運転状態等を検出する装置に用いる顔画像の処理装置に
関する。
【０００２】
【従来の技術】従来より、車両運転者の脇見、居眠り運
転等の運転状態を検出するため、運転者の顔を車両室内
に設けられたカメラで撮影し、得られた顔画像を処理し
て顔の特徴点である目を抽出する顔画像の処理装置が開
発されている。かかる従来例としては、濃度階調画像の
まま取り扱い、目をテンプレートマッチングを用いて抽
出する装置（特開平6-255388号公報）、画像の最暗点よ
り目を抽出する装置（特開平6-266981号公報）、濃度階
調画像を２値画像に変換した後、抽出された顔の輪郭の
内側での黒色領域より目を抽出する装置（特開平6-3215
4号公報）等が開示されている。以下、かかる従来技術
の内、特開平6-32154号公報を例に取りさらに詳細に説
明する。
転等の運転状態を検出するため、運転者の顔を車両室内
に設けられたカメラで撮影し、得られた顔画像を処理し
て顔の特徴点である目を抽出する顔画像の処理装置が開
発されている。かかる従来例としては、濃度階調画像の
まま取り扱い、目をテンプレートマッチングを用いて抽
出する装置（特開平6-255388号公報）、画像の最暗点よ
り目を抽出する装置（特開平6-266981号公報）、濃度階
調画像を２値画像に変換した後、抽出された顔の輪郭の
内側での黒色領域より目を抽出する装置（特開平6-3215
4号公報）等が開示されている。以下、かかる従来技術
の内、特開平6-32154号公報を例に取りさらに詳細に説
明する。
【０００３】図４２は特開平6-32154号公報における運
転者の状態検出のフローチャートであり、図４３はこの
従来例における画像２値化時の説明図である。
転者の状態検出のフローチャートであり、図４３はこの
従来例における画像２値化時の説明図である。
【０００４】図４２において、まずステップＳ８８にお
いて、運転者の顔を撮影したカメラからの濃度階調画像
が映像信号として画像入力手段（図示せず）に入力され
Ａ／Ｄ変換される。このようにしてＡ／Ｄ変換されたデ
ィジタル階調画像がステップＳ８９でフレームメモリ
（図示ぜず）に入力される。
いて、運転者の顔を撮影したカメラからの濃度階調画像
が映像信号として画像入力手段（図示せず）に入力され
Ａ／Ｄ変換される。このようにしてＡ／Ｄ変換されたデ
ィジタル階調画像がステップＳ８９でフレームメモリ
（図示ぜず）に入力される。
【０００５】次に、ステップＳ９０でフレームメモリに
記憶した画像データが読み出されて２値化手段（図示ぜ
ず）で適当な２値化閾値で２値画像化され、ステップＳ
９１で顔の横方向検索開始ラインが設定され、この横方
向検索開始ラインより顔の左右横方向に白色画素が検索
され、ステップＳ９２で連続した白色画素数がカウント
され、ステップＳ９３で前記連続白色画素の最大となる
ときの白色画素領域の端部より顔の横幅輪郭線が特定さ
れる。
記憶した画像データが読み出されて２値化手段（図示ぜ
ず）で適当な２値化閾値で２値画像化され、ステップＳ
９１で顔の横方向検索開始ラインが設定され、この横方
向検索開始ラインより顔の左右横方向に白色画素が検索
され、ステップＳ９２で連続した白色画素数がカウント
され、ステップＳ９３で前記連続白色画素の最大となる
ときの白色画素領域の端部より顔の横幅輪郭線が特定さ
れる。
【０００６】さらに、ステップＳ９３で特定された顔の
横幅輪郭線より、ステップＳ９４で眼球存在領域の顔の
横方向座標が設定され、ステップＳ９５で顔の縦方向の
検索開始ラインが設定されて、ステップＳ９６において
前記眼球存在領域内で前記検索開始ラインより黒色画素
が連続した黒色画素領域を検索し、ステップＳ９７で検
索した黒色画素領域の位置関係や縦方向の黒色画素数に
基づき眼球領域を特定する。
横幅輪郭線より、ステップＳ９４で眼球存在領域の顔の
横方向座標が設定され、ステップＳ９５で顔の縦方向の
検索開始ラインが設定されて、ステップＳ９６において
前記眼球存在領域内で前記検索開始ラインより黒色画素
が連続した黒色画素領域を検索し、ステップＳ９７で検
索した黒色画素領域の位置関係や縦方向の黒色画素数に
基づき眼球領域を特定する。
【０００７】最後に、ステップＳ９８で瞬目検出手段
（図示せず）により特定された眼球領域内での縦方向黒
色画素数に基づき目の開閉を検出し、ステップＳ９９で
居眠り判定手段（図示せず）により検出した目の開閉状
態に基づき居眠りを判定する。
（図示せず）により特定された眼球領域内での縦方向黒
色画素数に基づき目の開閉を検出し、ステップＳ９９で
居眠り判定手段（図示せず）により検出した目の開閉状
態に基づき居眠りを判定する。
【０００８】
【発明が解決しようとする課題】しかしながら、かかる
従来装置においては、安定的に２値画像を得るため常に
光量の大きな近赤外照明を用いなければならないといっ
た欠点があり、特に昼間には太陽光の近赤成分による外
乱の影響を低減するためより大きな光量を要するといっ
た問題点があった。
従来装置においては、安定的に２値画像を得るため常に
光量の大きな近赤外照明を用いなければならないといっ
た欠点があり、特に昼間には太陽光の近赤成分による外
乱の影響を低減するためより大きな光量を要するといっ
た問題点があった。
【０００９】これに対し照明電力の節減のため、昼間時
に照明をやめ太陽光により顔を撮影する場合では、太陽
光による外乱即ち、太陽の高度や向き、木漏れ日下走行
時等の周囲環境等によっては顔に陰影が生じ、２値化が
うまくいかず目抽出が困難になるといった問題点があっ
た。例えば、図４３は太陽光が運転席の斜め上方から当
たっており、顔の上半分が車体、あるいはサンバイザの
陰になっているような状態の運転者顔画像を従来の方法
で２値化した例を示しており、かかる状態では顔の上下
で画素レベルが大きく異なるため、明るい部分の影響を
受けて２値化閾値が上昇し、図では鼻孔、口裂は抽出さ
れるが、目、髪、眉を含む顔の上半分全体は一つの黒色
領域となってしまい目領域を分離して抽出できない。
に照明をやめ太陽光により顔を撮影する場合では、太陽
光による外乱即ち、太陽の高度や向き、木漏れ日下走行
時等の周囲環境等によっては顔に陰影が生じ、２値化が
うまくいかず目抽出が困難になるといった問題点があっ
た。例えば、図４３は太陽光が運転席の斜め上方から当
たっており、顔の上半分が車体、あるいはサンバイザの
陰になっているような状態の運転者顔画像を従来の方法
で２値化した例を示しており、かかる状態では顔の上下
で画素レベルが大きく異なるため、明るい部分の影響を
受けて２値化閾値が上昇し、図では鼻孔、口裂は抽出さ
れるが、目、髪、眉を含む顔の上半分全体は一つの黒色
領域となってしまい目領域を分離して抽出できない。
【００１０】また、２値画像を用いず階調画像により目
を抽出するものにおいては、階調画像を記憶するための
大きな容量のフレームメモリを用いざるを得ず装置が高
価になるとともに、階調画像を扱うために動作が遅くな
りリアルタイム性に欠けるといった問題点があった。
を抽出するものにおいては、階調画像を記憶するための
大きな容量のフレームメモリを用いざるを得ず装置が高
価になるとともに、階調画像を扱うために動作が遅くな
りリアルタイム性に欠けるといった問題点があった。
【００１１】さらに、目抽出の方法においても顔輪郭線
を用いるものにおいては、背景が明るい場合には顔輪郭
線の抽出が困難であったり、パターンマッチングを用い
るものにおいては、目の個人差や、眼鏡の種類に対する
参照が困難であったり、画像の最暗点を用いるものにお
いては、瞳孔とほくろ等の黒色暗点との識別が難しい等
の問題点があった。
を用いるものにおいては、背景が明るい場合には顔輪郭
線の抽出が困難であったり、パターンマッチングを用い
るものにおいては、目の個人差や、眼鏡の種類に対する
参照が困難であったり、画像の最暗点を用いるものにお
いては、瞳孔とほくろ等の黒色暗点との識別が難しい等
の問題点があった。
【００１２】この発明は上述した問題点を解決しようと
するものであり、運転者状態等の検出のため、昼間の顔
画像を太陽光を利用して撮影する場合でも太陽の高度や
向き、木漏れ日下走行時等の周囲環境等の撮影状況にか
かわらず目を高速に抽出でき、且つ顔の個人差の影響を
受けにくい、安価な顔画像の処理装置を得ることを目的
とする。
するものであり、運転者状態等の検出のため、昼間の顔
画像を太陽光を利用して撮影する場合でも太陽の高度や
向き、木漏れ日下走行時等の周囲環境等の撮影状況にか
かわらず目を高速に抽出でき、且つ顔の個人差の影響を
受けにくい、安価な顔画像の処理装置を得ることを目的
とする。
【００１３】
【課題を解決するための手段】この発明に係る顔画像の
処理装置は、顔画像を撮像するカメラと、そのカメラよ
り映像信号を入力する画像入力手段と、所定長以下の低
輝度領域を抽出するフィルタを用いて前記画像入力手段
から入力された顔画像の少なくとも顔の縦方向に近い一
方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定長
以下の低輝度領域を抽出する濃淡レベル変換手段と、そ
の濃淡レベル変換手段の出力画像を浮動２値化する浮動
２値化手段と、前記浮動２値化後の２値画像内で目領域
の存在位置を設定する目存在領域設定手段と、前記目存
在領域内で一つ以上の候補領域を設定する候補領域設定
手段と、前記候補領域の内から目領域を判定する目領域
判定手段とを備え、前記濃淡レベル変換手段は、前記画
像入力手段から入力された顔画像の各画素を中心とする
所定画素数飛びの所定画素長の画素レベルの最大値を前
記各中心画素の画素レベルとする最大値フィルタと、そ
の最大値フィルタの出力の各画素を中心とする前記所定
画素数飛びの所定画素長の画素レベルの最小値を各中心
画素の画素レベルとする最小値フィルタと、前記最小値
フィルタの出力と入力顔画像を差分する引き算器とから
なることを特徴とする。また、顔画像を撮像するカメラ
と、そのカメラより映像信号を入力する画像入力手段
と、所定長以下の低輝度領域を抽出するフィルタを用い
て前記画像入力手段から入力された顔画像の少なくとも
顔の縦方向に近い一方の画像軸（Ｘ軸）方向の目の上下
幅に対応する所定長以下の低輝度領域を抽出する濃淡レ
ベル変換手段と、その濃淡レベル変換手段の出力画像を
浮動２値化する浮動２値化手段と、前記浮動２値化後の
２値画像内で目領域の存在位置を設定する目存在領域設
定手段と、前記目存在領域内で一つ以上の候補領域を設
定する候補領域設定手段と、前記候補領域の内から目領
域を判定する目領域判定手段とを備え、前記浮動２値化
手段の２値化閾値は、少なくとも各画素走査軸方向の前
走査ライン上の画素レベルの重み付きピーク値及び重み
付き平均値の和の関数値を走査ライン上の画素の２値化
閾値とすることを特徴とする。また、顔画像を撮像する
カメラと、そのカメラより映像信号を入力する画像入力
手段と、所定長以下の低輝度領域を抽出するフィルタを
用いて前記画像入力手段から入力された顔画像の少なく
とも顔の縦方向に近い一方の画像軸（Ｘ軸）方向の目の
上下幅に対応する所定長以下の低輝度領域を抽出する濃
淡レベル変換手段と、その濃淡レベル変換手段の出力画
像を浮動２値化する浮動２値化手段と、前記浮動２値化
後の２値画像内で目領域の存在位置を設定する目存在領
域設定手段と、前記目存在領域内で一つ以上の候補領域
を設定する候補領域設定手段と、前記候補領域の内から
目領域を判定する目領域判定手段とを備え、前記目存在
領域設定手段は、前記２値画像内での顔重心位置を算出
する顔重心検出手段を備えるとともに、前記顔重心位置
より所定距離離れた顔の左右２つの点を基点とした顔の
縦、横方向に各々所定長さの２つの矩形の目存在領域を
設定することを特徴とする。また、顔画像を撮像するカ
メラと、そのカメラより映像信号を入力する画像入力手
段と、所定長以下の低輝度領域を抽出するフィルタを用
いて前記画像入力手段から入力された顔画像の少なくと
も顔の縦方向に近い一方の画像軸（Ｘ軸）方向の目の上
下幅に対応する所定長以下の低輝度領域を抽出する濃淡
レベル変換手段と、その濃淡レベル変換手段の出力画像
を浮動２値化する浮動２値化手段と、前記浮動２値化後
の２値画像内で目領域の存在位置を設定する目存在領域
設定手段と、前記目存在領域内で一つ以上の候補領域を
設定する候補領域設定手段と、前記候補領域の内から目
領域を判定する目領域判定手段とを備え、前記目存在領
域設定手段は、前記２値画像内での顔重心位置を算出す
る顔重心検出手段と、顔の縦軸方向中心線を算出する顔
中心線検出手段とを備えるとともに、前記顔重心位置よ
り所定距離離れた顔の左右２つの点を基点とし一辺が前
記顔中心線に平行で顔の縦、横方向に各々所定長さの２
つの矩形の目存在領域を設定することを特徴とする。ま
た、顔画像を撮像するカメラと、そのカメラより映像信
号を入力する画像入力手段と、所定長以下の低輝度領域
を抽出するフィルタを用いて前記画像入力手段から入力
された顔画像の少なくとも顔の縦方向に近い一方の画像
軸（Ｘ軸）方向の目の上下幅に対応する所定長以下の低
輝度領域を抽出する濃淡レベル変換手段と、その濃淡レ
ベル変換手段の出力画像を浮動２値化する浮動２値化手
段と、前記浮動２値化後の２値画像内で目領域の存在位
置を設定する目存在領域設定手段と、前記目存在領域内
で一つ以上の候補領域を設定する候補領域設定手段と、
前記候補領域の内から目領域を判定する目領域判定手段
とを備え、前記目存在領域設定手段は、前記２値画像内
で鼻孔領域を判定する鼻孔領域判定手段を備えるととも
に、顔の左右の鼻孔領域の中点より顔の上部の所定距離
離れた顔の左右２つの点を基点とした顔の縦、横方向に
各々所定長さの２つの矩形の目存在領域を設定すること
を特徴とする。また、顔画像を撮像するカメラと、その
カメラより映像信号を入力する画像入力手段と、所定長
以下の低輝度領域を抽出するフィルタを用いて前記画像
入力手段から入力された顔画像の少なくとも顔の縦方向
に近い一方の画像軸（Ｘ軸）方向の目の上下幅に対応す
る所定長以下の低輝度領域を抽出する濃淡レベル変換手
段と、その濃淡レベル変換手段の出力画像を浮動２値化
する浮動２値化手段と、前記浮動２値化後の２値画像内
で目領域の存在位置を設定する目存在領域設定手段と、
前記目存在領域内で一つ以上の候補領域を設定する候補
領域設定手段と、前記候補領域の内から目領域を判定す
る目領域判定手段とを備え、前記目領域判定手段は、前
記候補領域内において顔の横軸に沿って候補領域内の顔
の縦軸方向の２値レベルを積算する顔縦軸ヒストグラム
算出手段を備え、前記候補領域の顔の横軸方向の幅が所
定範囲内であるとき、前記顔縦軸ヒストグラムの大きさ
の代表値及び形状の代表値の双方を評価関数として目領
域か否かを判定することを特徴とする。また、顔画像を
撮像するカメラと、そのカメラより映像信号を入力する
画像入力手段と、所定長以下の低輝度領域を抽出するフ
ィルタを用いて前記画像入力手段から入力された顔画像
の少なくとも顔の縦方向に近い一方の画像軸（Ｘ軸）方
向の目の上下幅に対応する所定長以下の低輝度領域を抽
出する濃淡レベル変換手段と、その濃淡レベル変換手段
の出力画像を浮動２値化する浮動２値化手段と、前記浮
動２値化後の２値画像内で目領域の存在位置を設定する
目存在領域設定手段と、前記目存在領域内で一つ以上の
候補領域を設定する候補領域設定手段と、前記候補領域
の内から目領域を判定する目領域判定手段とを備え、前
記目領域判定手段は、前記矩形の目存在領域内で目と判
定された候補領域の代表点を算出する代表点算出手段を
備え、前記目と判定された候補領域の前記代表点位置と
顔重心との距離が最小な候補領域を最終的に目と判定す
ることを特徴とする。また、顔画像を撮像するカメラ
と、そのカメラより映像信号を入力する画像入力手段
と、所定長以下の低輝度領域を抽出するフィルタを用い
て前記画像入力手段から入力された顔画像の少なくとも
顔の縦方向に近い一方の画像軸（Ｘ軸）方向の目の上下
幅に対応する所定長以下の低輝度領域を抽出する濃淡レ
ベル変換手段と、その濃淡レベル変換手段の出力画像を
浮動２値化する浮動２値化手段と、前記浮動２値化後の
２値画像内で目領域の存在位置を設定する目存在領域設
定手段と、前記目存在領域内で一つ以上の候補領域を設
定する候補領域設定手段と、前記候補領域の内から目領
域を判定する目領域判定手段とを備え、前記目領域判定
手段は、前記左右２つの矩形の目存在領域内で各々目と
判定された候補領域の代表点を算出する代表点算出手段
を備え、前記左右の目と判定された候補領域の前記各代
表点位置と顔重心との距離の差が所定値より小さく且つ
前記距離の差が最小な左右各１の候補領域を最終的に目
と判定することを特徴とする。また、顔画像を撮像する
カメラと、そのカメラより映像信号を入力する画像入力
手段と、所定長以下の低輝度領域を抽出するフィルタを
用いて前記画像入力手段から入力された顔画像の少なく
とも顔の縦方向に近い一方の画像軸（Ｘ軸）方向の目の
上下幅に対応する所定長以下の低輝度領域を抽出する濃
淡レベル変換手段と、その濃淡レベル変換手段の出力画
像を浮動２値化する浮動２値化手段と、前記浮動２値化
後の２値画像内で目領域の存在位置を設定する目存在領
域設定手段と、前記目存在領域内で一つ以上の候補領域
を設定する候補領域設定手段と、前記候補領域の内から
目領域を判定する目領域判定手段とを備え、前記候補領
域設定手段は、顔の縦軸に沿って顔の横軸方向の２値レ
ベルを積算する顔横軸ヒストグラム算出手段と、前記顔
横軸ヒストグラムにより顔の横軸に平行な帯状領域を設
定する帯状領域設定手段と、前記帯状領域内で顔の横軸
に沿って顔の縦軸方向の帯幅内の２値レベルを積算する
顔縦軸ヒストグラム算出手段とを備え、前記帯幅を一辺
とし前記顔縦軸ヒストグラムより求めた顔横軸方向の領
域長を他辺とする矩形の候補領域を設定することを特徴
とする。また、顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、前記候補領域設定手段は、２値画
像の黒レベル画素が所定画素数以上集合した孤立黒ブロ
ック領域をラベリングにより抽出する黒ブロック領域抽
出手段を備えるとともに、前記ラベル化した黒ブロック
領域のＸ軸方向端部、Ｙ軸方向端部を囲む矩形の候補領
域を設定することを特徴とする。また、前記濃淡レベル
変換手段における黒レベル抽出方向をカメラの画素走査
方向と一致させたことを特徴とする。また、顔画像を撮
像するカメラと、そのカメラより映像信号を入力する画
像入力手段、所定長以下の低輝度領域を抽出するフィル
タを用いて前記画像入力手段から入力された顔画像の少
なくとも顔の縦方向に近い一方の画像軸（Ｘ軸）方向の
目の上下幅に対応する所定長以下の低輝度領域を抽出す
る第一の濃淡レベル変換手段と、その第一の濃淡レベル
変換手段の出力画像を浮動２値化する第一の浮動２値化
手段と、所定長以下の低輝度領域を抽出するフィルタを
用いてＸ軸に垂直なＹ軸方向の目の上下幅に対応する所
定長以下の低輝度領域を抽出する第二の濃淡レベル変換
手段と、その第二の濃淡レベル変換手段の出力画像を浮
動２値化する第二の浮動２値化手段と、前記第一及び第
二の浮動２値化手段からの２値画像を乗算する画像論理
積演算手段と、画像乗算後の２値画像内で目領域の存在
位置を設定する目存在領域設定手段と、前記目存在領域
内で一つ以上の候補領域を設定する候補領域設定手段
と、前記候補領域の内から目領域を判定する目領域判定
手段とを備えたことを特徴とする。また、前記濃淡レベ
ル変換手段は、前記画像入力手段から入力された顔画像
の各画素を中心とする連続した所定画素長の画素レベル
の最大値を前記各中心画素の画素レベルとする最大値フ
ィルタと、その最大値フィルタの出力の各画素を中心と
する前記所定画素長の画素レベルの最小値を各中心画素
の画素レベルとする最小値フィルタと、前記最小値フィ
ルタの出力と入力顔画像を差分する引き算器とからなる
ことを特徴とする。また、前記濃淡レベル変換手段は、
前記画像入力手段から入力された顔画像の各画素を中心
とする所定画素数飛びの所定画素長の画素レベルの最大
値を前記各中心画素の画素レベルとする最大値フィルタ
と、その最大値フィルタの出力の各画素を中心とする前
記所定画素数飛びの所定画素長の画素レベルの最小値を
各中心画素の画素レベルとする最小値フィルタと、前記
最小値フィルタの出力と入力顔画像を差分する引き算器
とからなることを特徴とする。また、前記浮動２値化手
段の２値化閾値は、少なくとも各画素走査軸方向の前走
査ライン上の画素レベルの重み付きピーク値及び重み付
き平均値の和の関数値を走査ライン上の画素の２値化閾
値とすることを特徴とする。また、前記目存在領域設定
手段は、前記２値画像内での顔重心位置を算出する顔重
心検出手段を備えるとともに、前記顔重心位置より所定
距離離れた顔の左右２つの点を基点とした顔の縦、横方
向に各々所定長さの２つの矩形の目存在領域を設定する
ことを特徴とする。また、前記目存在領域設定手段は、
前記２値画像内での顔重心位置を算出する顔重心検出手
段と、顔の縦軸方向中心線を算出する顔中心線検出手段
とを備えるとともに、前記顔重心位置より所定距離離れ
た顔の左右２つの点を基点とし一辺が前記顔中心線に平
行で顔の縦、横方向に各々所定長さの２つの矩形の目存
在領域を設定することを特徴とする。また、前記目存在
領域設定手段は、前記２値画像内で鼻孔領域を判定する
鼻孔領域判定手段を備えるとともに、顔の左右の鼻孔領
域の中点より顔の上部の所定距離離れた顔の左右２つの
点を基点とした顔の縦、横方向に各々所定長さの２つの
矩形の目存在領域を設定することを特徴とする。また、
前記目領域判定手段は、前記候補領域内において顔の横
軸に沿って候補領域内の顔の縦軸方向の２値レベルを積
算する顔縦軸ヒストグラム算出手段を備え、前記候補領
域の顔の横軸方向の幅が所定範囲内であるとき、前記顔
縦軸ヒストグラムの大きさの代表値及び形状の代表値の
双方を評価関数として目領域か否かを判定することを特
徴とする。また、前記目領域判定手段は、前記目存在領
域内で前記各候補領域の評価関数値を画像毎に記憶する
記憶手段を備え、記憶された前記評価関数値の所定画像
数内での変化が最大である各候補領域を目と判定するこ
とを特徴とする。また、前記目領域判定手段は、前記目
存在領域内で目と判定された候補領域の代表点を算出す
る代表点算出手段を備え、前記目と判定された候補領域
の前記代表点位置と顔重心との距離が最小な候補領域を
最終的に目と判定することを特徴とする。また、前記目
領域判定手段は、前記目存在領域内で各々目と判定され
た候補領域の代表点を算出する代表点算出手段を備え、
左右の目と判定された候補領域の前記各代表点位置と顔
重心との距離の差が所定値より小さく且つ前記距離の差
が最小な左右各１の候補領域を最終的に目と判定するこ
とを特徴とする。また、前記鼻孔領域判定手段は、前記
２値画像内で一つ以上の候補領域を設定する候補領域設
定手段と、前記２値画像内で顔の縦軸方向中心線を算出
する顔中心線検出手段と、前記顔中心線の左右に所定の
等間隔に設けた平行線間の領域を鼻孔存在領域とする鼻
孔存在領域設定手段とを備え、前記鼻孔存在領域に含ま
れる前記候補領域の内より鼻孔を判定することを特徴と
する。また、前記鼻孔存在領域設定手段は、前記２値画
像内で設定した各候補領域の代表点座標を算出する候補
領域代表点演算手段を備え、顔縦軸方向代表点座標が等
しい各候補領域の顔横軸方向代表点座標と顔中心線の顔
の横軸方向座標までの平均距離を求め、前記平行線間の
間隔を前記平均距離の関数とすることを特徴とする。ま
た、前記鼻孔領域判定手段は、前記２値画像内で一つ以
上の候補領域を設定する候補領域設定手段と、前記２値
画像内での顔重心位置を算出する顔重心検出手段と、前
記顔重心より顔の縦方向下部に所定間隔離れた点を通る
顔の横方向の線より下部を鼻孔存在領域とする鼻孔存在
領域設定手段とを備え、前記鼻孔存在領域に含まれる前
記候補領域の内より鼻孔を判定することを特徴とする。
また、前記鼻孔存在領域設定手段は、前記２値画像内で
設定した各候補領域の代表点座標を算出する候補領域代
表点演算手段と、顔縦軸方向代表点座標が等しい各候補
領域を一つの帯状領域とし前記顔縦軸方向代表点座標を
前記帯状領域の顔縦軸方向代表点座標とする帯状領域代
表点演算手段を備え、前記所定間隔を前記帯状領域の領
域数と前記各帯状領域代表点と前記顔重心の顔縦軸方向
座標間の距離を基に決定することを特徴とする。また、
前記鼻孔存在領域内で鼻孔を抽出する演算領域を規定す
る鼻孔抽出領域限定手段を備え、前記限定された鼻孔抽
出領域内での画素の重心を鼻孔領域の中点とすることを
特徴とする。また、前記鼻孔領域判定手段は、前記２値
画像内で一つ以上の候補領域を設定する候補領域設定手
段と、各候補領域の代表点座標を算出する候補領域代表
点演算手段とを備え、顔縦軸方向代表点座標が等しい各
候補領域間の顔横軸方向離間距離を演算するとともに、
前記横軸方向離間距離と予め設定された鼻孔間距離とを
比較し、前記代表点間の距離が前記鼻孔間距離に最も近
い一組の候補領域を鼻孔と判定することを特徴とする。
また、前記鼻孔領域判定手段は、前記２値画像内で一つ
以上の候補領域を設定する候補領域設定手段と、各候補
領域の代表点座標を算出する候補領域代表点演算手段と
を備え、顔縦軸方向代表点座標が等しい各候補領域の顔
横軸方向代表点座標間の距離を演算するとともに、前記
顔横軸方向代表点座標間の距離と前記候補領域の縦横形
状比とを鼻孔領域判定の評価関数とすることを特徴とす
る。また、前記鼻孔領域判定手段は、前記２値画像内で
一つ以上の候補領域を設定する候補領域設定手段と、そ
の候補領域設定手段により設定した各候補領域の顔の縦
軸方向辺長を顔の下部方向から減ずる候補領域限定手段
と、前記限定した各候補領域内で顔の横軸に沿って顔の
縦軸方向の２値レベルを積算する顔縦軸ヒストグラム算
出手段とを備え、顔の縦軸方向辺長を減じたときの前記
顔縦軸ヒストグラムの形状変化より鼻孔領域を判定する
ことを特徴とする。また、前記顔重心位置の座標を、前
記２値画像内の画素の重心座標とすることを特徴とす
る。また、前記２値画像内で顔の縦軸に沿って顔の横軸
方向の２値レベルを積算する顔横軸ヒストグラム算出手
段と、前記顔横軸ヒストグラムにより顔の横軸に平行な
帯状領域を設定する帯状領域設定手段と、前記帯状領域
の顔縦軸方向代表点座標を求める帯状領域代表点演算手
段と、前記帯状領域内で顔の横軸に沿って顔の縦軸方向
の帯幅内の２値レベルを全ての帯状領域について積算す
る顔縦軸ヒストグラム算出手段とを備え、前記顔重心位
置のＸ座標を各帯状領域代表点の平均座標とし、前記顔
重心位置のＹ座標を前記顔縦軸ヒストグラムの重心座標
とすることを特徴とする。また、前記２値画像内で一つ
以上の候補領域を設定する候補領域設定手段を備え、前
記顔重心位置の座標（Ｘｇ、Ｙｇ）を、設定した各候補
領域ｉの黒レベル画素数Ｎｉ、各候補領域ｉの代表点の
座標（Ｘｉ、Ｙｉ）、候補領域ｉの数ｍを用いて、 Ｘｇ＝ΣｍＮｉＸｉ／ΣＮｉ Ｙｇ＝ΣｍＮｉＹｉ／ΣＮｉ とすることを特徴とする。また、前記顔中心線検出手段
は、前記２値画像内で顔の縦軸に沿って顔の横軸方向の
２値レベルを積算する顔横軸ヒストグラム算出手段と、
前記顔横軸ヒストグラムより顔の横軸に平行な少なくと
も一つ以上の帯状領域を設定する帯状領域設定手段と、
前記各帯状領域内の画素の重心位置を演算する帯状領域
重心検出手段とを備え、前記各帯状領域重心の位置より
顔の縦軸方向中心線を算出することを特徴とする。ま
た、前記顔中心線検出手段は、前記２値画像内で一つ以
上の候補領域を設定する候補領域設定手段と、設定した
各候補領域の代表点座標を算出する候補領域代表点演算
手段と、顔縦軸方向代表点座標が等しい各候補領域を一
つの帯状領域として前記帯状領域内の各候補領域の顔横
軸方向代表点座標の平均値を求めて前記帯状領域の顔横
軸方向代表点座標とする帯状領域代表点演算手段とを備
え、前記各帯領域代表点の位置より顔の縦軸方向中心線
を算出することを特徴とする。また、前記顔中心線検出
手段は、前記２値画像内で一つ以上の候補領域を設定す
る候補領域設定手段と、設定した各候補領域の代表点座
標を算出する候補領域代表点演算手段と、前記各候補領
域の代表点より画像のＹ軸を中心として所定の角度範囲
にある他の候補領域の代表点との中点座標を算出する顔
中心線候補点演算手段とを備え、前記各顔中心線候補点
の位置より顔の縦軸方向中心線を算出することを特徴と
する。また、前記２値画像内での全画素の重心位置を算
出する第一の重心検出手段と、前記第一の重心位置の回
りに所定の矩形領域を設定する候補存在領域設定手段と
をさらに備えるとともに、前記候補存在領域内で前記目
存在領域を設定し、あるいは前記目存在領域を設定する
ための前記顔重心位置又は前記顔中心線又は前記鼻孔領
域を求めることを特徴とする。また、前記目存在領域設
定手段における目存在領域の設定は、前記２値画像内で
黒レベル画素が所定画素数以上連結した各黒ブロック領
域のＸ、Ｙ軸方向端点の最小値及び最大値をＸ、Ｙ軸方
向端点とする矩形領域を黒ブロック存在領域として規定
し、前記目存在領域の開始座標及び各辺長を、前記黒ブ
ロック存在領域の開始座標、及び黒ブロック存在領域の
各辺長あるいは各辺長と各辺長基準値との比、の関数と
することを特徴とする。また、前記黒ブロック存在領域
の辺長を画像毎に記憶する記憶手段をさらに備え、前記
辺長の基準値を、記憶された前記辺長の所定画像数内で
の最大辺長あるいは最大頻度を示す辺長とすることを特
徴とする。また、前記目存在領域設定手段における目存
在領域の設定は、前記目存在領域の顔の横軸方向開始座
標及び辺長を、前記鼻孔領域判定手段により抽出した鼻
孔領域の間隔、あるいは鼻孔領域の間隔の基準値との
比、の関数とすることを特徴とする。また、前記目存在
領域設定手段における目存在領域の設定は、前記目存在
領域の顔の縦軸方向開始座標及び辺長を、前記鼻孔領域
判定手段により抽出した鼻孔領域の間隔、及び鼻孔領域
の面積あるいは鼻孔領域の縦横形状比、あるいは鼻孔領
域の間隔の基準値との比及び鼻孔領域の面積の基準値と
の比あるいは鼻孔領域の縦横形状比の基準値との比、の
関数とすることを特徴とする。また、前記鼻孔領域の間
隔及び鼻孔領域の各辺長を画像毎に記憶する記憶手段を
さらに備え、前記鼻孔領域の間隔、鼻孔領域の面積、鼻
孔領域の縦横形状比の各基準値を、記憶された前記鼻孔
領域の間隔、鼻孔領域の各辺長より求めた所定画像数内
での鼻孔領域の間隔の最大値、あるいは所定画像数内で
の鼻孔領域の間隔及び鼻孔領域の面積又は鼻孔領域の縦
横形状比が最大頻度を示す値とすることを特徴とする。
また、前記候補領域設定手段は、顔の縦軸に沿って顔の
横軸方向の２値レベルを積算する顔横軸ヒストグラム算
出手段と、前記顔横軸ヒストグラムにより顔の横軸に平
行な帯状領域を設定する帯状領域設定手段と、前記帯状
領域内で顔の横軸に沿って顔の縦軸方向の帯幅内の２値
レベルを積算する顔縦軸ヒストグラム算出手段とを備
え、前記帯幅を一辺とし前記顔縦軸ヒストグラムより求
めた顔横軸方向の領域長を他辺とする矩形の候補領域を
設定することを特徴とする。また、前記候補領域設定手
段は、２値画像の黒レベル画素が所定画素数以上集合し
た孤立黒ブロック領域をラベリングにより抽出する黒ブ
ロック領域抽出手段を備えるとともに、前記ラベル化し
た黒ブロック領域のＸ軸方向端部、Ｙ軸方向端部を囲む
矩形の候補領域を設定することを特徴とする。
処理装置は、顔画像を撮像するカメラと、そのカメラよ
り映像信号を入力する画像入力手段と、所定長以下の低
輝度領域を抽出するフィルタを用いて前記画像入力手段
から入力された顔画像の少なくとも顔の縦方向に近い一
方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定長
以下の低輝度領域を抽出する濃淡レベル変換手段と、そ
の濃淡レベル変換手段の出力画像を浮動２値化する浮動
２値化手段と、前記浮動２値化後の２値画像内で目領域
の存在位置を設定する目存在領域設定手段と、前記目存
在領域内で一つ以上の候補領域を設定する候補領域設定
手段と、前記候補領域の内から目領域を判定する目領域
判定手段とを備え、前記濃淡レベル変換手段は、前記画
像入力手段から入力された顔画像の各画素を中心とする
所定画素数飛びの所定画素長の画素レベルの最大値を前
記各中心画素の画素レベルとする最大値フィルタと、そ
の最大値フィルタの出力の各画素を中心とする前記所定
画素数飛びの所定画素長の画素レベルの最小値を各中心
画素の画素レベルとする最小値フィルタと、前記最小値
フィルタの出力と入力顔画像を差分する引き算器とから
なることを特徴とする。また、顔画像を撮像するカメラ
と、そのカメラより映像信号を入力する画像入力手段
と、所定長以下の低輝度領域を抽出するフィルタを用い
て前記画像入力手段から入力された顔画像の少なくとも
顔の縦方向に近い一方の画像軸（Ｘ軸）方向の目の上下
幅に対応する所定長以下の低輝度領域を抽出する濃淡レ
ベル変換手段と、その濃淡レベル変換手段の出力画像を
浮動２値化する浮動２値化手段と、前記浮動２値化後の
２値画像内で目領域の存在位置を設定する目存在領域設
定手段と、前記目存在領域内で一つ以上の候補領域を設
定する候補領域設定手段と、前記候補領域の内から目領
域を判定する目領域判定手段とを備え、前記浮動２値化
手段の２値化閾値は、少なくとも各画素走査軸方向の前
走査ライン上の画素レベルの重み付きピーク値及び重み
付き平均値の和の関数値を走査ライン上の画素の２値化
閾値とすることを特徴とする。また、顔画像を撮像する
カメラと、そのカメラより映像信号を入力する画像入力
手段と、所定長以下の低輝度領域を抽出するフィルタを
用いて前記画像入力手段から入力された顔画像の少なく
とも顔の縦方向に近い一方の画像軸（Ｘ軸）方向の目の
上下幅に対応する所定長以下の低輝度領域を抽出する濃
淡レベル変換手段と、その濃淡レベル変換手段の出力画
像を浮動２値化する浮動２値化手段と、前記浮動２値化
後の２値画像内で目領域の存在位置を設定する目存在領
域設定手段と、前記目存在領域内で一つ以上の候補領域
を設定する候補領域設定手段と、前記候補領域の内から
目領域を判定する目領域判定手段とを備え、前記目存在
領域設定手段は、前記２値画像内での顔重心位置を算出
する顔重心検出手段を備えるとともに、前記顔重心位置
より所定距離離れた顔の左右２つの点を基点とした顔の
縦、横方向に各々所定長さの２つの矩形の目存在領域を
設定することを特徴とする。また、顔画像を撮像するカ
メラと、そのカメラより映像信号を入力する画像入力手
段と、所定長以下の低輝度領域を抽出するフィルタを用
いて前記画像入力手段から入力された顔画像の少なくと
も顔の縦方向に近い一方の画像軸（Ｘ軸）方向の目の上
下幅に対応する所定長以下の低輝度領域を抽出する濃淡
レベル変換手段と、その濃淡レベル変換手段の出力画像
を浮動２値化する浮動２値化手段と、前記浮動２値化後
の２値画像内で目領域の存在位置を設定する目存在領域
設定手段と、前記目存在領域内で一つ以上の候補領域を
設定する候補領域設定手段と、前記候補領域の内から目
領域を判定する目領域判定手段とを備え、前記目存在領
域設定手段は、前記２値画像内での顔重心位置を算出す
る顔重心検出手段と、顔の縦軸方向中心線を算出する顔
中心線検出手段とを備えるとともに、前記顔重心位置よ
り所定距離離れた顔の左右２つの点を基点とし一辺が前
記顔中心線に平行で顔の縦、横方向に各々所定長さの２
つの矩形の目存在領域を設定することを特徴とする。ま
た、顔画像を撮像するカメラと、そのカメラより映像信
号を入力する画像入力手段と、所定長以下の低輝度領域
を抽出するフィルタを用いて前記画像入力手段から入力
された顔画像の少なくとも顔の縦方向に近い一方の画像
軸（Ｘ軸）方向の目の上下幅に対応する所定長以下の低
輝度領域を抽出する濃淡レベル変換手段と、その濃淡レ
ベル変換手段の出力画像を浮動２値化する浮動２値化手
段と、前記浮動２値化後の２値画像内で目領域の存在位
置を設定する目存在領域設定手段と、前記目存在領域内
で一つ以上の候補領域を設定する候補領域設定手段と、
前記候補領域の内から目領域を判定する目領域判定手段
とを備え、前記目存在領域設定手段は、前記２値画像内
で鼻孔領域を判定する鼻孔領域判定手段を備えるととも
に、顔の左右の鼻孔領域の中点より顔の上部の所定距離
離れた顔の左右２つの点を基点とした顔の縦、横方向に
各々所定長さの２つの矩形の目存在領域を設定すること
を特徴とする。また、顔画像を撮像するカメラと、その
カメラより映像信号を入力する画像入力手段と、所定長
以下の低輝度領域を抽出するフィルタを用いて前記画像
入力手段から入力された顔画像の少なくとも顔の縦方向
に近い一方の画像軸（Ｘ軸）方向の目の上下幅に対応す
る所定長以下の低輝度領域を抽出する濃淡レベル変換手
段と、その濃淡レベル変換手段の出力画像を浮動２値化
する浮動２値化手段と、前記浮動２値化後の２値画像内
で目領域の存在位置を設定する目存在領域設定手段と、
前記目存在領域内で一つ以上の候補領域を設定する候補
領域設定手段と、前記候補領域の内から目領域を判定す
る目領域判定手段とを備え、前記目領域判定手段は、前
記候補領域内において顔の横軸に沿って候補領域内の顔
の縦軸方向の２値レベルを積算する顔縦軸ヒストグラム
算出手段を備え、前記候補領域の顔の横軸方向の幅が所
定範囲内であるとき、前記顔縦軸ヒストグラムの大きさ
の代表値及び形状の代表値の双方を評価関数として目領
域か否かを判定することを特徴とする。また、顔画像を
撮像するカメラと、そのカメラより映像信号を入力する
画像入力手段と、所定長以下の低輝度領域を抽出するフ
ィルタを用いて前記画像入力手段から入力された顔画像
の少なくとも顔の縦方向に近い一方の画像軸（Ｘ軸）方
向の目の上下幅に対応する所定長以下の低輝度領域を抽
出する濃淡レベル変換手段と、その濃淡レベル変換手段
の出力画像を浮動２値化する浮動２値化手段と、前記浮
動２値化後の２値画像内で目領域の存在位置を設定する
目存在領域設定手段と、前記目存在領域内で一つ以上の
候補領域を設定する候補領域設定手段と、前記候補領域
の内から目領域を判定する目領域判定手段とを備え、前
記目領域判定手段は、前記矩形の目存在領域内で目と判
定された候補領域の代表点を算出する代表点算出手段を
備え、前記目と判定された候補領域の前記代表点位置と
顔重心との距離が最小な候補領域を最終的に目と判定す
ることを特徴とする。また、顔画像を撮像するカメラ
と、そのカメラより映像信号を入力する画像入力手段
と、所定長以下の低輝度領域を抽出するフィルタを用い
て前記画像入力手段から入力された顔画像の少なくとも
顔の縦方向に近い一方の画像軸（Ｘ軸）方向の目の上下
幅に対応する所定長以下の低輝度領域を抽出する濃淡レ
ベル変換手段と、その濃淡レベル変換手段の出力画像を
浮動２値化する浮動２値化手段と、前記浮動２値化後の
２値画像内で目領域の存在位置を設定する目存在領域設
定手段と、前記目存在領域内で一つ以上の候補領域を設
定する候補領域設定手段と、前記候補領域の内から目領
域を判定する目領域判定手段とを備え、前記目領域判定
手段は、前記左右２つの矩形の目存在領域内で各々目と
判定された候補領域の代表点を算出する代表点算出手段
を備え、前記左右の目と判定された候補領域の前記各代
表点位置と顔重心との距離の差が所定値より小さく且つ
前記距離の差が最小な左右各１の候補領域を最終的に目
と判定することを特徴とする。また、顔画像を撮像する
カメラと、そのカメラより映像信号を入力する画像入力
手段と、所定長以下の低輝度領域を抽出するフィルタを
用いて前記画像入力手段から入力された顔画像の少なく
とも顔の縦方向に近い一方の画像軸（Ｘ軸）方向の目の
上下幅に対応する所定長以下の低輝度領域を抽出する濃
淡レベル変換手段と、その濃淡レベル変換手段の出力画
像を浮動２値化する浮動２値化手段と、前記浮動２値化
後の２値画像内で目領域の存在位置を設定する目存在領
域設定手段と、前記目存在領域内で一つ以上の候補領域
を設定する候補領域設定手段と、前記候補領域の内から
目領域を判定する目領域判定手段とを備え、前記候補領
域設定手段は、顔の縦軸に沿って顔の横軸方向の２値レ
ベルを積算する顔横軸ヒストグラム算出手段と、前記顔
横軸ヒストグラムにより顔の横軸に平行な帯状領域を設
定する帯状領域設定手段と、前記帯状領域内で顔の横軸
に沿って顔の縦軸方向の帯幅内の２値レベルを積算する
顔縦軸ヒストグラム算出手段とを備え、前記帯幅を一辺
とし前記顔縦軸ヒストグラムより求めた顔横軸方向の領
域長を他辺とする矩形の候補領域を設定することを特徴
とする。また、顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、前記候補領域設定手段は、２値画
像の黒レベル画素が所定画素数以上集合した孤立黒ブロ
ック領域をラベリングにより抽出する黒ブロック領域抽
出手段を備えるとともに、前記ラベル化した黒ブロック
領域のＸ軸方向端部、Ｙ軸方向端部を囲む矩形の候補領
域を設定することを特徴とする。また、前記濃淡レベル
変換手段における黒レベル抽出方向をカメラの画素走査
方向と一致させたことを特徴とする。また、顔画像を撮
像するカメラと、そのカメラより映像信号を入力する画
像入力手段、所定長以下の低輝度領域を抽出するフィル
タを用いて前記画像入力手段から入力された顔画像の少
なくとも顔の縦方向に近い一方の画像軸（Ｘ軸）方向の
目の上下幅に対応する所定長以下の低輝度領域を抽出す
る第一の濃淡レベル変換手段と、その第一の濃淡レベル
変換手段の出力画像を浮動２値化する第一の浮動２値化
手段と、所定長以下の低輝度領域を抽出するフィルタを
用いてＸ軸に垂直なＹ軸方向の目の上下幅に対応する所
定長以下の低輝度領域を抽出する第二の濃淡レベル変換
手段と、その第二の濃淡レベル変換手段の出力画像を浮
動２値化する第二の浮動２値化手段と、前記第一及び第
二の浮動２値化手段からの２値画像を乗算する画像論理
積演算手段と、画像乗算後の２値画像内で目領域の存在
位置を設定する目存在領域設定手段と、前記目存在領域
内で一つ以上の候補領域を設定する候補領域設定手段
と、前記候補領域の内から目領域を判定する目領域判定
手段とを備えたことを特徴とする。また、前記濃淡レベ
ル変換手段は、前記画像入力手段から入力された顔画像
の各画素を中心とする連続した所定画素長の画素レベル
の最大値を前記各中心画素の画素レベルとする最大値フ
ィルタと、その最大値フィルタの出力の各画素を中心と
する前記所定画素長の画素レベルの最小値を各中心画素
の画素レベルとする最小値フィルタと、前記最小値フィ
ルタの出力と入力顔画像を差分する引き算器とからなる
ことを特徴とする。また、前記濃淡レベル変換手段は、
前記画像入力手段から入力された顔画像の各画素を中心
とする所定画素数飛びの所定画素長の画素レベルの最大
値を前記各中心画素の画素レベルとする最大値フィルタ
と、その最大値フィルタの出力の各画素を中心とする前
記所定画素数飛びの所定画素長の画素レベルの最小値を
各中心画素の画素レベルとする最小値フィルタと、前記
最小値フィルタの出力と入力顔画像を差分する引き算器
とからなることを特徴とする。また、前記浮動２値化手
段の２値化閾値は、少なくとも各画素走査軸方向の前走
査ライン上の画素レベルの重み付きピーク値及び重み付
き平均値の和の関数値を走査ライン上の画素の２値化閾
値とすることを特徴とする。また、前記目存在領域設定
手段は、前記２値画像内での顔重心位置を算出する顔重
心検出手段を備えるとともに、前記顔重心位置より所定
距離離れた顔の左右２つの点を基点とした顔の縦、横方
向に各々所定長さの２つの矩形の目存在領域を設定する
ことを特徴とする。また、前記目存在領域設定手段は、
前記２値画像内での顔重心位置を算出する顔重心検出手
段と、顔の縦軸方向中心線を算出する顔中心線検出手段
とを備えるとともに、前記顔重心位置より所定距離離れ
た顔の左右２つの点を基点とし一辺が前記顔中心線に平
行で顔の縦、横方向に各々所定長さの２つの矩形の目存
在領域を設定することを特徴とする。また、前記目存在
領域設定手段は、前記２値画像内で鼻孔領域を判定する
鼻孔領域判定手段を備えるとともに、顔の左右の鼻孔領
域の中点より顔の上部の所定距離離れた顔の左右２つの
点を基点とした顔の縦、横方向に各々所定長さの２つの
矩形の目存在領域を設定することを特徴とする。また、
前記目領域判定手段は、前記候補領域内において顔の横
軸に沿って候補領域内の顔の縦軸方向の２値レベルを積
算する顔縦軸ヒストグラム算出手段を備え、前記候補領
域の顔の横軸方向の幅が所定範囲内であるとき、前記顔
縦軸ヒストグラムの大きさの代表値及び形状の代表値の
双方を評価関数として目領域か否かを判定することを特
徴とする。また、前記目領域判定手段は、前記目存在領
域内で前記各候補領域の評価関数値を画像毎に記憶する
記憶手段を備え、記憶された前記評価関数値の所定画像
数内での変化が最大である各候補領域を目と判定するこ
とを特徴とする。また、前記目領域判定手段は、前記目
存在領域内で目と判定された候補領域の代表点を算出す
る代表点算出手段を備え、前記目と判定された候補領域
の前記代表点位置と顔重心との距離が最小な候補領域を
最終的に目と判定することを特徴とする。また、前記目
領域判定手段は、前記目存在領域内で各々目と判定され
た候補領域の代表点を算出する代表点算出手段を備え、
左右の目と判定された候補領域の前記各代表点位置と顔
重心との距離の差が所定値より小さく且つ前記距離の差
が最小な左右各１の候補領域を最終的に目と判定するこ
とを特徴とする。また、前記鼻孔領域判定手段は、前記
２値画像内で一つ以上の候補領域を設定する候補領域設
定手段と、前記２値画像内で顔の縦軸方向中心線を算出
する顔中心線検出手段と、前記顔中心線の左右に所定の
等間隔に設けた平行線間の領域を鼻孔存在領域とする鼻
孔存在領域設定手段とを備え、前記鼻孔存在領域に含ま
れる前記候補領域の内より鼻孔を判定することを特徴と
する。また、前記鼻孔存在領域設定手段は、前記２値画
像内で設定した各候補領域の代表点座標を算出する候補
領域代表点演算手段を備え、顔縦軸方向代表点座標が等
しい各候補領域の顔横軸方向代表点座標と顔中心線の顔
の横軸方向座標までの平均距離を求め、前記平行線間の
間隔を前記平均距離の関数とすることを特徴とする。ま
た、前記鼻孔領域判定手段は、前記２値画像内で一つ以
上の候補領域を設定する候補領域設定手段と、前記２値
画像内での顔重心位置を算出する顔重心検出手段と、前
記顔重心より顔の縦方向下部に所定間隔離れた点を通る
顔の横方向の線より下部を鼻孔存在領域とする鼻孔存在
領域設定手段とを備え、前記鼻孔存在領域に含まれる前
記候補領域の内より鼻孔を判定することを特徴とする。
また、前記鼻孔存在領域設定手段は、前記２値画像内で
設定した各候補領域の代表点座標を算出する候補領域代
表点演算手段と、顔縦軸方向代表点座標が等しい各候補
領域を一つの帯状領域とし前記顔縦軸方向代表点座標を
前記帯状領域の顔縦軸方向代表点座標とする帯状領域代
表点演算手段を備え、前記所定間隔を前記帯状領域の領
域数と前記各帯状領域代表点と前記顔重心の顔縦軸方向
座標間の距離を基に決定することを特徴とする。また、
前記鼻孔存在領域内で鼻孔を抽出する演算領域を規定す
る鼻孔抽出領域限定手段を備え、前記限定された鼻孔抽
出領域内での画素の重心を鼻孔領域の中点とすることを
特徴とする。また、前記鼻孔領域判定手段は、前記２値
画像内で一つ以上の候補領域を設定する候補領域設定手
段と、各候補領域の代表点座標を算出する候補領域代表
点演算手段とを備え、顔縦軸方向代表点座標が等しい各
候補領域間の顔横軸方向離間距離を演算するとともに、
前記横軸方向離間距離と予め設定された鼻孔間距離とを
比較し、前記代表点間の距離が前記鼻孔間距離に最も近
い一組の候補領域を鼻孔と判定することを特徴とする。
また、前記鼻孔領域判定手段は、前記２値画像内で一つ
以上の候補領域を設定する候補領域設定手段と、各候補
領域の代表点座標を算出する候補領域代表点演算手段と
を備え、顔縦軸方向代表点座標が等しい各候補領域の顔
横軸方向代表点座標間の距離を演算するとともに、前記
顔横軸方向代表点座標間の距離と前記候補領域の縦横形
状比とを鼻孔領域判定の評価関数とすることを特徴とす
る。また、前記鼻孔領域判定手段は、前記２値画像内で
一つ以上の候補領域を設定する候補領域設定手段と、そ
の候補領域設定手段により設定した各候補領域の顔の縦
軸方向辺長を顔の下部方向から減ずる候補領域限定手段
と、前記限定した各候補領域内で顔の横軸に沿って顔の
縦軸方向の２値レベルを積算する顔縦軸ヒストグラム算
出手段とを備え、顔の縦軸方向辺長を減じたときの前記
顔縦軸ヒストグラムの形状変化より鼻孔領域を判定する
ことを特徴とする。また、前記顔重心位置の座標を、前
記２値画像内の画素の重心座標とすることを特徴とす
る。また、前記２値画像内で顔の縦軸に沿って顔の横軸
方向の２値レベルを積算する顔横軸ヒストグラム算出手
段と、前記顔横軸ヒストグラムにより顔の横軸に平行な
帯状領域を設定する帯状領域設定手段と、前記帯状領域
の顔縦軸方向代表点座標を求める帯状領域代表点演算手
段と、前記帯状領域内で顔の横軸に沿って顔の縦軸方向
の帯幅内の２値レベルを全ての帯状領域について積算す
る顔縦軸ヒストグラム算出手段とを備え、前記顔重心位
置のＸ座標を各帯状領域代表点の平均座標とし、前記顔
重心位置のＹ座標を前記顔縦軸ヒストグラムの重心座標
とすることを特徴とする。また、前記２値画像内で一つ
以上の候補領域を設定する候補領域設定手段を備え、前
記顔重心位置の座標（Ｘｇ、Ｙｇ）を、設定した各候補
領域ｉの黒レベル画素数Ｎｉ、各候補領域ｉの代表点の
座標（Ｘｉ、Ｙｉ）、候補領域ｉの数ｍを用いて、 Ｘｇ＝ΣｍＮｉＸｉ／ΣＮｉ Ｙｇ＝ΣｍＮｉＹｉ／ΣＮｉ とすることを特徴とする。また、前記顔中心線検出手段
は、前記２値画像内で顔の縦軸に沿って顔の横軸方向の
２値レベルを積算する顔横軸ヒストグラム算出手段と、
前記顔横軸ヒストグラムより顔の横軸に平行な少なくと
も一つ以上の帯状領域を設定する帯状領域設定手段と、
前記各帯状領域内の画素の重心位置を演算する帯状領域
重心検出手段とを備え、前記各帯状領域重心の位置より
顔の縦軸方向中心線を算出することを特徴とする。ま
た、前記顔中心線検出手段は、前記２値画像内で一つ以
上の候補領域を設定する候補領域設定手段と、設定した
各候補領域の代表点座標を算出する候補領域代表点演算
手段と、顔縦軸方向代表点座標が等しい各候補領域を一
つの帯状領域として前記帯状領域内の各候補領域の顔横
軸方向代表点座標の平均値を求めて前記帯状領域の顔横
軸方向代表点座標とする帯状領域代表点演算手段とを備
え、前記各帯領域代表点の位置より顔の縦軸方向中心線
を算出することを特徴とする。また、前記顔中心線検出
手段は、前記２値画像内で一つ以上の候補領域を設定す
る候補領域設定手段と、設定した各候補領域の代表点座
標を算出する候補領域代表点演算手段と、前記各候補領
域の代表点より画像のＹ軸を中心として所定の角度範囲
にある他の候補領域の代表点との中点座標を算出する顔
中心線候補点演算手段とを備え、前記各顔中心線候補点
の位置より顔の縦軸方向中心線を算出することを特徴と
する。また、前記２値画像内での全画素の重心位置を算
出する第一の重心検出手段と、前記第一の重心位置の回
りに所定の矩形領域を設定する候補存在領域設定手段と
をさらに備えるとともに、前記候補存在領域内で前記目
存在領域を設定し、あるいは前記目存在領域を設定する
ための前記顔重心位置又は前記顔中心線又は前記鼻孔領
域を求めることを特徴とする。また、前記目存在領域設
定手段における目存在領域の設定は、前記２値画像内で
黒レベル画素が所定画素数以上連結した各黒ブロック領
域のＸ、Ｙ軸方向端点の最小値及び最大値をＸ、Ｙ軸方
向端点とする矩形領域を黒ブロック存在領域として規定
し、前記目存在領域の開始座標及び各辺長を、前記黒ブ
ロック存在領域の開始座標、及び黒ブロック存在領域の
各辺長あるいは各辺長と各辺長基準値との比、の関数と
することを特徴とする。また、前記黒ブロック存在領域
の辺長を画像毎に記憶する記憶手段をさらに備え、前記
辺長の基準値を、記憶された前記辺長の所定画像数内で
の最大辺長あるいは最大頻度を示す辺長とすることを特
徴とする。また、前記目存在領域設定手段における目存
在領域の設定は、前記目存在領域の顔の横軸方向開始座
標及び辺長を、前記鼻孔領域判定手段により抽出した鼻
孔領域の間隔、あるいは鼻孔領域の間隔の基準値との
比、の関数とすることを特徴とする。また、前記目存在
領域設定手段における目存在領域の設定は、前記目存在
領域の顔の縦軸方向開始座標及び辺長を、前記鼻孔領域
判定手段により抽出した鼻孔領域の間隔、及び鼻孔領域
の面積あるいは鼻孔領域の縦横形状比、あるいは鼻孔領
域の間隔の基準値との比及び鼻孔領域の面積の基準値と
の比あるいは鼻孔領域の縦横形状比の基準値との比、の
関数とすることを特徴とする。また、前記鼻孔領域の間
隔及び鼻孔領域の各辺長を画像毎に記憶する記憶手段を
さらに備え、前記鼻孔領域の間隔、鼻孔領域の面積、鼻
孔領域の縦横形状比の各基準値を、記憶された前記鼻孔
領域の間隔、鼻孔領域の各辺長より求めた所定画像数内
での鼻孔領域の間隔の最大値、あるいは所定画像数内で
の鼻孔領域の間隔及び鼻孔領域の面積又は鼻孔領域の縦
横形状比が最大頻度を示す値とすることを特徴とする。
また、前記候補領域設定手段は、顔の縦軸に沿って顔の
横軸方向の２値レベルを積算する顔横軸ヒストグラム算
出手段と、前記顔横軸ヒストグラムにより顔の横軸に平
行な帯状領域を設定する帯状領域設定手段と、前記帯状
領域内で顔の横軸に沿って顔の縦軸方向の帯幅内の２値
レベルを積算する顔縦軸ヒストグラム算出手段とを備
え、前記帯幅を一辺とし前記顔縦軸ヒストグラムより求
めた顔横軸方向の領域長を他辺とする矩形の候補領域を
設定することを特徴とする。また、前記候補領域設定手
段は、２値画像の黒レベル画素が所定画素数以上集合し
た孤立黒ブロック領域をラベリングにより抽出する黒ブ
ロック領域抽出手段を備えるとともに、前記ラベル化し
た黒ブロック領域のＸ軸方向端部、Ｙ軸方向端部を囲む
矩形の候補領域を設定することを特徴とする。
【００１４】
【００１５】
【００１６】
【００１７】
【００１８】
【００１９】
【００２０】
【００２１】
【００２２】
【００２３】
【００２４】
【００２５】
【００２６】
【００２７】
【００２８】
【００２９】
【００３０】
【００３１】
【００３２】
【００３３】
【００３４】
【００３５】
【００３６】
【００３７】
【００３８】
【００３９】
【００４０】
【００４１】
【００４２】
【００４３】
【００４４】
【００４５】
【００４６】
【００４７】
【００４８】
【作用】この発明に係る顔画像の処理装置においては、
カメラにより顔を撮影し、画像入力手段により撮影した
顔画像を入力し、濃淡レベル変換手段により前記入力顔
画像から目の上下幅程度以下の長さの黒レベル領域、即
ち目、眉、鼻孔、口裂などの特徴領域をフィルタリング
し、この特徴領域抽出画像を浮動２値化手段により２値
化することで、太陽光による陰等の外乱に左右されるこ
となく２値化が行われて略顔の特徴領域のみを安定的に
抽出するとともに画像情報を大幅に圧縮して画像メモリ
が節約され、さらに２値画像内で目存在領域設定手段に
より目の存在領域を設定し、前記目存在領域内で候補領
域設定手段により目の候補領域を設定し、前記候補領域
の内から目領域判定手段により目領域を判定することで
演算領域を限定して目の抽出を高速に、精度よく行うこ
とができる。また、前記濃淡レベル変換手段における黒
レベル抽出方向をカメラの画素走査方向にあわせること
で濃淡レベル変換手段をハードウエアで構成して高速処
理することができる。また、カメラにより顔を撮影し、
画像入力手段により撮影した顔画像を入力し、第一の濃
淡レベル変換手段により入力顔画像から顔縦軸方向の目
の上下幅程度以下の長さの黒レベル領域、即ち目、眉、
鼻孔、口裂などの特徴領域をフィルタリングし、この特
徴領域抽出画像を第一の浮動２値化手段により２値化
し、第二の濃淡レベル変換手段により同様に入力顔画像
から顔横軸方向の目の上下幅程度以下の長さの黒レベル
領域、即ち黒目領域、鼻孔などの特徴領域をフィルタリ
ングし、この特徴領域抽出画像を第二の浮動２値化手段
により２値化することで、太陽光による陰等の外乱に左
右されることなく２値化が行われて略顔の特徴領域のみ
を安定的に抽出するとともに、画像乗算手段により前記
第一及び第二の浮動２値化手段からの２値画像を乗算し
てさらに特徴領域を限定して略黒目領域のみが残るよう
にして目の抽出確率を高め、さらに画像乗算後の２値画
像内で目存在領域設定手段により目の存在領域を設定
し、前記目存在領域内で候補領域設定手段により目の候
補領域を設定し、前記候補領域の内から目領域判定手段
により目領域を判定することで演算領域を限定して目の
抽出を精度よく行うことができる。また、前記濃淡レベ
ル変換手段は、最大値フィルタにより顔画像の各画素を
中心とする連続した所定画素長の画素レベルの最大値を
前記各中心画素の画素レベルとし、次に最小値フィルタ
により最大値フィルタの出力の各画素を中心とする前記
所定画素長の画素レベルの最小値を各中心画素の画素レ
ベルとし、最後に引き算器で前記最小値フィルタの出力
と入力顔画像を差分することにより前記所定画素長以下
の黒レベルを抽出するように働き、従って前記濃淡レベ
ル変換手段をハードウエアで構成することにより高速処
理を行うことができる。また、前記濃淡レベル変換手段
において、最大値フィルタにおける最大値フィルタリン
グ、最小値フィルタにおける最小値フィルタリングを所
定画素数飛びで歯抜けさせて行うことにより、ハードウ
エアで構成される各フィルタの回路規模を低減すること
ができる。また、前記浮動２値化手段において、２値化
を走査ライン毎に行うことで浮動２値化手段をハードウ
エア化して高速な２値化処理を行うことができるととも
に、２値化閾値を走査ライン上の画素レベルの重み付き
ピーク値及び重み付き平均値の和の関数値とすることで
画像の部分的濃度分布に応じて的確に２値化することが
できる。また、前記目存在領域設定手段は、顔特徴領域
が抽出された前記２値画像では、目領域が顔重心位置の
近くに存在することに着目し、顔重心位置を基にその周
囲に左右に分かれた２つの矩形の領域を目存在領域とし
て設定して目抽出のための演算領域を限定し、演算時間
を短縮することができる。また、前記目存在領域設定手
段は、顔特徴領域が抽出された前記２値画像では、目領
域が顔重心位置の近くで顔の縦軸方向中心線の左右に存
在することに着目し、顔重心位置を基にその周囲に一辺
が前記顔中心線に平行な左右に分かれた２つの矩形の領
域を目存在領域として設定して、目存在領域をさらに限
定することで確実な目抽出を行うとともに、より演算時
間を短縮することができる。また、前記目存在領域設定
手段は、鼻孔の上部に目領域が存在することに着目し、
鼻孔領域の中点を基にその上部に左右に分かれた２つの
矩形の領域を目存在領域として設定して目抽出のための
演算領域を限定し、同様に演算時間を短縮することがで
きる。また、前記目領域判定手段は、目領域か否かを判
定する前記候補領域を一般的な目領域の幅を基に候補領
域の幅によりさらに限定して演算量を低減させ、ハード
ウエア化が容易な顔縦軸ヒストグラム処理を用いて顔縦
軸ヒストグラムの大きさの代表値及び形状の代表値の双
方を評価関数として目領域か否かを迅速、且つ正確に判
定することができる。また、前記目領域判定手段は、目
領域の時間的変化が他の顔特徴領域に対し大きいことに
着目し、目領域の判定を画像毎に記憶した評価関数値の
時系列的変化により行って、眉や眼鏡等と混同すること
なく精度よく目を判定することができる。また、前記目
領域判定手段は、目が他の特徴領域より顔重心に近く存
在することに着目し、目と判定された候補領域の代表点
位置と顔重心との距離の差が最小な候補領域を最終的に
目と判定することで、目の抽出精度をさらに向上させる
ことができる。また、前記目領域判定手段は、目が顔重
心に対し略左右対称で他の特徴領域より顔重心に近く存
在することに着目し、左右の目と判定された各候補領域
の代表点位置と顔重心との距離の差が所定値より小さく
且つ最小な左右各１の候補領域を最終的に目と判定する
ことで、目の抽出精度をさらに向上させることができ
る。また、前記鼻孔領域判定手段は、顔中心線に近接し
て鼻孔が存在することに着目し、鼻孔存在領域を顔の縦
軸方向中心線の左右平行線間の領域に限定し、平行線間
の領域に含まれる候補領域の内より鼻孔を判定すること
により、少ない演算量で眼鏡等の影響を受けないで容易
に鼻孔を抽出することができる。また、前記鼻孔存在領
域における平行線間の間隔を、顔縦軸方向代表点座標が
等しい各候補領域の顔横軸方向代表点の顔中心線までの
平均距離を基に決定することにより、鼻孔存在領域を顔
の個人差に影響されることなく設定することができる。
また、前記鼻孔領域判定手段は、顔特徴領域が抽出され
た前記２値画像では鼻孔が顔重心より下部に離れて存在
することに着目し、鼻孔存在領域を顔重心より顔の縦方
向下部に所定間隔離れた点を通る顔の横方向の線より下
部に限定し、鼻孔存在領域に含まれる候補領域の内より
鼻孔を判定することにより、少ない演算量で眼鏡等の影
響を受けることなく容易に鼻孔を抽出することができ
る。また、前記鼻孔存在領域における前記所定間隔を、
帯状領域の領域数と各帯状領域代表点と顔重心の顔縦軸
方向座標間の距離を基に決定することにより、鼻孔存在
領域を顔の個人差に影響されることなく設定することが
できる。また、鼻孔抽出領域限定手段で前記鼻孔存在領
域内での演算領域をより限定するとともに、鼻孔領域の
中点を前記限定された鼻孔抽出領域内での画素の重心を
とるという簡単な演算で求めて、鼻孔抽出のための演算
時間を大幅に短縮することができる。また、前記鼻孔領
域判定手段は、対称な顔特徴領域の内では鼻孔間の距離
が最も狭いことに着目して、顔縦軸方向代表点座標が等
しい各候補領域の顔横軸方向代表点の離間距離と予め設
定された鼻孔間距離を比較するという簡単な演算で高速
に鼻孔を判定することができる。また、前記鼻孔領域判
定手段は、対称な顔特徴領域の内では鼻孔間の距離が最
も狭くまた鼻孔の形状が他の顔特徴領域に対し大きく異
なることに着目し、顔縦軸方向代表点座標が等しい各候
補領域の顔横軸方向代表点座標間の距離と前記候補領域
の縦横形状比とからなる評価関数値より鼻孔を精度よく
抽出することができる。また、前記鼻孔領域判定手段
は、候補領域限定手段により各候補領域の顔の縦軸方向
辺長を顔の下部方向から減じた時の顔縦軸ヒストグラム
の形状変化により、髭と鼻孔との領域の連結があって
も、髭の影響のみを除去して鼻孔を精度よく抽出するこ
とができる。また、前記２値画像内の画素の重心を求め
る簡単な演算で顔重心位置の座標を設定することができ
る。また、前記２値画像内で顔横軸ヒストグラム算出手
段により顔の横軸に平行な帯状領域を限定し、顔縦軸ヒ
ストグラム算出手段により帯状領域全体の顔縦軸ヒスト
グラムを求めて、顔重心位置のＸ座標を各帯状領域代表
点の平均座標とし、前記顔重心位置のＹ座標を顔縦軸ヒ
ストグラムの重心座標とすることにより、ハードウエア
化でヒストグラム演算を多用するとともに、演算領域と
演算量をともに低減して高速に顔重心位置の座標を設定
することができる。また、前記顔重心位置の座標を（Ｘ
ｇ、Ｙｇ）、設定した各候補領域の代表点（Ｘｉ、Ｙ
ｉ）にその領域の黒レベル画素数Ｎｉが集中していると
して、候補領域ｉの数ｍを用いて、 Ｘｇ＝ΣｍＮｉＸｉ／ΣＮｉ Ｙｇ＝ΣｍＮｉＹｉ／ΣＮｉ として求めることで、演算を単純化して高速に顔重心位
置の座標を設定することができる。また、顔中心線検出
手段は、帯状領域設定手段により顔の横方向に並んだ、
眉、目、鼻孔等の顔特徴領域を各々帯状領域にまとめ
て、帯状領域重心検出手段により各帯状領域内の画素の
重心位置を演算し、各帯状領域の重心の位置を結んで顔
の縦軸方向中心線を算出することで、演算領域を限定し
て演算量を低減し高速に顔の縦軸方向中心線を算出する
ことができる。また、顔中心線検出手段は、帯状領域設
定手段により顔の横方向に並んだ、眉、目、鼻孔等の顔
特徴領域を各々帯状領域にまとめて、帯状領域内の各候
補領域の顔横軸方向代表点座標の平均値を求めて帯状領
域代表点座標とし、帯状領域代表点座標を結んで顔の縦
軸方向中心線を算出することで、演算領域を限定すると
ともに帯状領域の重心算出演算を省略して、より高速に
顔の縦軸方向中心線を算出することができる。また、顔
中心線検出手段は、顔の特徴領域が顔中心線に対し左右
対称に分布していることに着目して、顔中心線候補点演
算手段により各候補領域の代表点より画像のＹ軸を中心
として所定の角度範囲にある他の候補領域の代表点との
中点座標を算出し、各中点座標を結んで顔の縦軸方向中
心線を算出することで、顔が多少傾いた画像においても
同様に演算を単純化して高速に顔の縦軸方向中心線を算
出することができる。また、第一の重心検出手段により
全画素の重心位置を算出し、候補存在領域設定手段で前
記第一の重心位置の回りに所定の矩形領域を限定して、
演算領域を限定するとともに顔の特徴領域以外の背景等
による抽出黒ブロックやノイズの影響を排除して、前記
候補存在領域内で前記目存在領域を設定し、あるいは前
記目存在領域を設定する前記顔重心位置又は前記顔中心
線又は前記鼻孔領域を求めることができる。また、前記
目存在領域設定手段において、顔特徴領域が存在する範
囲を黒ブロック存在領域として規定し、その黒ブロック
存在領域の開始座標及び各辺長あるいは各辺長と各辺長
基準値との比で前記目存在領域の開始座標及び各辺長を
定めて、目存在領域をカメラと顔との距離、顔の個人
差、向きに応じて設定することができる。また、前記黒
ブロック存在領域の辺長の基準値を、画像毎に記憶した
前記辺長の所定画像数内での最大辺長あるいは最大頻度
を示す辺長として、顔が正面を向くか最も高い頻度を示
す顔の向きを基準とすることで、顔の向きに応じて目存
在領域を最適に設定することができる。また、目存在領
域の顔の横軸方向開始座標及び辺長を、前記鼻孔領域判
定手段により抽出した鼻孔領域の間隔、あるいは鼻孔領
域の間隔の基準値との比より求めて、目存在領域をカメ
ラと顔との距離、顔の向きに応じて設定できる。また、
目存在領域の顔の縦軸方向開始座標及び辺長を、前記鼻
孔領域判定手段により抽出した鼻孔領域の間隔、及び鼻
孔領域の面積あるいは鼻孔領域の縦横形状比、あるいは
鼻孔領域の間隔の基準値との比及び鼻孔領域の面積の基
準値との比あるいは鼻孔領域の縦横形状比の基準値との
比より求めて、顔の向きに応じて目存在領域を最適に設
定できるまた、前記鼻孔領域の間隔、鼻孔領域の面積、
鼻孔領域の縦横形状比の各基準値を、記憶された鼻孔領
域の間隔、鼻孔領域の各辺長より求めた所定画像数内で
の鼻孔領域の間隔の最大値、あるいは所定画像数内での
鼻孔領域の間隔、及び鼻孔領域の面積あるいは鼻孔領域
の縦横形状比が最大頻度を示す値として、顔が正面を向
くか最も高い頻度を示す顔の向きを基準とすることで、
顔の向きに応じて目存在領域を最適に設定することがで
きる。また、前記候補領域設定手段は、矩形領域の一辺
を顔横軸ヒストグラム算出手段により顔の横軸に平行な
帯状領域を帯状領域設定手段で設定した帯幅とし、他辺
を前記帯状領域内での顔縦軸ヒストグラム算出手段より
求めた領域長として、ハードウエア化が容易なヒストグ
ラム演算を多用して高速に候補領域を設定する。また、
前記候補領域設定手段は、候補領域を２値画像の黒レベ
ル画素が所定画素数以上集合した孤立黒ブロック領域を
ラベリングにより抽出して、ラベル化した黒ブロック領
域のＸ軸方向端部、Ｙ軸方向端部を囲む矩形領域とし
て、処理を容易化することができる。
カメラにより顔を撮影し、画像入力手段により撮影した
顔画像を入力し、濃淡レベル変換手段により前記入力顔
画像から目の上下幅程度以下の長さの黒レベル領域、即
ち目、眉、鼻孔、口裂などの特徴領域をフィルタリング
し、この特徴領域抽出画像を浮動２値化手段により２値
化することで、太陽光による陰等の外乱に左右されるこ
となく２値化が行われて略顔の特徴領域のみを安定的に
抽出するとともに画像情報を大幅に圧縮して画像メモリ
が節約され、さらに２値画像内で目存在領域設定手段に
より目の存在領域を設定し、前記目存在領域内で候補領
域設定手段により目の候補領域を設定し、前記候補領域
の内から目領域判定手段により目領域を判定することで
演算領域を限定して目の抽出を高速に、精度よく行うこ
とができる。また、前記濃淡レベル変換手段における黒
レベル抽出方向をカメラの画素走査方向にあわせること
で濃淡レベル変換手段をハードウエアで構成して高速処
理することができる。また、カメラにより顔を撮影し、
画像入力手段により撮影した顔画像を入力し、第一の濃
淡レベル変換手段により入力顔画像から顔縦軸方向の目
の上下幅程度以下の長さの黒レベル領域、即ち目、眉、
鼻孔、口裂などの特徴領域をフィルタリングし、この特
徴領域抽出画像を第一の浮動２値化手段により２値化
し、第二の濃淡レベル変換手段により同様に入力顔画像
から顔横軸方向の目の上下幅程度以下の長さの黒レベル
領域、即ち黒目領域、鼻孔などの特徴領域をフィルタリ
ングし、この特徴領域抽出画像を第二の浮動２値化手段
により２値化することで、太陽光による陰等の外乱に左
右されることなく２値化が行われて略顔の特徴領域のみ
を安定的に抽出するとともに、画像乗算手段により前記
第一及び第二の浮動２値化手段からの２値画像を乗算し
てさらに特徴領域を限定して略黒目領域のみが残るよう
にして目の抽出確率を高め、さらに画像乗算後の２値画
像内で目存在領域設定手段により目の存在領域を設定
し、前記目存在領域内で候補領域設定手段により目の候
補領域を設定し、前記候補領域の内から目領域判定手段
により目領域を判定することで演算領域を限定して目の
抽出を精度よく行うことができる。また、前記濃淡レベ
ル変換手段は、最大値フィルタにより顔画像の各画素を
中心とする連続した所定画素長の画素レベルの最大値を
前記各中心画素の画素レベルとし、次に最小値フィルタ
により最大値フィルタの出力の各画素を中心とする前記
所定画素長の画素レベルの最小値を各中心画素の画素レ
ベルとし、最後に引き算器で前記最小値フィルタの出力
と入力顔画像を差分することにより前記所定画素長以下
の黒レベルを抽出するように働き、従って前記濃淡レベ
ル変換手段をハードウエアで構成することにより高速処
理を行うことができる。また、前記濃淡レベル変換手段
において、最大値フィルタにおける最大値フィルタリン
グ、最小値フィルタにおける最小値フィルタリングを所
定画素数飛びで歯抜けさせて行うことにより、ハードウ
エアで構成される各フィルタの回路規模を低減すること
ができる。また、前記浮動２値化手段において、２値化
を走査ライン毎に行うことで浮動２値化手段をハードウ
エア化して高速な２値化処理を行うことができるととも
に、２値化閾値を走査ライン上の画素レベルの重み付き
ピーク値及び重み付き平均値の和の関数値とすることで
画像の部分的濃度分布に応じて的確に２値化することが
できる。また、前記目存在領域設定手段は、顔特徴領域
が抽出された前記２値画像では、目領域が顔重心位置の
近くに存在することに着目し、顔重心位置を基にその周
囲に左右に分かれた２つの矩形の領域を目存在領域とし
て設定して目抽出のための演算領域を限定し、演算時間
を短縮することができる。また、前記目存在領域設定手
段は、顔特徴領域が抽出された前記２値画像では、目領
域が顔重心位置の近くで顔の縦軸方向中心線の左右に存
在することに着目し、顔重心位置を基にその周囲に一辺
が前記顔中心線に平行な左右に分かれた２つの矩形の領
域を目存在領域として設定して、目存在領域をさらに限
定することで確実な目抽出を行うとともに、より演算時
間を短縮することができる。また、前記目存在領域設定
手段は、鼻孔の上部に目領域が存在することに着目し、
鼻孔領域の中点を基にその上部に左右に分かれた２つの
矩形の領域を目存在領域として設定して目抽出のための
演算領域を限定し、同様に演算時間を短縮することがで
きる。また、前記目領域判定手段は、目領域か否かを判
定する前記候補領域を一般的な目領域の幅を基に候補領
域の幅によりさらに限定して演算量を低減させ、ハード
ウエア化が容易な顔縦軸ヒストグラム処理を用いて顔縦
軸ヒストグラムの大きさの代表値及び形状の代表値の双
方を評価関数として目領域か否かを迅速、且つ正確に判
定することができる。また、前記目領域判定手段は、目
領域の時間的変化が他の顔特徴領域に対し大きいことに
着目し、目領域の判定を画像毎に記憶した評価関数値の
時系列的変化により行って、眉や眼鏡等と混同すること
なく精度よく目を判定することができる。また、前記目
領域判定手段は、目が他の特徴領域より顔重心に近く存
在することに着目し、目と判定された候補領域の代表点
位置と顔重心との距離の差が最小な候補領域を最終的に
目と判定することで、目の抽出精度をさらに向上させる
ことができる。また、前記目領域判定手段は、目が顔重
心に対し略左右対称で他の特徴領域より顔重心に近く存
在することに着目し、左右の目と判定された各候補領域
の代表点位置と顔重心との距離の差が所定値より小さく
且つ最小な左右各１の候補領域を最終的に目と判定する
ことで、目の抽出精度をさらに向上させることができ
る。また、前記鼻孔領域判定手段は、顔中心線に近接し
て鼻孔が存在することに着目し、鼻孔存在領域を顔の縦
軸方向中心線の左右平行線間の領域に限定し、平行線間
の領域に含まれる候補領域の内より鼻孔を判定すること
により、少ない演算量で眼鏡等の影響を受けないで容易
に鼻孔を抽出することができる。また、前記鼻孔存在領
域における平行線間の間隔を、顔縦軸方向代表点座標が
等しい各候補領域の顔横軸方向代表点の顔中心線までの
平均距離を基に決定することにより、鼻孔存在領域を顔
の個人差に影響されることなく設定することができる。
また、前記鼻孔領域判定手段は、顔特徴領域が抽出され
た前記２値画像では鼻孔が顔重心より下部に離れて存在
することに着目し、鼻孔存在領域を顔重心より顔の縦方
向下部に所定間隔離れた点を通る顔の横方向の線より下
部に限定し、鼻孔存在領域に含まれる候補領域の内より
鼻孔を判定することにより、少ない演算量で眼鏡等の影
響を受けることなく容易に鼻孔を抽出することができ
る。また、前記鼻孔存在領域における前記所定間隔を、
帯状領域の領域数と各帯状領域代表点と顔重心の顔縦軸
方向座標間の距離を基に決定することにより、鼻孔存在
領域を顔の個人差に影響されることなく設定することが
できる。また、鼻孔抽出領域限定手段で前記鼻孔存在領
域内での演算領域をより限定するとともに、鼻孔領域の
中点を前記限定された鼻孔抽出領域内での画素の重心を
とるという簡単な演算で求めて、鼻孔抽出のための演算
時間を大幅に短縮することができる。また、前記鼻孔領
域判定手段は、対称な顔特徴領域の内では鼻孔間の距離
が最も狭いことに着目して、顔縦軸方向代表点座標が等
しい各候補領域の顔横軸方向代表点の離間距離と予め設
定された鼻孔間距離を比較するという簡単な演算で高速
に鼻孔を判定することができる。また、前記鼻孔領域判
定手段は、対称な顔特徴領域の内では鼻孔間の距離が最
も狭くまた鼻孔の形状が他の顔特徴領域に対し大きく異
なることに着目し、顔縦軸方向代表点座標が等しい各候
補領域の顔横軸方向代表点座標間の距離と前記候補領域
の縦横形状比とからなる評価関数値より鼻孔を精度よく
抽出することができる。また、前記鼻孔領域判定手段
は、候補領域限定手段により各候補領域の顔の縦軸方向
辺長を顔の下部方向から減じた時の顔縦軸ヒストグラム
の形状変化により、髭と鼻孔との領域の連結があって
も、髭の影響のみを除去して鼻孔を精度よく抽出するこ
とができる。また、前記２値画像内の画素の重心を求め
る簡単な演算で顔重心位置の座標を設定することができ
る。また、前記２値画像内で顔横軸ヒストグラム算出手
段により顔の横軸に平行な帯状領域を限定し、顔縦軸ヒ
ストグラム算出手段により帯状領域全体の顔縦軸ヒスト
グラムを求めて、顔重心位置のＸ座標を各帯状領域代表
点の平均座標とし、前記顔重心位置のＹ座標を顔縦軸ヒ
ストグラムの重心座標とすることにより、ハードウエア
化でヒストグラム演算を多用するとともに、演算領域と
演算量をともに低減して高速に顔重心位置の座標を設定
することができる。また、前記顔重心位置の座標を（Ｘ
ｇ、Ｙｇ）、設定した各候補領域の代表点（Ｘｉ、Ｙ
ｉ）にその領域の黒レベル画素数Ｎｉが集中していると
して、候補領域ｉの数ｍを用いて、 Ｘｇ＝ΣｍＮｉＸｉ／ΣＮｉ Ｙｇ＝ΣｍＮｉＹｉ／ΣＮｉ として求めることで、演算を単純化して高速に顔重心位
置の座標を設定することができる。また、顔中心線検出
手段は、帯状領域設定手段により顔の横方向に並んだ、
眉、目、鼻孔等の顔特徴領域を各々帯状領域にまとめ
て、帯状領域重心検出手段により各帯状領域内の画素の
重心位置を演算し、各帯状領域の重心の位置を結んで顔
の縦軸方向中心線を算出することで、演算領域を限定し
て演算量を低減し高速に顔の縦軸方向中心線を算出する
ことができる。また、顔中心線検出手段は、帯状領域設
定手段により顔の横方向に並んだ、眉、目、鼻孔等の顔
特徴領域を各々帯状領域にまとめて、帯状領域内の各候
補領域の顔横軸方向代表点座標の平均値を求めて帯状領
域代表点座標とし、帯状領域代表点座標を結んで顔の縦
軸方向中心線を算出することで、演算領域を限定すると
ともに帯状領域の重心算出演算を省略して、より高速に
顔の縦軸方向中心線を算出することができる。また、顔
中心線検出手段は、顔の特徴領域が顔中心線に対し左右
対称に分布していることに着目して、顔中心線候補点演
算手段により各候補領域の代表点より画像のＹ軸を中心
として所定の角度範囲にある他の候補領域の代表点との
中点座標を算出し、各中点座標を結んで顔の縦軸方向中
心線を算出することで、顔が多少傾いた画像においても
同様に演算を単純化して高速に顔の縦軸方向中心線を算
出することができる。また、第一の重心検出手段により
全画素の重心位置を算出し、候補存在領域設定手段で前
記第一の重心位置の回りに所定の矩形領域を限定して、
演算領域を限定するとともに顔の特徴領域以外の背景等
による抽出黒ブロックやノイズの影響を排除して、前記
候補存在領域内で前記目存在領域を設定し、あるいは前
記目存在領域を設定する前記顔重心位置又は前記顔中心
線又は前記鼻孔領域を求めることができる。また、前記
目存在領域設定手段において、顔特徴領域が存在する範
囲を黒ブロック存在領域として規定し、その黒ブロック
存在領域の開始座標及び各辺長あるいは各辺長と各辺長
基準値との比で前記目存在領域の開始座標及び各辺長を
定めて、目存在領域をカメラと顔との距離、顔の個人
差、向きに応じて設定することができる。また、前記黒
ブロック存在領域の辺長の基準値を、画像毎に記憶した
前記辺長の所定画像数内での最大辺長あるいは最大頻度
を示す辺長として、顔が正面を向くか最も高い頻度を示
す顔の向きを基準とすることで、顔の向きに応じて目存
在領域を最適に設定することができる。また、目存在領
域の顔の横軸方向開始座標及び辺長を、前記鼻孔領域判
定手段により抽出した鼻孔領域の間隔、あるいは鼻孔領
域の間隔の基準値との比より求めて、目存在領域をカメ
ラと顔との距離、顔の向きに応じて設定できる。また、
目存在領域の顔の縦軸方向開始座標及び辺長を、前記鼻
孔領域判定手段により抽出した鼻孔領域の間隔、及び鼻
孔領域の面積あるいは鼻孔領域の縦横形状比、あるいは
鼻孔領域の間隔の基準値との比及び鼻孔領域の面積の基
準値との比あるいは鼻孔領域の縦横形状比の基準値との
比より求めて、顔の向きに応じて目存在領域を最適に設
定できるまた、前記鼻孔領域の間隔、鼻孔領域の面積、
鼻孔領域の縦横形状比の各基準値を、記憶された鼻孔領
域の間隔、鼻孔領域の各辺長より求めた所定画像数内で
の鼻孔領域の間隔の最大値、あるいは所定画像数内での
鼻孔領域の間隔、及び鼻孔領域の面積あるいは鼻孔領域
の縦横形状比が最大頻度を示す値として、顔が正面を向
くか最も高い頻度を示す顔の向きを基準とすることで、
顔の向きに応じて目存在領域を最適に設定することがで
きる。また、前記候補領域設定手段は、矩形領域の一辺
を顔横軸ヒストグラム算出手段により顔の横軸に平行な
帯状領域を帯状領域設定手段で設定した帯幅とし、他辺
を前記帯状領域内での顔縦軸ヒストグラム算出手段より
求めた領域長として、ハードウエア化が容易なヒストグ
ラム演算を多用して高速に候補領域を設定する。また、
前記候補領域設定手段は、候補領域を２値画像の黒レベ
ル画素が所定画素数以上集合した孤立黒ブロック領域を
ラベリングにより抽出して、ラベル化した黒ブロック領
域のＸ軸方向端部、Ｙ軸方向端部を囲む矩形領域とし
て、処理を容易化することができる。
【００４９】
【００５０】
【００５１】
【００５２】
【００５３】
【００５４】
【００５５】
【００５６】
【００５７】
【００５８】
【００５９】
【００６０】
【００６１】
【００６２】
【００６３】
【００６４】
【００６５】
【００６６】
【００６７】
【００６８】
【００６９】
【００７０】
【００７１】
【００７２】
【００７３】
【００７４】
【００７５】
【００７６】
【００７７】
【００７８】
【００７９】
【００８０】
【００８１】
【００８２】
【００８３】
実施例１．図１〜図１２はこの発明の顔画像の処理装置
の第１実施例を示すものであり、図１は顔画像の処理装
置を含む運転者状態検出装置の概略構成図、図２は顔画
像処理装置全体の詳細構成図、図３はＭＡＸ／ＭＩＮフ
ィルタの回路構成図、図４は画像の濃淡レベル変換及び
２値化の説明図、図５は浮動２値化手段の閾値演算フロ
ーチャート、図６は目存在領域設定の説明図、図７は目
存在領域帯設定の説明図、図８は目候補領域のＸ軸ヒス
トグラム、図９は目領域判定のフローチャート、図１０
は眼鏡装着時の顔画像、図１１は眼鏡装着時顔画像の２
値画像、図１２は眼鏡装着時顔画像の目存在領域中の目
候補領域を示す２値画像である。以下、この実施例につ
いて図１〜図１２を参照して説明する。
の第１実施例を示すものであり、図１は顔画像の処理装
置を含む運転者状態検出装置の概略構成図、図２は顔画
像処理装置全体の詳細構成図、図３はＭＡＸ／ＭＩＮフ
ィルタの回路構成図、図４は画像の濃淡レベル変換及び
２値化の説明図、図５は浮動２値化手段の閾値演算フロ
ーチャート、図６は目存在領域設定の説明図、図７は目
存在領域帯設定の説明図、図８は目候補領域のＸ軸ヒス
トグラム、図９は目領域判定のフローチャート、図１０
は眼鏡装着時の顔画像、図１１は眼鏡装着時顔画像の２
値画像、図１２は眼鏡装着時顔画像の目存在領域中の目
候補領域を示す２値画像である。以下、この実施例につ
いて図１〜図１２を参照して説明する。
【００８４】図１において、運転者状態検出装置はカメ
ラａ、顔画像処理装置ｂ、瞬目検出手段ｃ、居眠り判定
手段ｄ、警報手段ｅ、照明制御手段ｆ、近赤外照明ｇか
らなり、顔画像処理装置ｂは、画像入力手段１、濃淡レ
ベル変換手段２、浮動２値化手段３、目存在領域設定手
段４、候補領域設定手段５、目領域判定手段６から構成
される。
ラａ、顔画像処理装置ｂ、瞬目検出手段ｃ、居眠り判定
手段ｄ、警報手段ｅ、照明制御手段ｆ、近赤外照明ｇか
らなり、顔画像処理装置ｂは、画像入力手段１、濃淡レ
ベル変換手段２、浮動２値化手段３、目存在領域設定手
段４、候補領域設定手段５、目領域判定手段６から構成
される。
【００８５】カメラ１は固体撮像素子を用いた超小型の
カメラであって７６８×４９３の計３８万画素のカメラ
を用いており、自動車等の車両のダッシュボード上ある
いはインスツルメントパネル部等に配置されて、前方よ
り顔縦方向が７６８画素となる向きで車両運転者の顔を
撮影する。撮影角度は顔の正面やや斜め下からが目領域
抽出のために最も有利である。照明制御手段ｆはカメラ
の輝度信号を基に画像の明るさを判定し、夜間等の出力
画像が暗い場合には画像の明るさに応じて近赤外照明ｇ
の光量を制御する。昼間において画像が明るい場合に
は、太陽光の可視成分で撮影すればよいが、カメラレン
ズの色収差を考慮してカメラ前方に可視光線カットフィ
ルタを設け、太陽光の近赤外成分で撮影しても十分明る
く且つピントの合った顔画像を撮影できる。
カメラであって７６８×４９３の計３８万画素のカメラ
を用いており、自動車等の車両のダッシュボード上ある
いはインスツルメントパネル部等に配置されて、前方よ
り顔縦方向が７６８画素となる向きで車両運転者の顔を
撮影する。撮影角度は顔の正面やや斜め下からが目領域
抽出のために最も有利である。照明制御手段ｆはカメラ
の輝度信号を基に画像の明るさを判定し、夜間等の出力
画像が暗い場合には画像の明るさに応じて近赤外照明ｇ
の光量を制御する。昼間において画像が明るい場合に
は、太陽光の可視成分で撮影すればよいが、カメラレン
ズの色収差を考慮してカメラ前方に可視光線カットフィ
ルタを設け、太陽光の近赤外成分で撮影しても十分明る
く且つピントの合った顔画像を撮影できる。
【００８６】カメラ１で撮影された顔画像は、顔画像処
理装置ｂの画像入力手段１に入力されてＡ／Ｄ変換され
て、ディジタル階調画像に変換され、濃淡レベル変換手
段２により所定長以下の領域の黒レベルが抽出され、浮
動２値化手段３により浮動２値化されて２値画像に変換
される。次に、かかる２値画像内で目存在領域設定手段
４により各々左右の目の存在する可能性の高い一組の矩
形領域を限定し、各目存在領域内で候補領域設定手段５
により目の候補領域をさらに限定して、かかる候補領域
の内より目領域判定手段６で目を抽出する。顔画像処理
装置ｂで目が抽出されると、瞬目検出手段ｃで目の開閉
が判定され、居眠り判定手段ｄで目の開閉パターンから
居眠り状態の有無が判定され、居眠り状態と判定される
と警報手段ｅで運転者に警報を発する。
理装置ｂの画像入力手段１に入力されてＡ／Ｄ変換され
て、ディジタル階調画像に変換され、濃淡レベル変換手
段２により所定長以下の領域の黒レベルが抽出され、浮
動２値化手段３により浮動２値化されて２値画像に変換
される。次に、かかる２値画像内で目存在領域設定手段
４により各々左右の目の存在する可能性の高い一組の矩
形領域を限定し、各目存在領域内で候補領域設定手段５
により目の候補領域をさらに限定して、かかる候補領域
の内より目領域判定手段６で目を抽出する。顔画像処理
装置ｂで目が抽出されると、瞬目検出手段ｃで目の開閉
が判定され、居眠り判定手段ｄで目の開閉パターンから
居眠り状態の有無が判定され、居眠り状態と判定される
と警報手段ｅで運転者に警報を発する。
【００８７】次に、上記顔画像処理装置ｂの各手段につ
いて、図２以降を用いてさらに詳細に説明する。図２に
おいて、濃淡レベル変換手段２に入力されたディジタル
階調画像はＸ軸平均化フィルタ２１において隣接した３
画素の画素レベルが平均化され、高空間周波数のノイズ
を除去して、画像のざらつきを少なくした後、信号が二
分され、一方の信号は画素ＭＡＸフィルタ２２、画素Ｍ
ＩＮフィルタ２３を通過し引き算器２４に入力され、他
方の信号は引き算器２４にそのまま入力されて、引き算
器２４からは二つの差信号が出力される。
いて、図２以降を用いてさらに詳細に説明する。図２に
おいて、濃淡レベル変換手段２に入力されたディジタル
階調画像はＸ軸平均化フィルタ２１において隣接した３
画素の画素レベルが平均化され、高空間周波数のノイズ
を除去して、画像のざらつきを少なくした後、信号が二
分され、一方の信号は画素ＭＡＸフィルタ２２、画素Ｍ
ＩＮフィルタ２３を通過し引き算器２４に入力され、他
方の信号は引き算器２４にそのまま入力されて、引き算
器２４からは二つの差信号が出力される。
【００８８】上記画素ＭＡＸフィルタ２２及び画素ＭＩ
Ｎフィルタ２３はハードウエアで構成されており、図３
にその回路図を示している。図３において、これらのフ
ィルタは１画素づつ画素を遅延する画素遅延回路２５
（図では遅延回路２５の一部を省略している）と遅延後
の画素と遅延前の画素のレベルを比較する比較回路２６
とからなっており、入力端子DATA INからの入力信号を
画素遅延回路２５で制御端子CLOCKからの制御信号のタ
イミングで１画素遅延しつつ、比較回路２６で隣接する
画素レベルを順次トーナメント形式で比較していき、最
終的にフィルタ出力FLT OUTから、図では遅延回路２５
の両端の節の数である１５画素の最大値(画素ＭＡＸフ
ィルタ２２)あるいは最小値(画素ＭＩＮフィルタ２３)
が出力される。端子MAX/MINには比較回路２６の制御信
号が入力され、MAXにした場合には比較回路２６は入力
２信号の内大きな方を出力し、MINにした場合には小さ
な方を出力して、各々全体として画素ＭＡＸフィルタ２
２、画素ＭＩＮフィルタ２３として働く。ここで前記両
端の節の数、即ち最大値を抽出する画素数は目領域の高
さより若干大きな画素数に設定しており、本実施例では
２８画素に設定している。
Ｎフィルタ２３はハードウエアで構成されており、図３
にその回路図を示している。図３において、これらのフ
ィルタは１画素づつ画素を遅延する画素遅延回路２５
（図では遅延回路２５の一部を省略している）と遅延後
の画素と遅延前の画素のレベルを比較する比較回路２６
とからなっており、入力端子DATA INからの入力信号を
画素遅延回路２５で制御端子CLOCKからの制御信号のタ
イミングで１画素遅延しつつ、比較回路２６で隣接する
画素レベルを順次トーナメント形式で比較していき、最
終的にフィルタ出力FLT OUTから、図では遅延回路２５
の両端の節の数である１５画素の最大値(画素ＭＡＸフ
ィルタ２２)あるいは最小値(画素ＭＩＮフィルタ２３)
が出力される。端子MAX/MINには比較回路２６の制御信
号が入力され、MAXにした場合には比較回路２６は入力
２信号の内大きな方を出力し、MINにした場合には小さ
な方を出力して、各々全体として画素ＭＡＸフィルタ２
２、画素ＭＩＮフィルタ２３として働く。ここで前記両
端の節の数、即ち最大値を抽出する画素数は目領域の高
さより若干大きな画素数に設定しており、本実施例では
２８画素に設定している。
【００８９】図４は従来例で２値化に失敗した図４３の
同一部分（線AOA'上）の画素レベルを本実施例において
２値化するまでの各段階での変化を示している。Ｘ軸平
均化フィルタ２１を通過した画像Ｐ１の画素レベルは、
画素ＭＡＸフィルタ２２、画素ＭＩＮフィルタ２３を通
過後の画像Ｐ２では、フィルタ長以下の画素レベルがフ
ィルタ長で切ったレベルに固定され、さらに画像Ｐ１か
ら引き算器２４で画像Ｐ２の画素レベルを引くと、画像
Ｐ３に示すようにフィルタ長以下の領域の黒レベルのみ
が抽出されるため、太陽の高度や向き、木漏れ日下走行
時等の周囲環境等の撮影状況等で顔に陰影が生じるよう
な場合でも、図４のように眉、目、鼻孔、口裂といった
顔の特徴領域がはっきり抽出されるという利点がある。
また、昼間では太陽光のみによる撮影が可能となり顔画
像処理のため特に強力な補助光等を必要とせず、装置が
安価にできる。さらに、設定したフィルタ長より顔縦方
向に幅の広い黒領域は抽出されないため、髪形等個人差
の大きな頭髪部をはじめから除去でき、顔の個人差の影
響を受けにくいという利点もある。
同一部分（線AOA'上）の画素レベルを本実施例において
２値化するまでの各段階での変化を示している。Ｘ軸平
均化フィルタ２１を通過した画像Ｐ１の画素レベルは、
画素ＭＡＸフィルタ２２、画素ＭＩＮフィルタ２３を通
過後の画像Ｐ２では、フィルタ長以下の画素レベルがフ
ィルタ長で切ったレベルに固定され、さらに画像Ｐ１か
ら引き算器２４で画像Ｐ２の画素レベルを引くと、画像
Ｐ３に示すようにフィルタ長以下の領域の黒レベルのみ
が抽出されるため、太陽の高度や向き、木漏れ日下走行
時等の周囲環境等の撮影状況等で顔に陰影が生じるよう
な場合でも、図４のように眉、目、鼻孔、口裂といった
顔の特徴領域がはっきり抽出されるという利点がある。
また、昼間では太陽光のみによる撮影が可能となり顔画
像処理のため特に強力な補助光等を必要とせず、装置が
安価にできる。さらに、設定したフィルタ長より顔縦方
向に幅の広い黒領域は抽出されないため、髪形等個人差
の大きな頭髪部をはじめから除去でき、顔の個人差の影
響を受けにくいという利点もある。
【００９０】また画素ＭＡＸフィルタ２２、画素ＭＩＮ
フィルタ２３、引き算器２４は上記のように簡単な回路
構成によるハードウエアにより画像の走査と同一制御タ
イミングで処理されるため、顔の特徴領域抽出の画像濃
淡レベル変換手段が安価にできるとともに、変換処理が
リアルタイムに実行される。
フィルタ２３、引き算器２４は上記のように簡単な回路
構成によるハードウエアにより画像の走査と同一制御タ
イミングで処理されるため、顔の特徴領域抽出の画像濃
淡レベル変換手段が安価にできるとともに、変換処理が
リアルタイムに実行される。
【００９１】黒レベルが抽出された差分画像Ｓ３は浮動
２値化手段３により閾値演算手段３１で決定された２値
化閾値により２値化手段３２で２値化され、２値画像Ｐ
４として２値画像フレームメモリ１１に入力される。
２値化手段３により閾値演算手段３１で決定された２値
化閾値により２値化手段３２で２値化され、２値画像Ｐ
４として２値画像フレームメモリ１１に入力される。
【００９２】図５は２値化時の閾値演算のフローチャー
トを示しており、まず閾値演算手段３１により、ステッ
プＳ３０１で前の走査ライン（Ｘ軸方向に一致）上の画
素レベルの積算値SUMPXを求めてSUMPXとして記憶し、ス
テップＳ３０２で画素レベルの最大値を求めてMAXPXと
して記憶し、ステップＳ３０３で閾値SHLを、 ［式１］ SUMPX／（768−2＊SFLT）＋MAXPX／C1＋C2 で計算して、２値化手段３２により閾値SHLで現走査ラ
インの２値化を行う。但し、上式１中、SFLTは前記画素
MAXフィルタ２２、画素MINフィルタ２３の画素長、C1、
C2は定数である。上式１において、第１項は前の走査ラ
インの画素レベルの平均値を示しており、走査ライン上
の画素レベルの２値化閾値SHLを前走査ラインの画素レ
ベルの平均値、最大値の重みづけ一次関数として、２値
化する事により、画像の部分的、局所的濃度分布があっ
ても確実な２値化が可能になる。
トを示しており、まず閾値演算手段３１により、ステッ
プＳ３０１で前の走査ライン（Ｘ軸方向に一致）上の画
素レベルの積算値SUMPXを求めてSUMPXとして記憶し、ス
テップＳ３０２で画素レベルの最大値を求めてMAXPXと
して記憶し、ステップＳ３０３で閾値SHLを、 ［式１］ SUMPX／（768−2＊SFLT）＋MAXPX／C1＋C2 で計算して、２値化手段３２により閾値SHLで現走査ラ
インの２値化を行う。但し、上式１中、SFLTは前記画素
MAXフィルタ２２、画素MINフィルタ２３の画素長、C1、
C2は定数である。上式１において、第１項は前の走査ラ
インの画素レベルの平均値を示しており、走査ライン上
の画素レベルの２値化閾値SHLを前走査ラインの画素レ
ベルの平均値、最大値の重みづけ一次関数として、２値
化する事により、画像の部分的、局所的濃度分布があっ
ても確実な２値化が可能になる。
【００９３】目存在領域設定手段４は、図６に示すごと
く、２値画像フレームメモリ１１に入力された２値画像
１２において、顔重心位置検出手段４１で各々画像軸
Ｘ、Ｙに沿って画素を積算したＹ軸ヒストグラムSUMY５
０１、Ｘ軸ヒストグラムSUMX５０２を求め、 ［式２］ XFC＝ΣｉＸｉSUMX（Ｘｉ）／ΣｉSUMX（Ｘｉ） YFC＝ΣjＹjSUMX（Ｙj）／ΣjSUMX（Ｙj） として顔重心７の位置座標（XFC，YFC）を算出する。こ
こでΣｉSUMX（Ｘｉ）＝ΣjSUMX（Ｙj）であり、ΣjSUM
X（Ｙj）は実際には計算を要しない。
く、２値画像フレームメモリ１１に入力された２値画像
１２において、顔重心位置検出手段４１で各々画像軸
Ｘ、Ｙに沿って画素を積算したＹ軸ヒストグラムSUMY５
０１、Ｘ軸ヒストグラムSUMX５０２を求め、 ［式２］ XFC＝ΣｉＸｉSUMX（Ｘｉ）／ΣｉSUMX（Ｘｉ） YFC＝ΣjＹjSUMX（Ｙj）／ΣjSUMX（Ｙj） として顔重心７の位置座標（XFC，YFC）を算出する。こ
こでΣｉSUMX（Ｘｉ）＝ΣjSUMX（Ｙj）であり、ΣjSUM
X（Ｙj）は実際には計算を要しない。
【００９４】上記２値画像１２においては、前述したご
とく、頭髪を除いた眉、目、鼻孔、口裂といった顔の特
徴領域が抽出されるため、顔重心７位置の近くに略左右
対称に目領域が存在する。そこで、目存在領域規定手段
４２により、顔重心位置座標（XFC，YFC）を基に、 ［式３］ （Ｘ，Ｙ）＝（XFC−XECA，YFC−YECA）なる点PERと （Ｘ，Ｙ）＝（XFC−XECA，YFC＋YECA−EACW）なる点PEL を基準としたＹ軸方向長EACW、Ｘ軸方向長ECAHなる一組
の矩形の目存在領域４０を設定し、目の検索領域を限定
する。ここで、XECA、YECAはカメラと撮影される顔との
距離、カメラの画角に応じて可変とされ、EACW、ECAHも
前記条件に応じて目領域が十分含まれる大きさに設定さ
れる。本実施例ではカメラより約６０cm離れた撮影位置
でEACWを１００画素長、ECAHを１８０画素長に設定して
いる。
とく、頭髪を除いた眉、目、鼻孔、口裂といった顔の特
徴領域が抽出されるため、顔重心７位置の近くに略左右
対称に目領域が存在する。そこで、目存在領域規定手段
４２により、顔重心位置座標（XFC，YFC）を基に、 ［式３］ （Ｘ，Ｙ）＝（XFC−XECA，YFC−YECA）なる点PERと （Ｘ，Ｙ）＝（XFC−XECA，YFC＋YECA−EACW）なる点PEL を基準としたＹ軸方向長EACW、Ｘ軸方向長ECAHなる一組
の矩形の目存在領域４０を設定し、目の検索領域を限定
する。ここで、XECA、YECAはカメラと撮影される顔との
距離、カメラの画角に応じて可変とされ、EACW、ECAHも
前記条件に応じて目領域が十分含まれる大きさに設定さ
れる。本実施例ではカメラより約６０cm離れた撮影位置
でEACWを１００画素長、ECAHを１８０画素長に設定して
いる。
【００９５】候補領域設定手段５は、まず図７に示すよ
うに、目存在領域内Ｙ軸ヒスト算出手段５１において目
存在領域４０内でＸ軸方向に沿ってＹ軸方向の画素を積
算してＹ軸ヒストグラムSUMY５０１を求め、目候補領域
帯設定手段５２でSUMYが所定の閾値SHL以上の領域EAHを
目候補領域帯５２０として設定し、さらに目の検索領域
を限定する。図７では、眉領域に相当するBER1と目領域
に相当するBER2が目候補領域帯５２０として設定されて
いる。
うに、目存在領域内Ｙ軸ヒスト算出手段５１において目
存在領域４０内でＸ軸方向に沿ってＹ軸方向の画素を積
算してＹ軸ヒストグラムSUMY５０１を求め、目候補領域
帯設定手段５２でSUMYが所定の閾値SHL以上の領域EAHを
目候補領域帯５２０として設定し、さらに目の検索領域
を限定する。図７では、眉領域に相当するBER1と目領域
に相当するBER2が目候補領域帯５２０として設定されて
いる。
【００９６】次に、図８に示すように、目候補領域内Ｘ
軸ヒスト算出手段５３により、存在領域の幅ECAWの間、
Ｙ軸方向に沿って目候補領域帯５２０内のＸ軸方向の画
素を積算してＸ軸ヒストグラムSUMX５０２を求め、目候
補領域設定手段５４でSUMXが所定の閾値SHL以上の目候
補領域帯５２０の領域をＹ軸方向長EAW、Ｘ軸方向長EAH
の目候補領域５０として設定する。図８では、眉領域に
相当するBER11と目領域に相当するBER21が目候補領域５
０として設定されている。
軸ヒスト算出手段５３により、存在領域の幅ECAWの間、
Ｙ軸方向に沿って目候補領域帯５２０内のＸ軸方向の画
素を積算してＸ軸ヒストグラムSUMX５０２を求め、目候
補領域設定手段５４でSUMXが所定の閾値SHL以上の目候
補領域帯５２０の領域をＹ軸方向長EAW、Ｘ軸方向長EAH
の目候補領域５０として設定する。図８では、眉領域に
相当するBER11と目領域に相当するBER21が目候補領域５
０として設定されている。
【００９７】最後に目領域判定手段６において、目評価
関数演算手段６１により前記設定された各目候補領域５
０の目評価関数を演算し、目領域選定手段６２により前
記目評価関数値から目と判定された目候補領域５０の内
より最終的に一組の目候補領域５０を目と判定する。
関数演算手段６１により前記設定された各目候補領域５
０の目評価関数を演算し、目領域選定手段６２により前
記目評価関数値から目と判定された目候補領域５０の内
より最終的に一組の目候補領域５０を目と判定する。
【００９８】図９はかかる目領域判定の詳細フローチャ
ートであって、ステップＳ６０１で目候補領域５０の有
無を判定し、目候補領域５０があればステップＳ６０２
で目候補領域BERijの幅EAWを読み出し、ステップＳ６０
３で幅EAWがカメラと撮影される顔との距離、カメラの
画角に応じて目領域の幅がとり得る最小値EAWMIN、最大
値EAWMAXの範囲にあるかどうかを判定し、上記範囲外で
あれば領域BERijは目領域ではないとして新たな目候補
領域を呼び出すためステップＳ６０４で領域BERのｊあ
るいはｉをインクリメントしてステップＳ６０１に戻
る。領域BERijの幅EAWが上記範囲内である場合には、ス
テップＳ６０５で予め算出されている領域BERijのＸ軸
ヒストグラムSUMXを読み出し、ステップＳ６０６でSUMX
の最大値SUMXMAXを算出し、ステップＳ６０７で目領域
の評価関数として、まず次式に示すように、Ｘ軸ヒスト
グラムの複雑さを表す評価関数EFV1として、各ヒストグ
ラム値SUMXと最大値SUMXMAXとの偏差を領域BERijの幅EA
W間積算した値を全ヒストグラム積算値で正規化した、 ［式４］ EFV1＝Σｙ（SUMXMAX−SUMX）／ΣｙSUMX を算出し、続いてステップＳ６０８でＸ軸ヒストグラム
の最大値の評価関数EFV2として適当な定数オフセットＣ
を与えて、 ［式５］ EFV2＝SUMXMAX−Ｃ を算出し、上記２つの評価関数の積EFV1×EFV2を目領域
の評価関数EFVとして、ステップＳ６１０においてEFVを
最小値EFVMINと比較し、EFVがEFVMINより大ならば領域B
ERijが目領域であると判定し、ステップＳ６１１でBERi
jを目判定領域としてそのナンバー（ｉ、ｊ）を記憶し
て、ステップＳ６１２に進み、そうでなければステップ
Ｓ６０４に処理を戻す。
ートであって、ステップＳ６０１で目候補領域５０の有
無を判定し、目候補領域５０があればステップＳ６０２
で目候補領域BERijの幅EAWを読み出し、ステップＳ６０
３で幅EAWがカメラと撮影される顔との距離、カメラの
画角に応じて目領域の幅がとり得る最小値EAWMIN、最大
値EAWMAXの範囲にあるかどうかを判定し、上記範囲外で
あれば領域BERijは目領域ではないとして新たな目候補
領域を呼び出すためステップＳ６０４で領域BERのｊあ
るいはｉをインクリメントしてステップＳ６０１に戻
る。領域BERijの幅EAWが上記範囲内である場合には、ス
テップＳ６０５で予め算出されている領域BERijのＸ軸
ヒストグラムSUMXを読み出し、ステップＳ６０６でSUMX
の最大値SUMXMAXを算出し、ステップＳ６０７で目領域
の評価関数として、まず次式に示すように、Ｘ軸ヒスト
グラムの複雑さを表す評価関数EFV1として、各ヒストグ
ラム値SUMXと最大値SUMXMAXとの偏差を領域BERijの幅EA
W間積算した値を全ヒストグラム積算値で正規化した、 ［式４］ EFV1＝Σｙ（SUMXMAX−SUMX）／ΣｙSUMX を算出し、続いてステップＳ６０８でＸ軸ヒストグラム
の最大値の評価関数EFV2として適当な定数オフセットＣ
を与えて、 ［式５］ EFV2＝SUMXMAX−Ｃ を算出し、上記２つの評価関数の積EFV1×EFV2を目領域
の評価関数EFVとして、ステップＳ６１０においてEFVを
最小値EFVMINと比較し、EFVがEFVMINより大ならば領域B
ERijが目領域であると判定し、ステップＳ６１１でBERi
jを目判定領域としてそのナンバー（ｉ、ｊ）を記憶し
て、ステップＳ６１２に進み、そうでなければステップ
Ｓ６０４に処理を戻す。
【００９９】上記においては目領域の評価関数EFVをEFV
1とEFV2の積の形で与えているが、適当な重みC1、C2を
与えて、C1×EFV1＋C2×EFV2なる一次結合としても良
い。この場合、経験的に重みC1を相対的に大きくした方
が目の抽出成績が良くなる。
1とEFV2の積の形で与えているが、適当な重みC1、C2を
与えて、C1×EFV1＋C2×EFV2なる一次結合としても良
い。この場合、経験的に重みC1を相対的に大きくした方
が目の抽出成績が良くなる。
【０１００】図８の右図に示すように、目領域は黒目領
域の存在のためにヒストグラムの一部が盛り上がった最
大値SUMXMAXと各SUMX値との偏差が大きな形状になるの
に対し、図８の左図に示すように、目存在領域４０内に
通常存在する眉領域等はフラットで上記偏差が小さいヒ
ストグラム形状になるため、評価関数EFV1は目領域が他
の領域に比べ通常数倍大きな値を取る。また、ヒストグ
ラム最大値SUMXMAXも目が開いた状態では黒目領域の存
在のため、評価関数EFV２も同様に目領域が他の領域に
比べ大きな値をとり、結果として両評価関数の積EFVは
目領域が最大値を示す。ステップＳ６１０における最小
値EFVMINは上記より目存在領域４０における個々人の目
領域のEFVのばらつきを考慮して定めている。上記のご
とく、本実施例ではヒストグラムを用いて目の形状の特
徴に基づき目領域を判定するため、目領域の大きさのみ
で判定する場合に比較し精度の良い目の抽出が可能とな
る。
域の存在のためにヒストグラムの一部が盛り上がった最
大値SUMXMAXと各SUMX値との偏差が大きな形状になるの
に対し、図８の左図に示すように、目存在領域４０内に
通常存在する眉領域等はフラットで上記偏差が小さいヒ
ストグラム形状になるため、評価関数EFV1は目領域が他
の領域に比べ通常数倍大きな値を取る。また、ヒストグ
ラム最大値SUMXMAXも目が開いた状態では黒目領域の存
在のため、評価関数EFV２も同様に目領域が他の領域に
比べ大きな値をとり、結果として両評価関数の積EFVは
目領域が最大値を示す。ステップＳ６１０における最小
値EFVMINは上記より目存在領域４０における個々人の目
領域のEFVのばらつきを考慮して定めている。上記のご
とく、本実施例ではヒストグラムを用いて目の形状の特
徴に基づき目領域を判定するため、目領域の大きさのみ
で判定する場合に比較し精度の良い目の抽出が可能とな
る。
【０１０１】ステップＳ６１２では矩形の目判定領域BE
Rijの幾何中心（XEC，YEC）を領域BERijの代表点として
求め、ステップＳ６１３でかかる代表点（XEC，YEC）と
顔重心７（XFC，YFC）との距離DETFCを算出して記憶
し、さらにステップＳ６１４で代表点Ｙ座標YECと顔重
心Ｙ座標YFCとを比較し、YEC＞YFCならばステップＳ６
１５で領域BERijを右目判定領域として右目FLAGを立
て、そうでなければステップＳ６１６を左目判定領域と
して左目FLAGを立てる。かかるステップＳ６０１〜Ｓ６
１６を目候補領域が無くなるまで繰り返す。
Rijの幾何中心（XEC，YEC）を領域BERijの代表点として
求め、ステップＳ６１３でかかる代表点（XEC，YEC）と
顔重心７（XFC，YFC）との距離DETFCを算出して記憶
し、さらにステップＳ６１４で代表点Ｙ座標YECと顔重
心Ｙ座標YFCとを比較し、YEC＞YFCならばステップＳ６
１５で領域BERijを右目判定領域として右目FLAGを立
て、そうでなければステップＳ６１６を左目判定領域と
して左目FLAGを立てる。かかるステップＳ６０１〜Ｓ６
１６を目候補領域が無くなるまで繰り返す。
【０１０２】各目候補領域の評価関数EFVによるチェッ
クが終了したら、ステップＳ６１７において目判定領域
があるか否かを判定し、目判定領域が無い場合には最終
的に目を抽出できなかったとしてステップＳ６１８で目
見失いFLAGを立てる。目判定領域が１以上ある場合に
は、ステップＳ６１９で目判定領域のFLAG状態を判定
し、右目FLAGが立っていれば右目判定領域とみなして、
ステップＳ６２０でその領域BERijの距離DETFCが右目判
定領域中で最小か否かを判定し、最小であれば領域BERi
jを右目であると最終判定する。また、ステップＳ６１
９で左目FLAGが立っていれば左目判定領域とみなして、
同様にステップＳ６２２でその領域BERmnの距離DETFCが
左目判定領域中で最小か否かを判定し、最小であれば領
域BERmnを左目であると最終判定する。ステップＳ６２
０、Ｓ６２２で距離DETFCが最小値でない場合には、ス
テップＳ６２４で目判定領域がさらに存在するかどうか
を確認し、存在する場合にはステップＳ６２５で判定領
域をインクリメントして処理をステップＳ６１９に戻
す。ステップＳ６２４で目判定領域がもはや存在しない
場合には、右目あるいは左目を抽出できなかったとして
ステップＳ６２６で片目見失いFLAGを立てる。
クが終了したら、ステップＳ６１７において目判定領域
があるか否かを判定し、目判定領域が無い場合には最終
的に目を抽出できなかったとしてステップＳ６１８で目
見失いFLAGを立てる。目判定領域が１以上ある場合に
は、ステップＳ６１９で目判定領域のFLAG状態を判定
し、右目FLAGが立っていれば右目判定領域とみなして、
ステップＳ６２０でその領域BERijの距離DETFCが右目判
定領域中で最小か否かを判定し、最小であれば領域BERi
jを右目であると最終判定する。また、ステップＳ６１
９で左目FLAGが立っていれば左目判定領域とみなして、
同様にステップＳ６２２でその領域BERmnの距離DETFCが
左目判定領域中で最小か否かを判定し、最小であれば領
域BERmnを左目であると最終判定する。ステップＳ６２
０、Ｓ６２２で距離DETFCが最小値でない場合には、ス
テップＳ６２４で目判定領域がさらに存在するかどうか
を確認し、存在する場合にはステップＳ６２５で判定領
域をインクリメントして処理をステップＳ６１９に戻
す。ステップＳ６２４で目判定領域がもはや存在しない
場合には、右目あるいは左目を抽出できなかったとして
ステップＳ６２６で片目見失いFLAGを立てる。
【０１０３】図６に示すように、本実施例においては頭
髪領域が除去されるため、２値顔画像の重心が広く且つ
形状がまちまちな頭髪領域に依存しないため、目存在領
域中で目領域が最も顔重心７に近くなる。かかる特徴に
着目して、上述のごとく、目の形状のみならず顔重心７
との距離を基に目領域を判定することでより精度良く目
を抽出できる。
髪領域が除去されるため、２値顔画像の重心が広く且つ
形状がまちまちな頭髪領域に依存しないため、目存在領
域中で目領域が最も顔重心７に近くなる。かかる特徴に
着目して、上述のごとく、目の形状のみならず顔重心７
との距離を基に目領域を判定することでより精度良く目
を抽出できる。
【０１０４】図１０〜１２は、眼鏡装着時の顔画像を上
記第１実施例による方法で処理した場合の例を示す図で
あって、図１０は入力顔画像を示し、図１１は濃淡レベ
ル変換手段２、浮動２値化手段３により図１０の入力顔
画像を処理した２値画像を示しており、濃淡レベル変換
手段２により同様に頭髪部が除去されるとともに、眼鏡
枠の縦長部が消え、顔縦方向が濃淡レベル変換手段２の
フィルタ長より短い枠の横長の部分のみが残っている。
かかる例では、図１２に示すように、目存在領域４０中
に、目候補領域５０として眉領域BER11、目領域BER31と
ともに眼鏡枠の上側横長部分BER21が入っている。尚、
図では目存在領域４０に眼鏡枠の下側横長部分の一部が
かかっているが、このように黒ブロック領域が目存在領
域４０の顔横方向の線を切っている場合には、その黒ブ
ロック領域は目存在領域帯５２０として設定されない。
これは、通常黒ブロック領域として上記眼鏡枠のごとく
横長なものが多いため目存在領域４０による切断部で
の、かかる黒ブロック領域のＸ軸方向ヒストグラムSUMX
の形状が切断部形状に影響されるためである。眼鏡枠の
上側横長部分BER31のＸ軸方向ヒストグラムSUMXは、特
に図示していないが、図８に示す眉領域BER11と同様な
フラットなヒストグラムとなり、かかる領域BER21は評
価関数EFVにより図９のステップＳ６１０で領域BER11と
同様目判定領域から除外され、結局BER31のみが目領域
として判定される。
記第１実施例による方法で処理した場合の例を示す図で
あって、図１０は入力顔画像を示し、図１１は濃淡レベ
ル変換手段２、浮動２値化手段３により図１０の入力顔
画像を処理した２値画像を示しており、濃淡レベル変換
手段２により同様に頭髪部が除去されるとともに、眼鏡
枠の縦長部が消え、顔縦方向が濃淡レベル変換手段２の
フィルタ長より短い枠の横長の部分のみが残っている。
かかる例では、図１２に示すように、目存在領域４０中
に、目候補領域５０として眉領域BER11、目領域BER31と
ともに眼鏡枠の上側横長部分BER21が入っている。尚、
図では目存在領域４０に眼鏡枠の下側横長部分の一部が
かかっているが、このように黒ブロック領域が目存在領
域４０の顔横方向の線を切っている場合には、その黒ブ
ロック領域は目存在領域帯５２０として設定されない。
これは、通常黒ブロック領域として上記眼鏡枠のごとく
横長なものが多いため目存在領域４０による切断部で
の、かかる黒ブロック領域のＸ軸方向ヒストグラムSUMX
の形状が切断部形状に影響されるためである。眼鏡枠の
上側横長部分BER31のＸ軸方向ヒストグラムSUMXは、特
に図示していないが、図８に示す眉領域BER11と同様な
フラットなヒストグラムとなり、かかる領域BER21は評
価関数EFVにより図９のステップＳ６１０で領域BER11と
同様目判定領域から除外され、結局BER31のみが目領域
として判定される。
【０１０５】この第１実施例では、上記のように眼鏡装
着時においても容易に目領域のみを抽出できる。
着時においても容易に目領域のみを抽出できる。
【０１０６】また、本実施例において、Ｙ軸ヒストグラ
ムSUMY５０１、Ｘ軸ヒストグラムSUMX５０２等のヒスト
グラム演算はカウンタ回路を用いたハードウエアにて高
速で演算され、目存在領域設定手段４、候補領域設定手
段５でこれらハードウエア処理を多用することにより、
目を高速に抽出できるという利点がある。
ムSUMY５０１、Ｘ軸ヒストグラムSUMX５０２等のヒスト
グラム演算はカウンタ回路を用いたハードウエアにて高
速で演算され、目存在領域設定手段４、候補領域設定手
段５でこれらハードウエア処理を多用することにより、
目を高速に抽出できるという利点がある。
【０１０７】実施例２．図１３はこの発明の他の実施例
を示す画素ＭＡＸ／ＭＩＮフィルタの回路構成図であ
り、図中、フィルタ長は１５画素分で実施例１と同じで
あるが、比較回路２６は実施例１と異なり２画素飛びの
画素レベルを比較して、最終的にフィルタ出力FLT OUT
から前記１５画素の内の８画素の最大値あるいは最小値
が出力される。画像の濃度分布は、通常平均化フィルタ
により隣接した数画素の画素レベルが平均化され、高空
間周波数のノイズが除去されて滑らかな変化となってい
るため、平均化フィルタの画素数程度の飛び越し比較を
行う画素ＭＡＸ／ＭＩＮフィルタを用いても、実施例１
と同様に顔の特徴領域を抽出できるとともに、例えば上
記２画素飛びのフィルタでは比較回路の数が半分で済む
等、回路規模を小さくでき装置コストを低減できる。
を示す画素ＭＡＸ／ＭＩＮフィルタの回路構成図であ
り、図中、フィルタ長は１５画素分で実施例１と同じで
あるが、比較回路２６は実施例１と異なり２画素飛びの
画素レベルを比較して、最終的にフィルタ出力FLT OUT
から前記１５画素の内の８画素の最大値あるいは最小値
が出力される。画像の濃度分布は、通常平均化フィルタ
により隣接した数画素の画素レベルが平均化され、高空
間周波数のノイズが除去されて滑らかな変化となってい
るため、平均化フィルタの画素数程度の飛び越し比較を
行う画素ＭＡＸ／ＭＩＮフィルタを用いても、実施例１
と同様に顔の特徴領域を抽出できるとともに、例えば上
記２画素飛びのフィルタでは比較回路の数が半分で済む
等、回路規模を小さくでき装置コストを低減できる。
【０１０８】実施例３．図１４は他の目領域判定手段を
示す説明図であって、５０３は各目候補領域５０のＸ軸
ヒストグラムSUMX５０２の度数分布曲線であって、MCは
度数分布の重心位置、PHは度数分布のピーク値、HWは度
数分布の半値幅をそれぞれ示している。図１４に示すよ
うに、SUMXの形状の差より眉領域BER11等では度数分布
曲線５０３は鋭い単峰（シングルピーク）性を示すのに
対し、目領域BER21では黒目の存在により双峰（ツイン
ピーク）性を示す。これより、目領域判定手段６は、目
存在領域４０においてHM／PHが最大値をとり、且つMCの
左右にピークが存在する目候補領域を目領域と判定す
る。
示す説明図であって、５０３は各目候補領域５０のＸ軸
ヒストグラムSUMX５０２の度数分布曲線であって、MCは
度数分布の重心位置、PHは度数分布のピーク値、HWは度
数分布の半値幅をそれぞれ示している。図１４に示すよ
うに、SUMXの形状の差より眉領域BER11等では度数分布
曲線５０３は鋭い単峰（シングルピーク）性を示すのに
対し、目領域BER21では黒目の存在により双峰（ツイン
ピーク）性を示す。これより、目領域判定手段６は、目
存在領域４０においてHM／PHが最大値をとり、且つMCの
左右にピークが存在する目候補領域を目領域と判定す
る。
【０１０９】かかる目領域判定手段６を用いても目領域
の抽出が可能であるとともに、Ｘ軸ヒストグラムの度数
分布曲線では目と他の特徴領域の曲線形状の差が大きい
ため、より明確に目領域を抽出できるという利点があ
る。
の抽出が可能であるとともに、Ｘ軸ヒストグラムの度数
分布曲線では目と他の特徴領域の曲線形状の差が大きい
ため、より明確に目領域を抽出できるという利点があ
る。
【０１１０】実施例４．図１５はさらに他の目領域判定
手段を示す説明図であって、目領域の判定に目の形状の
時間的変化を用いた場合を示しており、（ａ）〜（ｃ）
は時間経過に伴う目存在領域４０内の２値画像と各目候
補領域のＸ軸ヒストグラム５０２の変化を表しており、
また、（ｄ）及び（ｅ）はＸ軸ヒストグラム５０２より
算出した前記評価関数EFV1、EFV2の各目候補領域での値
の変化をそれぞれ表している。図１５に示すように、眉
領域BER11のＸ軸ヒストグラム５０２は時間的にほとん
ど変化せず、略一定のフラットな曲線を示し、従ってEF
V1、EFV2も殆ど変化しないのに対し、目領域BER21のＸ
軸ヒストグラム５０２は視線を動かしたり、目を開閉し
たりすることで、その曲線形状は大きく変化し、目評価
関数EFV1、EFV2も特に目の開閉によって大きく変動す
る。そこで、入力画像毎に算出した目評価関数EFV1、EF
V2を記憶し、かかる評価関数の所定画素数での変化率を
算出し、その変化率が最大なる目候補領域を目と判定す
る。
手段を示す説明図であって、目領域の判定に目の形状の
時間的変化を用いた場合を示しており、（ａ）〜（ｃ）
は時間経過に伴う目存在領域４０内の２値画像と各目候
補領域のＸ軸ヒストグラム５０２の変化を表しており、
また、（ｄ）及び（ｅ）はＸ軸ヒストグラム５０２より
算出した前記評価関数EFV1、EFV2の各目候補領域での値
の変化をそれぞれ表している。図１５に示すように、眉
領域BER11のＸ軸ヒストグラム５０２は時間的にほとん
ど変化せず、略一定のフラットな曲線を示し、従ってEF
V1、EFV2も殆ど変化しないのに対し、目領域BER21のＸ
軸ヒストグラム５０２は視線を動かしたり、目を開閉し
たりすることで、その曲線形状は大きく変化し、目評価
関数EFV1、EFV2も特に目の開閉によって大きく変動す
る。そこで、入力画像毎に算出した目評価関数EFV1、EF
V2を記憶し、かかる評価関数の所定画素数での変化率を
算出し、その変化率が最大なる目候補領域を目と判定す
る。
【０１１１】即ち、この実施例においては目の形状の時
間的変化による目評価関数の変化で目領域を判定するた
め、目を閉じた場合等、一つの画像における評価関数値
のみの判定では目の抽出が困難な場合においても、目領
域を眉や眼鏡等と混同することがなく正確に判定できる
という利点がある。また、前記評価関数にピークを示す
Ｙ座標あるいはSUMXの重心Ｙ座標の領域幅EAWに対する
相対位置を評価関数として加えれば視線変化によっても
評価関数値が変化するため、より目領域の抽出精度が高
められる。
間的変化による目評価関数の変化で目領域を判定するた
め、目を閉じた場合等、一つの画像における評価関数値
のみの判定では目の抽出が困難な場合においても、目領
域を眉や眼鏡等と混同することがなく正確に判定できる
という利点がある。また、前記評価関数にピークを示す
Ｙ座標あるいはSUMXの重心Ｙ座標の領域幅EAWに対する
相対位置を評価関数として加えれば視線変化によっても
評価関数値が変化するため、より目領域の抽出精度が高
められる。
【０１１２】実施例５．図１６はさらに他の目領域判定
手段における目領域判定のフローチャートを示すもの
で、ステップＳ６１２の後、ステップＳ６３０で前記目
判定領域BERijの代表点Ｘ座標XECと顔重心Ｘ座標XFCと
の差DETFCXを求めて記憶し、ステップＳ６３１で代表点
Ｙ座標YECと顔重心Ｙ座標YFCとを比較し、YECの方がYFC
より大きければ領域BERijは顔重心７の右側にあるとし
て、ステップＳ６３２で右目FLAGを立てた後、ステップ
Ｓ６３３で差（DETFCY＝YEC−YFC）を求めて記憶し、YF
Cの方がYECより大きければ、ステップＳ６３４で左目FL
AGを立てた後、ステップＳ６３５で差（DETFCY＝YFC−Y
EC）を求めて記憶して、以上の処理を全候補領域につい
て行う。ステップＳ６０１で全目判定領域の設定が終了
すると、次にステップＳ６３６で左目判定領域が存在す
るか否かを左目FLAGで確認し、領域が存在する場合、ス
テップＳ６３７で左目判定領域BERijを呼び出し、ステ
ップＳ６３８で右目判定領域の存在を右目FLAGで確認し
て、ステップＳ６３９で右目判定領域BERmnを呼び出
し、ステップＳ６４０で領域BERij、BERmnの前記DETFC
X、DETFCXの差の各絶対値DX、DYを求めて領域の組み合
わせナンバー（ｉ、ｊ）、（ｍ、ｎ）とともに記憶し、
ステップＳ６４１でDX、DYが各々最大値DXMAX、DYMAXよ
りともに小であるかどうかを判定する。ここでDX、DYの
どちらかが前記最大値以上である場合には領域BERij、B
ERmnの組は目領域の組ではないとして、ステップＳ６４
２で右目判定領域を替えて別の組での判定を行い、ステ
ップＳ６３８で一つの左目判定領域に対する組み合わせ
が完了したら、ステップＳ６４３で左目判定領域を替え
て上記処理を繰り返す。DX、DYが各々最大値DXMAX、DYM
AXよりともに小の場合、さらにステップＳ６４４でDX、
DYがともに最小値であるか否かを判定し、ともに最小値
であれば、ステップＳ６４４で領域BERij、BERmnの組を
目領域として最終判定する。DX、DYのどちらかが最小値
でない場合は、ステップＳ６４２に処理を移して同様に
右目判定領域を替える。かかる処理において、ステップ
Ｓ６３６で全ての判定領域の組の判定が終了した場合に
は、目領域の組は無いとしてステップ６４６において目
見失いFLAGを立てる。
手段における目領域判定のフローチャートを示すもの
で、ステップＳ６１２の後、ステップＳ６３０で前記目
判定領域BERijの代表点Ｘ座標XECと顔重心Ｘ座標XFCと
の差DETFCXを求めて記憶し、ステップＳ６３１で代表点
Ｙ座標YECと顔重心Ｙ座標YFCとを比較し、YECの方がYFC
より大きければ領域BERijは顔重心７の右側にあるとし
て、ステップＳ６３２で右目FLAGを立てた後、ステップ
Ｓ６３３で差（DETFCY＝YEC−YFC）を求めて記憶し、YF
Cの方がYECより大きければ、ステップＳ６３４で左目FL
AGを立てた後、ステップＳ６３５で差（DETFCY＝YFC−Y
EC）を求めて記憶して、以上の処理を全候補領域につい
て行う。ステップＳ６０１で全目判定領域の設定が終了
すると、次にステップＳ６３６で左目判定領域が存在す
るか否かを左目FLAGで確認し、領域が存在する場合、ス
テップＳ６３７で左目判定領域BERijを呼び出し、ステ
ップＳ６３８で右目判定領域の存在を右目FLAGで確認し
て、ステップＳ６３９で右目判定領域BERmnを呼び出
し、ステップＳ６４０で領域BERij、BERmnの前記DETFC
X、DETFCXの差の各絶対値DX、DYを求めて領域の組み合
わせナンバー（ｉ、ｊ）、（ｍ、ｎ）とともに記憶し、
ステップＳ６４１でDX、DYが各々最大値DXMAX、DYMAXよ
りともに小であるかどうかを判定する。ここでDX、DYの
どちらかが前記最大値以上である場合には領域BERij、B
ERmnの組は目領域の組ではないとして、ステップＳ６４
２で右目判定領域を替えて別の組での判定を行い、ステ
ップＳ６３８で一つの左目判定領域に対する組み合わせ
が完了したら、ステップＳ６４３で左目判定領域を替え
て上記処理を繰り返す。DX、DYが各々最大値DXMAX、DYM
AXよりともに小の場合、さらにステップＳ６４４でDX、
DYがともに最小値であるか否かを判定し、ともに最小値
であれば、ステップＳ６４４で領域BERij、BERmnの組を
目領域として最終判定する。DX、DYのどちらかが最小値
でない場合は、ステップＳ６４２に処理を移して同様に
右目判定領域を替える。かかる処理において、ステップ
Ｓ６３６で全ての判定領域の組の判定が終了した場合に
は、目領域の組は無いとしてステップ６４６において目
見失いFLAGを立てる。
【０１１３】前述のごとく本発明の２値顔画像において
は、目存在領域中で目領域が最も顔重心７に近くなると
ともに、目領域が顔重心７を通るＸ軸方向の直線に対し
略左右対称に存在する特徴がある。即ち、本実施例にお
いてはかかる特徴に着目して、上述のごとく、顔重心７
と目の位置関係をさらに詳しく規定して目領域を判定す
ることでさらに精度良く目を抽出することができる。
は、目存在領域中で目領域が最も顔重心７に近くなると
ともに、目領域が顔重心７を通るＸ軸方向の直線に対し
略左右対称に存在する特徴がある。即ち、本実施例にお
いてはかかる特徴に着目して、上述のごとく、顔重心７
と目の位置関係をさらに詳しく規定して目領域を判定す
ることでさらに精度良く目を抽出することができる。
【０１１４】実施例６．図１７、図１８は目領域抽出に
用いる顔重心７を求める顔重心位置検出手段の他の実施
例を示すもので、図１７は顔重心位置検出手段の動作を
表すフローチャート、図１８は顔重心位置検出の画像に
よる説明図である。
用いる顔重心７を求める顔重心位置検出手段の他の実施
例を示すもので、図１７は顔重心位置検出手段の動作を
表すフローチャート、図１８は顔重心位置検出の画像に
よる説明図である。
【０１１５】図において、ステップＳ４１１で２値画像
１２のＸ軸に沿ってＹ軸方向の画素を積算したＹ軸ヒス
トグラムSUMY５０１を求め、SUMYの値が所定のブロック
化閾値SHL以上である領域をステップＳ４１２で帯状領
域５５として設定し、ステップＳ４１３で各帯状領域Ｂ
ｉにおけるSUMYのピーク位置XPｉを求めて帯状領域代表
点座標XCとし、ステップＳ４１４で各XCの平均値XFCを
求める。帯状領域Ｂｉ中に２以上のピークが存在する場
合には、代表点座標XCは帯状領域Ｂｉの境界座標Ｘis、
Ｘieの中点座標をとるのがよい。次に、ステップＳ４１
５でＹ軸に沿って各帯状領域ＢｉのＸ軸方向の画素を積
算したＸ軸ヒストグラムを求め、ステップＳ４１６で全
帯状領域について積算したＸ軸ヒストグラムSUMX５０４
を求め、ステップＳ４１７で前記積算したＸ軸ヒストグ
ラムSUMXの重心Ｙ座標YFCを求め、ステップＳ４１８で
前記XFC、YFCを顔重心位置FCの座標（XFC，YFC）として
記憶する。
１２のＸ軸に沿ってＹ軸方向の画素を積算したＹ軸ヒス
トグラムSUMY５０１を求め、SUMYの値が所定のブロック
化閾値SHL以上である領域をステップＳ４１２で帯状領
域５５として設定し、ステップＳ４１３で各帯状領域Ｂ
ｉにおけるSUMYのピーク位置XPｉを求めて帯状領域代表
点座標XCとし、ステップＳ４１４で各XCの平均値XFCを
求める。帯状領域Ｂｉ中に２以上のピークが存在する場
合には、代表点座標XCは帯状領域Ｂｉの境界座標Ｘis、
Ｘieの中点座標をとるのがよい。次に、ステップＳ４１
５でＹ軸に沿って各帯状領域ＢｉのＸ軸方向の画素を積
算したＸ軸ヒストグラムを求め、ステップＳ４１６で全
帯状領域について積算したＸ軸ヒストグラムSUMX５０４
を求め、ステップＳ４１７で前記積算したＸ軸ヒストグ
ラムSUMXの重心Ｙ座標YFCを求め、ステップＳ４１８で
前記XFC、YFCを顔重心位置FCの座標（XFC，YFC）として
記憶する。
【０１１６】上記実施例では、顔重心７の演算に同様に
ヒストグラム演算を多用するとともに、ハードウエア化
により演算領域と演算量をともに低減できるため、より
高速に顔重心位置の座標を設定できる。
ヒストグラム演算を多用するとともに、ハードウエア化
により演算領域と演算量をともに低減できるため、より
高速に顔重心位置の座標を設定できる。
【０１１７】実施例７．図１９、２０は目存在領域設定
手段の他の実施例を示すもので、図１９は顔中心線と顔
重心とによる目存在領域の設定を示す２値画像、図２０
は帯状領域のＸ軸ヒストグラムSUMXと候補領域設定の説
明図である。
手段の他の実施例を示すもので、図１９は顔中心線と顔
重心とによる目存在領域の設定を示す２値画像、図２０
は帯状領域のＸ軸ヒストグラムSUMXと候補領域設定の説
明図である。
【０１１８】図１９において、顔特徴領域が抽出された
前記２値画像１２では、目領域が顔重心位置FCの近くで
顔の縦軸方向中心線の左右に存在することに着目し、２
値画像１２内で実施例６と同様に帯状領域Ｂｉ５５を設
定した後、２値画像１２のＹ軸ヒストグラムSUMY５０１
の帯状領域Ｂｉ５５内での重心位置のＸ座標XBCｉを求
め、各帯状領域Ｂｉ毎に帯内のＸ軸方向の画素を積算し
たＸ軸ヒストグラムSUMX５０２の重心位置のＹ座標YBC
ｉを求めて、かかる各帯状領域Ｂｉの重心座標BＧｉ（X
BCｉ，YBCｉ）を結ぶ直線Ｙ＝ｍＸ＋Ｙcを顔中心線８と
する。重心座標BＧｉを結ぶ直線を求める方法は最小二
乗法を用いればよい。次に、Ｙ軸ヒストグラムSUMY５０
１、Ｘ軸ヒストグラムSUMX５０２より前記実施例６と同
じく顔重心位置FCの座標（XFC，YFC）を求め、顔重心位
置FCからＸ座標が顔中心線８に沿ってXECA離れるととも
に、Ｙ座標が顔中心線８に垂直な線沿いに顔中心線８よ
り各々YECA、YECA−EACW離れた２点PER、PELを基準とし
た一辺が顔中心線８に平行で、顔幅方向長EACW、顔縦方
向長ECAHなる一組の矩形の目存在領域４０を設定し、目
の検索領域を限定する。ここで、実施例１と同様EACW、
ECAHはカメラと撮影される顔との距離、カメラの画角に
応じ、目領域が十分含まれる大きさに設定される。
前記２値画像１２では、目領域が顔重心位置FCの近くで
顔の縦軸方向中心線の左右に存在することに着目し、２
値画像１２内で実施例６と同様に帯状領域Ｂｉ５５を設
定した後、２値画像１２のＹ軸ヒストグラムSUMY５０１
の帯状領域Ｂｉ５５内での重心位置のＸ座標XBCｉを求
め、各帯状領域Ｂｉ毎に帯内のＸ軸方向の画素を積算し
たＸ軸ヒストグラムSUMX５０２の重心位置のＹ座標YBC
ｉを求めて、かかる各帯状領域Ｂｉの重心座標BＧｉ（X
BCｉ，YBCｉ）を結ぶ直線Ｙ＝ｍＸ＋Ｙcを顔中心線８と
する。重心座標BＧｉを結ぶ直線を求める方法は最小二
乗法を用いればよい。次に、Ｙ軸ヒストグラムSUMY５０
１、Ｘ軸ヒストグラムSUMX５０２より前記実施例６と同
じく顔重心位置FCの座標（XFC，YFC）を求め、顔重心位
置FCからＸ座標が顔中心線８に沿ってXECA離れるととも
に、Ｙ座標が顔中心線８に垂直な線沿いに顔中心線８よ
り各々YECA、YECA−EACW離れた２点PER、PELを基準とし
た一辺が顔中心線８に平行で、顔幅方向長EACW、顔縦方
向長ECAHなる一組の矩形の目存在領域４０を設定し、目
の検索領域を限定する。ここで、実施例１と同様EACW、
ECAHはカメラと撮影される顔との距離、カメラの画角に
応じ、目領域が十分含まれる大きさに設定される。
【０１１９】この実施例においては、演算に実施例６と
同様ヒストグラム演算を多用して高速に目存在領域を設
定でき、顔中心線８、顔重心７を用いて目存在領域をさ
らに限定することで目抽出のための演算領域をより低減
できるとともに、画像軸に対し顔が傾いた状態でも目を
確実に抽出する目存在領域を設定できるという利点があ
る。
同様ヒストグラム演算を多用して高速に目存在領域を設
定でき、顔中心線８、顔重心７を用いて目存在領域をさ
らに限定することで目抽出のための演算領域をより低減
できるとともに、画像軸に対し顔が傾いた状態でも目を
確実に抽出する目存在領域を設定できるという利点があ
る。
【０１２０】実施例８．図２１、２２は目存在領域設定
手段のさらに他の実施例を示すもので、図２１はこの実
施例による目存在領域設定のフローチャート、図２２は
顔の向きによる２値画像１２の変化を示す説明図であ
る。以下この実施例を図１８、２０を援用して説明す
る。
手段のさらに他の実施例を示すもので、図２１はこの実
施例による目存在領域設定のフローチャート、図２２は
顔の向きによる２値画像１２の変化を示す説明図であ
る。以下この実施例を図１８、２０を援用して説明す
る。
【０１２１】図１８において、２値画像１２のＹ軸ヒス
トグラムSUMY５０１を求め、SUMYの値が所定のブロック
化閾値SHL以上である領域を帯状領域５５として設定
し、図２０において各帯状領域ＢｉのＹ軸に沿って帯内
のＸ軸ヒストグラムSUMX５０２を求め、SUMXの値が所定
のブロック化閾値SHL以上である領域長を切り出して、
顔縦方向が帯状領域Ｂｉの幅で、顔幅方向が前記領域長
である矩形領域を候補領域Ｂijとして設定し、その対頂
角にある開始点座標（Ｘijs，Ｙijs）、終了点座標（Ｘ
ije，Ｙije）を候補領域Ｂijのナンバーijとともに記憶
する。例えば、帯状領域Ｂ１については左の眉に相当す
る候補領域Ｂ１１の座標（Ｘ11s，Ｙ11s）（Ｘ11e，Ｘ1
1e）と右の眉に相当する候補領域Ｂ１２の座標（Ｘ12
s，Ｙ12s）（Ｘ12e，Ｘ12e）が各々記憶される。
トグラムSUMY５０１を求め、SUMYの値が所定のブロック
化閾値SHL以上である領域を帯状領域５５として設定
し、図２０において各帯状領域ＢｉのＹ軸に沿って帯内
のＸ軸ヒストグラムSUMX５０２を求め、SUMXの値が所定
のブロック化閾値SHL以上である領域長を切り出して、
顔縦方向が帯状領域Ｂｉの幅で、顔幅方向が前記領域長
である矩形領域を候補領域Ｂijとして設定し、その対頂
角にある開始点座標（Ｘijs，Ｙijs）、終了点座標（Ｘ
ije，Ｙije）を候補領域Ｂijのナンバーijとともに記憶
する。例えば、帯状領域Ｂ１については左の眉に相当す
る候補領域Ｂ１１の座標（Ｘ11s，Ｙ11s）（Ｘ11e，Ｘ1
1e）と右の眉に相当する候補領域Ｂ１２の座標（Ｘ12
s，Ｙ12s）（Ｘ12e，Ｘ12e）が各々記憶される。
【０１２２】次に、図２１において、ステップＳ４２１
で現在の２値画像１２における全候補領域Ｂijの開始
点、終了点座標を読み出し、ステップＳ４２２で画像の
Ｘ、Ｙ軸方向で全候補領域Ｂijの内の終了点座標の最大
値より開始点座標の最小値を引いて全候補領域Ｂijを含
む顔縦方向BAH、顔横方向BAWの矩形の黒ブロック存在領
域を設定して記憶する、次にステップＳ４２３でBAHが
所定の画像数内で最大値かどうかを過去の画像の基準値
BAHOとの比較により判定し、最大値即ちBAHがBAHOより
大であればステップＳ４２４でBAHを新たな基準値BAHO
として更新し、ステップＳ４２５でBAWが最大値かどう
かを同様に判定し、最大値であればステップＳ４２６で
BAWを新たな基準値BAWOとして更新し、ステップＳ４２
７で基準値BAHO、BAWOを読み出すとともに、ステップＳ
４２８でBAH、BAWと基準値BAHO、BAWOとの比KAX、KAYを
算出し、ステップＳ４２９においてかかる比KAX、KAYを
用いて、目存在領域の開始座標（XECA，YECA）及び目存
在領域の大きさECAH，ECAWを、 ［式６］ XECA＝XFC−（XECAO−CX1×（１−KAX）） YECA＝YFC−（YECAO−CY1×（１−KAY）） ［式７］ ECAH＝ECAHO−CX2×（１−KAX） ECAW＝ECAWO−CY2×（１−KAY） で算出する。ここで、CX1、CY1、CX2、CY2は所定の重み
定数、XECAO、YECAOは各々KAX=1、KAY=1での所定の基準
距離、ECAHOは目存在領域のKAX=1での所定の基準高さ、
ECAWOは同じくKAY=1での所定の基準幅を示しているとと
もに、目存在領域の開始座標は左目のみを示し、右目に
ついては記述を省略している。
で現在の２値画像１２における全候補領域Ｂijの開始
点、終了点座標を読み出し、ステップＳ４２２で画像の
Ｘ、Ｙ軸方向で全候補領域Ｂijの内の終了点座標の最大
値より開始点座標の最小値を引いて全候補領域Ｂijを含
む顔縦方向BAH、顔横方向BAWの矩形の黒ブロック存在領
域を設定して記憶する、次にステップＳ４２３でBAHが
所定の画像数内で最大値かどうかを過去の画像の基準値
BAHOとの比較により判定し、最大値即ちBAHがBAHOより
大であればステップＳ４２４でBAHを新たな基準値BAHO
として更新し、ステップＳ４２５でBAWが最大値かどう
かを同様に判定し、最大値であればステップＳ４２６で
BAWを新たな基準値BAWOとして更新し、ステップＳ４２
７で基準値BAHO、BAWOを読み出すとともに、ステップＳ
４２８でBAH、BAWと基準値BAHO、BAWOとの比KAX、KAYを
算出し、ステップＳ４２９においてかかる比KAX、KAYを
用いて、目存在領域の開始座標（XECA，YECA）及び目存
在領域の大きさECAH，ECAWを、 ［式６］ XECA＝XFC−（XECAO−CX1×（１−KAX）） YECA＝YFC−（YECAO−CY1×（１−KAY）） ［式７］ ECAH＝ECAHO−CX2×（１−KAX） ECAW＝ECAWO−CY2×（１−KAY） で算出する。ここで、CX1、CY1、CX2、CY2は所定の重み
定数、XECAO、YECAOは各々KAX=1、KAY=1での所定の基準
距離、ECAHOは目存在領域のKAX=1での所定の基準高さ、
ECAWOは同じくKAY=1での所定の基準幅を示しているとと
もに、目存在領域の開始座標は左目のみを示し、右目に
ついては記述を省略している。
【０１２３】図２２のごとく、左右の目の間隔は顔の横
向きの程度により、目と眉、鼻孔間の距離は顔の上下の
向きの程度により異なり、前記黒ブロック存在領域の辺
長BAW、BAHは顔が正面を向いた状態で最大値を示す。上
記実施例では、かかる正面を向いた顔画像の黒ブロック
存在領域の辺長を基準値として目存在領域４０の位置、
大きさを決めており、目存在領域４０を顔の向き、顔の
個人差、カメラと顔との距離に応じて最適に設定できる
という効果がある。
向きの程度により、目と眉、鼻孔間の距離は顔の上下の
向きの程度により異なり、前記黒ブロック存在領域の辺
長BAW、BAHは顔が正面を向いた状態で最大値を示す。上
記実施例では、かかる正面を向いた顔画像の黒ブロック
存在領域の辺長を基準値として目存在領域４０の位置、
大きさを決めており、目存在領域４０を顔の向き、顔の
個人差、カメラと顔との距離に応じて最適に設定できる
という効果がある。
【０１２４】上記実施例では、黒ブロック存在領域の辺
長の基準値BAHO、BAWOを、画像毎に記憶した前記辺長の
所定画像数内での最大辺長としたが、運転時には運転者
が前方を注視している状態の頻度が最も高いことに着目
して、辺長BAW、BAHを各々適当な区間に区切って各区間
の度数を算出し所定画像数内での前記度数が最大値を示
すBAW、BAHの区間の中央値を前記辺長の基準値BAHO、BA
WOとしても同様な効果を期待できる。
長の基準値BAHO、BAWOを、画像毎に記憶した前記辺長の
所定画像数内での最大辺長としたが、運転時には運転者
が前方を注視している状態の頻度が最も高いことに着目
して、辺長BAW、BAHを各々適当な区間に区切って各区間
の度数を算出し所定画像数内での前記度数が最大値を示
すBAW、BAHの区間の中央値を前記辺長の基準値BAHO、BA
WOとしても同様な効果を期待できる。
【０１２５】また、上記実施例では、黒ブロック存在領
域の辺長BAW、BAHとその基準値BAHO、BAWOとの比KAX、K
AYにより目存在領域の位置、大きさを設定するようにし
たが、1−KAX、1−KAYの代わりに辺長BAH、BAWを代入し
た式を用いて目存在領域の位置、大きさを設定するよう
にしても良い。
域の辺長BAW、BAHとその基準値BAHO、BAWOとの比KAX、K
AYにより目存在領域の位置、大きさを設定するようにし
たが、1−KAX、1−KAYの代わりに辺長BAH、BAWを代入し
た式を用いて目存在領域の位置、大きさを設定するよう
にしても良い。
【０１２６】実施例９．前記実施例６、７においては顔
重心位置FCの座標（XFC，YFC）を２値画像１２のＹ軸ヒ
ストグラムSUMY５０１と、Ｙ軸ヒストグラムSUMY５０１
により設定した帯状領域のＸ軸ヒストグラムSUMX５０４
から求めたが、前記設定した各候補領域Ｂijの代表点座
標（ＸＢij，ＹＢij）を開始点座標（Ｘijs，Ｙijs）、
終了点座標（Ｘije，Ｙije）の中点、 ［式８］ ＸＢij＝（Ｘijs＋Ｘije）／２ ＹＢij＝（Ｙijs＋Ｙije）／２ とし、候補領域Ｂij内の黒レベル画素数Ｎijを用いて、 ［式９］ XFC＝ΣiΣjＮijＸＢij／ΣiΣjＮij YFC＝ΣiΣjＮijＹＢij／ΣiΣjＮij として求めてもよい。
重心位置FCの座標（XFC，YFC）を２値画像１２のＹ軸ヒ
ストグラムSUMY５０１と、Ｙ軸ヒストグラムSUMY５０１
により設定した帯状領域のＸ軸ヒストグラムSUMX５０４
から求めたが、前記設定した各候補領域Ｂijの代表点座
標（ＸＢij，ＹＢij）を開始点座標（Ｘijs，Ｙijs）、
終了点座標（Ｘije，Ｙije）の中点、 ［式８］ ＸＢij＝（Ｘijs＋Ｘije）／２ ＹＢij＝（Ｙijs＋Ｙije）／２ とし、候補領域Ｂij内の黒レベル画素数Ｎijを用いて、 ［式９］ XFC＝ΣiΣjＮijＸＢij／ΣiΣjＮij YFC＝ΣiΣjＮijＹＢij／ΣiΣjＮij として求めてもよい。
【０１２７】かかる実施例によっても、各候補領域Ｂij
の黒レベルの画素数をカウンタにより高速に積算したの
ち、少数の乗除算のみで顔重心７の位置FCを求められる
等、演算が単純化され高速に顔重心位置の座標を設定で
きる。
の黒レベルの画素数をカウンタにより高速に積算したの
ち、少数の乗除算のみで顔重心７の位置FCを求められる
等、演算が単純化され高速に顔重心位置の座標を設定で
きる。
【０１２８】実施例１０．図２３、２４は鼻孔の位置を
基にした目存在領域設定手段の実施例を示すもので、図
２３は目存在領域設定を説明する２値画像、図２４は鼻
孔領域判定の方法を示す説明図である。以下この実施例
を図２０を援用して説明する。
基にした目存在領域設定手段の実施例を示すもので、図
２３は目存在領域設定を説明する２値画像、図２４は鼻
孔領域判定の方法を示す説明図である。以下この実施例
を図２０を援用して説明する。
【０１２９】図２３において、２値画像１２内で設定さ
れた前記候補領域Ｂijより左鼻孔領域LNA、右鼻孔領域R
NAを抽出し、各領域の代表点座標（XLN，YLN）、（XR
N，YRN）の中点（XNC，YNC）を求め、目領域と鼻孔領域
の位置関係より鼻孔中点（XNC，YNC）を基準として、式
３で与えられる２点PER、PELを端点としたＹ軸方向長EA
CW、Ｘ軸方向長ECAHなる一組の矩形の目存在領域４０を
設定し、目の検索領域を限定する。
れた前記候補領域Ｂijより左鼻孔領域LNA、右鼻孔領域R
NAを抽出し、各領域の代表点座標（XLN，YLN）、（XR
N，YRN）の中点（XNC，YNC）を求め、目領域と鼻孔領域
の位置関係より鼻孔中点（XNC，YNC）を基準として、式
３で与えられる２点PER、PELを端点としたＹ軸方向長EA
CW、Ｘ軸方向長ECAHなる一組の矩形の目存在領域４０を
設定し、目の検索領域を限定する。
【０１３０】鼻孔領域LNA、RNAの抽出は以下のようにし
て行われる。図２０において、２値画像１２のＹ軸ヒス
トグラム５０１より設定した各帯状領域Ｂｉ毎にその帯
幅のＸ軸ヒストグラム５０２を求めて、ブロック化閾値
で切り出して候補領域Ｂijが設定される。候補領域Ｂij
は、本実施例では、各帯状領域Ｂｉ毎に図２０の右列に
示した区間番号ｉの２値形式のメモリBLVに記憶されて
おり、例えばＢ１に関しては候補領域Ｂ11に相当するY1
1SからY11E間、領域Ｂ12に相当するY12SからY12E間が１
で他が０としてメモリBLVの区間１に記憶される。
て行われる。図２０において、２値画像１２のＹ軸ヒス
トグラム５０１より設定した各帯状領域Ｂｉ毎にその帯
幅のＸ軸ヒストグラム５０２を求めて、ブロック化閾値
で切り出して候補領域Ｂijが設定される。候補領域Ｂij
は、本実施例では、各帯状領域Ｂｉ毎に図２０の右列に
示した区間番号ｉの２値形式のメモリBLVに記憶されて
おり、例えばＢ１に関しては候補領域Ｂ11に相当するY1
1SからY11E間、領域Ｂ12に相当するY12SからY12E間が１
で他が０としてメモリBLVの区間１に記憶される。
【０１３１】次に、図２４において、各帯状領域Ｂｉ毎
にメモリ内BLVの区間ｉのFDNN／２離れた３点PL，PO，P
Rの値を検索しつつＹ軸に沿って走査し、FDNN離れた両
端PL、PRの値が１、中点POが０である時メモリNBLの前
記中点PO位置での値を１とし、それ以外の場合を０とし
てメモリNBLに記憶する。ここで、上記距離FDNNは予め
記憶されている平均的な鼻孔間距離であって本実施例で
は４５画素長に設定している。全帯状領域Ｂｉにおいて
上記走査を行った結果、前記メモリNBLにおいて値が１
となる区間が最も広くなる２候補領域Ｂij、Ｂij+1を鼻
孔領域と判定する。図２４では、帯状領域Ｂ３において
POが候補領域Ｂ31のＹ31Eよりやや大きなＹＮ31Sから候
補領域Ｂ32のＹ32Sよりやや小なＹＮ31Eまでの区間で１
となるが、これに対し、図２０の他の各帯状領域Ｂ１、
Ｂ２、Ｂ４では隣接する候補領域がいずれも距離FDNNよ
り広く、上記条件よりNBLが１となる区間は存在しない
ため、候補領域Ｂ31、Ｂ32が鼻孔領域LNA、RNAと判定さ
れる。
にメモリ内BLVの区間ｉのFDNN／２離れた３点PL，PO，P
Rの値を検索しつつＹ軸に沿って走査し、FDNN離れた両
端PL、PRの値が１、中点POが０である時メモリNBLの前
記中点PO位置での値を１とし、それ以外の場合を０とし
てメモリNBLに記憶する。ここで、上記距離FDNNは予め
記憶されている平均的な鼻孔間距離であって本実施例で
は４５画素長に設定している。全帯状領域Ｂｉにおいて
上記走査を行った結果、前記メモリNBLにおいて値が１
となる区間が最も広くなる２候補領域Ｂij、Ｂij+1を鼻
孔領域と判定する。図２４では、帯状領域Ｂ３において
POが候補領域Ｂ31のＹ31Eよりやや大きなＹＮ31Sから候
補領域Ｂ32のＹ32Sよりやや小なＹＮ31Eまでの区間で１
となるが、これに対し、図２０の他の各帯状領域Ｂ１、
Ｂ２、Ｂ４では隣接する候補領域がいずれも距離FDNNよ
り広く、上記条件よりNBLが１となる区間は存在しない
ため、候補領域Ｂ31、Ｂ32が鼻孔領域LNA、RNAと判定さ
れる。
【０１３２】ここで、鼻孔領域LNA（あるいはRNA）の代
表点座標（XLN，YLN）あるいは（XRN，YRN））として
は、XLNを鼻孔領域LNAの属する帯状領域のＹ軸ヒストグ
ラム５０１のピーク位置あるいは重心Ｘ座標、YLNを鼻
孔領域LNAのＸ軸ヒストグラム５０２の重心Ｙ座標とし
て求めれば良いが、鼻孔形状が略楕円の左右対称形であ
るため、さらに簡単にXLN、YLNを式８のごとく各々の鼻
孔に対応する候補領域の開始、終了点座標の中点として
も良い。
表点座標（XLN，YLN）あるいは（XRN，YRN））として
は、XLNを鼻孔領域LNAの属する帯状領域のＹ軸ヒストグ
ラム５０１のピーク位置あるいは重心Ｘ座標、YLNを鼻
孔領域LNAのＸ軸ヒストグラム５０２の重心Ｙ座標とし
て求めれば良いが、鼻孔形状が略楕円の左右対称形であ
るため、さらに簡単にXLN、YLNを式８のごとく各々の鼻
孔に対応する候補領域の開始、終了点座標の中点として
も良い。
【０１３３】上記実施例においては、隣接する候補領域
の離間距離と予め設定された鼻孔間距離を比較するとい
う簡単な演算で鼻孔を抽出できるとともに、抽出した鼻
孔の上部に目領域が存在することに着目し、鼻孔領域の
中点を基にその上部に左右に分かれた２つの矩形の領域
を目存在領域として設定して目抽出のための演算領域を
限定することにより、顔特徴領域以外の背景の影響等に
よる黒ブロック領域の存在により、顔重心７が通常位置
よりずれて、顔重心７による目抽出が困難な場合でも、
鼻孔を基準に目抽出ができるという利点がある。
の離間距離と予め設定された鼻孔間距離を比較するとい
う簡単な演算で鼻孔を抽出できるとともに、抽出した鼻
孔の上部に目領域が存在することに着目し、鼻孔領域の
中点を基にその上部に左右に分かれた２つの矩形の領域
を目存在領域として設定して目抽出のための演算領域を
限定することにより、顔特徴領域以外の背景の影響等に
よる黒ブロック領域の存在により、顔重心７が通常位置
よりずれて、顔重心７による目抽出が困難な場合でも、
鼻孔を基準に目抽出ができるという利点がある。
【０１３４】実施例１１．図２５〜３０は鼻孔の位置を
基にした目存在領域設定手段の他の実施例を示すもの
で、図２５は眼鏡装着時の顔の候補領域及び顔中心線を
示す２値画像、図２６は設定された鼻孔存在領域を示す
２値画像、図２７はこの実施例による鼻孔存在領域設定
の説明図、図２８はこの実施例による鼻孔領域判定のフ
ローチャート、図２９は目存在領域が設定された２値画
像、図３０はこの実施例による目存在領域設定のフロー
チャートである。以下、本実施例を図２２を援用しつつ
上記各図により説明する。
基にした目存在領域設定手段の他の実施例を示すもの
で、図２５は眼鏡装着時の顔の候補領域及び顔中心線を
示す２値画像、図２６は設定された鼻孔存在領域を示す
２値画像、図２７はこの実施例による鼻孔存在領域設定
の説明図、図２８はこの実施例による鼻孔領域判定のフ
ローチャート、図２９は目存在領域が設定された２値画
像、図３０はこの実施例による目存在領域設定のフロー
チャートである。以下、本実施例を図２２を援用しつつ
上記各図により説明する。
【０１３５】図２５において、前記実施例と同様に２値
画像１２のＹ軸ヒストグラム５０１より帯状領域Ｂｉを
設定し、各帯状領域のＸ軸ヒストグラム５０２より候補
領域Ｂijを設定する。ここで各候補領域Ｂijの代表点座
標（ＸＢij，ＹＢij）は、同一帯状領域Ｂｉに存在する
候補領域Ｂijの代表点Ｘ座標ＸＢijを帯状領域ＢｉのＹ
軸ヒストグラム５０１のピーク値又は重心Ｘ座標とし、
代表点Ｙ座標ＹＢijを各候補領域ＢijのＸ軸ヒストグラ
ム５０２の重心Ｙ座標として求めて、かかる各代表点座
標（ＸＢij，ＹＢij）を最小二乗法を用いて結んだ直線
Ｙ＝ｍＸ＋Ｙcを顔中心線８とする。
画像１２のＹ軸ヒストグラム５０１より帯状領域Ｂｉを
設定し、各帯状領域のＸ軸ヒストグラム５０２より候補
領域Ｂijを設定する。ここで各候補領域Ｂijの代表点座
標（ＸＢij，ＹＢij）は、同一帯状領域Ｂｉに存在する
候補領域Ｂijの代表点Ｘ座標ＸＢijを帯状領域ＢｉのＹ
軸ヒストグラム５０１のピーク値又は重心Ｘ座標とし、
代表点Ｙ座標ＹＢijを各候補領域ＢijのＸ軸ヒストグラ
ム５０２の重心Ｙ座標として求めて、かかる各代表点座
標（ＸＢij，ＹＢij）を最小二乗法を用いて結んだ直線
Ｙ＝ｍＸ＋Ｙcを顔中心線８とする。
【０１３６】かかる顔中心線８の設定方式では、実施例
７における場合に比較して演算領域が減るため、顔中心
線７の設定がより高速に行えるとともに、代表点座標Ｘ
Ｂij、ＹＢijを各々帯状領域Ｂｉ、候補領域Ｂijの開
始、終了点座標の中点として求めることで、演算を単純
化してさらに高速に顔中心線８を設定できる。
７における場合に比較して演算領域が減るため、顔中心
線７の設定がより高速に行えるとともに、代表点座標Ｘ
Ｂij、ＹＢijを各々帯状領域Ｂｉ、候補領域Ｂijの開
始、終了点座標の中点として求めることで、演算を単純
化してさらに高速に顔中心線８を設定できる。
【０１３７】次に、対で存在する顔の特徴領域の内で
は、鼻孔領域が顔中心線８に最も近接して存在すること
に着目し、図２６において、設定された顔中心線８に対
して離間距離NCAW／２が等しい平行線NCAL、NCAR間の帯
状領域を鼻孔存在領域８０として設定し、かかる鼻孔存
在領域８０内に存在する候補領域Ｂijの内より鼻孔領域
を抽出する。ここで、鼻孔存在領域８０の帯幅NCAWは前
記平均的な鼻孔間距離FDNNに約２倍程度の係数を所定値
とすればよく、本実施例では９０画素長に設定してい
る。図２７に示す例においては、帯状領域Ｂ４における
２候補領域のみが鼻孔領域の候補となる。
は、鼻孔領域が顔中心線８に最も近接して存在すること
に着目し、図２６において、設定された顔中心線８に対
して離間距離NCAW／２が等しい平行線NCAL、NCAR間の帯
状領域を鼻孔存在領域８０として設定し、かかる鼻孔存
在領域８０内に存在する候補領域Ｂijの内より鼻孔領域
を抽出する。ここで、鼻孔存在領域８０の帯幅NCAWは前
記平均的な鼻孔間距離FDNNに約２倍程度の係数を所定値
とすればよく、本実施例では９０画素長に設定してい
る。図２７に示す例においては、帯状領域Ｂ４における
２候補領域のみが鼻孔領域の候補となる。
【０１３８】即ち、かかる方式では、鼻孔存在領域８０
により鼻孔領域候補を限定して鼻孔抽出を行うため、少
ない演算量で眼鏡等の影響を受けないで容易に鼻孔を抽
出できる。
により鼻孔領域候補を限定して鼻孔抽出を行うため、少
ない演算量で眼鏡等の影響を受けないで容易に鼻孔を抽
出できる。
【０１３９】続いて、かかる鼻孔存在領域８０の内部に
存在する候補領域Ｂijの代表点座標（ＸＢij，ＹＢij）
を前述のごとく求めて、かかる代表点座標と領域の開始
点、終了点座標を用いて鼻孔領域を判定する。図２８に
おいて、最初にステップＳ８０１で鼻孔領域の候補が存
在するか否かを確認し、候補領域Ｂijが存在すればステ
ップＳ８０２でその代表点座標（ＸＢij，ＹＢij）を読
み出して、ステップＳ８０３で他の候補領域Ｂklが存在
するか否かを確認し、存在しない場合にはステップＳ８
０４で候補領域のナンバーをインクリメントしてステッ
プＳ８０１〜Ｓ８０３を繰り返す。他の候補領域Ｂklが
存在した場合には、ステップＳ８０５で２候補領域Ｂi
j、Ｂklの顔横方向の間隔を代表点Ｙ座標の差DBYとして
求め、ステップＳ８０６でDBYが所定の範囲内であるか
否かを判定する。ここで、判定範囲NDMIN、NDMAXは前記
平均的な鼻孔間距離FDNNの各々約0.6、1.8倍程度の値と
する。２候補領域Ｂij、Ｂklが上記条件を満足した場合
には、ステップＳ８０７で各候補領域毎に各領域の開始
点座標と終了点座標から領域の高さＮＨ、領域の幅ＮＷ
を求めるとともに領域の縦横形状比ＮＲを求め、ステッ
プＳ８０８でＮＲij、ＮＲklがともに所定の範囲内であ
る場合、ステップＳ８０９で２候補領域Ｂij、Ｂklを鼻
孔領域LNA、RNAと判定する。ステップＳ８０６、Ｓ８０
８で条件を満足しない場合には、ステップＳ８０４に戻
り候補領域の組を替えて上記処理を繰り返すが、ステッ
プＳ８０１で候補領域の組がなくなった場合には、ステ
ップＳ８１０で鼻孔が検出できなかったとして鼻孔未検
出FLAGを立てる。
存在する候補領域Ｂijの代表点座標（ＸＢij，ＹＢij）
を前述のごとく求めて、かかる代表点座標と領域の開始
点、終了点座標を用いて鼻孔領域を判定する。図２８に
おいて、最初にステップＳ８０１で鼻孔領域の候補が存
在するか否かを確認し、候補領域Ｂijが存在すればステ
ップＳ８０２でその代表点座標（ＸＢij，ＹＢij）を読
み出して、ステップＳ８０３で他の候補領域Ｂklが存在
するか否かを確認し、存在しない場合にはステップＳ８
０４で候補領域のナンバーをインクリメントしてステッ
プＳ８０１〜Ｓ８０３を繰り返す。他の候補領域Ｂklが
存在した場合には、ステップＳ８０５で２候補領域Ｂi
j、Ｂklの顔横方向の間隔を代表点Ｙ座標の差DBYとして
求め、ステップＳ８０６でDBYが所定の範囲内であるか
否かを判定する。ここで、判定範囲NDMIN、NDMAXは前記
平均的な鼻孔間距離FDNNの各々約0.6、1.8倍程度の値と
する。２候補領域Ｂij、Ｂklが上記条件を満足した場合
には、ステップＳ８０７で各候補領域毎に各領域の開始
点座標と終了点座標から領域の高さＮＨ、領域の幅ＮＷ
を求めるとともに領域の縦横形状比ＮＲを求め、ステッ
プＳ８０８でＮＲij、ＮＲklがともに所定の範囲内であ
る場合、ステップＳ８０９で２候補領域Ｂij、Ｂklを鼻
孔領域LNA、RNAと判定する。ステップＳ８０６、Ｓ８０
８で条件を満足しない場合には、ステップＳ８０４に戻
り候補領域の組を替えて上記処理を繰り返すが、ステッ
プＳ８０１で候補領域の組がなくなった場合には、ステ
ップＳ８１０で鼻孔が検出できなかったとして鼻孔未検
出FLAGを立てる。
【０１４０】上記のごとき鼻孔抽出方法によれば、鼻孔
間隔に加え、他の顔特徴領域に対し大きく異なる鼻孔の
形状を評価関数とすることで鼻孔をより精度よく抽出で
きるという利点がある。
間隔に加え、他の顔特徴領域に対し大きく異なる鼻孔の
形状を評価関数とすることで鼻孔をより精度よく抽出で
きるという利点がある。
【０１４１】次に、抽出した鼻孔の位置、形状を基に、
目存在領域が設定される。図３０において、ステップＳ
４３１で抽出された鼻孔領域LNA、RNAの高さLNH、RNH、
幅LNW、RNW及び２鼻孔領域の間隔である代表点Ｙ座標間
の距離DNNを読み出し、ステップＳ４３２で高さ、幅の
各平均値NH、NWを算出し、NH、NWよりステップＳ４３３
で鼻孔縦横比NRを算出して記憶する。但し、鼻孔判定に
鼻孔縦横比NRを用いている場合、判定時に記憶した値を
用いればよい。続いて、ステップＳ４３４で鼻孔間距離
DNN、鼻孔縦横比NRを各々適当な幅で区切った度数分布
表に入力してその入力区間の度数を１つインクリメント
する。この時、同時に所定画像数の一つ前の画像で入力
した区間の度数を１つデクリメントし常に前記所定画像
数に対応した度数分布表を形成している。次に、ステッ
プＳ４３５で、所定画像数で統計した前記DNN、NRに対
応する区間の度数NDNN、NNRが最大度数であるか否かを
判定し、度数NDNN、NNRとも最大度数である場合は、ス
テップＳ４３６で鼻孔間距離基準値DNNO、鼻孔縦横比基
準値NROをDNN、NR値で更新する。ステップＳ４３７では
かかる基準値DNNO、NROを読み出し、ステップＳ４３８
でDNN、NR値と各基準値DNNO、NROの比KND、KNRを算出し
て、ステップＳ４３８で、図２９に示すように、鼻孔中
点（XNC，YNC）より距離XECA、YECA離れた点を開始座標
とする、高さECAH、幅ECAWの２つの目存在領域４０を、 ［式１０］ XECA＝XNC−（XECAO−CX11＊ABS(1−KNR)＋CX12＊(1−KND）） YECA＝YNC−（YECAO−CY1＊（1−KND）） ［式１１］ ECAH＝ECAHO−CX21＊ABS（1−KNR）＋CX22＊（1−KND） ECAW＝ECAWO−CY2＊（1−KND） で算出する。ここで、実施例８と同様、式１０は左目の
開始座標のみを示しており、CX11、CX12、CY1、CX21、C
X22、CY2は所定の重み定数であり、XECAO、YECAO、ECAH
O、ECAWOは実施例８と同様の値である。
目存在領域が設定される。図３０において、ステップＳ
４３１で抽出された鼻孔領域LNA、RNAの高さLNH、RNH、
幅LNW、RNW及び２鼻孔領域の間隔である代表点Ｙ座標間
の距離DNNを読み出し、ステップＳ４３２で高さ、幅の
各平均値NH、NWを算出し、NH、NWよりステップＳ４３３
で鼻孔縦横比NRを算出して記憶する。但し、鼻孔判定に
鼻孔縦横比NRを用いている場合、判定時に記憶した値を
用いればよい。続いて、ステップＳ４３４で鼻孔間距離
DNN、鼻孔縦横比NRを各々適当な幅で区切った度数分布
表に入力してその入力区間の度数を１つインクリメント
する。この時、同時に所定画像数の一つ前の画像で入力
した区間の度数を１つデクリメントし常に前記所定画像
数に対応した度数分布表を形成している。次に、ステッ
プＳ４３５で、所定画像数で統計した前記DNN、NRに対
応する区間の度数NDNN、NNRが最大度数であるか否かを
判定し、度数NDNN、NNRとも最大度数である場合は、ス
テップＳ４３６で鼻孔間距離基準値DNNO、鼻孔縦横比基
準値NROをDNN、NR値で更新する。ステップＳ４３７では
かかる基準値DNNO、NROを読み出し、ステップＳ４３８
でDNN、NR値と各基準値DNNO、NROの比KND、KNRを算出し
て、ステップＳ４３８で、図２９に示すように、鼻孔中
点（XNC，YNC）より距離XECA、YECA離れた点を開始座標
とする、高さECAH、幅ECAWの２つの目存在領域４０を、 ［式１０］ XECA＝XNC−（XECAO−CX11＊ABS(1−KNR)＋CX12＊(1−KND）） YECA＝YNC−（YECAO−CY1＊（1−KND）） ［式１１］ ECAH＝ECAHO−CX21＊ABS（1−KNR）＋CX22＊（1−KND） ECAW＝ECAWO−CY2＊（1−KND） で算出する。ここで、実施例８と同様、式１０は左目の
開始座標のみを示しており、CX11、CX12、CY1、CX21、C
X22、CY2は所定の重み定数であり、XECAO、YECAO、ECAH
O、ECAWOは実施例８と同様の値である。
【０１４２】上記実施例では、目存在領域４０の設定に
鼻孔間距離DNN、鼻孔縦横比NRの各基準値と比を用いた
場合を示したが、鼻孔間距離DNN、鼻孔縦横比NRそのも
のを用いても良いし、鼻孔縦横比NRの代わりにSN＝NH＊
NWで定義される鼻孔面積SNあるいは鼻孔面積SNの基準値
SNOとの比を用いても良い。
鼻孔間距離DNN、鼻孔縦横比NRの各基準値と比を用いた
場合を示したが、鼻孔間距離DNN、鼻孔縦横比NRそのも
のを用いても良いし、鼻孔縦横比NRの代わりにSN＝NH＊
NWで定義される鼻孔面積SNあるいは鼻孔面積SNの基準値
SNOとの比を用いても良い。
【０１４３】図２２のごとく、目の鼻孔に対する位置関
係は鼻孔間距離DNN、鼻孔縦横比NRあるいは鼻孔面積SN
により変化する。上記実施例では、運転時には運転者が
前方を注視している状態の頻度が最も高いことに着目し
て、所定画像数の内で上記DNN、NRあるいはSNが最大頻
度を示すDNN、NRあるいはSNを用いることにより、目存
在領域４０の位置、大きさを決めているため、顔が正面
を向くか、あるいは最も高い頻度を示す顔の向きを基準
とすることで、目存在領域４０を顔の向き、顔の個人
差、カメラと画像との距離に応じて最適に設定できると
いう効果がある。
係は鼻孔間距離DNN、鼻孔縦横比NRあるいは鼻孔面積SN
により変化する。上記実施例では、運転時には運転者が
前方を注視している状態の頻度が最も高いことに着目し
て、所定画像数の内で上記DNN、NRあるいはSNが最大頻
度を示すDNN、NRあるいはSNを用いることにより、目存
在領域４０の位置、大きさを決めているため、顔が正面
を向くか、あるいは最も高い頻度を示す顔の向きを基準
とすることで、目存在領域４０を顔の向き、顔の個人
差、カメラと画像との距離に応じて最適に設定できると
いう効果がある。
【０１４４】実施例１２．上記実施例１１においては鼻
孔存在領域８０の帯幅NCAWを所定の固定値とした場合を
示したが、以下のように定めても良い。即ち、図２７に
おいて帯状領域Ｂｉ毎に帯状領域Ｂｉ内の各候補領域Ｂ
ijの代表点Ｙ座標YBijと顔中心線７の帯状領域Ｂｉの代
表点Ｘ座標XBijに対応するＹ座標との距離DBFYijの平均
値DBFYiを求め、この平均値DBFYiの全帯状領域Ｂｉ内の
最大値と最小値の平均値DBFYを求め、この平均値DBFYを
用いて、前記帯幅NCAWを、 ［式１２］ NCAW＝NCAWO＋２＊CD＊DBFY で設定する。ここで、NCAWOは約２０画素長の所定の基
準帯幅であり、CDは約0.6程度の所定の重み係数であ
る。但し、内部に候補領域Ｂijが一つしか存在しない帯
状領域Ｂｉ、例えば図２７のＢ２やＢ５については演算
処理より除外する。
孔存在領域８０の帯幅NCAWを所定の固定値とした場合を
示したが、以下のように定めても良い。即ち、図２７に
おいて帯状領域Ｂｉ毎に帯状領域Ｂｉ内の各候補領域Ｂ
ijの代表点Ｙ座標YBijと顔中心線７の帯状領域Ｂｉの代
表点Ｘ座標XBijに対応するＹ座標との距離DBFYijの平均
値DBFYiを求め、この平均値DBFYiの全帯状領域Ｂｉ内の
最大値と最小値の平均値DBFYを求め、この平均値DBFYを
用いて、前記帯幅NCAWを、 ［式１２］ NCAW＝NCAWO＋２＊CD＊DBFY で設定する。ここで、NCAWOは約２０画素長の所定の基
準帯幅であり、CDは約0.6程度の所定の重み係数であ
る。但し、内部に候補領域Ｂijが一つしか存在しない帯
状領域Ｂｉ、例えば図２７のＢ２やＢ５については演算
処理より除外する。
【０１４５】上記のような方法によれば鼻孔存在領域を
顔の個人差に影響されることなく設定できるという利点
がある。
顔の個人差に影響されることなく設定できるという利点
がある。
【０１４６】実施例１３．図３１、図３２は別の鼻孔抽
出の方法を示すものであって、図３１は鼻孔存在領域の
設定を説明する２値画像を、図３２は鼻孔存在領域中で
さらに鼻孔を抽出する領域を限定した２値画像を示して
いる。
出の方法を示すものであって、図３１は鼻孔存在領域の
設定を説明する２値画像を、図３２は鼻孔存在領域中で
さらに鼻孔を抽出する領域を限定した２値画像を示して
いる。
【０１４７】図３１に示すごとく、本発明の２値画像１
２内では顔重心７の位置（XFC，YFC）は眼鏡等があって
も目領域と鼻孔領域の間に存在することが確認されてい
る。そこで、前記顔重心７よりＸ軸方向即ち顔の縦方向
下部に所定間隔XNCA離れた点を通る顔の横方向の線より
下部を鼻孔存在領域８１とし、その鼻孔存在領域８１に
含まれる前記候補領域Ｂijの内より鼻孔を判定する。こ
の場合、所定間隔XNCAは約２０画素程度の固定値として
もよいが、図示するごとく、Ｙ軸ヒストグラムのピーク
点を帯状領域Ｂｉの代表点Ｘ座標ＸＢiとし、各帯状領
域のＸＢiとXFCとの距離DBFXiを求めて、上記間隔XNCA
を、 ［式１３］ XNCA＝XNCAO＋CD＊ΣiＸＢi／ｎ として求めれば、鼻孔存在領域８１を顔の個人差に影響
されることなく設定できる。ここで、XNCAOは約２０画
素長の所定の基準値であり、CDは約0.2程度の所定の重
み定数、ｎはＹ軸ヒストグラムのピーク数である。ここ
で、CDをピーク数ｎに応じて段階的に可変にして、ｎが
大きいほどCDを大とした方が眼鏡等の影響を受けないで
より確実に鼻孔領域を限定できる。
２内では顔重心７の位置（XFC，YFC）は眼鏡等があって
も目領域と鼻孔領域の間に存在することが確認されてい
る。そこで、前記顔重心７よりＸ軸方向即ち顔の縦方向
下部に所定間隔XNCA離れた点を通る顔の横方向の線より
下部を鼻孔存在領域８１とし、その鼻孔存在領域８１に
含まれる前記候補領域Ｂijの内より鼻孔を判定する。こ
の場合、所定間隔XNCAは約２０画素程度の固定値として
もよいが、図示するごとく、Ｙ軸ヒストグラムのピーク
点を帯状領域Ｂｉの代表点Ｘ座標ＸＢiとし、各帯状領
域のＸＢiとXFCとの距離DBFXiを求めて、上記間隔XNCA
を、 ［式１３］ XNCA＝XNCAO＋CD＊ΣiＸＢi／ｎ として求めれば、鼻孔存在領域８１を顔の個人差に影響
されることなく設定できる。ここで、XNCAOは約２０画
素長の所定の基準値であり、CDは約0.2程度の所定の重
み定数、ｎはＹ軸ヒストグラムのピーク数である。ここ
で、CDをピーク数ｎに応じて段階的に可変にして、ｎが
大きいほどCDを大とした方が眼鏡等の影響を受けないで
より確実に鼻孔領域を限定できる。
【０１４８】このようにすれば、鼻孔領域抽出のための
演算領域を鼻孔存在領域８１として限定することで、少
ない演算量で眼鏡等の影響を受けないで容易に鼻孔を抽
出できる。
演算領域を鼻孔存在領域８１として限定することで、少
ない演算量で眼鏡等の影響を受けないで容易に鼻孔を抽
出できる。
【０１４９】図３２は、前記鼻孔存在領域８１中に、さ
らに鼻孔抽出のための演算領域を限定する鼻孔抽出領域
８３を設けた場合を示している。鼻孔抽出領域８３は前
記鼻孔存在領域８１の上端を１辺とし、前記鼻孔存在領
域８１中で最も前記上端に近い一つの帯状領域Ｂｉを含
むようＹ軸ヒストグラム５０１を用いて高さNCAXが設定
され、幅NCAYは前記顔重心７のＹ座標YFCを中心とし
て、例えば１００画素長程度の所定幅に設定される。最
後に、鼻孔抽出領域８３内部のＹ軸ヒストグラム５０１
の重心XGと、Ｘ軸ヒストグラム５０２の重心YGが演算さ
れ、座標（XG，YG）を鼻孔領域の中点とする。
らに鼻孔抽出のための演算領域を限定する鼻孔抽出領域
８３を設けた場合を示している。鼻孔抽出領域８３は前
記鼻孔存在領域８１の上端を１辺とし、前記鼻孔存在領
域８１中で最も前記上端に近い一つの帯状領域Ｂｉを含
むようＹ軸ヒストグラム５０１を用いて高さNCAXが設定
され、幅NCAYは前記顔重心７のＹ座標YFCを中心とし
て、例えば１００画素長程度の所定幅に設定される。最
後に、鼻孔抽出領域８３内部のＹ軸ヒストグラム５０１
の重心XGと、Ｘ軸ヒストグラム５０２の重心YGが演算さ
れ、座標（XG，YG）を鼻孔領域の中点とする。
【０１５０】即ち、かかる実施例によれば、鼻孔抽出の
ための演算領域をより限定するとともに、鼻孔領域の中
点を前記限定された鼻孔抽出領域内での画素の重心をと
るという簡単な演算で求めているため、鼻孔抽出のため
の演算時間が大幅に短縮できる。
ための演算領域をより限定するとともに、鼻孔領域の中
点を前記限定された鼻孔抽出領域内での画素の重心をと
るという簡単な演算で求めているため、鼻孔抽出のため
の演算時間が大幅に短縮できる。
【０１５１】実施例１４．上記実施例１３においては、
顔重心より下部領域を鼻孔存在領域８１として限定して
かかる領域８１中に鼻孔抽出領域８３を設けた例を示し
たが、実施例１１に示す顔中心線８に平行な帯状の鼻孔
存在領域８０中でさらに図示しない鼻孔抽出領域８３を
設けて、上記のごとく鼻孔領域の中点を求めても良い。
この場合、鼻孔抽出領域８３は顔重心のＸ座標XFCから
下部に所定距離XNCA離れた位置を上端として高さNCAXを
上記実施例と同様に設定し、幅NCAYは鼻孔存在領域８０
の帯幅NCAWと一致させる。かかる実施例によっても、実
施例１３と同様の効果が得られる。
顔重心より下部領域を鼻孔存在領域８１として限定して
かかる領域８１中に鼻孔抽出領域８３を設けた例を示し
たが、実施例１１に示す顔中心線８に平行な帯状の鼻孔
存在領域８０中でさらに図示しない鼻孔抽出領域８３を
設けて、上記のごとく鼻孔領域の中点を求めても良い。
この場合、鼻孔抽出領域８３は顔重心のＸ座標XFCから
下部に所定距離XNCA離れた位置を上端として高さNCAXを
上記実施例と同様に設定し、幅NCAYは鼻孔存在領域８０
の帯幅NCAWと一致させる。かかる実施例によっても、実
施例１３と同様の効果が得られる。
【０１５２】実施例１５．図３３はさらに別の鼻孔領域
判定手段を示す説明図であって、髭あるいは鼻梁の影等
により２値画像１２において二つの鼻孔領域が連結して
いる場合における鼻孔領域の判定方法を示している。上
記各実施例に示す方法にて鼻孔の存在領域を限定して
も、候補領域Ｂijの内より鼻孔が抽出できず鼻孔未検出
フラグが立っている状態において、顔中心線８と代表点
座標の間隔が約５０画素長程度の所定間隔以下に近接し
た候補領域Ｂijをまず選定し、図示するごとく、かかる
候補領域ＢijのＸ軸方向終点座標ＹijEを減じることに
より顔の縦軸方向辺長を顔の下部方向から減じると同時
に、減じた領域内でのＸ軸ヒストグラムSUMX５０２を演
算し、SUMXが所定の閾値以上となる領域を調べる。上記
限定により前記領域が分離された場合、かかる分離領域
を新たに候補領域ＢＢij、ＢＢij+1とし、例えば実施例
１０の図２４で説明した方法を用いて鼻孔領域を再度判
定して鼻孔を抽出する。
判定手段を示す説明図であって、髭あるいは鼻梁の影等
により２値画像１２において二つの鼻孔領域が連結して
いる場合における鼻孔領域の判定方法を示している。上
記各実施例に示す方法にて鼻孔の存在領域を限定して
も、候補領域Ｂijの内より鼻孔が抽出できず鼻孔未検出
フラグが立っている状態において、顔中心線８と代表点
座標の間隔が約５０画素長程度の所定間隔以下に近接し
た候補領域Ｂijをまず選定し、図示するごとく、かかる
候補領域ＢijのＸ軸方向終点座標ＹijEを減じることに
より顔の縦軸方向辺長を顔の下部方向から減じると同時
に、減じた領域内でのＸ軸ヒストグラムSUMX５０２を演
算し、SUMXが所定の閾値以上となる領域を調べる。上記
限定により前記領域が分離された場合、かかる分離領域
を新たに候補領域ＢＢij、ＢＢij+1とし、例えば実施例
１０の図２４で説明した方法を用いて鼻孔領域を再度判
定して鼻孔を抽出する。
【０１５３】かかる方法によれば、髭あるいは鼻梁の影
等による鼻孔の連結が生じている画像であっても、これ
らの影響を除去して鼻孔を精度よく抽出できる。
等による鼻孔の連結が生じている画像であっても、これ
らの影響を除去して鼻孔を精度よく抽出できる。
【０１５４】また、前記各実施例においては帯状領域あ
るいは候補領域を決定するヒストグラムの閾値SHLを所
定の値として説明したが、各ヒストグラムピーク領域毎
に閾値SHLをピーク値に応じて可変にすれば複数のピー
クが出現する複雑なヒストグラム曲線においても帯状領
域あるいは候補領域の分離が容易になる。
るいは候補領域を決定するヒストグラムの閾値SHLを所
定の値として説明したが、各ヒストグラムピーク領域毎
に閾値SHLをピーク値に応じて可変にすれば複数のピー
クが出現する複雑なヒストグラム曲線においても帯状領
域あるいは候補領域の分離が容易になる。
【０１５５】実施例１６．図３４、図３５は候補領域設
定手段の他の実施例を示すもので、図３４はラベリング
による候補領域設定の説明図、図３５は候補領域が設定
された２値画像を示している。
定手段の他の実施例を示すもので、図３４はラベリング
による候補領域設定の説明図、図３５は候補領域が設定
された２値画像を示している。
【０１５６】２値画像１２において、図３４の（ａ）に
示すように、Ｙ軸に沿ってＸ軸走査して黒画素が存在す
るか否かを調べ、各Ｘ軸で最初に存在する黒画素にラベ
ル１を付けるとともに、Ｘ軸方向に離れて存在する黒画
素ごとにインクリメントしたラベルｉを、隣接した黒画
素に同一ラベルｉを付ける。図では眉領域５７ａと鼻孔
領域５７ｃの黒画素ブロックがラベル１になるのに対
し、目領域５７ｂでは目上辺の黒画素の部分と黒目の黒
画素の部分の一部が離れているために２、３と一部異な
るラベルが付けられる。そこで、図３４の（ｂ）に示す
ように、次にＸ軸に沿ってＹ軸走査してＹ方向に隣接す
る画素を比較し、異なったラベルが付けられている場合
には小さいラベル番号に統一され、独立した黒ブロック
に同一ラベルが付けられている場合には端点Ｙ座標が小
さいものほど小さいラベル番号となるようラベルを変更
するとともに、黒画素ブロックの黒画素数が所定値より
小なるものについてはラベルを消去しつつラベル番号を
更新する。例えば、図３５では左眉、左目、口裂、左鼻
孔、右鼻孔、右眉、右目の順に昇順にラベルが付けられ
る。次に、各ラベルｉが付けられた黒画素ブロックを包
含する矩形領域を黒画素ブロックのＸ、Ｙ軸方向の各端
点座標から設定し、候補領域Ｂｉが設定される。かかる
候補領域Ｂｉ中より上記各実施例と同様に鼻孔領域、目
領域を判定する。
示すように、Ｙ軸に沿ってＸ軸走査して黒画素が存在す
るか否かを調べ、各Ｘ軸で最初に存在する黒画素にラベ
ル１を付けるとともに、Ｘ軸方向に離れて存在する黒画
素ごとにインクリメントしたラベルｉを、隣接した黒画
素に同一ラベルｉを付ける。図では眉領域５７ａと鼻孔
領域５７ｃの黒画素ブロックがラベル１になるのに対
し、目領域５７ｂでは目上辺の黒画素の部分と黒目の黒
画素の部分の一部が離れているために２、３と一部異な
るラベルが付けられる。そこで、図３４の（ｂ）に示す
ように、次にＸ軸に沿ってＹ軸走査してＹ方向に隣接す
る画素を比較し、異なったラベルが付けられている場合
には小さいラベル番号に統一され、独立した黒ブロック
に同一ラベルが付けられている場合には端点Ｙ座標が小
さいものほど小さいラベル番号となるようラベルを変更
するとともに、黒画素ブロックの黒画素数が所定値より
小なるものについてはラベルを消去しつつラベル番号を
更新する。例えば、図３５では左眉、左目、口裂、左鼻
孔、右鼻孔、右眉、右目の順に昇順にラベルが付けられ
る。次に、各ラベルｉが付けられた黒画素ブロックを包
含する矩形領域を黒画素ブロックのＸ、Ｙ軸方向の各端
点座標から設定し、候補領域Ｂｉが設定される。かかる
候補領域Ｂｉ中より上記各実施例と同様に鼻孔領域、目
領域を判定する。
【０１５７】尚、図においては２値画像１２全体につい
てラベリング処理を行って候補領域Ｂｉを設定する場合
を示したが、鼻孔存在領域８０、８１あるいは目存在領
域４０の内でのみ上記ラベリング処理を行って鼻孔領域
あるいは目領域を判定するようにしても良い。
てラベリング処理を行って候補領域Ｂｉを設定する場合
を示したが、鼻孔存在領域８０、８１あるいは目存在領
域４０の内でのみ上記ラベリング処理を行って鼻孔領域
あるいは目領域を判定するようにしても良い。
【０１５８】かかる実施例によれば、複雑な形状の眼鏡
や髭等の存在で、黒画素ブロックが複雑に入り組んでい
る場合においても、容易に候補領域Ｂｉを設定できる。
や髭等の存在で、黒画素ブロックが複雑に入り組んでい
る場合においても、容易に候補領域Ｂｉを設定できる。
【０１５９】実施例１７．図３６は顔中心線８を求める
他の方法の実施例を示すもので、上記の各実施例におい
て同様に設定した各候補領域Ｂｉ５６の代表点（XBi，Y
Bi）から画像のＹ軸を中心として所定の角度±θの範囲
にある他の候補領域Ｂｊの代表点（XBj，YBj）との中点
座標（XBCij，YBCij）を各々算出し、かかる各中点座標
（XBCij，YBCij）を結ぶ直線を顔中心線８とする。
他の方法の実施例を示すもので、上記の各実施例におい
て同様に設定した各候補領域Ｂｉ５６の代表点（XBi，Y
Bi）から画像のＹ軸を中心として所定の角度±θの範囲
にある他の候補領域Ｂｊの代表点（XBj，YBj）との中点
座標（XBCij，YBCij）を各々算出し、かかる各中点座標
（XBCij，YBCij）を結ぶ直線を顔中心線８とする。
【０１６０】かかる実施例によれば、顔が多少傾いた画
像においても、同様に演算を単純化して高速に顔の縦軸
方向中心線を算出できる。
像においても、同様に演算を単純化して高速に顔の縦軸
方向中心線を算出できる。
【０１６１】実施例１８．図３７、図３８は画像中での
演算領域を限定する候補存在領域設定手段の実施例を示
しており、図３７は候補存在領域を示す２値画像、図３
８は前記候補存在領域中での目存在領域を示す２値画像
である。
演算領域を限定する候補存在領域設定手段の実施例を示
しており、図３７は候補存在領域を示す２値画像、図３
８は前記候補存在領域中での目存在領域を示す２値画像
である。
【０１６２】図３７において、実施例１の式２を用いて
２値画像１２の全体の黒画素重心位置GMCの座標（XGC，
YGC）を求める。かかる重心位置GMCは、薄暮、夕暮れ等
カメラａの撮影光量が十分でなく画面にノイズがやや多
い図３７のような場合や、車両の運転者の顔が中央に映
らず後方のバックレスト等の細かい模様の一部が画面に
映り込む場合は、GMCが顔重心７に近いものの、実際の
顔重心位置よりずれる場合がある。そこで、GMCを中心
としてＸ軸方向に各々＋XLCA、−XUCA離れ、Ｙ軸方向に
各々＋YLCA、−YRCA離れたＸ、Ｙ軸に辺が平行な矩形領
域を候補存在領域４３として設定する。ここで、図３７
のごとく、候補存在領域４３の各辺長は顔の特徴領域が
含まれるようXLCA＞XUCA、YLCA＝YRCAなる所定値に設定
される。本実施例では、XLCA、XUCA、YLCAを各々２００
画素長、１２０画素長、１５０画素長としている。かか
る候補存在領域４３の内部で、図３８に示すごとく、前
記実施例と同様に顔重心７の位置FC（XFC，YFC）を求め
て、FCを基準として目存在領域４０を設定する。
２値画像１２の全体の黒画素重心位置GMCの座標（XGC，
YGC）を求める。かかる重心位置GMCは、薄暮、夕暮れ等
カメラａの撮影光量が十分でなく画面にノイズがやや多
い図３７のような場合や、車両の運転者の顔が中央に映
らず後方のバックレスト等の細かい模様の一部が画面に
映り込む場合は、GMCが顔重心７に近いものの、実際の
顔重心位置よりずれる場合がある。そこで、GMCを中心
としてＸ軸方向に各々＋XLCA、−XUCA離れ、Ｙ軸方向に
各々＋YLCA、−YRCA離れたＸ、Ｙ軸に辺が平行な矩形領
域を候補存在領域４３として設定する。ここで、図３７
のごとく、候補存在領域４３の各辺長は顔の特徴領域が
含まれるようXLCA＞XUCA、YLCA＝YRCAなる所定値に設定
される。本実施例では、XLCA、XUCA、YLCAを各々２００
画素長、１２０画素長、１５０画素長としている。かか
る候補存在領域４３の内部で、図３８に示すごとく、前
記実施例と同様に顔重心７の位置FC（XFC，YFC）を求め
て、FCを基準として目存在領域４０を設定する。
【０１６３】かかる実施例によれば、演算領域を限定す
るとともに顔の特徴領域以外の背景等による抽出黒ブロ
ックやノイズの影響を排除して、目抽出を行えるという
利点がある。
るとともに顔の特徴領域以外の背景等による抽出黒ブロ
ックやノイズの影響を排除して、目抽出を行えるという
利点がある。
【０１６４】実施例１９．図３９〜４１はこの発明の顔
画像の処理装置の他の実施例を示すものであり、図３９
は顔画像処理全体の詳細構成図、図４０はＹ軸方向フィ
ルタ処理後の２値画像、図４１は画像論理積演算後の２
値画像である。以下、この実施例を、図１０、図１１を
援用しつつ説明する。
画像の処理装置の他の実施例を示すものであり、図３９
は顔画像処理全体の詳細構成図、図４０はＹ軸方向フィ
ルタ処理後の２値画像、図４１は画像論理積演算後の２
値画像である。以下、この実施例を、図１０、図１１を
援用しつつ説明する。
【０１６５】図３９において、図１０に示す入力顔画像
は、画像入力手段１からディジタル階調画像として出力
された後二分割される。その一方は、第一の濃淡レベル
変換手段２ａのＸ軸平均化フィルタ２１ａに入力され、
隣接した３画素の画素レベルが平均化され高空間周波数
のノイズが除去された後、信号が二分され、一方の信号
は画素ＭＡＸフィルタ２２ａ、画素ＭＩＮフィルタ２３
ａを通過してから差分演算回路としての引き算器２４ａ
に入力され、他方の信号は引き算器２４ａにそのまま入
力されて、引き算器２４ａからは二つの差信号が出力さ
れて、出力信号は第一の浮動２値化手段３ａの２値化手
段３２ａ及び閾値演算手段３１ａにそれぞれ入力され、
２値化手段３２ａにおいて閾値演算手段３１ａで設定さ
れた閾値で２値化され、図１１のごとく、Ｘ軸に沿った
前記フィルタ長以下の領域の黒レベルのみが抽出された
２値画像となる。かかる２値画像は２値画像フレームメ
モリ１１に入力される。前記画像入力手段１により二分
割された他方の出力は、一旦フレームメモリ１５に入力
された後、Ｙ軸方向に走査して読み出され、第二の濃淡
レベル変換手段２ｂのＹ軸平均化フィルタ２１ｂに入力
されて同様に隣接した３画素の画素レベルが平均化され
た後、同様に他方の画素ＭＡＸフィルタ２２ｂ、画素Ｍ
ＩＮフィルタ２３ｂ、差分演算回路としての引き算器２
４ｂを通過し、第二の浮動２値化手段３ｂの２値化手段
３２ｂにおいて、閾値演算手段３１ｂで設定された閾値
で２値化され、図４０のごとく、Ｙ軸に沿った前記フィ
ルタ長以下の領域の黒レベルのみが抽出された２値画像
となる。ここで、前記フィルタ長は実施例１と同様２８
画素長に設定されている。
は、画像入力手段１からディジタル階調画像として出力
された後二分割される。その一方は、第一の濃淡レベル
変換手段２ａのＸ軸平均化フィルタ２１ａに入力され、
隣接した３画素の画素レベルが平均化され高空間周波数
のノイズが除去された後、信号が二分され、一方の信号
は画素ＭＡＸフィルタ２２ａ、画素ＭＩＮフィルタ２３
ａを通過してから差分演算回路としての引き算器２４ａ
に入力され、他方の信号は引き算器２４ａにそのまま入
力されて、引き算器２４ａからは二つの差信号が出力さ
れて、出力信号は第一の浮動２値化手段３ａの２値化手
段３２ａ及び閾値演算手段３１ａにそれぞれ入力され、
２値化手段３２ａにおいて閾値演算手段３１ａで設定さ
れた閾値で２値化され、図１１のごとく、Ｘ軸に沿った
前記フィルタ長以下の領域の黒レベルのみが抽出された
２値画像となる。かかる２値画像は２値画像フレームメ
モリ１１に入力される。前記画像入力手段１により二分
割された他方の出力は、一旦フレームメモリ１５に入力
された後、Ｙ軸方向に走査して読み出され、第二の濃淡
レベル変換手段２ｂのＹ軸平均化フィルタ２１ｂに入力
されて同様に隣接した３画素の画素レベルが平均化され
た後、同様に他方の画素ＭＡＸフィルタ２２ｂ、画素Ｍ
ＩＮフィルタ２３ｂ、差分演算回路としての引き算器２
４ｂを通過し、第二の浮動２値化手段３ｂの２値化手段
３２ｂにおいて、閾値演算手段３１ｂで設定された閾値
で２値化され、図４０のごとく、Ｙ軸に沿った前記フィ
ルタ長以下の領域の黒レベルのみが抽出された２値画像
となる。ここで、前記フィルタ長は実施例１と同様２８
画素長に設定されている。
【０１６６】次に、２値画像フレームメモリ１１に入力
された図１１に示す２値画像と、他方の２値化手段３２
ｂから出力される図４０に示す２値画像とを、画像論理
積演算手段２５により論理積演算して、両２値画像にお
いて黒画素が重なる領域のみを抽出し、図４１に示す画
像を得る。かかる画像においては、Ｘ軸、Ｙ軸両方向に
２８画素長以下の大きさを持つ領域のみが抽出されるた
め、眼鏡、髭等があっても黒目、鼻孔が容易に抽出され
る。最後にかかる２値画像が再度２値画像フレームメモ
リ１１に記憶され、微小黒ブロック消去手段１６により
１０画素以下の眼鏡枠の角部等の微小黒ブロックを除去
した後、実施例１と同様の処理を行い目領域を抽出す
る。
された図１１に示す２値画像と、他方の２値化手段３２
ｂから出力される図４０に示す２値画像とを、画像論理
積演算手段２５により論理積演算して、両２値画像にお
いて黒画素が重なる領域のみを抽出し、図４１に示す画
像を得る。かかる画像においては、Ｘ軸、Ｙ軸両方向に
２８画素長以下の大きさを持つ領域のみが抽出されるた
め、眼鏡、髭等があっても黒目、鼻孔が容易に抽出され
る。最後にかかる２値画像が再度２値画像フレームメモ
リ１１に記憶され、微小黒ブロック消去手段１６により
１０画素以下の眼鏡枠の角部等の微小黒ブロックを除去
した後、実施例１と同様の処理を行い目領域を抽出す
る。
【０１６７】上記実施例においては、実施例１と同様、
太陽光による陰等の外乱に左右されることなく２値化が
行われて略顔の特徴領域のみを安定的に抽出できるとと
もに、略黒目、鼻孔領域のみが残るようにして目の抽出
確率を高めて、目の抽出をさらに精度よく行うことがで
きる。
太陽光による陰等の外乱に左右されることなく２値化が
行われて略顔の特徴領域のみを安定的に抽出できるとと
もに、略黒目、鼻孔領域のみが残るようにして目の抽出
確率を高めて、目の抽出をさらに精度よく行うことがで
きる。
【０１６８】尚上記各実施例においてはカメラにCCD固
体撮像素子を用いた場合を示したが、他の固体撮像素子
あるいは撮像管を用いても良く、また本発明を自動車等
の車両の運転者に限らず、他の一般的な人間の顔画像の
処理装置にも適用できることはいうまでもない。
体撮像素子を用いた場合を示したが、他の固体撮像素子
あるいは撮像管を用いても良く、また本発明を自動車等
の車両の運転者に限らず、他の一般的な人間の顔画像の
処理装置にも適用できることはいうまでもない。
【０１６９】
【発明の効果】この発明は、以上のように構成されてい
るので、以下に示すような効果を奏する。
るので、以下に示すような効果を奏する。
【０１７０】この発明によれば、顔画像を撮像するカメ
ラと、そのカメラより映像信号を入力する画像入力手段
と、その画像入力手段から入力された顔画像の少なくと
も顔の縦方向に近い一方の画像軸方向の目の上下幅に対
応する所定長以下の領域の黒レベルを抽出する濃淡レベ
ル変換手段と、その濃淡レベル変換手段の出力画像を浮
動２値化する浮動２値化手段と、前記浮動２値化後の２
値画像内で目領域の存在位置を設定する目存在領域設定
手段と、前記目存在領域内で一つ以上の候補領域を設定
する候補領域設定手段と、前記候補領域の内から目領域
を判定する目領域判定手段とを備えたので、太陽光によ
る陰影の影響や顔の個人差の影響を受けること無く、目
の抽出を高速に、精度よく行える安価な顔画像処理装置
を得ることができる。また、前記濃淡レベル変換手段に
おける黒レベル抽出方向を画素走査方向と一致させるこ
とにより、画素濃淡レベル変換をより高速に行うことが
できる。また、顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段、その画像入力手
段から入力された顔画像のＸ軸方向の目の上下幅に対応
する所定長以下の領域の黒レベルを抽出する第一の濃淡
レベル変換手段と、その第一の濃淡レベル変換手段の出
力画像を浮動２値化する第一の浮動２値化手段と、Ｘ軸
に垂直なＹ軸方向の目の上下幅に対応する所定長以下の
領域の黒レベルを抽出する第二の濃淡レベル変換手段
と、その第二の濃淡レベル変換手段の出力画像を浮動２
値化する第二の浮動２値化手段と、前記第一及び第二の
浮動２値化手段からの２値画像を乗算する画像論理積演
算手段と、画像乗算後の２値画像内で目領域の存在位置
を設定する目存在領域設定手段と、前記目存在領域内で
一つ以上の候補領域を設定する候補領域設定手段と、前
記候補領域の内から目領域を判定する目領域判定手段と
を備えたので、略黒目、鼻孔領域のみが残るようにして
目の抽出確率を高めて、目の抽出を容易により精度よく
行える顔画像の処理装置を得ることができる。また、前
記濃淡レベル変換手段を、連続した所定画素長の画素レ
ベルの最大値をとる最大値フィルタと、最大値フィルタ
の出力の前記所定画素長の画素レベルの最小値をとる最
小値フィルタと、前記最小値フィルタの出力と入力顔画
像を差分する引き算器とから構成したので、画素濃淡レ
ベル変換の高速処理のためのハードウエア化が容易に且
つ安価に実現できる。また、前記濃淡レベル変換手段
は、所定画素数飛びの所定画素長の画素レベルの最大値
をとる最大値フィルタと、最大値フィルタの出力の前記
所定画素数飛びの所定画素長の画素レベルの最小値をと
る最小値フィルタと、前記最小値フィルタの出力と入力
顔画像を差分する引き算器から構成したので、濃淡レベ
ル変換手段の回路規模をさらに低減できる。また、前記
浮動２値化手段における２値化閾値を、少なくとも各画
素走査軸方向の前走査ライン上の画素レベルの重み付き
ピーク値及び重み付き平均値の和の関数値とすることに
より、画像の部分的濃度分布に応じた的確な２値化がで
きる。また、前記２値画像内での顔重心検出手段を備
え、顔重心位置より所定距離離れた顔の左右２つの点を
基点とした顔の縦、横方向に各々所定長さの２つの矩形
の目存在領域を設定するようにしたので、目抽出のため
の演算領域を限定することで演算時間を短縮できる。ま
た、前記２値画像内での顔重心検出手段と、顔中心線検
出手段とを備え、顔重心位置より所定距離離れた顔の左
右２つの点を基点とし一辺が前記顔中心線に平行で顔の
縦、横方向に各々所定長さの２つの矩形の目存在領域を
設定するようにしたので、目存在領域をさらに限定する
ことでより演算時間を短縮できるとともに、画像軸に対
し顔が傾いた状態でも目を確実に抽出できる。また、前
記２値画像内での鼻孔領域判定手段を備え、顔の左右の
鼻孔領域の中点より顔の上部の所定距離離れた顔の左右
２つの点を基点とした顔の縦、横方向に各々所定長さの
２つの矩形の目存在領域を設定するようにしたので、目
抽出のための演算領域を限定することで同様に演算時間
を短縮できるとともに、顔重心による目抽出が困難な場
合でも、鼻孔を基準に目抽出を行うことができる。ま
た、前記候補領域内における顔縦軸ヒストグラム算出手
段を備え、顔縦軸ヒストグラムの大きさの代表値及び形
状の代表値の双方を評価関数として目領域か否かを判定
するようにしたので、目領域を高速且つ精度良く判定で
きる。また、前記左右２つの矩形の目存在領域内で前記
各候補領域の評価関数値を画像毎に記憶する記憶手段を
備え、記憶された前記評価関数値の所定画像数内での変
化が最大である各候補領域を目と判定するようにしたの
で、眉や眼鏡等と混同することなく目を判定できる。ま
た、前記矩形の目存在領域内で目と判定された候補領域
の代表点算出手段を備え、目と判定された候補領域の代
表点位置と前記顔重心との距離が最小な候補領域を最終
的に目と判定するようにしたので、目の抽出精度を向上
できる。また、前記左右２つの矩形の目存在領域内で各
々目と判定された候補領域の代表点算出手段を備え、左
右の目と判定された候補領域の各代表点位置と前記顔重
心との距離の差が所定値より小さく且つ前記距離の差が
最小な左右各１の候補領域を最終的に目と判定するよう
にしたので、目の抽出精度をさらに向上できる。また、
前記２値画像内での候補領域設定手段と、顔中心線検出
手段と、顔中心線の左右に所定の等平行間隔に設けた鼻
孔存在領域設定手段とを備え、鼻孔存在領域に含まれる
候補領域の内より鼻孔を判定するようにしたので、少な
い演算量で眼鏡等の影響を受けないで容易に鼻孔を抽出
できる。また、候補領域代表点演算手段を備え、顔縦軸
方向代表点座標が等しい各候補領域の顔横軸方向代表点
座標と顔中心線の顔の横軸方向座標までの平均距離を求
め、前記平行線間の間隔を前記平均距離の関数とするよ
うにしたので、鼻孔存在領域を顔の個人差に影響される
ことなく設定できる。また、前記２値画像内での候補領
域設定手段と、顔重心検出手段と、顔重心より顔の縦方
向下部に所定間隔離れた点を通る顔の横方向の線より下
部を鼻孔存在領域とする鼻孔存在領域設定手段とを備
え、前記鼻孔存在領域に含まれる前記候補領域の内より
鼻孔を判定するようにしたので、同様に少ない演算量で
眼鏡等の影響を受けないで容易に鼻孔を抽出できる。ま
た、前記２値画像内での候補領域代表点演算手段と、顔
縦軸方向代表点座標が等しい各候補領域を一つの帯状領
域とし前記顔縦軸方向代表点座標を前記帯状領域の顔縦
軸方向代表点座標とする帯状領域代表点演算手段を備
え、前記所定間隔を前記帯状領域の領域数と各帯状領域
代表点と前記顔重心の顔縦軸方向座標間の距離を基に決
定するようにしたので、同様に鼻孔存在領域を顔の個人
差に影響されることなく設定できる。また、前記鼻孔存
在領域内で鼻孔を抽出する演算領域を規定する鼻孔抽出
領域限定手段を備え、限定された鼻孔抽出領域内での画
素の重心を鼻孔領域の中点とするようにしたので、鼻孔
抽出のための演算時間を大幅に短縮できる。また、候補
領域設定手段と、候補領域代表点演算手段を備え、顔縦
軸方向代表点座標が等しい各候補領域の顔横軸方向離間
距離を演算して、顔横軸方向離間距離と予め設定された
鼻孔間距離を比較して鼻孔を判定するようにしたので、
簡単な演算で鼻孔を高速に抽出できる。また、候補領域
設定手段と、候補領域代表点演算手段を備え、顔縦軸方
向代表点座標が等しい各候補領域の顔横軸方向代表点座
標間の距離と前記候補領域の縦横形状比を演算して、顔
横軸方向代表点座標間の距離と前記候補領域の縦横形状
比を鼻孔領域判定の評価関数とするようにしたので、鼻
孔を精度よく検出できる。また、候補領域設定手段と、
各候補領域の顔の縦軸方向辺長を顔の下部方向から減ず
る候補領域限定手段と、前記限定した各候補領域内での
顔縦軸ヒストグラム算出手段とを備え、候補領域限定手
段により顔の縦軸方向辺長を減じたときの顔縦軸ヒスト
グラムの形状変化より鼻孔領域を判定するようにしたの
で、髭あるいは鼻梁の影等による鼻孔の連結が生じてい
る画像であっても、これらの影響を除去して鼻孔を精度
よく抽出できる。また、前記顔重心位置の座標を、前記
２値画像内の画素の重心座標とするようにしたので、簡
単な演算で高速に顔重心位置を求められる。また、前記
２値画像内での顔横軸ヒストグラム算出手段と、顔の横
軸に平行な帯状領域を設定する帯状領域設定手段と、帯
状領域の顔縦軸方向代表点座標を求める帯状領域代表点
演算手段と、前記帯状領域内で顔の縦軸方向の帯幅内の
２値レベルを全ての帯状領域について積算する顔縦軸ヒ
ストグラム算出手段とを備え、顔重心位置のＸ座標を各
帯状領域代表点の平均座標とし、Ｙ座標を顔縦軸ヒスト
グラムの重心座標とするようにしたので、演算領域と演
算量をともに低減して高速に顔重心位置の座標を設定で
きる。また、前記２値画像内での候補領域設定手段を備
え、前記顔重心位置の座標（Ｘｇ、Ｙｇ）を、各候補領
域の黒レベル画素数Ｎｉ、各候補領域ｉの代表点の座標
（Ｘｉ、Ｙｉ）、候補領域ｉの数ｍを用いて、 Ｘｇ＝ΣｍＮｉＸｉ／ΣＮｉ Ｙｇ＝ΣｍＮｉＹｉ／ΣＮｉ として求めるようにしたので、演算を単純化でき高速に
顔重心位置の座標を設定できる。また、前記２値画像内
での顔横軸ヒストグラム算出手段と、顔の横軸に平行な
少なくとも一つ以上の帯状領域設定手段と、各帯状領域
内の画素の重心位置を演算する帯状領域重心検出手段と
を備え、各帯状領域重心の位置より顔の縦軸方向中心線
を算出するするようにしたので、演算領域を限定して演
算量を低減し高速に顔の縦軸方向中心線を算出できる。
また、前記２値画像内での候補領域設定手段と、候補領
域代表点演算手段と、顔縦軸方向代表点座標が等しい各
候補領域を一つの帯状領域として前記帯状領域内の各候
補領域の顔横軸方向代表点座標の平均値を求めて前記帯
状領域の顔横軸方向代表点座標とする帯状領域代表点演
算手段とを備え、各帯領域代表点の位置より顔の縦軸方
向中心線を算出するようにしたので、演算領域を限定す
るとともにより高速に顔の縦軸方向中心線を算出する。
また、前記２値画像内での候補領域設定手段と、候補領
域代表点演算手段と、各候補領域の代表点より画像のＹ
軸を中心として所定の角度範囲にある他の候補領域の代
表点との中点座標を算出する顔中心線候補点演算手段と
を備え、各顔中心線候補点の位置より顔の縦軸方向中心
線を算出するようにしたので、顔が多少傾いた画像にお
いても同様に高速に顔の縦軸方向中心線を算出できる。
また、前記２値画像内での全画素の重心位置を算出する
第一の重心検出手段と、候補存在領域設定手段とを備
え、前記候補存在領域内で前記目存在領域を設定しある
いは前記目存在領域を設定する前記顔重心位置又は前記
顔中心線又は前記鼻孔領域を求めるようにしたので、顔
の特徴領域以外の背景等による抽出黒ブロックやノイズ
が目抽出に与える影響を軽減できる。また、前記２値画
像内で黒レベル画素が所定画素数以上連結してなる各黒
ブロック領域のＸ、Ｙ軸方向端点の最小値及び最大値を
Ｘ、Ｙ軸方向端点とする矩形領域を黒ブロック存在領域
として規定し、前記目存在領域の開始座標及び各辺長
を、黒ブロック存在領域の開始座標、及び、黒ブロック
存在領域の各辺長あるいは各辺長と各辺長基準値との
比、の関数とするようにしたので、目存在領域をカメラ
と顔との距離、顔の個人差、向きに応じて設定できる。
また、前記黒ブロック存在領域の辺長を画像毎に記憶す
る記憶手段を備え、前記辺長の基準値を、記憶された辺
長の所定画像数内での最大値あるいは最大頻度を示す値
とするようにしたので、顔の向きに応じて目存在領域を
最適に設定できる。また、目存在領域の顔の横軸方向開
始座標及び辺長を、前記鼻孔領域判定手段により抽出し
た鼻孔領域の間隔、あるいは、鼻孔領域の間隔の基準値
との比、の関数とするようにしたので、目存在領域をカ
メラと顔との距離、顔の向きに応じて設定できる。ま
た、目存在領域の顔の縦軸方向開始座標及び辺長を、前
記鼻孔領域判定手段により抽出した鼻孔領域の間隔、及
び鼻孔領域の面積あるいは鼻孔領域の縦横形状比、ある
いは、鼻孔領域の間隔の基準値との比、及び鼻孔領域の
面積の基準値との比あるいは鼻孔領域の縦横形状比の基
準値との比、の関数としたので、顔の向きに応じて目存
在領域を最適に設定できる。また、鼻孔領域の間隔、鼻
孔領域の面積、鼻孔領域の縦横形状比の各基準値を、記
憶された鼻孔領域の間隔、鼻孔領域の各辺長より求めた
所定画像数内での鼻孔領域の間隔の最大値、あるいは所
定画像数内での鼻孔領域の間隔、及び鼻孔領域の面積あ
るいは鼻孔領域の縦横形状比が最大頻度を示す値とし
て、顔が正面を向くか最も高い頻度を示す顔の向きを基
準としたので、顔の向きに応じて目存在領域を最適に設
定することができる。また、顔横軸ヒストグラム算出手
段と、顔の横軸に平行な帯状領域設定手段と、前記帯状
領域内での顔縦軸ヒストグラム算出手段とを備え、前記
帯幅を一辺とし顔縦軸ヒストグラムより求めた顔横軸方
向の領域長を他辺とする矩形の候補領域を設定するよう
にしたので、演算のハードウエア化が容易で高速に候補
領域を設定できる。また、２値画像の黒レベル画素が所
定画素数以上集合した孤立黒ブロック領域をラベリング
により抽出する黒ブロック領域抽出手段を備えるととも
に、前記ラベル化した黒ブロック領域のＸ軸方向端部、
Ｙ軸方向端部を囲む矩形の候補領域を設定するようにし
たので、複雑な形状な眼鏡や髭等の存在しても容易に候
補領域を設定できる。
ラと、そのカメラより映像信号を入力する画像入力手段
と、その画像入力手段から入力された顔画像の少なくと
も顔の縦方向に近い一方の画像軸方向の目の上下幅に対
応する所定長以下の領域の黒レベルを抽出する濃淡レベ
ル変換手段と、その濃淡レベル変換手段の出力画像を浮
動２値化する浮動２値化手段と、前記浮動２値化後の２
値画像内で目領域の存在位置を設定する目存在領域設定
手段と、前記目存在領域内で一つ以上の候補領域を設定
する候補領域設定手段と、前記候補領域の内から目領域
を判定する目領域判定手段とを備えたので、太陽光によ
る陰影の影響や顔の個人差の影響を受けること無く、目
の抽出を高速に、精度よく行える安価な顔画像処理装置
を得ることができる。また、前記濃淡レベル変換手段に
おける黒レベル抽出方向を画素走査方向と一致させるこ
とにより、画素濃淡レベル変換をより高速に行うことが
できる。また、顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段、その画像入力手
段から入力された顔画像のＸ軸方向の目の上下幅に対応
する所定長以下の領域の黒レベルを抽出する第一の濃淡
レベル変換手段と、その第一の濃淡レベル変換手段の出
力画像を浮動２値化する第一の浮動２値化手段と、Ｘ軸
に垂直なＹ軸方向の目の上下幅に対応する所定長以下の
領域の黒レベルを抽出する第二の濃淡レベル変換手段
と、その第二の濃淡レベル変換手段の出力画像を浮動２
値化する第二の浮動２値化手段と、前記第一及び第二の
浮動２値化手段からの２値画像を乗算する画像論理積演
算手段と、画像乗算後の２値画像内で目領域の存在位置
を設定する目存在領域設定手段と、前記目存在領域内で
一つ以上の候補領域を設定する候補領域設定手段と、前
記候補領域の内から目領域を判定する目領域判定手段と
を備えたので、略黒目、鼻孔領域のみが残るようにして
目の抽出確率を高めて、目の抽出を容易により精度よく
行える顔画像の処理装置を得ることができる。また、前
記濃淡レベル変換手段を、連続した所定画素長の画素レ
ベルの最大値をとる最大値フィルタと、最大値フィルタ
の出力の前記所定画素長の画素レベルの最小値をとる最
小値フィルタと、前記最小値フィルタの出力と入力顔画
像を差分する引き算器とから構成したので、画素濃淡レ
ベル変換の高速処理のためのハードウエア化が容易に且
つ安価に実現できる。また、前記濃淡レベル変換手段
は、所定画素数飛びの所定画素長の画素レベルの最大値
をとる最大値フィルタと、最大値フィルタの出力の前記
所定画素数飛びの所定画素長の画素レベルの最小値をと
る最小値フィルタと、前記最小値フィルタの出力と入力
顔画像を差分する引き算器から構成したので、濃淡レベ
ル変換手段の回路規模をさらに低減できる。また、前記
浮動２値化手段における２値化閾値を、少なくとも各画
素走査軸方向の前走査ライン上の画素レベルの重み付き
ピーク値及び重み付き平均値の和の関数値とすることに
より、画像の部分的濃度分布に応じた的確な２値化がで
きる。また、前記２値画像内での顔重心検出手段を備
え、顔重心位置より所定距離離れた顔の左右２つの点を
基点とした顔の縦、横方向に各々所定長さの２つの矩形
の目存在領域を設定するようにしたので、目抽出のため
の演算領域を限定することで演算時間を短縮できる。ま
た、前記２値画像内での顔重心検出手段と、顔中心線検
出手段とを備え、顔重心位置より所定距離離れた顔の左
右２つの点を基点とし一辺が前記顔中心線に平行で顔の
縦、横方向に各々所定長さの２つの矩形の目存在領域を
設定するようにしたので、目存在領域をさらに限定する
ことでより演算時間を短縮できるとともに、画像軸に対
し顔が傾いた状態でも目を確実に抽出できる。また、前
記２値画像内での鼻孔領域判定手段を備え、顔の左右の
鼻孔領域の中点より顔の上部の所定距離離れた顔の左右
２つの点を基点とした顔の縦、横方向に各々所定長さの
２つの矩形の目存在領域を設定するようにしたので、目
抽出のための演算領域を限定することで同様に演算時間
を短縮できるとともに、顔重心による目抽出が困難な場
合でも、鼻孔を基準に目抽出を行うことができる。ま
た、前記候補領域内における顔縦軸ヒストグラム算出手
段を備え、顔縦軸ヒストグラムの大きさの代表値及び形
状の代表値の双方を評価関数として目領域か否かを判定
するようにしたので、目領域を高速且つ精度良く判定で
きる。また、前記左右２つの矩形の目存在領域内で前記
各候補領域の評価関数値を画像毎に記憶する記憶手段を
備え、記憶された前記評価関数値の所定画像数内での変
化が最大である各候補領域を目と判定するようにしたの
で、眉や眼鏡等と混同することなく目を判定できる。ま
た、前記矩形の目存在領域内で目と判定された候補領域
の代表点算出手段を備え、目と判定された候補領域の代
表点位置と前記顔重心との距離が最小な候補領域を最終
的に目と判定するようにしたので、目の抽出精度を向上
できる。また、前記左右２つの矩形の目存在領域内で各
々目と判定された候補領域の代表点算出手段を備え、左
右の目と判定された候補領域の各代表点位置と前記顔重
心との距離の差が所定値より小さく且つ前記距離の差が
最小な左右各１の候補領域を最終的に目と判定するよう
にしたので、目の抽出精度をさらに向上できる。また、
前記２値画像内での候補領域設定手段と、顔中心線検出
手段と、顔中心線の左右に所定の等平行間隔に設けた鼻
孔存在領域設定手段とを備え、鼻孔存在領域に含まれる
候補領域の内より鼻孔を判定するようにしたので、少な
い演算量で眼鏡等の影響を受けないで容易に鼻孔を抽出
できる。また、候補領域代表点演算手段を備え、顔縦軸
方向代表点座標が等しい各候補領域の顔横軸方向代表点
座標と顔中心線の顔の横軸方向座標までの平均距離を求
め、前記平行線間の間隔を前記平均距離の関数とするよ
うにしたので、鼻孔存在領域を顔の個人差に影響される
ことなく設定できる。また、前記２値画像内での候補領
域設定手段と、顔重心検出手段と、顔重心より顔の縦方
向下部に所定間隔離れた点を通る顔の横方向の線より下
部を鼻孔存在領域とする鼻孔存在領域設定手段とを備
え、前記鼻孔存在領域に含まれる前記候補領域の内より
鼻孔を判定するようにしたので、同様に少ない演算量で
眼鏡等の影響を受けないで容易に鼻孔を抽出できる。ま
た、前記２値画像内での候補領域代表点演算手段と、顔
縦軸方向代表点座標が等しい各候補領域を一つの帯状領
域とし前記顔縦軸方向代表点座標を前記帯状領域の顔縦
軸方向代表点座標とする帯状領域代表点演算手段を備
え、前記所定間隔を前記帯状領域の領域数と各帯状領域
代表点と前記顔重心の顔縦軸方向座標間の距離を基に決
定するようにしたので、同様に鼻孔存在領域を顔の個人
差に影響されることなく設定できる。また、前記鼻孔存
在領域内で鼻孔を抽出する演算領域を規定する鼻孔抽出
領域限定手段を備え、限定された鼻孔抽出領域内での画
素の重心を鼻孔領域の中点とするようにしたので、鼻孔
抽出のための演算時間を大幅に短縮できる。また、候補
領域設定手段と、候補領域代表点演算手段を備え、顔縦
軸方向代表点座標が等しい各候補領域の顔横軸方向離間
距離を演算して、顔横軸方向離間距離と予め設定された
鼻孔間距離を比較して鼻孔を判定するようにしたので、
簡単な演算で鼻孔を高速に抽出できる。また、候補領域
設定手段と、候補領域代表点演算手段を備え、顔縦軸方
向代表点座標が等しい各候補領域の顔横軸方向代表点座
標間の距離と前記候補領域の縦横形状比を演算して、顔
横軸方向代表点座標間の距離と前記候補領域の縦横形状
比を鼻孔領域判定の評価関数とするようにしたので、鼻
孔を精度よく検出できる。また、候補領域設定手段と、
各候補領域の顔の縦軸方向辺長を顔の下部方向から減ず
る候補領域限定手段と、前記限定した各候補領域内での
顔縦軸ヒストグラム算出手段とを備え、候補領域限定手
段により顔の縦軸方向辺長を減じたときの顔縦軸ヒスト
グラムの形状変化より鼻孔領域を判定するようにしたの
で、髭あるいは鼻梁の影等による鼻孔の連結が生じてい
る画像であっても、これらの影響を除去して鼻孔を精度
よく抽出できる。また、前記顔重心位置の座標を、前記
２値画像内の画素の重心座標とするようにしたので、簡
単な演算で高速に顔重心位置を求められる。また、前記
２値画像内での顔横軸ヒストグラム算出手段と、顔の横
軸に平行な帯状領域を設定する帯状領域設定手段と、帯
状領域の顔縦軸方向代表点座標を求める帯状領域代表点
演算手段と、前記帯状領域内で顔の縦軸方向の帯幅内の
２値レベルを全ての帯状領域について積算する顔縦軸ヒ
ストグラム算出手段とを備え、顔重心位置のＸ座標を各
帯状領域代表点の平均座標とし、Ｙ座標を顔縦軸ヒスト
グラムの重心座標とするようにしたので、演算領域と演
算量をともに低減して高速に顔重心位置の座標を設定で
きる。また、前記２値画像内での候補領域設定手段を備
え、前記顔重心位置の座標（Ｘｇ、Ｙｇ）を、各候補領
域の黒レベル画素数Ｎｉ、各候補領域ｉの代表点の座標
（Ｘｉ、Ｙｉ）、候補領域ｉの数ｍを用いて、 Ｘｇ＝ΣｍＮｉＸｉ／ΣＮｉ Ｙｇ＝ΣｍＮｉＹｉ／ΣＮｉ として求めるようにしたので、演算を単純化でき高速に
顔重心位置の座標を設定できる。また、前記２値画像内
での顔横軸ヒストグラム算出手段と、顔の横軸に平行な
少なくとも一つ以上の帯状領域設定手段と、各帯状領域
内の画素の重心位置を演算する帯状領域重心検出手段と
を備え、各帯状領域重心の位置より顔の縦軸方向中心線
を算出するするようにしたので、演算領域を限定して演
算量を低減し高速に顔の縦軸方向中心線を算出できる。
また、前記２値画像内での候補領域設定手段と、候補領
域代表点演算手段と、顔縦軸方向代表点座標が等しい各
候補領域を一つの帯状領域として前記帯状領域内の各候
補領域の顔横軸方向代表点座標の平均値を求めて前記帯
状領域の顔横軸方向代表点座標とする帯状領域代表点演
算手段とを備え、各帯領域代表点の位置より顔の縦軸方
向中心線を算出するようにしたので、演算領域を限定す
るとともにより高速に顔の縦軸方向中心線を算出する。
また、前記２値画像内での候補領域設定手段と、候補領
域代表点演算手段と、各候補領域の代表点より画像のＹ
軸を中心として所定の角度範囲にある他の候補領域の代
表点との中点座標を算出する顔中心線候補点演算手段と
を備え、各顔中心線候補点の位置より顔の縦軸方向中心
線を算出するようにしたので、顔が多少傾いた画像にお
いても同様に高速に顔の縦軸方向中心線を算出できる。
また、前記２値画像内での全画素の重心位置を算出する
第一の重心検出手段と、候補存在領域設定手段とを備
え、前記候補存在領域内で前記目存在領域を設定しある
いは前記目存在領域を設定する前記顔重心位置又は前記
顔中心線又は前記鼻孔領域を求めるようにしたので、顔
の特徴領域以外の背景等による抽出黒ブロックやノイズ
が目抽出に与える影響を軽減できる。また、前記２値画
像内で黒レベル画素が所定画素数以上連結してなる各黒
ブロック領域のＸ、Ｙ軸方向端点の最小値及び最大値を
Ｘ、Ｙ軸方向端点とする矩形領域を黒ブロック存在領域
として規定し、前記目存在領域の開始座標及び各辺長
を、黒ブロック存在領域の開始座標、及び、黒ブロック
存在領域の各辺長あるいは各辺長と各辺長基準値との
比、の関数とするようにしたので、目存在領域をカメラ
と顔との距離、顔の個人差、向きに応じて設定できる。
また、前記黒ブロック存在領域の辺長を画像毎に記憶す
る記憶手段を備え、前記辺長の基準値を、記憶された辺
長の所定画像数内での最大値あるいは最大頻度を示す値
とするようにしたので、顔の向きに応じて目存在領域を
最適に設定できる。また、目存在領域の顔の横軸方向開
始座標及び辺長を、前記鼻孔領域判定手段により抽出し
た鼻孔領域の間隔、あるいは、鼻孔領域の間隔の基準値
との比、の関数とするようにしたので、目存在領域をカ
メラと顔との距離、顔の向きに応じて設定できる。ま
た、目存在領域の顔の縦軸方向開始座標及び辺長を、前
記鼻孔領域判定手段により抽出した鼻孔領域の間隔、及
び鼻孔領域の面積あるいは鼻孔領域の縦横形状比、ある
いは、鼻孔領域の間隔の基準値との比、及び鼻孔領域の
面積の基準値との比あるいは鼻孔領域の縦横形状比の基
準値との比、の関数としたので、顔の向きに応じて目存
在領域を最適に設定できる。また、鼻孔領域の間隔、鼻
孔領域の面積、鼻孔領域の縦横形状比の各基準値を、記
憶された鼻孔領域の間隔、鼻孔領域の各辺長より求めた
所定画像数内での鼻孔領域の間隔の最大値、あるいは所
定画像数内での鼻孔領域の間隔、及び鼻孔領域の面積あ
るいは鼻孔領域の縦横形状比が最大頻度を示す値とし
て、顔が正面を向くか最も高い頻度を示す顔の向きを基
準としたので、顔の向きに応じて目存在領域を最適に設
定することができる。また、顔横軸ヒストグラム算出手
段と、顔の横軸に平行な帯状領域設定手段と、前記帯状
領域内での顔縦軸ヒストグラム算出手段とを備え、前記
帯幅を一辺とし顔縦軸ヒストグラムより求めた顔横軸方
向の領域長を他辺とする矩形の候補領域を設定するよう
にしたので、演算のハードウエア化が容易で高速に候補
領域を設定できる。また、２値画像の黒レベル画素が所
定画素数以上集合した孤立黒ブロック領域をラベリング
により抽出する黒ブロック領域抽出手段を備えるととも
に、前記ラベル化した黒ブロック領域のＸ軸方向端部、
Ｙ軸方向端部を囲む矩形の候補領域を設定するようにし
たので、複雑な形状な眼鏡や髭等の存在しても容易に候
補領域を設定できる。
【０１７１】
【０１７２】
【０１７３】
【０１７４】
【０１７５】
【０１７６】
【０１７７】
【０１７８】
【０１７９】
【０１８０】
【０１８１】
【０１８２】
【０１８３】
【０１８４】
【０１８５】
【０１８６】
【０１８７】
【０１８８】
【０１８９】
【０１９０】
【０１９１】
【０１９２】
【０１９３】
【０１９４】
【０１９５】
【０１９６】
【０１９７】
【０１９８】
【０１９９】
【０２００】
【０２０１】
【０２０２】
【０２０３】
【０２０４】
【図１】 この発明の第１実施例の顔画像の処理装置を
含む運転者の状態検出の概略構成図である。
含む運転者の状態検出の概略構成図である。
【図２】 第１実施例の顔画像の処理装置における顔画
像処理全体の詳細構成図である。
像処理全体の詳細構成図である。
【図３】 第１実施例のＭＡＸ／ＭＩＮフィルタの回路
構成図である。
構成図である。
【図４】 第１実施例の画像の濃淡レベル変換及び２値
化の説明図である。
化の説明図である。
【図５】 第１実施例の浮動２値化手段の閾値演算フロ
ーチャートである。
ーチャートである。
【図６】 第１実施例の目存在領域設定の説明図であ
る。
る。
【図７】 第１実施例の目存在領域帯設定の説明図であ
る。
る。
【図８】 第１実施例の目候補領域のＸ軸ヒストグラム
である。
である。
【図９】 第１実施例の目領域判定のフローチャートで
ある。
ある。
【図１０】 第１実施例の眼鏡装着時の顔画像である。
【図１１】 第１実施例の眼鏡装着時顔画像の２値画像
である。
である。
【図１２】 第１実施例の目存在領域中の目候補領域を
示す２値画像である。
示す２値画像である。
【図１３】 他の実施例を示すＭＡＸ／ＭＩＮフィルタ
の回路構成図である。
の回路構成図である。
【図１４】 他の目領域判定手段を示す説明図である。
【図１５】 さらに他の目領域判定手段を示す説明図で
ある。
ある。
【図１６】 さらに他の目領域判定手段における目領域
判定のフローチャートである。
判定のフローチャートである。
【図１７】 他の顔重心位置検出手段のフローチャート
である。
である。
【図１８】 他の顔重心位置検出の画像での説明図であ
る。
る。
【図１９】 顔中心線と顔重心による他の目存在領域の
設定を示す２値画像である。
設定を示す２値画像である。
【図２０】 帯状領域のＸ軸ヒストグラムと候補領域設
定の説明図である。
定の説明図である。
【図２１】 他の目存在領域設定のフローチャートであ
る。
る。
【図２２】 顔の向きによる２値画像１２の変化を示す
説明図である。
説明図である。
【図２３】 さらに他の目存在領域設定を説明する２値
画像である。
画像である。
【図２４】 鼻孔領域判定の方法を示す説明図である。
【図２５】 眼鏡装着時の顔の候補領域及び顔中心線を
示す２値画像である。
示す２値画像である。
【図２６】 設定された鼻孔存在領域を示す２値画像で
ある。
ある。
【図２７】 鼻孔存在領域設定の説明図である。
【図２８】 別の鼻孔領域判定のフローチャートであ
る。
る。
【図２９】 目存在領域が設定された２値画像である。
【図３０】 別の目存在領域設定のフローチャートであ
る。
る。
【図３１】 他の鼻孔存在領域の設定を説明する２値画
像である。
像である。
【図３２】 鼻孔存在領域中でさらに鼻孔を抽出する領
域を限定した２値画像である。
域を限定した２値画像である。
【図３３】 さらに別の鼻孔領域判定手段を示す説明図
である。
である。
【図３４】 ラベリングによる候補領域設定の説明図で
ある。
ある。
【図３５】 ラベリングによる候補領域が設定された２
値画像である。
値画像である。
【図３６】 顔中心線を求める他の方法の実施例を説明
する２値画像である。
する２値画像である。
【図３７】 候補存在領域を示す２値画像である。
【図３８】 候補存在領域中での目存在領域を示す２値
画像である。
画像である。
【図３９】 他の実施例の顔画像処理全体の詳細構成図
である。
である。
【図４０】 他の実施例のＹ軸方向フィルタ処理後の２
値画像である。
値画像である。
【図４１】 他の実施例の画像論理積演算後の２値画像
である。
である。
【図４２】 従来例における運転者の状態検出のフロー
チャートである。
チャートである。
【図４３】 従来例における画像２値化時の説明図であ
る。
る。
ａ カメラ、ｂ 顔画像処理装置、１ 画像入力手段、
２，２ａ，２ｂ 濃淡レベル変換手段、３，３ａ，３ｂ
浮動２値化手段、４ 目存在領域設定手段、５ 候補
領域設定手段、６ 目領域判定手段、７ 顔重心、８
顔中心線、１６微小黒ブロック消去手段、２２ 画素Ｍ
ＡＸフィルタ、２３ 画素ＭＩＮフィルタ、２４ 引き
算器、２５ 画像論理積演算手段、３１ 閾値演算手
段、３２２値化手段、４０ 目存在領域、４１ 顔重心
位置検出手段、４２ 目存在領域規定手段、４３ 候補
存在領域、５０ 目候補領域、５１ 目存在領域内Ｙ軸
ヒスト算出手段、５０１ Ｙ軸ヒストグラム、５２ 目
候補領域帯設定手段、５２０ 目候補領域帯、５３ 目
候補領域内Ｘ軸ヒスト算出手段、５０２，５０４Ｘ軸ヒ
ストグラム、５４ 目候補領域設定手段、５５ 候補領
域帯、５６ 候補領域、５７ａ，５７ｂ，５７ｃ 黒画
素ブロック、６１ 目評価関数設定手段、６２ 目領域
選定手段、８０，８１ 鼻孔存在領域、８３ 鼻孔抽出
領域。
２，２ａ，２ｂ 濃淡レベル変換手段、３，３ａ，３ｂ
浮動２値化手段、４ 目存在領域設定手段、５ 候補
領域設定手段、６ 目領域判定手段、７ 顔重心、８
顔中心線、１６微小黒ブロック消去手段、２２ 画素Ｍ
ＡＸフィルタ、２３ 画素ＭＩＮフィルタ、２４ 引き
算器、２５ 画像論理積演算手段、３１ 閾値演算手
段、３２２値化手段、４０ 目存在領域、４１ 顔重心
位置検出手段、４２ 目存在領域規定手段、４３ 候補
存在領域、５０ 目候補領域、５１ 目存在領域内Ｙ軸
ヒスト算出手段、５０１ Ｙ軸ヒストグラム、５２ 目
候補領域帯設定手段、５２０ 目候補領域帯、５３ 目
候補領域内Ｘ軸ヒスト算出手段、５０２，５０４Ｘ軸ヒ
ストグラム、５４ 目候補領域設定手段、５５ 候補領
域帯、５６ 候補領域、５７ａ，５７ｂ，５７ｃ 黒画
素ブロック、６１ 目評価関数設定手段、６２ 目領域
選定手段、８０，８１ 鼻孔存在領域、８３ 鼻孔抽出
領域。
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06T 1/00
B60K 28/06
G08B 21/06
G08G 1/00 - 1/16
H04N 7/18
Claims (44)
- 【請求項１】 顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、 前記濃淡レベル変換手段は、前記画像入力手段から入力
された顔画像の各画素を中心とする所定画素数飛びの所
定画素長の画素レベルの最大値を前記各中心画素の画素
レベルとする最大値フィルタと、その最大値フィルタの
出力の各画素を中心とする前記所定画素数飛びの所定画
素長の画素レベルの最小値を各中心画素の画素レベルと
する最小値フィルタと、前記最小値フィルタの出力と入
力顔画像を差分する引き算器とからなる ことを特徴とす
る顔画像の処理装置。 - 【請求項２】 顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、 前記浮動２値化手段の２値化閾値は、少なくとも各画素
走査軸方向の前走査ライン上の画素レベルの重み付きピ
ーク値及び重み付き平均値の和の関数値を走査ライン上
の画素の２値化閾値とすることを特徴とする 顔画像の処
理装置。 - 【請求項３】 顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸 （Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、 前記目存在領域設定手段は、前記２値画像内での顔重心
位置を算出する顔重心検出手段を備えるとともに、前記
顔重心位置より所定距離離れた顔の左右２つの点を基点
とした顔の縦、横方向に各々所定長さの２つの矩形の目
存在領域を設定することを特徴とする 顔画像の処理装
置。 - 【請求項４】 顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、 前記目存在領域設定手段は、前記２値画像内での顔重心
位置を算出する顔重心検出手段と、顔の縦軸方向中心線
を算出する顔中心線検出手段とを備えるとともに、前記
顔重心位置より所定距離離れた顔の左右２つの点を基点
とし一辺が前記顔中心線に平行で顔の縦、横方向に各々
所定長さの２つの矩形の目存在領域を設定することを特
徴とする 顔画像の処理装置。 - 【請求項５】 顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、 前記目存在領域設定手段は、前記２値画像内で鼻孔領域
を判定する鼻孔領域判定手段を備えるとともに、顔の左
右の鼻孔領域の中点より顔の上部の所定距離離れた顔の
左右２つの点を基点とした顔の縦、横方向に各々所定長
さの２つの矩形の目存在領域を設定することを特徴とす
る 顔画像の処理装置。 - 【請求項６】 顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、 前記目領域判定手段は、前記候補領域内において顔の横
軸に沿って候補領域内の顔の縦軸方向の２値レベルを積
算する顔縦軸ヒストグラム算出手段を備え、前記候補領
域の顔の横軸方向の幅が所定範囲内であるとき、前記顔
縦軸ヒストグラムの大きさの代表値及び形状の代表値の
双方を評価関数として目領域か否かを判定することを特
徴とする 顔画像の処理装置。 - 【請求項７】 顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、 前記目領域判定手段は、前記矩形の目存在領域内で目と
判定された候補領域の代表点を算出する代表点算出手段
を備え、前記目と判定された候補領域の前記代表点位置
と顔重心との距離が最小な候補領域を最終的に目と判定
することを特徴 とする 顔画像の処理装置。 - 【請求項８】 顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、 前記目領域判定手段は、前記左右２つの矩形の目存在領
域内で各々目と判定された候補領域の代表点を算出する
代表点算出手段を備え、前記左右の目と判定された候補
領域の前記各代表点位置と顔重心との距離の差が所定値
より小さく且つ前記距離の差が最小な左右各１の候補領
域を最終的に目と判定することを特徴とする 顔画像の処
理装置。 - 【請求項９】 顔画像を撮像するカメラと、そのカメラ
より映像信号を入力する画像入力手段と、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する濃淡レベル変換手段と、
その濃淡レベル変換手段の出力画像を浮動２値化する浮
動２値化手段と、前記浮動２値化後の２値画像内で目領
域の存在位置を設定する目存在領域設定手段と、前記目
存在領域内で一つ以上の候補領域を設定する候補領域設
定手段と、前記候補領域の内から目領域を判定する目領
域判定手段とを備え、 前記候補領域設定手段は、顔の縦軸に沿って顔の横軸方
向の２値レベルを積算する顔横軸ヒストグラム算出手段
と、前記顔横軸ヒストグラムにより顔の横軸に平行な帯
状領域を設定する帯状領域設定手段と、前記帯状領域内
で顔の横軸に沿って顔の縦軸方向の帯幅内の２値レベル
を積算する顔縦軸ヒストグラム算出手段とを備え、前記
帯幅を一辺とし前記顔縦軸ヒストグラムより求めた顔横
軸方向の領域長を他辺とする矩形の候補領域を設定する
ことを特徴とする顔画像の処理装置。 - 【請求項１０】 顔画像を撮像するカメラと、そのカメ
ラより映像信号を入力する画像入力手段と、所定長以下
の低輝度領域を抽出するフィルタを用いて前記画像入力
手段から入力された顔画像の少なくとも顔の縦方向に近
い一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所
定長以下の低輝度領域を抽出する濃淡レベル変換手段
と、その濃淡レベル変換手段の出力画像を浮動２値化す
る浮動２値化手段と、前記浮動２値化後の２値画像内で
目領域の存在位置を設定する目存在領域設定手段と、前
記目存在領域内で一つ以上の候補領域を設定する候補領
域設定手段と、前記候補領域の内から目領域を判定する
目領域判定手段とを備え、 前記候補領域設定手段は、２値画像の黒レベル画素が所
定画素数以上集合した孤立黒ブロック領域をラベリング
により抽出する黒ブロック領域抽出手段を備えるととも
に、前記ラベル化した黒ブロック領域のＸ軸方向端部、
Ｙ軸方向端部を囲む矩形の候補領域を設定することを特
徴とする 顔画像の処理装置。 - 【請求項１１】 前記濃淡レベル変換手段における黒レ
ベル抽出方向をカメラの画素走査方向と一致させたこと
を特徴とする、請求項１ないし１０のいずれか１項に記
載の顔画像の処理装置。 - 【請求項１２】 顔画像を撮像するカメラと、そのカメ
ラより映像信号を入力する画像入力手段、所定長以下の
低輝度領域を抽出するフィルタを用いて前記画像入力手
段から入力された顔画像の少なくとも顔の縦方向に近い
一方の画像軸（Ｘ軸）方向の目の上下幅に対応する所定
長以下の低輝度領域を抽出する第一の濃淡レベル変換手
段と、その第一の濃淡レベル変換手段の出力画像を浮動
２値化する第一の浮動２値化手段と、所定長以下の低輝
度領域を抽出するフィルタを用いてＸ軸に垂直なＹ軸方
向の目の上下幅に対応する所定長以下の低輝度領域を抽
出する第二の濃淡レベル変換手段と、その第二の濃淡レ
ベル変換手段の出力画像を浮動２値化する第二の浮動２
値化手段と、前記第一及び第二の浮動２値化手段からの
２値画像を乗算する画像論理積演算手段と、画像乗算後
の２値画像内で目領域の存在位置を設定する目存在領域
設定手段と、前記目存在領域内で一つ以上の候補領域を
設定する候補領域設定手段と、前記候補領域の内から目
領域を判定する目領域判定手段とを備えたことを特徴と
する顔画像の処理装置。 - 【請求項１３】 前記濃淡レベル変換手段は、前記画像
入力手段から入力さ れた顔画像の各画素を中心とする連
続した所定画素長の画素レベルの最大値を前記各中心画
素の画素レベルとする最大値フィルタと、その最大値フ
ィルタの出力の各画素を中心とする前記所定画素長の画
素レベルの最小値を各中心画素の画素レベルとする最小
値フィルタと、前記最小値フィルタの出力と入力顔画像
を差分する引き算器とからなることを特徴とする、請求
項２ないし１０のいずれか１項に記載の顔画像の処理装
置。 - 【請求項１４】 前記濃淡レベル変換手段は、前記画像
入力手段から入力された顔画像の各画素を中心とする所
定画素数飛びの所定画素長の画素レベルの最大値を前記
各中心画素の画素レベルとする最大値フィルタと、その
最大値フィルタの出力の各画素を中心とする前記所定画
素数飛びの所定画素長の画素レベルの最小値を各中心画
素の画素レベルとする最小値フィルタと、前記最小値フ
ィルタの出力と入力顔画像を差分する引き算器とからな
ることを特徴とする、請求項２ないし１０のいずれか１
項に記載の顔画像の処理装置。 - 【請求項１５】 前記浮動２値化手段の２値化閾値は、
少なくとも各画素走査軸方向の前走査ライン上の画素レ
ベルの重み付きピーク値及び重み付き平均値の和の関数
値を走査ライン上の画素の２値化閾値とすることを特徴
とする、請求項１ないし１０のいずれか１項に記載の顔
画像の処理装置。 - 【請求項１６】 前記目存在領域設定手段は、前記２値
画像内での顔重心位置を算出する顔重心検出手段を備え
るとともに、前記顔重心位置より所定距離離れた顔の左
右２つの点を基点とした顔の縦、横方向に各々所定長さ
の２つの矩形の目存在領域を設定することを特徴とす
る、請求項１、２、６、７、８、９、１０のいずれか１
項に記載の顔画像の処理装置。 - 【請求項１７】 前記目存在領域設定手段は、前記２値
画像内での顔重心位置を算出する顔重心検出手段と、顔
の縦軸方向中心線を算出する顔中心線検出手段とを備え
るとともに、前記顔重心位置より所定距離離れた顔の左
右２つの点を基点とし一辺が前記顔中心線に平行で顔の
縦、横方向に各々所定長さの２つの矩形の目存在領域を
設定することを特徴とする、請求項１、２、６、７、
８、９、１０のいずれか１項に記載の顔画像の処理装
置。 - 【請求項１８】 前記目存在領域設定手段は、前記２値
画像内で鼻孔領域を 判定する鼻孔領域判定手段を備える
とともに、顔の左右の鼻孔領域の中点より顔の上部の所
定距離離れた顔の左右２つの点を基点とした顔の縦、横
方向に各々所定長さの２つの矩形の目存在領域を設定す
ることを特徴とする、請求項１、２、６、７、８、９、
１０のいずれか１項に記載の顔画像の処理装置。 - 【請求項１９】 前記目領域判定手段は、前記候補領域
内において顔の横軸に沿って候補領域内の顔の縦軸方向
の２値レベルを積算する顔縦軸ヒストグラム算出手段を
備え、前記候補領域の顔の横軸方向の幅が所定範囲内で
あるとき、前記顔縦軸ヒストグラムの大きさの代表値及
び形状の代表値の双方を評価関数として目領域か否かを
判定することを特徴とする、請求項１、２、３、４、
５、９、１０のいずれか１項に記載の顔画像の処理装
置。 - 【請求項２０】 前記目領域判定手段は、前記目存在領
域内で前記各候補領域の評価関数値を画像毎に記憶する
記憶手段を備え、記憶された前記評価関数値の所定画像
数内での変化が最大である各候補領域を目と判定するこ
とを特徴とする、請求項６または１９に記載の顔画像の
処理装置。 - 【請求項２１】 前記目領域判定手段は、前記目存在領
域内で目と判定された候補領域の代表点を算出する代表
点算出手段を備え、前記目と判定された候補領域の前記
代表点位置と顔重心との距離が最小な候補領域を最終的
に目と判定することを特徴とする、請求項１、２、３、
４、５、９、１０のいずれか１項に記載の顔画像の処理
装置。 - 【請求項２２】 前記目領域判定手段は、前記目存在領
域内で各々目と判定された候補領域の代表点を算出する
代表点算出手段を備え、左右の目と判定された候補領域
の前記各代表点位置と顔重心との距離の差が所定値より
小さく且つ前記距離の差が最小な左右各１の候補領域を
最終的に目と判定することを特徴とする、請求項１、
２、３、４、５、９、１０のいずれか１項に記載の顔画
像の処理装置。 - 【請求項２３】 前記鼻孔領域判定手段は、前記２値画
像内で一つ以上の候補領域を設定する候補領域設定手段
と、前記２値画像内で顔の縦軸方向中心線を算出する顔
中心線検出手段と、前記顔中心線の左右に所定の等間隔
に設けた平行線間の領域を鼻孔存在領域とする鼻孔存在
領域設定手段とを備え、前記鼻孔存在 領域に含まれる前
記候補領域の内より鼻孔を判定することを特徴とする、
請求項５、１８に記載の顔画像の処理装置。 - 【請求項２４】 前記鼻孔存在領域設定手段は、前記２
値画像内で設定した各候補領域の代表点座標を算出する
候補領域代表点演算手段を備え、顔縦軸方向代表点座標
が等しい各候補領域の顔横軸方向代表点座標と顔中心線
の顔の横軸方向座標までの平均距離を求め、前記平行線
間の間隔を前記平均距離の関数とすることを特徴とす
る、請求項２３に記載の顔画像の処理装置。 - 【請求項２５】 前記鼻孔領域判定手段は、前記２値画
像内で一つ以上の候補領域を設定する候補領域設定手段
と、前記２値画像内での顔重心位置を算出する顔重心検
出手段と、前記顔重心より顔の縦方向下部に所定間隔離
れた点を通る顔の横方向の線より下部を鼻孔存在領域と
する鼻孔存在領域設定手段とを備え、前記鼻孔存在領域
に含まれる前記候補領域の内より鼻孔を判定することを
特徴とする、請求項５または１８に記載の顔画像の処理
装置。 - 【請求項２６】 前記鼻孔存在領域設定手段は、前記２
値画像内で設定した各候補領域の代表点座標を算出する
候補領域代表点演算手段と、顔縦軸方向代表点座標が等
しい各候補領域を一つの帯状領域とし前記顔縦軸方向代
表点座標を前記帯状領域の顔縦軸方向代表点座標とする
帯状領域代表点演算手段を備え、前記所定間隔を前記帯
状領域の領域数と前記各帯状領域代表点と前記顔重心の
顔縦軸方向座標間の距離を基に決定することを特徴とす
る、請求項２５に記載の顔画像の処理装置。 - 【請求項２７】 前記鼻孔存在領域内で鼻孔を抽出する
演算領域を規定する鼻孔抽出領域限定手段を備え、前記
限定された鼻孔抽出領域内での画素の重心を鼻孔領域の
中点とすることを特徴とする、請求項２３または２５に
記載の顔画像の処理装置。 - 【請求項２８】 前記鼻孔領域判定手段は、前記２値画
像内で一つ以上の候補領域を設定する候補領域設定手段
と、各候補領域の代表点座標を算出する候補領域代表点
演算手段とを備え、顔縦軸方向代表点座標が等しい各候
補領域間の顔横軸方向離間距離を演算するとともに、前
記横軸方向離間距離と予め設定された鼻孔間距離とを比
較し、前記代表点間の距離が前記鼻孔間距離に最も近い
一組の 候補領域を鼻孔と判定することを特徴とする、請
求項５または１８に記載の顔画像の処理装置。 - 【請求項２９】 前記鼻孔領域判定手段は、前記２値画
像内で一つ以上の候補領域を設定する候補領域設定手段
と、各候補領域の代表点座標を算出する候補領域代表点
演算手段とを備え、顔縦軸方向代表点座標が等しい各候
補領域の顔横軸方向代表点座標間の距離を演算するとと
もに、前記顔横軸方向代表点座標間の距離と前記候補領
域の縦横形状比とを鼻孔領域判定の評価関数とすること
を特徴とする、請求項５または１８に記載の顔画像の処
理装置。 - 【請求項３０】 前記鼻孔領域判定手段は、前記２値画
像内で一つ以上の候補領域を設定する候補領域設定手段
と、その候補領域設定手段により設定した各候補領域の
顔の縦軸方向辺長を顔の下部方向から減ずる候補領域限
定手段と、前記限定した各候補領域内で顔の横軸に沿っ
て顔の縦軸方向の２値レベルを積算する顔縦軸ヒストグ
ラム算出手段とを備え、顔の縦軸方向辺長を減じたとき
の前記顔縦軸ヒストグラムの形状変化より鼻孔領域を判
定することを特徴とする、請求項５または１８に記載の
顔画像の処理装置。 - 【請求項３１】 前記顔重心位置の座標を、前記２値画
像内の画素の重心座標とすることを特徴とする、請求項
３、４、１６、１７、２５のいずれか１項に記載の顔画
像の処理装置。 - 【請求項３２】 前記２値画像内で顔の縦軸に沿って顔
の横軸方向の２値レベルを積算する顔横軸ヒストグラム
算出手段と、前記顔横軸ヒストグラムにより顔の横軸に
平行な帯状領域を設定する帯状領域設定手段と、前記帯
状領域の顔縦軸方向代表点座標を求める帯状領域代表点
演算手段と、前記帯状領域内で顔の横軸に沿って顔の縦
軸方向の帯幅内の２値レベルを全ての帯状領域について
積算する顔縦軸ヒストグラム算出手段とを備え、前記顔
重心位置のＸ座標を各帯状領域代表点の平均座標とし、
前記顔重心位置のＹ座標を前記顔縦軸ヒストグラムの重
心座標とすることを特徴とする、請求項３、４、１６、
１７、２５のいずれか１項に記載の顔画像の処理装置。 - 【請求項３３】 前記２値画像内で一つ以上の候補領域
を設定する候補領域設定手段を備え、前記顔重心位置の
座標（Ｘｇ、Ｙｇ）を、設定した各候補領域 ｉの黒レベ
ル画素数Ｎｉ、各候補領域ｉの代表点の座標（Ｘｉ、Ｙ
ｉ）、候補領域ｉの数ｍを用いて、 Ｘｇ＝ΣｍＮｉＸｉ／ΣＮｉ Ｙｇ＝ΣｍＮｉＹｉ／ΣＮｉ とすることを特徴とする、請求項３、４、１６、１７、
２５のいずれか１項に記載の 顔画像の処理装置。 - 【請求項３４】 前記顔中心線検出手段は、前記２値画
像内で顔の縦軸に沿って顔の横軸方向の２値レベルを積
算する顔横軸ヒストグラム算出手段と、前記顔横軸ヒス
トグラムより顔の横軸に平行な少なくとも一つ以上の帯
状領域を設定する帯状領域設定手段と、前記各帯状領域
内の画素の重心位置を演算する帯状領域重心検出手段と
を備え、前記各帯状領域重心の位置より顔の縦軸方向中
心線を算出することを特徴とする、請求項４、１７、２
３のいずれか１項に記載の顔画像の処理装置。 - 【請求項３５】 前記顔中心線検出手段は、前記２値画
像内で一つ以上の候補領域を設定する候補領域設定手段
と、設定した各候補領域の代表点座標を算出する候補領
域代表点演算手段と、顔縦軸方向代表点座標が等しい各
候補領域を一つの帯状領域として前記帯状領域内の各候
補領域の顔横軸方向代表点座標の平均値を求めて前記帯
状領域の顔横軸方向代表点座標とする帯状領域代表点演
算手段とを備え、前記各帯領域代表点の位置より顔の縦
軸方向中心線を算出することを特徴とする請求項４、１
７、２３のいずれか１項に記載の顔画像の処理装置。 - 【請求項３６】 前記顔中心線検出手段は、前記２値画
像内で一つ以上の候補領域を設定する候補領域設定手段
と、設定した各候補領域の代表点座標を算出する候補領
域代表点演算手段と、前記各候補領域の代表点より画像
のＹ軸を中心として所定の角度範囲にある他の候補領域
の代表点との中点座標を算出する顔中心線候補点演算手
段とを備え、前記各顔中心線候補点の位置より顔の縦軸
方向中心線を算出することを特徴とする、請求項４、１
７、２３のいずれか１項に記載の顔画像の処理装置。 - 【請求項３７】 前記２値画像内での全画素の重心位置
を算出する第一の重心検出手段と、前記第一の重心位置
の回りに所定の矩形領域を設定する候補存在 領域設定手
段とをさらに備えるとともに、前記候補存在領域内で前
記目存在領域を設定し、あるいは前記目存在領域を設定
するための前記顔重心位置又は前記顔中心線又は前記鼻
孔領域を求めることを特徴とする、請求項３、４、５、
１６、１７、１８のいずれか１項に記載の顔画像の処理
装置。 - 【請求項３８】 前記目存在領域設定手段における目存
在領域の設定は、前記２値画像内で黒レベル画素が所定
画素数以上連結した各黒ブロック領域のＸ、Ｙ軸方向端
点の最小値及び最大値をＸ、Ｙ軸方向端点とする矩形領
域を黒ブロック存在領域として規定し、前記目存在領域
の開始座標及び各辺長を、前記黒ブロック存在領域の開
始座標、及び黒ブロック存在領域の各辺長あるいは各辺
長と各辺長基準値との比、の関数とすることを特徴とす
る、請求項３、４、５、１６、１７、１８のいずれか１
項に記載の顔画像の処理装置。 - 【請求項３９】 前記黒ブロック存在領域の辺長を画像
毎に記憶する記憶手段をさらに備え、前記辺長の基準値
を、記憶された前記辺長の所定画像数内での最大辺長あ
るいは最大頻度を示す辺長とすることを特徴とする、請
求項３８に記載の顔画像の処理装置。 - 【請求項４０】 前記目存在領域設定手段における目存
在領域の設定は、前記目存在領域の顔の横軸方向開始座
標及び辺長を、前記鼻孔領域判定手段により抽出した鼻
孔領域の間隔、あるいは鼻孔領域の間隔の基準値との
比、の関数とすることを特徴とする、請求項５または１
８に記載の顔画像の処理装置。 - 【請求項４１】 前記目存在領域設定手段における目存
在領域の設定は、前記目存在領域の顔の縦軸方向開始座
標及び辺長を、前記鼻孔領域判定手段により抽出した鼻
孔領域の間隔、及び鼻孔領域の面積あるいは鼻孔領域の
縦横形状比、あるいは鼻孔領域の間隔の基準値との比及
び鼻孔領域の面積の基準値との比あるいは鼻孔領域の縦
横形状比の基準値との比、の関数とすることを特徴とす
る、請求項５または１８に記載の顔画像の処理装置。 - 【請求項４２】 前記鼻孔領域の間隔及び鼻孔領域の各
辺長を画像毎に記憶する記憶手段をさらに備え、前記鼻
孔領域の間隔、鼻孔領域の面積、鼻孔領域の縦横形状比
の各基準値を、記憶された前記鼻孔領域の間隔、鼻孔領
域の各辺長より求めた所定画像数内での鼻孔領域の間隔
の最大値、あるいは所定画像数内での 鼻孔領域の間隔及
び鼻孔領域の面積又は鼻孔領域の縦横形状比が最大頻度
を示す値とすることを特徴とする、請求項４０または４
１に記載の顔画像の処理装置。 - 【請求項４３】 前記候補領域設定手段は、顔の縦軸に
沿って顔の横軸方向の２値レベルを積算する顔横軸ヒス
トグラム算出手段と、前記顔横軸ヒストグラムにより顔
の横軸に平行な帯状領域を設定する帯状領域設定手段
と、前記帯状領域内で顔の横軸に沿って顔の縦軸方向の
帯幅内の２値レベルを積算する顔縦軸ヒストグラム算出
手段とを備え、前記帯幅を一辺とし前記顔縦軸ヒストグ
ラムより求めた顔横軸方向の領域長を他辺とする矩形の
候補領域を設定することを特徴とする、請求項１、２、
３、４、５、６、７、８、２３、２５、２８、２９、３
０、３３、３５、３６のいずれか１項に記載の顔画像の
処理装置。 - 【請求項４４】 前記候補領域設定手段は、２値画像の
黒レベル画素が所定画素数以上集合した孤立黒ブロック
領域をラベリングにより抽出する黒ブロック領域抽出手
段を備えるとともに、前記ラベル化した黒ブロック領域
のＸ軸方向端部、Ｙ軸方向端部を囲む矩形の候補領域を
設定することを特徴とする、請求項１、２、３、４、
５、６、７、８、２３、２５、２８、２９、３０、３
３、３５、３６のいずれか１項に記載の顔画像の処理装
置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11205095A JP3452685B2 (ja) | 1995-05-10 | 1995-05-10 | 顔画像の処理装置 |
| US08/608,062 US5859921A (en) | 1995-05-10 | 1996-02-28 | Apparatus for processing an image of a face |
| DE19613614A DE19613614C2 (de) | 1995-05-10 | 1996-04-04 | Vorrichtung zur Bearbeitung eines Bildes eines Gesichts |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11205095A JP3452685B2 (ja) | 1995-05-10 | 1995-05-10 | 顔画像の処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08300978A JPH08300978A (ja) | 1996-11-19 |
| JP3452685B2 true JP3452685B2 (ja) | 2003-09-29 |
Family
ID=14576776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11205095A Expired - Fee Related JP3452685B2 (ja) | 1995-05-10 | 1995-05-10 | 顔画像の処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5859921A (ja) |
| JP (1) | JP3452685B2 (ja) |
| DE (1) | DE19613614C2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130076881A1 (en) * | 2011-09-26 | 2013-03-28 | Honda Motor Co., Ltd. | Facial direction detecting apparatus |
Families Citing this family (187)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8604932B2 (en) * | 1992-05-05 | 2013-12-10 | American Vehicular Sciences, LLC | Driver fatigue monitoring system and method |
| EP0642422A1 (en) * | 1992-05-27 | 1995-03-15 | Plastisign Limited | Method of cold laminating rigid plastics and stationery and apparatus therefor |
| US5570698A (en) * | 1995-06-02 | 1996-11-05 | Siemens Corporate Research, Inc. | System for monitoring eyes for detecting sleep behavior |
| US9129505B2 (en) * | 1995-06-07 | 2015-09-08 | American Vehicular Sciences Llc | Driver fatigue monitoring system and method |
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
| JP3426060B2 (ja) * | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
| JP3422183B2 (ja) * | 1996-08-22 | 2003-06-30 | トヨタ自動車株式会社 | 顔画像における目の検出方法 |
| US6184926B1 (en) * | 1996-11-26 | 2001-02-06 | Ncr Corporation | System and method for detecting a human face in uncontrolled environments |
| WO1998036575A1 (en) | 1997-02-14 | 1998-08-20 | At & T Corp. | Video objects coded by keyregions |
| JP4169790B2 (ja) * | 1997-03-03 | 2008-10-22 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | セキュリティチェックの実行 |
| US6786420B1 (en) | 1997-07-15 | 2004-09-07 | Silverbrook Research Pty. Ltd. | Data distribution mechanism in the form of ink dots on cards |
| JP3577882B2 (ja) * | 1997-03-31 | 2004-10-20 | 日産自動車株式会社 | 居眠り状態検出装置 |
| JP3436473B2 (ja) * | 1997-06-20 | 2003-08-11 | シャープ株式会社 | 画像処理装置 |
| US6618117B2 (en) | 1997-07-12 | 2003-09-09 | Silverbrook Research Pty Ltd | Image sensing apparatus including a microcontroller |
| US6803989B2 (en) * | 1997-07-15 | 2004-10-12 | Silverbrook Research Pty Ltd | Image printing apparatus including a microcontroller |
| US6597817B1 (en) * | 1997-07-15 | 2003-07-22 | Silverbrook Research Pty Ltd | Orientation detection for digital cameras |
| US7110024B1 (en) | 1997-07-15 | 2006-09-19 | Silverbrook Research Pty Ltd | Digital camera system having motion deblurring means |
| US7551201B2 (en) | 1997-07-15 | 2009-06-23 | Silverbrook Research Pty Ltd | Image capture and processing device for a print on demand digital camera system |
| US6690419B1 (en) * | 1997-07-15 | 2004-02-10 | Silverbrook Research Pty Ltd | Utilising eye detection methods for image processing in a digital image camera |
| US6985207B2 (en) * | 1997-07-15 | 2006-01-10 | Silverbrook Research Pty Ltd | Photographic prints having magnetically recordable media |
| US7724282B2 (en) | 1997-07-15 | 2010-05-25 | Silverbrook Research Pty Ltd | Method of processing digital image to correct for flash effects |
| AUPO802797A0 (en) * | 1997-07-15 | 1997-08-07 | Silverbrook Research Pty Ltd | Image processing method and apparatus (ART54) |
| US6879341B1 (en) | 1997-07-15 | 2005-04-12 | Silverbrook Research Pty Ltd | Digital camera system containing a VLIW vector processor |
| US7714889B2 (en) * | 1997-07-15 | 2010-05-11 | Silverbrook Research Pty Ltd | Digital camera using exposure information for image processing |
| AUPO850597A0 (en) * | 1997-08-11 | 1997-09-04 | Silverbrook Research Pty Ltd | Image processing method and apparatus (art01a) |
| US6624848B1 (en) | 1997-07-15 | 2003-09-23 | Silverbrook Research Pty Ltd | Cascading image modification using multiple digital cameras incorporating image processing |
| JPH1139469A (ja) * | 1997-07-24 | 1999-02-12 | Mitsubishi Electric Corp | 顔画像処理装置 |
| KR19990016896A (ko) * | 1997-08-20 | 1999-03-15 | 전주범 | 얼굴영상에서 눈영역 검출방법 |
| US5892837A (en) * | 1997-08-29 | 1999-04-06 | Eastman Kodak Company | Computer program product for locating objects in an image |
| US6252976B1 (en) * | 1997-08-29 | 2001-06-26 | Eastman Kodak Company | Computer program product for redeye detection |
| WO1999012137A1 (en) * | 1997-09-05 | 1999-03-11 | Massachusetts Institute Of Technology | Drowsiness/alertness monitor |
| KR100290386B1 (ko) * | 1997-12-09 | 2001-06-01 | 이계안 | 졸음운전경보시스템의눈검출방법 |
| KR100295850B1 (ko) * | 1997-12-17 | 2001-11-22 | 이계안 | 졸음운전경보시스템의졸음운전판단방법 |
| FR2773521B1 (fr) * | 1998-01-15 | 2000-03-31 | Carlus Magnus Limited | Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci |
| JP3271750B2 (ja) * | 1998-03-05 | 2002-04-08 | 沖電気工業株式会社 | アイリス識別コード抽出方法及び装置、アイリス認識方法及び装置、データ暗号化装置 |
| JP3657769B2 (ja) * | 1998-03-19 | 2005-06-08 | 富士写真フイルム株式会社 | 画像処理方法および画像処理装置 |
| US6091334A (en) * | 1998-09-04 | 2000-07-18 | Massachusetts Institute Of Technology | Drowsiness/alertness monitor |
| GB2341231A (en) * | 1998-09-05 | 2000-03-08 | Sharp Kk | Face detection in an image |
| AUPP702098A0 (en) | 1998-11-09 | 1998-12-03 | Silverbrook Research Pty Ltd | Image creation method and apparatus (ART73) |
| US6226636B1 (en) * | 1998-11-20 | 2001-05-01 | Philips Electronics North America Corp. | System for retrieving images using a database |
| JP2000259814A (ja) * | 1999-03-11 | 2000-09-22 | Toshiba Corp | 画像処理装置及びその方法 |
| WO2000055811A1 (fr) * | 1999-03-12 | 2000-09-21 | Sony Corporation | Processeur de donnees, procede de traitement de donnees, et support d'enregistrement |
| US6907136B1 (en) * | 1999-05-19 | 2005-06-14 | Canon Kabushiki Kaisha | Image processing of designated image portion |
| JP3969894B2 (ja) * | 1999-05-24 | 2007-09-05 | 三菱電機株式会社 | 顔画像処理装置 |
| JP3695990B2 (ja) | 1999-05-25 | 2005-09-14 | 三菱電機株式会社 | 顔画像処理装置 |
| AUPQ056099A0 (en) * | 1999-05-25 | 1999-06-17 | Silverbrook Research Pty Ltd | A method and apparatus (pprint01) |
| JP2001010368A (ja) * | 1999-06-17 | 2001-01-16 | Hyundai Motor Co Ltd | 居眠り運転警報システムの居眠り運転判断方法 |
| US6389417B1 (en) * | 1999-06-29 | 2002-05-14 | Samsung Electronics Co., Ltd. | Method and apparatus for searching a digital image |
| JP3768735B2 (ja) * | 1999-07-07 | 2006-04-19 | 三菱電機株式会社 | 顔画像処理装置 |
| US6563959B1 (en) | 1999-07-30 | 2003-05-13 | Pixlogic Llc | Perceptual similarity image retrieval method |
| WO2001009833A2 (en) | 1999-07-30 | 2001-02-08 | Pixlogic Llc | Image retrieval by generating a descriptor for each spot of an image the cells of which having visual characteristics within a selected tolerance |
| US7076088B2 (en) * | 1999-09-03 | 2006-07-11 | Honeywell International Inc. | Near-infrared disguise detection |
| DE60045044D1 (de) | 1999-09-14 | 2010-11-11 | Topcon Corp | Angesichtsphotographiervorrichtung und -verfahren |
| SG91841A1 (en) * | 1999-11-03 | 2002-10-15 | Kent Ridge Digital Labs | Face direction estimation using a single gray-level image |
| SG103253A1 (en) * | 2000-01-26 | 2004-04-29 | Kent Ridge Digital Labs | Method and apparatus for cancelling lighting variations in object recognition |
| JP2001216515A (ja) * | 2000-02-01 | 2001-08-10 | Matsushita Electric Ind Co Ltd | 人物の顔の検出方法およびその装置 |
| JP3967863B2 (ja) * | 2000-02-15 | 2007-08-29 | ナイルス株式会社 | 眼の状態検出装置 |
| KR100374604B1 (ko) * | 2000-05-31 | 2003-03-04 | 삼성전자주식회사 | 영상의 패턴 반복 기술 방법 및 그 영상 응집화 방법 |
| US7221780B1 (en) * | 2000-06-02 | 2007-05-22 | Sony Corporation | System and method for human face detection in color graphics images |
| EP1211640A3 (en) * | 2000-09-15 | 2003-10-15 | Canon Kabushiki Kaisha | Image processing methods and apparatus for detecting human eyes, human face and other objects in an image |
| US6947578B2 (en) | 2000-11-02 | 2005-09-20 | Seung Yop Lee | Integrated identification data capture system |
| US6792134B2 (en) * | 2000-12-19 | 2004-09-14 | Eastman Kodak Company | Multi-mode digital image processing method for detecting eyes |
| SE0004741D0 (sv) * | 2000-12-21 | 2000-12-21 | Smart Eye Ab | Image capturing device with reflex reduction |
| EP1229486A1 (en) * | 2001-01-31 | 2002-08-07 | GRETAG IMAGING Trading AG | Automatic image pattern detection |
| US20020176604A1 (en) * | 2001-04-16 | 2002-11-28 | Chandra Shekhar | Systems and methods for determining eye glances |
| US7027619B2 (en) * | 2001-09-13 | 2006-04-11 | Honeywell International Inc. | Near-infrared method and system for use in face detection |
| CA2359269A1 (en) * | 2001-10-17 | 2003-04-17 | Biodentity Systems Corporation | Face imaging system for recordal and automated identity confirmation |
| US7239726B2 (en) * | 2001-12-12 | 2007-07-03 | Sony Corporation | System and method for effectively extracting facial feature information |
| JP3733912B2 (ja) * | 2002-01-31 | 2006-01-11 | 株式会社日立製作所 | 検索システム引継方式 |
| AUPS140502A0 (en) * | 2002-03-27 | 2002-05-09 | Seeing Machines Pty Ltd | Method for automatic detection of facial features |
| JP2003333355A (ja) * | 2002-05-10 | 2003-11-21 | Canon Inc | 色評価装置及び方法 |
| US7269294B2 (en) * | 2002-07-01 | 2007-09-11 | Xerox Corporation | Foreground erosion method and system for Multiple Raster Content (MRC) representation of documents |
| US7336804B2 (en) * | 2002-10-28 | 2008-02-26 | Morris Steffin | Method and apparatus for detection of drowsiness and quantitative control of biological processes |
| WO2004040502A1 (en) * | 2002-10-31 | 2004-05-13 | Korea Institute Of Science And Technology | Image processing method for removing glasses from color facial images |
| US7203338B2 (en) * | 2002-12-11 | 2007-04-10 | Nielsen Media Research, Inc. | Methods and apparatus to count people appearing in an image |
| EP1576815A1 (en) | 2002-12-11 | 2005-09-21 | Nielsen Media Research, Inc. | Detecting a composition of an audience |
| JP2004206688A (ja) * | 2002-12-12 | 2004-07-22 | Fuji Photo Film Co Ltd | 顔認識方法、顔切出方法、および撮像装置 |
| DE10257963A1 (de) * | 2002-12-12 | 2004-07-08 | Daimlerchrysler Ag | Verfahren und Vorrichtung zur Bestimmung der 3D-Position von PKW-Insassen |
| CN100465985C (zh) * | 2002-12-31 | 2009-03-04 | 佳能株式会社 | 人眼探测方法及设备 |
| JP4204336B2 (ja) | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
| US20040228505A1 (en) * | 2003-04-14 | 2004-11-18 | Fuji Photo Film Co., Ltd. | Image characteristic portion extraction method, computer readable medium, and data collection and processing device |
| JP4339762B2 (ja) * | 2003-09-02 | 2009-10-07 | 富士フイルム株式会社 | 認証システム、及びプログラム |
| JP4476744B2 (ja) * | 2003-09-02 | 2010-06-09 | 富士フイルム株式会社 | 撮像システム、及びプログラム |
| US7889792B2 (en) | 2003-12-24 | 2011-02-15 | Apple Inc. | Method and system for video encoding using a variable number of B frames |
| US7453938B2 (en) * | 2004-02-06 | 2008-11-18 | Apple Inc. | Target bitrate estimator, picture activity and buffer management in rate control for video coder |
| US7869503B2 (en) | 2004-02-06 | 2011-01-11 | Apple Inc. | Rate and quality controller for H.264/AVC video coder and scene analyzer therefor |
| US7492820B2 (en) * | 2004-02-06 | 2009-02-17 | Apple Inc. | Rate control for video coder employing adaptive linear regression bits modeling |
| US7986731B2 (en) * | 2004-02-06 | 2011-07-26 | Apple Inc. | H.264/AVC coder incorporating rate and quality controller |
| JP2005283669A (ja) * | 2004-03-26 | 2005-10-13 | Fuji Photo Film Co Ltd | ハロゲン化銀カラー写真感光材料 |
| JP4177779B2 (ja) * | 2004-03-31 | 2008-11-05 | 富士フイルム株式会社 | 画像表示制御装置および方法ならびに画像表示制御装置を制御するプログラム |
| US7362885B2 (en) * | 2004-04-20 | 2008-04-22 | Delphi Technologies, Inc. | Object tracking and eye state identification method |
| TWI244334B (en) * | 2004-05-07 | 2005-11-21 | Quanta Comp Inc | Apparatus and method for increasing the display gray level |
| US20050286629A1 (en) * | 2004-06-25 | 2005-12-29 | Adriana Dumitras | Coding of scene cuts in video sequences using non-reference frames |
| JP4180027B2 (ja) | 2004-08-27 | 2008-11-12 | 株式会社豊田中央研究所 | 顔部品位置検出装置及び方法並びにプログラム |
| JP4130820B2 (ja) * | 2004-08-27 | 2008-08-06 | 株式会社豊田中央研究所 | 顔中心位置検出装置及び方法並びにプログラム |
| CN101124612B (zh) * | 2005-02-17 | 2012-06-20 | 富士通株式会社 | 图像处理方法、图像处理系统、以及图像处理装置 |
| CN101714210B (zh) * | 2005-02-23 | 2013-08-21 | 富士通株式会社 | 图像处理方法、图像处理装置以及图像处理系统 |
| JP4364275B2 (ja) | 2005-02-23 | 2009-11-11 | 富士通株式会社 | 画像処理方法、画像処理装置及びコンピュータプログラム |
| JP2006259900A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム |
| US7697766B2 (en) * | 2005-03-17 | 2010-04-13 | Delphi Technologies, Inc. | System and method to determine awareness |
| JP2006260397A (ja) * | 2005-03-18 | 2006-09-28 | Konica Minolta Holdings Inc | 開眼度推定装置 |
| US7747040B2 (en) * | 2005-04-16 | 2010-06-29 | Microsoft Corporation | Machine vision system and method for estimating and tracking facial pose |
| KR100693412B1 (ko) * | 2005-05-16 | 2007-03-09 | 주식회사 아이디테크 | 영상에서 감시대상의 눈을 검출하는 방법 |
| JP4445454B2 (ja) * | 2005-10-20 | 2010-04-07 | アイシン精機株式会社 | 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム |
| KR100651753B1 (ko) * | 2005-11-19 | 2006-12-01 | 한국전자통신연구원 | 객체의 대칭 특성과 모멘트 특성을 이용한 눈 검출 방법 및그 장치 |
| US7957555B2 (en) * | 2006-02-08 | 2011-06-07 | Fujifilm Corporation | Method and apparatus for localizing an object part in digital image data by updating an initial position estimate based on a displacement of the object part |
| US7742621B2 (en) * | 2006-06-13 | 2010-06-22 | Delphi Technologies, Inc. | Dynamic eye tracking system |
| US7620216B2 (en) * | 2006-06-14 | 2009-11-17 | Delphi Technologies, Inc. | Method of tracking a human eye in a video image |
| JP4910507B2 (ja) * | 2006-06-29 | 2012-04-04 | コニカミノルタホールディングス株式会社 | 顔認証システム及び顔認証方法 |
| EP2042079B1 (en) * | 2006-07-14 | 2010-10-20 | Panasonic Corporation | Visual axis direction detection device and visual line direction detection method |
| US7720281B2 (en) * | 2006-07-31 | 2010-05-18 | Mavs Lab, Inc. | Visual characteristics-based news anchorperson segment detection method |
| JP4692447B2 (ja) * | 2006-09-08 | 2011-06-01 | トヨタ自動車株式会社 | 居眠り検知装置、居眠り検知方法 |
| US8102417B2 (en) * | 2006-10-25 | 2012-01-24 | Delphi Technologies, Inc. | Eye closure recognition system and method |
| JP4873711B2 (ja) * | 2006-12-05 | 2012-02-08 | 本田技研工業株式会社 | 三次元物体を検出する装置 |
| JP4895797B2 (ja) * | 2006-12-26 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
| KR100866792B1 (ko) * | 2007-01-10 | 2008-11-04 | 삼성전자주식회사 | 확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및장치와 이를 이용한 얼굴 인식 방법 및 장치 |
| JP2008197722A (ja) * | 2007-02-08 | 2008-08-28 | Denso Corp | 顔追跡装置 |
| US7995794B2 (en) * | 2007-03-02 | 2011-08-09 | Sony Ericsson Mobile Communications Ab | Remote control of an image capturing unit in a portable electronic device |
| JP4848301B2 (ja) * | 2007-03-14 | 2011-12-28 | アイシン精機株式会社 | 瞼検出装置及びプログラム |
| JP4895876B2 (ja) * | 2007-03-15 | 2012-03-14 | アイシン精機株式会社 | 眼検出装置及びプログラム |
| JP4848302B2 (ja) * | 2007-03-15 | 2011-12-28 | アイシン精機株式会社 | 目検出装置、目検出方法およびプログラム |
| JP4895874B2 (ja) * | 2007-03-15 | 2012-03-14 | アイシン精機株式会社 | 目状態判別装置、目状態判別方法及び目状態判別プログラム |
| JP4910212B2 (ja) * | 2007-03-30 | 2012-04-04 | アイシン精機株式会社 | 目の位置検出装置、方法及びプログラム |
| JP4912206B2 (ja) * | 2007-04-18 | 2012-04-11 | 富士通株式会社 | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
| FR2920172B1 (fr) * | 2007-08-21 | 2009-12-04 | Valeo Securite Habitacle | Procede de deverrouillage automatique d'un ouvrant de vehicule automobile pour systeme mains-libre et dispositif pour la mise en oeuvre du procede |
| JP2009116742A (ja) * | 2007-11-08 | 2009-05-28 | Aisin Seiki Co Ltd | 車載用画像処理装置、画像処理方法、および、プログラム |
| EP2291796A1 (en) * | 2008-07-02 | 2011-03-09 | C-True Ltd. | Networked face recognition system |
| US20100014711A1 (en) * | 2008-07-16 | 2010-01-21 | Volkswagen Group Of America, Inc. | Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor |
| US8411963B2 (en) * | 2008-08-08 | 2013-04-02 | The Nielsen Company (U.S.), Llc | Methods and apparatus to count persons in a monitored environment |
| JP5276381B2 (ja) * | 2008-08-27 | 2013-08-28 | 安川情報システム株式会社 | 眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラム |
| JP5078815B2 (ja) * | 2008-09-12 | 2012-11-21 | 株式会社豊田中央研究所 | 開眼度推定装置 |
| CN102150180A (zh) * | 2008-10-14 | 2011-08-10 | 松下电器产业株式会社 | 人脸识别装置及人脸识别方法 |
| JP4710979B2 (ja) * | 2009-01-09 | 2011-06-29 | ソニー株式会社 | 対象物検出装置、学習装置、対象物検出方法およびプログラム |
| US8260084B2 (en) * | 2009-02-05 | 2012-09-04 | Seiko Epson Corporation | Binary image stitching based on grayscale approximation |
| JP5270415B2 (ja) * | 2009-03-19 | 2013-08-21 | トヨタ自動車株式会社 | 眠気判定装置及びプログラム |
| US11450113B1 (en) * | 2009-06-04 | 2022-09-20 | Masoud Vaziri | Method and apparatus for a wearable computer |
| US11367164B1 (en) | 2009-06-04 | 2022-06-21 | Masoud Vaziri | Method and apparatus for super resolution imaging and eye tracking devices |
| US9727790B1 (en) * | 2010-06-04 | 2017-08-08 | Masoud Vaziri | Method and apparatus for a wearable computer with natural user interface |
| US8872910B1 (en) | 2009-06-04 | 2014-10-28 | Masoud Vaziri | Method and apparatus for a compact and high resolution eye-view recorder |
| US10064552B1 (en) | 2009-06-04 | 2018-09-04 | Masoud Vaziri | Method and apparatus for a compact and high resolution mind-view communicator |
| US10019634B2 (en) * | 2010-06-04 | 2018-07-10 | Masoud Vaziri | Method and apparatus for an eye tracking wearable computer |
| US8369608B2 (en) * | 2009-06-22 | 2013-02-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions |
| US8363957B2 (en) * | 2009-08-06 | 2013-01-29 | Delphi Technologies, Inc. | Image classification system and method thereof |
| CN102622724A (zh) * | 2011-01-27 | 2012-08-01 | 鸿富锦精密工业（深圳）有限公司 | 外观专利图像切割方法及系统 |
| US8620088B2 (en) | 2011-08-31 | 2013-12-31 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
| CN103164441B (zh) * | 2011-12-14 | 2017-09-19 | 富泰华工业（深圳）有限公司 | 基于脸部特征值对图片分类的电子装置及方法 |
| EP2857939B1 (en) * | 2012-05-25 | 2018-08-29 | National University Corporation Shizuoka University | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method |
| TWI466070B (zh) * | 2012-09-14 | 2014-12-21 | Utechzone Co Ltd | 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置 |
| EP2712541B1 (en) * | 2012-09-27 | 2015-12-30 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Tiled image based scanning for head and/or eye position for eye tracking |
| US20140096167A1 (en) * | 2012-09-28 | 2014-04-03 | Vringo Labs, Inc. | Video reaction group messaging with group viewing |
| US9426447B2 (en) * | 2012-10-09 | 2016-08-23 | Electronics And Telecommunications Research Institute | Apparatus and method for eye tracking |
| TW201416054A (zh) * | 2012-10-22 | 2014-05-01 | Hon Hai Prec Ind Co Ltd | 輔助裝置及利用該輔助裝置進行眼藥水投藥的方法 |
| US9230180B2 (en) * | 2013-01-18 | 2016-01-05 | GM Global Technology Operations LLC | Eyes-off-the-road classification with glasses classifier |
| US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| KR20150005094A (ko) * | 2013-07-04 | 2015-01-14 | 삼성전자주식회사 | 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법 |
| US9020213B1 (en) | 2013-10-17 | 2015-04-28 | Daon Holdings Limited | Methods and systems for detecting biometric characteristics in an image |
| CN103685940A (zh) * | 2013-11-25 | 2014-03-26 | 上海斐讯数据通信技术有限公司 | 一种通过表情识别拍摄照片的方法 |
| WO2015136908A1 (ja) * | 2014-03-13 | 2015-09-17 | パナソニックＩｐマネジメント株式会社 | 視線検出装置 |
| DE102014010776B4 (de) | 2014-07-21 | 2019-04-25 | e.solutions GmbH | Kamerasystem und Verfahren zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug |
| US10169535B2 (en) * | 2015-01-16 | 2019-01-01 | The University Of Maryland, Baltimore County | Annotation of endoscopic video using gesture and voice commands |
| KR102345652B1 (ko) * | 2015-06-26 | 2021-12-30 | 삼성전자주식회사 | 뷰 파인더 장치 및 그 동작 방법 |
| US9996732B2 (en) * | 2015-07-20 | 2018-06-12 | International Business Machines Corporation | Liveness detector for face verification |
| US9990537B2 (en) * | 2015-07-20 | 2018-06-05 | International Business Machines Corporation | Facial feature location using symmetry line |
| US10299716B2 (en) * | 2015-12-24 | 2019-05-28 | Intel Corporation | Side face image-based mental state determination |
| CN105590103B (zh) * | 2015-12-30 | 2019-10-01 | 中国银联股份有限公司 | 眼球识别方法及系统 |
| CN105740792B (zh) * | 2016-01-25 | 2019-03-12 | 浙江生辉照明有限公司 | 目标检测方法和装置 |
| JP2017202038A (ja) | 2016-05-10 | 2017-11-16 | 富士通株式会社 | 判別装置、判別方法、および判別プログラム |
| JP6627787B2 (ja) * | 2017-01-17 | 2020-01-08 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
| JP6693427B2 (ja) | 2017-01-18 | 2020-05-13 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
| JP6809262B2 (ja) | 2017-02-08 | 2021-01-06 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
| US11117515B2 (en) * | 2017-05-19 | 2021-09-14 | Yazaki Corporation | Monitoring system |
| TWI647666B (zh) * | 2017-08-28 | 2019-01-11 | 緯創資通股份有限公司 | 瞌睡偵測裝置及其瞌睡偵測方法 |
| US10375354B2 (en) * | 2018-01-05 | 2019-08-06 | Facebook, Inc. | Video communication using subtractive filtering |
| CN108513074B (zh) * | 2018-04-13 | 2020-08-04 | 京东方科技集团股份有限公司 | 自拍控制方法及装置、电子设备 |
| JP2020038551A (ja) * | 2018-09-05 | 2020-03-12 | 株式会社デンソー | 顔向き検出装置、顔向き検出方法、及び制御プログラム |
| US11275819B2 (en) | 2018-12-05 | 2022-03-15 | Bank Of America Corporation | Generative adversarial network training and feature extraction for biometric authentication |
| CN109685839B (zh) * | 2018-12-20 | 2023-04-18 | 广州华多网络科技有限公司 | 图像对齐方法、移动终端以及计算机存储介质 |
| JP7211441B2 (ja) * | 2019-02-01 | 2023-01-24 | 日本電気株式会社 | 覚醒度推定装置、覚醒度推定方法、及びプログラム |
| JP2021043914A (ja) * | 2019-09-13 | 2021-03-18 | 富士通株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| CN111241323A (zh) * | 2020-01-09 | 2020-06-05 | 浙江工业大学 | 一种基于深度学习的由粗到精的快速人脸检索方法 |
| US11711638B2 (en) | 2020-06-29 | 2023-07-25 | The Nielsen Company (Us), Llc | Audience monitoring systems and related methods |
| CN113192130B (zh) * | 2021-05-31 | 2022-12-06 | 网易（杭州）网络有限公司 | 一种间距检测的方法和装置 |
| US11860704B2 (en) | 2021-08-16 | 2024-01-02 | The Nielsen Company (Us), Llc | Methods and apparatus to determine user presence |
| US11758223B2 (en) | 2021-12-23 | 2023-09-12 | The Nielsen Company (Us), Llc | Apparatus, systems, and methods for user presence detection for audience monitoring |
| US11800244B1 (en) | 2022-08-13 | 2023-10-24 | Mojtaba Vaziri | Method and apparatus for an imaging device |
| US12088882B2 (en) | 2022-08-26 | 2024-09-10 | The Nielsen Company (Us), Llc | Systems, apparatus, and related methods to estimate audience exposure based on engagement level |
| CN115673011B (zh) * | 2022-10-24 | 2023-05-12 | 江阴市圣曼不锈钢线棒品有限公司 | 眼镜边框所用不锈钢丝自适应定制系统及方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0624014B2 (ja) * | 1986-08-01 | 1994-03-30 | 株式会社日立製作所 | 濃淡画像の処理方法 |
| JPH01158579A (ja) * | 1987-09-09 | 1989-06-21 | Aisin Seiki Co Ltd | 像認識装置 |
| JP2802635B2 (ja) * | 1989-01-11 | 1998-09-24 | アイシン精機株式会社 | 電気装置の付勢制御装置 |
| JP2522859B2 (ja) * | 1990-12-14 | 1996-08-07 | 日産自動車株式会社 | 眼位置検出装置 |
| JP2822799B2 (ja) * | 1992-07-18 | 1998-11-11 | 日産自動車株式会社 | 運転者の状態検出装置 |
| JP2985558B2 (ja) * | 1993-03-09 | 1999-12-06 | トヨタ自動車株式会社 | 運転状態検出装置 |
| JPH06266981A (ja) * | 1993-03-15 | 1994-09-22 | Aisin Seiki Co Ltd | 居眠り運転警報装置 |
| JPH06332154A (ja) * | 1993-05-24 | 1994-12-02 | Oki Electric Ind Co Ltd | マスク修正方法 |
| JP3214195B2 (ja) * | 1993-11-11 | 2001-10-02 | 三菱電機株式会社 | 運転者撮影装置 |
| US5481622A (en) * | 1994-03-01 | 1996-01-02 | Rensselaer Polytechnic Institute | Eye tracking apparatus and method employing grayscale threshold values |
| JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
| JP2937030B2 (ja) * | 1994-09-14 | 1999-08-23 | 三菱電機株式会社 | 画像処理装置及び人物状態判定装置 |
-
1995
- 1995-05-10 JP JP11205095A patent/JP3452685B2/ja not_active Expired - Fee Related
-
1996
- 1996-02-28 US US08/608,062 patent/US5859921A/en not_active Expired - Lifetime
- 1996-04-04 DE DE19613614A patent/DE19613614C2/de not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130076881A1 (en) * | 2011-09-26 | 2013-03-28 | Honda Motor Co., Ltd. | Facial direction detecting apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| DE19613614C2 (de) | 1999-10-21 |
| DE19613614A1 (de) | 1996-11-14 |
| JPH08300978A (ja) | 1996-11-19 |
| US5859921A (en) | 1999-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3452685B2 (ja) | 顔画像の処理装置 | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| JP3761059B2 (ja) | ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
| JP3350296B2 (ja) | 顔画像処理装置 | |
| US6504942B1 (en) | Method of and apparatus for detecting a face-like region and observer tracking display | |
| JP3426060B2 (ja) | 顔画像処理装置 | |
| CN108764093B (zh) | 基于相机的非接触指纹图像采集装置及方法 | |
| CN114842397B (zh) | 一种基于异常检测的实时老人跌倒检测方法 | |
| JP4912206B2 (ja) | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム | |
| US8290277B2 (en) | Method and apparatus for setting a lip region for lip reading | |
| CN102542246A (zh) | Atm机异常人脸检测方法 | |
| JP2822799B2 (ja) | 運転者の状態検出装置 | |
| JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
| JP2000105819A (ja) | 顔領域検出装置 | |
| KR101236223B1 (ko) | 차선 검출 방법 | |
| JP3312562B2 (ja) | 居眠り状態検出装置 | |
| JP3444115B2 (ja) | 居眠り状態検出装置 | |
| JPH1044824A (ja) | 車両運転者の開閉眼判定装置 | |
| JP2000067225A (ja) | 眼位置検出装置 | |
| JPH09270010A (ja) | 顔画像の特徴量認識装置 | |
| CN115578781A (zh) | 去遮挡的虹膜检测方法、虹膜识别方法及可读存储介质 | |
| JP3813043B2 (ja) | 眼鏡反射検出装置及び眼鏡反射検出方法 | |
| EP0829064B1 (en) | An eye localization filter | |
| CN111488843A (zh) | 基于漏报与误报率分步骤抑制的人脸墨镜判别方法 | |
| KR960013819B1 (ko) | 사람 얼굴의 화상처리를 이용한 개인 인식방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080718 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090718 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100718 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100718 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |