JP6991401B2 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置、プログラム及び情報処理方法に関する。

車内又は工場等において、事故防止のために人の眠気状態を推定する技術開発が進んでいる。例えば、心拍、脳波又は瞬き等から眠気状態に応じて変化する特徴量を抽出し、その特徴量を閾値と比較することによって眠気状態を推定する技術がある。

心拍又は脳波といった生体信号は人の状態を直接計測でき、可能性のある手法であるが、センサを装着する必要があり、煩わしく感じる場合がある。また、センサを装着し忘れた場合には機能自体が損なわれてしまい、コストが高いという問題点がある。

一方、カメラで撮像された動画像から人の眠気状態を推定する手法は、低コスト、センサ寿命が長い、ユーザに非接触及びシステムが簡易という利点がある。

動画像から人の眠気状態を推定する手法として例えば、瞬目頻度、瞬目速度、及び瞬目持続時間の各々に閾値を設定して、眠気状態を推定する技術がある。しかし、サングラスを装着している場合は瞬目情報を正確に取得できないため、眠気状態を正確に推定できないという問題がある。

瞬目情報を用いず、動画像から人の眠気状態を推定する手法として、例えば、欠伸発生頻度を用いて眠気状態を推定する技術が特許文献１に開示されている。特許文献１に記載された技術は、開口の変化のパターンマッチングで欠伸を判定する（段落００８２等）。

特開２００５－１９９０７８号公報

しかしながら、上述の特許文献１に記載された技術は、開口の変化のパターンマッチングで欠伸を判定するため、パターンの設定の仕方によっては誤判定率が高くなるという問題点がある。

そこで、本発明の一又は複数の態様は、精度良く欠伸状態を判定できるようにすることを目的とする。

本発明の一態様に係る情報処理装置は、動画像に含まれている複数のフレームの各々から、人物の顔の領域である顔領域を抽出する顔領域抽出部と、前記顔領域から、予め定められた複数の特徴点を抽出する顔特徴点抽出部と、前記複数の特徴点から、前記顔の特徴を示す顔特徴量を算出する顔特徴量算出部と、前記顔特徴量から、前記顔において口が開いている度合いである開口度を特定する開口度特定部と、前記複数のフレームから特定された複数の前記開口度により、前記口が継続して開いている度合いである開口継続度を算出する開口継続度算出部と、前記人物が欠伸以外の予め定められた要因による開口を行っているか否かを判定し、前記予め定められた要因による開口を行っていると判定されたフレームに、予め定められた第１の閾値よりも低い値を欠伸開口継続度として対応付け、前記予め定められた要因による開口を行っていないと判定されたフレームに、前記開口継続度を欠伸開口継続度として対応付け、最新のフレームを含む予め定められた数の連続したフレームの内、前記第１の閾値以上となっている欠伸開口継続度が対応付けられているフレームの数が、予め定められた第２の閾値以上の場合に、前記人物が欠伸をしたと判定する判定処理部と、を備えることを特徴とする。

本発明の一態様に係るプログラムは、コンピュータを、動画像に含まれている複数のフレームの各々から、人物の顔の領域である顔領域を抽出する顔領域抽出部、前記顔領域から、予め定められた複数の特徴点を抽出する顔特徴点抽出部、前記複数の特徴点から、前記顔の特徴を示す顔特徴量を算出する顔特徴量算出部、前記顔特徴量から、前記顔において口が開いている度合いである開口度を特定する開口度特定部、前記複数のフレームから特定された複数の前記開口度により、前記口が継続して開いている度合いである開口継続度を算出する開口継続度算出部、及び、前記人物が欠伸以外の予め定められた要因による開口を行っているか否かを判定し、前記予め定められた要因による開口を行っていると判定されたフレームに、予め定められた第１の閾値よりも低い値を欠伸開口継続度として対応付け、前記予め定められた要因による開口を行っていないと判定されたフレームに、前記開口継続度を欠伸開口継続度として対応付け、最新のフレームを含む予め定められた数の連続したフレームの内、前記第１の閾値以上となっている欠伸開口継続度が対応付けられているフレームの数が、予め定められた第２の閾値以上の場合に、前記人物が欠伸をしたと判定する判定処理部、として機能させることを特徴とする。

本発明の一態様に係る情報処理方法は、動画像に含まれている複数のフレームの各々から、人物の顔の領域である顔領域を抽出し、前記顔領域から、予め定められた複数の特徴点を抽出し、前記複数の特徴点から、前記顔の特徴を示す顔特徴量を算出し、前記顔特徴量から、前記顔において口が開いている度合いである開口度を特定し、前記複数のフレームから特定された複数の前記開口度により、前記口が継続して開いている度合いである開口継続度を算出し、前記人物が欠伸以外の予め定められた要因による開口を行っているか否かを判定し、前記予め定められた要因による開口を行っていると判定されたフレームに、予め定められた第１の閾値よりも低い値を欠伸開口継続度として対応付け、前記予め定められた要因による開口を行っていないと判定されたフレームに、前記開口継続度を欠伸開口継続度として対応付け、最新のフレームを含む予め定められた数の連続したフレームの内、前記第１の閾値以上となっている欠伸開口継続度が対応付けられているフレームの数が、予め定められた第２の閾値以上の場合に、前記人物が欠伸をしたと判定することを特徴とする。

本発明の一又は複数の態様によれば、精度良く欠伸状態を判定することができる。

実施の形態１に係る欠伸判定装置の構成を概略的に示すブロック図である。 実施の形態１における開口区別判定条件の一例を示す概略図である。 欠伸判定条件の一例を示す概略図である。 実施の形態１における処理部の構成を概略的に示すブロック図である。 顔特徴点情報の一例を示す概略図である。 顔特徴量を説明するための概略図である。 顔特徴量情報を示す概略図である。 （Ａ）及び（Ｂ）は、開口速度を説明するためのグラフである。 欠伸判定装置のハードウェア構成を概略的に示すブロック図である。 実施の形態１における欠伸判定部での処理を示すフローチャートである。 実施の形態２及び３に係る欠伸判定装置の構成を概略的に示すブロック図である。 実施の形態２における開口区別判定条件の一例を示す概略図である。 実施の形態２における顔表情特徴モデルの一例を示す概略図である。 実施の形態２における処理部の構成を概略的に示すブロック図である。 実施の形態２における欠伸判定部での処理を示すフローチャートである。 実施の形態３における開口区別判定条件の一例を示す概略図である。 実施の形態３における処理部の構成を概略的に示すブロック図である。 実施の形態３における欠伸判定部での処理を示すフローチャートである。

実施の形態１．
図１は、実施の形態１に係る情報処理装置としての欠伸判定装置１００の構成を概略的に示すブロック図である。
欠伸判定装置１００は、撮像部１１０と、データベース部１２０と、処理部１３０と、表示部１５０とを備える。

撮像部１１０は、動画像を取得して、取得された動画像を処理部１３０に与える。
データベース部１２０は、欠伸判定条件モデル１２１を記憶する記憶部である。
欠伸判定条件モデル１２１は、開口区別判定条件及び欠伸判定条件を含む。

開口区別判定条件は、予め定められた要因による開口と、予め定められた要因ではない要因による開口とを区別するために使用される判定条件である。
図２は、開口区別判定条件の一例を示す概略図である。
実施の形態１では、開口区別判定条件は、後述する開口速度評価値が予め定められた閾値（例えば、２０）以上である場合には、予め定められた要因ではない要因による開口と判定し、その開口速度評価値が予め定められた閾値未満である場合には、予め定められた要因による開口と判定する条件になっている。開口速度評価値の詳細は、後述する。なお、予め定められた要因ではない要因による開口が行われている場合は、予め定められた要因による開口が行われていないことになる。

欠伸判定条件は、欠伸と判定するための条件である。
図３は、欠伸判定条件の一例を示す概略図である。
実施の形態１では、欠伸判定条件は、過去の予め定められた数のフレーム（例えば、１００フレーム）の内、欠伸開口継続度が第１の閾値としての予め定められた値（例えば、４０）以上となっているフレームの数が第２の閾値としての予め定められた数（例えば、２０）以上の場合に、欠伸と判定する条件となっている。なお、欠伸開口継続度の詳細は、後述する。ここで、過去の予め定められた数のフレームは、最新のフレームを含む予め定められた数の連続したフレームである。

図１に戻り、処理部１３０は、欠伸判定装置１００での処理を実行する。
図４は、実施の形態１における処理部１３０の構成を概略的に示すブロック図である。
処理部１３０は、入力部１３１と、顔領域抽出部１３２と、顔特徴点抽出部１３３と、顔特徴点記憶部１３４と、顔特徴量算出部１３５と、顔特徴量記憶部１３６と、開口度特定部１３７と、開口度記憶部１３８と、開口継続度算出部１３９と、開口継続度記憶部１４０と、判定処理部１４１と、欠伸判定結果記憶部１４６と、出力部１４７とを備える。

判定処理部１４１は、開口速度評価値算出部１４２と、開口速度評価値記憶部１４３と、欠伸判定部１４４と、一時記憶部１４５とを備える。

入力部１３１は、撮像部１１０で取得された動画像の入力を受ける。入力された動画像は、顔領域抽出部１３２に与えられる。

顔領域抽出部１３２は、動画像に含まれている複数のフレームの各々から、人物の顔の領域である顔領域を抽出する。
例えば、顔領域抽出部１３２は、Ａｄａｂｏｏｓｔ学習によるＨａａｒ－ｌｉｋｅ特徴を用いた識別器を用いて、入力された動画像から人物の顔領域を抽出する。
これについては、例えば、下記の文献に記載されている。
Ｐａｕｌ Ｖｉｏｌａ， Ｍｉｃｈａｅｌ Ｊ． Ｊｏｎｅｓ、“Ｒｏｂｕｓｔ Ｒｅａｌ-Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ”、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｖｏｌ． ５７、 Ｎｏ．２、 ｐｐ１３７－１５４、２００４年

顔特徴点抽出部１３３は、抽出された顔領域から、輪郭、眉毛、目、鼻又は口等の予め定められた複数の特徴点である複数の顔特徴点を抽出する。
抽出された顔領域画像において輪郭、眉毛、目、鼻又は口等の顔特徴点を抽出する抽出方法としては、例えば、下記の文献に記載されている公知の方法が用いられればよい。
Ｗｉｓｋｏｔｔ Ｌ．， Ｆｅｌｌｏｕｓ ｊ．－Ｍ．， Ｋｒｕｇｅｒ Ｎ．， ｖｏｎ ｄｅｒ Ｍｌｓｂｕｒｇ Ｃ．、 “Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｅｌａｓｔｉｃ Ｂｕｎｃｈ Ｇｒａｐｈ Ｍａｔｃｈｉｎｇ”、 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、 Ｖｏｌ． １９、 Ｉｓｓｕｅ ７、 ｐｐ．７７５－７７９、 １９９７年

また、顔特徴点抽出部１３３は、抽出された複数の顔特徴点の配置から顔の向きも算出する。顔の向きは、例えば、Ｙａｗ、Ｐｉｔｃｈ及びＲｏｌｌの角度で特定される。

顔特徴点記憶部１３４は、顔特徴点抽出部１３３で抽出された複数の顔特徴点及び算出された顔の向きを示す顔特徴点情報を格納する。
図５は、顔特徴点記憶部１３４に記憶されている顔特徴点情報の一例を示す概略図である。
図５に示されているように、顔特徴点情報は、顔特徴点の座標及び顔の向きの角度を含む。

図４に戻り、顔特徴量算出部１３５は、抽出された複数の顔特徴点から、顔の特徴を示す顔特徴量を算出する。
例えば、顔特徴量算出部１３５は、２点の顔特徴点間の距離又は３点の顔特徴点からなる角度等により顔の特徴を表す顔特徴量を算出する。
具体的には、顔特徴量算出部１３５は、図６に示されているように、人物の顔の正面から見て左目の目頭と目尻との２点間の距離Ｖ１、右目の目頭と目尻との２点間の距離Ｖ２、上唇と下唇との２点間の距離Ｖ３、基準点（例えば、鼻の先端）Ｐと両眉の内端とを結んだ直線Ｌ１、Ｌ２間の角度（Ｖ４）、基準点Ｐと鼻の下の両端とを結んだ直線Ｌ３、Ｌ４間の角度Ｖ５、及び、基準点Ｐと左右両口角とを結んだ直線Ｌ５、Ｌ６間の角度Ｖ６を顔特徴量として算出する。これらの顔特徴量は、口角の上がり、小鼻の開き、眉のしかめ等表情変化において特徴が表れるとされている特徴量である。

顔特徴量算出部１３５が算出する顔特徴量は、以上の例に限定されない。例えば、顔特徴量は、顔の眉間領域、口領域又は頬領域における画像特徴量であってもよい。
このとき画像特徴量は、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を用いるものとする。
これについては、例えば、下記の文献に記載されている。
Ｎ．Ｄａｌａｌ， Ｂ．Ｔｒｉｇｇｓ、 “Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”、 Ｐｒｏｃ． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）、 ｐｐ．８８６－８９３、２００５年

なお、画像特徴量としては、ＨＯＧ特徴量以外でも、ＳＩＦＴ（Ｓｃａｌｅｄ Ｉｎｖａｒｉａｎｃｅ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量、ＳＵＲＦ（Ｓｐｅｅｄｅ-ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）又はＨａａｒ－ｌｉｋｅ特徴量が用いられてもよい。

図４に戻り、顔特徴量記憶部１３６は、顔特徴量算出部１３５で算出された顔特徴量を示す顔特徴量情報を記憶する。
図７は、顔特徴量記憶部１３６に記憶されている顔特徴量情報を示す概略図である。
図７に示されているように、顔特徴量情報は、顔特徴量として算出された値を格納する。

図４に戻り、開口度特定部１３７は、顔特徴量記憶部１３６に記憶されている顔特徴量から、人物の顔において口が開いている度合いである開口度を特定する。
例えば、開口度特定部１３７は、上唇と下唇との２点間の距離Ｖ３を開口度として特定する。

また、開口度特定部１３７は、距離Ｖ３を正規化して０～１００までのパーセントの値に変換して用いてもよい。
具体的には、２次元の画像において、人物が正面を向いているときの開口度１００％における距離Ｖ３と、人物が上又は下を見ているときの開口度１００％における距離Ｖ３とは異なる。このため、開口度特定部１３７は、人物が正面を向いているときは、距離Ｖ３＝５ｃｍで開口度１００％となるようにし、人物が上を向いているときは、距離Ｖ３＝３ｃｍで開口度１００％となるように、顔特徴点記憶部１３４に記憶されている顔の向きに応じて、開口度１００％となる距離Ｖ３の値を変化させる正規化処理を行ってもよい。

開口度記憶部１３８は、開口度特定部１３７により特定された開口度を記憶する。

開口継続度算出部１３９は、開口度記憶部１３８に記憶されている複数の開口度により、口が継続して開いている度合いである開口継続度を算出する。複数の開口度は、複数のフレームから特定される。
例えば、開口継続度算出部１３９は、動画像におけるｔ番目（ｔは１以上の整数）のフレームであるｔフレームの開口度と、過去のフレームの開口度とを重み付けして加算することで、開口継続度を算出する。ｔ＋１番目のフレームであるｔ＋１フレームにおける開口継続度ｘ_ｔ＋１の算出式は、下記の（１）式である。

ここで、ｘ_ｔは、ｔフレームにおける開口継続度、ｙ_ｔ＋１は、ｔ＋１フレームにおける開口度、αは、パラメータの調整値であり、０＜α＜１を満たす。
この開口継続度は、継続して開口する場合に数値が高くなる時間フィルタをかけた値である。

開口継続度記憶部１４０は、開口継続度算出部１３９で算出された開口継続度を記憶する。

判定処理部１４１は、フレーム内の人物が欠伸以外の予め定められた要因による開口を行っているか否かを判定する。判定処理部１４１は、予め定められた要因による開口を行っていると判定されたフレームに、予め定められた第１の閾値よりも低い値を欠伸開口継続度として対応付け、予め定められた要因による開口を行っていないと判定されたフレームに、開口継続度算出部１３９で算出された開口継続度を欠伸開口継続度として対応付ける。
そして、判定処理部１４１は、最新のフレームを含む予め定められた数の連続したフレームの内、第１の閾値以上となっている欠伸開口継続度が対応付けられているフレームの数が、予め定められた第２の閾値以上の場合に、その人物が欠伸をしたと判定する。

実施の形態１では、判定処理部１４１は、フレーム内の人物が会話を行っている場合に、予め定められた要因による開口を行っていると判定する。
具体的には、判定処理部１４１は、人物の口が開く速度である開口速度が予め定められた第３の閾値未満の場合に、その人物が会話を行っていると判定する。

判定処理部１４１での処理は、開口速度評価値算出部１４２、開口速度評価値記憶部１４３、欠伸判定部１４４及び一時記憶部１４５で実現される。以下、説明する。

開口速度評価値算出部１４２は、開口継続度記憶部１４０に記憶されている開口継続度から、開口速度が速くなるほど大きくなる値である開口速度評価値を算出する。
ｔフレームにおける開口速度ｚ_ｔは、下記の（２）式で算出することができる。

ここで、Ｖ３_ｔは、ｔフレームにおける距離Ｖ３、Ｖ３_ｔ－１は、ｔ－１フレームにおける距離Ｖ３である。

開口速度評価値算出部１４２は、（２）式を用いて、開口速度ｚ_ｔを算出してもよいが、実施の形態１では、下記の（３）式～（５）式に示されている開口速度評価値ｚ＃１_ｔ～ｚ＃３_ｔの内の何れか一つを算出している。

開口速度評価値ｚ＃１_ｔ～ｚ＃３_ｔは、何れも開口速度ｚ_ｔが速くなるほど、大きくなる値である。このため、開口速度評価値ｚ＃１_ｔ～ｚ＃３_ｔが第４の閾値未満であるか否かを判定することで、開口速度が予め定められた第３の閾値未満であるか否かを判定することができる。
実施の形態１では、開口速度評価値算出部１４２は、開口速度評価値ｚ＃３_ｔを算出するものとする。ここで、（５）式では、ｘ_ｔの勾配に着目しており、上記の（１）式のαの値を小さく設定した場合、開口速度が速くなると、ｘ_ｔとｙ_ｔとの差分が大きくなるため、開口速度評価値ｚ＃３_ｔは、開口速度の評価値として使用することができる。

ここで、開口速度は、開口継続度の傾斜が大きい場合に数値が高くなる。このため、図８（Ａ）及び（Ｂ）に示されているように、欠伸時は開口速度が速く、会話時は開口速度が遅くなる。

図４に戻り、開口速度評価値記憶部１４３は、開口速度評価値算出部１４２で算出された開口速度評価値を記憶する。

欠伸判定部１４４は、開口継続度記憶部１４０に記憶されている開口継続度と、開口速度評価値記憶部１４３に記憶されている開口速度評価値とを用いて、予め定められた要因（ここでは、会話）による開口と、予め定められた要因ではない要因による開口とを判別し、欠伸を判定する。

具体的には、開口速度評価値記憶部１４３に記憶されている開口速度評価値が欠伸判定条件モデル１２１に含まれている開口区別判定条件において、開口速度評価値が予め定められた閾値（例えば、２０）未満である場合には、予め定められた要因による開口と判定する。ここでの閾値は、第４の閾値ともいう。

次に、欠伸判定部１４４は、予め定められた要因による開口と判定した場合には、無効値を欠伸開口継続値とし、予め定められた要因ではない要因による開口と判定した場合には、そのフレームの開口継続度を欠伸開口継続度として、そのフレームを識別するための識別情報であるフレーム識別番号に対応付けて、一時記憶部１４５に記憶する。無効値は、第１の閾値よりも小さい値であれば、どのような値でもよい。

そして、欠伸判定部１４４は、欠伸判定条件モデル１２１に含まれている欠伸判定条件が満たされている場合に、欠伸と判定する。
ここでは、欠伸判定部１４４は、過去の予め定められた数のフレーム（例えば、１００フレーム）の内、欠伸開口継続度が予め定められた値（例えば、４０）以上となっているフレームの数が予め定められた数（例えば、２０）以上のときに、欠伸と判定する。

欠伸判定結果記憶部１４６は、欠伸判定部１４４での欠伸判定結果を記憶する。ここでの欠伸判定結果は、例えば、「欠伸」又は「欠伸ではない」である。

出力部１４７は、欠伸判定結果記憶部１４６に記憶されている欠伸判定結果を図１に示されている表示部１５０に送り、表示部１５０にその欠伸判定結果又はその欠伸判定結果に対応する情報を表示させる。

図９は、実施の形態１に係る欠伸判定装置１００のハードウェア構成を概略的に示すブロック図である。
実施の形態１に係る欠伸判定装置１００は、カメラ１６１と、補助記憶装置１６２と、プロセッサ１６３と、メモリ１６４と、表示装置１６５とを備えるコンピュータ１６０により構成することができる。

具体的には、撮像部１１０は、撮像装置としてのカメラ１６１により実現することができる。
データベース部１２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の補助記憶装置１６２により実現することができる。

処理部１３０は、プロセッサ１６３及びメモリ１６４により実現することができる。
プロセッサ１６３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現することができ、メモリ１６４は、不揮発メモリにより実現することができる。プロセッサ１６３は、補助記憶装置１６２に記憶されているプログラムをメモリ１６４に読み出して、そのプログラムを実行することで各種処理を実行する。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
表示部１５０は、表示装置１６５により実現することができる。

図１０は、実施の形態１における欠伸判定部１４４での処理を示すフローチャートである。
まず、欠伸判定部１４４は、開口継続度記憶部１４０に記憶されている開口継続度と、開口速度評価値記憶部１４３に記憶されている開口速度評価値とを取得する（Ｓ１０）。

次に、欠伸判定部１４４は、取得された開口速度評価値が、開口区別判定条件における閾値ａ以上であるか否かを判定する（Ｓ１１）。開口速度評価値が閾値ａ未満である場合（Ｓ１１でＮｏ）には、処理はステップＳ１２に進み、開口速度評価値が閾値ａ以上である場合（Ｓ１１でＹｅｓ）には、処理はステップＳ１３に進む。

ステップＳ１２では、開口速度評価値が閾値ａ未満であり、動画像に映っている人物の開口が欠伸以外の会話であると考えられるため、欠伸判定部１４４は、開口継続度を予め定められた値である無効値（例えば、「－１」）とする。そして、処理はステップＳ１３に進む。

ステップＳ１３では、欠伸判定部１４４は、現フレームの開口継続度を、欠伸開口継続度として、そのフレーム番号とともに一時記憶部１４５に記憶させる。ここで、欠伸開口継続度は、開口速度評価値が閾値ａ以上である場合には、現フレームに対応して開口継続度算出部１３９で算出された開口継続度であり、開口速度評価値が閾値ａ未満である場合には、ステップＳ１２で設定された無効値となる。

次に、欠伸判定部１４４は、欠伸判定条件モデル１２１に含まれている欠伸判定条件を満たすか否かを判定する（Ｓ１４）。ここでは、欠伸判定部１４４は、過去の予め定められた数のフレーム（例えば、１００フレーム）の内、欠伸開口継続度が予め定められた値（例えば、４０）以上となっているフレームの数が予め定められた数（例えば、２０）以上のときに、欠伸と判定する。欠伸判定条件が満たされている場合（Ｓ１４でＹｅｓ）には、処理はステップＳ１５に進み、欠伸判定条件が満たされていない場合（Ｓ１４でＮｏ）には、処理はステップＳ１６に進む。

ステップＳ１５では、欠伸判定部１４４は、欠伸と判定し、その判定結果を欠伸判定結果記憶部１４６に記憶する。なお、欠伸判定部１４４は、欠伸は続けて発生しないと想定し、一度欠伸と判定したら一定フレーム（例えば、１００フレーム）は、欠伸と判定しない。
一方、ステップＳ１６では、欠伸判定部１４４は、欠伸ではないと判定し、その判定結果を欠伸判定結果記憶部１４６に記憶する。

以上のように、実施の形態１によれば、動画像に映っている人物が会話している状態では、欠伸と判定しないため、人物の口が開いている状態から、精度よく欠伸を検出することができる。

実施の形態２．
図１１は、実施の形態２に係る情報処理装置としての欠伸判定装置２００の構成を概略的に示すブロック図である。
欠伸判定装置２００は、撮像部１１０と、データベース部２２０と、処理部２３０と、表示部１５０とを備える。
実施の形態２に係る欠伸判定装置２００の撮像部１１０及び表示部１５０は、実施の形態１に係る欠伸判定装置１００の撮像部１１０及び表示部１５０と同様である。

データベース部２２０は、欠伸判定条件モデル２２１と、顔表情特徴モデル２２２とを記憶する記憶部である。
欠伸判定条件モデル２２１は、開口区別判定条件及び欠伸判定条件を含む。
実施の形態２における欠伸判定条件モデル２２１の欠伸判定条件は、実施の形態１における欠伸判定条件モデル１２１の欠伸判定条件と同様である。

開口区別判定条件は、予め定められた要因による開口と、予め定められた要因ではない要因による開口とを区別するために使用される判定条件である。
図１２は、開口区別判定条件の一例を示す概略図である。
実施の形態２では、開口区別判定条件は、後述する顔表情特徴比較結果に応じて、予め定められた要因による開口か、予め定められた要因ではない要因による開口かを判定する条件になっている。実施の形態２では、予め定められた要因は、人物の表情が、笑顔又は怒った顔であることである。

顔表情特徴モデル２２２は、笑顔判定条件及び驚き判定条件を含む。
笑顔判定条件は、顔特徴量に基づいて、動画像に含まれている人物の表情が笑顔であることを判定するための条件である。
驚き判定条件は、顔特徴量に基づいて、動画像に含まれている人物の表情が驚いた顔であることを判定するための条件である。

図１３は、顔表情特徴モデル２２２の一例を示す概略図である。
顔特徴量が、図１３に示されている何れかの条件を満たす場合には、人物の表情が笑顔又は驚いた顔であると判定される。

図１１に戻り、処理部２３０は、欠伸判定装置２００での処理を実行する。
図１４は、実施の形態２における処理部２３０の構成を概略的に示すブロック図である。
処理部２３０は、入力部１３１と、顔領域抽出部１３２と、顔特徴点抽出部１３３と、顔特徴点記憶部１３４と、顔特徴量算出部１３５と、顔特徴量記憶部１３６と、開口度特定部１３７と、開口度記憶部１３８と、開口継続度算出部１３９と、開口継続度記憶部１４０と、判定処理部２４１と、欠伸判定結果記憶部１４６と、出力部１４７とを備える。

判定処理部２４１は、欠伸判定部２４４と、一時記憶部１４５と、顔表情特徴比較部２４８と、顔表情特徴比較結果記憶部２４９とを備える。

実施の形態２における処理部２３０の入力部１３１、顔領域抽出部１３２、顔特徴点抽出部１３３、顔特徴点記憶部１３４、顔特徴量算出部１３５、顔特徴量記憶部１３６、開口度特定部１３７、開口度記憶部１３８、開口継続度算出部１３９、開口継続度記憶部１４０、一時記憶部１４５、欠伸判定結果記憶部１４６及び出力部１４７は、実施の形態１における処理部１３０の入力部１３１、顔領域抽出部１３２、顔特徴点抽出部１３３、顔特徴点記憶部１３４、顔特徴量算出部１３５、顔特徴量記憶部１３６、開口度特定部１３７、開口度記憶部１３８、開口継続度算出部１３９、開口継続度記憶部１４０、一時記憶部１４５、欠伸判定結果記憶部１４６及び出力部１４７と同様である。

実施の形態２でも、判定処理部２４１は、フレーム内の人物が欠伸以外の予め定められた要因による開口を行っているか否かを判定する。
但し、実施の形態２では、判定処理部２４１は、人物の表情が欠伸とは異なる予め定められた表情である場合に、予め定められた要因による開口を行っていると判定する。
実施の形態２における判定処理部２４１での処理は、欠伸判定部２４４、一時記憶部１４５、顔表情特徴比較部２４８及び顔表情特徴比較結果記憶部２４９により実現される。以下説明する。

顔表情特徴比較部２４８は、顔特徴量から、フレーム内の人物が予め定められた表情であるか否かを判定する顔表情判定部である。ここでは、顔表情特徴比較部２４８は、現在の顔特徴と、顔表情特徴（例えば、笑顔又は驚き時に表出する顔の特徴）とを比較することで、人物の表情を判定する。

例えば、顔表情特徴比較部２４８は、顔特徴量記憶部１３６に記憶されている顔特徴量を用いて欠伸時に発生しない顔特徴が見られるかを判定する。一般に、人物の顔が笑顔又は驚いた顔になっている場合には、欠伸時には発生しない顔特徴が表れる。従って、顔表情特徴比較部２４８は、人物の顔の特徴量が、欠伸時には発生しない顔特徴を示す顔特徴量となっている場合には、欠伸を要因とする開口ではないと判定する。

具体的には、顔表情特徴比較部２４８は、顔特徴量記憶部１３６に記憶されている顔表情の何れかが、図１３の顔表情特徴モデル２２２に示されている判定条件を満たしている場合には、笑顔による開口又は驚きによる開口であると判定する。

なお、顔表情特徴比較部２４８は、顔特徴量記憶部１３６に記憶されている顔特徴量を用いて、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、Ａｄａｂｏｏｓｔ、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の機械学習技術を用いて、予め定められた要因による開口か否かを判定してもよい。

顔表情特徴比較結果記憶部２４９は、顔表情特徴比較部２４８での比較結果（判定結果ともいう）を記憶する。
顔表情特徴比較部２４８での比較結果は、例えば、「笑顔による開口」、「驚きによる開口」又は「開口」であるものとする。「開口」は、「笑顔による開口」又は「驚きによる開口」であると判定されなかった場合の比較結果である。ここで、「笑顔による開口」は、フレーム内の人物の表情が笑顔であることを示し、「驚きによる開口」は、その表情が驚いた顔であることを示す。

欠伸判定部２４４は、開口継続度記憶部１４０に記憶されている開口継続度と、顔表情特徴比較結果記憶部２４９に記憶されている比較結果とを用いて、予め定められた要因による開口であるか否かを判別し、欠伸を判定する。例えば、欠伸判定部２４４は、顔表情特徴比較部２４８での判定結果が、人物の表情が予め定められた表情である場合に、予め定められた要因による開口を行っていると判定し、その判定結果が、その人物の表情が予め定められた表情ではない場合に、予め定められた要因ではない要因による開口であると判定する。

具体的には、欠伸判定部２４４は、顔表情特徴比較結果記憶部２４９に記憶されている比較結果が「笑顔による開口」又は「驚きによる開口」である場合には、予め定められた要因による開口と判定し、その比較結果が「開口」である場合には、予め定められた要因ではない要因による開口と判定する。

次に、欠伸判定部２４４は、予め定められた要因による開口と判定した場合には、無効値を欠伸開口継続値とし、予め定められた要因ではない要因による開口と判定した場合には、そのフレームの開口継続度を欠伸開口継続度として、そのフレームを識別するための識別情報であるフレーム識別番号に対応付けて、一時記憶部１４５に記憶する。
そして、欠伸判定部２４４は、欠伸判定条件モデル２２１に含まれている欠伸判定条件が満たされている場合に、欠伸と判定する。

図１５は、実施の形態２における欠伸判定部２４４での処理を示すフローチャートである。
まず、欠伸判定部２４４は、開口継続度記憶部１４０に記憶されている開口継続度と、顔表情特徴比較結果記憶部２４９に記憶されている比較結果とを取得する（Ｓ２０）。

次に、欠伸判定部２４４は、取得された比較結果が予め定められた要因による開口であるか否かを判定する（Ｓ２１）。例えば、欠伸判定部２４４は、比較結果が「笑顔による開口」又は「驚きによる開口」である場合には、予め定められた要因による開口であると判定し、比較結果が「開口」である場合には、予め定められた要因ではない要因による開口であると判定する。予め定められた要因による開口である場合（Ｓ２１でＹｅｓ）には、処理はステップＳ２２に進み、予め定められた要因ではない要因による開口である場合（Ｓ２１でＮｏ）には、処理はステップＳ２３に進む。

ステップＳ２２では、欠伸判定部２４４は、開口継続度を予め定められた値である無効値（例えば、「－１」）とする。そして、処理はステップＳ２３に進む。

ステップＳ２３では、欠伸判定部２４４は、現フレームの開口継続度を、欠伸開口継続度として、そのフレーム番号とともに一時記憶部１４５に記憶させる。ここで、欠伸開口継続度は、予め定められた要因ではない要因による開口である場合には、現フレームに対応して開口継続度算出部１３９で算出された開口継続度であり、予め定められた要因による開口である場合には、ステップＳ２２で設定された無効値となる。

次に、欠伸判定部２４４は、欠伸判定条件モデル２２１に含まれている欠伸判定条件を満たすか否かを判定する（Ｓ２４）。ここでは、欠伸判定部２４４は、過去の予め定められた数のフレーム（例えば、１００フレーム）の内、欠伸開口継続度が予め定められた値（例えば、４０）以上となっているフレームの数が予め定められた数（例えば、２０）以上のときに、欠伸と判定する。欠伸判定条件が満たされている場合（Ｓ２４でＹｅｓ）には、処理はステップＳ２５に進み、欠伸判定条件が満たされていない場合（Ｓ２４でＮｏ）には、処理はステップＳ２６に進む。

ステップＳ２５では、欠伸判定部２４４は、欠伸と判定し、その判定結果を欠伸判定結果記憶部１４６に記憶する。なお、欠伸判定部２４４は、欠伸は続けて発生しないと想定し、一度欠伸と判定したら一定フレーム（例えば、１００フレーム）は、欠伸と判定しない。
一方、ステップＳ２６では、欠伸判定部１４４は、欠伸ではないと判定し、その判定結果を欠伸判定結果記憶部１４６に記憶する。

以上のように、実施の形態２によれば、動画像に映っている人物の表情が笑顔又は驚いた顔となっている状態では、欠伸と判定しないため、人物の口が開いている状態から、精度よく欠伸を検出することができる。

実施の形態３．
図１１に示されているように、実施の形態３に係る情報処理装置としての欠伸判定装置３００は、撮像部１１０と、データベース部３２０と、処理部３３０と、表示部１５０とを備える。
実施の形態３に係る欠伸判定装置３００の撮像部１１０及び表示部１５０は、実施の形態１に係る欠伸判定装置１００の撮像部１１０及び表示部１５０と同様である。

データベース部３２０は、欠伸判定条件モデル３２１と、顔表情特徴モデル２２２とを記憶する記憶部である。
実施の形態３における顔表情特徴モデル２２２は、実施の形態２における顔表情特徴モデル２２２と同様である。

欠伸判定条件モデル３２１は、開口区別判定条件及び欠伸判定条件を含む。
実施の形態３における欠伸判定条件モデル３２１の欠伸判定条件は、実施の形態１における欠伸判定条件モデル１２１の欠伸判定条件と同様である。

開口区別判定条件は、予め定められた要因による開口と、予め定められた要因ではない要因による開口とを区別するために使用される判定条件である。
図１６は、開口区別判定条件の一例を示す概略図である。
実施の形態３では、開口区別判定条件は、開口速度評価値が予め定められた閾値（例えば、２０）未満である場合には、予め定められた要因による開口と判定し、その開口速度評価値が予め定められた閾値以上である場合には、予め定められた要因ではない要因による開口であると判定する条件と、顔表情特徴比較結果に応じて、予め定められた要因による開口か、予め定められた要因ではない要因による開口かを判定する条件とになっている。実施の形態３でも、予め定められた要因は、人物の表情が、笑顔又は怒った顔であることである。

図１１に戻り、処理部３３０は、欠伸判定装置３００での処理を実行する。
図１７は、実施の形態３における処理部３３０の構成を概略的に示すブロック図である。
処理部３３０は、入力部１３１と、顔領域抽出部１３２と、顔特徴点抽出部１３３と、顔特徴点記憶部１３４と、顔特徴量算出部１３５と、顔特徴量記憶部１３６と、開口度特定部１３７と、開口度記憶部１３８と、開口継続度算出部１３９と、開口継続度記憶部１４０と、判定処理部３４１と、欠伸判定結果記憶部１４６と、出力部１４７とを備える。

判定処理部３４１は、開口速度評価値算出部１４２と、開口速度評価値記憶部１４３と、欠伸判定部３４４と、一時記憶部１４５と、顔表情特徴比較部２４８と、顔表情特徴比較結果記憶部２４９とを備える。

実施の形態３における処理部３３０の入力部１３１、顔領域抽出部１３２、顔特徴点抽出部１３３、顔特徴点記憶部１３４、顔特徴量算出部１３５、顔特徴量記憶部１３６、開口度特定部１３７、開口度記憶部１３８、開口継続度算出部１３９、開口継続度記憶部１４０、一時記憶部１４５、欠伸判定結果記憶部１４６及び出力部１４７は、実施の形態１における処理部１３０の入力部１３１、顔領域抽出部１３２、顔特徴点抽出部１３３、顔特徴点記憶部１３４、顔特徴量算出部１３５、顔特徴量記憶部１３６、開口度特定部１３７、開口度記憶部１３８、開口継続度算出部１３９、開口継続度記憶部１４０、一時記憶部１４５、欠伸判定結果記憶部１４６及び出力部１４７と同様である。

また、実施の形態３における処理部３３０の顔表情特徴比較部２４８及び顔表情特徴比較結果記憶部２４９は、実施の形態２における処理部２３０の顔表情特徴比較部２４８及び顔表情特徴比較結果記憶部２４９と同様である。

実施の形態３でも、判定処理部３４１は、フレーム内の人物が予め定められた要因による開口を行っているか否かを判定する。
但し、実施の形態３では、判定処理部３４１は、その人物が会話を行っている場合、又は、その人物の表情が欠伸とは異なる予め定められた表情である場合に、予め定められた要因による開口を行っていると判定する。
実施の形態３における判定処理部３４１での処理は、開口速度評価値算出部１４２、開口速度評価値記憶部１４３、欠伸判定部３４４、一時記憶部１４５、顔表情特徴比較部２４８及び顔表情特徴比較結果記憶部２４９により実現される。以下説明する。

欠伸判定部３４４は、開口継続度記憶部１４０に記憶されている開口継続度と、開口速度評価値記憶部１４３に記憶されている開口速度と、顔表情特徴比較結果記憶部２４９に記憶されている比較結果とを用いて、予め定められた要因による開口と、予め定められた要因ではない要因による開口とを区別し、欠伸を判定する。

具体的には、欠伸判定部３４４は、開口速度評価値記憶部１４３に記憶されている開口速度評価値が欠伸判定条件モデル１２１に含まれている開口区別判定条件において、開口速度評価値が予め定められた閾値（例えば、２０）未満である場合には、予め定められた要因による開口と判定する。

また、欠伸判定部３４４は、顔表情特徴比較結果記憶部２４９に記憶されている比較結果が「笑顔による開口」又は「驚きによる開口」である場合には、予め定められた要因による開口であると判定し、その比較結果が「開口」である場合には、予め定められた要因ではない要因による開口と判定する。

次に、欠伸判定部３４４は、予め定められた要因による開口と判定した場合には、無効値を欠伸開口継続値とし、予め定められた要因ではない要因による開口と判定した場合には、そのフレームの開口継続度を欠伸開口継続度として、そのフレームを識別するための識別情報であるフレーム識別番号に対応付けて、一時記憶部１４５に記憶する。
そして、欠伸判定部３４４は、欠伸判定条件モデル３２１に含まれている欠伸判定条件が満たされている場合に、欠伸と判定する。
ここでは、欠伸判定部３４４は、過去の予め定められた数のフレーム（例えば、１００フレーム）の内、欠伸開口継続度が予め定められた値（例えば、４０）以上となっているフレームの数が予め定められた数（例えば、２０）以上のときに、欠伸と判定する。

図１８は、実施の形態３における欠伸判定部３４４での処理を示すフローチャートである。
まず、欠伸判定部３４４は、開口継続度記憶部１４０に記憶されている開口継続度と、開口速度評価値記憶部１４３に記憶されている開口速度評価値と、顔表情特徴比較結果記憶部２４９に記憶されている比較結果とを取得する（Ｓ３０）。

次に、欠伸判定部３４４は、取得された開口速度評価値が、開口区別判定条件における閾値ａ以上であるか否かを判定する（Ｓ３１）。開口速度評価値が閾値ａ未満である場合（Ｓ３１でＮｏ）には、処理はステップＳ３２に進み、開口速度評価値が閾値ａ以上である場合（Ｓ３１でＹｅｓ）には、処理はステップＳ３３に進む。

ステップＳ３２では、開口速度評価値が閾値ａ未満であり、動画像に映っている人物の開口が欠伸以外の会話であると考えられるため、欠伸判定部３４４は、開口継続度を予め定められた値である無効値（例えば、「－１」）とする。そして、処理はステップＳ３３に進む。

ステップＳ３３では、欠伸判定部３４４は、取得された比較結果が予め定められた要因による開口であるか否かを判定する。例えば、欠伸判定部３４４は、比較結果が「笑顔による開口」又は「驚きによる開口」である場合には、予め定められた要因による開口であると判定し、比較結果が「開口」である場合には、予め定められた要因ではない要因による開口であると判定する。予め定められた要因による開口である場合（Ｓ３３でＹｅｓ）には、処理はステップＳ３４に進み、予め定められた要因ではない要因による開口である場合（Ｓ３４でＮｏ）には、処理はステップＳ３５に進む。

ステップＳ３４では、欠伸判定部３４４は、開口継続度を予め定められた値である無効値（例えば、「－１」）とする。そして、処理はステップＳ３５に進む。

ステップＳ３５では、欠伸判定部３４４は、現フレームの開口継続度を、欠伸開口継続度として、そのフレーム番号とともに一時記憶部１４５に記憶させる。

次に、欠伸判定部３４４は、欠伸判定条件モデル３２１に含まれている欠伸判定条件を満たすか否かを判定する（Ｓ３６）。ここでは、欠伸判定部３４４は、過去の予め定められた数のフレーム（例えば、１００フレーム）の内、欠伸開口継続度が予め定められた値（例えば、４０）以上となっているフレームの数が予め定められた数（例えば、２０）以上のときに、欠伸と判定する。欠伸判定条件が満たされている場合（Ｓ３６でＹｅｓ）には、処理はステップＳ３７に進み、欠伸判定条件が満たされていない場合（Ｓ３６でＮｏ）には、処理はステップＳ３８に進む。

ステップＳ３７では、欠伸判定部３４４は、欠伸と判定し、その判定結果を欠伸判定結果記憶部１４６に記憶する。なお、欠伸判定部３４４は、欠伸は続けて発生しないと想定し、一度欠伸と判定したら一定フレーム（例えば、１００フレーム）は、欠伸と判定しない。
一方、ステップＳ３６では、欠伸判定部３４４は、欠伸ではないと判定し、その判定結果を欠伸判定結果記憶部１４６に記憶する。

以上のように、実施の形態３によれば、動画像に映っている人物が会話している状態、笑顔である状態、及び、驚いている状態では、欠伸と判定しないため、人物の口が開いている状態から、精度よく欠伸を検出することができる。

以上に記載された実施の形態１～３では、欠伸判定装置１００、２００、３００が、撮像部１１０、データベース部１２０、処理部１３０、２３０、３３０及び表示部１５０の全てを備えているが、実施の形態１～３は、このような例に限定されない。例えば、撮像部１１０、データベース部１２０及び表示部１５０の少なくとも一つは、欠伸判定装置１００、２００、３００とネットワークで接続された別の装置であってもよい。

１００，２００，３００ 欠伸判定装置、 １１０ 撮像部、 １２０，２２０，３２０ データベース部、 １２１，２２１，３２１ 欠伸判定条件モデル、 ２２２ 顔表情特徴モデル、 １３０，２３０，３３０ 処理部、 １３１ 入力部、 １３２ 顔領域抽出部、 １３３ 顔特徴点抽出部、 １３４ 顔特徴点記憶部、 １３５ 顔特徴量算出部、 １３６ 顔特徴量記憶部、 １３７ 開口度特定部、 １３８ 開口度記憶部、 １３９ 開口継続度算出部、 １４０ 開口継続度記憶部、 １４１，２４１，３４１ 判定処理部、 １４２ 開口速度評価値算出部、 １４３ 開口速度評価値記憶部、 １４４，２４４，３４４ 欠伸判定部、 １４５ 一時記憶部、 １４６ 欠伸判定結果記憶部、 １４７ 出力部、 ２４８ 顔表情特徴比較部、 ２４９ 顔表情特徴比較結果記憶部、 １５０ 表示部。

Claims (14)

1. 動画像に含まれている複数のフレームの各々から、人物の顔の領域である顔領域を抽出する顔領域抽出部と、
   前記顔領域から、予め定められた複数の特徴点を抽出する顔特徴点抽出部と、
   前記複数の特徴点から、前記顔の特徴を示す顔特徴量を算出する顔特徴量算出部と、
   前記顔特徴量から、前記顔において口が開いている度合いである開口度を特定する開口度特定部と、
   前記複数のフレームから特定された複数の前記開口度により、前記口が継続して開いている度合いである開口継続度を算出する開口継続度算出部と、
   前記人物が欠伸以外の予め定められた要因による開口を行っているか否かを判定し、前記予め定められた要因による開口を行っていると判定されたフレームに、予め定められた第１の閾値よりも低い値を欠伸開口継続度として対応付け、前記予め定められた要因による開口を行っていないと判定されたフレームに、前記開口継続度を欠伸開口継続度として対応付け、最新のフレームを含む予め定められた数の連続したフレームの内、前記第１の閾値以上となっている欠伸開口継続度が対応付けられているフレームの数が、予め定められた第２の閾値以上の場合に、前記人物が欠伸をしたと判定する判定処理部と、を備えること
   を特徴とする情報処理装置。
2. 前記判定処理部は、前記人物が会話を行っている場合に、前記予め定められた要因による開口を行っていると判定すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記判定処理部は、前記口が開く速度である開口速度が予め定められた第３の閾値未満の場合に、前記人物が会話を行っていると判定すること
   を特徴とする請求項２に記載の情報処理装置。
4. 前記判定処理部は、
   前記開口継続度から、前記開口速度が速くなるほど大きくなる値である開口速度評価値を算出する開口速度評価値算出部と、
   前記開口速度評価値が予め定められた第４の閾値未満である場合に、前記開口速度が前記第３の閾値未満であると判定する欠伸判定部と、を備えること
   を特徴とする請求項３に記載の情報処理装置。
5. 前記判定処理部は、前記人物の表情が欠伸とは異なる予め定められた表情である場合に、前記予め定められた要因による開口を行っていると判定すること
   を特徴とする請求項１に記載の情報処理装置。
6. 前記判定処理部は、
   前記顔特徴量から、前記人物の表情が前記予め定められた表情であるか否かを判定する顔表情判定部と、
   前記顔表情判定部での判定結果が、前記人物の表情が前記予め定められた表情である場合に、前記予め定められた要因による開口を行っていると判定し、前記顔表情判定部での判定結果が、前記人物の表情が前記予め定められた表情ではない場合に、前記予め定められた要因による開口を行っていないと判定する欠伸判定部と、を備えること
   を特徴とする請求項５に記載の情報処理装置。
7. 前記予め定められた表情は、笑顔又は驚いた顔であること
   を特徴とする請求項５又は６に記載の情報処理装置。
8. 前記判定処理部は、前記人物が会話を行っている場合、又は、前記人物の表情が欠伸とは異なる予め定められた表情である場合に、前記予め定められた要因による開口を行っていると判定すること
   を特徴とする請求項１に記載の情報処理装置。
9. 前記判定処理部は、前記口が開く速度である開口速度が予め定められた第３の閾値未満の場合に、前記人物が会話を行っていると判定すること
   を特徴とする請求項８に記載の情報処理装置。
10. 前記判定処理部は、
    前記開口継続度から、前記開口速度が速くなるほど大きくなる値である開口速度評価値を算出する開口速度評価値算出部と、
    前記開口速度評価値が予め定められた第４の閾値未満である場合に、前記開口速度が前記第３の閾値未満であると判定する欠伸判定部と、を備えること
    を特徴とする請求項９に記載の情報処理装置。
11. 前記判定処理部は、
    前記顔特徴量から、前記人物の表情が前記予め定められた表情であるか否かを判定する顔表情判定部と、
    前記顔表情判定部での判定結果が、前記人物の表情が前記予め定められた表情である場合に、前記予め定められた要因による開口を行っている判定し、前記顔表情判定部での判定結果が、前記人物の表情が前記予め定められた表情ではない場合に、前記予め定められた要因による開口を行っていないと判定する欠伸判定部と、を備えること
    を特徴とする請求項８に記載の情報処理装置。
12. 前記予め定められた表情は、笑顔又は驚いた顔であること
    を特徴とする請求項１１に記載の情報処理装置。
13. コンピュータを、
    動画像に含まれている複数のフレームの各々から、人物の顔の領域である顔領域を抽出する顔領域抽出部、
    前記顔領域から、予め定められた複数の特徴点を抽出する顔特徴点抽出部、
    前記複数の特徴点から、前記顔の特徴を示す顔特徴量を算出する顔特徴量算出部、
    前記顔特徴量から、前記顔において口が開いている度合いである開口度を特定する開口度特定部、
    前記複数のフレームから特定された複数の前記開口度により、前記口が継続して開いている度合いである開口継続度を算出する開口継続度算出部、及び、
    前記人物が欠伸以外の予め定められた要因による開口を行っているか否かを判定し、前記予め定められた要因による開口を行っていると判定されたフレームに、予め定められた第１の閾値よりも低い値を欠伸開口継続度として対応付け、前記予め定められた要因による開口を行っていないと判定されたフレームに、前記開口継続度を欠伸開口継続度として対応付け、最新のフレームを含む予め定められた数の連続したフレームの内、前記第１の閾値以上となっている欠伸開口継続度が対応付けられているフレームの数が、予め定められた第２の閾値以上の場合に、前記人物が欠伸をしたと判定する判定処理部、として機能させること
    を特徴とするプログラム。
14. 動画像に含まれている複数のフレームの各々から、人物の顔の領域である顔領域を抽出し、
    前記顔領域から、予め定められた複数の特徴点を抽出し、
    前記複数の特徴点から、前記顔の特徴を示す顔特徴量を算出し、
    前記顔特徴量から、前記顔において口が開いている度合いである開口度を特定し、
    前記複数のフレームから特定された複数の前記開口度により、前記口が継続して開いている度合いである開口継続度を算出し、
    前記人物が欠伸以外の予め定められた要因による開口を行っているか否かを判定し、前記予め定められた要因による開口を行っていると判定されたフレームに、予め定められた第１の閾値よりも低い値を欠伸開口継続度として対応付け、
    前記予め定められた要因による開口を行っていないと判定されたフレームに、前記開口継続度を欠伸開口継続度として対応付け、
    最新のフレームを含む予め定められた数の連続したフレームの内、前記第１の閾値以上となっている欠伸開口継続度が対応付けられているフレームの数が、予め定められた第２の閾値以上の場合に、前記人物が欠伸をしたと判定すること
    を特徴とする情報処理方法。

Images