JP7020264B2 - 動作判定プログラム、動作判定装置及び動作判定方法 - Google Patents

Description

本発明は、動作判定プログラム、動作判定装置及び動作判定方法に関する。

従来より、撮影された画像データに基づき、被写体の頭部の垂直方向の移動に対応付けられる所定の動作（例えば、うなずき動作）の有無を判定する判定技術が知られている。例えば、下記特許文献には、撮影された画像データに基づき被写体の頭部の上下方向の移動量を算出して、当該被写体のうなずき動作の有無を判定する方法が開示されている。

特開２００７－０９７６６８号公報

しかしながら、頭部の上下方向の移動量に基づきうなずき動作の有無を判定する方法の場合、例えば、被写体における首をひねる動作等のうなずき動作以外の動作を、うなずき動作と誤判定してしまう可能性がある。

一つの側面では、頭部の垂直方向の移動に対応付けられる所定の動作の判定精度を向上させることを目的としている。

一態様によれば、動作判定プログラムは、
被写体の頭部の向きを特定し、
所定の時間範囲における前記被写体の頭部の位置の垂直方向の軌跡と、水平方向の軌跡とを算出し、
算出した前記垂直方向の軌跡と前記水平方向の軌跡とが、特定した前記頭部の向きに応じた判定条件を満たす場合に、前記被写体においてうなずき動作があったと判定する、処理をコンピュータに実行させる。

頭部の垂直方向の移動に対応付けられる所定の動作の判定精度を向上させることができる。

うなずき動作判定システムのシステム構成の一例を示す図である。 動作判定装置のハードウェア構成の一例を示す図である。 頭部情報の具体例を示す図である。 軌跡情報の具体例を示す図である。 動作判定装置の機能構成の一例を示す図である。 第１の実施形態に係る動作判定装置による動作判定処理の流れを示すフローチャートである。 頭部位置推定処理の詳細を示す図である。 頭部軌跡算出処理の詳細を示す図である。 頭部向き推定処理の詳細を示す図である。 判定処理の詳細を示す第１の図である。 第２の実施形態に係る動作判定装置による動作判定処理の流れを示すフローチャートである。 判定情報算出処理の流れを示す第１のフローチャートである。 判定処理の詳細を示す第２の図である。 判定情報算出処理の流れを示す第２のフローチャートである。 うなずき動作判定システムの第１の適用例を示す図である。 うなずき動作判定システムの第２の適用例を示す図である。 うなずき動作判定システムの第３の適用例を示す図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜うなずき動作判定システムのシステム構成＞
はじめに、被写体における頭部の垂直方向の移動に対応付けられる所定の動作の一例である“うなずき動作”を判定するうなずき動作判定システムのシステム構成について説明する。図１は、うなずき動作判定システムのシステム構成の一例を示す図である。図１に示すように、うなずき動作判定システム１００は、撮像装置１１０と、動作判定装置１２０とを有し、両者は、通信可能に接続される。

撮像装置１１０は、被写体１６０を撮影し、撮影した画像データを動作判定装置１２０に送信する。

動作判定装置１２０には、動作判定プログラムがインストールされており、当該プログラムが実行されることで、動作判定装置１２０は、動作判定部１３０として機能する。

動作判定部１３０は、画像データに基づいて被写体１６０の頭部の位置を算出し、所定の時間範囲における被写体１６０の頭部の位置の軌跡を、垂直方向と水平方向とに分けて算出する。

また、動作判定部１３０は、被写体１６０の頭部の位置の垂直方向の軌跡と水平方向の軌跡とを算出した場合に、頭部情報格納部１４０に格納された頭部情報（頭部の向きを特定する際に用いる情報）に基づいて、被写体１６０の頭部の向きを特定する。

また、動作判定部１３０は、特定した被写体１６０の頭部の向きに応じて、軌跡情報格納部１５０より、垂直方向及び水平方向の判定情報（うなずき動作の有無の判定に用いる情報）を読み出す。更に、動作判定部１３０は、読み出した垂直方向及び水平方向の判定情報と、算出した被写体１６０の頭部の位置の垂直方向及び水平方向の軌跡とを対比することで、被写体１６０におけるうなずき動作の有無を判定する。

このように、動作判定部１３０では、被写体１６０におけるうなずき動作の有無を判定するにあたり、被写体１６０の頭部の位置の垂直方向の軌跡と水平方向の軌跡とを用いる。また、動作判定部１３０では、被写体１６０の頭部の向きに応じて判定情報を切り替える。

これにより、動作判定部１３０によれば、被写体における首をひねる動作と、頭部の向きが異なる被写体におけるうなずき動作とを明確に区別することが可能となり、うなずき動作以外の動作をうなずき動作と誤判定してしまう可能性を低減させることができる。この結果、被写体の頭部の上下方向の移動量に基づきうなずき動作の有無を判定する方法と比較して、うなずき動作の判定精度を向上させることができる。

＜動作判定装置のハードウェア構成＞
次に、動作判定装置１２０のハードウェア構成について説明する。図２は、動作判定装置のハードウェア構成の一例を示す図である。図２に示すように、動作判定装置１２０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。

また、動作判定装置１２０は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、動作判定装置１２０の各ハードウェアは、バス２０９を介して相互に接続されている。

ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、動作判定プログラム等）を実行する演算デバイスである。

ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、頭部情報格納部１４０、軌跡情報格納部１５０は、補助記憶装置２０４において実現される。

表示装置２０５は、動作判定装置１２０の内部状態を表示する表示デバイスである。操作装置２０６は、動作判定装置１２０の管理者が動作判定装置１２０に対して各種指示を入力するための入力デバイスである。

Ｉ／Ｆ装置２０７は、撮像装置１１０と接続され、撮像装置１１０と動作判定装置１２０との間で画像データの送受信を行う接続デバイスである。

ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、ネットワークよりダウンロードされることでインストールされてもよい。

＜頭部情報の具体例＞
次に、頭部情報格納部１４０に格納される頭部情報の具体例について説明する。図３は、頭部情報の具体例を示す図である。このうち、図３（ａ）は、頭部情報３１０において被写体の頭部の向きを規定するための座標を示している。

図３（ａ）に示すように、第１の実施形態では、撮像装置１１０の撮像方向に対して、被写体１６０が正面を向いている状態において、被写体１６０の正面方向を、ｘ軸方向とする。また、撮像装置１１０の撮像方向に対して、被写体１６０が正面を向いている状態において、被写体１６０の左手の方向をｙ軸方向、被写体１６０の上方向をｚ軸方向とする。

また、第１の実施形態では、被写体１６０の頭部のｘ軸周りの回転角度をθ_ｘ、ｙ軸周りの回転角度をθ_ｙ、ｚ軸周りの回転角度をθ_ｚとする。

図３（ｂ）は、頭部情報格納部１４０に格納される頭部情報３１０の具体例を示している。図３（ｂ）に示すように、頭部情報３１０には、情報の項目として、“頭部の向き（画像）”、“頭部の向き（回転角度）”が含まれる。

“頭部の向き（画像）”には、頭部の向きの異なる画像が格納される。なお、“頭部の向き（画像）”には、被写体１６０本人の頭部の向きの異なる画像が格納されてもよいし、被写体１６０以外の被写体の頭部の向きの異なる画像が格納されてもよい。

“頭部の向き（回転角度）”には、“頭部の向き（画像）”に格納された画像における、被写体の頭部のｘ軸周りの回転角度θ_ｘ、ｙ軸周りの回転角度θ_ｙ、ｚ軸周りの回転角度θ_ｚがそれぞれ格納される。

図３（ｂ）の例は、画像３１１における被写体の頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝０°であることを示している。また、図３（ｂ）の例は、画像３１２における被写体の頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝４５°であることを示している。更に、図３（ｂ）の例は、画像３１３における被写体の頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝９０°であることを示している。

なお、図３（ｂ）の例は、被写体の頭部の向き（回転角度）の種類として、３種類の向きを示したが、被写体の頭部の向き（回転角度）の種類は、３種類に限定されるものではない。

＜軌跡情報の具体例＞
次に、軌跡情報格納部１５０に格納される軌跡情報の具体例について説明する。図４は、軌跡情報の具体例を示す図である。図４に示すように、軌跡情報４００には、情報の項目として、“垂直方向の座標（ｚ座標）”、“水平方向の座標（ｙ座標）”が含まれる。

“垂直方向の座標（ｚ座標）”、“水平方向の座標（ｙ座標）”それぞれには、更に、“うなずき動作の軌跡”と“上限値、下限値”とが含まれる。

“垂直方向の座標（ｚ座標）”の“うなずき動作の軌跡”には、被写体が所定の時間範囲においてうなずき動作を行った際の、当該被写体の頭部の位置の垂直方向の軌跡（頭部の位置を示すｚ座標の時間変化）が格納される。なお、“うなずき動作の軌跡”には、被写体１６０本人の過去のうなずき動作の軌跡が格納されてもよいし、被写体１６０以外の被写体の過去のうなずき動作の軌跡が格納されてもよい。

“垂直方向の座標（ｚ座標）”の“うなずき動作の軌跡”には、被写体の頭部の位置の垂直方向の軌跡が“頭部の向き（画像、回転角度）”ごとにわけて格納される。図４の例では、被写体の頭部の位置の垂直方向の軌跡が、
・頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝０°である場合、
・頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝４５°である場合、
・頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝９０°である場合、
にわけて格納されたことを示している。

“垂直方向の座標（ｚ座標）”の“上限値、下限値”には、対応する“うなずき動作の軌跡”に格納された被写体の頭部の位置の垂直方向の軌跡の最小値がとりうる上限値及び下限値が格納される。

最小値がとりうる上限値及び下限値は、“うなずき動作の軌跡”に格納された複数の軌跡それぞれの最小値を統計的に処理することで算出されるものとする。なお、上限値及び下限値は、“頭部の向き（画像、回転角度）”ごとにわけて格納された、複数の被写体の頭部の位置の垂直方向の軌跡に基づいて、“頭部の向き（画像、回転角度）”ごとに決定される。図４の例は、
・頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝０°である場合、上限値＝ｚ_ｕ１、下限値＝ｚ_ｌ１、
・頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝４５°である場合、上限値＝ｚ_ｕ２、下限値＝ｚ_ｌ２、
・頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝９０°である場合、上限値＝ｚ_ｕ３、下限値＝ｚ_ｌ３、
に決定されたことを示している。なお、図４では、紙面の都合上、“頭部の向き（画像、回転角度）”ごとに、被写体の頭部の位置の垂直方向の軌跡が１つずつ格納されている様子を示したが、実際には、複数の軌跡が格納されているものとする。

同様に、“水平方向の座標（ｙ座標）”の“うなずき動作の軌跡”には、被写体が所定の時間範囲においてうなずき動作を行った際の、当該被写体の頭部の位置の水平方向の軌跡（頭部の位置を示すｙ座標の時間変化）が格納される。なお、“垂直方向の座標（ｚ座標）”の場合と同様、“水平方向の座標（ｙ座標）”の“うなずき動作の軌跡”には、被写体の頭部の位置の水平方向の軌跡が“頭部の向き（画像、回転角度）”ごとにわけて格納される。

また、“水平方向の座標（ｙ座標）”の“上限値、下限値”には、対応する“うなずき動作の軌跡”に格納された被写体の頭部の位置の水平方向の軌跡の最小値がとりうる上限値及び下限値が格納される。上限値及び下限値は、“頭部の向き（画像、回転角度）”ごとに複数の被写体の頭部の位置の水平方向の軌跡に基づいて、“頭部の向き（画像、回転角度）”ごとに決定される。図４の例は、
・頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝０°である場合、上限値＝ｙ_ｕ１、下限値＝ｙ_ｌ１、
・頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝４５°である場合、上限値＝ｙ_ｕ２、下限値＝ｙ_ｌ２、
・頭部の向きが、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝９０°である場合、上限値＝ｙ_ｕ３、下限値＝ｙ_ｌ３、
に決定されたことを示している。

＜動作判定装置の機能構成＞
次に、動作判定装置１２０の動作判定部１３０の機能構成について説明する。図５は、動作判定装置の機能構成の一例を示す図である。図５に示すように、動作判定部１３０は、頭部位置推定部４１０、軌跡算出部４２０、頭部向き推定部４３０、うなずき軌跡取得部４４０、判定部４５０を有する。

頭部位置推定部４１０は、撮像装置１１０より画像データを受信し、受信した画像データに基づいて被写体１６０の頭部の位置（ｙ座標、ｚ座標）を算出する。また、頭部位置推定部４１０は、算出した被写体１６０の頭部の位置（ｙ座標、ｚ座標）を軌跡算出部４２０に通知する。

軌跡算出部４２０は算出部の一例である。軌跡算出部４２０は、頭部位置推定部４１０より通知された、被写体１６０の頭部の位置（ｙ座標、ｚ座標）に基づいて、所定の時間範囲における被写体１６０の動作（垂直方向、水平方向）が、所定の動作条件を満たすか否かを判定する。軌跡算出部４２０は、所定の時間範囲における被写体１６０の動作（垂直方向、水平方向）が、所定の動作条件を満たすと判定した場合、所定の時間範囲における被写体１６０の頭部の位置の垂直方向の軌跡及び水平方向の軌跡を算出し、判定部４５０に通知する。

頭部向き推定部４３０は特定部の一例である。頭部向き推定部４３０は、撮像装置１１０より画像データを受信する。また、頭部向き推定部４３０は、軌跡算出部４２０により、所定の時間範囲における被写体１６０の頭部の位置の垂直方向の軌跡及び水平方向の軌跡が判定部４５０に通知された場合、対応する画像データに基づいて被写体１６０の頭部の向きを特定する。

頭部向き推定部４３０では、頭部情報格納部１４０の頭部情報３１０において、“頭部の向き（画像）”に格納された画像（例えば、画像３１１～３１３）との相関値を算出することで、被写体１６０の頭部の向きを特定する。また、頭部向き推定部４３０では、特定した被写体１６０の頭部の向きを、うなずき軌跡取得部４４０に通知する。

うなずき軌跡取得部４４０は、頭部向き推定部４３０より、被写体１６０の頭部の向きが通知されると、軌跡情報格納部１５０の軌跡情報４００を参照し、被写体１６０の頭部の向きに応じた垂直方向の上限値及び下限値、水平方向の上限値及び下限値を読み出す。

また、うなずき軌跡取得部４４０は、読み出した垂直方向の上限値及び下限値、水平方向の上限値及び下限値を、判定情報（垂直方向、水平方向）として判定部４５０に通知する。

判定部４５０は、軌跡算出部４２０より通知された、所定の時間範囲における被写体１６０の頭部の位置の垂直方向の軌跡及び水平方向の軌跡と、うなずき軌跡取得部４４０より通知された判定情報（垂直方向、水平方向）とを対比する。

対比の結果、所定の時間範囲における被写体１６０の頭部の位置の垂直方向の軌跡及び水平方向の軌跡が、いずれも、所定の判定条件を満たす場合、判定部４５０は、被写体１６０においてうなずき動作があったと判定する。この場合、判定部４５０は、被写体１６０においてうなずき動作があった旨の判定結果を出力する。

＜動作判定装置による動作判定処理の流れ＞
次に、動作判定装置１２０による動作判定処理の流れについて説明する。図６は、第１の実施形態に係る動作判定装置による動作判定処理の流れを示すフローチャートである。撮像装置１１０による被写体１６０の撮影が開始されると、動作判定部１３０が起動し、図６に示す動作判定処理が実行される。

ステップＳ６０１において、頭部位置推定部４１０は、撮像装置１１０より送信された画像データを受信する。また、頭部向き推定部４３０は、撮像装置１１０より送信された画像データを受信する。

ステップＳ６０２において、頭部位置推定部４１０は、受信した画像データに基づいて被写体１６０の頭部の位置を算出する「頭部位置推定処理」を実行する。なお、頭部位置推定処理（ステップＳ６０２）の詳細は後述する。

ステップＳ６０３において、軌跡算出部４２０は、被写体１６０の頭部の位置に基づいて、所定の時間範囲における被写体１６０の頭部の位置の垂直方向の軌跡及び水平方向の軌跡を算出する「頭部軌跡算出処理」を実行する。なお、頭部軌跡算出処理（ステップＳ６０３）の詳細は後述する。

ステップＳ６０４において、頭部向き推定部４３０は、軌跡算出部４２０により、所定の時間範囲における被写体１６０の頭部の位置の垂直方向の軌跡及び水平方向の軌跡が判定部４５０に通知されたか否かを判定する。ステップＳ６０４において、通知されていないと判定された場合には（ステップＳ６０４においてＮｏの場合には）、ステップＳ６０１に戻る。

一方、ステップＳ６０４において、通知されたと判定された場合には（ステップＳ６０４においてＹｅｓの場合には）、ステップＳ６０５に進む。

ステップＳ６０５において、頭部向き推定部４３０は、受信した画像データに基づいて被写体１６０の頭部の向きを特定する「頭部向き推定処理」を実行する。なお、頭部向き推定処理（ステップＳ６０５）の詳細は、後述する。

ステップＳ６０６において、うなずき軌跡取得部４４０は、被写体１６０の頭部の向きに応じた垂直方向の上限値及び下限値、水平方向の上限値及び下限値を、判定情報（垂直方向、水平方向）として判定部４５０に通知する。

ステップＳ６０７において、判定部４５０は、所定の時間範囲における被写体１６０の頭部の位置の垂直方向の軌跡及び水平方向の軌跡と、判定情報（垂直方向、水平方向）とを対比することで、うなずき動作の有無を判定する「判定処理」を実行する。なお、判定処理（ステップＳ６０７）の詳細は、後述する。

ステップＳ６０８において、頭部位置推定部４１０は、動作判定処理を終了するか否かを判定する。ステップＳ６０８において、動作判定処理を継続すると判定した場合には（ステップＳ６０８においてＮｏの場合には）、ステップＳ６０１に戻る。

一方、ステップＳ６０８において、動作判定処理を終了すると判定した場合には（ステップＳ６０８においてＹｅｓの場合には）、動作判定処理を終了する。

＜動作判定処理の各ステップの詳細＞
次に、動作判定処理の各ステップ（ステップＳ６０２、Ｓ６０３、Ｓ６０５、Ｓ６０７）の詳細について説明する。

（１）頭部位置推定処理（ステップＳ６０２）の詳細
はじめに、頭部位置推定処理（ステップＳ６０２）の詳細について説明する。図７は、頭部位置推定処理の詳細を示す図である。このうち、図７（ａ）は、頭部位置推定処理の流れを示すフローチャートであり、図７（ｂ）は、頭部位置推定処理の具体例を示す図である。以下、図７（ｂ）を参照しながら、図７（ａ）のフローチャートに沿って頭部位置推定処理の詳細について説明する。

ステップＳ７０１において、頭部位置推定部４１０は、時刻ｔ_１において受信した画像データ７１０に含まれる被写体１６０の頭部の領域７１１を検出する。

ステップＳ７０２において、頭部位置推定部４１０は、検出した領域７１１の中心位置を特定する。

ステップＳ７０３において、頭部位置推定部４１０は、特定した中心位置の座標（ｙ座標＝ｙ_ｔ１、ｚ座標＝ｚ_ｔ１）を算出する。

ステップＳ７０４において、頭部位置推定部４１０は、ステップＳ７０３において算出した座標を、時刻ｔ_１における被写体１６０の頭部の位置（ｙ座標、ｚ座標）として、軌跡算出部４２０に通知する。

（２）頭部軌跡算出処理（ステップＳ６０３）の詳細
次に、頭部軌跡算出処理（ステップＳ６０３）の詳細について説明する。図８は、頭部軌跡算出処理の詳細を示す図である。このうち、図８（ａ）は、頭部軌跡算出処理の流れを示すフローチャートであり、図８（ｂ）は、頭部軌跡算出処理の具体例を示す図である。以下、図８（ｂ）を参照しながら、図８（ａ）のフローチャートに沿って頭部軌跡算出処理の詳細について説明する。

ステップＳ８０１において、軌跡算出部４２０は、頭部位置推定部４１０から通知される、被写体１６０の頭部の位置（ｙ座標、ｚ座標）のうち、所定の時間範囲Ｔにおける被写体１６０の頭部の垂直方向の座標（ｚ座標）を取得する。

ステップＳ８０２において、軌跡算出部４２０は、取得した垂直方向の座標（ｚ座標）の最小値を算出する。

ステップＳ８０３において、軌跡算出部４２０は、最小値となる時刻Ｔ_０よりも前の時刻であって、取得した垂直方向の座標（ｚ座標）とその一時刻前の垂直方向の座標との差が、閾値（Ｔｈ_１）未満となる最も後の時刻Ｔ_１を検出し、開始時刻に設定する。

ステップＳ８０４において、軌跡算出部４２０は、最小値となる時刻Ｔ_０よりも後の時刻であって、取得した垂直方向の座標（ｚ座標）とその一時刻後の垂直方向の座標との差が、閾値（Ｔｈ_１）未満となる最も前の時刻Ｔ_２を検出し、終了時刻に設定する。

ステップＳ８０５において、軌跡算出部４２０は、開始時刻（＝Ｔ_１）から終了時刻（＝Ｔ_２）までの垂直方向の座標（ｚ座標）を、被写体１６０の頭部の位置の垂直方向の軌跡ｒ（ｔ）として、判定部４５０に通知する。

ステップＳ８０６において、軌跡算出部４２０は、開始時刻（＝Ｔ_１）から終了時刻（＝Ｔ_２）までの水平方向の座標（ｙ座標）を、被写体１６０の頭部の位置の水平方向の軌跡ｓ（ｔ）として、判定部４５０に通知する。

なお、軌跡算出部４２０では、ステップＳ８０３及びＳ８０４において、所定の時間範囲Ｔ内で開始時刻及び終了時刻が設定できなかった場合、所定の時間範囲Ｔにおける被写体１６０の動作（垂直方向、水平方向）が所定の動作条件を満たさないと判定する。この場合、軌跡算出部４２０では、判定部４５０に対して、所定の時間範囲Ｔにおける被写体１６０の頭部の位置の垂直方向の軌跡及び水平方向の軌跡を通知しない。

（３）頭部向き推定処理（ステップＳ６０５）の詳細
次に、頭部向き推定処理（ステップＳ６０５）の詳細について説明する。図９は、頭部向き推定処理の詳細を示す図である。このうち、図９（ａ）は、頭部向き推定処理の流れを示すフローチャートであり、図９（ｂ）は、頭部向き推定処理の具体例を示す図である。以下、図９（ｂ）を参照しながら、図９（ａ）のフローチャートに沿って頭部向き推定処理の詳細について説明する。

ステップＳ９０１において、頭部向き推定部４３０は、頭部情報格納部１４０に格納された頭部情報３１０を読み出す。

ステップＳ９０２において、頭部向き推定部４３０は、画像データ９１０に含まれる被写体１６０の頭部の領域９１１を検出する。

ステップＳ９０３において、頭部向き推定部４３０は、検出した頭部の領域９１１の画像と、読み出した頭部情報３１０において、“頭部の向き（画像）”に格納された画像（例えば、画像３１１～３１３）との相関値を算出する。

ここで、頭部向き推定部４３０が、時刻ｔ_２において画像データ９１０より検出した頭部の領域９１１の画像の各画素の輝度値をＦ（ｙ_ｔ２＋ｍ，ｚ_ｔ２＋ｎ）とおく。ただし、ｙ_ｔ２は、領域９１１の左下の頂点のｙ座標であり、ｚ_ｔ２は、領域９１１の左下の頂点のｚ座標である。また、ｍは、領域９１１の左下の頂点から見た場合のｙ軸方向の各位置までの画素数（領域９１１内の各位置までの画素数）を表しており、０～ｗの値をとる。また、ｎは領域９１１の左下の頂点から見た場合のｚ軸方向の各位置までの画素数（領域９１１内の各位置までの画素数）を表しており、０～ｈの値をとる。

また、頭部向き推定部４３０が読み出した頭部情報３１０のうち、頭部の向きθ_ｚにおける、画像３１１～３１３内の各画素の輝度値をＧ_θｚ（ｍ，ｎ）とおく。

この場合、頭部向き推定部４３０により算出される相関値は、下式（式１）により表すことができる。

ステップＳ９０４において、頭部向き推定部４３０は、ステップＳ９０３において算出した相関値のうち、最大の相関値を特定する。また、頭部向き推定部４３０は、特定した相関値に対応する“頭部の向き（回転角度）”を、被写体１６０の頭部の向きとして特定し、うなずき軌跡取得部４４０に通知する。

図９（ｂ）の例は、被写体１６０の頭部の向きとして、θ_ｘ＝０°、θ_ｙ＝０°、θ_ｚ＝４５°がうなずき軌跡取得部４４０に通知されたことを示している。

（４）判定処理（ステップＳ６０７）の詳細
次に、判定処理（ステップＳ６０７）の詳細について説明する。図１０は、判定処理の詳細を示す図である。このうち、図１０（ａ）は、判定処理の流れを示すフローチャートであり、図１０（ｂ）は、判定処理の具体例を示す図である。以下、図１０（ｂ）を参照しながら、図１０（ａ）のフローチャートに沿って判定処理の詳細について説明する。

ステップＳ１００１において、判定部４５０は、軌跡算出部４２０より通知された、所定の時間範囲Ｔにおける被写体１６０の頭部の位置の垂直方向の軌跡と、うなずき軌跡取得部４４０より通知された判定情報（垂直方向の上限値、下限値）とを対比する。

具体的には、判定部４５０は、軌跡算出部４２０より通知された、所定の時間範囲Ｔにおける被写体１６０の頭部の位置の垂直方向の軌跡ｒ（ｔ）のうち、開始時刻（＝Ｔ_１）における垂直方向の座標（ｚ座標）と、最小値との差分値ｚ_１を算出する。そして、判定部４５０は、算出した差分値ｚ_１が、判定条件を満たすか（うなずき軌跡取得部４４０より通知された垂直方向の下限値（ｚ_ｌ）以上であって、かつ、垂直方向の上限値（ｚ_ｕ）未満であるか）を判定する。

ステップＳ１００１において、差分値ｚ_１が、垂直方向の下限値（ｚ_ｌ）未満であるか、または、垂直方向の上限値（ｚ_ｕ）以上であると判定した場合には（ステップＳ１００１においてＮｏの場合には）、図６のステップＳ６０８に戻る。一方、差分値ｚ_１が、垂直方向の下限値（ｚ_ｌ）以上であって、かつ、垂直方向の上限値（ｚ_ｕ）未満であると判定した場合には（ステップＳ１００１においてＹｅｓの場合には）、ステップＳ１００２に進む。

ステップＳ１００２において、判定部４５０は、軌跡算出部４２０より通知された、所定の時間範囲Ｔにおける被写体１６０の頭部の位置の垂直方向の軌跡と、うなずき軌跡取得部４４０より通知された判定情報（垂直方向の上限値、下限値）とを対比する。

具体的には、判定部４５０は、軌跡算出部４２０より通知された、所定の時間範囲Ｔにおける被写体１６０の頭部の位置の垂直方向の軌跡ｒ（ｔ）のうち、終了時刻（＝Ｔ_２）における垂直方向の座標（ｚ座標）と、最小値との差分値ｚ_２を算出する。そして、判定部４５０は、算出した差分値ｚ_２が、判定条件を満たすか（うなずき軌跡取得部４４０より通知された垂直方向の下限値（ｚ_ｌ）以上であって、かつ、垂直方向の上限値（ｚ_ｕ）未満であるか）を判定する。

ステップＳ１００２において、差分値ｚ_２が、垂直方向の下限値（ｚ_ｌ）未満であるか、または、垂直方向の上限値（ｚ_ｕ）以上であると判定した場合には（ステップＳ１００２においてＮｏの場合には）、図６のステップＳ６０８に戻る。一方、差分値ｚ_２が、垂直方向の下限値（ｚ_ｌ）以上であって、かつ、垂直方向の上限値（ｚ_ｕ）未満であると判定した場合には（ステップＳ１００２においてＹｅｓの場合には）、ステップＳ１００３に進む。

ステップＳ１００３において、判定部４５０は、軌跡算出部４２０より通知された、所定の時間範囲Ｔにおける被写体１６０の頭部の位置の水平方向の軌跡と、うなずき軌跡取得部４４０より通知された判定情報（水平方向の上限値、下限値）とを対比する。

具体的には、判定部４５０は、軌跡算出部４２０より通知された、所定の時間範囲Ｔにおける被写体１６０の頭部の位置の水平方向の軌跡ｓ（ｔ）のうち、開始時刻（＝Ｔ_１）における水平方向の座標（ｙ座標）と、最小値との差分値ｙ_１を算出する。そして、判定部４５０は、算出した差分値ｙ_１が、判定条件を満たすか（うなずき軌跡取得部４４０より通知された水平方向の下限値（ｙ_ｌ）以上であって、かつ、水平方向の上限値（ｙ_ｕ）未満であるか）を判定する。

ステップＳ１００３において、差分値ｙ_１が、水平方向の下限値（ｙ_ｌ）未満であるか、または、水平方向の上限値（ｙ_ｕ）以上であると判定した場合には（ステップＳ１００３においてＮｏの場合には）、図６のステップＳ６０８に戻る。一方、差分値ｙ_１が、水平方向の下限値（ｙ_ｌ）以上であって、かつ、水平方向の上限値（ｙ_ｕ）未満であると判定した場合には（ステップＳ１００３においてＹｅｓの場合には）、ステップＳ１００４に進む。

ステップＳ１００４において、判定部４５０は、軌跡算出部４２０より通知された、所定の時間範囲Ｔにおける被写体１６０の頭部の位置の水平方向の軌跡と、うなずき軌跡取得部４４０より通知された判定情報（水平方向の上限値、下限値）とを対比する。

具体的には、判定部４５０は、軌跡算出部４２０より通知された、所定の時間範囲Ｔにおける被写体１６０の頭部の位置の水平方向の軌跡ｓ（ｔ）のうち、終了時刻（＝Ｔ_２）における水平方向の座標（ｙ座標）と、最小値との差分値ｙ_２を算出する。そして、判定部４５０は、算出した差分値ｙ_２が、判定条件を満たすか（うなずき軌跡取得部４４０より通知された水平方向の下限値（ｙ_ｌ）以上であって、かつ、水平方向の上限値（ｙ_ｕ）未満であるか）を判定する。

ステップＳ１００４において、差分値ｙ_２が、水平方向の下限値（ｙ_ｌ）未満であるか、または、水平方向の上限値（ｙ_ｕ）以上であると判定した場合には（ステップＳ１００４においてＮｏの場合には）、図６のステップＳ６０８に戻る。一方、差分値ｙ_２が、水平方向の下限値（ｙ_ｌ）以上であって、かつ、水平方向の上限値（ｙ_ｕ）未満であると判定した場合には（ステップＳ１００４においてＹｅｓの場合には）、ステップＳ１００５に進む。

ステップＳ１００５において、判定部４５０は、被写体１６０においてうなずき動作があったと判定し、被写体１６０においてうなずき動作があった旨の判定結果を出力する。つまり、被写体１６０の頭部の位置の垂直方向の変化量及び水平方向の変化量が、いずれも判定条件を満たす場合に、判定部４５０は、被写体１６０においてうなずき動作があったと判定し、被写体１６０においてうなずき動作があった旨の判定結果を出力する。

以上の説明から明らかなように、第１の実施形態に係る動作判定装置１２０は、被写体におけるうなずき動作の有無を判定するにあたり、被写体の頭部の位置の垂直方向の軌跡と水平方向の軌跡とを用いる。また、第１の実施形態に係る動作判定装置１２０は、被写体におけるうなずき動作の有無を判定するにあたり、被写体の頭部の向きを特定し、特定した向きに応じて判定情報を切り替える。

これにより、第１の実施形態に係る動作判定装置１２０によれば、被写体の頭部の上下方向の移動量に基づきうなずき動作の有無を判定する方法と比較して、うなずき動作の判定精度を向上させることができる。

［第２の実施形態］
上記第１の実施形態では、軌跡情報格納部１５０が、軌跡情報４００として、判定情報（垂直方向及び水平方向の上限値及び下限値）を予め格納しておくものとして説明した。また、上記第１の実施形態では、うなずき軌跡取得部４４０が、判定情報（垂直方向及び水平方向の上限値及び下限値）を、軌跡情報格納部１５０の軌跡情報４００から読み出すものとして説明した。

これに対して、第２の実施形態では、軌跡情報格納部１５０の軌跡情報４００に判定情報（垂直方向及び水平方向の上限値及び下限値）を格納しておく代わりに、うなずき軌跡取得部４４０が、被写体が変わるごとに、それぞれの被写体に適した判定情報を算出する。これにより、動作判定部１３０では、うなずき動作の判定精度を更に向上させることができる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

＜動作判定装置による動作判定処理の流れ＞
はじめに、第２の実施形態に係る動作判定装置１２０による動作判定処理の流れについて説明する。図１１は、第２の実施形態に係る動作判定装置による動作判定処理の流れを示すフローチャートである。上記第１の実施形態において、図６を用いて説明したフローチャートとの相違点は、ステップＳ１１０１である。

ステップＳ１１０１において、うなずき軌跡取得部４４０は、被写体１６０の頭部の向きに応じた垂直方向の上限値及び下限値、水平方向の上限値及び下限値を算出し、判定情報として判定部４５０に通知する「判定情報算出処理」を実行する。

図１２は、判定情報算出処理の流れを示す第１のフローチャートである。ステップＳ１２０１において、うなずき軌跡取得部４４０は、被写体１６０を特定する。なお、被写体１６０の特定方法は任意であり、例えば、動作判定装置１２０の管理者が指示することで、うなずき軌跡取得部４４０が、被写体１６０を特定してもよい。あるいは、撮像装置１１０から送信された画像データに基づいて、うなずき軌跡取得部４４０が被写体１６０を特定してもよい。

ステップＳ１２０２において、うなずき軌跡取得部４４０は、軌跡情報格納部１５０の軌跡情報４００を参照し、頭部の向きに応じたうなずき動作の軌跡であって、被写体１６０自身のうなずき動作の垂直方向の軌跡を読み出す。

ステップＳ１２０３において、うなずき軌跡取得部４４０は、読み出した、被写体１６０自身のうなずき動作の垂直方向の軌跡から、最小値がとりうる上限値及び下限値を算出する。

ステップＳ１２０４において、うなずき軌跡取得部４４０は、軌跡情報格納部１５０の軌跡情報４００を参照し、頭部の向きに応じたうなずき動作の軌跡であって、被写体１６０自身のうなずき動作の水平方向の軌跡を読み出す。

ステップＳ１２０５において、うなずき軌跡取得部４４０は、読み出した、被写体１６０自身のうなずき動作の水平方向の軌跡から、最小値がとりうる上限値及び下限値を算出する。

ステップＳ１２０６において、うなずき軌跡取得部４４０は、算出した垂直方向の上限値及び下限値と、水平方向の上限値及び下限値とを、判定情報として判定部４５０に通知する。

以上の説明から明らかなように、第２の実施形態に係る動作判定装置１２０は、被写体を特定し、特定した被写体に応じた“うなずき動作の軌跡”に基づいて、判定情報を算出する。

これにより、第２の実施形態に係る動作判定装置によれば、それぞれの被写体に適した判定情報を算出することが可能となり、うなずき動作の判定精度を更に向上させることができる。

［第３の実施形態］
上記第１及び第２の実施形態では、うなずき軌跡取得部４４０が、判定情報として、垂直方向の上限値及び下限値と、水平方向の上限値及び下限値とを、判定部４５０に通知するものとして説明した。

しかしながら、うなずき軌跡取得部４４０が通知する判定情報は、これに限定されない。例えば、うなずき動作の垂直方向の軌跡及び水平方向の軌跡そのものを、判定情報として通知してもよい。以下、第３の実施形態について、上記第１または第２の実施形態との相違点を中心に説明する。

＜判定処理の詳細＞
図１３は、判定処理の詳細を示す図である。このうち、図１３（ａ）は、判定処理の流れを示すフローチャートであり、図１３（ｂ）は、判定処理の具体例を示す図である。以下、図１３（ｂ）を参照しながら、図１３（ａ）のフローチャートに沿って判定処理の詳細について説明する。

なお、図１３（ａ）に示す判定処理を実行するにあたり、うなずき軌跡取得部４４０からは、被写体１６０の頭部の向きに応じた、被写体１６０自身のうなずき動作の垂直方向の軌跡Ｒ（ｔ）及び水平方向の軌跡Ｓ（ｔ）が、通知されているものとする。ただし、うなずき軌跡取得部４４０が通知する垂直方向の軌跡Ｒ（ｔ）及び水平方向の軌跡Ｓ（ｔ）は、被写体１６０自身のうなずき動作によるものではなくてもよく、また、複数の軌跡に基づいて算出した軌跡であってもよい。

ステップＳ１３０１において、判定部４５０は、軌跡算出部４２０より通知された、被写体１６０の頭部の位置の垂直方向の軌跡ｒ（ｔ）と、うなずき軌跡取得部４４０より通知されたうなずき動作の垂直方向の軌跡Ｒ（ｔ）との相関値を算出する。判定部４５０は、例えば、下式（式２）に基づいて、垂直方向の相関値を算出する。

ステップＳ１３０２において、判定部４５０は、ステップＳ１３０１において算出した相関値が、判定条件を満たすか（所定の閾値（Ｔｈ_２）以上であるか）を判定する。ステップＳ１３０２において、相関値が、所定の閾値（Ｔｈ_２）未満であると判定した場合には（ステップＳ１３０２においてＮｏの場合には）、図６のステップＳ６０８に戻る。

一方、ステップＳ１３０２において、相関値が、所定の閾値（Ｔｈ_２）以上であると判定した場合には（ステップＳ１３０２においてＹｅｓの場合には）、ステップＳ１３０３に進む。

ステップＳ１３０３において、判定部４５０は、軌跡算出部４２０より通知された、被写体１６０の頭部の位置の水平方向の軌跡ｓ（ｔ）と、うなずき軌跡取得部４４０より通知されたうなずき動作の水平方向の軌跡Ｓ（ｔ）との相関値を算出する。判定部４５０は、垂直方向の場合と同様に、下式（式３）に基づいて、水平方向の相関値を算出する。

ステップＳ１３０４において、判定部４５０は、ステップＳ１３０３において算出した相関値が、判定条件を満たすか（所定の閾値（Ｔｈ_２）以上であるか）を判定する。ステップＳ１３０４において、相関値が、所定の閾値（Ｔｈ_２）未満であると判定した場合には（ステップＳ１３０４においてＮｏの場合には）、図６のステップＳ６０８に戻る。

一方、ステップＳ１３０４において、相関値が、所定の閾値（Ｔｈ_２）以上であると判定した場合には（ステップＳ１３０４においてＹｅｓの場合には）、ステップＳ１３０５に進む。

ステップＳ１３０５において、判定部４５０は、被写体１６０においてうなずき動作があったと判定し、被写体１６０においてうなずき動作があった旨の判定結果を出力する。つまり、被写体１６０の頭部の位置の垂直方向の軌跡及び水平方向の軌跡が、いずれも判定条件を満たす場合に、判定部４５０は、被写体１６０においてうなずき動作があったと判定し、被写体１６０においてうなずき動作があった旨の判定結果を出力する。

以上の説明から明らかなように、第３の実施形態に係る動作判定装置１２０は、被写体におけるうなずき動作の有無を判定するにあたり、うなずき動作の垂直方向の軌跡及び水平方向の軌跡との相関値を算出する。

これにより、第３の実施形態に係る動作判定装置１２０によれば、上記第２の実施形態と同様の効果を享受することができる。

なお、上記説明では、ステップＳ１３０１において算出された相関値が所定の閾値（Ｔｈ_２）以上で、ステップＳ１３０３において算出された相関値が所定の閾値（Ｔｈ_２）以上であった場合に、被写体１６０においてうなずき動作があったと判定するものとした。しかしながら、相関値に基づく判定方法はこれに限定されない。例えば、ステップＳ１３０１において算出された相関値と、ステップＳ１３０３において算出された相関値との和が、所定の閾値以上であった場合に、被写体１６０においてうなずき動作があったと判定してもよい。

［第４の実施形態］
上記第１乃至第３の実施形態では、軌跡情報格納部１５０が、軌跡情報４００として、うなずき動作の垂直方向の軌跡と水平方向の軌跡とを、被写体の頭部の向きごとに、予め格納しておくものとして説明した。

これに対して、第４の実施形態では、軌跡情報格納部１５０が、軌跡情報４００として、被写体の頭部の向きごとにうなずき動作の垂直方向の軌跡と水平方向の軌跡とを格納する代わりに、うなずき動作の３次元の軌跡を格納する。また、第４の実施形態では、うなずき軌跡取得部４４０が、頭部向き推定部４３０より、被写体の頭部の向きについて通知を受けると、通知された向きに基づいて、うなずき動作の３次元の軌跡を変換し、通知された向きに応じた判定情報を算出する。以下、第４の実施形態について、上記第１乃至第３の実施形態との相違点を中心に説明する。

＜判定情報算出処理の詳細＞
図１４は、判定情報算出処理の流れを示す第２のフローチャートである。ステップＳ１４０１において、うなずき軌跡取得部４４０は、軌跡情報格納部１５０の軌跡情報４００を参照し、うなずき動作の３次元の軌跡を読み出す。

ステップＳ１４０２において、うなずき軌跡取得部４４０は、被写体１６０の頭部の向きに応じて、読み出したうなずき動作の３次元の軌跡を変換する。

ここで、頭部向き推定部４３０より通知される被写体１６０の頭部の向きを下式（式４）のように表すものとする。

一方で、うなずき軌跡取得部４４０により読み出されるうなずき動作の３次元の軌跡は、下式（式５）に示す頭部の向きを有しているものとする。

この場合、被写体１６０の頭部の向きと、軌跡情報４００に格納されたうなずき動作の３次元の軌跡が有する頭部の向きとの差分（θ_ｘ，θ_ｙ，θ_ｚ）は、下式（式６）により表すことができる。

上式（式６）に示す関係にある場合、うなずき軌跡取得部４４０により読み出されるうなずき動作の３次元の軌跡は、下式（式７）をかけ合わせることで、被写体１６０の頭部の向きに応じた３次元の軌跡に変換することができる。

そこで、うなずき軌跡取得部４４０では読み出したうなずき動作の３次元の軌跡それぞれに、上式（式７）をかけ合わせることで、被写体１６０の頭部の向きに応じた３次元の軌跡を変換し、ステップＳ１４０３に進む。

ステップＳ１４０３において、うなずき軌跡取得部４４０は、ステップＳ１４０２において変換された３次元の軌跡のうち、垂直方向の軌跡に基づき、垂直方向の上限値及び下限値を算出する。

ステップＳ１４０４において、うなずき軌跡取得部４４０は、ステップＳ１４０２において変換された３次元の軌跡のうち、水平方向の軌跡に基づき、水平方向の上限値及び下限値を算出する。

ステップＳ１４０５において、うなずき軌跡取得部４４０は、垂直方向の上限値及び下限値と、水平方向の上限値及び下限値とを、判定情報として判定部４５０に通知する。

以上の説明から明らかなように、第４の実施形態に係る動作判定装置１２０は、軌跡情報格納部１５０が、軌跡情報４００として、うなずき動作の３次元の軌跡を格納する。また、第４の実施形態に係る動作判定装置１２０は、うなずき軌跡取得部４４０が、頭部向き推定部４３０より、被写体の頭部の向きの通知を受けると、通知された向きに基づいて、うなずき動作の３次元の軌跡を変換する。これにより、うなずき軌跡取得部４４０は、通知された向きに応じた判定情報（垂直方向の上限値及び下限値、水平方向の上限値及び下限値）を算出し、判定部４５０に通知することができる。

この結果、第４の実施形態に係る動作判定装置１２０は、軌跡情報格納部１５０に格納する軌跡情報を簡素化することができる（頭部の向きごとにうなずき動作の垂直方向の軌跡と水平方向の軌跡とを格納しておく必要がなくなる）。

なお、上記説明では、うなずき動作の３次元の軌跡を、被写体１６０の頭部の向きに応じて変換したのち、上限値及び下限値を算出してから、判定部４５０に通知するものとした。しかしながら、上限値及び下限値を算出する代わりに、被写体１６０の頭部の向きに応じて変換した３次元の軌跡のうち、垂直方向の軌跡及び水平方向の軌跡を、判定情報として、判定部４５０に通知するようにしてもよい。

［第５の実施形態］
第５の実施形態では、上記第１乃至第４の実施形態において説明した動作判定装置１２０を含むうなずき動作判定システムの適用例について説明する。

（１）適用例１
図１５は、うなずき動作判定システムの第１の適用例を示す図である。具体的には、図１５は、うなずき動作判定システムを店舗内に設置し、店員の応対品質を評価するシーンに適用した場合を示している。図１５の適用例では、被写体１６０が、店舗内の店員となる。また、動作判定装置１５００は、動作判定部１３０の機能に加えて、応対品質評価部１５１０の機能も有する。

図１５に示すように、店員（被写体１６０）が顧客１５３０に応対する際の様子を、撮像装置１１０が撮影することで、動作判定部１３０では、店員（被写体１６０）においてうなずき動作があった旨の判定結果を出力する。

応対品質評価部１５１０では、動作判定部１３０より出力される判定結果に基づいて、店員（被写体１６０）の応対品質を評価する。応対品質評価部１５１０では、例えば、下式（式８）に基づいて、応対品質の評価値を算出する（なお、Ｔｈ_３は、理想的なうなずき頻度を表す）。

応対品質評価部１５１０において算出された応対品質の評価値は、店員（被写体１６０）を管理する管理者１５４０の端末１５２０に送信され、管理者１５４０により管理される。

これにより、管理者１５４０は、理想的なうなずき頻度に近い頻度で店員（被写体１６０）がうなずき動作を行っているか否かを管理することができる。

（２）適用例２
図１６は、うなずき動作判定システムの第２の適用例を示す図である。具体的には、図１６は、うなずき動作判定システムを、テレビ電話により顧客１６３０をサポートするサポートセンタに設置し、オペレータの応対品質を評価するシーンに適用した場合を示している。図１６の適用例では、被写体１６０が、コールセンタのオペレータとなる。また、動作判定装置１６００は、動作判定部１３０の機能に加えて応対品質評価部１５１０及び通知部１６１０の機能も有する。

図１６に示すように、顧客１６３０の端末１６４０が動作判定装置１６００として機能する端末に接続された状態で、オペレータ（被写体１６０）が顧客１６３０に応対する際の様子を、動作判定装置１６００として機能する端末に組み込まれた撮像装置が撮影する。これにより、動作判定部１３０では、オペレータ（被写体１６０）においてうなずき動作があった旨の判定結果を出力する。

応対品質評価部１５１０では、動作判定部１３０より出力される判定結果に基づいて、オペレータ（被写体１６０）の応対品質を評価する。応対品質評価部１５１０において算出された応対品質の評価値は、通知部１６１０に通知される。

通知部１６１０では、応対品質の評価値の時間変化を管理し、応対品質の評価値が所定の閾値Ｔｈ_４未満の状態がｉ秒以上継続した場合に、オペレータ（被写体１６０）が保持する携帯端末１６２０を振動させる。これにより、オペレータ（被写体１６０）は、応対品質を改善することができる。

（３）適用例３
図１７は、うなずき動作判定システムの第３の適用例を示す図である。具体的には、図１７は、うなずき動作判定システムを店舗内に設置し、店員の応対品質を評価するシーンに適用した場合を示している。図１５を用いて説明した第１の適用例との相違点は、図１７の場合、管理者１５４０が評価結果を閲覧し、必要に応じて、管理者１５４０の端末１７１０を介して、店員（被写体１６０）が保持する携帯端末１６２０に、応対品質の改善を促す通知を行う点である。これにより、店員（被写体１６０）は、管理者１５４０の指示に基づき応対品質を改善することができる。

［その他の実施形態］
上記各実施形態では、検出した頭部の領域７１１の中心位置を特定し、中心位置の座標を被写体１６０の頭部の位置として通知する場合について説明したが、被写体１６０の頭部の位置は、検出した頭部の領域７１１の中心位置の座標に限定されない。例えば、頭部の特定の部位（目、鼻等）の座標を、被写体１６０の頭部の位置（ｙ座標、ｚ座標）として通知してもよい。

また、上記各実施形態では、１台の撮像装置１１０により撮影された画像データに基づき、一人の被写体１６０のうなずき動作の有無を判定する場合について説明した。しかしながら、１台の撮像装置１１０により撮影された画像データに基づき、複数の被写体のうなずき動作の有無を判定してもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
画像データに基づいて被写体の頭部の向きを特定し、
所定の時間範囲における前記被写体の頭部の位置の垂直方向の軌跡と、水平方向の軌跡とを算出し、
算出した前記垂直方向の軌跡と前記水平方向の軌跡とが、特定した前記頭部の向きに応じた判定条件を満たす場合に、前記被写体において前記頭部の垂直方向の移動に対応付けられる所定の動作があったと判定する、
処理をコンピュータに実行させるための動作判定プログラム。
（付記２）
算出した前記垂直方向の軌跡と、特定した前記頭部の向きに応じた垂直方向の上限値及び下限値とを対比し、かつ、算出した前記水平方向の軌跡と、特定した前記頭部の向きに応じた水平方向の上限値及び下限値とを対比することで、前記判定条件を満たすか否かを判定することを特徴とする付記１に記載の動作判定プログラム。
（付記３）
前記被写体を特定し、
算出した前記垂直方向の軌跡と、特定した前記頭部の向きに応じた、前記被写体の垂直方向の上限値及び下限値とを対比し、
算出した前記水平方向の軌跡と、特定した前記頭部の向きに応じた、前記被写体の水平方向の上限値及び下限値とを対比することを特徴とする付記２に記載の動作判定プログラム。
（付記４）
算出した前記垂直方向の軌跡と、特定した前記頭部の向きに応じて予め定められた垂直方向の軌跡とを対比し、かつ、算出した前記水平方向の軌跡と、特定した前記頭部の向きに応じて予め定められた水平方向の軌跡とを対比することで、前記判定条件を満たすか否かを判定することを特徴とする付記１に記載の動作判定プログラム。
（付記５）
前記被写体を特定し、
算出した前記垂直方向の軌跡と、特定した前記頭部の向きに応じて予め定められた、前記被写体の垂直方向の軌跡とを対比し、
算出した前記水平方向の軌跡と、特定した前記頭部の向きに応じて予め定められた、前記被写体の水平方向の軌跡とを対比することを特徴とする付記４に記載の動作判定プログラム。
（付記６）
画像データに基づいて被写体の頭部の向きを特定する特定部と、
所定の時間範囲における前記被写体の頭部の位置の垂直方向の軌跡と、水平方向の軌跡とを算出する算出部と、
算出した前記垂直方向の軌跡と前記水平方向の軌跡とが、特定した前記頭部の向きに応じた判定条件を満たす場合に、前記被写体において前記頭部の垂直方向の移動に対応付けられる所定の動作があったと判定する判定部と
を有することを特徴とする動作判定装置。
（付記７）
画像データに基づいて被写体の頭部の向きを特定し、
所定の時間範囲における前記被写体の頭部の位置の垂直方向の軌跡と、水平方向の軌跡とを算出し、
算出した前記垂直方向の軌跡と前記水平方向の軌跡とが、特定した前記頭部の向きに応じた判定条件を満たす場合に、前記被写体において前記頭部の垂直方向の移動に対応付けられる所定の動作があったと判定する、
処理をコンピュータが実行する動作判定方法。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：うなずき動作判定システム
１１０ ：撮像装置
１２０ ：動作判定装置
１３０ ：動作判定部
３１０ ：頭部情報
４００ ：軌跡情報
４１０ ：頭部位置推定部
４２０ ：軌跡算出部
４３０ ：頭部向き推定部
４４０ ：うなずき軌跡取得部
４５０ ：判定部
１５１０ ：応対品質評価部
１６１０ ：通知部

Claims (7)

1. 被写体の頭部の向きを特定し、
   所定の時間範囲における前記被写体の頭部の位置の垂直方向の軌跡と、水平方向の軌跡とを算出し、
   算出した前記垂直方向の軌跡と前記水平方向の軌跡とが、特定した前記頭部の向きに応じた判定条件を満たす場合に、前記被写体において前記頭部の垂直方向の移動に対応付けられる所定の動作があったと判定する、
   処理をコンピュータに実行させるための動作判定プログラム。
2. 算出した前記垂直方向の軌跡と、特定した前記頭部の向きに応じた垂直方向の上限値及び下限値とを対比し、かつ、算出した前記水平方向の軌跡と、特定した前記頭部の向きに応じた水平方向の上限値及び下限値とを対比することで、前記判定条件を満たすか否かを判定することを特徴とする請求項１に記載の動作判定プログラム。
3. 前記被写体を特定し、
   算出した前記垂直方向の軌跡と、特定した前記頭部の向きに応じた、前記被写体の垂直方向の上限値及び下限値とを対比し、かつ、算出した前記水平方向の軌跡と、特定した前記頭部の向きに応じた、前記被写体の水平方向の上限値及び下限値とを対比することを特徴とする請求項２に記載の動作判定プログラム。
4. 算出した前記垂直方向の軌跡と、特定した前記頭部の向きに応じて予め定められた垂直方向の軌跡とを対比し、かつ、算出した前記水平方向の軌跡と、特定した前記頭部の向きに応じて予め定められた水平方向の軌跡とを対比することで、前記判定条件を満たすか否かを判定することを特徴とする請求項１に記載の動作判定プログラム。
5. 前記被写体を特定し、
   算出した前記垂直方向の軌跡と、特定した前記頭部の向きに応じて予め定められた、前記被写体の垂直方向の軌跡とを対比し、かつ、算出した前記水平方向の軌跡と、特定した前記頭部の向きに応じて予め定められた、前記被写体の水平方向の軌跡とを対比することを特徴とする請求項４に記載の動作判定プログラム。
6. 被写体の頭部の向きを特定する特定部と、
   所定の時間範囲における前記被写体の頭部の位置の垂直方向の軌跡と、水平方向の軌跡とを算出する算出部と、
   算出した前記垂直方向の軌跡と前記水平方向の軌跡とが、特定した前記頭部の向きに応じた判定条件を満たす場合に、前記被写体において前記頭部の垂直方向の移動に対応付けられる所定の動作があったと判定する判定部と
   を有することを特徴とする動作判定装置。
7. 被写体の頭部の向きを特定し、
   所定の時間範囲における前記被写体の頭部の位置の垂直方向の軌跡と、水平方向の軌跡とを算出し、
   算出した前記垂直方向の軌跡と前記水平方向の軌跡とが、特定した前記頭部の向きに応じた判定条件を満たす場合に、前記被写体において前記頭部の垂直方向の移動に対応付けられる所定の動作があったと判定する、
   処理をコンピュータが実行する動作判定方法。

Images