JP6464635B2 - 画像処理装置、画像処理装置の制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理装置の制御方法、及びプログラムに関する。

電子機器等の省電力状態からの復帰時間を短くするために、人感センサ等を用いて電子機器に利用者が接近しているかどうかを事前に検知し、利用者が操作する前に省電力状態からの復帰処理を開始する技術が知られている。

例えば、第１の人感センサと、第１の人感センサと検知範囲が異なる第２の人感センサとを備え、第１及び第２の人感センサの検出結果に基づいて自装置に対する人の動向を３つのパターンに区別する電力供給制御装置が知られている（例えば、特許文献１参照）。

また、特許文献１には、第２の人感センサが検出した画像を解析した輪郭情報に基づいて、移動体として検出したが人ではない、或いは人ではあるが素通りするだけの人等の誤検知を防止すること等についての記載もある。しかし、輪郭情報による接近情報の判断は、例えば、利用者の服装、靴、持ち物等の形状の影響を受け易く、検出精度を向上させることには困難を伴っていた。

本発明の実施の形態は、上記問題点に鑑みてなされたものであって、利用者の接近情報の検出精度を向上させることを容易にする画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明の一実施形態に係る画像処理装置は、複数の画像を順次に撮像する撮像手段と、前記順次に撮像された複数の画像に含まれる移動体の動作に係る動作情報を抽出する抽出手段と、前記抽出された動作情報と、予め記憶された人物の動作を示す人物動作情報との類似度に基づいて、前記抽出された動作情報が人の動作であるか否かを判断する人物判断手段と、前記抽出された動作情報が人の動作であると判断された場合、前記抽出された動作情報と、予め記憶された人物の接近動作を示す接近動作情報との類似度に基づいて、利用者の接近を判断する接近判断手段と、を有する。

本発明の実施の形態によれば、利用者の接近情報の検出精度を向上させることを容易にする画像処理装置を提供することができる。

一実施形態に係る画像処理装置のハードウェア構成図である。 一実施形態に係る画像処理装置のソフトウェア構成図である。 第１の実施形態に係る画像処理装置の機能構成図である。 第１の実施形態に係る基本的な処理の流れの一例を示すフローチャートである。 第１の実施形態に係る複数の人物に対応する処理の一例を示すフローチャートである。 第１の実施形態に係る複数の人物に対応する処理の別の一例を示すフローチャートである。 第１の実施形態に係る移動速度を用いた処理の例を示すフローチャートである。 第１の実施形態に係る利用者が離れている場合の処理の例を示すフローチャートである。 第１の実施形態に係る基本的な処理の別の一例を示すフローチャートである。 第２の実施形態に係る画像処理装置の機能構成図である。 第２の実施形態に係る処理の流れを示すフローチャートである。

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

＜ハードウェア構成＞
図１は一実施形態に係る画像処理装置のハードウェア構成図である。画像処理装置１００は、一般的なコンピュータの構成を含み、例えば、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３、ストレージ部１０４、操作パネル１０５、人体検知センサ部１０６、カメラ部１０７、通信Ｉ／Ｆ（Interface）部１０８、エンジン部１０９、ＲＴＣ（Real Time Clock）部１１０、及びバス１１１等を有する。

ＣＰＵ１０１は、ＲＯＭ１０３やストレージ部１０４等に格納されたプログラムやデータをＲＡＭ１０２上に読み出し、処理を実行することで、画像処理装置１００の各機能を実現する演算装置である。ＲＡＭ１０２は、ＣＰＵ１０１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ１０３は、例えば、画像処理装置１００の起動時に実行されるＢＩＯＳ（Basic Input / Output System）や、各種の設定等を記憶する不揮発性のメモリである。ストレージ部１０４は、例えば、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等で構成される。

操作パネル１０５は、ユーザからの入力を受付ける入力装置と、画像処理装置１００の処理結果等を表示する表示装置とを含む、例えば、タッチパネルディスプレイ等の表示入力装置である。

人体検知センサ部１０６は、画像処理装置１００の周囲（例えば、画像処理装置１００の操作パネル１０５の前面方向の所定範囲）の人（人物）を検知するセンサである。人体検知センサ部１０６は、例えば、赤外線、超音波、可視光線等を用いて人を検知するセンサやカメラで撮像することにより生成した画像データを用いて人を検知するセンサ等である。ただし、人体検知センサ部１０６は、これらに限られず、種々の方法を用いて人を検知する種々のセンサであってもよい。尚、人体検知センサ部１０６は、人を検知可能な範囲が、人体検知センサ部１０６の種類又は設定等により決まっており、以降では、このような範囲を「センサ検知範囲」と称する。

カメラ部１０７は、例えば、画像処理装置１００の周囲の動画像等、複数の画像を順次に撮像可能なカメラである。尚、カメラ部１０７には、例えば、設置位置、設置方向、撮像範囲等が異なる複数のカメラが含まれていても良い。通信Ｉ／Ｆ１０８は、画像処理装置１００を、例えば、インターネットや、ＬＡＮ（Local Area Network）等のネットワークに接続するための通信インタフェースである。

エンジン部１０９は、画像処理装置１００が備えている各種機能を実行するためのハードウェアである。例えば、画像処理装置１００が、印刷機能、コピー機能、スキャナ機能等を有する複合機である場合、エンジン部１０９には、印刷エンジン、スキャナエンジン等が含まれる。尚、画像処理装置１００は、複合機だけではなく、カメラ部１０７で順次に撮像された複数の画像に基づいて利用者の接近を判断する様々な電子機器、例えば、プリンタ、コピー機、スキャナ、プロジェクタ、電子黒板、入退出管理装置等であっても良い。

ＲＴＣ部１１０は、計時機能を有し、日付、時刻、時間等に係る情報を出力する。バス１１１は、上記各構成に共通に接続され、例えば、アドレス信号、データ信号、及び各種制御信号等を伝達する。

本実施形態に係る画像処理装置１００は、上記のハードウェア構成により後述するような各種処理を実現する。

＜ソフトウェア構成＞
図２は、一実施形態に係る画像処理装置のソフトウェア構成図である。画像処理装置１００は、画像受信部２０１、画像内人物検出部２０２、センサ情報補完部２０３、人体検知情報受信部２０４、相関算出部２０５、ブロックマッチング制御部２０６、速度算出部２０７、動作情報判断部２０８、接近動作辞書２０９、離れる動作の辞書２１０、人物動作判断部２１１、人物動作辞書２１２、操作パネル制御部２１３、エンジン制御部２１４、省電力制御部２１５、認証制御部２１６、初期化制御部２１７等を含む。

画像受信部２０１は、図１のカメラ部１０７等で順次に撮像された複数の画像（例えば、動画像、又は時系列に沿って並べられた複数の静止画像等）を取得する。

画像内人物検出部２０２は、画像受信部２０１が取得した画像から、人物を検出し、検出した人物の座標情報を動作情報判断部２０８等に出力する。

センサ情報補完部２０３は、図１のカメラ部１０７が複数のカメラを含む場合、校正済の複数のカメラから画像受信部２０１が取得した画像を結合することにより、１つのカメラでは死角となってしまう領域を補完する。また、複数のカメラにより撮像された多視点の画像を動作情報判断部２０８等に出力する。

人体検知情報受信部２０４は、図１の人体検知センサ部１０６から人体（人）の検知情報を受け取り、人体の位置情報（座標情報等）を動作情報判断部２０８等に出力する。尚、人体の位置情報とは、例えば、人体検知センサ部１０６がミリ波センサの場合、検知した奥行き座標と、水平座標とを含む。

相関算出部２０５は、画像受信部２０１が取得した複数の画像間の相関量を示すベクトル情報を動作情報として出力する。この複数の画像間の相関量を示すベクトル情報は、公知の技術を用いて算出することができる。例えば、相関算出部２０５は、２つの画像の差分２値画像の２次元の局所領域内から２５次元の相関量を求め、さらに、この相関量を連続した３つの差分２値画像上で求めることにより得られる２５１次元のベクトル情報を動作情報として算出する。この２５１次元のベクトルは、ＣＨＬＡＣ（Cubic Higher-order Local Auto-Correlation）特徴量、ＣＨＬＡＣ特徴ベクトル等として知られている（例えば、特許文献２参照）。

尚、ＣＨＬＡＣ特徴量、ＣＨＬＡＣ特徴ベクトル等は、複数の画像間の相関量を示すベクトル情報の一例である。

ブロックマッチング制御部２０６は、画像受信部２０１が取得した複数の画像に含まれる小領域毎の動きを示すベクトル情報であるオプティカルフローを動作情報として出力する。例えば、ブロックマッチング制御部２０６は、画像受信部２０１が取得した複数の画像を、動作情報判断部２０８等から受け取り、ブロックマッチング法によって得られたオプティカルフローを動作情報として出力する。ブロックマッチング法は、画像を一定の大きさの小領域（ブロック）に分割して、各小領域が次の画像のどこに移動したかを算出し、各小領域の動きをベクトルで表す公知の技術である（例えば、特許文献３参照）。

尚、ブロックマッチング法によるオプティカルフローは、複数の画像に含まれる小領域毎の動きをベクトルで表すオプティカルフローの一例である。ブロックマッチング制御部２０６は、例えば、勾配法等、ブロックマッチング法以外の手法により、オプティカルフローを算出するものであっても良い。

速度算出部２０７は、相関算出部２０５、又はブロックマッチング制御部２０６から出力された動作情報に基づいて、移動体の接近速度、又は移動速度（ｍ／ｓｅｃ）を算出する。好ましくは、速度算出部２０７は、動作情報に基づいて、移動体（人物等）の動作が接近動作と判断された場合に、移動体の接近速度、又は移動速度を算出する。

動作情報判断部２０８は、画像受信部２０１が取得した複数の画像を受信し、相関算出部２０５や、ブロックマッチング制御部２０６を用いて動作情報を取得する。また、動作情報判断部２０８は、取得した動作情報を、接近動作辞書２０９や、人物動作辞書等と比較することにより、移動体（人物等）の動作が画像処理装置１００の利用者の動作であるか否かを判断する。さらに、動作情報判断部２０８は、取得した動作情報を、離れる動作の辞書２１０等と比較することにより、例えば、画像処理装置１００の利用者が離れていく動作であるか否かを判断することもできる。動作情報判断部２０８の判断結果は、例えば、省電力制御部２１５、認証制御部２１６、初期化制御部２１７等に出力される。

接近動作辞書２０９は、例えば、図１のストレージ部１０４等の記憶手段に予め記憶され、利用者が画像処理装置１００に接近する動作を示す情報である。接近動作辞書２０９は、例えば、画像処理装置１００から一定の距離離れた位置から利用者が接近してくる複数の動作情報を分析して生成される。接近動作辞書２０９の生成方法は、識別方法によって異なるが、例えば、部分空間法による識別方法である場合、複数の接近動作情報を主成分分析し、第一主成分から第Ｎ（Ｎは自然数）主成分までを接近動作辞書２０９とすることができる。

動作情報判断部２０８は、画像受信部２０１が取得した複数の画像から得られた動作情報と、接近動作辞書２０９の類似度に基づいて、移動体（人物等）の動作が接近動作であるか否かを判断することができる。

離れる動作の辞書２１０は、例えば、図１のストレージ部１０４等の記憶手段に予め記憶され、利用者が画像処理装置１００から離れていく動作を示す情報である。離れる動作の辞書２１０は、例えば、画像処理装置１００から利用者が一定の距離まで離れていく複数の動作情報を分析して生成される。離れる動作の辞書２１０の生成方法は、接近動作辞書２０９の生成方法と同様で良い。

動作情報判断部２０８は、画像受信部２０１が取得した複数の画像から得られた動作情報と、離れる動作の辞書２１０の類似度に基づいて、移動体（人物等）の動作が離れている動作であるか否かを判断することができる。

人物動作判断部２１１は、画像受信部２０１が取得した複数の画像から得られた動作情報と、人物動作辞書２１２との類似度に基づいて、移動体（人物等）の動作が人物によるものであるか否かを判断する。

人物動作辞書２１２は、例えば、図１のストレージ部１０４等の記憶手段に予め記憶され、人物による動作を示す情報である。人物動作辞書２１２の生成方法は、接近動作辞書２０９の生成方法と同様に、人物が画像処理装置１００の周囲を移動する際の動作情報から生成する。この人物の動作には、例えば、接近動作、離れる動作、通過動作等が含まれる。

操作パネル制御部２１３は、省電力制御部２１５からの要求に従って、例えば、図１の操作パネル１０５の電源オン／オフや、バックライトのオン／オフ等を制御する。

エンジン制御部２１４は、省電力制御部２１５からの要求に従って、例えば、図１のエンジン部１０９の省電力制御や、電源オン／オフ等の制御を行う。

省電力制御部２１５は、例えば、タイマ、ボタン押下、人体検知等を示す情報や、動作情報判断部２０８の判断結果等に基づいて、画像処理装置１００の省電力制御を行う。

認証制御部２１６は、例えば、タイマ、ボタン押下、人体検知等を示す情報や、動作情報判断部２０８の判断結果等に基づいて、ログイン状態とログアウト状態との間の遷移を制御する。

初期化制御部２１７は、例えば、タイマ、ボタン押下、人体検知等を示す情報や、動作情報判断部２０８の判断結果等に基づいて、システムリセットを行うか否かを判断する。

上記の各構成は、例えば、図１のＣＰＵ１０１で動作するプログラム等によって実現される。また、上記の各構成の少なくとも一部は、例えば、ＤＳＰ（Digital Signal Processor）や、集積回路等のハードウェアによって実現されるものであっても良い。

［第１の実施形態］
＜機能構成＞
図３は、第１の実施形態に係る画像処理装置の機能構成図である。画像処理装置１００は、撮像手段３０１、動作情報抽出手段３０２、判断手段３０３、記憶手段３０４、機器制御手段３０５、速度算出手段３０６、及び人物検知手段３０７等を有する。

尚、上記の撮像手段３０１、動作情報抽出手段３０２、判断手段３０３、記憶手段３０４、機器制御手段３０５、速度算出手段３０６、及び人物検知手段３０７等は、画像処理装置１００で動作するプログラムにより実現されるものであっても良い。

撮像手段３０１は、画像処理装置１００の周囲（例えば、操作パネル１０５の前方等）を順次に撮像し、動画像や、時系列に沿って並べられた複数の静止画像等の複数の画像を取得する。撮像手段３０１は、例えば、図１のカメラ部１０７や、図２の画像受信部２０１等によって実現される。

動作情報抽出手段（抽出手段）３０２は、撮像手段３０１によって順次に撮像された複数の画像に含まれる移動体の動作に係る動作情報を抽出する。動作情報抽出手段３０２によって抽出される動作情報は、例えば、図２のブロックマッチング制御部２０６で算出される、複数の画像に含まれる小領域の動きを表すベクトル情報（オプティカルフロー等）を含む。

或いは、動作情報抽出手段３０２によって抽出される動作情報は、例えば、図２の相関算出部２０５で算出される複数の画像間の相関量を示すベクトル情報（ＣＨＬＡＣ特徴量等）を含む。また、動作情報抽出手段３０２は、ブロックマッチング制御部２０６で算出される動作情報と、相関算出部２０５で算出されるとの両方を抽出するものであっても良い。動作情報抽出手段３０２は、例えば、図２の相関算出部２０５、ブロックマッチング制御部２０６等よって実現される。

判断手段３０３は、動作情報抽出手段３０２によって抽出された動作情報と、記憶手段３０４に記憶された情報とに基づいて、撮像手段３０１によって順次に撮像された複数の画像に含まれる物体（人物等）の動作を判断する。判断手段３０３は、例えば、接近判断手段３０８、人物判断手段３０９、離れる動作判断手段３１０等を含む。

接近判断手段（第１の判断手段）３０８は、動作情報抽出手段３０２によって抽出された動作情報と、記憶手段３０４に予め記憶した接近動作辞書（接近動作情報）２０９とに基づいて、画像処理装置１００への利用者の接近を判断する。例えば、接近判断手段３０８は、動作情報抽出手段３０２によって抽出された動作情報に利用者の接近動作が含まれるか否かを判断する。

人物判断手段（第２の判断手段）３０９は、動作情報抽出手段３０２によって抽出された動作情報と、記憶手段３０４に予め記憶した人物動作辞書（人物動作情報）２１２とに基づいて、抽出された動作情報が人物の動作であるか否かを判断する。

離れる動作判断手段（第３の判断手段）３１０は、動作情報抽出手段３０２によって抽出された動作情報と、記憶手段３０４に予め記憶した離れる動作辞書（離れる動作情報）２１０とに基づいて、利用者が画像処理装置１００から離れていく動作を判断する。例えば、離れる動作判断手段３１０は、動作情報抽出手段３０２によって抽出された動作情報に利用者が画像処理装置１００から離れていく動作が含まれるか否かを判断する。

判断手段３０３は、例えば、図２の動作情報判断部２０８、人物動作判断部２１１等によって実現される。

記憶手段３０４は、接近動作辞書２０９、人物動作辞書２１２、離れる動作の辞書２１０等の情報を記憶する手段であり、例えば、図１のストレージ部１０４や、ＲＡＭ１０２等によって実現される。

機器制御手段３０５は、判断手段３０３の判断結果に基づいて、画像処理装置１００の各種制御を行う。機器制御手段３０５は、例えば、電力制御手段３１１、認証制御手段３１２、初期化手段３１３等を含む。

電力制御手段３１１は、判断手段３０３からの動作情報の判断結果等の通知に応じて、画像処理装置１００の省電力制御、例えば、通常動作、スタンバイ、スリープ等を各電力状態の遷移等の制御を行う。電力制御手段３１１は、例えば、図２の省電力制御部２１５、操作パネル制御部２１３、エンジン制御部２１４等によって実現される。

認証制御手段３１２は、判断手段３０３からの動作情報の判断結果等の通知に応じて、画像処理装置１００の認証制御、例えば、例えば、画像処理装置１００への利用者のログイン、ログアウト等の制御を行う。認証制御手段３１２は、例えば、図２の認証制御部２１６等によって実現される。

初期化手段３１３は、判断手段３０３からの動作情報の判断結果等の通知に応じて、画像処理装置１００の初期化制御、例えば、例えば、画像処理装置１００のシステムリセット、設定リセット等の制御を行う。初期化手段３１３は、例えば、図２の初期化制御部２１７等によって実現される。

速度算出手段３０６は、例えば、接近判断手段３０８等によって判断された人物の移動速度（接近速度等）を算出する。速度算出手段３０６は、例えば、図２の速度算出部２０７等によって実現される。

人物検知手段３０７は、例えば、図１の人体検知センサ部１０６や、図２の人体検知情報受信部２０４等によって実現され、所定の範囲（例えば、人体検知センサ部１０６のセンサ検知範囲等）における１人以上の人物の座標情報を取得（検知）する。

上記構成により、画像処理装置１００は、例えば、撮像手段３０１によって撮像された画像に利用者の接近動作が含まれる場合、例えば、画像処理装置１００の省電力状態を解除して、利用者がすぐに画像処理装置１００を利用できるように制御することができる。

＜処理の流れ＞
（基本的な処理の一例）
図４は、第１の実施形態に係る基本的な処理の流れを示すフローチャートである。図４において、処理を開始する時点で画像処理装置１００は省電力状態であり、省電力状態を解除するまで、利用者は画像処理装置１００の機能を利用することができないものとする。

ステップＳ４０１において、画像処理装置１００の撮像手段３０１は、複数の画像を順次に撮像する。このとき、撮像手段３０１によって撮像される画像は、動画像であっても良いし、所定の時間間隔で撮像される静止画像等であっても良い。

ステップＳ４０２において、画像処理装置１００の動作情報抽出手段３０２は、撮像手段３０１によって順次に撮像された複数の画像に基づいて動作情報を抽出する。動作情報抽出手段３０２によって抽出される動作情報は、例えば、順次に撮像された複数の画像に含まれる小領域毎の動きを示すベクトル情報（例えば、オプティカルフロー）を含む。又は、動作情報抽出手段３０２によって抽出される動作情報は、順次に撮像された複数の画像間の相関量を示すベクトル情報（例えば、ＣＨＬＡＣ特徴量）を含む。

好ましくは、ステップＳ４０３において、人物判断手段３０９は、動作情報抽出手段３０２によって抽出された動作情報が人物の動作であるか否かを判断する。例えば、人物判断手段３０９は、動作情報抽出手段３０２によって抽出された動作情報と、人物動作辞書２１２の動作情報との類似度を算出し、算出された類似度が所定のしきい値に達する場合、抽出された動作情報が人物の動作であると判断する。この処理により、人物以外の動作物、例えば、移動する乗り物、荷物、動物、工業製品等による誤動作を防止することができる。尚、画像処理装置１００は、ステップＳ４０３の処理を必ずしも含まなくても良い。

ステップＳ４０３において、抽出された動作情報が人物の動作ではないと判断された場合、画像処理装置１００は、ステップＳ４０１に戻って処理を繰り返す。一方、ステップＳ４０３において、抽出された動作情報が人物の動作であると判断された場合、画像処理装置１００は、処理をステップＳ４０４へ移行させる。

ステップＳ４０４へ移行すると、画像処理装置１００の接近判断手段３０８は、動作情報抽出手段３０２によって抽出された動作情報に接近動作が含まれるか否か判断する。例えば、接近判断手段３０８は、動作情報抽出手段３０２によって抽出された動作情報と、接近動作辞書２０９の動作情報との類似度を算出し、算出された類似度が所定のしきい値に達する場合、利用者の接近動作であると判断する。

ステップＳ４０４において、抽出された動作情報に接近動作が含まれないと判断された場合、画像処理装置１００は、ステップＳ４０１に戻って処理を繰り返す。一方、ステップＳ４０３において、抽出された動作情報に接近動作が含まれると判断された場合、接近判断手段３０８は、例えば、利用者の接近を示す情報を機器制御手段３０５に通知して、処理をステップＳ４０５へ移行させる。

ステップＳ４０５に移行すると、画像処理装置１００の電力制御手段３１１は、画像処理装置１００を省電力状態から復帰させ、利用者が画像処理装置１００を利用できる状態（例えば、スタンバイ状態）にする。

尚、ステップＳ４０５において、電力制御手段３１１が画像処理装置１００を省電力状態から復帰させる制御は、利用者の接近を示す情報を受信した機器制御手段３０５による制御の一例である。例えば、機器制御手段３０５は、利用者の接近を示す情報の受信に応じて、認証制御手段３１２によりパスワード入力画面等を表示させるものであっても良い。或いは、機器制御手段３０５は、利用者の接近を示す情報の受信に応じて、初期化手段３１３により設定情報を初期化し、新たな利用者の操作に備えるもの等であっても良い。

上記処理により、本実施形態に係る画像処理装置１００は、撮像手段３０１によって順次に撮像された複数の画像に基づく動作情報と、予め記憶した動作辞書とを用いて、利用者の接近したことを判断する。これにより、画像処理装置１００は、利用者の服装、靴、持ち物等の輪郭情報の影響を抑制しつつ、利用者の接近情報の検出精度を向上させることを容易にすることができる。

（複数の人物に対応する処理の例）
図５は、第１の実施形態に係る複数の人物に対応する処理の一例を示すフローチャートである。

ステップＳ５０１において、画像処理装置１００の撮像手段３０１は、複数の画像を順次に撮像する。この処理は、図４のステップＳ４０１と同じで良い。

ステップＳ５０２において、画像処理装置１００の動作情報抽出手段３０２は、撮像手段３０１によって順次に撮像された複数の画像に基づいて動作情報を抽出する。この処理は、図４のステップＳ４０２と同じで良い。

ステップＳ５０３において、画像処理装置１００の人物検知手段３０７は、所定の範囲内（例えば、人体検知センサ部１０６のセンサ検知範囲等）における人物の座標情報を取得する。例えば、人体検知センサ部１０６が、焦電センサであれば、周囲の熱源の位置を示す座標情報を取得することができる。また、人体検知センサ部１０６が、ミリ波センサであれば、例えば、画像処理装置１００の設置時等に予め取得した周囲情報から変化した物体の位置を示す座標情報を取得することができる。

ステップＳ５０４において、画像処理装置１００の動作情報抽出手段３０２は、人物検知手段３０７が取得した移動体の座標情報に基づいて、移動体毎の動作情報を抽出する。これにより、人物検知手段３０７によって取得された移動体の数が２つ以上である場合、動作情報抽出手段３０２は、２つ以上の移動体のそれぞれについて、動作情報を容易に取得することができる。

ステップＳ５０５において、画像処理装置１００の接近判断手段３０８は、動作情報抽出手段３０２で抽出された１つ以上の動作情報のそれぞれについて、接近動作であるか否かを判断する。ステップＳ５０５において、抽出された１つ以上の動作情報に１つでも接近動作が含まれる場合、接近判断手段３０８は、例えば、利用者の接近を示す情報を機器制御手段３０５に通知して、処理をステップＳ５０６へ移行させる。一方、抽出された１つ以上の動作情報に１つも接近動作が含まれない場合、画像処理装置１００は、ステップＳ５０１へ移行して処理を繰り返す。

ステップＳ５０６に移行すると、画像処理装置１００の電力制御手段３１１は、画像処理装置１００を省電力状態から復帰させ、利用者が画像処理装置１００を利用できる状態（例えば、スタンバイ状態）にする。尚、電力制御手段３１１が画像処理装置１００を省電力状態から復帰させる制御は、利用者の接近を示す情報を受信した機器制御手段３０５による制御の一例である。

このように、人物検知手段３０７により、１つ以上の移動体の座標情報を取得することにより、図６で示すように、動作情報抽出手段３０２で、撮像画像から移動体毎に領域を分割する処理が不要となり、動作情報を抽出する処理を高速化することができる。

図６は、第１の実施形態に係る複数の人物に対応する処理の別の一例を示すフローチャートである。図６は、画像処理装置１００が、例えば、人物検知手段３０７を有していない場合の処理を示す。

ステップＳ６０１において、画像処理装置１００の撮像手段３０１は、複数の画像を順次に撮像する。この処理は、図５のステップＳ５０１と同じで良い。

ステップＳ６０２において、画像処理装置１００の動作情報抽出手段３０２は、撮像手段３０１によって取得された画像に含まれる移動体（人物等）を検出して、その移動体の位置情報（座標）を取得する。

ステップ６０３において、画像処理装置１００の動作情報抽出手段３０２は、取得した移動体の座標に基づいて、撮像手段３０１によって取得された画像を移動体毎に分割する。また、動作情報抽出手段３０２は、分割した領域毎に動作情報を抽出する。

ステップＳ６０４において、画像処理装置１００の接近判断手段３０８は、動作情報抽出手段３０２で抽出された１つ以上の動作情報のそれぞれについて、接近動作であるか否かを判断する。ステップＳ６０４において、抽出された１つ以上の動作情報に１つでも接近動作が含まれる場合、接近判断手段３０８は、例えば、利用者の接近を示す情報を機器制御手段３０５に通知して、処理をステップＳ６０５へ移行させる。一方、抽出された１つ以上の動作情報に１つも接近動作が含まれない場合、画像処理装置１００は、ステップＳ６０１へ移行して処理を繰り返す。

ステップＳ６０５に移行すると、画像処理装置１００の電力制御手段３１１は、画像処理装置１００を省電力状態から復帰させ、利用者が画像処理装置１００を利用できる状態にする。

上記処理により、人物検知手段３０７を有していない画像処理装置１００においても、複数の人物に対応する接近動作の判断を行うことができるようになる。

（移動速度を用いた処理の例）
図７は、第１の実施形態に係る移動速度を用いた処理の例を示すフローチャートである。

ステップＳ７０１において、画像処理装置１００の撮像手段３０１は、複数の画像を順次に撮像する。

ステップＳ７０２において、画像処理装置１００の動作情報抽出手段３０２は、撮像手段３０１によって順次に撮像された複数の画像に基づいて動作情報を抽出する。

ステップＳ７０３において、画像処理装置１００の接近判断手段３０８は、動作情報抽出手段３０２によって抽出された動作情報に接近動作が含まれるか否か判断する。ステップＳ７０３において、抽出された動作情報に接近動作が含まれないと判断された場合、画像処理装置１００は、ステップＳ７０１に処理を移行して処理を繰り返す。一方、ステップＳ７０３において、抽出された動作情報に接近動作が含まれると判断された場合、接近判断手段３０８は、例えば、利用者の接近を示す情報を機器制御手段３０５に通知して、処理をステップＳ７０４へ移行させる。

ステップＳ７０４に移行すると、画像処理装置１００の速度算出手段３０６は、動作情報抽出手段３０２によって抽出された動作情報に基づいて、利用者の移動速度（例えば、接近速度）を算出し、機器制御手段３０５に通知する。

ステップＳ７０５において、機器制御手段３０５は、接近判断手段３０８から通知された利用者の接近を示す情報と、速度算出手段３０６から通知された利用者の接近速度に基づいて、画像処理装置１００を制御する。これにより、例えば、電力制御手段３１１は、利用者の移動速度に合わせて、画像処理装置１００の省電力状態を解除して利用できる状態にする。これは、例えば、利用者がゆっくり接近している場合に、すぐに省電力状態を解除してしまうと、利用者が処理を開始する前に無駄な電力を消費してしまう場合があるので、利用者が利用を開始するタイミングに合わせて省電力状態を解除するためである。

（利用者が離れていく場合の処理の例）
図８の第１の実施形態に係る利用者が離れている場合の処理の例を示すフローチャートである。図８において、処理を開始する時点で画像処理装置１００は利用者によって使用されていたものとする。

ステップＳ８０１において、画像処理装置１００の撮像手段３０１は、複数の画像を順次に撮像する。

ステップＳ８０２において、画像処理装置１００の動作情報抽出手段３０２は、撮像手段３０１によって順次に撮像された複数の画像に基づいて動作情報を抽出する。

ステップＳ８０３において、画像処理装置１００の離れる動作判断手段３１０は、動作情報抽出手段３０２によって抽出された動作情報に、画像処理装置１００から利用者が離れていく動作が含まれるか否か判断する。例えば、離れる動作判断手段３１０は、抽出された動作情報と、離れる動作の辞書２１０の動作情報との類似度を算出し、算出された類似度が所定のしきい値に達する場合、画像処理装置１００から利用者が離れていく動作であると判断する。

ステップＳ８０３において、抽出された動作情報に、画像処理装置１００から利用者が離れていく動作が含まれないと判断された場合、画像処理装置１００は、ステップＳ８０１に処理を移行して処理を繰り返す。一方、ステップＳ８０３において、抽出された動作情報に画像処理装置１００から利用者が離れていく動作が含まれると判断された場合、離れる動作判断手段３１０は、例えば、利用者が離れていくことを示す情報を機器制御手段３０５に通知する。

ステップＳ８０４において、ログアウトタイマが満了していると判断された場合、認証制御手段３１２は、画像処理装置１００を利用していた利用者のログアウト処理を行う（ステップＳ８０５）。

ステップＳ８０６において、初期化タイマが満了していると判断された場合、初期化手段３１３は、画像処理装置１００を初期化、例えば、システムリセット、設定リセット等の処理を行う（ステップＳ８０７）。

ステップＳ８０８において、省電力タイマが満了していると判断された場合、電力制御手段３１１は、画像処理装置１００を省電力状態へ移行させる。

このように、画像処理装置１００は、利用者が離れていくことを検知し、画像処理装置１００からのログアウト処理、初期化処理、省電力処理等の制御を行うことができる。

（基本的な処理の別の一例）
図９は、第１の実施形態に係る基本的な処理の別の一例である。図９は、図４のステップＳ４０２の動作情報を抽出するステップにおいて、動作情報として画像間の相関量を用いる場合の例を示す。また、図９は、図４のステップＳ４０３の人物の動作であるか否かを判断するステップを省略している。ステップＳ４０１、Ｓ４０４、及びＳ４０５の処理は図４と同様なので、ここでは差分を中心に説明する。

動作情報抽出手段３０２は、動作情報として、図２の相関算出部２０５で算出される複数の画像間の相関量を示すベクトル情報を用いる場合、２つの画像の差分２値画像の２次元の局所領域内から２５次元の相関量を求める（ステップＳ９０１）。また、この相関量を連続した３つの画像上で求めることにより得られる２５１次元の相関量（ベクトル情報）を求め（ステップＳ９０２）、この２５１次元のベクトル情報を動作情報として出力する。この相関量による動作情報は、オプティカルフローによる動作量と比較して、利用者の服装、靴、持ち物等の輪郭の影響を受け難いという利点がある。

また、図９に示すように、図４のステップＳ４０３の人物の動作であるか否かを判断するステップは省略することが可能である。

尚、本実施形態に係る画像処理装置１００は、図４〜９に示す各処理を組合せて用いることが可能である。

［第２の実施形態］
本実施の形態では、画像処理装置１００が複数の撮像手段を有する場合の例について説明する。

＜機能構成＞
図１０は、第２の実施形態に係る画像処理装置の機能構成図である。本実施形態に係る画像処理装置１００は、複数の撮像手段１００１−１、１００１−２と、撮像画像補間手段１００２とを有する。尚、上記以外の構成は、第１の実施形態と同様で良い。また、図１０の例では、２つの撮像手段を例示しているが、撮像手段の数は３つ以上であっても良い。

複数の撮像手段１００１−１、１００１−２は、例えば、異なる位置から画像処理装置１００の周囲（例えば、操作パネル１０５の前方等）を順次に撮像し、動画像や、時系列に沿って並べられた複数の静止画像等の複数の画像をそれぞれ取得する。

撮像画像補間手段１００２は、例えば、図２のセンサ情報補完部２０３等によって実現され、複数の撮像手段１００１−１、１００１−２が取得した画像を結合することにより、１つの撮像手段では死角となってしまう領域を補完する処理を行う。これにより、本実施形態では、１つの撮像手段では死角となってしまう領域においても、利用者の動作情報を取得することができる。

また、本実施形態では、動作情報抽出手段３０２は、複数の撮像手段１００１−１、１００１−２が取得した多視点の画像からそれぞれ動作情報を抽出しても良い。多視点の画像からそれぞれ動作情報を抽出することにより、利用者の動作を識別する際の精度を向上させる効果が期待できる。

＜処理の流れ＞
図１１は、第２の実施形態に係る基本的な処理の流れを示すフローチャートである。

ステップＳ１１０１において、撮像画像補間手段１００２は、複数の撮像手段１００１−１、１００２−２の校正処理（キャリブレーション）を行う。例えば、撮像画像補間手段１００２は、１つの対象物を複数の撮像手段１００１−１、１００２−２で撮像し、複数の撮像手段１００１−１、１００２−２の座標系が一致するように、各種パラメータを調整する。尚、複数の撮像手段１００１−１、１００２−２の校正処理を行った後、設置位置の変更等が無い場合、ステップＳ１１０１の処理は省略しても良い。

ステップＳ１１０２において、撮像画像補間手段１００２は、複数の撮像手段１００１−１、１００２−２からそれぞれ、撮像画像を取得する。

ステップＳ１１０３において、撮像画像補間手段１００２は、複数の撮像手段１００１−１、１００２−２から取得した撮像画像の補完処理を行う。例えば、撮像画像補間手段１００２は、撮像手段１００１−１から取得した画像に死角がある場合、その死角を撮像手段１００１−２から取得した画像を用いて補完する。或いは、撮像画像補間手段１００２は、撮像手段１００１−２から取得した画像に死角がある場合、その死角を撮像手段１００１−１から取得した画像を用いて補完する。

ステップＳ１１０４において、接近判断手段３０８は、撮像画像補間手段１００２によって補完された複数の画像を用いて、動作情報を抽出する。ここで抽出する動作情報は、死角が補完された単視点の画像に基づいて抽出されるものであっても良いし、多視点の画像に基づいて抽出されるものであっても良い。

ステップＳ１１０５において、画像処理装置１００の接近判断手段３０８は、動作情報抽出手段３０２によって抽出された動作情報に接近動作が含まれるか否か判断する。ステップＳ１１０５において、抽出された動作情報に接近動作が含まれないと判断された場合、画像処理装置１００は、ステップＳ１１０１に戻って処理を繰り返す。一方、ステップＳ１１０５において、抽出された動作情報に接近動作が含まれると判断された場合、接近判断手段３０８は、例えば、利用者の接近を示す情報を機器制御手段３０５に通知して、処理をステップＳ１１０６へ移行させる。

ステップＳ１１０６に移行すると、画像処理装置１００の電力制御手段３１１は、画像処理装置１００を省電力状態から復帰させ、利用者が画像処理装置１００を利用できる状態にする。

このように、複数の撮像手段を用いることにより、画像処理装置１００が抽出する動作情報の精度を向上させることができる。

＜まとめ＞
本実施形態に係る画像処理装置（１００）は、複数の画像を順次に撮像する撮像手段（３０１）と、前記順次に撮像された複数の画像に含まれる移動体の動作に係る動作情報を抽出する抽出手段（３０２）とを有する。また、画像処理手段（１００）は、前記抽出された動作情報と、予め記憶された人物の接近動作を示す接近動作情報とに基づいて、利用者の接近を判断する第１の判断手段（３０８）を有する。

上記構成により、画像処理装置（１００）は、利用者の服装、靴、持ち物等の形状の影響を抑制し、利用者の接近情報の検出精度を向上させることを容易にする。

好ましくは、画像処理装置（１００）は、人物の動作を示す人物動作情報（２１２）に基づいて、前記抽出された動作情報が人物の動作であるか否かを判断する第２の判断手段（３０９）を有する。これにより、工業製品や、動物等、人物以外の移動体に対して、人物と誤検知することを低減させることができる。

好ましくは、画像処理装置（１００）は、所定の範囲内（例えば、人体検知センサの検知範囲）における１つ以上の移動体の座標情報を取得する人物検知手段（３０７）を有する。また、前記抽出手段は、前記取得された座標情報に基づいて、前記１つ以上の移動体の動作情報を抽出する。これにより、複数の人物に対する動作情報の抽出を効率よく行うことができるようになる。

好ましくは、画像処理装置（１００）は、前記第１の判断手段（３０８）によって判断された利用者の接近速度を算出する速度算出手段（３０６）を有し、前記算出された接近速度に基づいて前記画像処理装置（１００）の制御を行う。これにより、画像処理装置（１００）は、利用者の接近速度に応じて、画像処理装置（１００）の制御、例えば、省電力状態からの復帰、認証画面や、ウェルカム画面の表示等を好適なタイミングで行うことができるようになる。

好ましくは、画像処理装置（１００）は、前記抽出された動作情報と、予め記憶された人物が離れていく動作を示す情報（２１０）とに基づいて、前記利用者が離れていくことを判断する第３の判断手段（２１０）を有する。また、画像処置装置（１００）は、前記第３の判断手段（２１０）の判断結果に基づいて、前記画像処理装置（１００）の制御を行う。これにより、画像処理装置（１００）は、利用者が離れていく動作に応じて、画像処理装置（１００）の制御、例えば、ログアウト動作、省電力状態への移行、設定初期化等を好適なタイミングで行うことができるようになる。

尚、上記括弧内の参照符号は、理解を容易にするために付したものであり、一例に過ぎず、本発明の範囲を限定するものではない。

１００ 画像処置装置
２０９ 接近動作辞書（接近動作情報）
２１０ 離れる動作辞書（離れていく動作を示す情報）
２１２ 人物動作辞書（人物動作情報）
３０１ 撮像手段
３０２ 動作情報抽出手段（抽出手段）
３０５ 機器制御手段
３０６ 速度算出手段
３０７ 人物検知手段
３０８ 接近判断手段（第１の判断手段）
３０９ 人物判断手段（第２の判断手段）
３１０ 離れる動作判断手段（第３の判断手段）

特開２０１３−８５０３８号公報 特開２００６−０７９２７２号公報 特開平１１−３５５７７９号公報

Claims (9)

1. 複数の画像を順次に撮像する撮像手段と、
   前記順次に撮像された複数の画像に含まれる移動体の動作に係る動作情報を抽出する抽出手段と、
   前記抽出された動作情報と、予め記憶された人物の動作を示す人物動作情報との類似度に基づいて、前記抽出された動作情報が人の動作であるか否かを判断する人物判断手段と、
   前記抽出された動作情報が人の動作であると判断された場合、前記抽出された動作情報と、予め記憶された人物の接近動作を示す接近動作情報との類似度に基づいて、利用者の接近を判断する接近判断手段と、
   を有する画像処理装置。
2. 所定の範囲内における１つ以上の移動体の座標情報を取得する人物検知手段を有し、
   前記抽出手段は、
   前記取得された座標情報に基づいて、前記１つ以上の移動体毎の動作情報を抽出する請求項１に記載の画像処理装置。
3. 前記接近判断手段によって接近していると判断された利用者の接近速度を算出する速度算出手段を有し、
   前記算出された接近速度に基づいて前記画像処理装置の制御を行う請求項１又は２に記載の画像処理装置。
4. 前記抽出された動作情報と、予め記憶された人物が離れていく動作を示す情報とに基づいて、前記利用者が離れていくことを判断する手段を有し、
   前記利用者が離れていくことを判断する手段の判断結果に基づいて、前記画像処理装置の制御を行う請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記動作情報は、
   前記順次に撮像された複数の画像に含まれる小領域毎の動きを示すベクトル情報を含む請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記動作情報は、
   前記順次に撮像された複数の画像間の相関量を示すベクトル情報を含む請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記接近動作情報は、
   利用者が接近してくる際の複数の動作を分析して生成された情報であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 複数の画像を順次に撮像する撮像手段と、
   前記順次に撮像された複数の画像に含まれる移動体の動作に係る動作情報を抽出する抽出手段と、
   前記抽出された動作情報と、予め記憶された人物の動作を示す人物動作情報との類似度に基づいて、前記抽出された動作情報が人の動作であるか否かを判断する人物判断手段と、
   前記抽出された動作情報が人の動作であると判断された場合、前記抽出された動作情報と、予め記憶された人物の接近動作を示す接近動作情報との類似度に基づいて、利用者の接近を判断する接近判断手段と、
   として画像処理装置を機能させるためのプログラム。
9. 画像処理装置の制御方法であって、
   前記画像処理装置が、
   複数の画像を順次に撮像するステップと、
   前記順次に撮像された複数の画像に含まれる移動体の動作に係る動作情報を抽出するステップと、
   前記抽出された動作情報と、予め記憶された人物の動作を示す人物動作情報との類似度に基づいて、前記抽出された動作情報が人の動作であるか否かを判断するステップと、
   前記抽出された動作情報が人の動作であると判断された場合、前記抽出された動作情報と、予め記憶された人物の接近動作を示す接近動作情報との類似度に基づいて、利用者の接近を判断するステップと、
   を実行する、画像処理装置の制御方法。

Images