JP2007052770A

JP2007052770A - 監視装置

Info

Publication number: JP2007052770A
Application number: JP2006146507A
Authority: JP
Inventors: Yukiko Yanagawa; 由紀子柳川
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2005-07-21
Filing date: 2006-05-26
Publication date: 2007-03-01
Also published as: US20070022304A1

Abstract

【課題】情報処理装置などの機器を操作するに当たって認証を通ったユーザが他のユーザに入れ替わることにより機器が不正に操作されることを抑止する装置等を提供すること。
【解決手段】被監視機器の操作者が認証された場合は、被監視機器についての保守機能を解除し、その後、被監視機器の操作者の顔が撮像された動画像において認証された操作者の顔を含む頭部追跡し、追跡が失敗した場合には被監視機器についての保守機能を動作させる。
【選択図】図４

Description

本発明は、認証処理を行うことによって情報や装置の保障を図る装置や方法などに適用されて有効な技術に関する。

近年、企業における顧客情報の漏洩問題や個人情報保護法の施行など、情報処理装置内の電子情報へのアクセス管理が注目されている。アクセス管理の方法として、情報処理装置へのログオンの時点において、パスワードやバイオメトリクス情報などを用いた認証処理を行うことが一般的に行われている。

しかし、従来のこのようなアクセス管理の方法では、一度ログオンされた後は情報処理装置を操作している者が正当な者であるか否かが判断されなかった。このため、操作の途中で異なる者が入れ替わり、情報処理装置を不正に操作するようなことを防止することができなかった。

このような問題の解決を図る技術として、ログオンがあった後にも、間欠的に認証処理を実行する技術が提案されている（特許文献１参照）。
特開２００２−５５９５６号公報

しかしながら、上述した従来の技術では、認証処理と認証処理との間は不正な操作を防止できないという問題があった。図５は、従来の技術における問題を具体的に示す図である。図５に示されるように、操作する者が入れ替わった場合、次の認証処理までの間は不正な使用を防止できなかった。

また、認証処理と認証処理の間を短くした場合（例えば１秒間隔）、入れ替わりによる不正な操作を防ぐことはできるが、認証により許可された操作者が、例えば資料を見るために俯く等の動作で認証ができなくなる場合があり、再度認証をしなければならないという不具合を生じていた。

そこで本発明はこれらの問題を解決し、情報処理装置などの機器を操作するに当たって認証を通ったユーザが他のユーザに入れ替わることにより機器が不正に操作されること等を抑止し、かつ使い勝手のよい装置や方法を提供することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明は監視装置であって、認証手段、追跡手段及び保守機能制御手段を備える。認証手段は被監視機器の操作者を認証する。被監視機器とは、本発明の監視装置により制御される保守機能の処理対象となる機器である。保守機能とは、被監視機器についてのアクセス管理や、この被監視機器を介しての所定のデータに対するアクセスの管理や、操作者のプライバシー管理を実現する機能である。

追跡手段は、認証された操作者の顔が撮像された動画像において、認証された操作者の頭部を追跡する。頭部とは首から上の部分であり、顔も含む。保守機能制御手段は、認証手段により認証がされた場合は被監視機器についての保守機能を解除し、追跡手段により追跡が失敗した場合には被監視機器についての保守機能を動作させる。

保守機能制御手段は、追跡が一度失敗したのみで保守機能を動作させるように構成されても良い。この構成が最も信頼性が高い。しかしながら、追跡処理の精度が低い場合や動画像の品質が悪い場合などは、追跡対象が動画像中に存在しているにもかかわらず、追跡に失敗することもあり得る。よって、追跡に失敗するたびに保守機能を動作させると、操作が煩わしくなる可能性がある。そこで、所定数以上のフレームや所定以上の時間で連続して追跡が失敗した場合に保守機能を動作させるように構成されても良い。つまり、追跡に失敗してもただちに保守機能を動作させるのでなく、追跡手段が所定マージン分だけ追跡の復帰（再開）を試みるのである。このようなマージンを設けることで、操作性の向上が図られる。

本発明によれば、あるユーザについて認証がされ保守機能が解除された後も、追跡手段による追跡処理が継続して実施され、追跡が失敗した場合には保守機能が動作される。ここで、追跡が失敗した場合とは、被監視機器の操作者の頭部が撮像された動画像において、認証された操作者の頭部が追跡できなくなった場合であり、即ち認証された操作者が被監視機器を操作しなくなった場合である。このような場合に保守機能が動作されることにより、被監視機器に関し認証を通ったユーザが他のユーザに入れ替わることにより機器が不正に操作されることを抑止することが可能となる。

本発明における認証手段は、動画像から顔を検出し、検出された顔の画像を用いて操作者を認証するように構成されても良い。このように構成されることにより、ユーザは認証に当たってパスワードの入力やカードを差し込む等の動作をとる必要が無く利便性が向上する。また、追跡手段は、認証手段において処理の対象となった顔を含む頭部を追跡すれば良いため、誤った頭部（即ち認証手段によって認証された者とは異なる者の頭部）を追跡してしまうことを抑止することができる。

本発明は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。

情報処理装置などの機器を操作するに当たって認証を通ったユーザが他のユーザに入れ替わることにより機器が不正に操作されること等を抑止することが可能となる。

監視装置は、監視対象となっている機器（以下、「被監視機器」と呼ぶ）を操作しようとする者について認証処理等を行い、その結果に基づいて保守機能の動作を制御する。保守機能の動作により、この被監視機器についてのアクセスの管理（アクセスの許可や制限）や、この被監視機器を介しての所定のデータに対するアクセスの管理や、操作者のプライバシー管理等を実現することができる。監視装置によって実施される認証処理には、指紋認証やパスワードによる認証など既存のどのような認証技術が適用されても良い。以下の説明においては、顔認証処理が適用された場合の監視装置の具体例について説明する。

〔被監視機器〕
まず、被監視機器の具体例について説明する。図１は、被監視機器の具体例を示す図である。図１では、被監視機器の具体例としてパーソナルコンピュータ２０を示す。また、パーソナルコンピュータ２０に接続されたディスプレイの上部に、ユーザを撮影するためのカメラ１０が配置されている。監視装置１は、パーソナルコンピュータ２０やカメラ１
０とネットワークを介して接続されることにより、パーソナルコンピュータ２０から離れた場所に設置されても良い。また、監視装置１は、パーソナルコンピュータ２０やカメラ１０に対しケーブルで接続され同じ場所に設置されても良い。また、監視装置１は、プログラムがパーソナルコンピュータ２０によって実行されることにより、又はハードウェアとして構成されパーソナルコンピュータ２０に実装されることにより、動作するように構成されても良い。この場合は、カメラ１０はパーソナルコンピュータ２０に接続される。図１では、被監視機器の具体例としてパーソナルコンピュータを示したが、ＰＤＡ（Personal Digital Assistant）や携帯電話機など、他の情報処理装置が被監視機器として用いられても良い。

〔システム構成〕
次に、監視装置１の構成について説明する。監視装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む），ＦｅＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。

図２は、監視装置１の機能ブロックを示す図である。監視装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、画像入力部２、動画像記憶部３、頭部検出部４、ユーザ情報格納部５、顔認証部６、頭部追跡部７及び保守機能制御部８等を含む装置として機能する。頭部検出部４、顔認証部６、頭部追跡部７及び保守機能制御部８は、プログラムがＣＰＵによって実行されることにより実現される。また、頭部検出部４、顔認証部６、頭部追跡部７及び保守機能制御部８は専用のチップとして構成されても良い。次に、監視装置１が含む各機能部について説明する。

〈画像入力部〉
画像入力部２は、動画像のデータを監視装置１へ入力するためのインタフェースとして機能する。画像入力部２によって、動画像のデータが監視装置１へ入力される。画像入力部２を介して入力される動画像は、被監視機器を操作している者を撮像した動画像である。

画像入力部２は、監視装置１へ動画像のデータを入力するためのどのような既存技術を用いて構成されても良い。例えば、ネットワーク（例えばローカル・エリア・ネットワークやインターネット）を介して、監視装置１から離れた場所で撮像された動画像のデータが監視装置１へ入力されても良い。この場合、画像入力部２はネットワークインタフェースを用いて構成される。また、監視装置１に接続されたデジタルビデオカメラ等の撮像装置から動画像のデータが監視装置１へ入力されても良い。この場合、画像入力部２は、デジタルビデオカメラと監視装置１とをデータ通信可能に接続する規格（例えばＵＳＢ（Universal Serial Bus）等の有線接続やｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続の規格）に応じて構成される。また、監視装置１がデジタルビデオカメラ等の撮像装置を備え、又はデジタルカメラ等の撮像装置を備える各種装置（例えばＰＤＡや携帯電話機）の内部に含まれ、これらの撮像装置によって撮像された動画像が監視装置１へ入力されても良い。この場合、画像入力部２は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の撮像素子によって撮像された動画像の
データを入力するためのインタフェースとして構成されても良い。また、画像入力部２は上記された複数の場合に応じることが可能となるように構成されても良い。

〈動画像記憶部〉
動画像記憶部３は、記憶装置を用いて構成される。動画像記憶部３に用いられる記憶装置には、揮発性記憶装置や不揮発性記憶装置など、どのような具体的技術が適用されても良い。ここで言う揮発性記憶装置とは、いわゆるＲＡＭ（Random Access Memory：ＤＲＡＭ（Dynamic RAM），ＳＤＲＡＭ（Synchronous DRAM），ＤＤＲＳＤＲＡＭ（Double Data Rate SDRAM）等）を指す。

動画像記憶部３は、画像入力部２を介して入力された動画像のデータを記憶する。動画像記憶部３に記憶された動画像のデータは、頭部検出部４又は頭部追跡部７によって読み出される。動画像記憶部３は、少なくとも頭部検出部４又は頭部追跡部７による処理が完了するまでは、その処理の対象となっている動画像のデータを保持する。

〈頭部検出部〉
頭部検出部４は、動画像記憶部３から画像のデータを読み出し、その画像から人の頭部を検出し、検出された頭部の位置や大きさ等を示す頭部の情報を特定する。頭部検出部４は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出することで頭部を検出するように構成されても良い。また、頭部検出部４は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて頭部を検出するように構成されても良い。また、頭部検出部４は、肌の色に近い領域を検出し、その領域を顔として検出することで頭部を検出するように構成されても良い。また、頭部検出部４は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域や頭部らしい領域を頭部として検出するように構成されても良い。また、頭部検出部４による検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

〈ユーザ情報格納部〉
ユーザ情報格納部５は、顔認証部６が顔認証処理を行うに際して必要となる情報を格納している。図３は、ユーザ情報格納部５が格納しているユーザ情報テーブル５ａの具体例を示す図である。ユーザ情報テーブル５ａは、正当なユーザのＩＤに関連づけて、各ユーザの顔画像における特徴量を有する。特徴量とは、各ユーザの顔画像から予め取得されている情報であり、例えば輝度分布や色ヒストグラムを用いて表される。

〈顔認証部〉
顔認証部６は、頭部検出部４によって検出された者について、ユーザ情報テーブル５ａの内容に基づき、正当なユーザか否か判断する。まず、顔認証部６は、頭部検出部４によって検出された頭部に含まれる顔を検出する。顔認証部６は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔認証部６は、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔認証部６は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔認証部６は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔認証部６は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔認証部６による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

次に、顔認証部６は、検出された顔について認証処理を行う。例えば顔認証部６は、検出された顔の画像から、輝度分布や色ヒストグラム等の特徴量を取得し、ユーザ情報テーブル５ａに記憶されている特徴量と比較することによって判断を行う。この比較は、輝度分布の正規化相関や、色ヒストグラムのヒストグラムインタセクション等を類似度として
取得することによって行うことができる。即ち、特徴量が類似するか否かを判断し、類似すると判断された場合には同一人物、即ち正当なユーザであると判断することができる。

〈頭部追跡部〉
頭部追跡部７は、顔認証部６によって認証された顔を含む頭部を、動画像記憶部３に記憶される動画像の中で追跡する。即ち、頭部追跡部７は、顔認証部６によって認証され被監視機器の操作を許可されたユーザの頭部をトラッキングする。頭部追跡部７におけるトラッキング処理は、例えば頭部に含まれる特徴点（例えば、額、眉、目、耳、鼻、唇、頭部などにおける特徴点）を、前フレームの特徴点の周辺で探索し追跡することによって実現できる。また、トラッキング処理は、頭部のエッジを抽出する方法、輝度分布を利用する方法、テクスチャ情報を利用する方法などによっても実現することができる。また、このトラッキング処理は、他の既存技術によって実現されても良い。

〈保守機能制御部〉
保守機能制御部８は、顔認証部６による認証結果と頭部追跡部７による追跡結果とに基づいて、被監視機器についての保守機能を動作させるか否か制御する。例えば、保守機能制御部８は、ユーザに対し被監視機器の操作の開始／継続を許可するか否か判断する。そして、保守機能制御部８は、操作の開始を許可する旨判断した場合には、それまで動作していた保守機能を解除し、操作を可能とする。また、保守機能制御部８は、操作の継続を許可しない旨判断した場合には、それまで解除していた保守機能を有効化させ、ユーザの操作を不可能とする。このような保守機能は、例えば被監視機器の入力装置を無効化することにより実現されても良いし、所定のプログラムやデータや記憶領域へのアクセスを停止させることにより実現されても良いし、強制的にユーザをログオフさせることにより実現されても良い。

次に、保守機能制御部８の判断基準について説明する。保守機能制御部８は、保守機能の解除と保守機能の有効化とは異なる基準で判断する。保守機能制御部８は、保守機能の解除については、顔認証部６による認証結果に基づいて判断する。即ち、保守機能制御部８は、顔認証部６によって正規のユーザ（ユーザ情報テーブル５ａに登録されているユーザ）であると判断された場合には、保守機能の解除を行う。また、保守機能制御部８は、保守機能の有効化については、頭部追跡部７による追跡結果に基づいて判断する。即ち、保守機能制御部８は、頭部追跡部７による頭部の追跡が成功した場合には、保守機能の解除を継続させる。一方、保守機能制御部８は、頭部追跡部７による頭部の追跡が失敗した場合には、保守機能を動作させ有効化する。このとき、保守機能制御部８は、頭部追跡部７による追跡処理が一度失敗したのみで保守機能を有効化するように構成されても良いし、所定数以上のフレームや所定以上の時間で連続して追跡が失敗した場合に保守機能を有効化するように構成されても良い。

〔動作例〕
次に、監視装置１の動作例について説明する。図４は、監視装置１の動作例を示すフローチャートである。監視装置１の動作は、ユーザが被監視機器の入力装置を操作したことや、ユーザが認証開始を指示したこと等を契機として開始する。動作が開始すると、動画像が画像入力部２を介して監視装置１に入力される（Ｓ０１）。動画像記憶部３は、入力された動画像のデータを記憶する。頭部検出部４は、動画像記憶部３に記憶された動画像から、人の頭部を検出する（Ｓ０２）。顔認証部６は、頭部検出部４によって検出されたユーザの顔について認証処理を行う（Ｓ０３）。ユーザが正当なユーザであるという認証結果が得られた場合には（Ｓ０４−ＹＥＳ）、保守機能制御部８は保守機能を解除し（Ｓ０５）、ユーザが被監視機器を操作することが可能となる。一方、ユーザが正当なユーザではないという認証結果が得られた場合には（Ｓ０４−ＮＯ）、保守機能制御部８が保守機能を解除することはなく監視装置１の動作が終了する。

保守機能が解除された後は、継続的に動画像の新たなフレームが入力され（Ｓ０６）、頭部追跡部７が入力されたフレームにおいて頭部の追跡を行う（Ｓ０７）。追跡が成功した場合は（Ｓ０８−ＹＥＳ）、また新たなフレームの入力と頭部の追跡が継続して実行される。一方、追跡が失敗した場合は（Ｓ０８−ＮＯ）、保守機能制御部８は解除されていた保守機能を有効化し（Ｓ０９）、被監視機器の操作が不可能となる。Ｓ０６からＳ０８の処理は、例えば３０フレーム／秒の頻度で繰り返し実行される。ただし、この値は監視装置１の管理者によって適宜変更されても良い。

〔作用／効果〕
監視装置１によれば、被監視機器のユーザの監視が連続的に実施される。即ち、まずユーザがログオンする際には顔認証部６による認証結果に基づいた監視が行われる。そして、ユーザがログオンした後は、頭部追跡部７による追跡結果に基づいた監視が行われる。このとき、追跡が成功している間は、当初顔認証部６によって認証された正当ユーザが操作を継続していると判断できる。従って、監視装置１によれば、ユーザが入れ替わった際には即時に入れ替わりを判断することが可能となる。

〔変形例〕
顔認証部６は、頭部追跡部７によって追跡されている頭部の顔について、定期的に顔認証を繰り返し実行するように構成されても良い。

また、保守機能制御部８は、被監視機器に対する操作の開始／継続の許否以外の動作を保守機能として行うように構成されても良い。例えば、新たなユーザが使用を開始する場合、被監視機器に記憶された所定のデータ（例えば、個人情報やＣｏｏｋｉｅや操作履歴やアクセス履歴など）を消去するように構成されても良い。さらに保守機能を有効化した後に前回使用していたユーザが継続して利用する場合には、作業途中の状態から使用できるように構成されてもよい。

上記動作例では、追跡に一度失敗すると、保守機能制御部８がただちに保守機能を有効化している。この構成が最も信頼性が高い。しかしながら、追跡処理の精度が低い場合や動画像の品質が悪い場合などは、追跡対象が動画像中に存在しているにもかかわらず、追跡に失敗することもあり得る。上記動作例において、このような誤動作による追跡失敗が続くと、頻繁に保守機能が有効化してしまうため、それを解除する操作が煩わしくなる可能性がある。そこで、追跡に失敗した場合に、所定マージン（所定フレーム数若しくは所定時間）分だけ追跡の復帰（再開）を試みるようにしてもよい。具体的には、追跡に失敗しても（図４のＳ０８−ＮＯ）、動画像の次のフレームを入力し（Ｓ０６）、追跡対象となる頭部を探せばよい（Ｓ０７）。あるいは、追跡に失敗したら（Ｓ０８−ＮＯ）、動画像の次のフレームを入力し（Ｓ０１）、頭部の検出及び認証処理を実行し（Ｓ０２，Ｓ０３）、認証に成功したら（つまり、正当なユーザであったら）（Ｓ０４−ＹＥＳ）、追跡を再開してもよい（Ｓ０７）。このようなマージンを設けることで、操作性の向上が図られる。なお、上記マージンについては、１回あるいは複数回のような固定値でもよいし、ユーザによる変更が可能でもよい。

被監視機器の具体例を示す図である。監視装置の機能ブロック例を示す図である。ユーザ情報テーブルの具体例を示す図である。監視装置の動作例を示すフローチャートである。従来技術の問題点を示す図である。

符号の説明

１監視装置
２画像入力部
３動画像記憶部
４頭部検出部
５ユーザ情報格納部
５ａユーザ情報テーブル
６顔認証部
７頭部追跡部
８保守機能制御部
１０カメラ
２０被監視機器

Claims

被監視機器の操作者を認証する認証手段と、
前記被監視機器の操作者の頭部が撮像された動画像において、前記認証された操作者の頭部を追跡する追跡手段と、
前記認証手段により認証がされた場合は前記被監視機器についての保守機能を解除し、前記追跡手段により追跡が失敗した場合には前記被監視機器についての保守機能を動作させる保守機能制御手段と、
を備える監視装置。
前記認証手段は、前記動画像から顔を検出し、検出された顔の画像を用いて前記操作者を認証し、
前記追跡手段は、前記認証手段において処理の対象となった頭部を追跡する、請求項１に記載の監視装置。
情報処理装置が、被監視機器の操作者を認証するステップと、
前記情報処理装置が、前記認証がされた場合は前記被監視機器についての保守機能を解除するステップと、
前記情報処理装置が、前記認証がされた場合は、前記被監視機器の操作者の頭部が撮像された動画像において、前記認証された操作者の頭部を追跡するステップと、
前記情報処理装置が、前記追跡が失敗した場合には前記被監視機器についての保守機能を動作させるステップと、
を含む監視方法。
被監視機器の操作者を認証するステップと、
前記認証がされた場合は前記被監視機器についての保守機能を解除するステップと、
前記認証がされた場合は、前記被監視機器の操作者の頭部が撮像された動画像において、前記認証された操作者の頭部を追跡するステップと、
前記追跡が失敗した場合には前記被監視機器についての保守機能を動作させるステップと、
を情報処理装置に実行させるためのプログラム。