Nothing Special   »   [go: up one dir, main page]

JP2005065148A - 監視システム、情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

監視システム、情報処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP2005065148A
JP2005065148A JP2003295905A JP2003295905A JP2005065148A JP 2005065148 A JP2005065148 A JP 2005065148A JP 2003295905 A JP2003295905 A JP 2003295905A JP 2003295905 A JP2003295905 A JP 2003295905A JP 2005065148 A JP2005065148 A JP 2005065148A
Authority
JP
Japan
Prior art keywords
event
sensor
data
information processing
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003295905A
Other languages
English (en)
Other versions
JP4492062B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Yoshinori Watanabe
義教 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003295905A priority Critical patent/JP4492062B2/ja
Publication of JP2005065148A publication Critical patent/JP2005065148A/ja
Application granted granted Critical
Publication of JP4492062B2 publication Critical patent/JP4492062B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】必要な量の情報を、少ない消費電力で提供できるようにする。
【解決手段】センサ部で取得された複数のセンサのデータに基づき、イベント検出部で検出されたイベントのデータが、マルチセンサカメラからサーバ12に送信される。イベント呈示制御部52は、呈示部に呈示させる。この呈示に基づいて、ユーザの判断がユーザ入力インターフェイス部53に入力される。ユーザの判断入力情報に基づき、センサ判定部55は、センサ部の各センサの能力を判定し、センサ電源制御指令部56は、センサ電源制御部にセンサ電源制御信号を送信する。センサ電源制御部は、このセンサ電源制御信号に基づき、センサ部の各センサの電源を制御する。本発明は、家庭用の監視システムに適用することができる。
【選択図】図3

Description

本発明は、監視システム、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、効率的に消費電力を抑えることができるようにした監視システム、情報処理装置および方法、記録媒体、並びにプログラムに関する。
従来、監視システムにおいて、種類の異なる複数のセンサを設けて、各センサの情報を表示する方法が提案されている(例えば、特許文献1参照)。
また、赤外線センサと画像センサを組み合わせて、監視領域内に進入した人体を検出する方法が提案されている(例えば、特許文献2参照)。
さらに、監視用カメラに動体センサを備えて監視領域内の異常な動きを検出し、動体センサの検知出力に応じて、監視用カメラの出力信号を制御するシステムが提案されている(例えば、特許文献3参照)。
特開平8−124078号公報 特開2000−339554号公報 特開平7‐212748号公報
しかしながら、これらの発明では、ユーザが通知を必要とするイベントの検出に寄与しているか否かに関わらず、カメラを含む複数のセンサが常時動作しており、無駄な電力を消費し、バッテリが短時間しか持たないという課題があった。
本発明は、このような状況に鑑みてなされたものであり、効率的に消費電力を抑えることができるようにするものである。
本発明の監視システムは、複数のセンサが出力するデータを取得するデータ取得手段と、データ取得手段により取得された複数のセンサのデータに基づいて、イベントの発生を検出するイベント検出手段と、イベント検出手段により検出されたイベントの呈示を制御する呈示制御手段と、呈示制御手段により制御された呈示に基づく、ユーザからの判断の入力を取得する入力取得手段と、入力取得手段により取得されたユーザからの判断の入力に基づいて、複数のセンサの能力を判定する能力判定手段と、能力判定手段の判定結果に基づいて、センサの電源をオンまたはオフする制御を実行する電源制御手段とを備えることを特徴とする。
データ取得手段は、CCD撮像装置、CMOS撮像装置、マイクロホン、マイクロ波センサ、フォトセンサ、および赤外線焦電センサのうち少なくとも2個のセンサのデータを取得するようにすることができる。
イベント検出手段により検出されたイベントの情報を、入力取得手段により取得されたユーザからの判断の入力の情報と対応つけて蓄積する情報蓄積手段をさらに備えるようにすることができる。
データ取得手段、イベント検出手段、呈示制御手段、入力取得手段、能力判定手段、および電源制御手段は、第1の情報処理装置、および第2の情報処理装置のいずれかに分離して配置されるようにすることができる。
データ取得手段、イベント検出手段、および電源制御手段は、第1の情報処理装置に配置され、呈示制御手段、能力判定手段、および入力取得手段は、第2の情報処理装置に配置されるようにすることができる。
データ取得手段および電源制御手段は、第1の情報処理装置に配置され、呈示制御手段、能力判定手段、入力取得手段およびイベント検出手段は、第2の情報処理装置に配置されるようにすることができる。
第1の情報処理装置と第2の情報処理装置の間における通信は、無線通信により行なわれるようにすることができる。
第1の情報処理装置は、バッテリにより駆動されるようにすることができる。
本発明の第1の情報処理方法は、複数のセンサが出力するデータを取得するデータ取得ステップと、データ取得ステップの処理により取得されたデータに基づいて、イベントの発生を検出するイベント検出ステップと、イベント検出ステップの処理により検出されたイベントの呈示を制御する呈示制御ステップと、呈示制御ステップの処理により制御された呈示に基づく、ユーザからの判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、複数のセンサの能力を判定する能力判定ステップと、能力判定ステップの判定結果に基づいて、センサの電源をオンまたはオフする制御を実行する電源制御ステップとを含むことを特徴とする。
本発明の第1の記録媒体に記録されているプログラムは、複数のセンサが出力するデータに基づいて、イベントの発生を検出するイベント検出ステップと、イベント検出ステップの処理により検出されたイベントの呈示を制御する呈示制御ステップと、呈示制御ステップの処理により制御された呈示に基づく、ユーザからの判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、複数のセンサの能力を判定する能力判定ステップと、能力判定ステップの判定結果に基づいて、センサの電源をオンまたはオフする制御を実行する電源制御ステップとを含むことを特徴とする。
本発明の第1のプログラムは、複数のセンサが出力するデータに基づいて、イベントの発生を検出するイベント検出ステップと、イベント検出ステップの処理により検出されたイベントの呈示を制御する呈示制御ステップと、呈示制御ステップの処理により制御された呈示に基づく、ユーザからの判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、複数のセンサの能力を判定する能力判定ステップと、能力判定ステップの判定結果に基づいて、センサの電源をオンまたはオフする制御を実行する電源制御ステップとをコンピュータに実行させることを特徴とする。
本発明の第1の情報処理装置は、監視の結果に基づくデータを出力する複数のセンサと、複数のセンサからデータを取得するデータ取得手段と、データ取得手段により取得されたデータに基づいて、イベントに関する情報を生成する生成手段と、他の情報処理装置と通信する通信手段と、他の情報処理装置から送信されてくるユーザの指令に基づく信号に基づいて、センサの電源をオンまたはオフする制御を実行する電源制御手段とを備えることを特徴とする。
生成手段により生成されたイベントに関する情報に基づいて、イベントの発生を検出し、イベントを通知するための通知用データを生成するイベント検出手段をさらに備え、通信手段は、イベント検出手段により生成された通知用データを他の情報処理装置に送信するとともに、他の情報処理装置から送信されてくるユーザの指令に基づく信号を受信するようにすることができる。
生成手段は、データ取得手段により取得されたデータをイベントに関する情報とし、通信手段は生成手段により生成されたイベントに関する情報としてのデータを他の情報処理装置に送信するとともに、他の情報処理装置から送信されてくるユーザの指令に基づく信号を受信するようにすることができる。
通信手段による通信は、無線通信により行なわれるようにすることができる。
本発明の第1の情報処理装置は、バッテリにより駆動されるようにすることができる。
複数のセンサは、CCD撮像装置、CMOS撮像装置、マイクロホン、マイクロ波センサ、フォトセンサ、および赤外線焦電センサのうち少なくとも2つを含むようにすることができる。
本発明の第2の情報処理方法は、複数のセンサが出力するデータを取得するデータ取得ステップと、データ取得ステップの処理により取得されたデータに基づいて、イベントに関する情報を生成する生成ステップと、生成ステップの処理により生成されたイベントに関する情報を他の情報処理装置に送信する送信ステップと、他の情報処理装置から送信されてくるユーザの指令に基づく信号に基づいて、センサの電源をオンまたはオフする制御を実行する電源制御ステップとを含むことを特徴とする。
本発明の第2の記録媒体に記録されているプログラムは、複数のセンサが出力するデータに基づいて、イベントに関する情報を生成する生成ステップと、生成ステップの処理により生成されたイベントに関する情報を他の情報処理装置に送信する送信ステップと、他の情報処理装置から送信されてくるユーザの指令に基づく信号に基づいて、センサの電源をオンまたはオフする制御を実行する電源制御ステップとを含むことを特徴とする。
本発明の第2のプログラムは、複数のセンサが出力するデータに基づいて、イベントに関する情報を生成する生成ステップと、生成ステップの処理により生成されたイベントに関する情報を他の情報処理装置に送信する送信ステップと、他の情報処理装置から送信されてくるユーザの指令に基づく信号に基づいて、センサの電源をオンまたはオフする制御を実行する電源制御ステップとをコンピュータに実行させることを特徴とする。
本発明の第2の情報処理装置は、複数のセンサの検出結果に基づくイベントの呈示を制御する呈示制御手段と、呈示制御手段により制御されたイベントの呈示に基づくユーザによる判断の入力を取得する入力取得手段と、入力取得手段により取得されたユーザからの判断の入力に基づいて、複数のセンサの能力を判定する能力判定手段とを備えることを特徴とする。
能力判定手段による判定結果に基づいて、他の情報処理装置にセンサの電源をオンまたはオフさせるように制御する電源制御手段をさらに備えるようにすることができる。
複数のセンサからのデータに基づいて、イベントの発生を検出するイベント検出手段をさらに備えることができる。
イベント検出手段により検出されたイベントの情報を、入力取得手段により取得されたユーザからの判断の入力の情報と対応つけて蓄積する情報蓄積手段をさらに備えることができる。
本発明の第3の情報処理方法は、複数のセンサの検出結果に基づくイベントの呈示を制御する呈示制御ステップと、呈示制御ステップの処理により制御されたイベントの呈示に基づくユーザによる判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、複数のセンサの能力を判定する能力判定ステップとを含むことを特徴とする。
本発明の第3の記録媒体に記録されているプログラムは、複数のセンサの検出結果に基づくイベントの呈示を制御する呈示制御ステップと、呈示制御ステップの処理により制御されたイベントの呈示に基づくユーザによる判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、複数のセンサの能力を判定する能力判定ステップとを含むことを特徴とする。
本発明の第3のプログラムは、複数のセンサの検出結果に基づくイベントの呈示を制御する呈示制御ステップと、呈示制御ステップの処理により制御されたイベントの呈示に基づくユーザによる判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、複数のセンサの能力を判定する能力判定ステップとをコンピュータに実行させることを特徴とする。
本発明の監視システム、第1の情報処理方法、記録媒体に記録されている第1のプログラム、およびの第1のプログラムにおいては、複数のセンサが出力するデータが取得され、取得された複数のセンサのデータに基づいて、イベントの発生が検出され、検出されたイベントの呈示が制御され、制御された呈示に基づく、ユーザからの判断の入力が取得され、取得されたユーザからの判断の入力に基づいて、複数のセンサの能力が判定され、判定結果に基づいて、センサの電源をオンまたはオフする制御が実行される。
本発明の第1の情報処理装置、第2の情報処理方法、記録媒体に記録されている第2のプログラム、およびの第2のプログラムにおいては、監視の結果に基づくデータを出力する複数のセンサからデータが取得され、取得されたデータに基づいて、イベントに関する情報が生成される。他の情報処理装置と通信し、他の情報処理装置から送信されてくるユーザの指令に基づく信号に基づいて、センサの電源をオンまたはオフする制御が実行される。
本発明の第2の情報処理装置、第3の情報処理方法、記録媒体に記録されている第3のプログラム、およびの第3のプログラムにおいては、複数のセンサの検出結果に基づくイベントの呈示が制御され、制御されたイベントの呈示に基づくユーザによる判断の入力が取得すされ、取得されたユーザからの判断の入力に基づいて、複数のセンサの能力が判定される。
本発明によれば、イベントを通知することができる。特に、この発明によれば、ユーザの判断の入力に基づいて、使用するセンサを切り替えることができる。その結果、ユーザに必要充分な量の情報を、少ない電力で提供することができる。
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現したり、追加される発明の存在を否定するものではない。
本発明によれば、監視システムが提供される。この監視システム(例えば、図1の監視システム1)は、複数のセンサ(例えば、図2のCCD撮像装置41、CMOS撮像装置42、およびフォトセンサ43−1乃至43−n)が出力するデータ(例えば、センサデータ)を取得するデータ取得手段(例えば、図2のセンサ部31)と、前記データ取得手段により取得された複数の前記センサのデータに基づいて、イベントの発生を検出するイベント検出手段(例えば、図2のイベント検出部33)と、前記イベント検出手段により検出されたイベントの呈示を制御する呈示制御手段(例えば、図3のイベント呈示制御部52)と、前記呈示制御手段により制御された呈示に基づく、ユーザからの判断(例えば、イベントの通知が不要か否かの判断)の入力を取得する入力取得手段(例えば、図3のユーザ入力インターフェイス部53)と、前記入力取得手段により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定手段(例えば、図3のセンサ判定部55)と、前記能力判定手段の判定結果に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御手段(例えば、図2のセンサ電源制御部35)とを備える。
この監視システム(例えば、図1の監視システム1)は、前記イベント検出手段により検出されたイベントの情報(例えば、イベント情報)を、前記入力取得手段により取得されたユーザからの判断の入力の情報と対応つけて蓄積する情報蓄積手段(例えば、図3のイベント情報蓄積部54)をさらに備えるようにすることができる。
この監視システム(例えば、図1の監視システム1)においては、前記データ取得手段(例えば、図2のセンサ部31)、前記イベント検出手段(例えば、図2のイベント検出部33)、前記呈示制御手段(例えば、図3のイベント呈示制御部52)、前記入力取得手段(例えば、図3のユーザ入力インターフェイス部53)、前記能力判定手段(例えば、図3のセンサ判定部55)、および前記電源制御手段(例えば、図2のセンサ電源制御部35)は、第1の情報処理装置(例えば、図1のマルチセンサカメラ11)、および第2の情報処理装置(例えば、図1のサーバ12)のいずれかに分離して配置されるようにすることができる。
本発明によれば、情報処理方法が提供される。この情報処理方法は、複数のセンサ(例えば、図2のCCD撮像装置41、CMOS撮像装置42、およびフォトセンサ43−1乃至43−n)が出力するデータ(例えば、センサデータ)を取得するデータ取得ステップ(例えば、図10のステップS1)と、前記データ取得ステップの処理により取得された前記センサデータに基づいて、イベントの発生を検出するイベント検出ステップ(例えば、図10のステップS3)と、前記イベント検出ステップの処理により検出された前記イベントの呈示を制御する呈示制御ステップ(例えば、図12のステップS42)と、前記呈示制御ステップの処理により制御された呈示に基づく、ユーザからの判断(例えば、イベントの通知が不要か否かの判断)の入力を取得する入力取得ステップ(例えば、図12のステップS45)と、前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定ステップ(例えば、図13のステップS49)と、前記能力判定ステップの判定結果に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御ステップ(例えば、図11のステップS14)とを含む。
本発明によれば、プログラムが提供される。このプログラムは、前記複数のセンサ(例えば、図2のCCD撮像装置41、CMOS撮像装置42、およびフォトセンサ43−1乃至43−n)が出力するデータ(例えば、センサデータ)に基づいて、イベントの発生を検出するイベント検出ステップ(例えば、図10のステップS3)と、前記イベント検出ステップの処理により検出された前記イベントの呈示を制御する呈示制御ステップ(例えば、図12のステップS42)と、前記呈示制御ステップの処理により制御された呈示に基づく、ユーザからの判断(例えば、イベントの通知が不要か否かの判断)の入力に基づいて、前記複数のセンサの能力を判定する能力判定ステップ(例えば、図13のステップS49)と、前記能力判定ステップの判定結果に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御ステップ(例えば、図11のステップS14)とを含む。
本発明によれば、情報処理装置が提供される。この情報処理装置(例えば、図1のマルチセンサカメラ11)は、監視の結果に基づくデータ(例えば、センサデータ)を出力する複数のセンサ(例えば、図2のCCD撮像装置41、CMOS撮像装置42、およびフォトセンサ43−1乃至43−n)と、前記複数のセンサから前記データを取得するデータ取得手段(例えば、図2のセンサ部31)と、前記データ取得手段により取得された前記データに基づいて、イベントに関する情報(例えば、イベント処理データ)を生成する生成手段(例えば、図2のセンサデータ処理部32)と、他の情報処理装置(例えば、図1のサーバ12)と通信する通信手段(例えば、図2の通信部34)と、前記他の情報処理装置から送信されてくるユーザの指令(例えば、イベントの通知が不要か否かの判断)に基づく信号(例えば、センサ電源制御信号)に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御手段(例えば、図2のセンサ電源制御部35)とを備える。
この情報処理装置(例えば、図1のマルチセンサカメラ11)においては、前記生成手段により生成された前記イベントに関する情報に基づいて、イベントの発生を検出し、前記イベントを通知するための通知用データ(例えば、イベント通知データ)を生成するイベント検出手段をさらに備え、前記通信手段は、前記イベント検出手段により生成された前記通知用データを前記他の情報処理装置に送信するとともに、前記他の情報処理装置から送信されてくるユーザの指令(例えば、イベントの通知が不要か否かの判断)に基づく信号(例えば、センサ電源制御信号)を受信するようにすることができる。
この情報処理装置(例えば、図1のマルチセンサカメラ11)においては、前記生成手段は、前記データ取得手段により取得された前記データを前記イベントに関する情報(例えば、イベント処理データ)とし、前記通信手段は前記生成手段により生成された前記イベントに関する情報としての前記データを前記他の情報処理装置に送信するとともに、前記他の情報処理装置から送信されてくるユーザの指令(例えば、イベントの通知が不要か否かの判断)に基づく信号(例えば、センサ電源制御信号)を受信するようにすることができる。
本発明によれば、情報処理方法が提供される。この情報処理方法は、複数のセンサ(例えば、図2のCCD撮像装置41、CMOS撮像装置42、およびフォトセンサ43−1乃至43−n)が出力するデータ(例えば、センサデータ)を取得するデータ取得ステップ(例えば、図10のステップS1)と、前記データ取得ステップの処理により取得されたデータに基づいて、イベントに関する情報(例えば、イベント通知データ)を生成する生成ステップ(例えば、図10のステップS6)と、前記生成ステップの処理により生成された前記イベントに関する情報を他の情報処理装置(例えば、図1のサーバ12)に送信する送信ステップ(例えば、図10のステップS7)と、前記他の情報処理装置から送信されてくるユーザの指令(例えば、イベントの通知が不要か否かの判断)に基づく信号(例えば、センサ電源制御信号)に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御ステップ(例えば、図11のステップS14)とを含む。
本発明によれば、プログラムが提供される。このプログラムは、複数のセンサ(例えば、図2のCCD撮像装置41、CMOS撮像装置42、およびフォトセンサ43−1乃至43−n)が出力するデータ(例えば、センサデータ)に基づいて、イベントに関する情報(例えば、イベント通知データ)を生成する生成ステップ(例えば、図10のステップS6)と、前記生成ステップの処理により生成された前記イベントに関する情報を他の情報処理装置(例えば、図1のサーバ12)に送信する送信ステップ(例えば、図10のステップS7)と、前記他の情報処理装置から送信されてくるユーザの指令(例えば、イベントの通知が不要か否かの判断)に基づく信号(例えば、センサ電源制御信号)に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御ステップ(例えば、図11のステップS14)とを含む。
本発明によれば、情報処理装置が提供される。この情報処理装置(例えば、図1のサーバ12)は、複数のセンサの検出結果に基づくイベントの呈示を制御する呈示制御手段(例えば、図3のイベント呈示制御部52)と、前記呈示制御手段により制御されたイベントの呈示に基づくユーザによる判断(例えば、イベントの通知が不要か否かの判断)の入力を取得する入力取得手段(例えば、図3のユーザ入力インターフェイス部53)と、前記入力取得手段により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定手段(例えば、図3のセンサ判定部55)とを備える。
この情報処理装置(例えば、図1のサーバ12)は、前記能力判定手段による判定結果に基づいて、他の情報処理装置(例えば、図1のマルチセンサカメラ11)に前記センサの電源をオンまたはオフさせるように制御する電源制御手段(例えば、図3のセンサ電源制御指令部56)をさらに備えるようにすることができる。
この情報処理装置(例えば、図20のサーバ312)は、前記複数のセンサが出力するデータに基づいて、イベントの発生を検出するイベント検出手段(例えば、図20のイベント検出部357)をさらに備えるようにすることができる。
この情報処理装置(例えば、図1のサーバ12)は、前記イベント検出手段により検出されたイベントの情報(例えば、イベント情報)を、前記入力取得手段により取得されたユーザからの判断の入力の情報と対応つけて蓄積する情報蓄積手段(例えば、図3のイベント情報蓄積部54)をさらに備えるようにすることができる。
本発明によれば、情報処理方法が提供される。この情報処理方法は、複数のセンサ(例えば、図2のCCD撮像装置41、CMOS撮像装置42、およびフォトセンサ43−1乃至43−n)の検出結果に基づくイベントの呈示を制御する呈示制御ステップ(例えば、図12のステップS42)と、前記呈示制御ステップの処理により制御されたイベントの呈示に基づくユーザによる判断(例えば、イベントの通知が不要か否かの判断)の入力を取得する入力取得ステップ(例えば、図12のステップS45)と、前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定ステップ(例えば、図13のステップS49)とを含む。
本発明によれば、プログラムが提供される。このプログラムは、複数のセンサ(例えば、図2のCCD撮像装置41、CMOS撮像装置42、およびフォトセンサ43−1乃至43−n)の検出結果に基づくイベントの呈示を制御する呈示制御ステップ(例えば、図12のステップS42)と、前記呈示制御ステップの処理により制御されたイベントの呈示に基づくユーザによる判断(例えば、イベントの通知が不要か否かの判断)の入力を取得する入力取得ステップ(例えば、図12のステップS45)と、前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定ステップと(例えば、図13のステップS49)とを含む。
以下、図を参照して、本発明の実施の形態について説明する。
図1は、本発明を適用した監視システム1の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ11が設けられており、図中右側の通知・呈示側に、サーバ12、および呈示部13が設けられている。マルチセンサカメラ11とサーバ12は、無線通信を行う。呈示部13は、例えば、一般のテレビジョン受像機や専用のモニタとされる。
マルチセンサカメラ11には、複数のセンサが設けられており、各センサは、バッテリにより駆動される。また、各センサは、イベントを監視したい領域(必要な場所)を監視できるように設置されている。イベントが発生した場合、マルチセンサカメラ11からサーバ12に検出データが通知され、さらにサーバ12で呈示用のデータが作成され、呈示部13に通知され、呈示される。
ユーザ14は、呈示されたイベントに対して、今後も通知が必要か、今後は通知が必要ないかを判断し、その判断を示す指令を、サーバ12に入力する。このユーザ14からの判断の入力に基づいて、後述するセンサ判定処理により、ユーザ14が通知を必要とするイベントを検出するのに最適なセンサが選択され、その他のセンサの電源がオフされることにより、無駄な消費電力が抑制される。
図2は、図1のマルチセンサカメラ11の機能的構成を示すブロック図である。
マルチセンサカメラ11には、センサ部31、センサデータ処理部32、イベント検出部33、通信部34、センサ電源制御部35、およびバッテリ36が設けられている。センサ部31は、CCD撮像装置41、CMOS撮像装置42、n個のフォトセンサ43−1乃至43−nから構成されている。nの値は任意であるが、例えば4個とされる。CCD撮像装置41とCMOS撮像装置42は、いずれも監視領域の物体を撮像する。フォトセンサ43−1乃至43−nは、それぞれの監視領域の物体の有無を検出する。また、CCD撮像装置41、CMOS撮像装置42、フォトセンサ43−i(i=1,2,…,n)は、その順番に、消費電力が大きく、かつ、解像度が高い。
図14を参照して後述するセンサ判定処理が実行されるまでは、センサ部31に設けられている全てのセンサの電源がオンされ、全てのセンサがイベントを検出するセンサ(以下、イベント検出用センサと称する)として、監視領域を監視する。センサ判定処理が実行され、イベント検出用センサが選択された後は、選択されたイベント検出用センサのみの電源がオンされ、それが監視領域を監視する。また、イベント発生時には、CCD撮像装置41で撮像した画像が、ユーザに呈示される。そのため、センサ判定処理によりCCD撮像装置41がイベント検出用センサとして選択されていない場合、イベントの発生にあわせて、CCD撮像装置41の電源がオンされる。
センサデータ処理部32は、CCD撮像装置41、CMOS撮像装置42、複数のフォトセンサ43−1乃至43−nが人、動物、その他の監視対象の物体を検出して出力するデータ(以下、センサデータと称する)から、イベント検出およびイベント呈示に必要なデータ(以下、イベント処理データと称する)を抽出して、イベント検出部33に出力する。
イベント検出部33は、センサデータ処理部32から得られたイベント処理データに基づいて、イベントの検出処理を行う。イベント検出部33は、イベントを検出した場合、検出したイベントに対する各センサの検出状況およびイベント呈示に必要なデータを含むデータ(以下、イベント通知データと称する)を生成し、通信部34を介してサーバ12に送信する。また、通信部34は、サーバ12から送信されてくるセンサ電源制御信号を受信し、センサ電源制御部35に供給する。
センサ電源制御部35は、センサ電源制御信号に基づき、センサ部31の各センサの電源の状態を制御する。また、センサ電源制御部35は、前述したセンサ判定処理後のCCD撮像装置41の電源の制御を行う。CCD撮像装置41がイベント検出用センサとして選択されなかった場合、センサ電源制御部35は、イベント発生時に、CCD撮像装置41の電源をオンし、イベント終了時にCCD撮像装置41の電源をオフする。
センサ電源制御部35が、センサ部31の各センサの電源の状態を制御し、ユーザに通知が必要なイベントの検出に最適なセンサ以外の電源をオフすることにより、マルチセンサカメラ11の消費電力を抑える。
バッテリ36は、マルチセンサカメラ11の各部に対して必要な電力を供給している。
図3は、図1のサーバ12の機能的構成を示すブロック図である。
サーバ12には、通信部51、イベント呈示制御部52、ユーザ入力インターフェイス部53、イベント情報蓄積部54、センサ判定部55、およびセンサ電源制御指令部56が設けられている。
通信部51は、マルチセンサカメラ11の通信部34と無線で通信する。イベント呈示制御部52は、通信部51を介して、マルチセンサカメラ11の通信部34から送信されたイベント通知データを受信する。イベント呈示制御部52は、取得したイベント通知データに基づき、呈示部13への呈示データを作成し、呈示部13に出力する。また、イベント呈示制御部52は、呈示したイベントのイベント情報をイベント情報蓄積部54に保存する。
ユーザ入力インターフェイス部53は、呈示したイベントに対して、今後も通知が必要か、今後は通知が不要かを、ユーザが判断する入力を受け付け、取得した判断入力情報を、イベント情報蓄積部54に保存されているイベント情報に追加する。
センサ判定部55は、イベント情報蓄積部54に蓄積されたイベント情報に基づき、ユーザが通知を必要とするイベントを検出するために最適なセンサ(必要最小限度の解像度(情報量)が得られるセンサ)を選択し、選択結果をセンサ電源制御指令部56に通知する。
センサ電源制御指令部56は、センサ判定部55からのセンサ判定結果の通知に基づき、センサ電源制御信号を、通信部51を介して、マルチセンサカメラ11に送信する。
次に、図4乃至図9を参照して、監視システム1により行われるセンサ判定処理のコンセプトを説明してから、図10乃至図15を参照して、監視システム1により実行される処理の流れを説明する。
図4は、マルチセンサカメラ11に備えられた各センサの、イベントを検出するために使用する(有している)情報量と、イベントを検出するために必要な電力の関係を示した図である。横軸が情報量を表し、縦軸が電力を表す。線101はCCD撮像装置41の特性を、線102はCMOS撮像装置42の特性を、線103はn個のフォトセンサ43−1乃至43−nを使用した場合の特性を、線104はフォトセンサ43−1乃至43−nのうち1個のフォトセンサを使用した場合の特性を、それぞれ表す。
図4の線101は、CCD撮像装置41が、線102の特性のCMOS撮像装置42や線103、104の特性のフォトセンサ43に比べて、情報量の少ない(低解像度の)イベントから情報量の多い(高解像度の)イベントまで検出可能であるが、イベント検出に必要な電力は大きくなることを示している。線102の特性のCMOS撮像装置42は、線103、104の特性のフォトセンサ43に比べて、情報量の少ない(低解像度の)イベントから情報量の多い(高解像度の)イベントまで検出可能であるが、イベント検出に必要な電力は大きくなることを示している。一方、線103の特性のn個のフォトセンサ43−1乃至43−nは、線104の特性の1個のフォトセンサ43iより、情報量の多い(高解像度の)イベントを検出できるが、イベント検出に必要な電力も大きくなることを示している。従って、ユーザが通知してほしいイベントの検出に必要な情報量に応じて、使用するセンサを切り替えることで、マルチセンサカメラ11の消費電力を必要最小限に抑えることができる。
例えば、図5と図6は同じ場面を別のセンサで検出した画像の例を表し、図5は高解像度のセンサとしてのCCD撮像装置41で検出した画像の例を表わし、図6は低解像度のセンサとしてのCMOS撮像装置42で検出した画像の例を表わす。図5の中央に映った人形61の存在は、図6の丸印62で囲んだ部分でも検出可能である。従って、例えば、ユーザが、この例の人形61の存在を検出する程度の情報量が必要なイベントの通知を必要とするのであれば、高解像度のセンサ(例えば、CCD撮像装置41)の使用をやめて、低解像度のセンサ(例えば、CMOS撮像装置42)のみを使用して、ユーザが通知を必要とするイベントを検出することができる。それにより、高解像度のセンサ(例えば、CCD撮像装置41)を使用する場合に比べて、マルチセンサカメラ11の消費電力を抑えることができる。
同じく、図7と図8は同じ場面を別のセンサで検出した画像の例を表わし、図7は高解像度のセンサ(例えば、CCD撮像装置41)で、図8は低解像度のセンサ(例えば、CMOS撮像装置42)で、それぞれ検出した画像の例を表わす。図7の丸印71で囲った部分に映った自動車は、図8の画像では、前の自動車と区別できなくなっている。従って、例えば、ユーザが、自動車の通行を監視したい場合には、高解像度のセンサ(例えば、CCD撮像装置41)を使用し、低解像度のセンサ(例えば、CMOS撮像装置42)の使用をやめることにより、ユーザが通知を必要とするイベントを検出できる。
しかし、ユーザが通知を必要とするイベントにより、イベント検出に必要な情報量は変化する上に、一般的に、ユーザには、イベントを検出するためにどの程度の情報量が必要なのか分からない。
図9は、図4の特性グラフに説明を補助するための線と点を付け足したグラフである。図9のグラフから、あるイベントに対して、そのイベントを検出できたセンサを把握することにより、そのイベントを検出するために必要な情報量の目安を把握できることを示している。例えば、あるイベントを全てのセンサが検出できていた場合は、そのイベントを検出するために必要な情報量は、図9の線104の右端点に対応する情報量の点I4より右側の領域となる。同じく、あるイベントをCMOS撮像装置42とCCD撮像装置41が検出できていた場合は、そのイベントを検出するために必要な情報量は、図9の線102の右端点に対応する情報量の点I2から右側の領域となる。
監視システム1では、監視システム1が呈示したイベントに対して、ユーザから、今後も通知が必要か、それとも今後は通知が不要かの判断の入力を取得する。ユーザが今後も通知が必要と判断した全てのイベントに対して、それらのイベントを検出できたセンサの統計を取ることにより、ユーザが必要とするイベントを検出するために必要な情報量を把握することができる。そして、その統計結果に基づき、ユーザが通知を必要とするイベントを検出するのに最適なセンサを選択して、他のセンサの電源をオフすることにより、マルチセンサカメラ11の消費電力を抑えることができる。例えば、ユーザが必要とするイベントを検出するために必要な情報量が、点I2以下(CMOS撮像装置42で検出可能な範囲)であれば、CMOS撮像装置42のみを使用することにより、CCD撮像装置41を使用する場合に比べ、マルチセンサカメラ11の消費電力を抑えることができる。
次に、図10乃至図15を参照して、図1の監視システム1により実行される処理を説明する。
最初に、図10および図11を参照して、マルチセンサカメラ11により実行されるイベント監視処理を説明する。説明は、センサ判定処理によりイベント検出用センサが選択されるまでの処理、センサ判定処理が実行され、イベント検出用センサが選択された後の処理の順で行う。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。監視システム1でイベント監視処理が開始されてから、センサ判定処理により所定のイベント検出用センサが選択されるまでの間、マルチセンサカメラ11のセンサ部31に設けられているセンサは、全てイベント検出用センサとして、常に電源がオンされ、監視領域を監視する。
センサ判定処理が実行される前の状態においては、次のような処理が行われる。すなわち、ステップS1において、センサ部31は、監視領域に設けられているCCD撮像装置41、CMOS撮像装置42、フォトセンサ43−1乃至43−nのそれぞれからセンサデータを取得し、センサデータ処理部32に出力する。CCD撮像装置41とCMOS撮像装置42は、それぞれが、物体を撮像して得られた画像データをセンサデータとして出力し、フォトセンサ43−1乃至43−nは、それぞれ物体の有無(変化の有無)を表わす信号をセンサデータとして出力する。
ステップS2において、センサデータ処理部32は、取得したセンサデータから、イベント検出およびイベント呈示に必要なデータを抽出し、イベント処理データを生成する。
ステップS3において、イベント検出部33は、センサデータ処理部32よりイベント処理データを取得し、取得したイベント処理データに基づいて、ユーザに通知すべきイベントが発生中か否かを判定する。例えば、CCD撮像装置41またはCMOS撮像装置42により取得した画像データのフレーム間差分を演算し、フレーム間差分の重心位置から特徴量を計算し、その特徴量からイベントが発生中か否かを判定したり、フォトセンサ43−1乃至43−nにより基準値以上の明るさの変化が検出されたか否かでイベントが発生中か否かを判定したりする。ステップS3において、ユーザに通知すべきイベントが発生中ではない(まだ、イベントは発生していない)と判定された場合、処理はステップS13に進む。
ステップS13において、通信部34は、サーバ12からセンサ電源制御信号を受信したか否かを判定する。このセンサ電源制御信号は、後述する図13のステップS50において、サーバ12から、センサ判定処理で選択されたイベント検出用センサ以外の電源をオフするために送信される。センサ判定処理は、イベント終了後に、サーバ12にセンサ判定処理をするために十分なイベント情報が蓄積された時点で行われる。いまの場合は、まだ十分なイベント情報が蓄積されていないため、ステップS14の処理はスキップされ、処理はステップS15に進む。
ステップS15において、ユーザから監視領域における監視の終了が指令されたか否かが判定され、終了の指令がないと判定されれば、処理はステップS1に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令がされたと判定された場合は、イベント監視処理は終了される。
ステップS3において、ユーザに通知すべきイベントが発生中である(新たに発生した)と判定された場合、処理はステップS4に進む。
ステップS4において、センサ電源制御部35は、CCD撮像装置41がイベント検出用センサか否かを判定する。いまの場合、まだセンサ判定処理が実施される前であり、他のセンサと同様に、CCD撮像装置41もイベント検出用センサなので、ステップS5の処理はスキップされ、処理はステップS6に進む。
ステップS6において、イベント検出部33は、ステップS3で取得したイベント処理データに基づき、検出されたイベントに対する各センサの検出状況およびイベント呈示に必要なデータを含むデータ(イベント通知データ)を生成する。
ステップS7において、イベント検出部33は、通信部34を介してサーバ12にイベント通知データを送信する。
ステップS8において、ステップS1と同様に、センサ部31は、CCD撮像装置41、CMOS撮像装置42、フォトセンサ43−1乃至43−nのそれぞれからセンサデータを取得し、センサデータ処理部32に出力する。
ステップS9において、ステップS2と同様に、センサデータ処理部32は、イベント処理データを生成する。
ステップS10において、ステップS3と同様に、イベント検出部33は、ユーザに通知すべきイベントがまだ発生中か否かを判定する。ユーザに通知すべきイベントがまだ発生中である(イベントが継続中)と判定された場合は、処理はステップS6に戻り、それ以降の処理(サーバ12へのイベント通知データの送信)が繰り返される。これにより、一旦発生したイベントは、以後、継続的にサーバに通知される。
ステップS10において、イベントが発生していない(イベントが終了した)と判定された場合は、処理はステップS11に進む。
ステップS11において、ステップS4と同様に、センサ電源制御部35は、CCD撮像装置41がイベント検出用センサか否かを判定する。いまの場合、まだセンサ判定処理が実施される前であり、他のセンサと同様に、CCD撮像装置41もイベント検出用センサなので、ステップS12の処理はスキップされ、処理はステップS13に進む。
ステップS13において、上述したとおり、通信部34は、サーバ12から送信されるセンサ電源制御信号を受信したか否かを判定する。サーバ12で、センサ判定処理が実施され、センサ電源制御信号が送信されるまでは、ステップS14の処理はスキップされ、処理はステップS15に進む。ステップS15において、ユーザから監視領域における監視を終了するように指令がされなかったと判定された場合は、処理はステップS1に戻り、監視処理がそのまま継続され、監視を終了するように指令がされた場合は、監視処理が終了する。
監視システム1でイベント検出が繰り返され、センサ判定処理をするために十分なイベント情報がサーバ12に蓄積された時点で、後述する図13のステップS49において、サーバ12において、センサ判定処理が実施される。そして、図13のステップS50において、サーバ12からセンサ電源制御信号が送信されてくる。この場合、ステップS13において、マルチセンサカメラ11の通信部34は、そのセンサ電源制御信号を受信し、処理はステップS14に進む。
ステップS14において、センサ電源制御部35は、通信部34からセンサ電源制御信号を取得する。センサ電源制御部35は、センサ電源制御信号に基づき、センサ判定処理で選択されたイベント検出用センサ以外の電源がオフするよう制御するので、これ以降マルチセンサカメラ11の消費電力を抑えられる。また、センサ電源制御部35は、イベント判定処理で選択されたイベント検出用センサの種類を記憶しておく。そして、処理はステップS15に進み、ユーザから監視領域における監視を終了するように指令がされなかったと判定された場合は、処理はステップS1に戻り、監視処理が継続され、監視を終了するように指令がされた場合は、監視処理が終了する。
次に、センサ判定処理で、イベント検出用センサが選択された後の処理について説明する。ここでは、イベント検出用センサとして、CMOS撮像装置42が選択され、上述した図13のステップS14の処理で、CMOS撮像装置42以外の電源がオフされているものとして説明する。
ステップS1において、センサ部31は、CMOS撮像装置42からセンサデータ(画像データ)を取得し、センサデータ処理部32に出力する。
ステップS2において、センサデータ処理部32は、取得したセンサデータから、イベント検出およびイベント呈示に必要なデータを抽出して、イベント処理データを生成する。
ステップS3において、イベント検出部33は、センサデータ処理部32よりイベント処理データを取得し、取得したイベント処理データに基づいて、ユーザに通知すべきイベントが発生中か否かを判定する。ユーザに通知すべきイベントが発生中ではないと判定された場合、処理はステップS13に進み、上述したセンサ判定処理前と同様の処理が行われる。
ステップS3において、ユーザに通知すべきイベントが発生中である(発生した)と判定された場合、処理はステップS4に進む。
ステップS4において、センサ電源制御部35は、CCD撮像装置41がイベント検出用センサか否かを判定する。いまの場合、CCD撮像装置41ではなく、CMOS撮像装置42がイベント検出用センサなので、処理はステップS5に進む。
ステップS5において、センサ電源制御部35は、CCD撮像装置41の電源をオンする。センサ部31は、電源がオンされたCCD撮像装置41のセンサデータ(画像データ)を取得し、センサデータ処理部32に出力する。センサデータ処理部32は、取得したセンサデータから、イベント呈示に必要なデータ(イベント処理データ)を抽出して(いまの場合、画像データがそのままイベント処理データとして抽出され)、イベント検出部33に出力し、処理はステップS6に進む。この処理は、上述したように、イベント発生時に、CCD撮像装置41で撮像した画像をユーザに呈示させるために行われる。なお、CCD撮像装置41がイベント検出用センサの場合、CCD撮像装置41の電源をオンさせる必要はないため、ステップS5の処理はスキップされる。
ステップS6において、イベント検出部33は、ステップS3およびS5で取得したイベント処理データに基づき、イベント通知データを生成する。いまの場合、画像データが、そのままイベント通知データとして生成される。
ステップS7において、イベント検出部33は、通信部34を介してサーバ12にイベント通知データを送信する。
ステップS8において、ステップS1と同様に、センサ部31は、CCD撮像装置41およびCMOS撮像装置42から、センサデータを取得し、センサデータ処理部32に出力する。
ステップS9において、ステップS2と同様に、センサデータ処理部32は、イベント処理データを生成する。いまの場合、CCD撮像装置41が出力する画像データと、CCD撮像装置42が出力する画像データがイベント処理データとされる。
ステップS10において、イベント検出部33は、センサデータ処理部32よりイベント処理データを取得し、取得したイベント処理データに基づいて、ユーザに通知すべきイベントがまだ発生中か否かを判定する。ただし、CCD撮像装置41はイベント検出用センサでないため、CCD撮像装置41のセンサデータはイベント判定処理に使用されず、イベント検出用センサとして選択されているCMOS撮像装置42のセンサデータ(画像データ)がイベント判定処理に用いられる。ユーザに通知すべきイベントがまだ発生中であると判定された場合は、処理はステップS6に戻り、それ以降の処理(サーバ12へのイベント通知データの送信処理)が繰り返される。
ステップS10において、イベントが発生していない(イベントが終了した)と判定された場合、処理はステップS11に進み、ステップS4と同様に、センサ電源制御部35は、CCD撮像装置41がイベント検出用センサか否かを判定する。いまの場合は、イベント検出用センサはCMOS撮像装置42であり、CCD撮像装置41ではないので、処理はステップS12に進む。
ステップS12において、イベントの終了に伴い、ユーザへのイベントの呈示は終了されるので、センサ電源制御部35は、イベント呈示のためのCCD撮像装置41の電源をオフする。以上のように、イベントの状態に伴いCCD撮像装置41の電源を制御することにより、マルチセンサカメラ11の電力の消費が抑えられる。なお、CCD撮像装置41がイベント検出用センサの場合、CCD撮像装置41の電源をオフさせる必要はないため、ステップS12の処理はスキップされる。
ステップS13以降では、上述したセンサ判定処理前と同様の処理が行われる。
なお、以上では、センサ判定処理後にユーザに呈示される画像を撮像するセンサをCCD撮像装置41とする例を説明したが、CMOS撮像装置42の画像をそのままユーザに呈示させたり、呈示画像を撮像するセンサをユーザに選択させたりすることも可能である。
次に、図12乃至図15を参照して、以上のマルチセンサカメラ11による処理に対応して、サーバ12で実行されるイベント監視処理を説明する。なお、この処理は、ユーザにより、イベント監視処理を開始するよう指令されたとき、開始される。
ステップS41において、通信部51は、マルチセンサカメラ11からイベント通知データを受信したか否かを判定する。このイベント通知データは、図10のステップS7において、マルチセンサカメラ11から送信されたデータである。イベント通知データを受信しなかったと判定された場合は、処理はステップS51に進む。
ステップS51において、ユーザから監視領域における監視の終了が指令されたか否かが判定され、終了の指令がないと判定されれば、処理はステップS41に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令がされたと判定された場合は、イベント監視処理は終了される。
ステップS41において、イベント通知データを受信したと判定された場合、処理はステップS42に進み、イベント呈示制御部52は、通信部51から、イベント通知データを取得する。イベント呈示制御部52は、取得したイベント通知データに基づき、ユーザに呈示するデータを作成し、図1の呈示部13に出力し、呈示させる。これにより、イベントとして検出された画像(CCD撮像装置41により撮像された画像)がユーザに呈示される。
ステップS43において、ステップS41と同様に、通信部51は、マルチセンサカメラ11から送信されたイベント通知データをまだ受信中か否かを判定する。イベント通知データを受信中と判定された場合は、処理はステップS42に戻り、それ以降の処理(イベント呈示処理)が繰り返される。
ステップS43において、イベント通知データを受信中でない(イベント通知データの受信が終了した)と判定された場合は、処理はステップS44に進む。ステップS44において、イベント呈示制御部52は、呈示したイベントに関する情報をイベント情報としてイベント情報蓄積部54に保存する。このイベント情報には、イベントの発生時刻、各センサがイベントを検出できたか否かを示す各センサのイベント検出情報、およびステップS45においてユーザから入力される今後も通知が必要か否かを判断する判断入力情報が含まれる。
ステップS45において、ユーザ入力インターフェイス部53は、ステップS42において呈示したイベントに対して、今後も通知が必要か否かを判断する入力をユーザから取得したか否かを判定する。ユーザからの判断入力が取得された場合は、処理はステップS46に進み、ユーザ入力インターフェイス部53は、取得された判断入力情報を、ステップS44においてイベント情報蓄積部54に保存したイベント情報に追加し、保存する。ユーザからの判断入力が取得されなかった場合は、ステップS46の処理はスキップされ、処理はステップS47に進む。
なお、ステップS45において取得されるユーザからの判断入力は、ステップS42のイベント呈示中に入力可能であり、イベント呈示中に入力された場合は、ステップS45の処理を行うまで、ユーザ入力インターフェイス部53に一時保存される。
ステップS47において、センサ判定部55は、センサ判定処理が未実施か否かを判定する。センサ判定処理実施前の場合、処理はステップS48に進む。
ステップS48において、センサ判定部55は、イベント情報蓄積部54に保存されているユーザからの判断入力情報の蓄積量が、センサ判定処理を実行するのに十分な所定の量(例えば、所定の回数)を超えたか否かを判定する。判断入力情報の蓄積量が所定の量を超えるまでは、ステップS47でセンサ判定処理が実施済みであると判定された場合と同様に、次のステップS49およびS50の処理はスキップされ、処理はステップS51に進む。ステップS51において、ユーザから監視領域における監視の終了が指令されなかったと判定された場合、処理はステップS41に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令されたと判定された場合は、イベント監視処理は終了される。
イベント検出が繰り返され、ステップS48において、判断入力情報の蓄積量が所定の量を超えたと判定された場合、処理はステップS49に進み、センサ判定処理が行われ、ユーザが通知を必要とするイベントを検出するために最適なセンサがイベント検出用センサに選ばれる。センサ判定処理の詳細に関しては、図14を参照して後述する。
ステップS50において、センサ判定部55は、センサ判定処理の結果をセンサ電源制御指令部56に通知する。センサ電源制御指令部56は、通信部51を介して、ステップS49で選択されたイベント検出用センサ以外の電源をオフさせるためのセンサ電源制御信号をマルチセンサカメラ11に送信する。マルチセンサカメラ11は、このセンサ電源制御信号に基づいて、上述した図11のステップS14において、イベント検出用センサ以外の電源をオフさせる。また、センサ電源制御指令部56は、センサ判定処理で選択されたセンサの種類を記憶しておく。
ステップS51において、ユーザから監視領域における監視の終了が指令されなかったと判定された場合は、処理はステップS41に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令されたと判定された場合は、イベント監視処理は終了される。
センサ判定処理後にサーバ12により実行される処理(ステップS47でNOと判定された場合の処理)は、センサ判定処理前の処理と同様である。なお、ステップS45において取得されるイベントに対するユーザの判断入力情報は、センサ判定処理後については、例えば、イベント検出用センサが検出したイベントを、さらに通知が必要なイベントと不要なイベントに分類して、通知が必要と判断されたイベントのみ通知するように制御するための情報として使用したりすることが可能である。
次に、図14を参照して、図13のステップS49で実行されるセンサ判定処理を説明する。
ステップS101において、センサ判定部55は、イベント情報蓄積部54に蓄積された過去のイベント情報をロードする。
図15は、ステップS101においてロードされたイベント情報の例を表わす。
図15の1行目は、いちばん右端の列を除いて、イベント発生時刻を示す。この図の例では、時刻T=t、T=t+M、T=t+M+Nにおいて、合計3回のイベントが発生している。
図15の2行目乃至5行目は、いちばん右端の列を除いて、1列目に記述された各センサが、各時刻においてイベントを検出できたか否か示すセンサ毎のイベント検出情報を表わす。「変化検知」はセンサがイベントを検出できたことを示し、「反応なし」はセンサがイベントを検出できなかったことを示す。例えば、時刻T=tに発生したイベントは、CCD撮像装置41、およびCMOS撮像装置42により検出されたが、n個のフォトセンサ43−1乃至43−n、およびフォトセンサ43−1乃至43−nのうち1個のみでは、イベントを検出できなかったことになる。
図15の6行目は、各イベントに対するユーザの判断入力情報を示す。「通知要」は、ユーザがそのイベントを今後も通知が必要とする判断を入力したことを示し、「通知不要」は、ユーザがそのイベントを今後は通知が不要とする判断を入力したことを示している。
センサ判定部55は、以上のイベント情報に基づき、図15のいちばん右端の列に示されている各センサの集計結果を求める。集計結果の分母は、ユーザが今後も通知が必要する判断を入力したイベントの回数を表わし、分子は、ユーザが今後も通知が必要とする判断を入力したイベントを各センサが検出できた回数を表わす。例えば、n個のフォトセンサ43−1乃至43−nを使用した場合、ユーザが今後も通知が必要とする判断を入力したイベント2回のうち1回検出できているので、集計結果(確率)は1/2となる。
この集計結果の値が所定の閾値以上か否かで、センサの能力が判定される。例えば、図15の例において、センサの能力判定の閾値を90%とした場合、CCD撮像装置41、およびCMOS撮像装置42は、集計結果が100%なので、ユーザが通知を必要とするイベントを検出する能力を有すると判定される。これに対して、n個の複数のフォトセンサ43−1乃至43−n、およびフォトセンサ43−1乃至43−nのうちの1個のみは、集計結果が50%なので、ユーザが通知を必要とするイベントを検出する能力を有しないと判定される。
以降は、図15のイベント情報に基づき、センサ能力判定の閾値を90%として、図14の処理を説明する。
ステップS102において、センサ判定部55は、センサ判定処理の終了していないセンサの中から最も消費電力の少ないセンサをセンサ判定処理の対象に選ぶ。従って、センサ判定処理は、消費電力の少ないセンサから順に、フォトセンサ43−1乃至43−nのうち1個、n個のフォトセンサ43−1乃至43−n、CMOS撮像装置42、CCD撮像装置41の順に行われる。
ステップS103において、センサ判定部55は、ステップS102で選択したセンサが、ユーザが通知を必要とするイベントを検出する能力を有しているか否かを判定する。まず、フォトセンサ43−1乃至43−nのうち1個のみを使用した場合のセンサ判定処理が行われ、ユーザが通知を必要とするイベントを検出する能力を有しないと判定された場合、処理はステップS105に進む。
ステップS105において、センサ判定部55は、全てのセンサの判定処理が終了したか否かを判定する。いまの場合、全てのセンサの判定処理が終了していないので、処理はステップS102に戻る。
ステップS102において、次は、n個のフォトセンサ43−1乃至43−nがセンサ判定処理の対象となる。n個のフォトセンサ43−1乃至43−nを使用した場合も、ユーザが通知を必要とするイベントを検出する能力を有しないと判定されると、同様の処理により、ステップS102に戻り、次は、CMOS撮像装置42がセンサ判定処理の対象となり、処理はステップS103に進む。
ステップS103において、CMOS撮像装置42は、ユーザが通知を必要とするイベントを検出する能力を有すると判定される。センサ判定処理は、消費電力の少ないセンサから順番に行われるため、CMOS撮像装置42が、ユーザが通知を必要とするイベントを検出する能力を有するセンサの中で、最も消費電力のセンサとなる。そこで、センサ選択処理は完了したことになり、処理はステップS104に進む。
ステップS104において、センサ判定部55は、判定対象のセンサ(CMOS撮像装置42)をイベント検出用センサに選択し、センサ判定処理が終了される。
なお、ステップS105において、全てのセンサの判定処理が終了したと判定され、処理がステップS106に進むのは、全てのセンサが、ユーザが通知を必要とするイベントを検出する能力を有していないと判定された場合である。CCD撮像装置41は、他のセンサが検出したイベントを検出できる能力を有し、イベント検出率100%と想定されるため、通常はあり得ないケースである。仮に、何らかの条件でCCD撮像装置41がイベントを検出できず、処理がステップS106に進んだ場合、センサ判定部55は、最も情報量の多いイベントを検出できるセンサ(CCD撮像装置41)を、イベント検出用センサに選択し、センサ判定処理を終了する。
以上説明した監視システム1の一連の処理により、監視システム1では、マルチセンサカメラ11の各センサの中から、ユーザが通知を必要とするイベントを検出する能力を有し、かつ最も消費電力の少ないセンサがイベント検出用センサに選択され、他のセンサの電源がオフされる。また、センサ判定処理後は、イベントの発生にあわせて、ユーザに呈示する画像を撮像するCCD撮像装置41の電源が制御される。従って、マルチセンサカメラ11の消費電力を最低限に抑えつつ、かつユーザが通知を必要とするイベントを呈示することができる。
また、監視システム1には、図16のマルチセンサカメラ211のように、感光系のCCD撮像装置241とフォトセンサ243、並びに感熱系の赤外線焦電センサ244といったように異なる原理で物体を検出するセンサを使用することができる。図16では、図2と対応する部分については、同じ符号あるいは下2桁が同じ符号を付してあり、その説明は繰り返しになるので省略する。
検出原理、従って、検出対象が異なるセンサの場合、どちらのセンサの検出能力が優れているのか、単純に比較することは難しい。しかし、監視システム1では、先に図15を参照して説明したセンサ判定処理により、センサ毎にユーザが通知を必要とするイベントを検出する能力を有しているか否かを判定し、能力を有するセンサの中から、消費電力の最も少ないセンサを選択することにより、センサの検出対象の違いに関わらず、ユーザが通知を必要とするイベントを検出するために最適なセンサを選択することが可能である。
図17は、マルチセンサカメラ211を使用した時の監視システム1に蓄積されたイベント情報の例を表わす。図17において、センサの能力判定の閾値を90%とした場合、CCD撮像装置241とフォトセンサ243が、ユーザが通知を必要とするイベントを検出できる能力を有し、図14で説明したセンサ判定処理により、消費電力の少ないフォトセンサ243がイベント検出用センサに選択される。
この他、マルチセンサカメラには、マイクロホンおよびマイクロ波センサ、その他のセンサも使用可能である。
以上においては、イベント検出処理をマルチセンサカメラ11側で行うようにしたが、サーバで行うことも可能である。図18は、この場合の監視システム301の構成例を表している。図1の監視システム1と比較して、マルチセンサカメラ11がマルチセンサカメラ311に、サーバ12がサーバ312に置き換わっている。その他の構成は、図1と同様である。監視システム301は、イベント検出処理で消費する電力が大きく、イベント検出処理をサーバ312で実行したほうが、マルチセンサカメラ311の消費電力を削減できる場合に適用される。
図19はマルチセンサカメラ311の機能的構成を示すブロック図であり、図20はサーバ312の機能的構成示すブロック図である。マルチセンサカメラ311およびサーバ312は、図2のマルチセンサカメラ11および図3のサーバ12と比較して、イベント検出部357が、マルチセンサカメラ311ではなく、サーバ312に配置されている点が異なる。その他の構成は、図2および図3と同様である。図中、図2および図3と対応する部分については下2桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
マルチセンサカメラ311には、センサ部331、センサデータ処理部332、通信部334、センサ電源制御部335、およびバッテリ336が設けられている。センサ部331は、CCD撮像装置341、CMOS撮像装置342、複数のフォトセンサ343−1乃至343−nのn個のセンサから構成されている。
センサデータ処理部332は、CCD撮像装置341、CMOS撮像装置342、n個のフォトセンサ343−1乃至343−nの複数のセンサから得られるデータ(センサデータ)から、イベント検出およびイベント呈示に必要なデータ(イベント処理データ)を抽出して、通信部334を介して、サーバ312に送信する。
サーバ312には、通信部351、イベント呈示制御部352、ユーザ入力インターフェイス部353、イベント情報蓄積部354、センサ判定部355、およびセンサ電源制御指令部356の他、イベント検出部357が設けられている。
イベント検出部357は、通信部351を介して、マルチセンサカメラ311から取得したイベント処理データに基づいて、イベントの検出処理を行う。イベント検出部357は、イベントを検出した場合、検出したイベントに対する各センサの検出状況およびイベント呈示に必要なデータを含むデータ(イベント通知データ)を、イベント呈示制御部352に出力する。
イベント呈示制御部352は、イベント検出部357からイベント通知データを取得し、取得したイベント通知データに基づき、呈示データを作成し、呈示部13に出力する。また、イベント呈示制御部352は、呈示したイベントの情報をイベント情報蓄積部354に保存する。
センサ電源制御指令部356は、センサ判定部355からのセンサ判定処理の結果の通知に基づき、センサ電源制御信号を、通信部351を介し、マルチセンサカメラ311に送信する。また、センサ電源制御指令部356は、センサ判定処理で選択されたイベント検出用センサの種類を記憶し、センサ判定処理後のイベント発生、および終了にあわせて、CCD撮像装置341の電源を制御するためのセンサ電源制御信号を、通信部351を介し、マルチセンサカメラ311に送信する。
次に、図21乃至図23を参照して、図18の監視システム301により実行される処理を説明する。図1の監視システムと処理が異なるのは、センサ判定処理前に監視領域でイベントが発生した時、センサ判定処理後に監視領域でイベントが発生した時、およびイベントの発生が終了した時であり、それらの場合について説明する。
まず、センサ判定処理実施前に、マルチセンサカメラ311により実行される処理を図21を参照して説明する。この処理は、監視領域のイベントの発生の有無に関わらず、実行される。
ステップS201において、センサ部331は、監視領域に設けられているCCD撮像装置341、CMOS撮像装置342、フォトセンサ343−1乃至343−nのそれぞれからセンサデータを取得し、センサデータ処理部332に出力する。
ステップS202において、センサデータ処理部332は、取得したセンサデータから、イベント検出およびイベント呈示に必要なデータを抽出して、イベント処理データを生成する。
ステップS203において、監視領域でのイベントの発生の有無に関わらず、センサデータ処理部332は、通信部334を介して、サーバ312に送信する。送信したイベント処理データは、後述する図22のS241において、サーバ312により受信され、イベント検出処理に使用される。
ステップS204において、通信部334は、サーバ312からセンサ電源制御信号を受信したか否かを判定する。センサ判定処理前は、センサ電源制御信号は受信されないので、ステップS205の処理はスキップされ、処理はステップS206に進む。
ステップS206において、ユーザから監視領域における監視の終了が指令されたか否かが判定され、終了の指令がないと判定されれば、処理はステップS201に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令がされたと判定された場合は、イベント監視処理は終了される。
次に、センサ判定処理実施前のイベント検出時に、サーバ312で実行される処理を図22と図23を参照して説明する。
ステップS241において、イベント検出部357は、通信部351を介して、図21のステップS203の処理でマルチセンサカメラ311より送信されたイベント処理データを取得する。
ステップS242において、イベント検出部357は、マルチセンサカメラ11の図10のステップS3と同様の処理により、ステップS241において取得したイベント処理データに基づいて、ユーザに通知すべきイベントが発生中か否かを判定する。いまの場合、イベント検出時なので、処理はステップS243に進む。
ステップS243において、センサ電源制御指令部356は、CCD撮像装置341がイベント検出用センサか否かを判定する。センサ判定処理前は、他のセンサとともに、CCD撮像装置341もイベント検出用センサなので、ステップS244およびS245の処理がスキップされ、処理はステップS246に進む。
ステップS246において、イベント検出部357は、ステップS241で取得したイベント処理データに基づき、イベントに対する各センサの検出状況およびイベント呈示に必要なデータを含むデータ(イベント通知データ)を生成し、イベント呈示制御部352に出力する。イベント呈示制御部352は、取得したイベント通知データに基づき、ユーザに呈示するデータを作成し、図18の呈示部13に出力し、呈示させる。
ステップS247において、イベント検出部357は、ステップS241と同様に、図21のステップS203の処理でマルチセンサカメラ311より送信されたイベント処理データを取得する。
ステップS248において、イベント検出部357は、ステップS242と同様に、ユーザに通知すべきイベントが発生中か否かを判定する。ステップS248において、イベントが発生中であると判定された場合は、処理はステップS246に戻り、それ以降の処理(イベント呈示処理)が繰り返される。
ステップS248において、イベントが発生中ではない(イベントが終了した)と判定された場合は、処理はステップS249に進む。ステップS249以降の処理は、サーバ12で実行される図12のステップS44以降と同様の処理なので、その説明は省略する。
次に、図21乃至図23を参照して、センサ判定処理実施後に、監視領域でイベントが発生した時および発生が終了した時に、監視システム1により実行される処理を説明する。これ以降の説明では、センサ判定処理により、イベント検出用センサとしてCMOS撮像装置342が選択され、CMOS撮像装置342以外の電源がオフされたものとして説明する。
図11および図12で説明したとおり、監視システム1では、センサ判定処理後、イベント発生時にユーザに呈示させるCCD撮像装置41の画像を撮像するため、マルチセンサカメラ11のセンサ電源制御部35が、イベントの状態にあわせて、CCD撮像装置41の電源を制御する。一方、監視システム301では、マルチセンサカメラ311にイベント検出部がなく、イベントの状態を判定できないため、サーバ312のセンサ判定部355が、イベントの状態にあわせて、センサ電源制御信号をマルチセンサカメラ311に送信することにより、マルチセンサカメラ311のCCD撮像装置341の電源を制御する。
まず、図21を参照して、センサ判定処理実施後に、監視領域でイベントが発生した時および発生が終了した時に、マルチセンサカメラ311により実行される処理を説明する。
サーバ312で、ユーザに通知すべきイベントが発生したと判定された場合、後述する図22のステップS244の処理により、サーバ312からCCD撮像装置341をオンさせるためのセンサ電源制御信号が送信される。このセンサ電源制御信号は、図21のステップS204の処理において、マルチセンサカメラ311の通信部334で受信され、処理はステップS205に進む。
ステップS205において、センサ電源制御部335は、通信部334から、センサ電源制御信号を取得し、センサ電源制御信号に基づき、CCD撮像装置341の電源をオンする。
ステップS206において、ユーザから監視領域における監視の終了の指令がされなかったと判定された場合は、処理はステップS201に戻る。
ステップS201において、センサ部331は、CMOS撮像装置342、およびステップS205において電源がオンされたCCD撮像装置341からセンサデータを取得し、センサデータ処理部332に出力する。
ステップS202において、センサデータ処理部332は、取得したセンサデータから、イベント検出およびイベント呈示に必要なデータを抽出して、イベント処理データを生成する。
ステップS203において、監視領域でのイベントの発生の有無に関わらず、センサデータ処理部332は、通信部334を介して、サーバ312に送信する。送信したイベント処理データは、後述する図22のステップS241において、サーバ312により受信され、イベント検出処理に使用される。
以降、イベントの検出の処理が終わるまで、ステップS201およびS203の処理が繰り返される。
サーバ312でイベントの発生が終了したと判定された場合、後述する図23のステップS259の処理により、サーバ312からCCD撮像装置341をオフさせるためのセンサ電源制御信号が送信される。このセンサ電源制御信号は、図21のステップS204の処理において、マルチセンサカメラ311の通信部334で受信され、処理はステップS205に進む。
ステップS205において、センサ電源制御部335は、通信部334からセンサ電源制御信号を取得し、センサ電源制御信号に基づき、CCD撮像装置341の電源をオフする。
以降は、サーバ312で、イベントが検出されるまで、ステップS201およびS203の処理により、CMOS撮像装置342で検出されるセンサデータに基づくイベント処理データが、サーバ312に送信される。
次に、図22および23を参照して、センサ判定処理実施後に、監視領域でイベントが発生した時および発生が終了した時に、サーバ312により実行される処理を説明する。
ステップS241において、マルチセンサカメラ311からイベント処理データを受信し、ステップS242でユーザに通知すべきイベントが発生したと判定された場合、処理はステップS243に進む。ステップS243において、センサ電源制御指令部356は、CCD撮像装置341が、イベント検出用センサか否かを判定する。いまの場合、CCD撮像装置341はイベント検出用センサでないため、処理はステップS244に進む。
ステップS244において、センサ電源制御指令部356は、通信部351を介して、マルチセンサカメラ311に、CCD撮像装置341の電源をオンさせるためのセンサ電源制御信号を送信する。このセンサ電源制御信号は、上述した図21のステップS204の処理で、マルチセンサカメラ311に受信され、ステップS205の処理で、CCD撮像装置341の電源がオンされる。
以降は、イベントの発生が終了するまで、センサ判定処理前のイベント発生時と同様のイベント呈示処理が行われる。ただし、ステップS248において、CCD撮像装置341はイベント検出用センサではないため、CCD撮像装置341のセンサデータはイベント判定処理に使用されない。
その後、監視領域でイベントの発生が終了した時、ステップS248において、イベントが発生中でない(イベントが終了した)と判定され、処理はステップS249に進む。
ステップS249で、イベント情報がイベント情報蓄積部354に記録され、ステップS250およびS251で、ユーザからの判断入力情報が取得され、イベント情報に追加された後、処理はステップS252に進む。
ステップS252において、いまの場合、センサ判定処理実施後なので、処理はステップS258に進む。ステップS258において、センサ電源制御指令部356は、CCD撮像装置341がイベント検出用センサか否かを判定する。いまの場合、CCD撮像装置341はイベント検出用センサでないので、処理はステップS259に進む。
ステップS259において、センサ電源制御指令部356は、通信部351を介して、CCD撮像装置341をオフさせるためのセンサ電源制御信号を、マルチセンサカメラ311に送信する。このセンサ電源制御信号は、上述した図21のステップS204の処理で、マルチセンサカメラ311に受信され、ステップS205の処理で、CCD撮像装置341の電源がオフされる。
ステップS257において、ユーザから監視領域における監視を終了するように指令されたと判定された場合は、監視処理を終了する。ユーザからの監視終了の指令されなかった場合は、ステップS241に戻り、それ以降の処理が繰り返し実行される。
イベント検出処理で消費する電力が大きく、マルチセンサカメラ311からサーバ312にイベント処理データを送信し、イベント検出処理をサーバ312で実行した方が、マルチセンサカメラ311の消費電力を削減できる場合、以上説明した監視システム301の処理により、サーバ312でイベント検出処理を実行させることができる。
なお、以上の例は、監視システム1および監視システム301を実現する一例であり、他にも、多数のシステム構成が考えられる。以下にその例を示す。
例えば、マルチセンサカメラ11とサーバ12、あるいはマルチセンサカメラ311とサーバ312の間の通信は、無線通信に限られるものではなく、有線による通信であってもよい。
また、マルチセンサカメラ11あるいはマルチセンサカメラ311は、1台ではなく、複数台設けることも可能である。
さらに、呈示部13は、1つではなく、複数設けることも可能である。
また、サーバ12あるいはサーバ312は、呈示部13と別の筐体とせず、一体型とすることもできる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどの、記録媒体からインストールされる。いまの場合、上述した処理は、図24に示されるようなパーソナルコンピュータ500により実行される。
図24において、CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に記憶されているプログラム、または、記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU501、ROM502、およびRAM503は、内部バス504を介して相互に接続されている。この内部バス504にはまた、入出力インターフェイス505も接続されている。
入出力インターフェイス505には、キーボード、マウスなどよりなる入力部506、CRT(Cathode Ray Tube),LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。通信部509は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
入出力インターフェイス505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア521が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用の専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図24に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア521よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や記憶部508が含まれるハードディスクなどで構成される。
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。
本発明を適用した監視システムの一実施の形態の構成を示す図である。 図1のマルチセンサカメラの一実施の形態の機能的構成を示すブロック図である。 図1のサーバの一実施の形態の機能的構成を示すブロック図である。 図2のマルチセンサカメラに搭載したセンサの特性を示す図である。 図2のマルチセンサカメラで検出した画像例を示す図である。 図2のマルチセンサカメラで検出した画像例を示す図である。 図2のマルチセンサカメラで検出した画像例を示す図である。 図2のマルチセンサカメラで検出した画像例を示す図である。 図2のマルチセンサカメラに搭載したセンサの特性を示す図である。 図1のマルチセンサカメラにおける監視処理を説明するフローチャートである。 図1のマルチセンサカメラにおける監視処理を説明するフローチャートである。 図1のサーバにおける監視処理を説明するフローチャートである。 図1のサーバにおける監視処理を説明するフローチャートである。 図1のサーバにおけるセンサ判定処理を説明するフローチャートである。 図1の監視システムによるイベント情報の例を示す図である。 図1のマルチセンサカメラの一実施の形態の機能的構成を示すブロック図である。 図1の監視システムによるイベント情報の例を示す図である。 本発明を適用した監視システムの一実施の形態の構成を示す図である。 図18のマルチセンサカメラの一実施の形態の機能的構成を示すブロック図である。 図18のサーバの一実施の形態の機能的構成を示すブロック図である。 図18のカメラにおける監視処理を説明するフローチャートである。 図18のサーバにおける監視処理を説明するフローチャートである。 図18のサーバにおける監視処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
1 監視システム, 11 マルチセンサカメラ, 12 サーバ, 13 呈示部, 31 センサ部, 32 センサデータ処理部, 33 イベント検出部, 34 通信部, 35 センサ電源制御部, 36 バッテリ, 51 通信部, 52 イベント呈示制御部, 53 ユーザ入力インターフェイス部, 54 イベント情報蓄積部, 55 センサ判定部, 56 センサ電源制御指令部, 301 監視システム, 311 マルチセンサカメラ, 312 サーバ, 357 イベント検出部

Claims (27)

  1. 監視処理を実行する監視システムにおいて、
    複数のセンサが出力するデータを取得するデータ取得手段と、
    前記データ取得手段により取得された複数の前記センサのデータに基づいて、イベントの発生を検出するイベント検出手段と、
    前記イベント検出手段により検出されたイベントの呈示を制御する呈示制御手段と、
    前記呈示制御手段により制御された呈示に基づく、ユーザからの判断の入力を取得する入力取得手段と、
    前記入力取得手段により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定手段と、
    前記能力判定手段の判定結果に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御手段と
    を備えることを特徴とする監視システム。
  2. 前記データ取得手段は、CCD撮像装置、CMOS撮像装置、マイクロホン、マイクロ波センサ、フォトセンサ、および赤外線焦電センサのうち少なくとも2個のセンサのデータを取得する
    ことを特徴とする請求項1に記載の監視システム。
  3. 前記イベント検出手段により検出されたイベントの情報を、前記入力取得手段により取得されたユーザからの判断の入力の情報と対応づけて蓄積する情報蓄積手段
    をさらに備えることを特徴とする請求項1に記載の監視システム。
  4. 前記データ取得手段、前記イベント検出手段、前記呈示制御手段、前記入力取得手段、前記能力判定手段、および前記電源制御手段は、第1の情報処理装置、および第2の情報処理装置のいずれかに分離して配置される
    ことを特徴とする請求項1に記載の監視システム。
  5. 前記データ取得手段、前記イベント検出手段、および前記電源制御手段は、前記第1の情報処理装置に配置され、
    前記呈示制御手段、前記能力判定手段、および前記入力取得手段は、前記第2の情報処理装置に配置される
    ことを特徴とする請求項4に記載の監視システム。
  6. 前記データ取得手段および前記電源制御手段は、前記第1の情報処理装置に配置され、
    前記呈示制御手段、前記能力判定手段、前記入力取得手段および前記イベント検出手段は、前記第2の情報処理装置に配置される
    ことを特徴とする請求項4に記載の監視システム。
  7. 前記第1の情報処理装置と前記第2の情報処理装置の間における通信は、無線通信により行なわれる
    ことを特徴とする請求項4に記載の監視システム。
  8. 前記第1の情報処理装置は、バッテリにより駆動される
    ことを特徴とする請求項4に記載の監視システム。
  9. 監視処理を実行する監視システムの情報処理方法において、
    複数のセンサが出力するデータを取得するデータ取得ステップと、
    前記データ取得ステップの処理により取得された前記データに基づいて、イベントの発生を検出するイベント検出ステップと、
    前記イベント検出ステップの処理により検出された前記イベントの呈示を制御する呈示制御ステップと、
    前記呈示制御ステップの処理により制御された呈示に基づく、ユーザからの判断の入力を取得する入力取得ステップと、
    前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定ステップと、
    前記能力判定ステップの判定結果に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御ステップと
    を含むことを特徴とする情報処理方法。
  10. 複数のセンサが出力するデータに基づく監視処理を実行するプログラムであって、
    前記複数のセンサが出力するデータに基づいて、イベントの発生を検出するイベント検出ステップと、
    前記イベント検出ステップの処理により検出された前記イベントの呈示を制御する呈示制御ステップと、
    前記呈示制御ステップの処理により制御された呈示に基づく、ユーザからの判断の入力を取得する入力取得ステップと、
    前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定ステップと、
    前記能力判定ステップの判定結果に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  11. 複数のセンサが出力するデータに基づく監視処理を実行するプログラムであって、
    前記複数のセンサが出力するデータに基づいて、イベントの発生を検出するイベント検出ステップと、
    前記イベント検出ステップの処理により検出された前記イベントの呈示を制御する呈示制御ステップと、
    前記呈示制御ステップの処理により制御された呈示に基づく、ユーザからの判断の入力を取得する入力取得ステップと、
    前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定ステップと、
    前記能力判定ステップの判定結果に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御ステップと
    をコンピュータに実行させることを特徴とするプログラム。
  12. 監視処理を実行する情報処理装置において、
    監視の結果に基づくデータを出力する複数のセンサと、
    前記複数のセンサから前記データを取得するデータ取得手段と、
    前記データ取得手段により取得された前記データに基づいて、イベントに関する情報を生成する生成手段と、
    他の情報処理装置と通信する通信手段と、
    前記他の情報処理装置から送信されてくるユーザの指令に基づく信号に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御手段と
    を備えることを特徴とする情報処理装置。
  13. 前記生成手段により生成された前記イベントに関する情報に基づいて、イベントの発生を検出し、前記イベントを通知するための通知用データを生成するイベント検出手段をさらに備え、
    前記通信手段は、前記イベント検出手段により生成された前記通知用データを前記他の情報処理装置に送信するとともに、前記他の情報処理装置から送信されてくるユーザの指令に基づく信号を受信する
    ことを特徴とする請求項12に記載の情報処理装置。
  14. 前記生成手段は、前記データ取得手段により取得された前記データを前記イベントに関する情報とし、
    前記通信手段は前記生成手段により生成された前記イベントに関する情報としての前記データを前記他の情報処理装置に送信するとともに、前記他の情報処理装置から送信されてくるユーザの指令に基づく信号を受信する
    ことを特徴とする請求項12に記載の情報処理装置。
  15. 前記通信手段による通信は、無線通信により行なわれる
    ことを特徴とする請求項12に記載の情報処理装置。
  16. 前記情報処理装置は、バッテリにより駆動される
    ことを特徴とする請求項12に記載の情報処理装置。
  17. 前記複数のセンサは、CCD撮像装置、CMOS撮像装置、マイクロホン、マイクロ波センサ、フォトセンサ、および赤外線焦電センサのうち少なくとも2つを含む
    ことを特徴とする請求項12に記載の情報処理装置。
  18. 監視処理を実行する情報処理装置の情報処理方法において、
    複数のセンサが出力するデータを取得するデータ取得ステップと、
    前記データ取得ステップの処理により取得されたデータに基づいて、イベントに関する情報を生成する生成ステップと、
    前記生成ステップの処理により生成された前記イベントに関する情報を他の情報処理装置に送信する送信ステップと、
    前記他の情報処理装置から送信されてくるユーザの指令に基づく信号に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御ステップと
    を含むことを特徴とする情報処理方法。
  19. 監視処理を実行するプログラムであって、
    複数のセンサが出力するデータに基づいて、イベントに関する情報を生成する生成ステップと、
    前記生成ステップの処理により生成された前記イベントに関する情報を他の情報処理装置に送信する送信ステップと、
    前記他の情報処理装置から送信されてくるユーザの指令に基づく信号に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  20. 監視処理を実行するプログラムにおいて、
    複数のセンサが出力するデータに基づいて、イベントに関する情報を生成する生成ステップと、
    前記生成ステップの処理により生成された前記イベントに関する情報を他の情報処理装置に送信する送信ステップと、
    前記他の情報処理装置から送信されてくるユーザの指令に基づく信号に基づいて、前記センサの電源をオンまたはオフする制御を実行する電源制御ステップと
    をコンピュータに実行させることを特徴とするプログラム。
  21. 監視処理を実行する情報処理装置において、
    複数のセンサの検出結果に基づくイベントの呈示を制御する呈示制御手段と、
    前記呈示制御手段により制御されたイベントの呈示に基づくユーザによる判断の入力を取得する入力取得手段と、
    前記入力取得手段により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定手段と
    を備えることを特徴とする情報処理装置。
  22. 前記能力判定手段による判定結果に基づいて、他の情報処理装置に前記センサの電源をオンまたはオフさせるように制御する電源制御手段
    をさらに備えることを特徴とする請求項21に記載の情報処理装置。
  23. 前記複数のセンサが出力するデータに基づいて、イベントの発生を検出するイベント検出手段
    をさらに備えることを特徴とする請求項21に記載の情報処理装置。
  24. 前記イベント検出手段により検出されたイベントの情報を、前記入力取得手段により取得されたユーザからの判断の入力の情報と対応づけて蓄積する情報蓄積手段
    をさらに備えることを特徴とする請求項23に記載の情報処理装置。
  25. 監視処理を実行する情報処理装置の情報処理方法において、
    複数のセンサの検出結果に基づくイベントの呈示を制御する呈示制御ステップと、
    前記呈示制御ステップの処理により制御されたイベントの呈示に基づくユーザによる判断の入力を取得する入力取得ステップと、
    前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定ステップと
    を含むことを特徴とする情報処理方法。
  26. 監視処理を実行するプログラムであって、
    複数のセンサの検出結果に基づくイベントの呈示を制御する呈示制御ステップと、
    前記呈示制御ステップの処理により制御されたイベントの呈示に基づくユーザによる判断の入力を取得する入力取得ステップと、
    前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  27. 監視処理を実行するプログラムにおいて、
    複数のセンサの検出結果に基づくイベントの呈示を制御する呈示制御ステップと、
    前記呈示制御ステップの処理により制御されたイベントの呈示に基づくユーザによる判断の入力を取得する入力取得ステップと、
    前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、前記複数のセンサの能力を判定する能力判定ステップと
    をコンピュータに実行させることを特徴とするプログラム。
JP2003295905A 2003-08-20 2003-08-20 監視システム、情報処理装置および方法、記録媒体、並びにプログラム Expired - Lifetime JP4492062B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003295905A JP4492062B2 (ja) 2003-08-20 2003-08-20 監視システム、情報処理装置および方法、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003295905A JP4492062B2 (ja) 2003-08-20 2003-08-20 監視システム、情報処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2005065148A true JP2005065148A (ja) 2005-03-10
JP4492062B2 JP4492062B2 (ja) 2010-06-30

Family

ID=34371977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003295905A Expired - Lifetime JP4492062B2 (ja) 2003-08-20 2003-08-20 監視システム、情報処理装置および方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4492062B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129519A (ja) * 2005-11-04 2007-05-24 Morioka Seiko Instruments Inc センサーネットワーク装置
JP2012109746A (ja) * 2010-11-16 2012-06-07 Canon Inc 送信装置および送信方法
JP2015508523A (ja) * 2011-12-23 2015-03-19 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation モノのインターネットにおけるサービス・インスタンス指向のエネルギー管理のための方法、システム、およびコンピュータ・プログラム
CN104883510A (zh) * 2015-05-04 2015-09-02 联想(北京)有限公司 一种信息处理方法及电子设备
JP2016057848A (ja) * 2014-09-10 2016-04-21 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
JP2017135676A (ja) * 2016-01-29 2017-08-03 キヤノン株式会社 制御装置、制御方法、撮像システム及びプログラム
KR20190066463A (ko) * 2017-12-05 2019-06-13 한화테크윈 주식회사 멀티 센서 카메라의 전력 관리 방법 및 장치
EP4266681A1 (en) * 2022-04-21 2023-10-25 Canon Kabushiki Kaisha Monitoring device, monitoring method, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089360A (ja) * 1994-06-20 1996-01-12 Fujitsu General Ltd 監視カメラシステム
JP2001136515A (ja) * 1999-11-02 2001-05-18 Canon Inc 撮像装置、画像通信システム、撮像方法、画像通信方法及び記憶媒体
JP2003101655A (ja) * 2001-09-25 2003-04-04 Yuji Ochiai インターネットセンサコントロールシステム
JP2003122796A (ja) * 2001-10-12 2003-04-25 Omron Corp 情報処理装置、センサネットワークシステム、情報処理プログラム、および情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089360A (ja) * 1994-06-20 1996-01-12 Fujitsu General Ltd 監視カメラシステム
JP2001136515A (ja) * 1999-11-02 2001-05-18 Canon Inc 撮像装置、画像通信システム、撮像方法、画像通信方法及び記憶媒体
JP2003101655A (ja) * 2001-09-25 2003-04-04 Yuji Ochiai インターネットセンサコントロールシステム
JP2003122796A (ja) * 2001-10-12 2003-04-25 Omron Corp 情報処理装置、センサネットワークシステム、情報処理プログラム、および情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129519A (ja) * 2005-11-04 2007-05-24 Morioka Seiko Instruments Inc センサーネットワーク装置
JP2012109746A (ja) * 2010-11-16 2012-06-07 Canon Inc 送信装置および送信方法
JP2015508523A (ja) * 2011-12-23 2015-03-19 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation モノのインターネットにおけるサービス・インスタンス指向のエネルギー管理のための方法、システム、およびコンピュータ・プログラム
US9335816B2 (en) 2011-12-23 2016-05-10 Globalfoundries Inc. System and method for efficient service-instance oriented energy management in the internet of things
JP2016057848A (ja) * 2014-09-10 2016-04-21 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
CN104883510B (zh) * 2015-05-04 2019-02-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN104883510A (zh) * 2015-05-04 2015-09-02 联想(北京)有限公司 一种信息处理方法及电子设备
JP2017135676A (ja) * 2016-01-29 2017-08-03 キヤノン株式会社 制御装置、制御方法、撮像システム及びプログラム
US11043091B2 (en) 2016-01-29 2021-06-22 Canon Kabushiki Kaisha Method for controlling an image capturing device that captures an image to be displayed or stored by a terminal device from among a plurality of image capturing devices
KR20190066463A (ko) * 2017-12-05 2019-06-13 한화테크윈 주식회사 멀티 센서 카메라의 전력 관리 방법 및 장치
KR102390406B1 (ko) * 2017-12-05 2022-04-25 한화테크윈 주식회사 멀티 센서 카메라의 전력 관리 방법 및 장치
EP4266681A1 (en) * 2022-04-21 2023-10-25 Canon Kabushiki Kaisha Monitoring device, monitoring method, and storage medium
US12106096B2 (en) 2022-04-21 2024-10-01 Canon Kabushiki Kaisha Monitoring device that receives notification commands from an external device for detecting information and determines whether information has already been detected, monitoring method, and storage medium

Also Published As

Publication number Publication date
JP4492062B2 (ja) 2010-06-30

Similar Documents

Publication Publication Date Title
US9955058B2 (en) Multi-codec camera system and image acquisition program
US7102503B2 (en) Monitoring system, method and apparatus for processing information, storage medium, and program
JP6066650B2 (ja) 監視装置
US8648923B2 (en) Image pickup apparatus
JP4492062B2 (ja) 監視システム、情報処理装置および方法、記録媒体、並びにプログラム
JP4265919B2 (ja) 追尾型協調監視システムおよび撮像装置
US9716864B2 (en) Monitoring system, image-processing apparatus, management apparatus, event detecting method, and program
US20110221913A1 (en) Recorder
US20150234552A1 (en) Display controlling apparatus and displaying method
JP4316584B2 (ja) 画像表示装置及びその制御方法
JP2012004643A (ja) 録画装置、録画システム及び録画方法
JP6844503B2 (ja) 監視システム
JP2987353B2 (ja) 映像監視方法
JP4308633B2 (ja) 監視カメラ装置
JP2012242970A (ja) 画像処理装置及びその制御方法
JP3820586B2 (ja) 情報処理システムおよび方法、記録媒体、並びにプログラム
JP4492582B2 (ja) 情報処理装置および監視処理システム
US11756154B2 (en) Apparatuses and computer-implemented methods for middle frame image processing
JP2000152043A (ja) カメラ制御システムおよびその制御方法および映像送信端末およびそのプログラムを記憶した記憶媒体
JP7326860B2 (ja) システム、プログラム
US20230171382A1 (en) Image capturing apparatus, method of controlling the same, and storage medium
JP4403418B2 (ja) 情報処理システムおよび方法、記録媒体、並びにプログラム
WO2020054022A1 (ja) 通信システム、受信端末、通信方法、およびプログラム
JP2024057870A (ja) 監視装置、監視装置の制御方法およびプログラム
JP2012005043A (ja) 物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100329

R151 Written notification of patent or utility model registration

Ref document number: 4492062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250