JP2007046834A - 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム - Google Patents

Abstract

【課題】冷蔵庫等の物品保存庫の内部の収納物の変化を容易に把握することができる物品保存庫、物品保存庫監視システム及び冷蔵庫監視システムを提供する。
【解決手段】冷蔵庫１と、サーバと、携帯電話機とがそれぞれ電気通信回線を介して接続される冷蔵庫監視システムにおいて、冷蔵庫１のＣＰＵ１５１は、撮像部１４により取得された画像データに基づいて、冷蔵庫本体１１の内部における収納物の変化の有無を検出し、変化を検出した場合は、変化した収納物の変化位置を特定し、収納物の変化位置が識別可能となるように画像処理を行い、更に、送信部１６により画像データをサーバに送信する。サーバは画像データを記憶部により記憶し、送受信部により携帯電話機に通知し、更に、画像データを携帯電話機に送信する。
【選択図】図３

Description

本発明は、物品保存庫、物品保存庫監視システム及び冷蔵庫監視システムに関する。

従来、物品保存庫である冷蔵庫において、遠隔地にいる使用者の携帯電話機に、冷蔵庫内部を撮像した画像データをインターネット等の電気通信回線を介して送信し、携帯電話機の表示画面に当該画像データに基づく画像を表示することによって、食品の在庫状況を確認することができる技術が開示されている（例えば、特許文献１参照）。

また、端末機等によって無線通信や電話回線を使用してインターネットサービスプロバイダを介してネットワークに接続し、サーバから冷蔵庫の在庫情報を確認することができる技術が開示されている（例えば、特許文献２参照）。
特開２００２−２３６７９８号公報 特開２００２−０８１８１８号公報

しかしながら、特許文献１及び特許文献２に開示された技術では、外出中に収納物に変化がない場合でも、確認のため、いちいち冷蔵庫内を撮像した画像データに基づく画像を見たり、在庫情報をチェックしなければならず、余計な手間がかかるという問題があった。

本発明の課題は、冷蔵庫等の物品保存庫の内部の収納物の変化を容易に把握することができる物品保存庫、物品保存庫監視システム及び冷蔵庫監視システムを提供することである。

以上の課題を解決するため、請求項１に記載の発明は、冷蔵庫と、この冷蔵庫に電気通信回線を介して接続される管理装置と、この管理装置に電気通信回線を介して接続される端末装置と、を備える冷蔵庫監視システムにおいて、
前記冷蔵庫は、
開閉自在な扉を有する冷蔵庫本体と、
前記扉の閉動を検出する扉閉動検出手段と、
前記扉閉動検出手段により前記扉の閉動が検出されたことに基づいて、前記冷蔵庫本体の内部を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データに基づいて、前記冷蔵庫本体の内部における収納物の変化の有無を判断する判断手段と、
前記判断手段により、前記冷蔵庫本体の内部における収納物に変化があると判断された場合に、更に、前記冷蔵庫本体の内部における収納物の変化位置を特定する特定手段と、
前記判断手段により前記冷蔵庫本体の内部における収納物に変化があると判断された前記画像データに、前記特定手段により特定された前記冷蔵庫本体の内部における収納物の変化位置を識別可能となるように画像処理する画像処理手段と、
前記画像処理手段により画像処理された前記画像データを前記管理装置に送信する送信手段と、を備え、
前記管理装置は、
前記送信手段により送信された前記画像データを記憶する記憶手段と、
前記送信手段から前記画像データが送信された場合に、前記端末装置にその旨の通知を
行う通知手段と、
前記記憶手段により記憶された前記画像データを、前記端末装置からの要求に応じて前記端末装置に送信する画像データ送信手段と、
を備えることを特徴とする。

請求項２に記載の発明は、端末装置と電気通信回線を介して接続される物品保存庫であって、
開閉自在な扉を有する物品保存庫本体と、
前記扉の閉動を検出する扉閉動検出手段と、
前記扉閉動検出手段により前記扉の閉動が検出されたことに基づいて、前記物品保存庫本体の内部を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データに基づいて、前記物品保存庫本体の内部における収納物の変化の有無を判断する判断手段と、
前記判断手段により、前記物品保存庫本体の内部における収納物に変化があると判断された場合に、前記端末装置に所定の通知情報を送信する送信手段と、
を備えることを特徴とする。

請求項３に記載の発明は、請求項２に記載の発明において、前記判断手段により、前記物品保存庫本体の内部における収納物に変化があると判断された場合に、更に、前記物品保存庫本体の内部における収納物の変化位置を特定する特定手段を備え、
前記通知情報には、前記特定手段により特定された前記物品保存庫本体の内部における収納物の変化位置に関する情報が含まれることを特徴とする。

請求項４に記載の発明は、請求項２又は３に記載の発明において、前記通知情報には、前記物品保存庫本体の内部における収納物に変化があると判断された前記画像データが含まれることを特徴とする。

請求項５に記載の発明は、請求項３又は４に記載の発明において、前記判断手段により前記物品保存庫本体の内部における収納物に変化があると判断された前記画像データに、前記特定手段により特定された前記物品保存庫本体の内部における収納物の変化位置を識別可能となるように画像処理する画像処理手段を備え、
前記通知情報には、前記画像処理手段により画像処理された前記画像データが含まれることを特徴とする。

請求項６に記載の発明は、収納物を保存する物品保存庫と、この物品保存庫に電気通信回線を介して接続される管理装置と、この管理装置に電気通信回線を介して接続される端末装置と、を備える物品保存庫監視システムにおいて、
前記物品保存庫は、
開閉自在な扉を有する物品保存庫本体と、
前記扉の閉動を検出する扉閉動検出手段と、
前記扉閉動検出手段により前記扉の閉動が検出されたことに基づいて、前記物品保存庫本体の内部を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データに基づいて、前記物品保存庫本体の内部における収納物の変化の有無を判断する判断手段と、
前記判断手段により、前記物品保存庫本体の内部における収納物に変化があると判断された場合に、当該変化があると判断された前記画像データを前記管理装置に送信する送信手段と、を備え、
前記管理装置は、
前記送信手段により送信された前記画像データを記憶する記憶手段と、
前記送信手段から前記画像データが送信された場合に、前記端末装置にその旨の通知を
行う通知手段と、
前記記憶手段により記憶された前記画像データを、前記端末装置からの要求に応じて前記端末装置に送信する画像データ送信手段と、
を備えることを特徴とする。

請求項１に記載の発明によれば、撮像手段により取得された画像データに基づいて、冷蔵庫本体の内部における収納物の変化の有無が判断され、冷蔵庫本体の内部における収納物に変化があると判断された場合には、冷蔵庫本体の内部における収納物の変化位置が特定される。さらに、冷蔵庫本体の内部における収納物に変化があると判断された画像データにおいて、冷蔵庫本体の内部における収納物の変化位置を識別可能となるように画像処理が行われ、画像処理された画像データが管理装置に送信され、管理装置により画像データが記憶される。そして、管理装置により、画像処理された画像データが端末装置に送信されるので、ユーザは冷蔵庫本体の内部における収納物の変化をいちいち問い合わせることなく容易に把握できるとともに、この画像データに基づく画像を閲覧することにより、ユーザは遠隔地においても冷蔵庫本体の内部における変化した収納物の特定をより容易且つ確実に行うことができる。

請求項２に記載の発明によれば、撮像手段により取得された画像データに基づいて、判断手段により物品保存庫本体の内部における収納物の変化の有無が判断され、物品保存庫本体の内部における収納物に変化があると判断された場合には、端末装置に所定の通知情報が送信されるので、この通知情報により、ユーザは遠隔地においても物品保存庫本体の内部における収納物の変化をいちいち問い合わせることなく容易に把握することができる。

請求項３に記載の発明によれば、請求項２に記載の発明の効果が得られるのは無論のこと、判断手段により物品保存庫本体の内部における収納物に変化があると判断された場合に、特定手段により物品保存庫本体の内部における収納物の変化位置が特定され、更に、送信手段により、通知情報として、特定手段により特定された物品保存庫本体の内部における収納物の変化位置に関する情報が送信されるので、この通知情報により、ユーザは物品保存庫本体の内部における変化した収納物を容易に特定することができる。

請求項４に記載の発明によれば、請求項２又は３に記載の発明の効果が得られるのは無論のこと、送信手段により、通知情報として、物品保存庫本体の内部における収納物に変化があると判断された画像データが端末装置に送信されるので、この画像データに基づく画像を閲覧することにより、ユーザは遠隔地においても物品保存庫本体の内部における変化した収納物の特定をより容易に行うことができる。

請求項５に記載の発明によれば、請求項３又は４に記載の発明の効果が得られるのは無論のこと、判断手段により物品保存庫本体の内部における収納物に変化があると判断された画像データが、画像処理手段により物品保存庫本体の内部における収納物の変化位置を識別可能となるように画像処理され、更に、送信手段により、通知情報として、画像処理された画像データが端末装置に送信されるので、この画像データに基づく画像を閲覧することにより、ユーザは遠隔地においても物品保存庫本体の内部における変化した収納物の特定を容易且つ確実に行うことができる。

請求項６に記載の発明によれば、撮像手段により取得された画像データに基づいて、物品保存庫本体の内部における収納物の変化の有無が判断され、物品保存庫本体の内部における収納物に変化があると判断された場合には、物品保存庫本体の内部における収納物に変化があると判断された画像データが管理装置に送信され、管理装置により画像データが
記憶される。そして、管理装置により、画像データが端末装置に送信されるので、ユーザは物品保存庫本体の内部における収納物の変化をいちいち問い合わせることなく容易に把握できるとともに、この画像データに基づく画像を閲覧することにより、ユーザは遠隔地においても物品保存庫本体の内部における変化した収納物の特定を容易に行うことができる。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

なお、本実施形態においては、物品保存庫監視システムとして冷蔵庫監視システムを用いて説明する。

図１は、本実施形態の冷蔵庫監視システム１００の構成を示す図である。

本実施形態の冷蔵庫監視システム１００は、物品保存庫としての冷蔵庫１と、管理装置としてのサーバ２と、端末装置としての携帯電話機３と、を備えて構成され、それぞれは電気通信回線であるインターネットにより接続されている。

冷蔵庫１は、冷蔵庫本体１１の内部を監視して取得した画像データを、インターネットを介してサーバ２に送信する。

サーバ２は、電子メールの送受信を行うメールサーバや、ウェブページをインターネットに公開するウェブサーバ等としてのサービスを提供する。サーバ２は、インターネットを介して冷蔵庫１から送信された画像データを受信して格納し、画像データを受信した旨を携帯電話機３に、例えば、電子メール等により通知する。

携帯電話機３は、サーバ２からインターネットを介して送信された電子メールを受信すると、サーバ２に格納された画像データをリクエストしてサーバ２の提供するウェブページにアクセスする。すると、サーバ２はインターネットのウェブページを用いて、画像データを携帯電話機３に対して送信する。携帯電話機３は、受信した画像データを表示画面３４ａに表示し、これにより、ユーザは冷蔵庫本体１１の内部の画像を閲覧することができる。
（冷蔵庫１の構成）
図２は、冷蔵庫１の冷蔵庫本体１１の扉を開いた状態の斜視図であり、図３は、冷蔵庫１の要部構成を示すブロック図である。

図２及び図３に示すように、冷蔵庫１は、開閉自在な扉を有する冷蔵庫本体１１と、扉閉動検出手段としての扉開閉検出センサ１２と、照明装置１３と、撮像手段としての撮像部１４と、制御部１５と、送信手段としての送信部１６と、を備えて構成される。

冷蔵庫本体１１は、例えば、外形が直方体形状であり、冷蔵室１１ａと、冷凍室１１ｂと、を備え、さらに、扉としての冷蔵室用開閉扉１１ｃと、冷凍室用開閉扉１１ｄとを備えている。

扉開閉検出センサ１２は、ユーザによる冷蔵室用開閉扉１１ｃの開動及び閉動を検出して、検出信号を制御部１５に出力する冷蔵室用扉センサ１２ａと、冷凍室用開閉扉１１ｄの開動及び閉動を検出して、検出信号を制御部１５に出力する冷凍室用扉センサ１２ｂと、を備える。扉開閉検出センサ１２は、例えば、接触型の検出センサであり、冷蔵室用開閉扉１１ｃ、冷凍室用開閉扉１１ｄが閉じている状態では、冷蔵室用扉センサ１２ａ、冷凍室用扉センサ１２ｂの各々は、例えば、「Ｌ」状態の検出信号を制御部１５に出力する。一方、冷蔵室用開閉扉１１ｃ、冷凍室用開閉扉１１ｄが開いている状態では、冷蔵室用扉センサ１２ａ、冷凍室用扉センサ１２ｂの各々は、例えば、「Ｈ」状態の検出信号を制御部１５に出力する。

照明装置１３は、冷蔵室用庫内灯１３ａ及び冷凍室用庫内灯１３ｂを備え、それぞれは、制御部１５に接続された駆動回路（図示省略）と、駆動回路に接続された光源（図示省略）と、から構成されている。駆動回路は、制御部１５からの制御信号により、冷蔵室用庫内灯１３ａ或いは冷凍室用庫内灯１３ｂを点灯させるための電流を、光源に対して供給する。

具体的には、冷蔵室用扉センサ１２ａ或いは冷凍室用扉センサ１２ｂにより冷蔵室用開閉扉１１ｃ或いは冷凍室用開閉扉１１ｄの開動が検出されると、この検出結果は「Ｈ」状態の検出信号として制御部１５に出力される。すると、制御部１５は、駆動回路に対して、光源に駆動電流を供給するように指示する制御信号を出力する。これにより、駆動回路から光源に駆動電流が供給されて冷蔵室用庫内灯１３ａ或いは冷凍室用庫内灯１３ｂが点灯される。一方、冷蔵室用扉センサ１２ａ或いは冷凍室用扉センサ１２ｂにより冷蔵室用開閉扉１１ｃ或いは冷凍室用開閉扉１１ｄの閉動が検出されると、この検出結果は「Ｌ」状態の検出信号として制御部１５に出力される。すると、制御部１５は、撮像部１４による撮像が実行された後に、駆動回路に対して、光源への駆動電流の供給を止めるように指示する制御信号を出力する。これにより、冷蔵室用庫内灯１３ａ或いは冷凍室用庫内灯１３ｂが消灯される。

撮像部１４は、例えば、冷蔵室１１ａの内部の上段部、中段部、下段部を撮像可能に冷蔵室用開閉扉１１ｃの内面に各々設けられた第１の冷蔵室用カメラ１４ａ、第２の冷蔵室用カメラ１４ｂ及び第３の冷蔵室用カメラ１４ｃと、冷凍室１１ｂ内部を撮像可能に冷凍室用開閉扉１１ｄの内面に設けられた冷凍室用カメラ１４ｄと、を備えている。第１の冷蔵室用カメラ１４ａ、第２の冷蔵室用カメラ１４ｂ、第３の冷蔵室用カメラ１４ｃ及び冷凍室用カメラ１４ｄは、所定のタイミングで撮像を行い、画像データを取得する。

撮像部１４に備わる上述の各カメラは、照明装置１３の光源から発せられた光が被写体に当って反射した反射光を収束して被写体像を結像する撮像レンズ（図示省略）と、撮像レンズにより結像された被写体像に基づいて被写体画像を形成する撮像素子（図示省略）と、を備えている。

撮像レンズは、撮像素子の受光面に結像することができるように配置されており、凹レンズや凸レンズ単体、或いはこれらの組み合わせにより構成されている。

撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等から構成され、制御部１５の制御に従って撮像レンズの前方の撮像対象範囲を撮像する。より詳細には、撮像レンズから入力される結像画像をＣＭＯＳ等により電気信号に変換し、Ａ／Ｄ変換回路等でデジタル信号としての画像データを生成して、この画像データを制御部１５に出力する。

制御部１５は、ＣＰＵ（Central Processing Unit）１５１と、ＲＡＭ（Random Access
Memory）１５２と、ＲＯＭ（Read Only Memory）１５３と、Ｉ／Ｏポート１５４と、等
を備えて構成されている。

ＣＰＵ１５１は、扉開閉検出センサ１２等からの指示入力に応じて、ＲＯＭ１５３に格納される各種プログラムを実行し、各部に制御信号を出力することによって、冷蔵庫１の動作全般を統括制御する。

ＲＡＭ１５２は、ＣＰＵ１５１のワークエリアとして用いられ、ＲＯＭ１５３から読み出された各種プログラムやこれらプログラムに係るデータ等をメモリエリアに一時的に記憶する。

ＲＯＭ１５３は、ＣＰＵ１５１によって実行される各種の処理プログラム及び各プログラムの処理に係る各種初期設定値等のデータを格納するものである。

具体的には、ＲＯＭ１５３は、撮像プログラム１５３ａ、判断プログラム１５３ｂ、特
定プログラム１５３ｃ、画像処理プログラム１５３ｄ、送信プログラム１５３ｅ等を格納する。

撮像プログラム１５３ａは、ＣＰＵ１５１に、駆動回路を制御して、電源を供給させることにより照明装置１３を点灯させ、さらに、撮像部１４を制御して、被写体から反射した反射光が撮像レンズを介して収束され結像された結像画像を電気信号に変換させることにより、画像データをデジタル信号として制御部１５に出力させる機能を実現させるプログラムである。

具体的には、ＣＰＵ１５１は、冷蔵室用扉センサ１２ａにより冷蔵室用開閉扉１１ｃの閉動が検出されると、一定時間再び冷蔵室用開閉扉１１ｃの開動が検出されない場合に、冷蔵室用庫内灯１３ａを点灯させ、第１の冷蔵室用カメラ１４ａ、第２の冷蔵室カメラ１４ｂ及び第３の冷蔵室用カメラ１４ｃを制御して、冷蔵室１１ａ内部を撮像させ、その後、冷蔵室用庫内灯１３ａを消灯させる。また、ＣＰＵ１５１は、冷凍室用扉センサ１２ｂにより冷凍室用開閉扉１１ｄの閉動が検出されると、一定時間経過後に再び冷凍室用開閉扉１１ｄの開動が検出されない場合に、冷凍室用庫内灯１３ｂを点灯させ、冷凍室用カメラ１４ｄを制御して、冷凍室１１ｂ内部を撮像させ、その後、冷凍室用庫内灯１３ｂを消灯させる。

ＣＰＵ１５１は、かかる撮像プログラム１５３ａを実行することにより、撮像部１４とともに撮像手段として機能する。

判断プログラム１５３ｂは、ＣＰＵ１５１に、撮像プログラム１５３ａの実行により取得された画像データに対し、所定の画像処理を施すことにより、冷蔵庫本体１１の内部における収納物の変化の有無を判断させる機能を実現させるプログラムである。

具体的には、ＣＰＵ１５１は、判断プログラム１５３ｂを実行することにより、撮像部１４に備わる各カメラにより撮像され、ＲＡＭ１５２に格納された現フレーム画像（Ｎ）（図４（ａ）参照）データと、前回の冷蔵室用開閉扉１１ｃ又は冷凍室用開閉扉１１ｄの閉動後に撮像部１４に備わる各カメラにより撮像され、ＲＡＭ１５２に格納された１フレーム前画像（Ｎ−１）（図４（ｂ）参照）データとの差分処理を行い、差分処理によって作成された差分画像（Ｎｄ）（図４（ｃ）参照）データにおいて、例えば、二値化処理やエッジ検出等の処理により所定値以上の変化が計測されるか否かを判断する。所定値以上の変化が計測されたと判断した場合は、ＣＰＵ１５１は、冷蔵庫本体１１の内部の収納物に変化が有ると判断することとなる。

ＣＰＵ１５１は、かかる判断プログラム１５３ｂを実行することにより、判断手段として機能する。

特定プログラム１５３ｃは、ＣＰＵ１５１に、判断プログラム１５３ｂの実行により、冷蔵庫本体１１の内部における収納物に変化があると判断された場合に、さらに、冷蔵庫本体１１の内部における収納物の変化位置を特定する機能を実現させるプログラムである。

具体的には、ＣＰＵ１５１は、判断プログラム１５３ｂの実行により作成された差分画像（Ｎｄ）データにおいて、所定値以上の変化が計測された領域の位置を、現フレーム画像（Ｎ）データにおいて特定する。

ＣＰＵ１５１は、かかる特定プログラム１５３ｃを実行することにより、特定手段として機能する。

画像処理プログラム１５３ｄは、ＣＰＵ１５１に、特定プログラム１５３ｃの実行により、収納物の変化位置が特定された領域が識別可能となるような画像処理を、現フレーム画像（Ｎ）データに対して行わせる機能を実現させるプログラムである。

具体的には、例えば、図４に示すように、ＣＰＵ１５１は、収納物の変化位置が特定された領域を、例えば、枠で囲む等の切り出し処理等の画像処理を、現フレーム画像（Ｎ）
データに対して行い、識別画像（Ｎｐ）（図４（ｄ）参照）データを作成する。この識別画像（Ｎｐ）データに基づく画像を用いて、ユーザは、収納物の変化位置が特定された領域Ｘ（図４（ｄ））を一目で認識し得るので、変化した収納物を容易に特定することができる。

ＣＰＵ１５１は、かかる画像処理プログラム１５３ｄを実行することにより、画像処理手段として機能する。

送信プログラム１５３ｅは、ＣＰＵ１５１に、画像処理プログラム１５３ｄの実行により画像処理された識別画像（Ｎｐ）データを、サーバ２に送信させる機能を実現させるプログラムである。

ＣＰＵ１５１は、かかる送信プログラム１５３ｅを実行することにより、送信部１６とともに送信手段として機能する。

送信部１６は、モデム（MODEM/MOdulator/DEModulator）、ターミナルアダプタ、ＬＡ
Ｎアダプタ等によって構成され、インターネット等の通信ネットワークを介し、外部機器との通信を行う。

具体的には、送信部１６は、送信プログラム１５３ｅの実行により画像処理された識別画像（Ｎｐ）データを、ユーザＩＤとともにインターネットを介してサーバ２に送信する。
（サーバ２の構成）
次に、サーバ２について図５を用いて説明する。

図５は、サーバ２の要部構成を示すブロック図である。

図５に示すように、サーバ２は、データの送受信を行う通知手段及び画像データ送信手段としての送受信部２１と、画像データ等を格納する記憶手段としての記憶部２２と、各種プログラム、入力データ及びプログラムが実行される際に生じる処理結果等を記憶するメインメモリ２３と、メインメモリ２３に格納されたプログラムを実行することによりサーバ２を統括制御するＣＰＵ２４と、を備えて構成される。

記憶部２２は、例えば、ＨＤＤ（Hard Disc Drive）等により構成され、冷蔵庫監視シ
ステム１００のユーザが登録されたユーザリスト２２１と、画像データを格納する画像フォルダ部２２２と、を備えている。

ユーザリスト２２１に登録された各ユーザにはユーザＩＤが付されており、さらに、通知メール等の送信先である携帯電話機３等の端末装置のメールアドレスが、ユーザＩＤと対応付けられて記載されている。

画像フォルダ部２２２は、冷蔵庫１から送信され、送受信部２１によって受信された画像データを格納する複数の画像フォルダ２２２ａ・・・を備えて構成される。

画像フォルダ２２２ａには、各画像データが、画像データを識別するために付された画像ＩＤ、受信日時及び画像ファイル名等とともに、ユーザＩＤと対応付けられて記憶されている。

メインメモリ２３は、ＣＰＵ２４によって実行される記憶プログラム２３ａ、通知プログラム２３ｂ及び画像データ送信プログラム２３ｃ等を備えている。

記憶プログラム２３ａは、ＣＰＵ２４に、識別画像（Ｎｐ）データが冷蔵庫１からインターネットを介して送信されて、送受信部２１により受信されると、該識別画像（Ｎｐ）データを画像フォルダ２２２ａに格納させる機能を実現させるプログラムである。

ＣＰＵ２４は、かかる記憶プログラム２３ａを実行することにより、記憶部２２ととも
に記憶手段として機能する。

通知プログラム２３ｂは、ＣＰＵ２４に、識別画像（Ｎｐ）データが冷蔵庫１からインターネットを介して送信されて、送受信部２１により受信されると、該識別画像（Ｎｐ）データを受信したことを通知する電子メールを、ユーザの携帯電話機３のメールアドレスに送信させる機能を実現させるプログラムである。

ＣＰＵ２４は、かかる通知プログラム２３ｂを実行することにより送受信部２１とともに通知手段として機能する。

画像データ送信プログラム２３ｃは、ＣＰＵ２４に、携帯電話機３からのリクエストの受信に応じて、識別画像（Ｎｐ）データを、インターネットのウェブページを用いて、ユーザの携帯電話機３に送信させる機能を実現させるプログラムである。

ＣＰＵ２４は、かかる画像データ送信プログラム２３ｃを実行することにより、送受信部２１とともに画像データ送信手段として機能する。
（携帯電話機３の構成）
次に、携帯電話機３について図６を参照しながら説明する。

図６は、携帯電話機３の要部構成を示すブロック図である。

図６に示すように、携帯電話機３は、データ等を送受信する送受信部３１と、データ及びプログラム等を格納するメモリ部３２と、ユーザにより各種指示入力がされる操作入力部３３と、画像データ等を表示させる表示画面３４ａを備える表示部３４と、各部に制御信号を出力することで携帯電話機３を統括制御するＣＰＵ３５と、を備えて構成されている。

サーバ２により通知メールが送信されると、送受信部３１は該通知メールを受信し、例えば、図７に示すように、表示部３４の表示画面３４ａに、冷蔵庫本体１１の内部の収納物に変化が検出された旨の通知が表示される。通知メールには、さらに、サーバ２の画像フォルダ部２２２に格納された識別画像（Ｎｐ）データを読み出し可能なように、画像データのリンク先のＵＲＬが表示されたリンクボタンが表示されている。

そして、表示画面３４ａに表示されたリンクボタンを押下することにより、押下されたリンクボタンのＵＲＬが送受信部３１を介してサーバ２に送信され、サーバ２から送信されるウェブページがメモリ部３２に格納されたブラウザソフト等により表示部３４の表示画面３４ａに表示されるようになっている。

次に、冷蔵庫１のＣＰＵ１５１及びサーバ２のＣＰＵ２４によって行われる画像取得・送信動作処理を、図８を参照しながら説明する。

画像取得・送信動作処理は、冷蔵庫１のＣＰＵ１５１が、撮像プログラム１５３ａ、判断プログラム１５３ｂ、特定プログラム１５３ｃ、画像処理プログラム１５３ｄ、送信プログラム１５３ｅを実行し、また、サーバ２のＣＰＵ２４が記憶プログラム２３ａを実行することにより行われる。

なお、本処理では、ユーザにより冷蔵室用開閉扉１１ｃが開閉される場合について説明する。

まず、ＣＰＵ１５１は、冷蔵室用扉センサ１２ａによる冷蔵室用開閉扉１１ｃの閉動が検出されたか否かを判断する（ステップＳ１）。ユーザにより冷蔵室用開閉扉１１ｃが閉じられ、例えば、「Ｌ」の検出信号が制御部１５に入力されると、ＣＰＵ１５１は、冷蔵室用開閉扉１１ｃの閉動が検出されたと判断し（ステップＳ１：ＹＥＳ）、ステップＳ２に進む。ステップＳ２において、再度冷蔵室用開閉扉１１ｃが開かれることなく所定時間が経過すると、ＣＰＵ１５１は、冷蔵室用庫内灯１３ａを点灯する（ステップＳ３）。

次いで、ＣＰＵ１５１は、撮像部１４に備わる第１の冷蔵室用カメラ１４ａ、第２の冷蔵室用カメラ１４ｂ及び第３の冷蔵室用カメラ１４ｃに冷蔵室１１ａ内部を撮像させ（ステップＳ４）、撮像が終了すると、冷蔵室用庫内灯１３ａを消灯させる（ステップＳ５）。次に、ＣＰＵ１５１は、ステップＳ４において撮像し、取得した現フレーム画像（Ｎ）データをＲＡＭ１５２に格納する（ステップＳ６）。さらに、ＣＰＵ１５１は、ステップＳ６においてＲＡＭ１５２に格納した現フレーム画像（Ｎ）データと、既にＲＡＭ１５２に格納されている１フレーム前画像（Ｎ−１）データとの差分画像（Ｎｄ）データを作成し（ステップＳ７）、該差分画像（Ｎｄ）データに二値化処理やエッジ検出等の処理を施して変化領域の検出を行う。

次に、ＣＰＵ１５１は、差分画像（Ｎｄ）データに基づいて、現フレーム画像（Ｎ）データと１フレーム前画像（Ｎ−１）データとに、所定値以上の変化が検出されるか否かを判断する（ステップＳ８）。ＣＰＵ１５１は、ステップＳ８において、所定値以上の変化が検出されたと判断すると（ステップＳ８：ＹＥＳ）、現フレーム画像（Ｎ）データおいて所定値以上の変化が検出された位置を特定する（ステップＳ９）。次に、ＣＰＵ１５１は、ステップＳ９において特定された変化位置を識別可能なように、現フレーム画像（Ｎ）データに対して画像処理を行い、識別画像（Ｎｐ）データを作成する（ステップＳ１０）。さらに、ＣＰＵ１５１は、作成した識別画像（Ｎｐ）データを、送信部１６により、インターネットを介してサーバ２に送信させ（ステップＳ１１）、本処理を終了する。

一方、サーバ２のＣＰＵ２４は、ステップＳ１２において、冷蔵庫１により送信された識別画像（Ｎｐ）データを受信すると、該識別画像（Ｎｐ）データを画像ＩＤ、受信日時及び画像ファイル名とともにユーザＩＤと対応付けて、画像フォルダ２２２ａに登録・保存し（ステップＳ１３）、本処理を終了する。

次に、サーバ２のＣＰＵ２４及び携帯電話機３のＣＰＵ３５によって行われる画像閲覧動作処理を、図９を参照しながら説明する。

画像閲覧動作処理は、サーバ２のＣＰＵ２４が通知プログラム２３ｂ及び画像データ送信プログラム２３ｃを実行することにより行われる。

まず、サーバ２のＣＰＵ２４は、冷蔵庫１より、識別画像（Ｎｐ）データを受信した場合、冷蔵庫本体１１の内部における収納物が変化した旨の通知メールを、ユーザリスト２２１に記載されたユーザの携帯電話機３のメールアドレスに送信させる（ステップＳ２１）。

ステップＳ２２において、携帯電話機３のＣＰＵ３５は、サーバ２によって送信された通知メールが受信され、ユーザにより、該通知メールに設定された識別画像（Ｎｐ）データを読み出すためのＵＲＬが表示されたリンクボタンが押下されると（ステップＳ２３）、サーバ２に対して該識別画像（Ｎｐ）データのリクエストを送信する（ステップＳ２４）。次に、該リクエストを受信したサーバ２のＣＰＵ２４は、画像フォルダ部２２２の画像フォルダ２２２ａから、リクエストに記載されている画像データの識別情報に基づいて、所望の識別画像（Ｎｐ）データを読み出し（ステップＳ２５）、送受信部２１により、サーバ２のウェブページを用いて、該識別画像（Ｎｐ）データを携帯電話機３に送信させ（ステップＳ２６）、本処理を終了する。

携帯電話機３のＣＰＵ３５は、サーバ２によって送信された識別画像（Ｎｐ）データが含まれるウェブページデータが送受信部３１により受信されると（ステップＳ２７）、メモリ部３２に格納されたブラウザソフトを実行することによって、受信した該画像データに基づく画像を含むウェブページを表示部３４の表示画面３４ａに表示させ（ステップＳ２８）、本処理を終了する。

以上説明した本発明に係る冷蔵庫監視システム１００によれば、冷蔵庫１のＣＰＵ１５１による撮像プログラム１５３ａの実行により取得された画像データに基づいて、判断プログラム１５３ｂの実行により冷蔵庫本体１１の内部における収納物の変化の有無が判断される。冷蔵庫本体１１の内部の収納物に変化があると判断された場合には、特定プログラム１５３ｃの実行により冷蔵庫本体１１の内部における収納物の変化位置が特定され、さらに、画像処理プログラム１５３ｄの実行により冷蔵庫本体１１の内部における収納物に変化があると判断された画像データにおいて、画像処理が施されて冷蔵庫本体１１の内部における収納物の変化位置が識別可能となる識別画像（Ｎｐ）データが作成される。そして、該識別画像（Ｎｐ）データは、送信プログラム１５３ｅの実行により、サーバ２に送信され、サーバ２のＣＰＵ２４による記憶プログラム２３ａの実行により、冷蔵庫１から送信された識別画像（Ｎｐ）データが記憶される。そして、画像データ送信プログラム２３ｃの実行により、記憶プログラム２３ａの実行により記憶された識別画像（Ｎｐ）データが、携帯電話機３からの要求に応じて携帯電話機３に送信される。従って、ユーザは遠隔地においても、ユーザは冷蔵庫本体１１の内部における収納物の変化をいちいち問い合わせることなく容易に把握できるとともに、携帯電話機３から識別画像（Ｎｐ）を閲覧することにより、冷蔵庫本体１１の内部における変化した収納物の特定を容易且つ確実に行うことができる。

なお、本発明は、上記実施の形態に限定されることなく、本発明の逸脱しない範囲において、種々の改良及び設計の変更を行っても良い。

例えば、本発明は、端末装置としての携帯電話機３に送信される通知メールに画像データのリンク先が設定された例を用いて説明したが、通知メールに識別画像（Ｎｐ）データが添付されていても良い。

また、本発明は、冷蔵庫１から管理装置や端末装置に画像処理の施された識別画像（Ｎｐ）データが送信される例を用いて説明したが、送信されるのは画像処理の施されていない画像データであっても良い。

また、本発明は、管理装置としてのサーバ２が冷蔵庫１の外部に設けられている例を用いて説明したが、管理装置の機能を冷蔵庫１に内蔵したものであってもよい。この場合、通知情報は、冷蔵庫１から端末装置に直接送信されることとなる。

また、端末装置は、携帯電話機３に限られず、ＰＣ（Personal Computer）等であって
もよい。

また、本発明は、判断プログラム１５３ｂ、特定プログラム１５３ｃ及び画像処理プログラム１５３ｄが冷蔵庫１に備わり、冷蔵庫１において、冷蔵庫本体１１の内部の収納物の変化の検出及び識別画像（Ｎｐ）データの作成が行われる例を用いて説明したが、収納物の変化の検出及び識別画像（Ｎｐ）データの作成は、管理装置で行われる設計であっても良い。

また、本発明は、管理装置としてのサーバ２は、一台でメールサーバ及びウェブサーバ等としてのサービスを提供する設計としたが、各サービスごとに管理装置が設けられる設計であってもよい。

また、本発明は、物品保存庫として、冷蔵庫１を例示したが、例えば、金庫、倉庫、ショーケース、押入、クローゼット等、物品を収納或いは保存するものであれば、どのようなものであっても良い。

また、本発明は、撮像部１４のカメラを、撮像箇所毎に複数設ける例を用いて説明したが、移動、回転等させることにより一つのカメラで複数の撮像箇所を撮像させてもよい。

また、本発明は、撮像部１４による撮像が行われる際、照明装置１３を点灯させる例を用いて説明したが、撮像部１４にフラッシュ機能が設けられる設計であってもよい。

本発明に係る冷蔵庫監視システムの構成を示す図である。 本発明に係る冷蔵庫の斜視図である。 本発明に係る冷蔵庫の要部構成を示すブロック図である。 現フレーム画像（Ｎ）、１フレーム前画像（Ｎ−１）、差分画像（Ｎｄ）及び識別画像（Ｎｐ）の一例を示す説明図である。 本発明に係る管理装置としてのサーバの要部構成を示すブロック図である。 本発明に係る端末装置としての携帯電話機の要部構成を示すブロック図である。 携帯電話機の表示画面に表示された通知メールの一例を示す説明図である。 本発明に係る冷蔵庫監視システムの画像取得・送信動作処理を示すフローチャートである。 本発明に係る冷蔵庫監視システムの画像閲覧動作処理を示すフローチャートである。

符号の説明

１００ 冷蔵庫監視システム（物品保存庫監視システム）
１ 冷蔵庫（物品保存庫）
１１ 冷蔵庫本体（物品保存庫本体）
１１ｃ 冷蔵室用開閉扉（扉）
１１ｄ 冷凍室用開閉扉（扉）
１２ 扉開閉検出センサ（扉閉動検出手段）
１４ 撮像部（撮像手段）
１５１ ＣＰＵ（撮像手段、判断手段、特定手段、画像処理手段、送信手段）
１５３ａ 撮像プログラム（撮像手段）
１５３ｂ 判断プログラム（判断手段）
１５３ｃ 特定プログラム（特定手段）
１５３ｄ 画像処理プログラム（画像処理手段）
１５３ｅ 送信プログラム（送信手段）
１６ 送信部（送信手段）
２ サーバ（管理装置）
２１ 送受信部（通知手段、画像データ送信手段）
２２ 記憶部（記憶手段）
２３ａ 記憶プログラム（記憶手段）
２３ｂ 通知プログラム（通知手段）
２３ｃ 画像データ送信プログラム（画像データ送信手段）
２４ ＣＰＵ（記憶手段、通知手段、画像データ送信手段）
３ 携帯電話機（端末装置）

Claims (6)

1. 冷蔵庫と、この冷蔵庫に電気通信回線を介して接続される管理装置と、この管理装置に電気通信回線を介して接続される端末装置と、を備える冷蔵庫監視システムにおいて、
   前記冷蔵庫は、
   開閉自在な扉を有する冷蔵庫本体と、
   前記扉の閉動を検出する扉閉動検出手段と、
   前記扉閉動検出手段により前記扉の閉動が検出されたことに基づいて、前記冷蔵庫本体の内部を撮像して画像データを取得する撮像手段と、
   前記撮像手段により取得された前記画像データに基づいて、前記冷蔵庫本体の内部における収納物の変化の有無を判断する判断手段と、
   前記判断手段により、前記冷蔵庫本体の内部における収納物に変化があると判断された場合に、更に、前記冷蔵庫本体の内部における収納物の変化位置を特定する特定手段と、
   前記判断手段により前記冷蔵庫本体の内部における収納物に変化があると判断された前記画像データに、前記特定手段により特定された前記冷蔵庫本体の内部における収納物の変化位置を識別可能となるように画像処理する画像処理手段と、
   前記画像処理手段により画像処理された前記画像データを前記管理装置に送信する送信手段と、を備え、
   前記管理装置は、
   前記送信手段により送信された前記画像データを記憶する記憶手段と、
   前記送信手段から前記画像データが送信された場合に、前記端末装置にその旨の通知を行う通知手段と、
   前記記憶手段により記憶された前記画像データを、前記端末装置からの要求に応じて前記端末装置に送信する画像データ送信手段と、
   を備えることを特徴とする冷蔵庫監視システム。
2. 端末装置と電気通信回線を介して接続される物品保存庫であって、
   開閉自在な扉を有する物品保存庫本体と、
   前記扉の閉動を検出する扉閉動検出手段と、
   前記扉閉動検出手段により前記扉の閉動が検出されたことに基づいて、前記物品保存庫本体の内部を撮像して画像データを取得する撮像手段と、
   前記撮像手段により取得された前記画像データに基づいて、前記物品保存庫本体の内部における収納物の変化の有無を判断する判断手段と、
   前記判断手段により、前記物品保存庫本体の内部における収納物に変化があると判断された場合に、前記端末装置に所定の通知情報を送信する送信手段と、
   を備えることを特徴とする物品保存庫。
3. 前記判断手段により、前記物品保存庫本体の内部における収納物に変化があると判断された場合に、更に、前記物品保存庫本体の内部における収納物の変化位置を特定する特定手段を備え、
   前記通知情報には、前記特定手段により特定された前記物品保存庫本体の内部における収納物の変化位置に関する情報が含まれることを特徴とする請求項２に記載の物品保存庫。
4. 前記通知情報には、前記物品保存庫本体の内部における収納物に変化があると判断された前記画像データが含まれることを特徴とする請求項２又は３に記載の物品保存庫。
5. 前記判断手段により前記物品保存庫本体の内部における収納物に変化があると判断された前記画像データに、前記特定手段により特定された前記物品保存庫本体の内部における収納物の変化位置を識別可能となるように画像処理する画像処理手段を備え、
   前記通知情報には、前記画像処理手段により画像処理された前記画像データが含まれることを特徴とする請求項３又は４に記載の物品保存庫。
6. 収納物を保存する物品保存庫と、この物品保存庫に電気通信回線を介して接続される管理装置と、この管理装置に電気通信回線を介して接続される端末装置と、を備える物品保存庫監視システムにおいて、
   前記物品保存庫は、
   開閉自在な扉を有する物品保存庫本体と、
   前記扉の閉動を検出する扉閉動検出手段と、
   前記扉閉動検出手段により前記扉の閉動が検出されたことに基づいて、前記物品保存庫本体の内部を撮像して画像データを取得する撮像手段と、
   前記撮像手段により取得された前記画像データに基づいて、前記物品保存庫本体の内部における収納物の変化の有無を判断する判断手段と、
   前記判断手段により、前記物品保存庫本体の内部における収納物に変化があると判断された場合に、当該変化があると判断された前記画像データを前記管理装置に送信する送信手段と、を備え、
   前記管理装置は、
   前記送信手段により送信された前記画像データを記憶する記憶手段と、
   前記送信手段から前記画像データが送信された場合に、前記端末装置にその旨の通知を行う通知手段と、
   前記記憶手段により記憶された前記画像データを、前記端末装置からの要求に応じて前記端末装置に送信する画像データ送信手段と、
   を備えることを特徴とする物品保存庫監視システム。

Images