JP7584036B2

JP7584036B2 - 冷蔵庫

Info

Publication number: JP7584036B2
Application number: JP2023129791A
Authority: JP
Inventors: 和宏村上; 倫明田中
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-12-20
Filing date: 2023-08-09
Publication date: 2024-11-15
Anticipated expiration: 2037-12-20
Also published as: JP2023138720A; JP2019109026A; JP7340766B2; JP7113281B2; JP2022103368A

Description

本発明は、冷蔵庫に関する。

従来、冷蔵室に収容された食品をカメラにより撮像して、撮像画像から個々の食品の画像を抽出し、連続する２つの時点における撮像画像から抽出した食品の画像を比較して入庫／出庫を判別して、画像を保存するようにした冷蔵庫が知られている（例えば、特許文献１参照）。
特許文献１に記載された冷蔵庫においては、食品画像データベースに記憶された情報を参照して、カメラによる撮像画像から抽出された各食品の画像に基づいて、冷蔵室に入出庫された食品の種類及び量を識別している。

特開２０１６－２００３８０号公報

上記特許文献１に記載された冷蔵庫においては、入庫時の食品の画像に基づいて、冷蔵室に収容された食品の種類及び量を、食品画像データベースに記憶された情報から判別するため、認識可能な食品の量は個数或いは予め記憶された規定量（長軸の長さ）となる。そのため、キャベツやダイコンのように、何回かに分けて使用されることが多い食品の残量を認識することができない。
そこで、食品の残量を認識するために、重量センサによって食品の重量の変化を検出することが考えられるが、重量センサにより個々の食品の重量を検出することは困難であり、また、重量センサを配置するためのスペース及び配線経路を確保するために、庫内の構成が複雑になる。
本発明はかかる背景に鑑みてなされたものであり、収容室に収容される食品の量と種別を、複数のカメラによる簡易な構成により認識することができる冷蔵庫を提供することを目的とする。

前記従来の課題を解決するために、本発明の冷蔵庫は、食品の収容室と、前記収容室の開口部の上部の左側に配置されて、前記開口部の上部の左側から前記収容室内を撮像する左カメラと、前記開口部の上部の右側に配置されて、前記開口部の上部の右側から前記収容室内を撮像する右カメラと、前記収容室の側壁に配置されて、前記側壁側から前記収容室の内部を撮影する側面カメラと、前記左カメラ及び前記右カメラにより撮像された同一の対象食品の画像から、前記対象食品の複数の箇所について前記左カメラ及び前記右カメラ間の視差を算出し、前記複数の箇所についての前記左カメラ及び前記右カメラ間の視差に基づいて、前記複数の箇所の実空間位置を算出することにより、前記対象食品のサイズを認識する食品サイズ認識部と、前記食品サイズ認識部により認識された前記対象食品のサイズに基づいて、前記対象食品の量を認識する食品量認識部と、前記左カメラと前記右カメラと前記側面カメラとによる撮像画像から抽出した前記対象食品の画像から、前記対象食品の種別を認識する食品種別認識部と、を備えるものである。

これによって、食品サイズ認識部により左カメラと右カメラにより撮像された同一の対象食品の画像から対象食品のサイズを認識して、食品量認識部により対象食品の量を認識すると共に、食品種別認識部により、左カメラと右カメラと側面カメラとによる対象食品の画像から対象食品の種別を認識することができる。

本発明の冷蔵庫によれば、収容室に収容される食品の量と種別を、複数のカメラによる簡易な構成により認識することができる。

家屋に設置された冷蔵庫に収容された食品の状況を、端末装置により確認する構成の説明図冷蔵庫の外観の説明図冷蔵庫の庫内の構成を、右側から見た断面図により示した説明図冷蔵室の内部構成を、正面から見た断面図により示した説明図２台のカメラによる撮像画像から、対象物までの距離を求める方法の説明図制御ユニットの構成図制御ユニットによる全体的な処理を示したフローチャート撮像処理のフローチャート入庫時画像の分析処理のフローチャート出庫時画像の分析処理のフローチャート庫内食品管理処理の第１のフローチャート庫内食品管理処理の第２のフローチャート庫内食品リスト及び賞味期限基準リストの説明図

第１の発明の冷蔵庫は、食品の収容室と、前記収容室の開口部を含む範囲を撮像するカメラと、前記カメラにより、前記収容室に入庫される入庫食品の画像である入庫時画像と、前記収容室から出庫される出庫食品の画像である出庫時画像とを取得する食品画像取得部と、前記入庫時画像に基づく前記入庫食品の情報が記録された入庫食品情報と、前記出庫時画像に基づく前記出庫食品の情報が記録された出庫食品情報とに基づいて、前記収容室に収容された各食品の情報と入出庫日時が記録された庫内食品リストを生成する食品情報管理部と、を備える冷蔵庫であって、前記食品情報管理部は、前記食品画像取得部により前記入庫時画像が取得されたときに、前記庫内食品リストに基づいて、所定時間以内に前記収容室からの食品の出庫があったか否かを判断し、前記所定時間以内に前記収容室からの食品の出庫があり、且つ、前記庫内食品リストに記録された前回出庫された食品の情報と、前記入庫食品情報に記録された今回入庫された食品の情報との一致率が、所定値以上であるときには、前回出庫された食品と今回入庫された食品が同一物であると判断して、前記庫内食品リストに記録された前回出庫された食品の情報を、前記入庫食品情報に記録された今回入庫された食品の情報により更新する構成となっている。
第１の発明によれば、食品情報管理部は、食品の入庫時画像が取得されたときに、庫内食品リストに基づいて、所定時間以内に収容室からの食品の出庫があったか否かを判断し、所定時間以内に収容室からの食品の出庫があり、且つ、庫内食品リストに記録された前回出庫された食品の情報と、入庫食品情報に記録された今回入庫された食品の情報との一致率が、所定値以上であるときには、前回出庫された食品と今回入庫された食品が同一物であると判断して、庫内食品リストに記録された前回出庫された食品の情報を、入庫食品情報に記録された今回入庫された食品の情報により更新する。そのため、収容室から出庫された食品の再入庫を、簡易な構成により判断して、収容室に収容された食品の情報を管理することができる。

第２の発明は、前記食品の情報には、食品の種別と重量が含まれ、前記食品情報管理部は、前回出庫された食品と今回入庫された食品とが同一の種別の食品であって、前回出庫された食品の情報と今回入庫された食品の情報の一致率が前記所定値以上であるが、今回入庫された食品の重量が前回出庫された食品の重量よりも増加したときには、今回入庫された食品は新たに入庫された食品であると判断して、前記庫内食品リストに記録された前回出庫された食品の情報の、前記入庫食品情報に記録された今回入庫された食品の情報による更新を行わない構成となっている。
第２の発明によれば、前回出庫された食品と今回入庫された食品とが同一の種別の食品であって、前回出庫された食品の情報と今回入庫された食品の情報の一致率が前記所定値以上であるが、今回入庫された食品の重量が前回出庫された食品の重量よりも増加したときに、今回入庫された食品は新たに入庫された食品であると判断することにより、庫内食品リストに記録された前回出庫された食品の情報が、入庫食品情報に記録された今回入庫された別の食品の情報により更新されることを回避することができる。

第３の発明は、前記食品情報管理部は、前記食品画像取得部により前記入庫時画像が取得されたときに、前記庫内食品リストに基づいて、所定時間以内に前記収容室からの食品の出庫がなかったと判断したとき、又は、前記庫内食品リストに記録された前回出庫された食品の情報と、前記入庫食品情報に記録された今回入庫された食品の情報との一致率が、前記所定値未満であるときには、前記入庫食品情報に記録された今回入庫された食品の情報に基づいて、今回入庫された食品を前記庫内食品リストに新規登録する構成となっている。
第３の発明によれば、庫内食品リストに基づいて、所定時間以内に収容室からの食品の出庫がなかったと判断したとき、又は、庫内食品リストに記録された前回出庫された食品の情報と、入庫食品情報に記録された今回入庫された食品の情報との一致率が、所定値未満であるときに、今回入庫された食品を庫内食品リストに新規登録することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本実施の形態によって本発明が限定されるものではない。

［１．冷蔵庫の使用態様］
図１は、本実施形態の冷蔵庫の使用態様を示している。本実施形態の冷蔵庫１は、家屋Ｈに設置され、ゲートウェイ５００及び通信ネットワーク５１０を介して管理サーバー５２０との間で通信を行う機能を有している。また、冷蔵庫１は、端末装置（スマートフォン、タブレット端末等）４００との間で通信を行う機能を有している。端末装置４００は、ゲートウェイ５００及び通信ネットワーク５１０を介して管理サーバー５２０との間で通信を行う機能を有している。

冷蔵庫１に備えられた制御ユニット１００は、冷蔵庫１の全体的な作動を制御すると共に、冷蔵庫１の収容室に収容されている食品の情報を示す庫内食品リスト１３１を生成して管理サーバー５２０に送信する。端末装置４００において実行される冷蔵庫の管理用アプリケーションは、管理サーバー５２０から庫内食品リスト１３１のデータを取得することにより、或いは冷蔵庫１から庫内食品リスト１３１のデータを取得することにより、庫内食品リスト１３１に基づいて、冷蔵庫１に収容されている食品の情報を表示部に表示する。冷蔵庫１のユーザーＰは、端末装置４００の表示を視認することにより、冷蔵庫１に収容されている食品の状況（食品名、賞味期限、残量等）を確認することができる。

［２．冷蔵庫の構成］
図２～図６を参照して、冷蔵庫１の構成について説明する。図２は冷蔵庫１の外観を示した説明図である。図２に示したように、冷蔵庫１は前面に開口した主箱体２を備え、主箱体２内には、冷蔵室１０（本発明の収容室に相当する）、製氷室３０、製氷室３０に併設されて庫内の温度が変更できる切換室２０、冷凍室４０、及び野菜室５０が形成されている。

冷蔵室１０の前面の開口部には、回転式の右ドア１１及び左ドア１２（本発明の開閉部に相当する）が設けられている。また、切換室２０、製氷室３０、冷凍室４０、及び野菜室５０には、それぞれ食品を収容する引き出し２１、３１、４１、５１が設けられている。

次に、図３は冷蔵庫１の庫内の構成を右側から見た断面図により示した説明図であり、図４は冷蔵室１０の内部構成を正面から見た断面図により示した説明図である。図３、図４を参照して、冷蔵室１０には、冷蔵室１０をサブエリアに区画する上棚１３、中棚１４、下棚１５が配置されている。また、冷蔵室１０には、冷蔵室１０内を照らす照明部１６ａ～１６ｆ、冷蔵室１０内の照度を検出する照度センサ１７ａ～１７ｃ、左カメラ６０ａ、右カメラ６０ｂ、及び側面カメラ６０ｃが設けられている。

左カメラ６０ａは、冷蔵室１０の開口部１０ａの上部付近の左側に、開口部１０ａが撮像範囲に含まれるように配置され、開口部１０ａから各棚１３，１４，１５の前端付近までの範囲を撮像する。右カメラ６０ｂは、冷蔵室１０の開口部１０ａの上部付近の右側に、開口部１０ａが撮像範囲に含まれるように配置され、開口部１０ａから各棚１３，１４，１５の前端付近までの範囲を撮像する。側面カメラ６０ｃは、冷蔵室の左側壁に配置され、左側壁側から冷蔵室１０の内部を撮像する。側面カメラ６０ｃを設けることにより、左カメラ６０ａ又は右カメラ６０ｂによる撮像が不能である食品について、側面カメラ６０ｃにより撮像することが可能となる。

また、冷凍サイクルを構成する補機である圧縮機６１、冷却ファン６２、冷却器６３、及び凝縮器６４が設けられている。さらに、冷蔵室１０の背面には、冷気を流通させるための冷蔵室ダクト７０と冷気吐出口７１～７３が配置されている。

冷蔵室１０には、右ドア１１の開閉を検出する開閉センサ１８ｂと、左ドア１２の開閉を検出する開閉センサ１８ａとが設けられている。開閉センサ１８ｂは、右ドア１１が閉まっているときは閉検出信号を出力し、右ドア１１が開いているときには開検出信号を出力する。同様に、開閉センサ１８ａは、左ドア１２が閉まっているときは閉検出信号を出力し、左ドア１２が開いているときには開検出信号を出力する。

切換室２０には、開口部２０ａの開閉を検出する開閉センサ２２が設けられている。開閉センサ２２は、切換室２０に引き出し２１が収容されているときは閉検出信号を出力し、切換室２０から引き出し２１が引き出されているときには開検出信号を出力する。

同様に、製氷室３０には引き出し３１による開口部３０ａの開閉を検出する開閉センサ３２が設けられている。また、冷凍室４０には引き出し４１による開口部４０ａの開閉を検出する開閉センサ４２が設けられ、野菜室５０には引き出し５１による開口部５０ａの開閉を検出する開閉センサ５２が設けられている。開閉センサ３２，４２，５２は、開閉センサ２２と同様に、閉検出信号と開検出信号を出力する。

次に、図５は、左カメラ６０ａと右カメラ６０ｂにより、同一の対象物Ｆを撮像する状況を示している。左カメラ６０ａの撮像画像Ｖａにおいて、Ｇａ１は対象物Ｆの第１箇所Ｐ１に対応する画像部分の位置であり、Ｇａ２は対象物Ｆの第２箇所Ｐ２に対応する画像部分の位置を示している。また、右カメラ６０ｂの撮像画像Ｖｂにおいて、Ｇｂ１は対象物Ｆの第１箇所Ｐ１に対応する画像部分の位置を示し、Ｇｂ２は対象物Ｆの第２箇所Ｐ２に対応する画像部分の位置を示している。

撮像画像ＶａにおけるＧａ１の位置（座標）（ｘａ１，ｙａ１）と、撮像画像ＶｂにおけるＧｂ１の位置（ｘｂ１，ｙｂ１）から、第１箇所Ｐ１に対する左カメラ６０ａと右カメラ６０ｂの視差を算出することにより、公知の三角法の手法によって、左カメラ６０ａ及び右カメラ６０ｂから対象物Ｆの第１箇所Ｐ１までの距離と第１箇所Ｐ１の実空間における位置を算出することができる。

同様に、撮像画像ＶａにおけるＧａ２の位置（ｘａ２，ｙａ２）と、撮像画像ＶｂにおけるＧｂ２の位置（ｘｂ２，ｙｂ２）から、第２箇所Ｐ２に対する左カメラ６０ａと右カメラ６０ｂの視差を算出することにより、公知の三角法の手法によって、左カメラ６０ａ及び右カメラ６０ｂから対象物Ｆの第２箇所Ｐ２までの距離と第２箇所Ｐ２の実空間における位置を算出することができる。このようにして、食品サイズ認識部１１２は、対象物Ｆの複数の箇所の位置を算出することにより、対象物のサイズ（外寸、体積等）を求めることができる。なお、食品サイズ認識部１１２により、冷蔵室１０に収容された食品の位置を認識する構成は、本発明の収容位置認識部に相当する。

次に、図６は制御ユニット１００の構成図である。図６を参照して、制御ユニット１００は、ＣＰＵ（Central Processing Unit）１１０、画像処理部１２０、記憶部１３０、無線通信部１４０、日時認識部１４１、及び図示しないインターフェース回路等によって構成された電子回路ユニットである。

ＣＰＵ１１０は、記憶部１３０に保存された冷蔵庫１の制御用プログラムを実行することによって、食品画像取得部１１１、食品サイズ認識部１１２、食品種別認識部１１３、食品量認識部１１４、食品情報管理部１１５、撮像時点設定部１１６、及び食品密度情報取得部１１７として機能する。

制御ユニット１００は、開閉センサ１８ａ，１８ｂ，２２，３２，４２，５２、照度センサ１７ａ，１７ｂ，１７ｃ、左カメラ６０ａ、右カメラ６０ｂ、側面カメラ６０ｃ、照明部１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ、及び冷凍サイクル補機６１，６２，６３，６４と接続されている。

制御ユニット１００には、開閉センサ１８ａ，１８ｂ，２２，３２，４２，５２、と照度センサ１７ａ，１７ｂ，１７ｃとによる検出信号、カメラ６０ａ，６０ｂ，６０ｃの映像信号等が入力される。また、制御ユニット１００から出力される制御信号によって、照明部１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ、及び冷凍サイクル補機６１，６２，６３，６４等の作動が制御される。

さらに、制御ユニット１００から出力される制御信号により、画像処理部１２０を介してカメラ６０ａ，６０ｂ，６０ｃによる撮像が制御される。画像処理部１２０は、カメラ６０ａ，６０ｂ，６０ｃから出力される映像信号をデジタルの諧調信号に変換して撮像画像を生成し、撮像画像のデータを画像メモリ１２１に保存する。画像処理部１２０は、ＣＰＵ１１０から出力される制御信号に応じて、画像メモリ１２１に保存された撮像画像に対する処理を行う。

日時認識部１４１は、制御ユニット１００に備えられたクロック回路（図示しない）から出力されるクロック信号を計時して現在の日時（日付と時刻）を認識する。なお、管理サーバー５２０との通信により、管理サーバー５２０から現在の日時の情報を取得して、現在の日時を認識する構成としてもよい。

記憶部１３０には、庫内食品リスト１３１のデータの他に、冷蔵室１０に入庫された食品の情報が記録された入庫食品情報１３２、及び冷蔵室１０から出庫された食品の情報が記録された出庫食品情報１３３のデータが保存される。さらに、記憶部１３０には、種々の食品のサンプル画像１３４、種々の食品の一般的な賞味期限を示す賞味期限リスト１３５、図１３に示した食品の種別と密度とを対応付けた食品密度テーブル１３６のデータが保存されている。

食品画像取得部１１１は、左カメラ６０ａ、右カメラ６０ｂ、及び側面カメラ６０ｃにより、冷蔵室１０に入庫される食品及び冷蔵室１０から出庫される食品を撮像して、食品の画像を取得する。

食品サイズ認識部１１２は、食品画像取得部１１１により同一時点で取得された左カメラ６０ａ及び右カメラ６０ｂによる２つの画像から同一食品の画像を抽出し、抽出した食品の画像部分について、上述したように、視差に基づく距離及び位置の算出を行って、食品のサイズを認識する。

食品種別認識部１１３は、食品画像取得部１１１により取得された左カメラ６０ａ、右カメラ６０ｂ、及び側面カメラ６０ｃによる撮像画像から抽出した食品の画像に含まれる文字を認識することにより、或いは食品の画像をサンプル画像と比較することにより、食品の種別を認識する。

食品量認識部１１４は、食品サイズ認識部１１２により認識された食品のサイズ、及び食品種別認識部１１３により認識された食品の種別に基づいて、冷蔵室１０に入庫された食品及び冷蔵室１０から出庫された食品の重量を認識する。

食品情報管理部１１５は、入庫と判断された食品（入庫食品）の情報を入庫食品情報１３２に記録し、出庫と判断された食品（出庫食品）の情報を出庫食品情報１３３に記録する。そして、食品情報管理部１１５は、入庫食品情報１３２及び出庫食品情報１３３に基づいて、庫内食品リスト１３１に記録された食品情報を更新する。

撮像時点設定部１１６は、開閉センサ１８ａ，１８ｂにより、右ドア１１又は左ドア１２が閉状態から開状態に切り替わった時から、右ドア１１及び左ドア１２が共に閉状態になったことが検出されるまでの間に、カメラ６０ａ，６０ｂ，６０ｃにより撮像を行う時点を設定する。撮像時点設定部１１６は、冷蔵室１０に入庫される食品が開口部１０ａを通過する時点を想定した第１撮像時点と、冷蔵室１０から出庫された食品が開口部１０ａを通過する時点を想定した第２撮像時点とを設定する。

食品密度情報取得部１１７は、記憶部１３０に保存された食品密度テーブル１３６のデータを読み込んで、食品密度テーブル１３６を参照可能な状態とする。

［３．制御ユニットによる処理］
次に、図７～図１２に示したフローチャートに従って、制御ユニット１００により実行される冷蔵室１０に収容された食品の管理に関する処理について説明する。

図７は、制御ユニット１００により実行される一連の処理の概要を示したフローチャートである。制御ユニット１００は、ステップＳ１で「撮像処理」、ステップＳ２で「画像分析処理」、ステップＳ３で「庫内食品管理処理」を、それぞれ実行する。以下、各処理の詳細について説明する。

［３－１．撮像処理］
図８に示したフローチャートに従って、「撮像処理」の実行手順について説明する。「撮像処理」は、食品画像取得部１１１、及び撮像時点設定部１１６により実行される。食品画像取得部１１１は、ステップＳ１０で、開閉センサ１８ａ，１８ｂの検出信号により、冷蔵室１０の右ドア１１と左ドア１２の一方が又は両方が閉状態から開状態に切り替わったことを認識した時から、ステップＳ１５で、右ドア１１と左ドア１２の両方が閉状態になったことを認識するまでの間に、第１撮像時点及び第２撮像時点でカメラ６０ａ，６０ｂ，６０ｃによる撮像を行う。

食品画像取得部１１１は、ステップＳ１０で、冷蔵室１０の右ドア１１と左ドア１２の一方又は両方が閉状態から開状態に切り替わったことを認識したときに、ステップＳ１１に処理を進める。ステップＳ１１～Ｓ１４は撮像時点設定部１１６による処理である。

ステップＳ１１で、撮像時点設定部１１６は、照度センサ１７ａ，１７ｂ，１７ｃにより冷蔵室１０の上棚１３、中棚１４、下棚１５の各照度（棚により区画された各スペースの照度）を検出する。そして、撮像時点設定部１１６は、検出した上棚１３の照度を上基準照度とし、中棚１４の照度を中基準照度とし、下棚１５の照度を下基準照度とする。撮像時点設定部１１６は、上基準照度、中基準照度、及び下基準照度のデータを記憶部１３０に保存する。

上基準照度、中基準照度、及び下基準照度は、冷蔵室１０の右ドア１１と左ドア１２の一方又は両方が開けられ、物体（ユーザーの手、食品等）が冷蔵室１０の開口部１０ａを通過する前の状態における各棚１３，１４，１５の照度である。なお、検出照度の誤差や変動を考慮して、上基準照度、中基準照度、及び下基準照度を、各照度センサ１７ａ，１７ｂ，１７ｃの検出照度よりも若干低い照度、或いは若干高い照度に設定してもよい。また、後述するステップＳ１３で使用する上基準照度、中基準照度、及び下基準照度と、ステップＳ１４で使用する上基準照度、中基準照度、及び下基準照度とを、異なる値に設定してもよい。

続くステップＳ１２で、撮像時点設定部１１６は、照度センサ１７ａ，１７ｂ，１７ｃにより上棚１３、中棚１４、及び下棚１５の照度をそれぞれ検出する。そして、撮像時点設定部１１６は、次のステップＳ１３で、検出照度が基準照度よりも所定レベル以上低下した棚があるか否かを判断する。具体的には、撮像時点設定部１１６は、以下の（１）～（３）の各条件の成否を判断する。

（１）照度センサ１７ａの検出照度が、「上基準照度」から「上基準照度－α」以下に変化した。
（２）照度センサ１７ｂの検出照度が、「中基準照度」から「中基準照度－α」以下に変化した。
（３）照度センサ１７ｃの検出照度が、「下基準照度」から「下基準照度－α」以下に変化した。

但し、α：物体（食品、使用者の手等）が、上棚１３、中棚１４、又は下棚１５内に進入したときに生じる照度の低下を想定して、実験やコンピュータシミュレーション等によって決定された閾値設定用の定数。なお、αは、上基準照度、中基準照度、及び下基準照度に対して共通な値としてもよく、上基準照度、中基準照度、及び下基準照度に対して個別に異なる値に設定してもよい。

撮像時点設定部１１６は、上記（１）～（３）の少なくともいずれか一つが成立したときに、物体が開口部１０ａを通過したと判断する。ここで、上記（１）～（３）の少なくともいずれか一つが成立したときは、ユーザーが、冷蔵室１０に食品を入れるため（入庫）、或いは冷蔵室１０から食品を取り出すため（出庫）、又は冷蔵室１０の食品の位置の変更等を行うために、冷蔵室１０内に手を入れたと想定される。そして、この場合、撮像時点設定部１１６は、物体（ユーザーの手、ユーザーの手が掴んでいる食品等）が、冷蔵室１０の開口部１０ａを通過したと判断することができる。

そこで、撮像時点設定部１１６は、ステップＳ１３で、上記（１）～（３）の少なくともいずれか一つが成立したと判断した時点を、第１撮像時点として設定し、ステップＳ２０に処理を進める。第１撮像時点は、冷蔵室１０に入庫される食品が開口部１０ａを通過する時点を想定して設定された時点である。なお、ステップＳ１３で、撮像時点設定部１１６により上記（１）～（３）の少なくともいずれか一つが成立したと判断された時点から所定時間後の時点を、第１撮像時点として設定してもよい。

一方、上記（１）～（３）のいずれも成立していないときには、撮像時点設定部１１６は、ステップＳ１４に処理を進める。ステップＳ１４で、撮像時点設定部１１６は、検出照度が、「基準照度－β」以下から「基準照度」以上に変化した棚があるか否かを判断する。具体的には、撮像時点設定部１１６は、以下の（４）～（６）の各条件の成否を判断する。

（４）照度センサ１７ａの検出照度が、「上基準照度－β」以下から「上基準照度」以上に変化した。
（５）照度センサ１７ｂの検出照度が、「中基準照度－β」以下から「中基準照度」以上に変化した。
（６）照度センサ１７ｃの検出照度が、「下基準照度－β」以下から「下基準照度」以上に変化した。

但し、β：上棚１３、中棚１４、又は下棚１５に進入していた物体（食品、使用者の手等）が、開口部１０ａを通過して冷蔵室１０外に出たときに生じる照度の上昇を想定して、実験やコンピュータシミュレーション等により決定された閾値決定用の定数。なお、βは、上基準照度、中基準照度、及び下基準照度に対して共通に設定してもよいし、上基準照度、中基準照度、及び下基準照度に対して個別に異なる値に設定してもよい。

撮像時点設定部１１６は、上記（４）～（６）の少なくともいずれか一つが成立したときに、冷蔵室１０内に存在していた物体（食品、ユーザーの手等）が、冷蔵室１０から出て開口部１０ａを通過したと判断する。ここで、上記（４）～（６）の少なくともいずれか一つが成立したときは、ユーザーが、冷蔵室１０に食品を入れるため（入庫）、冷蔵室１０から食品を取り出すため（出庫）、或いは冷蔵室１０に収容されている食品の位置の変更等を行って、冷蔵室１０内に入れていた手を抜いたと想定される。そして、この場合、撮像時点設定部１１６は、物体（ユーザーの手、ユーザーの手が掴んでいる食品等）が、冷蔵室１０の開口部１０ａを通過したと判断することができる。

そこで、撮像時点設定部１１６は、ステップＳ１４で、上記（４）～（６）の少なくともいずれか一つが成立したと判断した時点を、第２撮像時点として設定し、ステップＳ２２に処理を進める。第２撮像時点は、冷蔵室１０から出庫される食品が開口部１０ａを通過する時点を想定して設定された時点である。なお、ステップＳ１４で、ステップＳ１４で、上記（４）～（６）の少なくともいずれか一つが成立したと判断された時点から所定時間後の時点を、第２撮像時点として設定してもよい。

一方、上記（４）～（６）のいずれも成立していないときには、撮像時点設定部１１６はステップＳ１５に処理を進める。ステップＳ１５は食品画像取得部１１１による処理であり、食品画像取得部１１１は、開閉センサ１８ａ，１８ｂの検出信号から、冷蔵室１０の右ドア１１と左ドア１２が共に閉められたか否かを判断する。そして、食品画像取得部１１１は、右ドア１１と左ドア１２が共に閉められたときはステップＳ１５に処理を進めて、「撮像処理」を終了する。一方、右ドア１１と左ドア１２の少なくともいずれか一方が開いているときには、食品画像取得部１１１は、ステップＳ１２に処理を進める。

次に、ステップＳ２０～Ｓ２１、及びステップＳ２２～Ｓ２３は、食品画像取得部１１１による処理である。食品画像取得部１１１は、ステップＳ２０で、画像処理部１２０を介して、左カメラ６０ａ及び右カメラ６０ｂにより冷蔵室１０の開口部１０ａを含む範囲を撮像し、側面カメラ６０ｃにより左側面側から冷蔵室１０の内部を撮像する。続くステップＳ２１で、食品画像取得部１１１は、ステップＳ２０でカメラ６０ａ，６０ｂ，６０ｃにより撮像した画像のデータを「入庫時画像」のデータとして記憶部１３０に保存し、ステップＳ１５に処理を進める。なお、撮像を複数回行って、複数の画像のデータを「入庫時画像」のデータとして記憶部１３０に保存するようにしてもよい。

また、ステップＳ２２で、食品画像取得部１１１は、画像処理部１２０を介して、左カメラ６０ａ及び右カメラ６０ｂにより冷蔵室１０の開口部１０ａを含む範囲を撮像し、側面カメラ６０ｃにより左側面側から冷蔵室１０の内部を撮像する。続くステップＳ２３で、食品画像取得部１１１は、ステップＳ２２でカメラ６０ａ，６０ｂ，６０ｃにより撮像した画像のデータを「入出庫画像」のデータとして記憶部１３０に保存し、ステップＳ１５に処理を進める。なお、撮像を複数回行って、複数の画像のデータを「出庫時画像」のデータとして記憶部１３０に保存するようにしてもよい。

図８に示した「撮像処理」によって、食品画像取得部１１１により、開口部１０ａを通過していずれかの棚１３，１４，１５に入った物体が検出された時点での開口部１０ａ付近の撮像画像である「入庫時画像」が、記憶部１３０に保存される。また、食品画像取得部１１１により、いずれかの棚１３，１４，１５から出て開口部１０ａを通過した物体が検出された時点での開口部１０ａ付近の撮像画像である「出庫時画像」が、記憶部１３０に保存される。

なお、図８のステップＳ１５で、右ドア１１と左ドア１２が閉められたことが検出される前に、ステップ１３において開口部１０ａを通過する物体が複数回検出されたときには、ステップＳ２０～Ｓ２１により、複数の「入庫時画像」の撮像と保存が行われる。そして、各「入庫時画像」について、それぞれ後述する「画像分析処理」が実行される。

同様に、図７のステップＳ１５で、右ドア１１と左ドア１２が閉められたことが検出される前に、ステップＳ１４において開口部１０ａを通過する物体が複数回検出されたときには、ステップＳ２２～Ｓ２３により、複数の「出庫時画像」の撮像と保存が行われる。そして、各「出庫時画像」について、それぞれ後述する「画像分析処理」が実行される。

［３－３．画像分析処理］
次に、図９、図１０に示したフローチャートに従って、「画像分析処理」の実行手順について説明する。「画像分析処理」は、食品サイズ認識部１１２、食品種別認識部１１３、及び食品量認識部１１４により実行される。図９は、冷蔵室１０に入庫された食品について、「入庫時画像」から情報を取得する処理である。また、図１０は、冷蔵室１０から出庫された食品について、「出庫時画像」から情報を取得する処理である。

先ず、図９を参照して、「入庫時画像」に対する「画像分析処理」について説明する。図９のステップＳ５０～Ｓ５３、及びステップＳ６０～Ｓ６２は、食品種別認識部１１３による処理である。食品種別認識部１１３は、ステップＳ５０で、入庫食品の「入庫時画像」に対して、画像処理部１２０により文字抽出処理を実行する。ここで、入庫食品とは、図８のステップＳ３３で、食品画像取得部１１１により冷蔵室１０に入庫されたと判定された食品である。また、入庫食品の「入庫時画像」とは、図８のステップＳ１３で入庫と判定された食品について、図８のステップＳ２０，Ｓ２１で食品画像取得部１１１により撮像及び保存された「入庫時画像」である。

続くステップＳ５１で、食品種別認識部１１３は、画像処理部１２０により「入庫時画像」から文字が抽出されたか否かを判断する。そして、食品種別認識部１１３は、文字が抽出されたときはステップＳ５２に処理を進め、文字が抽出されなかったときにはステップＳ６０に処理を進める。

ステップＳ５２で、食品種別認識部１１３は、画像処理部１２０により抽出された文字の情報を分析する。そして、続くステップＳ５３で、食品種別認識部１１３は、文字の情報から、食品名（食品の種別を示す）、賞味期限、産地、内容量等の入庫食品の情報を取得して、ステップＳ５４に処理を進める。

また、ステップＳ６０で、食品種別認識部１１３は、画像処理部１２０によって、「入庫時画像」から入庫食品の画像部分を抽出する。続くステップＳ６１で、食品種別認識部１１３は、抽出した入庫食品の画像部分と、予め記憶部１３０に保存された種々の食品のサンプル画像１３４（図６参照）との一致率を算出する。

次のステップＳ６２で、食品種別認識部１１３は、一致率が最も高いサンプル画像１３４の食品名を入庫食品の食品名と推定して取得し、ステップＳ５４に処理を進める。ステップＳ６０～Ｓ６２の処理により、入庫食品の「入庫時画像」から文字が抽出できなかった場合であっても、入庫食品の食品名を推定して入庫食品情報１３２に記録することができる。

ステップＳ５４は、食品サイズ認識部１１２による処理である。食品サイズ認識部１１２は、「入庫時画像」から抽出された食品の画像部分に対して、図５を参照して上述した手法による演算を行って、入庫食品の外寸及び収容位置を算出する。

続くステップＳ５５は、食品量認識部１１４による処理である。食品量認識部１１４は、食品密度テーブル１３６を参照して、食品種別認識部１１３により認識された種別の食品の密度を取得する。食品密度テーブル１３６は、図１３に示したように、食品名（食品の種別）と密度とを対応付けたテーブルであり、食品密度情報取得部１１７によって、記憶部１３０から読み出される。なお、食品密度情報取得部１１７が、管理サーバー５２０等の外部装置に保存された食品密度テーブル１３６のデータを、無線通信部１４０を介して取得する構成としてもよい。食品量認識部１１４は、入庫食品の外寸から算出した体積に密度を乗じて、入庫食品の重量を算出する。

次のステップＳ５６は、食品情報管理部１１５による処理である。食品情報管理部１１５は、食品サイズ認識部１１２、食品種別認識部１１３、及び食品量認識部１１４により認識された入庫食品の情報（種別、外寸、体積、重量等）を「入庫食品情報」１３２に記録して、「画像分析処理」を終了する。

次に、図１０を参照して、「出庫時画像」に対する「画像分析処理」について説明する。図１０のステップＳ７０～Ｓ７３、及びステップＳ８０～Ｓ８２は、食品種別認識部１１３による処理である。食品種別認識部１１３は、ステップＳ７０で、出庫食品の「出庫時画像」に対して、画像処理部１２０により文字抽出処理を実行する。ここで、出庫食品とは、図８のステップＳ１４で出庫と判定された食品について、図８のステップＳ２２，Ｓ２３で食品画像取得部１１１により撮像及び保存された「出庫時画像」である。

続くステップＳ７１で、食品種別認識部１１３は、画像処理部１２０により「出庫時画像」から文字が抽出されたか否かを判断する。そして、食品種別認識部１１３は、文字が抽出されたときはステップＳ７２に処理を進め、文字が抽出されなかったときにはステップＳ８０に処理を進める。

ステップＳ７２で、食品種別認識部１１３は、画像処理部１２０により抽出された文字の情報を分析する。そして、続くステップＳ７３で、食品種別認識部１１３は、文字の情報から、食品名、賞味期限、産地、内容量等の出庫食品の情報を取得して、ステップＳ７４に処理を進める。

また、ステップＳ８０で、食品種別認識部１１３は、画像処理部１２０によって、「出庫時画像」から出庫食品の画像部分を抽出する。続くステップＳ８１で、食品種別認識部１１３は、抽出した出庫食品の画像部分と、予め記憶部１３０に保存された種々の食品のサンプル画像１３４との一致率を算出する。

次のステップＳ８２で、食品種別認識部１１３は、一致率が最も高いサンプル画像１３４の食品名を出庫食品の食品名と推定して取得し、ステップＳ７４に処理を進める。ステップＳ８０～Ｓ８２の処理により、出庫食品の「出庫時画像」から文字が抽出できなかった場合であっても、出庫食品の食品名を推定して出庫食品情報１３３に記録することができる。

ステップＳ７４は、食品サイズ認識部１１２による処理である。食品サイズ認識部１１２は、「入庫時画像」から抽出された食品の画像部分に対して、図５を参照して上述した手法による演算を行って、出庫食品の外寸及び収容位置を算出する。

続くステップＳ７５は、食品量認識部１１４による処理である。食品量認識部１１４は、食品密度テーブル１３６を参照して、食品種別認識部１１３により認識された種別の食品の密度を取得する。食品量認識部１１４は、出庫食品の外寸から算出した体積に密度を乗じて、出庫食品の重量を算出する。

次にステップＳ７６は、食品情報管理部１１５による処理である。食品情報管理部１１５は、食品サイズ認識部１１２、食品種別認識部１１３、及び食品量認識部１１４により認識された入庫食品の情報（種別、外寸、体積、重量等）を、「出庫食品情報」１３３に記録して、「画像分析処理」を終了する。

図９の画像分析処理は、冷蔵室１０への入庫が判定された場合の入庫時画像を対象として行われ、図１０の画像分析処理は、冷蔵室１０からの出庫が判定された場合の出庫時画像を対象として行われる。そのため、食品ではなく、右ドア１１又は左ドア１２が食品画像取得部１１１により検出されたときには、入庫又は出庫と判定されないため、画像分析処理は行われない（撮像画像は無効となる）。これにより、右ドア１１又は左ドア１２の画像部分から、誤った食品情報が取得されることを防止することができる。

［３－４．庫内食品管理処理］
図１１及び図１２に示したフローチャートに従って、冷蔵室１０に収容された食品の情報を管理するための「庫内食品管理処理」の実行手順について説明する。「庫内食品管理処理」は、食品情報管理部１１５により実行される。食品情報管理部１１５は、本発明の在庫量管理部と在庫位置管理部の機能を含んでいる。

食品情報管理部１１５は、冷蔵室１０に収容された食品の情報を、庫内食品リスト１３１（図５参照）により管理する。庫内食品リスト１３１には、図１３に示したように、冷蔵室１０に入庫された食品に付された番号（１，２，３，…）と、番号が付された各入庫食品の情報として、食品名、重量（初回、現在、喫食量）、入出庫日時（初回入庫、最新出庫、最新入庫）在庫（１：あり、０：なし）、賞味期限、及び産地が記録されている。食品情報管理部１１５は、食品情報管理部１１５により記録された入庫食品情報１３２及び出庫食品情報１３３に基づいて、図１３に示した庫内食品リスト１３１の生成及び更新を行う。

図１１のステップＳ１００で、食品情報管理部１１５は、食品画像取得部１１１により、冷蔵室１０への食品の入庫又は冷蔵室１０からの食品の出庫が判定されたか否かを判断し、入庫又は出庫が判定されたときにステップＳ１０１に処理を進める。ステップＳ１０１で、食品情報管理部１１５は、入庫の判定がなされたか否かを判断し、入庫の判定がなされたときはステップＳ１０２に処理を進める。一方、入庫の判定がなされなかったとき（出庫の判定がなされたとき）には、食品情報管理部１１５は、ステップＳ１１０に処理を進める。

ステップＳ１０２で、食品情報管理部１１５は、所定時間以内に冷蔵室１０からの出庫があったか否かを判断する。そして、所定時間以内に冷蔵室１０からの出庫があったときはステップＳ１０３に処理を進め、所定時間以内に冷蔵室１０からの出庫がなかったときにはステップＳ１１１に処理を進める。なお、所定時間以内に冷蔵室１０からの出庫があったことは、庫内食品リスト１３１から認識することができる。また、所定時間は、ユーザーが、冷蔵室１０から出庫した食品の一部を使用して冷蔵室１０に戻す（再入庫）する場合を想定して、例えば、１０分程度に設定される。

ステップＳ１０３で、食品情報管理部１１５は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であるか否かを判断する。ここで、食品情報管理部１１５は、庫内食品リスト１３１に記録された前回出庫された商品の情報と、入庫食品情報１３２に記録された今回入庫された商品と情報とを対比して、食品名、賞味期限、産地等の一致状況から、前回出庫された食品と今回入庫された食品の一致率を算出する。

そして、食品情報管理部１１５は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であるときはステップＳ１０４に処理を進め、前回出庫された食品と今回入庫された食品との一致率が所定値未満であるときには、ステップＳ１１２に処理を進める。ここで、前回出庫された食品と今回入庫された食品とが同一種別の食品であって、一致率が所定値以上であるが、食品量認識部１１４により算出された重量が前回から増加したときには、新たに入庫された食品であると判断するようにしてもよい。

ステップＳ１０４は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であって、前回出庫された食品と今回入庫された食品とが同一物であると判断できる場合の処理である。ステップＳ１０４で、食品情報管理部１１５は、庫内食品リスト１３１において、所定時間以前に出庫した食品の現在重量、最新入庫日時、喫食量（初回入庫時と現在の重量の差）を、入庫食品情報１３２に記録された情報に基づいて更新し、図１２のステップＳ１０５に処理を進める。

ステップＳ１１２は、前記出庫された食品と今回入庫された食品との一致率が所定値未満であって、前回出庫された食品と今回入庫された食品とが異なると判断できる場合の処理である。食品情報管理部１１５は、ステップＳ１１２で、庫内食品リスト１３１において、入庫食品情報１３２に記録された情報に基づいて入庫食品を新規登録し、図１２のステップＳ１０５に処理を進める。

ステップＳ１１１は、所定時間以内に出庫がなかった場合の処理である。食品情報管理部１１５は、ステップＳ１１１で、庫内食品リスト１３１において、入庫食品情報１３２に記録された情報に基づいて入庫食品を新規登録し、図１２のステップＳ１０５に処理を進める。

ステップＳ１１０は、冷蔵室１０から食品が出庫されたと判定された場合の処理である。食品情報管理部１１５は、ステップＳ１１０で、庫内食品リスト１３１において、該当食品（出庫食品）の現在重量を０に更新する。また、食品情報管理部１１５は、庫内食品リスト１３１において、該当食品の喫食量を更新し、出庫食品情報１３３に記録された情報に基づいて最新出庫時刻を更新して、図１２のステップ１０５に処理を進める。

図１２のステップＳ１０５で、食品情報管理部１１５は、ステップＳ１１０の処理により現在重量が０グラムになった食品があるか否かを判断する。そして、食品情報管理部１１５は、現在重量が０グラムになった食品があるときはステップＳ１０５に処理を進め、現在重量が０グラムになった食品が無いときにはステップＳ１２０に処理を進める。

ステップＳ１０６で、食品情報管理部１１５は、庫内食品リスト１３１の該当食品（今回、出庫されたと判定された食品）の情報を、‘在庫なし’（在庫０）に更新して、ステップＳ１０７に処理を進める。また、ステップＳ１２０で、食品情報管理部１１５は、庫内食品リスト１３１の該当食品（今回、入庫したと判定された食品）の情報を、‘在庫あり’（在庫１）に更新して、ステップＳ１０７に処理を進める。

ステップＳ１０７で、食品情報管理部１１５は、入庫食品情報１３２に文字認識による賞味期限の情報が記録されているか否かを判断する。そして、食品情報管理部１１５は、入庫食品情報１３２に賞味期限の情報が記録されているときはステップＳ１０８に処理を進め、賞味期限の情報が記録されていないときにはステップＳ１２１に処理を進める。

ステップＳ１０８で、食品情報管理部１１５は、入庫食品情報１３２に記録された賞味期限の情報に基づいて、庫内食品リスト１３１に今回入庫された食品の賞味期限を登録し、ステップＳ１０９に処理を進める。また、ステップＳ１２１で、食品情報管理部１１５は、記憶部１３０に保存された賞味期限リスト１３５を参照して、該当する食品の一般的な賞味期限を検索する。

賞味期限リスト１３５は、図１３に示したように、食品名と食品の賞味期限とを対応付けたリストであり、食品情報管理部１１５は、今回の入庫食品の食品名に対応付けられた賞味期限を検索する。続くステップＳ１２２で、食品情報管理部１１５は、庫内食品リスト１３１の該当食品のデータに賞味期限を登録して、ステップＳ１０９に処理を進める。

ステップＳ１０９で、食品情報管理部１１５は、更新した庫内食品リスト１３１のデータを、無線通信部１４０により、通信ネットワーク５１０を介して管理サーバー５２０に送信し、「庫内食品管理処理」を終了する。

管理サーバー５２０は、冷蔵庫１から受信した庫内食品リスト１３１のデータを記憶装置（図示しない）に保存し、庫内食品リスト１３１から認識される各商品の喫食状況、賞味期限までの残日数等を、ユーザーの端末装置４００に送信する。これにより、ユーザーは、外出先等においても、端末装置４００により冷蔵庫１に収容された商品の状況を確認することができる。

［４．他の実施形態］
上記実施形態においては、複数のカメラとして、左カメラ６０ａ、右カメラ６０ｂ、及び側面カメラ６０ｃを備えたが、異なる方向から食品を撮像する少なくとも２台のカメラを備えれば、本発明の適用が可能である。また、３台以上のカメラを備える構成としてもよい。

上記実施形態において、食品量認識部１１４は、食品の量として重量を算出したが、体積を算出してもよい。

上記実施形態において、食品画像取得部１１１は、照度センサ１７ａ，１７ｂ，１７ｃにより検出される冷蔵室１０内の照度の変化によって、冷蔵室１０の開口部１０ａを通過する物体を検出した。他の構成として、開口部１０ａを検出範囲に含み、開口部１０ａを通過する物体を直接検出する対物センサ（反射型又は透過型の光センサ、超音波センサ、静電容量センサ等）を用いてもよい。この場合、対物センサの検出範囲を、開口部１０ａから冷蔵室１０内に向かう方向において、左カメラ６０ａ及び右カメラ６０ｂの撮像範囲よりも手前側に設定してもよい。これにより、開口部１０ａを通過する物体が検出された時点から、左カメラ６０ａ及び右カメラ６０ｂによる撮像が実行されるまでの遅れ時間により、入庫される食品の撮像に失敗することを防止することができる。

また、開閉センサ１８ａにより左ドア１２開けられたことが検出されたとき、及び開閉センサ１８ｂにより右ドア１１が開けられたことが検出されたときに、カメラ６０ａ，６０ｂ，６０ｃへの通電を開始して、カメラ６０ａ，６０ｂ，６０ｃによる撮像を可能にしてもよい。この構成によれば、左ドア１２と右ドアが閉められているときは、カメラ６０ａ，６０ｂ，６０ｃへの通電を遮断して節電することができる。また、右ドア又は左ドア１２が開けられたタイミングでカメラ６０ａ，６０ｂ，６０ｃへの通電を開始することによって、カメラ６０ａ，６０ｂ，６０ｃの起動の遅れにより入庫される食品の撮像に失敗することを防止することができる。

また、食品画像取得部１１１は、開口部１０ａを通過する物体を検出した時から所定時間以内に、開閉センサ１８ａにより左ドア１２が開状態から閉状態に切り替わったことが検出されたとき、又は開閉センサ１８ｂにより右ドア１１が開状態から閉状態に切り替わったことが検出されたときには、カメラ６０ａ，６０ｂ，６０ｃにより撮像された画像データを無効にする構成としてもよい。この構成によれば、左ドア１２又は右ドア１１が閉められる際に、左ドア１２又は右ドア１１が検出されてカメラ６０ａ，６０ｂ，６０ｃにより撮像されたときに、左ドア１２又は右ドア１１の画像から、誤った食品の情報が抽出されることを防止することができる。

上記実施形態では、カメラ６０ａ，６０ｂ，６０ｃの撮像画像に対する処理を画像処理部１２０により行ったが、画像処理部１２０の機能をＣＰＵ１１０に備えて、ＣＰＵ１１０により撮像画像に対する処理を行ってもよい。

上記実施形態では、サンプル画像１３４と賞味期限リスト１３５のデータを、記憶部１３０に保存したが、管理サーバー５２０に保存して、使用時に管理サーバー５２０から冷蔵庫１の制御ユニット１００にダウンロードするようにしてもよい。

また、サンプル画像１３４を記憶部１３０又は管理サーバー５２０に保存するとしたが、色や形、大きさなどの各々の食品や収納物の特徴を事前に学習した画像認識プログラムをＣＰＵ１１０に実装しておき、入庫食品の画像部分を画像認識プログラムで処理をして一致率を算出し入庫食品の食品名と推定して取得してもよい。これによってサンプル画像１３４は不要となって記憶部１３０または管理サーバー５２０で保存する記憶容量を小さくすることができ、入庫食品の食品名を推定する認識処理時間も早く処理できる。出庫食品の食品名の推定も上記と同様に処理することができる。

上記実施形態では、冷蔵庫１の冷蔵室１０に入庫される食品及び冷蔵室１０から出庫される食品について、食品画像取得部１１１により画像を取得し、食品種別認識部１１３により種別を認識し、食品サイズ認識部１１２によりサイズを認識し、食品量認識部１１４により重量を認識した。切換室２０、冷凍室４０、及び野菜室５０についても、開口部２０ａ，４０ａ，５０ａを通過する食品を複数のカメラにより撮像することによって、食品の種別、サイズ、重量を認識することができる。

以上のように、本発明にかかる冷蔵庫は、収容室から出庫された食品の再入庫を、簡易な構成により判断して、収容室に収容された食品の情報を管理する用途に適用することができる。

１冷蔵庫
１０冷蔵室
１０ａ開口部
１１右ドア
１２左ドア
１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｒ、１６ｆ照明部
１７ａ、１７ｂ、１７ｃ照度センサ
１８ａ、１８ｂ開閉センサ
２０切換室
３０製氷室
４０冷凍室
５０野菜室
６０ａ右カメラ
６０ｂ左カメラ
６０ｃ側面カメラ
６１圧縮機
６２冷却ファン
６３冷却器
６４凝縮器
１００制御ユニット
１１０ＣＰＵ
１１１食品画像取得部
１１２食品サイズ認識部
１１３食品種別認識部
１１４食品量認識部
１１５食品情報管理部
１１６撮像時点設定部
１１７食品密度情報取得部
１２０画像処理部
１２１画像メモリ
１３０記憶部
１３１庫内食品リスト
１３２入庫食品情報
１３３出庫食品情報
１３４サンプル画像
１３５賞味期限リスト
１３６食品密度テーブル
１４０無線通信部
１４１日時認識部
４００端末装置
５００ゲートウェイ
５１０通信ネットワーク
５２０管理サーバー

Claims

食品の収容室と、
前記収容室の開口部の上部の左側に配置されて、前記開口部の上部の左側から前記収容室内を撮像する左カメラと、
前記開口部の上部の右側に配置されて、前記開口部の上部の右側から前記収容室内を撮像する右カメラと、
前記収容室の側壁に配置されて、前記側壁側から前記収容室の内部を撮影する側面カメラと、
前記左カメラ及び前記右カメラにより撮像された同一の対象食品の画像から、前記対象食品の複数の箇所について前記左カメラ及び前記右カメラ間の視差を算出し、前記複数の箇所についての前記左カメラ及び前記右カメラ間の視差に基づいて、前記複数の箇所の実空間位置を算出することにより、前記対象食品のサイズを認識する食品サイズ認識部と、
前記食品サイズ認識部により認識された前記対象食品のサイズに基づいて、前記対象食品の量を認識する食品量認識部と、
前記左カメラと前記右カメラと前記側面カメラとによる撮像画像から抽出した前記対象食品の画像から、前記対象食品の種別を認識する食品種別認識部と、
を備える冷蔵庫。
食品の種別と密度とを対応させた食品密度テーブルの情報を取得する食品密度情報取得部を備え、
前記食品サイズ認識部は、前記対象食品のサイズとして前記対象食品の体積を認識し、
前記食品量認識部は、前記食品サイズ認識部により認識された食品の体積に、前記食品種別認識部により判別された食品の種別を前記食品密度テーブルに適用して取得した密度を乗じた重量を、前記食品の量として認識する
請求項１に記載の冷蔵庫。
前記食品量認識部により認識された食品の量を管理する在庫量管理部を備える
請求項１又は請求項２に記載の冷蔵庫。
前記視差に基づいて、前記収容室における食品の位置を認識する収容位置認識部と、
前記収容位置認識部により認識された前記収容室における食品の位置を管理する在庫位置管理部と、を備える
請求項１から請求項３のうちいずれか１項に記載の冷蔵庫。
前記食品種別認識部は、前記左カメラと前記右カメラと前記側面カメラとによる撮像画像から抽出した前記対象食品の画像に含まれる文字を認識することによって、前記対象食品の種別を認識する
請求項１から請求項４のうちいずれか１項に記載の冷蔵庫。