JP2016066277A - Object management system, object management device, object management method, and object management program - Google Patents
Object management system, object management device, object management method, and object management program Download PDFInfo
- Publication number
- JP2016066277A JP2016066277A JP2014195181A JP2014195181A JP2016066277A JP 2016066277 A JP2016066277 A JP 2016066277A JP 2014195181 A JP2014195181 A JP 2014195181A JP 2014195181 A JP2014195181 A JP 2014195181A JP 2016066277 A JP2016066277 A JP 2016066277A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- carry
- detected
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims description 169
- 238000001514 detection method Methods 0.000 claims abstract description 293
- 238000004891 communication Methods 0.000 claims abstract description 58
- 230000004044 response Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 description 35
- 230000007774 longterm Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 22
- 230000032258 transport Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 17
- 230000010354 integration Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 238000005259 measurement Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、荷物の搬入搬出を記録する物流管理技術に関する。 The present invention relates to a logistics management technique for recording loading / unloading of packages.
積載された荷物などの物体を認識する技術の例が、例えば特許文献１に記載されている。 An example of a technique for recognizing an object such as a loaded luggage is described in Patent Document 1, for example.
特許文献１に記載されている画像処理装置は、２台のカメラで撮影した物体の画像に基づき、その物体の位置を検出する。その画像処理装置は、それらの２台のカメラによって、積載された複数の物体を撮影する。その画像処理装置は、撮影した画像をもとに、距離画像を生成する。その画像処理装置は、撮影された複数の物体の最上段領域を、生成された距離画像によって検出する。その画像処理装置は、さらに、検出された最上段領域において、認識対象物体の寸法が格納されたデータベースに基づいて生成した２次元基準パターンを使用するパターンマッチングを行うことによって、個々の認識対象物体の位置を認識する。 The image processing apparatus described in Patent Document 1 detects the position of an object based on the image of the object photographed by two cameras. The image processing apparatus captures a plurality of stacked objects with the two cameras. The image processing apparatus generates a distance image based on the captured image. The image processing apparatus detects the uppermost region of a plurality of photographed objects from the generated distance image. The image processing apparatus further performs pattern matching using a two-dimensional reference pattern generated based on a database in which the dimensions of the recognition target object are stored in the detected uppermost region, thereby detecting individual recognition target objects. Recognize the position of
特許文献１に開示されている技術によると、トラックに搭載されたカメラ部とトラックヤードに設置されたデータベース照合部との間の通信において、大量の画像データを送受信する必要がある。そのため、特許文献１の技術では、大量の画像データを送受信するために、広い通信帯域が必要である。 According to the technique disclosed in Patent Document 1, it is necessary to transmit and receive a large amount of image data in communication between a camera unit mounted on a truck and a database collation unit installed in a track yard. For this reason, the technique disclosed in Patent Document 1 requires a wide communication band in order to transmit and receive a large amount of image data.
本発明の目的の一つは、物体の追跡管理を行うのに必要な通信帯域を低減することができる物体管理システムを提供することにある。 An object of the present invention is to provide an object management system capable of reducing a communication band necessary for tracking and managing an object.
本発明の一態様に係る物体管理システムは、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を送信する通信手段と、を備える。 The object management system according to one aspect of the present invention is configured to capture an object in the image of the inside of the warehouse when the object detection unit that detects the carry-in or carry-out of the object and the carry-in or the carry-out are detected. Communication means for transmitting two images before and after the time when the image was taken.
本発明の一態様に係る画像取得装置は、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、物体管理装置に送信する通信手段と、を備え、前記物体管理装置は、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する。 An image acquisition device according to an aspect of the present invention provides an object detection unit that detects the loading or unloading of an object in the warehouse and an image obtained when the loading or unloading is detected. Communication means for transmitting to the object management device two images whose time is before and after the time when the image was taken, and the object management device receives the two images In response, the increase / decrease in the number of objects in the storage is determined based on the two images.
本発明の一態様に係る物体管理方法は、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出し、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する物体管理装置に送信する。 In the object management method according to one aspect of the present invention, in an image in which the inside of the warehouse is photographed, the carry-in or carry-out of the object in the warehouse is detected, and when the carry-in or the carry-out is detected, the photographing time is In response to receiving the two images before and after the time when the images were taken, the increase / decrease in the number of objects in the warehouse is determined based on the two images. To the object management device.
本発明の一態様に係る画像取得プログラムは、コンピュータを、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、物体管理装置に送信する通信手段と、して動作させ、前記物体管理装置は、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する。 In the image acquisition program according to one aspect of the present invention, the computer detects an object detection means for detecting the carry-in or carry-out of the object in the warehouse, and the carry-in or the carry-out is detected in the image taken inside the warehouse. In this case, the image management time is operated as a communication unit that transmits two images whose time is before and after the time at which the image was captured to the object management device. In response to receiving the images, the increase / decrease in the number of objects in the storage is determined based on the two images.
本発明によると、物体の追跡管理を行うのに必要な通信帯域を低減することができるという効果がある。 According to the present invention, there is an effect that it is possible to reduce a communication band necessary for performing tracking management of an object.
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings.
また、物体を管理する技術の例として、例えば、参考文献１乃至４が開示されている。 Reference examples 1 to 4 are disclosed as examples of techniques for managing objects.
参考文献１（特開２０１４−１１７４０３号公報）には、収納ケース内における、管理対象の物品である薬の有無を検出する方法が記載されている。参考文献２には、物品に取り付けられた信号発信器が発信する無線信号を検出することによって物品を検出する物品管理システムが記載されている。参考文献２の管理システムは、さらに、連続的に撮影された画像を使用して物体の位置を特定する。参考文献３には、複数の撮像手段によって得られた映像を使用して、車両などの物体の、３次元空間における位置を特定する物流計測装置が記載されている。参考文献３の物流計測装置は、さらに、所定の位置を通過する物体の速度と、その位置を通過する物体の数を計測する。参考文献４には、物流ライン全体が撮影された画像から、その物流ライン上の追跡対象物を検出する追跡装置が記載されている。参考文献４の追跡装置は、さらに、検出された追跡対象物と名称とを記憶する。
Reference 1 (Japanese Patent Laid-Open No. 2014-117403) describes a method for detecting the presence or absence of a medicine that is an article to be managed in a storage case. Reference 2 describes an article management system that detects an article by detecting a radio signal transmitted by a signal transmitter attached to the article. The management system of Reference 2 further specifies the position of the object using continuously captured images.
参考文献１乃至４の技術では、物体が撮影された映像を使用してその物体の追跡管理を行う場合における、物体の検出に使用する映像を送信するのに必要な通信帯域を低減することはできない。 In the techniques of References 1 to 4, it is possible to reduce the communication band necessary for transmitting a video used for detecting an object in the case where tracking of the object is performed using a video in which the object is captured. Can not.
＜第１の実施形態＞
次に、本発明の第１の実施形態について、図面を参照しながら詳細に説明する。
<First Embodiment>
Next, a first embodiment of the present invention will be described in detail with reference to the drawings.
図１は、本発明の第１の実施の形態における、物体管理システム１の構成の例を表すブロック図である。図１を参照すると、物体管理システム１は、画像取得装置１０と、物体の出入りを管理する物体管理装置２０とを含む。本実施形態及び本発明の他の実施形態において、物体は、例えば荷物である。
FIG. 1 is a block diagram showing an example of the configuration of an object management system 1 in the first embodiment of the present invention. Referring to FIG. 1, the object management system 1 includes an
画像取得装置１０の少なくとも一部は、例えば、トラックの荷台や倉庫等の、荷物などの物体が保管される場所に設置される。以下の説明では、画像取得装置１０が設置されている場所を、「庫内」と表記する。また、画像取得装置１０は、カメラ入力部１０１と、物体検出部１０２と、第１の通信部１０３とを備える。
At least a part of the
カメラ入力部１０１は、庫内の画像を撮像する。カメラ入力部１０１は、例えば、続けて画像を撮影する機能と、撮影した画像を物体検出部１０２に送信する機能とを備えたカメラである。カメラ入力部１０１のカメラは、例えば、撮影範囲の明るさの分布を表す、濃淡値が画素値である濃淡画像（多値画像）を出力する。カメラ入力部１０１のカメラは、例えば、撮影範囲の色及び明るさの分布を表す、カラー画像を出力する。
The
物体検出部１０２は、庫内における、物体の搬入又は搬出を検出する。物体検出部１０２は、必ずしも、庫内に搬入された物体及び庫内から搬出された物体を検出しなくてもよい。物体検出部１０２は、例えば、庫内に動きがある物体が検出し、その物体が検出されなくなった場合、物体の搬入又は搬出が行われたと判定すればよい（すなわち、物体の搬入又は搬出を検出すればよい）。動きがある物体は、例えば、物体を搬入又は搬出するために庫内に入った、人や物体を運搬する運搬機械である。物体検出部１０２は、例えば、後述されるように、背景差分法を使用して、動きがある物体を検出してもよい。その場合、物体検出部１０２は、動きがある物体が検出される前に撮影された画像と、動きがある物体が検出されなくなった後に撮影された画像との間における、差を検出してもよい。その場合、検出された差が基準より大きい場合に、物体検出部１０２は、物体の搬入又は搬出を検出してもよい。
The
以下で説明する本実施形態の物体管理システム１の動作の例では、物体検出部１０２は、上述のように、物体の搬入又は搬出を検出する。物体検出部１０２が物体の搬入又は搬出を検出する方法は、以上に限られない。物体検出部１０２は、以下の方法や、他の方法によって、物体の搬入又は搬出を検出してもよい。これらの説明のように、物体検出部１０２は、庫内における物体の搬入又は搬出によって生じる、庫内が撮影された画像（庫内が連続して撮影された画像）の特徴を検出すると言い換えることもできる。
In the example of the operation of the object management system 1 of the present embodiment described below, the
物体検出部１０２は、続けて撮影された複数の画像の差が基準より大きい場合に、動きがある物体が庫内に存在すると判定してもよい（すなわち、庫内において動きがある物体を検出してもよい）。その場合、物体検出部１０２は、動きがある物体が検出された後、動きがある物体が検出されなくなった場合に、物体の搬入又は搬出を検出してもよい。物体検出部１０２は、あらかじめ与えられた、物体を運搬する人又は運搬機械の特徴を使用して、庫内が撮影された画像から、人又は運搬機械を検出してもよい。物体検出部１０２は、あらかじめ与えられた、物体を運搬する人及び運搬機械の特徴を使用して、庫内が撮影された画像から、人及び運搬機械の少なくともいずれかを検出してもよい。物体検出部１０２は、人及び運搬機械の少なくともいずれかが検出された場合に、庫内において動きがある物体を検出してもよい。物体検出部１０２は、人及び運搬機械の少なくともいずれかが検出された後、人及び運搬機械の少なくともいずれかが検出されなくなった場合に、物体の搬入又は搬出を検出してもよい。
The
第１の通信部１０３は、前述の搬入又は搬出が検出される前に庫内が撮影された、少なくとも１枚の画像データ、及び、前述の搬入又は搬出が検出された後に庫内が撮影された、少なくとも１枚の画像データ（すなわち、少なくとも２枚の画像データ）を送信する。
The
更に、物体管理装置２０は、第２の通信部２０１と、照合部２０３と、登録部２０２と、物体記憶部２０４と、を備える。第２の通信部２０１は、画像取得装置１０から送信された、前述の少なくともの画像データを受信する。照合部２０３は、受信した画像データにおいて、物体の増加及び減少を検出する。登録部２０２は、増加（搬入）又は減少（搬出）が検出された物体の画像データを、照合結果として登録し、さらに、登録されている照合結果を管理する。登録部２０２は、例えば、物体の増加（搬入）が検出された場合、その物体の画像データを、増加（搬入）を表すデータ値に関連付ければよい。そして、登録部２０２は、増加（搬入）を表すデータ値が関連付けられた、増加が検出された物体の画像データを、物体記憶部２０４に格納すればよい。登録部２０２は、例えば、物体の減少（搬出）が検出された場合、その物体の画像データを、減少（搬出）を表すデータ値に関連付ければよい。そして、登録部２０２は、減少（搬出）を表すデータ値が関連付けられた、減少（搬出）が検出された物体の画像データを、物体記憶部２０４に格納すればよい。物体記憶部２０４は、搬入が検出された物体の情報と、搬出が検出された物体の情報を記憶する。物体の情報は、例えば、物体ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）、物体の画像、物体が搬入された時間、物体が搬入された場所、物体が搬出された時間、及び、物体が搬出された場所などである。本発明の各実施形態の説明において、物体の情報は、物体情報とも表記される。
Furthermore, the
物体管理システム１のうち、画像取得装置１０のカメラ入力部１０１が、例えば、映像を撮影するカメラと、カメラによって撮影された映像を物体取得装置１０が扱える信号に変換するカメラ入力インタフェースとを含んでいればよい。カメラ入力部１０１のカメラは、トラックの荷台や倉庫等の内部である庫内全体を撮像できる位置に設置されていればよい。物体管理システム１の他の構成要素を実現する装置は、カメラ入力部１０１のカメラが設置されている場所とは異なる場所に設置されていてもよい。カメラ入力部１０１に含まれるカメラとカメラ入力インタフェースは、例えば、画像転送用のケーブルによって接続されていればよい。カメラ入力部１０１と、画像取得装置１０のカメラ入力部１０１以外の部とは、例えば、公共の通信ネットワークではなく、バスやその他の高速な通信路を介して接続されている。さらに、物体管理装置２０は、画像取得装置１０と、例えば通信ネットワークを介して、通信可能に接続されていればよい。物体管理装置２０は物理的にトラックの荷台や倉庫に設置されなくてもよい。物体管理装置２０は、画像取得装置１０から、物理的に離れた場所に設置されてもよい。
In the object management system 1, the
次に、本実施形態の物体管理システム１の動作について、図面を参照して詳細に説明する。 Next, the operation of the object management system 1 of the present embodiment will be described in detail with reference to the drawings.
図２は、物体の搬入又は搬出を検出する場合における、本実施形態の物体管理システム１の動作を表すフローチャートである。 FIG. 2 is a flowchart showing the operation of the object management system 1 of the present embodiment in the case of detecting the carry-in or carry-out of an object.
図２に示す動作フローを用いて、本発明の第１の実施の形態における物体管理システム１の動作を説明する。まず、カメラ入力部１０１は、庫内を撮影可能なように設置されているカメラにより、庫内の映像を撮影する。映像は、例えば連続する静止画像によって表される動画像である。本発明の各実施形態の説明において、静止画像を「画像」とも表記する。静止画像を表すデータを、「画像データ」と表記する。静止画像を表す画像データを送信又は受信することを、「画像を送信する」又は「画像を受信する」と表記する。
The operation of the object management system 1 according to the first embodiment of the present invention will be described using the operation flow shown in FIG. First, the
物体検出部１０２は、カメラ入力部１０１から、庫内が連続的に撮影された画像データを受信する（ステップＳ１０１）。物体検出部１０２は、連続する画像の画像データを、順次受信すればよい。物体検出部１０２は、受信した、複数の画像の画像データを記憶していればよい。ステップＳ１０１において、画像データを受信した場合、物体検出部１０２は、直前に受信した画像データを、過去に受信にした画像の画像データとして記憶すればよい。
The
物体検出部１０２は、過去に受信した画像の少なくともいずれかを、検出前画像として記憶する（ステップＳ１０２）。物体検出部１０２は、前のフレームの画像データを、検出前画像として記憶してもよい。物体検出部１０２は、過去に受信した複数の画像の画像データを、記憶していてもよい。その場合、物体検出部１０２は、過去に受信した複数の画像から、例えばあらかじめ決められた方法によって、複数の画像を選択してもよい。物体検出部１０２は、選択した複数の画像を、検出前画像として記憶してもよい。
The
次に、物体検出部１０２は、受信した画像を使用して、物体検出処理を行う（ステップＳ１０３）。ステップＳ１０３では、物体の搬入又は搬出の有無、すなわち、物体の庫内への搬入、又は、物体の庫内への搬出が行われたか否かがが検出される。物体検出処理については、後で詳しく説明する。
Next, the
物体の搬入又は搬出が検出された場合（ステップＳ１０４においてＹｅｓ）、物体検出部１０２は、検出後画像を記憶する。物体検出部１０２は、例えば、物体の搬入又は搬出が検出された画像より、所定枚数後に入力された画像を、検出後画像として記憶すればよい。そして、物体検出部１０２は、例えば、検出前画像として物体検出部１０２が記憶している検出前画像のうち、最も古い検出前画像を、物体検出の前に撮影された画像として選択する。物体検出部１０２は、検出前画像として記憶している画像のうち、物体の搬入又は搬出が検出された画像より前に記憶した検出前画像から、あらかじめ決められた方法に従って複数の検出前画像を選択してもよい。物体検出部１０２は、物体の搬入又は搬出が検出された場合、あらかじめ決められた方法によって選択された複数の画像を検出後画像として記憶してもよい。
When the carry-in or carry-out of the object is detected (Yes in Step S104), the
第１の通信部１０３は、物体検出の前及び後に撮影された２枚以上の画像、すなわち、前述の選択された少なくとも１枚検出前画像及び選択された少なくとも１枚の検出後画像を、物体管理装置２０の第２の通信部２０１に送信する（ステップＳ１１１）。物体管理装置２０の第２の通信部２０１は、第１の通信部１０３によって送信された、物体検出の前に撮影された１枚以上の画像及び後に撮影された１枚以上の画像を受信する。
The
例えば物体管理システム１の管理者による指示等によって、物体検出を終了する場合（ステップＳ１２３においてＹｅｓ）、画像取得装置１０は、図２に示す動作を終了する。物体検出を終了しない場合（ステップＳ１２３においてＮｏ）、画像取得装置１０は、図２示す動作を、ステップＳ１０１から繰り返す。
For example, when the object detection is ended by an instruction from the administrator of the object management system 1 (Yes in step S123), the
物体の搬入又は搬出が検出されない場合（ステップＳ１０４においてＮｏ）、画像取得装置１０は、図２示す動作を、ステップＳ１０１から繰り返す。
When no object carry-in or carry-out is detected (No in step S104), the
次に、図２のステップＳ１０３の動作である、本実施形態の物体管理システム１の物体検出処理の動作について、図面を参照して詳細に説明する。 Next, the operation of the object detection process of the object management system 1 of the present embodiment, which is the operation of step S103 in FIG. 2, will be described in detail with reference to the drawings.
まず、物体検出部１０２の機能が、さらに細かい機能ブロックに分割した例について説明する。
First, an example in which the function of the
図３は、本実施形態の物体検出部１０２の構成の例を表すブロック図である。図３を参照すると、物体検出部１０２は、短期画像差分部１０２１と、中期画像差分部１０２２と、長期画像差分部１０２３と、検出前画像記憶部１０２４と、統合部１０２５と、検出後画像記憶部１０２６と、検出部１０２７とを含む。以下では、物体検出部１０２の機能を、物体検出部１０２、短期画像差分部１０２１、中期画像差分部１０２２、長期画像差分部１０２３、検出前画像記憶部１０２４、統合部１０２５、検出後画像記憶部１０２６、又は、検出部１０２７の機能として説明する。以下では、さらに、物体検出部１０２の動作を、物体検出部１０２、短期画像差分部１０２１、中期画像差分部１０２２、長期画像差分部１０２３、検出前画像記憶部１０２４、統合部１０２５、検出後画像記憶部１０２６、又は、検出部１０２７の動作として説明する。物体検出部１０２が、物体検出部１０２、短期画像差分部１０２１、中期画像差分部１０２２、長期画像差分部１０２３、検出前画像記憶部１０２４、統合部１０２５、検出後画像記憶部１０２６、及び、検出部１０２７として動作する。
FIG. 3 is a block diagram illustrating an example of the configuration of the
短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、入力された画像と、既に入力されている画像との差分を算出することによって、画像の変化を抽出する。短期画像差分部１０２１は、例えば、最も新しく入力された画像（以下、最新画像と表記する）が入力された時刻より時間Ｔ１だけ前の時刻以降に入力された画像に対して、最新画像の画素値の変化が大きい領域を検出する。上述のＴ１は、閾値ａ以下である。中期画像差分部１０２２は、例えば、最も新しく入力された画像（以下、最新画像と表記する）が入力された時刻より時間Ｔ２だけ前の時刻以降に入力された画像に対して、最新画像の画素値の変化が大きい領域を検出する。上述のＴ２は、閾値ａより大きく、閾値ｂ以下である。短期画像差分部１０２１は、例えば、最も新しく入力された画像（以下、最新画像と表記する）が入力された時刻より時間Ｔ３だけ前の時刻以降に入力された画像に対して、最新画像の画素値の変化が大きい領域を検出する。上述のＴ３は、閾値ｂより大きい。
The short-term
短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、それぞれ、例えば、背景差分法によって、入力画像において、背景の領域と背景以外の領域をと推定してもよい。
The short-term
その場合、短期画像差分部１０２１は、例えば、時間Ｔ１だけ前の時刻以降に入力された入力画像を使用して背景画像（以下、短期背景画像と表記）を生成すればよい。そして、短期画像差分部１０２１は、最新画像と短期背景画像の差分画像を算出すればよい。中期画像差分部１０２２は、例えば、時間Ｔ２だけ前の時刻以降に入力された入力画像を使用して背景画像（以下、中期背景画像と表記）を生成すればよい。そして、中期画像差分部１０２２は、最新画像と中期背景画像の差分画像を算出すればよい。長期画像差分部１０２３は、例えば、時間Ｔ３だけ前の時刻以降に入力された入力画像を使用して背景画像（以下、長期背景画像と表記）を生成すればよい。そして、長期画像差分部１０２３は、最新画像と長期背景画像の差分画像を算出すればよい。
In this case, the short-term
短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、それぞれ、画素毎に、画素値の差の大きさを算出すればよい。短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、算出された差の大きさが閾値より小さい画素値を有する画素を、背景に対する変化が無い画素と推定すればよい。短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、算出された差の大きさが閾値以上である画素値を有する画素を、背景に対する変化がある画素と推定すればよい。短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、それぞれ、入力画像を、算出された差の大きさが閾値以上である画素からなる非背景領域と、算出された差の大きさが閾値未満である画素からなる背景領域とに分割すればよい。
The short-term
長期画像差分部１０２３によって算出される背景領域は、長期間にわたって静止している領域（例えば、変化が無くなってから時間Ｔ３以上が経過した領域）を含む。変化が無くなってから時間Ｔ３以上が経過した領域は、例えば、搬入されてから時間Ｔ３以上が経過した物体の領域、搬出されてから時間Ｔ３以上が経過した物体が置かれていた領域などである。なお、長期画像差分部１０２３によって算出される背景領域には、搬入又は搬出の後時間Ｔ３が経過していない物体の領域も含まれうる。
The background region calculated by the long-term
中期画像差分部１０２２によって算出される背景画像は、中期間静止している領域（例えば、変化が無くなってから時間Ｔ２以上が経過した領域）を含む。変化が無くなってから時間Ｔ２以上が経過した領域は、例えば、搬入されてから時間Ｔ２以上が経過した物体の領域、搬出されてから時間Ｔ２以上が経過した物体が置かれていた領域などである。中期画像差分部１０２２によって算出される背景領域は、長期画像差分部１０２３によって算出される背景領域を含む。中期画像差分部１０２２によって算出される背景領域は、さらに、搬入されてから時間Ｔ２以上が経過した物体の領域、搬出されてから時間Ｔ２以上が経過した物体が置かれていた領域などを含む。中期画像差分部１０２２によって算出される背景領域は、搬入又は搬出後、時間Ｔ２以上経過していない物体の領域を含みうる。
The background image calculated by the medium-term
短期画像差分部１０２１によって算出される背景画像は、例えば、変化が無くなってから時間Ｔ１以上が経過した領域を含む。
The background image calculated by the short-term
物体の搬入や搬出のために庫内に入る作業員等は、通常、作業を行うとすぐに庫内から退出する。作業員などは、通常、長時間静止し続けない。時間Ｔ１は、例えば、そのような作業員などの領域を非背景領域として検出し、搬入された物体の領域及び搬出された物体があった領域を速やかに背景として検出できるよう、あらかじめ実験的に求められていればよい。時間Ｔ２は、搬入された物体の領域及び搬出された物体があった領域（物体領域）を、例えば一定期間非背景領域として検出し、その後その物体領域を背景領域としてできるように、あらかじめ実験的に求められていればよい。時間Ｔ３は、例えば、庫内に設置される物体が背景として検出されない又は検出されにくいように、あらかじめ実験的に定められていればよい。長期画像差分部１０２３は、例えば、短期画像差分部１０２１又は中期画像差分部１０２２が非背景領域を検出した画像を、背景画像の生成に使用しないよう設計されていてもよい。
A worker or the like who enters the warehouse for carrying in or out an object usually leaves the warehouse as soon as the work is performed. Workers usually do not stay stationary for a long time. The time T1 is experimentally determined in advance so that, for example, such an area such as a worker is detected as a non-background area, and the area of the loaded object and the area where the unloaded object is present can be quickly detected as the background. It only has to be requested. The time T2 is experimental in advance so that the area of the carried object and the area where the carried object is present (object area) can be detected as a non-background area for a certain period of time, and then the object area can be used as the background area. As long as it is required. The time T3 may be experimentally determined in advance so that, for example, an object installed in the warehouse is not detected as a background or is difficult to detect. The long-term
短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、他の方法で、最新画像において、画素値の変化が大きい領域と、画素値の変化が小さい領域とを推定してもよい。
The short-term
統合部１０２５は、短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３によって得られた結果を使用して、搬入された物体の領域及び搬出された物体が存在した領域を推定する。統合部１０２５は、例えば、短期画像差分部１０２１によって算出された差分画像において、非背景領域として検出された領域を、作業員等の領域と推定すればよい。統合部１０２５は、さらに、例えば、長期画像差分部１０２３によって非背景領域として検出された領域のうち、作業員等の領域として推定されなかった領域を特定すればよい。統合部１０２５は、例えば、長期画像差分部１０２３によって非背景領域として検出された作業員等の領域ではない領域のうち、中期画像差分部１０２２によって非背景領域として検出されなかった領域を、物体が搬入又は搬出された領域として検出すればよい。
The
検出前画像記憶部１０２４は、例えば、入力された画像を記憶する。
The pre-detection
検出後画像記憶部１０２６は、物体の搬入又は搬出が検出された後の画像を記憶する。
The post-detection
検出部１０２７は、統合部１０２５による検出の結果を使用して、庫内における、物体の搬入又は搬出の有無を検出する。統合部１０２５は、例えば、物体が搬入又は搬出された領域が検出された場合、物体が搬入又は搬出が検出されたと判定すればよい。
The
検出部１０２７は、さらに、例えば、物体の搬入又は搬出を検出した場合、検出前画像記憶部１０２４から、あらかじめ決められた方法に従って、検出前画像を抽出する。検出部１０２７は、物体の搬入又は搬出を検出した後に検出前画像記憶部１０２４に格納された画像から、あらかじめ決められた方法に従って、検出後画像を抽出してもよい。検出部１０２７は、例えば、あらかじめ定められた枚数の検出後画像が抽出されるまで、抽出された検出後画像を、検出後画像記憶部１０２６に格納してもよい。
For example, when detecting the carry-in or carry-out of the object, the
検出部１０２７は、少なくとも１枚の検出前画像と、少なくとも１枚の検出後画像とを、第１の通信部１０３に出力する。前述のように第１の通信部１０３は、少なくとも１枚の検出前画像と、少なくとも１枚の検出後画像とを、物体管理装置２０の第２の通信部２０１に送信する。
The
図４は、本実施形態の物体管理システム１の画像取得装置１０の、物体検出処理の動作の例を表すフローチャートである。物体検出処理は、物体検出部１０２によって行われる。物体検出部１０２には、連続する画像が順次入力されている。
FIG. 4 is a flowchart illustrating an example of the operation of the object detection process of the
物体検出部１０２に入力された画像は、短期画像差分部１０２１と中期画像差分部１０２２と長期画像差分部１０２３とに入力される。図４では、ステップＳ１１８、ステップＳ１１９、及びステップＳ１２０の動作は、順次行われるように描かれている。しかし、ステップＳ１１８、ステップＳ１１９、及びステップＳ１２０の動作は、図４に示す順番とは異なる順番で行われてもよい。ステップＳ１１８、ステップＳ１１９、及びステップＳ１２０の動作は、並列に行われてもよい。短期画像差分部１０２１は、上述の説明のように、ある一定の閾値ａ以下の期間分の画像データを利用して画像の変化を抽出することによって、背景領域と非背景領域とを検出する（ステップＳ１１８）。長期画像差分部１０２３は、上述の説明のように、ある一定の閾値ｂより長い期間分の画像データを利用して画像の変化を抽出することによって、背景領域と非背景領域とを検出する（ステップＳ１２０）。中期画像差分部１０２２は、上述の説明のように、ある一定の閾値ａより長く閾値ｂ以下の期間分の画像データを利用して画像の変化を抽出することによって、背景領域と非背景領域とを検出する（ステップＳ１１９）。
The image input to the
統合部１０２５は、例えば上述のように動作することによって、期間別の画像の変化を統合する（ステップＳ１２１）。上述のように、統合部１０２５は、短期画像差分部１０２１が検出した非背景領域を、庫内において物体の出し入れを行う人の領域と推定する。統合部１０２５は、部１０２３が検出した背景領域を、長時間変化のない庫内の背景と推定する。統合部１０２５は、例えば、中期画像差分部１０２２が検出した非背景領域と長期画像差分部１０２３が検出した非背景領域の差分領域を、搬入又は搬出された物体の領域として検出する。このように、ある時突然現れまた背景に変化するような物体の状態は、中期画像差分部１０２２による結果によって捉えられる。そのため、検出部１０２７は、人が頻繁に出入りしている庫内においても物体の増減を検出できる。
The
前述のように、検出部１０２７（すなわち物体検出部１０２）は、ステップＳ１０２において検出前画像記憶部１０２４に格納されている画像から、例えばステップＳ１１１において、少なくとも１枚の、物体検出前の画像を抽出する。検出部１０２７（すなわち物体検出部１０２）は、さらに、ステップＳ１０９において検出前画像記憶部１０２４に格納されている画像から、例えばステップＳ１１１において、少なくとも１枚の、物体検出後の画像を抽出する。検出部１０２７（すなわち物体検出部１０２）は、ステップＳ１１１において、抽出された、少なくとも１枚の、物体の搬入又は搬出が検出される前の画像と、少なくとも１枚の、物体の搬入又は搬出が検出された後の画像とを、第１の通信部１０３を介して、物体管理装置２０に送信する。
As described above, the detection unit 1027 (that is, the object detection unit 102) obtains at least one image before object detection from the image stored in the pre-detection
その際、物体検出部１０２は、物体管理装置２０に送信される２枚の画像データに、それらの画像を撮影した時間を表す撮影時刻情報を付加してもよい。物体検出部１０２は、物体管理装置２０に送信される２枚の画像データに、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報等を用いて得られた、送信される画像を撮影した場所を表す撮影場所情報を付加してもよい。画像取得装置１０は、例えば、画像取得装置１０が備えるタイマ（図示されない）によって得られる、画像取得装置１０がその画像を受信した時刻を、画像を撮影した時刻にすればよい。また、画像取得装置１０は、画像取得装置１０が備える、例えばＧＰＳ信号等を使用して位置を検出する位置検出部（図示されない）によって、撮影場所情報を取得すればよい。そして、物体検出部１０２は、撮影時刻情報や撮影場所情報が負荷された、２枚以上の画像を、第１の通信部１０３を介して送信してもよい。
At that time, the
もし、カメラ側にこれらの処理が無ければ、管理サーバに送信する画像データはすべての画像データを送信する必要がある。特に、１台の物体管理装置２０に複数のカメラが接続されている場合、１台の物体管理装置２０に複数のカメラから画像データが送られる。そのような場合、画像データの通信量が増大してしまうために、物体管理装置２０は、膨大な通信処理及び画像処理を行う必要があり、そのために膨大な処理能力が必要になる。しかし、本実施形態の画像取得装置１０は、物体を検出した前及び後の画像データを一組として送信することにより、通信量を抑えることができる。さらに、本実施形態の画像取得装置１０は、加えて、物体管理装置２０の処理を大幅に軽減することができる。
If these processes are not performed on the camera side, all image data needs to be transmitted as image data to be transmitted to the management server. In particular, when a plurality of cameras are connected to one
次に、本実施形態の物体管理システム１の物体管理装置２０の動作について、図面を参照して詳細に説明する。
Next, operation | movement of the
図５は、本実施形態の物体管理システム１の物体管理装置２０の動作の例を表すフローチャートである。
FIG. 5 is a flowchart showing an example of the operation of the
第２の通信部２０１は、画像取得装置１０から、少なくとも２枚の画像の画像データを受信する（ステップＳ２０１）。少なくとも２枚の画像は、少なくとも１枚の、物体の搬入又は搬出が検出される前に庫内が撮影された画像と、少なくとも１枚の、物体の搬入又搬出が検出された後に庫内が撮影された画像とである。第２の通信部２０１は、受信した少なくとも２枚の画像の画像データを、照合部２０３に送信する。以下では、簡単のため、少なくとも２枚の画像は、１枚の、物体の搬入又は搬出が検出される前に庫内が撮影された画像と、１枚の、物体の搬入又搬出が検出された後に庫内が撮影された画像とであるとして説明する。
The
照合部２０３は、受信した画像データを使用して、物体検出前に撮影された画像と、物体検出後に撮影された画像の、２枚の画像の差異を検出する。照合部２０３は、検出した際が、物体が搬入されたことによって生じたか、物体が搬出されたことによって生じたかを判定する（ステップＳ２０２）。照合部２０３は、例えば、２枚の画像の、それらの２枚の画像の間に差異がある領域に、物体が存在するか否かを、例えば、マッチングなどの既存の画像処理技術を使用して特定してもよい。その場合、搬入又は搬出が検出される物体の特徴が、あらかじめ、照合部２０３に与えられていてもよい。照合部２０３は、与えられた物体の特徴を使用して、前述の差異がある領域に物体の像が存在するか否かを判定してもよい。
The
照合部２０３は、それまで受信した複数の画像の画像データ、庫内に何も入っていない状態であらかじめ撮影された画像、及び、過去の画像を利用してもよい。例えば、照合部２０３は、前述の差異がある領域と同じ位置にある領域において、受信した画像のそれぞれと、物体が存在しない状態で撮影された画像とを比較すればよい。差異があらかじめ定められた基準より小さい場合、照合部２０３は、物体が存在しない状態で撮影された画像と比較した画像において、物体は存在しないと判定すればよい。差異があらかじめ定められた基準以上である場合、照合部２０３は、物体が存在しない状態で撮影された画像と比較した画像において、物体が存在すると判定すればよい。
The
例えば、物体の搬入又は搬出が検出された後に撮影した画像において、前述の差異がある領域に物体が存在する判定した場合、照合部２０３は、物体が搬入されたと判定すればよい（すなわち、物体の搬入を検出すればよい）。照合部２０３は、検出の結果を、例えば、フラグによって表してもよい。物体が搬入されたと判定した場合、照合部２０３は、例えば、「物体搬入フラグ」を「ＯＮ」にすればよい。物体が搬入されたと判定しなかった場合、照合部２０３は、例えば、「物体搬入フラグ」を「ＯＦＦ」にすればよい。照合部２０３は、物体の搬入又は搬出が検出された後に撮影された画像の、前述の差異がある領域を、物体が搬入された領域として特定する。
For example, when it is determined that an object is present in an area having the above-described difference in an image captured after the object is carried in or out, the
例えば、物体の搬入又は搬出が検出される前に撮影した画像において、前述の差異がある領域に物体が存在する判定した場合、照合部２０３は、物体が搬出されたと判定すればよい（すなわち、物体の搬入を検出すればよい）。物体が搬出されたと判定した場合、照合部２０３は、例えば、「物体搬出フラグ」を「ＯＮ」にすればよい。物体が搬出されたと判定しなかった場合、照合部２０３は、例えば、「物体搬出フラグ」を「ＯＦＦ」にすればよい。照合部２０３は、物体の搬入又は搬出が検出される前に撮影された画像の、前述の差異がある領域を、物体が搬出された領域として特定する。
For example, when it is determined that an object is present in an area having the above-described difference in an image captured before the object is carried in or carried out, the
物体の搬入が検出された場合（ステップＳ２０３においてＹｅｓ）、例えば、物体搬入フラグが「ＯＮ」であり、且つ、物体搬出フラグが「ＯＦＦ」である場合、登録部２０２は、搬入が検出された物体に、物体ＩＤを付与する（ステップＳ２０４）。新たに付与される物体ＩＤは、既に付与されている物体ＩＤと異なる物体ＩＤであればよい。そして、登録部２０２は、搬入が検出された物体の情報を登録する（ステップＳ２０５）。物体の搬入が検出された後のステップＳ２０５において、登録部２０２は、例えば、付与した物体ＩＤと、物体が搬入されたと判定された領域の画像データとを関連付ければよい。そして、登録部２０２は、互いに関連付けられた、物体ＩＤと物体が搬入されたと判定された領域の画像データとを、例えば、物体記憶部２０４に格納すればよい。登録部２０２は、例えば、物体が搬入された時刻、及び、物体が搬入された場所などを、物体ＩＤに関連付けてもよい。その場合、登録部２０２は、物体ＩＤ及び画像データに加えて、物体が搬入された時刻、及び、物体が搬入された場所などを、物体記憶部２０４に格納すればよい。
When the object carry-in is detected (Yes in step S203), for example, when the object carry-in flag is “ON” and the object carry-out flag is “OFF”, the
物体の搬入が検出されず（ステップＳ２０３においてＮｏ）、物体の搬出が検出された場合（ステップＳ２０６においてＹｅｓ）、照合部２０３は、搬出された物体が搬入されたときの画像を特定する（ステップＳ２０７）。照合部２０３は、例えば、物体の搬入又は搬出が検出される前に撮影された画像における、前述の差異がある領域と、物体記憶部２０４に画像データが格納されている画像の各々とを比較すればよい。そして、照合部２０３は、例えば、物体記憶部２０４に画像データが格納されている画像の中で、物体の搬入又は搬出が検出される前に撮影された画像における、前述の差異がある領域と、最も類似する画像を特定すればよい。照合部２０３は、画像の類似の判定を、例えば、テンプレートマッチングなどの、画像乗る維持の程度を判定する既存のいずれかの方法で行えばよい。照合部２０３は、特定した画像に関連付けられている物体ＩＤを、搬出された物体の物体ＩＤとして特定する（ステップＳ２０８）。すなわち、照合部２０３は、特定した画像に関連付けられている物体ＩＤによって特定される物体を、搬出された物体と判定する。
If no object carry-in is detected (No in Step S203) and object carry-out is detected (Yes in Step S206), the
次に、登録部２０２は、搬出が検出された物体の情報を登録する（ステップＳ２０５）。物体の搬出が検出された後のステップＳ２０５では、登録部２０２は、搬出された物体と判定された物体情報を、その物体情報が、物体が搬出されたことを表すように更新する。登録部２０２は、例えば、物体記憶部２０４が記憶する物体情報において、搬出されたと判定された物体の物体ＩＤに、物体が搬出されたことを表すフラグを関連付けてもよい。登録部２０２は、例えば、搬出されたと判定された物体の搬出時刻及び搬出場所を、物体記憶部２０４に格納してもよい。
Next, the
物体の搬入が検出されず（ステップＳ２０３においてＮｏ）、物体の搬出が検出されなかった場合（ステップＳ２０６においてＮｏ）、すなわち、物体搬入フラグ及び物体搬出フラグが共に「ＯＦＦ」であった場合、物体管理装置２０は、図５に示す動作を終了する。この場合、例えば、物体の搬入又は搬出を検出する動作において、画像取得装置１０が誤動作（例えば誤検出）した可能性が考えられる。そのため、この場合、次に、少なくとも２枚の画像を受信した場合に、照合部２０３が、少なくとも４枚の画像データを使用して、物体の搬入及び搬出を判定してもよい。
If no object carry-in is detected (No in step S203) and no object carry-out is detected (No in step S206), that is, if both the object carry-in flag and the object carry-out flag are “OFF”, the object The
図６は、物体記憶部２０４に格納された物体の情報の例を模式的に表す図である。図６に示す例では、物体情報は、物体ＩＤと、搬入時刻と、搬入場所と、画像データと、搬出時刻と、搬出場所とを含む。図６に示す例では、画像データは、画像のファイル名によって表される。この場合、物体記憶部２０４は、図６に示す物体情報に加えて、物体情報に画像データとして含まれるファイル名が付与された、画像の画像データが格納されたファイルを記憶していればよい。図６に示す例では、物体が庫内に搬入された後搬出されていない場合、その物体の物体情報は、搬出時刻及び搬出場所のデータを含まない。物体が庫内に搬入された後搬出された場合、その物体の物体情報は、搬出時刻及び搬出場所のデータを含む。物体の物体情報が搬出時刻及び搬出場所のデータを含まない場合、その物体の物体情報は、搬入されたその物体が、搬出されていないことを表す。物体の物体情報が搬出時刻及び搬出場所のデータを含む場合、その物体の物体情報は、その物体が、搬入された後、搬出されたことを表す。
FIG. 6 is a diagram schematically illustrating an example of object information stored in the
以上で説明した本実施形態には、物体の追跡管理を行うのに必要な通信帯域を低減することができるという効果がある。その理由は、物体検出部１０２が、物体の搬入又は搬出を検出するからである。そして、第１の通信部１０３が、物体の搬入又は搬出が物体検出部１０２によって検出される前の画像と、物体の搬入又は搬出が物体検出部１０２によって検出された後の画像とを、物体管理装置２０に送信するからである。
The embodiment described above has an effect of reducing the communication band necessary for tracking and managing an object. The reason is that the
＜第２の実施形態＞
次に、本発明の第２の実施形態について、図面を参照して詳細に説明する。
<Second Embodiment>
Next, a second embodiment of the present invention will be described in detail with reference to the drawings.
図１は、本実施形態の物体管理システム１の構成の例を表すブロック図である。本実施形態の物体管理システム１は、以下で説明する相違を除き、第１の実施形態の物体管理システム１と同じである。 FIG. 1 is a block diagram illustrating an example of the configuration of the object management system 1 of the present embodiment. The object management system 1 of the present embodiment is the same as the object management system 1 of the first embodiment, except for the differences described below.
本実施形態の物体検出部１０２は、カメラ入力部１０１によって物体検出部１０２に送信される、連続画像において、物体を検出し、さらに、検出された物体を追跡する。以下の説明では、庫内において移動する物体を、動物体と表記する。本実施形態では、物体検出部１０２は、物体を検出し、検出された物体が動物体として移動するのを追跡することによって、物体の搬入又は搬出を検出する。言い換えると、物体検出部１０２は、検出した物体を動物体として追跡した場合、その物体が、搬入又は搬出されたと判定する。物体検出部１０２は、動物体が検出される前の画像を、検出前画像として記憶する。物体検出部１０２は、動物体の追跡が完了した後の画像を、検出後画像として記憶する。
The
次に、本実施形態の物体管理システム１の動作について、図面を参照して詳細に説明する。 Next, the operation of the object management system 1 of the present embodiment will be described in detail with reference to the drawings.
図７は、本実施形態の物体管理システム１の画像取得装置１０の、物体検出処理の動作の例を表すフローチャートである。
FIG. 7 is a flowchart showing an example of the operation of the object detection process of the
まず、物体検出部１０２は、カメラ入力部１０１から、カメラによって庫内が撮影された映像（すなわち、庫内が連続的に撮影された連続画像の画像データ）を受信する（ステップＳ１０１）。連続的に撮影された連続画像の画像データは、一般的なビデオカメラを使用した撮影によって得られる、１秒間に３０枚の画像が撮影された画像データであってもよい。連続的に撮影された連続画像の画像データは、例えば、１秒間に１枚の画像が撮影された画像データのように、間欠的なフレームレートで撮影された映像の画像データであってもよい。連続画像のフレームレートは、庫内において物体を搬入又は搬出する作業員又は機械の動きの早さに応じて選択されていればよい。例えば、高速に動作するロボットアームが、庫内において物体の搬入及び搬出を行う場合、人が庫内において物体の搬入及び搬出を行う場合と比較して、庫内を撮影する連続画像のフレームレートを高くする必要がある。以下で説明するように、物体検出部１０２は、例えば、連続画像のフレーム間において、画像に大きな変化を検出した場合、庫内において物体が搬入又は搬出されていると判定する。そのため、本実施形態の物体検出部１０２が物体の搬入又は搬出を検出するためには、人又は物体運搬用の機器が庫内に入ってから出るまでの間に、その人又は物体運搬用の機器が撮影された画像が、受信した画像に少なくとも１枚以上含まれている必要がある。従って、連続画像のフレームレートは、庫内に入った人又は物体運搬用の機器が、少なくとも１枚以上の画像において撮影されるように選択されていればよい。
First, the
物体検出部１０２は、少なくとも、最も新しい画像の直前に（すなわち、１フレーム過去に）受信した画像を記憶している。物体検出部１０２は、例えば、フレームメモリを備えていればよい。そして、物体検出部１０２は、そのフレームメモリに、１フレーム過去に受信した画像を記憶していればよい。
The
物体検出部１０２は、まず、例えばフレームメモリに格納されている、１フレーム過去の画像と、受信した最も新しい画像との差に基づいて、動物体が庫内に存在するか否かを検出する（ステップＳ１０３Ａ）。物体検出部１０２は、例えば、１フレーム過去の画像と、受信した最も新しい画像との、画素毎の画素値の差を算出すればよい。物体検出部１０２は、画素値の差の大きさが、例えばあらかじめ定められた閾値を越える画素を特定すればよい。そして、物体検出部１０２は、特定された画素の連結領域を抽出すればよい。連結領域は、例えば、連結領域に含まれる画素は、その連結領域に含まれる他のいずれかの画素に隣接する、画素のグループである。物体検出部１０２は、所定のサイズ以上の連結領域が抽出された場合、その連結領域を、動物体の領域として検出すればよい。物体検出部１０２は、動物体の領域が検出された場合、庫内に動物体が存在することを検出すればよい。物体検出部１０２は、動物体の検出結果を、例えば以下のように、動物体検出フラグによって表せばよい。庫内に動物体があることが検出された場合、物体検出部１０２は、動物体検出フラグを「ＯＮ」に設定する。物体検出部１０２は、動物体検出フラグを「ＯＮ」である場合、後述されるように、ステップＳ１０７において、さらに、動物体追跡フラグを「ＯＮ」に設定する。従って、動物体検出フラグが「ＯＮ」であり、且つ動物体追跡フラグが「ＯＦＦ」である状態は、動物体が存在していなかった庫内に動物体が検出されたことを表す。
First, the
ステップＳ１０５において、動物体検出フラグが「ＯＮ」であり、且つ動物体追跡フラグが「ＯＦＦ」である場合（ステップＳ１０５においてＮｏ）、物体検出部１０２は、検出前画像を記憶する（ステップＳ１０２）。ステップＳ１０２において、物体検出部１０２は、例えばフレームメモリに格納されている画像データを、物体の搬入又は搬出が検出される前に撮影された画像すなわち検出前画像の画像データとして記憶すればよい。そして、物体検出部１０２は、動物体の追跡を開始する（ステップＳ１０７）。ステップＳ１０７において、物体検出部１０２は、動物体検出フラグを「ＯＮ」に設定すればよい。例えば、動物体検出フラグを「ＯＮ」に設定することが、動物体の追跡を開始することであればよい。動物体の追跡は、例えば、動物体が検出され続けている状態であることを記憶しておくことであってもよい。
In step S105, when the moving object detection flag is “ON” and the moving object tracking flag is “OFF” (No in step S105), the
ステップＳ１０５において、動物体検出フラグが「ＯＮ」であり、且つ動物体追跡フラグが「ＯＮ」である場合（ステップＳ１０５においてＹｅｓ）、物体検出部１０２は、動物体追跡中である。その場合、物体検出部１０２は、動物体の追跡を継続する（ステップＳ１０７）。すなわち、物体検出部１０２は、動物体追跡フラグを「ＯＮ」に保つ。
In step S105, when the moving object detection flag is “ON” and the moving object tracking flag is “ON” (Yes in step S105), the
また、動物体検出フラグが「ＯＦＦ」であり、且つ動物体追跡フラグが「ＯＮ」である状態は、庫内を移動していた動物体が、静止したことを表す。動物体検出フラグが「ＯＦＦ」であり、且つ動物体追跡フラグが「ＯＮ」である場合、物体検出部１０２は、検出後画像を記憶する（ステップＳ１０９）。物体検出部１０２は、例えば、最も新しく入力された入力画像データを、物体の搬入又は搬出が検出された後に撮影された画像すなわち検出後画像の画像データとして記憶すればよい。
The state in which the moving object detection flag is “OFF” and the moving object tracking flag is “ON” indicates that the moving object that has moved in the warehouse has stopped. When the moving object detection flag is “OFF” and the moving object tracking flag is “ON”, the
そして、物体検出部１０２は、動物体の追跡を終了する（ステップＳ１１０）。ステップＳ１１０において、動物体検出部１０２は、動物体追跡フラグを「ＯＦＦ」に設定すればよい。動物体追跡フラグを「ＯＦＦ」に設定することが、動物体の追跡を終了することであってもよい。
Then, the
次に、物体検出部１０２は、ステップＳ１０２において記憶した検出前画像、及び、ステップＳ１０９において記憶した検出後画像の、２枚の画像の画像データを、物体管理装置２０の第２の通信部２０１に、第１の通信部１０３を介して送信する。その際、物体検出部１０２は、２枚の画像の画像データに、撮影時刻情報や、ＧＰＳ情報等を用いて特定した、それらの２枚の画像のそれぞれが撮影された場所を表す撮影場所情報を付加してもよい。そして、物体検出部１０２は、撮影時刻情報や撮影場所情報が負荷された２枚の画像の画像データを、第１の通信部１０３を介して送信してもよい。撮影時刻情報は、その撮影時刻情報が画像データに付加された２枚の画像のそれぞれが撮影された時刻を表す。前述のように、撮影時刻情報は、例えば、画像取得装置１０のタイマ（図示されない）によって特定された、物体検出部１０２がカメラ入力部１０１から画像を受信した時刻であればよい。撮影場所情報は、その撮影場所情報が画像データに付加された２枚の画像のそれぞれが撮影された場所を表す。画像が撮影された場所は、例えば、画像取得装置１０が備える位置検出部（図示されない）が、例えばＧＰＳ情報などを用いて特定した、物体検出部１０２がその画像をカメラ入力部１０１から受信した際の場所であってもよい。
Next, the
もし、カメラ側にある画像取得装置１０がこれらの処理を行わなければ、カメラによって撮影された全ての画像の画像データが、物体管理装置２０に送信される必要がある。さらに、１台の物体管理装置２０に複数のカメラを接続され、それらのカメラから１台の物体管理装置２０に全ての画像データが往診される場合、画像データの送信に必要な通信量は増大してしまう。そのため、物体管理装置２０は、膨大な通信処理を行う必要がある。さらに、物体管理装置２０は、膨大な画像処理能力が必要になる。本実施形態の画像取得装置１０は、例えば１枚の、動物体を検出する前に撮影された画像の画像データ、及び、例えば１枚の、動物体を検出した後に撮影された画像の画像データを送信する。そのことにより、通信量を抑えることができる。さらに、物体管理装置２０の処理を大幅に軽減することができる。
If the
本実施形態の物体管理装置２０の動作は、図５に示す、第１の実施家位置の物体管理装置２０の動作と同じである。
The operation of the
図８Ａ、図８Ｂ、及び図８Ｃは、本実施形態の物体管理システム１の動作を概念的に表す図である。 8A, 8B, and 8C are diagrams conceptually illustrating the operation of the object management system 1 of the present embodiment.
図８Ａは、庫内に何もない状態を表す。図８Ａに示す画像Ｄ１０１は、図８Ａに示す状態で、画像取得装置１０が撮像した画像である。図８Ｂは、庫内に人が物体（図８Ｂの例では荷物）を持って入ってきた状態を表す。図８Ｂに示す画像Ｄ１０２は、図８Ｂに示す状態で、画像取得装置１０が撮像した画像である。画像Ｄ１０１の次に、画像Ｄ１０２のように作業中の人が映った画像が入力された場合、物体検出部１０２は、動物体検出フラグを「ＯＮ」にする。そして、物体検出部１０２は、画像データＤ１０１を、物体の搬入又は搬出が検出される前の画像として記憶する。庫内で人が作業中である間、画像データＤ１０２のような、動いている人が映った画像の入力が続く。その場合、物体検出部１０２は、動物体追跡フラグを「ＯＮ」にする。物体を持って入ってきた人が物体を置いて庫外に出た場合、庫内に動物体は無くなる。その場合、物体検出部１０２は、庫内の動きがなくなったと判定する。そして、物体検出部１０２は、動物体検出フラグを「ＯＦＦ」に設定する。図８Ｃは、庫内に物体を置いた人が、庫内から退出した後の状態を表す。図８Ｃに示す画像Ｄ１０３は、図８Ｃに示す状態で撮影された画像である。物体検出部１０２は、画像データＤ１０３を、物体の搬入又は搬出が検出された後の画像として記憶する。物体検出部１０２は、さらに動物体追跡フラグも「ＯＦＦ」に設定する。そして、物体検出部１０２は、画像データＤ１０１とＤ１０３の２枚の画像の画像データを、物体管理装置２０に、第１の通信部１０３を介して送信する。第１の通信部１０３が、これらの２枚の画像を物体管理装置２０に送信する。物体管理装置２０の照合部２０３は、２枚の画像（Ｄ１０１及びＤ１０３）の画像データを比較することによって、２枚の画像の差を検出する。差が検出された場合、照合部２０３は、さらに、その差が生じた領域において、物体の増加（すなわち物体の搬入）及び物体の減少（すなわち物体の搬出）のどちらが起こったかを判定する。物体が増加していると判定した場合、照合部２０３は、物体搬入フラグを「ＯＮ」にする。物体が減少していると判定した場合、照合部２０３は、物体搬出フラグを「ＯＮ」にする。図８Ｃに示す例では、照合部２０３は、物体搬入フラグを「ＯＮ」に設定する。照合部２０３は、増加した物体（すなわち、搬入された物体）に、物体ＩＤを付加する。照合部２０３は、物体ＩＤに加えて、例えば、搬入を検出した時刻（すなわち搬入時刻）と、搬入場所と、画像データとを登録する。すなわち、照合部２０３は、物体ＩＤと、物体ＩＤに関連付けられた、搬入時刻、搬入場所、及び画像データを、物体記憶部２０４に格納する。物体ＩＤは通し番号でもよい。物体ＩＤ、搬入時刻と搬入場所をコード化したデータであってもよい。搬入場所は、例えば、ＧＰＳを利用して測定された緯度及び経度であってもよい。例えば、物体を搬入した人が、搬入場所を人手で入力してもよい。照合部２０３は、画像Ｄ１０３と画像Ｄ１０１を比較した結果に基づいて、物体の領域と判定した領域のみ切り出し、切り出した画像の画像データを登録された画像データとして、物体記憶部２０４に格納すればよい。
FIG. 8A shows a state where there is nothing in the warehouse. An image D101 illustrated in FIG. 8A is an image captured by the
図９は、本実施形態の物体管理装置２０の動作の第２の例を表すフローチャートである。本実施形態の物体管理装置２０及び本発明の他の実施形態の物体管理装置２０は、図７に示す動作の代わりに、図９に示す動作を行ってもよい。図９に示す各ステップの動作は、ステップＳ２０９及びステップＳ２１０の動作を除き、図７に示す、同じ番号が付与されたステップの動作と同じである。以下では、物体は荷物である場合について説明する。本発明の各実施形態において、物体は荷物に限られない。
FIG. 9 is a flowchart illustrating a second example of the operation of the
荷物が搬入されたと判定した場合（ステップＳ２０３においてＹｅｓ）、照合部２０３は、物体が再搬入されたか否かを判定する（ステップＳ２０９）。ステップＳ２０９において、照合部２０３は、搬入されたと判定された荷物と、物体記憶部２０４に物体情報が格納されている荷物との間で、例えば以下の説明のように、画像を使用した照合を行ってもよい。ステップＳ２０９において、照合部２０３は、例えば、搬入された荷物の領域の画像と、既に搬出された荷物の画像として登録されている画像を比較することによって、搬入された荷物が、搬出されたいずれかの荷物であるか否かを判定してもよい。
When it is determined that the package has been carried in (Yes in step S203), the
照合部２０３は、例えば、物体記憶部２０４に格納されている画像の中から、既存の方法から選択された画像の類似性を判定する方法に従って判定された、搬入された荷物の領域の画像に対する類似性が、閾値を上回る画像を検出すればよい。そのような画像が検出された場合、照合部２０３は、搬入されたと判定された荷物が、再搬入された荷物であると判定する。照合部２０３は、検出された画像に関連付けられている物体ＩＤによって特定される物体が、搬入されたと判定すればよい。本発明の各実施形態の説明において、搬入された又は搬出されたと判定された、例えば荷物などの物体の物体ＩＤが、物体情報が物体記憶部２０４に格納されているどの物体の物体ＩＤであるかを特定することを、物体を照合すると表記する。
The
荷物が再搬入された荷物ではない、すなわち、荷物が新しく搬入された荷物であると判定された場合（ステップＳ２１０においてＮｏ）、図７に示すステップＳ２０４以降の動作と同じ動作を行う。 When it is determined that the package is not a re-loaded package, that is, it is determined that the package is a newly loaded package (No in step S210), the same operations as those after step S204 shown in FIG. 7 are performed.
荷物が再搬入されたと判定された場合（ステップＳ２１０においてＹｅｓ）、照合部２０３は、搬入された荷物に新しい物体ＩＤを付与しない。ステップＳ２０５において、照合部２０３は、例えば、検出された画像に関連付けられている物体ＩＤに関連付けられている、搬入場所、搬入時刻などを更新してもよい。照合部２０３は、例えば、検出された画像に関連付けられている物体ＩＤに、その物体ＩＤによって特定される物体が再び搬入された、搬入場所、搬入時刻、新たに撮影された画像などを、さらに関連付けてもよい。
If it is determined that the package has been re-imported (Yes in step S210), the
例えば、荷物を届け先に届けるために、その荷物を庫内から搬出したが、届け先が不在である場合、その荷物は庫内に再び搬入される。そのような場合、照合部２０３が、搬入された荷物の画像と、物体記憶部２０４に格納されている荷物の画像とを、上述のように照合することによって、搬入された荷物が、初めて搬入されたか、再び搬入されたかを判定することができる。搬入された荷物が再び搬入された荷物であると判定した場合、照合部２０３は、その荷物に、新しく物体ＩＤを割り当てない。照合部２０３は、その荷物の物体ＩＤとして、その荷物が前回搬入された際に使用していた物体ＩＤを使用する。このように、照合部２０３が、複数回搬入された荷物の物体ＩＤとして同じ物体ＩＤを使用することよって搬入時刻及び搬入場所を管理する。そのことにより、物体管理装置２０は、再配達荷物を容易に管理することが可能となる。
For example, in order to deliver a package to a delivery destination, the package is carried out from the warehouse, but when the delivery destination is absent, the package is carried into the warehouse again. In such a case, the
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。 The present embodiment described above has the same effect as the first embodiment. The reason is the same as the reason for the effect of the first embodiment.
＜第３の実施形態＞
次に、本発明の第３の実施形態の物体管理システム１について、図面を参照して詳細に説明する。
<Third Embodiment>
Next, an object management system 1 according to a third embodiment of the present invention will be described in detail with reference to the drawings.
図１は、本実施形態の物体管理システム１の構成の例を表すブロック図である。本実施形態の物体管理システム１の構成は、図１に示す、第２の実施形態の物体管理システム１の構成と同じである。本実施形態の物体管理システム１は、以下で説明する相違を除き、第２の実施形態の物体管理システム１と同じである。 FIG. 1 is a block diagram illustrating an example of the configuration of the object management system 1 of the present embodiment. The configuration of the object management system 1 of the present embodiment is the same as the configuration of the object management system 1 of the second embodiment shown in FIG. The object management system 1 of the present embodiment is the same as the object management system 1 of the second embodiment, except for differences described below.
本実施形態の物体検出部１０２は、物体として、人物又は運搬機械を検出する。本実施形態では、物体検出部１０２は、人物又は運搬機械の、特徴的な部分を、庫内に設置されたカメラが撮影した画像において検出する。人物を検出する場合、物体検出部１０２は、例えば、人物の頭部を、人物の特徴的な部分として検出する。運搬機械を検出する場合、物体検出部１０２は、運搬機械の種類に応じて適宜選択された、運搬機械の特徴的な部分を検出すればよい。物体検出部１０２は、検出した人物の追跡を行う。本実施形態における人物の追跡は、人物を連続して検出することである。例えば、物体検出部１０２が、人物を連続して検出し続けている場合、物体検出部１０２は、物体を追跡している。
The
物体検出部１０２は、人物（又は運搬機械）が検出された場合、動物体検出フラグを「ＯＮ」にすればよい。物体検出部１０２は、人物（又は運搬機械）が検出されない場合、動物体検出フラグを「ＯＦＦ」にすればよい。物体検出部１０２は、人物の追跡を開始する場合、動物体追跡フラグを「ＯＮ」に設定すればよい。物体検出部１０２は、人物の追跡を終了する場合、動物体追跡フラグを「ＯＦＦ」に設定すればよい。
The
物体検出部１０２は、人物を検出してもよい。物体検出部１０２は、運搬機械を検出してもよい。物体検出部１０２は、人物及び運搬機械の双方を検出してもよい。以下では、物体検出部１０２が人物を検出する場合について説明する。
The
次に、物体の搬入又は搬出を検出する場合における、本実施形態の物体管理システム１の動作について、図面を参照して詳細に説明する。 Next, the operation of the object management system 1 of the present embodiment when detecting the carry-in or carry-out of an object will be described in detail with reference to the drawings.
図１０は、物体の搬入又は搬出を検出する場合における、本実施形態の物体管理システム１の動作の例を表すフローチャートである。本実施形態では、物体検出部１０２は、人物を検出することによって、物体の搬入又は搬出を検出する。物体検出部１０２は、人物が検出された場合に、物体の搬入又は搬出が行われたと判定する。
FIG. 10 is a flowchart illustrating an example of the operation of the object management system 1 of the present embodiment when detecting the carry-in or carry-out of an object. In this embodiment, the
物体検出部１０２は、庫内を撮影できるよう設置されているカメラによって連続的に撮影された、庫内の画像を、カメラ入力部１０１あら受信する（ステップＳ１０１）。ステップＳ１０１の動作は、図２に示す第１の実施形態の画像取得装置１０のステップＳ１０１の動作、及び、図７に示す第２の実施形態の画像取得装置１０のステップＳ１０１の動作と同じである。
The
次に、物体検出部１０２は、カメラから入力された画像データにおいて、人物又は物体を運搬する機械である運搬機械を検出する（ステップＳ１１２）。物体検出部１０２は、ステップＳ１１２における検出の結果に応じて、動物体検出フラグを設定する。上述のように、人物が検出された場合、物体検出部１０２は、動物体検出フラグを「ＯＮ」に設定する。人物が検出されなかった場合、物体検出部１０２は、動物体検出フラグを「ＯＦＦ」に設定する。また、前フレームにおいて人物が検出された場合、物体検出部１０２は、動物体追跡フラグを「ＯＮ」に設定する。前フレームにおいて人物が検出されなかった場合、物体検出部１０２は、動物体検出フラグを「ＯＦＦ」に設定する。
Next, the
人物が検出された場合（ステップＳ１１３においてＹｅｓ）、動物体検出フラグは「ＯＮ」に設定されている。さらに、人物を追跡中でない場合、すなわち、前のフレームでは人物が検出されなかった場合（ステップＳ１１４においてＮｏ）、動物体検出フラグは「ＯＦＦ」に設定されている。その場合、物体検出部１０２は、例えば、前のフレームの画像の画像データを、物体検出直前の画像の画像データとして記憶する（ステップＳ１０２）。次に、物体検出部１０２は、人物の追跡を開始する（ステップＳ１１５）。ステップＳ１１５では、物体検出部１０２は、動物体追跡フラグを「ＯＮ」に設定すればよい。そして、画像取得装置１０は、再び、ステップＳ１０１以降の動作を行う。
When a person is detected (Yes in step S113), the moving object detection flag is set to “ON”. Furthermore, if the person is not being tracked, that is, if no person is detected in the previous frame (No in step S114), the moving object detection flag is set to “OFF”. In that case, for example, the
人物を追跡中である場合、すなわち、前のフレームにおいて人物が検出された場合（ステップＳ１１４においてＹｅｓ）、物体検出部１０２は、動物体追跡フラグを「ＯＮ」に設定したままにする（ステップＳ１１５）。そして、画像取得装置１０は、再び、ステップＳ１０１以降の動作を行う。
When a person is being tracked, that is, when a person is detected in the previous frame (Yes in step S114), the
人物が検出されず（ステップＳ１１３においてＮｏ）、人物を追跡中でない場合（ステップＳ１１６においてＮｏ）、動物体検出フラグは「ＯＦＦ」に設定され、動物体追跡フラグは「ＯＦＦ」に設定されている。その場合、画像取得装置１０は、再び、ステップＳ１０１以降の動作を行う。
If no person is detected (No in step S113) and no person is being tracked (No in step S116), the moving object detection flag is set to “OFF” and the moving object tracking flag is set to “OFF”. . In that case, the
人物が検出されず（ステップＳ１１３においてＮｏ）、人物を追跡中である場合（ステップＳ１１６においてＹｅｓ、動物体検出フラグは「ＯＦＦ」に設定され、動物体追跡フラグは「ＯＮ」に設定されている。その場合、ステップＳ１０１において受信した画像に、人物は写っていない。すなわち、庫内から人物はいなくなっている。物体検出部１０２は、ステップＳ１０１において受信した画像を、検出後画像として記憶する（ステップＳ１０９）。そして、物体検出部１０２は、人物の追跡を終了する（ステップＳ１１７）。ステップＳ１１７において、物体検出部１０２は、動物体追跡フラグを「ＯＦＦ」に設定すればよい。さらに、物体検出部１０２は、ステップＳ１０２において記憶した検出前画像、及び、ステップＳ１０９において記憶した、検出後画像の、２枚の画像の画像データを、物体管理装置２０に送信する（ステップＳ１１１）。例えば物体管理システム１のユーザーによる指示に応じて人物検出を終了する場合（ステップＳ１２４においてＹｅｓ）、画像取得装置１０は、図１０に示す動作を終了する。人物検出を終了しない場合（ステップＳ１２４においてＮｏ）画像取得装置１０は、再び、ステップＳ１０１以降の動作を行う。
If no person is detected (No in step S113) and the person is being tracked (Yes in step S116), the moving object detection flag is set to “OFF”, and the moving object tracking flag is set to “ON”. In this case, no person is shown in the image received in step S101, that is, no person is present from the interior, and the
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。 The present embodiment described above has the same effect as the first embodiment. The reason is the same as the reason for the effect of the first embodiment.
以上のように、カメラ側にある装置においてこれらの処理が行われない場合、物体管理装置２０に対して、カメラが撮影したすべての画像の画像データを送信する必要がある。特に、１台の物体管理装置２０に複数のカメラを接続されている場合、画像データの通信量が増大してしまう。しかし、本実施形態の画像取得装置１０は、人物を検出することによって物体の搬入又は搬出を検出する前の画像、及び物体の搬入又は搬出を検出した後の画像の画像データを送信する。そのため、本実施形態では、通信量を抑えることが可能になる。更に、本実施形態では、庫内で人物や物体を運搬する機械が静止している場合であっても、人物や物体を運搬する機械を検出することができる。すなわち、庫内で人物や物体を運搬する機械が静止している間も、動物体追跡処理は継続する。そのため、物体の搬入又は搬出が完了していない状態で、庫内で人物や物体を運搬する機械が静止した場合は、物体の搬入又は搬出を検出しない。本実施形態の物体検出部１０２は、人物や物体を運搬する機械が庫内にいなくなった場合に、物体の搬入又は搬出を検出する。よって、庫内における作業が完了した後に撮影した画像の画像データが、物体管理装置２０に送信される。従って、物体管理装置２０に送信される画像データの量は少なくて済む。
As described above, when these processes are not performed in the apparatus on the camera side, it is necessary to transmit the image data of all the images captured by the camera to the
＜第４の実施形態＞
次に、本発明の第４の実施形態について、図面を参照して障害に説明する。
<Fourth Embodiment>
Next, a fourth embodiment of the present invention will be described with reference to the drawings.
図１１は、本発明の第４の実施の形態における、物体管理システム１Ａの構成の例を表すブロック図である。図１１を参照すると物体管理システム１Ａは、画像取得装置１０Ａと、物体管理装置２０とを含む。物体管理装置２０は、本発明の他の実施形態の物体管理装置２０と同じである。画像取得装置１０Ａは、図１に示す、第３の実施形態の画像取得装置１０の各構成要素に加えて、距離測定部１０５を含む。
FIG. 11 is a block diagram showing an example of the configuration of the object management system 1A in the fourth embodiment of the present invention. Referring to FIG. 11, the object management system 1A includes an
距離測定部１０５は、例えば、カメラ入力部１０１のカメラに隣接する位置に取り付けられる。そして、距離測定部１０５は、例えば、庫内に存在する物体までの距離を測定する。距離測定部１０５は、例えば、カメラ入力部１０１のカメラと共にステレオカメラとして使用できる、そのカメラとは別のカメラであってもよい。距離測定部１０５は、例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）に基づく距離カメラであってもよい。距離測定部１０５は、レーザー光によって距離を測定する距離計測計であってもよい。
The
距離測定部１０５は、上述のカメラが画像を撮影するのと同時又はほぼ同時に、距離を測定する。距離測定部１０５がカメラである場合、測定結果は、濃淡画像又はカラー画像である。距離測定部１０５は、例えば、距離測定部１０５が撮影した画像と、カメラ入力部１０１が撮影した画像とを使用して、距離画像を生成する。距離画像は、撮影範囲における、画素の画素値が、その画素の方向における撮影対象までの距離を表す画像である。距離測定部１０５が距離画像を生成する方法として、既存の様々な方法が適用可能である。距離測定部１０５は、生成した距離画像を出力する。距離測定部１０５が距離カメラである場合、距離測定部１０５は、撮影によって得られる距離画像を、物体検出部１０２に出力する。距離測定部１０５が、レーザー光によって距離を測定する距離計測計である場合、距離測定部１０５は、例えば、カメラ入力部１０１のカメラが撮影する範囲又はその範囲に近い範囲において、距離を測定することによって得られた距離を使用して距離画像を生成する。
The
本実施形態の物体検出部１０２は、検出前画像に加えて、検出前画像と同時又はほぼ同時に測定された距離に基づく距離画像（以下、検出前距離画像と表記する）を記憶する。物体検出部１０２は、検出後画像に加えて、検出後画像と同時又はほぼ同時に測定された距離に基づく距離画像（以下、検出後距離画像と表記する）を記憶する。物体検出部１０２は、検出前画像及び検出後画像に加えて、検出前距離画像と検出後距離画像とを、物体管理装置２０に送信する。
In addition to the pre-detection image, the
照合部２０３は、検出前距離画像又は検出後距離画像によって得られる、搬入された物体のサイズ又は搬出された物体のサイズを使用して、搬入された物体と、物体記憶部２０４に物体情報が格納されている物体との照合を行う。
The
次に、本発明の物体管理システム１の動作について、図面を参照して詳細に説明する。 Next, the operation of the object management system 1 of the present invention will be described in detail with reference to the drawings.
本実施形態の画像取得装置１０Ａの動作は、以下の相違を除き、図２、図７、又は、図９に示す、第１、第２、及び第３のいずれかの実施形態の画像取得装置１０の動作と同じである。その相違の一つは、物体検出部１０２が、検出前画像に加えて検出前距離画像を記憶すること、及び、検出後画像に加えて検出後距離画像を記憶することである。その相違の一つは、物体検出部１０２が、検出前画像及び検出後画像に加えて、検出前距離画像及び検出後距離画像を、第１の通信部１０３を介して、物体管理装置２０に送信することである。
The operation of the
本実施形態の物体管理装置２０の動作は、以下の相違を除き、図５又は図９に示す、第１、第２、及び第３のいずれかの実施形態の物体管理装置２０の動作と同じである。その相違点の一つは、照合部２０３が、検出前距離画像又は検出後距離画像を使用して、搬入された物体と、物体記憶部２０４に物体情報が格納されている物体との照合を行うことである。
The operation of the
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は第１の実施形態の効果が生じる理由と同じである。 The present embodiment described above has the same effect as the first embodiment. The reason is the same as the reason for the effect of the first embodiment.
本実施形態には、さらに、物体管理装置２０が物体情報を登録する際の物体ＩＤの管理を容易にすることができるという効果がある。その理由は、距離計測部１０４が、カメラ入力部１０１のカメラの撮影範囲において、対象までの距離を計測する空である。例えば、物体とカメラとの距離が分かった場合、その物体のサイズも分かる。そのため、画像データだけでは見分けがつきにくい物体を、物体のサイズの違いを使用して同定することが可能となる。
The present embodiment further has an effect that the object ID can be easily managed when the
＜第５の実施形態＞
次に、本発明の第５の実施形態について、図面を参照して詳細に説明する。
<Fifth Embodiment>
Next, a fifth embodiment of the present invention will be described in detail with reference to the drawings.
図１２は、本発明の第５の実施の形態の物体管理システム１の構成の例を模式的に表す図である。本実施形態は、第１から第４の実施形態の物体管理システム１の応用例である。本実施形態では、物体は荷物である。 FIG. 12 is a diagram schematically illustrating an example of the configuration of the object management system 1 according to the fifth embodiment of this invention. This embodiment is an application example of the object management system 1 of the first to fourth embodiments. In the present embodiment, the object is a luggage.
図１２を参照すると、本実施形態の物体管理システム１は、物体管理装置２０と、荷物を保管するトラックの荷台や倉庫等に設置された複数の画像取得装置１０とを含む。複数の画像取得装置１０の各々と、物体管理装置２０は、例えば無線通信ネットワークを介して、通信可能に接続されている。図１２に示す例では、以下の説明において、トラックの荷台には、本実施形態の画像取得装置１０が取り付けられている。また、「少なくとも２枚以上の画像データ」は、物体の搬入又は搬出が検出される前に撮影された１枚以上の検出前画像と、物体の搬入又は搬出が検出された後に撮影された１枚以上の検出後画像との画像データを指す。
Referring to FIG. 12, the object management system 1 of the present embodiment includes an
例えば、集荷や積み替えなどによって、トラックの荷台に荷物が搬入された場合、画像取得装置１０は少なくとも２枚以上の画像データを物体管理装置２０に送信する。その場合、物体管理装置２０は、荷物が搬入されたことを検出する。そして、物体管理装置２０は、搬入された荷物に、物体ＩＤ（例えば０００１）を付与する。物体管理装置２０は、物体ＩＤを付与した荷物を登録し、その荷物を管理する。すなわち、物体管理装置２０は、物体ＩＤを付与した荷物の物体情報を記憶する。
For example, when a package is loaded into a truck bed due to collection or transshipment, the
例えば、荷物が搬入されたトラックが、営業所までその荷物を運搬した後、営業所においてその荷物がトラックから降ろされた場合、画像取得装置１０は、少なくとも２枚以上の画像データを物体管理装置２０に送信する。その場合、物体管理装置２０は、搬出されたことを検出する。そして、物体管理装置２０は、搬出された荷物と、管理している物体情報と照合する。物体管理装置２０は、搬出された荷物の物体ＩＤが０００１であることを特定した場合、物体ＩＤが０００１である荷物が搬出されたことを登録する。例えば、物体管理装置２０は、物体ＩＤが０００１である荷物の搬出場所として、その営業所を記憶する。また、物体管理装置２０は、物体ＩＤが０００１である荷物の搬出時刻として、例えば、荷物の搬出が検出された画像が撮影された時刻を記憶する（すなわち、物体記憶部２０４に格納する）。
For example, after a truck into which a parcel is loaded transports the parcel to a sales office and then the parcel is unloaded from the truck at the sales office, the
営業所においてトラックから搬出された荷物が、例えば更に大規模な倉庫にその荷物を運ぶために、再び、他のトラックに積み込みこまれたとする。その場合、荷物が積み込まれたトラックの荷台に取り付けられている画像取得装置１０は、その荷台に荷物が搬入されるのに応じて、少なくとも２枚以上の画像データを物体管理装置２０に送信する。物体管理装置２０は、そのトラックの荷台に荷物が搬入されたことを検出する。物体管理装置２０は、搬入されたことが検出された荷物と、物体情報を記憶している荷物との照合を行う。照合の結果、搬入が検出された荷物の物体ＩＤが０００１である場合、物体管理装置２０は、物体ＩＤが０００１である荷物が、再びトラックに搬入されたことを登録する。物体管理装置２０は、例えば、物体ＩＤが０００１である荷物の搬入場所と搬入時間を、記憶している物体情報に追加する（すなわち、物体記憶部２０４に格納する）。
It is assumed that the package unloaded from the truck at the sales office is loaded on another truck again, for example, to transport the package to a larger warehouse. In that case, the
図１３は、物体記憶部２０４に格納されている物体情報の例を模式的に表す図である。図１３に示すように、物体管理装置２０は、一つの物体の搬入及び搬出が繰り返された場合、一つの物体ＩＤに対して、例えば搬入の回数と同じ数の、画像データ、搬入時刻、搬入場所、搬出時刻、搬出場所等の組み合わせを、物体記憶部２０４に格納すればよい。
FIG. 13 is a diagram schematically illustrating an example of object information stored in the
画像取得装置１０は、例えば、倉庫内のベルトコンベアを撮影できるように取り付けられていてもよい。その場合、画像取得装置１０は、ベルトコンベア上を荷物が移動している場合、少なくとも２枚の画像データを、物体管理装置２０に送信すればよい。物体管理装置２０は、ベルトコンベア上を通過した荷物の照合を行ってもよい。その場合、物体管理装置２０は、ベルトコンベア上を通過した荷物の通過情報を登録することもできる。
For example, the
更に、荷物を配送する過程において、異なるトラックへの積み替えや、配達のための荷物の搬出が行われた場合にも、同様の処理を行うことによって、物体管理装置２０は、荷物の受け取りから配達の完了までのトレースが可能となる。すなわち、本実施形態によると、１台の物体管理装置２０によって、荷物の受け取りから配達の完了までのトレースが可能である。
Further, in the process of delivering the package, the
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。 The present embodiment described above has the same effect as the first embodiment. The reason is the same as the reason for the effect of the first embodiment.
以下では、本実施形態の効果についてさらに詳しく説明する。 Below, the effect of this embodiment is demonstrated in detail.
例えば、画像取得装置１０の画像を、動画像として物体管理装置２０に送信し続けることができれば、複数の画像取得装置１０に対して１台の物体管理装置２０によって荷物を管理することが可能である。しかし、その場合、大量の動画像データを送信できるだけの通信帯域と、大量の動画像データを処理できるだけの、物体管理装置２０の処理能力が必要である。
For example, if an image of the
本実施形態によると、画像取得装置１０が、上述の少なくとも２枚の画像データを送信するので、物体管理装置２０に送信される画像データの量を抑制することができる。さらに、物体管理装置２０が行う画像処理の負荷を軽減させることが可能である。複数の画像取得装置１０から送信される画像の処理を、１台の物体管理装置２０によって行うことが容易になる。また、本実施形態によると、物体管理装置２０は、１つの荷物に対して１つの物体ＩＤを付与し、荷物の保管場所が変わっても、荷物に付与される物体ＩＤを変更しない。そのため、荷物の保管場所が変わるたびに画像取得装置１０から送信される画像データを使用して、その荷物の物体情報を更新することによって、荷物の追跡を行うのに必要な負担を軽減することができる。本実施形態の物体管理装置２０によらずに、荷物の追跡を行う場合、例えば、荷物を運搬する作業員が、搬入時間、搬入場所、搬出時間、及び搬出場所などを、手作業で入力する必要がある。
According to the present embodiment, since the
＜第６の実施形態＞
次に、本発明の第６の実施形態について、図面を参照して詳細に説明する。本実施形態は、以上で説明した各実施形態に共通する概念を表す実施形態である。
<Sixth Embodiment>
Next, a sixth embodiment of the present invention will be described in detail with reference to the drawings. The present embodiment is an embodiment representing a concept common to the embodiments described above.
図１４は、本実施形態の物体管理システム１Ｂの構成の例を表すブロック図である。 FIG. 14 is a block diagram illustrating an example of a configuration of the object management system 1B of the present embodiment.
図１４を参照すると、本実施形態の物体管理システム１Ｂは、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出部１０２と、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を送信する第１の通信部１０３と、を備える。本発明の各実施形態の説明では、単に、通信部１０３と表記される部は、第１の通信部１０３を指す。
Referring to FIG. 14, the object management system 1 </ b> B according to the present embodiment detects an
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。 The present embodiment described above has the same effect as the first embodiment. The reason is the same as the reason for the effect of the first embodiment.
＜他の実施形態＞
画像取得装置１０、画像取得装置１０Ａ、画像取得装置１０Ｂ、及び物体管理装置２０は、それぞれ、コンピュータ及びコンピュータを制御するプログラム、専用のハードウェア、又は、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。
<Other embodiments>
The
図１５は、画像取得装置１０、画像取得装置１０Ａ、画像取得装置１０Ｂ、及び物体管理装置２０を実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。図１５を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記録媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記録媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、可搬記録媒体である。記憶装置１００３が記録媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、他の装置にアクセスすることができる。プロセッサ１００１は、記録媒体１００５にアクセスすることができる。記録媒体１００５には、コンピュータ１０００を、画像取得装置１０、画像取得装置１０Ａ、画像取得装置１０Ｂ、又は物体管理装置２０として動作させるプログラムが格納されている。
FIG. 15 is a diagram illustrating an example of a hardware configuration of a
プロセッサ１００１は、記録媒体１００５に格納されている、コンピュータ１０００を、画像取得装置１０、画像取得装置１０Ａ、画像取得装置１０Ｂ、又は物体管理装置２０として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、画像取得装置１０、画像取得装置１０Ａ、画像取得装置１０Ｂ、又は物体管理装置２０として動作する。
The
カメラ入力部１０１、物体検出部１０２、第１の通信部１０３、距離測定部１０５、第２の通信部２０１、登録部２０２、及び照合部２０３は、例えば、プログラムを記憶する記録媒体１００５からメモリ１００２に読み込まれた、各部の機能を実現することができる専用のプログラムと、そのプログラムを実行するプロセッサ１００１により実現することができる。また、物体記憶部２０４は、コンピュータ１０００が含むメモリ１００２やハードディスク装置等の記憶装置１００３により実現することができる。あるいは、カメラ入力部１０１、物体検出部１０２、第１の通信部１０３、距離測定部１０５、第２の通信部２０１、登録部２０２、照合部２０３、及び物体記憶部２０４の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。
The
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 The present invention has been described above with reference to the embodiments, but the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
１ 物体管理システム
１Ａ 物体管理システム
１Ｂ 物体管理システム
１０ 画像取得装置
１０Ａ 画像取得装置
１０Ｂ 画像取得装置
２０ 物体管理装置
１０１ カメラ入力部
１０２ 物体検出部
１０３ 第１の通信部
１０５ 距離測定部
２０１ 第２の通信部
２０２ 登録部
２０３ 照合部
２０４ 物体記憶部
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記録媒体
１０２１ 短期画像差分部
１０２２ 中期画像差分部
１０２３ 長期画像差分部
１０２４ 検出前画像記憶部
１０２５ 統合部
１０２６ 検出後画像記憶部
１０２７ 検出部
DESCRIPTION OF SYMBOLS 1 Object management system 1A Object management system 1B
Claims (10)
前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を送信する通信手段と、
を備える物体管理システム。 In an image in which the interior is photographed, an object detection means for detecting the loading or unloading of the object in the warehouse,
A communication means for transmitting two images whose time taken is before and after the time when the image is taken when the carry-in or the carry-out is detected;
An object management system comprising:
を備える請求項１に記載の物体管理システム。 Collating means for determining increase / decrease of an object in the warehouse based on the two images in response to receiving the two images;
An object management system according to claim 1.
請求項１又は２に記載の物体管理システム。 The object detection means detects a moving object using the plurality of images continuously photographed, detects the moving object, and then stops detecting the moving object. , Detecting that the carry-in or carry-out has been performed,
The object management system according to claim 1 or 2.
請求項３に記載の物体管理システム。 The object management system according to claim 3, wherein the object detection unit detects at least one of a person carrying an object and a carrying machine as the moving object.
請求項３に記載の物体管理システム。 The object detection means detects the moving object based on a difference between the image taken inside the warehouse and an image taken at a different time from the image or an image generated using the image. The object management system according to claim 3 to detect.
前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、物体管理装置に送信する通信手段と、を備え、
前記物体管理装置は、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する
画像取得装置。 In an image in which the interior is photographed, an object detection means for detecting the loading or unloading of the object in the warehouse,
A communication unit that transmits two images whose photographing time is before and after the time when the image is photographed to the object management device when the carry-in or the unloading is detected;
The object management device is an image acquisition device that determines increase / decrease of an object in the warehouse based on the two images in response to receiving the two images.
前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する物体管理装置に送信する、
物体管理方法。 In the image in which the interior is photographed, the carry-in or carry-out of the object in the warehouse is detected,
When the carry-in or the carry-out is detected, two images whose photographing time is before and after the time when the image was photographed are received in response to receiving the two images. Send to the object management device to determine the increase or decrease of the object in the warehouse based on the two images,
Object management method.
請求項７に記載の物体管理方法。 When a moving object is detected in the plurality of images taken continuously, the moving object is detected, and then, when the moving object is not detected, the loading or unloading is performed. The object management method according to claim 7.
庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、
前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、物体管理装置に送信する通信手段と、して動作させ、
前記物体管理装置は、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する
画像取得プログラム。 Computer
In an image in which the interior is photographed, an object detection means for detecting the loading or unloading of the object in the warehouse,
When the carry-in or the carry-out is detected, the image capturing time is operated as a communication unit that transmits two images whose time is before and after the image capturing time to the object management device. ,
The object management device is an image acquisition program for determining increase / decrease of an object in the warehouse based on the two images in response to receiving the two images.
続けて撮影された複数の前記画像において、動きのある物体を検出し、当該動きのある物体が検出され、その後、当該動きのある物体が検出されなくなった場合、前記搬入又は搬出が行われたことを検出する前記物体検出手段
として動作させる画像取得プログラム。 Computer
When a moving object is detected in the plurality of images taken continuously, the moving object is detected, and then, when the moving object is not detected, the loading or unloading is performed. An image acquisition program that operates as the object detection means for detecting the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014195181A JP2016066277A (en) | 2014-09-25 | 2014-09-25 | Object management system, object management device, object management method, and object management program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014195181A JP2016066277A (en) | 2014-09-25 | 2014-09-25 | Object management system, object management device, object management method, and object management program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016066277A true JP2016066277A (en) | 2016-04-28 |
Family
ID=55804206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014195181A Pending JP2016066277A (en) | 2014-09-25 | 2014-09-25 | Object management system, object management device, object management method, and object management program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016066277A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020108038A (en) * | 2018-12-27 | 2020-07-09 | キヤノン株式会社 | Control device, control method of the same, industrial automation system, program, and storage medium |
| JP2021026376A (en) * | 2019-08-01 | 2021-02-22 | 日野自動車株式会社 | Position specification system of baggage |
| JP2021532477A (en) * | 2017-07-28 | 2021-11-25 | ニューロ・インコーポレーテッドNuro Incorporated | Autonomous robot vehicle with secure compartment |
-
2014
- 2014-09-25 JP JP2014195181A patent/JP2016066277A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021532477A (en) * | 2017-07-28 | 2021-11-25 | ニューロ・インコーポレーテッドNuro Incorporated | Autonomous robot vehicle with secure compartment |
| JP7365395B2 (en) | 2017-07-28 | 2023-10-19 | ニューロ・インコーポレーテッド | Autonomous robotic vehicle with secure compartment |
| JP2020108038A (en) * | 2018-12-27 | 2020-07-09 | キヤノン株式会社 | Control device, control method of the same, industrial automation system, program, and storage medium |
| JP2021026376A (en) * | 2019-08-01 | 2021-02-22 | 日野自動車株式会社 | Position specification system of baggage |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11176512B2 (en) | Concepts for locating assets utilizing light detection and ranging | |
| US10512941B2 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
| CN108064394B (en) | Method and device for detecting security check article and electronic equipment | |
| US10860855B2 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
| US11284219B2 (en) | Lost device detection using geospatial location data | |
| EP3434621B1 (en) | Instruction projecting device, parcel sorting system and instruction projecting method | |
| EP3434623B1 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
| JP2016066277A (en) | Object management system, object management device, object management method, and object management program | |
| US9930482B2 (en) | Device with position determination means, server apparatus for communicating with that device, method for receiving service in accordance with position, and program | |
| JP2017186106A (en) | Delivery support device, delivery support system and delivery support program | |
| KR101595334B1 (en) | Method and apparatus for movement trajectory tracking of moving object on animal farm | |
| US10589319B2 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
| JP7136489B2 (en) | Article position estimation system and article position estimation method | |
| CN112686576A (en) | Distribution capacity identification method and device, storage medium and electronic equipment | |
| CN114118327B (en) | Method, device, equipment and medium for determining moving direction of article | |
| US10635869B2 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
| JP6670351B2 (en) | Map updating device and map updating method | |
| CN116228052A (en) | Cargo state monitoring method, device, terminal equipment and storage medium | |
| CN115082843A (en) | Consignment processing method and device, computer equipment and storage medium | |
| JP2016047743A (en) | Information processing device, method and program |