JP4205036B2 - 物品管理システム、方法及びプログラム - Google Patents
物品管理システム、方法及びプログラム Download PDFInfo
- Publication number
- JP4205036B2 JP4205036B2 JP2004291515A JP2004291515A JP4205036B2 JP 4205036 B2 JP4205036 B2 JP 4205036B2 JP 2004291515 A JP2004291515 A JP 2004291515A JP 2004291515 A JP2004291515 A JP 2004291515A JP 4205036 B2 JP4205036 B2 JP 4205036B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- signal
- difference
- detected
- identification signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Warehouses Or Storage Devices (AREA)
Description
また、同時に、誰がその物品を搬入及び搬出したかを管理することも、物品の盗難や紛失を防止するために重要である。
一般に、測位精度が高いGPS(全地球測位システム)等を利用して位置を管理する方法においては、衛星からの電波が建物の配置などで陰になる範囲や屋内に到達しにくいため、その適用は困難である。
移動体の位置検出方法として、屋内の場合、天井に設置したカメラにより、移動体に取り付けたマーカを撮影することにより、屋内における移動体の位置検出を可能にしている(例えば、特許文献1参照)。
しかし、特許文献1の位置検出方法においては、移動体の位置検出にスリットと発光体を利用するマーカを利用しており、マーカ自体が高価、または大きくなる。
このため、特許文献1の位置検出装置は、それぞれの物品各々に対して、このマーカを利用すると高価なシステムになり、また、適用できる荷物の大きさに制限が生じる可能性がある。
さらに、特許文献1の位置検出方法においては、倉庫に積み上げられた物品の高さ方向における位置までを、正確に検出することは難しい。
このため、特許文献2の保管設備は、作業員の作業量が大きくなり、作業効率が低下するといった問題や、システム構築費用が高くなるといった問題がある。
上述した特許文献1及び2の方法は、いずれも、屋内における移動体の位置、または、荷物の位置が把握可能であるが、その入出庫履歴を管理や、搬入出者を管理することは困難である。
前記カメラ部が定期的に撮影し、画像処理部が、定期的に撮影された画像間の差分と、物品の形状認識を用いて、任意の物品の入出庫時刻および位置を検出し、信号履歴管理部が取得した識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻を検出し、前記検出結果より、特定の物品の位置と入出庫時刻を検出することを特徴とする。
さらに、本発明の物品管理システムによれば、高さ位置を示す情報を有するマーカを利用することにより、低コストで所定の範囲内(例えば屋内)における物品の3次元位置および人などの移動体の位置検出が可能となる。
さらに、また、本発明の物品管理システムによれば、物品に装備(搭載)した発光体の発光時刻を無線にて通知する(発光体を任意に発光させる)ことにより、画像処理での位置の検出をより簡易にすることが可能となる。
加えて、本発明の物品管理システムによれば、マーカの色と形状とにより識別可能な情報が画像として印刷されたものでよいため、低コストでこれらマーカを作成することができ、システム全体のコストを低下させることが可能となる。
以下、この本発明の物品管理システムの実施形態について、所定の範囲として屋内を例に説明する。
以下、本発明の第1の実施形態による物品管理システムを図面を参照して説明する。図1は第1の実施形態の構成例を示すブロック図である。
この図において、第1の実施形態による物品管理システムの場合、屋内を運ばれる物品1に装備され、無線にて識別信号を送信可能な信号発信機2、屋内の画像を撮影するためのカメラ部3、撮影画像から物品の位置を検出する画像処理部4、信号発信機2からの識別信号を受信する信号受信部5、受信した識別信号の履歴を管理する信号履歴管理部6から構成される。
このため、信号発信機2は通信速度が高速である必要はなく、また、屋内に設置された信号受信部5により識別信号が受信可能であれば良いため、比較的通信到達距離の短い無線方式を適用可能である。
このため、信号発信機2として、小型で、消費電力も小さい、アクティブ型の無線タグを利用することが可能であり、発信機を安価に構成可能である。
画像処理部4は、定期的に入力される各撮影データ間のデータの変動を監視(例えば、画面における画素の差分の変化を検出)し、変動を検出した場合、その差分画像の形状を検出し、予め記憶されているサンプル形状と比較して、物品1か否かの検出を行い(物品1か否かの判断をし)、該当する物品1であることを検出した場合、その位置を撮影範囲S内の撮影画像から算出する。また、画像処理部4は、上記撮影データを信号履歴管理部6へ出力する。
信号履歴管理部6は、該当識別信号が受信された時刻とその識別番号とを対応付けて管理する。この場合、信号受信部5の受信エリアの中に物品1が入れば該当物品1の識別信号が受信されるため、識別信号の受信時刻を管理することにより、該当物品1が受信エリアの中に何時入り、何時に出たかを、信号履歴管理部6に管理されている履歴から判別可能である。また、信号履歴管理部6は、入力される撮影データ(撮影画像)を、例えば撮影時刻とともに記憶する。
図1においては、カメラ部3、画像処理部4、信号受信部5、信号履歴管理部6を独立部として配置し、それぞれをバスシステムで接続する構成を示したが、これらを、デジタルカメラ、無線受信機、パーソナルコンピュータから構成する方法も考えられる。
図2(a)には、ある日の10時10分21秒の画像と、この10時10分21秒までの識別信号の受信履歴とが示されている。
また、図2(b)には、図2(a)と同日の10時10分31秒の画像、すなわち図2(a)の時刻の10秒後の画像、および、10時10分31秒までの識別信号の受信履歴を示したものである。
そして、上記10時10分21秒から10秒間の間に、識別番号DDの物品1dがカメラ部3の撮影範囲S内に置かれたとする。
10秒後の10時10分31秒の画像においては、識別番号DDの物品1dも、物品1bの上部に存在する。
また、新たに置かれた物品の識別番号は、同時刻に受信された識別信号の履歴を参照し、新たに出現した識別番号を見つけることにより特定可能である。
図2の例においては、10時21分21秒以降、10時21分31秒までの間に新たに識別番号DDが出現している。このため、例えば、画像処理部4は、信号履歴管理部6に記憶される履歴から、新たに置かれた物品が識別番号DDの物品1dであると検出することができる。
また、この方法の欠点は、背景輝度によって、変化の検出における検出精度に影響を及ぼすことである。
例えば、屋内の電灯が点灯している場合と点灯していない場合との画像の差から、屋内の変化を抽出することは困難である。
しかし、上述したような場合においても、カメラ部3に撮影と同調(同期する)するフラッシュライトの機能を追加することにより、撮影画像の背景輝度を一様に近くでき、屋内の変化を抽出することを可能にできる。
ここで、カメラ部3で定期的に(所定の周期において、連続的に)屋内を撮影していることを前提とする。
処理が開始され、カメラ部3により新しい画像が撮影されたことが検出されると(ステップS1)、画像処理部4は時刻が一つ前の画像と差分があるかの検出を判断行う(ステップS2)。
差分の有無の判断は、例えば、画像間において、対応する位置の画素毎に引き算を行い、その差分の画素値の絶対値を結果として出力し、この結果がある閾値(予め設定された閾値)よりも大きい(または、小さい)領域を変化の起こった領域と特定するとともに、差分有りと検出し、処理をステップS3へ進める(ステップS2)。
この差分検出中フラグは、差分をすでに検出中の場合、“1”に設定され、差分を検出していない場合、“0”に設定されている。
ここで、物品1の静止位置を検出することを目的とする場合、差分検出中フラグを利用することにより、物品1の移動中による画像の差分検出をフィルタリングし、画像処理にかかる付加を低減させることができる。
次に、画像処理部4は、ステップS3において、差分検出中フラグが“0”であることを検出すると、差分検出中フラグを“1”とし、1つ前の画像(変化がなかった画像の一番時刻の新しい画像)、を参照画像として記憶するとともに、差分静止カウントを“0”にクリアし、再度新たな画像の撮影待ちの状態、すなわちステップS1に戻る(ステップS4)。
ここで、差分静止カウントは、物品が静止したかどうかの判別に使うパラメータであり、後述するステップS7において設定される。
すなわち、画像処理部4は、カメラ部3から新しい撮影画像が入力され、1つ前の画像と差分がないと検出された場合(ステップS2)、処理をステップS3へ進め、差分検出中フラグが“1”か否かの検出を行う(ステップS5)。
一方、画像処理部4は、差分検出中フラグが“1”であることを検出した場合、差分静止カウントが規定回数N以下であるか否かの確認を行う(ステップS6)。
このとき、画像処理部4は、差分静止カウントが予め設定された規定回数以下であることを検出した場合、差分静止カウントを1インクリメントして(ステップS7)、再度新たな画像の撮影待ちの状態ステップS1へ処理を戻す。
そして、上記差分静止カウントの閾値である規定回数をある値に設定することにより、“(撮影の間隔)×(規定回数)”分の間、画像に変化がなかったことを検出することができる。
つまり、カメラ部3の撮影範囲S内に運ばれてきた物品1が、静止したことを検出、すなわち、いずれかの場所に置かれて、静止したことを意味する可能性がある。
そして、画像処理部4は、抽出した差分の画像の形状が、判別したい物品かどうかを形状認識、または、予め設定したおいたサンプル画像と比較するパターンマッチングにより判別する(ステップS9)。
例えば、カメラ部3の撮影位置が固定であり、あらかじめ撮影画像(撮影範囲S内の画像におけるローカルな座標系)と実空間の座標系との変換が既知であれば(ローカルな座標系と実空間の座標系との変換関係が変換式等で定義されていれば)、画像差分より抽出された形状の撮影画像上の座標を検出することにより、屋内における実空間の座標系における位置を算出することが可能である。
すなわち、図4では、2つのカメラ部を利用して、屋内における物品の3次元的な位置の検出を行っている。
図4の物品管理システムにおいては、カメラ部3Aによりx-z座標(2次元)空間上の位置を検出し、一方、カメラ部3Bによりy-z座標(2次元)空間上の位置を検出する。
このように、たとえカメラ部で撮影される空間の死角となる場所に物品を置く場合においても、カメラ部を増設することで、位置検出可能空間を拡大することが可能である。
このとき、画像処理部4は、カメラ部3Aから入力されるx−z座標平面の画像と、y-z座標平面の座標とを各々の撮影範囲から実空間の座標系に、図3のフローチャートで示した処理を用いて変換し、これらの実空間を合成して3次元的な物品の配置を求める。
これらを利用可能な本発明では、屋内を撮影した画像と無線で発信する識別信号の受信履歴により、屋内に搬入出された物品の位置および搬入出時刻を安価なシステムで特定することが可能である。
次に、図5を参照して本発明の第2の実施形態について説明する。図5は本発明の第2の実施形態による物品管理システムの構成例を示すブロック図である。この図5に示す第2の実施形態は、図1の第1の実施形態と同様な構成をしており、第1の実施形態とことなる点として、物品1それぞれに各々の物品を識別するマーカ10が付与されている。このマーカ10は、カメラ部3の撮影画像において、物品1の撮影可能(認識可能)な面に付与される。
しかしながら、第2の実施形態は、この物品1の位置の検出を行う際に、形状及び色が異なるマーカ10も検出する。
画像処理部4は、上記マーカ10を検出することにより、複数の物品1が画像の撮影間隔内に搬入されたとしても、マーカ10が異なる物品1であれば、各物品1の位置を各々個別に特定できる。
図6(a)には、ある日の10時10分00秒の画像が示され、図6(b)には、図6(a)と同日の10時11分00秒の画像、すなわち図6(a)の時刻の1分後の画像を示したものである。
この図6(a)及び図6(b)の2つの画像の撮影された1分間の間に、物品AA及び物品BBに加えて、物品CC、物品DDが搬入されている。
このため、第2の実施形態において、画像処理部4は新たに置かれた物品1c及び物品1dに添付されているマーカ10の検出を行う。
例えば、図6(b)の場合、物品1cには円形で赤色のマーカ10が付与されており、物品1dには三角形で青色のマーカが付与されている。
すなわち、第2の実施形態において、上記マーカ10を検出することで、物品1c及び物品1d各々の位置の特定を行うことが可能である。
このように、第2の実施形態は、形状または色により識別可能なマーカ10を物品1各々に付与することにより、複数の物品1が画像を撮影する周期の間に搬入されたとしても、それぞれ物品1の位置を検出することが可能である。
次に、図7を参照して本発明の第3の実施形態について説明する。図7は本発明の第3の実施形態による物品管理システムの構成例を示すブロック図である。この図7に示す第3の実施形態は、図1の第1の実施形態と同様な構成及び動作をしており、第1の実施形態と異なる点として、物品1それぞれに設けられている信号発信機2に発光部11が付与されている。この発光部11は、カメラ部3の撮影画像において、物品1の撮影可能(認識可能)な面に付与される。
発光部11は、発光体を具備しており、信号発信機2が識別信号を、信号受信部5に対して発信する時に同期して、所定の一定時間の間発光する。具体的には、上記発光体としてLEDを用い、信号発信機2が識別信号を発信するタイミングに点灯させるといった事により実現が可能である。
そして、画像処理部4は、LEDの点灯により物品の位置を検出すると、撮影画像時刻から前後10秒間の識別信号の受信履歴を確認し、前10秒間に識別信号が入力されていなければ新たに搬入されたものとして物品の搬入時刻を検出し、前10秒間に識別信号が入力されていればすでに搬入されてあったものと認識され、10秒後に識別信号が入力されていなければ、搬出されたとして搬出時刻を検出する。
また、画像処理部4は、物品の搬出及び搬入の履歴を信号履歴管理部6に記憶するので、必要に応じて信号履歴管理部6の記憶部を参照することにより、識別信号の受信履歴を確認することにより、倉庫からの物品の搬入及び搬出の時刻を検出することが可能である。
次に、図8を参照して本発明の第4の実施形態について説明する。図8は本発明の第4の実施形態による物品管理システムの構成例を示すブロック図である。
この図8に示す第4の実施形態は、図1の第1の実施形態及び図7の第3の実施形態と同様な構成をしており、第1及び第3の実施形態と異なる点として、物品1の信号発信機2が命令信号を無線で受信可能な信号送受信機14となり、この信号送受信機14に発光部11が実装されているところが異なる。
さらに、所定の上記信号送受信機14に対して、発光命令の発信を管理する発光命令部12が新たに追加されている。
図8においては、信号履歴管理部6、発光命令部12、画像処理部4が独立して形成されているが、それぞれの機能をソフトウェアで実現し1つのコンピュータで処理するコントローラとして形成することも可能である。
また、発光部11は、第3の実施形態の場合と同様に、カメラ部3の撮影画像で認識可能な物品1の面に実装され、発光体(例えば、LED)を具備しており、信号送受信機14が自機の識別信号宛に発光命令を受信した時に、この信号送受信機14からの制御信号により一定時間発光する。
信号履歴管理部6が信号送受信部13を介して、新たな識別信号を受信すると(ステップS21)、信号履歴管理部6は、新たな識別信号の信号送受信機14を持つ物品1が監視エリア内に搬入されたことを検出するとともに、発光命令部12に対してこの検出結果を出力する。
そして、発光部11は、信号送受信機14を介して、上記発光命令を受信することにより、所定の時間の間、発光体を発光させる。
次に、カメラ部3は、上記発光命令の送信のタイミングにより、発光部11の発光体が発光するため、この発光部11の点灯期間内に撮影範囲S内における画像の撮影を行う(ステップS23)。
すなわち、発光命令部12は新たな識別番号の信号送受信機14宛に何度か発光命令を送信し、カメラ部3は発光命令が送信される毎に撮影を行い、画像処理部4は上述した静止判定解析の処理を行う。
そして、画像処理部4においては、物品が静止したことを確認(ステップS24)した後、対象画像から発光部11の位置検出を行い、第1の実施形態と同様に物品1の位置を特定する(ステップS25)。
判別したい物品(判別対象の物品)の発光であることを検出すると、撮影範囲Sの画像における発光体の位置を利用して、撮影画像の座標系を実空間(例えば、カメラ部3の撮影範囲S内における位置座標)の座標系に変換することにより、実空間における物品の位置を検出することができる。)
このため、物品1が搬入されてから物品位置を検出するまでの時間を短くしたい場合、撮影の間隔を発光部1の発光時間より短くする必要がある。
一方、第4の実施形態の方法においては、検出したい物品1の識別番号が既知であれば、その識別番号に対して、発光命令を送信し、その後、カメラ部3で画像を撮影することにより、所望の物品1に実装された発光部11が発光した画像が取得でき、物品検出タイミングを、撮影間隔に依存しなくても迅速な位置検出を実現することが可能である。
次に、図10を参照して本発明の第5の実施形態について説明する。図10は本発明の第1〜第4の実施形態による物品管理システムに用いるマーカを説明する概念図である。
この図10に示すマーカは、各々の物品に装備されるものであり、第1〜第4の実施形態のいずれかに用いられ、積み上げられた物品1の高さ方向の位置を検出するために用いられる。
通常、単一カメラの画像から、x-y空間上の座標位置の特定は可能であるが、z軸上(高さ方向)の位置を推測することは困難である。
このため、本発明においては、このz軸(高さ)方向の座標を検出するため、マーカ20を用いる。
上記マーカ20は、色や形状によりz軸上の位置(例えば、積み上げられた段数の位置)を示す。
次に、画像処理部4は、その検出対象の物品1の画像範囲(撮影範囲S)の中から、特定の色や形状のマーカ20を検出する。
この図10の場合、四角形または赤色のマーカ20は、重ねられた段数における1段目を示している。
一方、三角形または青色のマーカ20は、重ねられた段数における2段目を示している。 さらに、円または緑色のマーカ20は、重ねられた段数における3段目を示している。
このマーカ20は、物品1が積み重ねられたときに、該当する段数(高さ方向を示す段番号)のマーカ20を搬入者が、天井面50に設置されたカメラ部3により撮影可能な位置に設置すればよい。
この図11の場合において、四角形または赤色のマーカ20は、棚60の1段目を示す。
また、三角形または青色のマーカ20は、棚60の2段目を示す。さらに、円または、緑色のマーカ20は、棚60の3段目を示している。
この結果、画像処理部4は、容易に、物品1の置かれた棚60の段数を検出することが可能である。
上述したように、物品1が棚60などに置かれる場合、棚60の高さに応じてマーカ20を、棚60のカメラ部3にて撮影が可能な位置に付加つけることでも、棚60における物品1の高さを検出することが可能である。
本発明の第5の実施形態について説明する。
搬入出者が、第1〜第4の実施形態による物品管理システムにおいて、信号受信部5、または、信号送受信部13で受信可能な識別信号を発信できる信号発信機を有する場合、物品1に装備する信号発信機2または信号送受信機14が発する識別信号の受信履歴と、搬入出者が持つ信号発信機が発する識別信号の受信履歴を比較することにより、それぞれの物品1の搬入出者を特定することが可能である。
そして、同一の時刻近辺で受信された識別番号に搬入出者が持つ信号発信機の識別番号が存在すれば、その識別番号の信号発信機を持つものが対象となる物品1を搬入した者と特定できる。
また、物品1が搬出される場合、搬出された物品1の最後の受信履歴がある時刻近辺で受信された識別番号に対し、搬入出者が持つ信号発信機の識別番号が存在すれば、その識別番号の信号発信機を持つものが対象物品を搬出した者と特定できる。
搬入出者が保持する信号発信機は、必須の機能が識別信号の発信のみであるのでアクティブ無線タグ(例えば、微弱無線や特定小電力無線規格のもの)のような小さく安価な装置で実現できる。
本発明の第6の実施形態について説明する。
第6の実施形態においては、第1〜第4の実施形態による物品管理システムにおいて、物品1の搬入出者が、識別番号を示すマーカ70を、カメラ部3にて撮影可能な位置に装備する。
例えば、カメラ部3の位置が天井面50から床面を撮影する方向に設置されている場合、作業中に被るヘルメットの上面に、または、カメラの位置が屋内の棚60の中など、水平方向を撮影する方向に設置されている場合、作業着の背面、または、胸元に装備する。
画像処理部4は、撮影した画像から第2の実施形態で示した方法により、マーカ70を検出し、得られた画像上の形状を解析し、形状から識別番号を抽出する。
あらかじめ、搬入出者が装備するマーカ70の形状と、この形状の示す識別番号とが対応付けられて既知であれば、物品1の搬入出時刻付近で検出された識別番号をもつ搬入出者が該当物品の搬入出者であることが検出可能である。
この図12で示されるマーカ70は、4つの円と4色とを利用して、24通りの識別番号を構成する例を示している。
大きさ(直径)の異なる4つの各円形は、重心が一致しており(同心円として形成されており)、各円に上記4色のいずれかの色が塗られており、また、直径のより小さい円ほど上部に重ねられて構成され、さらに、検出を容易にするために、隣り合う円で同一な色は利用しない。
上記24通りの並べ方それぞれを、識別番号に対応付けることにより、画像処理部4はカメラ部3の撮影した画像におけるマーカ70から、この色の並び順により識別番号を検出する。
また、4つの円各々は、重心が一致しているため、それぞれの色が示す領域の重心が、等しくなる。
このため、画像上に複数のマーカが存在しても、重心距離が近い領域を1つのマーカと検出することが可能である。
例えば、RGB空間またはLab空間で各色を判別する場合、各色を信号1(R,G,B:255,0,0)、信号2(R,G,B:0,255,255)、信号3(R,G,B:125,0,255)、信号4(R,G,B:125,255,0)で表すことで色の判別が容易になる。
まず、画像処理部4は、カメラ部3の撮影した画像から、マーカ70における各円の色の領域を抽出する(ステップS31)。
次に、画像処理部4は、検出した各円の領域各々の重心を求める(ステップS32)。
すなわち、画像処理部4は、それぞれの円の領域の重心の距離が、予め設定した閾値以下であれば、これらの円が1つのマーカ70を構成していることを検出し、検出されたマーカ70の色順列を検出する。
そして、画像処理部4は、検出した色順列に対応した数字列を抽出し(ステップS34)、この数位列と、予め取得した(予め登録された)識別番号とを比較することにより、画像上のマーカ70位置の識別番号を検出する(ステップS35)。
次に、マーカ70の実空間上の位置を検出する場合、前述の検出方法により、搬入出者の位置を取得可能である。
また、このマーカ70は円形をとっているため、カメラ部3の撮影した画像が、マーカ70に対して、正面から撮影しない場合においても、円形の重心位置がずれにくいという利点がある。
図14に示すマーカ80の形状のように、マーカにより人の位置を検出する場合、人が向かっている向きをマーカの形状により示すことも重要な情報であると考えられる。この場合、図14に示すように一番外側(信号No.4)の円形を楕円とする。
この外側の楕円の重心は、内側3つの円(信号No.1〜3)の重心とずれているが、このずれた方向を、例えば、人が向かう方向(前方)と定義する。
重心のずれ量はマーカ80間の最低距離より短い距離とし、画像処理部4はマーカ80の判定の際に、重心のずれ量に閾値が設定されている。
これにより、図14のマーカ80を利用し、複数のマーカ80が撮影された場合でも、この重心のずれ量の閾値より、重心値が大きいか否かの検出を行うことにより、それぞれのマーカ80を各々識別できる。
上述したように、マーカ80は、色または形状が指定可能ならば、素材には依存せずに、自由な材料を使用することができる。
このため、印刷物によっても作成可能であり、電気的な装置を必要としないため、安価にマーカを実現することが可能である。
2…信号発信機
3,3A,3B…カメラ部
4…画像処理部
5…信号受信部
6…信号履歴管理部
10,20,70,80…マーカ
11…発光部
12…発光命令部
13…信号送受信部
14…信号送受信機
50…天井面
60…棚
S…撮影範囲
Claims (16)
- 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理するシステムであって、
前記物品各々に付加され、それぞれを識別するための識別信号を定期的に無線にて発信可能な信号発信部と、
前記範囲を撮影可能な場所に設置され、所定の領域の撮影を行い、撮影した画像をデジタル化するカメラ部と、
該カメラ部により撮影された画像データと、一つ前の画像データとの差分が検出されず、かつ、すでに前にて差分が検出されていることを示す差分検出中フラグが検出されたことを示している場合、差分検出物品が何回か前から静止しているか否かを判定する差分静止カウントをインクリメントし、差分静止カウントが予め設定された数を超えたことを検出すると位置検出を行う画像処理部と、
前記物品に付加された前記信号発信部から発信される識別信号を、無線により受信可能な信号受信部と、
前記信号受信部から発信される識別信号を受信し、受信した時刻と対応付けて記憶する信号履歴管理部と
から構成され、
前記カメラ部が定期的に撮影し、画像処理部が、定期的に撮影された画像間の差分と、物品の形状認識を用いて、任意の物品の入出庫時刻および位置を検出し、信号履歴管理部が取得した識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻を検出し、前記検出結果より、特定の物品の位置と入出庫時刻を検出することを特徴とする物品管理システム。 - 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理するシステムであって、
前記物品各々に付加され、それぞれを識別するための識別信号を定期的に無線にて発信可能な信号発信部と、
物品に付加され、各物品をそれぞれ識別する識別子を示すマーカと、
前記範囲を撮影可能な場所に設置され、所定の領域の撮影を行い、撮影した画像をデジタル化するカメラ部と、
該カメラ部により撮影された画像データと、一つ前の画像データとの差分が検出されず、かつ、すでに前にて差分が検出されていることを示す差分検出中フラグが検出されたことを示している場合、差分検出物品が何回か前から静止しているか否かを判定する差分静止カウントをインクリメントし、差分静止カウントが予め設定された数を超えたことを検出すると位置検出を行う画像処理部と、
前記物品に付加された前記信号発信部から発信される識別信号を、無線により受信可能な信号受信部と、
前記信号受信部から発信される識別信号を受信し、受信した時刻と対応付けて記憶する信号履歴管理部と
から構成され、
前記カメラ部が定期的に撮影し、画像処理部が定期的に撮影された画像間の差分と、マーカの認識とを用いて、任意の物品の入出庫時刻および位置を検出し、信号履歴管理部が取得した識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻を検出し、前記検出結果より、特定の物品の位置と入出庫時刻を検出することを特徴とする物品管理システム。 - 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理するシステムであって、
前記物品各々に付加され、それぞれを識別するための識別信号を定期的に無線にて発信可能な信号発信部と、
物品に付加され、信号発信部の識別信号の発信に同期させ、発光体を一定時間点灯させる発光部と、
前記範囲を撮影可能な場所に設置され、所定の領域の撮影を行い、撮影した画像をデジタル化するカメラ部と、
該カメラ部により撮影された画像データに対して画像処理を行う画像処理部と、
前記物品に付加された前記信号発信部から発信される識別信号を、無線により受信可能な信号受信部と、
前記信号受信部から発信される識別信号を受信し、受信した時刻と対応付けて記憶する信号履歴管理部と
から構成され、
信号受信部が前記識別信号を受信した際に、前記カメラ部が前記所定の領域を撮影し、画像処理部が撮影された画像の発光体の位置により、物品の位置を検出し、信号履歴管理部が取得した識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻を検出し、前記検出結果より、特定の物品の位置と入出庫時刻を検出することを特徴とする物品管理システム。 - 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理するシステムであって、
前記物品各々に付加され、それぞれを識別するための識別信号を定期的に無線にて発信可能な信号発信部と、
物品に付加され、発光タイミングに関する命令信号を受信する命令受信部と、
物品に付加され、前記命令受信部から発光命令を受信すると、発光体を一定時間点灯させる発光部と、
前記範囲を撮影可能な場所に設置され、所定の領域の撮影を行い、撮影した画像をデジタル化するカメラ部と、
該カメラ部により撮影された画像データと、一つ前の画像データとの差分が検出されず、かつ、すでに前にて差分が検出されていることを示す差分検出中フラグが検出されたことを示している場合、差分検出物品が何回か前から静止しているか否かを判定する差分静止カウントをインクリメントし、差分静止カウントが予め設定された数を超えたことを検出すると位置検出を行う画像処理部と、
前記発光部に対する発光命令を出力する命令送信部と、
前記物品に付加された前記信号発信部から発信される識別信号を、無線により受信可能な信号受信部と、
前記信号受信部から発信される識別信号を受信し、受信した時刻と対応付けて記憶する信号履歴管理部と
から構成され、
信号受信部が識別信号を受信することにより、前記命令部より発光命令を、対応する物品に送信し、発行命令を受信すると発光部が発光体を一定時間点灯させ、前記カメラ部が前記発行命令のタイミングに合わせて所定の領域を撮影し、画像処理部が撮影された画像の発光体の位置を認識することで、任意の物品の位置を検出し、信号履歴管理部が取得した識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻を検出し、前記検出結果より、特定の物品の位置と入出庫時刻を検出することを特徴とする物品管理システム。 - 前記範囲に設置され物品を置く棚等の設備、または、物品は、物品が置かれた床からの高さを識別可能なマーカを装備し、
前記カメラ部で撮影した画像データからマーカを検出・解析することにより任意の物品の置かれた高さ方向の位置を検出することを特徴とする請求項1から請求項4のいずれかに記載の物品管理システム。 - 物品を入出する搬入出者は、それぞれの識別信号を定期的に無線にて発信可能な信号発信部を装備し、
前記信号履歴管理部で、取得した識別信号の時刻履歴から任意の物品の入出庫時刻および物品の搬入出者を検出することを特徴とする請求項1から請求項5のいずれかに記載の物品管理システム。 - 物品を入出する搬入出者は、それぞれを識別可能なマーカを装備し、
カメラ部で撮影した画像データからマーカを検出・解析することにより任意の物品の搬入出者を検出することを特徴とする請求項1から請求項6のいずれかに記載の物品管理システム。 - 装備するマーカは、色と形状により識別子を示す図が印刷された印刷物であることを特徴とする請求項1から請求項7のいずれかに記載の物品管理システム。
- 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理する方法であって、
前記物品各々に付加された信号発信部が、それぞれを識別するための識別信号を定期的に無線にて発信する信号発信過程と、
前記範囲を撮影可能な場所に設置されたカメラ部が、所定の領域の撮影を行い、撮影した画像をデジタル化する撮影過程と、
該撮影過程により撮影された画像データと、一つ前の画像データとの差分が検出されず、かつ、すでに前にて差分が検出されていることを示す差分検出中フラグが検出されたことを示している場合、差分検出物品が何回か前から静止しているか否かを判定する差分静止カウントをインクリメントし、差分静止カウントが予め設定された数を超えたことを検出すると位置検出を行う画像処理過程と、
前記信号発信過程において発信される、前記物品に付加された識別信号を、無線により受信する信号受信過程と、
前記信号受信過程において発信される識別信号を受信して管理する信号履歴管理過程と
を有し、
前記カメラ部が定期的に撮影し、画像処理過程において、定期的に撮影された画像間の差分と、物品の形状認識を用いて、任意の物品の入出庫時刻および位置を検出し、信号履歴管理過程において取得された識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻が検出され、前記検出結果より、特定の物品の位置と入出庫時刻が検出されることを特徴とする物品管理方法。 - 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理する方法であって、
前記物品各々に付加された信号発信部が、それぞれを識別するための識別信号を定期的に無線にて発信する信号発信過程と、
前記範囲を撮影可能な場所に設置されたカメラ部により、所定の領域の撮影を行い、撮影した画像をデジタル化する撮影過程と、
該撮影過程において撮影された画像データと、一つ前の画像データとの差分が検出されず、かつ、すでに前にて差分が検出されていることを示す差分検出中フラグが検出されたことを示している場合、差分検出物品が何回か前から静止しているか否かを判定する差分静止カウントをインクリメントし、差分静止カウントが予め設定された数を超えたことを検出すると位置検出を行う画像処理過程と、
前記物品に付加された前記信号発信部における前記信号発信過程において発信される識別信号を、無線により受信する信号受信過程と、
前記信号受信過程において発信される識別信号を受信して管理する信号履歴管理過程と
を有し、
前記カメラ部が定期的に撮影し、画像処理過程において定期的に撮影された画像間の差分と、物品に付加され、各物品をそれぞれ識別する識別子を示すマーカの認識とを用いて、任意の物品の入出庫時刻および位置が検出され、信号履歴管理過程において取得された識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻が検出され、前記検出結果より、特定の物品の位置と入出庫時刻が検出されることを特徴とする物品管理方法。 - 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理する物品管理方法であって、
前記物品各々に付加された信号発信部が、それぞれを識別するための識別信号を定期的に無線にて発信する信号発信過程と、
物品に付加された発光部が、信号発信部の識別信号の発信に同期させ、発光体を一定時間点灯させる発光過程と、
前記範囲を撮影可能な場所に設置されたカメラ部により、所定の領域の撮影を行い、撮影した画像をデジタル化する撮影過程と、
該撮影過程において撮影された画像データに対して画像処理を行う画像処理過程と、
前記物品に付加された前記信号発信部から発信される識別信号を、無線により受信する信号受信過程と、
前記信号受信過程において発信される識別信号を受信し、受信した時刻と対応付けて記憶する信号履歴管理過程と
を有し、
信号受信過程において前記識別信号が受信した際に、前記カメラ部が前記所定の領域を撮影し、画像処理過程において撮影された画像の発光体の位置により、物品の位置を検出し、信号履歴管理過程において取得された識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻が検出され、前記検出結果より、特定の物品の位置と入出庫時刻が検出されることを特徴とする物品管理方法。 - 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理する物品管理方法であって、
前記物品各々に付加された信号発信部が、それぞれを識別するための識別信号を定期的に無線にて発信可能な信号発信過程と、
物品に付加された命令受信部が、発光タイミングに関する命令信号を受信する命令受信過程と、
物品に付加された発光部が、前記命令受信部からの発光命令を受信すると、発光体を一定時間点灯させる発光過程と、
前記範囲を撮影可能な場所に設置されたカメラ部が、所定の領域の撮影を行い、撮影した画像をデジタル化する撮影過程と、
該撮影過程において撮影された画像データと、一つ前の画像データとの差分が検出されず、かつ、すでに前にて差分が検出されていることを示す差分検出中フラグが検出されたことを示している場合、差分検出物品が何回か前から静止しているか否かを判定する差分静止カウントをインクリメントし、差分静止カウントが予め設定された数を超えたことを検出すると位置検出を行う画像処理過程と、
前記発光部に対する発光命令を出力する命令送信過程と、
前記物品に付加された前記信号発信部から発信される識別信号を、無線により受信する信号受信過程と、
前記信号発信部から発信される識別信号を受信し、受信した時刻と対応付けて記憶する信号履歴管理過程と
を有し、
信号受信過程において識別信号が受信されることにより、前記命令過程において発光命令を、対応する物品に送信し、発光過程において発行命令を受信すると発光部が発光体を一定時間点灯させ、前記撮影過程において前記発行命令のタイミングに合わせて所定の領域を撮影し、画像処理過程において撮影された画像の発光体の位置が認識されることで、任意の物品の位置が検出され、信号履歴管理過程において取得した識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻が検出され、前記検出結果より、特定の物品の位置と入出庫時刻が検出されることを特徴とする物品管理方法。 - 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理するプログラムであって、
前記物品が存在する範囲を撮影可能な場所に設置されたカメラ部が撮影してデジタル化した画像データと、一つ前の画像データとの差分が検出されず、かつ、すでに前にて差分が検出されていることを示す差分検出中フラグが検出されたことを示している場合、差分検出物品が何回か前から静止しているか否かを判定する差分静止カウントをインクリメントし、差分静止カウントが予め設定された数を超えたことを検出すると位置検出を行う画像処理過程と、
前記物品に設けられた発信器から定期的に発信される識別信号を受信し、受信した時刻と対応付けて記憶する信号履歴管理処理過程と
を有し、
所定の領域が撮影され、デジタル化された画像データを用い、定期的に撮影された画像データ間の差分と、物品の形状認識を用いて、任意の物品の入出庫時刻および位置を検出し、識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻を検出し、前記検出結果より、特定の物品の位置と入出庫時刻を検出するコンピュータが実行可能なプログラム。 - 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理するプログラムであって、
前記物品が存在する範囲を撮影可能な場所に設置されたカメラ部が撮影してデジタル化した画像データと、一つ前の画像データとの差分が検出されず、かつ、すでに前にて差分が検出されていることを示す差分検出中フラグが検出されたことを示している場合、差分検出物品が何回か前から静止しているか否かを判定する差分静止カウントをインクリメントし、差分静止カウントが予め設定された数を超えたことを検出すると位置検出を行う画像処理過程と、
前記物品各々に付加された信号発信部から定期的に発信される前記物品それぞれを識別するための識別信号を受信し、受信した時刻と対応付けて記憶する信号履歴管理処理過程と
を有し、
所定の領域が撮影され、デジタル化された画像データを用い、定期的に撮影された画像データ間の差分と、物品に付加され、各物品をそれぞれ識別する識別子を示すマーカの認識とを用いて、任意の物品の入出庫時刻および位置を検出し、信号履歴管理処理過程において取得された識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻を検出し、前記検出結果より、特定の物品の位置と入出庫時刻を検出するコンピュータが実行可能なプログラム。 - 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理するプログラムであって、
前記物品各々に付加された信号発信部から定期的に発信される前記物品それぞれを識別するための識別信号を受信し、受信した時刻と対応付けて記憶する信号履歴管理処理過程を有し、
前記識別信号が受信されることにより、所定の領域が撮影され、デジタル化された画像データを用い、前記物品に設けられた発光体の位置により、物品の位置を検出し、信号履歴管理処理過程において取得された識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻を検出し、前記検出結果より、特定の物品の位置と入出庫時刻を検出するコンピュータが実行可能なプログラム。 - 所定の範囲内に存在する物品の位置と、該範囲に対する該物品の入出庫履歴とを管理するプログラムであって、
前記物品に付加された発光部に対し、発光命令を発信する発光命令処理過程と、
前記物品が存在する範囲を撮影可能な場所に設置されたカメラ部が撮影してデジタル化した画像データと、一つ前の画像データとの差分が検出されず、かつ、すでに前にて差分が検出されていることを示す差分検出中フラグが検出されたことを示している場合、差分検出物品が何回か前から静止しているか否かを判定する差分静止カウントをインクリメントし、差分静止カウントが予め設定された数を超えたことを検出すると位置検出を行う画像処理過程と、
前記物品各々に付加された信号発信部から定期的に発信される前記物品それぞれを識別するための識別信号を受信し、受信した時刻と対応付けて記憶する信号履歴管理処理過程と
を有し、
信号受信過程において識別信号が受信されることにより、前記発光命令処理過程において発光命令を、対応する物品に送信し、前記画像処理過程において前記発行命令のタイミングに合わせて所定の領域が撮影され、デジタル化された画像データを用い、画像の発光体の位置が認識されることで、任意の物品の位置を検出し、信号履歴管理処理過程において取得した識別信号の時刻履歴から、特定の物品の前記範囲内への入出庫時刻を検出し、前記検出結果より、特定の物品の位置と入出庫時刻を検出するコンピュータが実行可能なプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004291515A JP4205036B2 (ja) | 2004-10-04 | 2004-10-04 | 物品管理システム、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004291515A JP4205036B2 (ja) | 2004-10-04 | 2004-10-04 | 物品管理システム、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006103857A JP2006103857A (ja) | 2006-04-20 |
JP4205036B2 true JP4205036B2 (ja) | 2009-01-07 |
Family
ID=36374012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004291515A Expired - Fee Related JP4205036B2 (ja) | 2004-10-04 | 2004-10-04 | 物品管理システム、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4205036B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5069936B2 (ja) * | 2007-04-18 | 2012-11-07 | 日立Geニュークリア・エナジー株式会社 | 資材保管位置管理システムおよびその方法 |
JP5034718B2 (ja) * | 2007-07-04 | 2012-09-26 | 株式会社豊田自動織機 | 物品管理方法 |
JP4656114B2 (ja) * | 2007-09-21 | 2011-03-23 | 日本電気株式会社 | 対象管理装置およびシステム、コンピュータプログラム、データ処理方法 |
EP2641236A1 (en) * | 2010-11-17 | 2013-09-25 | Omron Scientific Technologies, Inc. | A method and apparatus for monitoring zones |
JP5413413B2 (ja) * | 2011-07-19 | 2014-02-12 | 村田機械株式会社 | 自動倉庫 |
JP5780083B2 (ja) * | 2011-09-23 | 2015-09-16 | 日本電気株式会社 | 検品装置、検品システム、検品方法及びプログラム |
JP6150675B2 (ja) * | 2013-08-27 | 2017-06-21 | 共同印刷株式会社 | 位置情報表示システム及び方法 |
JP6299133B2 (ja) * | 2013-09-30 | 2018-03-28 | 大日本印刷株式会社 | 位置検出装置、撮像装置、位置検出方法及び位置検出プログラム |
JP6095551B2 (ja) * | 2013-10-24 | 2017-03-15 | 三菱電機株式会社 | 冷蔵庫 |
JP6534598B2 (ja) * | 2015-02-12 | 2019-06-26 | 株式会社シーネット | 倉庫管理システム |
JP6481460B2 (ja) * | 2015-03-27 | 2019-03-13 | 日本電気株式会社 | 物品管理装置、物品管理システム、物品管理方法及びプログラム |
CN108712946B (zh) * | 2017-08-23 | 2021-11-09 | 深圳蓝胖子机器智能有限公司 | 货物摆放方法、装置、系统以及电子设备和可读存储介质 |
JP7035746B2 (ja) * | 2018-04-11 | 2022-03-15 | 凸版印刷株式会社 | 情報処理装置、情報処理方法、及び在庫管理システム |
JP7022671B2 (ja) | 2018-09-12 | 2022-02-18 | 日鉄ソリューションズ株式会社 | 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体 |
JP7296557B2 (ja) * | 2019-05-30 | 2023-06-23 | パナソニックIpマネジメント株式会社 | 位置認識システム |
JP7392986B2 (ja) * | 2020-02-10 | 2023-12-06 | 日本電気通信システム株式会社 | 物品位置管理装置、物品位置管理システム、物品位置管理方法およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05139506A (ja) * | 1991-11-15 | 1993-06-08 | Hitachi Ltd | 保管設備 |
JPH09194005A (ja) * | 1996-01-18 | 1997-07-29 | Kichinosuke Nagashio | 入出荷管理装置 |
JPH10194411A (ja) * | 1997-01-08 | 1998-07-28 | Toshiba Corp | 商品在庫管理装置 |
JPH11180513A (ja) * | 1997-12-19 | 1999-07-06 | Inaba Engineering Kk | 被検索物の検索方法及び被検索物の検索装置 |
JP4188072B2 (ja) * | 2002-12-16 | 2008-11-26 | アルゼ株式会社 | 位置情報管理システム |
JP4408054B2 (ja) * | 2004-04-09 | 2010-02-03 | 五洋建設株式会社 | 物体移動管理方法、物流管理システム及びそれらのためのプログラム |
-
2004
- 2004-10-04 JP JP2004291515A patent/JP4205036B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006103857A (ja) | 2006-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4205036B2 (ja) | 物品管理システム、方法及びプログラム | |
JP3779308B2 (ja) | カメラ校正システム及び三次元計測システム | |
CN104143248B (zh) | 基于无人机的森林火灾探测及防控方法 | |
JP6859446B2 (ja) | 物体捜索システム、物体捜索装置、及び物体捜索方法 | |
JP5069936B2 (ja) | 資材保管位置管理システムおよびその方法 | |
CN111710055A (zh) | 便携式电力巡检设备及电力巡检方法、电力巡检系统 | |
JP2000222673A (ja) | 車色判別装置 | |
JP2011175384A (ja) | 作業者位置認識方法、作業者位置認識システム、作業者認識方法、作業者認識システム | |
WO2013051905A2 (ko) | 위치 인식 장치 및 그 방법 | |
CA3000129A1 (en) | A storage and retrieval method and system | |
CN111190141B (zh) | 一种可见光室内定位中基于图像叠加确定光源发射序列的方法 | |
CN112926535A (zh) | 一种基于机器人的仓库安全监测、盘点方法及系统 | |
CN114348887B (zh) | 基于塔吊回转动作模型的智能监控预警系统及方法 | |
CN115049322B (zh) | 一种集装箱堆场的集装箱管理方法及系统 | |
CN112005244A (zh) | 物品管理方法、终端装置和物品管理设备及存储介质 | |
JP6557571B2 (ja) | 物品位置管理システム、物品位置管理装置、および物品情報収集装置 | |
KR101724087B1 (ko) | 비콘과 스마트cctv를 이용한 전자순찰방법 | |
KR101346510B1 (ko) | 지면 특징점을 사용한 영상 주행 기록 시스템 및 방법 | |
KR102290863B1 (ko) | 빅데이터 구축을 위한 불법 도청 및 몰래카메라 탐지 시스템 | |
CN117671576A (zh) | 一种识别危险目标的成像处理方法 | |
JP2008211412A (ja) | ネットワークシステム | |
Kashihara et al. | Wi-SF: Aerial Wi-Fi sensing function for enhancing search and rescue operation | |
JP2008148138A (ja) | 監視システム | |
JP4137910B2 (ja) | 測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体 | |
CN105072738A (zh) | 基于视觉的集散式智能照明与安防控制系统及控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081015 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121024 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121024 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131024 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |