JP6769555B2 - 物品識別装置、物品識別方法、計算装置、システムおよびプログラム - Google Patents

Description

本開示は、物品識別装置、物品識別方法、計算装置、システムおよび記録媒体に関する。

認識精度を高める方法として、認識に用いるデータベースの情報量を増やすことが開示されている（例えば、特許文献１）。また、参照用の物体を異なる複数の視点で撮像した画像を用いて作成したデータベースを用いて、二次元画像に基づいて三次元物体の位置・姿勢を推定する技術が開示されている（例えば、特許文献２）。

特開２００１−０１４４６５号公報 特開２００７−２１９７６５号公報

ところで、物品は、所定数纏めて梱包される場合がある。このように纏められて梱包された物品の識別において、識別用の画像（データベース画像）として、１つの物品が登録されている場合、個々の物品が識別され、この物品がまとめられた物品か否かが正確に把握できない可能性がある。

また、複数纏められた物品の画像をデータベース画像とする場合、纏める単位ごとに準備されたデータベース画像と照合することになるため、纏める単位が増えると照合回数が増えてしまう。そのため、照合処理を行う物品識別装置に負荷が掛かってしまい、現実的ではない。

本開示は上記課題に鑑みてなされたものであり、その目的は、識別対象の物品の梱包単位ごとの個数を精度よく識別することが可能な技術を提供することにある。

本開示の一態様に係る物品識別装置は、撮像画像と物品を識別するための識別用画像との照合を行う照合手段と、前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する判定手段と、を備える。

また、本開示の一態様に係る物品識別方法は、撮像画像と物品を識別するための識別用画像との照合を行い、前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する。

また、本開示の一態様に係る計算装置は、物品を識別するための識別用画像から、前記物品の特徴を表す特徴情報を抽出する抽出手段と、前記抽出された特徴情報に基づいて、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する際に、前記第１位置と、該第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える。

また、上記物品識別装置および計算装置を含むシステムも本開示の範疇に含まれる。

なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。

本開示によれば、識別対象の物品の梱包単位ごとの個数を精度よく識別することができる。

第１の実施の形態に係るシステムの全体構成の一例を示す図である。 第１実施の形態に係るシステムが利用される利用シーンの一例を説明するための図である。 第１の実施の形態に係るシステムに含まれる物品識別装置および計算装置の機能構成の一例を示す機能ブロック図である。 画像記憶部に格納されたデータベース画像を含む画像情報の一例を示す図である。 パラメータ計算部によるパラメータの計算を説明するための図である。 パラメータ記憶部が格納するパラメータ情報の一例を示す図である。 判定部が行う判定処理を説明するための図である。 ボール品画像空間とピース品画像空間との対応関係を概念的に説明する図である。 データベース画像の座標を撮像画像上の座標に変換した場合における変換後の座標によって示される領域の一例を示す図である。 判定部が行う判定処理を更に説明するための図である。 データベース画像の座標を撮像画像上の座標に変換した場合における変換後の座標によって示される領域の他の例を示す図である。 出力装置がディスプレイを有する表示装置または端末装置の場合における、出力装置が出力する画面の一例を示す図である。 出力装置が受け取った情報をファイル出力する装置の場合における、出力されるファイルの一例を示す図である。 計算装置の処理の流れの一例を示すフローチャートである。 物品識別装置の処理の流れの一例を示すフローチャートである。 物品が４つの場合における、所定の条件の例を示す図である。 第２の実施の形態に係る物品識別装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態に係る物品識別装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態において、物品識別装置が参照する第１パラメータを計算する計算装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態において、物品識別装置および計算装置を含むシステムの構成の一例を示すブロック図である。 各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係るシステム１の全体構成の一例を示す図である。図１に示すシステム１は、物品識別装置１００と、計算装置２００と、撮像装置３００と、出力装置４００とを含む。なお、図１は、本開示に特有な構成について示したものであり、システム１が図１に示されていない装置を有していてもよいことは言うまでもない。また、図１に示す各装置は、各々組み合わせて構成されてもよい。例えば、物品識別装置１００と計算装置２００とが一体となっていてもよいし、物品識別装置１００と撮像装置３００とが一体となっていてもよい。

物品識別装置１００は、計算装置２００、撮像装置３００および出力装置４００と互いに通信可能に接続している。各装置間の通信手段は、有線または無線通信の何れであってもよいし、携帯通信網、公衆回線網、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）の何れを介した通信であってもよい。このように、各装置間の通信方法は、さまざまな方法が考えられる。

撮像装置３００は、撮像対象の物品を含む画像を撮像する。撮像装置３００は、例えば、レンズおよび撮像素子を含むカメラによって実現される。撮像装置３００は、例えば、デジタルカメラやＷｅｂカメラ等によって実現される。撮像装置３００は、撮像画像を物品識別装置１００に供給する。なお、撮像装置３００は、撮像画像を撮像装置３００の内部または物品識別装置１００とは異なる記憶装置に格納してもよい。この場合、物品識別装置１００は、撮像画像を該撮像画像が格納された場所から取得すればよい。

出力装置４００は、物品識別装置１００からの制御信号に基づいた出力を行う。出力装置４００は、例えば、ディスプレイなどの表示装置であってもよいし、ディスプレイを有する端末装置であってもよい。また、出力装置４００はこれに限定されず、スピーカであってもよいし、プリンタであってもよいし、受け取った信号に含まれる情報をファイル出力する装置であってもよい。

図２は、本実施の形態に係るシステム１が利用される利用シーンの一例を説明するための図である。図２では、物品の例として、所定の容器に梱包された、複数の同種の物品を一纏めにした物品５（ボール品）を撮像可能な位置に設置されたカメラ３を撮像装置３００の一例として示している。また、図２では、携帯端末４を出力装置４００の一例として示している。なお、上記所定の容器は、複数の物品が纏められていない状態の物品（ピース品）を含んでもよい。

カメラ３によって撮像された、物品５を含む撮像画像は、物品識別装置１００に送信される。物品識別装置１００は、物品５の識別結果と、計算装置２００によって計算されたパラメータとに基づいて、物品５がピース品かボール品かを判定し、更に物品５の梱包単位ごとの個数を判定する。つまり、物品識別装置１００は、物品５がピース品の場合、ピース品の個数を判定し、ボール品の場合、ボール品の個数を判定する。そして、物品識別装置１００は、判定結果を携帯端末４に出力する。これにより、作業者２は、携帯端末４の画面に表示された判定結果を確認することができる。

次に、図３を参照して、システム１に含まれる物品識別装置１００および計算装置２００の構成について説明する。物品識別装置１００は、撮像装置３００によって撮像された撮像画像を受け取り、該撮像画像に含まれる物品を照合し、該物品の梱包単位ごとの個数を判定する。物品識別装置１００は、第１特徴抽出部１１０と、照合部１２０と、判定部１３０と、出力制御部１４０とを備える。

計算装置２００は、物品識別装置１００が、撮像画像に含まれる物品の照合を行う際に用いる、物品を識別するための識別用画像（データベース画像とも呼ぶ）を格納する。また、計算装置２００は、物品識別装置１００が物品の梱包単位ごとの個数を判定する際に用いるパラメータを計算する。計算装置２００は、画像記憶部２１０と、第２特徴抽出部２２０と、パラメータ計算部２３０と、パラメータ記憶部２４０とを備える。

まず、計算装置２００の各部について説明する。画像記憶部２１０は、物品を識別するためのデータベース画像を格納する。データベース画像は、撮像画像との間で物品の照合を行う際に用いられる。画像記憶部２１０が格納するデータベース画像の一例を図４に示す。図４は、画像記憶部２１０に格納された、データベース画像を含む画像情報４１の一例を示す図である。画像情報４１は、図４に示す通り、画像番号４２、物品名４３およびデータベース画像４４を含む。画像番号４２は、データベース画像４４を識別する識別子である。物品名４３は、データベース画像４４が示す物品の名前である。データベース画像４４は、物品名４３によって示される物品を撮像した撮像画像である。

図４に示す通り、画像情報４１は、物品名４３が「ＸＸＸ」の物品を撮像した撮像画像であるデータベース画像４４Ａを含む。また、物品名４３が「ＹＹＹ」の物品を撮像した撮像画像であるデータベース画像４４Ｂを含む。なお、本実施の形態では、画像情報４１は、１つの物品に対し１つの撮像画像をデータベース画像４４として含むとするが、１つの物品に対し複数の撮像画像をデータベース画像４４として含んでもよい。

なお、データベース画像４４は、実際に撮像した画像ではなく、照合用の画像として作成された画像であってもよい。また、データベース画像４４は、撮像装置３００によって撮像された画像であってもよいし、その他の方法で取得された画像であってもよい。また、画像記憶部２１０は、計算装置２００とは別個の記憶装置によって実現されてもよい。

第２特徴抽出部２２０は、画像記憶部２１０に格納されたデータベース画像４４の夫々から特徴量を抽出し、該特徴量を有する特徴点を抽出（検出）する。以降、第２特徴抽出部２２０が抽出する特徴量および特徴点に関連する情報を、特徴情報と呼ぶ。

第２特徴抽出部２２０は、任意の方法によって特徴情報を抽出すればよく、その方法は特に限定されない。第２特徴抽出部２２０は、物品識別装置１００が照合を行う際に使用する特徴情報を抽出すればよい。第２特徴抽出部２２０は、抽出した特徴情報を抽出元のデータベース画像４４を示す情報（例えば、画像番号４２）と共に、自身または画像記憶部２１０等の記憶部に格納する。なお、前述した画像記憶部２１０はデータベース画像４４に加え、または、データベース画像４４の代わりに、第２特徴抽出部２２０が抽出した特徴情報を格納してもよい。また、第２特徴抽出部２２０は、複数種類の特徴量を特徴情報として抽出してもよい。第２特徴抽出部２２０は、抽出した特徴情報を、抽出元のデータベース画像４４を示す情報（例えば、画像番号４２）と共に、パラメータ計算部２３０に供給する。

パラメータ計算部２３０は、第２特徴抽出部２２０が抽出した特徴情報を用いて、データベース画像間の幾何学関係を表すパラメータ（第１パラメータ）を計算する。図５は、パラメータ計算部２３０によるパラメータの計算を説明するための図である。

図５の上部に示すデータベース画像５１は、図４に示す画像番号４２が「Ｐ４０１」のデータベース画像４４Ａである。また、図５の下部には、データベース画像５１によって示される物品（ピース品）を４つ纏めたボール品を表すボール品画像５２を示す。ボール品は、データベース画像５１によって示される物品を同じ向きになるように、且つ、２行２列になるように纏めたものである。このボール品画像５２は、データベース画像５１に基づいて、仮想的に生成された画像であってもよいし、物品を所定の条件に基づいて纏めたボール品を撮像することによって得られるものであってもよい。なお、後者の場合、第２特徴抽出部２２０またはその他の部材が、このボール品を撮像した撮像画像から、特徴情報を抽出すればよい。なお、図５に示すボール品画像５２によって表されるボール品には、複数の物品（Ｂ４０１Ａ〜Ｂ４０１Ｄ）が含まれるとする。

パラメータ計算部２３０は、第２特徴抽出部２２０がデータベース画像５１から抽出した特徴情報を用いて、データベース画像５１の画像空間における、各特徴点に対応する、ボール品画像５２上の特徴点を特定する。図５における一点鎖線５３Ａおよび破線５３Ｂは、データベース画像５１と、ボール品画像５２との間で対応する特徴点同士を結んだ線分の一例である。パラメータ計算部２３０は、このように対応する特徴点を特定し、データベース画像５１と、ボール品画像５２との間の特徴点の位置の幾何学関係を表すパラメータを計算する。なお、一点鎖線５３Ａおよび破線５３Ｂは、説明の便宜上一部のみを示している。つまり、パラメータ計算部２３０は、データベース画像５１と、ボール品画像５２の物品Ｂ４０１Ｃの部分の画像および物品Ｂ４０１Ｄの部分の画像との間の幾何学関係を表すパラメータも同様に計算する。

以下、データベース画像５１の画像空間を、ピース品画像空間（第１空間）と呼ぶ。そして、ピース品画像空間におけるデータベース画像５１の特徴点の位置を第１位置とも呼ぶ。また、ボール品画像５２の画像空間を、ボール品画像空間（第２空間）と呼ぶ。そして、ボール品画像空間における、データベース画像５１の特徴点に対応する特徴点の位置を第２位置とも呼ぶ。つまり、パラメータ計算部２３０が計算するパラメータは、第１位置と第２位置との幾何学関係を表す。

パラメータを、例えば、ホモグラフィ行列としたとき、パラメータ計算部２３０は、ピース品画像空間における座標をボール品画像空間の座標に変換するホモグラフィ行列を計算する。パラメータ計算部２３０は、ボール品画像５２が表すボール品に含まれるピース品毎に、ホモグラフィ行列を計算する。つまり、パラメータ計算部２３０は、ボール品画像５２が表すボール品に含まれるピース品の数（図５に示す例では、４つ）分のパラメータを計算する。

なお、本実施の形態では、パラメータは、ホモグラフィ行列であるとして説明を行うが、これに限定されず、アフィン変換に用いる変換係数であってもよいし、その他の変換式に用いるパラメータであってもよい。

そして、パラメータ計算部２３０はパラメータの計算の対象となるデータベース画像を示す情報と、ボール品画像空間におけるピース品を示す情報と、パラメータとを互いに関連付けてパラメータ記憶部２４０に格納する。

パラメータ記憶部２４０は、パラメータ計算部２３０が計算したパラメータをパラメータの計算の対象となるデータベース画像を示す情報およびボール品画像空間におけるピース品を示す情報と共に格納する。パラメータ記憶部２４０が格納するパラメータを含むパラメータ情報の一例を図６に示す。図６に示す通り、パラメータ記憶部２４０は、パラメータ情報６１を格納する。

パラメータ情報６１は、図６に示す通り、変換元画像番号６２と、変換先位置番号６３と、パラメータ６４とを含む。変換元画像番号６２は、幾何学変換を行う元となるデータベース画像を表す画像番号であり、変換先位置番号６３は、幾何学変換を行う先となる、ボール品におけるピース品の位置を示す番号である。本実施の形態では、ピース品の位置を、図５に示す複数の物品の夫々に付された符号で示している。

例えば、パラメータ情報６１の１行目のパラメータ６４は、画像番号４２が「Ｐ４０１」のデータベース画像４４であるデータベース画像４４Ａ上の座標を、ボール品画像空間における「Ｂ４０１Ａ」によって示される位置の物品Ｂ４０１Ａが占める領域の座標に変換する場合におけるホモグラフィ行列である。以下では、説明の便宜上、この場合におけるパラメータ６４をＨ［Ｐ４０１→Ｂ４０１Ａ］と記載する。上述した通り、変換先位置番号６３は、ボール品におけるピース品の位置を示す情報であればよく、例えば「左上」等であってもよい。

同様に、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］は、画像番号４２が「Ｐ４０１」のデータベース画像４４Ａ上の座標を、ボール品画像空間における「Ｂ４０１Ｂ」によって示される位置の物品Ｂ４０１Ｂが占める領域の座標に変換する場合におけるホモグラフィ行列であり、図６の２行目に含まれるパラメータ６４を示す。

なお、パラメータ記憶部２４０は、計算装置２００とは別個の記憶装置によって実現されてもよい。また、パラメータ記憶部２４０は、画像記憶部２１０と一体構成されてもよい。また、パラメータ記憶部２４０は、物品識別装置１００に内蔵されてもよい。

次に、物品識別装置１００について説明する。第１特徴抽出部１１０は、撮像画像から特徴量を抽出し、該特徴量を有する特徴点を抽出する。第１特徴抽出部１１０は、撮像装置３００または撮像画像を格納する記憶装置から撮像画像を取得する。第１特徴抽出部１１０は、取得した撮像画像から特徴量および特徴点に関する情報である特徴情報を抽出する。第１特徴抽出部１１０は、任意の方法によって特徴情報を抽出すればよく、その方法は特に限定されない。第１特徴抽出部１１０は第２特徴抽出部２２０と同様の方法で特徴情報を抽出してもよい。第２特徴抽出部２２０が複数種類の特徴量を特徴情報として抽出する場合、第１特徴抽出部１１０は、その何れかの種類の特徴量を特徴情報として抽出すればよい。そして、第１特徴抽出部１１０は、抽出した特徴情報を抽出元の撮像画像と共に、照合部１２０に供給する。

なお、第１特徴抽出部１１０が取得した撮像画像を、物品識別装置１００内の記憶部等に格納する場合、第１特徴抽出部１１０は、抽出した特徴情報を抽出元の撮像画像を示す情報と共に照合部１２０に供給してもよい。

照合部１２０は、第１特徴抽出部１１０が抽出した特徴情報と、第２特徴抽出部２２０が抽出した特徴情報とを用いて、撮像画像をデータベース画像と照合する。そして、照合部１２０は、照合結果を判定部１３０に供給する。照合結果は、例えば、撮像画像とデータベース画像４４との類似の度合い、データベース画像４４を示す情報、対応する特徴点を示す情報と、該特徴点の撮像画像上の位置等を含むがこれに限定されるものではない。またデータベース画像４４を示す情報は、例えば、画像番号４２であってもよいし、その他の情報であってもよい。照合部１２０が行う照合の方法は特に限定されず、任意の方法を採用してもよい。

判定部１３０は、照合結果を参照し、該照合結果が撮像画像に複数の物品が含まれることを示すか否かを判定する。判定部１３０は、照合結果に基づくと、撮像画像に複数の物品が含まれると判定される場合、パラメータ記憶部２４０に格納されたパラメータ６４（第１パラメータ）と、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータとに基づいて、複数の物品が所定の条件に基づいて纏められたボール品か否かを判定する。

なお、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータは、上述したパラメータ６４と同じであることが好ましい。本実施の形態では、第２パラメータは、ホモグラフィ行列であるとして説明を行うが、これに限定されず、アフィン変換に用いる変換係数であってもよいし、その他の変換式に用いるパラメータであってもよい。

まず、判定部１３０は、照合部１２０から照合結果を受け取る。そして、判定部１３０は、照合結果を参照し、複数の物品が識別され、且つ、識別された複数の物品が同じ物品を示すか否かを判定する。識別された複数の物品が同じ物品を示すことは、例えば、同じ名称（例えば、物品名）を有するか否かを判定することによって判定されてもよい。そして、判定部１３０は、同じ物品名を有する複数の物品が識別された場合、照合結果に含まれる、撮像画像の物品に対応するデータベース画像４４を示す情報を用いて、該データベース画像４４に関連するパラメータ６４をパラメータ記憶部２４０から取得する。

判定部１３０は取得したパラメータ６４と、データベース画像４４および撮像画像の間の幾何学関係を表す第２パラメータと、に基づいて、識別された複数の物品が所定の条件に基づいて纏められたボール品か否かを判定する。

判定部１３０が行う判定処理について、図４、図５、図７から図１１を参照してさらに説明する。図７は判定部１３０が行う判定処理を説明するための図である。

図７に示す撮像画像７０は、４つの物品（７１Ａ〜７１Ｄ）を撮像することによって得られた画像である。４つの物品（７１Ａ〜７１Ｄ）は、同じ方向を向くように且つ２行２列になるように纏められた１つのボール品７２を成す。図７に示す通り、撮像画像７０には１つのボール品７２が含まれる。なお、以下において、４つの物品（７１Ａ〜７１Ｄ）を区別しない場合、または、総称する場合には、物品７１と称す。

照合部１２０は図７に示す撮像画像７０とデータベース画像４４とを、データベース画像４４から抽出された特徴情報と、撮像画像７０から抽出された特徴情報と用いて照合する。これにより、得られる照合結果から、図４に示すデータベース画像４４Ａが示す物品が４つ撮像画像７０に写っているという照合結果を得るとする。つまり、この照合結果からは、４つの物品（ピース品）７１が撮像画像７０に写っていることがわかる。

この照合結果から、判定部１３０は、照合部１２０が照合に用いた、データベース画像４４Ａの特徴情報と、撮像画像７０から抽出された特徴情報とを用いて、データベース画像４４Ａと撮像画像７０との幾何学関係を表すパラメータ（上述した第２パラメータ）を計算する。照合結果から、４つの物品（７１Ａ〜７１Ｄ）と、データベース画像４４Ａとがマッチすることがわかるため、判定部１３０は、認識された４つの物品（７１Ａ〜７１Ｄ）の夫々に対し、データベース画像４４上の位置と、該位置に対応する、認識された物品７１の撮像画像上の領域内の位置との幾何学関係を表す第２パラメータを計算する。図７に示す撮像画像７０の場合、判定部１３０は、４つの第２パラメータを計算する。

なお、第２パラメータの計算の方法は、パラメータ計算部２３０が行う方法と同じであってもよい。以下、例えば、データベース画像４４上の座標を、撮像画像７０における物品７１Ａの部分の画像の座標に変換する際のホモグラフィ行列を、Ｈ［Ｐ４０１→７１Ａ］と記載する。以下、データベース画像４４の特徴点に対応する撮像画像上の特徴点の位置を第３位置とも呼ぶ。つまり、判定部１３０が計算する第２パラメータは、第１位置と第３位置との幾何学関係を表す。

同様に、データベース画像４４上の座標を、撮像画像７０における物品７１Ｂの部分の画像の座標に変換する際のホモグラフィ行列を、Ｈ［Ｐ４０１→７１Ｂ］と記載する。同様に、物品７１Ｃに関するホモグラフィ行列はＨ［Ｐ４０１→７１Ｃ］と記載され、物品７１Ｄに関するホモグラフィ行列はＨ［Ｐ４０１→７１Ｄ］と記載される。このように、判定部１３０は、識別された物品の個数分の第２パラメータを計算する。

図７に示す破線の枠７３Ａは、データベース画像４４上の座標を、Ｈ［Ｐ４０１→７１Ａ］を用いて、撮像画像７０上の座標に変換した場合の、該座標によって示される撮像画像７０上の領域である。同様に、図７に示す枠７３Ｂは、データベース画像４４上の座標を、Ｈ［Ｐ４０１→７１Ｂ］を用いて、撮像画像７０上の座標に変換した場合の、該座標によって示される撮像画像７０上の領域である。枠７３Ｃは、データベース画像４４上の座標を、Ｈ［Ｐ４０１→７１Ｃ］を用いて、撮像画像７０上の座標に変換した場合の、該座標によって示される撮像画像７０上の領域である。枠７３Ｄは、データベース画像４４上の座標を、Ｈ［Ｐ４０１→７１Ｄ］を用いて、撮像画像７０上の座標に変換した場合の、該座標によって示される撮像画像７０上の領域である。

判定部１３０は、照合結果に基づいて、データベース画像４４Ａを示す画像番号４２である「Ｐ４０１」に関連付けられたパラメータ６４をパラメータ記憶部２４０から取得する。ここでは、判定部１３０は、変換元画像番号６２が「Ｐ４０１」である図６に示す１から４行目のパラメータ６４を、パラメータ記憶部２４０から取得する。取得したパラメータ６４を上述した通り、図６の１行目から順に、Ｈ［Ｐ４０１→Ｂ４０１Ａ］、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］、Ｈ［Ｐ４０１→Ｂ４０１Ｃ］および、Ｈ［Ｐ４０１→Ｂ４０１Ｄ］とする。

そして、判定部１３０は、識別された複数の物品が所定の条件に基づいて纏められた物品であるか否かを判定するために、データベース画像４４の座標を、第１パラメータおよび第２パラメータを用いて、撮像画像上の座標に変換する。

ここで、識別された４つの物品（７１Ａ〜７１Ｄ）のうち、物品７１Ａ（第１物品）を基準とする。なお、基準の物品は任意であり、特に限定されない。また、本例では、基準である物品７１Ａと他の物品（７１Ｂ〜７１Ｄ）とがボール品を形成すると仮定した場合において、物品７１Ａの右隣に位置する物品７１Ｂ（第２物品）に関して、以下に説明するホモグラフィ変換を行うことにより、判定部１３０は、判定処理を行う。

まず、判定部１３０は、データベース画像４４の座標を、ピース品画像空間上の座標に変換する。図８は、ボール品画像空間とピース品画像空間との対応関係を概念的に説明する図である。

図８に示すピース品画像空間８１は、データベース画像４４Ａに相当するデータベース画像８１ａを含む画像空間である。基準である物品７１Ａがボール品に含まれると仮定した場合における位置（左上）に対応する、ボール品画像空間８２における位置（座標）は、図５を用いて説明すると、物品Ｂ４０１Ａの位置である。また、基準である物品７１Ａの位置（左上）に対する第２物品の位置（この場合、右隣）に対応する、ボール品画像空間８２における位置は、図５を用いて説明すると、物品Ｂ４０１Ａの右隣に位置する物品Ｂ４０１Ｂの位置に対応する。判定部１３０は、ピース品画像空間８１におけるデータベース画像８１ａの座標を、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］を使用して、ボール品画像空間８２における座標に変換する（Ｓ１）。図８に示す画像８２Ｂは、ボール品画像空間８２におけるデータベース画像８１ａに対応する画像である。

次に、判定部１３０は、基準である物品７１Ａがボール品に含まれると仮定した場合における位置（左上）に対応する、ボール品画像空間８２における位置（座標）と、データベース画像４４Ａの座標との間のホモグラフィ行列である、Ｈ［Ｐ４０１→Ｂ４０１Ａ］の逆行列を使用して、ボール品画像空間８２の座標に変換したデータベース画像８１ａの座標を、更に、ピース品画像空間８１における座標に変換する。

ここで、Ｈ［Ｐ４０１→Ｂ４０１Ａ］の逆行列をＨ^−１［Ｐ４０１→Ｂ４０１Ａ］と記載する。判定部１３０は、ボール品画像空間８２の座標に変換したデータベース画像８１ａの座標（画像８２Ｂの座標に相当）をＨ^−１［Ｐ４０１→Ｂ４０１Ａ］を使用して、ピース品画像空間８１における座標に変換する（Ｓ２）。図８に示す画像８１ｂは、ピース品画像空間８１における、画像８２Ｂに対応する画像である。

そして、判定部１３０は、基準である、撮像画像７０上の物品７１Ａの領域の座標と、データベース画像４４Ａの座標との間のホモグラフィ行列であるＨ［Ｐ４０１→７１Ａ］を用いて、Ｓ２で変換した座標を、撮像画像７０上の座標に変換する。

図９は、データベース画像８１ａの座標を撮像画像７０上の座標に変換した場合における変換後の座標によって示される領域（第１領域）の一例を示す図である。図９に示す撮像画像７０は、図７に示す撮像画像７０と同様である。

図９に示す一点鎖線の枠９１Ｂは、データベース画像８１ａの座標を撮像画像７０上の座標に変換した場合における変換後の座標によって示される領域の一例を示す。この枠９１Ｂが示す領域は、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］、Ｈ^−１［Ｐ４０１→Ｂ４０１Ａ］およびＨ［Ｐ４０１→７１Ａ］を用いて推定された領域である。この推定された領域は、撮像画像７０の座標空間における、データベース画像８１ａによって示されるピース品がボール品であると仮定した場合の該ピース品の右隣に位置すると推定される画像８１ｂの座標の領域を示す。

枠７３Ｂによって示される領域（第２領域）と枠９１Ｂによって示される領域とを比較すると、これらは略重なっていることがわかる。判定部１３０は、この枠７３Ｂの領域と、枠９１Ｂの領域との重なりの度合いを示す値である重複率を計算し、重複率が所定の閾値以上の場合、枠７３Ｂに含まれる物品７１Ｂが、物品７１Ａと共にボール品を構成する物品であると判定する。判定部１３０は、同様の判定を、物品７１Ｃおよび物品７１Ｄに対しても行う。これにより、判定部１３０は、複数の物品が、１つのボール品を構成する物品か否かを判定する。

このように、複数の物品がボール品かピース品か否かの判定に、領域の重複率を用いることにより、判定部１３０は、少ない計算量で複数の物品がボール品か否かの判定を行うことができる。

なお、判定部１３０は、一方の領域の面積に対する、該一方の領域と他方の領域との両方に含まれる領域の面積の比を示す重複率に基づいて、領域に関連する物品（図９の場合、物品７１Ｂ）が、基準である物品７１Ａと共にボール品を構成する物品か否かを判定してもよい。例えば、判定部１３０は、枠７３Ｂの領域の面積に対する枠７３Ｂの領域および枠９１Ｂの領域の両方に含まれる領域の面積の重複率に基づいて、判定を行ってもよい。また、判定部１３０は、枠９１Ｂの領域の面積に対する枠７３Ｂの領域および枠９１Ｂの領域の両方に含まれる領域の面積の重複率に基づいて、判定を行ってもよい。また、判定部１３０は、これら２つの重複率を用いて、判定を行ってもよい。また、重複率はこれに限定されず、２つの面積の和に対する、両方に含まれる領域の面積の比であってもよいし、２つの領域の少なくとも何れか一方に含まれる部分の面積に対する、両方に含まれる領域の面積の比であってもよい。

また、判定部１３０は、領域に関連する物品が、基準である物品と共にボール品を構成する物品か否かを、領域ではなく、パラメータ間の近さで判定してもよい。例えば、Ｈ［Ｐ４０１→７１Ａ］×Ｈ^−１［Ｐ４０１→Ｂ４０１Ａ］×Ｈ［Ｐ４０１→Ｂ４０１Ｂ］を計算し、計算した結果と、Ｈ［Ｐ４０１→７１Ｂ］との類似度を計算する。この類似度は、どのような指標であってもよい。例えば、行列の各値の近さであってもよいし、行列に基づいて導き出される任意の指標に基づく値の近さであってもよい。そして、類似度が所定の条件を満たす場合、例えば類似度が所定の閾値以上の場合、判定部１３０は、領域に関連する物品が、基準である物品と共にボール品を構成する物品であると判定してもよい。

このように、領域に関連する物品が、基準である物品と共にボール品を構成する物品か否かの判定に、行列同士の類似度を用いることにより、領域の重複率を用いる場合に比べ、物品識別装置１００は、より正確に、領域に関連する物品が基準である物品と共にボール品を構成する物品か否かの判定を行うことができる。なお、類似度を求める場合、判定部１３０は、照合結果に基づいて、パラメータ６４を取得した後に、該パラメータ６４と同じ種類の第２パラメータを、計算してもよい。

また、判定部１３０は、データベース画像４４上の全ての座標ではなく、特徴点を用いて、領域に関連する物品が、基準である物品と共にボール品を構成する物品か否かを判定してもよい。例えば、判定部１３０は、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］、Ｈ^−１［Ｐ４０１→Ｂ４０１Ａ］およびＨ［Ｐ４０１→７１Ａ］を用いて変換した特徴点の座標と、Ｈ［Ｐ４０１→７１Ｂ］を用いて変換した特徴点の座標との距離が所定の閾値以下である場合に、領域に関連する物品が、基準である物品と共にボール品を構成する物品であると判定してもよい。

図１０は、判定部１３０が行う判定処理を説明するための別の図である。図１０に示す撮像画像１０１は、４つの物品（１０２Ａ〜１０２Ｄ）を撮像することによって得られた画像である。４つの物品（１０２Ａ〜１０２Ｄ）は、纏められていないピース品である。図１０に示す通り、撮像画像１０１には４つの物品（１０２Ａ〜１０２Ｄ）が含まれる。照合部１２０はこのような撮像画像１０１とデータベース画像４４とを、データベース画像４４から抽出された特徴情報と、撮像画像１０１から抽出された特徴情報と用いて照合する。ここでは、４つの物品（１０２Ａ〜１０２Ｄ）が夫々ピース品であり、ボール品ではないと正しく識別される方法について説明する。

判定部１３０は、照合結果から、照合部１２０が照合に用いた、データベース画像４４Ａの特徴情報と、撮像画像１０１から抽出された特徴情報とを用いて、データベース画像４４Ａと撮像画像１０１との幾何学関係を表すパラメータ（上述した第２パラメータ）を計算する。計算した４つの第２パラメータを、Ｈ［Ｐ４０１→１０２Ａ］、Ｈ［Ｐ４０１→１０２Ｂ］、Ｈ［Ｐ４０１→１０２Ｃ］およびＨ［Ｐ４０１→１０２Ｄ］とする。なお、Ｈ［Ｐ４０１→１０２Ａ］は、データベース画像４４上の座標を、撮像画像１０１における物品１０２Ａの部分の画像の座標に変換する際のホモグラフィ行列である。

図１０に示す破線の枠１０３Ａ〜１０３Ｄは、夫々、上述したホモグラフィ行列を用いて、データベース画像４４上の座標を、撮像画像１０１上の座標に変換した場合の、該座標によって示される撮像画像１０１上の領域を示す。

ここで、基準の物品を物品１０２Ａとする。判定部１３０は、ピース品画像空間におけるデータベース画像４４の座標を、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］を使用して、ボール品画像空間における座標に変換する。そして、判定部１３０は、基準である物品がボール品における位置に対応する位置のボール品画像空間における座標と、データベース画像４４Ａの座標との間のホモグラフィ行列を用いて、座標の変換を行う。基準である物品１０２Ａは、図１０に示す通り、４つの物品の左上に位置する物品であるため、判定部１３０は、Ｈ^−１［Ｐ４０１→Ｂ４０１Ａ］を使用して、ボール品画像空間の座標に変換したデータベース画像４４Ａの座標を、更に、ピース品画像空間における座標に変換する。更に、判定部１３０は、基準である物品１０２Ａの領域の座標と、データベース画像４４Ａの座標との間のホモグラフィ行列であるＨ［Ｐ４０１→１０２Ａ］を用いて、ピース品画像空間における座標に変換した座標を、撮像画像１０１上の座標に変換する。

図１１は、データベース画像４４Ａの座標を撮像画像１０１上の座標に変換した場合における変換後の座標によって示される領域の一例を示す図である。図１１に示す撮像画像１０１は、図１０に示す撮像画像１０１と同様である。

図１１に示す一点鎖線の枠１０４Ｂは、データベース画像４４Ａの座標を撮像画像１０１上の座標に変換した場合における変換後の座標によって示される領域の一例を示す。この枠１０４Ｂが示す領域は、Ｈ［Ｐ４０１→Ｂ４０１Ｂ］、Ｈ^−１［Ｐ４０１→Ｂ４０１Ａ］およびＨ［Ｐ４０１→１０２Ａ］を用いて推定された領域である。この推定された領域は、撮像画像１０１の座標空間における、データベース画像４４によって示されるピース品がボール品であると仮定した場合の該ピース品の右隣に位置すると推定される座標の領域を示す。

枠１０３Ｂによって示される領域と枠１０４Ｂによって示される領域とを比較すると、図９の枠７３Ｂによって示される領域および枠９１Ｂによって示される領域に比べ重複していない箇所が多い。よって、判定部１３０は、物品１０２Ｂが、物品１０２Ａと共にボール品を構成する物品ではないと判定する。つまり、判定部１３０は、物品１０２Ｂおよび物品１０２Ａはそれぞれピース品であると判定する。判定部１３０は、物品１０２Ｃおよび物品１０２Ｄに対しても、同様の判定を行うことにより、これらが夫々ピース品であると判定する。これにより、判定部１３０は、図１１に含まれる物品が、「ＸＸＸ」という物品名の４つのピース品であると判定することができる。

このように本実施の形態に係る物品識別装置１００はピース品とボール品とを正しく判定することができる。よって、物品識別装置１００は、梱包単位ごとの物品の数を精度よく識別することができる。

判定部１３０は、物品を示す情報（例えば、物品名）と梱包単位ごとの物品の数とを判定結果として、出力制御部１４０に供給する。

出力制御部１４０は、判定部１３０から供給された判定結果に基づいて、該判定結果を表す情報の出力を制御する。例えば、出力装置４００がディスプレイ（表示部）などの表示装置またはディスプレイを有する端末装置の場合、出力制御部１４０は、判定結果を表す情報を画面表示する制御信号を、出力装置４００に出力する。これにより、出力装置４００は、判定結果を表す情報を画面表示する。

また、出力装置４００が受け取った情報をファイル出力する装置の場合、出力制御部１４０は、判定結果を表す情報をファイル出力する制御信号を、出力装置４００に出力する。これにより、出力装置４００は、判定結果を表す情報をファイルとして出力する。

図１２は、出力装置４００がディスプレイを有する表示装置または端末装置の場合における、出力装置４００が出力する表示画面の一例を示す図である。

出力制御部１４０は、判定結果を示す情報を撮像画像に重畳した表示画面をディスプレイなどの表示部に表示させる制御信号を生成する。出力装置４００は、出力制御部１４０が生成した制御信号に基づいて、判定結果を示す情報を撮像画像に重畳した表示画面を表示部に表示する。

図１２に示す表示画面１２１は、図７に示す、物品（７１Ａ〜７１Ｄ）によって構成されるボール品７２を含む撮像画像７０を表示部に表示した画面である。出力制御部１４０は、判定結果を示す情報１２２を、撮像画像７０に重畳した表示画面を生成することにより、出力装置４００は、図１２に示す表示画面１２１を表示する。なお、梱包単位の表示方法は特に限定されず、例えば、ピース品の場合は、ピース品であることがわかる情報であればよい。また、ボール品の場合は、纏められる形状や個数であってもよい。

なお、出力制御部１４０は、物品名ごと、物品の梱包単位ごとに、判定結果を示す情報を、関連する物品に関連付けた表示画面を生成してもよい。例えば、撮像画像７０にある物品のボール品と、他の物品のボール品とが含まれる場合、出力制御部１４０は、識別された物品（ピース品および／またはボール品）の位置を示す情報と共に判定結果を受け取る。そして、出力制御部１４０は、受け取った判定結果および位置を示す情報に基づいて、ある物品に関する判定結果を示す情報を、該ある物品のボール品に関連付けた表示画面を生成する。同様に、出力制御部１４０は、この表示画面において、他の物品に関する判定結果を示す情報を、該他の物品のボール品に関連付ける。このように、出力制御部１４０が、物品名ごと、物品の梱包単位ごとに、判定結果を示す情報を、関連する物品に関連付けた表示画面を生成することにより、出力装置４００は、判定結果が物品に関連付けられた表示画面を表示する。したがって、物品識別装置１００は、表示画面を見る作業者２に物品ごとおよび物品の梱包単位ごとの個数を容易に把握させることができる。

また、出力制御部１４０は、梱包単位がピース品の場合、識別された物品の撮像画像上における位置を示す位置情報を、梱包単位がボール品の場合は、ボール品の部分を示す位置情報を、撮像画像に重畳した表示画面をディスプレイなどの表示部に表示させる制御信号を生成してもよい。例えば、出力制御部１４０は、ボール品７２の撮像画像上における位置を示す位置情報を、撮像画像７０に重畳した表示画面を生成してもよい。出力制御部１４０は、図１２に示すように、ボール品７２の位置を、ボール品７２に含まれる物品（７１Ａ〜７１Ｄ）の夫々の領域（枠７３Ａ〜７３Ｄによって示される領域）をすべて含む枠１２３を生成し、該枠１２３を撮像画像７０に重畳した表示画面を生成してもよい。

このように、出力装置４００は、出力制御部１４０が生成した制御信号に基づいて、判定結果を示す情報を撮像画像に重畳した表示画面を表示部に表示することにより、表示画面を見る作業者２に物品の梱包単位ごとの個数を容易に把握させることができる。

図１３は、出力装置４００が受け取った情報をファイル出力する装置の場合における、出力されるファイルの一例を示す図である。図１３に示す出力ファイル１３１は、物品名１３２の列と、梱包単位１３３の列と、個数１３４の列とを含む表データである。出力制御部１４０は、判定結果に基づいて、このような出力ファイル１３１を出力装置４００が出力するよう制御する制御信号を生成してもよい。これにより、撮像画像に、どの物品がどの梱包単位でいくつ含まれるのかを作業者２は容易に把握することができる。また、出力制御部１４０は、例えば、撮像画像に含まれるべき物品の一覧と判定結果とを比較し、比較結果を出力装置４００に表示するよう制御してもよい。

図１４は、本実施の形態に係るシステム１における計算装置２００の処理の流れの一例を示すフローチャートである。図１４に示す通り、第２特徴抽出部２２０が、画像記憶部２１０に格納されたデータベース画像４４から特徴情報を抽出する（ステップＳ１４１）。

そして、パラメータ計算部２３０が、抽出された特徴情報に基づいて、ピース品画像空間における第１位置と、ボール品画像空間における第２位置との幾何学関係を表すパラメータを計算する（ステップＳ１４２）。

上述した通り、パラメータは、データベース画像４４を用いた照合により、撮像画像に複数の物品が識別される場合において、識別された複数の物品が、所定の条件に基づいて纏められた物品（ボール品）であるか否かを判定する際に、第１位置と、該第１位置に対応する、撮像画像上の第３位置との間の幾何学関係を表す第２パラメータと共に用いられるものである。

その後、パラメータ計算部２３０は、計算したパラメータをパラメータ記憶部２４０に格納する（ステップＳ１４３）。

図１５は、本実施の形態に係るシステム１における物品識別装置１００の処理の流れの一例を示すフローチャートである。図１５に示す通り、物品識別装置１００の第１特徴抽出部１１０は、取得した撮像画像から特徴情報を抽出する（ステップＳ１５１）。

そして、照合部１２０が、撮像画像から抽出された特徴情報と、ステップＳ１４１において、データベース画像４４から抽出された特徴情報とを用いて、撮像画像とデータベース画像４４との照合を行う（ステップＳ１５２）。

判定部１３０は、照合結果を参照し、複数の物品が識別され、且つ、識別された物品が同じ物品名を示すか否かを判定する（ステップＳ１５３）。同じ物品名の物品を複数識別していない場合（ステップＳ１５３にてＮＯ）、処理はステップＳ１５６に進む。

同じ物品名の物品が複数識別された場合（ステップＳ１５３にてＹＥＳ）、判定部１３０は、識別された物品に対応する（撮像画像とマッチした）データベース画像４４と撮像画像との間の幾何学関係を表すパラメータ（第２パラメータ）を計算する（ステップＳ１５４）。

そして、ステップＳ１４２で計算されたパラメータと、ステップＳ１５４で計算されたパラメータとを用いて、複数の物品が所定の条件に基づいて纏められた物品か否かを判定する（ステップＳ１５５）。

その後、出力制御部１４０が、出力装置４００による情報の出力を制御する制御信号を生成する（ステップＳ１５６）。ステップＳ１５５が行われた後の場合、出力制御部１４０は判定結果に基づいて、該判定結果を表す情報の出力を行うための制御信号を生成する。そして、出力制御部１４０は、生成した制御信号を出力装置４００に出力する（ステップＳ１５７）。

これにより、出力装置４００は、出力制御部１４０が出力した制御信号に基づいて、例えば、図１２に示すような表示画面１２１を表示部に表示することができる。

なお、本実施の形態では、所定の条件が、以下の（１）〜（３）である場合を例に説明を行った。
（１）物品の数が４つ
（２）物品が全て同じ方向を向く
（３）物品が２行２列に並べられている
しかしながら、所定の条件は、これに限定されない。物品が４つの場合における、所定の条件の例を図１６に示す。図１６の（ａ）は、所定の条件が、物品の数が４つ、物品が全て同じ方向を向く、物品が縦１列に並べられている、である場合の一例である。図１６の（ｂ）は、所定の条件が、物品の数が４つ、物品が２行２列に並べられている、物品の上部が外側になる、である場合の一例である。図１６の（ｃ）は、所定の条件が、物品の数が４つ、物品が全て同じ方向を向く、物品が横１列に並べられている、である場合の一例である。

このように、物品の梱包単位が複数ある場合、パラメータ計算部２３０は、これらの夫々に対して、パラメータを計算し、パラメータ記憶部２４０に格納する。このとき、パラメータ計算部２３０は、所定の条件を表す情報をパラメータと共にパラメータ記憶部２４０に格納することが好ましい。これにより、物品識別装置１００はどのような梱包単位であっても、適切にボール品か否かを判定することができる。なお、ボール品に含まれるピース品の数は特に限定されず、任意の数であってもよい。

以上のように、本実施の形態に係るシステム１の物品識別装置１００は、照合部１２０が撮像画像と物品を識別するためのデータベース画像との照合を行う。そして、判定部１３０が、照合の結果が撮像画像に複数の物品が含まれる場合、第１パラメータと第２パラメータとを用いて、識別された複数の物品が、所定の条件に基づいて纏められた物品であるか否かを判定する。第１パラメータは、データベース画像の画像空間における第１位置と、データベース画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間における、第１位置に対応する第２位置との幾何学関係を表す。また、第２パラメータは、第１位置と、第１位置に対応する、撮像画像上の第３位置との間の幾何学関係を表す。

例えば、４つのピース品から構成される１つのボール品が含まれる撮像画像において、撮像画像とデータベース画像との照合を行うと、照合結果からは、該撮像画像に４つのピース品が含まれるとみなされる。本実施の形態によれば、判定部１３０がこの照合結果に基づいて、データベース画像における位置と物品がボール品である場合のボール品の画像の空間における位置と間の幾何学関係を表すパラメータと、撮像画像とデータベース画像との間の幾何学関係を表すパラメータとに基づいて、あるピース品に対し、他のピース品が、ボール品を形成する位置に位置しているか否かを判定することにより、識別された複数の物品がボール品か否かを判定する。これにより、物品識別装置１００は、撮像画像に含まれる複数の物品が、所定の条件に基づいて纏められた物品か、個別の物品かを判定することができる。

よって、本実施の形態に係る物品識別装置１００によれば、複数の物品が、１つのボール品として纏められた物品の場合であっても、複数の物品としてではなく、１つのボール品として正確に判定することができる。

よって、本実施の形態に係る物品識別装置１００によれば、識別対象の物品の梱包単位ごとの個数を精度よく識別することできる。

なお、本実施の形態に係るシステム１において、撮像装置３００と物品識別装置１００とは一体となって形成され、例えば、インテリジェンスカメラとして機能してもよい。また、計算装置２００の一部の機能が物品識別装置１００に組み込まれてもよい。例えば、第１特徴抽出部１１０と、第２特徴抽出部２２０とが同じ回路で実現されてもよい。

このように、図１に示すシステム１における各装置は各々組み合わせて構成されてもよい。

＜第２の実施の形態＞
本開示の第２の実施の形態について説明する。本実施の形態では、本開示の課題を解決する基本構成について説明する。

図１７は、本実施の形態に係る物品識別装置１０の機能構成の一例を示す機能ブロック図である。図１７に示す通り、本実施の形態に係る物品識別装置１０は、照合部１２と、判定部１３とを備える。

照合部１２は、上述した照合部１２０の機能を有する。照合部１２は、撮像画像と物品を識別するための識別用画像との照合を行う。照合部１２は、照合結果を判定部１３に供給する。照合部１２が行う照合の方法は特に限定されず、上述した照合部１２０と同様の方法を採用してもよい。

判定部１３は、上述した判定部１３０の機能を有する。判定部１３は、照合の結果が撮像画像に複数の物品が含まれることを示す場合、第１パラメータと、第２パラメータとに基づいて、識別された複数の物品が、所定の条件に基づいて纏められた物品であるか否かを判定する。ここで、第１パラメータは、識別用画像の画像空間である第１空間における第１位置と、識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、第１位置に対応する第２位置との幾何学関係を表す。また、第２パラメータは、第１位置と、第１位置に対応する、撮像画像上の第３位置との間の幾何学関係を表す。

ここで、照合結果に基づくと、複数の物品が識別されることがわかるため、この複数の物品は、第１物品と、第１物品とは異なる第２物品とが含まれるとして説明する。

判定部１３は、上述した判定部１３０と同様に、以下の（１）〜（３）を行うことにより変換された座標が示す第１領域と、撮像画像上における第２物品に関連する第２パラメータから得られる、第２物品の前記撮像画像上における第２領域との重複の度合いを示す重複率が所定の閾値以上の場合、識別された複数の物品が、纏められた物品であると判定してもよい。
（１）第１物品の位置に対する第２物品の位置に基づいて、第２空間における第２物品に関連する第１パラメータを用いて識別用画像の座標を、第２空間の座標に変換する。
（２）第２空間の座標に変換した座標を、第２空間における第１物品に関連する第１パラメータに基づいて第１空間の座標に変換する。
（３）第１空間の座標に変換した座標を、撮像画像上における第１物品に関連する第２パラメータを用いて撮像画像上の座標に変換する。

図１８は、本実施の形態に係る物品識別装置１０の処理の流れの一例を示すフローチャートである。図１８に示す通り、照合部１２が、撮像画像と物品を識別するための識別用画像との照合を行う（ステップＳ１８１）。そして、判定部１３が、第１パラメータと、第２パラメータとに基づいて、複数の物品が所定の条件に基づいて纏められた物品か否かを判定する（ステップＳ１８２）。

図１９は、上述した物品識別装置１０が参照する第１パラメータを計算する計算装置２０の機能構成の一例を示す機能ブロック図である。図１９に示す通り、計算装置２０は、抽出部２２と、計算部２３とを備える。

抽出部２２は、上述した第２特徴抽出部２２０の機能を有する。物品を識別するための複数の識別用画像の夫々から、物品の特徴を表す特徴情報を抽出する。抽出部２２は、抽出した特徴情報を計算部２３に供給する。

計算部２３は、上述したパラメータ計算部２３０の機能を有する。計算部２３は、抽出された特徴情報に基づいて、識別用画像の画像空間である第１空間における第１位置と、識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、第１位置に対応する第２位置との幾何学関係を表す第１パラメータを計算する。なお、上述した通り、第１パラメータは、物品識別装置１０による識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された複数の物品が、所定の条件に基づいて纏められた物品であるか否かを判定する際に、第１位置と、該第１位置に対応する、撮像画像上の第３位置との間の幾何学関係を表す第２パラメータと共に用いられる。

また、本実施の形態において、物品識別装置１０および計算装置２０は、図２０に示すシステム６として構成されてもよい。図２０は、物品識別装置１０と計算装置２０とを含むシステムの構成の一例を示すブロック図である。図２０に示す通り、システム６は、物品識別装置１０と計算装置２０とを含む。物品識別装置１０と計算装置２０とは互いに通信可能に接続している。

なお、物品識別装置１０と計算装置２０とは一体となって形成されてもよいし、計算装置２０の一部の機能が物品識別装置１０に組み込まれてもよい。また、システム６は、上述したシステム１と同様に、撮像装置３００および出力装置４００を含む構成であってもよい。

例えば、４つの物品（ピース品）から構成される纏められた物品（１つのボール品）が含まれる撮像画像において、撮像画像と識別用画像との照合を行うと、照合結果からは、該撮像画像に４つのピース品が含まれるとみなされる。本実施の形態によれば、判定部１３がこの照合結果に基づいて、第１パラメータと、第２パラメータとに基づいて、識別用画像における位置と物品がボール品である場合のボール品の画像の空間における位置との間の幾何学関係を表す第１パラメータと、撮像画像と識別用画像との間の幾何学関係を表す第２パラメータとに基づいて、あるピース品に対し、他のピース品が、ボール品を形成する位置に位置しているか否かを判定することにより、識別された複数の物品がボール品か否かを判定する。これにより、物品識別装置１０は、撮像画像に含まれる複数の物品が、所定の条件に基づいて纏められた物品か、個別の物品かを判定することができる。

よって、本実施の形態に係る物品識別装置１０によれば、複数の物品が、所定の条件に基づいて纏められた物品の場合に、個々の物品としてではなく、纏められた物品として正確に判定することができる。

よって、本実施の形態に係る物品識別装置１０によれば、識別対象の物品の梱包単位ごとの個数を精度よく識別することできる。

（ハードウェア構成について）
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば、図２１に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２１は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。

また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

例えば、本開示における物品識別装置（１０、１００）は、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）レジスタ等のキャッシュレジスタの近傍に設置されたカメラを含むシステムにも好適に利用できる。この場合、上述した物品識別装置（１０、１００）は、ＰＯＳレジスタに内蔵されることによって実現されてもよい。なお、該ＰＯＳレジスタは、更に計算装置（２０、２００）の機能を備えてもよい。また、物品識別装置（１０、１００）は、ＰＯＳレジスタに、出力装置４００と同様の出力を行わせてもよい。この場合であっても、物品識別装置（１０、１００）は、カメラが商品を撮像することによって得られた撮像画像から、認識された複数の物体が同一物体か否かを判定することにより、該識別対象の物体の個数を精度よく識別することできる。

また、本開示における物品識別装置（１０、１００）および計算装置（２０、２００）は、ＰＯＳレジスタと通信可能なサーバ装置で実現されてもよい。そして、物品識別装置（１０、１００）は、ＰＯＳレジスタに、出力装置４００と同様の出力を行わせてもよい。このように、既に店舗に設置されているＰＯＳレジスタを利用した構成にも、本開示の物品識別装置（１０、１００）および計算装置（２０、２００）を好適に適用することができる。

なお、上述したＰＯＳレジスタとは、店員が操作するキャッシュレジスタに限定されず、精算を顧客が行う分担型のキャッシュレジスタ（セミセルフレジスタ）、レジスタの通過時に店員が介在しない（精算までの一連の作業を顧客のみで行う）キャッシュレジスタ（セルフレジスタ）の何れであってもよい。

上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
撮像画像と物品を識別するための識別用画像との照合を行う照合手段と、
前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する判定手段と、
を備える物品識別装置。

（付記２）
前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
前記判定手段は、識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、
前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
付記１に記載の物品識別装置。

（付記３）
識別された複数の物品は、第１物品と、該第１物品とは異なる第２物品とを含み、
前記判定手段は、（ｉ）前記第１物品の位置に対する第２物品の位置に基づいて、前記第２空間における前記第２物品に関連する前記第１パラメータを用いて前記識別用画像の座標を、前記第２空間の座標に変換し、（ｉｉ）前記変換した座標を、前記第２空間における前記第１物品に関連する前記第１パラメータに基づいて前記第１空間の座標に変換し、（ｉｉｉ）前記第１空間の座標に変換した座標を、前記撮像画像上における前記第１物品に関連する前記第２パラメータを用いて前記撮像画像上の座標に変換し、
該撮像画像上の座標に変換された座標が示す第１領域と、前記撮像画像上における前記第２物品に関連する前記第２パラメータから得られる、前記第２物品の前記撮像画像上における第２領域との重複の度合いを示す重複率が所定の閾値以上の場合、識別された前記複数の物品が、前記纏められた物品であると判定する、
付記２に記載の物品識別装置。

（付記４）
識別された複数の物品は、第１物品と、該第１物品とは異なる第２物品とを含み、
前記判定手段は、前記第２空間における前記第２物品に関連する前記第１パラメータ、前記第２空間における前記第１物品に関連する前記第１パラメータ、および、前記撮像画像上における前記第１物品に関連する前記第２パラメータから得られる値と、前記撮像画像上における前記第２物品に関連する前記第２パラメータとの、所定の指標に基づく類似度に基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
付記２に記載の物品識別装置。

（付記５）
前記判定手段による判定結果を表す情報の出力を制御する出力制御手段を更に備え、
前記出力制御手段は、前記判定結果を示す情報を前記撮像画像に重畳した表示画面を表示部に表示させるよう制御する、
付記１から４の何れか１つに記載の物品識別装置。

（付記６）
前記出力制御手段は、前記判定結果を示す情報を、前記撮像画像における前記纏められた物品または個別の物品に関連付けた前記表示画面を前記表示部に表示させるよう制御する、
付記５に記載の物品識別装置。

（付記７）
撮像画像と物品を識別するための識別用画像との照合を行い、
前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
物品識別方法。

（付記８）
前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、 付記７に記載の物品識別方法。

（付記９）
撮像画像と物品を識別するための識別用画像との照合を行う処理と、
前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する処理と、
をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。

（付記１０）
前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
前記判定する処理は、識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
付記９に記載の記録媒体。

（付記１１）
物品を識別するための識別用画像から、前記物品の特徴を表す特徴情報を抽出する抽出手段と、
前記抽出された特徴情報に基づいて、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する際に、前記第１位置と、該第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える計算装置。

（付記１２）
付記１から６の何れか１つに記載の物品識別装置と、
付記１１に記載の計算装置と、
を備えるシステム。

１ システム
６ システム
１０ 物品識別装置
１２ 照合部
１３ 判定部
２０ 計算装置
２２ 抽出部
２３ 計算部
１００ 物品識別装置
１１０ 第１特徴抽出部
１２０ 照合部
１３０ 判定部
１４０ 出力制御部
２００ 計算装置
２１０ 画像記憶部
２２０ 第２特徴抽出部
２３０ パラメータ計算部
２４０ パラメータ記憶部
３００ 撮像装置
４００ 出力装置

Claims (12)

1. 撮像画像と物品を識別するための識別用画像との照合を行う照合手段と、
   前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する判定手段と、
   を備える物品識別装置。
2. 前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
   前記判定手段は、識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、
   前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
   請求項１に記載の物品識別装置。
3. 識別された複数の物品は、第１物品と、該第１物品とは異なる第２物品とを含み、
   前記判定手段は、（ｉ）前記第１物品の位置に対する第２物品の位置に基づいて、前記第２空間における前記第２物品に関連する前記第１パラメータを用いて前記識別用画像の座標を、前記第２空間の座標に変換し、（ｉｉ）前記変換した座標を、前記第２空間における前記第１物品に関連する前記第１パラメータに基づいて前記第１空間の座標に変換し、（ｉｉｉ）前記第１空間の座標に変換した座標を、前記撮像画像上における前記第１物品に関連する前記第２パラメータを用いて前記撮像画像上の座標に変換し、
   該撮像画像上の座標に変換された座標が示す第１領域と、前記撮像画像上における前記第２物品に関連する前記第２パラメータから得られる、前記第２物品の前記撮像画像上における第２領域との重複の度合いを示す重複率が所定の閾値以上の場合、識別された前記複数の物品が、前記纏められた物品であると判定する、
   請求項２に記載の物品識別装置。
4. 識別された複数の物品は、第１物品と、該第１物品とは異なる第２物品とを含み、
   前記判定手段は、前記第２空間における前記第２物品に関連する前記第１パラメータ、前記第２空間における前記第１物品に関連する前記第１パラメータ、および、前記撮像画像上における前記第１物品に関連する前記第２パラメータから得られる値と、前記撮像画像上における前記第２物品に関連する前記第２パラメータとの、所定の指標に基づく類似度に基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
   請求項２に記載の物品識別装置。
5. 前記判定手段による判定結果を表す情報の出力を制御する出力制御手段を更に備え、
   前記出力制御手段は、前記判定結果を示す情報を前記撮像画像に重畳した表示画面を表示部に表示させるよう制御する、
   請求項１から４の何れか１項に記載の物品識別装置。
6. 前記出力制御手段は、前記判定結果を示す情報を、前記撮像画像における前記纏められた物品または個別の物品に関連付けた前記表示画面を前記表示部に表示させるよう制御する、
   請求項５に記載の物品識別装置。
7. 撮像画像と物品を識別するための識別用画像との照合を行い、
   前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
   を備える物品識別方法。
8. 前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
   識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
   請求項７に記載の物品識別方法。
9. 撮像画像と物品を識別するための識別用画像との照合を行う処理と、
   前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータ、および、前記第１位置と、前記第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する処理と、
   をコンピュータに実行させるプログラム。
10. 前記第２位置は、前記纏められた物品に含まれる各物品の位置であり、
    前記判定する処理は、識別された複数の物品の夫々の位置を第３位置として、前記識別された複数の物品の数の前記第２パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第１パラメータと、複数の前記第２パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
    請求項９に記載のプログラム。
    
11. 物品を識別するための識別用画像から、前記物品の特徴を表す特徴情報を抽出する抽出手段と、
    前記抽出された特徴情報に基づいて、前記識別用画像の画像空間である第１空間における第１位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第２空間における、前記第１位置に対応する第２位置との幾何学関係を表す第１パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する際に、前記第１位置と、該第１位置に対応する、前記撮像画像上の第３位置との間の幾何学関係を表す第２パラメータと共に用いる第１パラメータを計算する計算手段と、を備える計算装置。
12. 請求項１から６の何れか１項に記載の物品識別装置と、
    請求項１１に記載の計算装置と、
    を備えるシステム。

Images