JP2022125884A - 商品情報取得方法および商品情報取得システム - Google Patents

Abstract

【課題】店舗等の管理者が棚における所望の商品の配置状況を視覚的に確認するための情報を取得する。【解決手段】商品情報取得方法には、カメラ５、７により撮影された棚１３の撮影画像を取得する画像取得処理と、撮影画像に含まれる棚札Ｃの画像を読み取ることにより、商品識別情報をそれぞれ取得する情報読取処理と、各商品識別情報およびそれに対応する商品の名称に関する情報の少なくとも一方と、その商品識別情報が取得された撮影画像と、を関連づけた商品検索用情報を記憶する情報記憶処理と、が含まれる。【選択図】図２１

Description

本開示は、棚に並べられた複数の商品の配置状況を確認するための情報を取得する商品情報取得方法および商品情報取得システムに関する。

コンビニエンスストアやスーパーマーケットなどの店舗では、複数の商品が棚に陳列された状態で販売されている。それらの棚では、複数の商品がその同一商品毎に纏まって陳列される。また、棚におけるそれら同一商品のグループの付近には、その商品に関する情報（商品名や価格など）を表示する棚札がそれぞれ設置される。

一方、店舗の管理者（または商品を管理するシステム）は、各種の商品の販売状況や欠品状況などを把握するために、各商品の配置（例えば、各商品がどの棚のどの位置に置かれているか）を管理する必要がある。

そこで、商品の価格やＰＯＰ広告などが表示される表示札（棚札を含む）がそれぞれに割り当てられた札識別情報と商品に関する商品情報とを関連付けて記憶し、カメラにより撮影された表示札の札識別情報に基づいて、その表示札を管理する処理を行うシステムが知られている（特許文献１参照）。このシステムでは、店舗内の全ての表示札に関して、各表示札の札識別情報と表示札の位置情報とを関連付けて記憶する。

特開２０１４－４８７５２号公報

ところで、店舗等の管理者には、所望の商品が棚に配置された状況を、視覚的に確認したいという要望がある。しかし、例えば、広い店内に設置された複数の棚に並べられた商品や、複数の店舗に設置された棚に並べられた商品について、管理者が、その配置状況を視覚的に確認することは容易ではない。

一方、特許文献１に記載された従来技術では、商品に対応して掲示される各表示札の札識別情報と位置情報とを関連付けて記憶するため、管理者は、表示札の位置（延いては、それに対応する商品の位置）を把握できる。

しかしながら、従来技術では、店舗等の管理者が、棚における所望の商品の配置状況を視覚的に確認したいという要望については全く想定されていなかった。

そこで、本開示は、棚における所望の商品の配置状況を管理者が視覚的に確認するための情報を取得する商品情報取得方法および商品情報取得システムを提供することを主な目的とする。

本開示の商品情報取得方法は、棚に並べられた複数の商品の配置状況を確認するための情報を取得する商品情報取得方法であって、前記棚には、同一商品毎に纏められた前記商品のグループに対応して配置され、前記商品に関する商品識別情報を含む複数の棚札が設けられ、カメラにより撮影された前記棚の撮影画像を取得する画像取得処理と、前記撮影画像に含まれる前記棚札の画像を読み取ることにより、前記商品識別情報をそれぞれ取得する情報読取処理と、前記各商品識別情報およびそれに対応する商品の名称に関する情報の少なくとも一方と、その商品識別情報が取得された前記撮影画像と、を関連づけた商品検索用情報を記憶する情報記憶処理と、を含む、構成とする。

また、本開示の商品情報取得システムは、棚に並べられた複数の商品の配置状況を確認するための情報を取得する処理をプロセッサにより実行する商品情報取得システムであって、前記棚には、同一商品毎に纏められた前記商品のグループに対応して配置され、前記商品に関する商品識別情報を含む複数の棚札が設けられ、前記プロセッサは、カメラにより撮影された前記棚の撮影画像を取得し、前記撮影画像に含まれる前記棚札の画像を読み取ることにより、前記商品識別情報をそれぞれ取得し、前記各商品識別情報およびそれに対応する商品の名称に関する情報の少なくとも一方と、その商品識別情報が取得された前記撮影画像と、を関連づけた商品検索用情報を記憶する、構成とする。

本開示によれば、店舗等の管理者が棚における所望の商品の配置状況を視覚的に確認するための情報を取得することが可能となる。

第１実施形態に係る商品情報取得システムの構成図 店舗の内部構成の一例例を示す説明図 陳列棚の構成を示す説明図 棚札の表示例を示す説明図 棚札の撮影時の表示の変形例を示す説明図 商品情報取得装置の構成を示す機能ブロック図 店員カメラによる撮影時のガイド表示の例を示す説明図 １枚の撮影画像に対する画像処理及び情報読取処理の一例を示す説明図 複数枚の撮影画像に対する画像処理及び情報読取処理の一例を示す説明図 棚情報およびそれに関連する世界座標テーブルの一例を示す説明図 世界座標を含む棚情報の一例を示す説明図 商品情報およびそれに関連する商品テーブルの一例を示す説明図 陳列棚における棚札の位置の算出方法を示す説明図 棚札の位置の算出に用いられる補正係数の一例を示す説明図 世界座標を含む商品情報の一例を示す説明図 商品情報取得システムによる商品位置情報の生成処理の流れを示すフロー図 商品配置情報の一例を示す説明図 図１に示した商品情報取得システムの変形例を示す構成図 第２実施形態に係る商品情報取得装置の構成を示す機能ブロック図 第２実施形態に係る商品情報取得システムにおける陳列棚の構成を示す説明図 商品情報取得システムによる商品検索用情報の生成処理の流れを示すフロー図 商品検索用情報の一例を示す説明図 図２２に示した商品検索用情報の変形例を示す説明図

前記課題を解決するためになされた第１の発明は、棚に並べられた複数の商品の配置状況を確認するための情報を取得する商品情報取得方法であって、前記棚には、同一商品毎に纏められた前記商品のグループに対応して配置され、前記商品に関する商品識別情報を含む複数の棚札が設けられ、カメラにより撮影された前記棚の撮影画像を取得する画像取得処理と、前記撮影画像に含まれる前記棚札の画像を読み取ることにより、前記商品識別情報をそれぞれ取得する情報読取処理と、前記各商品識別情報およびそれに対応する商品の名称に関する情報の少なくとも一方と、その商品識別情報が取得された前記撮影画像と、を関連づけた商品検索用情報を記憶する情報記憶処理と、を含む、構成とする。

これによると、棚における所望の商品の配置状況を管理者が視覚的に確認するための情報（商品検索用情報）が取得される。

また、第２の発明は、前記商品識別情報および前記商品の名称に関する情報の少なくとも一方が入力装置に入力されると、その入力された情報に関連づけられた前記撮影画像を前記商品検索用情報から検索する画像検索処理と、前記画像検索処理によって検索された前記撮影画像を表示装置に出力する画像出力処理と、を更に含む、構成とする。

これによると、管理者は、商品情報を入力装置に入力することにより、所望の商品が配置された棚の撮影画像を、表示装置の出力（表示）によって確認することができる。

また、第３の発明は、前記棚には、前記棚の識別情報を含む棚情報表示部が更に設けられ、前記情報読取処理では、前記撮影画像に含まれる前記棚情報表示部の画像から、前記棚の識別情報が読み取られ、前記情報記憶処理では、前記商品情報、前記撮影画像、及び前記棚の識別情報を関連づけた前記商品検索用情報が記憶され、前記画像検索処理では、前記棚の識別情報が前記入力装置に入力されると、その入力された識別情報に関連づけられた前記撮影画像を検索する、構成とする。

これによると、管理者は、所望の商品が配置された棚の識別情報を入力装置に入力することにより、その棚の撮影画像を、表示装置の出力（表示）によって確認することができる。

また、第４の発明は、前記棚の撮影画像には、複数の店舗において撮影された棚の撮影画像が含まれ、前記情報読取処理では、前記棚が撮影された前記店舗の識別情報を取得し、前記情報記憶処理では、前記商品情報、前記撮影画像、及び前記店舗の情報を関連づけた前記商品検索用情報を記憶する、構成とする。

これによると、店舗の管理者は、商品検索情報に基づき、商品が配置された店舗を容易に把握できる。

また、第５の発明は、前記画像取得処理では、撮影条件の異なる複数の前記撮影画像が取得され、前記情報読取処理では、前記複数の撮影画像に含まれる前記棚札の画像が読み取られることにより、前記商品識別情報が取得される、構成とする。

これによると、撮影条件の異なる複数の撮影画像から棚札の画像（場合によっては、棚情報表示部の画像）が読み取られるため、商品識別情報および基準位置の識別情報が安定的に取得される。

また、第６の発明は、前記画像取得処理では、撮影条件の異なる複数の撮影画像が取得され、前記情報読取処理の前に実行される画像処理を更に含み、前記画像処理では、複数の前記撮影画像または前記撮影画像に由来する複数の画像を合成する画像合成処理と、前記撮影画像または前記撮影画像に由来する画像を加工する画像加工処理との少なくとも一方が実行される、構成とする。

これによると、画像合成処理や画像加工処理がなされた画像を情報読取処理において読み取ることにより、画像の読取り精度が向上する。

また、第７の発明は、前記撮影条件には、前記カメラのアングルおよび露光量の少なくとも一方が含まれる、構成とする。

これによると、或る１枚の撮影画像において棚札の画像（場合によっては、棚情報表示部の画像）の一部が光の反射などによって不鮮明になった場合でも、アングルの異なる他の撮影画像から、それらの画像の情報を取得することが可能となる。

また、第８の発明は、前記カメラは、撮影時に被写体を表示するモニタを備え、前記モニタには、前記棚が撮影される際に、前記被写体としての前記棚を納めるべきガイド枠が表示される、構成とする。

これによると、カメラによる棚の撮影を不特定の人が行う場合でも、適切な撮影画像を取得することが可能となる。

また、第９の発明は、前記情報読取処理では、前記棚札の画像の読取りの成否が判定され、前記判定の結果が管理者に報知される、構成とする。

これによると、棚札の画像（場合によっては、棚情報表示部の画像）の読取りの成否を商品の管理者に認識させ、読取りが失敗した場合の対応を管理者に促すことができる。

また、第１０の発明は、前記複数の棚札には、電子棚札が含まれ、前記電子棚札は、前記カメラによる前記棚の撮影時には、非撮影時とは異なる撮影用の画像を表示する、構成とする。

これによると、カメラによる棚の撮影時には、電子棚札に撮影用の画像が表示されるため、情報読取処理における画像の読み取りに適した撮影画像を取得できる。

また、第１１の発明は、前記電子棚札は、前記撮影用の画像において、非撮影時に表示される前記商品識別情報以外の画像の少なくとも一部を非表示とする、構成とする。

これによると、商品識別情報以外の画像を非表示とすることにより、情報読取処理における画像の読み取りに適した撮影画像が取得される。

また、第１２の発明は、前記電子棚札は、前記撮影用の画像として、前記商品識別情報の画像を拡大して表示する、構成とする。

これによると、商品識別情報の画像を拡大して表示することにより、情報読取処理における画像の読み取りに適した撮影画像が取得される。

また、第１３の発明は、前記電子棚札は、前記撮影用の画像として、表示パターンを連続的に切り替えて表示する、構成とする。

これによると、表示パターンを連続的に切り替えて表示することにより、電子棚札の画像表示領域が比較的小さい場合でも、情報読取処理における情報の取得が容易となる。

また、第１４の発明は、棚に並べられた複数の商品の配置状況を確認するための情報を取得する処理をプロセッサにより実行する商品情報取得システムであって、前記棚には、同一商品毎に纏められた前記商品のグループに対応して配置され、前記商品に関する商品識別情報を含む複数の棚札が設けられ、前記プロセッサは、カメラにより撮影された前記棚の撮影画像を取得し、前記撮影画像に含まれる前記棚札の画像を読み取ることにより、前記商品識別情報をそれぞれ取得し、前記各商品識別情報およびそれに対応する商品の名称に関する情報の少なくとも一方と、その商品識別情報が取得された前記撮影画像と、を関連づけた商品検索用情報を記憶する、構成とする。

これによると、棚における所望の商品の配置状況を管理者が視覚的に確認するための情報（商品検索用情報）が取得される。

以下、本開示の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る商品情報取得システム１の構成図である。図２は、店舗３の内部構成の一例を示す説明図である。本実施形態では、商品情報取得システム１が店舗３で販売される商品に適用された例について説明する。

図１に示すように、商品情報取得システム１は、店内カメラ５、店員カメラ７、及び商品情報取得装置９を備える。店内カメラ５、店員カメラ７、及び商品情報取得装置９は、店舗３に設けられた通信ネットワーク１１を介して互いに通信可能である。

店内カメラ５は、店内（特に、陳列棚１３）を常時撮影することによって陳列棚１３の撮影画像（動画像や静止画像）を生成する。店内カメラ５によって撮影された撮影画像は、通信ネットワーク１１を介して商品情報取得装置９に順次送信される。店内カメラ５は、図２に示すように、各陳列棚１３の正面の撮影に適した場所（店舗３の壁や天井など）に複数設置される。店内カメラ５としては、既設の監視カメラが用いられてもよい。

店員カメラ７は、店員１５（図２参照）によって使用される可搬型のカメラである。店員１５は、店員カメラ７を用いて各陳列棚１３を順次撮影することにより、店内カメラ５と同様に陳列棚１３の撮影画像を生成することができる。なお、店員１５が各陳列棚１３を撮影するタイミングや撮影回数は、商品の販売状況などに応じて適宜変更され得る。

店員カメラ７は、ルータ１７を介して通信ネットワーク１１と無線で接続されることにより、陳列棚１３の撮影画像を商品情報取得装置９に送信することができる。また、店員カメラ７は、通信ケーブル２１を介して商品情報取得装置９と通信可能に接続されることにより、陳列棚１３の撮影画像を商品情報取得装置９に送信することもできる。さらに、店員カメラ７は、記憶媒体（USBフラッシュドライブやＳＤメモリーカード等）を介して陳列棚１３の撮影画像を商品情報取得装置９に受け渡すこともできる。

なお、商品情報取得システム１では、少なくとも陳列棚１３の撮影画像を取得できればよく、店内カメラ５および店員カメラ７の一方が省略されてもよい。また、店員カメラ７は、少なくとも人によって操作されるカメラであればよく、カメラの使用者（撮影者）は店員１５に限定されない。

商品情報取得装置９は、パソコンやサーバなどのコンピュータにより構成される。商品情報取得装置９は、プロセッサ、メモリ、及びストレージ等の公知のハードウェアを備える。また、商品情報取得装置９は、店内カメラ５および店員カメラ７から受信した陳列棚１３の撮影画像を記憶する。さらに、商品情報取得装置９は、陳列棚１３の撮影画像を読み取ることにより必要な情報を取得し、それらの取得した情報を記憶する。図２に示すように、商品情報取得装置９は、例えば、店舗３のバックヤード２３に設置される。ただし、商品情報取得装置９は、店舗３の外に設置されてもよい。

また、商品情報取得システム１では、商品情報取得装置９およびカメラ（ここでは、店内カメラ５または店員カメラ７）が一体に構成されてもよい。例えば、店内カメラ５または店員カメラ７は、商品情報取得装置９の全ての機能を果たすように構成されてもよい。これにより、商品情報取得装置９とカメラとの間での通信ネットワーク１１を介した撮影画像等の送受信は不要となる。

陳列棚１３は、店舗３で販売される複数の商品が並べられる棚である。図２に示すように、陳列棚１３は、店内の通路に面するように互いに間隔をおいて複数設置される。各陳列棚１３は、商品情報取得システム１による情報の取得対象である。

図３は、陳列棚１３の構成を示す説明図である。図３には、陳列棚１３を正面から見た構成が示されている。陳列棚１３は、対をなす上壁３１および下壁３３、対をなす左側壁３５および右側壁３６、ならびに複数の棚板３７Ａ－３７Ｄを備える。

上壁３１は、水平方向に延び、その両端が左側壁３５および右側壁３６にそれぞれ連結される。下壁３３についても上壁３１と同様の構成を有する。

左側壁３５は、上下方向に延び、その前面には互いに間隔をおいて複数の位置表示部Ｍ１、Ｍ３、及びＭ５が付設されている。位置表示部Ｍ１、Ｍ３、及びＭ５は、陳列棚１３における予め定められた基準位置（左側壁３５では３カ所）にそれぞれ配置される。また、位置表示部Ｍ１、Ｍ３、及びＭ５は、それぞれ対応する基準位置の識別情報（以下、基準位置ＩＤという。）を含む。本実施形態では、位置表示部Ｍ１、Ｍ３、及びＭ５では、基準位置ＩＤが二次元コード（ここでは、ＱＲコード（登録商標））として示されている。ただし、基準位置ＩＤは、他の態様（例えば、ＪＡＮコード等のバーコード、文字、数字、記号、図形、及びカラーコードなど）で示されてもよい。各基準位置は、少なくとも商品情報取得システム１において空間での座標（世界座標）が既知の位置である。また、各基準位置ＩＤは、位置表示部Ｍ１、Ｍ３、及びＭ５が設置された陳列棚１３を特定するための棚の識別情報としても機能する。

位置表示部Ｍ１、Ｍ３、及びＭ５は、左側壁３５の前面に貼り付けられたシートである。ただし、位置表示部Ｍ１、Ｍ３、及びＭ５は、左側壁３５の前面に印刷された印刷物でもよい。あるいは、位置表示部Ｍ１、Ｍ３、及びＭ５は、左側壁３５の前面に取り付けられ、電子的に書き換え可能な画面を表示する表示デバイスであってもよい。この表示デバイスの構成としては、例えば、後述する棚札Ｃ（図４、図５を参照）を構成する電子棚札と同様である。

右側壁３６は、上下方向に延び、その前面には互いに間隔をおいて複数の位置表示部Ｍ２、Ｍ４、及びＭ６が付設されている。位置表示部Ｍ２、Ｍ４、及びＭ６は、陳列棚１３における予め定められた基準位置（右側壁３６では３カ所）にそれぞれ配置される。位置表示部Ｍ２、Ｍ４、及びＭ６の構成は、上述の位置表示部Ｍ１、Ｍ３、及びＭ５と同様である。位置表示部Ｍ２、Ｍ４、及びＭ６の高さ方向の位置は、それぞれ位置表示部Ｍ１、Ｍ３、及びＭ５の位置と同一であるとよい。例えば、位置表示部Ｍ１の代表位置と位置表示部Ｍ２の代表位置とを結ぶ仮想線（例えば、それぞれの重心を結ぶ線）は水平であるとよい。

陳列棚１３に設置される位置表示部Ｍ１－Ｍ６の数や配置は、適宜変更され得る。ただし、陳列棚１３には、少なくとも２つの位置表示部が設置されることが好ましい。また、撮影画像の座標における位置表示部Ｍ１－Ｍ６の位置の決定が容易なように、前後方向（図３の紙面に垂直な方向）における位置表示部Ｍ１－Ｍ６の位置は、互いに同一であることが好ましい。

各棚板３７Ａ－３７Ｄは、水平方向に延び、その両端を左側壁３５および右側壁３６に支持される。各棚板３７Ａ－３７Ｄの上面側には、商品の配置スペースが形成され、それぞれ複数の商品４０が配置される。それらの商品４０は、同一商品毎にグループとして纏められて（すなわち、互いに近接して）配置される。

各棚板３７Ａ－３７Ｄの前面には、互いに間隔をおいて複数の棚札Ｃ１－Ｃ１０が付設されている。棚札Ｃ１－Ｃ１０は、同一商品毎の商品４０のグループに対応して（すなわち、それらの商品の近傍に）配置される。棚札Ｃ１－Ｃ１０は、それぞれに対応する商品に関する情報として、それらの商品に関する商品識別情報（以下、商品ＩＤという。）を少なくとも含む。

棚札Ｃ１－Ｃ１０は、電子的に書き換え可能な画面を表示する電子棚札である。棚札Ｃ１－Ｃ１０は、無線通信機能を有し、周辺の装置（ここでは、店内カメラ５、店員カメラ７、及び商品情報取得装置９）と通信可能である。ただし、棚札Ｃ１－Ｃ１０は、紙製や樹脂製のカードであってもよい。また、棚札Ｃ１－Ｃ１０は、必ずしも札の形状を有している必要はなく、その表示機能を果たせるものであればよい。

なお、商品情報取得システム１では、棚札Ｃ１－Ｃ１０の一部が、陳列棚１３における基準位置に配置され、かつ基準位置ＩＤを含む位置表示棚として構成されてもよい。これにより、棚札Ｃ１－Ｃ１０の一部が位置表示部Ｍ１－Ｍ６の代わりに用いられ、陳列棚１３に設置される位置表示部Ｍ１－Ｍ６が低減（または省略）される。

前後方向（図３の紙面に垂直な方向）における棚札Ｃ１－Ｃ１０の位置は、位置表示部Ｍ１－Ｍ６の位置と同一であることが好ましい。これにより、撮影画像の座標における棚札Ｃ１－Ｃ１０の位置の決定が容易となる。本実施形態では、位置表示部Ｍ１－Ｍ６が設置される左側壁３５および右側壁３６の前面と、棚札Ｃ１－Ｃ１０が設置される棚板３７Ａ－３７Ｄの前面とは、前後方向における位置が互いに同一となるように形成されている。

なお、陳列棚１３の構成は、図３に示されたものに限定されず、種々の変更が可能である。以下では、位置表示部Ｍ１－Ｍ６を区別する必要がない場合には「位置表示部Ｍ」と総称する。同様に、棚札Ｃ１－Ｃ１０を区別する必要がない場合には「棚札Ｃ」と総称する。

図４は、棚札Ｃの表示例を示す説明図である。図４（Ａ）－（Ｃ）に示すように、電子棚札として構成された棚札Ｃは、その表示画面４３を電子的に書き換え可能である。

本実施形態では、棚札Ｃには商品ＩＤが二次元コード５１（ここでは、ＱＲコード（登録商標））として示される。ただし、商品ＩＤは、他の態様（例えば、ＪＡＮコード等のバーコード、文字、数字、記号、図形など）で示されてもよい。

図４（Ａ）は、商品４０の販売時における棚札Ｃの通常表示の例を示している。表示画面４３には、商品ＩＤの情報を含む二次元コード５１と、各商品４０の名称である商品名（ここでは、オレンジジュース）、及び商品価格（ここでは、１５０円）などが含まれる。店舗３の客は、商品名および商品価格を参照して棚札Ｃに対応する商品を購入することができる。

通常表示の棚札Ｃがカメラ（ここでは、店内カメラ５および店員カメラ７）によって撮影された場合、その棚札Ｃの撮影画像には、二次元コード５１に加え、商品名および商品価格などの情報が含まれる。一方、商品情報取得システム１では、棚札Ｃの撮影画像には、少なくとも商品ＩＤの情報（ここでは、二次元コード５１）が含まれていればよい。

そこで、商品情報取得システム１では、カメラによる撮影時の棚札Ｃの表示画面４３を、図４（Ａ）に示した通常表示（すなわち、非撮影時に表示される画像）から、例えば図４（Ｂ）、（Ｃ）に示す撮影時の表示（すなわち、撮影用の画像）に切り替えることができる。このような表示画面４３の表示の切り替えは、例えば店員１５等が手動で行うことができる。あるいは、周辺の装置（ここでは、店内カメラ５、店員カメラ７、または商品情報取得装置９）が、無線通信により棚札Ｃに対して表示の切り替えを指示する制御指令（制御信号）を送信し、それを棚札Ｃが受信することにより表示画面４３の表示の切り替えが実行されてもよい。

図４（Ｂ）に示す撮影時の表示（限定表示）では、商品ＩＤの情報を含む二次元コード５１のみが表示画面４３に表示され、通常表示に含まれる商品に関する他の情報（ここでは、商品名および商品価格）は表示されない。

このように、非撮影時に表示される画像（ここでは、図４（Ａ）に相当）の少なくとも一部（ここでは、二次元コード５１以外）を非表示とすることにより、後述する情報読取処理（図１６のステップＳＴ１０４を参照）における画像の読み取りに適した撮影画像（棚札Ｃの画像）が取得される。

図４（Ｃ）に示す撮影時の表示（拡大表示）では、商品ＩＤの情報を含む二次元コード５１のみが表示画面４３に拡大表示され、通常表示に含まれるその他の情報は表示されない。

このように、商品ＩＤ（ここでは、二次元コード５１）を拡大して表示することにより、情報読取処理における画像の読み取りに適した撮影画像（棚札Ｃの画像）が取得される。なお、拡大表示された二次元コード５１の周辺の表示画面４３の空きスペースには、商品に関する他の情報（例えば、商品名および商品価格）が含まれてもよい。

図５は、棚札Ｃの撮影時の表示の変形例を示す説明図である。上述の図４（Ｂ）、（Ｃ）では、棚札Ｃの撮影時の表示として、表示画面４３において商品ＩＤの情報（ここでは、二次元コード）が強調される例を示した。一方、商品ＩＤの情報は、表示画面４３に連続的に表示される画像（映像）によって示されてもよい。

図５（Ａ）－（Ｄ）に示すように、棚札Ｃは、カメラによる撮影時には、表示画面４３全体に所定の時間間隔で切り替わる表示パターン（ここでは、表示色）を表示することができる。これにより、後述する情報読取処理（図１６のステップＳＴ１０４を参照）では、表示画面４３の表示パターンの連続画像（ここでは、表示色の時系列的変化）から、その表示パターンに一意的に対応する商品ＩＤの情報が取得される。

このように、表示パターンを連続的に切り替えて表示することにより、棚札Ｃの画像表示領域（すなわち、表示画面４３の画像）のサイズが比較的小さい場合でも、情報読取処理における情報の取得が容易となる。なお、そのような表示パターンが表示される領域は、必ずしも表示画面４３全体である必要はない。また、図５では、（Ａ）－（Ｄ）の４つの表示パターンのみを示したが、これに限らずより多くの表示パターンを表示することができる。さらに、複数の異なる表示色に基づく表示パターンの代わりに、二次元パターンよりも簡易な複数の図形に基づく表示パターンが用いられてもよい。或いは、棚札Ｃの表示（光源）が規定の時間間隔で点滅することによって切り替わる表示パターンが用いられてもよい。

図６は、商品情報取得装置９の構成を示す機能ブロック図である。商品情報取得装置９は、通信部５３、電子媒体読取部５５、入力部（入力装置）５７、表示部（表示装置）５９、記憶部６１、及び制御部６３を備える。

通信部５３は、通信ネットワーク１１に接続可能なネットワークインタフェース（図示せず）を備え、他の装置（ここでは、店内カメラ５、店員カメラ７）と有線通信を実行する。ただし、通信部５３は、公知の無線通信規格に準拠して通信ネットワーク１１（ルータ１７）に接続されることにより、他の装置との無線通信を実行してもよい。その場合、通信部５３は、他の装置との無線通信を行うためのアンテナ、モデム、及び無線通信回路などの公知のハードウェア（図示せず）を有する。また、通信部５３は、通信ケーブル２１が接続されるインタフェースを備える。

電子媒体読取部５５は、記憶媒体（USBフラッシュドライブやＳＤメモリーカード等）を接続可能なインタフェースを備える。また、電子媒体読取部５５は、記憶媒体のデータの読み出しおよび記憶媒体へのデータの書き込みを行うリーダライタとして機能し得る。

入力部５７は、ユーザ（ここでは、商品情報取得システム１の管理者または店員１５）の入力操作を受け付けるキーボードやタッチパネルなどの入力装置を含み、公知のハードウェアを備える。

表示部５９は、液晶ディスプレイなどの表示装置を含み、公知のハードウェアを備える。表示部５９は、入力部５７と共にタッチパネルによって構成されてもよい。

記憶部６１は、ＨＤＤやＳＳＤなどの記憶装置を含む。記憶部６１には、陳列棚１３に関する情報（以下、棚情報という。図１０（Ａ）、図１１を参照。）７１、商品４０に関する情報（以下、商品情報という。図１２（Ａ）、図１５を参照。）７３、商品配置情報７５（図１７を参照）、及び棚・商品管理情報７７などが記憶される。棚・商品管理情報７７は、世界座標テーブル（図１０（Ｂ）を参照）、商品テーブル（図１２（Ｂ）を参照）、及び商品位置の算出に用いられる補正係数の情報（図１４を参照）などを含む。

制御部６３は、画像取得部８１、画像処理部８３、情報読取部８５、商品位置算出部８７、及び商品配置情報生成部８９を有する。

画像取得部８１は、カメラ（ここでは、店内カメラ５、店員カメラ７）により生成された陳列棚１３の撮影画像を、通信部５３を介して取得するための処理（画像取得処理）を実行する。

画像処理部８３は、取得された撮影画像に対する画像処理を実行する。画像処理には、複数フレーム超解像処理やＨＤＲ（High Dynamic Range imaging）処理などを含む複数の撮影画像に対する画像合成処理が含まれる。また、画像処理には、フレーム内超解像処理、ＨＤＲ処理、エッジ強調処理、拡大縮小処理、画像復元フィルタによる処理、及びノイズ除去処理などを含む１枚の撮影画像に対する画像加工処理が含まれる。さらに、画像処理では、それら画像合成処理や画像加工処理と共に、コントラス補正、明るさ補正、色補正、ガンマ補正、及びモノクロ画像への変換などの画像補正処理が実行され得る。このような画像処理により、情報読取部８５による撮影画像の読取りの精度が向上する。

なお、取得される撮影画像が良好である場合（すなわち、情報読取部８５による撮影画像の読取りに支障がない場合）には、画像処理部８３による画像処理は省略されてもよい。

情報読取部８５は、撮影画像に含まれる棚札Ｃの画像および位置表示部Ｍの画像を読み取ることにより、商品ＩＤおよび基準位置ＩＤをそれぞれ取得する処理（情報読取処理）を実行する。このとき、情報読取部８５は、公知の画像認識技術に基づき、撮影画像全体から棚札Ｃの画像および位置表示部Ｍの画像を認識（検出）することができる。また、情報読取部８５は、撮影画像に付加された画像名（撮影画像のファイル名）や撮影日時の情報を取得する。さらに、情報読取部８５は、撮影画像の座標に基づき、棚札Ｃの画像の位置情報（Ｘ座標、Ｙ座標）および位置表示部Ｍの画像の位置情報（Ｘ座標、Ｙ座標）をそれぞれ取得する。

後述するように、画像処理部８３および情報読取部８５は、１枚または複数枚の撮影画像（または映像フレーム）を処理することができる。

商品位置算出部８７は、撮影画像における棚札Ｃの画像および位置表示部Ｍの画像の位置関係から、各棚札Ｃの位置をそれに対応する商品４０（より厳密には、同一商品のグループ）の位置として算出する処理（位置算出処理）を実行する。

商品配置情報生成部８９は、商品４０の配置に関する情報として、商品情報７３（商品ＩＤを含む）、棚札Ｃの位置（商品４０の位置に相当）の情報、及び棚情報７１（基準位置ＩＤを含む）が関連づけられた商品配置情報７５を記憶部６１に記憶する処理（情報記憶処理）を実行する。

制御部６３は、ハードウェアとしての１以上のプロセッサ（ＣＰＵ、ＧＰＵなど）を含む。制御部６３の各機能は、所定の制御プログラムをプロセッサが実行することで実現される。また、制御部６３は、上述の各部の処理に限らず、商品情報取得装置９の動作を統括的に制御することができる。

図７は、店員カメラ７による撮影時のガイド表示の例を示す説明図である。商品情報取得システム１では、陳列棚１３の撮影時に店員カメラ７のモニタ９０にガイド表示が出力される。

図７（Ａ）に示す例では、ガイド表示として陳列棚１３を納めるべきガイド枠９１がモニタ９０に表示される。また、モニタ９０には、ガイド表示としてガイド枠９１に関する撮影者への案内９２が表示される。撮影者は、ガイド表示に従って陳列棚１３全体をガイド枠９１内に収めるように撮影を行うことにより、棚札Ｃや位置表示部Ｍが確実にフレーム（すなわち、撮影画像）に収められる。これにより、カメラによる棚の撮影を不特定の人（例えば、複数の店員１５）が行う場合でも、画像の読み取りに適した撮影画像を取得することが可能となる。

なお、陳列棚１３の大きさによっては、その全体をガイド枠９１内に収めた場合に、撮影画像中の棚札Ｃや位置表示部Ｍの画像のサイズが小さくなって、画像の読み取りに適さない場合がある。したがって、モニタ９０には、撮影者への案内９２として陳列棚１３の一部（棚札Ｃおよび位置表示部Ｍを含む部位）をガイド枠９１内に収めるべきであることが示されてもよい。その場合、撮影者が１つの陳列棚１３における複数の部位をそれぞれ個別に撮影することで、陳列棚１３における全ての棚札Ｃおよび位置表示部Ｍが、複数枚の撮影画像のいずれかに含まれるようにしてもよい。

図７（Ｂ）に示す例では、ガイド表示としてアングルを変更した撮影を撮影者に促す案内９３がモニタ９０に表示される。撮影者は、案内９３に従ってアングルを変更して撮影を行うことにより、アングルの異なる複数の撮影画像が得られる。これにより、カメラによる棚の撮影を不特定の人が行う場合でも、アングルの異なる複数の撮影画像を容易に取得することが可能となる。

このようなガイド表示は、例えば、店員カメラ７に予めインストールされたアプリケーションプログラムに従って実行される。なお、店内に固定された店内カメラ５の場合には、パン、チルトの動作によりアングルが変更され得る。

図８は、１枚の撮影画像に対する画像処理及び情報読取処理の一例を示す説明図である。商品情報取得装置９は、撮影画像に対する画像処理の内容および情報読取処理の回数（ここでは、処理対象の画像の数に相当）を適宜変更することができる。

図８（Ａ）に示す例では、１枚の撮影画像に対して画像加工処理および画像合成処理が順次実行され、その合成処理された画像に対して情報読取処理が実行される。

画像加工処理では、１枚の撮影画像に対してそれぞれ異なる条件の画像補正（コントラス補正、明るさ補正、及び色補正など）を複数回実行することにより、複数枚の画像（以下、補正画像という。）が生成される。さらに、それら補正画像に対してフレーム内超解像処理、ＨＤＲ処理、エッジ強調処理、拡大縮小処理、画像復元フィルタによる処理、及びノイズ除去処理などが必要に応じて実行されることにより、最終的に複数枚の画像（以下、加工画像という。）が生成される。

次の画像合成処理では、複数枚の加工画像から１以上の画像グループ（２以上の加工画像が含まれる）が形成され、各画像グループに対して処理が実行される。この画像合成処理によって１以上の画像（以下、合成画像という。）が生成される。

その後の情報読取処理では、各合成画像に対して処理が実行される。したがって、合成画像がＫ枚（Ｋは１以上の整数）である場合、Ｋ回の情報読取処理が実行される。各情報読取処理では、複数の棚札Ｃの画像および複数の位置表示部Ｍの画像のうちの少なくとも一部が読み取れない場合がある。そこで、商品情報取得装置９では、必要に応じて情報読取処理の回数Ｋ（すなわち、合成画像の数）を増やすように画像処理の内容を変更することにより、複数の合成画像からより多くの棚札Ｃの画像および位置表示部Ｍを読み取れるようになる。

商品情報取得装置９では、Ｋ回の情報読取処理に基づく最大の情報が取得される。つまり、商品情報取得装置９が１枚の撮影画像から得る情報（ここでは、基準位置ＩＤや商品ＩＤの情報）は、Ｋ回の情報読取処理で読み取られた全ての情報から重複する情報を排除したものである。

図８（B）に示す例では、１枚の撮影画像に対して画像加工処理が実行され、それにより生成された加工画像に対して情報読取処理が実行される。

画像加工処理では、図８（Ａ）の場合と同様に、複数枚の加工画像が生成される。その後の情報読取処理では、各加工画像に対して処理が実行される。したがって、加工画像がＫ枚である場合、Ｋ回の情報読取処理が実行される。また、商品情報取得装置９では、図８（Ａ）の場合と同様に、必要に応じて情報読取処理の回数を増やすように画像処理の内容を変更することができる。

図９は、複数枚の撮影画像に対する画像処理及び情報読取処理の一例を示す説明図である。以下で特に言及しない事項については、図８の場合と同様である。

情報読取処理の対象となる複数枚の撮影画像は、撮影条件の異なる複数枚の撮影画像である。撮影条件には、例えば、上述のようなカメラのアングルや、露光量、被写体のサイズ（ズーム倍率）などが含まれる。撮影条件としてアングルを変更した場合には、或る１枚の撮影画像において棚札Ｃの画像または位置表示部Ｍの画像の一部が光の反射などによって不鮮明になった場合でも、アングルの異なる他の撮影画像から、それらの画像の情報を取得できる可能性が高まる。

図９（Ａ）に示す例では、複数枚（Ｎ枚：Ｎは２以上の整数）の撮影画像に対して画像合成処理が実行され、それにより生成された合成画像に対して情報読取処理が実行される。

画像合成処理では、複数枚の撮影画像から１以上の画像グループが形成され、各画像グループに対して処理が実行される。この画像合成処理によって１以上の合成画像が生成される。その後の情報読取処理では、各合成画像に対して処理が実行される。

図９（Ｂ）に示す例では、複数枚（Ｎ枚）の撮影画像に対して画像加工処理が実行され、それにより生成された加工画像に対して情報読取処理が実行される。

画像加工処理では、複数枚の撮影画像に対して上述と同様の処理が必要に応じて実行されることにより、複数枚の加工画像が生成される。ここでは、撮影画像と同数（Ｎ枚）の加工画像が生成される。その後の情報読取処理では、各加工画像に対して処理が実行される。

図９（Ｃ）に示す例では、複数枚（Ｎ枚）の撮影画像に対して画像合成処理および画像加工処理が順次実行され、それにより生成された加工画像に対して情報読取処理が実行される。

画像合成処理では、図９（Ａ）の場合と同様に、複数枚の撮影画像から１以上の画像グループが形成され、各画像グループに対して処理が実行される。この画像合成処理によって１以上の合成画像が生成される。次の画像加工処理では、各合成画像に対して上述と同様の処理が必要に応じて実行されることにより、１以上の加工画像が生成される。その後の情報読取処理では、各加工画像に対して処理が実行される。

図９（Ｄ）に示す例では、複数枚（Ｎ枚）の撮影画像に対して画像加工処理および画像合成処理が順次実行され、それにより生成された合成画像に対して情報読取処理が実行される。

画像加工処理では、図９（Ｂ）の場合と同様に、複数枚（Ｎ枚）の加工画像が生成される。次の画像合成処理では、複数枚の加工画像から１以上の画像グループが形成され、各画像グループに対して処理が実行される。この画像合成処理によって１以上の合成画像が生成される。その後の情報読取処理では、各合成画像に対して処理が実行される。

図９（Ｅ）に示す例では、複数枚（Ｎ枚）の撮影画像に対して１回目の画像加工処理、画像合成処理、及び２回目の画像加工処理が順次実行され、それにより生成された加工画像に対して情報読取処理が実行される。

１回目の画像加工処理では、図９（Ｂ）の場合と同様に、複数枚（Ｎ枚）の加工画像が生成される。続く画像合成処理では、複数枚の加工画像から１以上の画像グループが形成され、各画像グループに対して処理が実行される。この画像合成処理によって１以上の合成画像が生成される。次の２回目の画像加工処理では、１以上の合成画像に対して、１回目の画像加工処理と同様の処理が実行される。この画像加工処理によって１以上の加工画像が生成される。その後の情報読取処理では、各加工画像に対して処理が実行される。

図１０は、棚情報７１およびそれに関連する世界座標テーブルの一例を示す説明図である。図１１は、世界座標を含む棚情報７１の一例を示す説明図である。

棚情報７１は、陳列棚１３の撮影画像から読み取られた情報に基づき、各位置表示部Ｍ１－Ｍ６について順次生成され、記憶部６１に記憶される。図１０（Ａ）に示すように、棚情報７１には、各位置表示部Ｍ１－Ｍ６にそれぞれ対応する基準位置ＩＤ、ならびに各基準位置ＩＤに関連づけられたＸ座標（画像内）、Ｙ座標（画像内）、画像名、及び撮影日時などの情報が含まれる。

基準位置ＩＤは、撮影画像に含まれる位置表示部Ｍ１－Ｍ６の画像からそれぞれ読み取られる。Ｘ座標（画像内）及びＹ座標（画像内）は、撮影画像の座標に基づき取得された各位置表示部Ｍ１－Ｍ６（代表位置）のＸ座標およびＹ座標の値である。画像名および撮影日時は、それぞれ撮影画像に付加されたファイル名および撮影日時の情報である。

世界座標テーブルは、各位置表示部Ｍ１－Ｍ６の関連情報であり、情報読取処理が実行される前に棚・商品管理情報７７として記憶部６１に記憶される。図１０（Ｂ）に示すように、世界座標テーブルには、基準位置ＩＤ、Ｘ座標（世界座標）およびＹ座標（世界座標）、店舗番号、棚ロケーション番号、及びカテゴリー番号などの情報が含まれる。棚ロケーション番号は、陳列棚１３が配置される店内のエリアの識別子である。カテゴリー番号は、陳列棚１３が設置された店舗３の識別子である。

世界座標テーブルの各情報は、基準位置ＩＤによって各位置表示部Ｍ１－Ｍ６に関する棚情報７１と対応づけられる。例えば、世界座標テーブルにおける基準位置ＩＤ「Ｓｈｅｌｆ０１ａ」は、位置表示部Ｍ１に関する棚情報７１の基準位置ＩＤと一致する。この基準位置ＩＤの一致は、位置表示部Ｍ１が、基準位置ＩＤ「Ｓｈｅｌｆ０１ａ」に関連づけられたＸ座標（世界座標）およびＹ座標（世界座標）「（１０００，２０００）」の基準位置に設置されたことを示す。またこれは、位置表示部Ｍ１が、基準位置ＩＤ「Ｓｈｅｌｆ０１ａ」に関連づけられた店舗番号「１００」の店舗に置かれた陳列棚１３に設置されたことを示す。またこれは、位置表示部Ｍ１が設置された陳列棚１３の棚ロケーション番号が「Ａ１０」であることを示す。さらにこれは、位置表示部Ｍ１が設置された店舗のカテゴリー番号が「３０９」であることを示す。なお、世界座標テーブルにおける他の基準位置ＩＤ（Ｓｈｅｌｆ０２ａ等）と関連づけられた情報についても同様である。

棚情報７１は、上述のような世界座標テーブルと対応づけられることにより、図１１に示すように、世界座標を含む情報として更新される。

図１２は、商品情報７３およびそれに関連する商品テーブルの一例を示す説明図である。

商品情報７３は、陳列棚１３の撮影画像から読み取られた情報に基づき、各棚札Ｃ１－Ｃ１０について順次生成され、記憶部６１に記憶される。図１２（Ａ）に示すように、商品情報７３には、各棚札Ｃ１－Ｃ１０にそれぞれ対応する商品ＩＤ、ならびに各商品ＩＤに関連づけられたＸ座標（画像内）、Ｙ座標（画像内）、画像名、ならびに撮影日時などの情報が含まれる。

商品ＩＤは、撮影画像に含まれる棚札Ｃ１－Ｃ１０の画像からそれぞれ読み取られる。Ｘ座標（画像内）及びＹ座標（画像内）は、撮影画像の座標に基づき取得された棚札Ｃ１－Ｃ１０（代表位置）のＸ座標およびＹ座標の値である。画像名および撮影日時は、それぞれ撮影画像に付加されたファイル名および撮影日時の情報である。

商品テーブルは、各商品４０の関連情報であり、情報読取処理が実行される前に棚・商品管理情報７７として記憶部６１に記憶される。図１２（Ｂ）に示すように、商品テーブルには、商品ＩＤ、ならびに各商品ＩＤに関連づけられた商品名、カテゴリー番号、及びカテゴリー名などの情報が含まれる。カテゴリー番号およびカテゴリー名は、それぞれ各商品４０が属するカテゴリーの識別子および名称である。商品テーブルには、さらに商品ＩＤに関連づけられた店舗３の識別情報が含まれてもよい。

商品テーブルの各情報は、商品ＩＤによって各棚札Ｃ１－Ｃ１０に関する商品情報と対応づけられる。例えば、商品テーブルにおける商品ＩＤ「Ｆ７１４ＡＣＣ０」は、棚札Ｃ１に関する商品情報７３の商品ＩＤと一致する。この商品ＩＤの一致は、棚札Ｃ１に対応する商品が、商品ＩＤ「Ｆ７１４ＡＣＣ０」に関連づけられた商品名「オレンジジュース」、カテゴリー番号「１０１」、及びカテゴリー名「飲料」に関するものであることを示す。

図１３は、陳列棚１３における棚札Ｃの位置の算出方法を示す説明図である。図１４は、棚札Ｃの位置の算出に用いられる補正係数の一例を示す説明図である。図１５は、世界座標を含む商品情報の一例を示す説明図である。

上述のように、各位置表示部Ｍが設置された位置（基準位置）は予め定められている（すなわち、世界座標の値が既知である）。そこで、商品情報取得装置９は、撮影画像における棚札Ｃの画像および位置表示部Ｍの画像の位置関係から、棚札Ｃの位置をそれに対応する商品の位置（世界座標）として算出することができる。

図１３では、撮影画像における棚札Ｃ２（ここでは、二次元コード５１）の画像の位置が、位置表示部Ｍ１、Ｍ２の画像の位置との関係から算出される例が示されている。

位置表示部Ｍ１、Ｍ２は、実際には図３に示したように水平方向に並んで設置されているが、図１３では、撮影画像が水平方向に対して傾いて生成された（すなわち、水平方向に対して傾いたカメラで撮影された）例が示されている。

商品情報取得装置９（商品位置算出部８７）は、撮影画像における位置表示部Ｍ１（代表位置）および位置表示部Ｍ２（代表位置）の間の距離Ｌ１を、図１４に示された補正係数（距離補正）を用いて（ここでは、補正係数を乗じて）世界座標における距離Ｌ１ｗに補正することができる。この補正係数（距離補正）は、世界座標に基づき算出された位置表示部Ｍ１および位置表示部Ｍ２の間の距離と、撮影画像の座標に基づき算出された位置表示部Ｍ１および位置表示部Ｍ２の間の距離の比から求められたものである。同様に、商品情報取得装置９は、撮影画像における位置表示部Ｍ１（代表位置）および棚札Ｃ２（代表位置）の間の距離Ｌ２を、図１４に示された補正係数（距離補正）を用いて世界座標における距離Ｌ２ｗに補正することができる。

また、商品情報取得装置９は、撮影画像における位置表示部Ｍ１および位置表示部Ｍ２を結ぶ直線と水平ラインとがなす角度α、及び位置表示部Ｍ１および棚札Ｃ２を結ぶ直線と水平ラインとがなす角度βとを算出することができる。

この場合、撮影時の陳列棚１３に対するカメラの傾きによっては、画像内の角度α、βが実際の空間における角度とは異なる場合がある。そこで、商品情報取得装置９は、例えば、図１４に示された補正係数（角度補正）を用いてそれらの角度を補正することができる。この補正係数（角度補正）については、カメラから得られるカメラ本体の傾き情報や、撮影画像における位置表示部Ｍ１またはＭ２と垂直方向に並べられた位置表示部（例えば、位置表示部Ｍ３またはＭ４）との位置関係などに基づき算出可能である。

これにより、商品情報取得装置９は、撮影画像における位置表示部Ｍ１（代表位置）および棚札Ｃ２（代表位置）の間の世界座標における距離Ｌ２ｗと、位置表示部Ｍ１および位置表示部Ｍ２を結ぶ直線と位置表示部Ｍ１および棚札Ｃ２を結ぶ直線とがなす角度α＋βから、位置表示部Ｍ１および位置表示部Ｍ２の世界座標に基づき、棚札Ｃ２の世界座標を算出することができる。この棚札Ｃ２の世界座標は、それに対応する商品４０（より厳密には同一商品のグループ）の位置と見做すことができる。

このように、商品情報取得装置９は、１つの撮影画像から、少なくとも１つの棚札Ｃの画像および２以上の位置表示部Ｍの画像が読み取られた場合にのみ、位置算出処理を実行するとよい。これにより、撮影画像の座標と世界座標とを対応づける処理が簡易となり、棚札Ｃの位置を容易に算出することができる。

なお、商品情報取得装置９は、各撮像画像に含まれる各棚札Ｃの画像の位置について、上述と同様の方法により、それと同じ撮像画像に含まれる位置表示部Ｍとの関係から算出できる。

商品情報７３は、上述のように算出された棚札Ｃの世界座標が算出されると、図１５に示すように、その世界座標（すなわち、商品位置情報）を含む情報として更新される。

図１６は、商品情報取得システム１による商品配置情報の生成処理の流れを示すフロー図である。図１７は、商品配置情報の一例を示す説明図である。

まず、カメラ（ここでは、店内カメラ５または店員カメラ７）によって陳列棚１３の撮影画像が生成されると（ＳＴ１０１）、商品情報取得装置９は、その撮影画像を取得する（ＳＴ１０２）。

次に、商品情報取得装置９は、カメラから取得された撮影画像に対する画像処理を実行する（ＳＴ１０３）。ただし、この画像処理は省略されてもよい。

続いて、商品情報取得装置９は、撮影画像に含まれる棚札Ｃの画像および位置表示部Ｍの画像を読み取ることにより、商品ＩＤおよび基準位置ＩＤをそれぞれ取得する（ＳＴ１０４）。このとき、商品情報取得装置９は、撮影画像に付加された画像名や撮影日時の情報も取得することができる。

なお、ステップＳＴ１０４の情報読取処理では、商品情報取得装置９は、撮影画像から必要な情報（基準位置ＩＤや商品ＩＤなど）が読み取られたか否かを判定し、その判定の結果を管理者に報知することができる。例えば、商品情報取得装置９は、情報読取処理の成否の判定の結果を、表示部５９に表示することにより、管理者に報知することができる。これにより、棚札Ｃの画像および位置表示部Ｍの画像の読取りの成否を商品の管理者に認識させ、読取りが失敗した場合の対応を管理者に促すことができる。

その後、商品情報取得装置９は、ステップＳＴ１０４で取得された基準位置ＩＤおよび商品ＩＤ等に基づき、棚情報７１および商品情報７３を生成する（ＳＴ１０５）。

次に、商品情報取得装置９は、撮影画像における棚札Ｃの画像および位置表示部Ｍの画像の位置関係から、各棚札Ｃの位置をそれに対応する商品４０の位置として算出する（ＳＴ１０６）。そこで算出された各棚札Ｃの位置の情報（世界座標）は、商品情報７３に追加される。

その後、商品情報取得装置９は、棚情報７１および棚札Ｃの位置の情報を含む商品情報７３から商品配置情報を生成する（ＳＴ１０７）。商品配置情報には、例えば図１７に示すように、棚札Ｃの位置の算出に用いた２以上の位置表示部Ｍの棚情報と、それに対応する棚札Ｃに関する商品情報が含まれる。商品情報取得装置９は、生成した商品配置情報を、記憶部６１に記憶する（ＳＴ１０８）。

このように、商品情報取得システム１では、棚札Ｃおよび位置表示部Ｍを含む陳列棚１３の撮影画像を読み取ることにより、商品ＩＤ、棚札Ｃの位置の情報、及び棚の識別情報としても機能する基準位置ＩＤが関連づけられた商品配置情報を取得するため、棚に並べられた商品の配置に関する情報（各商品がどの棚のどの位置に置かれているかを示す情報）を取得するための作業負荷が軽減される。

図１８は、図１に示した商品情報取得システム１の変形例を示す構成図である。図１８では、上述の第１実施形態に係る商品情報取得システム１と同様の構成要素に同一の符号が付されている。変形例について以下で特に言及しない事項については、上述の第１実施形態と同様である。

図１８に示すように、変形例に係る商品情報取得システム１では、インターネット１００を介して商品情報取得装置９と通信可能に接続された複数の店舗３（店内カメラ５または店員カメラ７）が設置されている。それらの店舗３の店内カメラ５または店員カメラ７によって撮影された撮影画像は、インターネット１００を介して商品情報取得装置９に順次送信される。また、撮影画像が撮影された店舗３に関する識別情報（例えば、店舗３の識別子や名称）が、店舗３（すなわち、店内カメラ５、店員カメラ７、または店舗３で使用されるコンピュータなど）から商品情報取得装置９に順次送信される。

このような構成により、変形例に係る商品情報取得システム１では、１つの商品情報取得装置９が、複数の店舗３にそれぞれ設置された陳列棚１３の撮影画像を順次取得し、各店舗３についてそれぞれ商品配置情報を取得することができる。

（第２実施形態）
図１９は、第２実施形態に係る商品情報取得システムにおける商品情報取得装置９の構成を示す機能ブロック図である。図２０は、第２実施形態に係る商品情報取得システムにおける陳列棚１３の構成を示す説明図である。第２実施形態に関する図では、第１実施形態（変形例を含む）と同様の構成要素について同一の符号が付されている。また、第２実施形態に係る商品情報取得システムについて、以下で特に言及しない事項については、第１実施形態（変形例を含む）と同様である。

第２実施形態に係る商品情報取得システムでは、図２０に示すように、陳列棚１３には、第１実施形態と同様に棚札Ｃ１－Ｃ１０が設置される。一方、この陳列棚１３には、上述の位置表示部Ｍは必須ではなく、陳列棚１３の識別情報（以下、棚ＩＤという。）を含む棚情報表示部Ｓが必要に応じて設置される。

棚情報表示部Ｓにおいて、棚ＩＤは、位置表示部Ｍと同様の二次元コード（ここでは、ＱＲコード（登録商標））として示されている。一方、棚情報表示部Ｓは、位置表示部Ｍのように基準位置に配置される必要はなく、カメラによる撮影が容易なように陳列棚１３の前面の適所に設置される。図２０では、１つの棚情報表示部Ｓのみが示されているが、棚情報表示部Ｓの数や配置は適宜変更され得る。

商品情報取得装置９において、制御部６３の情報読取部８５は、撮影画像に含まれる棚札Ｃの画像を読み取ることにより、商品ＩＤを取得する処理（情報読取処理）を実行する。また、陳列棚１３に棚情報表示部Ｓが設置されている場合、情報読取部８５は、棚情報表示部Ｓの画像を読み取ることにより、棚ＩＤを取得することもできる。さらに、情報読取部８５は、情報読取処理において、撮影画像の画像名や撮影日時の情報を取得することができる。

また、制御部６３は、商品検索用情報生成部９５を有する。商品検索用情報生成部９５は、商品ＩＤおよびそれが取得された撮影画像を関連づけた商品検索用情報９６を生成する。生成された商品検索用情報は、記憶部６１に記憶される。

図２１は、商品情報取得システムによる商品検索用情報９６の生成処理の流れを示すフロー図である。図２２は、商品検索用情報９６の一例を示す説明図である。図２３は、図２２に示した商品検索用情報９６の変形例を示す説明図である。

ここで、ステップＳＴ２０１－ＳＴ２０３は、図１６に示したステップＳＴ１０１－ＳＴ１０３とそれぞれ同様である。続いて、商品情報取得装置９は、撮影画像に含まれる棚札Ｃの画像を読み取ることにより、商品ＩＤを取得する（ＳＴ２０４）。このとき、商品情報取得装置９は、撮影画像に付加された画像名や撮影日時の情報も取得することができる。

その後、商品情報取得装置９は、ステップＳＴ２０４で取得された商品ＩＤ等に基づき、商品情報を生成する（ＳＴ２０５）。ステップＳＴ２０５で生成される商品情報は、図１２に示された商品情報７３からＸ座標（画像内）及びＹ座標（画像内）の情報が除かれたものに相当する。

次に、商品情報取得装置９は、商品名および商品ＩＤを含む商品情報およびそれが取得された撮影画像を関連づけた商品検索用情報９６を生成する（ＳＴ２０６）。商品検索用情報９６には、例えば図２２に示すように、各棚札Ｃに関連づけられた商品ＩＤ、撮影画像の画像名、撮影画像の撮影日時、及び商品名などの情報が含まれる。商品検索用情報９６には、さらに店舗３の識別情報が含まれてもよい。商品情報取得装置９は、生成した商品検索用情報９６を、記憶部６１に記憶する（ＳＴ２０７）。

管理者は、商品検索用情報９６に基づき、所望の商品の撮影画像を検索することができる。例えば、管理者が、商品情報取得装置９の入力部５７に商品ＩＤや商品名を入力する（または管理者によって使用されるコンピュータなどの装置が商品名の情報を提供する）ことにより、商品情報取得装置９が、その入力された商品名や商品ＩＤに対応する撮影画像を商品検索用情報９６から検索することができる。商品情報取得装置９は、検索した撮影画像を表示部５９に出力（表示）することが可能である。

これにより、管理者は、陳列棚１３における所望の商品４０の配置状況を視覚的に確認することができる。なお、このような商品の撮影画像の検索処理は、必ずしも商品情報取得装置９で実行される必要はなく、商品検索用情報９６を記憶した他の情報処理装置において実行されてもよい。

商品検索用情報９６には、管理者が所望の商品の撮影画像を検索するための商品識別情報として使用可能な情報が少なくとも１つ含まれていればよい。ここでは、各商品４０の商品ＩＤと同様に、商品名が商品識別情報として用いられ得る。

また、陳列棚１３に棚情報表示部Ｓが設置されている場合、ステップＳＴ２０４では、商品ＩＤと共に棚ＩＤが取得される。その後、ステップＳＴ２０６では、商品名および商品ＩＤを含む商品情報、それが取得された撮影画像、ならびに棚ＩＤが関連づけられた商品検索用情報９６が生成される。

この場合、商品検索用情報９６には、例えば図２３に示すように、各棚札Ｃに関連づけられた商品ＩＤ、撮影画像の画像名、撮影画像の撮影日時、及び商品名などに加え、棚ＩＤの情報が含まれる。これにより、例えば、管理者が、商品情報取得装置９の入力部５７に棚ＩＤを入力することにより、商品情報取得装置９が、その入力された棚ＩＤに対応する撮影画像を商品検索用情報９６から検索することができる。

商品検索用情報９６には、さらに店舗３の識別情報が含まれてもよい。また、商品検索用情報９６としては、例えば、商品ＩＤや商品名などの情報を、Ｅｘｉｆ（Exchangeable image file format）情報や電子透かし情報として撮影画像に対して付加したものであってもよい。

なお、上述の例では、第２実施形態に係る商品情報取得システムにおいて、第１実施形態に係る商品情報取得システム１の構成要素の一部が省略されている。ただし、これに限らず、第２実施形態に係る商品情報取得システムが、第１実施形態に係る商品情報取得システム１の全ての構成要素を含んでもよい。

その場合、図３に示した位置表示部Ｍを含む陳列棚１３が撮影対象として用いられる。基準位置ＩＤは、各陳列棚１３を特定するための棚の識別情報（棚ＩＤ）としても利用される。また、図６に示した商品情報取得装置９では、制御部６３の商品配置情報生成部８９は、商品検索用情報生成部９５としての機能も有する。さらに、記憶部６１に記憶される商品配置情報７５（図１７参照）には、商品検索用情報９６と同様の情報が含まれ（対応する商品名が付加され）、それが商品検索用に利用される。

以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。

例えば、上述の実施形態では、商品情報取得システム１による情報取得の対象となる商品が、店舗３に設置された陳列棚１３に配置された例を示したが、商品が並べられる棚は、店舗３の陳列棚１３に限定されない。例えば、情報取得の対象となる商品は、商品倉庫に設置された棚に並べられてもよい。また、情報取得の対象となる商品は、顧客に直接販売される物品に限らず、顧客に販売される物品の一部（例えば、販売される製品を構成する部品）であってもよい。

上記実施の形態に示した本開示に係る商品情報取得方法および商品情報取得システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本開示に係る商品情報取得方法および商品情報取得システムは、店舗等の管理者が棚における所望の商品の配置状況を視覚的に確認するための情報を取得する効果を有し、棚に並べられた複数の商品の配置状況を確認するための情報を取得する商品情報取得方法および商品情報取得システムなどとして有用である。

１ ：商品情報取得システム
３ ：店舗
５ ：店内カメラ
７ ：店員カメラ
９ ：商品情報取得装置
１１：通信ネットワーク
１３：陳列棚
１５：店員
１７：ルータ
２１：通信ケーブル
２３：バックヤード
３１：上壁
３３：下壁
３５：左側壁
３６：右側壁
３７Ａ－３７Ｄ：棚板
４０：商品
４３：表示画面
５１：二次元コード
５３：通信部
５５：電子媒体読取部
５７：入力部（入力装置）
５９：表示部（表示装置）
６１：記憶部
６３：制御部
７１：棚情報
７３：商品情報
７５：商品配置情報
７７：商品管理情報
８１：画像取得部
８３：画像処理部
８５：情報読取部
８７：商品位置算出部
８９：商品配置情報生成部
９０：モニタ
９１：ガイド枠
９２：案内
９３：案内
９５：商品検索用情報生成部
９６：商品検索用情報
１００：インターネット
Ｃ１－Ｃ１０：棚札
Ｍ１－Ｍ６ ：位置表示部
Ｓ ：棚情報表示部

Claims (14)

1. 棚に並べられた複数の商品の配置状況を確認するための情報を取得する商品情報取得方法であって、
   前記棚には、同一商品毎に纏められた前記商品のグループに対応して配置され、前記商品に関する商品識別情報を含む複数の棚札が設けられ、
   カメラにより撮影された前記棚の撮影画像を取得する画像取得処理と、
   前記撮影画像に含まれる前記棚札の画像を読み取ることにより、前記商品識別情報をそれぞれ取得する情報読取処理と、
   前記各商品識別情報およびそれに対応する商品の名称に関する情報の少なくとも一方と、その商品識別情報が取得された前記撮影画像と、を関連づけた商品検索用情報を記憶する情報記憶処理と、を含む商品情報取得方法。
2. 前記商品識別情報および前記商品の名称に関する情報の少なくとも一方が入力装置に入力されると、その入力された情報に関連づけられた前記撮影画像を前記商品検索用情報から検索する画像検索処理と、
   前記画像検索処理によって検索された前記撮影画像を表示装置に出力する画像出力処理と、を更に含む、請求項１に記載の商品情報取得方法。
3. 前記棚には、前記棚の識別情報を含む棚情報表示部が更に設けられ、
   前記情報読取処理では、前記撮影画像に含まれる前記棚情報表示部の画像から、前記棚の識別情報が読み取られ、
   前記情報記憶処理では、前記商品情報、前記撮影画像、及び前記棚の識別情報を関連づけた前記商品検索用情報が記憶され、
   前記画像検索処理では、前記棚の識別情報が前記入力装置に入力されると、その入力された識別情報に関連づけられた前記撮影画像を検索する、請求項２に記載の商品情報取得方法。
4. 前記棚の撮影画像には、複数の店舗において撮影された棚の撮影画像が含まれ、
   前記情報読取処理では、前記棚が撮影された前記店舗の識別情報を取得し、
   前記情報記憶処理では、前記商品情報、前記撮影画像、及び前記店舗の情報を関連づけた前記商品検索用情報を記憶する、請求項１から請求項３のいずれかに記載の商品情報取得方法。
5. 前記画像取得処理では、撮影条件の異なる複数の前記撮影画像が取得され、
   前記情報読取処理では、前記複数の撮影画像に含まれる前記棚札の画像が読み取られることにより、前記商品識別情報が取得される、請求項１から請求項４のいずれかに記載の商品情報取得方法。
6. 前記画像取得処理では、撮影条件の異なる複数の撮影画像が取得され、
   前記情報読取処理の前に実行される画像処理を更に含み、
   前記画像処理では、複数の前記撮影画像または前記撮影画像に由来する複数の画像を合成する画像合成処理と、前記撮影画像または前記撮影画像に由来する画像を加工する画像加工処理との少なくとも一方が実行される、請求項１から請求項４のいずれかに記載の商品情報取得方法。
7. 前記撮影条件には、前記カメラのアングルおよび露光量の少なくとも一方が含まれる、請求項５または請求項６に記載の商品情報取得方法。
8. 前記カメラは、撮影時に被写体を表示するモニタを備え、
   前記モニタには、前記棚が撮影される際に、前記被写体としての前記棚を納めるべきガイド枠が表示される、請求項１から請求項７のいずれかに記載の商品情報取得方法。
9. 前記情報読取処理では、前記棚札の画像の読取りの成否が判定され、前記判定の結果が管理者に報知される、請求項１から請求項８のいずれかに記載の商品情報取得方法。
10. 前記複数の棚札には、電子棚札が含まれ、
    前記電子棚札は、前記カメラによる前記棚の撮影時には、非撮影時とは異なる撮影用の画像を表示する、請求項１から請求項９のいずれかに記載の商品情報取得方法。
11. 前記電子棚札は、前記撮影用の画像において、非撮影時に表示される前記商品識別情報以外の画像の少なくとも一部を非表示とする、請求項１０に記載の商品情報取得方法。
12. 前記電子棚札は、前記撮影用の画像として、前記商品識別情報の画像を拡大して表示する、請求項１０または請求項１１に記載の商品情報取得方法。
13. 前記電子棚札は、前記撮影用の画像として、表示パターンを連続的に切り替えて表示する、請求項１０に記載の商品情報取得方法。
14. 棚に並べられた複数の商品の配置状況を確認するための情報を取得する処理をプロセッサにより実行する商品情報取得システムであって、
    前記棚には、同一商品毎に纏められた前記商品のグループに対応して配置され、前記商品に関する商品識別情報を含む複数の棚札が設けられ、
    前記プロセッサは、
    カメラにより撮影された前記棚の撮影画像を取得し、
    前記撮影画像に含まれる前記棚札の画像を読み取ることにより、前記商品識別情報をそれぞれ取得し、
    前記各商品識別情報およびそれに対応する商品の名称に関する情報の少なくとも一方と、その商品識別情報が取得された前記撮影画像と、を関連づけた商品検索用情報を記憶する、商品情報取得システム。

Images