JP5529948B2 - 店舗システムおよびプログラム - Google Patents

Description

本発明の実施形態は、店舗システムおよびプログラムに関する。

従来、スーパーマーケット等では、商品に添付されたバーコードや二次元コード（例えばＱＲコード（登録商標））等のコードシンボルをＣＣＤイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられている。

しかしながら、従来技術においては、バーコードや二次元コード等のコードシンボルを商品に対して添付しなければならないため、生鮮食料品やパンなどについては、別途パッケージ等を用意してコードシンボルを添付するか、コードシンボル表を用意するようにしている。また、従来、洋菓子店やドーナツショップなどでは、商品が詰められている紙箱などを陳列ケース越しに顧客に提示し誤りがないか確認し、その後に売買取引のための登録や締め操作などのＰＯＳ操作を行なっている。このようなコードシンボルの商品に対する添付などの煩わしさの解消や、顧客に対する商品提示をより容易にすることが、望まれている。

実施形態の店舗システムは、撮像手段を介してオペレータと顧客とが反対側に位置する対面販売時に、前記撮像手段が撮像した前記オペレータ側から見た状態となる読取画像を出力する画像出力手段と、出力された前記読取画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体について予め記憶されている画像に対してどの程度類似しているかを示す類似度を算出する類似度判定手段と、認識された前記物体についての類似度が予め定められた閾値以上である場合には、前記撮像手段が撮像した前記読取画像を上下左右反転させて前記顧客側から見た状態にした反転画像を、前記物体についての画像として対面販売時に前記顧客に向けて表示する表示部に表示する確認画像表示手段と、認識された前記物体についての類似度が予め定められた閾値以下である場合には、エラーを報知する報知手段と、を備える。

実施形態のプログラムは、コンピュータを、撮像手段を介してオペレータと顧客とが反対側に位置する対面販売時に、前記撮像手段が撮像した前記オペレータ側から見た状態となる読取画像を出力する画像出力手段と、出力された前記読取画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体について予め記憶されている画像に対してどの程度類似しているかを示す類似度を算出する類似度判定手段と、認識された前記物体についての類似度が予め定められた閾値以上である場合には、前記撮像手段が撮像した前記読取画像を上下左右反転させて前記顧客側から見た状態にした反転画像を、前記物体についての画像として対面販売時に前記顧客に向けて表示する表示部に表示する確認画像表示手段と、認識された前記物体についての類似度が予め定められた閾値以下である場合には、エラーを報知する報知手段と、として機能させる。

図１は、本実施形態にかかるチェックアウトシステムを示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＣＰＵの機能構成を示すブロック図である。 図５は、チェックアウトシステムの処理動作の一例を示すフローチャートである。 図６は、読取窓における読取領域の例を示す概念図である。 図７は、表示デバイスによる表示例を示す概念図である。 図８は、顧客用表示デバイスによる表示例を示す概念図である。 図９は、処理の具体例を模式的に示す説明図である。

以下では、チェックアウトシステムを例に本実施形態にかかる店舗システムおよびプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）などである。本実施形態は、スーパーマーケットや洋菓子店やドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、陳列ケース１５１が配置されている。陳列ケース１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する紙箱１５３が載置される。なお、紙箱１５３は、洋菓子店やパン店等の店舗において用いられるトレイなどであっても良い。

陳列ケース１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

洋菓子店やドーナツショップなどにおいては、陳列ケース１５１内の商品Ａを顧客が選択し、それを店員がトレイ（図示せず）などに取る。その後、商品Ａは、店員の手によってトレイから紙箱１５３へと移動される。全ての商品が紙箱１５３へと移動された後、紙箱１５３が商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は紙箱１５３内の全ての商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値と、仕切りが必要か否かを表す情報と、を格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品Ａがドーナツなどであり、揚げ不足／過ぎのような場合などは、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。仕切りが必要か否かを表す情報は、洋菓子店やドーナツショップなどで販売されるケーキやドーナツを紙箱１５３内に箱詰めする際に、「仕切りが必要である」旨の警告を発するためのものである。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図４を参照して説明する。図４は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。図４に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、商品検出部１６１２、画像出力手段である画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、登録手段である商品登録部６１２、類似度判定部６１３、不良品報知部６１４、確認画像表示手段である確認画像表示部６１５、仕切り警告部６１６としての機能を備える。

撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。

画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を、接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａの全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。

物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１の撮像部１６４により撮像された商品Ａの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Ａを認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。

類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて類似度を算出し、類似度がＰＬＵファイルＦ１において予め定められた閾値を超えているか否かを判定する。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

商品登録部６１２は、物体認識部６１１により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品として特定された商品の商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。

次に、チェックアウトシステム１の動作について詳細に説明する。図５は、本実施形態にかかるチェックアウトシステム１の動作の一例を示すフローチャートである。

先ず、商品読取装置１０１側の動作について説明する。図５に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から紙箱１５３内の全ての商品Ａの全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１６１３は、商品検出部１６１２により紙箱１５３内の全ての商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力する（ステップＳ４）。

図６は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図６は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図６に示すように、前述した商品Ａの移動過程において読取領域Ｒに紙箱１５３内の商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ３で紙箱１５３内の全ての商品Ａの全部または一部が検出される。この紙箱１５３内の全ての商品Ａの全部または一部の検出により、ステップＳ４では読取領域Ｒを撮像したフレーム画像がＰＯＳ端末１１へ出力されることとなる。

次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ５）。業務を継続する場合（ステップＳ５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ５：Ｙｅｓ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ６）、処理を終了する。

次に、ＰＯＳ端末１１側の動作について説明する。図５に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、紙箱１５３内の全ての商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１から出力された紙箱１５３内の全ての商品Ａの全部または一部の画像から特定の物体として商品Ａを順に認識する（ステップＳ１２）。

ここで、ステップＳ１２における認識の結果、商品Ａの候補が複数出てくる場合がある。そこで、商品Ａの候補が複数ある場合には（ステップＳ１３：Ｙｅｓ）、ＣＰＵ６１は、図７に示すような表示デバイス２３への画面表示によって（ステップＳ１４）、店員に報知する。図７は、表示デバイス２３による表示例を示す概念図である。図７に示すように、表示デバイス２３の表示画面には、ステップＳ１２における認識の結果である複数の商品Ａの候補の商品名、単価がＰＬＵファイルＦ１から取得されて表示される。図７に示す例では、「プレーンドーナツ」と「シュガードーナツ」とが表示されている。

その後、ＣＰＵ６１は、オペレータ（店員）がタッチパネル２６を介して正しい候補を商品Ａとして選択したと判定すると（ステップＳ１５：Ｙｅｓ）、ステップＳ１６に進む。

なお、商品Ａの候補が複数ない場合には（ステップＳ１３：Ｎｏ）、そのままステップＳ１６に進む。

次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１６）。類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品読取装置１０１から出力された商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。

次いで、類似度判定部６１３は、ステップＳ１６で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１７）。

類似度判定部６１３が、ステップＳ１６で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１７：Ｙｅｓ）、ステップＳ１８において、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を登録する。

加えて、仕切り警告部６１６が、認識された商品ＡについてＰＬＵファイルＦ１に記憶された仕切りが必要か否かを表す情報を参照して、仕切りが必要な商品である場合には、その旨を店員に報知する（ステップＳ１９）。具体的には、仕切り警告部６１６は、表示デバイス２３や接続インターフェース６５、１７６を介した表示デバイス１０６への画面表示や、接続インターフェース６５、１７５を介した音声出力部１６５による警告音の出力などで仕切りが必要な旨を店員に報知する。

次いで、ＣＰＵ６１は、全ての物体を認識したか否かを判定する（ステップＳ２０）。ＣＰＵ６１は、全ての物体を認識したと判定した場合は（ステップＳ２０：Ｙｅｓ）、ステップＳ２１に進み、全ての物体を認識していないと判定した場合は（ステップＳ２０：Ｎｏ）、ステップＳ１２へ処理を戻して次の物体の認識処理を継続させる。

ステップＳ２１では、確認画像表示部６１５が、図８に示すような顧客用表示デバイス２４への画面表示によって、顧客に購入商品を確認させる。図８に示す例では、商品Ａが詰められている紙箱１５３の画像を表示領域Ｇ１に表示するとともに、予め保存していた商品Ａの商品名や単価などの商品情報および個数、合計金額などの購入商品の履歴も表示領域Ｇ２に併せて表示させている。また、表示領域Ｇ１に表示されている商品Ａの商品画像には商品名も付記されている。この表示領域Ｇ２における購入商品の履歴の表示は、ＲＡＭ６３にスタックしている購入商品にかかる情報をもとにＰＯＳ端末１１のＣＰＵ６１が行う。このような画面表示によって、希望している商品と間違いないかを顧客に対して確認することができる。従来においては、洋菓子店やドーナツショップなどでは、商品Ａが詰められている紙箱１５３を陳列ケース１５１越しに顧客に提示し誤りがないか確認し、その後に売買取引のための登録や締め操作などのＰＯＳ操作を行なうが、本システムにおいては、購入商品を商品読取装置１０１で映し、全ての商品の商品名や価格などの情報を一括で読み出すため、顧客が確認後に短時間でＰＯＳ操作を完了することが可能となる。

ここで、図８に示すような顧客用表示デバイス２４への画面表示は、図６で示した読取画像とは異なるものとなっている。図８に示すような顧客用表示デバイス２４への画面表示は、対面販売時、顧客側から見た状態であり、図６で示した読取画像はオペレータ（店員）側から見た状態である。すなわち、確認画像表示部６１５は、読取画像を上下左右反転させることによって、顧客側から見た目どおりに表示されるようにしている。また、確認画像表示部６１５は、画像に重ねて表示する商品名候補などのキャプションも反転画像に合わせて読める向きに表示する。

次いで、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ２２）。業務を終了する場合（ステップＳ２２：Ｙｅｓ）、ＣＰＵ６１は、顧客用表示デバイス２４への画面表示を終了して、処理を終了する。

一方、類似度判定部６１３が、ステップＳ１６で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１７：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ２３）、販売中止、あるいは値引き販売するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス２３や接続インターフェース６５、１７６を介した表示デバイス１０６への画面表示や、接続インターフェース６５、１７５を介した音声出力部１６５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、チェックアウトシステム１は、別の商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。

ＣＰＵ６１は、キーボード２２の操作指示などによる値引き販売の指示があったと判定した場合には（ステップＳ２４：Ｙｅｓ）、ステップＳ１８において、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を値引きして登録する。また、キーボード２２の操作指示などによる販売中止の指示があったと判定した場合には（ステップＳ２４：Ｎｏ）、ステップＳ１２へ処理を戻す。

図９に示すように、物体認識部６１１が認識した商品Ａが「プレーンドーナツ」であった場合、閾値が「類似度：0.50」としてＰＬＵファイルＦ１に記憶されていると、（ａ）で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、（ｂ）で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、（ａ）で示す商品については、「プレーンドーナツ」として通常通りに売上登録される。一方、（ｂ）で示す商品については、「プレーンドーナツ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。特に、ドーナツやパンなどにおいては、正規の焼き具合や揚げ具合による商品画像をＰＬＵファイルＦ１に記憶しておき、焼き不足／過ぎや揚げ不足／過ぎなどが閾値を外れた場合、不良品であると判断することができる。

このように本実施形態のチェックアウトシステム１によれば、ドーナツやパンなどが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、ＰＬＵファイルＦ１に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。

特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱えドーナツやパンの調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。

また、このように本実施形態のチェックアウトシステム１によれば、商品画像とともに、その商品の名称や単価などの商品情報を顧客に確認させることができることから、間違いを減少することが可能となる。また、トレイ上の商品や紙箱１５３内の商品を一括で読み取り、商品情報も一括で呼び出すことができるため、売買に関する取引を短時間で行なうことが可能となる。

さらに、このように本実施形態のチェックアウトシステム１によれば、類似品が多く、商品Ａの候補が複数出てくる店舗においては、商品Ａの候補を全て表示して選択させることで、商品の誤りを防ぐことが可能となる。

本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４、確認画像表示部６１５、仕切り警告部６１６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４、確認画像表示部６１５、仕切り警告部６１６が主記憶装置上に生成されるようになっている。

本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３が主記憶装置上に生成されるようになっている。

なお、本実施形態においては、ＰＯＳ端末１１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４、確認画像表示部６１５、仕切り警告部６１６を備えるようにしたが、これに限るものではなく、商品読取装置１０１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４、確認画像表示部６１５、仕切り警告部６１６を備えるようにしても良い。この場合、商品読取装置１０１が店舗システムである。

また、本実施形態においては、商品読取装置１０１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしても良い。この場合、ＰＯＳ端末１１が店舗システムである。

１ 店舗システム
２４ 表示部
１６４ 撮像手段
６１１ 物体認識手段
６１２ 登録手段
６１５ 確認画像表示手段
１６１３ 画像出力手段
Ｆ１ ファイル

特開平０６−２２３２７１号公報

Claims (6)

1. 撮像手段を介してオペレータと顧客とが反対側に位置する対面販売時に、前記撮像手段が撮像した前記オペレータ側から見た状態となる読取画像を出力する画像出力手段と、
   出力された前記読取画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
   認識された前記物体について予め記憶されている画像に対してどの程度類似しているかを示す類似度を算出する類似度判定手段と、
   認識された前記物体についての類似度が予め定められた閾値以上である場合には、前記撮像手段が撮像した前記読取画像を上下左右反転させて前記顧客側から見た状態にした反転画像を、前記物体についての画像として対面販売時に前記顧客に向けて表示する表示部に表示する確認画像表示手段と、
   認識された前記物体についての類似度が予め定められた閾値以下である場合には、エラーを報知する報知手段と、
   を備えることを特徴とする店舗システム。
2. 顧客に向けて情報を表示する顧客用表示デバイスと、オペレータに向けて情報を表示する表示デバイスと、を備えており、
   前記確認画像表示手段は、前記反転画像を表示する前記表示部を前記顧客用表示デバイスとする、
   ことを特徴とする請求項１記載の店舗システム。
3. 認識された前記物体について、少なくとも商品名を含む商品に関する情報を記憶するファイルに基づいて売上登録を行う登録手段を更に備え、
   前記確認画像表示手段は、前記登録手段による売上登録の履歴も前記表示部に表示する、
   ことを特徴とする請求項１または２記載の店舗システム。
4. 前記確認画像表示手段は、前記売上登録の履歴についても、前記反転画像に合わせて前記顧客が読める向きに表示する、
   ことを特徴とする請求項３記載の店舗システム。
5. コンピュータを、
   撮像手段を介してオペレータと顧客とが反対側に位置する対面販売時に、前記撮像手段が撮像した前記オペレータ側から見た状態となる読取画像を出力する画像出力手段と、
   出力された前記読取画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
   認識された前記物体について予め記憶されている画像に対してどの程度類似しているかを示す類似度を算出する類似度判定手段と、
   認識された前記物体についての類似度が予め定められた閾値以上である場合には、前記撮像手段が撮像した前記読取画像を上下左右反転させて前記顧客側から見た状態にした反転画像を、前記物体についての画像として対面販売時に前記顧客に向けて表示する表示部に表示する確認画像表示手段と、
   認識された前記物体についての類似度が予め定められた閾値以下である場合には、エラーを報知する報知手段と、
   として機能させることを特徴とするプログラム。
6. 認識された前記物体について、少なくとも商品名を含む商品に関する情報を記憶するファイルに基づいて売上登録を行う登録手段として前記コンピュータを機能させ、
   前記確認画像表示手段は、前記登録手段による売上登録の履歴も前記表示部に表示する、
   ことを特徴とする請求項５記載のプログラム。

Images