JP5544332B2 - 店舗システムおよびプログラム - Google Patents

Description

本発明の実施形態は、店舗システムおよびプログラムに関する。

従来、スーパーマーケット等では、商品に添付されたバーコードや二次元コード（例えばＱＲコード（登録商標））等のコードシンボルをＣＣＤイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられている。

しかしながら、従来技術においては、バーコードや二次元コード等のコードシンボルを商品に対して添付しなければならないため、生鮮食料品やパンなどについては、別途パッケージ等を用意してコードシンボルを添付するか、コードシンボル表を用意するようにしている。

実施形態の店舗システムは、撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の表面の状態を特徴量として読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体についての画像を表示部に少なくとも表示する確認画像表示手段と、認識の対象とした物体が複数あってそれらのうち少なくとも一以上の物体が前記物体認識手段で認識されなかった場合に、当該認識されずに候補に上がらなかった物体の画像エリアを示す指示を受け付けて、受け付けた指示内容に応じて当該物体を前記物体認識手段に再認識させるための処理を実行する問題解決手段と、少なくとも再認識された物体について売上登録を行う商品登録部と、を備える。

実施形態の店舗システムは、撮像部と、表示部と、前記撮像部が撮像した画像を出力する画像出力手段と、出力された前記画像の表面の状態を特徴量として読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体についての画像を前記表示部に少なくとも表示する確認画像表示手段と、認識の対象とした物体が複数あってそれらのうち少なくとも一以上の物体が前記物体認識手段で認識されなかった場合に、当該認識されずに候補に上がらなかった物体の画像エリアを示す指示を受け付けて、受け付けた指示内容に応じて当該物体を前記物体認識手段に再認識させるための処理を実行する問題解決手段と、少なくとも再認識された物体について売上登録を行う商品登録部と、を備える。

実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像の表面の状態を特徴量として読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体についての画像を表示部に少なくとも表示する確認画像表示手段と、認識の対象とした物体が複数あってそれらのうち少なくとも一以上の物体が前記物体認識手段で認識されなかった場合に、当該認識されずに候補に上がらなかった物体の画像エリアを示す指示を受け付けて、受け付けた指示内容に応じて当該物体を前記物体認識手段に再認識させるための処理を実行する問題解決手段と、少なくとも再認識された物体について売上登録を行う商品登録部と、として機能させる。

図１は、本実施形態にかかるチェックアウトシステムを示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＣＰＵの機能構成を示すブロック図である。 図５は、チェックアウトシステムの処理動作の一例を示すフローチャートである。 図６は、読取窓における読取領域の例を示す概念図である。 図７は、表示デバイスによる表示例を示す概念図である。 図８は、表示デバイスによる表示例を示す概念図である。 図９は、認識が実施されていない商品が生じた場合の表示デバイスによる表示例を示す概念図である。 図１０は、本来別のものが１つと認識されてしまった場合の表示デバイスによる表示例を示す概念図である。 図１１は、同一商品が複数個重なった為に１つと認識されてしまった場合の表示デバイスによる表示例を示す概念図である。 図１２は、認識後に商品の返品を申し出られた場合の表示デバイスによる表示例を示す概念図である。 図１３は、候補に上がらない画像エリアをオペレータ（店員）に指定させる方法を示す概念図である。 図１４は、候補に上がらない画像エリアをオペレータ（店員）に指定させる方法を示す概念図である。 図１５は、本来別のものが１つと認識されてしまった場合にオペレータ（店員）に画像エリアを分割させる方法を示す概念図である。 図１６は、返品する商品をオペレータ（店員）に指定させる方法を示す概念図である。 図１７は、顧客用表示デバイスによる表示例を示す概念図である。 図１８は、処理の具体例を模式的に示す説明図である。

以下では、チェックアウトシステムを例に本実施形態にかかる店舗システムおよびプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）などである。本実施形態は、スーパーマーケットや洋菓子店やドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作される入力部である各種のキーを有するキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、入力部であるタッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、陳列ケース１５１が配置されている。陳列ケース１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する紙箱１５３が載置される。なお、紙箱１５３は、洋菓子店やパン店等の店舗において用いられるトレイなどであっても良い。

陳列ケース１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

洋菓子店やドーナツショップなどにおいては、陳列ケース１５１内の商品Ａを顧客が選択し、それを店員がトレイ（図示せず）などに取る。その後、商品Ａは、店員の手によってトレイから紙箱１５３へと移動される。全ての商品が紙箱１５３へと移動された後、紙箱１５３が商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は紙箱１５３内の全ての商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値と、を格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品Ａがドーナツなどであり、揚げ不足／過ぎのような場合などは、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図４を参照して説明する。図４は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。図４に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、商品検出部１６１２、画像出力手段である画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４、確認画像表示手段である確認画像表示部６１５、問題解決手段である問題解決部６１６としての機能を備える。

撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。

画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を、接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａの全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。

物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１の撮像部１６４により撮像された商品Ａの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Ａを認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。

類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて類似度を算出し、類似度がＰＬＵファイルＦ１において予め定められた閾値を超えているか否かを判定する。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

商品登録部６１２は、物体認識部６１１により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品として特定された商品の商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。

次に、チェックアウトシステム１の動作について詳細に説明する。図５は、本実施形態にかかるチェックアウトシステム１の動作の一例を示すフローチャートである。

先ず、商品読取装置１０１側の動作について説明する。図５に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から紙箱１５３内の全ての商品Ａの全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１６１３は、商品検出部１６１２により紙箱１５３内の全ての商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力する（ステップＳ４）。

図６は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図６は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図６に示すように、前述した商品Ａの移動過程において読取領域Ｒに紙箱１５３内の商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ３で紙箱１５３内の全ての商品Ａの全部または一部が検出される。この紙箱１５３内の全ての商品Ａの全部または一部の検出により、ステップＳ４では読取領域Ｒを撮像したフレーム画像がＰＯＳ端末１１へ出力されることとなる。

次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ５）。業務を継続する場合（ステップＳ５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ５：Ｙｅｓ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ６）、処理を終了する。

次に、ＰＯＳ端末１１側の動作について説明する。図５に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、紙箱１５３内の全ての商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１から出力された紙箱１５３内の全ての商品Ａの全部または一部の画像から特定の物体として商品Ａを順に認識する（ステップＳ１２）。

ここで、ステップＳ１２における認識の結果、商品Ａの候補が複数出てくる場合がある。そこで、商品Ａの候補が複数ある場合には（ステップＳ１３：Ｙｅｓ）、ＣＰＵ６１は、図７に示すような表示デバイス２３への画面表示によって（ステップＳ１４）、店員に報知する。図７は、表示デバイス２３による表示例を示す概念図である。図７に示すように、表示デバイス２３の表示画面には、ステップＳ１２における認識の結果である複数の商品Ａの候補の商品名、単価がＰＬＵファイルＦ１から取得されて表示される。図７に示す例では、「プレーンドーナツ」と「シュガードーナツ」とが表示されている。

その後、ＣＰＵ６１は、オペレータ（店員）がタッチパネル２６を介して正しい候補を商品Ａとして選択したと判定すると（ステップＳ１５：Ｙｅｓ）、ステップＳ１６に進む。

なお、商品Ａの候補が複数ない場合には（ステップＳ１３：Ｎｏ）、そのままステップＳ１６に進む。

次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１６）。類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品読取装置１０１から出力された商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。

次いで、類似度判定部６１３は、ステップＳ１６で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１７）。

類似度判定部６１３が、ステップＳ１６で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１７：Ｙｅｓ）、ステップＳ１８において、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を登録する。

次いで、ＣＰＵ６１は、全ての物体を認識したか否かを判定する（ステップＳ１９）。ＣＰＵ６１は、全ての物体を認識したと判定した場合は（ステップＳ１９：Ｙｅｓ）、ステップＳ２０に進み、全ての物体を認識していないと判定した場合は（ステップＳ１９：Ｎｏ）、ステップＳ１２へ処理を戻して次の物体の認識処理を継続させる。

ステップＳ２０では、問題解決部６１６が、図８に示すような表示デバイス２３への画面表示を行うことによって、商品Ａを認識したことをオペレータ（店員）に報知する。図８に示す例では、問題解決部６１６は、紙箱１５３内の商品Ａの画像を表示するとともに、予め保存していた商品Ａの商品名などの商品情報Ｘと認識したことを示す枠線（第１の線）Ｙとを併せて表示させている。

ところが、図９に示すように、全ての物体を認識したのにもかかわらず、紙箱１５３の色（トレイの色）やオペレータの影の影響などにより、認識が実施されていない商品が生じる場合がある。このような場合には、候補に上がらない画像エリアを指定して認識処理を再度行う必要がある。

また、図１０に示すように本来別のものが１つと認識されてしまう場合も生じうる。このような場合には、結合されて認識されたエリアに指定して認識処理を再度行う必要がある。なお、図１０に示す例においては、本来別のものが１つと認識されてしまうことにより、全く別の物体（ジャムパン）として認識されてしまっている。

さらに、図１１に示すように同一商品が複数個重なった為に１つと認識されてしまう場合も生じうる。このような場合には、個数のみを再入力する必要がある。

そこで、問題解決部６１６は、表示デバイス２３への画面表示において、上述した各種の問題を解決するための指示部３０と、確定キー４０とを備えている。図８〜図１２に示すように、表示デバイス２３に表示される指示部３０は、分割指示キー３１、追加指示キー３２、個数追加指示キー３３、削除キー３５を有している。

図９に示すように、全ての物体を認識したのにもかかわらず、紙箱１５３の色（トレイの色）やオペレータの影の影響などにより、認識が実施されていない商品が生じた場合、オペレータ（店員）はタッチパネル２６を介して追加指示キー３２を押下操作する。問題解決部６１６は、オペレータ（店員）がタッチパネル２６を介して追加指示キー３２を押下操作したと判定すると、候補に上がらない画像エリアをオペレータ（店員）に指定させる。なお、認識が実施されていない商品が生じた場合における認識の追加実施を宣言する方法としては、表示デバイス２３に表示された追加指示キー３２についてタッチパネル２６を介して押下操作する方法に限るものではなく、例えばキーボード２２に追加指示キーを設けておき、この追加指示キーを押下操作することで認識の追加実施を宣言するものであっても良い。

ここで、候補に上がらない画像エリアをオペレータ（店員）に指定させる方法について説明する。図１３は、候補に上がらない画像エリアをオペレータ（店員）に指定させる方法を示す概念図である。図１３に示すように、候補に上がらない画像エリアをタッチパネル２６を介して指定する方法としては、下記に示すような方法がある。
（ａ）エリアの中心を指定する方法（図１３の（ａ）参照）
（ｂ）エリアの対角で指定する方法（図１３の（ｂ）参照）
（ｃ）丸（スプライン）で囲って指定する方法（図１３の（ｃ）参照）

図１３の（ｂ）に示すように、エリアの対角で指定する方法では、問題解決部６１６は、認識したことを示す枠線（第１の線）Ｙとは態様を異ならせた枠線（第２の線）Ｚ１によって、候補に上がらない画像エリアを指定させている。
また、図１３の（ｃ）に示すように、丸（スプライン）で囲って指定する方法では、問題解決部６１６は、認識したことを示す枠線（第１の線）Ｙとは態様を異ならせた枠線（第２の線）Ｚ２によって、候補に上がらない画像エリアを指定させている。

問題解決部６１６は、上述のいずれかの方法によって候補に上がらない画像エリアをオペレータ（店員）に指定させた後、オペレータ（店員）がタッチパネル２６を介して図１３に示すような表示デバイス２３に表示された再認識キー３４を押下操作したと判定すると、追加指示があったものとして（ステップＳ２１：Ｙｅｓ）、ステップＳ１２へ処理を戻して候補に上がらない画像エリアの物体の認識処理を実行させる。

なお、候補に上がらない画像エリアをオペレータ（店員）に指定させる方法としては、タッチパネル２６を介して指定する方法に限るものではなく、音声で指示（上下左右）するものであっても良いし、キーボード２２で未解析エリアを指定するものであっても良い。例えば、キーボード２２で未解析エリアを指定する例としては、図１４に示すように、表示デバイス２３に表示する画面を９分割してオーバーレイ表示し、テンキー２２ｄの１−９で概略のエリアをオペレータ（店員）に指定させるようにする。なお、テンキー２２ｄ以外のキーを含めて、画面分割（４×４の１６分割，５×５の２５分割）と対応するキーをオーバーレイ表示するようにしても良い。

また、図１０に示すように、本来別のものが１つと認識されてしまう場合が生じた場合、オペレータ（店員）はタッチパネル２６を介して分割指示キー３１を押下操作する。問題解決部６１６は、オペレータ（店員）がタッチパネル２６を介して分割指示キー３１を押下操作したと判定すると、タッチパネル２６を介してオペレータ（店員）に画像エリアを分割させる。オペレータ（店員）に画像エリアを分割させる方法としては、図１５の（ａ）に示すように、タッチパネル２６を介して直線（スプライン）でエリア分割させる。

問題解決部６１６は、画像エリアをオペレータ（店員）に分割させた後、オペレータ（店員）がタッチパネル２６を介して図１５に示すような表示デバイス２３に表示された再認識キー３４を押下操作したと判定すると、分割指示があったものとして（ステップＳ２１：Ｙｅｓ）、ステップＳ１２へ処理を戻して分割された各画像エリアの物体の認識処理を実行させる。

また、図１１に示すように、同一商品が複数個重なった為に１つと認識されてしまう場合が生じた場合、オペレータ（店員）はタッチパネル２６を介して個数追加指示キー３３を押下操作する。問題解決部６１６は、オペレータ（店員）がタッチパネル２６を介して個数追加指示キー３３を押下操作したと判定すると、キーボード２２のテンキー２２ｄなどからオペレータ（店員）に個数を入力させる。

また、図１２に示すように、全ての物体を認識したのにもかかわらず、商品の認識後に商品の返品を申し出られた場合、オペレータ（店員）はタッチパネル２６を介して削除キー３５を押下操作する。問題解決部６１６は、オペレータ（店員）がタッチパネル２６を介して削除キー３５を押下操作したと判定すると、返品する（削除する）商品をオペレータ（店員）に指定させる。

返品する（削除する）商品をオペレータ（店員）に指定させる方法としては、上述したような候補に上がらない画像エリアをオペレータ（店員）に指定させる方法と同様の方法が考えられる。図１６は、返品する（削除する）商品をオペレータ（店員）に指定させる方法を示す概念図である。図１６に示すように、返品する（削除する）商品をタッチパネル２６を介して指定する方法としては、下記に示すような方法がある。
（ａ）返品する商品を直接指定する方法（図１６の（ａ）参照）
（ｂ）返品する商品をエリアの対角で指定する方法（図１６の（ｂ）参照）
（ｃ）返品する商品を丸（スプライン）で囲って指定する方法（図１６の（ｃ）参照）

なお、返品する（削除する）商品をオペレータ（店員）に指定させる方法としては、タッチパネル２６を介して指定する方法に限るものではなく、音声で指示（上下左右）するものであっても良いし、キーボード２２で未解析エリアを指定するものであっても良い。例えば、キーボード２２で未解析エリアを指定する例としては、図１４で説明したように、表示デバイス２３に表示する画面を９分割してオーバーレイ表示し、テンキー２２ｄの１−９で概略のエリアをオペレータ（店員）に指定させるようにする。なお、テンキー２２ｄ以外のキーを含めて、画面分割（４×４の１６分割，５×５の２５分割）と対応するキーをオーバーレイ表示するようにしても良い。

問題解決部６１６は、返品する（削除する）商品をオペレータ（店員）に指定させた後、オペレータ（店員）がタッチパネル２６を介して図１６に示すような表示デバイス２３に表示された再認識キー３４を押下操作したと判定すると、返品（削除）指示があったものとして（ステップＳ２２：Ｙｅｓ）、ステップＳ１８へ処理を戻して、商品登録部６１２に個数が減った商品Ａの売上登録を実行させる。

問題解決部６１６は、オペレータ（店員）がキーボード２２のテンキー２２ｄなどを介して個数を入力したと判定すると（ステップＳ２３：Ｙｅｓ）、ステップＳ１８へ処理を戻して、商品登録部６１２に個数が増えたり減ったりした商品Ａの売上登録を実行させる。

一方、図８に示すような表示デバイス２３への画面表示を行うことによって、商品Ａを認識したことをオペレータ（店員）に報知した後、図９〜図１２に示したような問題がない場合には、オペレータ（店員）はタッチパネル２６を介して確定キー４０を押下操作する。問題解決部６１６は、オペレータ（店員）がタッチパネル２６を介して確定キー４０を押下操作したと判定すると（ステップＳ２４：Ｙｅｓ）、ステップＳ２５へ処理を進める。

このように本実施形態のチェックアウトシステム１によれば、物体認識に問題があったような場合でも容易に問題を解決することができる。

ステップＳ２５では、確認画像表示部６１５が、図１７に示すような顧客用表示デバイス２４への画面表示によって、顧客に購入商品を確認させる。図１７に示す例では、商品Ａが詰められている紙箱１５３の画像を表示領域Ｇ１に表示するとともに、予め保存していた商品Ａの商品名や単価などの商品情報および個数、合計金額などの購入商品の履歴も表示領域Ｇ２に併せて表示させている。また、表示領域Ｇ１に表示されている商品Ａの商品画像には商品名も付記されている。この表示領域Ｇ２における購入商品の履歴の表示は、ＲＡＭ６３にスタックしている購入商品にかかる情報をもとにＰＯＳ端末１１のＣＰＵ６１が行う。このような画面表示によって、希望している商品と間違いないかを顧客に対して確認することができる。従来においては、洋菓子店やドーナツショップなどでは、商品Ａが詰められている紙箱１５３を陳列ケース１５１越しに顧客に提示し誤りがないか確認し、その後に売買取引のための登録や締め操作などのＰＯＳ操作を行なうが、本システムにおいては、購入商品を商品読取装置１０１で映し、全ての商品の商品名や価格などの情報を一括で読み出すため、顧客が確認後に短時間でＰＯＳ操作を完了することが可能となる。

ここで、図１７に示すような顧客用表示デバイス２４への画面表示は、図６で示した読取画像とは異なるものとなっている。図１７に示すような顧客用表示デバイス２４への画面表示は、対面販売時、顧客側から見た状態であり、図６で示した読取画像はオペレータ（店員）側から見た状態である。すなわち、確認画像表示部６１５は、読取画像を上下左右反転させることによって、顧客側から見た目どおりに表示されるようにしている。また、確認画像表示部６１５は、画像に重ねて表示する商品名候補などのキャプションも反転画像に合わせて読める向きに表示する。

次いで、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ２６）。業務を終了する場合（ステップＳ２６：Ｙｅｓ）、ＣＰＵ６１は、顧客用表示デバイス２４への画面表示を終了して、処理を終了する。

一方、類似度判定部６１３が、ステップＳ１６で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１７：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ２７）、販売中止、あるいは値引き販売するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス２３や接続インターフェース６５、１７６を介した表示デバイス１０６への画面表示や、接続インターフェース６５、１７５を介した音声出力部１６５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、チェックアウトシステム１は、別の商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。

ＣＰＵ６１は、キーボード２２の操作指示などによる値引き販売の指示があったと判定した場合には（ステップＳ２８：Ｙｅｓ）、ステップＳ１８において、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を値引きして登録する。また、キーボード２２の操作指示などによる販売中止の指示があったと判定した場合には（ステップＳ２８：Ｎｏ）、ステップＳ１２へ処理を戻す。

図１８に示すように、物体認識部６１１が認識した商品Ａが「プレーンドーナツ」であった場合、閾値が「類似度：0.50」としてＰＬＵファイルＦ１に記憶されていると、（ａ）で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、（ｂ）で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、（ａ）で示す商品については、「プレーンドーナツ」として通常通りに売上登録される。一方、（ｂ）で示す商品については、「プレーンドーナツ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。特に、ドーナツやパンなどにおいては、正規の焼き具合や揚げ具合による商品画像をＰＬＵファイルＦ１に記憶しておき、焼き不足／過ぎや揚げ不足／過ぎなどが閾値を外れた場合、不良品であると判断することができる。

このように本実施形態のチェックアウトシステム１によれば、ドーナツやパンなどが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、ＰＬＵファイルＦ１に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。

特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱えドーナツやパンの調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。

また、このように本実施形態のチェックアウトシステム１によれば、商品画像とともに、その商品の名称や単価などの商品情報を顧客に確認させることができることから、間違いを減少することが可能となる。また、トレイ上の商品や紙箱１５３内の商品を一括で読み取り、商品情報も一括で呼び出すことができるため、売買に関する取引を短時間で行なうことが可能となる。

さらに、このように本実施形態のチェックアウトシステム１によれば、類似品が多く、商品Ａの候補が複数出てくる店舗においては、商品Ａの候補を全て表示して選択させることで、商品の誤りを防ぐことが可能となる。

なお、本実施形態においては、認識する物体は、ＰＬＵファイルＦ１に格納されている販売商品であるとしたが、これに限るものではなく、販売促進に用いる販促品などであっても良い。

本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４、確認画像表示部６１５、問題解決部６１６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４、確認画像表示部６１５、問題解決部６１６が主記憶装置上に生成されるようになっている。

本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３が主記憶装置上に生成されるようになっている。

なお、本実施形態においては、ＰＯＳ端末１１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４、確認画像表示部６１５、問題解決部６１６を備えるようにしたが、これに限るものではなく、商品読取装置１０１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４、確認画像表示部６１５、問題解決部６１６を備えるようにしても良い。この場合、商品読取装置１０１が店舗システムである。

また、本実施形態においては、商品読取装置１０１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしても良い。この場合、ＰＯＳ端末１１が店舗システムである。

さらに、商品読取装置１０１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるとともに、ＰＯＳ端末１１で行ったような売上登録を商品読取装置１０１側において行うようにしてもよい。

１ 店舗システム
２２ 入力部、キーボード
２４ 表示部
２６ 入力部、タッチパネル
１６４ 撮像手段
６１１ 物体認識手段
６１５ 確認画像表示手段
６１６ 問題解決手段
１６１３ 画像出力手段

特開平０６−２２３２７１号公報

Claims (10)

1. 撮像手段が撮像した画像を出力する画像出力手段と、
   出力された前記画像の表面の状態を特徴量として読み取ることによって特定の物体を認識する物体認識手段と、
   認識された前記物体についての画像を表示部に少なくとも表示する確認画像表示手段と、
   認識の対象とした物体が複数あってそれらのうち少なくとも一以上の物体が前記物体認識手段で認識されなかった場合に、当該認識されずに候補に上がらなかった物体の画像エリアを示す指示を受け付けて、受け付けた指示内容に応じて当該物体を前記物体認識手段に再認識させるための処理を実行する問題解決手段と、
   少なくとも再認識された物体について売上登録を行う商品登録部と、
   を備えることを特徴とする店舗システム。
2. 前記問題解決手段は、本来別の物体が１つの物体として認識されている場合、本来別の物体が１つの物体として認識されているエリアを分割させる指示を受け付け、分割された各エリアについての物体認識を前記物体認識手段に実行させる、
   ことを特徴とする請求項１記載の店舗システム。
3. 前記問題解決手段は、同一の物体が複数個重なった為に１つと認識されている場合、重なっている物体の個数を受け付ける、
   ことを特徴とする請求項１記載の店舗システム。
4. ユーザからの入力を受け付ける入力部を更に備え、
   前記問題解決手段は、前記入力部を介して認識されなかった物体を示す指示を受け付け、前記表示部に表示された画像に対する前記入力部を介した指示内容に応じて前記物体認識手段に再認識させるための処理を実行する、
   ことを特徴とする請求項１〜３のいずれか１つに記載の店舗システム。
5. 前記入力部は、前記表示部に積層されるタッチパネルであって、
   前記問題解決手段は、前記タッチパネルを介して認識されなかった物体を示す指示を受け付け、前記表示部に表示された画像に対する前記タッチパネルを介した指示内容に応じて前記物体認識手段に再認識させるための処理を実行する、
   ことを特徴とする請求項４記載の店舗システム。
6. 前記入力部は、各種のキーを有するキーボードであって、
   前記問題解決手段は、前記物体認識手段に再認識させるための各種処理に対応する前記キーボードのキーに対する操作を介して認識されなかった物体を示す指示を受け付け、前記表示部に表示された画像に対する前記キーボードのキー操作に対応する指示内容に応じて前記物体認識手段に再認識させるための処理を実行する、
   ことを特徴とする請求項４記載の店舗システム。
7. 前記問題解決手段は、前記表示部に表示された画像に対する指示がエリア指定の場合、エリアの中心の指定と、エリアの対角での指定と、スプラインで囲むことによる指定とのいずれかで前記表示部に表示された画像に対する指示を受け付ける、
   ことを特徴とする請求項４記載の店舗システム。
8. 前記問題解決手段は、認識された前記物体について第１の線を付して表示させるとともに、前記処理として前記表示部に表示された画像に対するエリア指定を示すための第２の線を前記第１の線とは異ならせた態様で表示させる、
   ことを特徴とする請求項１記載の店舗システム。
9. 撮像部と、
   表示部と、
   前記撮像部が撮像した画像を出力する画像出力手段と、
   出力された前記画像の表面の状態を特徴量として読み取ることによって特定の物体を認識する物体認識手段と、
   認識された前記物体についての画像を前記表示部に少なくとも表示する確認画像表示手段と、
   認識の対象とした物体が複数あってそれらのうち少なくとも一以上の物体が前記物体認識手段で認識されなかった場合に、当該認識されずに候補に上がらなかった物体の画像エリアを示す指示を受け付けて、受け付けた指示内容に応じて当該物体を前記物体認識手段に再認識させるための処理を実行する問題解決手段と、
   少なくとも再認識された物体について売上登録を行う商品登録部と、
   を備えることを特徴とする店舗システム。
10. コンピュータを、
    撮像手段が撮像した画像の表面の状態を特徴量として読み取ることによって特定の物体を認識する物体認識手段と、
    認識された前記物体についての画像を表示部に少なくとも表示する確認画像表示手段と、
    認識の対象とした物体が複数あってそれらのうち少なくとも一以上の物体が前記物体認識手段で認識されなかった場合に、当該認識されずに候補に上がらなかった物体の画像エリアを示す指示を受け付けて、受け付けた指示内容に応じて当該物体を前記物体認識手段に再認識させるための処理を実行する問題解決手段と、
    少なくとも再認識された物体について売上登録を行う商品登録部と、
    として機能させることを特徴とするプログラム。

Images