JP2016139193A - 物品認識装置、販売データ処理装置および制御プログラム - Google Patents

Abstract

【課題】 複数のボタンのうちから、認識対象の物品として確定すべき物品が関連付けられたボタンを、オペレータがより容易に見つけ出すことを可能とする。【解決手段】 実施形態の物品認識装置は、選択、取得、選出、制御および入力の各ユニットを備える。選択ユニットは、物品の色を含む外観の特徴を数値化して辞書データに示された特徴量データに基づき、複数表示色から物品の外観色に近い表示色を選択する。選出ユニットは、物品の外観の特徴を数値化して取得された特徴量データと辞書データ内の特徴量データとのマッチングによって、物品の候補を複数の物品の中から選出する。制御ユニットは、表示画面を、選出された候補物品に関して選択された表示色で少なくとも一部が表されたボタンを含んだ操作画面とする。入力ユニットは、操作画面上での操作に応じて候補物品のうちの１つを選択するためのオペレータの操作を入力する。【選択図】 図７

Description

本発明の実施形態は、物品認識装置、販売データ処理装置および制御プログラムに関する。

ビデオカメラなどを用いて認識対象の物品を撮像して得た画像から、当該物品を認識する物品認識装置は、例えばＰＯＳ（point-of-sale）装置などに組み込まれる形態で実現されている。

しかしながら、外観が似た物品は複数存在することが多いため、最終的な確定をオペレータによる操作に応じて行うことが考えられる。

そしてこの場合、認識対象の物品の候補をそれぞれ関連付けたボタンをタッチパネルなどに表示し、タッチされたボタンに関連付けられた物品を認識対象の物品として確定することが典型的である。そしてボタンには、候補となっている物品の名称を文字で表すことにより、各ボタンにどの物品が関連付けられているかをオペレータが識別できるようにする。

しかしながら、各ボタンに関連付けられた物品を文字のみによりオペレータが識別可能とした場合、オペレータは各ボタンに表示された文字を１つ１つ読み取らなければならず、どのボタンをタッチすれば良いのかを判断するのに手間が掛かる。

このような事情から、複数のボタンのうちから、認識対象の物品として確定すべき物品が関連付けられたボタンを、オペレータがより容易に見つけ出すことを可能とすることが望まれていた。

特開２０１４−１３９８４７号公報

本発明が解決しようとする課題は、複数のボタンのうちから、認識対象の物品として確定すべき物品が関連付けられたボタンを、オペレータがより容易に見つけ出すことを可能とする物品認識装置、販売データ処理装置および制御プログラムを提供することである。

実施形態の物品認識装置は、複数の物品のそれぞれに関連付けて記憶デバイスに記憶されていて、かつ当該物品の色を含む外観の特徴を数値化した特徴量データを記述した辞書データを参照して物品を認識する物品認識装置であり、選択ユニット、取得ユニット、選出ユニット、制御ユニットおよび入力ユニットを備える。選択ユニットは、記憶ユニットに記憶された特徴量データに基づき、複数の表示色のうちから物品の外観の色に近い表示色を選択する。取得ユニットは、撮像デバイスが撮像した画像に映り込んだ物品の外観の特徴を数値化して特徴量データを取得する。選出ユニットは、取得ユニットにより取得された特徴量データと辞書データに記述された特徴量データとのマッチングによって、画像に映り込んだ物品の候補を複数の物品の中から少なくとも１つ選出する。制御ユニットは、表示デバイスの表示画面を、選出ユニットにより選出された候補のうちの１つをオペレータが選択するためのものであり、当該候補となっている物品に関して選択ユニットにより選択された表示色で少なくとも一部が表されたボタンを少なくとも１つ含んだ操作画面とするように表示デバイスを制御する。入力ユニットは、表示デバイスにより表示された操作画面上での操作に応じて選出ユニットにより選出された候補のうちの１つを選択するためのオペレータの操作を入力する。

一実施形態に係る商品読取装置を含んだ店舗会計システムの外観図。 図１に示す店舗会計システムにおける電気的要素のブロック図。 表示色データベースに含まれるデータレコードを模式的に示す図。 商品読取装置に設けられたＣＰＵによる更新処理のフローチャート。 量子化テーブルを模式的に示す図。 商品読取装置に設けられたＣＰＵによる制御処理のフローチャート。 商品読取装置に設けられたＣＰＵによる制御処理のフローチャート。 商品読取装置に設けられたＣＰＵによる制御処理のフローチャート。 一例としての操作画面を示す図。 図９に示す操作画面から更新された後の一例としての操作画面を示す図。 図１０に示す操作画面から更新された後の一例としての操作画面を示す図。

以下、物品認識装置の実施形態について、図面を用いて説明する。本実施形態は、スーパーマーケット等の店舗で販売される商品を認識対象の物品とする商品読取装置に適用した場合である。さらに詳しくは、本実施形態は、上記店舗に設けられた会計カウンタに立設される縦型の商品読取装置に適用した場合である。

図１は本実施形態に係る商品読取装置を含んだ店舗会計システムの外観図である。この店舗会計システムは、販売データ処理装置の一例である。
図１に示す店舗会計システムは、商品読取装置１００およびＰＯＳ端末２００を含む。商品読取装置１００は、会計カウンタ３００の上に取り付けられる。ＰＯＳ端末２００は、レジ台４００に載置されたドロワ５００の上に設置される。商品読取装置１００とＰＯＳ端末２００とは、図示しない通信ケーブルにより電気的に接続される。ドロワ５００に代えて、自動釣銭機が設置される場合もある。

商品読取装置１００は、ハウジング１０１、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４および撮像部１０５を含む。

ハウジング１０１は、平型の箱状をなし、会計カウンタ３００の上に立つ。ハウジング１０１は、上端においてキーボード１０２、タッチパネル１０３、客用ディスプレイ１０４を支持し、内部において撮像部１０５を支持する。ハウジング１０１は、撮像部１０５に対向して読取窓１０１ａを有し、読取窓１０１ａの前に位置する物体（オブジェクト）を、読取窓１０１ａを介して撮像部１０５により撮像可能とする。

ＰＯＳ端末２００は、ハウジング２０１、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５を含む。

ハウジング２０１は、キーボード２０２をその一部を外部に露出する状態で支持し、オペレータ用ディスプレイ２０３および客用ディスプレイ２０４を外部に位置する状態で支持し、プリンタ２０５を内部にて支持する。

会計カウンタ３００は、細長い天板３００ａを含む。会計カウンタ３００は、天板の長手方向に沿った顧客通路（図１における奥側）とオペレータスペース（図１における手前側）とを分ける。ハウジング１０１は、天板３００ａの長手方向の略中央に位置し、キーボード１０２、タッチパネル１０３および読取窓１０１ａをそれぞれオペレータスペース側に向けるとともに、客用ディスプレイ１０４を顧客通路側に向ける。天板３００ａの上面は、商品読取装置１００を挟んで顧客移動方向の上流側の領域については、買物客が購入しようとする商品のうちの売上登録が済んでいない商品を置くためのスペースとして使用される。また、下流側の領域は、売上登録が済んだ商品を置くためのスペースとして使用される。かくして通常は、売上商品は顧客移動方向の上流側の領域から、読取窓１０１ａの前を通して下流側の領域へと移される。

レジ台４００は、顧客通路における顧客の移動方向に対して下流側の会計カウンタ３００の端部に並ぶようにオペレータスペース側に位置する。

図２は図１に示す店舗会計システムにおける電気的要素のブロック図である。なお、図２に示される要素のうちで図１に示されるのと同一の要素には図１と同一の符号を付する。

商品読取装置１００は電気的要素として、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４のほかに、撮像デバイス１０５ａ、ＣＰＵ（central processing unit）１０６、ＲＯＭ（read-only memory）１０７、ＲＡＭ（random-access memory）１０８、補助記憶ユニット１０９、キーボードインタフェース（キーボードＩ／Ｆ）１１０、パネルインタフェース（パネルＩ／Ｆ）１１１、表示インタフェース（表示Ｉ／Ｆ）１１２、撮像インタフェース（撮像Ｉ／Ｆ）１１３、ＰＯＳ端末インタフェース（ＰＯＳ端末Ｉ／Ｆ）１１４およびバスライン１１５を含む。なお、バスライン１１５は、アドレスバスおよびデータバスなどを含み、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、キーボードインタフェース１１０、パネルインタフェース１１１、表示インタフェース１１２、撮像インタフェース１１３およびＰＯＳ端末インタフェース１１４を互いに接続する。

キーボード１０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。

タッチパネル１０３は、例えばＬＣＤ（liquid crystal display）などの表示デバイスと、この表示デバイスの表示画面に重ねて配置された透明な二次元タッチセンサとを含む。タッチパネル１０３は、ＣＰＵ１０６の制御の下に任意の画像を表示デバイスにおいて表示する。タッチパネル１０３は、表示デバイスの表示画面におけるオペレータのタッチ位置を二次元タッチセンサにて検出し、そのタッチ位置を表す座標データを出力する。タッチパネル１０３は、オペレータに対して提示するべき各種の情報を表した画像を表示するためや、オペレータの操作を入力するために利用される。

客用ディスプレイ１０４は、ＣＰＵ１０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ１０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ１０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。

撮像デバイス１０５ａは、図示しない撮像レンズとともに撮像部１０５に含まれる。撮像デバイス１０５ａは、エリアイメージセンサであるＣＣＤ（charge coupled device）撮像素子とその駆動回路とを含む。撮像レンズは、撮像領域の画像をＣＣＤ撮像素子に結像する。撮像領域とは、読取窓１０１ａから撮像レンズを通してＣＣＤ撮像素子のエリアに結像する領域を指す。撮像デバイス１０５ａは、撮像領域の画像（フレーム画像）を表すフレームデータを一定の時間間隔で取得し、当該フレームデータを出力する。

ＣＰＵ１０６は、ＲＯＭ１０７およびＲＡＭ１０８に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、商品読取装置１００としての各種の動作を実現するべく商品読取装置１００の各要素を制御する。

ＲＯＭ１０７は、上記のオペレーティングシステムを記憶する。ＲＯＭ１０７は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またＲＯＭ１０７は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する場合もある。

ＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。

補助記憶ユニット１０９は、ＣＰＵ１０６が各種の処理を行う上で使用するデータや、ＣＰＵ１０６での処理によって生成されたデータを保存する。補助記憶ユニット１０９は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。補助記憶ユニットとしては、ＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ハードディスクドライブ、あるいはＳＳＤ（solid state drive）などが利用できる。補助記憶ユニット１０９の記憶領域の一部は、表示色データベースを記憶する。すなわち補助記憶ユニット１０９は、記憶ユニットの一例である。

かくして、ＣＰＵ１０６、ＲＡＭ１０７、ＲＯＭ１０８および補助記憶ユニット１０９によってコンピュータを構成する。ＣＰＵ１０６は、当該コンピュータの中枢部分に相当する。ＲＡＭ１０７およびＲＯＭ１０８は、当該コンピュータの主記憶部分に相当する。補助記憶ユニット１０９は、当該コンピュータの補助記憶部分に相当する。

表示色データベースは、後述する認識処理で売上商品の候補とされた商品を売上商品として確定するためのオペレータの操作を受け付けるためのボタンの表示色を商品毎に定義するものである。

図３は表示色データベースに含まれるデータレコードＲを模式的に示す図である。
表示色データベースは、複数のデータレコードＲの集合である。
データレコードＲは、商品ＩＤ（ＰＬＵコード）と表示色コードとを関連付けて記述する。

ＲＯＭ１０７または補助記憶ユニット１０９に記憶されるアプリケーションプログラムには、後述する制御処理に関して記述した制御プログラムを含む。なお、商品読取装置１００の譲渡は、一般的に制御プログラムがＲＯＭ１０７または補助記憶ユニット１０９に記憶された状態にて行われる。しかし、制御プログラムがＲＯＭ１０７や補助記憶ユニット１０９に記憶されない状態で商品読取装置１００が譲渡されても良い。そして、リムーバブルな記録媒体に記録して、あるいはネットワークを介して制御プログラムが譲渡され、この制御プログラムが上記の別途に譲渡された商品読取装置１００の補助記憶ユニット１０９に書き込まれても良い。記録媒体としては、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどが利用できる。

キーボードインタフェース１１０は、キーボード１０２とＣＰＵ１０６とのデータの授受をインタフェースする。キーボードインタフェース１１０としては、例えばＰＳ／２規格またはＵＳＢ（universal serial bus）規格に準拠した周知のデバイスを利用できる。

パネルインタフェース１１１は、タッチパネル１０３とＣＰＵ１０６とのデータおよび映像信号の授受をインタフェースする。パネルインタフェース１１１は、表示デバイス用のインタフェースとタッチセンサ用のインタフェースとを含む。表示デバイス用のインタフェースとしては、例えばＶＧＡ（video graphics array）規格（アナログＲＧＢ規格）、ＤＶＩ（digital video interface）規格またはＬＶＤＳ（low voltage differential signaling）規格に準拠した周知のデバイスを利用できる。タッチセンサ用のインタフェースとしては、例えばＵＳＢ規格またはＲＳ（recommended standard）−２３２Ｃ規格に準拠した周知のデバイスを利用できる。

表示インタフェース１１２は、客用ディスプレイ１０４とＣＰＵ１０６との映像信号の授受をインタフェースする。表示インタフェース１１２としては、客用ディスプレイ１０４が蛍光管表示器である場合には、例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用できる。また表示インタフェース１１２としては、客用ディスプレイ１０４がＬＣＤである場合には、例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。

撮像インタフェース１１３は、撮像デバイス１０５ａとＣＰＵ１０６とのデータの授受をインタフェースする。撮像インタフェース１１３としては、例えばＵＳＢ規格またはＩＥＥＥ（institute of electrical and electronic engineers）１３９４規格に準拠した周知のデバイスを利用できる。

ＰＯＳ端末インタフェース１１４は、ＰＯＳ端末２００とＣＰＵ１０６とのデータの授受をインタフェースする。ＰＯＳ端末インタフェース１１４としては、例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用できる。

ＰＯＳ端末２００は電気的要素として、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５のほかに、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、補助記憶ユニット２０９、キーボードインタフェース２１０、表示インタフェース（表示Ｉ／Ｆ）２１１，２１２、プリンタインタフェース（プリンタＩ／Ｆ）２１３、読取装置インタフェース（読取装置Ｉ／Ｆ）２１４、ドロワインタフェース（ドロワＩ／Ｆ）２１５、通信デバイス２１６およびバスライン２１７を含む。なお、バスライン２１７は、アドレスバスおよびデータバスなどを含み、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、補助記憶ユニット２０９、キーボードインタフェース２１０、表示インタフェース２１１、表示インタフェース２１２、プリンタインタフェース２１３、読取装置インタフェース２１４、ドロワインタフェース２１５および通信デバイス２１６を互いに接続する。

キーボード２０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。

オペレータ用ディスプレイ２０３は、ＣＰＵ２０６の制御の下に任意の画像を表示する。オペレータ用ディスプレイ２０３は、オペレータに対して提示するべき各種の画像を表示するために利用される。オペレータ用ディスプレイ２０３としては、例えばＬＣＤが利用できる。

客用ディスプレイ２０４は、ＣＰＵ２０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ２０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ２０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。

プリンタ２０５は、ＣＰＵ２０６の制御の下に、取引の内容を表したレシート画像をレシート用紙に対してプリントする。プリンタ２０５としては、周知の各種方式の既存のプリンタが利用できる。典型的にはプリンタ２０５は、サーマルプリンタである。

ＣＰＵ２０６は、ＲＯＭ２０７およびＲＡＭ２０８に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、ＰＯＳ端末２００としての各種の動作を実現するべく各部を制御する。

ＲＯＭ２０７は、上記のオペレーティングシステムを記憶する。ＲＯＭ２０７は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またＲＯＭ２０７は、ＣＰＵ２０６が各種の処理を行う上で参照するデータを記憶する場合もある。

ＲＡＭ２０８は、ＣＰＵ２０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ２０８は、ＣＰＵ２０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。ＲＡＭ２０８の記憶領域の一部は、売上登録された商品についての情報を管理するための商品リストエリアとして使用される。

補助記憶ユニット２０９は、例えばハードディスクドライブやＳＳＤなどであり、ＣＰＵ２０６が各種の処理を行う上で使用するデータや、ＣＰＵ２０６での処理によって生成されたデータを保存する。

キーボードインタフェース２１０は、キーボード２０２とＣＰＵ２０６とのデータの授受をインタフェースする。キーボードインタフェース２１０としては、例えばＰＳ／２規格またはＵＳＢ規格に準拠した周知のデバイスを利用できる。

表示インタフェース２１１は、オペレータ用ディスプレイ２０３とＣＰＵ１０６との映像信号の授受をインタフェースする。表示インタフェース２１１としては、例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。

表示インタフェース２１２は、客用ディスプレイ２０４とＣＰＵ２０６との映像信号の授受をインタフェースする。表示インタフェース２１２としては、客用ディスプレイ２０４が蛍光管表示器である場合には、例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用できる。また表示インタフェース２１２としては、客用ディスプレイ２０４がＬＣＤである場合には、例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。

プリンタインタフェース２１３は、プリンタ２０５とＣＰＵ２０６とのデータの授受をインタフェースする。プリンタインタフェース２１３としては、例えばＵＳＢ規格、ＲＳ−２３２Ｃ規格またはＩＥＥＥ１２８４規格（いわゆるセントロニクス仕様）などに準拠した周知のデバイスを利用できる。

読取装置インタフェース２１４は、商品読取装置１００とＣＰＵ２０６とのデータの授受をインタフェースする。読取装置インタフェース２１４としては、ＰＯＳ端末インタフェース１１４が準拠する規格に準拠した周知のデバイスを利用できる。

ドロワインタフェース２１５は、ＣＰＵ２０６からドロワ開放が指示されたことに応じてドロワ５００を開放させるための駆動信号をドロワ５００に対して出力する。

通信デバイス２１６は、通信ネットワーク６００を介してサーバ７００と通信する。通信デバイス２１６としては、例えば既存のＬＡＮ通信デバイスを適用できる。

この店舗会計システムを運用するに先立って、ＣＰＵ１０６が参照できる形で認識辞書ファイルが用意される。認識辞書ファイルは、ＲＯＭ１０７、補助記憶ユニット１０９、ＲＯＭ２０７および補助記憶ユニット２０９のいずれに記憶されても良い。あるいは、認識辞書ファイルは、サーバ７００などの店舗会計システムの外部に記憶されていても良い。

認識辞書ファイルは、認識対象である商品毎に、その商品を識別するＰＬＵコードおよび商品名と関連付けて、複数の特徴量データを記述した辞書データを表すコンピュータファイルである。商品を撮影した基準画像から、その商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量を抽出し、この外観特徴量をパラメータで表わしたものを特徴量データとする。そして、１つの商品に対し、その商品を様々な方向から撮影した基準画像のそれぞれから得た特徴量データを、該当する商品のＰＬＵコードに関連付けている。１つの商品に対する特徴量データの数は、固定ではない。また、特徴量データの数は、商品によって異なっていても良い。また、商品名は必ずしも認識辞書ファイルに含まれていなくても良い。

次に以上のように構成された店舗会計システムにおける商品読取装置１００の動作について説明する。なお、以下に説明する各種の処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。

ＣＰＵ１０６は適宜のタイミングで、ＲＯＭ１０７または補助記憶ユニット１０９に記憶された制御プログラムに基づき、表示色データベースの更新処理を実行する。この更新処理を実行するタイミングは、例えば商品読取装置１００を新規に使用開始するための準備作業の一環として行われる。更新処理は、認識辞書ファイルが更新された場合にも、実行されることが好ましい。なお、後述する認識処理の結果に応じて認識辞書ファイルを自動学習することも考えられるが、この場合には、認識辞書ファイルが更新される毎、あるいは定期的に更新処理を実行することが好ましい。

図４はＣＰＵ１０６による更新処理のフローチャートである。
Ａｃｔ１においてＣＰＵ１０６は、認識辞書ファイルに含まれたＰＬＵコードのうちで今回の更新処理でまだ選択していないものの１つを選択する。

Ａｃｔ２においてＣＰＵ１０６は、上記の選択したＰＬＵコードに関連付けて認識辞書ファイルに記述された特徴量から、当該ＰＬＵコードで識別される商品の外観上での色を判定し、さらにその色に対応する表示色コードを判定する。

図５は量子化テーブルを模式的に示す図である。
図５に示す量子化テーブルは、ＹＣｒＣｂ方式におけるＣｒ成分およびＣｂ成分を縦軸および横軸にそれぞれ割り当てた色空間を、破線で示す様に１７領域に分割して「０」〜「１７」の表示色コードを割り振ったものである。

ＣＰＵ１０６は、特徴量で表される色が色空間上の座標を含んだ領域に割り振られた表示色コードを判定する。

なお、各領域に対する表示色コードの割り振り、色空間の分割形態や分割数、あるいは使用する色空間などは任意である。

Ａｃｔ３においてＣＰＵ１０６は、補助記憶ユニット１０９が記憶している表示色データベースを更新する。具体的にはＣＰＵ１０６は、Ａｃｔ１で選択したＰＬＵコードを含んだデータレコードが表示色データベースに含まれているか否かを確認する。そしてＣＰＵ１０６は、該当するデータレコードが含まれているならば、そのデータレコードに記述された表示色コードを、上記のように判定した表示色コードに書き換える。ＣＰＵ１０６は、該当するデータレコードが含まれていないならば、Ａｃｔ１で選択したＰＬＵコードと、上記のように判定した表示色コードとを記述した新たなデータレコードを、表示色データベースに追加する。

Ａｃｔ４においてＣＰＵ１０６は、認識辞書ファイルに含まれたＰＬＵコードのうちで今回の更新処理でまだ選択していないものがあるか否かを判断する。そしてＣＰＵ１０６は、未選択のＰＬＵコードが有るならばＹｅｓと判定し、Ａｃｔ１に戻る。このようにしてＣＰＵ１０６は、認識辞書ファイルに含まれたＰＬＵコードの全てを対象として、Ａｃｔ１〜Ａｃｔ３を行う。そしてＣＰＵ１０６は、認識辞書ファイルに含まれたＰＬＵコードの全てを対象としてＡｃｔ１〜Ａｃｔ３を実行し終えたならば、Ａｃｔ４にてＮｏと判定し、当該更新処理を終了する。

なお、認識辞書ファイルが更新されたことに応じて更新処理を実行するのであれば、ＣＰＵ１０６は、特徴量が更新されたＰＬＵコードのみを対象としてＡｃｔ１〜Ａｃｔ３を実行しても良い。

図６，図７および図８は商品読取装置１００の動作を制御するためのＣＰＵ１０６による制御処理のフローチャートである。
例えばキーボード２０２でのオペレータによる所定の操作により売上商品の登録の開始が指示されるなどにより登録処理の開始条件が成立すると、ＣＰＵ２０６は読取装置インタフェース２１４より読取開始コマンドを商品読取装置１００へ送る。この読取開始コマンドは、ＰＯＳ端末インタフェース１１４によりＣＰＵ１０６に通知される。そしてＣＰＵ１０６は読取開始コマンドを受けると、制御プログラムに基づく図６〜８に示す制御処理を開始する。あるいは、キーボード１０２またはタッチパネル１０３でのオペレータによる所定の操作により売上商品の登録の開始が指示されるなどにより登録処理の開始条件が成立すると、ＣＰＵ１０６は図６〜８に示す制御処理を開始する。

図６に示すＡｃｔ１１においてＣＰＵ１０６は、タッチパネル１０３の画面を操作画面とする。具体的にはＣＰＵ１０６は例えば、操作画面を表す画像データを生成してＲＡＭ１０８に保存するとともに、当該画像データに基づく表示を行うようにタッチパネル１０３を制御する。この制御の下にタッチパネル１０３は、ＲＡＭ１０８から画像データに基づく画像を表示する。

図９は一例としての操作画面ＳＣ１を示す図である。
操作画面ＳＣ１は、６つの領域Ｒ１１，Ｒ１２，Ｒ１３，Ｒ１４，Ｒ１５，Ｒ１６を含む。

領域Ｒ１１は、撮像デバイス１０５ａにより撮像された画像を表示するための領域である。領域Ｒ１２〜Ｒ１５は、後述する認識処理により選定される一位候補〜四位候補のそれぞれの商品名を表示するとともに、各候補商品のうちから売上商品として確定する商品を選択するためのボタンとなる領域である。領域Ｒ１６は、商品読取装置１００の操作を案内するメッセージを表示する領域である。なお、一位候補は、撮像デバイス１０５ａにより撮像された画像に映り込んだ商品が、その商品である可能性が最も高いと判定された商品である。二位候補〜四位候補は、画像に映り込んだ商品が、その商品である可能性が２番目〜４番目に高いと判定された商品である。

操作画面ＳＣ１における領域Ｒ１１〜Ｒ１５は、いずれもブランクである。操作画面ＳＣ１における領域Ｒ１６は、売上商品を撮像部１０５の前にかざすことをオペレータに促す文字メッセージＬ１を表す。

Ａｃｔ１２においてＣＰＵ１０６は、撮像デバイス１０５ａによる撮像を開始する。具体的にはＣＰＵ１０６は、撮像インタフェース１１３より撮像デバイス１０５ａに対して撮像オン信号を出力する。この撮像オン信号を受けて撮像デバイス１０５ａは、動画撮像を開始する。かくして、この状態においてオペレータが手で把持した売上商品を読取窓１０１ａにかざすと、撮像デバイス１０５ａが撮像した動画に売上商品が映り込む。撮像デバイス１０５ａは、周期的にフレームデータを出力する。

Ａｃｔ１３においてＣＰＵ１０６は、撮像デバイス１０５ａが出力するフレームデータをＲＡＭ１０８に保存する。

Ａｃｔ１４においてＣＰＵ１０６は、操作画面を更新する。具体的にはＣＰＵ１０６は、ＲＡＭ１０８に保存したフレームデータが表す画像の鏡像を領域Ｒ１１に示すようにする。

図１０はＡｃｔ１４で操作画面ＳＣ１から更新された後の一例としての操作画面ＳＣ２を示す図である。なお、操作画面ＳＣ２の要素のうちの操作画面ＳＣ１にも含まれる要素については、図９と同一の符号を付している。
操作画面ＳＣ２では、売上商品の画像ＩＭ１が、領域Ｒ１１に表されている。

Ａｃｔ１５においてＣＰＵ１０６は、抽出処理を行う。抽出処理は、フレームデータが表す画像（以下、フレーム画像と称する）から、そこに映り込んだ商品に相当するオブジェクトを抽出する処理である。具体的にはＣＰＵ１０６は例えば、先ず、フレーム画像から肌色領域の検出を試みる。ＣＰＵ１０６は、肌色領域を検出できた場合、すなわちオペレータの手がフレーム画像に映り込んでいる場合には、フレーム画像を二値化した上で、これにより得られた二値化画像から輪郭線などを抽出する。ＣＰＵ１０６はこれにより、オペレータの手が把持していると想定される売上商品の輪郭を特定する。ＣＰＵ１０６は、当該輪郭の内側の領域をオブジェクトとして抽出する。なお、図１０では、オペレータの手の図示を省略している。

Ａｃｔ１６においてＣＰＵ１０６は、オブジェクトが抽出できたか否かを確認する。そしてＣＰＵ１０６は、オブジェクトが抽出できなかったならばＮｏと判定し、Ａｃｔ１３へと戻る。つまりＣＰＵ１０６は、オブジェクトが抽出できるまで、新たなフレーム画像を対象としたオブジェクトの抽出を繰り返し試みる。そしてＣＰＵ１０６は、オブジェクトを抽出できたならばＡｃｔ１６にてＹｅｓと判定し、Ａｃｔ１７へと進む。

Ａｃｔ１７においてＣＰＵ１０６は、認識処理を行う。認識処理は、Ａｃｔ１５で抽出されたオブジェクトを対象として、そのオブジェクトがどの商品の画像であるかを認識する処理である。この認識処理には、周知の技術を利用できる。以下に、認識処理の具体例の１つを説明する。

ＣＰＵ１０６は、Ａｃｔ１５にて抽出したオブジェクトを解析し、形状、表面の色合い、模様、凹凸具合等の特徴量を読み取る。そしてＣＰＵ１０６は、読み取った特徴量と、認識辞書ファイルに記述された特徴量とのマッチングからオブジェクトがどの商品であるかを認識する。

ここでの商品の認識には、一般物体認識（generic object recognition）と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されており、この技術を上記のオブジェクト認識に利用できる。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されており、この技術も上記のオブジェクト認識に利用できる。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
外観が類似する商品は少なからず存在することが一般的である。このため、上記の認識処理により、売上商品を確定することは好ましく無い。そこでＣＰＵ１０６はＡｃｔ１７においては、商品毎に求めた類似度が高い商品を最大４つまで選び、類似度が高い順に一位候補〜四位候補として設定する。なおＣＰＵ１０６は、一位候補〜四位候補のそれぞれのＰＬＵコードをＲＡＭ１０８に書き込む。ただしＣＰＵ１０６は、最大の類似度が予め定めた値未満である場合には、候補商品無しとする。

かくして、制御プログラムに基づく制御処理をＣＰＵ１０６が実行することによって、ＣＰＵ１０６を中枢部分とするコンピュータは取得ユニットおよび選出ユニットとして機能する。

Ａｃｔ１８においてＣＰＵ１０６は、上記の認識処理で候補商品が有ったか否かを確認する。そしてＣＰＵ１０６は、候補商品が無かったならばＮｏと判定し、Ａｃｔ１３に戻る。しかしながらＣＰＵ１０６は、少なくとも一位候補を設定したならばＹｅｓと判定し、図７に示すＡｃｔ１９へと進む。

Ａｃｔ１９においてＣＰＵ１０６は、変数Ｎに１をセットする。

Ａｃｔ２０においてＣＰＵ１０６は、Ｎ位候補となっている商品の商品名を第Ｎの表示名として設定する。具体的にはＣＰＵ１０６は、Ａｃｔ１７においてＲＡＭ１０８に書き込んだＮ位候補のＰＬＵコードに関連付けて認識辞書ファイルに記述されている商品名を第Ｎの表示名として設定する。

Ａｃｔ２１においてＣＰＵ１０６は、Ｎ位候補となっている商品に関連付けられた表示色を第Ｎの表示色として設定する。具体的にはＣＰＵ１０６は、Ａｃｔ１７においてＲＡＭ１０８に書き込んだＮ位候補のＰＬＵコードとともに表示色データベースのデータレコードに記述されている表示色コードを第Ｎの表示色のコードとして設定する。かくして制御プログラムに基づく制御処理をＣＰＵ１０６が実行することによって、ＣＰＵ１０６を中枢部分とするコンピュータは選択ユニットとして機能する。

Ａｃｔ２２においてＣＰＵ１０６は、変数Ｎの値を１つ増加する。

Ａｃｔ２３においてＣＰＵ１０６は、変数Ｎが変数Ｎの最大値Ｎmaxよりも大きいか否かを確認する。認識処理において四位候補まで設定している本実施形態においては、最大値Ｎmaxは「４」である。そしてＣＰＵ１０６は、変数Ｎが最大値Ｎmax以下であるならばＮｏと判定し、Ａｃｔ２４へと進む。

Ａｃｔ２４においてＣＰＵ１０６は、Ｎ位候補が設定されているか否かを確認する。そしてＣＰＵ１０６は、Ｎ位候補が設定されているならば、Ａｃｔ２０以降を上記と同様に繰り返す。

そしてＣＰＵ１０６は、Ａｃｔ２１で第４の表示色コードを設定し終えた場合には、Ａｃｔ２３にてＹｅｓと判定してＡｃｔ２５へと進む。またＣＰＵ１０６は、認識処理において設定された候補の全てに対して表示色コードを設定し終えた場合には、Ａｃｔ２４にてＮｏと判定してＡｃｔ２５へと進む。

Ａｃｔ２５においてＣＰＵ１０６は、操作画面を更新する。具体的にはＣＰＵ１０６は、操作画面を、Ａｃｔ２０およびＡｃｔ２１での設定を反映するようにする。さらにＣＰＵ１０６は、領域Ｒ１６における表示を、候補商品のうちで売上商品として確定する商品を選択することをオペレータに促す文字メッセージに置き換える。かくして制御プログラムに基づく制御処理をＣＰＵ１０６が実行することによって、ＣＰＵ１０６を中枢部分とするコンピュータは制御ユニットとして機能する。

図１１はＡｃｔ２５で操作画面ＳＣ２から更新された後の一例としての操作画面ＳＣ３を示す図である。なお、操作画面ＳＣ３の要素のうちの操作画面ＳＣ１，ＳＣ２にも含まれる要素については、図９，１０と同一の符号を付している。
操作画面ＳＣ３は、Ａｃｔ１７において、一位候補〜四位候補として「ジョナゴールド」「みかん」「フジ」「もも」がそれぞれ設定された場合を示している。

領域Ｒ１２〜Ｒ１５の中には、第１〜第４の商品名を表す文字列Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４が前景として示されている。領域Ｒ１２〜Ｒ１５の背景は、第１〜第４の表示色とされている。図１１においては、ハッチングの違いによって領域Ｒ１２〜Ｒ１５の背景色に違いを表している。領域Ｒ１２と領域Ｒ１４とは、背景色が同一であり、その表示色コードは例えば「４」である。領域Ｒ１３および領域Ｒ１５の背景色は、いずれも他の領域とは異なり、その表示色コードは例えば「６」および「１」である。領域Ｒ１６には、候補商品のうちから売上商品として確定する商品を選択することをオペレータに促す文字メッセージＬ２が示されている。

かくして制御プログラムに基づく制御処理をＣＰＵ１０６が実行することによって、ＣＰＵ１０６を中枢部分とするコンピュータは制御ユニットとして機能する。

ＣＰＵ１０６はＡｃｔ２５を終えたならば、図８に示すＡｃｔ２６へと進む。
Ａｃｔ２６においてＣＰＵ１０６は、撮像デバイス１０５ａが出力するフレームデータをＲＡＭ１０８に保存する。

Ａｃｔ２７においてＣＰＵ１０６は、操作画面を更新する。具体的にはＣＰＵ１０６は、領域Ｒ１１に示す画像を、Ａｃｔ２６で新たに取得したフレームデータに応じたものに置き換える。

Ａｃｔ２８においてＣＰＵ１０６は、Ａｃｔ１５と同様にして抽出処理を行う。

Ａｃｔ２９においてＣＰＵ１０６は、オブジェクトが抽出できたか否かを確認する。そしてＣＰＵ１０６は、オブジェクトが抽出できたならばＹｅｓと判定し、Ａｃｔ３０へと進む。

Ａｃｔ３０においてＣＰＵ１０６は、売上商品を確定するためのボタンタッチがなされたか否かを確認する。ＣＰＵ１０６は具体的には、領域Ｒ１２〜Ｒ１５の中のいずれかの位置のタッチ操作がタッチパネル１０３により検出されたか否かを確認する。そしてＣＰＵ１０６は、該当するタッチ操作が検出されていなければＮｏと判定し、Ａｃｔ２６へと戻る。かくしてＣＰＵ１０６は、Ａｃｔ２６〜Ａｃｔ３０のループにおいては、オブジェクトが抽出できなくなるか、あるいは売上商品を確定するためのボタンタッチがなされるのを待ち受ける。そしてＣＰＵ１０６は、該当するボタンタッチがなされたならば、Ａｃｔ３０にてＹｅｓと判定し、Ａｃｔ３１へと進む。

Ａｃｔ３１においてＣＰＵ１０６は、タッチ位置に応じて売上商品を確定する。ＣＰＵ１０６は具体的には、タッチ位置が領域Ｒ１２〜Ｒ１５のいずれの中であるかを判断し、該当する領域に関連付けられた候補を売上商品として確定する。例えばＣＰＵ１０６は、操作画面ＳＣ３における領域Ｒ１４の中がタッチされたならば、「フジ」を売上商品として確定する。かくして制御プログラムに基づく制御処理をＣＰＵ１０６が実行することによって、ＣＰＵ１０６を中枢部分とするコンピュータは入力ユニットとして機能する。こののちにＣＰＵ１０６は、図１中のＡｃｔ１３へと戻る。

なおＣＰＵ１０６は、売上商品として確定した商品のＰＬＵコードを、ＰＯＳ端末インタフェース１１４を介してＰＯＳ端末２００へと通知する。ＰＯＳ端末２００は、上記のようにＰＬＵコードが通知されると、これを読取装置インタフェース２１４が受信する。そして読取装置インタフェース２１４は、ＰＬＵコードをＣＰＵ２０６に通知する。これに応じてＣＰＵ２０６は、通知されたＰＬＵコードで識別される商品の販売に関わるデータ処理を行う。このデータ処理は、例えば既存の別のＰＯＳ端末で行われている処理と同じであって良い。かくしてＣＰＵ２０６を中枢部分とするコンピュータは処理ユニットとして機能する。

なおＣＰＵ１０６がＡｃｔ２６〜Ａｃｔ３０のループを処理している間に、オペレータが、撮像部１０５の前にかざしている売上商品を、撮像部１０５の視野外まで移動させると、フレーム画像に売上商品が映り込まなくなる。このため、ＣＰＵ１０６がＡｃｔ２８にてオブジェクトを抽出できなくなる。そしてこの場合にＣＰＵ１０６は、Ａｃｔ２９でＮｏと判定し、Ａｃｔ３１を実行することなく図１中のＡｃｔ１３へと戻る。つまりこの場合にＣＰＵ１０６は、Ａｃｔ１７での認識結果を破棄し、新たな商品の認識を開始する。

なおＣＰＵ１０６は、このような領域Ｒ１２〜Ｒ１５のいずれかをタッチすることに応じての売上商品の確定を、オブジェクトが抽出できなくなった後も、新たなオブジェクトが抽出されるまでの間は行うようにしても良い。

以上のように、候補商品のうちの１つをオペレータが選択するための操作画面においては、候補商品が関連付けられたボタンの背景には、その候補商品の外観の色に近い表示色が用いられる。従ってオペレータは、撮像部１０５の前にかざしている売上商品の外観の色に近い背景色のボタンの前景に表された文字を確認すれば、それが売上商品の商品名である可能性が高いこととなる。そして、外観の色が異なる候補商品が含まれているために、背景色が売上商品の外観の色とは異なるボタンが存在する場合には、そのボタンの前景に表された文字をオペレータが確認しなくて良い場合がある。

従って、オペレータが売上商品の確定のためにタッチすべきボタンを、オペレータがより容易に見つけ出すことを可能とすることが可能となる。言い換えれば、オペレータは、タッチすべきボタンを直感的に判断することが可能となる。

この実施形態は、次のような種々の変形実施が可能である。

表示色データベースは、補助記憶ユニット２０９やサーバ７００が備える記憶ユニットなどのように、商品読取装置１００の外部に備えられた記憶ユニットに記憶されていても良い。

表示色データベースを用いず、Ａｃｔ２１においてＡｃｔ２の処理を行っても良い。

タッチパネル１０３を商品読取装置１００に備えず、外付けの表示デバイスにおいて操作画面を表示しても良い。

撮像部１０５を商品読取装置１００に備えず、外付けの撮像デバイスで得られたフレームデータを取り込んで上記の処理を行うようにしても良い。

操作画面における候補商品を選択するためのボタンの数、形状および配置は任意で合って良い。

ボタンにおいては、背景の一部のみを表示色としたり、文字を表示色とするとともに、背景は表示色とは異なる色としたりするなどのように、ボタン内のどこに表示色を使用するかは任意である。

ＣＰＵ１０６の処理の具体的内容は、同様な機能を実現できれば任意に変更が可能である。例えば、前記実施形態では、商品読取装置１００が商品を確定するまでの機能を全て有したが、その機能を商品読取装置１００とＰＯＳ端末２００に分散させて構成してもよい。また、ＰＯＳ端末２００が商品を確定するまでの機能を全て有して構成してもよい。つまり、図４および図５に示す制御処理の一部または全てを、ＲＯＭ２０７または補助記憶ユニット２０９に記憶された制御プログラムに基づくＣＰＵ２０６の処理により実現しても良い。

商品読取装置１００の機能を内蔵したＰＯＳ端末やキャッシュレジスタとして実現することも可能である。

販売データ処理のための商品の認識には限らず、様々な物品の認識のために本願の技術を利用することが可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…商品読取装置、１０１…ハウジング、１０１ａ…読取窓、１０２…キーボード、１０３…タッチパネル、１０４…客用ディスプレイ、１０５…撮像部、１０５ａ…撮像デバイス、１０６…ＣＰＵ、１０７…ＲＯＭ、１０８…ＲＡＭ、１０９…補助記憶ユニット、１１０…キーボードインタフェース、１１１…パネルインタフェース、１１２…表示インタフェース、１１３…撮像インタフェース、１１４…ＰＯＳ端末インタフェース、１１５…バスライン、２００…ＰＯＳ端末。

Claims (6)

1. 複数の物品のそれぞれに関連付けて記憶デバイスに記憶されていて、かつ当該物品の色を含む外観の特徴を数値化した特徴量データを記述した辞書データを参照して物品を認識する物品認識装置であり、
   前記記憶デバイスに記憶された前記特徴量データに基づき、複数の表示色のうちから物品の外観の色に近い表示色を選択する選択ユニットと、
   撮像デバイスが撮像した画像に映り込んだ物品の外観の特徴を数値化して前記特徴量データを取得する取得ユニットと、
   前記取得ユニットにより取得された前記特徴量データと前記辞書データに記述された前記特徴量データとのマッチングによって、前記画像に映り込んだ物品の候補を前記複数の物品の中から少なくとも１つ選出する選出ユニットと、
   表示デバイスの表示画面を、前記選出ユニットにより選出された候補のうちの１つをオペレータが選択するためのものであり、当該候補となっている物品に関して前記選択ユニットにより選択された表示色で少なくとも一部が表されたボタンを少なくとも１つ含んだ操作画面とするように前記表示デバイスを制御する制御ユニットと、
   前記表示デバイスにより表示された操作画面上での操作に応じて前記選出ユニットにより選出された候補のうちの１つを選択するためのオペレータの操作を入力する入力ユニットと、
   を具備したことを特徴とする物品認識装置。
2. 前記複数の物品のそれぞれに関連付けて、その物品に関して前記選択ユニットにより選択された表示色を表した色データを記憶する記憶ユニットをさらに備え、
   前記制御ユニットは、候補となっている物品に関連付けて前記記憶ユニットに記憶された色データが表す表示色で、当該候補物品を前記オペレータが選択するためのボタンを前記操作画面に表すことを特徴とする請求項１に記載の物品認識装置。
3. 前記制御ユニットは、前記ボタンを、候補物品を識別するための文字を前景として表し、かつ背景を前記選択ユニットにより選択された表示色として表すことを特徴とする請求項１または２に記載の物品認識装置。
4. 前記制御ユニットは、前記ボタンを、候補物品の外観を示した画像を前景として表し、かつ背景を前記選択ユニットにより選択された表示色として表すことを特徴とする請求項１または２に記載の物品認識装置。
5. 複数の物品のそれぞれに関連付けて記憶デバイスに記憶されていて、かつ当該物品の色を含む外観の特徴を数値化した特徴量データを記述した辞書データを参照して物品を認識するとともに、当該認識した物品の販売に関わるデータ処理を行う販売データ処理装置であり、
   前記記憶デバイスに記憶された前記特徴量データに基づき、複数の表示色のうちから物品の外観の色に近い表示色を選択する選択ユニットと、
   撮像デバイスが撮像した画像に映り込んだ物品の外観の特徴を数値化して前記特徴量データを取得する取得ユニットと、
   前記取得ユニットにより取得された前記特徴量データと前記辞書データに記述された前記特徴量データとのマッチングによって、前記画像に映り込んだ物品の候補を前記複数の物品の中から少なくとも１つ選出する選出ユニットと、
   表示デバイスの表示画面を、前記選出ユニットにより選出された候補のうちの１つをオペレータが選択するためのものであり、当該候補となっている物品に関して前記選択ユニットにより選択された表示色で少なくとも一部が表されたボタンを少なくとも１つ含んだ操作画面とするように前記表示デバイスを制御する制御ユニットと、
   前記表示デバイスにより表示された操作画面上での操作に応じて前記選出ユニットにより選出された候補のうちの１つを選択するためのオペレータの操作を入力する入力ユニットと、
   前記入力ユニットで入力された操作に基づいて前記データ処理を行う処理ユニットと、
   を具備したことを特徴とする販売データ処理装置。
6. 複数の物品のそれぞれに関連付けて記憶デバイスに記憶されていて、かつ当該物品の色を含む外観の特徴を数値化した特徴量データを記述した辞書データを参照して物品を認識する物品認識装置を制御するコンピュータを、
   前記記憶デバイスに記憶された前記特徴量データに基づき、複数の表示色のうちから物品の外観の色に近い表示色を選択する選択ユニットと、
   撮像デバイスが撮像した画像に映り込んだ物品の外観の特徴を数値化して前記特徴量データを取得する取得ユニットと、
   前記取得ユニットにより取得された前記特徴量データと前記辞書データに記述された前記特徴量データとのマッチングによって、前記画像に映り込んだ物品の候補を前記複数の物品の中から少なくとも１つ選出する選出ユニットと、
   表示デバイスの表示画面を、前記選出ユニットにより選出された候補のうちの１つをオペレータが選択するためのものであり、当該候補となっている物品に関して前記選択ユニットにより選択された表示色で少なくとも一部が表されたボタンを少なくとも１つ含んだ操作画面とするように前記表示デバイスを制御する制御ユニットと、
   前記表示デバイスにより表示された操作画面上での操作に応じて前記選出ユニットにより選出された候補のうちの１つを選択するためのオペレータの操作を入力する入力ユニットと、
   して機能させるための制御プログラム。