JP6607181B2 - 画像形成システム - Google Patents

Description

本発明は、画像形成装置とメガネ型端末を備えた画像形成システムに関する。

従来、ユーザーにより指定された商品に関する商品情報をユーザーのメモ情報として記憶しておき、ユーザーがログインすると、記憶しておいたメモ情報を表示する技術が知られている（例えば、特許文献１を参照）。

特開２００７−１１５２２０号公報

しかしながら、従来技術では、ユーザーが商品を実際に手に取って確認しようとしたときに、どの販売店に行けばよいのかユーザーに分かりやすく提示できなかったという問題があった。

本発明は上記課題に鑑みてなされたものであり、ユーザーにより指示された商品の近隣販売店の位置を商品取り扱い状況と共に地図上で提示することができる技術を提供することを目的とする。

本発明の画像形成システムは、画像形成装置と、メガネ型端末とを備えた画像形成システムであって、前記画像形成装置は、販売店を検索する商品の商品画像の入力を検索対象画像として受け付ける検索対象画像受付部と、複数の販売店がそれぞれ販売する複数の販売商品の商品画像を、それぞれの販売店の位置情報と共に関連付けて記憶した商品情報記憶部と、前記商品情報記憶部を参照して、前記検索対象画像受付部により受け付けられた前記検索対象画像の前記商品と一致する前記販売商品の前記商品画像を検索し、検索により得た前記商品画像を現在地からそれぞれの販売店までの距離の短い順に複数取得する画像検索部と、前記現在地と前記画像検索部により取得された前記複数の前記商品画像に関連付けられたそれぞれの前記販売店の位置とを示す単一マップを生成するマップ生成部と、前記単一マップ上の前記複数の前記販売店毎に、前記検索対象画像の前記商品に対する類似度の高い順に前記販売商品の前記商品画像を並び替えて、付帯情報を生成する付帯情報生成部と、前記マップ生成部により生成された前記単一マップに、前記複数の前記販売店毎にそれぞれ識別マークを配置する識別マーク配置部と、前記識別マークが配置された前記単一マップを印刷する印刷部と、前記付帯情報生成部により生成された前記付帯情報を前記メガネ型端末に送信する本体通信部とを備え、前記メガネ型端末は、前記画像形成装置から前記付帯情報を受信する端末通信部と、ユーザーの前方視界を撮像する視界撮像部と、前記視界撮像部により撮像された視界画像から前記単一マップに配置された前記識別マークを認識するマーク認識部と、前記マーク認識部により認識された前記識別マークに対応して、前記付帯情報を前記単一マップ上の前記販売店の位置に合わせてオーバーレイ表示させる表示処理部とを備えたことを特徴とする。
また、前記マップ生成部は、前記画像検索部により取得された前記複数の前記商品画像それぞれの前記販売店毎に、前記現在地と前記販売店の位置とを示す販売店マップをそれぞれ生成し、前記現在地を基点として、各販売店マップ間における前記販売店の位置の重なりを避けて、各販売店マップを前記現在地から前記販売店までの距離が短くなるほど上層に位置するように重ね合わせることで、前記単一マップを生成してもよい。
また、前記マップ生成部は、前記上層に位置する前記販売店マップほどマップ領域を小さくして重ね合わせてもよい。
また、前記マップ生成部は、前記上層の前記販売店マップが下層の前記販売店マップ内の前記販売店の位置を含んでいる場合には、前記上層の前記販売店マップの縮尺を調整して、前記下層の前記販売店マップのマップ領域まで拡大してもよい。
また、前記メガネ型端末は、ユーザーの手の動作を検出する動作検出部を備え、前記表示処理部は、前記動作検出部により検出された前記手の動作に応じて、前記付帯情報に含まれる前記商品画像を表示制御してもよい。

本発明によれば、ユーザーにより指示された商品の近隣販売店の位置を商品取り扱い状況と共に地図上で提示することができる。

本発明に係る実施形態の画像形成システムのシステム構成図である。 図１に示す画像形成装置の概略構成を示す機能ブロック図である。 図２に示す商品情報記憶部の登録例である。 図１に示すメガネ型端末の概略構成を示す機能ブロック図である。 図２に示す画像形成装置の画像形成処理の流れを示すフローチャートである。 図２に示すマップ生成部による単一マップ生成前の販売店毎のマップである。 図６に示す販売店毎のマップを重ね合わせて生成された単一マップである。 図４に示すメガネ型端末の付帯情報表示処理の流れを示すフローチャートである。 図４に示すメガネ型端末により単一マップ上に付帯情報がオーバーレイ表示されたイメージ図である。

以下、図を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。

本実施の形態の画像形成システム１００は、図１に示すように、プリンター、複写機、複合機等の画像形成装置１と、画像形成装置１と無線ＬＡＮ等のネットワークを介して接続されたメガネ型端末２とを備えている。画像形成装置１は、ユーザーから検索対象画像５０を取得すると、検索対象画像５０と一致する商品の販売店を検索し、販売店位置と識別マークとを配置した単一マップ８１を印刷する。それと共に、画像形成装置１は、販売店の取扱商品で検索対象画像５０に類似する類似商品情報を付帯情報としてメガネ型端末に送信する。ユーザーは、単一マップ８１により検索対象画像５０の商品を販売する販売店までのアクセスマップを入手することができ、メガネ型端末２で単一マップ８１を視認すると、識別マーク８４に基づいて販売店における類似商品情報が付帯情報として単一マップ８１上にオーバーレイ表示される。

次に、図２を参照して、画像形成装置１について詳細に説明する。画像形成装置１は、複合機であり、コンビニエンスストア等の店舗やモール内等に設置されている。画像形成装置１は、操作部１１と原稿読取部１２と本体記憶部１３と画像処理部１４と印刷部１５と位置情報取得部１６と本体通信部１７と本体制御部１８とを備えている。

操作部１１は、タッチパネルと操作キーとを備えている。タッチパネルは、各種操作キーや画像形成状況を表示する表示部の表面に透明の感圧センサーが設けられており、表示手段及び入力手段として機能する。また、操作キーは、テンキー、リセットキー、ストップキー、スタートキー等を備えている。

原稿読取部１２は、図示しない原稿給紙装置により給紙されてきた原稿や、ユーザーによってプラテンガラスに載置された原稿に対して光を照射し、その反射光等を受光して原稿画像を読み取るスキャナーである。

本体記憶部１３は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段であり、本体通信部１７を介して受信された画像データや、原稿読取部１２によって読み取られた画像データなどが蓄積される。また、本体記憶部１３には、商品情報記憶部１３１と、地図情報１３２と、識別マーク情報１３３とが記憶されている。

商品情報記憶部１３１は、図３に示すように、複数の販売店でそれぞれ販売されている複数の販売商品の商品画像を登録したデータベースである。商品情報記憶部１３１には、各商品画像と共に、販売店位置と、販売店名と、商品の価格と、商品の詳細情報（例えば、商品名、型番、色、材質、在庫数、商品説明等）等が関連付けて登録されている。販売店位置は、販売店の位置情報として、例えば、緯度・経度を有する。商品情報記憶部１３１は、販売店のＰＯＳ（Point Of Sales system）端末と商品の価格や在庫数等を連携してもよい。

地図情報１３２は、フロアーマップ等を含む汎用地図情報である。識別マーク情報１３３は、後述の第１〜第Ｎ識別マーク８４を生成するためのパターンデータやイメージデータであり、第１〜第Ｎ識別マーク８４にそれぞれ対応したものが記憶されている。

画像処理部１４は、画像データに対して所定の画像処理を行う手段である。画像処理部１４では、例えば、拡大縮小処理や、濃度調整、階調調整等の画像改善処理が行われる。

印刷部１５は、画像データを印刷する印刷手段である。印刷部１５は、例えば、本体記憶部１３から読み出した画像データに基づき感光体ドラムの表面に潜像を形成し、トナーによってその潜像をトナー像とする画像形成を行い、その感光体ドラムから記録紙にトナー像を転写させ、そのトナー像を記録紙に定着させて排紙する。また、印刷部１５は、シアン、マゼンダ、イエロー、ブラック等のトナーを用いてそれぞれトナー像を形成する機能を有し、これらのトナー像を重ね合わせて記録紙に定着させることで、フルカラー印刷に対応している。

位置情報取得部１６は、ＧＰＳ（Global Positioning System）等により現在地を取得する機能を有する。

本体通信部１７は、無線ＬＡＮ（Local Area Network）等の無線通信によって、メガネ型端末２や外部端末と各種データを送受信する機能を有する。他にも、本体通信部１７は、ＬＡＮケーブル等の有線ケーブルを介して外部端末と各種データを送受信する機能を有している。

本体制御部１８は、操作部１１、原稿読取部１２、本体記憶部１３、画像処理部１４、印刷部１５、位置情報取得部１６及び本体通信部１７にそれぞれ接続されている。本体制御部１８は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピューター等の情報処理部である。ＲＯＭには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。本体制御部１８は、ＣＰＵによりＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、装置全体の制御を行う。また、本体制御部１８は、検索対象画像受付部１８１と、画像検索部１８２と、マップ生成部１８３と、付帯情報生成部１８４と、識別マーク配置部１８５と、出力制御部１８６として機能する。

検索対象画像受付部１８１は、販売店を検索する商品の商品画像の入力を検索対象画像５０として受け付ける機能を有する。具体的には、検索対象画像受付部１８１は、商品の商品画像が掲載された記事を原稿読取部１２により読み取ったり、ユーザーが所持する携帯電話やスマートフォン等の携帯端末から送信される商品画像を本体通信部１７経由で受信したりして、検索対象画像５０として受け付けることができる。

画像検索部１８２は、商品情報記憶部１３１を参照して、検索対象画像受付部１８１により受け付けられた検索対象画像５０の商品と一致する販売商品の商品画像を検索し、検索により得た商品画像を現在地からそれぞれの販売店までの距離の短い順に上位Ｎ番目まで（Ｎは特定の自然数）を取得する機能を有する。これにより、画像検索部１８２は、検索結果として、第１〜第Ｎ商品画像を取得する。

マップ生成部１８３は、現在地と検索結果として取得された第１〜第Ｎ商品画像に関連付けられたそれぞれの販売店位置を示す単一マップ８１を生成する機能を有する。具体的には、マップ生成部１８３は、画像検索部１８２により取得された第１〜第Ｎ商品があるそれぞれの販売店毎に、位置情報取得部１６により取得される現在地と、販売店位置とを示す販売店マップ（第１〜第Ｎ販売店マップ）をそれぞれ生成する。そして、マップ生成部１８３は、第１〜第Ｎ販売店マップ上の現在地を基点として、第１〜第Ｎ販売店マップ間における販売店位置の重なりを避けて、第１〜第Ｎ販売店マップをそれぞれ現在地から販売店までの距離が短くなるほど上層に位置するように重ね合わせることで、単一マップ８１を生成する。

付帯情報生成部１８４は、マップ生成部１８３により生成された単一マップ８１上の第１〜第Ｎ商品画像に対応付けられた販売店毎に、商品情報記憶部１３１に基づいて、検索対象画像５０の商品に対する類似度の高い順にそれぞれの販売店の商品画像を並び替えて（検索結果として取得された第１〜第Ｎ商品画像を除く）、商品情報を付加して第１〜第Ｎ付帯情報を生成する機能を有する。

識別マーク配置部１８５は、マップ生成部１８３により生成された単一マップ８１上の第１〜第Ｎ商品画像それぞれの販売店毎に、識別マーク情報１３３に基づいて第１〜第Ｎ識別マーク８４を生成し、生成した第１〜第Ｎ識別マーク８４のそれぞれを単一マップ８１上に配置する機能を有する。

出力制御部１８６は、識別マーク配置部１８５により第１〜第Ｎ識別マーク８４を配置された単一マップ８１を印刷部１５により印刷させると共に、付帯情報生成部１８４により生成された第１〜第Ｎ付帯情報を本体通信部１７経由でメガネ型端末２に送信する機能を有する。

メガネ型端末２は、ユーザーが頭部に装着するメガネ型のウェアラブル端末である。図４に示すように、メガネ型端末２は、視界撮像部２１と、画面表示部２２と、端末通信部２３と、端末記憶部２４と、端末制御部２５とを備えている。

視界撮像部２１は、図１に示すように、メガネ型端末２の前方側に向けて配置されたＣＣＤカメラやＣＭＯＳカメラ等の固体撮像素子で構成されたカメラであり、ユーザーの前方視界の画像を撮像する。以下、視界撮像部２１によって撮像された画像を視界画像と称す。

画面表示部２２は、メガネ型端末２をユーザーが装着すると、図１に示すような、ユーザーの眼球の直前に位置するハーフミラー２２ａを表示画面として有し、ハーフミラー２２ａに画像光を投影することでユーザーが視認可能な各種画面を表示する。

端末通信部２３は、無線ＬＡＮ等の無線通信によって、画像形成装置１と各種データを送受信する機能を有する。

端末記憶部２４は、半導体メモリー等の記憶手段である。端末記憶部２４には、第１〜第Ｎ識別マーク８４の照合に用いる識別マーク情報１３３が記憶されている。また、端末記憶部２４は、端末通信部２３が画像形成装置１から受信する第１〜第Ｎ付帯情報を記憶する。

端末制御部２５は、視界撮像部２１、画面表示部２２、端末通信部２３と、端末記憶部２４にそれぞれ接続され、メガネ型端末２全体の動作制御を実行する。端末制御部２５は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたマイクロコンピューター等の情報処理部である。ＲＯＭにはメガネ型端末２の動作制御を行うための制御プログラムが記憶されている。端末制御部２５は、ＣＰＵによりＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、端末全体の制御を行う。また、端末制御部２５は、マーク認識部２５１と、表示処理部２５２と、動作検出部２５３としてそれぞれ機能する。

マーク認識部２５１は、識別マーク情報１３３に基づいて視界画像から第１〜第Ｎ識別マーク８４を認識する機能を有する。

表示処理部２５２は、マーク認識部２５１によって認識された第１〜第Ｎ識別マーク８４毎に、画像形成装置１から受信した第１〜第Ｎ付帯情報を端末記憶部２４から取得し、第１〜第Ｎ識別マーク８４それぞれの近傍に第１〜第Ｎ付帯情報をそれぞれ画面表示部２２上に表示させる機能を有する。

動作検出部２５３は、視界画像からユーザーの手を検出し、ユーザーのスワイプ動作やフリック動作を検出する機能を有する。

次に、図５及び図６を参照して、画像形成装置１の画像形成動作の流れを説明する。

ユーザーにより販売店を検索する商品の商品画像が入力されると、検索対象画像受付部１８１は入力された商品画像を検索対象画像５０として受け付ける（ステップｓ１１）。ユーザーは、販売店を知りたい商品の掲載記事を原稿読取部１２によって読み取らせたり、スマートフォン等の携帯端末のカメラで撮影した商品画像や、インターネットからダウンロードした商品画像等を携帯端末から本体通信部１７に送信したりすることができる。

つづいて、画像検索部１８２は、検索対象画像受付部１８１により受け付けられた検索対象画像５０について、商品情報記憶部１３１を参照して画像検索を行い、各販売店の販売商品のうち、検索対象画像５０の商品に一致する販売商品の商品画像を検索する（ステップｓ１２）。

つづいて、画像検索部１８２は、商品情報記憶部１３１を参照して、検索により得た商品画像に関連付けられた販売店位置と、位置情報取得部により取得される現在地に基づいて、検索により得られた商品画像を現在地から販売店位置までの距離の短い順に並び替える（ステップｓ１３）。つづいて、画像検索部１８２は、並び替えた商品画像のうち、上位Ｎ番目（Ｎは特定の自然数）までの商品画像を第１〜第Ｎ商品画像として取得する（ステップｓ１４）。これにより、商品情報記憶部１３１に登録された販売店の中で、検索対象画像５０の商品と一致する販売商品を有する販売店のうち、現在地から近い順にＮ軒の販売店が特定される。なお、距離は現在地から販売店位置までの直線距離であってもよい。

つづいて、マップ生成部１８３は、地図情報１３２に基づいて、第１〜第Ｎ商品画像毎に、現在地とそれぞれの販売店位置とをマッピングした第１〜第Ｎ販売店マップを生成する（ステップｓ１５）。

図６は、画像検索部１８２による検索結果として第１〜第３商品画像８２ａ〜８２ｃが取得された場合を示している。第１商品画像８２ａに関連付けられた販売店Ａ店は、現在地から販売店位置までの距離が２０ｍであり、第２商品画像８２ｂに関連付けられた販売店Ｂ店は、現在地から販売店位置までの距離が５１０ｍである。また、第３商品画像８２ｃに関連付けられた販売店Ｃ店は、現在地から販売店位置までの距離が３．６ｋｍである。

図６（ａ）に示す第１販売店マップ８０−１には、現在地と販売店Ａ店の位置が示されており、図６（ｂ）に示す第２販売店マップ８０−２には現在地と販売店Ｂ店の位置が示されている。また、図６（ｃ）に示す第３販売店マップ８０−３には現在地と販売店Ｃ店の位置が示されている。第１〜第３販売店マップ８０−１〜８０−３のそれぞれは、矩形状であり、矩形４隅の１隅（図６では左下）に現在地（図６に示す黒丸）が配置され、現在地を基点として販売店位置（図６に示す黒星）が矩形領域内に含まれるように適宜縮尺を調整して特定の大きさ（マップ領域）となるように生成される。

具体的には、マップ生成部１８３は、第Ｎ販売店マップを、例えばＡ４等の出力用紙サイズの大きさで生成し、第Ｎ販売店マップの大きさを基準として、第１〜第Ｎ−１販売店マップをそれぞれ第Ｎ販売店マップの略１／Ｎ、・・・、（Ｎ−１）／Ｎの大きさになるように生成する。例えば、図６では、第１販売店マップ８０−１は、第３販売店マップ８０−３の略１／３の大きさとなるように生成され、第２販売店マップ８０−２は、第３販売店マップ８０−３の略２／３の大きさとなるように生成され、第３販売店マップ８０−３は、出力用紙サイズとなるように生成されている。なお、第１販売店マップ８０−１のように、販売店位置を含むフロアーマップがある場合には、フロアーマップ上に販売店位置を示すことができる。

つづいて、マップ生成部１８３は、生成した第１〜第Ｎ販売店マップを重ね合わせて図７に示す単一マップ８１を生成する（ステップｓ１６）。単一マップ８１は、第Ｎ販売店マップをベースマップとして、第Ｎ販売店マップ上に第Ｎ−１販売店マップ、第Ｎ−２販売店マップ、・・・、第１販売店マップの順に、現在地を基点にして重ね合わせることで生成される。つまり、マップ生成部１８３は、第１〜第Ｎ販売店マップを現在地から販売店までの距離が短くなるほど上層に位置するように重ね合わせている。また、第１〜第Ｎ−１販売店マップは、それぞれ第Ｎ販売店マップの略１／Ｎ、・・・、（Ｎ−１）／Ｎの大きさで生成されるので、重なったときに上層に位置する販売店マップほどマップ領域が小さくなる。そのため、第１〜第Ｎ販売店マップを、それぞれ現在地を基点にして重ね合わせたときに、各販売店マップ間における販売店の位置の重なりを避けることができる。

従って、図７に示す単一マップ８１では、第３販売店マップ８０−３をベースマップとして、ベースマップ上に、第３販売店マップ８０−３の略２／３の大きさで生成された第２販売店マップ８０−２が重なり、第２販売店マップ８０−２上、第３販売店マップ８０−３の略１／３の大きさで生成された第１販売店マップ８０−１が重なっている。

また、マップ生成部１８３は、重なったときに上層に位置する販売店マップが下層の販売店マップ内の販売店の位置を含んでいる場合には、この上層の販売店マップの縮尺を調整して、下層の販売店マップのマップ領域まで拡大する。例えば、仮に、図７に示すＢ店とＣ店の販売店位置が近い場合、第２販売店マップ８０−２内にＣ店の販売店位置が含まれことがある。この場合、マップ生成部１８３は、第２販売店マップ８０−２の縮尺を調整して、第２販売店マップ８０−２のマップ領域を第３販売店マップ８０−３（ベースマップ）まで拡大する。これにより、第２販売店マップ８０−２は大縮尺となるから、販売店位置を地図上で確認しやすくなる。この場合、マップ生成部１８３は、拡大した第２販売店マップ８０−２上にＣ店の位置をマッピングするように変更する。つまり、拡大した第２販売店マップ８０−２上でＢ店の位置とＣ店の位置との両方が示される。

つづいて、マップ生成部１８３は、単一マップ８１上の各販売店位置に、それぞれ対応する第１〜第Ｎ商品画像を配置すると共に、第１〜第Ｎ商品画像の近傍に価格や販売店名等を含む商品情報を配置する（ステップｓ１７）。図７では、Ａ店、Ｂ店、Ｃ店の位置をそれぞれ指し示すように第１〜第３商品画像８２ａ〜８２ｃがそれぞれ配置され、第１〜第３商品画像８２ａ〜８２ｃのそれぞれに隣接して第１〜第３商品情報８３ａ〜８３ｃがそれぞれ配置されている。

つづいて、付帯情報生成部１８４は、商品情報記憶部１３１を参照して、第１〜第Ｎ商品画像の販売店毎に、検索対象画像５０の商品に類似する順に販売商品の商品画像を並び替える（ステップｓ１８）。つづいて、付帯情報生成部１８４は、商品情報記憶部１３１を参照して、並び替えた商品画像群にそれぞれの価格や詳細情報等の商品情報を付加して、第１〜第Ｎ付帯情報を生成する（ステップｓ１９）。これにより、各販売店において検索対象画像５０の商品に類似する類似商品情報が第１〜第Ｎ付帯情報として生成される。

つづいて、識別マーク配置部１８５は、識別マーク情報１３３に基づいて、第１〜第Ｎ識別マーク８４を生成し、第１〜第Ｎ商品画像に対応付けて単一マップ８１上に配置する（ステップｓ２０）。図７では、第１〜第３商品画像８２ａ〜８２ｃ上にそれぞれ第１〜第３識別マーク８４ａ〜８４ｃが配置されている。言い換えれば、第１〜第３商品画像８２ａ〜８２ｃそれぞれの販売店毎にそれぞれ第１〜第Ｎ識別マーク８４が配置されている。

つづいて、出力制御部１８６は、第１〜第Ｎ識別マーク８４が配置された単一マップ８１を印刷部１５に出力して、単一マップ８１を印刷させると共に（ステップｓ２１）、付帯情報生成部１８４によって生成された第１〜第Ｎ付帯情報を本体通信部１７経由でメガネ型端末２に送信し（ステップｓ２２）、本処理を終了する。

次に、図８を参照して、メガネ型端末２の付帯情報表示処理の流れを説明する。

メガネ型端末２の端末制御部２５は、端末通信部２３により画像形成装置１から付帯情報を受信するまで待機している（ステップｓ４１、ステップｓ４１でＮｏ）。端末通信部２３により付帯情報を受信すると（ステップｓ４１でＹｅｓ）、端末制御部２５は、付帯情報を端末記憶部２４に記憶させる（ステップｓ４２）。つづいて、端末制御部２５は、視界撮像部２１によって前方視界を撮像させ（ステップｓ４３）、マーク認識部２５１として機能する。

マーク認識部は２５１、識別マーク情報１３３を参照して、視界画像から第１〜第Ｎ識別マーク８４を検出したか否かを判断する（ステップｓ４４）。第１〜第Ｎ識別マーク８４を検出しなかった場合（ステップｓ４４でＮｏ）、ステップｓ４３に処理が戻る。

ユーザーが印刷された単一マップ８１をメガネ型端末２の視界越しに捉えると、マーク認識部２５１は、識別マーク情報１３３に基づいて視界画像から第１〜第Ｎ識別マーク８４を検出する（ステップｓ４４でＹｅｓ）。つづいて、表示処理部２５２は、端末通信部２３により受信した第１〜第Ｎ付帯情報のそれぞれを第１〜第Ｎ識別マーク８４それぞれの近傍に画面表示部２２によって表示させ（ステップｓ４５）、本処理を終了する。

図９は、視界画像９０内の単一マップ８１に第１〜第３付帯情報８５ａ〜８５ｃが表示処理部２５２によってオーバーレイ表示されたイメージ図である。第１〜第３付帯情報８５ａ〜８５ｃは、それぞれ第１〜第３識別マーク８４ａ〜８４ｃの近傍に表示される。その際に、表示処理部２５２は、視界画像９０内の第１〜第３商品画像８２ａ〜８２ｃの表示領域の大きさに基づいて第１〜第３付帯情報８５ａ〜８５ｃの表示領域の大きさを決定し、決定した大きさで第１〜第３付帯情報８５ａ〜８５ｃを表示させる。これにより、ユーザーが単一マップ８１内で違和感なく第１〜第３商品画像８２ａ〜８２ｃと第１〜第３付帯情報８５ａ〜８５ｃを視認することができる。また、第１〜第３付帯情報８５ａ〜８５ｃは、それぞれ複数の商品画像を含んでおり、検索対象画像５０の商品に対する類似度の高い順に商品画像にドラムロール式のユーザーインターフェイスで表示される。初期表示では、第１〜第３付帯情報８５ａ〜８５ｃそれぞれの中で、検索対象画像５０の商品に最も類似する販売商品の商品画像がそれぞれのドラムロール内で最も手前に大きく表示される。

ユーザーが第１〜第３付帯情報８５ａ〜８５ｃのいずれかに対してスワイプ動作をすると、動作検出部２５３によりスワイプ動作が検出される。表示処理部２５２は、スワイプ動作が検出された付帯情報内の各商品画像の表示位置をドラムロールの回転方向に１つずつずらすように表示制御する。従って、ユーザーは、スワイプ動作により検索対象画像５０に類似する商品を類似度の高い順に確認することができる。また、ユーザーが第１〜第３付帯情報８５ａ〜８５ｃのいずれかの商品画像に対してフリック動作をすると、動作検出部２５３によりフリック動作が検出され、表示処理部２５２は、フリック動作が検出された商品画像と商品情報とを拡大表示させる。従って、ユーザーは、フリック動作によって所望の商品画像を選択し、選択した商品画像の販売商品を詳細に確認することができる。

このように、本実施形態の画像形成システム１００は、画像形成装置１と、メガネ型端末２とを備えた画像形成システム１００であって、画像形成装置１は、販売店を検索する商品の商品画像の入力を検索対象画像５０として受け付ける検索対象画像受付部１８１と、複数の販売店がそれぞれ販売する複数の販売商品の商品画像を、それぞれの販売店の位置情報と共に関連付けて記憶した商品情報記憶部１３１と、商品情報記憶部１３１を参照して、検索対象画像受付部１８１により受け付けられた検索対象画像５０の商品と一致する販売商品の商品画像を検索し、検索により得た商品画像を現在地からそれぞれの販売店までの距離の短い順に複数取得する画像検索部１８２と、現在地と画像検索部１８２により取得された複数の前記商品画像に関連付けられたそれぞれの販売店の位置とを示す単一マップ８１を生成するマップ生成部１８３と、単一マップ８１上の複数の販売店毎に、検索対象画像５０の商品に対する類似度の高い順に販売商品の商品画像を並び替えて、付帯情報を生成する付帯情報生成部１８４と、マップ生成部１８３により生成された単一マップ８１に、複数の販売店毎にそれぞれ識別マーク８４を配置する識別マーク配置部１８５と、識別マーク８４が配置された単一マップ８１を印刷する印刷部１５と、付帯情報生成部１８４により生成された付帯情報をメガネ型端末２に送信する本体通信部１７とを備え、メガネ型端末２は、画像形成装置１から付帯情報を受信する端末通信部２３と、ユーザーの前方視界を撮像する視界撮像部２１と、視界撮像部２１により撮像された視界画像９０から単一マップ８１に配置された識別マーク８４を認識するマーク認識部２５１と、マーク認識部２５１により認識された識別マーク８４に対応して、付帯情報を単一マップ８１上の販売店の位置に合わせてオーバーレイ表示させる表示処理部２５２とを備えたことを特徴とする。

これにより、ユーザーが販売店を検索したい商品の商品画像を検索対象画像として入力することで、検索を指示した商品を取り扱っている近隣販売店が現在地から近い順に商品情報と共に並んだ単一マップ８１が印刷されるので、単一マップ８１上で販売店を比較検討し、購買店を選ぶことができる。また、ユーザーがメガネ型端末２を通して単一マップ８１を視認することで、メガネ型端末２により単一マップ８１内の識別マーク８４が認識され、識別マーク８４に対応してその販売店における類似商品情報が単一マップ８１上にオーバーレイ表示される。これにより、ユーザーが検索を指示した商品の色違い品、検索を指示した商品と合わせる別カテゴリー（例えば、検索対象商品が鞄なら、靴、服等）の商品の充実度等を把握することができ、単一マップ８１上で商品を比較検討することができる。

本発明は上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々様々に変更が可能であることは言うまでもない。

１ 画像形成装置
２ メガネ型端末
１１ 操作部
１２ 原稿読取部
１３ 本体記憶部
１４ 画像処理部
１５ 印刷部
１６ 位置情報取得部
１７ 本体通信部
１８ 本体制御部
２１ 視界撮像部
２２ 画面表示部
２３ 端末通信部
２４ 端末記憶部
２５ 端末制御部
５０ 検索対象画像
８０−１ 第１販売店マップ
８０−２ 第２販売店マップ
８０−３ 第３販売店マップ
８１ 単一マップ
８２ａ 第１商品画像
８２ｂ 第２商品画像
８２ｃ 第３商品画像
８３ａ 第１商品情報
８３ｂ 第２商品情報
８３ｃ 第３商品情報
８４ 識別マーク
８４ａ 第１識別マーク
８４ｂ 第２識別マーク
８４ｃ 第３識別マーク
８５ａ 第１付帯情報
８５ｂ 第２付帯情報
８５ｃ 第３付帯情報
９０ 視界画像
１００ 画像形成システム
１３１ 商品情報記憶部
１３２ 地図情報
１３３ 識別マーク情報
１８１ 検索対象画像受付部
１８２ 画像検索部
１８３ マップ生成部
１８４ 付帯情報生成部
１８５ 識別マーク配置部
１８６ 出力制御部
２５１ マーク認識部
２５２ 表示処理部
２５３ 動作検出部

Claims (5)

1. 画像形成装置と、メガネ型端末とを備えた画像形成システムであって、
   前記画像形成装置は、
   販売店を検索する商品の商品画像の入力を検索対象画像として受け付ける検索対象画像受付部と、
   複数の販売店がそれぞれ販売する複数の販売商品の商品画像を、それぞれの販売店の位置情報と共に関連付けて記憶した商品情報記憶部と、
   前記商品情報記憶部を参照して、前記検索対象画像受付部により受け付けられた前記検索対象画像の前記商品と一致する前記販売商品の前記商品画像を検索し、検索により得た前記商品画像を現在地からそれぞれの販売店までの距離の短い順に複数取得する画像検索部と、
   前記現在地と前記画像検索部により取得された前記複数の前記商品画像に関連付けられたそれぞれの前記販売店の位置とを示す単一マップを生成するマップ生成部と、
   前記単一マップ上の前記複数の前記販売店毎に、前記検索対象画像の前記商品に対する類似度の高い順に前記販売商品の前記商品画像を並び替えて、付帯情報を生成する付帯情報生成部と、
   前記マップ生成部により生成された前記単一マップに、前記複数の前記販売店毎にそれぞれ識別マークを配置する識別マーク配置部と、
   前記識別マークが配置された前記単一マップを印刷する印刷部と、
   前記付帯情報生成部により生成された前記付帯情報を前記メガネ型端末に送信する本体通信部と
   を備え、
   前記メガネ型端末は、
   前記画像形成装置から前記付帯情報を受信する端末通信部と、
   ユーザーの前方視界を撮像する視界撮像部と、
   前記視界撮像部により撮像された視界画像から前記単一マップに配置された前記識別マークを認識するマーク認識部と、
   前記マーク認識部により認識された前記識別マークに対応して、前記付帯情報を前記単一マップ上の前記販売店の位置に合わせてオーバーレイ表示させる表示処理部と
   を備えた
   ことを特徴とする画像形成システム。
2. 前記マップ生成部は、
   前記画像検索部により取得された前記複数の前記商品画像それぞれの前記販売店毎に、前記現在地と前記販売店の位置とを示す販売店マップをそれぞれ生成し、前記現在地を基点として、各販売店マップ間における前記販売店の位置の重なりを避けて、各販売店マップを前記現在地から前記販売店までの距離が短くなるほど上層に位置するように重ね合わせることで、前記単一マップを生成する
   ことを特徴とする請求項１に記載の画像形成システム。
3. 前記マップ生成部は、
   前記上層に位置する前記販売店マップほどマップ領域を小さくして重ね合わせる
   ことを特徴とする請求項２に記載の画像形成システム。
4. 前記マップ生成部は、
   前記上層の前記販売店マップが下層の前記販売店マップ内の前記販売店の位置を含んでいる場合には、前記上層の前記販売店マップの縮尺を調整して、前記下層の前記販売店マップのマップ領域まで拡大する
   ことを特徴とする請求項２又は３に記載の画像形成システム。
5. 前記メガネ型端末は、
   ユーザーの手の動作を検出する動作検出部を備え、
   前記表示処理部は、
   前記動作検出部により検出された前記手の動作に応じて、前記付帯情報に含まれる前記商品画像を表示制御する
   ことを特徴とする請求項１から４までのいずれか１項に記載の画像形成システム。

Images