JP6318289B1 - 関連情報表示システム - Google Patents

Abstract

【課題】テレビ、ＤＶＤ等を視聴していた際、番組内に気になる人物や物品があっても、容易に、その情報を取得出来ない場合も多かった。【解決手段】特定の人物又は物品を表す画像データである候補画像データと、該特定の人物又は物品に関する情報である候補情報データと、を関連して記憶するサーバと、候補情報データの一部を選択する選択部と、撮影可能な端末内のアプリケーションと、から成り、該選択部は、ネットワークを介して、該アプリケーションと通信可能であり、１つ以上のオブジェクトを含む映像を、該アプリケーションを用いて撮影し、撮影された画像からオブジェクト画像データを抽出し、該選択部は、オブジェクトデータと候補画像データとに応じて、該サーバから候補情報データを選択し、該端末内のアプリケーションに、選択した候補情報データを送信し、該端末内のアプリケーションは、該選択した候補情報データに対応した付加情報と撮影した画像とを、同時に該端末に表示するという構成を採用した。【選択図】図１

Description

本発明は、ＡＲ（拡張現実・Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示又は関連情報表示システムに関し、詳しくは、テレビ等を撮影し、撮影された映像に、特定の人物等が映っているかを判別し、関連する情報を端末に、撮影映像と共に表示する技術に関する。

テレビ、ＤＶＤ等を視聴していた際、番組内に気になる人物や物品があった場合、一般的には、その番組又は人物等をパソコン、スマホ等で検索し、内容確認することが多い。しかし、パソコンが手元に無い場合もあるし、スマホで検索する場合も、入力している間テレビ画面から目を離すことになるので、迂遠である。

また、番組に連動して、番組に出演する人物や物品の情報をホームページ等に表示できる仕組みもある。しかしながら、すべての番組について、対応するホームページが設定されているわけでは無いし、ＤＶＤ等の視聴でも、対応するホームページが設定されていないことも多い。また、ホームページが開設されていても、番組のすべての人物、物品について対応することは難しい。そのため、十分なサービスとなっていないのが現状である。

また、人物や物品の情報、特に、多くの人に関心の高い場合は、情報が常に変化し、最新の情報をリアルタイムで、確認したいという要望も多い。

そこで、テレビ、ＤＶＤ等を視聴中に、番組に対するホームページ等が無い場合であっても、映像内の人物、物品についての情報をリアルタイムに知ることが出来る技術が求められていた。
また、テレビに限らず、周囲の物品等についても、同様の情報がリアルタイムに得られる技術が求められていた。

このような問題に対して、従来からも様々な技術が提案されている。例えば、テレビ番組の進行とほぼ同時に、番組内容に関連するコンテンツの提供を受けるシステム（特許文献１参照）が提供され、公知技術となっている。より詳しくは、テレビ番組を視聴中のユーザのユーザ端末のカメラで撮影し、テレビ番組を特定し、通信ネットワークを介してシステムのサーバが接続する。放送局から取得した字幕情報や映像に含まれるキーワードを抽出し、この抽出したキーワードと関連するコンテンツが制作されているならば、このキーワードとコンテンツのＵＲＬとをユーザ端末に送出するシステムである。

この技術によって、ユーザは、番組に関連するＵＲＬを容易に特定することが出来る。しかしながら、番組が関連するコンテンツを提供していない場合については対応できず、前記問題の解決には至っていない。

また、テレビ受像機で再生される映像とコンテンツとの進行タイミングの同期を図る技術（特許文献２参照）が提供され、公知技術となっている。より詳しくは、端末装置は、番組と関連するコンテンツを実行し、記憶手段と、データ取得手段と、経過時間算出手段と、コンテンツ実行手段とを有する。経過時間認識手段は、記憶手段が記憶する照合用データを参照することで、テレビ受像機が出力する映像の番組の開始からの経過時間を認識する。コンテンツ実行手段は、認識した経過時間に基づき、コンテンツとテレビ受像機が出力する映像とを同期させてコンテンツを実行する。

この技術により、テレビ番組と対応するコンテンツとの同期を取ることが出来る。しかしながら、あくまで、番組全体と連動したコンテンツについての制御であるので、あらゆる番組に対応することは出来ない。そのため、前記問題の解決には至っていない。

また、端末で視聴・接触している放送・コンテンツの番組を放送開始から短時間に高精度で判定し、番組に関連する情報を端末に提供する技術（特許文献３参照）が提案され、公知技術となっている。より詳しくは、カメラ機能を有したスマートフォン等のインテリジェント端末を使用して受信中のテレビ画像を撮影し、センター機器に送る。センター機器は、撮影した映像がどの番組であったのかをすべての（又は予め定められた）番組及びテレビ広告を対象に短時間のうちに高い精度で判定し、番組やテレビ広告に関連する情報をインテリジェント端末１０上に表示させる。

この技術により、視聴中の番組を短時間で特定し、それに対する情報を端末で受けることが出来る。しかしながら、番組の関する情報は、番組に出た人物、物品のすべての情報では無いことから、ユーザの知りたい情報が含まれないこともある。そのため、前記問題の解決には至っていない。

特開２０１６−５９０２８号公報 特開２０１６−１１１４９２号公報 特開２０１６−３２２３７号公報

本発明は、上記問題点、即ち、テレビ、ＤＶＤ等を視聴中に、番組に対するホームページ等が無い場合に、映像内の人物、物品についての情報をリアルタイムに知ることが出来ないという問題点に鑑み、番組内の人物、物品に関する情報を容易に得ることを可能とする手段を提供することを課題とするものである。

上記課題を解決するため、本発明に係る関連情報表示システムは、特定の人物又は物品を表す画像データである候補画像データと、該特定の人物又は物品に関する情報である候補情報データと、を関連して記憶するサーバと、候補情報データの一部を選択する選択部と、撮影可能な端末内のアプリケーションと、から成り、該選択部は、ネットワークを介して、該アプリケーションと通信可能であり、１つ以上のオブジェクトを含む映像を、該アプリケーションを用いて撮影し、撮影された画像からオブジェクト画像データを抽出し、該選択部は、オブジェクトデータと候補画像データとに応じて、該サーバから候補情報データを選択し、該端末内のアプリケーションに、選択した候補情報データを送信し、該端末内のアプリケーションは、該選択した候補情報データに対応した付加情報と撮影した画像とを、同時に該端末に表示し、該端末内のアプリケーションは、該選択した候補情報データに対応した付加情報と撮影した画像とを、同時に該端末に表示し、該端末内のアプリケーションによって、該選択した候補情報データに対応した付加情報を表示する際、表示中の候補を示す情報をネットワークを介して表示確認部に送信し、該表示確認部は、対応する該候補情報データが更新された際、該端末内のアプリケーションに対して、該選択した候補情報データを再送することを手段とするものである。

また、本発明は、撮影された画像が、テレビ画面の映像であることを手段とするものである。

さらに、本発明は、前記付加情報が、少なくとも人物候補の氏名、年齢、プロフィールのいずれか１つを含む情報であることを手段とするものである。

またさらに、本発明は、前記付加情報が、少なくとも物品候補の名称、価格、特徴のいずれか１つを含む情報であることを手段とするものである。

さらにまた、本発明は、端末で表示中の候補情報データが更新された際、更新されたことを示す報知がされることを手段とするものである。

そしてまた、本発明は、ユーザの個人情報である少なくとも性別、年齢、趣味、キーワード、ＮＧキーワードの一つに応じて、関心度レベルを設定することを手段とするものである。

またさらに、本発明は、前記付加情報がマークであり、対応する特定のオブジェクトの近傍に配置され、マークが選択されることにより、選択されたマークに対応した候補情報データの少なくとも一部が表示されることを手段とするものである。

さらにまた、本発明は、前記マークが、ユーザの個人情報と候補情報データに応じて、マークの形状、大きさ、色の少なくとも１つが変化することを手段とするものである。

そしてまた、本発明は、前記マークが、選択した候補情報データについての現在のアクセス数、過去のアクセス数に応じて、マークの形状、大きさ、色の少なくとも１つを設定することを手段とするものである。

またさらに、本発明は、前記サーバの候補情報データが、携帯端末から追加、修正可能であることを手段とするものである。

さらにまた、本発明は、前記サーバの候補情報データの更新が、内容の確認が行われてから更新されることを手段とするものである。

本発明に係る関連情報表示システムによれば、ＴＶ画面等を撮影することで、ＴＶ番組自体が情報と関連付けられていない場合であっても、撮影された人、物の情報を容易に知ることが出来る。

本発明に係る関連情報表示システムのシステム図である。 本発明に係る関連情報表示システムでのオブジェクトデータの抽出、候補データとの比較を説明する図である。 本発明に係る関連情報表示システムで用いるデータ群を説明する図である。 本発明に係る関連情報表示システムで用いるデータ群を説明する図である。 本発明に係る関連情報表示システムの一連の動きを説明するフローチャートである。 本発明に係る関連情報表示システムの携帯端末の画面を説明する図である。 本発明に係る関連情報表示システムの他の実施例の携帯端末の画面を説明する図である。

本発明である関連情報表示システムは、番組内の人物や物品に関する情報を容易に得ることが出来るようにすることを最大の特徴とする。
以下、本発明に係る関連情報表示システムの実施形態を、図面に基づいて説明する。

なお、本実施例で示される関連情報表示システムの全体構成及び各部の構成は、下記に述べる実施例に限定されるものではなく、本発明の技術的思想の範囲内、即ち、同一の作用効果を発揮できる構成及び態様の範囲内で変更することができるものである。

図１から図６に従って、本発明を説明する。
図１は、本発明に係る関連情報表示システムのシステム図である。図２（ａ）は、携帯端末で撮影した画像データを示す図である。図２（ｂ）は、撮影した画像データから抽出したオブジェクトデータを示す図である。図２（ｃ）は、人物の候補の画像データの例である。図２（ｄ）は、物品の候補の画像データの例である。図３、４は本発明に係る関連情報表示システムで用いるデータ群を説明する図である。図５は、本発明に係る関連情報表示システムの一連の動きを説明するフローチャートである。図６は、携帯端末の表示内容を示す図である。
関連情報表示システム１は、テレビ等の映像に含まれる人物、物品の情報を携帯端末に表示するシステムである。テレビだけでなく、身の回りの物品を撮影し、その物の情報を得ることも出来る。
関連情報表示システム１は、主に、管理部であるサイト１００とサーバ２００とアプリケーション５３０とから構成されている。

サイト１００は、ＷＥＢ上の管理部分であり、サーバ２００の管理、情報収集部３００との調整、携帯端末とのやり取りを行う部分である。サーバ２００から候補データの取得、サーバ２００に対して、候補データの更新指示を行う。情報収集部３００から来る候補データに関する新規情報、修正情報等を確認し、適宜、サーバ２００に情報の修正を指示する。
インターネット６００を介して、端末５００からのオブジェクトの確認依頼に対して、サイト１００内の比較部１１０によって、オブジェクトデータと候補データを比較し、合致又は近似した候補を特定する。特定された候補の情報を端末５００に送付する。
また、表示確認部１２０で、端末５００で表示中の情報の確認や、端末５００からのコメントの受付を行う。端末５００で表示中の情報がサーバ上で更新されていた場合は、端末５００に対して、更新された情報を送る。ユーザからのコメントについては、受付、確認し、情報データ内のコメント部分の更新をサーバ２００に指示する。

サーバ２００は、図３（ｂ）、図３（ｃ）に示す情報を記憶する。情報を提供する候補となる人物、物品の画像データと情報を記憶している。情報の更新は、情報収集部３００からの情報、ユーザからのコメント等によって随時行われる。情報は、端末５００からのオブジェクトの確認依頼に対して、比較するデータをサイト１００に送信する。
人物候補データリスト８１０は、画像データと人物の氏名、性別、年齢、詳細等からなり、画像データは少なくとも人物の正面からの顔映像を持ち、全身の映像や、斜めから、横からの映像も持つことで、オブジェクトとの比較を容易に出来るようにも出来る。物品候補データリスト８２０についても同様に、画像データと物品の名称、詳細の情報を記憶している。
また、キーワードも含み、ユーザにとっての重要度を判断する要素とすることが出来る。
また、ユーザコメントを記憶している。情報収集部３００からの一般的な情報だけでなく、個別のユーザのコメントを入れることで口コミ的情報を記憶する。

情報収集部３００は、候補とする人物、物品の情報を収集する部分である。有名人、ブランド品等、人々の関心の高いものを優先して収集する。映像として特定出来る画像と詳細の情報をサイト１００に送信し、サイト１００で整理、調整し、サーバ２００に記憶する。情報収集部３００は、ネット上の自動検索システムでもいいし、調査会社からの情報を収集する部分でも良い。

テレビ４００は、一般的なテレビジョンであり、テレビ画面４１０を持つ。単に、放送波を受けることが出来るのみで良く、インターネット等に接続できる機能は不要である。

アプリケーション５３０は、端末５００内に製品出荷時から内蔵、又は別途インストールされたものである。
端末５００について説明する。端末５００は、カメラ撮影が出来、ネットワークに接続出来、表示部を持つ機器であり、スマートフォンも、その類型の１つである。端末５００は、ＣＰＵ５１０、ＲＯＭ５２０、ＲＡＭ５４０、カメラ５５０、通信部５６０、操作部５７０、表示部５８０から構成されている。
ＣＰＵ５１０は、端末５００全体を制御する制御部分であり、主に、表示内容の生成、操作内容の取得を行い、アプリケーションを動作させるものである。操作部５７０から利用者の操作内容を取得する。表示部５８０に、文字、記号、画像等を表示する。カメラ５５０を起動し、撮影する。通信部５６０に、ネットワークとの送受信を指示する。ＲＡＭ５４０に一時的な記憶を書き込み、読み出しを行う。ＲＯＭ５２０に記憶されたアプリケーション５３０のプログラムによって、アプリケーション５３０の動作を行う。

ＲＯＭ５２０は、ＣＰＵ５１０を動作されるためのプログラムが書き込まれている不揮発メモリーである。プログラムは、全体を制御するプログラムであるＯＳと、個別の機能を担当するアプリケーションからなる。本発明のアプリケーション５３０も、個別の機能の１つとして搭載される。

ＲＡＭ５４０は、ＣＰＵ５１０を動作させるための変数、画像データ等を一時記憶するランダムアクセスメモリーである。サイト１００から取得したデータや、撮影時のデータ等を記憶する。

カメラ５５０は、端末５００の周囲を撮影するカメラである。アプリケーション５３０を起動し、カメラ５５０をテレビ４００の方向を向けることで、テレビ画像４１０を端末５００内に取り込む。
通信部５６０は、インターネットと通信する通信部である。ＷｉＦｉやＬＴＥ等の無線を用いて、インターネットに接続する。
操作部５７０は、利用者が端末を操作するためのボタン等の機構である。上下左右キー、番号キー、アルファベットキー等を持つ。タッチ型端末の場合は、表示部表面にも配置される。
表示部５８０は、文字、記号、画像を表示する部分である。カメラ起動時は、撮影される映像を確認し、サイト１００からの情報を重ねて表示する。

図１に沿って、全体の大まかな流れを説明する。利用者は、テレビ４００を視聴中、気になる人物、物品が表示された際、端末５００のアプリケーション５３０を起動し、テレビ画面４１０を撮影する。アプリケーション５３０は、テレビ画像４１０の画像である撮影データ７００を記憶する（図２（ａ））。
映像の顔検出処理を行うことによって、人物の顔を検出する。検出した領域が顔検出領域７１０である。顔と、顔との関係から推定される全身をオブジェクト検出領域７２０として検出する（図２（ａ））。顔検出領域７１０、オブジェクト検出領域７２０は、ビットマップデータ７３０として、保存する（図２（ｂ）中）。
次に、物品の検出を行う。画像の輝度、彩度、色相のまとまりをとらえ、パターン認識を行う。図２（ａ）では、バッグを認識し、オブジェクト検出領域７２０として、検出している。物品のオブジェクト検出領域７２０は、ビットマップデータ７３０として、保存する（図２（ｂ）右）。

また、端末５００の画面をタップ等することで、オブジェクト検出領域７２０を指定し、オブジェクトの位置を指定し、ビットマップデータ７３０として、保存しても良い。

端末５００は、ビットマップデータ７３０をオブジェクト抽出データリスト８００として、サイト１００に送る。サイト１００は、ビットマップデータ７３０と人物候補データ７４０、物品候補データ７５０と比較し、候補を特定する。

候補が特定されたら、対応する情報と共に、オブジェクトと候補の比較結果リスト８３０として、端末５００に送信する。端末５００は、実際に画面に表示する内容として表示データリスト８５０を生成し、それに応じた情報を撮影画面と共に表示する（図６（ｂ））。表示する内容は、人物であれば、例えば、名前、性別、年齢、近況等である。物品であれば、例えば、名称、ブランド、金額、話題性等である。

次に、用いられるデータの詳細を図３に沿って、説明する。図３（ａ）は、端末５００内で抽出されたオブジェクトデータのリストであり、オブジェクト抽出データリスト８００である。図３（ｂ）は、サーバ１２０に蓄積された人物候補データリスト８１０である。図３（ｃ）は、物品候補データリスト８２０である。図４（ａ）は、オブジェクトと候補の比較結果リスト８３０であり、比較部１１０で生成される。図４（ｂ）は、ユーザの個人情報リスト８４０であり、ユーザにとっての候補の重要度を決定するために用いられる。図４（ｃ）は、端末５００に表示する情報である表示データリスト８５０である。図４（ｄ）は、ユーザが投稿するための投稿データリスト８６０である。

オブジェクト抽出データリスト８００について説明する（図３（ａ））。端末５００内で、撮影データ７００から抽出したデータをサイト１００に送信するリストである。サイト１００側で個別のユーザを認識するためにユーザＩＤをすべてのデータに付加する。撮影データ７００内に複数のオブジェクトがある場合もあるので、オブジェクトＮｏを付加する。オブジェクトデータは、切り出しの関係で矩形のビットマップデータである。物の場合は、１つであるが、人の場合は、顔のデータと、全身のデータの２つでも良い。候補データと比較を効率化するために、人のデータか物のデータかを明示する。画面内のオブジェクト抽出の位置を１００％の比率で付加する。例えば、抽出の中心位置である場合は５０、５０であり、Ｘ方向に５０％位置、Ｙ方向に５０％の位置である。
尚、オブジェクトデータについて、画像そのものではなく、単なる画面内におけるオブジェクトの位置データであったり、音声データであったり、特徴パターン（特徴を分析したパラメータ）のデータであったり、画像にまつわる加工データであったり、あるいは、これらの組み合わせ若しくはこれらと画像の組み合わせをオブジェクトデータとする態様も可能である。
オブジェクト抽出データリスト８００は、テレビ画面４１０を撮影中、連続的に、又は間欠的に生成され、サイト１００に送られる。

人物候補データリスト８１０について説明する（図３（ｂ））。人物の特定は、顔の類似の判断が重要であることから、画像データとしては、少なくとも顔の正面画像が必要である。また、合致の精度を高めるために、顔の斜め、横の画像があると好適である。また、スタイルの比較も必要であることから、全身の画像があると好適である。その他、抽出したオブジェクトデータが画像以外の場合、そのデータの種類に応じて適宜必要なデータが蓄積されている。対象ごとに候補ＮｏをＰ００１、Ｐ００２等に割り当てている。対象の情報として、氏名、性別、年齢、職種等にあたるカテゴリーを記載している。詳細として、対象者のプロフィール等を記載する。キーワードとして、対象者が該当すると思われる単語を列挙する。容姿の特徴や、活躍する分野等である。ユーザコメントとして、システムを利用しているユーザからのコメントを随時追加更新していく。

物品候補データリスト８２０について説明する（図３（ｃ））。物品の特定は、物品の正面、斜め、側面等のデータを用いることで行う。候補Ｎｏとして、Ｍ００１等を割り当てる。人物候補と候補番号が異なるのは、情報内容が大きく異なるので明示するためである。情報として、名称を記載する。性別、年齢など不要な情報は未記入とする。リスト上、人物候補データリスト８１０との整合を取るために枠のみ確保する。カテゴリーに物品の品種を記入する。詳細には、物品の特徴、価格、購入サイト等を記載する。キーワードとして、対象物が該当すると思われる単語を列挙する。ブランド名や、特徴、愛称等である。ユーザコメントについては人物候補データリスト８１０と同様である。

オブジェクトと候補の比較結果リスト８３０について説明する（図４（ａ））。
オブジェクトデータと候補データを比較し、合致又は近似と判断されたオブジェクトについての情報のリストである。選択部１１０で生成される。リストの項目を説明する。ユーザＩＤ、オブジェクトＮｏ、オブジェクト位置は、オブジェクト抽出データリスト８００のユーザＩＤ、オブジェクトＮｏ、オブジェクト位置と同じ項目である。オブジェクトＮｏ１に対して、候補ＮｏＰ００１が合致したので、候補ＮｏＰ００１の情報が列挙される。名称（氏名）からユーザコメントまでの項目は、人物候補データリスト８１０の名称（氏名）からユーザコメントまでの内容である。
オブジェクトＮｏ２に対して、候補ＮｏＭ００１が合致したので、候補ＮｏＭ００１の情報が列挙される。名称（氏名）からユーザコメントまでの項目は、物品候補データリスト８２０の名称（氏名）からユーザコメントまでの内容である。
このリストが、サイト１００から端末５００に送られ、端末５００内で、表示データリスト８５０に変換される。

ユーザの個人情報リスト８４０について説明する（図４（ｂ））。
ユーザの一般的な情報である性別、年齢、独身／既婚、趣味等に加えて、サイト１００の選択部１１０で選択された情報の内、そのユーザにとって、重要度の高い情報を優先的に表示するための指標として、キーワード、ＮＧキーワードをもつ。キーワードは、ユーザに関心の高い言葉を列挙したものである。キーワードの言葉と候補の内容の親和性が高ければ、重要度は高いと考えられる。ＮＧキーワードは、ユーザにとって関心が低く、逆に、表示しないことを望むような内容を表す言葉を列挙している。この項目に列挙された言葉と候補の内容の親和性が高ければ、ユーザが表示を望まない可能性が高いので、重要度は低いと考えられる。予めユーザとの取り決めにより、これらキーワードやＮＧキーワードを決定し得、ユーザ毎に別々の情報が表示可能である。

表示データリスト８５０について説明する（図４（ｃ））。
サイト１００から送られたオブジェクトと候補の比較結果リスト８３０の内容を、端末５００で実際に表示する情報に修正されたものが表示データリスト８５０である。オブジェクトＮｏ、候補Ｎｏは、オブジェクトと候補の比較結果リスト８３０の項目と同じである。情報表示位置は、オブジェクト位置と若干異なる位置を設定する。情報をオブジェクトと完全に重ねてしまうと、オブジェクト自体が分かりにくくなるからである。関心度レベルは、ユーザの個人情報リスト８４０の内容と候補の情報の親和性から重要度を推定して決定する。親和性の高い候補については、関心度レベルを大とする。一般的な候補については関心度レベルを中とする。ＮＧキーワードと合致する候補については、関心度レベル小又は無しとする。マーク種別は、後述するマーク表示の種別である。関心度レベルを表すようなマークを設定する。例えば、関心度レベルが高い場合は星印、関心度レベルが低い場合は単なる小さな丸等である。
表示内容１は、概ね、オブジェクトと候補の比較結果リスト８３０の名称（氏名）と同じ内容である。表示する内容のタイトルにあたる。表示内容２は、オブジェクトと候補の比較結果リスト８３０の詳細の項目である。表示する領域の大きさによって、一部の項目のみ表示としたり、項目の一部を・・・等で表示する場合もある。表示内容３はユーザコメントの内容である。表示する領域の大きさによって、一部の項目のみ表示としたり、項目の一部を・・・等で表示する場合もある。

表示内容確認リスト８６０について説明する（図４（ｄ））。
端末５００の表示に関する情報をサイト１００に伝えるリストである。ユーザＩＤで使用者が特定される。候補Ｎｏは、現在、端末５００で、情報が表示されている候補の番号である。投稿内容は、ユーザが撮影された人物又は物品の情報を画面で確認している際、発言したくなったコメント内容である。
サイト１００は、表示内容確認リスト８６０を受け取ることで、どの候補の表示が端末５００で表示されているかを確認することが出来る。表示内容確認リスト８６０は定期的、例えば１秒おきにサイト１００に送られる。サイト１００は、端末５００で表示されている情報がサーバ上で更新された際に、即時に、サイト１００から端末５００に対して、更新したオブジェクトと候補の比較結果リスト８３０送ることができる。そうすることで、使用者は、端末５００に情報を表示中であっても、サーバの情報が更新されれば、即時に、最新の情報に表示を更新することが出来る。
また、ユーザは、サイト１００に投稿内容を送ることができる。サイト１００は、投稿内容を受信し、サーバ２００の情報を更新することで、サーバの情報をリアルタイムに変更することが出来る。

次に、オブジェクトと候補データの比較の画像について、図２に沿って、説明する。図２（ａ）は、端末５００内にカメラ５５０を介して取り込まれた撮影データ７００である。この例では、女性の全身に近い映像とバッグが映っている。撮影データ７００から、オブジェクトのデータであるビットマップデータ７３０を抽出する方法として、ユーザがタッチすることで指定する方法と画像処理によって、自動的に抽出する方法がある。ユーザがタッチで指定する方法では、ユーザがオブジェクトの中央又はオブジェクトの範囲内を指定することでビットマップデータ７３０を抽出する。
自動的に抽出する方法では、一例として、人物と物品で分けて抽出する例を説明する。まず、撮影データ７００を顔認識処理で人の顔の有無、位置を検出する。図２（ａ）では、中央上部分に女性の顔があり、それを顔検出領域７１０として検出する。次に、顔の位置から人全体の領域を検出していく。例えば、顔につながる首周辺の色から衣服の色を推定し、顔のサイズから全身のサイズを推定し、色の彩度、輝度、色相等によって人物の領域を決定してオブジェクト検出領域７２０とする。
次に、物品の抽出を行う。ある程度単純化した形と照合したり、色の彩度、輝度、色相のまとまりや、連続した撮影であれば各画素の動きベクトルからの推定等によって、物品の領域を決定してオブジェクト検出領域７２０とする。

ビットマップデータ７３０としては、人物の場合は、全身の画像と顔の画像の２つとする。全身の画像から人物のスタイルの比較が出来る（図２（ｂ）左）。顔のアップの画像からより精度の高い比較が出来る（図２（ｂ）中央）。
また、物品については、全体の画像をビットマップデータ７３０として使用する。

人物候補データ７４０としては、人の比較が最もしやすい正面の顔画像を用いる（図２（ｃ）左）。また、補助的に、横顔（図２（ｃ）中央）、斜めからの顔、全身（図２（ｃ）右）等を持つ。１つの人物候補データ７４０では、比較が困難であっても、複数の画像の比較で判別できる場合もあるからである。
図２（ｂ）の女性のビットマップデータ７３０との比較では、図２（ｂ）中央のビットマップデータ７３０と図２（ｃ）左の人物候補データ７４０から人物の特定がされる。

物品候補データ７５０としては、物品の正面の画像を用いる（図２（ｄ）左）。また、補助的に、側面（図２（ｄ）左）、斜めからの図等を持つ。１つの物品候補データ７５０では、比較が困難であっても、複数の画像の比較で判別できる場合もあるからである。
図２（ｂ）のバッグのビットマップデータ７３０との比較では、図２（ｂ）右のビットマップデータ７３０と図２（ｄ）左の物品候補データ７５０から物品の特定がされる。

次に、本発明の動作の流れを図１、図５に沿って詳細に説明する。ユーザは、アプリケーション５３０の入った端末５００を携行しながら、テレビ４００を視聴する。ユーザが、番組内に気になる人又は物があった場合、アプリケーション５３０を起動し、カメラ５５０を用いて、テレビ画面４１０を撮影する（（Ｓ１０１）。撮影した映像は、撮影データ７００として、ＲＡＭ５４０内に保存される。端末５００の表示部５８０には、図６（ａ）のように表示される。

撮影データ７００から所望の人物や物品の映像であるオブジェクトデータ（ビットマップデータ７３０）を抽出する（Ｓ１０２）。抽出する方法としては、ユーザが撮影データ７００の表示された画面（図６（ａ））にタッチし、人物や物品の位置を指定しても良い。その際、人物や物品の中央をタッチし、画像処理にて、人物や物品の領域をオブジェクト検出領域７２０として検出し、ビットマップデータ７３０を抽出しても良い。また、顔認識技術を含む画像処理を用いて、自動的にオブジェクト検出領域７２０を検出し、ビットマップデータ７３０を抽出してもよい。抽出されたビットマップデータ７３０とオブジェクトの番号と人か物かの区分けとオブジェクト位置とユーザＩＤをまとめてオブジェクト抽出データリスト８００を生成する。オブジェクト抽出データリスト８００は、端末５００からインターネット６００を介してサイト１００に送られる。

サイト１００では、オブジェクトデータ（ビットマップデータ７３０）の１つと候補の画像データを比較する（Ｓ１０３）。まず、オブジェクトＮｏ１のビットマップデータ７３０と人物候補データ７４０の画像データが比較される。まず、候補ＮｏＰ００１の画像データが比較され、次に、候補ＮｏＰ００２の画像データというように順次比較される。最もパターンが合致、近似し、合致、近似度がある程度以上であるかを判断する（Ｓ１０４）。

近似と判断された場合は、対応する情報をオブジェクトと関連付けて記憶する（Ｓ１０５）。本例では、オブジェクトＮｏ１に対して、候補ＮｏＰ００１が近似と判断され、人物候補データリスト８１０の名称、性別からユーザコメントまでをオブジェクトＮｏ１と関連付け、オブジェクトと候補の比較結果リスト８３０として、記憶される。

すべてのオブジェクトデータの比較が完了したか判断する（Ｓ１０６）。例えば、オブジェクトＮｏ１について完了していても、Ｎｏ２等について、未処理であれば、Ｎｏ２等、すべてのオブジェクトの比較が完了するまで、オブジェクトデータと候補の画像データの比較を行う。
すべてのオブジェクトデータの比較が完了するとオブジェクトと候補の比較結果リスト８３０が完成する。完成したオブジェクトと候補の比較結果リスト８３０は、端末５００に送られる。

端末５００では、オブジェクトと候補の比較結果リスト８３０を元に表示データリスト８５０を生成する（Ｓ１０７）。オブジェクトごとに、情報を表示する位置、表示内容を調整する。表示内容は、数段に分け、タイトル、プロフィール的な内容、ユーザコメント等に分けて画面の違和感無く表示出来るような量に調整して、生成する。

端末５００の表示部５８０に、撮影データ７００と情報表示ダイアログ９００を重ねて表示する（Ｓ１０８）。一例として、図６（ｂ）を示す。情報表示ダイアログ９００の内容は、表示データリスト８５０の表示内容１から３の内容である。表示位置は、表示データリスト８５０の情報表示位置に従って表示される。表示位置は、オブジェクトの中央から若干ずれた位置で、オブジェクト全体が隠れない位置である。本例では、オブジェクトＮｏ１である女性の右上の候補ＮｏＰ００１である高瀬すずの内容が表示され、オブジェクトＮｏ２であるトートバックの右上に候補ＮｏＭ００１であるグッドのバックの内容が表示されている。

このように、本発明によれば、テレビ、ＤＶＤ等を視聴中に、番組に対するホームページ等が無い場合であっても、映像内の人物、物品についての情報を知ることが出来るため、ユーザの利便性の向上に資するものである。

また、カメラで撮影し、オブジェクトを抽出することで情報を得ることができることから、テレビに限らず、写真、通常の物品等についての情報を得ることが出来る。

情報の更新に係る実施例について図１、図４、図７を用いて説明する。実施例１と同様の部分は省略する。図４（ｄ）は、表示内容確認リスト８６０である。図７（ａ）は、情報の更新のあった場合の表示例を示す図である。
実施例１によって、番組に対するホームページ等が無い場合であっても、映像内の人物、物品についての情報を知ることが出来るが、表示される情報は、常に更新されている可能性がある。ユーザがサイト１００からの情報を表示した後も、情報が更新されている場合は、ユーザとしては、常に新たな情報を即時に確認したい要求も多い。
そこで、端末に情報が送られ、端末で情報が表示された状態であっても、情報が更新された旨を通知し、表示する情報を更新できる技術が求められていた。

情報更新の流れを説明する。図５のフローチャートに沿って、オブジェクトの情報がテレビ画面４１０に表示される（図６（ｂ））。その際、端末５００で表示内容確認リスト８６０が生成される。ユーザＩＤと表示されている候補Ｎｏと投稿内容から成る。投稿内容については後述する。端末５００で表示内容確認リスト８６０は、情報が表示されている間、定期的に端末５００からサイト１００の表示確認部１２０に対して通知される。この例では、候補ＮｏＰ００1とＭ００１の情報が端末５００で表示され続けていることが表示確認部１２０で確認できる。

表示確認部１２０は、サーバに記憶している人物候補データリスト８１０、物品候補データリスト８２０が更新された際、端末で表示中の情報が更新されたか否かを確認する。本例では、候補ＮｏＰ００１，Ｍ００１の更新があったか否かを確認する。例えば、候補ＮｏＰ００１の情報が更新された場合は、表示確認部１２０は、オブジェクトと候補の比較結果リスト８３０の内、Ｐ００１のデータのみを端末５００に再送する。

端末５００は、オブジェクトと候補の比較結果リスト８３０の一部のデータが再送されたことを確認する。そして、一例としては、表示部５８０に「新しい情報があります。更新しますか？」等の内容の情報更新通知ダイアログ９２０を表示する（図７（ａ））。ユーザは、新しい情報があることをリアルタイムに知ることが出来る。ユーザは、新しい情報がほしければ、更新する旨指示すればいいし、更新を後回しにしたければ、更新しないを指示すればよい。
また、自動的に更新する方法もある。端末５００が、オブジェクトと候補の比較結果リスト８３０の一部のデータが再送されたことを確認した際、即時、表示データリスト８５０を再生成し、情報表示ダイアログ９００を更新してもよい。そうすることで、ユーザが意識することなく、常に最新の情報を確認することが出来る。

このように、本発明によれば、よりリアルタイムに、関心のある人、物についての最新の情報を得ることが出来、ユーザの利便性の向上に資するものである。

他の実施例について図４、図６を用いて説明する。実施例１と同様の部分は省略する。図４（ｂ）は、ユーザの個人情報リストである。図６（ｃ）は、情報の重要度（関心度）を示すマークを説明する図である。
実施例１によって、番組に対するホームページ等が無い場合であっても、映像内の人物、物品についての情報を知ることが出来るが、選定された人物や物品によっては、ユーザから見た重要度や関心度が異なる場合も多い。
そこで、端末に情報が送られ、端末で情報が表示する際に、ユーザの関心度等に応じた表示がされる技術が求められていた。

サイト１００からオブジェクトと候補の比較結果リスト８３０が送信され、端末５００で、オブジェクトと候補の比較結果リスト８３０から、表示データリスト８５０を作成するが、その際、ユーザの個人情報リスト８４０を参照することによって、表示データリスト８５０に関心のレベルを付加し、表示内容に反映させたり、関心度の極めて低いものは表示データリスト８５０から削除し、ユーザの目に触れないようにすることが出来る。

ユーザの個人情報リスト８４０には、性別、年齢、職業、独身既婚、趣味、キーワード、ＮＧキーワードを情報として盛り込んでいる。端末５００内で、オブジェクトと候補の比較結果リスト８３０の各情報とユーザの個人情報リスト８４０の内容を比較し、関心度レベルを決定する。例えば、趣味、キーワード、ＮＧキーワードについては、内容が合致するか否かで点数を決め、点数を合計することで、関心度レベルを決定する。
例えば、候補Ｐ００１のキーワードには映画あり、ユーザ情報のキーワードにも映画があることから、関心度レベルを高く決定する。また、独身男性であれば、比較的、女性タレントへの関心は高いと推定することも出来る。また、キーワード等が合致しない場合は、関心度レベルを低く決定する。

図４（ｃ）の表示データリスト８５０の場合は、候補ＮｏＰ００１については関心度が高いと判断し、関心度レベル大とし、候補ＮｏＭ００１については、関心度が低いと判断し関心度レベル小としている。
情報表示ダイアログ９００を表示する際に、関心度レベルが高い情報について優先的に表示したり、より大きく表示したり、目立つ色で表示したりすることでユーザの関心が高いと思われる情報をより優先的に通知することが出来便利である。また、関心度の低い情報は、表示しなくてもよい。例えば、ユーザのＮＧキーワードに該当するような情報については、表示すると、かえってユーザが不快になる場合もあるからである。

このように、ユーザ情報によって、情報ごとの表示方法を変えることによって、ユーザが、より見たい情報を容易に確認でき、利便性の向上に資するものである。

また、関心度レベルに応じたマークを選定し、情報を表示する前に、情報があることを画面上に示すことも出来る。関心度レベルに応じて、マーク９１０を星、丸（小）等に選定する（図４（ｃ））。図６（ｃ）に示すように、画面に、対応するマーク９１０を表示する。ユーザはマーク９１０が表示されていることで、その人、物についての情報があることを確認出来る。ユーザが、情報を見たいと思えば、マーク９１０をタッチする。マーク９１０をタッチすることで、マーク９１０は、情報表示ダイアログ９００に変わり、ユーザは情報を見ることが出来る。ユーザが、情報を見たくない場合は、そのままにすることで、画面が不要な情報表示ダイアログ９００で隠されることを防ぐことが出来る。

マーク９１０は、関心度のレベルに応じて、形状を星、四角、丸、点等変えてもよい。また、大きさもレベルが高い場合は大きく、レベルが低い場合は小さく出来る。また、レベルが高い場合は、目立つ色とし、レベルが低い場合は目立たない色としても良い。

このように、マーク９１０を表示することで、情報の表示を任意に選択でき、利便性の向上に資するものである。
尚、マーク９１０をタッチすることで情報表示ダイアログ９００に変わる態様ではなく、視線追従機能によりユーザの目線（視線の先）がマーク９１０に向かっていることを判別した際に、自動的にマーク９１０が情報表示ダイアログ９００に変わるようにしてもよい。あるいは、ユーザが端末を動かしながら表示部５８０の特定点（例えばカメラ５５０の中心点など）とマーク９１０とを合致させた場合に、ユーザがマーク９１０をタッチせずとも自動でマーク９１０が情報表示ダイアログ９００に変わる態様とすることも可能である。

また、マークは、関心度のレベルのみでなく、候補データへの過去のアクセス累計数や、現在のアクセス数によって変えてもよい。そうすることで、一般的に関心の高いものが明確になり、ユーザが情報を確認するか否かの判断材料にすることができ便利である。

他の実施例について図１、図４、図７を用いて説明する。実施例１と同様の部分は省略する。図４（ｄ）は、表示内容確認リストを示す図である。図７（ｂ）、図７（ｃ）は、ユーザコメント入力を示す図である。

実施例１によって、番組に対するホームページ等が無い場合であっても、映像内の人物、物品についての情報を知ることが出来るが、ユーザが、情報に対してコメントを追加したい場合もある。そのため、容易にユーザがコメントを入力、追加出来る技術が求められていた。

図６（ｂ）のように、撮影データ７００と情報表示ダイアログ９００が同時に表示され、ユーザが人又は物についての情報を確認する。その際、例えば、バッグについて、コメントしたい場合に、ユーザは、物の情報を示す情報表示ダイアログ９００にタッチする。すると、コメント入力ダイアログ９３０が表示される。ユーザは、コメントを入力する（図７（ｂ））。

コメント入力が完了すると、表示内容確認リスト８６０が更新され、投稿内容にコメント文が入る。表示内容確認リスト８６０は、サイト１００の表示確認部１２０に送信される。表示確認部１２０は、候補Ｎｏと投稿内容からコメントの妥当性を自動又は手動で確認する。コメントの対象が誤っている場合もあるし、誹謗中傷する文言が含まれることもあるからである。投稿内容が問題ないと判断した場合は、サーバ２００の物品候補データ７６０等のデータのコメント欄に投稿内容を追加更新する。更新内容は、直ちに、再送される。そのため、コメントを入力したユーザも他のユーザへの情報も更新され、図７（ｃ）のようにコメントが追加された情報表示ダイアログとなる。

このように、ユーザが容易にコメントを追加出来、且つ、リアルタイムに情報が更新されるので、多くの人が最新の情報を共有できるので、利便性の高いシステムとすることが出来る。

本発明に係る関連情報表示システムは、テレビ、ＤＶＤ等を撮影し、撮影された映像に、特定の人物等が映っているかを判別し、関連する情報を携帯端末に、撮影映像と共に表示するものであり産業上の利用可能性は大きいと解する。

１ 関連情報表示システム
１００ サイト
１１０ 比較部
１２０ 表示確認部
２００ サーバ
３００ 情報収集部
４００ テレビ
４１０ テレビ画面
５００ 端末
５１０ ＣＰＵ
５２０ ＲＯＭ
５３０ アプリケーション
５４０ ＲＡＭ
５５０ カメラ
５６０ 通信部
５７０ 操作部
５８０ 表示部
６００ インターネット
７００ 撮影データ
７１０ 顔検出領域
７２０ オブジェクト検出領域
７３０ ビットマップデータ
７４０ 人物候補データ
７５０ 物品候補データ
７６０ 彩度色相グラフ
８００ オブジェクト抽出データリスト
８１０ 人物候補データリスト
８２０ 物品候補データリスト
８３０ オブジェクトと候補の比較結果リスト
８４０ ユーザの個人情報リスト
８５０ 表示データリスト
８６０ 表示内容確認リスト
９００ 情報表示ダイアログ
９１０ マーク
９２０ 情報更新通知ダイアログ
９３０ コメント入力ダイアログ
９４０ 更新後の情報表示ダイアログ

Claims (11)

1. 特定の人物又は物品を表す画像データである候補画像データと、該特定の人物又は物品に関する情報である候補情報データと、を関連して記憶するサーバと、候補情報データの一部を選択する選択部と、撮影可能な端末内のアプリケーションと、から成り、
   該選択部は、ネットワークを介して、該アプリケーションと通信可能であり、１つ以上のオブジェクトを含む映像を、該アプリケーションを用いて撮影し、撮影された画像からオブジェクト画像データを抽出し、該選択部は、オブジェクトデータと候補画像データとに応じて、該サーバから候補情報データを選択し、該端末内のアプリケーションに、選択した候補情報データを送信し、該端末内のアプリケーションは、該選択した候補情報データに対応した付加情報と撮影した画像とを、同時に該端末に表示し、該端末内のアプリケーションによって、該選択した候補情報データに対応した付加情報を表示する際、表示中の候補を示す情報をネットワークを介して表示確認部に送信し、該表示確認部は、対応する該候補情報データが更新された際、該端末内のアプリケーションに対して、該選択した候補情報データを再送することを特徴とする情報表示システム。
2. 前記撮影された画像は、テレビ画面の映像であることを特徴とする請求項１に記載の情報表示システム。
3. 前記付加情報は、少なくとも人物候補の氏名、年齢、プロフィールのいずれか１つを含む情報であることを特徴とする請求項１又は請求項２に記載の情報表示システム。
4. 前記付加情報は、少なくとも物品候補の名称、価格、特徴のいずれか１つを含む情報であることを特徴とする請求項１から請求項３のいずれか一つに記載の情報表示システム。
5. 端末で表示中の候補情報データが、更新された際、更新されたことを示す報知がされることを特徴とする請求項１から請求項４のいずれか一つに記載の情報表示システム。
6. ユーザの個人情報である少なくとも性別、年齢、趣味、キーワード、ＮＧキーワードの一つに応じて、関心度レベルを設定することを特徴とする請求項１から請求項５のいずれか一つに記載の情報表示システム。
7. 前記付加情報は、マークであり、対応する特定のオブジェクトの近傍に配置され、マークが選択されることにより、選択されたマークに対応した候補情報データの少なくとも一部が表示されることを特徴とする請求項１から請求項６のいずれか一つに記載の情報表示システム。
8. 前記マークは、ユーザの個人情報と候補情報データに応じて、前記マークの形状、大きさ、色の少なくとも１つが変化することを特徴とする請求項７に記載の情報表示システム。
9. 前記マークは、選択した候補情報データについての現在のアクセス数、過去のアクセス数に応じて、前記マークの形状、大きさ、色の少なくとも１つを設定することを特徴とする請求項７に記載の情報表示システム。
10. 前記サーバの候補情報データは、携帯端末から追加、修正可能であることを特徴とする請求項１から請求項９のいずれか一つに記載の情報表示システム。
11. 前記サーバの候補情報データの更新は、内容の確認が行われてから更新されることを特徴とする請求項１から請求項１０のいずれか一つに記載の情報表示システム。