WO2018167870A1

WO2018167870A1 - 画像検出装置、画像検出システム、及び画像検出方法

Info

Publication number: WO2018167870A1
Application number: PCT/JP2017/010382
Authority: WO
Inventors: 一暁坂元
Original assignee: Ｎｅｃディスプレイソリューションズ株式会社
Priority date: 2017-03-15
Filing date: 2017-03-15
Publication date: 2018-09-20

Abstract

表示映像の劣化を抑え、その表示映像に重ねて表示された画像を検出することができる画像検出装置を提供することを目的とする。画像検出装置（２００）は、第１の画像（２０３）と第２の画像（２０４）とが重畳された重畳画像を撮像する撮像部（２０１）と、撮像部（２０１）が撮像した撮像画像に基づいて、第１の画像（２０３）と第２の画像（２０４）との少なくともいずれかの画像を検出する検出部（２０２）と、を備える。

Description

画像検出装置、画像検出システム、及び画像検出方法

　本発明は、画像検出装置、画像検出システム、及び画像検出方法に関する。

　映像表示装置に二次元コード画像を表示し、端末機器のカメラでこの二次元コード画像を撮影することで、種々の動作設定を行うことができる。例えば、特許文献１には、映像表示装置に二次元コードを表示し、この二次元コードをカメラで撮影して、録画の設定を行うものが開示されている。また、例えば特許文献２には、二次元コードを用いて、複数のプロジェクタの表示を制御するものが開示されている。また、二次元コードにネットワーク接続情報を含めておくと、端末機器のカメラで、映像表示装置に表示される二次元コード画像を撮影することで、ネットワークに接続することができる。カメラで撮影した情報からネットワークに接続する技術については、例えば特許文献３に開示されている。

特開２０１２－２０５０２９号公報特開２０１０－１５０３２号公報特開２００８－３１２０６９号公報

　しかしながら、映像表示装置に二次元コードを重畳すると、この二次元コード画像により、表示映像が隠れたり、見えづらくなったりして、表示映像が劣化してしまう。そこで、二次元コード画像が必要なときだけ表示させ、不要になったら二次元コードを消去させるような処理を行うことが考えられる。しかしながら、このような処理を行うと、操作が煩雑になるという問題が生じてくる。

　上述の課題を解決するために、本発明は、表示映像の劣化を抑え、その表示映像に重ねて表示された画像を検出することができる画像検出装置、画像検出システム、及び画像検出方法を提供することを目的とする。

　上述の課題を鑑み、本発明の一態様に係る画像検出装置は、第１の画像と第２の画像とが重畳された重畳画像を撮像する撮像部と、前記撮像部が撮像した撮像画像に基づいて、前記第１の画像と前記第２の画像との少なくともいずれかの画像を検出する検出部と、を備える。

　本発明の一態様に係る画像検出方法は、第１の画像と第２の画像とが重畳された重畳画像を撮像する工程と、前記撮像した撮像画像に基づいて、前記第１の画像と前記第２の画像との少なくともいずれかの画像を検出する工程と、を含む。

　本発明によれば、表示映像の劣化を抑え、その表示映像に重ねて表示された画像を検出することができる。

本発明の第１の実施形態に係る画像検出システムの概略図である。本発明の第１の実施形態に係る映像表示装置の構成を示すブロック図である。本発明の第１の実施形態に係る映像表示装置１０において表示映像画像と二次元コード画像とを重畳するときの処理を示すフローチャートである。本発明の第１の実施形態に係る端末装置の構成を示す概略ブロック図である。本発明の第１の実施形態における端末装置においてカメラの撮像画像から二次元コード画像を復元する処理を示すフローチャートである。本発明の第１の実施形態に係る映像表示装置での表示映像画像と二次元コード画像との重畳処理の説明図である。本発明の第１の実施形態に係る端末装置においてカメラの撮像画像から二次元コード画像を復元する処理の説明図である。本発明の第１の実施形態においてカメラ部の撮像間隔が映像表示装置の表示画面のフレーム周期より短い場合の処理の説明図である。本発明の第１の実施形態においてカメラ部の撮像間隔が映像表示装置の表示画面のフレーム周期より長い場合の処理の説明図である。本発明の変形例の概要の概略図である。本発明による画像検出装置の基本構成を示す概略ブロック図である。

　以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１の実施形態に係る画像検出システム１の概略図である。図１に示すように、本発明の第１の実施形態に係る画像検出システム１は、映像表示装置１０と端末装置５０（「画像検出装置」の一例）とから構成される。

　映像表示装置１０は、地上波ディジタル放送や衛星ディジタル放送等の放送番組や、インターネットを介して配信されている各種のコンテンツを再生するものである。図１に示すように、映像表示装置１０の映像表示部２０には、放送番組やコンテンツの表示映像画像（「第１の画像」の一例）１００が表示されている。表示映像画像１００には、二次元コード画像（「第２の画像」の一例）１０１が重畳されている。二次元コード画像１０１としては、例えばＱＲコード（登録商標）が用いられる。

　なお、ここでは、説明を容易とするために、二次元コード画像１０１は視認できる状態で図示しているが、実際には、二次元コード画像１０１の表示レベルは表示映像画像１００の表示レベルに比べて小さく、二次元コード画像１０１は、殆ど視認できない。

　ここでの表示レベルとは、画像を表示する場合の輝度（明るさ）の大きさの度合である。表示映像が、例えば、輝度が１０階調で表示される場合、表示レベルはレベル１～１０に分けられる。例えば、表示映像が白黒画像なら、白色（最も明るい、つまり最も輝度が大きい）から黒色（最も暗い、つまり最も輝度が小さい）までが１０階調に分けられて表示される。この場合、表示映像画像１００は、これら１０階調の色（レベル１の輝度である白色、白色に最も近いレベル２の輝度の灰色、次に白色に近いレベル３の輝度の灰色、・・・、最も黒色に近いレベル９の輝度の灰色、レベル１０の輝度である黒色）で表示される。一方、二次元コード画像１０１は、所定の輝度（例えば、白色）と、その輝度に最も近い輝度（例えば、白色に最も近いレベル２の輝度の灰色）の２階調で表示される。従って、表示レベル（輝度）のレベル数が増えるほど、二次元コード画像１０１は、殆ど視認できなくなる。
　なお、上記においては、「表示レベル」に輝度を用いて説明したが、これに限定されることはなく、「表示レベル」は、例えば、色の濃度であってもよい。また、二次元コード画像１０１は、表示映像の赤、緑、青に対応する画像の全てに重畳されてもよいし（この場合、二次元コード画像１０１は白色で表示される）、赤、緑、青のうちのいずれか１つである所定の色に対応する画像に重畳されてもよい（この場合、二次元コード画像１０１は当該所定の色の表示になる）。
　また、二次元コード画像１０１は、所定の時間間隔（「第２の時間間隔」の一例）で反転した画像、この例では奇数フレームと偶数フレームとで反転した画像とされている。二次元コード画像１０１には、例えばネットワーク接続情報が含まれている。なお、二次元コード画像１０１の情報は、ネットワーク情報に限らず、どのような情報であっても良い。

　端末装置５０は、ユーザが保有している端末である。端末装置５０は、例えば携帯電話やＰＤＡ（Personal Digital AssistantまたはPersonal Data Assistance）、ＰＣ（Personal Computer）などである。端末装置５０はカメラ部５８（「撮像部」の一例）を有している。二次元コード画像１０１の情報を利用する場合、ユーザは、端末装置５０のカメラ部５８を用いて、映像表示装置１０の映像表示部２０の表示画面を撮像する。このとき、端末装置５０のカメラ部５８は、所定の時間間隔（「第１の時間間隔」の一例）で、複数回、連続的に、映像表示部２０の表示画面を撮像する。

　端末装置５０は、映像表示部２０の表示画面を撮像すると、この撮像画像の差分値を取り、この撮像画像間の映像差分値を積算して、二次元コード画像１０１を復元する。

　例えば、映像表示装置１０の映像表示部２０には、放送番組やコンテンツの表示映像画像１００上に、二次元コード画像１０１が重畳して表示されている。表示映像画像１００には相関があり、連続して撮像された表示映像画像１００のレベルは殆ど同様である。このことから、表示映像画像１００を端末装置５０のカメラ部５８で撮像し、撮像画像間の映像差分を取れば、表示映像画像１００はキャンセルされる。

　これに対して、上述のように、二次元コード画像１０１は、奇数フレームと偶数フレームとで反転させている。このため、撮像画像間の映像差分を取ると、二次元コード画像１０１の成分は加算される。二次元コード画像１０１の映像レベルは小さいが、撮像画像間の映像差分を積算することで、二次元コード画像１０１の映像レベルを上げることができる。これにより、カメラ部５８による映像表示部２０の表示画面の撮像画像から、二次元コード画像１０１を復元することができる。

　図２は、本実施形態に係る映像表示装置１０の構成を示すブロック図である。図２に示すように、映像表示装置１０は、制御部１１、操作部１２、操作検出部１３、映像入力部１４、入力映像処理部１５、データ受信部１６、受信映像デコード部１７、二次元コード画像生成部１８、映像合成部１９、及び映像表示部２０を備えている。

　制御部１１は、ＣＰＵ（Central Processing Unit）等からなり、映像表示装置１０の全体動作を制御する。操作部１２は、操作ボタンや操作キーからなり、ユーザが各種の入力操作を行う。操作検出部１３は、操作部１２からの操作入力を検出し、制御部１１に出力する。なお、操作部１２としては、映像表示装置１０に備えられた操作ボタンや操作キーであってもよいし、赤外線リモートコントローラ等、映像表示装置１０から物理的に離れたものであってもよい。操作部１２が映像表示装置１０から物理的に離れたものである場合、ユーザは遠隔制御により各種の入力操作を行う。

　映像入力部１４には、地上波ディジタル放送や衛星ディジタル放送等の映像信号が入力される。また、映像入力部１４には、図示しない映像出力装置（例えば、映像再生機やＰＣ）からの映像信号が入力されてもよい。映像入力部１４から入力された映像信号は、入力映像処理部１５に送られる。

　入力映像処理部１５は、映像入力部１４から入力された映像信号に対して、画質調整処理等を行う。入力映像処理部１５からの映像信号は、映像合成部１９に出力される。

　データ受信部１６は、ＬＡＮ（Local Area Network）や無線ＬＡＮによるデータ通信を行い、インターネットを介して配信されている各種のコンテンツのデータを受信する。データ受信部１６で受信したデータは、受信映像デコード部１７に送られる。受信映像デコード部１７は、受信したデータを復号して、映像信号を出力する。受信映像デコード部１７からの映像信号は、映像合成部１９に送られる。

　二次元コード画像生成部１８は、制御部１１からの指示に基いて、二次元コード画像を生成する。二次元コードとしては、例えば、ＱＲコード（登録商標）が用いられる。

　映像合成部１９は、入力映像処理部１５又は受信映像デコード部１７からの表示映像画像に、二次元コード画像生成部１８からの二次元コード画像を重畳する。このとき、本実施形態では、映像合成部１９は、奇数フレームと偶数フレームとで、二次元コード画像を反転させる処理を行う。また、本実施形態では、映像合成部１９は、二次元コード画像の映像レベルを表示映像画像の映像レベルに対して小さくして、二次元コード画像と表示映像画像とを合成している。例えば、映像表示部２０で表示できる画像の映像レベルを「０」～「１０」とすると、表示映像画像の映像レベルは「０」～「９」とし、二次元コード画像の映像レベルは「０」～「１」としている。

　映像表示部２０は、映像合成部１９から出力される映像を画面として表示する。映像表示部２０としては、例えば液晶ディスプレイが用いられる。映像表示部２０には、図１に示したように、二次元コード画像１０１が重畳された表示映像画像１００が表示される。

　図３は、本発明の第１の実施形態に係る映像表示装置１０において表示映像画像と二次元コード画像とを重畳するときの処理を示すフローチャートである。

（ステップＳ１０１）映像表示装置１０の映像合成部１９は、入力映像処理部１５又は受信映像デコード部１７からの表示映像画像を入力し、処理をステップＳ１０２に進める。
（ステップＳ１０２）二次元コード画像生成部１８は、二次元コードを生成し、映像合成部１９に出力して、処理をステップＳ１０３に進める。
（ステップＳ１０３）映像合成部１９は、偶数フレームか否かを判定し、偶数フレームなら（ステップＳ１０３：Ｙｅｓ）、処理をステップＳ１０４に進め、奇数フレームなら（ステップＳ１０３：Ｎｏ）、処理をステップＳ１０５に進める。
（ステップＳ１０４）映像合成部１９は、二次元コード画像を反転させて、処理をステップＳ１０５に進める。
（ステップＳ１０５）映像合成部１９は、表示映像画像と二次元コード画像とを合成して、映像表示部２０に出力する。

　このように、本実施形態では、映像表示装置１０の映像合成部１９では、奇数フレームと偶数フレームとで二次元コード画像を反転させて、表示映像画像に二次元コード画像を重畳している。

　図４は、本発明の第１の実施形態に係る端末装置５０の構成を示す概略ブロック図である。図４に示すように、本実施形態に係る端末装置５０は、制御部５１、表示部５２、表示制御部５３、操作パネル５４、操作検出部５５、通信部５６、通信データ処理部５７、カメラ部５８、映像検出部５９（「検出部」の一例）、及び二次元コードデコード部６０を備えている。

　制御部５１は、ＣＰＵ等からなり、端末装置５０の全体動作を制御する。表示部５２は、例えば液晶ディスプレイからなり、各種の画像を表示する。表示制御部５３は、制御部５１からの制御に基いて、表示部５２に表示する画像の処理を行う。

　操作パネル５４は、表示部５２上に積層して配置されたタッチパネルからなる。操作検出部５５は、操作パネル５４の入力座標を検出して入力指示を判定し、制御部５１に出力する。

　通信部５６は、ＬＴＥ（Long Term Evolution）等の携帯ネットワークや、無線ＬＡＮネットワークと接続して、各種のデータの送受信を行う。通信データ処理部５７は、制御部５１からの制御に基いて、通信部５６で送受するデータの処理を行う。

　カメラ部５８は、画像の撮像を行う。本実施形態では、カメラ部５８は、映像表示装置１０の映像表示部２０の表示画面を撮像して、映像表示装置１０に重畳された二次元コード画像をデコードするのに用いられる。カメラ部５８の撮像画像は、映像検出部５９に送られる。

　映像検出部５９は、カメラ部５８からの撮像画像の検出を行い、映像表示部２０の撮像画像から、二次元コード画像を復元する。本実施形態では、映像検出部５９は、カメラ部５８の撮像画像間の映像レベルの差分を取り、この差分値を積算することで、二次元コード画像を復元する。つまり、映像検出部５９は、二次元コード画像を検出する。復元（検出）された二次元コード画像は、二次元コードデコード部６０に送られる。

　二次元コードデコード部６０は、映像検出部５９で復元された二次元コード画像から、二次元コードをデコードする。そして、二次元コードデコード部６０は、デコードした情報を制御部５１に送る。制御部５１は、デコードされた情報に応じた処理を行う。

　図５は、本発明の第１の実施形態における端末装置５０においてカメラの撮像画像から二次元コード画像を復元する処理を示すフローチャートである。

（ステップＳ２０１）カメラ部５８は、映像表示装置１０に表示される映像を所定時間間隔で撮像して、ステップＳ２０２に処理を進める。
（ステップＳ２０２）映像検出部５９は、カメラ部５８の撮像画像間の差分を算出して、処理をステップＳ２０３に進める。
（ステップＳ２０３）映像検出部５９は、画像の左上の値が正か否かを判定し、画像の左上の値が正なら（ステップＳ２０３：Ｙｅｓ）、処理をステップＳ２０４に進め、画像の左上の値が負なら（ステップＳ２０３：Ｎｏ）、処理をステップＳ２０５に進める。
（ステップＳ２０４）映像検出部５９は差分値を反転させて、処理をステップＳ２０５に進める。
（ステップＳ２０５）映像検出部５９は差分値を積算し、この差分値から、二次元コード画像を復元する。

　このように、端末装置５０の映像検出部５９では、カメラ部５８で撮像された連続する画像間の映像レベルの差分を積算することで、二次元コード画像を復元している。

　図６は、本発明の第１の実施形態に係る映像表示装置１０での表示映像画像と二次元コード画像との重畳処理の説明図である。

　上述のように、映像表示装置１０においては、図３におけるステップＳ１０１で、入力映像処理部１５又は受信映像デコード部１７からの表示映像画像が映像合成部１９に入力される。また、ステップＳ１０２で、二次元コードが生成されて、映像合成部１９に入力される。そして、ステップＳ１０３～Ｓ１０５で、映像合成部１９は、奇数フレームと偶数フレームとで二次元コード画像を反転させて、表示映像画像に二次元コード画像を合成している。

　図６（Ａ）は、奇数フレーム（フレーム＃１、＃３、…）と、偶数フレーム（フレーム＃２、＃４、…）とで反転された二次元コード画像を示しており、図６（Ｂ）は、その二次元コード画像の映像レベルを示している。図６（Ｂ）に示すように、映像合成部１９で合成される二次元コード画像の映像レベルは「０」～「１」の低いレベルとされている。

　図６（Ｃ）は、フレーム＃１、＃２、＃３、＃４、…に映像合成部１９に入力される表示映像画像を示しており、図６（Ｄ）は、フレーム＃１、＃２、＃３、＃４、…での表示映像画像の映像レベルを示している。連続する表示映像画像には相関があるため、各フレームでの表示映像画像の映像レベルは、殆ど同じである。また、図６（Ｄ）に示すように、映像合成部１９で合成される表示映像画像の映像レベルは「０」～「９」とされており、二次元コード画像の映像レベル（図６（Ｂ））に比べて、大きなレベルとされている。

　図６（Ｅ）は、フレーム＃１、＃２、＃３、＃４、…において、表示映像画像（図６（Ｃ））と二次元コード画像（図６（Ａ））とを映像合成部１９で重畳した画像を示し、図６（Ｆ）は、このときの重畳画像の映像レベルを示している。重畳画像の映像レベルは、図６（Ｄ）に示す表示映像画像の映像レベルと、図６（Ｂ）に示す二次元コード画像の映像レベルとを加算した値となり、図６（Ｆ）に示すように、奇数フレーム（フレーム＃１、＃３、…）と偶数フレーム（フレーム＃２、＃４、…）とで異なったレベルとなる。

　図７は、本発明の第１の実施形態に係る端末装置５０においてカメラの撮像画像から二次元コード画像を復元する処理の説明図である。

　端末装置５０においては、図５のステップＳ２０１で、カメラ部５８により映像表示装置１０に表示される映像が所定時間毎に撮像される。なお、ここでは、説明を簡単とするため、カメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレーム周期に同期しているものとする。映像表示装置１０に表示される映像は、表示映像画像に二次元コード画像が重畳された映像であり、二次元コード画像は、奇数フレームと偶数フレームとで反転されている（図６（Ａ）及び図６（Ｂ）参照）。

　図７（Ａ）はカメラ部５８の所定時間毎の撮像画像を示し、図７（Ｂ）は、その映像レベルを示している。ここでは、カメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレーム周期に同期しているものとする。この場合、カメラ部５８の撮像画像Ｖ１、Ｖ２、Ｖ３、Ｖ４、…は、映像表示装置１０に表示されるフレーム＃１、＃２、＃３、＃４、…の映像と対応する。

　ステップＳ２０２で、カメラ部５８の撮像画像間の差分値（Ｖ２－Ｖ１、Ｖ３－Ｖ２、Ｖ４－Ｖ３、…）が求められる。図７（Ｃ）は、カメラ部５８の撮像画像間の差分値である。図７（Ｃ）に示すように、カメラ部５８の撮像画像間の差分を取ることで、表示映像画像の成分はキャンセルされ、二次元コードの成分だけが抽出される。ここで、図７（Ｃ）に示すように、カメラ部５８の撮像画像間の差分値は、撮像画像の１回毎に符号が反転している。

　ステップＳ２０３及びＳ２０４で、画像の左上の値に応じて、数値の正負が反転される。図７（Ｄ）は、画像の左上の値に応じて、差分値を反転した値を示している。すなわち、画像の左上の値が正なら差分値を反転させ、画像の左上の値が負なら、差分値は反転させない。図７（Ｃ）に示すように、カメラ部５８の撮像画像間の差分値は撮像画像の１回毎に符号が反転しているが、このような処理を行うと、図７（Ｄ）に示すように、差分値の符号が揃うように補正される。

　そして、ステップＳ２０５で、補正した差分値が積算される。図７（Ｅ）は、差分値の積算値を示している。図７（Ｅ）に示すように、差分値を積算していくことで、レベルが増大していく。差分値の積算値が所定のレベルまで到達したら、その積算値を、例えば差分値の積算値が正の数になっている画素を白、負の数になっている画素を黒というように二値化することで、図７（Ｆ）に示すように、二次元コードが復元（検出）できる。
　ここで、二次元コード画像は、予め決められた情報（以下、コード情報）を含んでいる。端末装置５０は、例えば、復元した二次元コード画像のコード情報を用いて、映像表示装置１０と通信を行うための接続を確立し、映像表示装置１０と通信を行う。
　端末装置５０が映像表示装置１０との通信に用いるコード情報には、映像表示装置１０の制御に関する情報、映像表示装置１０に表示する映像に関する情報など、様々な情報が含まれる。すなわち、端末装置５０は、コード情報を用いて映像表示装置１０と接続し、映像表示装置１０を制御したり、映像表示装置１０に表示させる映像を送信したりすることができる。
　また、端末装置５０は、映像表示装置１０が接続されているネットワークを介して映像表示装置１０と接続するようにしてもよい。この場合、コード情報には、ネットワークを介して映像表示装置１０と接続するための情報が含まれる。端末装置５０は、ネットワークを介して映像表示装置１０と接続した後、映像表示装置１０との間で上記情報を通信する。

　以上説明したように、本実施形態では、映像表示装置１０の映像合成部１９で、奇数フレームと偶数フレームとで二次元コード画像を反転させて、表示映像画像に二次元コード画像を重畳している。また、端末装置５０のカメラ部５８では、映像表示装置１０の映像を所定時間間隔で撮像し、映像検出部５９では、連続する撮像画像間の映像レベルの差分を積算して、二次元コード画像を復元している。そして、本実施形態では、二次元コード画像１０１の表示レベルは表示映像画像の表示レベルに比べて小さくされており、二次元コード画像は殆ど視認できない。このため、表示映像画像が二次元コード画像に隠されてしまうことが防止でき、本実施形態においては、表示映像を劣化させることなく、その表示映像に重ねて表示された画像を検出することができる。

　なお、上述の実施形態では、端末装置５０の映像検出部５９では、連続する毎回の撮像画像の差分（Ｖ２－Ｖ１、Ｖ３－Ｖ２、Ｖ４－Ｖ３、…）を積算しているが、Ｖ２－Ｖ１、Ｖ４－Ｖ３、Ｖ６－Ｖ５のように、一部の撮像画像を飛ばして積算してもよい。

　また、上述の例では、画像の左上の値から、差分値を反転させるか否かを判定しているが、画像の他の位置の値から判定しても良い。また、カメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレームに同期している場合には、差分値の符号は１回毎に反転する。したがって、カメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレームに同期している場合には、差分値を１回毎に反転させるようにしても良い。要は、撮像画像間の差分値の符号が揃うように、差分値を補正すれば良い。

　また、上述の例では、カメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレームに同期しているものとしているが、カメラ部５８の撮像間隔と映像表示装置１０の表示画面のフレーム周期とは同期させる必要はない。以下、カメラ部５８の撮像間隔と映像表示装置１０の表示画面のフレーム周期とが同期していない例について説明する。

　図８は、本発明の第１の実施形態においてカメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレーム周期より短い場合の処理の説明図である。

　端末装置５０においては、ステップＳ２０１で、カメラ部５８により映像表示装置１０に表示される映像が連続的に撮像される。図８（Ａ）はカメラ部５８の撮像画像を示し、図８（Ｂ）は、その映像レベルを示している。カメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレーム周期より短ければ、同一のフレームの画像が複数回撮像されることがあり、撮像画像Ｖ１、Ｖ２、Ｖ３、Ｖ４、…と、映像表示装置１０に表示されるフレーム＃１、＃２、＃３、＃４、…とは対応しなくなる。この例では、撮像画像Ｖ１と撮像画像Ｖ２は、ともにフレーム＃１の撮像画像となり、同一の撮像画像となる。また、撮像画像Ｖ５と撮像画像Ｖ６は、ともにフレーム＃４の撮像画像となり、同一の撮像画像となる。

　ステップＳ２０２で、カメラ部５８の撮像画像間の差分値が求められる。図８（Ｃ）は、カメラ部５８の撮像画像間の差分値である。図８（Ｃ）に示すように、カメラ部５８の撮像画像間の差分を取ることで、表示映像画像の成分はキャンセルされ、二次元コードの成分だけが抽出される。なお、撮像画像Ｖ１と撮像画像Ｖ２とは同一の撮像画像となるため、その差分値は「０」となる。また、撮像画像Ｖ６と撮像画像Ｖ５とは同一の撮像画像となるため、その差分値は「０」となる。

　ステップＳ２０３及びＳ２０４で、画像の左上の値に応じて、数値の正負が反転される。図８（Ｄ）は、画像の左上の値に応じて、差分値を反転した値を示している。画像の左上の値に応じて差分値を反転することで、差分値が補正され、図８（Ｄ）に示すように、差分値の符号が揃うようになる。

　そして、ステップＳ２０５で、補正した差分値が積算される。図８（Ｅ）は、差分値の積算値を示している。図８（Ｅ）に示すように、差分値を積算していくことで、レベルが増大していく。差分値の積算値が所定のレベルまで到達したら、その積算値を二値化することで、図８（Ｆ）に示すように、二次元コードが復元できる。

　このように、カメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレーム周期より短い場合でも、前述と同様な処理で、二次元コード画像が復元できる。

　図９は、本発明の第１の実施形態においてカメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレーム周期より長い場合の処理の説明図である。

　端末装置５０においては、ステップＳ２０１で、カメラ部５８により映像表示装置１０に表示される映像が連続的に撮像される。図９（Ａ）は、カメラ部５８の撮像画像を示し、図９（Ｂ）は、その映像レベルを示している。カメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレーム周期より長ければ、撮影されないフレームの画像が生じ、撮像画像Ｖ１、Ｖ２、Ｖ３、Ｖ４、…と、映像表示装置１０に表示されるフレーム＃１、＃２、＃３、＃４、…とは対応しなくなる。この例では、フレーム＃４、フレーム＃７が撮像されないフレームの画像となる。

　ステップＳ２０２で、カメラ部５８の撮像画像間の差分値が求められる。図９（Ｃ）は、カメラ部５８の撮像画像間の差分値である。図９（Ｃ）に示すように、カメラ部５８の撮像画像間の差分を取ることで、表示映像画像の成分はキャンセルされ、二次元コードの成分だけが抽出される。なお、撮像画像Ｖ４はフレーム＃５の撮像画像で、撮像画像Ｖ３はフレーム＃３の撮像画像であることから、重畳される二次元コード画像の符号は同一である。よって、（Ｖ４－Ｖ３）の差分値は「０」になる。また、撮像画像Ｖ６はフレーム＃８の撮像画像で、撮像画像Ｖ５はフレーム＃６の撮像画像であることから、重畳される二次元コード画像の符号は同一である。よって、（Ｖ６－Ｖ５）の差分値は、「０」になる。

　ステップＳ２０３及びＳ２０４で、画像の左上の値に応じて、数値の正負が反転される。図９（Ｄ）は、画像の左上の値に応じて、差分値を反転した値を示している。画像の左上の値に応じて差分値を反転することで、差分値が補正され、図９（Ｄ）に示すように、差分値の符号が揃うようになる。

　そして、ステップＳ２０５で、補正した差分値が積算される。図９（Ｅ）は、差分値の積算値を示している。図９（Ｅ）に示すように、差分値を積算していくことで、レベルが増大していく。差分値の積算値が所定のレベルまで到達したら、その積算値を二値化することで、図９（Ｆ）に示すように、二次元コードが復元できる。

　このように、カメラ部５８の撮像間隔が映像表示装置１０の表示画面のフレーム周期より長い場合でも、前述と同様な処理で、二次元コード画像を復元できる。

　なお、上述の実施形態では、図１に示したように、映像表示装置１０の映像表示部２０に、二次元コード画像１０１が重畳された表示映像画像１００を映し出し、映像表示装置１０の映像表示部２０の画像を端末装置５０のカメラ部５８で撮像して、二次元コード画像を復元しているが、本発明は、図１０に示すように、端末装置同士で、二次元コード画像により情報をやり取りするのにも利用できる。図１０は、本発明の変形例の概要を示している。この例では、図１０（Ａ）に示す端末装置５０ａの表示部５２ａに、二次元コード画像１０１ａが重畳された表示映像画像１００ａが映し出される。二次元コード画像１０１ａは、所定の時間間隔で反転した画像とされている。図１０（Ｂ）に示す端末装置５０ｂは、端末装置５０ａの表示部５２ａの画面を撮像し、この撮像画像の差分値を取り、この撮像画像間の映像差分値を積算して、二次元コード画像１０１ａを復元する。これにより、端末装置５０ａと端末装置５０ｂとの間で、情報のやり取りを行うことができる。

　図１１は、本発明による画像検出装置の基本構成を示す概略ブロック図である。すなわち、本発明による画像検出装置２００は、撮像部２０１及び検出部２０２を基本構成とする。撮像部２０１は、第１の画像２０３と第２の画像２０４とが重畳された重畳画像を撮像する。検出部２０２は、撮像部２０１が撮像した撮像画像に基づいて、第１の画像２０３と第２の画像２０４との少なくともいずれかの画像を検出する。

　なお、画像検出システム１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

　なお、表示映像画像１００、１００ａは、映像表示装置１０の外部から入力される画像だけでなく、例えば映像表示装置１０の内部で生成される画像であるテストパターン画像やオンスクリーン画像等、図示しない映像表示装置１０の記憶部に記憶される様々な画像であってもよい。

　また、二次元コード画像１０１、１０１ａは、「コード画像」の一例である。「コード画像」は、二次元コード画像１０１、１０１ａだけでなく、例えば一次元コード画像（バーコード）など、でもよい。

　また、「コード画像」に示される情報は、０と１、または、ＬｏｗとＨｉｇｈなど２値を用いて表される情報ということができる。つまり、「コード画像」は、２値の情報に対応する画像ということができる。本実施形態では、「コード画像」の２値は、最も近い表示レベル（輝度）の階調を用いたがこれに限定されず、映像表示部２０に表示されたときに、視認されにくい階調差があればよい。この視認されにくい階調差は、映像表示部２０に表示される映像画像の階調数に基づき予め設定することができる。

　また、表示映像画像１００が、赤、緑、青の３原色に対応する画像を用いて構成される場合、映像表示装置１０は、赤、緑、青の少なくとも１つの画像に、二次元コード画像１０１を重畳するようにしてもよい。

　また、端末装置５０は、撮像した画像が、例えば赤、緑、青の３種類の色の映像信号として出力される場合、赤、緑、青のうち、少なくとも１つの色の映像信号を用いて「コード画像」を復元するようにしてもよい。また、この場合、カメラ部５８は、少なくともその色を撮像できる構成であればよい。

　以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

　１０　　映像表示装置
　１１　　制御部
　１２　　操作部
　１３　　操作検出部
　１４　　映像入力部
　１５　　入力映像処理部
　１６　　データ受信部
　１７　　受信映像デコード部
　１８　　二次元コード画像生成部
　１９　　映像合成部
　２０　　映像表示部
　５０　　端末装置
　５１　　制御部
　５２　　表示部
　５３　　表示制御部
　５４　　操作パネル
　５５　　操作検出部
　５６　　通信部
　５７　　通信データ処理部
　５８　　カメラ部
　５９　　映像検出部
　６０　　二次元コードデコード部

Claims

　第１の画像と第２の画像とが重畳された重畳画像を撮像する撮像部と、
　前記撮像部が撮像した撮像画像に基づいて、前記第１の画像と前記第２の画像との少なくともいずれかの画像を検出する検出部と、
　を備える画像検出装置。
　前記第１の画像と前記第２の画像との少なくとも一方は映像画像であり、他方はコード画像であり、
　前記撮像部は、第１の時間間隔で前記重畳画像を撮像し、
　前記検出部は、前記撮像部により撮像された複数の撮像画像に基づいて、前記コード画像を検出する、
　請求項１に記載の画像検出装置。
　前記第１の画像と前記第２の画像との少なくとも一方は映像画像であり、他方はコード画像であり、前記コード画像は、第２の時間間隔で反転されて前記映像画像に重畳される、
　請求項１又は２に記載の画像検出装置。
　前記検出部は、前記撮像部で撮像された複数の撮像画像のうちの２つの撮像画像の差分値を算出し、前記コード画像を検出する、
　請求項２又は３に記載の画像検出装置。
　前記検出部は、前記撮像部で撮像された複数の撮像画像を用いて、前記差分値を複数算出し、それぞれの差分値を積算し、前記コード画像を検出する、
　請求項４に記載の画像検出装置。
　二次元コード画像を映像画像と重畳させた画像を表示する表示装置と、
　前記二次元コード画像を検出する請求項１から請求項５のいずれか一項に記載の画像検出装置と、
　を備える画像検出システム。
　第１の画像と第２の画像とが重畳された重畳画像を撮像する工程と、
　前記撮像した撮像画像に基づいて、前記第１の画像と前記第２の画像との少なくともいずれかの画像を検出する工程と、
　を含む画像検出方法。