JP5928382B2 - Imaging device, visible light communication control system, output control method, visible light communication control method, and program - Google Patents
Imaging device, visible light communication control system, output control method, visible light communication control method, and program Download PDFInfo
- Publication number
- JP5928382B2 JP5928382B2 JP2013058823A JP2013058823A JP5928382B2 JP 5928382 B2 JP5928382 B2 JP 5928382B2 JP 2013058823 A JP2013058823 A JP 2013058823A JP 2013058823 A JP2013058823 A JP 2013058823A JP 5928382 B2 JP5928382 B2 JP 5928382B2
- Authority
- JP
- Japan
- Prior art keywords
- markers
- marker
- light
- light emission
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Optical Communication System (AREA)
Description
本発明は、撮像装置、可視光通信制御システム、出力制御方法、可視光通信制御方法及びプログラムに関する。 The present invention relates to an imaging apparatus, a visible light communication control system, an output control method, a visible light communication control method, and a program.
従来より、カメラが紙媒体等に印刷されたＱＲコード（登録商標）を撮像して認識処理を行い、更に外部のサーバにアクセスしてＱＲコード（登録商標）に対応するＣＧ（Computer Graphics）データを受信し、撮像されているＱＲコード（登録商標）に重畳させてＣＧの画像を表示する技術が知られている（例えば特許文献１参照）。このような技術によれば、例えばグリーティングカードのような紙媒体であっても、カメラを介することで演出において効果を発揮することができる。しかしながら、ＱＲコード（登録商標）等の印刷された記号等は、表示サイズに限界があり、また、カメラの光学的な性能によっては、撮影距離に限界があるという問題が生じる。 Conventionally, a camera captures a QR code (registered trademark) printed on a paper medium or the like to perform recognition processing, and further accesses an external server to obtain CG (Computer Graphics) data corresponding to the QR code (registered trademark). Is known to display a CG image superimposed on a captured QR code (registered trademark) (see, for example, Patent Document 1). According to such a technique, even if it is a paper medium like a greeting card, for example, an effect can be exhibited through a camera. However, printed symbols such as QR code (registered trademark) have a limit in display size, and depending on the optical performance of the camera, there is a problem in that the shooting distance is limited.
このような問題に対し、可視光通信用のマーカーを複数使用し、例えばこれらを広範囲に敷設することで解決する技術も考えられている（例えば特許文献２参照）。 A technique for solving such a problem by using a plurality of markers for visible light communication and laying them in a wide range, for example, has been considered (see, for example, Patent Document 2).
しかしながら、上述した可視光通信用のマーカーを複数使用して広範囲に敷設する技術の場合、撮像により得られた画像における二次元的な範囲を示すことが限界である。このため、例えば立体的な画像を重畳表示させることを念頭においた場合、現実の撮影方向等に沿わない、不自然な合成表示を行ってしまうことが予見される。 However, in the case of a technique for laying a wide range using a plurality of markers for visible light communication as described above, it is a limit to indicate a two-dimensional range in an image obtained by imaging. For this reason, for example, when it is considered that a stereoscopic image is superimposed and displayed, it is predicted that an unnatural composite display that does not follow the actual shooting direction or the like will be performed.
本願発明はこのような問題点に鑑みてなされたものであり、可視光通信を用い、自然な画像合成出力を可能にすることを目的とする。 The present invention has been made in view of such problems, and an object thereof is to enable natural image synthesis output using visible light communication.
上記目的を達成するため、本発明に係る撮像装置は、撮像により画像を取得する撮像手段と、前記撮像手段によって取得された画像から可視光通信用の光を発するマーカーを検出するマーカー検出手段と、前記マーカー検出手段により前記マーカーが複数検出された場合、これら複数のマーカーの発光規則性に基づいて複数検出された前記マーカーを各々識別し、その識別された前記マーカーの位置関係に基づいて、出力すべき立体的な形状を有する情報の出力位置と出力方向とを取得する取得手段と、前記複数のマーカーの全ての発光態様に基づいて前記情報を取得する情報取得手段と、前記情報を、前記取得手段によって取得された出力位置で、取得された出力方向に向くよう出力する出力制御手段と、を備えることを特徴とする。 To achieve the above object, an imaging apparatus according to the present invention includes an imaging unit that acquires an image by imaging, and a marker detection unit that detects a marker that emits light for visible light communication from the image acquired by the imaging unit. In the case where a plurality of the markers are detected by the marker detection means, each of the plurality of markers detected based on the light emission regularity of the plurality of markers is identified, and based on the positional relationship of the identified markers, An acquisition unit that acquires an output position and an output direction of information having a three-dimensional shape to be output, an information acquisition unit that acquires the information based on all light emission modes of the plurality of markers, and the information. Output control means for outputting in the output direction obtained by the obtaining means so as to face the obtained output direction.
上記目的を達成するため、本発明に係る可視光通信制御システムは、各々が他と識別可能な可視光通信用の光を発することにより、自身の位置を特定させることが可能な複数のマーカーと、前記複数のマーカーの全ての発光態様に基づいて取得可能となる立体的な形状を有する情報の、出力位置と出力方向とを特定させるため、前記複数のマーカーの発光規則性を設定して発光させるよう制御するマーカー制御手段と、を備えることを特徴とする。 In order to achieve the above object, the visible light communication control system according to the present invention includes a plurality of markers each of which can identify its own position by emitting visible light communication light that can be distinguished from the others. In order to specify the output position and the output direction of information having a three-dimensional shape that can be acquired based on all the light emission modes of the plurality of markers, the light emission regularity of the plurality of markers is set to emit light And a marker control means for controlling the operation.
本発明によれば、可視光通信を用い、自然な画像合成出力が可能となる。 According to the present invention, natural image composition output is possible using visible light communication.
以下、図面を参照して、本発明の実施形態に係る可視光通信システムを説明する。 Hereinafter, a visible light communication system according to an embodiment of the present invention will be described with reference to the drawings.
図１は、可視光通信システムの構成を示す図である。図１に示すように、可視光通信システム１は、サーバ１００と、マーカー２００−１〜２００−４（以下、マーカー２００−１〜２００−４をまとめて、適宜「マーカー２００」と称する）と、撮像装置としての携帯端末３００と、を含んで構成される。サーバ１００とマーカー２００とにより可視光通信制御システムが構成される。
FIG. 1 is a diagram illustrating a configuration of a visible light communication system. As shown in FIG. 1, the visible light communication system 1 includes a
サーバ１００は、通信ネットワーク５００を介してマーカー２００との間で通信を行い、マーカー２００を制御する。マーカー２００は、サーバ１００の制御に従って、各種の情報に対応して変調された光を発する。本実施形態では、マーカー２００−１〜２００−４は、図１に示すように、時計回りに、マーカー２００−１、マーカー２００−２、マーカー２００−３、マーカー２００−４の順に配置される。携帯端末３００は、タブレット型パーソナルコンピュータ、携帯電話機、スマートフォン、ノート型パーソナルコンピュータ等の持ち運びが可能な端末である。携帯端末３００はユーザ４００によって所持される。携帯端末３００は、マーカー２００が配置されている領域を撮像するとともに、マーカー２００が発した光を受け、その発光態様に応じて、撮像により得られた画像に立体画像を合成して表示する。
The
図２は、サーバ１００の構成を示す図である。図２に示すように、サーバ１００は、制御部１０２、メモリ１０４、操作部１０６、表示部１０７及び有線通信部１０８を含む。
FIG. 2 is a diagram illustrating a configuration of the
制御部１０２は、例えばＣＰＵ（Central Processing Unit）によって構成される。制御部１０２は、メモリ１０４に記憶されたプログラム（例えば、後述する図５に示すサーバ１００の動作を実現するためのプログラム）に従ってソフトウェア処理を実行することにより、サーバ１００が具備する各種機能を制御するために、マーカー制御部１１２を有する。マーカー制御部１１２は、マーカー２００が発する光の輝度や色相を制御する。
The
メモリ１０４は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）である。メモリ１０４は、サーバ１００における制御等に用いられる各種情報（プログラム等）を記憶する。有線通信部１０８は、例えばＬＡＮ（Local Area Network）カードである。有線通信部１０８は、通信ネットワーク５００を介してマーカー２００との間で通信を行う。
The
操作部１０６は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部１０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）ディスプレイ等によって構成される。表示部１０７は、制御部１０２から出力された画像信号に従って画像を表示する。
The operation unit 106 is configured by a numeric keypad, function keys, and the like, and is an interface used for inputting user operation details. The
図３は、マーカー２００の構成を示す図である。図３に示すように、マーカー２００は、制御部２０２、メモリ２０４、有線通信部２０７、符号化・変調部２１０、駆動部２１２及びＬＥＤ（Light Emitting Diode）２１４を含む。
FIG. 3 is a diagram illustrating a configuration of the
制御部２０２は、例えばＣＰＵによって構成される。制御部２０２は、メモリ２０４に記憶されたプログラムに従ってソフトウェア処理を実行することにより、マーカー２００が具備する各種機能を制御する。メモリ２０４は、例えばＲＡＭやＲＯＭである。メモリ２０４は、マーカー２００における制御等に用いられる各種情報（プログラム等）を記憶する。有線通信部２０７は、例えばＬＡＮカードである。有線通信部２０７は、通信ネットワーク５００を介してサーバ１００との間で通信を行う。
The
符号化・変調部２１０は、制御部２０２から出力されたデータをビットデータ列に符号化する。更に、符号化・変調部２１０は、ビットデータ列に基づくデジタル変調を行う。駆動部２１２は、符号化・変調部２１０から出力される信号に対応し、ＬＥＤ２１４が発する光の輝度や色相を時間的に変化させるための駆動信号を生成する。ＬＥＤ２１４は、駆動部２１２から出力される駆動信号に応じて、時間的に輝度や色相が変化する光を発する。
The encoding / modulating
図４は、携帯端末３００の構成を示す図である。図４に示す携帯端末３００は、制御部３０２、メモリ３０４、操作部３０６、表示部３０７、無線通信部３０８、アンテナ３１０、レンズ３１２、撮像部３１４、画像処理部３１６、ＧＰＳ（Global Positioning System）受信機３２２、方位センサ３２４、傾斜センサ３２６及び加速度センサ３２８を含む。
FIG. 4 is a diagram illustrating a configuration of the
制御部３０２は、例えばＣＰＵによって構成される。制御部３０２は、メモリ３０４に記憶されたプログラム（例えば、後述する図１０、図１２、図１３及び図１６に示す携帯端末３００の動作を実現するためのプログラム）に従ってソフトウェア処理を実行し、携帯端末３００が具備する各種機能を実現するために、マーカー検出部３３２、規則性取得部３３４、情報取得部３３６及び出力制御部３３８を有する。
The
マーカー検出部３３２は、後述する画像処理部３１６からのフレーム内のマーカー２００の位置を検出する。規則性取得部３３４は、マーカー２００の発光態様に応じた規則性を取得する。本実施形態において、規則性は、マーカー２００−１〜２００−４の配置を特定可能とし、これらマーカー２００−１〜２００−４の各々を識別可能とするとともに、立体画像の出力方向を特定可能とするためのものである。情報取得部３３６は、マーカー２００の発光態様に基づいて立体画像のデータを取得する。出力制御部３３８は、規則性に基づいてマーカー２００に対応する情報である立体画像の表示位置を特定するとともに、その表示位置に立体画像を表示する制御を行う。メモリ３０４は、例えばＲＡＭやＲＯＭである。メモリ３０４は、携帯端末３００における制御等に用いられる各種情報（プログラム等）を記憶する。
The
操作部３０６は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部３０７は、例えば、ＬＣＤ、ＰＤＰ、ＥＬディスプレイ等によって構成される。表示部３０７は、制御部３０２から出力された画像信号に従って画像（例えば、後述するスルー画像）を表示する。
The
無線通信部３０８は、例えば無線周波数（ＲＦ）回路やベースバンド（ＢＢ）回路等を用いて構成される。無線通信部３０８は、アンテナ３１０を介して、無線信号の送信及び受信を行う。また、無線通信部３０８は、送信信号の符号化及び変調と、受信信号の復調及び復号とを行う。
The
レンズ３１２は、ズームレンズ等により構成される。レンズ３１２は、操作部３０６からのズーム制御操作、及び、制御部３０２による合焦制御により移動する。レンズ３１２の移動によって撮像部３１４が撮像する撮像画角や光学像が制御される。
The
撮像部３１４は、受光面３１５に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像デバイスである。撮像部３１４は、レンズ３１２を介して入光された光学像を、制御部３０２からの制御信号に基づいて所定範囲の撮像画角で撮像（受光）し、その撮像画角内の画像信号をデジタルデータに変換してフレームを生成する。また、撮像部３１４は、撮像とフレームの生成とを時間的に連続して行い、連続するフレームを画像処理部３１６に出力する。
The
画像処理部３１６は、制御部３０２からの制御信号に基づいて、撮像部３１４から出力されたフレーム（デジタルデータ）について、表示部３０７にスルー画像として表示させるべく、画質や画像サイズを調整して制御部３０２へ出力する。また、画像処理部３１６は、操作部３０６からの記録指示操作に基づく制御信号が入力されると、記録指示された時点の撮像部３１４における撮像画角内、あるいは、表示部３０７に表示される表示範囲内の光学像を、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮符号化方式にて符号化、ファイル化する機能を有する。
Based on the control signal from the
ＧＰＳ受信機３２２は、ＧＰＳ衛星からの信号を受信し、当該信号に基づいて、携帯端末３００の位置（緯度及び経度）を測定する。方位センサ３２４は、地磁気の変化等に基づいて、撮像部３１４による撮影方向の方位を検出する。傾斜センサ３２６は、携帯端末３００の傾斜を測定する。加速度センサ３２８は、携帯端末３００の加速度を測定する。
The
次に、可視光通信システム１の動作を説明する。図５は、可視光通信システム１内のサーバ１００のマーカー発光制御の動作の一例を示すフローチャートである。
Next, the operation of the visible light communication system 1 will be described. FIG. 5 is a flowchart showing an example of the marker light emission control operation of the
サーバ１００の制御部１０２内のマーカー制御部１１２は、マーカー２００の発光パターンを取得する（ステップＳ１０１）。発光パターンは、マーカー２００−１〜２００−４毎に設けられており、輝度、色相、これら輝度及び色相で発光させる時間を時系列で示す。発光パターンの情報は、例えばメモリ１０４に記憶されている。マーカー制御部１１２は、メモリ１０４に記憶されている発光パターンの情報を読み出す。
The
図６及び図７は、発光パターンの一例を示す図である。なお、図６及び図７に示す発光パターンでは、マーカー２００−１〜マーカー２００−４による発光タイミングは同期がとられている。 6 and 7 are diagrams showing an example of the light emission pattern. In addition, in the light emission pattern shown in FIG.6 and FIG.7, the light emission timing by the marker 200-1 to the marker 200-4 is synchronized.
図６に示す発光パターンでは、マーカー２００−１は、ヘッダとして消灯（Ｂｋ）し、次に、データとして赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかの発光を４回繰り返し、その後、パリティとして赤、緑、青の何れかの発光を行う。マーカー２００−２は、パリティとして赤、緑、青の何れかの発光を行い、次に、ヘッダとして消灯し、その後、データとして赤、緑、青の何れかの発光を４回繰り返す。マーカー２００−２は、データとして赤、緑、青の何れかの発光を行い、次に、パリティとして赤、緑、青の何れかの発光を行い、次に、ヘッダとして消灯し、その後、データとして赤、緑、青の何れかの発光を３回繰り返す。マーカー２００−３及び２００−４は、データとして赤、緑、青の何れかの発光を２回繰り返し、次に、パリティとして赤、緑、青の何れかの発光を行い、次に、ヘッダとして消灯し、その後、データとして赤、緑、青の何れかの発光を２回繰り返す。 In the light emission pattern shown in FIG. 6, the marker 200-1 is turned off (Bk) as the header, and then the light emission of red (R), green (G), or blue (B) is repeated four times as data. Thereafter, any one of red, green, and blue is emitted as the parity. The marker 200-2 emits one of red, green, and blue as parity, then turns off as a header, and then repeats emission of any of red, green, and blue as data four times. The marker 200-2 emits red, green, or blue as data, then emits red, green, or blue as parity, then turns off as a header, and then the data The red, green or blue light emission is repeated three times. The markers 200-3 and 200-4 repeat light emission of red, green, or blue twice as data, then perform light emission of red, green, or blue as parity, and then as a header The light is turned off, and then red, green, or blue light is repeated twice as data.
図７に示す発光パターンでは、マーカー２００−１は、ヘッダとして消灯し、次に、データとしてシアン（Ｃ）、マゼンダ（Ｍ）、イエロー（Ｙ）の何れかの発光を４回繰り返し、その後、パリティとしてシアン、マゼンダ、イエローの何れかの発光を行う。マーカー２００−２〜２００−４は、ヘッダとして消灯（Ｂｋ）し、次に、データとして赤、緑、青の何れかの発光を４回繰り返し、その後、パリティとして赤、緑、青の何れかの発光を行う。 In the light emission pattern shown in FIG. 7, the marker 200-1 is turned off as a header, and then light emission of any one of cyan (C), magenta (M), and yellow (Y) is repeated four times. One of cyan, magenta and yellow is emitted as the parity. The markers 200-2 to 200-4 are extinguished (Bk) as headers, and then red, green, or blue light emission is repeated four times as data, and then red, green, or blue is used as parity. The light is emitted.
次に、マーカー制御部１１２は、発光パターンに応じて、マーカー２００−１〜２００−４の発光を制御する（ステップＳ１０２）。具体的には、マーカー制御部１１２は、マーカー２００−１〜２００−４毎に、発光パターンに応じたタイミングで、その発光パターンに応じた輝度及び色相の情報を有線通信部１０８へ出力するとともに、送信先のマーカー２００に対応するＩＰ（Internet protocol）アドレス及びＭＡＣ（Media Access Control）アドレス等を有線通信部１０８へ出力する。有線通信部１０８は、マーカー２００に対応するＩＰアドレス及びＭＡＣアドレス等を宛先として、輝度及び色相の情報を送信する。
Next, the
マーカー２００内の有線通信部２０７は、マーカー２００に対応するＩＰアドレス及びＭＡＣアドレス等を宛先とする輝度及び色相の情報を受信し、制御部２０２へ出力する。制御部２０２は、輝度及び色相の情報を符号化・変調部２１０へ出力する。符号化・変調部２１０は、制御部２０２から出力されたタグＩＤに対する符号化してビットデータ列を生成するとともに、ビットデータ列に基づくデジタル変調を行う。駆動部２１２は、符号化・変調部２１０から出力される信号に対応し、ＬＥＤ２１４が発する光の輝度を時間的に変化させるための駆動信号を生成する。ＬＥＤ２１４は、駆動部２１２から出力される駆動信号に応じて、時間的に輝度及び色相が変化する光を発する。
The
図８は、携帯端末３００によるマーカー特定及び画像表示処理の動作の一例を示すフローチャートである。図８に示すフローチャートは、マーカー２００が図６及び図７に示す発光パターン、マーカー２００−１の輝度が他のマーカー２００−２〜２００−４よりも低い発光パターンの何れかに応じた発光を行う場合の動作を示す。
FIG. 8 is a flowchart illustrating an example of marker specifying and image display processing operations performed by the
携帯端末３００の制御部３０２内のマーカー検出部３３２は、複数（ここでは４つ）のマーカー２００からの光を受光したか否かを判定する（ステップＳ２０１）。具体的には、マーカー検出部３３２は、複数のフレームのそれぞれにおける同一座標の輝度を判別する。判別の結果、撮像画角内の所定の座標における輝度が、あるフレームでは第１の所定値以上であり、他のフレームでは第２の所定値以下となるというように大きく変化する場合には、当該所定の座標は、マーカー２００からの光を受光することにより生じる点滅箇所であると見なされる。点滅箇所が存在する場合には、マーカー検出部３３２は、その点滅箇所に１つのマーカー２００が存在すると判断する。
The
複数のマーカー２００からの光が受光されていない場合（ステップＳ２０１：ＮＯ）、一連の動作が終了する。一方、複数のマーカー２００からの光が受光された場合（ステップＳ２０１；ＹＥＳ）、規則性取得部３３４は、ヘッダタイミングが他と異なるマーカー２００が存在するか否かを判定する（ステップＳ２０２）。図６に示す発光パターンの場合、マーカー２００−１は、他のマーカー２００−２〜２００−４とはヘッダのタイミング、換言すれば、消灯のタイミングが異なる。また、マーカー２００−２は、他のマーカー２００−１、マーカー２００−３及び２００−４とはヘッダのタイミング、換言すれば、消灯のタイミングが異なる。従って、マーカー２００−１〜２００−４が図６に示す発光パターンで発光を行う場合には、規則性取得部３３４は、ヘッダタイミングが他と異なるマーカー２００が存在すると判定する。
When light from the plurality of
ヘッダタイミングが他と異なるマーカー２００が存在する場合（ステップＳ２０２；ＹＥＳ）、規則性取得部３３４は、最初に単独でヘッダタイミングとなったマーカー２００（ここではマーカー２００−１）からの光に対応する信号を基準信号に設定する（ステップＳ２０３）。ステップＳ２０３の処理により、マーカー２００−１が基準マーカーとして識別される。次に、規則性取得部３３４は、２番目に単独でヘッダタイミングとなったマーカー２００（ここではマーカー２００−２）からの光に対応する信号を、マーカー２００−１〜２００−４を識別するための回転方向信号に設定する（ステップＳ２０４）。ステップＳ２０４の処理により、基準マーカーであるマーカー２００−１から時計回りでの配置順に、マーカー２００−２が第２のマーカー、マーカー２００−３が第３のマーカー、マーカー２００−４が第４のマーカーとして識別される。
When there is a
一方、ヘッダタイミングが他と異なるマーカー２００が存在しない場合（ステップＳ２０２；ＮＯ）、規則性取得部３３４は、色相が他と異なるマーカー２００が存在するか否かを判定する（ステップＳ２０５）。図７に示す発光パターンの場合、マーカー２００−１は、シアン、マゼンダ、イエローの何れかの光を発しており、赤、緑、青の何れかの光を発する他のマーカー２００−２〜２００−４とは色相が異なる。従って、マーカー２００−１〜２００−４が図７に示す発光パターンで発光を行う場合には、規則性取得部３３４は、色相が他と異なるマーカー２００が存在すると判定する。
On the other hand, when there is no
色相が他と異なるマーカー２００（ここではマーカー２００−１）が存在する場合（ステップＳ２０５；ＹＥＳ）、規則性取得部３３４は、その色相が他と異なるマーカー２００−１からの光に対応する信号を基準信号に設定する（ステップＳ２０６）。ステップＳ２０６の処理により、マーカー２００−１が基準マーカーとして識別される。
When there is a marker 200 (here, marker 200-1) whose hue is different from the others (step S205; YES), the
一方、色相が他と異なるマーカー２００が存在しない場合（ステップＳ２０７；ＮＯ）、規則性取得部３３４は、輝度が他と異なるマーカー２００が存在するか否かを判定する（ステップＳ２０７）。マーカー２００−１の輝度が他のマーカー２００−２〜２００−４よりも低い発光パターンの何れかに応じた発光を行う場合、には、規則性取得部３３４は、輝度が他と異なるマーカー２００が存在すると判定する。
On the other hand, when there is no
輝度が他と異なるマーカー２００が存在しない場合（ステップＳ２０７；ＮＯ）、一連の動作が終了する。一方、輝度が他と異なるマーカー２００（ここではマーカー２００−１）が存在する場合（ステップＳ２０７；ＹＥＳ）、規則性取得部３３４は、その輝度が他と異なるマーカー２００−１からの光に対応する信号を基準信号に設定する（ステップＳ２０８）。ステップＳ２０８の処理により、マーカー２００−１が基準マーカーとして識別される。
When there is no
ステップＳ２０６又はステップＳ２０８において基準信号が設定された後、次に、規則性取得部３３４は、マーカー２００−１〜２００−４を識別するための回転方向を時計回りに設定する（ステップＳ２０９）。ステップＳ２０９の処理により、マーカー２００−１から時計回りでの配置順に、マーカー２００−２が第２のマーカー、マーカー２００−３が第３のマーカー、マーカー２００−４が第４のマーカーとして識別される。
After the reference signal is set in step S206 or step S208, next, the
ステップＳ２０４において回転方向信号が設定された後、又は、ステップＳ２０９において回転方向が時計回りに設定された後、出力制御部３３８は、フレーム上において全てのマーカー２００−１〜２００−４の位置に基づいて、これらマーカー２００−１〜２００−４の重心位置を決定する（ステップＳ２１０）。
After the rotation direction signal is set in step S204 or after the rotation direction is set clockwise in step S209, the
次に、情報取得部３３６は、全てのマーカー２００−１〜２００−４からの光に対応する信号をまとめてデータを生成する（ステップＳ２１１）。具体的には、情報取得部３３６は、マーカー２００−１〜２００−４毎に、フレーム上における当該マーカー２００の位置の発光態様と対応する発光パターンとに基づいて情報を復元し、その情報内のデータ部分を抽出する。更に、情報取得部３３６は、マーカー２００−１〜２００−４毎に抽出したデータ部分をまとめてデータを生成する。なお、本実施形態においては、マーカー２００−１〜２００−４の全てが復元すべき情報を発光パターンとして送信した場合を説明するが、これらのマーカー２００の全てが復元すべき情報を発光パターンとして送信（発光）する必要はなく、任意の１つ〜３つのマーカー２００が復元すべき情報を送信し、他のマーカー２００は単調な色点灯、点滅で発光させてもよい。すなわち、これらのマーカー２００と立体表示すべき画像との位置関係を特定できればよい。
Next, the
次に、情報取得部３３６及び出力制御部３３８は、立体画像の方向を設定し、フレーム上の重心位置に立体画像を表示させる制御を行う（ステップＳ２１２）。具体的には、情報取得部３３６は、ステップＳ２１１において取得されたデータにより一意に特定される立体画像のデータを取得する。立体画像のデータは、メモリ２０４に記憶されていてもよく、ステップＳ２１１において取得されたデータそのものであってもよく、外部から取得されたデータであってもよい。出力制御部３３８は、フレーム上における基準マーカーであるマーカー２００−１、第２のマーカーであるマーカー２００−２、第３のマーカーであるマーカー２００−３、第４のマーカーであるマーカー２００−４の位置関係に応じて、立体画像の方向を設定する。例えば、フレーム上においてマーカー２００−１〜２００−４のうち、基準マーカーであるマーカー２００−１が最も下に配置されている場合には、立体画像の方向を、正面から見た方向に設定する。また、フレーム上においてマーカー２００−１〜２００−４のうち、第２のマーカーであるマーカー２００−２が最も下に配置されている場合には、立体画像の方向を左から見た方向に設定する。また、フレーム上においてマーカー２００−１〜２００−４のうち、第３のマーカーであるマーカー２００−３が最も下に配置されている場合には、立体画像の方向を背面から見た方向に設定する。また、フレーム上においてマーカー２００−１〜２００−４のうち、第４のマーカーであるマーカー２００−４が最も下に配置されている場合には、立体画像の方向を右から見た方向に設定する。更に、出力制御部３３８は、設定した方向に対応する立体画像のデータをメモリ３０４から読み出し、表示部３０７に表示されたフレーム上における重心位置に、その立体画像を表示させる制御を行う。
Next, the
図９は、携帯端末３００による立体画像表示の一例を示す図である。図９に示すように、携帯端末３００の表示部３０７には、マーカー２００−１〜２００−４を含んだ領域が撮像されることにより、マーカー２００−１に対応する画像２０１−１、マーカー２００−２に対応する画像２０１−２、マーカー２００−３に対応する画像２０１−３、及び、マーカー２００−４に対応する画像２０１−４を含んだフレーム画像が表示される。更に、フレーム画像における重心位置２５０に、立体画像６００が表示される。
FIG. 9 is a diagram illustrating an example of stereoscopic image display by the
このように本実施形態では、マーカー２００−１〜２００−４は、サーバ１００の制御に従って発光パターンに応じた発光を行う。一方、携帯端末３００は、マーカー２００−１〜２００−４の発光態様に基づいて、マーカー２００−１〜２００−４の配置と識別とを行う。更に、携帯端末３００は、配置に応じたフレーム上の重心位置に、識別に応じた方向の立体画像を表示させる。これにより、マーカー２００−１〜２００−４を含んだ領域の撮影方向に応じて、立体画像の方向を異ならせることが可能となり、可視光通信において、現実の撮影方向に沿った自然な画像合成出力が可能となる。
As described above, in the present embodiment, the markers 200-1 to 200-4 emit light according to the light emission pattern according to the control of the
なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。 Note that the present invention is not limited by the description of the above-described embodiment and the drawings, and appropriate modifications and the like can be made to the above-described embodiment and the drawings.
（第１の他の実施形態）
図１０及び図１１は、発光パターンの一例を示す図である。なお、図１０及び図１１に示す発光パターンでは、マーカー２００−１〜マーカー２００−４による発光タイミングは同期がとられている。
(First other embodiment)
10 and 11 are diagrams showing an example of the light emission pattern. In addition, in the light emission pattern shown in FIG.10 and FIG.11, the light emission timing by the marker 200-1 to the marker 200-4 is synchronized.
図１０に示す発光パターンでは、マーカー２００−１は、ヘッダとして消灯（Ｂｋ）し、次に、識別子として赤（Ｒ）の発光を行い、次に、データとして赤、緑（Ｇ）、青（Ｂ）の何れかの発光を４回繰り返し、その後、パリティとして赤、緑、青の何れかの発光を行う。マーカー２００−２〜２００−４は、ヘッダとして消灯し、次に、識別子として緑の発光を行い、次に、データとして赤、緑、青の何れかの発光を４回繰り返し、その後、パリティとして赤、緑、青の何れかの発光を行う。 In the light emission pattern shown in FIG. 10, the marker 200-1 is turned off (Bk) as a header, then emits red (R) as an identifier, and then red, green (G), blue ( B) Repeats light emission four times, and then emits red, green, or blue light as a parity. The markers 200-2 to 200-4 are turned off as headers, then emit green light as an identifier, then repeat red, green, or blue light as data four times, and then as parity Red, green, or blue light is emitted.
図１１に示す発光パターンでは、マーカー２００−１は、ヘッダとして消灯し、次に、識別子として赤の発光を行い、次に、データとして赤、緑、青の何れかの発光を４回繰り返し、その後、パリティとして赤、緑、青の何れかの発光を行う。マーカー２００−２は、ヘッダとして消灯し、次に、識別子として緑の発光を行い、次に、データとして赤、緑、青の何れかの発光を４回繰り返し、その後、パリティとして赤、緑、青の何れかの発光を行う。マーカー２００−３及び２００−４は、ヘッダとして消灯し、次に、識別子として青の発光を行い、次に、データとして赤、緑、青の何れかの発光を４回繰り返し、その後、パリティとして赤、緑、青の何れかの発光を行う。 In the light emission pattern shown in FIG. 11, the marker 200-1 is turned off as a header, then emits red as an identifier, then repeats light emission of red, green, or blue four times as data, Thereafter, any one of red, green, and blue is emitted as the parity. The marker 200-2 is turned off as a header, then emits green light as an identifier, then repeats red, green, or blue light emission four times as data, and then red, green, Emits one of the blue lights. The markers 200-3 and 200-4 are extinguished as headers, then emit blue light as an identifier, then repeat red, green, or blue light as data four times, and then as parity Red, green, or blue light is emitted.
図１２は、携帯端末３００によるマーカー特定及び画像表示処理の動作の一例を示すフローチャートである。図１２に示すフローチャートは、マーカー２００が図１０及び図１１に示す発光パターンの何れかに応じた発光を行う場合の動作を示す。
FIG. 12 is a flowchart illustrating an example of marker specification and image display processing operations performed by the
携帯端末３００の制御部３０２内のマーカー検出部３３２は、複数（ここでは４つ）のマーカー２００からの光を受光したか否かを判定する（ステップＳ３０１）。具体的な動作は、図８のステップＳ２０１と同様である。
The
複数のマーカー２００からの光が受光されていない場合（ステップＳ３０１：ＮＯ）、一連の動作が終了する。一方、複数のマーカー２００からの光が受光された場合（ステップＳ３０１；ＹＥＳ）、規則性取得部３３４は、識別子に対応する光の色相に基づいて、基準信号に設定する（ステップＳ３０２）。図１０及び図１１に示す発光パターンの場合、マーカー２００−１のみが、ヘッダとしての消灯の後、識別子として赤の光を発する。この場合、規則性取得部３３４は、マーカー２００−１を他のマーカー２００−２〜２００−４と区別することができ、マーカー２００−１からの光に対応する信号を基準信号に設定する。ステップＳ３０２の処理により、マーカー２００−１が基準マーカーとして識別される。
When light from the plurality of
次に、規則性取得部３３４は、識別子に対応する光の色相に基づいて、マーカー２００−１〜２００−４を識別するための回転方向を決定する（ステップＳ３０３）。図１０に示す発光パターンの場合、マーカー２００−２〜２００−４の発光態様は同一であり、区別することができない。この場合には、規則性取得部３３４は、回転方向を時計回りに設定する。一方、図１１に示す発光パターンの場合、マーカー２００−２とマーカー２００−３及び２００−４とは、識別子に対応する光の色相が異なっている。この場合、規則性取得部３３４は、マーカー２００−２とマーカー２００−３及び２００−４とを区別することができ、回転方向を、マーカー２００−１からマーカー２００−２に向かう方向、すなわち、時計回りに設定する。ステップＳ３０３の処理により、マーカー２００−１から時計回りでの配置順に、マーカー２００−２が第２のマーカー、マーカー２００−３が第３のマーカー、マーカー２００−４が第４のマーカーとして識別される。
Next, the
その後、図８のステップＳ２１０〜ステップＳ２１２と同様の動作が行われる。すなわち、出力制御部３３８は、フレーム上において全てのマーカー２００−１〜２００−４の位置に基づいて、これらマーカー２００−１〜２００−４の重心位置を決定する（ステップＳ３０４）。次に、情報取得部３３６は、全てのマーカー２００−１〜２００−４からの光に対応する信号をまとめてデータを生成する（ステップＳ３０５）。次に、情報取得部３３６及び出力制御部３３８は、立体画像の方向を設定し、フレーム上の重心位置に立体画像を表示させる制御を行う（ステップＳ３０６）。
Thereafter, operations similar to those in steps S210 to S212 in FIG. 8 are performed. That is, the
（第２の他の実施形態）
図１３は、携帯端末３００によるマーカー特定及び画像表示処理の動作の一例を示すフローチャートである。図１３に示すフローチャートは、マーカー２００の発光パターンが不定である場合の動作を示す。
(Second other embodiment)
FIG. 13 is a flowchart illustrating an example of marker specifying and image display processing operations performed by the
携帯端末３００の制御部３０２内のマーカー検出部３３２は、複数（ここでは４つ）のマーカー２００からの光を受光したか否かを判定する（ステップＳ４０１）。具体的な動作は、図８のステップＳ２０１と同様である。
The
複数のマーカー２００からの光が受光されていない場合（ステップＳ４０１：ＮＯ）、一連の動作が終了する。一方、複数のマーカー２００からの光が受光された場合（ステップＳ４０１；ＹＥＳ）、規則性取得部３３４は、傾斜センサ３２６により測定される携帯端末３００の傾斜が所定値以下であるか否かを判定する（ステップＳ４０２）。
When light from the plurality of
携帯端末３００の傾斜が所定値以下である場合（ステップＳ４０２；ＹＥＳ）、規則性取得部３３４は、加速度センサ３２８により測定される携帯端末３００の加速度に基づいて重力方向を検出する（ステップＳ４０３）。次に、規則性取得部３３４は、フレームと携帯端末３００の傾斜と重力方向とに基づいて、マーカー２００−１〜２００−４のうち、地面から最も遠いマーカー２００からの光に対応する信号を基準信号に設定する（ステップＳ４０４）。例えば、携帯端末３００の傾斜と重力方向とによって特定される受光面３１５の垂直方向が水平方向である場合、フレーム内のマーカー２００の画像のうち、最も上の画像に対応するマーカ２００からの光に対応する信号を基準信号に設定する。ステップＳ４０４の処理により、マーカー２００−１〜２００−４の何れかが基準マーカーとして識別される。
When the inclination of the
一方、携帯端末３００の傾斜が所定値を超える場合（ステップＳ４０２；ＮＯ）、規則性取得部３３４は、方位センサ３２４により検出される方位に基づいて、北の方向を検出する（ステップＳ４０５）。次に、規則性取得部３３４は、北の方向に基づいて、マーカー２００−１〜２００−４のうち、最も北に位置するマーカー２００からの光に対応する信号を基準信号に設定する（ステップＳ４０６）。ステップＳ４０６の処理により、マーカー２００−１〜２００−４の何れかが基準マーカーとして識別される。
On the other hand, when the inclination of the
ステップＳ４０４又はステップＳ４０６の後、規則性取得部３３４は、マーカー２００−１〜２００−４を識別するための回転方向を時計回りに設定する（ステップＳ４０７）。
After step S404 or step S406, the
その後、図８のステップＳ２１０〜ステップＳ２１２と同様の動作が行われる。すなわち、出力制御部３３８は、フレーム上において全てのマーカー２００−１〜２００−４の位置に基づいて、これらマーカー２００−１〜２００−４の重心位置を決定する（ステップＳ４０８）。次に、情報取得部３３６は、全てのマーカー２００−１〜２００−４からの光に対応する信号をまとめてデータを生成する（ステップＳ４０９）。次に、情報取得部３３６及び出力制御部３３８は、立体画像の方向を設定し、フレーム上の重心位置に立体画像を表示させる制御を行う（ステップＳ４１０）。
Thereafter, operations similar to those in steps S210 to S212 in FIG. 8 are performed. That is, the
（第３の他の実施形態）
本実施形態では、図１４に示すように、サーバ７００の筐体に当該サーバ７００の稼働状況を示すマーカー２００−１〜２００−４が配置された場合を例に説明する。図１４（Ａ）では、マーカー２００−１〜２００−４が直線状に配置され、図１４（Ｂ）では、マーカー２００−１〜２００−４が非直線状に配置されている。
(Third other embodiment)
In the present embodiment, as illustrated in FIG. 14, a case where markers 200-1 to 200-4 indicating the operating status of the
図１５は、発光パターンの一例を示す図である。なお、図１５に示す発光パターンでは、マーカー２００−１〜マーカー２００−４による発光タイミングは同期がとられている。 FIG. 15 is a diagram illustrating an example of a light emission pattern. In addition, in the light emission pattern shown in FIG. 15, the light emission timing by the marker 200-1 to the marker 200-4 is synchronized.
図１５に示す発光パターンでは、マーカー２００−１は、ヘッダとして消灯（Ｂｋ）し、次に、識別子として赤（Ｒ）の発光を行い、次に、マーカー２００の数として赤、緑（Ｇ）、青（Ｂ）の何れかの発光を２回繰り返し、次に、マーカー２００の配置（直線状であるか非直線状であるか）として赤、緑、青の何れかの発光を２回繰り返し、その後、パリティとして赤、緑、青の何れかの発光を行う。マーカー２００−２は、ヘッダとして消灯し、次に、識別子として緑の発光を行い、次に、データとして赤、緑、青の何れかの発光を４回繰り返し、その後、パリティとして赤、緑、青の何れかの発光を行う。マーカー２００−３及び２００−４は、ヘッダとして消灯し、次に、識別子として青の発光を行い、次に、データとして赤、緑、青の何れかの発光を４回繰り返し、その後、パリティとして赤、緑、青の何れかの発光を行う。
In the light emission pattern shown in FIG. 15, the marker 200-1 is turned off (Bk) as a header, then emits red (R) as an identifier, and then red, green (G) as the number of
図１６は、携帯端末３００によるマーカー特定及び画像表示処理の動作の一例を示すフローチャートである。図１６に示すフローチャートは、マーカー２００が図１５に示す発光パターンの何れかに応じた発光を行う場合の動作を示す。
FIG. 16 is a flowchart illustrating an example of marker specification and image display processing operations performed by the
携帯端末３００の制御部３０２内のマーカー検出部３３２は、複数（ここでは４つ）のマーカー２００からの光を受光したか否かを判定する（ステップＳ５０１）。具体的な動作は、図８のステップＳ２０１と同様である。
The
複数のマーカー２００からの光が受光されていない場合（ステップＳ５０１：ＮＯ）、一連の動作が終了する。一方、複数のマーカー２００からの光が受光された場合（ステップＳ５０１；ＹＥＳ）、規則性取得部３３４は、識別子に対応する光の色相に基づいて、基準信号に設定する（ステップＳ５０２）。図１１に示す発光パターンの場合、マーカー２００−１のみが、ヘッダとしての消灯の後、識別子として赤の光を発する。この場合、規則性取得部３３４は、マーカー２００−１を他のマーカー２００−２〜２００−４と区別することができ、マーカー２００−１からの光に対応する信号を基準信号に設定する。ステップＳ５０２の処理により、マーカー２００−１が基準マーカーとして識別される。
When the light from the plurality of
次に、規則性取得部３３４は、ステップＳ５０１における受光数が基準信号内のマーカー数と一致するか否かを判定する（ステップＳ５０３）。具体的には、情報取得部３３６は、フレーム上における基準マーカーであるマーカー２００−１の位置の発光態様と対応する発光パターンとに基づいて情報を復元し、その情報内のマーカー数部分を抽出する。更に、情報取得部３３６は、ステップＳ５０１における受光数が抽出したマーカー数と一致するか否かを判定する。
Next, the
受光数が基準信号内のマーカー数と一致しない場合（ステップＳ５０３；ＮＯ）、一連の動作が終了する。一方、受光数が基準信号内のマーカー数と一致する場合（ステップＳ５０３；ＹＥＳ）、基準信号内のマーカー配置が直線であるか否かを判定する（ステップＳ５０４）。具体的には、情報取得部３３６は、フレーム上における基準マーカーであるマーカー２００−１の位置の発光態様と対応する発光パターンとに基づいて情報を復元し、その情報内のマーカー配置部分を抽出する。更に、情報取得部３３６は、抽出したマーカー配置が直線であるか否かを判定する。
When the number of received light does not coincide with the number of markers in the reference signal (step S503; NO), a series of operations ends. On the other hand, when the number of received light coincides with the number of markers in the reference signal (step S503; YES), it is determined whether or not the marker arrangement in the reference signal is a straight line (step S504). Specifically, the
基準信号内のマーカー配置が直線でない場合（ステップＳ５０４；ＮＯ）、規則性取得部３３４は、識別子に対応する光の色相に基づいて、マーカー２００−１〜２００−４を識別するための回転方向を決定する（ステップＳ５０５）。図１５に示す発光パターンの場合、マーカー２００−２とマーカー２００−３及び２００−４とは、識別子に対応する光の色相が異なっている。この場合、規則性取得部３３４は、マーカー２００−２とマーカー２００−３及び２００−４とを区別することができ、回転方向を、マーカー２００−１からマーカー２００−２に向かう方向、すなわち、時計回りに設定する。ステップＳ５０５の処理により、マーカー２００−１から時計回りでの配置順に、マーカー２００−２が第２のマーカー、マーカー２００−３が第３のマーカー、マーカー２００−４が第４のマーカーとして識別される。
When the marker arrangement in the reference signal is not a straight line (step S504; NO), the
次に、出力制御部３３８は、フレーム上において全てのマーカー２００−１〜２００−４の位置に基づいて、これらマーカー２００−１〜２００−４の重心位置を決定する（ステップＳ５０６）。具体的な動作は、図８のステップＳ２１０と同様である。
Next, the
一方、基準信号内のマーカー配置が直線である場合（ステップＳ５０４；ＹＥＳ）、規則性取得部３３４は、基準マーカーであるマーカー２００−１に近い順に順序を設定する（ステップＳ５０７）。図１４（Ａ）に示す配置の場合、規則性取得部３３４は、マーカー２００−２、マーカー２００−３、マーカー２００−４の順に順序を設定する。ステップＳ５０７の処理により、マーカー２００−１から時計回りでの配置順に、マーカー２００−２が第２のマーカー、マーカー２００−３が第３のマーカー、マーカー２００−４が第４のマーカーとして識別される。
On the other hand, when the marker arrangement in the reference signal is a straight line (step S504; YES), the
ステップＳ５０６又はステップＳ５０７の後、情報取得部３３６は、全てのマーカー２００−１〜２００−４からの光に対応する信号をまとめてデータを生成する（ステップＳ５０８）。具体的な動作は、図８のステップＳ２１１と同様である。
After step S506 or step S507, the
次に、出力制御部３３８は、立体画像を表示させる制御を行う（ステップＳ５０９）。ここで、ステップＳ５０６において重心位置が決定された場合には、出力制御部３３８は、図８のステップＳ２１２と同様、情報取得部３３６及び出力制御部３３８は、立体画像の方向を設定し、フレーム上の重心位置に立体画像を表示させる制御を行う。一方、マーカー２００−１〜２００−４の配置が直線状であり、重心位置が決定されなかった場合には、情報取得部３３６は、利対画像のデータを取得し、出力制御部３３８は、フレーム上の所定位置に予め定められた方向で立体画像を表示させる制御を行う。
Next, the
上述した第１〜第３の他の実施形態の何れにおいても、携帯端末３００は、マーカー２００−１〜２００−４の配置と識別とを行う。更に、携帯端末３００は、配置に応じたフレーム上の重心位置に、識別に応じた方向の立体画像を表示させることができる。これにより、マーカー２００−１〜２００−４を含んだ領域の撮影方向に応じて、立体画像の方向を異ならせることが可能となり、可視光通信において、現実の撮影方向に沿った自然な画像合成出力が可能となる。
In any of the first to third other embodiments described above, the
なお、例えば、コンピュータがプログラムを実行することで、サーバ１００、マーカー２００及び携帯端末３００の機能を実現してもよい。また、マーカー２００、携帯端末３００及びサーバ１００の機能を実現するためのプログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。
For example, the functions of the
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to the specific embodiment which concerns, This invention includes the invention described in the claim, and its equivalent range It is. Hereinafter, the invention described in the scope of claims of the present application will be appended.
（付記１）
撮像により画像を取得する撮像手段と、
前記撮像手段によって取得された画像から可視光通信用の光を発するマーカーを検出するマーカー検出手段と、
前記マーカー検出手段により前記マーカーが複数検出された場合、これら複数のマーカーの位置関係と出力すべき情報の出力位置の規則性を取得する規則性取得手段と、
前記複数のマーカーの少なくとも１つの発光態様に基づいて所定の情報を取得する情報取得手段と、
前記規則性取得手段によって取得された規則性に基づいて前記所定の情報の出力位置を特定するとともに、前記出力位置に前記情報取得手段によって取得された前記所定の情報を出力する制御を行う出力制御手段と、
を備えることを特徴とする撮像装置。
(Appendix 1)
An imaging means for acquiring an image by imaging;
Marker detection means for detecting a marker that emits light for visible light communication from the image acquired by the imaging means;
When a plurality of the markers are detected by the marker detection means, regularity acquisition means for acquiring the positional relationship between the plurality of markers and the regularity of the output position of information to be output;
Information acquisition means for acquiring predetermined information based on at least one light emission mode of the plurality of markers;
Output control for specifying the output position of the predetermined information based on the regularity acquired by the regularity acquisition means, and performing control for outputting the predetermined information acquired by the information acquisition means to the output position Means,
An imaging apparatus comprising:
（付記２）
前記規則性は、前記複数のマーカーの配置を特定可能とするとともに、前記複数のマーカーの各々を識別可能とするためのものであることを特徴とする付記１に記載の撮像装置。
(Appendix 2)
2. The imaging apparatus according to appendix 1, wherein the regularity is for specifying an arrangement of the plurality of markers and for identifying each of the plurality of markers.
（付記３）
前記規則性には、前記所定の情報の出力方向を更に特定可能とするためのものであることを特徴とする付記１又は２に記載の撮像装置。
(Appendix 3)
The imaging apparatus according to
（付記４）
前記規則性取得手段は、前記マーカーの発光態様に基づいて、前記複数のマーカーの位置関係と出力すべき情報の出力位置の規則性を取得することを特徴とする付記１乃至３の何れか１つに記載の撮像装置。
(Appendix 4)
The regularity acquisition means acquires the regularity of the positional relationship between the plurality of markers and the output position of the information to be output based on the light emission mode of the marker. The imaging device described in one.
（付記５）
前記可視光通信は、輝度変化を伴うものであり、
前記規則性取得手段は、前記発光態様としてマーカーが発する光の消灯タイミングに基づいて、前記規則性を取得することを特徴とする付記４に記載の撮像装置。
(Appendix 5)
The visible light communication involves a change in brightness,
The imaging apparatus according to
（付記６）
前記可視光通信は、輝度変化を伴うものであり、
前記規則性取得手段は、前記発光態様として前記複数のマーカーのうちの１つが発する光の輝度が他のマーカーに対応する光の輝度とは異なることに基づいて、前記規則性を取得することを特徴とする付記４に記載の撮像装置。
(Appendix 6)
The visible light communication involves a change in brightness,
The regularity obtaining means obtains the regularity based on the fact that the luminance of light emitted from one of the plurality of markers is different from the luminance of light corresponding to other markers as the light emission mode. The imaging apparatus according to
（付記７）
前記可視光通信は、色相変化を伴うものであり、
前記規則性取得手段は、前記発光態様として前記複数のマーカーのうちの１つが発する光の色相が他のマーカーに対応する光の色相とは異なることに基づいて、前記規則性を取得することを特徴とする付記４に記載の撮像装置。
(Appendix 7)
The visible light communication involves a hue change,
The regularity obtaining means obtains the regularity based on the fact that the hue of light emitted from one of the plurality of markers is different from the hue of light corresponding to another marker as the light emission mode. The imaging apparatus according to
（付記８）
自身の配置に関する情報を取得する配置情報取得手段を更に備え、
前記規則性取得手段は、前記複数のマーカーの発光態様に加え、前記配置情報取得手段によって取得された前記配置に関する情報に基づいて、前記規則性を取得することを特徴とする付記４乃至７の何れか１つに記載の撮像装置。
(Appendix 8)
It further comprises arrangement information acquisition means for acquiring information related to its own arrangement,
The regularity acquisition unit acquires the regularity based on information on the arrangement acquired by the arrangement information acquisition unit in addition to the light emission mode of the plurality of markers. The imaging device according to any one of the above.
（付記９）
可視光通信用の光を発する複数のマーカーと、
前記複数のマーカーの発光態様に応じた規則性に基づいて、前記複数のマーカーの発光態様を変化させるマーカー制御手段と、
を備えることを特徴とする可視光通信制御システム。
(Appendix 9)
A plurality of markers emitting light for visible light communication;
Marker control means for changing the light emission mode of the plurality of markers based on the regularity according to the light emission mode of the plurality of markers;
A visible light communication control system comprising:
（付記１０）
撮像により画像を取得する撮像ステップと、
前記撮像ステップにて取得された画像から可視光通信用の光を発するマーカーを検出するマーカー検出ステップと、
前記マーカー検出ステップにて前記マーカーが複数検出された場合、これら複数のマーカーの位置関係と出力すべき情報の出力位置の規則性を取得する規則性取得ステップと、
前記複数のマーカーの少なくとも１つの発光態様に基づいて所定の情報を取得する情報取得ステップと、
前記規則性取得ステップにて取得された規則性に基づいて前記所定の情報の出力位置を特定するとともに、前記出力位置に前記情報取得ステップにて取得された前記所定の情報を出力する制御を行う出力制御ステップと、
を含むことを特徴とする出力制御方法。
(Appendix 10)
An imaging step of acquiring an image by imaging;
A marker detection step of detecting a marker emitting light for visible light communication from the image acquired in the imaging step;
When a plurality of the markers are detected in the marker detection step, a regularity acquisition step for acquiring the positional relationship between the plurality of markers and the regularity of the output position of information to be output;
An information acquisition step of acquiring predetermined information based on at least one light emission mode of the plurality of markers;
Based on the regularity acquired in the regularity acquisition step, the output position of the predetermined information is specified, and control is performed to output the predetermined information acquired in the information acquisition step to the output position. An output control step;
The output control method characterized by including.
（付記１１）
複数のマーカーにより可視光通信用の光を発する発光ステップと、
前記複数のマーカーの発光態様に応じた規則性に基づいて、前記複数のマーカーの発光態様を変化させるマーカー制御ステップと、
を含むことを特徴とする可視光通信制御方法。
(Appendix 11)
A light emitting step of emitting light for visible light communication with a plurality of markers;
A marker control step of changing the light emission mode of the plurality of markers based on the regularity according to the light emission mode of the plurality of markers;
The visible light communication control method characterized by including.
（付記１２）
撮像装置を、
撮像により画像を取得する撮像手段、
前記撮像手段によって取得された画像から可視光通信用の光を発するマーカーを検出するマーカー検出手段、
前記マーカー検出手段により前記マーカーが複数検出された場合、これら複数のマーカーの位置関係と出力すべき情報の出力位置の規則性を取得する規則性取得手段、
前記複数のマーカーの少なくとも１つの発光態様に基づいて所定の情報を取得する情報取得手段、
前記規則性取得手段によって取得された規則性に基づいて前記所定の情報の出力位置を特定するとともに、前記出力位置に前記情報取得手段によって取得された前記所定の情報を出力する制御を行う出力制御手段、
として機能させることを特徴とするプログラム。
(Appendix 12)
The imaging device
An imaging means for acquiring an image by imaging;
Marker detection means for detecting a marker that emits light for visible light communication from the image acquired by the imaging means;
Regularity acquisition means for acquiring the regularity of the positional relationship between the plurality of markers and the output position of the information to be output when a plurality of the markers are detected by the marker detection means;
Information acquisition means for acquiring predetermined information based on at least one light emission mode of the plurality of markers;
Output control for specifying the output position of the predetermined information based on the regularity acquired by the regularity acquisition means, and performing control for outputting the predetermined information acquired by the information acquisition means to the output position means,
A program characterized by functioning as
（付記１３）
可視光通信制御システムを、
可視光通信用の光を発する複数のマーカー、
前記複数のマーカーの発光態様に応じた規則性に基づいて、前記複数のマーカーの発光態様を変化させるマーカー制御手段、
として機能させることを特徴とするプログラム。
(Appendix 13)
Visible light communication control system,
Multiple markers emitting light for visible light communication,
Marker control means for changing the light emission mode of the plurality of markers based on the regularity according to the light emission mode of the plurality of markers,
A program characterized by functioning as
１…可視光通信システム、１００、７００…サーバ、２００−１〜２００−４…マーカー、１０２、２０２、３０２…制御部、１０４、２０４、３０４…メモリ、１０６、３０６…操作部、１０７、３０７…表示部、１０８、２０７…有線通信部、１１２…マーカー制御部、２０１−１〜２０１−４…画像、２１０……符号化・変調部、２１２…駆動部、２１４…ＬＥＤ、２５０…重心位置、３００…携帯端末、３０８…無線通信部、３１０…アンテナ、３１２…レンズ、３１４…撮像部、３１５…受光面、３１６…画像処理部、３２２…ＧＰＳ受信機、３２４…方位センサ、３２６…傾斜センサ、３２８…加速度センサ、３３２…マーカー検出部、３３４…規則性検出部、３３６…情報取得部、３３８…出力制御部、４００…ユーザ、５００…通信ネットワーク、６００…立体画像 DESCRIPTION OF SYMBOLS 1 ... Visible light communication system, 100, 700 ... Server, 200-1 to 200-4 ... Marker, 102, 202, 302 ... Control part, 104, 204, 304 ... Memory, 106, 306 ... Operation part, 107, 307 ... Display unit, 108, 207 ... Wired communication unit, 112 ... Marker control unit, 201-1 to 201-4 ... Image, 210 ... Encoding / modulation unit, 212 ... Drive unit, 214 ... LED, 250 ... Center of gravity position , 300 mobile terminal, 308 wireless communication unit, 310 antenna, 312 lens, 314 imaging unit, 315 light receiving surface, 316 image processing unit, 322 GPS receiver, 324 orientation sensor, 326 tilt Sensor, 328 ... Acceleration sensor, 332 ... Marker detection unit, 334 ... Regularity detection unit, 336 ... Information acquisition unit, 338 ... Output control unit, 400 ... User, 50 ... communication network, 600 ... three-dimensional image
Claims (10)
前記撮像手段によって取得された画像から可視光通信用の光を発するマーカーを検出するマーカー検出手段と、
前記マーカー検出手段により前記マーカーが複数検出された場合、これら複数のマーカーの発光規則性に基づいて複数検出された前記マーカーを各々識別し、その識別された前記マーカーの位置関係に基づいて、出力すべき立体的な形状を有する情報の出力位置と出力方向とを取得する取得手段と、
前記複数のマーカーの全ての発光態様に基づいて前記情報を取得する情報取得手段と、
前記情報を、前記取得手段によって取得された出力位置で、取得された出力方向に向くよう出力する出力制御手段と、
を備えることを特徴とする撮像装置。 An imaging means for acquiring an image by imaging;
Marker detection means for detecting a marker that emits light for visible light communication from the image acquired by the imaging means;
When a plurality of the markers are detected by the marker detection means, each of the plurality of detected markers is identified based on the light emission regularity of the plurality of markers , and output based on the positional relationship of the identified markers An acquisition means for acquiring an output position and an output direction of information having a three-dimensional shape to be obtained;
Information acquisition means for acquiring the information based on all light emission modes of the plurality of markers;
Output control means for outputting the information at the output position acquired by the acquisition means so as to face the acquired output direction;
An imaging apparatus comprising:
前記取得手段は、前記発光規則性として前記マーカーが発する光の消灯タイミングに基づいて、複数検出された前記マーカーを各々識別することを特徴とする請求項１に記載の撮像装置。 The visible light communication involves a change in brightness,
The imaging apparatus according to claim 1, wherein the acquisition unit identifies each of the plurality of detected markers based on a light extinction timing of light emitted from the markers as the light emission regularity .
前記取得手段は、前記発光規則性として前記複数のマーカーのうちの１つが発する光の輝度が他のマーカーに対応する光の輝度とは異なることに基づいて、複数検出された前記マーカーを各々識別することを特徴とする請求項１に記載の撮像装置。 The visible light communication involves a change in brightness,
The acquisition means identifies each of the plurality of detected markers based on the fact that the luminance of light emitted from one of the plurality of markers is different from the luminance of light corresponding to other markers as the light emission regularity. the imaging apparatus according to claim 1, characterized in that.
前記取得手段は、前記発光規則性として前記複数のマーカーのうちの１つが発する光の色相が他のマーカーに対応する光の色相とは異なることに基づいて、複数検出された前記マーカーを各々識別することを特徴とする請求項１に記載の撮像装置。 The visible light communication involves a hue change,
The acquisition means identifies each of the plurality of detected markers based on the fact that the hue of light emitted from one of the plurality of markers is different from the hue of light corresponding to another marker as the light emission regularity. the imaging apparatus according to claim 1, characterized in that.
前記取得手段は、前記配置情報取得手段によって取得された前記配置に関する情報に基づいて、前記出力方向を取得することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。 It further comprises arrangement information acquisition means for acquiring information related to its own arrangement,
5. The imaging apparatus according to claim 1 , wherein the acquisition unit acquires the output direction based on information on the arrangement acquired by the arrangement information acquisition unit .
前記複数のマーカーの全ての発光態様に基づいて取得可能となる立体的な形状を有する情報の、出力位置と出力方向とを特定させるため、前記複数のマーカーの発光規則性を設定して発光させるよう制御するマーカー制御手段と、In order to specify the output position and output direction of information having a three-dimensional shape that can be acquired based on all the light emission modes of the plurality of markers, the light emission regularity of the plurality of markers is set to emit light. Marker control means for controlling
を備えることを特徴とする可視光通信制御システム。A visible light communication control system comprising:
前記撮像ステップにて取得された画像から可視光通信用の光を発するマーカーを検出するマーカー検出ステップと、A marker detection step of detecting a marker emitting light for visible light communication from the image acquired in the imaging step;
前記マーカー検出ステップにて前記マーカーが複数検出された場合、これら複数のマーカーの発光規則性に基づいて複数検出された前記マーカーを各々識別し、その識別された前記マーカーの位置関係に基づいて、出力すべき立体的な形状を有する情報の出力位置と出力方向とを取得する取得ステップと、 When a plurality of the markers are detected in the marker detection step, each of the markers detected based on the light emission regularity of the plurality of markers is identified, and based on the positional relationship of the identified markers, An acquisition step of acquiring an output position and an output direction of information having a three-dimensional shape to be output;
前記複数のマーカーの全ての発光態様に基づいて前記情報を取得する情報取得ステップと、An information acquisition step of acquiring the information based on all the light emission modes of the plurality of markers;
前記情報を、前記取得ステップにて取得された出力位置で、取得された出力方向に向くよう出力する出力制御ステップと、An output control step for outputting the information so as to face the acquired output direction at the output position acquired in the acquisition step;
を含むことを特徴とする出力制御方法。The output control method characterized by including.
前記複数のマーカーの全ての発光態様に基づいて取得可能となる立体的な形状を有する情報の、出力位置と出力方向とを特定させるため、前記複数のマーカーの発光規則性を設定して発光させるよう制御するマーカー制御ステップと、In order to specify the output position and output direction of information having a three-dimensional shape that can be acquired based on all the light emission modes of the plurality of markers, the light emission regularity of the plurality of markers is set to emit light. A marker control step for controlling
を含むことを特徴とする可視光通信制御方法。The visible light communication control method characterized by including.
撮像により画像を取得する撮像手段、 An imaging means for acquiring an image by imaging;
前記撮像手段によって取得された画像から可視光通信用の光を発するマーカーを検出するマーカー検出手段、Marker detection means for detecting a marker that emits light for visible light communication from the image acquired by the imaging means;
前記マーカー検出手段により前記マーカーが複数検出された場合、これら複数のマーカーの発光規則性に基づいて複数検出された前記マーカーを各々識別し、その識別された前記マーカーの位置関係に基づいて、出力すべき立体的な形状を有する情報の出力位置と出力方向とを取得する取得手段、When a plurality of the markers are detected by the marker detection means, each of the plurality of detected markers is identified based on the light emission regularity of the plurality of markers, and output based on the positional relationship of the identified markers Acquisition means for acquiring an output position and an output direction of information having a three-dimensional shape to be obtained;
前記複数のマーカーの全ての発光態様に基づいて前記情報を取得する情報取得手段、Information acquisition means for acquiring the information based on all the light emission modes of the plurality of markers;
前記情報を、前記取得手段によって取得された出力位置で、取得された出力方向に向くよう出力する出力制御手段、Output control means for outputting the information in the output direction acquired by the acquisition means so as to face the acquired output direction;
として機能させることを特徴とするプログラム。A program characterized by functioning as
前記複数のマーカーに対し各々が他と識別可能な可視光通信用の光を発光させることで受光側に対し、前記複数のマーカー各々の自身の位置を特定させる発光制御手段、Light emission control means for identifying the position of each of the plurality of markers to the light receiving side by emitting visible light communication light that can be distinguished from the other for the plurality of markers,
前記複数のマーカーの全ての発光態様に基づいて取得可能となる立体的な形状を有する情報の、出力位置と出力方向とを特定させるため、前記複数のマーカーの発光規則性を設定して発光させるよう制御するマーカー制御手段、In order to specify the output position and output direction of information having a three-dimensional shape that can be acquired based on all the light emission modes of the plurality of markers, the light emission regularity of the plurality of markers is set to emit light. Marker control means to control,
として機能させることを特徴とするプログラム。A program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013058823A JP5928382B2 (en) | 2013-03-21 | 2013-03-21 | Imaging device, visible light communication control system, output control method, visible light communication control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013058823A JP5928382B2 (en) | 2013-03-21 | 2013-03-21 | Imaging device, visible light communication control system, output control method, visible light communication control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014183567A JP2014183567A (en) | 2014-09-29 |
| JP5928382B2 true JP5928382B2 (en) | 2016-06-01 |
Family
ID=51701845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013058823A Active JP5928382B2 (en) | 2013-03-21 | 2013-03-21 | Imaging device, visible light communication control system, output control method, visible light communication control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5928382B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6540271B2 (en) * | 2015-06-24 | 2019-07-10 | カシオ計算機株式会社 | Information decryption apparatus, information decryption method and program |
| JP6693365B2 (en) * | 2016-09-20 | 2020-05-13 | カシオ計算機株式会社 | Notification device, notification method, and program |
| JP6508730B2 (en) * | 2016-12-16 | 2019-05-08 | Ｎｅｃプラットフォームズ株式会社 | Light emission marker device, marker detection device, transmission system, marker light emission method, marker detection method, and program |
| CN107979418A (en) * | 2017-11-22 | 2018-05-01 | 吴东辉 | Determine that its client corresponds to the AR method and systems of id based on mobile phone flashlight |
| JP7070530B2 (en) | 2019-11-01 | 2022-05-18 | カシオ計算機株式会社 | Information acquisition device, information acquisition method and program |
| JP2021152492A (en) * | 2020-03-24 | 2021-09-30 | 東芝Ｉｔコントロールシステム株式会社 | Position provision system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5282899B2 (en) * | 2009-03-19 | 2013-09-04 | カシオ計算機株式会社 | Information restoration apparatus and information restoration method |
| JP5423137B2 (en) * | 2009-05-14 | 2014-02-19 | カシオ計算機株式会社 | Information recording system, imaging device, light emitting device, and program |
| JP5099180B2 (en) * | 2010-06-23 | 2012-12-12 | カシオ計算機株式会社 | Information decoding apparatus, information decoding method, and program |
| JP5682060B2 (en) * | 2010-12-20 | 2015-03-11 | 国際航業株式会社 | Image composition apparatus, image composition program, and image composition system |
| JP5942900B2 (en) * | 2012-04-13 | 2016-06-29 | カシオ計算機株式会社 | Display device and program |
-
2013
- 2013-03-21 JP JP2013058823A patent/JP5928382B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014183567A (en) | 2014-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5928382B2 (en) | Imaging device, visible light communication control system, output control method, visible light communication control method, and program | |
| US8913885B2 (en) | Information provision system, server, terminal device, information provision method, display control method and recording medium | |
| US20120105584A1 (en) | Camera with sensors having different color patterns | |
| JP2018511192A (en) | System and method for providing optically encoded information | |
| US20140199082A1 (en) | Information provision system, server system, terminal device, information provision method, and recording medium | |
| US10218439B2 (en) | Optical communication device, optical communication method, and non-transitory recording medium | |
| US20180338084A1 (en) | System comprising a video camera and a client device and a method performed by the same | |
| US20160050367A1 (en) | Information processing device, imaging device, information processing method, and program | |
| US9705596B2 (en) | Optical communication apparatus, wavelength band estimating apparatus, optical communication method and storage medium | |
| US20120188409A1 (en) | Camera with multiple color sensors | |
| US20150244998A1 (en) | Image projection system and image projection apparatus | |
| JP2011097167A (en) | Device detection method | |
| CN109936712A (en) | Localization method and system based on optical label | |
| JP5713061B2 (en) | Information transmitting apparatus, information transmitting method, and program | |
| JP6546439B2 (en) | Transmission apparatus, mixed reality system, transmission control method, and program | |
| JP5903821B2 (en) | Information transmission effect output system and information transmission effect output method | |
| JP5366026B2 (en) | Information transmission system, information transmission device, information reception device, information transmission method, information transmission method, information reception method, and program | |
| US20180109723A1 (en) | Information processing device, information processing method, and program | |
| JP6540271B2 (en) | Information decryption apparatus, information decryption method and program | |
| CN109756667B (en) | Position acquisition system, position acquisition device, position acquisition method, and recording medium | |
| JP6693365B2 (en) | Notification device, notification method, and program | |
| JP6390257B2 (en) | Information processing system, display device, display control method, and program | |
| JP6370733B2 (en) | Information transmission device and information acquisition device | |
| JP5921496B2 (en) | Terminal device, display control method, and program | |
| JP2016192014A (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160411 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5928382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |