JP7242332B2 - 同期制御装置、同期制御方法、及びプログラム - Google Patents

Description

本発明は、撮像又は表示を行う装置間を同期させる際の同期制御技術に関する。

現実空間と仮想空間をリアルタイム且つシームレスに融合させる技術として、複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を用いたＭＲシステムでは、ＨＭＤ内蔵の撮像ユニットにより取得された現実空間画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を重畳した合成画像をＨＭＤ装着者が観察する。これら現実空間画像とＣＧ画像は左右の眼に対応したそれぞれ独立した画像となされている。したがって、ＨＭＤ装着者は、ステレオ動画像による立体的なＭＲ空間を観察することができる。

ＭＲシステムに代表される、高精細かつ高精度な動画像を扱うシステムでは、撮像デバイスや表示デバイスに加えて、姿勢情報を扱うデバイスも用いられる。このため、それらデバイスは、できる限り同期した状態で動作することが望ましい。
なお、特許文献１には、複数の撮像デバイス間において露光期間が異なる場合の同期方法が開示されている。また、特許文献２には、撮像条件の異なる撮像デバイス間の露光タイミングの制御方法が開示されている。

特開２００６－５６０８号公報 特開２０１７－１６９１１１号公報

ＭＲシステムでは、撮像デバイスだけでなく、表示デバイス及び姿勢情報を扱うデバイスをも、高い精度で同期させる必要があるが、前述した特許文献１及び２には撮像デバイス間を同期させる手法のみしか開示されていない。このため、ＭＲシステムに特許文献１と２の手法を適用しても、ＣＧ重畳の際の同期精度は十分ではなく、また長秒周期のスタッタリングが発生する虞がある。

そこで、本発明は、高い精度の同期を実現可能にすることを目的とする。

本発明の同期制御装置は、撮像素子を備えた装置の三次元空間内における位置と姿勢の少なくともいずれかを、検知する検知手段と、制御手段と、を有し、前記制御手段は、前記撮像素子における撮像タイミングの位相が、前記検知手段における検知タイミングの位相に同期し、かつ、前記撮像タイミングの周期が前記検知タイミングの周期と等しいかまたは整数倍となるよう制御することを特徴とする。

本発明によれば、高い精度の同期が実現可能となる。

撮像表示システムの概略構成を示すブロック図並びに模式図である。 撮像表示装置の制御部の同期制御に係る構成例を示す図である。 撮像表示システムの同期制御の説明に用いるタイムチャートである。 撮像表示システムの別例の同期制御の説明に用いるタイムチャートである。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
本実施形態では、例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型表示装置）のように、撮像デバイスと表示デバイス、さらには姿勢情報を扱うデバイスをも有するシステムを例に挙げて説明する。

図１（ａ）は、本実施形態の同期制御装置が適用される一例としての撮像表示システム１の構成例を示したシステムブロック図である。本実施形態の撮像表示システム１は、撮像表示装置１０と画像処理装置３０とを有し、それらが例えばケーブル２０により接続されて構成されている。図１（ｂ）は、撮像表示システム１の外観を示した模式図であり、撮像表示装置１０を利用者が装着している状態の一例を示している。

撮像表示装置１０は頭部装着型の表示装置であり、以下の説明ではＨＭＤ１０と表記する。
画像処理装置３０は、現実空間と仮想空間とが融合した複合現実（ＭＲ）空間の画像（以下、合成画像とする。）を生成してＨＭＤ１０に提供するＰＣＷＳ（ＰＣ ＷｏｒｋＳｔａｔｉｏｎ）である。なお、図１（ａ）と図１（ｂ）の場合、ＨＭＤ１０と画像処理装置３０との間の通信経路は、ケーブル２０による有線接続となされているが、無線接続であってもよい。また以下の説明では、ＨＭＤ１０を装着した利用者をＨＭＤ装着者と呼ぶことにする。

ＨＭＤ１０は、撮像素子１３０ａ、１３０ｂ、１４０ａ、及び１４０ｂと、表示素子１１０ａ及び１１０ｂと、位置姿勢センサ１２０と、制御部１００とを、構成要素として有している。
撮像素子１３０ａ、１３０ｂ、１４０ａ、及び１４０ｂは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｄｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのイメージセンサである。これら撮像素子１３０ａ、１３０ｂ、１４０ａ、及び１４０ｂの撮像面には、不図示の光学系を介して、現実空間の光学像が結像される。また撮像素子１３０ａ、１３０ｂ、１４０ａ、及び１４０ｂにおける露光時間、センサゲイン、及び露光開始タイミング等は、制御部１００からの制御信号に基づいて設定される。すなわち撮像素子１３０ａ、１３０ｂ、１４０ａ、及び１４０ｂは、制御部１００により設定された、露光時間、センサゲイン、及び露光開始タイミング等に従った撮像を行い、現実空間の撮像画像を取得する。そしてそれら撮像画像の情報は制御部１００に送られる。またこのときの制御部１００は、撮像画像の情報に、露光期間の撮像タイミングに関する時間情報であるタイムスタンプ情報を含ませる。

ここで、撮像素子１３０ａ及び１３０ｂは合成画像のベースとなる背景用画像を撮像し、撮像素子１４０ａ及び１４０ｂは後述するＣＧ画像を生成する際に利用される位置検出用画像を撮像する。ただし、背景用画像と位置検出用画像とでは、それぞれ必要とされる画角や解像度、画像処理などが異なる。このため本実施形態では、撮像素子１３０ａ及び１３０ｂが背景用画像を取得し、撮像素子１４０ａ及び１４０ｂが位置検出用画像を取得する構成となされており、背景用画像と位置検出用画像とが別々の撮像素子で取得される構成となっている。なお他の例として、背景用画像と位置検出用画像は、同じ撮像素子の撮像画像から切り出されてもよい。

また本実施形態の撮像表示システム１では、右目用画像と左目用画像とを用いた立体画像を扱う。このため、撮像素子１３０ａと１３０ｂは右目用と左目用の対の構成となっており、撮像素子１３０ａが左目用の背景画像を取得し、撮像素子１３０ｂが右目用の背景用画像を取得する。同様に、撮像素子１４０ａと１４０ｂは右目用と左目用の対の構成となっており、撮像素子１４０ａが左目用の位置検出用画像を取得し、撮像素子１４０ｂが右目用の位置検出用画像を取得する。なお、立体画像の撮像に関する技術については公知であるため、その詳細な説明は省略する。

表示素子１１０ａ及び１１０ｂは、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）又はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである。これら表示素子１１０ａ及び１１０ｂには、後述するように画像処理装置３０で生成された合成画像が表示される。表示素子１１０ａ及び１１０ｂに表示された合成画像は、不図示の光学系を介して、ＨＭＤ装着者に対して提示される。また、本実施形態の撮像表示システム１では右目用画像と左目用画像とを用いた立体画像を扱うため、表示素子１１０ａと１１０ｂは右目用と左目用の対の構成となされている。表示素子１１０ａには左目用の合成画像が表示され、表示素子１１０ｂには右目用の合成画像が表示される。なお、立体画像の表示に関する技術については公知であるため、その詳細な説明は省略する。

位置姿勢センサ１２０は、現実空間である三次元空間内におけるＨＭＤ１０の位置及び姿勢を検知するセンサであり、ＨＭＤ１０の三次元空間内における位置及び姿勢の検知情報（以下、位置姿勢情報とする。）を出力する。そして、この位置姿勢センサ１２０により取得された位置姿勢情報は、制御部１００に送られる。このときの制御部１００は、位置姿勢情報に、検知タイミングに関する時間情報であるタイムスタンプ情報を含ませる。なお、三次元空間内におけるＨＭＤ１０の位置及び姿勢の検知技術については公知であるため、その詳細な説明は省略する。

制御部１００は、撮像画像に対する適切な画像処理、及び表示画像に対する適切な画像処理を行うと共に、ＨＭＤ１０内の他の全ての構成要素を制御する。また、制御部１００は、画像処理装置３０との間の協調動作のための制御を行う。制御部１００は、前述のように撮像された背景用画像と位置検出用画像の情報、及び位置姿勢情報を、画像処理装置３０へ送信し、また、画像処理装置３０から送られてくる合成画像の情報を受信する。

画像処理装置３０は、位置検出部３００と、ＣＧ生成部３１０と、合成部３２０とを、構成要素として有している。
位置検出部３００は、ＨＭＤ１０から送られてきた位置検出用画像とＨＭＤ１０の位置姿勢情報とに基づいて、現実空間の画像に対してＣＧ画像を合成する位置、及びＨＭＤ装着者の視線の角度などの、ＣＧ画像生成に必要な情報を検出する。そして、位置検出部３００が検出した情報は、ＣＧ生成部３１０に送られる。なお、位置検出部３００における位置の検出と視線の検出技術については公知であるため、その詳細な説明は省略する。

ＣＧ生成部３１０は、位置検出部３００からの情報に従って、右目用と左目用のＣＧ画像を生成する。ＣＧ画像は、画像処理装置３０内のＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等に格納された不図示のＣＡＤデータを基にレンダリングされて生成される。このＣＧ生成技術は公知であるため、その詳細な説明は省略する。

合成部３２０は、ＨＭＤ１０から送られてきた右目用の背景用画像に、ＣＧ生成部３１０で生成された右目用のＣＧ画像を重畳することで右目用の合成画像を生成する。また合成部３２０は、ＨＭＤ１０から送られてきた左目用の背景用画像に、ＣＧ生成部３１０で生成された左目用のＣＧ画像を重畳することで左目用の合成画像を生成する。そして、画像処理装置３０は、合成部３２０によって生成された右目用の合成画像と左目用の合成画像の情報を、それぞれ表示用画像の情報としてＨＭＤ１０に対して出力する。

ＨＭＤ１０の制御部１００は、左目用の合成画像である表示用画像を左目用の表示素子１１０ａに表示させ、右目用の合成画像である表示用画像を右目用の表示素子１１０ｂに表示させる。これにより、ＨＭＤ装着者は、現実空間と仮想空間とが融合された、ステレオ画像の動画像による立体的なＭＲ空間を観察することができる。

図２は、図１のＨＭＤ１０内の各構成要素を制御部１００が制御する際のタイミング信号を生成する構成の一例を示したブロック図である。なお、図２に示した制御部１００内の各構成要素は、回路等によるハードウェアにより構成されていてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェアモジュールとして構成されていてもよい。あるいは、図２の一部の構成要素がハードウェアにより構成され、残りの構成要素がソフトウェアモジュールとして構成されていてもよい。図３は、図２内の後述する各信号に基づくタイミングと、図１のＨＭＤ１０内及び画像処理装置３０内の主な構成要素の動作タイミングとの関係を表したタイムチャートである。以下、図２並びに図３を参照しながら、本実施形態の撮像表示システム１におけるシステム内同期について説明する。

画像処理装置３０の合成部３２０は、表示垂直同期信号１１５を出力し、その表示垂直同期信号１１５がＨＭＤ１０の制御部１００に入力される。表示垂直同期信号１１５は、画像フレーム毎のフレーム先頭を示す信号である。なお、例えば画像フレームのフレームレートが６０［Ｈｚ］である場合、フレーム周期Ｔはフレームレートの逆数となる約１６．６７［ｍｓ］である。

また、本実施形態において、表示垂直同期信号１１５は、図２に示すように、制御部１００内のＰＬＬ回路（位相同期回路）１１１に入力される。ＰＬＬ回路１１１は、表示垂直同期信号１１５に位相同期した検知タイミング制御信号１２５を生成する。図２の例では、ＰＬＬ回路１１１の出力が分周器１１２を介してフィードバックされるように構成されており、検知タイミング制御信号１２５の周期はＰＬＬ回路１１１の出力をフィードバックする分周器１１２の分周比によって決まる。本実施形態の場合、分周器１１２の分周比は２となされており、したがって検知タイミング制御信号１２５の周期はＴ／２となる。そして、この検知タイミング制御信号１２５は、位置姿勢センサ１２０へ送られる。このため、位置姿勢センサ１２０は、検知タイミング制御信号１２５が供給された時点で、検知又は更新した位置姿勢情報を出力する。この位置姿勢情報は、制御部１００に送られる。

また本実施形態において、表示垂直同期信号１１５は、図２に示すように、遅延器１３２及び１４２にも入力される。遅延器１３２には、表示垂直同期信号１１５に対する遅延量Ｄ１が設定されており、遅延器１４２には、表示垂直同期信号１１５に対する遅延量Ｄ２が設定されている。なお、これら遅延量Ｄ１及びＤ２は、制御部１００において後述するような演算により求められている。

遅延器１３２は、遅延量Ｄ１に基づいて、前述した背景用画像を撮像する撮像素子１３０ａ及び１３０ｂを制御するための撮像垂直同期信号１３５を生成する。また遅延器１４２は、遅延量Ｄ２に基づいて、前述した位置検出用画像を撮像する撮像素子１４０ａ及び１４０ｂを制御するための撮像垂直同期信号１４５を生成する。撮像垂直同期信号１３５は撮像素子１３０ａ及び１３０ｂに出力され、撮像垂直同期信号１４５は撮像素子１４０ａ及び１４０ｂに出力される。

これにより、撮像素子１３０ａ及び１３０ｂは、撮像垂直同期信号１３５に応じた撮像タイミングに基づいて、露光時間１３６で表される長さの露光期間だけ露光を行い、背景用画像を撮像する。同様に、撮像素子１４０ａ及び１４０ｂは、撮像垂直同期信号１４５に応じた撮像タイミングに基づいて、露光時間１４６で表される長さの露光期間だけ露光を行い、位置検出用画像を撮像する。

ここで、制御部１００は、背景用画像が撮像される際の環境に応じたシャッター速度Ｓ１つまり露光時間１３６と、前述した表示垂直同期信号１１５のフレーム周期Ｔとを用い、下記の式（１）により遅延量Ｄ１を演算する。同様に、制御部１００は、位置検出用画像が撮像される際の環境に応じたシャッター速度Ｓ２つまり露光時間１４６と、前述した表示垂直同期信号１１５のフレーム周期Ｔとを用い、下記の式（１）により遅延量Ｄ２を演算する。なお、式（１）中の遅延量Ｄは遅延量Ｄ１又はＤ２であり、式（１）中のシャッター速度Ｓはシャッター速度Ｓ１又はＳ２である。

遅延量Ｄ＝（フレーム周期Ｔ－シャッター速度Ｓ）／２［秒］ 式（１）

例えば前述したようにフレームレートが６０［Ｈｚ］でフレーム周期Ｔが１／６０［秒］となっており、例えばシャッター速度Ｓが１／９０［秒］であるとすると、遅延量Ｄは、（１／６０－１／９０）／２＝約２．７８［ｍｓ］となる。この式（１）によれば、例えば撮像タイミングの位相をみるポイントが露光期間の中心の特定ポイントであり、その露光期間の中心が表示垂直同期信号１１５の逆相、すなわち検知タイミング制御信号１２５と撮像タイミングの位相とが同位相となる。これにより、現実空間の時間積分である撮像画像と、位置姿勢情報とは、厳密に同期することになる。また、撮像タイミングの周期は、検知タイミングの周期と等しいか又は分周した周期になる。なお、撮像タイミングの位相をみる特定のポイントは、例えば露光期間の中心の他に、露光期間の重心、又はそれら中心や重心に準ずる他のポイントであってもよい。

また本実施形態において、表示垂直同期信号１１５は、ＨＭＤ１０の表示素子１１０ａ及び１１０ｂの表示タイミングを決める信号として用いられている。そして前述したように、位置姿勢センサ１２０は、表示垂直同期信号１１５を基に生成された検知タイミング制御信号１２５に応じて、検知又は更新した位置姿勢情報を出力する。これらのことから、検知タイミングの位相は、表示素子１１０ａ及び１１０ｂの表示タイミングの位相に同期し、且つ、検知タイミングの周期は、表示タイミングの周期と等しいか又は逓倍した周期となる。なお、表示タイミングの位相をみるポイントは、画像フレームの表示期間の中心や重心などの特定ポイントが用いられてもよい。

前述したように、本実施形態によれば、撮像タイミングの位相は位置姿勢情報が出力される検知タイミングの位相に同期し、且つ、撮像タイミングの周期は検知タイミングの周期と等しいか又は分周した周期になっている。また本実施形態によれば、位置姿勢情報が出力される検知タイミングの位相は表示タイミングの位相に同期し、且つ、検知タイミングの周期は表示タイミングの周期と等しいか又は分周した周期になっている。これらのことから、本実施形態によれば、撮像タイミングの位相は、表示タイミングの位相又はその反転位相と同期し、且つ、撮像タイミングの周期は表示タイミングの周期と等しいか又は分周した周期になる。したがって、本実施形態によれば、ＨＭＤ１０における表示画像と撮像画像の更新周期、並びに表示画像と位置姿勢情報とは、それぞれ同期している。

なお、撮像素子の種類などに応じて設定されるシャッター速度（つまり露光期間）が変更された場合、制御部１００は、遅延量Ｄ１及びＤ２を、それらの異なるシャッター速度に応じた最適な値に設定する。また例えば、自動露出（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）動作中である場合、制御部１００は、シャッター速度が更新されるのに従って遅延量Ｄ１及びＤ２を更新する。すなわち、制御部１００は、撮像中などにシャッター速度が変更された場合にも、撮像タイミングと検知タイミングまたは表示タイミングの位相および周期の相対関係が維持されるように、撮像タイミングを制御する。

以上説明したように、本実施形態によれば、制御部１００が、表示タイミング、撮像タイミング、及び検知タイミングの三つを同期させるように制御することにより、ＨＭＤ１０における撮像画像と表示画像と位置姿勢情報の三つを厳密に同期させることができる。
なお、本実施形態では、撮像画像と表示画像と位置姿勢情報の三つを同期させたが、本発明はこれらの例に限定されるものではない。本発明は、撮像素子や表示素子、位置姿勢センサの何れかが無い場合にも適用可能であり、またシステム構成及び装置の使用目的に応じて各種パラメータ等の設計が適宜変更されてもよい。例えば、位置姿勢センサが無い場合、制御部１００は、撮像タイミングの位相が、表示タイミングの位相または反転位相に同期し、且つ、撮像タイミングの周期が表示タイミングの周期と等しいかまたは分周となるよう制御する。

＜第２の実施形態＞
第２の実施形態は、異なる種類の撮像素子が混在している場合において、撮像画像と表示画像と位置姿勢情報の三つを同期可能とする例である。なお、第２の実施形態において、全体的なシステムの構成、第１の実施形態で図３を用いて説明した露光時間並びに遅延量の算出式以外の基本的な構成、及び、処理のプロセスは、第１の実施形態と同様であり、それらの詳細な説明については省略する。

図４は、第２の実施形態において、前述した図２内の各信号に基づくタイミングと、図１のＨＭＤ１０内及び画像処理装置３０内の主な構成要素の動作タイミングとの関係を表したタイムチャートである。以下、前述した図２と、図４を参照しながら、第２の実施形態の撮像表示システム１におけるシステム内同期について説明する。

例えば、前述の第１の実施形態では、撮像素子１３０ａ及び１３０ｂ並びに撮像素子１４０ａ及び１４０ｂがグローバルシャッター方式の撮像素子であったとする。一方、第２の実施形態では、背景用画像を撮像する撮像素子１３０ａ及び１３０ｂがローリングシャッター方式の撮像素子であり、位置検出用画像を撮像する撮像素子１４０ａ及び１４０ｂがグローバルシャッター方式の撮像素子であるとする。なお、グローバルシャッター方式の撮像素子についての撮像タイミング等は前述の第１の実施形態と同様であるため説明は省略する。

ローリングシャッター方式の撮像素子では、撮像画像の略中心に位置するラインにおける露光期間の中心が、撮像画像全体の露光期間の中心であると考えられる。このため、第２の実施形態において、制御部１００は、撮像画像の略中心に位置するラインにおける露光期間の中心を特定ポイントとした撮像タイミングに対する遅延量Ｄを算出して遅延器１３２に設定する。図４に示すように、ローリングシャッター方式の撮像素子のライン数をＮ（Ｎ：偶数）とし、ライン間の露光開始ずれ時間をｄとすると、遅延量Ｄは下記の式（２）により算出される。なお式（２）中の遅延量Ｄは遅延量Ｄ１であり、式（２）中のシャッター速度Ｓはシャッター速度Ｓ１である。

遅延量Ｄ＝（フレーム周期Ｔ－シャッター速度Ｓ）／２－ｄ×（Ｎ－１）／２［秒］
式（２）

第２の実施形態によれば、グローバルシャッター方式の撮像素子とローリングシャッター方式の撮像素子が混在した系においても、撮像画像と表示画像と位置姿勢情報の三つを同期させることができる。もちろん、本発明は第２の実施形態の構成に限定されるものではない。例えば、全ての撮像素子がローリングシャッター方式の場合や、撮像素子のライン数が奇数の場合にも本発明は適用可能であり、遅延量の計算式についても式（２）に限定されず、適宜他の演算式に設計変更されてもよい。また例えば、注目すべき被写体が画像中心にない場合は、被写体中心が露光期間の中心となるよう撮像垂直同期信号１３５及び撮像垂直同期信号１４５を生成してもよい。

以上説明したように、第１及び第２の実施形態の撮像表示システム１は、撮像画像と表示画像と位置姿勢情報の三つを同期制御することにより、背景画像へのＣＧ重畳精度を向上させることができる。また第１及び第２の実施形態の撮像表示システム１は、長秒周期のスタッタリングを原理的に抑止させることができるため、ＨＭＤ装着者に対してより高精度で快適なＭＲ画像を提示することができる。

＜その他の実施形態＞
本発明は、前述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１：撮像表示システム、１０：撮像表示装置（ＨＭＤ）、３０：画像処理装置、１００：制御部、１１０ａ，１１０ｂ：表示素子、１２０：位置姿勢センサ、１３０ａ，１３０ｂ，１４０ａ，１４０ｂ：撮像素子

Claims (15)

1. 撮像素子を備えた装置の三次元空間内における位置と姿勢の少なくともいずれかを、検知する検知手段と、
   制御手段と、を有し、
   前記制御手段は、前記撮像素子における撮像タイミングの位相が、前記検知手段における検知タイミングの位相に同期し、かつ、前記撮像タイミングの周期が前記検知タイミングの周期と等しいかまたは整数倍となるよう制御することを特徴とする同期制御装置。
2. 撮像素子および表示素子を備えた装置の三次元空間内における位置と姿勢の少なくともいずれかを、検知する検知手段と、
   制御手段と、を有し、
   前記制御手段は、
   前記検知手段における検知タイミングの位相が、前記表示素子における表示タイミングの位相に同期し、
   前記撮像素子における撮像タイミングの位相が、前記検知手段における検知タイミングの位相に同期し、
   かつ、前記検知タイミングの周期が前記表示タイミングの周期と等しいかまたは整数分の一となるように制御すると共に、
   前記撮像タイミングの周期が前記検知タイミングの周期と等しいかまたは整数倍となるよう制御することを特徴とする同期制御装置。
3. 前記制御手段は、前記撮像素子における露光期間の特定ポイントに応じた前記撮像タイミングの位相が、前記検知手段における検知情報の出力または更新のタイミングである検知タイミングの位相に同期するように制御することを特徴とする請求項１または２に記載の同期制御装置。
4. 前記制御手段は、前記検知手段における検知情報の出力または更新のタイミングである検知タイミングの位相が、前記表示素子における表示期間の特定ポイントに応じた前記表示タイミングの位相に同期するように制御することを特徴とする請求項２に記載の同期制御装置。
5. 前記制御手段は、前記撮像素子における露光期間の特定ポイントに応じた前記撮像タイミングの位相が、前記表示素子における表示期間の特定ポイントに応じた前記表示タイミングの位相に同期するように制御することを特徴とする請求項２に記載の同期制御装置。
6. 前記露光期間の前記特定ポイントは、前記露光期間の中心と重心のいずれかのポイントであることを特徴とする請求項３または５に記載の同期制御装置。
7. 前記表示期間の前記特定ポイントは、前記表示期間の中心と重心のいずれかのポイントであることを特徴とする請求項４または５に記載の同期制御装置。
8. 前記制御手段は、撮像中に前記撮像素子における露光期間が変更された場合にも、前記撮像タイミングとの位相および周期の相対関係が維持されるように、前記撮像タイミングを制御することを特徴とする請求項１または２に記載の同期制御装置。
9. 前記制御手段は、前記撮像素子による撮像画像に前記撮像タイミングに関する時間情報を含ませることを特徴とする請求項１または２に記載の同期制御装置。
10. 前記制御手段は、前記検知手段による検知情報に前記検知タイミングに関する時間情報を含ませることを特徴とする請求項１または２に記載の同期制御装置。
11. 前記撮像素子は少なくとも二つあり、前記少なくとも二つの撮像素子にて撮像された画像によりステレオ画像が構成されることを特徴とする請求項１または２に記載の同期制御装置。
12. 前記表示素子は二つあり、前記二つの表示素子によりステレオ画像が表示されることを特徴とする請求項２に記載の同期制御装置。
13. 撮像素子を備えた装置の三次元空間内における位置と姿勢の少なくともいずれかを、検知する検知工程と、
    制御工程と、を有し、
    前記制御工程では、前記撮像素子における撮像タイミングの位相が、前記検知工程における検知タイミングの位相に同期し、かつ、前記撮像タイミングの周期が前記検知タイミングの周期と等しいかまたは整数倍となるよう制御することを特徴とする同期制御方法。
14. 撮像素子および表示素子を備えた装置の三次元空間内における位置と姿勢の少なくともいずれかを、検知する検知工程と、
    制御工程と、を有し、
    前記制御工程では、
    前記検知工程における検知タイミングの位相が、前記表示素子における表示タイミングの位相に同期し、
    前記撮像素子における撮像タイミングの位相が、前記検知工程における検知タイミングの位相に同期し、
    かつ、前記検知タイミングの周期が前記表示タイミングの周期と等しいかまたは整数分の一となるように制御すると共に、
    前記撮像タイミングの周期が前記検知タイミングの周期と等しいかまたは整数倍となるよう制御することを特徴とする同期制御方法。
15. コンピュータを、請求項１から１２のいずれか１項に記載の同期制御装置の各手段として機能させるためのプログラム。

Images