JP5598033B2

JP5598033B2 - 情報処理装置、情報処理方法、およびプログラム

Info

Publication number: JP5598033B2
Application number: JP2010057856A
Authority: JP
Inventors: 俊一笠原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-03-15
Filing date: 2010-03-15
Publication date: 2014-10-01
Anticipated expiration: 2030-03-15
Also published as: EP2367351A3; US20110221893A1; EP2367351A2; JP2011193243A; US10075644B2; CN102196165A

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

近年、プロジェクタを有するカメラが提供されるようになってきている。このようなカメラにおいては、撮像に用いる光学系の軸と照射に用いる光学系の軸とのずれ量から、カメラのズーム率を変更することにより、カメラの撮像範囲とプロジェクタ照射範囲とのずれを補正することができる（例えば、特許文献１）。

特開２００８−１２９１２０号公報

しかし、特許文献１に記載の撮像装置は、撮像部と照射部とのずれ量が一定である装置を前提としたものであり、例えば照射部の向きが可動式である撮像装置や、撮像部と照射部とが別体の装置である場合には適用できないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像部と照射部との位置関係が一定でない場合において撮像範囲と照射範囲の差異を補正するための補正情報を生成することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、基準とするためのマーカーを含む照射グラフィックが照射された状態の撮像画像を取得する画像取得部と、上記撮像画像内のマーカーと上記照射グラフィック内のマーカーとに基づいて、上記照射グラフィックが照射される照射範囲と上記撮像画像の撮像範囲との差異から上記照射範囲と上記撮像範囲とを一致させるための補正情報を生成する補正情報生成部とを有する、情報処理装置が提供される。

また、上記補正情報に基づいて、上記画像取得部により取得された画像を補正し、上記マーカーグラフィックが照射される範囲を表示範囲とする補正画像を生成する補正部と、上記補正画像を表示装置に表示させる表示制御部とをさらに有してもよい。

また、上記補正情報生成部は、上記照射範囲と上記撮像範囲とが一致している場合の前記マーカーの予測位置及び形状と、検出されたマーカーの位置及び形状との差異から上記補正情報を生成してもよい。

また、操作者の操作情報を取得する操作情報取得部と、上記操作情報に基づいて生成された上記照射グラフィックの照射を制御する照射制御部と、をさらに有し、上記画像取得部は、上記照射グラフィック内の、操作情報に基づいて生成されたマーカーに基づいて補正情報を生成してもよい。

また、上記補正情報生成部は、上記照射グラフィックを照射する前後の撮像画像の差分から上記マーカーを検出してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、基準とするためのマーカーを含む照射グラフィックが照射された状態の撮像画像を取得する画像取得ステップと、上記撮像画像内のマーカーと上記照射グラフィック内のマーカーとに基づいて、上記照射グラフィックが照射される照射範囲と上記撮像画像の撮像範囲との差異から上記照射範囲と上記撮像範囲とを一致させるための補正情報を生成する補正情報生成ステップとを含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、基準とするためのマーカーを含む照射グラフィックが照射された状態の撮像画像を取得する画像取得部と、上記撮像画像内のマーカーと上記照射グラフィック内のマーカーとに基づいて、上記照射グラフィックが照射される照射範囲と上記撮像画像の撮像範囲との差異から上記照射範囲と上記撮像範囲とを一致させるための補正情報を生成する補正情報生成部とを有する、情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、撮像部と照射部との位置関係が一定でない場合において撮像範囲と照射範囲の差異を補正するための補正情報を生成することが可能となる。

本発明の第１及び第２の実施形態に係る情報処理装置の外観を示す模式図である。同実施形態に係る情報処理装置のハードウェア構成図である。同実施形態に係る情報処理装置の機能の概要を示す説明図である。同実施形態に係る情報処理装置により実現できるユーザ体験の一例である。本発明の第１の実施形態に係る情報処理装置の機能ブロック図である。同実施形態に係る情報処理装置の機能を説明するための説明図である。同実施形態に係る情報処理装置の機能を説明するための説明図である。同実施形態に係る情報処理装置の機能を説明するための説明図である。撮像によるマーカ画像の一例を示す説明図である。回転及び歪みがない場合の補正の一例の説明図である。回転がある場合の補正の一例の説明図である。回転及び歪みがある場合の補正の一例の説明図である。同実施形態に係る情報処理方法を示すフローチャートである。補正処理の詳細を示すフローチャートである。本発明の第２の実施形態に係る情報処理装置の機能ブロック図である。同実施形態に係る情報処理装置の動作を説明するための説明図である。同実施形態に係る情報処理装置の動作を説明するための説明図である。同実施形態に係る情報処理装置の動作を説明するための説明図である。撮像によるマーカー画像と照射したマーカー画像の一例を示す説明図である。補正の一例を示す説明図である。同実施形態に係る情報処理方法を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
２．第１の実施形態
２−１．機能構成
２−２．動作
３．第２の実施形態
３−１．機能構成
３−２．動作

＜１．概要＞
まず、図１を参照して、本発明の第１及び第２の実施形態の概要について説明する。本実施形態にかかる情報処理装置１０は、主に、被写体を撮像する撮像装置（カメラ）と、映像を被写体に照射する照射装置（プロジェクタ）と、カメラにより撮像された撮像画像を表示する表示装置（ディスプレイ）などを備える。図１に示したように、情報処理装置１０の一の面（表面）には、ディスプレイ１１が備えられている。また、情報処理装置１０の他の面（裏面）には、カメラ用レンズ１２とプロジェクタ用レンズ１３が備えられている。以下では、カメラ用レンズ１２を含むカメラを撮像装置１２またはカメラ１２と称し、プロジェクタ用レンズ１３を含むプロジェクタを照射装置１３またはプロジェクタ１３と称する。

情報処理装置１０では、カメラ１２とプロジェクタ１３が情報処理装置１０の筐体の固定の位置に備えられている。カメラ１２で撮像された被写体の画像は、ディスプレイ１１に表示される。また、プロジェクタ１３から被写体に投影イメージが照射される。そして、投影イメージが照射された被写体がディスプレイ１１に表示される。

次に、図２を参照して、情報処理装置１０のハードウェア構成について説明する。図２は、情報処理装置１０のハードウェア構成を示すブロック図である。図２に示したように、情報処理装置１０は、表示装置（ディスプレイ）１１と、撮像装置（カメラ）１２と、照射装置（プロジェクタ）１３と、ＣＰＵ１４と、入力装置１５と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１６と、不揮発性メモリ１７などを備える。

ＣＰＵ１４は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１４は、マイクロプロセッサであってもよい。ＲＡＭ１６は、ＣＰＵ１４の実行において使用するプログラムや、その実行において適宜変換するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ１７は、ＣＰＵ１４が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ１７は、例えばＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やフラッシュメモリ等を用いることができる。

表示装置１１は、情報を出力する出力装置の一例である。表示装置１１として、例えば液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置などを用いることができる。

撮像装置１２は、撮像レンズを介して通過した光をＣＣＤで電気信号に変換し、アナログ信号をデジタル変換することにより被写体を撮像する機能を有する。撮像装置１２により撮像された画像は、プレビュー画像として表示装置１１に表示される。

照射装置１３は、照射レンズを介して被写体に光を照射する機能を有する。照射装置１３は、ＣＰＵ１４の制御のもと、投影イメージを被写体に照射する。

入力装置１５は、例えば、タッチパネル、ボタン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１４に出力する入力制御回路などから構成されている。なお、以下の説明中においては、入力装置１５は表示装置１１上に積層されたタッチパネルである場合について主に説明するため、タッチパネル１５と称する。

次に図３を用いて、本実施形態に係る情報処理装置１０の機能の概要を説明する。図３は、本発明の第１および第２の実施形態に係る情報処理装置の機能の概要を説明するための説明図である。

図３に示すように、撮像装置１２の光学軸と照射装置１３の光学軸が異なる場合などは、撮像装置１２の撮影範囲５１と照射装置１３の照射範囲５２とを一致させるためには、撮影範囲５１と照射範囲５２とのずれ量を把握して補正することが必要である。なお、表示装置１１に表示される範囲であるプレビュー範囲は、撮像装置１２による撮像画像をそのまま表示する場合には撮像範囲５１と同じであるが、撮像画像に対してソフトウェア処理による補正を施した場合には異なる場合もあるため、適宜区別して用いる。以下、第１の実施形態および第２の実施形態においては、撮像範囲５１と照射範囲５２とのずれ量からプレビュー範囲５３を照射範囲５２に同期させる例について説明していく。

図３において説明したように、プレビュー範囲５３と照射範囲５２とが同期されている場合には、図４に示すように、操作者がタッチパネル１５上で指定した位置に対応する実体の位置にグラフィックを照射させることができる。

なお、本発明の第２の実施形態においては、情報処理装置２０と称し、ＣＰＵ２４と称する。上記概要の説明において、情報処理装置２０は情報処理装置１０と同様であるため説明は省略され、情報処理装置１０との差異部分である詳細については後述される。

＜２．第１の実施形態＞
（２−１．機能構成）
次に、図５を参照しながら本発明の第１の実施形態に係る情報処理装置１０の機能構成について説明する。図５は、本発明の第１の実施形態に係る情報処理装置１０の機能ブロック図である。情報処理装置１０のＣＰＵ１４は、照射グラフィック取得部１４１、照射制御部１４２、画像取得部１４３、補正情報生成部１４４、補正部１４５、および表示制御部１４６の機能を主に有する。

照射グラフィック取得部１４１は、照射位置の基準を示すマーカーを含む照射グラフィックを取得する。本実施形態においては、図６に示されるように四隅に正方形のマーカー５００を含む照射グラフィック２０２が用いられる。予め照射グラフィック２０２が例えば不揮発性メモリ１７などの記憶部に記憶されている場合には、照射グラフィック生成部１４１は、記憶部から照射グラフィック２０２を取得して照射制御部１４２に入力する。

なお、本明細書及び図面において、実質的に同一の役割を有する複数の要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の役割を有する複数の要素を、必要に応じてマーカー５００ａ、およびマーカー５００ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、マーカー５００ａ、およびマーカー５００ｂなどを特に区別する必要が無い場合には、単にマーカー５００と称する。

照射制御部１４２は、照射装置１３によるグラフィックの照射を制御する。照射制御部１４２は、照射グラフィック生成部１４１により生成された照射グラフィックの照射を制御する。

画像取得部１４３は、撮像装置１２を制御することにより、撮像画像を取得する。画像取得部１４１は、まず、図７に示されるように、マーカー５００を含む照射グラフィックが照射される前の状態の撮像画像３００を取得する。次に、図６に示す照射グラフィック２０２が照射されると、画像取得部１４３は、照射グラフィック２０２が照射された状態の撮像画像３０２（図８参照）を取得する。

なお、本実施形態において、照射グラフィック内のマーカーをマーカー５００、マーカー５００が実体に照射されたものを照射マーカー５１０、そして、照射マーカー５１０を撮像して得られた撮像画像中のマーカーを撮像マーカー５２０という。

補正情報生成部１４４は、照射グラフィック２０２が照射される前の撮像画像３００と照射グラフィック２０２が照射された状態の撮像画像３０２との差分処理および矩形検出処理を行うことによって差分画像４０２を取得する。そして、差分画像４０２に含まれる撮像マーカー５２０と、照射グラフィック２０２内のマーカー５００との差異情報から、プレビュー範囲が照射範囲と重なるように撮像画像を補正するための補正情報を生成する。そして、補正情報生成部１４４は、生成した補正情報を補正部１４５に入力する。

補正部１４５は、補正情報生成部１４４により生成される補正情報に基づいて、プレビュー範囲と照射範囲とが同期されるように撮像画像を補正する。ここで、補正は、光学ズーム率の変更およびソフトウェアによる画像処理を用いて行われる。補正方法の具体例について、次に図１０〜図１２を用いて説明する。

図１０は、差分画像４０４内の撮像マーカー５２０の位置および形状等から回転および歪みがないことが検出される場合についての説明図である。この場合、補正部１４５は、光学ズーム率またはデジタルズーム率を変更することによって、撮像画像３０４−１内のマーカー５１０がプレビュー範囲の四隅にくるように補正された撮像画像３０４−２を生成して表示制御部１４６に入力する。

また、図１１は、差分画像４０６内の撮像マーカー５２０の位置及び形状等から、歪みはないものの、回転があることが検出される場合についての説明図である。この場合、補正部１４５は、ソフトウェアによる画像処理を行い、撮像画像３０６−１内の撮像マーカー５２０がプレビュー範囲の四隅にくるように回転および拡大補正された撮像画像３０６−２を生成して表示制御部１４６に入力する。このときの拡大処理は、光学ズーム率を変更することにより行われても、ソフトウェア処理によりデジタルズーム率を変更することにより行われてもよい。

また、図１２は、差分画像４０８内の撮像マーカー５２０の位置及び形状等から、回転及び歪みがあることが検出される場合についての説明図である。この場合、補正部１４５は、回転及び歪みをソフトウェア処理により補正し、光学ズーム率またはデジタルズーム率を変更する。かかる処理により、補正部１４５は、撮像画像３０８−１内の撮像マーカー５２０がプレビュー範囲の四隅にくるように補正された撮像画像３０８−２を生成して表示制御部１４６に入力する。

以上のように、補正部１４５は、補正情報に基づいてプレビュー範囲と照射範囲とが同期されたプレビュー画像を生成することができる。

表示制御部１４６は、表示装置１１の画面表示を制御する。表示制御部１４６は、補正部１４５により撮像画像を補正して生成されたプレビュー画像を表示装置１１に表示させる。

（２−２．動作）
以上、情報処理装置１０の機能と共にその動作について説明してきたが、ここで情報処理装置１０の動作をまとめた図１３のフローチャートについて説明する。図１３は、本発明の第１の実施形態に係る情報処理装置１０の動作を示すフローチャートである。

まず、ＣＰＵ１４は、照射装置１３が起動しているか否かを判断する（Ｓ１０２）。図１３に示す同期動作は、照射装置１３が起動していない場合には関係のない動作である。このため、ステップＳ１０２において照射装置１３が起動していないと判断された場合には、処理を終了する。

一方、ステップＳ１０２において照射装置１３が起動していることが確認されると、画像取得部１４３は、マーカーを照射する前の撮像画像を記憶部に格納する（Ｓ１０４）。そして、照射グラフィック取得部１４１が、マーカーを含む照射グラフィックを記憶部から取得すると、照射制御部１４２は、マーカーを含む照射グラフィックの照射を制御する（Ｓ１０６）。

画像取得部１４３は、マーカーを含む照射グラフィックが照射されると、再び撮像画像を記憶部に格納し、補正情報生成部１４４は撮像画像の解析を行う。ここで行われる解析処理は、上述の通り、マーカー照射前後の画像の差分処理および矩形処理が含まれる。補正情報生成部１４４における解析の結果、撮像画像から撮像マーカー５２０が検出されたか否かが判断される（Ｓ１１０）。ここで撮像マーカー５２０が検出されなかった場合には、表示制御部１４６は、操作者に対してマーカーが認識されなかった旨を通知するメッセージを表示装置１１に表示させ（Ｓ１１２）、ステップＳ１０４の処理に戻る。

なお、撮像範囲内に照射範囲が含まれていない場合には、マーカーが撮像範囲内に照射されず、マーカーが認識されない場合がある。図示していないが、この場合には、撮像装置１２のズーム率が確認され、撮像範囲を広げることが可能な場合には、自動的にズーム率を変更してもよい。また、操作者にマーカーが認識されていない旨を通知することにより、操作者がズーム率を変更してもよい。

一方、ステップＳ１１０の判断において撮像マーカー５２０が検出された場合には、次にこの撮像マーカー５２０の情報と照射グラフィック内のマーカー５００の情報とに基づいて、補正情報生成部１４４は、補正情報を生成する。そして、補正情報生成部１４４は、補正が必要か否かを判断する（Ｓ１１６）。ステップＳ１１６の判断において補正が不要であると判断された場合には、処理は終了される。

一方、ステップＳ１１６の判断において、補正が必要であると判断された場合には、補正部１４５において補正処理が実行される（Ｓ１１８）。補正処理の詳細な動作については、次に図１４を用いて詳述する。

そして、ステップＳ１１８の補正処理により照射範囲と同期されたプレビュー範囲のプレビュー画像が生成されると、表示制御部１４６は、生成されたプレビュー画像を表示装置１１に表示させる（Ｓ１２０）。そして、図１３においてはステップＳ１０４の処理に戻り、補正の必要がなくなるまで上記の処理を繰り返すこととしたが、本発明はかかる構成に限られない。例えば、情報処理装置１０は、起動後、一度だけ補正処理を行ってもよい。

ここで、図１３のステップＳ１１８の補正処理の詳細な内容について、図１４を用いて説明する。図１４は、補正処理の動作を示すフローチャートである。

まず、光学ズームを利用するか否かにより補正処理は異なる（Ｓ２０２）。この判断は、例えば、光学ズームが利用可能な装置であるか否かに基づき判断されてもよい。または、撮像画像の解析結果に基づいて光学ズームとデジタルズームのいずれを用いることが適当であるかにより判断されてもよい。

まず、光学ズームを利用する場合には、補正部１４５は、拡大又は縮小処理が必要か否かを判断する（Ｓ２０４）。そして、拡大又は縮小処理が必要である場合には、補正部１４５は、光学ズーム率を変更する（Ｓ２０６）。一方、拡大又は縮小処理が不要である場合には、ステップＳ２０６の処理は省略される。

そして、補正部１４５は、次に、補正部１４５は、撮像マーカー５２０により形成される矩形に歪みがあるか否かを判断する（Ｓ２０８）。そして、歪みがある場合には、補正部１４５は、ソフトウェア処理により歪みを補正する（Ｓ２１０）。一方、歪みがない場合には、ステップＳ２１０の処理は省略される。

そして、補正部１４５は、撮像マーカー５２０により形成される矩形が回転しているか否かを判断する（Ｓ２１２）。ここで回転がある場合には、補正部１４５は、ソフトウェア処理により回転を補正する（Ｓ２１４）。一方、回転がない場合には、ステップＳ２１２の処理は省略される。

また、ステップＳ２０２の判断において光学ズームを利用しないと判断された場合には、まず補正部１４５は、補正部１４５は、撮像マーカー５２０により形成される矩形に歪みがあるか否かを判断する（Ｓ２２０）。そして、歪みがある場合には、補正部１４５は、ソフトウェア処理により歪みを補正する（Ｓ２２２）。一方、歪みがない場合には、ステップＳ２２２の処理は省略される。

そして、補正部１４５は、撮像マーカー５２０により形成される矩形が回転しているか否かを判断する（Ｓ２２４）。ここで回転がある場合には、補正部１４５は、ソフトウェア処理により回転を補正する（Ｓ２２６）。一方、回転がない場合には、ステップＳ２２６の処理は省略される。

そして、次に補正部１４５は、拡大又は縮小処理が必要か否かを判断する（Ｓ２２８）。そして、拡大又は縮小処理が必要である場合には、補正部１４５は、デジタルズーム率を変更してソフトウェア処理により拡大又は縮小補正を実行する（Ｓ２３０）。一方、拡大又は縮小処理が不要である場合には、ステップＳ２３０の処理は省略される。

＜３．第２の実施形態＞
（３−１．機能構成）
次に、図１５を参照しながら本発明の第２の実施形態に係る情報処理装置２０の機能構成について説明する。図１５は、本発明の第２の実施形態に係る情報処理装置２０の機能ブロック図である。情報処理装置２０のＣＰＵ２４は、照射グラフィック取得部２４１、照射制御部１４２、画像取得部１４３、補正情報生成部２４４、補正画像生成部２４５、表示制御部１４６、および操作情報取得部２４７の機能を主に有する。

本実施形態に係る情報処理装置２０は、第１の実施形態に係る情報処理装置１０と比較すると、照射するグラフィックが、操作者の操作情報に従って生成されたグラフィックである点において異なる。以下、第１の実施形態との相違点について主に記述し、同様の構成については説明を省略する。

操作情報取得部２４７は、操作者が入力装置１５を用いて行った操作の情報を取得する。例えば、操作者は、タッチパネル上の操作により、スタンプを押すようにグラフィックを選択入力することができる。また、操作者は、タッチパネルに触れることにより、文字などを描くこともできる。操作情報取得部２４７は、かかる操作に関する情報を取得して照射グラフィック取得部２４１に入力する。

照射グラフィック取得部２４１は、操作情報取得部２４７から入力された操作情報に基づいて、マーカー５５０を含む照射グラフィックを生成する。例えば図１６に示されるように、画像取得部１４３が照射グラフィックを照射する前の状態の撮像画像３５０を取得し、その後、図１７に示されるように、操作者がタッチパネル１５上で操作を行うと、操作情報取得部２４７がかかる操作の情報を取得する。照射グラフィック取得部２４１は、操作情報に基づいたマーカー５５０を含む照射グラフィック２５２（図１９の右図）を生成する。

ここで、照射制御部１４２は、生成された照射グラフィック２５２を照射する。すると、プレビュー範囲と照射範囲とが同期されていない場合には、マーカー５５０を照射した後のグラフィックである照射マーカー５６０は、その大きさ及び照射される位置がプレビュー画面上のマーカー５５０の大きさおよび位置と異なる。そして、図１８に示されるように、画像取得部１４３は、照射マーカー５６０を撮像した撮像画像３５４を取得する。

補正情報生成部２４４は、照射グラフィックを照射した後の状態の撮像画像３５４と照射前の状態の撮像画像３５０との差分処理から差分画像４５２を取得する。そして、差分画像４５２に含まれる撮像マーカー５７０と、照射グラフィック２５２内のマーカー５５０との差異情報から、プレビュー範囲が照射範囲と重なるように撮像画像を補正するための補正情報を生成する。そして、補正情報生成部２４４は、生成した補正情報を補正部２４５に入力する。

補正部２４５は、補正情報生成部２４４により生成される補正情報に基づいて、プレビュー範囲と照射範囲とが同期されるように撮像画像を補正する。ここで、補正は、光学ズーム率の変更およびソフトウェアによる画像処理を用いて行われる。

補正部２４５は、図２０に示されるように、照射グラフィックのマーカー５５０と、照射された照射グラフィックを撮像することにより得られる撮像マーカー５７０との位置、大きさ、および形状等から得られた補正情報に基づいて撮像画像３５４−１を補正し、プレビュー画像３５４−２を生成する。

なお、本実施形態において、マーカー５５０は矩形形状のマーカーを説明のために用いたが、本発明はかかる例に限定されるものではない。例えば、操作者がツールボックス内に準備されたグラフィックを選択してタッチパネル１５上に配置した場合には、選択されたグラフィックがマーカーとして用いられてもよい。或いは、操作者がタッチパネル１５を用いて文字や絵などを描いた場合には、描かれた文字や絵などのグラフィックがマーカーとして用いられてもよい。このような構成とすることにより、操作者は、プレビュー範囲と照射範囲との同期を取るための調整中であることを意識せずに、単にグラフィックを被写体に対して照射するインタラクティブ操作を行うだけで、プレビュー範囲と照射範囲との同期を取ることができるようになる。

（３−２．動作）
次に、図２１を参照しながら情報処理装置２０の動作について説明する。図２１は、本発明の第２の実施形態に係る情報処理装置２０の動作を示すフローチャートである。

なお、以下の説明中において、第１の実施形態と異なるステップＳ３０６およびステップＳ３０８の処理について主に説明し、第１の実施形態と同様であるステップについては説明を省略する。ステップＳ３２０の補正処理は、図１４のステップＳ２０２〜ステップＳ２３０に示される処理を指す。

ステップＳ３０４において、グラフィックが照射される前の撮像画像が格納されると、操作情報取得部２４７が操作者の操作情報を取得する。そして、照射グラフィック取得部２４１は、取得された操作情報に基づいて、マーカーを生成し、照射制御部１４２は、マーカーを含む照射グラフィックの照射を制御する（Ｓ３０８）。

以上説明したように、本発明の第２の実施形態に係る情報処理装置２０は、操作者の操作情報に基づいてマーカーを生成し、生成されたマーカーを含む照射グラフィックを照射する点において第１の実施形態と相違する。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、情報処理装置１０および２０は、撮像装置１２および照射装置１３を内蔵する装置としたが、本発明はかかる例に限定されない。例えば、情報処理装置１０は、別体の撮像装置から撮像画像を取得し、照射するグラフィックを生成した後、別体の照射装置へ照射するグラフィックを出力する装置であってもよい。このとき、別体の照射装置は、卓上に設置されたものであってもよいし、天井などに設置されたものであってもよい。

また、上記実施形態では、情報処理装置１０および２０は、補正情報から撮像画像を補正して、同期されたプレビュー画像を生成することとしたが、本発明はかかる例に限定されない。例えば、プロジェクタ１３の位置、方向、又は画角を変更することができる場合には、プロジェクタ１３の位置、方向、又は画角を変更する駆動機構に補正情報を出力し、プロジェクタ１３側で照射範囲の調整がなされてもよい。

また、上記実施形態では、プレビュー範囲と照射範囲との同期をとるための基準となるマーカーは、可視光によるグラフィックを例に説明したが、本発明はかかる例に限定されない。例えば、赤外光によるマーカーが照射され、赤外線カメラにより赤外光のマーカーを検知することとしてもよい。

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

１０、２０情報処理装置
１２撮像装置
１３照射装置
１４、２４ＣＰＵ
１４１照射グラフィック生成部
１４２照射制御部
１４３画像取得部
１４４補正情報生成部
１４５補正部
１４６表示制御部
１５タッチスクリーン
１６ＲＡＭ
１７不揮発性メモリ

Claims

操作者の操作情報を取得する操作情報取得部と、
前記操作情報に基づいて生成された、基準とするためのマーカーを含む照射グラフィックの照射を制御する照射制御部と、
前記マーカーを含む前記照射グラフィックが照射された状態の撮像画像を取得する画像取得部と、
前記撮像画像内のマーカーと前記照射グラフィック内のマーカーとに基づいて、前記照射グラフィックが照射される照射範囲と前記撮像画像の撮像範囲との差異から前記照射範囲と前記撮像範囲とを一致させるための補正情報を生成する補正情報生成部と、
前記補正情報に基づいて、前記画像取得部により取得された画像を補正し、前記マーカーが照射される範囲を表示範囲とする補正画像を生成する補正部と、
前記補正画像を表示装置に表示させる表示制御部と、
を備え、
前記補正情報生成部は、前記照射範囲と前記撮像範囲とが一致している場合の前記マーカーの予測位置及び形状と、検出されたマーカーの位置及び形状との差異から前記補正情報を生成する、情報処理装置。
前記補正情報生成部は、前記照射グラフィックを照射する前後の撮像画像の差分から前記マーカーを検出する、請求項１に記載の情報処理装置。
操作者の操作情報を取得する操作情報取得ステップと、
前記操作情報に基づいて生成された、基準とするためのマーカーを含む照射グラフィックの照射を制御する照射制御ステップと、
前記マーカーを含む前記照射グラフィックが照射された状態の撮像画像を取得する画像取得ステップと、
前記撮像画像内のマーカーと前記照射グラフィック内のマーカーとに基づいて、前記照射グラフィックが照射される照射範囲と前記撮像画像の撮像範囲との差異から前記照射範囲と前記撮像範囲とを一致させるための補正情報を生成する補正情報生成ステップと、
前記補正情報に基づいて、前記画像取得ステップにより取得された画像を補正し、前記マーカーが照射される範囲を表示範囲とする補正画像を生成する補正ステップと、
前記補正画像を表示装置に表示させる表示制御ステップと、
を含み、
前記補正情報生成ステップは、前記照射範囲と前記撮像範囲とが一致している場合の前記マーカーの予測位置及び形状と、検出されたマーカーの位置及び形状との差異から前記補正情報を生成する、情報処理方法。
コンピュータを、
操作者の操作情報を取得する操作情報取得部と、
前記操作情報に基づいて生成された、基準とするためのマーカーを含む照射グラフィックの照射を制御する照射制御部と、
前記マーカーを含む前記照射グラフィックが照射された状態の撮像画像を取得する画像取得部と、
前記撮像画像内のマーカーと前記照射グラフィック内のマーカーとに基づいて、前記照射グラフィックが照射される照射範囲と前記撮像画像の撮像範囲との差異から前記照射範囲と前記撮像範囲とを一致させるための補正情報を生成する補正情報生成部と、
前記補正情報に基づいて、前記画像取得部により取得された画像を補正し、前記マーカーが照射される範囲を表示範囲とする補正画像を生成する補正部と、
前記補正画像を表示装置に表示させる表示制御部と、
を備え、
前記補正情報生成部は、前記照射範囲と前記撮像範囲とが一致している場合の前記マーカーの予測位置及び形状と、検出されたマーカーの位置及び形状との差異から前記補正情報を生成する、情報処理装置として機能させるためのプログラム。