JP2001166881A - ポインティング装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 表示画面に対し任意の操作位置からカーソル
表示操作やコマンド実行操作を可能とする非常に操作性
の自由度の高く、小型で軽量なポインティング装置及び
方法を提供する。 【解決手段】 表示画像上の被検出位置を複数の特徴点
を含んで撮像する撮像手段と、前記撮像手段へシャッタ
ー信号を送出する第１操作手段８と、前記第１操作手段
の操作によって得られた前記被検出位置においてコマン
ド実行信号を送出する第２操作手段１４とを有するポイ
ンティング入力手段と、前記ポインティング入力手段１
００から送出された画像データの前記特徴点の座標位置
に基づいて、撮像面上の基準位置にて撮像された点での
前記表示画像上の被検出位置の座標位置を演算する画像
処理手段５とを備えた構成である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディスプレイ上の
ポインティング装置及びその方法に関するものであり、
特にコンピュータ出力された画像上のカーソル表示やコ
マンド実行を制御する装置及びその方法に関するもので
ある。

【０００２】

【従来の技術】最近コンピュータの表示画面に直接座標
入力したり、コンピュータ画面をプロジェクタによりス
クリーン上に投影しカーソル操作を行うことが頻繁に行
われている。特に投影された画像上をレーザーポインタ
等により指示位置を特定して、コンピュータ本体のコマ
ンド実行操作、編集、拡大縮小などを行うことのできる
ポインティングデバイスが注目されている。これらの従
来例として、例えば特開平２−３０６２９４号、特開平
３−１７６７１８号公報、特開平４−３０５６８７号公
報、特開平６ー３０８８７９号公報、特開平６−３３２
６１２号公報、特開平７−１２１２９３号公報、特開平
７−１９１７９７、特開平１０−１８７３４０号公報、
特開平１１−１４３６２９号公報などがあげられる。

【０００３】代表的な従来例である特開平２−３０６２
９４号公報は、プロジェクタにより投影されたスクリー
ン、スクリーン上の被検出位置を指示するレーザーポイ
ンタ、スクリーン上に向けられレーザーポインタの輝点
を検出するための固定ＣＣＤカメラから構成されてい
る。このＣＣＤカメラにより所定時間毎にスクリーン上
のレーザー輝点を検出し、スクリーン上の輝点の位置を
検出しようとするものである。

【０００４】また、特開平６ー３０８８７９号公報はス
クリーンの近傍に複数の発光素子を配置し、指示器には
複数の発光素子からの光を受光する受光素子が設けら
れ、発光素子からの光強度や光の方向性を基に計算機に
より計算しスクリーン上の位置を特定できるようにした
装置で、操作者が任意の位置で操作してもスクリーン上
の指示位置を特定できる装置である。

【０００５】さらに、最近プレゼンテーション用のワイ
ヤレス型レーザーポインタ付きマウスが用いられてい
る。この装置は、コンピュータ画面を操作するワイヤレ
スマウスにスクリーン上を指し示すレーザーポインタ機
能を一体化したものである。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
ポインティング装置、例えば、特開平２−３０６２９４
号公報のように固定カメラにより位置検出するポインテ
ィング装置は、カメラとスクリーンとの間に操作者や人
が入ってしまい位置検出ができなくなってしまう問題や
スクリーン上に投影されている画像が高輝度画像となる
とレーザービームの輝点検出が困難になる問題が生じ
る。さらに、固定カメラを設置するスペースが必要とな
り、装置が大型化してしまい操作性の自由度が低く、汎
用性に欠けるという問題も生じる。

【０００７】また、特開平６ー３０８８７９号公報のよ
うに、表示画面上に発光素子を設けて発光する光を指示
器に設けられた光電変換素子で受光する方法は、位置検
出するために表示画面に発光素子を設けなければならな
いため汎用性に欠けるという問題や、光強度の指向性と
その強度を検出して被検出位置を算出する方法は、その
ための受光素子構造の工夫が必要の上、スクリーン上の
被検出位置精度が高くないという問題が生じる。

【０００８】さらに、ワイヤレス型レーザーポインタ付
きマウスは、コンピュータ画面を操作するマウス機能と
スクリーン上の指示する個所を指し示すレーザーポイン
タ機能とが単に結合したものであり、レーザーポインタ
機能は単に画像位置を指し示すだけで、マウス機能とは
何ら機能的には関係してない。従って、画面操作してい
る時には操作しずらくプレゼンテーションの進行が中断
されるという問題がある。

【０００９】本発明の目的は、表示画面に対し任意位置
からカーソル表示操作やコマンド実行操作を可能とする
非常に操作性の自由度の高く、小型で軽量なポインティ
ング装置及び方法を提供することである。

【００１０】

【課題を解決するための手段】上述した問題点を解決す
るために、本発明の請求項１のポインティング装置は、
前記表示画像上の被検出位置を複数の特徴点を含んで撮
像する撮像手段と、前記撮像手段へシャッター信号を送
出する第１操作手段と、前記第１操作手段の操作によっ
て得られた前記被検出位置においてコマンド実行信号を
送出する第２操作手段とを有するポインティング入力手
段と、前記ポインティング入力手段から送出された画像
データの前記特徴点の座標位置に基づいて、撮像面上の
基準位置にて撮像された点での前記表示画像上の被検出
位置の座標位置を演算する画像処理手段とを備えたこと
を特徴とする。

【００１１】本発明の請求項２のポインティング装置
は、前記表示画像上の被検出位置を予め定められた撮像
面上の基準位置に合った状態で、複数の特徴点を含んで
撮像する撮像手段と、前記撮像手段へシャッター信号を
送出する第１操作手段と、前記第１操作手段の操作によ
って得られた前記被検出位置においてコマンド実行信号
を送出する第２操作手段とを有するポインティング入力
手段と、前記ポインティング入力手段から送出された画
像データの前記特徴点の座標位置に基づいて、表示画像
上の被検出位置の座標位置を演算する画像処理手段とを
備えたことを特徴とする。本発明の請求項３のポインテ
ィング装置は、請求項１または２記載に加え、前記画像
処理手段は、前記撮像手段により撮像された画像データ
に基づいて前記特徴点を抽出する特徴点抽出手段と、前
記抽出手段により抽出された撮像面上の特徴点の座標位
置に基づいて、撮像面に対する表示画像平面の姿勢を演
算する姿勢演算手段と、前記姿勢演算手段により算出さ
れた姿勢パラメータと前記特徴点の座標位置とに基づい
て前記表示手段に表示された画像上の被検出位置の座標
を検出する座標演算手段とを備えたことを特徴とする。

【００１２】本発明の請求項１８のポインティング方法
は、 表示画像上の被検出位置を複数の特徴点を含んで
撮像する撮像ステップと、前記撮像ステップへシャッタ
ー信号を送出する第１操作ステップと、前記第１操作ス
テップの結果得られた前記被検出位置においてコマンド
実行信号を送出する第２操作ステップとを含むポインテ
ィング入力ステップと、前記ポインティング入力ステッ
プから送出された画像データの前記特徴点の座標位置に
基づいて、撮像面上の基準位置にて撮像された点での前
記表示画像上の被検出位置の座標位置を演算する画像処
理ステップとを含むことを特徴とする。

【００１３】本発明の請求項１９のポインティング方法
は、複数の特徴点を含んで表示画像上の被検出位置を予
め定められた撮像面上の基準位置に合った状態で撮像す
る撮像ステップと、前記撮像ステップへシャッター信号
を送出する第１操作ステップと、前記第１操作ステップ
の操作によって得られた前記被検出位置においてコマン
ド実行信号を送出する第２操作ステップとを含むポイン
ティング入力ステップと、前記ポインティング入力ステ
ップから送出された画像データの前記特徴点の座標位置
に基づいて、表示画像上の被検出位置の座標位置を演算
する画像処理ステップとを含むことを特徴とする。

【００１４】本発明の請求項２０のポインティング方法
は、請求項１８または１９記載に加え、前記画像処理ス
テップは、前記ポインティング入力ステップから送出さ
れた画像データに基づいて前記特徴点を抽出する特徴点
抽出ステップと、前記抽出ステップにより抽出された撮
像面上の特徴点の座標位置に基づいて、撮像面に対する
表示画像平面の姿勢を演算する姿勢演算ステップと、前
記姿勢演算ステップにより算出された姿勢パラメータと
前記特徴点の座標位置とに基づいて表示された画像上の
被検出位置の座標を演算する座標演算ステップとを含む
ことを特徴とする。

【００１５】

【発明の実施の形態】図１は実施の形態に係わるポイン
ティング装置の概念構成図である。１００はポインティ
ング入力手段、１１０は座標検出対象となるスクリーン
平面、１２０はパーソナルコンピュータ（以下、ＰＣと
呼ぶ）、１３０はプロジェクタである。また、１１１は
スクリーン平面上に投影されている表示画像である。ま
た、表示画像の４隅のＱ1、Ｑ2、Ｑ3、Ｑ4は、表示画像
１１１の形状を特徴付ける特徴点であり、これら特徴点
によって形成される形状は矩形平面である。ポインティ
ング入力手段１００を用いてスクリーン平面１１０上の
被検出位置Ｐsを検出しようとするものである。ポイン
ティング入力手段１００はスクリーン１１０に対し任意
の位置から操作することが可能である。破線１０１はポ
インティング入力手段１００に設けられている撮像手段
１の撮像面の中心から垂直に表示画像上の被検出位置ま
で延びている光軸である。

【００１６】本実施の形態で被検出対象とする複数の特
徴点は、スクリーン平面（以下、所定平面と呼ぶ）に投
影された表示画像の４隅としたが、予め原画像として複
数の特徴点（あるいは幾何学的形状の代表点）を有する
基準画像を投影するようにしてもよく、スクリーン平面
上にあればよい。なお、複数の特徴点は互いに直交する
２組の平行群の交点であってもよい。

【００１７】図２、図３は本発明の実施の形態に係わる
ポインティング装置の構成ブロック図、図４はポインテ
ィング入力手段１００の概念構成斜視図である。本実施
の形態に係わるポインティング入力手段１００の構成
は、画像処理手段５以外のポインティング装置の構成の
全てを備えている。

【００１８】図２の構成ブロック図において、１は撮像
手段であり、撮像手段はレンズ光学系と撮像素子とから
構成されている。本実施の形態ではＣＣＤ撮像素子を有
するデジタルスチルカメラを用いたが、ビデオカメラで
もよい。また、撮像手段１には被写体である平面上の被
検出位置を特定するため予め基準位置が定められてい
る。本実施の形態では基準位置は撮像面の中心とし、画
像座標系（Ｘ−Ｙ座標系）の原点Ｏｍとしてある。２は
撮像手段により撮像された画像データをデジタル画像デ
ータとするＡ／Ｄ変換手段である。３はＡ/Ｄ変換され
たデジタル画像データはＣＣＤ撮像面の各画素に対応し
たアドレス毎に一時的に記憶できるフレームメモリであ
る。

【００１９】このフレームメモリは連続撮像が記憶でき
るように数十ＭＢ程度記憶できる容量を有している。４
は制御手段である。この制御手段４はＲＯＭ（不図示）
を備えており、透視射影演算処理するプログラムや各種
制御プログラムなどが格納されている。

【００２０】５は画像処理手段である。本実施例では図
７のパソコン側にて画像処理する構成としてある。画像
処理手段５は、撮像され取り込まれた画像データに基づ
いて、３次元空間内の平面上のいずれかに配置された矩
形形状を特徴付ける特徴点を抽出する特徴点抽出手段５
１と、抽出された特徴点の座標位置に基づいて被検出位
置演算処理を行う位置演算手段５２とから構成される。

【００２１】この特徴点抽出手段５１には、フレームメ
モリに一時的に呼び込まれた画像データが矩形平面の特
徴点を抽出したか否か判断する抽出判断手段（不図示）
を備えている。 この抽出判断手段を備えることによ
り、もし抽出判断手段において特徴点が抽出できなかっ
た場合に警告音を発し、再度画像の取り込みを操作者に
指示することができる。

【００２２】また、位置演算手段５２は３次元空間（Ｘ
−Ｙ−Ｚ座標系）内における撮像面に対する所定平面の
姿勢位置を演算する平面姿勢演算手段５２１と、所定平
面上の被検出位置の座標を演算する座標演算処理手段５
２２とから構成される。図３は平面姿勢演算手段５２２
の詳細構成ブロック図である。

【００２３】平面姿勢演算手段５２１は、消失点算出手
段５２１１、消失直線算出手段５２１２、消失特徴点算
出手段５２１３、画像座標系変換手段５２１４及び透視
射影変換手段５２１５とから構成されている。６Ａは光
ビーム照射手段であり、ＬＥＤ発光素子や半導体レーザ
ー発生器が用いられる。光ビーム照射手段２は被検出位
置を指示する視認性のある光を発するものであればよ
く、プレゼンテーションや会議の際、操作者が指示する
箇所を特定できる汎用のレーザーポインタでよい。

【００２４】図５は図４で示した光ビーム照射手段６Ａ
を用いた装置構成の光学系の一例である。光ビーム照射
手段として赤外線レーザーを用いた例である。電源がＯ
Ｎされると６０光源から６１コリメートレンズで平行と
なったレーザー光は、６２ミラーを介し、撮像光学系の
中心軸上に設けられた１３ミラーにより反射され所定平
面上に輝点ととして導かれる。撮像光学系は１２は撮像
レンズと１１はＣＣＤとから構成されている。ポインテ
ィング入力手段から出射されるポインティング用レーザ
ーの光軸が、撮像光学系の光軸と一致するような光学系
となっている。ミラー１３は赤外線レーザーを反射さ
せ、可視光を透過するようなハーフミラーである。

【００２５】ポインティング用レーザーは表示画面上の
被検出位置を確認できればよく、撮像時にはＯＦＦされ
る。従って、ミラー１３は撮像する時にはミラーアップ
するような機構にしても良い。光ビーム照射手段６Ａに
より照射された所定平面上の被検出位置が撮像面上の基
準位置と合致するように、光ビーム照射手段６Ａと撮像
手段１とが予め決められた位置関係で設けられている。
図では撮像レンズの光軸とレーザー照射光学系の光軸と
が一致するようにしてあるが、レーザー光は視認するだ
けであるので、所定平面上の輝点が被検出位置近傍にあ
ればよく、必ずしも一致しなくてもよい。

【００２６】７はレーザー照射ボタン、８はシャッター
ボタン（第１操作手段）である。７、８は、２段スイッ
チとなっており、１段目を押すと単に赤外線レーザーを
照射するだけで被検出位置を指し示すだけでオフされ
る。さらに２段目を押すことにより、撮像手段のシャッ
ターが切れ、画像を取り込めるようになっている。

【００２７】９は出力信号処理部である。本実施例のよ
うに画像処理手段５がパソコン側に備えているので、こ
の出力処理手段では撮像された画像データをパーソナル
コンピュータなどの外部機器へ送出する。出力信号処理
手段９として画像データ出力信号をワイヤレス信号とし
て送出できる送信手段を用いれば、装置の操作性は格段
に広がり効果的である。

【００２８】図６は、被検出位置に基準位置を合わせる
方法として光照射ビーム手段に代え、視準手段６Ｂを備
えたポインティング装置の光学系の一例である。視準手
段６Ｂには予め撮像面上の基準位置と一致する位置に十
字線７４が刻まれており、この十字線の位置を被検出位
置に合わせて、撮像することにより所定平面上の被検出
位置が検出される。 このように撮像時に視準手段を設
けたファインダーや光ビーム照射手段などを用いること
により、予め定められた撮像面上の基準位置に合ってい
る状態で撮像が行われるようにしている。従って、基準
位置は撮像レンズの光軸が撮像面を切る点、すなわち、
撮像画像の中心としてあるので、操作者が被検出位置に
基準位置を合わせる操作を行わなくとも、表示画面を見
ながら撮像手段を被検出位置の方向に向けるだけでもポ
インティング操作することは可能である。

【００２９】本実施の形態に係わる位置検出装置の構成
は、撮像手段１を備えたポインティング入力手段１００
と画像処理手段５とを別体とし、画像処理手段５をパソ
コンなど外部機器の内部記憶装置や外部記録媒体に備え
るようにしたが、撮像手段と画像処理手段とを一体にし
たポインティング入力手段１００としても良い。

【００３０】１４、１５はコマンド実行出力ボタン（第
２操作手段）及びポップアップメニューボタンである。
第２操作手段１４は通常のマウスカーソルの左クリック
ボタンのダブルクリックに相当し、画面上のアイコン、
図、テキストなど動作対象オブジェクトにカーソル位置
を合わせコマンド実行信号を送出するボタンである。

【００３１】ポップアップメニューボタン１５は通常の
マウスカーソルの右クリックボタンに相当する。カーソ
ル表示している位置でポップアップメニュー表示を行う
動作である。本実施の形態では、通常のマウスカーソル
の基本動作であるカーソル位置を決めるシングルクリッ
ク動作と対象オブジェクトにカーソル位置を合わせオブ
ジェクトを移動させるドラッグ動作は、シャッターボタ
ン（第１操作手段）８を用いて行われる。

【００３２】次に、ポインティング入力手段から出力さ
れた撮像画像データやコマンド実行信号を入力するパー
ソナルコンピュータのブロック構成について説明する。
図７はパーソナルコンピュータの構成ブロック図であ
る。画像処理手段５の詳細な説明は前述したのでここで
は省く。

【００３３】１２０はパーソナルコンピュータ（以後パ
ソコンと呼ぶ）本体、１２１はディスプレイと接続され
ている。１３０はプロジェクタであり、パソコン本体に
接続され、パソコン画面をスクリーン上に投影する。そ
の時、ディスプレイ１２２はなくても良い。

【００３４】１２１は受信手段であり、ポインティング
入力手段から出力された撮像画像データやコマンド実行
信号を受信する。ポインティング入力手段から受信した
被検出位置信号が含めれている撮像データは、画像処理
手段にて処理され被検出位置信号として出力される。

【００３５】１２４はカーソル動作を制御するためのカ
ーソル制御手段（マウスドライバに相当）である。カー
ソル制御手段１２４は被検出位置信号をパソコン画面上
の座標系のカーソル位置信号に変換し出力するカーソル
位置制御手段１２５とカーソルの形状や色などを制御す
るカーソル表示制御手段１２６とを具備している。

【００３６】また、 カーソル制御手段１２６はＯＳ
（オペレーティングシステム）やアプリケーションプロ
グラムに組み込むことができる。次に、本発明の実施の
形態のポインティング装置の基本動作について説明す
る。

【００３７】図８は本実施の形態の装置の基本動作を説
明するフローチャートである。ステップＳ１００で検出
装置の電源がＯＮする。ステップＳ１０１において３次
元空間内の複数の特徴点を含む表示平面上において検出
しようとする被検出位置に画像座標系の撮像面に予め定
められた基準位置を合わせる。本実施の形態おいては、
この基準位置は撮像レンズの光軸が撮像面を切る点、す
なわち、撮像画像の中心としてある。

【００３８】ステップＳ１０２ではこの合わせた状態で
撮像手段のシャッター８をＯＮにし、画像を取り込む。
取り込まれた画像は画像データ信号処理されフレームメ
モリに格納され、ステップＳ１０３において予め抽出し
ようとする幾何学的特徴点が抽出され、画像座標系にお
いて矩形形状を特徴づける４個のマークの重心位置座標
ｑ1，ｑ2，ｑ3，ｑ4が特定される。その時、ステップＳ
１０４では予め決められた幾何学的特徴点が正確に抽出
されたか否か判断する。正確に抽出されなかった場合、
ステップＳ１０５において警告音を発し、再度撮像手段
により取り込むよう操作者に伝えられる。予め定められ
た幾何学的特徴点が抽出されれば、次のステップＳ１０
６に進む。

【００３９】ステップＳ１０６では３次元空間内の所定
平面の姿勢位置や被検出位置の座標位置が演算処理され
る。このステップＳ１０６の詳細は後述する。ステップ
Ｓ１０７では演算処理処理され算出された値を表示手段
（不図示）や外部機器などに合わせ信号処理され出力さ
れる。

【００４０】次に、本実施の形態のポインティング装置
の画像処理手段５の各構成の動作について詳細に説明す
る。 （ａ）特徴点抽出処理 本実施の形態では、所定平面上に投影された表示画像に
ついて説明する。表示画像全体は４隅Ｑ1、Ｑ2、Ｑ3、
Ｑ4を特徴点とする矩形形状である。撮像手段によりこ
の矩形領域部分が含まれるように撮像する。撮像時のタ
イミングに合わせて表示画像濃度が異なる濃淡２枚の時
系列画像を撮像する。これら２枚の画像の差分画像を得
る。これら差分画像に基づき二値化処理を行い、幾何学
的形状を有する複数の特徴点を抽出する。これら特徴点
の座標位置は重心法などの方法により特定する。

【００４１】また、別の差分画像法として、表示画像中
に特徴点として基準画像を表示し、その基準画像の有無
の２枚の画像を撮像するようにしても良い。撮像画像デ
ータから平面上の特徴点を抽出する方法は、上記説明し
た差分画像法以外に濃淡輪郭法、パターンマッチング法
等などがあるが、そのいずれを用いてもよい。

【００４２】また、投影する矩形形状を特徴付ける幾何
学的形状を予めメモリに格納しておき、撮像手段により
取り込まれた画像を比較参照して判断するパターンマッ
チング法を用いてもよい。 （ｂ）位置演算処理 次に、３次元空間内に置かれた特徴点を有する所定平面
上の被検出位置Ｐsの位置座標を算出する方法について
具体的に説明する。

【００４３】図９は３次元空間内に置かれた所定平面上
の被検出位置を演算処理する具体的な手順を示したフロ
ーチャートである。図８の基本動作フローチャートのス
テップＳ１０６の動作の詳細である。図１０はポインテ
ィング入力手段１００の撮像面をＸ−Ｙ座標系（画像座
標系と呼ぶ）とし、画像座標系の中心から垂直に延びる
軸をＺ軸とするＸ−Ｙ−Ｚ座標系を有する３次元空間に
おける画像座標系と所定平面上のＸ*−Ｖ座標系（平面
座標系と呼ぶ）との姿勢の位置関係を示したものであ
る。視点Ｏは画像座標系の原点Ｏｍから焦点距離ｆの位
置である。Ｘ−Ｙ−Ｚ座標系のＸ軸回りの角度ψ、Ｙ軸
回りの角度γ、Ｚ軸回りの角度αまたはβとする。これ
らの角度回りはいずれも時計回りを正としている。

【００４４】図１１及び図１２には、操作者が任意の位
置からポインティング入力手段に設けられた撮像手段１
００の撮像方向を矩形形状である所定平面に向けて撮像
した撮像画像ｑを示した。図には、撮像された画像は平
面上の座標位置である被検出位置Ｐsを撮像面に設定さ
れた基準位置（撮像面の原点Ｏｍ）に合致させてある。
これら４個の特徴点ｑ1，ｑ2，ｑ3，ｑ4は、図１の平面
座標系Ｘ*−Ｙ*座標系におけるＱ1、Ｑ2、Ｑ3、Ｑ4に対
応する。

【００４５】被検出位置を示す基準位置が４個の特徴点
が形成される形状（矩形形状）の範囲外であっても良
い。図１２は、被検出位置とした撮像画像中心が所定平
面上にある４個の特徴点で形成される矩形形状範囲内に
含まない例である。 （ｂ１）平面の姿勢演算処理 被検出位置を演算するための第１のステップである平面
の姿勢算出処理について、図９のフローチャート及び図
３の構成ブロック図、図１０〜図１７を参考にしながら
説明する。

【００４６】まず最初に、ステップＳ１１１では、すで
に特徴点抽出手段の特徴点特定手段において特定された
ｑ1，ｑ2，ｑ3，ｑ4の座標位置に基づいて、撮像画像ｑ
の相隣接する特徴点を通る直線式Ｉ1．Ｉ2，Ｉ3，Ｉ4を
算出する。次に、ステップＳ１１２ではこれら直線式を
用いて撮像画像データの消失点Ｔ0、Ｓ0を算出する。
（ステップＳ１１１とＳ１１２は図３の構成ブロック図
の消失点算出手段５２１１の処理に相当する） 矩形形状を有する平面を撮像すると撮像画像には必ず消
失点が存在する。消失点とは平行群が収束する点であ
る。例えば、直線Ｑ1Ｑ2に対応する撮像面上の直線 ｑ1
ｑ2 と直線Ｑ3Ｑ4に対応する直線ｑ3ｑ4、ｑ1ｑ4、ま
た右辺Ｑ1Ｑ4 とｑ2ｑ3とが完全に平行であれば消失点
は無限遠に存在することになる。無限遠に存在すると
き、その方向には透視射影されても透視効果は現れな
い。

【００４７】本実施の形態では３次元空間内に置かれた
平面形状は矩形形状である。従って、物体座標系では２
組の平行を有し、画像座標系の撮像画像上ではＸ軸側、
Ｙ軸側のそれぞれに消失点が１つ存在することになる。
図１１には任意の位置で撮像したときの撮像データ上で
消失点の位置を示してある。Ｘ軸側に生じる消失点をＳ
0、Ｙ軸側に生じる消失点をＴ0としてある。ｑ1ｑ2 と
ｑ3ｑ4との延長した直線の交点が消失点の位置である。

【００４８】ステップＳ１１３では消失点Ｓ0，Ｔ0を求
めた後、これら消失点と撮像画像の中心Ｏｍとを結んだ
直線ＯmＳ0、ＯmＴ0を算出し、これら直線によって特徴
付けられる特徴点ｑs1、ｑs2、ｑt1、ｑt2を求める処理
を行う。（ステップＳ１１３は図３の消失直線算出手段
５１１２で実行される処理である） 消失点Ｓ0、Ｔ0と撮像データ中心Ｏｍとを結んだ各消失
軸Ｓ0Ｏm、Ｔ0Ｏmが、相隣接する２つの特徴点を通る直
線ｑ1ｑ2、ｑ3ｑ4、及びｑ2ｑ3、ｑ1ｑ4と交わる交点ｑ
t1(Ｘｔ１，Ｙｔ１)、ｑt2(Ｘｔ２，Ｘｔ２)、ｑs1(Ｘ
ｓ１，Ｙｓ１）、ｑs2(Ｘｓ２，Ｙｓ２）を算出する。
ｑt1、ｑt2、ｑs1、ｑs2が算出された後の説明におい
て、Ｓ0Ｏm、Ｔ0Ｏm、ｑt1ｑt2、ｑs1ｑs2いずれも消失
直線と呼ぶことにする。

【００４９】消失直線ｑt1ｑt2、ｑs1ｑs2は、平面上で
被検出位置Ｐsを基準とする各々互いに直交した直線に
対応し、被検出位置を算出するための基準直線となる。
すなわち、画像座標系（Ｘ−Ｙ座標系）の各特徴点ｑt
1、ｑt2、ｑs1、ｑs2は、図１の平面座標系（Ｘ*−Ｙ*
座標系）における所定平面の特徴点Ｔ1、Ｔ2、Ｓ1、Ｓ2
に対応する。

【００５０】ステップＳ１１２の消失点算出処理におい
て、Ｘ−Ｙ画像座標系（Ｘ−Ｙ座標系）のＸ軸方向に消
失点が無限遠に存在すると判断された場合は、消失直線
はＸ軸と平行な直線となる。 次に、ステップＳ１１４
に進む。ステップＳ１１４では、画像座標系（Ｘ−Ｙ座
標系）のＸ軸がＸ軸側の消失直線ＯmＳ0に一致するよう
にＯmを中心に角度β度回転させ、Ｘ’−Ｙ’座標系と
する座標変換処理を行う。このとき、画像座標系のＹ軸
がＹ軸側の消失直線ＯmＴ0に一致するようにＯmを中心
に角度α度回転させ、Ｘ’’−Ｙ’’座系とする座標変
換処理でも良い。本実施の形態で用いる処理はいずれか
一方で十分である。（ステップＳ１１４は図３の画像座
標系変換手段５２１４で実行される処理である） 図１３は、画像座標系（Ｘ−Ｙ座標系）を時計回りを正
としてβ度回転させ、Ｘ’−Ｙ’座標系、Ｘ’’−
Ｙ’’座標系にそれぞれ画像座標変換処理を説明する図
である。

【００５１】これらの画像座標系回転操作は３次元空間
（Ｘ−Ｙ−Ｚ座標系）におけるＺ軸回りの回転に相当
し、３次元空間内におかれた所定平面の姿勢位置を表す
パラメータの１つを決める操作である。このように消失
直線ｑs1ｑs2（またはＯmＳ0）をＸ軸上に一致させるこ
とにより３次元空間内に置かれた所定平面上の直線Ｑ1
Ｑ2，Ｑ3Ｑ4はＸ軸と平行な位置関係となる。

【００５２】次のステップＳ１１５において、得られた
撮像画像上のＸ−Ｙ座標変換後のＸ’−Ｙ’座標系にお
ける位置座標を基に、画像座標系Ｘ’−Ｙ’系の特徴点
ｑ1，ｑ2，ｑ3，ｑ4及びｑt1、ｑt2、ｑs1、ｑs2の座標
位置に対する平面座標系を有する所定平面上の特徴点Ｑ
1，Ｑ2，Ｑ3，Ｑ4及びＴ1、Ｔ2、Ｓ1、Ｓ2の各座標位置
の対応づけを行う。これらの対応付けは幾何学的手法を
用いた透視射影変換処理を行うことによりなされる。こ
の透視射影処理は、撮像面を基準にした３次元空間（Ｘ
−Ｙ−Ｚ座標系）内の撮像面に対する所定平面の姿勢を
算出する処理になり、すなわち、平面の姿勢を決定する
２つのパラメータであるＹ軸回りの角度ψとＸ軸回りの
角度γを算出する処理となる。なお、透視射影変換処理
の詳細は（ｂ２）項にて後述する。（ステップＳ１１５
は図３の透視射影変換手段５１２３において実行される
処理である）次のステップＳ１１６は、ステップＳ１１
５で算出された所定平面の姿勢パラメータに基づいて、
平面座標系（Ｘ*−Ｙ*座標系）上での被検出位置Ｐsの
座標位置を算出する。被検出位置座標の算出の詳細は
（ｂ３）項にて後述する。

【００５３】（ｂ２）透視射影変換処理 ここで、撮像面の画像座標系（Ｘ−Ｙ座標系）において
矩形形状を特徴づける４個の特徴点の座標が特定された
結果に基づいて、３次元空間内に置かれた撮像面に対す
る所定平面の姿勢パラメータ（俯角ψ、仰角γ）を算出
するための透視射影変換処理について説明する。

【００５４】まず最初に、図１４に基づき２次元透視射
影変換について簡単に説明する。図１４では横軸をＺ
軸、縦軸をＹ軸としてある。Ｏは透視射影変換する際の
原点である（以下、透視点と呼ぶ）、１はＸ−Ｙ座標系
を有する撮像面、２は２次元平面である。図では透視点
Ｏを原点とし横軸にＺ軸、縦軸を撮像面Ｘ−Ｙ座標系の
Ｙ軸に一致させてある。いいかえれば、撮像面のＸ軸は
紙面に垂直方向にあり、撮像面の中心をＺ軸に一致させ
てある。この撮像手段が備えているレンズ光学系の焦点
距離をｆとする。撮像面１は透視点Ｏから焦点距離ｆの
位置にＺ軸上に垂直に置かれていることになる。実際に
は撮像面の前面位置にはレンズ光学系が置かれ、撮像面
には２次元平面の倒立像が結像する構成となっている
が、ここでは説明し易くするために便宜上、ＣＣＤ撮像
面の後方焦点の位置に配置する構成としてある。

【００５５】また、Ｘ*−Ｙ*平面座標系を有する所定平
面２が、Ｙ軸に対して角度γ度傾けた姿勢にあるとし
た。Ｘ−Ｙ座標系を有する画像座標系の各特徴点各ｑi
(i=1,2)は、Ｘ*−Ｙ*座標系を有する所定平面上の対応
する特徴点Ｑi(i=1,2)に幾何学的な対応付けにより透視
射影変換される。その変換式は数１で表される。

【００５６】

【数１】

【００５７】従って、特徴点Ｑi(Ｙ*i，Ｚ*i）(i=1,2)
の座標位置は、それぞれ次の数２で表される。

【００５８】

【数２】

【００５９】次に、３次元空間内に置かれた撮像面に対
する所定平面の位置姿勢を算出する透視射影変換処理に
ついて具体的に説明する。図１５は、３次元空間内（Ｘ
−Ｙ−Ｚ座標系）に置かれた所定平面の位置姿勢を説明
する斜視図である。図では所定平面の１/４矩形を示し
てあり、撮像面上の所定平面上の特徴点の位置座標Ｑ1
(Ｘ*1，Ｙ*1)、Ｑ2(Ｘ*2，Ｙ*2）に対応する特徴点座標
点ｑ1（Ｘ1、Ｙ1）、ｑ2(Ｘ2，Ｙ2）が示されている。

【００６０】図には平面座標系（Ｘ*−Ｙ*座標系）にお
ける被検出位置Ｐsを通り、それぞれの軸に平行な直線
と隣接する２つの特徴点を通る直線との交点であるＴ
1、Ｔ2それにＳ2の３点の位置座標が示されている。こ
れら図示されている特徴点Ｔ1、Ｔ2、Ｓ2それに不図示
のＳ1は、撮像画像座標上では消失直線によって特徴付
けられた特徴点ｑt1、ｑt2、ｑs2及びｑs1に対応する。

【００６１】Ｑ3(Ｘ*3，Ｙ*3）、Ｑ4(Ｘ*4，Ｙ*4）に対
応する座標点ｑ3（Ｘ3，Ｙ3）、ｑ4（Ｘ4，Ｙ4）につい
ては省略してある。本実施の形態では、図中の画像座標
系の原点Ｏｍ(0,0,f)は撮像画像の中心位置とし、この
中心位置は撮像しようとする所定平面上の被検出位置と
してある。３次元空間Ｘ−ＹーＺ座標系の原点Ｏ(0,0,
0)は、透視射影変換処理する際の透視点としてある。ｆ
は焦点距離である。

【００６２】所定平面の撮像面に対する位置関係は、Ｘ
軸回りを撮像面の原点Ｏｍを中心としてＸ軸回りに角度
＋ψ、Ｙ軸回りに角度＋γである。これらいずれの角度
も時計回りを正としてある。この図ではＺ軸回りの回転
操作（Ｘ−Ｙ座標系を＋β度回転）した結果が示してあ
る。

【００６３】本実施の形態では、撮像画像（Ｘ−Ｙ座標
系）上の特徴点ｑ1、ｑt1、ｑs2の座標データに基づい
て、これらの特徴点に対応する所定平面（Ｘ*−Ｙ*座標
系）上の特徴点Ｑ1、Ｔ1及びＳ2の座標位置を透視射影
変換により算出した。図１６は図１５に示した３次元空
間内（Ｘ−Ｙ−Ｚ座標系）に置かれた所定平面をＸ’−
Ｚ’座標投影平面（Ｙ’＝０）上に正投影した図であ
る。Ｘ’−Ｙ’−Ｚ’座標系はＸ−Ｙ−Ｚ座標系を回転
座標変換したものである。Ｘ’−Ｚ’座標投影平面上
（Ｙ’＝０）には直線Ｓ1Ｓ2のみが存在している（太線
で図示）。Ｘ’−Ｚ’座標系の原点Ｏmと透視点Ｏの距
離は、撮像レンズの焦点距離ｆの位置である。各特徴点
について透視射影変換により、対応付けを行った、平面
座標系における各特徴点の座標位置をＸ’−Ｙ’座標系
における位置座標で表現した結果は、数３、数４で表さ
れる。

【００６４】

【数３】

【００６５】

【数４】

【００６６】また、図１７は図１５に図示した所定平面
をＹ’−Ｚ’座標投影平面（Ｘ’＝Ｏ）の上に正投影し
た図である。Ｙ’−Ｚ’座標投影平面（Ｘ’＝０）上に
は直線Ｔ1Ｔ2のみが存在する。図中には所定平面上の特
徴点Ｔ1とＱ1に対応する撮像画像上の特徴点ｑt1とｑ1
のみを図示してあり、Ｑ2、Ｑ3、Ｑ4に対応する撮像画
像上の特徴点は略してある。Ｙ’−Ｚ’座標投影平面上
における透視射影変換処理は、先に行ったＸ’−Ｚ’座
標投影平面上での処理と同様な処理を行い、ｑt1とｑ1
に対応する平面上の特徴点Ｔ1、Ｑ1の座標位置を算出す
る。

【００６７】数５には、Ｔ1、Ｑ1の座標位置を示した。

【００６８】

【数５】

【００６９】図１６，図１７の平面座標系の特徴点Ｔ1
及びＱ1の座標算出処理に着目する。Ｘ’−Ｚ’座標投
影平面とＹ’−Ｚ’座標投影平面の２つの座標面に対し
て透視射影変換処理した結果、特徴点ｑt1とｑ1に対応
する平面座標上の特徴点Ｔ1及びＱ1の座標値が得られ
る。

【００７０】図１６からはＴ1（Ｘ*t1，Ｚ*t1｜x）とＱ
1（Ｘ*1，Ｚ*1｜x）、図１７からはＴ1（Ｙ*t1，Ｚ*t1
｜y）とＱ1（Ｙ*1，Ｚ*1｜y）がそれぞれ得られる。３
次元空間内（Ｘ’−Ｙ’−Ｚ’座標系）に置かれた所定
平面を正投影したＸ’Ｚ’投影平面（図１６）、Ｙ’
Ｚ’投影平面（図１７）において、Ｚ’軸に関する座標
値は各投影平面座標では同じ値をとり、次の関係にあ
る。 Ｚ*1｜x＝Ｚ*1｜y Ｚ*t1｜x＝Ｚ*t1｜y 上記の条件式から次の２つの関係式数６，数７を得るこ
とができる。

【００７１】

【数６】

【００７２】

【数７】

【００７３】上記結果、３次元空間内に置かれた所定平
面の姿勢パラメータが画像座標系の特徴点の座標ｑi、
ｑtiまたはｑsiと撮像レンズの焦点距離とにより簡単な
関係式で表現されることがわかった。平面の位置姿勢を
表す関係式は、数６及び数７に代え、次の関係式数８及
び数９であっても良い。

【００７４】数８及び数９示したＹ軸回りの角度ψの回
転方向は、数６及び数７と逆である。

【００７５】

【数８】

【００７６】

【数９】

【００７７】これらの関係式に用いられている特徴点ｑ
iは、撮像画像で得られた特徴点ｑi(i=1〜4)の１点とこ
れら４この特徴点から算出された消失点を用いて決定さ
れた特徴点ｑtiまたはｑsiを用いて表現されている。本
実施の形態の手順では撮像手段により得られた画像デー
タから得られた消失直線ｑs1ｑs2をＸ軸に一致するよう
に、Ｘ−Ｙ座標系をβ度回転させＸ’−Ｙ’座標系に変
換した場合について説明した。もう一方の消失直線ｑt1
ｑt2をＹ軸に一致するように、Ｘ−Ｙ座標系をＸ’’−
Ｙ’’座標系に変換して行っても、数式表現は異なるが
同様な結果が得られる。

【００７８】途中の式は省略し結果のみを数１０、数１
１に示した。

【００７９】

【数１０】

【００８０】

【数１１】

【００８１】数１０、数１１では位置姿勢角度パラメー
タψはｑ1とｑs2の２つの座標値のみで表現されたもの
を示した。一般に、画像座標系の特徴点の座標位置は画
素数で表現され、数６〜数１１式中に換算係数としてＣ
ＣＤ撮像素子の画素サイズが必要となることはいうまで
もない。

【００８２】以上、説明したように、平面座標系の平面
の姿勢パラメータである角度算出式は撮像画像から算出
された特徴点の座標データと撮像手段のパラメータであ
る焦点距離ｆだけで表現された簡単な関係式となってい
る。従来のような煩雑な座標変換行列式を用いることな
く、平面の姿勢パラメータを算出する式が、簡単な式で
表現されているため、演算処理能力が低くてもよい、演
算誤差が少なくなり精度的に有利などの利点がある。強
いては、装置の低コスト化にもつながる。

【００８３】さらに、平面の相対姿勢を算出する場合に
は、平面座標系における平面形状が定性的に矩形形状で
あるということが既知であればよく、矩形形状のアスペ
クト比や矩形形状を特徴付ける座標位置データ、撮像面
と所定平面までの距離データなど平面に関する位置デー
タは必要ないという利点がある。

【００８４】（ｃ３）座標位置演算処理 透視射影変換処理により算出された３次元空間内の所定
平面の姿勢パラメータに基づいて、平面座標系（Ｘ*−
Ｙ*座標系）における所定平面上の被検出位置座標を座
標演算処理手段５２２により演算する。

【００８５】平面座標系Ｘ*−Ｙ*座標系における所定平
面上の被検出位置は、横軸比ｍi＝｜Ｓ1Ｐs｜／｜Ｓ2Ｐ
s｜、縦軸比ｎi＝｜Ｔ１Ｐs｜／｜Ｔ2Ｐs｜で算出され
る。数６及び数７の姿勢パラメータに対応した所定平面
の被検出位置Ｐs（Ｘ*i，Ｙ*i）の算出式は、Ｘ軸比ｍ
及びＹ軸比ｎで表現すると、数１２，数１３で表され
る。これらいずれの式を用いても良い。

【００８６】数１２は軸比ｎx、ｍxを用いた式であり、
Ｘ−Ｙ画像座標系をβ度回転しＸ’−Ｙ’座標系に変換
した場合である。

【００８７】

【数１２】

【００８８】また数１３は、軸比ｎy、ｍyを用いた式で
あり、Ｘ−Ｙ座標系をα度回転しＸ’’−Ｙ’’座標系
に変換した場合である。

【００８９】

【数１３】

【００９０】従って、所定平面上の被検出位置の座標位
置Ｐs（Ｘs*、Ｙs*）は、数１２の軸比を用いた場合に
は数１４で表される。

【００９１】

【数１４】

【００９２】被検出位置の座標Ｐsは、矩形形状を特徴
付ける４個の特徴点が全て抽出できれば、これら特徴点
で形成される形状を基準として算出することが可能であ
る。例えば、スクリーン平面上の表示画像である場合、
表示画像の４隅の特徴点に対応する撮像画像の４個の特
徴点の位置を用いて、各軸比から被検出位置の座標を算
出する。すなわち、Ｘ軸に対して長さ｜Ｓ1Ｓ2｜を基準
にして軸比Ｓ1Ｐs／Ｓ2Ｐsを算出し、Ｙ軸に対しては長
さ｜Ｔ1Ｔ2｜を基準にして軸比Ｔ1Ｐs／Ｔ2Ｐsを算出す
る。

【００９３】また、所定平面上の被検出位置の座標を算
出する際には、算出された２つの平面の姿勢パラメータ
（俯角ψ、仰角γ）のいずれか１つが算出されていれば
よい。図１８（ａ）（ｂ）はパソコン画面上のカーソル
座標系と投影画像上のスクリーン座標系との対応を説明
する図である。スクリーン座標系での被検出位置Ｐs
（Ｘi*，Ｙi*）は、パソコンのカーソル位置制御手段１
２５によりカーソル座標系の被検出位置Ｐｃ（Ｕi，Ｖ
i）に座標変換される。

【００９４】今、所定平面としてパソコン表示画面を考
えた場合、特徴点はパソコン表示画面に表示されている
画像の４隅としておけば、スクリーン上の表示画像の４
隅に対応することになる。パソコン画面に表示される最
大ドット数Ｕmax、縦軸の最大ドット数Ｖmaxは予めわか
っているので被検出位置の座標が容易に算出される。図
１８ではスクリーン座標系の｜Ｓ1Ｓ2｜，｜Ｔ1Ｔ2｜に
カーソル座標系の｜Ｓp1Ｓp2｜，｜Ｔp1Ｔp2｜がそれぞ
れ対応する。

【００９５】＜シミュレーションによる位置検出方法の
原理検証＞次に、シミュレーション計算を行い、所定平
面上の被検出位置Ｐsの座標位置を算出し、本実施の形
態の位置検出方法の原理検証を行った。まず最初に、検
出しようとしている被検出位置の矩形平面上の特徴点に
対応する撮像面上の特徴点の座標位置データが必要であ
る。そのために、予め既知の平面の位置姿勢パラメータ
（ψ、γ）の値を用いて、撮像面上の画像プロファイル
を得るシミュレーション計算を行った。

【００９６】所定平面として１５００ｍｍ×２０００ｍ
ｍの１００”'サイズのスクリーン平面を想定し、撮像
距離はスクリーン平面中心より２０００ｍｍ離れたとこ
ろより、スクリーン面上の被検出位置としてＳ1Ｐs／Ｓ
2Ｐs（ｍとする）＝１，Ｔ1Ｐs／Ｔ2Ｐs（ｎとする）＝
１の座標位置（この座標位置はスクリーン中心である）
に向けて、撮像することを想定した。

【００９７】計算に用いた撮像手段の光学パラメータ
は、焦点距離のみであり、ｆ=５ｍｍを使用した。ま
た、撮像面に対するスクリーン平面の姿勢パラメータと
して、仰角ψ=６０度、俯角γ=５度を用いた。シミュレ
ーション計算結果、得られた画像座標上の座標位置デー
タに基づいて、諸々の関係式数６〜数１４から算出され
る姿勢パラメータ値ψ、γ及被検出位置の軸比ｍ、ｎ
が、予め設定した値になるか検証した。

【００９８】表１には前述した数６〜数１４を用いて、
スクリーン平面の姿勢ならびにスクリーン上の座標系に
おける被検出位置の位置座標を算出した結果を示した。

【００９９】

【表１】

【０１００】表にはＸ−Ｙ座標系をＺ軸回りにβ度反時
計回りに回転させ、Ｓ軸をＸ軸に一致させた座標系を
Ｘ’−Ｙ’座標系とした場合とＸ−Ｙ座標系をＺ軸回り
にα度時計回りに回転させ、Ｔ軸をＹ軸に一致させ
Ｘ’’−Ｙ’’座標系とした場合について示した。

【０１０１】その結果、スクリーンの撮像面からの姿勢
位置ならびに被検出位置は予め設定した仰角６０度、俯
角５度という値に対して非常に精度良く一致しており、
原理的に正しいことが検証できた。次に本発明の形態に
係わるポインティング装置の動作モードについて説明す
る。

【０１０２】ポインティング装置が有する基本的な動作
モードは、 シングルクリック、ダブルクリック及びド
ラッグの３つある。ポインティング装置の動作につい
て、これらの基本動作に対応させて説明する。図１９，
図２０及び図２１は、本発明のレーザーポインタ機能付
きのポイティング装置における動作モードの操作処理フ
ローチャートである。

【０１０３】レーザーポインタによりスクリーン上の被
検出位置を指し示す操作は、シャッターボタンと光照射
ボタンとが一体となった２段スイッチ（第１操作手段）
１つで行われる。この動作は一般に用いられているマウ
スが所望の位置までカーソルを移動させる動作に相当す
る。

【０１０４】ステップＳ２００にて第１操作ボタンであ
る２段スイッチの第１段目を押下することにより光ビー
ム照射手段の電源がオンとなり赤外線レーザーが照射さ
れる。一般のレーザーポインタと同様な扱いで用いるこ
とができ、操作者はスクリーン上の任意の位置を指し示
すことができる。

【０１０５】ステップＳ２０１は動作対象オブジェクト
（被検出位置）上にレーザー照射置を合わせる。ステッ
プＳ２０２にて第１操作ボタンの２段目のスイッチがオ
ンされる。この時レーザー照射はオフされる。ステップ
２０３にて第１操作ボタンの押下時間により、クリック
動作モードかドラッグ動作モードかを判別する。本実施
の形態ではこの判別する押下時間を２秒間とした。この
時間間隔の設定は任意に設定可能となっている。第１操
作ボタンを２秒以上押下し続けるとドラッグ動作モード
であると判断され、ステップＳ２０５のドラッグ動作モ
ードを選択する。また、ステップＳ２０３で第２ボタン
の押下時間が２秒以下であれば、ステップＳ２０４のク
リック動作を選択する。

【０１０６】図２０のステップＳ２０６で撮像シャッタ
ーがオンとなり画像を取り込む。ステップＳ２０７は撮
像された画像データから複数の特徴点を抽出するステッ
プである。これら複数の特徴点はスクリーン上またはス
クリーン近傍に予め発光素子などを設けておくかまたは
スクリーンに表示するときの表示画像とするかは、予め
決めておく。

【０１０７】ステップＳ２０６〜Ｓ２１１は先に説明し
た基本処理フロー図８と同じ処理であるので省略する。
ステップＳ２１２では、スクリーン上の被検出位置の座
標がを演算処理され、その結果得られた被検出位置の位
置信号をＰＣ側に出力する。パソコン側の受信手段によ
り受信し、カーソル制御手段１２４のカーソル位置制御
手段１２５にてパソコン画面のカーソル座標位置に座標
変換し、接続されているプロジェクタ１３０に出力す
る。

【０１０８】ステップＳ２１２ではプロジェクタ１３０
はスクリーンに表示されている画像にカーソルを表示す
る。次のステップＳ２１３では、ステップＳ２１２での
カーソルの座標位置おいて、パソコン側へコマンド実行
信号を送出する第３ボタン（第２操作手段）１４がＯＮ
される。通常のマウスのダブルクリック操作に相当す
る。次のステップＳ２１４に進み、クリック動作が実行
されたか否かを判断する。このステップにおいてクリッ
ク動作が実行されなければ、ステップＳ２０１に戻り、
動作するまで繰り返される。

【０１０９】ステップＳ２１３でスクリーンに投影され
ているカーソルは静止した状態である。すなわち、次の
撮像シャッター制御信号がカーソル位置制御手段１２５
に入力されない限り、先に取り込んだ画像データに基づ
き演算された被検出位置信号がカーソル位置制御手段に
より保持され、表示画面上のカーソルはプロジェクタを
介し投影されている。そのため、ポインティング入力手
段の実行制御ボタン（第２操作ボタン）の操作は、カー
ソル位置と関係なく、どの操作位置からも行うことが可
能である。

【０１１０】図２１は、図１９のステップＳ２０５のド
ラッグ動作モードを選択したときのドラッグ動作を説明
するフローチャートである。ステップＳ２２１にて、制
御部によりある一定の時間間隔で間欠的なクロック制御
信号を発生し、その制御信号により撮像シャッターが制
御される。 この時間間隔の設定はカーソルがスクリー
ン上に投影される間隔となり、時間間隔が長ければ移動
している間に投影されるカーソルの回数が少なくなる。
この時間の設定は操作中でも設定可能となっている。
（設定ダイヤルは不図示）ドラッグ動作モード中は第１
操作ボタンは２秒以上押下し続けている間中、ステップ
Ｓ２２１〜Ｓ２２７が実行される。第１操作ボタンの押
下を止めればドラッグ動作は終了する（ステップＳ２２
８）。 ステップＳ２２１〜Ｓ２２７は基本動作フロー
チャートと同じであるので説明は省く。また、このドラ
ッグ動作モードのステップＳ２２７において、レーザー
照射位置（被検出位置）が表示画像領域外の時にＯＦ
Ｆ、表示領域内の時にＯＮとなるようにしてもよい。

【０１１１】クリック動作の時にはＰＣ側にコマンド実
行信号が送出される。ポップアップメニューボタンは通
常のマウスカーソルの右クリックボタンに相当し、単に
スクリーン上のカーソルのある位置でポップアップメニ
ュー表示する動作である。このように、本発明の実施の
形態で用いられるカーソル動作モードは、一般で用いら
れているマウスカーソルの扱いと違和感ないように配慮
された操作となっている。

【０１１２】ポインティング入力手段より出力された撮
像画像データやコマンド実行信号などはパソコン側に入
力される。パソコン側のこれら信号の動作について説明
する。パソコン本体では、ポインティング入力手段から
出力された撮像画像データは受信手段１２１により受信
され、入出力インターフェイス（不図示）に入る。撮像
画像データは入出力インターフェイスにより信号処理さ
れ、画像処理手段５に送出される。 画像処理手段５で
は、撮像画像データに基づいて特徴点の抽出処理ならび
に位置演算処理が順次行われる。位置演算処理された被
検出位置信号がカーソル位置制御手段に送られ、スクリ
ーン上の被検出位置の座標に相当するパソコンのカーソ
ル座標位置にカーソルが設定される。

【０１１３】ＣＰＵは入出力インターフェイスからの割
込信号の発生に伴い、カーソル表示制御手段（マウスド
ライバ）を起動し、パソコンカーソル座標位置に応じた
表示信号を表示制御手段１２７に送出する。このような
カーソル表示に関する表示制御信号は、表示制御手段１
２７からプロジェクタ１３０へ送出され、スクリーン画
像上に重畳投影される。

【０１１４】一方、ポインティング入力手段から出力さ
れたコマンド実行信号は、カーソル座標上の被検出位置
の座標位置に応じてＣＰＵによりＯＳやアプリケーショ
ン上のコマンドを実行する。このように本実施の形態に
係わるポインティング装置は、通常のマウスのように操
作平面部を必要とせず、空間的に操作ができので操作自
由度が高く、小型軽量である。その上、操作者は任意の
操作位置からスクリーンなど表示画面上の指示したい個
所を直接かつ的確に表示や制御ができるため、パソコン
遠隔操作が非常に手軽に行える。

【０１１５】次に、プロジェクタによりスクリーン平面
上に投影されている歪んだ画像上の被検出位置を検出す
る例について説明する。図２２は、プロジェクタにより
スクリーン平面に投影された画像上の被検出位置の検出
するポインティング装置の配置図である。

【０１１６】図２２は図１と同じシステム構成である
が、プロジェクタ光源Ｏs（Ｘe，Ｚe）から投影される
画像の光軸はＸ軸に対して角度θで傾いている配置とな
っている。また、その投影画像の広がり（投射角度）は
角度±ωである。スクリーン上に表示されている投影画
像Ｑ'（Ｑ1'Ｑ2'Ｑ3'Ｑ4'）は、矩形原画像Ｑ（Ｑ1Ｑ2
Ｑ3Ｑ4）が幾何学的に歪んだ画像として投影されてい
る。

【０１１７】図のＸ軸は撮像視点Ｏc（０，０）からＺ
軸方向に焦点距離ｆ離れた位置Ｏm（０，ｆ）で、撮像
面に一致させてある。スクリーン平面上の被検出位置Ｐ
sは撮像面の基準位置Ｏmと一致させてあり、スクリーン
平面ＳはＸ軸に対して被検出位置Ｏmを中心に角度ε傾
けて置かれている。

【０１１８】まず最初に、スクリーン平面がプロジェク
タ光源の光軸に対し垂直に置かれたとき投影される歪み
のない投影画像平面（仮想投影面）を考え、そのときの
被検出位置Ｐsの座標位置を算出する。 仮想投影面はＯ
m、Ｐ1(Ｘp1，Ｙp1)、Ｐ2（Ｘp2，Ｙp2）を含む面であ
る。被検出位置Ｐsの座標位置は｜ＯmＰ1｜／｜ＯmＰ2
｜で表される。

【０１１９】次に、点Ｐ1及びＰ2の座標を光源位置の座
標（Ｘe,Ｚe）ならびにθ、ωを用いて、数１５ならび
に数１６が得られる。

【０１２０】

【数１５】

【０１２１】

【数１６】

【０１２２】また、仮想投影画像面上の横軸比ＯmＰ1／
ＯmＰ2を撮像面上の座標ｑs1（Ｘ1,Ｚ1）、ｑs2(Ｘ2,Ｚ
2）を用いて、数１７が簡単に得られる。

【０１２３】

【数１７】

【０１２４】数１７は焦点距離ｆならびに２点の画像座
標上の特徴点と撮像面に対するスクリーン平面の傾き角
度εで表現され、角度θ及びωは消え、光源位置には関
係ないことがわかる。ここで得られた数１７は、本実施
の形態で示した数１３と同じ式である。

【０１２５】以上の結果により、 被検出位置の座標算
出式（数１２及び数１３）は、スクリーン上に投影され
た画像に幾何学的歪みがあったとしても、投影画像の幾
何学的歪みに関係なく、画像上の被検出位置の座標を算
出することが可能であることが明らかになった。すなわ
ち、数１７はスクリーン平面上に画像投影するプロジェ
クタ光源位置に関係しないのである。 このように、本
実施の形態に係わるポインティング装置はプロジェクタ
光源からの投影画像上の被検出位置を検出する場合には
格段の効果を発揮する。

【０１２６】

【発明の効果】以上のように、本発明の実施の形態に係
わるポインティング装置は、予め撮像面の基準位置を定
めこの位置と被検出位置を合わせたこと、複数の特徴点
により形成される消失点を用いて演算処理したことなど
により、撮像レンズの焦点距離と矩形形状を特徴づける
４個の画像位置データとの少ないパラメータを用いた簡
単な関係式を導出できた。このように平面の姿勢検出や
被検出位置算出が、煩雑な行列演算処理を必要としない
ため、高いポインティング精度で、早い演算処理が可能
となった。

【０１２７】また、３次元空間内に置かれた平面の姿勢
位置情報を得るための姿勢センサが不要となるので、装
置構成は簡素化され、小型軽量化で操作性に優れた装置
が実現できる。このように本実施の形態に係わる検出装
置は、従来にない新しい入力装置である。特に、投影画
面に対しては、たとえスクリーン上の表示画像に幾何学
的な歪みが生じても関係なく座標検出が可能となるた
め、プレゼンテーション、ゲームなど様々な分野におけ
る用途の拡大が期待できる。

【図面の簡単な説明】

【図１】本発明のポインティング装置を説明するシステ
ム構成図。

【図２】本実施の形態の構成ブロック図。

【図３】本実施の形態の平面姿勢演算手段の詳細構成ブ
ロック図。

【図４】本実施の形態の構成斜視図。

【図５】光ビーム照射手段の光学系

【図６】視準手段の光学系

【図７】本実施の形態のパソコン側のブロック構成図。

【図８】本実施の形態の基本動作を説明するフローチャ
ート。

【図９】本実施の形態の画像処理部の詳細フローチャー
ト。

【図１０】画像座標系と平面座標系（スクリーン座標
系）との関係図。

【図１１】撮像されたスクリーン画像。

【図１２】撮像されたスクリーン画像。

【図１３】撮像された画像面上の各座標系。

【図１４】透視射影変換を説明する図。

【図１５】３次元透視射影変換を説明する斜視図。

【図１６】図１５におけるスクリーンのＸ’−Ｚ’座標
面上への正投影図。

【図１７】図１５におけるスクリーンのＹ’−Ｚ’座標
面上への正投影図。

【図１８】スクリーン座標系とカーソル座標系との対応
を説明する図。

【図１９】本実施の実施の形態に係わる操作処理フロー
チャート１。

【図２０】本実施の実施の形態に係わる操作処理フロー
チャート２。

【図２１】本実施の実施の形態に係わる操作処理フロー
チャート３。

【図２２】 スクリーン平面上の投影歪み画像上の位置
検出を説明する図。

【符号の説明】

１ 撮像手段 ２ Ａ／Ｄ変換手段 ３ フレームメモリ ４ 制御手段 ５ 画像処理手段 ６Ａ 光ビーム照射手段 ６Ｂ 視準手段 ７ 光照射ボタン ８ シャッターボタン（第１操作手段） ９ 出力信号処理手段 １０ 電源 １４ コマンド実行信号送出ボタン（第２操作手段） １２ ポップアップメニューボタン ５０ 画像処理手段 ５１ 特徴点抽出処理手段 ５２ 位置演算手段 １００ ポインティング入力手段 １１０ スクリーン １１１ スクリーン上に投影されている画像 １２０ パソコン １３０ プロジェクタ ５２１ 平面姿勢演算手段 ５２２ 座標演算手段 ５２１１ 消失点算出手段 ５２１２ 消失直線算出手段 ５２１３ 消失特徴点算出手段 ５２１４ 画像座標系変換手段 ５２１５ 透視射影変換手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 粕谷 純美 東京都品川区二葉１丁目３番25号 株式会 社ニコン技術工房内 Ｆターム(参考） 5B087 AA09 AB14 BC03 CC06 CC09 5E501 AA02 AC14 BA05 CA02 CB09 CB11 CB14 EA05 EA07 EA11 EA12 EB06 FA02 FA04 FB04

Claims (30)

【特許請求の範囲】
1. 【請求項１】 表示された画像上の被検出位置を操作す
   るポインティング装置であって、 前記表示画像上の被検出位置を複数の特徴点を含んで撮
   像する撮像手段と、前記撮像手段へシャッター信号を送
   出する第１操作手段と、前記第１操作手段の操作によっ
   て得られた前記被検出位置においてコマンド実行信号を
   送出する第２操作手段とを有するポインティング入力手
   段と、前記ポインティング入力手段から送出された画像
   データの前記特徴点の座標位置に基づいて、撮像面上の
   基準位置にて撮像された点での前記表示画像上の被検出
   位置の座標位置を演算する画像処理手段とを備えたこと
   を特徴とするポインティング装置。
2. 【請求項２】 表示された画像上の被検出位置を操作す
   るポインティング装置であって、 前記表示画像上の被検出位置を予め定められた撮像面上
   の基準位置に合った状態で、複数の特徴点を含んで撮像
   する撮像手段と、前記撮像手段へシャッター信号を送出
   する第１操作手段と、前記第１操作手段の操作によって
   得られた前記被検出位置においてコマンド実行信号を送
   出する第２操作手段とを有するポインティング入力手段
   と、前記ポインティング入力手段から送出された画像デ
   ータの前記特徴点の座標位置に基づいて、表示画像上の
   被検出位置の座標位置を演算する画像処理手段とを備え
   たことを特徴とするポインティング装置。
3. 【請求項３】 前記画像処理手段は、 前記撮像手段により撮像された画像データに基づいて前
   記特徴点を抽出する特徴点抽出手段と、 前記抽出手段により抽出された撮像面上の特徴点の座標
   位置に基づいて、撮像面に対する表示画像平面の姿勢を
   演算する姿勢演算手段と、前記姿勢演算手段により算出
   された姿勢パラメータと前記特徴点の座標位置とに基づ
   いて前記表示手段に表示された画像上の被検出位置の座
   標を検出する座標演算手段とを備えたことを特徴とする
   請求項１または２記載のポインティング装置。
4. 【請求項４】 前記表示画像は前記複数の特徴点を含ん
   でいることを特徴とする請求項１〜３記載のポインティ
   ング装置。
5. 【請求項５】 前記表示画像は光源から投影された画像
   であることを特徴とする請求項１〜４のいずれかに記載
   のポインティング装置。
6. 【請求項６】 前記第１操作手段は所定時間以上の間押
   下されると間欠的なシャッター制御信号を前記撮像手段
   へ送出することを特徴とする請求項１〜３のいずれかに
   記載のポインティング装置。
7. 【請求項７】 前記ポインティング入力手段は、前記被
   検出位置が予め定められた撮像面上の基準位置に合って
   いる状態で撮像が行われるようにするためのファインダ
   ーを備えたことを特徴とする請求項２または３記載のポ
   インティング装置。
8. 【請求項８】 前記ポインティング入力手段は、前記被
   検出位置が予め定められた撮像面上の基準位置に合って
   いる状態で撮像が行われるようにするための被検出位置
   を輝点とする光ビームを照射する光ビーム照射手段を備
   えたことを特徴とする請求項２または３記載のポインテ
   ィング装置。
9. 【請求項９】 前記撮像手段の光軸と前記光ビーム照射
   手段の光軸とが、ほぼ一致していることを特徴とする請
   求項８記載のポインティング装置。
10. 【請求項１０】 前記姿勢演算手段は、透視射影変換手
    段用いて行うことを特徴とする請求項３記載のポインテ
    ィング装置。
11. 【請求項１１】 前記透視射影変換手段は、消失点を用
    いて行うことを特徴とする請求項１０記載のポインティ
    ング装置。
12. 【請求項１２】 前記姿勢演算手段の姿勢パラメータ
    は、消失点を用いて行うことを特徴とする請求項３記載
    のポインティング装置
13. 【請求項１３】 前記姿勢演算手段は、前記特徴点の座
    標位置に基づいて、消失点を算出する消失点算出手段
    と、前記消失点と前記撮像面上に予め定められた基準位
    置とを結ぶ消失直線を算出する消失直線算出手段と、前
    記消失直線と前記特徴点の相隣接するｂ２点間の直線と
    の交点の座標位置を算出する消失特徴点算出手段とを備
    えたことを特徴とする請求項１１または１２記載のポイ
    ンティング装置。
14. 【請求項１４】 前記消失点のうち１つの消失点が画像
    座標系のＸ軸またはＹ軸のいずれか一方に一致するよう
    に撮像画像データを画像上の基準位置を中心に回転させ
    る画像座標系変換手段を備えたことを特徴とする請求項
    １１〜１３のいずれかに記載のポインティング装置。
15. 【請求項１５】 前記基準位置は前記撮像手段の光軸が
    撮像面を切る点であることを特徴とする請求項１〜１４
    のいずれかに記載のポインティング装置。
16. 【請求項１６】 前記基準位置は撮像面の中心位置であ
    ることを特徴とする請求項１〜１４記載のポインティン
    グ装置。
17. 【請求項１７】 前記特徴点抽出手段にて所定の特徴点
    が抽出されなかったときに警告する警告手段を備えたこ
    とを特徴とする請求項１〜３記載のポインティング装
    置。
18. 【請求項１８】 表示された画像上の被検出位置を操作
    するポインティング方法であって、 複数の特徴点を含んで表示画像上の被検出位置を撮像す
    る撮像ステップと、前記撮像ステップへシャッター信号
    を送出する第１操作ステップと、前記第１操作ステップ
    の結果得られた前記被検出位置においてコマンド実行信
    号を送出する第２操作ステップとを含むポインティング
    入力ステップと、前記ポインティング入力ステップから
    送出された画像データの前記特徴点の座標位置に基づい
    て、撮像面上の基準位置にて撮像された点での前記表示
    画像上の被検出位置の座標位置を演算する画像処理ステ
    ップとを含むことを特徴とするポインティング方法。
19. 【請求項１９】 表示された画像上の被検出位置を操作
    するポインティング方法であって、 複数の特徴点を含んで表示画像上の被検出位置を予め定
    められた撮像面上の基準位置に合った状態で撮像する撮
    像ステップと、前記撮像ステップへシャッター信号を送
    出する第１操作ステップと、前記第１操作ステップの操
    作によって得られた前記被検出位置においてコマンド実
    行信号を送出する第２操作ステップとを含むポインティ
    ング入力ステップと、前記ポインティング入力ステップ
    から送出された画像データの前記特徴点の座標位置に基
    づいて、表示画像上の被検出位置の座標位置を演算する
    画像処理ステップとを含むことを特徴とするポインティ
    ング方法。
20. 【請求項２０】 前記画像処理ステップは、前記ポイン
    ティング入力ステップから送出された画像データに基づ
    いて前記特徴点を抽出する特徴点抽出ステップと、 前記抽出ステップにより抽出された撮像面上の特徴点の
    座標位置に基づいて、撮像面に対する表示画像平面の姿
    勢を演算する姿勢演算ステップと、前記姿勢演算ステッ
    プにより算出された姿勢パラメータと前記特徴点の座標
    位置とに基づいて表示された画像上の被検出位置の座標
    を演算する座標演算ステップとを含むことを特徴とする
    請求項１９記載のポインティング方法。
21. 【請求項２１】 前記表示画像は前記複数の特徴点を含
    んでいることを特徴とする請求項１７〜２０記載のポイ
    ンティング方法。
22. 【請求項２２】 前記表示画像は光源から投影された画
    像であることを特徴とする請求項１７〜２１のいずれか
    に記載のポインティング方法。
23. 【請求項２３】 前記第１操作ステップは所定時間以上
    の間押下されると間欠的なシャッター制御信号を前記撮
    像手段へ送出することを特徴とする請求項１８〜２０の
    いずれかに記載のポインティング方法。
24. 【請求項２４】 前記ポインティング入力ステップは、
    前記被検出位置が予め定められた撮像面上の基準位置に
    合っている状態で撮像が行われるようにするための被検
    出位置を輝点とする光ビームを照射する光ビーム照射ス
    テップを含むことを特徴とする請求項１７〜１９のいず
    れかに記載のポインティング方法。
25. 【請求項２５】 前記姿勢演算ステップは、透視射影変
    換処理にて行うことを特徴とする請求項２０記載のポイ
    ンティング方法。
26. 【請求項２６】 前記透視射影変換処理は、消失点を用
    いて行うことを特徴とする請求項２０記載のポインティ
    ング方法。
27. 【請求項２７】 前記姿勢演算ステップの姿勢パラメー
    タは、消失点を用いて行うことを特徴とする請求項２０
    記載のポインティング方法。
28. 【請求項２８】 前記姿勢演算ステップは、前記特徴点
    の座標位置に基づいて、消失点を算出する消失点算出ス
    テップと、前記消失点と前記撮像面上に予め定められた
    基準位置とを結ぶ消失直線を算出する消失直線算出ステ
    ップと、前記消失直線と前記特徴点の相隣接する２点間
    の直線との交点の座標位置を算出する消失特徴点算出ス
    テップとを含むことを特徴とする請求項２７記載のポイ
    ンティング方法。
29. 【請求項２９】 前記消失点のうち１つの消失点が画像
    座標系のＸ軸またはＹ軸のいずれか一方に一致するよう
    に撮像画像データを画像上の基準位置を中心に回転させ
    る画像座標系変換ステップを備えたことを特徴とする請
    求項２７または２８記載のポインティング方法。
30. 【請求項３０】 前記基準位置は前記撮像手段の光軸が
    撮像面を切る点であることを特徴とする請求項１７〜２
    ９のいずれかに記載のポインティング方法。