JP2007140186A - Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program - Google Patents
Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program Download PDFInfo
- Publication number
- JP2007140186A JP2007140186A JP2005334415A JP2005334415A JP2007140186A JP 2007140186 A JP2007140186 A JP 2007140186A JP 2005334415 A JP2005334415 A JP 2005334415A JP 2005334415 A JP2005334415 A JP 2005334415A JP 2007140186 A JP2007140186 A JP 2007140186A
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- dimensional
- pointer
- depth
- depth position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、3次元ポインティング方法および3次元ポインティング装置ならびに3次元ポインティングプログラムに関し、特に、DFD(Depth-Fused 3-D)表示装置などの3次元立体像を呈示できる表示装置におけるポインティングに適用して有効な技術に関するものである。 The present invention relates to a three-dimensional pointing method, a three-dimensional pointing device, and a three-dimensional pointing program, and in particular, applied to pointing in a display device capable of presenting a three-dimensional stereoscopic image such as a DFD (Depth-Fused 3-D) display device. It relates to effective technology.
従来、PC(Personal Computer)の演算性能の著しい向上や処理速度の高速化、グラフィック機能の強化等にともない、GUI(Graphical User Interface)は、その表示・機能・操作のどれもがこれまで以上に複雑化している。そのため、操作者が目的の動作を遂行するに当たって、それらが足枷となって効率的な操作を妨げていることがある。 Conventionally, GUI (Graphical User Interface) has more display, function, and operation than ever before due to remarkable improvement in computing performance of PC (Personal Computer), speeding up of processing speed, enhancement of graphic function, etc. It is getting complicated. For this reason, when an operator performs a desired operation, they may become a toe and prevent efficient operation.
そのような状態を改善するために、近年、3次元表示空間を用いて情報を呈示・操作することが提案されている(たとえば、非特許文献1を参照。)。これはしばしば3次元GUIと呼ばれ、3次元表示空間に3次元的にオブジェクトを配置し、所定の入力デバイスを用いて前記オブジェクトを操作するという仕組みである。なお、前記3次元GUIの他にも、たとえば、3次元表示空間内で設計などを行うCAD(Computer Aided(or Assisted) Design)やCG(Computer Graphics)などにおいても同様の仕組みを用いることがあるが、3次元的に配置されたオブジェクトを操作・ポインティングするという観点から、ここからは3次元GUIを例にとって話を進めることにする。 In order to improve such a state, in recent years, it has been proposed to present and manipulate information using a three-dimensional display space (see, for example, Non-Patent Document 1). This is often called a three-dimensional GUI, and is a mechanism in which an object is arranged three-dimensionally in a three-dimensional display space and the object is operated using a predetermined input device. In addition to the 3D GUI, a similar mechanism may be used in, for example, CAD (Computer Aided (or Assisted) Design) and CG (Computer Graphics) for designing in a 3D display space. However, from the viewpoint of manipulating and pointing to an object arranged three-dimensionally, the discussion will be made with a three-dimensional GUI as an example.
3次元GUIを用いると、これまで2次元上に並べて、もしくは重ねて配置していたオブジェクトを、操作者から見て3次元的に配置することが可能となり、作業スペースを効率的に扱うことができる。また、われわれを取り巻いている実世界は3次元空間であるがゆえに、GUIを3次元化することで2次元のGUIよりも直感的に扱うことができるGUIとなる。 Using the 3D GUI, it is possible to arrange the objects that have been arranged two-dimensionally or stacked up to now in a three-dimensional manner from the viewpoint of the operator, and the work space can be handled efficiently. it can. In addition, since the real world surrounding us is a three-dimensional space, the GUI can be handled more intuitively than a two-dimensional GUI by making the GUI three-dimensional.
しかしながら、3次元GUIを操作する過程において必要となってくる課題の一つに、様々な奥行き位置にあるオブジェクトのポインティングがある。これまでの技術では、2次元のGUIにおいて用いられてきたマウスやキーボード、ジョイスティック等での操作に、奥行き方向への移動に必要な新たな機能を付加することで、ポインタの3次元表示空間内の移動を実現している。また、ポインタの奥行き方向の位置は、たとえば、ポインタを拡大あるいは縮小させることで表現し、3次元表示空間の奥にあるオブジェクトのポインティングを行っていた(たとえば、非特許文献2を参照。)。つまり、3次元表示空間内でポインタが手前にあるときはポインタを大きく表示し、奥にあるときにはポインタを小さく表示する方法などが提案されていた。 However, one of the problems that are required in the process of operating the three-dimensional GUI is pointing to objects at various depth positions. In the conventional technology, a new function necessary for moving in the depth direction is added to the operation with the mouse, keyboard, joystick, etc. that has been used in the two-dimensional GUI, so that the pointer within the three-dimensional display space The movement is realized. The position of the pointer in the depth direction is expressed by, for example, enlarging or reducing the pointer, and pointing to an object in the back of the three-dimensional display space (see, for example, Non-Patent Document 2). That is, there has been proposed a method of displaying a large pointer when the pointer is in front in the three-dimensional display space and displaying a small pointer when it is in the back.
ところが、これらの方法の多くは、3次元表示空間に表示されたポインタが空間内を奥行き方向に自由に動くことが可能なため、いくらポインタが表示装置上に表示され、2次元位置が分かりやすくても、一体ポインタがどの奥行き位置にあり、3次元空間のどこをポインティングしているか、操作者は明確に知覚しにくい。 However, in many of these methods, since the pointer displayed in the three-dimensional display space can freely move in the depth direction in the space, the pointer is displayed on the display device and the two-dimensional position is easily understood. However, it is difficult for the operator to clearly perceive which depth position the integrated pointer is and where in the three-dimensional space is pointing.
この問題を解決する方法の一例として、たとえば、ポインタの近くに、奥行き位置の変わらないxyz軸などのリファレンスを表示して奥行き位置を知覚しやすくする方法がある(たとえば、特許文献1を参照。)。しかしながら、表示されるリファレンスは、一般に、ポインタの奥行き位置の手がかりとなる点を除けば、ポインタの形状とは何の関わりもない。そのため、不自然な上、表示面にリファレンスが現れることで操作者の視界をさえぎり、作業効率を下げてしまうこともある。 As an example of a method for solving this problem, for example, there is a method of displaying a reference such as an xyz axis whose depth position does not change near the pointer so that the depth position can be easily perceived (see, for example, Patent Document 1). ). However, the displayed reference generally has nothing to do with the shape of the pointer, except that it is a clue to the depth position of the pointer. For this reason, it is unnatural, and the reference appears on the display surface, thereby obstructing the operator's view and reducing the work efficiency.
以上のことから、3次元GUIでのポインタを用いたポインティング作業において、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者がいち早く、しかも正確に知覚でき、さらに操作者の作業を妨げることなく、自然にポインティングを行えるポインティング方法が求められていた。
本発明が解決しようとする問題点の1つは、前記背景技術で説明したように、従来の3次元GUIでのポインタを用いたポインティング作業では、ポインタが3次元表示空間の、どの奥行き位置にあって、どこをポインティングしているかを、操作者が直感的に、かつ、正確に知覚することが難しいという点である。 One of the problems to be solved by the present invention is that, as described in the background art, in the pointing operation using the pointer in the conventional three-dimensional GUI, the pointer is located at any depth position in the three-dimensional display space. Therefore, it is difficult for an operator to intuitively and accurately perceive where he is pointing.
また、他の問題点として、ポインタの形状との関連性が低い不自然なリファレンスを用いると、操作者の視界をさえぎってしまい、場合によっては作業効率を下げてしまうという点がある。 Another problem is that the use of an unnatural reference having a low relevance to the shape of the pointer obstructs the operator's field of view, and in some cases reduces the work efficiency.
本発明の目的は、3次元GUIでのポインタを用いたポインティング作業において、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者がいち早く、しかも正確に知覚でき、さらに操作者の作業を妨げることのない自然な形状のポインタを用いてポインティングを行うことが可能なポインティング方法およびポインティング装置を提供することにある。 The object of the present invention is to enable the operator to quickly and accurately perceive the depth position of the pointer and the pointing position in the pointing operation using the pointer in the three-dimensional GUI, and further the operation of the operator It is an object of the present invention to provide a pointing method and a pointing device capable of pointing using a pointer having a natural shape that does not hinder the movement.
本発明の前述ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面によって明らかにする。 The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
本発明の3次元ポインティング方法は、3次元表示が可能な表示装置に3次元GUIを表示させ、3次元GUI内の任意の奥行き位置に配置されたオブジェクトを、ポインタを用いてポインティングするときに、ポインタの少なくとも一つの部位で2次元座標のポインティングし、また、少なくとも一つの部位で奥行き位置のポインティングをすると同時に、少なくとも一つの部位の2次元平面内での位置を、ポインティングしている奥行き位置に応じて変化させることを特徴とする。これにより、操作者が、ポインティングしている2次元座標だけでなく、奥行き位置も知覚できるようにする。 In the 3D pointing method of the present invention, when a 3D GUI is displayed on a display device capable of 3D display and an object placed at an arbitrary depth position in the 3D GUI is pointed using a pointer, Point the two-dimensional coordinates with at least one part of the pointer, and point the depth position with at least one part. At the same time, set the position of the at least one part in the two-dimensional plane to the pointing depth position. It is characterized by being changed accordingly. This allows the operator to perceive not only the pointing two-dimensional coordinates but also the depth position.
また、ポインタが、ポインティング可能なオブジェクトに、2次元射影平面上で一定の距離以内に近づくと、ポインティング可能なオブジェクトの奥行き位置を、奥行き位置に応じて2次元平面内の位置が変化するポインタの少なくとも一箇所の部位の2次元射影平面上での位置が一致する位置に、前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトを表示させる。これにより、操作者は3次元空間に配置されたオブジェクトの奥行き位置を迅速かつ正確に把握でき、それらのオブジェクトのポインティングを、迅速かつ直感的に行うことができるようになる。 Further, when the pointer approaches the object that can be pointed within a certain distance on the two-dimensional projection plane, the depth position of the object that can be pointed is changed to the position of the pointer whose position in the two-dimensional plane changes according to the depth position. An object indicating a position in the two-dimensional plane corresponding to the depth position is displayed at a position where the position on the two-dimensional projection plane matches at least one part. As a result, the operator can quickly and accurately grasp the depth position of the objects arranged in the three-dimensional space, and can quickly and intuitively point these objects.
またこのとき、ポインティング可能なオブジェクトの形状、色、大きさ、向き、動きなどを、前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトに持たせる。これにより、操作者は、次元空間に配置されたオブジェクトの奥行き位置をより迅速かつ正確に把握できる。また、オブジェクトが3次元空間内で重なった場合などにおいても、操作者は迷うことなく目的のオブジェクトをポインティングすることができるようになる。 At this time, the object indicating the position in the two-dimensional plane corresponding to the depth position is given the shape, color, size, orientation, movement, etc. of the object that can be pointed. Thereby, the operator can grasp | ascertain the depth position of the object arrange | positioned in dimension space more rapidly and correctly. Further, even when the objects overlap in the three-dimensional space, the operator can point to the target object without hesitation.
またさらに、本発明の3次元ポインティング方法では、ポインタ自体に、奥行き位置を知るためのリファレンスとなる部位を設ける。このリファレンスとなる部位は、ポインティングを行うに当たって奥行き位置が固定されており、ポインタの奥行きが変化する部位と比較することで、操作者に、ポインティングしている奥行き位置をより早く、分かりやすく呈示できる。 Furthermore, in the three-dimensional pointing method of the present invention, a part serving as a reference for knowing the depth position is provided on the pointer itself. This reference part has a fixed depth position when performing pointing, and by comparing it with the part where the depth of the pointer changes, the depth position being pointed can be presented to the operator more quickly and easily. .
以上の点をふまえた本発明の3次元ポインティング方法および3次元ポインティング装置ならびに3次元ポインティングプログラムの概略を説明すれば、以下の通りである。 The outline of the three-dimensional pointing method, the three-dimensional pointing device, and the three-dimensional pointing program of the present invention based on the above points will be described as follows.
(1)外部表示装置に表現された3次元表示空間の任意の一点をポインティングする3次元ポインティング方法であって、外部入力装置からの入力情報に基づいて、前記3次元表示空間のポインティングする点の2次元平面座標および奥行き位置を算出するステップ1と、前記ポインティングする点の2次元平面座標を示す第1の部位と、前記ポインティングする点における奥行き位置を示す第2の部位と、該奥行き位置に応じて2次元平面内の位置が変化する第3の部位とを有するポインタを生成するステップ2と、前記生成したポインタを外部表示装置に表示させるステップ3とを有する3次元ポインティング方法である。
(1) A three-dimensional pointing method for pointing an arbitrary point in a three-dimensional display space represented on an external display device, wherein the point of the point in the three-dimensional display space is pointed based on input information from the external input device. Calculating a two-dimensional plane coordinate and a depth position; a first part indicating a two-dimensional plane coordinate of the point to be pointed; a second part indicating a depth position at the point to be pointed; and the depth position. Accordingly, a three-dimensional pointing method includes a
(2)前記(1)において、前記ステップ2は、前記ポインタと、ポインティング可能なオブジェクトとの、2次元射影平面上での距離が一定の距離以内に近づくと、前記ポインティング可能なオブジェクトの奥行き位置を、前記第3の部位が表示されるべき前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトを生成する3次元ポインティング方法である。 (2) In the step (1), when the distance between the pointer and the object that can be pointed on the two-dimensional projection plane approaches within a certain distance, the depth position of the object that can be pointed Is a three-dimensional pointing method for generating an object indicating a position in a two-dimensional plane corresponding to the depth position where the third part is to be displayed.
(3)前記(2)において、前記ステップ1からステップ3の各ステップに加え、前記ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトの形状、色、大きさ、向きおよび動きのうちの少なくとも一つを、前記ポインティング可能なオブジェクトの属性に対応して変化させるステップ4を有する3次元ポインティング方法である。
(3) In the above (2), in addition to the
(4)前記(1)から(3)のいずれかにおいて、前記ステップ2は、3次元空間の任意の一点をポインティングする際、前記ポインタの大きさを変化させて表示する3次元ポインティング方法である。
(4) In any one of (1) to (3), the
(5)前記(1)から(4)のいずれかにおいて、前記ステップ2は、前記第1の部位から第3の部位の各部位に加え、奥行き方向の位置が固定されており、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる第4の部位を生成する3次元ポインティング方法である。
(5) In any one of the above (1) to (4), in the
(6)外部表示装置に表現された3次元表示空間の任意の一点をポインティングする3次元ポインティング装置であって、外部入力装置からの入力情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した入力情報に基づいて、前記3次元表示空間のポインティングする点の2次元平面座標および奥行き位置を算出するポインティング位置算出手段と、前記ポインティング位置算出手段の算出結果に基づいて、前記ポインティングする点の2次元平面座標位置および奥行き位置を指し示すポインタを生成するポインタ生成手段と、前記ポインタ生成手段で生成したポインタを前記外部表示装置に表示させる表示制御手段とを備え、前記ポインタ生成手段は、前記ポインティングする点の2次元平面座標を示す第1の部位と、前記ポインティングする点における奥行き位置を示す第2の部位と、該奥行き位置に応じて2次元平面内の位置が変化する第3の部位とを有するポインタを生成する3次元ポインティング装置である。 (6) A three-dimensional pointing device for pointing an arbitrary point in a three-dimensional display space represented on the external display device, the input information acquiring unit for acquiring input information from the external input device, and the input information acquiring unit The pointing position calculation means for calculating the two-dimensional plane coordinates and the depth position of the point to be pointed in the three-dimensional display space based on the input information acquired in step (b), and the pointing based on the calculation result of the pointing position calculation means. Pointer generating means for generating a pointer indicating the two-dimensional plane coordinate position and depth position of the point; and display control means for displaying the pointer generated by the pointer generating means on the external display device, the pointer generating means, A first portion indicating a two-dimensional plane coordinate of the point to be pointed; A second portion indicating a depth position in the point of coating in a three-dimensional pointing apparatus for generating a pointer and a third portion which is located in a two-dimensional plane is changed in accordance with the 該奥 bound position.
(7)前記(6)において、前記ポインタ生成手段は、前記ポインタと、ポインティング可能なオブジェクトとの、2次元射影平面上での距離が一定の距離以内に近づくと、前記ポインティング可能なオブジェクトの奥行き位置を、前記第3の部位が表示されるべき前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトを生成する手段を備える3次元ポインティング装置である。 (7) In the above (6), when the distance between the pointer and the object that can be pointed on the two-dimensional projection plane is within a certain distance, the pointer generation unit determines the depth of the object that can be pointed to A three-dimensional pointing device comprising means for generating an object indicating a position in a two-dimensional plane corresponding to the depth position at which the third part is to be displayed.
(8)前記(7)において、前記各手段に加え、前記ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトの形状、色、大きさ、向きおよび動きのうちの少なくとも一つを、前記ポインティング可能なオブジェクトの属性に対応して変化させるオブジェクト生成手段を備える3次元ポインティング装置である。 (8) In the above (7), in addition to the above means, at least one of the shape, color, size, orientation, and movement of the object indicating the depth position of the pointing object is set as the pointing object. It is a three-dimensional pointing device provided with the object production | generation means to change according to an attribute.
(9)前記(6)から(8)のいずれかにおいて、前記ポインタ生成手段は、前記ポインタの大きさを変化させる手段を備える3次元ポインティング装置である。 (9) In any one of (6) to (8), the pointer generation means is a three-dimensional pointing device including means for changing the size of the pointer.
(10)前記(6)から(9)のいずれかにおいて、前記ポインタ生成手段は、前記第1の部位から第3の部位の各部位に加え、奥行き方向の位置が固定されており、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる第4の部位を生成する3次元ポインティング装置である。 (10) In any one of (6) to (9), the pointer generation means has a fixed position in the depth direction in addition to the first part to the third part. This is a three-dimensional pointing device that generates a fourth part capable of comparing the depth position with other parts whose positions change.
(11)前記(6)から(10)のいずれかのポインティング装置における各手段の処理動作をコンピュータに実行させる3次元ポインティングプログラムである。 (11) A three-dimensional pointing program for causing a computer to execute the processing operation of each means in the pointing device according to any one of (6) to (10).
本発明の3次元ポインティング方法は、たとえば、前記手段(1)のように、ポインティングする点の2次元平面座標を示す第1の部位と、ポインティングする点における奥行き位置を示す第2の部位と、該奥行き位置に応じて2次元平面内の位置が変化する第3の部位の3つの部位を有するポインタを生成し、外部表示装置に表示させる。そのため、操作者は、第1の部位でポインティングしている2次元座標位置を知覚し、第2の部位および第3の部位で奥行き位置を知覚できる。このように、少なくとも一つの部位(第3の部位)の2次元平面内での位置が、ポインティングしている奥行き位置に応じて変化することで、操作者がポインティングしている2次元座標だけではなく、奥行き位置も分かりやすくポインティングできる。 The three-dimensional pointing method of the present invention includes, for example, as in the means (1), a first part indicating a two-dimensional plane coordinate of a point to be pointed, a second part indicating a depth position at the point to be pointed, A pointer having three parts of the third part whose position in the two-dimensional plane changes according to the depth position is generated and displayed on the external display device. Therefore, the operator can perceive the two-dimensional coordinate position pointing at the first part, and can perceive the depth position at the second part and the third part. As described above, the position of the at least one part (third part) in the two-dimensional plane changes according to the depth position at which the pointing is performed, so that only the two-dimensional coordinates at which the operator is pointing are used. In addition, the depth position can be pointed easily.
また、たとえば、前記手段(2)のように、ポインタが、ポインティング可能なオブジェクトに、2次元射影平面上で一定の距離以内に近づいたときに、ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトを表示して示すことで、操作者は3次元空間に配置されたオブジェクトの奥行き位置を迅速かつ正確に把握でき、それらのオブジェクトのポインティングを、迅速かつ直感的に行うことができる。 In addition, for example, as in the means (2), when the pointer approaches a pointable object within a certain distance on the two-dimensional projection plane, an object indicating the depth position of the pointable object is displayed. Thus, the operator can quickly and accurately grasp the depth positions of the objects arranged in the three-dimensional space, and can quickly and intuitively point these objects.
また、たとえば、前記手段(3)のように、ポインティング可能なオブジェクトの形状、色、大きさ、向き、動きなどを、前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトに持たせることで、操作者は、3次元空間に配置されたオブジェクトの奥行き位置をより迅速かつ正確に把握できる。また、オブジェクトが3次元空間内で重なった場合などにおいても、操作者は迷うことなく目的のオブジェクトをポインティングすることができる。 Further, for example, like the means (3), an object indicating a position in a two-dimensional plane corresponding to the depth position has a shape, a color, a size, a direction, a movement, and the like of the object that can be pointed. Thus, the operator can grasp the depth position of the object arranged in the three-dimensional space more quickly and accurately. In addition, even when objects overlap in a three-dimensional space, the operator can point to the target object without hesitation.
また、たとえば、前記手段(4)のように、ポインタの大きさを変化させて表示することで、たとえば、ポインタよりも目的のオブジェクトが大きい場合などに、ポインタを拡大表示でき、ポインタがオブジェクトに隠れることなく、操作者は目的のオブジェクトの奥行き位置を正確、かつ、迅速に把握することができる。そのため、操作者は3次元空間に配置されたオブジェクトを容易にポインティングできるようになり、操作効率と操作性が向上する。 Further, for example, when the size of the pointer is changed and displayed as in the means (4), for example, when the target object is larger than the pointer, the pointer can be enlarged and displayed. Without hiding, the operator can accurately and quickly grasp the depth position of the target object. Therefore, the operator can easily point to an object arranged in the three-dimensional space, and the operation efficiency and operability are improved.
またさらに、たとえば、前記手段(5)のように、奥行き方向の位置が固定された第4の部位を有するポインタを生成すれば、前記第4の部位をリファレンスとして用いることができる。このリファレンスは、ポインティングを行うに当たって奥行き位置が固定されており、ポインタの奥行きが変化する部位と比較することで、操作者に、ポインティングしている奥行き位置をより早く、分かりやすく呈示することができる。 Still further, for example, if a pointer having a fourth part whose position in the depth direction is fixed as in the means (5), the fourth part can be used as a reference. In this reference, the depth position is fixed when performing pointing, and by comparing it with the part where the depth of the pointer changes, it is possible to present the pointing depth position to the operator more quickly and easily. .
本発明による3次元ポインティング方法で生成するポインタは、ポインティングしている2次元の座標と奥行き位置を同時に表現可能な形状を持つと同時に、その形状に奥行き位置の手がかりとなるリファレンスをポインタ形状として自然な形で持つという点で、従来のポインティング方法とは異なる。また、ポインティング可能なオブジェクトの奥行き位置を、奥行き位置に応じて2次元平面内の位置が変化するポインタの少なくとも一箇所の部位の2次元射影平面上での位置が一致する位置に、前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトを表示して示す点も、従来のポインティング方法とは異なる。さらに、前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトに、ポインティング可能なオブジェクトの属性を持たせる点も、従来のポインティング方法とは異なる。 The pointer generated by the three-dimensional pointing method according to the present invention has a shape that can represent the two-dimensional coordinates and the depth position at the same time, and at the same time, a reference that is a clue to the depth position is naturally used as the pointer shape. It differs from the conventional pointing method in that it has a simple shape. Further, the depth position of the object that can be pointed is set to the position where the position on the two-dimensional projection plane of at least one portion of the pointer whose position in the two-dimensional plane changes according to the depth position is the same. The point which displays and shows the object which shows the position in the two-dimensional plane corresponding to is also different from the conventional pointing method. Further, the object indicating the position in the two-dimensional plane corresponding to the depth position is given an attribute of a pointing object, which is different from the conventional pointing method.
また、前記手段(1)から手段(5)のような3次元ポインティング方法を実現するには、たとえば、前記手段(6)から手段(10)のような手段を備える3次元ポインティング装置を用いればよい。また、3次元ポインティング装置は、PCなどの汎用コンピュータを用いることもでき、その場合は、前記手段(11)のように、3次元ポインティング装置の各手段が行う処理動作をコンピュータに実行させるプログラムを用意し、コンピュータに実行させればよい。 In order to realize the three-dimensional pointing method such as the means (1) to the means (5), for example, a three-dimensional pointing device including means such as the means (6) to the means (10) is used. Good. The three-dimensional pointing device can also use a general-purpose computer such as a PC. In this case, a program that causes the computer to execute processing operations performed by each means of the three-dimensional pointing device, such as the means (11). Prepare it and let it run on your computer.
以下、本発明について、図面を参照して実施の形態(実施例)とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
Hereinafter, the present invention will be described in detail together with embodiments (examples) with reference to the drawings.
In all the drawings for explaining the embodiments, parts having the same function are given the same reference numerals and their repeated explanation is omitted.
図1は、本発明の3次元ポインティング方法を実現するためのシステムの構成例を示す模式図である。
図1において、1はシステム制御装置、101は入力情報取得手段、102はポインティング位置算出手段、104はポインタ生成手段、105は表示制御手段、106はポインティング判定手段、107はオブジェクト生成手段、108は処理制御手段、109は記憶手段、103はポインティング可能点判定手段、2は入力装置、3は表示装置である。
FIG. 1 is a schematic diagram showing a configuration example of a system for realizing the three-dimensional pointing method of the present invention.
In FIG. 1, 1 is a system control device, 101 is input information acquisition means, 102 is pointing position calculation means, 104 is pointer generation means, 105 is display control means, 106 is pointing determination means, 107 is object generation means, and 108 is Processing control means, 109 is storage means, 103 is a pointing possible point determination means, 2 is an input device, and 3 is a display device.
本発明の3次元ポインティング方法は、たとえば、PC(Personal Computer)のようなシステム制御装置に接続されている外部表示装置に表現された3次元表示空間の任意の一点をポインティングする方法である。このとき、前記3次元表示空間内をポインティングするオブジェクト(ポインタ)は、前記システム制御装置に接続された外部入力装置を用いて3次元的に操作する。 The three-dimensional pointing method of the present invention is a method of pointing an arbitrary point in a three-dimensional display space represented on an external display device connected to a system control device such as a PC (Personal Computer). At this time, an object (pointer) for pointing in the three-dimensional display space is three-dimensionally operated using an external input device connected to the system control device.
このとき、システム制御装置1は、たとえば、図1に示すように、外部入力装置2から入力された入力情報を取得する入力情報取得手段101と、入力情報取得手段101で取得した入力情報がポインタの制御に関する情報である場合に、その入力情報に基づいてポインティングしている点の移動方向および移動量を算出するポインティング位置算出手段102と、ポインティング位置算出手段102の算出結果に基づいてポインティング可能な点、または、オブジェクトが存在するかを判定するポインティング可能点判定手段103、ポインティング可能点判定手段103の判定に基づいてポインタを生成するポインタ生成手段104と、ポインタ生成手段104で生成されたポインタを外部表示装置3に表示させる表示制御手段105とを備える。
At this time, for example, as shown in FIG. 1, the
また、システム制御装置1は、前記各手段101〜105に加え、たとえば、図1に示したように、ポインティング可能点判定手段103の判定に基づいて生成するポインタがポインティングしている点の座標にオブジェクトがあるか否かの判定をするポインティング判定手段106と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えるオブジェクト生成手段107とを備える。
In addition to the above-described
また、システム制御装置1が、たとえば、前記PCのように、外部入力装置2からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置である場合、図1に示したように、前記各手段101〜107の他に、たとえば、処理制御手段108や記憶手段109を備えている。そして、入力情報取得手段101で取得した情報が、ポインタの制御に関する情報とは異なる場合、入力情報取得手段101は、取得した入力情報を処理制御手段108に渡し、取得した入力情報に応じた処理を前記システム制御装置1に実行させる。
Further, when the
また、外部表示装置3は、3次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのような3次元オブジェクトを2次元平面に射影した形で表示する2次元表示装置でも、DFD表示装置(たとえば、特許第3022558号明細書や特許第3460671号明細書を参照)のような3次元立体像を表示することが可能な3次元表示装置でもよい。
The
つまり、外部表示装置3は、操作者(観察者)が、表示されたポインタやオブジェクトを3次元的に知覚することが可能な表示装置であればどのような表示装置であってもよい。
In other words, the
図2−1および図2−2は、DFD表示装置の原理を説明するための模式図である。 2A and 2B are schematic diagrams for explaining the principle of the DFD display device.
DFD表示装置は、簡易な構成で3次元立体像を表示する可能な3次元表示装置であり、外部表示装置3として好ましい。
The DFD display device is a three-dimensional display device capable of displaying a three-dimensional stereoscopic image with a simple configuration, and is preferable as the
DFD表示装置は、たとえば、図2−1および図2−2に示すように、2枚あるいはそれ以上の複数枚の表示面を、観察者(操作者)の視点Pから見て重なるように配置した表示装置であり、表示方法により、通常、透過型と輝度変調型の2通りに分けられる。DFD表示装置の詳細な構成や動作原理については、たとえば、特許第3022558号明細書や特許第3460671号明細書等に記載されているので、詳細な説明は省略し、ここでは、DFD表示装置の簡単な動作原理のみを説明する。 For example, as shown in FIGS. 2-1 and 2-2, the DFD display device is arranged so that two or more display surfaces overlap each other when viewed from the viewpoint P of the observer (operator). According to the display method, the display device is usually divided into two types, a transmission type and a luminance modulation type. The detailed configuration and operation principle of the DFD display device are described in, for example, Japanese Patent No. 3022558 and Japanese Patent No. 3460671. Therefore, detailed description thereof is omitted, and here, the DFD display device is described. Only a simple operating principle will be described.
ここでは、図2−1および図2−2に示すように、2枚の表示面3A,3Bが重ね合わさっているとする。このとき、ポインタやオブジェクトなどの表示対象Objは、前記2枚の表示面3A,3Bの間の3次元空間内に、奥行き位置を反映して表示される。
Here, as shown in FIGS. 2-1 and 2-2, it is assumed that the two
DFD表示装置に表示される前記表示対象Objは、たとえば、図2−1に示すように、操作者の視点Pから見て手前の表示面3Aおよび奥の表示面3Bの両方に表示される。そしてこのとき、DFD表示装置が輝度変調型であれば、手前の表示面3Aの表示対象ObjAを輝度LA、奥の表示面3Bの表示対象ObjBを輝度LBで表示すると、前記3次元空間内の、手前の表示面3Aからの距離と奥の表示面3Bからの距離の比がLB:LAの奥行き位置に表示対象Objが表示されているように見える。
For example, as shown in FIG. 2A, the display object Obj displayed on the DFD display device is displayed on both the
また、たとえば、図2−2に示すように、1つの表示対象Objの表示領域の中で輝度を連続的に変化させることで、1つの表示対象Objを奥行き方向に傾けて表示させることもできる。図2−2に示した例では、手前の表示面3Aの表示対象ObjAの輝度を紙面上から下に向かうにつれて大きくなるようにし、奥の表示面3Bの表示対象ObjBの輝度を紙面下から上に向かうにつれて大きくなるようにしている。そのため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的な表示対象Objを観察することができる。
Further, for example, as shown in FIG. 2B, by continuously changing the luminance in the display area of one display object Obj, one display object Obj can be displayed tilted in the depth direction. . In the example shown in FIG. 2B, the brightness of the display object ObjA on the
また、詳細な説明は省略するが、DFD表示装置が透過型の場合、たとえば、手前の表示面3Aの表示対象Objを表示している領域の各点(画素)の透過度を調節することで、前記輝度変調型のDFD表示装置と同様に、手前の表示面3Aと奥の表示面3Bの間の任意の奥行き位置にポインタやオブジェクトなどの表示対象Objの立体像を表示することができる。
Although detailed explanation is omitted, when the DFD display device is a transmissive type, for example, by adjusting the transparency of each point (pixel) in the area displaying the display object Obj on the
このように、DFD表示装置は、複数枚の表示面に表示されたオブジェクトやポインタの輝度の比あるいは透過度を変えることで、容易に3次元立体像を表示できる表示装置である。 In this way, the DFD display device is a display device that can easily display a three-dimensional stereoscopic image by changing the luminance ratio or transparency of objects and pointers displayed on a plurality of display surfaces.
なお、本発明において用いる外部表示装置3は、前述の通り、3次元空間を表現することが可能な表示装置であれば、どのようなものであっても構わない。しかしながら、DFD表示装置のような、あらかじめ3次元立体像が表現できる空間が制限されている3次元表示装置(ディスプレイ)を用いると、ポインタが指す奥行き位置を操作者により明確に呈示することができ、好ましい。また、一般的なCRTディスプレイや液晶ディスプレイのような2次元表示装置の場合、表現する前記3次元空間を2次元平面に射影して表示する処理が必要であるが、たとえば、DFD表示装置の場合、3次元表示空間の奥行き方向の位置に応じて各表示面上の点(画素)の輝度の比率を設定すればよいだけなので、システム制御装置1(ポインティング装置)にかかる負荷を低減できる。
The
また、一般的なCRTディスプレイや液晶ディスプレイのような2次元表示装置の場合、表示する3次元表示空間を2次元平面に射影して表示するので、操作者によっては、実空間と同じ奥行き感覚でポインティング操作をすることは難しい場合があるが、DFD表示装置のような3次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすることができる。これらのことから、DFD表示装置のような3次元表示装置を用いることで、前記操作者は、一般的な2次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよい精度と速さで3次元の奥行きをポインティング可能となる。 In addition, in the case of a two-dimensional display device such as a general CRT display or a liquid crystal display, the displayed three-dimensional display space is projected onto a two-dimensional plane and displayed. Although it may be difficult to perform a pointing operation, by using a three-dimensional display device such as a DFD display device, it is possible to perform a pointing operation with a feeling closer to real space. From these facts, by using a 3D display device such as a DFD display device, the operator can achieve better accuracy and speed than a case where a pointing operation is performed using a general 2D display. 3D depth can be pointed.
また、外部入力装置2は、キーボードやマウスのように前記PCに一般的に接続されている入力デバイスの他、たとえば、ペンタブレットやジョイスティック(ジョイパッド)であってもよい。またさらに、外部入力装置2は、たとえば、タッチパネルやタブレットを外部表示装置3と一体化し、ペンや指先などで外部表示装置3の表示画面に触れることで情報を入力できるようにしてもよい。
The
図3乃至図5は、本発明による実施例1の3次元ポインティング方法を説明するための模式図であり、図3は本発明に用いるポインタの例を説明するための図、図4は原理を説明するための図、図5は奥行き方向にあるオブジェクトのポインティング方法を説明するための図である。 3 to 5 are schematic diagrams for explaining the three-dimensional pointing method according to the first embodiment of the present invention. FIG. 3 is a diagram for explaining an example of a pointer used in the present invention. FIG. FIG. 5 is a diagram for explaining, and FIG. 5 is a diagram for explaining a method of pointing an object in the depth direction.
本実施例1の3次元ポインティング方法は、たとえば、図3に示すように、ポインティングを行うための部位4A−1(4A−2)と、奥行き方向の位置が固定された部位4B,4Cからなるポインタ4を外部表示装置3の3次元表示空間に表示する。
The three-dimensional pointing method according to the first embodiment includes, for example, a
このとき、ポインティングを行うための部位4A−1は、ポインティングしている位置を指し示す部位4Pを有する。この部位4A−1は、外部入力装置2からの入力情報に応じて奥行き方向(z>0)に移動する部位であり、奥行き方向に移動する際には、軌跡4Dをたどる。すなわち、部位4A−1は、部位4Pを中心にz座標を変化させながら360度回転し、4A−2の位置に移動する。このとき、部位4Pのxy座標は変化せず、外部入力装置2からの入力情報に基づいてz座標のみが変化する。
At this time, the
なお、部位4A−1が奥行き方向に移動する際の軌跡4Dは、表示してもよいし、非表示でもよい。
The
また、奥行き方向の位置が固定された部位4B,4Cは、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる、いわば、奥行き位置のリファレンスとなる部位である。このとき、部位4B,4Cは、たとえば、外部表示装置3で表現される3次元表示空間の最も手前の2次元平面と、最も後方の2次元平面に表示する。外部表示装置3が、たとえば、図4に示すように、2枚の表示面3A,3Bを有するDFD表示装置であれば、たとえば、部位4Bを手前の表示面3A(z=0)上に表示し、部位4Cを奥の表示面3B上に表示する。
In addition, the
また、本実施例1では、外部表示装置3をDFD表示装置とし、3次元表示空間の設定は、手前の表示面3Aと奥の表示面3Bの間の空間とするが、特に限定する必要はなく、表示装置が表現可能な空間であれば、どの空間を対象にしてもよい。これ以後の実施例においても、外部表示装置3としてDFD表示装置を用いるが、一般的なCRTディスプレイや液晶ディスプレイのような2次元表示装置や、HMD(Head Mount Display)のような3次元立体表示装置を用いても構わないことはいうまでもない。
Further, in the first embodiment, the
本実施例1の3次元ポインティング方法は、図4に示すように、外部入力装置2として、タブレット201と入力ペン202からなるペンタブレットを用いるとする。このとき、外部表示装置3の3次元表示空間に、図4に示したようなxyzの3次元座標を取っているとし、操作者(観察者)は−z方向から外部表示装置3を見ているとする。前記ペンタブレットを用いた場合、たとえば、タブレット201上で入力ペン202を滑らせたときの、入力ペン202のx軸方向の移動量およびy軸方向の移動量に応じて、ポインタ4を、外部表示装置3に表現された3次元表示空間上のxy平面内で移動させる。また、前記ペンタブレットは、一般に、電磁誘導方式で入力ペン202の動きを感知しており、入力ペン202の位置や移動量の他、入力ペンを押す圧力(筆圧)を検知することができる(たとえば、特開平5-73208号公報を参照。)。そのため、たとえば、入力ペン202をタブレット201に押しつけたときの圧力の大きさに応じて、ポインタ4のポインティングを行うための部位4A−1を制御し、ポインティングする奥行き位置(z座標)を制御することができる。
In the three-dimensional pointing method of the first embodiment, as shown in FIG. 4, a pen tablet including a
また、前記ペンタブレットを用いる場合、たとえば、入力ペン202の圧力(筆圧)の大きさの代わりに、たとえば、入力ペン202でタブレット201を押した回数に応じて前記ポインタの奥行き位置を決定してもよい。
When using the pen tablet, for example, instead of the magnitude of the pressure (writing pressure) of the
前記ペンタブレットなどの外部入力装置2を用いてポインタ4を操作して、奥行き方向にあるオブジェクトをポインティングする方法を、図5を用いて説明する。なお、図5において、(a),(b),(c)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。また、図5において、(a),(b),(c)には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。
A method of pointing an object in the depth direction by operating the
奥行き方向のポインティングをする場合、操作者は、まず、入力ペン202のペン先の2次元位置によってポインタ4のxy座標を決定し、外部表示装置3に表示されたポインタ4のポインティング部位4Pの位置によりポインティングしている2次元座標を知覚することができる。ここで、外部表示装置3上で、図5に示した(a)の状態のように、操作者の視点から見て、ポインティングを行うための部位4A−1とオブジェクト5が重なっていても、奥行き位置が異なる場合、オブジェクト5はポインティングされていない。
When pointing in the depth direction, the operator first determines the xy coordinates of the
このような状態で、たとえば、入力ペン202をタブレット201に押し付け、筆圧を加えると、図5に示した(b)の状態のように、ポインティングを行うための部位4A−1が、xy平面内でポインティング部4Pを中心に回転しながらオブジェクト5の方向(+z方向)に移動する。このとき、操作者には、ポインティングを行うための部位4A−1のポインティング部4Pを中心とした角度が異なって見える。また、DFD表示装置のような立体表示装置を用いている場合は、ポインティングを行うための部位4A−1の奥行きも併せて知覚することができる。そのため、操作者は、ポインティングを行うための部位4A−1の回転角で知覚する奥行きから、ポインティングを行うための部位4A−1が、操作前の位置よりも奥をポインティングしていることが知覚できる。
In such a state, for example, when the
ここで、さらにもう一度、入力ペン202に筆圧を加えると、図5に示した(c)の状態のように、ポインティングを行うための部位4A−1の回転角と操作者が知覚する奥行きがさらに変化する。このとき、図5の(c)の状態のように、ポインティングする部位4Pと前記オブジェクト5の任意の一点とのxy方向の距離が所定の距離(たとえば、10ピクセル)以下であり、かつ、奥行き方向の距離が所定の距離以下になると、オブジェクト5は、ポインタ4によってポインティングされた状態になる。そこで、ポインティングされた状態であることを操作者に伝えるため、たとえば、オブジェクト5の色を変えて、ポインティングされている状態であることを表す。
Here, when the pen pressure is applied to the
なお、オブジェクト5がポインティングされたと判定されるポインティング部位4Pとのxy方向の距離および奥行き方向の距離は、操作者が任意の距離に設定できるようにしてもよいし、あらかじめ、システム制御装置1であらかじめ定められた距離に設定するようにしてもよい。
The distance in the xy direction and the distance in the depth direction with respect to the
このようにすれば、操作者は、ポインティングを行うための部位4A−1の回転角からポインタ4がポインティングする奥行き位置を直観的、かつ、正確に知覚できる。また、ポインティングを行うための部位4A−1によってポインティングされたときにオブジェクト5の色を変えることで、オブジェクト5と重なっているポインティングを行うための部位4A−1が、オブジェクト5をポインティングしているか否かが直観的、かつ、正確に知覚できる。また、ここで外部表示装置3としてDFD表示装置を用いており、ポインタ4の部位4Bや4Cは奥行き位置の知覚の手がかりとなるリファレンスとして働く。そのため、部位4B,4Cとポインティングを行うための部位4A−1の奥行き位置と比較することで、直感的、かつ、正確にポインティングを行えるという大きな効果がある。
In this way, the operator can intuitively and accurately perceive the depth position where the
図6−1は、ポインタの形状の第1の変形例を説明するための模式図である。また、図6−2は、ポインタの形状の第2の変形例を説明するための模式図である。 FIG. 6A is a schematic diagram for explaining a first modification of the shape of the pointer. FIG. 6B is a schematic diagram for explaining a second modification of the shape of the pointer.
ここまでの説明では、ポインタ4のポインティングを行うための部位4A−1の形状は、図3および図4などに示すような水滴形状を例として挙げたが、部位4A−1の形状は、操作者がポインティングしている2次元座標と奥行き位置を一つのポインタで同時に知覚でき、かつ、3次元空間の任意の点をポインティング可能な形状であれば、どのような形状であってもよい。
In the description so far, the shape of the
すなわち、ポインティングを行うための形状4A−1は、たとえば、図6−1に示すように、人差し指でオブジェクトを指し示している形状であってもよい。このとき、ポインティングしている部位4Pは、人差し指の先とする。またこのとき、部位4A−1は、部位4P(人差し指の先)を中心にz座標を変化させながら回転し、4A−2の位置に移動させる。
That is, the
また、ポインティングを行うための部位4A−1の形状は、たとえば、図6−2に示すように、三角形状であってもよい。このとき、ポインティングしている部位4Pは、1つの頂点とする。またこのとき、部位4A−1は、部位4P(1つの頂点)を中心にz座標を変化させながら回転し、4A−2の位置に移動させる。
Further, the shape of the
また、本実施例1では、ポインティングを行うための部位4A−1は、ポインティング部4Pを中心に360度回転できるような設定にしていたが、操作者にポインティングしている奥行き位置を呈示できるのであればこの限りではない。例えば、回転を180度にしても構わない。
Further, in the first embodiment, the
また、オブジェクト5についても、図5ではフォルダ型のオブジェクトを示したが、ポインタ4によってポインティング可能なものであれば、どのような形状であってもよい。
Further, the
また、本実施例1のポインティング方法において、前記ペンタブレットを用いる場合、たとえば、図4に示したような外付け型のペンタブレット201,202に限らず、たとえば、タブレット201が外部表示装置3と一体的に設けられていてもよい。タブレット201が外部表示装置3と一体的になっていれば、たとえば、外部表示装置3の表示画面上を入力ペン202で触れることでポインタ4を操作することができる。そのため、操作者は、より直感的に前記ポインタ4を操作することができる。また、本実施例1のポインティング方法は、前記ペンタブレットの代わりに、たとえば、タッチパネルのように、外部表示装置3と一体化可能な入力装置を用いてポインティングする場合にも適している。
In the pointing method of the first embodiment, when the pen tablet is used, for example, the
前記タッチパネルの場合、たとえば、入力ペン202の代わりに操作者の指で前記外部表示装置3の画面に触れることでポインタ4を操作することができるので、入力ペン202を用いるペンタブレットよりも、より直感的に前記ポインタ4を操作することができる。さらに、マウス(マウスホイール)や、キーボード、タッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに奥行きポインティングができるようにしてもよい。
In the case of the touch panel, for example, the
図7は、本実施例1の3次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。 FIG. 7 is a flowchart for explaining a processing procedure in the system control apparatus of the three-dimensional pointing method according to the first embodiment.
以下、図1に示したような構成のシステム制御装置1を用いて、本実施例1の3次元ポインティング方法を説明する。このとき、システム制御装置1は、表示制御手段105により、まず、図7に示すように、外部表示装置3にオブジェクト5およびポインタ4を表示させる(ステップ601)。このとき、前記オブジェクト5は複数個表示されていてもよく、前記外部表示装置3で表現されている3次元空間上であれば、どの位置に表示されていてもよいとする。
Hereinafter, the three-dimensional pointing method of the first embodiment will be described using the
次に、操作者が、たとえば、前記ペンタブレットのタブレット201および入力ペン202を用いて入力した情報を入力情報取得手段101で取得する(ステップ602)。このとき、入力情報取得手段101で取得する入力情報は、ポインタ4の操作に関する情報の他に、処理制御手段108に処理をさせる入力情報も取得するが、ここでは、ポインタ4の操作に関する情報を取得したとする。入力情報取得手段101は、ポインタ4の操作に関する入力情報を取得した場合、その入力情報を前記ポインティング位置算出手段102に渡す。
Next, information input by the operator using, for example, the
ポインティング位置算出手段102は、入力情報を受け取ると、まず、入力情報に基づいてポインタ4の移動方向、移動量等を算出する(ステップ603)。なお、ステップ603では、たとえば、図4に示したxy平面内でのポインタ4の移動方向や移動量を算出する。
When the pointing
次に、ステップ603における算出結果に基づいて、外部表示装置3に表示されたポインタ4を移動させて表示する(ステップ604)。ステップ604は、たとえば、ポインタ4のxy平面内での移動方向、移動量等に基づいてポインタ生成手段104で移動先のポインタ4を生成した後、表示制御手段105を利用して生成したポインタ4を外部表示装置3に表示させる。なお、入力情報中にポインタ4をxy平面内で移動する情報が含まれていない場合、ステップ604の操作は省略され、次のステップ605の処理が行われる。
Next, based on the calculation result in
ポインティング位置算出手段102は、ステップ603の処理が終わると、次に、入力情報に基づいてポインティングする部位4A−1の奥行き位置を算出する(ステップ605)。ステップ605において、奥行き位置は、たとえば、入力ペン202の筆圧情報から決定する。
When the processing of
次に、ステップ605における算出結果に基づいて、外部表示装置3に表示されたポインタ4の部位4A−1を回転させて表示する(ステップ606)。ステップ606は、たとえば、部位4A−1の奥行き位置の算出結果に基づいてポインタ生成手段104で部位4A−1の奥行き位置を変えた後、表示制御手段105を利用して、図5に示したように部位4A−1の奥行き位置を変えたポインタ4を外部表示装置3に表示させる。また、入力情報中にポインティングする部位4A−1の奥行き位置を変える情報が含まれていない場合、ステップ606の操作は省略され、次のステップ607の処理が行われる。
Next, based on the calculation result in
ポインティング位置算出手段102は、ステップ603およびステップ606の処理を行うと、算出結果をポインタ生成手段104に渡すとともに、ポインティング判定手段106にも渡す。このとき、前記ポインティング判定手段106は、受け取った算出結果から、操作後の、ポインティングを行う部位4A−1から所定の範囲内にオブジェクトが有るか否かの判定をする(ステップ407)。ステップ407は、具体的には、たとえば、ポインタ4の部位4Pが指し示す点と、オブジェクトの任意の一点との、xy方向の距離が所定の距離(たとえば、10ピクセル)以下であり、かつ、奥行き方向の距離が所定の距離以下であるか否かの判定をする。そして、xy方向の距離および奥行き方向の距離がともに所定の距離以下であるオブジェクトがある場合、そのオブジェクトはポインティングされていると判定する。このとき、ポインティングしているオブジェクトがなければ、ステップ602に戻り、次の入力情報を取得するまで待機する。
When the pointing
また、ポインティングしているオブジェクト5がある場合、オブジェクト生成手段107において、たとえば、ポインティングされているオブジェクトの色を変えたオブジェクトを生成し、外部表示装置3に表示させる(ステップ608)。そして、色を変えたオブジェクトを表示した後は、ステップ602に戻り、次の入力情報を取得するまで待機する。ここで、本実施例では、オブジェクトをポインティングしたときに色を変えることを挙げたが、ポインティング時に音を鳴らすなど、同様の効果が得られるのであればこの限りではない。
If there is the
また、前述のような手順でポインティングする部位4A−1の奥行き位置を変えて表示させた後、外部入力装置2からポインタ4の奥行き位置の操作に関する情報を取得し、たとえば、xy平面内で移動させる場合、ポインティングする部位4A−1の奥行き位置を元に戻してから移動させてもよいし、ポインティングする部位4A−1の奥行き位置を変えたまま移動させてもよい。
Further, after the depth position of the
また、図示は省略するが、ステップ602において、ポインタ4の操作に関する情報以外の入力情報を取得した場合、入力情報取得手段101は、取得した入力情報を処理制御手段108に渡す。このとき、ポインタ4の操作に関する情報以外の入力情報としては、たとえば、ポインタ4でポインティングしたオブジェクトと関連づけられたソフトウェアの起動や、数値あるいは文字列の入力情報等が挙げられる。この場合、処理制御手段108は、入力情報に基づいて、オブジェクトと関連づけられたソフトウェアの起動等の処理を行い、表示制御手段105を用いて処理結果を外部表示装置3に表示させる。
Although illustration is omitted, when input information other than information related to the operation of the
以上説明したように、本実施例1の3次元ポインティング方法によれば、ポインタ4の一つの部位4A−1の奥行き位置を変えて外部表示装置3に表示させることにより、ポインタ4を見た操作者が、ポインタ4がポインティングしている2次元座標および、奥行き位置を直観的、かつ、正確に知覚できる。
As described above, according to the three-dimensional pointing method of the first embodiment, an operation of viewing the
図8乃至図10は、前記実施例1の第1の応用例を説明するための模式図であり、図8はポインタの形状の例を説明するための図、図9は奥行き方向にあるオブジェクトのポインティング方法を説明するための図、図10は本応用例の変形例を説明するための図である。 8 to 10 are schematic diagrams for explaining the first application example of the first embodiment, FIG. 8 is a diagram for explaining an example of the shape of the pointer, and FIG. 9 is an object in the depth direction. FIG. 10 is a diagram for explaining a modification of this application example.
前記実施例1では、たとえば、図5に示したように、奥行き方向の位置を固定した部位4Bを環状にし、その内側に見えるポインティングを行うための部位4A−1が回転しながら奥行き方向に移動する形状のポインタ4を例に挙げた。しかしながら、ポインタ4の形状は、前記実施例1で挙げた形状のポインタと同等の効果が得られればどのような形状であってもよい。そこで、以下に、異なる形状のポインタの一例を挙げ、その動作などについて説明する。なお、以下に挙げるポインタ4を用いたポインティングと、前記実施例1で挙げたポインタ4を用いたポインティングとでは、ポインタ形状とポインティング位置の操作者への呈示法のみが異なる。よって、その他の入力方法や操作方法、入力情報の制御方法、表示方法、ポインティング時のフローなどは前述のポインタ4の場合と同様のため、説明は省略する。
In the first embodiment, for example, as shown in FIG. 5, the
形状が異なるポインタの一例としては、たとえば、図8に示すような形状のポインタ4が挙げられる。このポインタ4は、奥行き知覚の手がかりとなるリファレンス部位4Bとポインティングを行うとともに奥行き位置を表す部位4A−1’からなる。また、このポインタ4は、リファレンス部位4Bの中心で2次元座標(xy座標)を表現する。また、奥行き位置を表す部位4A−1’は、複数個の部位を奥行き方向に螺旋状に配置し、この部位4A−1’の変化で奥行き位置を操作者に呈示する。なお、図8では、奥行き位置を表す部位4A−1’は13段階で図示しているが、奥行き位置を表す部位4A−1’を増やし、より細かい奥行き位置を呈示することも可能である。
An example of a pointer having a different shape is a
以下、図8に示したポインタ4によるポインティング方法を、図9を用いて説明する。なお、図9において、(a),(b),(c)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。また、図9において、(a),(b),(c)には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。
Hereinafter, the pointing method using the
奥行き方向のポインティングをする場合、操作者は、まず、図9に示した(a)の状態のように、ポインタ4のリファレンス部位4Bの中心をポインティングしたいオブジェクト5と重なるように移動させる。このとき、操作者の視点から見て、リファレンス部位4Bの中心とオブジェクト5が重なっていても、奥行き位置が異なる場合、オブジェクト5はポインティングされていない。
When pointing in the depth direction, the operator first moves the center of the
このような状態で、たとえば、入力ペン202をタブレット201に押し付け、筆圧を加えるなどの、ポインタ4を奥行き方向に移動させる操作を行うと、たとえば、図9に示した(b)の状態のように、ポインタ4の奥行き位置を表す部位4A−1’が、操作者から見て手前の方(z<0)に配置されているものから順に消えていく。そのため、表示されている奥行き位置を表す部位4A−1’の数によって、現在どの奥行き位置をポインティングしているかが分かる。
In this state, for example, when an operation of moving the
ここで、さらにもう一度、ポインタ4を奥行き方向に移動させる操作を行うと、たとえば、図9に示した(c)の状態のように、ポインタ4の奥行き位置を表す部位4A−1’のうち、オブジェクト5とほぼ同じ奥行き位置より奥にある部位だけが表示されるようになる。そして、表示されている部位4A−1’のうち、最も手前にある部位の奥行き位置に相当する位置にオブジェクト5がある場合、そのオブジェクト5はポインティングされていると判定され、ポインティングされているオブジェクトの色を変えたオブジェクトを生成し、外部表示装置3に表示させる。
Here, when the operation of moving the
このとき、消えずに表示された奥行き位置を表す部位4A−1’は、奥行き知覚の手がかりとなるリファレンスとなる。ゆえに、このポインタ4’は、ポインティングを行う部位自体がリファレンスとなり得る。そのため、表示を簡潔にすることができ、システム制御装置1(計算機)の表示にかかる負荷を減らすことができる。さらに、ポインタ4は、たとえば、図10の(a),(b),(c)に示すように、奥行き位置を表す部位4A−1’を消すことなく、奥行き位置を表す部位4A−1’の色を変えるなどすることで奥行き位置を操作者に呈示することも可能である。なお、図10において、(a),(b),(c)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係を操作者の視点から見た図である。
At this time, the
図11は、前記実施例1の第2の応用例を説明するための模式図である。 FIG. 11 is a schematic diagram for explaining a second application example of the first embodiment.
前記実施例1および第1の応用例では、ポインタ4の、奥行き位置を表す部位4A−1(4A−1’)が回転しながら奥行き方向に変化しているが、これに限らず、2次元的な表現で奥行き位置を知覚させることもできる。その方法について、図11を用いて説明する。なお、図11において、上段の(a)が奥行き位置変化前、下段の(b)が奥行き位置変化後を表す。また、図11において、(a),(b)には左から順にそれぞれ、斜め上方から見た図、操作者の視点から見た図、右側面から見た図を示している。
In the first embodiment and the first application example, the
図11に示すポインタ4は、2次元座標と奥行き位置をポインティングする部位4Pを有するポインティング部4Aを持つ。また、奥行き位置をポインティングするときにポインティング部4Aがたどる軌跡を表す部位4Dを持つ。この部位4Dは奥行き方向に傾いているため、その両端の部位の奥行き位置が異なる。ゆえに、奥行き知覚の手がかりとなるリファレンスとしても働く。さらに、ポインティングする部位4Pがポインティングしている奥行き位置を示す部位4Eを持つ。ここで、部位4Eは3次元空間内では奥行き方向に移動しても構わないし、ポインティングしている奥行き位置に対応した2次元平面内のみで移動しても構わない。また、部位4Eは、操作者がポインタ4を正面から見た場合、xy平面内で移動するため、奥行き位置を2次元的に知覚することができる。
The
図12は、前記実施例1の第3の応用例を説明するための模式図である。 FIG. 12 is a schematic diagram for explaining a third application example of the first embodiment.
前記実施例1および第1の応用例では、ポインタ4の、奥行き位置を表す部位4A−1(4A−1’)が回転しながら奥行き方向に変化しているが、これに限らず、他の部位を回転させることで奥行き位置を知覚させることもできる。その方法について、図12を用いて説明する。なお、図12において、(a),(b),(c)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。また、図12において、(a),(b),(c)には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。
In the first embodiment and the first application example, the
図12に示すポインタ4は、2次元座標と奥行き位置をポインティングする部位4Pを有するポインティング部4Aを持つ。また、ポインティング部4Aの奥行き位置を表す部位4Bを持つ。この部位4Bは、図12に示すように、閉じていないリングで、その両端の奥行き位置が異なり、操作者が奥行き位置を変化させるにつれて部位4Bは回転する。操作者がポインタの奥行き位置を変化させるとポインティング部4Aは、回転する部位4Bがある奥行き位置に沿って奥行き方向に移動する。ここで、操作者は、奥行き位置が変化するにつれて、部位4Bの閉じていない部分の2次元位置が回転する(位置が変わる)ことによって奥行き位置を知覚することができる.さらに、部位4Bの両端の奥行き位置は常に変化せず一定の奥行きにとどまっているため、操作者は、この両端を奥行き知覚の手がかりとなるリファレンスとして知覚することができる。
The
上記に示したポインタは、外部表示装置3としてDFD型表示装置を用いている場合、外部表示装置3に表示されるポインティングを行うための部位4A−1’の位置や部位4Eの位置、部位4Bの閉じていない部分の2次元位置によって奥行きを認識できるだけでなく、実際に各オブジェクトの奥行きを知覚できるため、直感的、かつ、正確にポインタの奥行き位置が知覚できるという大きな効果がある。
When the DFD type display device is used as the
本実施例2は前記実施例1の3次元ポインティング方法の別の応用例であり、ポインティングしている2次元座標(xy座標)において、z座標にポインティング可能なオブジェクト(または点)が存在する場合、そのポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fをポインタに呈示するポインティング方法である。なお、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fが表示される以外は、前記実施例1と違いがないため、必要なシステムや操作法の説明は省略する。
The second embodiment is another application example of the three-dimensional pointing method of the first embodiment, and in the pointing two-dimensional coordinate (xy coordinate), there is a pointable object (or point) in the z coordinate. The pointing method presents an
図13は、本実施例2の3次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。 FIG. 13 is a flowchart for explaining a processing procedure in the system control apparatus of the three-dimensional pointing method according to the second embodiment.
本実施例2の3次元ポインティング方法の場合も、システム制御装置1では、図13に示すように、まず、外部表示装置3にオブジェクト5およびポインタ4を表示させる(ステップ601)。そして、操作者が、たとえば、前記ペンタブレットのタブレット201および入力ペン202を用いて入力した情報を入力情報取得手段101で取得する(ステップ602)。
Also in the case of the three-dimensional pointing method of the second embodiment, the
次に、ステップ603においてポインタ4の移動方向、移動量等を算出した後、ポインタ4の奥行き方向にポインティング可能なオブジェクトが、その時点でポインタがポインティングしている点の2次元射影平面(xy座標)上で所定の距離(ここでは10ピクセルとする)以内に入っているかどうかを、ポインティング可能点判定手段103において判定する(ステップ609)。ポインティング可能なオブジェクトがある場合、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fを表示し(ステップ610)、ポインティング可能なオブジェクトがない場合はステップ610を飛ばして、ステップ604の処理を行う。
Next, after calculating the moving direction, moving amount, etc. of the
なお、図13に示したステップ604からステップ608までの処理は、図7に示したステップ604からステップ608までの処理と同じ処理でよいので、繰り返しの説明は省略する。
Note that the processing from
図14は、本実施例2の概念を説明するための模式図である。 FIG. 14 is a schematic diagram for explaining the concept of the second embodiment.
本実施例2の概念を、たとえば、図5に示したポインタ4およびオブジェクト5のポインティング操作に適用すると、図14のようになる。なお、図14において、(a),(b),(c)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。
When the concept of the second embodiment is applied to the pointing operation of the
本実施例2のポインティング方法では、たとえば、図14に示した(a)の状態のように、ポインタ4のポインティングを行う部位4A−1(ポインティングしている部位4P)をオブジェクト5上に移動させると、図13に示したステップ609により、ポインティング可能なオブジェクトがあると判定される。そのため、ステップ610により、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fが生成され、図14の(a)の状態のように、外部表示装置3にオブジェクト4Fが表示される。このことにより、操作者は、ポインタ4がどの奥行き位置にあっても、ポインタ4の奥行き位置とポインティング可能なオブジェクト5の奥行き位置の関係を知ることができ、より効率的なポインティングが可能となる。
In the pointing method of the second embodiment, for example, as shown in FIG. 14A, the
この状態から、ポインティングを行う部位4A−1を奥行き方向に移動させる操作をすると、図14に示した(b),(c)の状態のように、ポインティングを行う部位4A−1が回転しながら奥行き方向に移動する。そして、ポインティングを行う部位4A−1が、オブジェクト4Fが表示されている位置まで回転すると、オブジェクト5がポインティングされた状態になり、たとえば、図14の(c)の状態のようにオブジェクト5の色が変化する。
From this state, when the operation of moving the
なお、本実施例2において、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fは小さな三角形状であるが、操作者にポインティング可能な奥行き位置を呈示可能であればこの限りではない。
In the second embodiment, the
また、本実施例2において、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fを表示するための条件として、ポインタ4がポインティングしている点の2次元射影平面(xy座標)上で一定の距離を10ピクセル以内としたが、この距離は操作者や管理者などが事前に任意の値に設定しても構わないし、システム制御装置1が自動的に所定の値に設定しても構わないものとする。
In the second embodiment, as a condition for displaying the
図15は、本発明による実施例3の3次元ポインティング方法を説明するための模式図である。 FIG. 15 is a schematic diagram for explaining the three-dimensional pointing method according to the third embodiment of the present invention.
本実施例3は、オブジェクトが操作者から見て重なった奥行き位置に配置されている場合における一つのオブジェクトのポインティング方法である。以下、本実施例3の3次元ポインティング方法を、図15を用いて説明する。なお、図15において、(a),(b),(c),(d)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、手前のオブジェクトがポインティングされたときの位置関係、奥のオブジェクトがポインティングされたときの位置関係を示す図である。また、図15において、(a),(b),(c),(d)には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。 The third embodiment is a pointing method for one object in a case where the objects are arranged at a depth position overlapped when viewed from the operator. Hereinafter, the three-dimensional pointing method of the third embodiment will be described with reference to FIG. In FIG. 15, (a), (b), (c), and (d) respectively indicate the positional relationship between the pointer and the object before pointing, the positional relationship when the pointer is moved in the depth direction, and the object in front. It is a figure which shows the positional relationship when a is pointed, and the positional relationship when a back object is pointed. In FIG. 15, (a), (b), (c), and (d) are views from the top of the operator in order from the top, a view from obliquely above, and a view from the right side, respectively. Is shown.
本実施例3では、説明を簡単にするために、たとえば、図15に示した(a)の状態のように、2つのオブジェクト5A,5Bが重なっている場合を例に挙げる。またこのとき、操作者は、後ろのオブジェクト5Bをポインティングして選択しようとしているものとする。
In the third embodiment, in order to simplify the description, for example, a case where two
また、前記実施例1のポインティング方法を用い、操作者がポインティング部4A−1の回転角と知覚される奥行き位置からポインタとオブジェクトの奥行き位置を認知し、複数のオブジェクトを個別にポインティングすることは可能であるが、ここでは、本ポインタの特徴をより生かすため、前記実施例2のポインティング方法を応用して用いることとする。本実施例3のように複数個のオブジェクトが重なっている場合、前記実施例2におけるポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fをポインティング可能なオブジェクトの数だけ複数表示する。そのため、たとえば、図15の(a)の状態のように、2つのオブジェクト5A,5Bが重なっている場合、手前のオブジェクト5Aの奥行き位置を表すオブジェクト4F−1と、奥のオブジェクト5Bの奥行き位置を表すオブジェクト4F−2が表示される。
Further, using the pointing method of the first embodiment, the operator recognizes the depth position of the pointer and the object from the rotation angle of the
本実施例3では、操作者がポインタをxy座標上で移動させ、ポインタ4の奥行き方向にポインティング可能なオブジェクトが、その時点でポインタがポインティングしている点の2次元射影平面(xy座標)上で一定の距離(ここでは10ピクセルとする)以内に入っていた場合、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4F−1,4F−2が表示される。操作者は、表示された2つのポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4F−1,4F−2から、ポインティングできるオブジェクトが2つ存在することを認識し、選択しようとしているオブジェクトの奥行き位置を他のオブジェクトの奥行き位置と混同することなく認知、さらにはポインティングすることができる。
In the third embodiment, the operator moves the pointer on the xy coordinates, and an object that can be pointed in the depth direction of the
このような状態で、たとえば、ポインタ4を奥行き方向に移動させる操作をすると、図15に示した(b)の状態のように、ポインティングを行うための部位4A−1が、xy平面内でポインティング部4Pを中心に回転しながらオブジェクト5の方向(+z方向)に移動する。
In such a state, for example, when an operation of moving the
ここで、さらにもう一度、ポインタ4を奥行き方向に移動させる操作をすると、図15に示した(c)の状態のように、ポインティングを行うための部位4A−1が、xy平面内でポインティング部4Pを中心に回転しながらオブジェクト5の方向(+z方向)に移動する。そして、手前のオブジェクト5Aの奥行き位置を表すオブジェクト4F−1が表示されている位置まで回転すると、手前のオブジェクト5Aがポインティングされた状態となり、手前のオブジェクト5Aの色が変化する。
Here, when the operation of moving the
その後、さらにもう一度、ポインタ4を奥行き方向に移動させる操作をすると、図15に示した(d)の状態のように、ポインティングを行うための部位4A−1が、xy平面内でポインティング部4Pを中心に回転しながらオブジェクト5の方向(+z方向)に移動する。そして、奥のオブジェクト5Bの奥行き位置を表すオブジェクト4F−2が表示されている位置まで回転すると、奥のオブジェクト5Bがポインティングされた状態となり、奥のオブジェクト5Bの色が変化する。このとき、手前のオブジェクト5Aは、ポインティングされていない状態の色に戻る。
Thereafter, when the operation of moving the
なお、本実施例3において、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4F−1、4F−2は小さな三角形のような形状を用いたが、操作者にポインティング可能な奥行き位置を呈示可能であればこの限りではない。また、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクトが複数表示される以外は、実施例1および実施例2と違いがないため、必要なシステムや操作法の説明は省略する。
In the third embodiment, the
図16は、本実施例3の応用例を説明するための模式図である。 FIG. 16 is a schematic diagram for explaining an application example of the third embodiment.
図15に示した例では、重なっている2つのオブジェクト5A,5Bがともに、フォルダ型のオブジェクトであったが、実際の3次元GUIでは、フォルダ型に限らず、種々の形状のオブジェクトが表示される。そこで、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fを表示するときに、該当するオブジェクトに割り当てられた属性に対応した形状のオブジェクトを表示することで、操作者は選択しようとしている目的のオブジェクトの奥行き位置を他のオブジェクトの奥行き位置と混同することなく認知し、ポインティングすることができるようになる。
In the example shown in FIG. 15, the two overlapping
ポインティング可能なオブジェクトの属性に対応した形状のオブジェクト4Fを表示する場合の一例として、図16に示すように、2つのオブジェクト5A,5Bが重なっており、手前のオブジェクト5Aがフォルダ型オブジェクト、奥のオブジェクト5Bがメール型オブジェクトである場合を挙げる。このとき、手前のオブジェクト5Aの奥行き位置を表すオブジェクト4F−1をフォルダ形状とし、奥のオブジェクト5Bの奥行き位置を表すオブジェクト4F−2をメール形状にする。このようにすれば、手前のオブジェクト5Aを選択するときには、ポインティングを行う部位4A−1がオブジェクト4F−1の位置まで回転するように外部入力装置2を操作すればよいことがわかる。
As an example of displaying an
なお、本実施例3では、ポインティング対象となるオブジェクト5A,5B、およびポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4F−1,4F−2をそれぞれ、フォルダ型、メール型としたが、同様の効果が得られるのであればこの限りではない。特にポインティング可能なオブジェクトの奥行き位置を表すオブジェクトについては、ポインティングしようとしているオブジェクトの属性に応じて、形状、色、大きさ、向き、動きなどを変化させて表示してもよいものとする。また、指標が表示される位置は、ポインティング可能な奥行き位置に限定せず、ポインティング可能な奥行き位置を操作者に2次元位置で呈示できるのであれば、その奥行き位置は問わず、2次元射影平面内のどの位置でも構わないものとする。
In the third embodiment, the
図17および図18は、本発明による実施例4の3次元ポインティング方法を説明するための模式図であり、図17は前記各実施例の問題点を説明する図、図18は本実施例4の原理を説明する図である。 17 and 18 are schematic diagrams for explaining the three-dimensional pointing method according to the fourth embodiment of the present invention. FIG. 17 is a diagram for explaining the problems of the respective embodiments, and FIG. 18 is the fourth embodiment. It is a figure explaining the principle of.
本発明の3次元ポインティング方法では、たとえば、図17に示した(a)の状態のように、操作者が選択しようとしているオブジェクト5A,5Bがポインタ4の大きさよりも大きい場合がある。このとき、ポインタ4を、たとえば、オブジェクト5A上に移動させ、ポインティングを行う部位4A−1を奥行き方向に移動させると、図17に示した(b)の状態のように、ポインティングを行う部位4A−1が隠れてしまい、どこをポインティングしているのか分からなくなってしまうことがある。
In the three-dimensional pointing method of the present invention, for example, the
そこで、本実施例では、ポインタよりも大きなオブジェクトをポインティングする際にも、ポインタが隠れることなく、また、操作者が他の実施例同様に奥行き位置を知覚してポインティングが行えるポインタについて説明する。 Therefore, in the present embodiment, a pointer is described in which the pointer is not hidden when an object larger than the pointer is pointed, and the operator can perceive the depth position as in the other embodiments.
本実施例4では、たとえば、図18に示した(a)の状態のように、オブジェクトがない位置にポインタ4がある場合、ポインタ4は、初期の大きさで表示されているとする。このとき、操作者が選択しようとしているオブジェクト5A,5Bがポインタ4の大きさよりも大きい場合がある。
In the fourth embodiment, for example, when the
そして、たとえば、ポインタ4よりも大きいオブジェクト5Bをポインティングしたい場合は、図18に示した(b)の状態のように、オブジェクト5B上にポインタ4を移動させる。そして、ポインティングを行う部位4A−1を奥行き方向に移動させる操作をする。
For example, when it is desired to point an
このとき、ポインタ4が初期の大きさであれば、ポインティングを行う部位4A−1の奥行き位置が手前のオブジェクト5Aの奥行き位置よりも奥になると、ポインティングを行う部位4A−1は手前のオブジェクト5Aに隠れてしまう。そこで、ポインティングを行う部位4A−1より手前にあり、かつ、重なっているオブジェクト5Aがある場合、図18の(b)の状態のように、ポインタ4のxy平面内での大きさを、あらかじめ操作者が設定していた大きさ、または、ポインタがオブジェクトに隠れず見える大きさまで拡大して表示される。これにより、操作者はポインタのポインティングを行う部位の奥行き位置を認識することができるようになり、目的のオブジェクトをポインティングできる。
At this time, if the
図19は、本実施例4の3次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。 FIG. 19 is a flowchart for explaining a processing procedure in the system control apparatus of the three-dimensional pointing method according to the fourth embodiment.
本実施例4の3次元ポインティング方法の場合も、システム制御装置1では、図19に示すように、まず、外部表示装置3にオブジェクト5およびポインタ4を表示させる(ステップ601)。そして、操作者が、たとえば、前記ペンタブレットのタブレット201および入力ペン202を用いて入力した情報を入力情報取得手段101で取得する(ステップ602)。
Also in the case of the three-dimensional pointing method of the fourth embodiment, the
次に、ポインタ4の移動方向、移動量を算出し(ステップ603)、その算出結果に基づいた2次元座標位置にポインタ4を移動させ、外部表示装置3に表示させる(ステップ604)。その後、ポインティングを行う部位の奥行き座標を算出し(ステップ605)、ポインティングを行う部位を奥行き方向に移動させながら回転させ、外部表示装置3に表示させる(ステップ606)。
Next, the moving direction and moving amount of the
なお、図19に示したステップ601からステップ606までの処理は、図7に示したステップ601からステップ606までの処理と同じ処理でよいので、詳細な説明は省略する。
Note that the processing from
本実施例4では、ステップ606の後、図19に示すように、操作者から見えるポインタ4の面積が所定の大きさを下回るか否かを判定する(ステップ611)。ステップ611は、たとえば、ポインタ4よりも手前にオブジェクトがあるか否か、手前にオブジェクトがある場合、ポインタ4の全体が隠れるか否かで判定する。このとき、ポインタ4の全体が隠れるのであれば、ポインタ4のxy平面内の大きさを、所定の大きさに拡大し、外部表示装置3に表示させる(ステップ612)。また、ポインタ4が隠れない場合は、大きさを変えず、そのまま次の処理(ステップ607)を行う。
In the fourth embodiment, after
なお、図19に示したステップ607およびステップ608の処理は、図7に示したステップ607およびステップ608の処理と同じ処理でよいので、繰り返しの説明は省略する。
Note that the processing in
ただし、本実施例4では、ポインタ4の全体が隠れた場合にポインタを拡大するだけでなく、たとえば、ポインティングを行う部位4A−1やリファレンス部位4Bなど、ポインタ4の一部分が隠れたときにポインタ全体をxy平面内で拡大してもよい。また、ポインタ4を拡大するときには、xy平面内で拡大するだけでなく、x方向またはy方向のいずれか一方向のみに拡大してもよい。また、ポインタの一部分のみを拡大するなど、同じ効果が得られるのであればこの限りではない。また、ポインタが隠れている面積によって拡大率を変えるなど、拡大率を動的に設定しても構わないものとする。
However, in the fourth embodiment, not only the pointer is enlarged when the
図20は、ポインタの拡大率の設定方法の一例を示す模式図である。 FIG. 20 is a schematic diagram illustrating an example of a method for setting the enlargement ratio of the pointer.
ポインタの拡大率を動的に設定する場合、たとえば、図20に示すように、操作者から見たポインタ4、またはポインティングを行うための部位4A−1等の面積が、ポインタまたはポインティングを行うための部位4A−1等の全体の面積に対してある一定の割合tを下回ると、ポインタまたはポインティングを行うための部位4A−1等の面積を拡大し、操作者から見えるポインタの面積の割合がtを保つようにする。この割合tは、事前にシステムが設定しておいてもかまわないし、操作者が任意に設定してもかまわない。また、拡大方法は、ポインタが完全に隠れた時点で面積を2倍にするなど、例の限りではない。
When the enlargement ratio of the pointer is dynamically set, for example, as shown in FIG. 20, the area of the
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。 The present invention has been specifically described above based on the above-described embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. is there.
たとえば、前記実施例1から実施例4で説明したようなポインティング方法を、前記コンピュータに実行させるようなプログラムとして記述して前記コンピュータにインストールし、実行させることで、一般的なパーソナルコンピュータでも本発明のポインティング方法を実現することができる。またこのとき、前記プログラムは、たとえば、磁気的、電気的、もしくは光学的な記録媒体に記録して提供することもできるし、インターネット等のネットワークを介して提供することもできる。 For example, the pointing method as described in the first to fourth embodiments is described as a program to be executed by the computer, installed in the computer, and executed, so that the present invention can be applied to a general personal computer. This pointing method can be realized. At this time, for example, the program can be provided by being recorded on a magnetic, electrical, or optical recording medium, or can be provided via a network such as the Internet.
1…システム制御装置
101…入力情報取得手段
102…ポインティング位置算出手段
103…ポインティング可能点判定手段
104…ポインタ生成手段
105…表示制御手段
106…ポインティング判定手段
107…オブジェクト生成手段
108…処理制御手段
109…記憶手段
2…外部入力装置
201…タブレット
202…入力ペン
3…外部表示装置
3A…手前の表示面
3B…奥の表示面
4…ポインタ
4A,4A−1,4A−1’…ポインティングを行うための部位
4B,4C…奥行き方向の位置が固定された部位(リファレンス部位)
4P…ポインティングしている位置を指し示す部位
4D…ポインティングを行う部位の軌跡
4E…リファレンス部位
4F,4F−1,4F−2…奥行き位置を表すオブジェクト
5,5A,5B…オブジェクト
DESCRIPTION OF
4P: Part indicating the position where pointing is performed 4D: Trajectory of the part where pointing is performed 4E:
Claims (11)
外部入力装置からの入力情報に基づいて、前記3次元表示空間のポインティングする点の2次元平面座標および奥行き位置を算出するステップ1と、
前記ポインティングする点の2次元平面座標を示す第1の部位と、前記ポインティングする点における奥行き位置を示す第2の部位と、該奥行き位置に応じて2次元平面内の位置が変化する第3の部位とを有するポインタを生成するステップ2と、
前記生成したポインタを外部表示装置に表示させるステップ3とを有することを特徴とする3次元ポインティング方法。 A three-dimensional pointing method for pointing an arbitrary point in a three-dimensional display space expressed on an external display device,
Calculating a two-dimensional plane coordinate and a depth position of a point to be pointed in the three-dimensional display space based on input information from an external input device;
A first part indicating a two-dimensional plane coordinate of the point to be pointed, a second part indicating a depth position at the point to be pointed, and a third part whose position in the two-dimensional plane changes according to the depth position Generating a pointer having a portion; and
And a step 3 for displaying the generated pointer on an external display device.
外部入力装置からの入力情報を取得する入力情報取得手段と、
前記入力情報取得手段で取得した入力情報に基づいて、前記3次元表示空間のポインティングする点の2次元平面座標および奥行き位置を算出するポインティング位置算出手段と、
前記ポインティング位置算出手段の算出結果に基づいて、前記ポインティングする点の2次元平面座標位置および奥行き位置を指し示すポインタを生成するポインタ生成手段と、
前記ポインタ生成手段で生成したポインタを前記外部表示装置に表示させる表示制御手段とを備え、
前記ポインタ生成手段は、前記ポインティングする点の2次元平面座標を示す第1の部位と、前記ポインティングする点における奥行き位置を示す第2の部位と、該奥行き位置に応じて2次元平面内の位置が変化する第3の部位とを有するポインタを生成することを特徴とする3次元ポインティング装置。 A three-dimensional pointing device for pointing an arbitrary point in a three-dimensional display space represented on an external display device,
Input information acquisition means for acquiring input information from an external input device;
A pointing position calculating means for calculating a two-dimensional plane coordinate and a depth position of a point to be pointed in the three-dimensional display space based on the input information acquired by the input information acquiring means;
Pointer generation means for generating a pointer indicating the two-dimensional plane coordinate position and depth position of the point to be pointed based on the calculation result of the pointing position calculation means;
Display control means for displaying the pointer generated by the pointer generation means on the external display device,
The pointer generating means includes a first part indicating a two-dimensional plane coordinate of the point to be pointed, a second part indicating a depth position at the point to be pointed, and a position in a two-dimensional plane according to the depth position. A three-dimensional pointing device that generates a pointer having a third portion where the angle changes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005334415A JP4907156B2 (en) | 2005-11-18 | 2005-11-18 | Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005334415A JP4907156B2 (en) | 2005-11-18 | 2005-11-18 | Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007140186A true JP2007140186A (en) | 2007-06-07 |
JP4907156B2 JP4907156B2 (en) | 2012-03-28 |
Family
ID=38203115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005334415A Expired - Fee Related JP4907156B2 (en) | 2005-11-18 | 2005-11-18 | Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4907156B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011048522A (en) * | 2009-08-26 | 2011-03-10 | Fujitsu Ltd | Three-dimensional data display device and program |
JP2016165107A (en) * | 2011-01-27 | 2016-09-08 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Presenting selectors within three-dimensional graphical environments |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266328A (en) * | 1993-03-11 | 1994-09-22 | Hitachi Ltd | Display method for three-dimensional position |
JPH06301477A (en) * | 1993-04-16 | 1994-10-28 | Kyoto Densoku Kk | Input device for pointed position of three-dimensional space |
JPH09288744A (en) * | 1996-02-20 | 1997-11-04 | Aroaro Internatl:Kk | Three-dimensional graphic editing device |
JPH10320167A (en) * | 1997-05-15 | 1998-12-04 | Sharp Corp | Virtual space window display system |
JP2003216295A (en) * | 2002-01-07 | 2003-07-31 | Xerox Corp | Method for displaying opacity desktop with depth perception |
-
2005
- 2005-11-18 JP JP2005334415A patent/JP4907156B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266328A (en) * | 1993-03-11 | 1994-09-22 | Hitachi Ltd | Display method for three-dimensional position |
JPH06301477A (en) * | 1993-04-16 | 1994-10-28 | Kyoto Densoku Kk | Input device for pointed position of three-dimensional space |
JPH09288744A (en) * | 1996-02-20 | 1997-11-04 | Aroaro Internatl:Kk | Three-dimensional graphic editing device |
JPH10320167A (en) * | 1997-05-15 | 1998-12-04 | Sharp Corp | Virtual space window display system |
JP2003216295A (en) * | 2002-01-07 | 2003-07-31 | Xerox Corp | Method for displaying opacity desktop with depth perception |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011048522A (en) * | 2009-08-26 | 2011-03-10 | Fujitsu Ltd | Three-dimensional data display device and program |
JP2016165107A (en) * | 2011-01-27 | 2016-09-08 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Presenting selectors within three-dimensional graphical environments |
Also Published As
Publication number | Publication date |
---|---|
JP4907156B2 (en) | 2012-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Reipschläger et al. | Designar: Immersive 3d-modeling combining augmented reality with interactive displays | |
EP1821182B1 (en) | 3d pointing method, 3d display control method, 3d pointing device, 3d display control device, 3d pointing program, and 3d display control program | |
Bowman et al. | New directions in 3d user interfaces | |
Grossman et al. | Multi-finger gestural interaction with 3d volumetric displays | |
US8179338B2 (en) | Method and system for displaying information | |
US9704285B2 (en) | Detection of partially obscured objects in three dimensional stereoscopic scenes | |
US6943811B2 (en) | Apparatus and method of managing data objects | |
Hachet et al. | Navidget for easy 3d camera positioning from 2d inputs | |
US20110138320A1 (en) | Peek Around User Interface | |
US20120013613A1 (en) | Tools for Use within a Three Dimensional Scene | |
JP2002140147A (en) | Graphical user interface | |
WO2004066137A9 (en) | System and method for managing a plurality of locations of interest in 3d data displays | |
US8471873B2 (en) | Enhanced UI operations leveraging derivative visual representation | |
JP2014012040A (en) | Input apparatus and information processing system | |
US20150248211A1 (en) | Method for instantaneous view-based display and selection of obscured elements of object models | |
Hachet et al. | Navidget for 3d interaction: Camera positioning and further uses | |
Sun et al. | Selecting and Sliding Hidden Objects in 3D Desktop Environments. | |
JP4907156B2 (en) | Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program | |
JP5767371B1 (en) | Game program for controlling display of objects placed on a virtual space plane | |
KR102392675B1 (en) | Interfacing method for 3d sketch and apparatus thereof | |
JP2005332231A (en) | Pointing method, pointing device and program therefor | |
Lemoine et al. | Interaction techniques: 3d menus-based paradigm | |
JP2016016319A (en) | Game program for display-controlling objects arranged on virtual spatial plane | |
US11694376B2 (en) | Intuitive 3D transformations for 2D graphics | |
JP4513620B2 (en) | Information processing apparatus and data presentation method in information processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4907156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |