Nothing Special   »   [go: up one dir, main page]

JP2007140186A - Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program - Google Patents

Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program Download PDF

Info

Publication number
JP2007140186A
JP2007140186A JP2005334415A JP2005334415A JP2007140186A JP 2007140186 A JP2007140186 A JP 2007140186A JP 2005334415 A JP2005334415 A JP 2005334415A JP 2005334415 A JP2005334415 A JP 2005334415A JP 2007140186 A JP2007140186 A JP 2007140186A
Authority
JP
Japan
Prior art keywords
pointing
dimensional
pointer
depth
depth position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005334415A
Other languages
Japanese (ja)
Other versions
JP4907156B2 (en
Inventor
Daisuke Ochi
大介 越智
Atsushi Nakahira
篤 中平
Takafumi Suzuki
尚文 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005334415A priority Critical patent/JP4907156B2/en
Publication of JP2007140186A publication Critical patent/JP2007140186A/en
Application granted granted Critical
Publication of JP4907156B2 publication Critical patent/JP4907156B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To enable an operator to quickly and accurately perceive a pointing position and to make the operator perform pointing by using a pointer having such a natural shape that his or her work is not hindered, with respect to pointing work using the pointer in three-dimensional GUI. <P>SOLUTION: A three-dimensional pointing method of pointing one arbitrary point of a three-dimensional display space expressed on an external display device includes; a step 1 of calculating two-dimensional plane coordinates and a depth position of a point to be pointed in the three-dimensional display space, on the basis of input information from an external input device; a step 2 of generating a pointer having a first portion indicating the two-dimensional plane coordinates of the point to be pointed, a second portion indicating the depth position of the point to be pointed, and a third portion of which the position in a two-dimensional plane is varied in accordance with the depth position; and a step 3 of displaying the generated pointer on the external display device. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、3次元ポインティング方法および3次元ポインティング装置ならびに3次元ポインティングプログラムに関し、特に、DFD(Depth-Fused 3-D)表示装置などの3次元立体像を呈示できる表示装置におけるポインティングに適用して有効な技術に関するものである。   The present invention relates to a three-dimensional pointing method, a three-dimensional pointing device, and a three-dimensional pointing program, and in particular, applied to pointing in a display device capable of presenting a three-dimensional stereoscopic image such as a DFD (Depth-Fused 3-D) display device. It relates to effective technology.

従来、PC(Personal Computer)の演算性能の著しい向上や処理速度の高速化、グラフィック機能の強化等にともない、GUI(Graphical User Interface)は、その表示・機能・操作のどれもがこれまで以上に複雑化している。そのため、操作者が目的の動作を遂行するに当たって、それらが足枷となって効率的な操作を妨げていることがある。   Conventionally, GUI (Graphical User Interface) has more display, function, and operation than ever before due to remarkable improvement in computing performance of PC (Personal Computer), speeding up of processing speed, enhancement of graphic function, etc. It is getting complicated. For this reason, when an operator performs a desired operation, they may become a toe and prevent efficient operation.

そのような状態を改善するために、近年、3次元表示空間を用いて情報を呈示・操作することが提案されている(たとえば、非特許文献1を参照。)。これはしばしば3次元GUIと呼ばれ、3次元表示空間に3次元的にオブジェクトを配置し、所定の入力デバイスを用いて前記オブジェクトを操作するという仕組みである。なお、前記3次元GUIの他にも、たとえば、3次元表示空間内で設計などを行うCAD(Computer Aided(or Assisted) Design)やCG(Computer Graphics)などにおいても同様の仕組みを用いることがあるが、3次元的に配置されたオブジェクトを操作・ポインティングするという観点から、ここからは3次元GUIを例にとって話を進めることにする。   In order to improve such a state, in recent years, it has been proposed to present and manipulate information using a three-dimensional display space (see, for example, Non-Patent Document 1). This is often called a three-dimensional GUI, and is a mechanism in which an object is arranged three-dimensionally in a three-dimensional display space and the object is operated using a predetermined input device. In addition to the 3D GUI, a similar mechanism may be used in, for example, CAD (Computer Aided (or Assisted) Design) and CG (Computer Graphics) for designing in a 3D display space. However, from the viewpoint of manipulating and pointing to an object arranged three-dimensionally, the discussion will be made with a three-dimensional GUI as an example.

3次元GUIを用いると、これまで2次元上に並べて、もしくは重ねて配置していたオブジェクトを、操作者から見て3次元的に配置することが可能となり、作業スペースを効率的に扱うことができる。また、われわれを取り巻いている実世界は3次元空間であるがゆえに、GUIを3次元化することで2次元のGUIよりも直感的に扱うことができるGUIとなる。   Using the 3D GUI, it is possible to arrange the objects that have been arranged two-dimensionally or stacked up to now in a three-dimensional manner from the viewpoint of the operator, and the work space can be handled efficiently. it can. In addition, since the real world surrounding us is a three-dimensional space, the GUI can be handled more intuitively than a two-dimensional GUI by making the GUI three-dimensional.

しかしながら、3次元GUIを操作する過程において必要となってくる課題の一つに、様々な奥行き位置にあるオブジェクトのポインティングがある。これまでの技術では、2次元のGUIにおいて用いられてきたマウスやキーボード、ジョイスティック等での操作に、奥行き方向への移動に必要な新たな機能を付加することで、ポインタの3次元表示空間内の移動を実現している。また、ポインタの奥行き方向の位置は、たとえば、ポインタを拡大あるいは縮小させることで表現し、3次元表示空間の奥にあるオブジェクトのポインティングを行っていた(たとえば、非特許文献2を参照。)。つまり、3次元表示空間内でポインタが手前にあるときはポインタを大きく表示し、奥にあるときにはポインタを小さく表示する方法などが提案されていた。   However, one of the problems that are required in the process of operating the three-dimensional GUI is pointing to objects at various depth positions. In the conventional technology, a new function necessary for moving in the depth direction is added to the operation with the mouse, keyboard, joystick, etc. that has been used in the two-dimensional GUI, so that the pointer within the three-dimensional display space The movement is realized. The position of the pointer in the depth direction is expressed by, for example, enlarging or reducing the pointer, and pointing to an object in the back of the three-dimensional display space (see, for example, Non-Patent Document 2). That is, there has been proposed a method of displaying a large pointer when the pointer is in front in the three-dimensional display space and displaying a small pointer when it is in the back.

ところが、これらの方法の多くは、3次元表示空間に表示されたポインタが空間内を奥行き方向に自由に動くことが可能なため、いくらポインタが表示装置上に表示され、2次元位置が分かりやすくても、一体ポインタがどの奥行き位置にあり、3次元空間のどこをポインティングしているか、操作者は明確に知覚しにくい。   However, in many of these methods, since the pointer displayed in the three-dimensional display space can freely move in the depth direction in the space, the pointer is displayed on the display device and the two-dimensional position is easily understood. However, it is difficult for the operator to clearly perceive which depth position the integrated pointer is and where in the three-dimensional space is pointing.

この問題を解決する方法の一例として、たとえば、ポインタの近くに、奥行き位置の変わらないxyz軸などのリファレンスを表示して奥行き位置を知覚しやすくする方法がある(たとえば、特許文献1を参照。)。しかしながら、表示されるリファレンスは、一般に、ポインタの奥行き位置の手がかりとなる点を除けば、ポインタの形状とは何の関わりもない。そのため、不自然な上、表示面にリファレンスが現れることで操作者の視界をさえぎり、作業効率を下げてしまうこともある。   As an example of a method for solving this problem, for example, there is a method of displaying a reference such as an xyz axis whose depth position does not change near the pointer so that the depth position can be easily perceived (see, for example, Patent Document 1). ). However, the displayed reference generally has nothing to do with the shape of the pointer, except that it is a clue to the depth position of the pointer. For this reason, it is unnatural, and the reference appears on the display surface, thereby obstructing the operator's view and reducing the work efficiency.

以上のことから、3次元GUIでのポインタを用いたポインティング作業において、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者がいち早く、しかも正確に知覚でき、さらに操作者の作業を妨げることなく、自然にポインティングを行えるポインティング方法が求められていた。
特開平8-248938号公報 G. Robertson, et al., "The Task Gallery: A 3D Window Manager," CHI Letters, Vol.2, pp.494-501, 2000. 渡邊 恵太,安村 通晃,“RUI: Realizable User Interface カーソルを用いた情報リアライゼーション,” ヒューマンインタフェース学会研究報告集,vol.6,No.2,pp.35-38,2004.
From the above, in the pointing work using the pointer in the three-dimensional GUI, the operator can quickly and accurately perceive where the pointer is located and where the pointer is pointing. There has been a demand for a pointing method that can naturally point without interfering.
JP-A-8-248938 G. Robertson, et al., "The Task Gallery: A 3D Window Manager," CHI Letters, Vol.2, pp.494-501, 2000. Keita Watanabe, Michiaki Yasumura, “RUI: Realization of Information Realization with User Interface Cursor,” Human Interface Society Research Report, vol.6, No.2, pp.35-38, 2004.

本発明が解決しようとする問題点の1つは、前記背景技術で説明したように、従来の3次元GUIでのポインタを用いたポインティング作業では、ポインタが3次元表示空間の、どの奥行き位置にあって、どこをポインティングしているかを、操作者が直感的に、かつ、正確に知覚することが難しいという点である。   One of the problems to be solved by the present invention is that, as described in the background art, in the pointing operation using the pointer in the conventional three-dimensional GUI, the pointer is located at any depth position in the three-dimensional display space. Therefore, it is difficult for an operator to intuitively and accurately perceive where he is pointing.

また、他の問題点として、ポインタの形状との関連性が低い不自然なリファレンスを用いると、操作者の視界をさえぎってしまい、場合によっては作業効率を下げてしまうという点がある。   Another problem is that the use of an unnatural reference having a low relevance to the shape of the pointer obstructs the operator's field of view, and in some cases reduces the work efficiency.

本発明の目的は、3次元GUIでのポインタを用いたポインティング作業において、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者がいち早く、しかも正確に知覚でき、さらに操作者の作業を妨げることのない自然な形状のポインタを用いてポインティングを行うことが可能なポインティング方法およびポインティング装置を提供することにある。   The object of the present invention is to enable the operator to quickly and accurately perceive the depth position of the pointer and the pointing position in the pointing operation using the pointer in the three-dimensional GUI, and further the operation of the operator It is an object of the present invention to provide a pointing method and a pointing device capable of pointing using a pointer having a natural shape that does not hinder the movement.

本発明の前述ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面によって明らかにする。   The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.

本発明の3次元ポインティング方法は、3次元表示が可能な表示装置に3次元GUIを表示させ、3次元GUI内の任意の奥行き位置に配置されたオブジェクトを、ポインタを用いてポインティングするときに、ポインタの少なくとも一つの部位で2次元座標のポインティングし、また、少なくとも一つの部位で奥行き位置のポインティングをすると同時に、少なくとも一つの部位の2次元平面内での位置を、ポインティングしている奥行き位置に応じて変化させることを特徴とする。これにより、操作者が、ポインティングしている2次元座標だけでなく、奥行き位置も知覚できるようにする。   In the 3D pointing method of the present invention, when a 3D GUI is displayed on a display device capable of 3D display and an object placed at an arbitrary depth position in the 3D GUI is pointed using a pointer, Point the two-dimensional coordinates with at least one part of the pointer, and point the depth position with at least one part. At the same time, set the position of the at least one part in the two-dimensional plane to the pointing depth position. It is characterized by being changed accordingly. This allows the operator to perceive not only the pointing two-dimensional coordinates but also the depth position.

また、ポインタが、ポインティング可能なオブジェクトに、2次元射影平面上で一定の距離以内に近づくと、ポインティング可能なオブジェクトの奥行き位置を、奥行き位置に応じて2次元平面内の位置が変化するポインタの少なくとも一箇所の部位の2次元射影平面上での位置が一致する位置に、前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトを表示させる。これにより、操作者は3次元空間に配置されたオブジェクトの奥行き位置を迅速かつ正確に把握でき、それらのオブジェクトのポインティングを、迅速かつ直感的に行うことができるようになる。   Further, when the pointer approaches the object that can be pointed within a certain distance on the two-dimensional projection plane, the depth position of the object that can be pointed is changed to the position of the pointer whose position in the two-dimensional plane changes according to the depth position. An object indicating a position in the two-dimensional plane corresponding to the depth position is displayed at a position where the position on the two-dimensional projection plane matches at least one part. As a result, the operator can quickly and accurately grasp the depth position of the objects arranged in the three-dimensional space, and can quickly and intuitively point these objects.

またこのとき、ポインティング可能なオブジェクトの形状、色、大きさ、向き、動きなどを、前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトに持たせる。これにより、操作者は、次元空間に配置されたオブジェクトの奥行き位置をより迅速かつ正確に把握できる。また、オブジェクトが3次元空間内で重なった場合などにおいても、操作者は迷うことなく目的のオブジェクトをポインティングすることができるようになる。   At this time, the object indicating the position in the two-dimensional plane corresponding to the depth position is given the shape, color, size, orientation, movement, etc. of the object that can be pointed. Thereby, the operator can grasp | ascertain the depth position of the object arrange | positioned in dimension space more rapidly and correctly. Further, even when the objects overlap in the three-dimensional space, the operator can point to the target object without hesitation.

またさらに、本発明の3次元ポインティング方法では、ポインタ自体に、奥行き位置を知るためのリファレンスとなる部位を設ける。このリファレンスとなる部位は、ポインティングを行うに当たって奥行き位置が固定されており、ポインタの奥行きが変化する部位と比較することで、操作者に、ポインティングしている奥行き位置をより早く、分かりやすく呈示できる。   Furthermore, in the three-dimensional pointing method of the present invention, a part serving as a reference for knowing the depth position is provided on the pointer itself. This reference part has a fixed depth position when performing pointing, and by comparing it with the part where the depth of the pointer changes, the depth position being pointed can be presented to the operator more quickly and easily. .

以上の点をふまえた本発明の3次元ポインティング方法および3次元ポインティング装置ならびに3次元ポインティングプログラムの概略を説明すれば、以下の通りである。   The outline of the three-dimensional pointing method, the three-dimensional pointing device, and the three-dimensional pointing program of the present invention based on the above points will be described as follows.

(1)外部表示装置に表現された3次元表示空間の任意の一点をポインティングする3次元ポインティング方法であって、外部入力装置からの入力情報に基づいて、前記3次元表示空間のポインティングする点の2次元平面座標および奥行き位置を算出するステップ1と、前記ポインティングする点の2次元平面座標を示す第1の部位と、前記ポインティングする点における奥行き位置を示す第2の部位と、該奥行き位置に応じて2次元平面内の位置が変化する第3の部位とを有するポインタを生成するステップ2と、前記生成したポインタを外部表示装置に表示させるステップ3とを有する3次元ポインティング方法である。   (1) A three-dimensional pointing method for pointing an arbitrary point in a three-dimensional display space represented on an external display device, wherein the point of the point in the three-dimensional display space is pointed based on input information from the external input device. Calculating a two-dimensional plane coordinate and a depth position; a first part indicating a two-dimensional plane coordinate of the point to be pointed; a second part indicating a depth position at the point to be pointed; and the depth position. Accordingly, a three-dimensional pointing method includes a step 2 for generating a pointer having a third portion whose position in the two-dimensional plane changes in response, and a step 3 for displaying the generated pointer on an external display device.

(2)前記(1)において、前記ステップ2は、前記ポインタと、ポインティング可能なオブジェクトとの、2次元射影平面上での距離が一定の距離以内に近づくと、前記ポインティング可能なオブジェクトの奥行き位置を、前記第3の部位が表示されるべき前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトを生成する3次元ポインティング方法である。   (2) In the step (1), when the distance between the pointer and the object that can be pointed on the two-dimensional projection plane approaches within a certain distance, the depth position of the object that can be pointed Is a three-dimensional pointing method for generating an object indicating a position in a two-dimensional plane corresponding to the depth position where the third part is to be displayed.

(3)前記(2)において、前記ステップ1からステップ3の各ステップに加え、前記ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトの形状、色、大きさ、向きおよび動きのうちの少なくとも一つを、前記ポインティング可能なオブジェクトの属性に対応して変化させるステップ4を有する3次元ポインティング方法である。   (3) In the above (2), in addition to the steps 1 to 3, at least one of the shape, color, size, orientation, and movement of the object indicating the depth position of the object that can be pointed is selected. , A three-dimensional pointing method comprising a step 4 of changing in accordance with an attribute of the object that can be pointed.

(4)前記(1)から(3)のいずれかにおいて、前記ステップ2は、3次元空間の任意の一点をポインティングする際、前記ポインタの大きさを変化させて表示する3次元ポインティング方法である。   (4) In any one of (1) to (3), the step 2 is a three-dimensional pointing method in which the size of the pointer is changed and displayed when an arbitrary point in the three-dimensional space is pointed. .

(5)前記(1)から(4)のいずれかにおいて、前記ステップ2は、前記第1の部位から第3の部位の各部位に加え、奥行き方向の位置が固定されており、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる第4の部位を生成する3次元ポインティング方法である。   (5) In any one of the above (1) to (4), in the step 2, the position in the depth direction is fixed in addition to each part of the first part to the third part. This is a three-dimensional pointing method for generating a fourth part that can compare the depth position with another part whose position changes.

(6)外部表示装置に表現された3次元表示空間の任意の一点をポインティングする3次元ポインティング装置であって、外部入力装置からの入力情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した入力情報に基づいて、前記3次元表示空間のポインティングする点の2次元平面座標および奥行き位置を算出するポインティング位置算出手段と、前記ポインティング位置算出手段の算出結果に基づいて、前記ポインティングする点の2次元平面座標位置および奥行き位置を指し示すポインタを生成するポインタ生成手段と、前記ポインタ生成手段で生成したポインタを前記外部表示装置に表示させる表示制御手段とを備え、前記ポインタ生成手段は、前記ポインティングする点の2次元平面座標を示す第1の部位と、前記ポインティングする点における奥行き位置を示す第2の部位と、該奥行き位置に応じて2次元平面内の位置が変化する第3の部位とを有するポインタを生成する3次元ポインティング装置である。   (6) A three-dimensional pointing device for pointing an arbitrary point in a three-dimensional display space represented on the external display device, the input information acquiring unit for acquiring input information from the external input device, and the input information acquiring unit The pointing position calculation means for calculating the two-dimensional plane coordinates and the depth position of the point to be pointed in the three-dimensional display space based on the input information acquired in step (b), and the pointing based on the calculation result of the pointing position calculation means. Pointer generating means for generating a pointer indicating the two-dimensional plane coordinate position and depth position of the point; and display control means for displaying the pointer generated by the pointer generating means on the external display device, the pointer generating means, A first portion indicating a two-dimensional plane coordinate of the point to be pointed; A second portion indicating a depth position in the point of coating in a three-dimensional pointing apparatus for generating a pointer and a third portion which is located in a two-dimensional plane is changed in accordance with the 該奥 bound position.

(7)前記(6)において、前記ポインタ生成手段は、前記ポインタと、ポインティング可能なオブジェクトとの、2次元射影平面上での距離が一定の距離以内に近づくと、前記ポインティング可能なオブジェクトの奥行き位置を、前記第3の部位が表示されるべき前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトを生成する手段を備える3次元ポインティング装置である。   (7) In the above (6), when the distance between the pointer and the object that can be pointed on the two-dimensional projection plane is within a certain distance, the pointer generation unit determines the depth of the object that can be pointed to A three-dimensional pointing device comprising means for generating an object indicating a position in a two-dimensional plane corresponding to the depth position at which the third part is to be displayed.

(8)前記(7)において、前記各手段に加え、前記ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトの形状、色、大きさ、向きおよび動きのうちの少なくとも一つを、前記ポインティング可能なオブジェクトの属性に対応して変化させるオブジェクト生成手段を備える3次元ポインティング装置である。   (8) In the above (7), in addition to the above means, at least one of the shape, color, size, orientation, and movement of the object indicating the depth position of the pointing object is set as the pointing object. It is a three-dimensional pointing device provided with the object production | generation means to change according to an attribute.

(9)前記(6)から(8)のいずれかにおいて、前記ポインタ生成手段は、前記ポインタの大きさを変化させる手段を備える3次元ポインティング装置である。   (9) In any one of (6) to (8), the pointer generation means is a three-dimensional pointing device including means for changing the size of the pointer.

(10)前記(6)から(9)のいずれかにおいて、前記ポインタ生成手段は、前記第1の部位から第3の部位の各部位に加え、奥行き方向の位置が固定されており、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる第4の部位を生成する3次元ポインティング装置である。   (10) In any one of (6) to (9), the pointer generation means has a fixed position in the depth direction in addition to the first part to the third part. This is a three-dimensional pointing device that generates a fourth part capable of comparing the depth position with other parts whose positions change.

(11)前記(6)から(10)のいずれかのポインティング装置における各手段の処理動作をコンピュータに実行させる3次元ポインティングプログラムである。   (11) A three-dimensional pointing program for causing a computer to execute the processing operation of each means in the pointing device according to any one of (6) to (10).

本発明の3次元ポインティング方法は、たとえば、前記手段(1)のように、ポインティングする点の2次元平面座標を示す第1の部位と、ポインティングする点における奥行き位置を示す第2の部位と、該奥行き位置に応じて2次元平面内の位置が変化する第3の部位の3つの部位を有するポインタを生成し、外部表示装置に表示させる。そのため、操作者は、第1の部位でポインティングしている2次元座標位置を知覚し、第2の部位および第3の部位で奥行き位置を知覚できる。このように、少なくとも一つの部位(第3の部位)の2次元平面内での位置が、ポインティングしている奥行き位置に応じて変化することで、操作者がポインティングしている2次元座標だけではなく、奥行き位置も分かりやすくポインティングできる。   The three-dimensional pointing method of the present invention includes, for example, as in the means (1), a first part indicating a two-dimensional plane coordinate of a point to be pointed, a second part indicating a depth position at the point to be pointed, A pointer having three parts of the third part whose position in the two-dimensional plane changes according to the depth position is generated and displayed on the external display device. Therefore, the operator can perceive the two-dimensional coordinate position pointing at the first part, and can perceive the depth position at the second part and the third part. As described above, the position of the at least one part (third part) in the two-dimensional plane changes according to the depth position at which the pointing is performed, so that only the two-dimensional coordinates at which the operator is pointing are used. In addition, the depth position can be pointed easily.

また、たとえば、前記手段(2)のように、ポインタが、ポインティング可能なオブジェクトに、2次元射影平面上で一定の距離以内に近づいたときに、ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトを表示して示すことで、操作者は3次元空間に配置されたオブジェクトの奥行き位置を迅速かつ正確に把握でき、それらのオブジェクトのポインティングを、迅速かつ直感的に行うことができる。   In addition, for example, as in the means (2), when the pointer approaches a pointable object within a certain distance on the two-dimensional projection plane, an object indicating the depth position of the pointable object is displayed. Thus, the operator can quickly and accurately grasp the depth positions of the objects arranged in the three-dimensional space, and can quickly and intuitively point these objects.

また、たとえば、前記手段(3)のように、ポインティング可能なオブジェクトの形状、色、大きさ、向き、動きなどを、前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトに持たせることで、操作者は、3次元空間に配置されたオブジェクトの奥行き位置をより迅速かつ正確に把握できる。また、オブジェクトが3次元空間内で重なった場合などにおいても、操作者は迷うことなく目的のオブジェクトをポインティングすることができる。   Further, for example, like the means (3), an object indicating a position in a two-dimensional plane corresponding to the depth position has a shape, a color, a size, a direction, a movement, and the like of the object that can be pointed. Thus, the operator can grasp the depth position of the object arranged in the three-dimensional space more quickly and accurately. In addition, even when objects overlap in a three-dimensional space, the operator can point to the target object without hesitation.

また、たとえば、前記手段(4)のように、ポインタの大きさを変化させて表示することで、たとえば、ポインタよりも目的のオブジェクトが大きい場合などに、ポインタを拡大表示でき、ポインタがオブジェクトに隠れることなく、操作者は目的のオブジェクトの奥行き位置を正確、かつ、迅速に把握することができる。そのため、操作者は3次元空間に配置されたオブジェクトを容易にポインティングできるようになり、操作効率と操作性が向上する。   Further, for example, when the size of the pointer is changed and displayed as in the means (4), for example, when the target object is larger than the pointer, the pointer can be enlarged and displayed. Without hiding, the operator can accurately and quickly grasp the depth position of the target object. Therefore, the operator can easily point to an object arranged in the three-dimensional space, and the operation efficiency and operability are improved.

またさらに、たとえば、前記手段(5)のように、奥行き方向の位置が固定された第4の部位を有するポインタを生成すれば、前記第4の部位をリファレンスとして用いることができる。このリファレンスは、ポインティングを行うに当たって奥行き位置が固定されており、ポインタの奥行きが変化する部位と比較することで、操作者に、ポインティングしている奥行き位置をより早く、分かりやすく呈示することができる。   Still further, for example, if a pointer having a fourth part whose position in the depth direction is fixed as in the means (5), the fourth part can be used as a reference. In this reference, the depth position is fixed when performing pointing, and by comparing it with the part where the depth of the pointer changes, it is possible to present the pointing depth position to the operator more quickly and easily. .

本発明による3次元ポインティング方法で生成するポインタは、ポインティングしている2次元の座標と奥行き位置を同時に表現可能な形状を持つと同時に、その形状に奥行き位置の手がかりとなるリファレンスをポインタ形状として自然な形で持つという点で、従来のポインティング方法とは異なる。また、ポインティング可能なオブジェクトの奥行き位置を、奥行き位置に応じて2次元平面内の位置が変化するポインタの少なくとも一箇所の部位の2次元射影平面上での位置が一致する位置に、前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトを表示して示す点も、従来のポインティング方法とは異なる。さらに、前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトに、ポインティング可能なオブジェクトの属性を持たせる点も、従来のポインティング方法とは異なる。   The pointer generated by the three-dimensional pointing method according to the present invention has a shape that can represent the two-dimensional coordinates and the depth position at the same time, and at the same time, a reference that is a clue to the depth position is naturally used as the pointer shape. It differs from the conventional pointing method in that it has a simple shape. Further, the depth position of the object that can be pointed is set to the position where the position on the two-dimensional projection plane of at least one portion of the pointer whose position in the two-dimensional plane changes according to the depth position is the same. The point which displays and shows the object which shows the position in the two-dimensional plane corresponding to is also different from the conventional pointing method. Further, the object indicating the position in the two-dimensional plane corresponding to the depth position is given an attribute of a pointing object, which is different from the conventional pointing method.

また、前記手段(1)から手段(5)のような3次元ポインティング方法を実現するには、たとえば、前記手段(6)から手段(10)のような手段を備える3次元ポインティング装置を用いればよい。また、3次元ポインティング装置は、PCなどの汎用コンピュータを用いることもでき、その場合は、前記手段(11)のように、3次元ポインティング装置の各手段が行う処理動作をコンピュータに実行させるプログラムを用意し、コンピュータに実行させればよい。   In order to realize the three-dimensional pointing method such as the means (1) to the means (5), for example, a three-dimensional pointing device including means such as the means (6) to the means (10) is used. Good. The three-dimensional pointing device can also use a general-purpose computer such as a PC. In this case, a program that causes the computer to execute processing operations performed by each means of the three-dimensional pointing device, such as the means (11). Prepare it and let it run on your computer.

以下、本発明について、図面を参照して実施の形態(実施例)とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
Hereinafter, the present invention will be described in detail together with embodiments (examples) with reference to the drawings.
In all the drawings for explaining the embodiments, parts having the same function are given the same reference numerals and their repeated explanation is omitted.

図1は、本発明の3次元ポインティング方法を実現するためのシステムの構成例を示す模式図である。
図1において、1はシステム制御装置、101は入力情報取得手段、102はポインティング位置算出手段、104はポインタ生成手段、105は表示制御手段、106はポインティング判定手段、107はオブジェクト生成手段、108は処理制御手段、109は記憶手段、103はポインティング可能点判定手段、2は入力装置、3は表示装置である。
FIG. 1 is a schematic diagram showing a configuration example of a system for realizing the three-dimensional pointing method of the present invention.
In FIG. 1, 1 is a system control device, 101 is input information acquisition means, 102 is pointing position calculation means, 104 is pointer generation means, 105 is display control means, 106 is pointing determination means, 107 is object generation means, and 108 is Processing control means, 109 is storage means, 103 is a pointing possible point determination means, 2 is an input device, and 3 is a display device.

本発明の3次元ポインティング方法は、たとえば、PC(Personal Computer)のようなシステム制御装置に接続されている外部表示装置に表現された3次元表示空間の任意の一点をポインティングする方法である。このとき、前記3次元表示空間内をポインティングするオブジェクト(ポインタ)は、前記システム制御装置に接続された外部入力装置を用いて3次元的に操作する。   The three-dimensional pointing method of the present invention is a method of pointing an arbitrary point in a three-dimensional display space represented on an external display device connected to a system control device such as a PC (Personal Computer). At this time, an object (pointer) for pointing in the three-dimensional display space is three-dimensionally operated using an external input device connected to the system control device.

このとき、システム制御装置1は、たとえば、図1に示すように、外部入力装置2から入力された入力情報を取得する入力情報取得手段101と、入力情報取得手段101で取得した入力情報がポインタの制御に関する情報である場合に、その入力情報に基づいてポインティングしている点の移動方向および移動量を算出するポインティング位置算出手段102と、ポインティング位置算出手段102の算出結果に基づいてポインティング可能な点、または、オブジェクトが存在するかを判定するポインティング可能点判定手段103、ポインティング可能点判定手段103の判定に基づいてポインタを生成するポインタ生成手段104と、ポインタ生成手段104で生成されたポインタを外部表示装置3に表示させる表示制御手段105とを備える。   At this time, for example, as shown in FIG. 1, the system control apparatus 1 includes an input information acquisition unit 101 that acquires input information input from the external input device 2, and the input information acquired by the input information acquisition unit 101 is a pointer. The pointing position calculating means 102 for calculating the moving direction and the moving amount of the pointing point based on the input information, and pointing is possible based on the calculation result of the pointing position calculating means 102. Pointable point determination means 103 for determining whether a point or an object exists, pointer generation means 104 for generating a pointer based on the determination of the pointable point determination means 103, and the pointer generated by the pointer generation means 104 Display control means 105 to be displayed on the external display device 3; Provided.

また、システム制御装置1は、前記各手段101〜105に加え、たとえば、図1に示したように、ポインティング可能点判定手段103の判定に基づいて生成するポインタがポインティングしている点の座標にオブジェクトがあるか否かの判定をするポインティング判定手段106と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えるオブジェクト生成手段107とを備える。   In addition to the above-described units 101 to 105, the system control apparatus 1 uses, for example, the coordinates of the point that the pointer generated based on the determination by the pointing possible point determination unit 103 indicates as shown in FIG. For example, a pointing determination unit 106 that determines whether or not there is an object, and an object generation unit 107 that changes the color of the object when the pointing object is present are provided.

また、システム制御装置1が、たとえば、前記PCのように、外部入力装置2からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置である場合、図1に示したように、前記各手段101〜107の他に、たとえば、処理制御手段108や記憶手段109を備えている。そして、入力情報取得手段101で取得した情報が、ポインタの制御に関する情報とは異なる場合、入力情報取得手段101は、取得した入力情報を処理制御手段108に渡し、取得した入力情報に応じた処理を前記システム制御装置1に実行させる。   Further, when the system control device 1 is a device that activates and operates software according to input information from the external input device 2 or controls other devices, such as the PC, As shown in FIG. 1, in addition to the means 101 to 107, for example, a processing control means 108 and a storage means 109 are provided. When the information acquired by the input information acquisition unit 101 is different from the information related to the control of the pointer, the input information acquisition unit 101 passes the acquired input information to the processing control unit 108 and performs processing according to the acquired input information. Is executed by the system control apparatus 1.

また、外部表示装置3は、3次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのような3次元オブジェクトを2次元平面に射影した形で表示する2次元表示装置でも、DFD表示装置(たとえば、特許第3022558号明細書や特許第3460671号明細書を参照)のような3次元立体像を表示することが可能な3次元表示装置でもよい。   The external display device 3 may be any display device that can represent a three-dimensional space. For example, a two-dimensional display device that displays a three-dimensional object such as a CRT display or a liquid crystal display on a two-dimensional plane. A three-dimensional display device capable of displaying a three-dimensional stereoscopic image such as a DFD display device (see, for example, Japanese Patent Nos. 3022558 and 3460671) may be used.

つまり、外部表示装置3は、操作者(観察者)が、表示されたポインタやオブジェクトを3次元的に知覚することが可能な表示装置であればどのような表示装置であってもよい。   In other words, the external display device 3 may be any display device as long as the operator (observer) can perceive the displayed pointer or object three-dimensionally.

図2−1および図2−2は、DFD表示装置の原理を説明するための模式図である。   2A and 2B are schematic diagrams for explaining the principle of the DFD display device.

DFD表示装置は、簡易な構成で3次元立体像を表示する可能な3次元表示装置であり、外部表示装置3として好ましい。   The DFD display device is a three-dimensional display device capable of displaying a three-dimensional stereoscopic image with a simple configuration, and is preferable as the external display device 3.

DFD表示装置は、たとえば、図2−1および図2−2に示すように、2枚あるいはそれ以上の複数枚の表示面を、観察者(操作者)の視点Pから見て重なるように配置した表示装置であり、表示方法により、通常、透過型と輝度変調型の2通りに分けられる。DFD表示装置の詳細な構成や動作原理については、たとえば、特許第3022558号明細書や特許第3460671号明細書等に記載されているので、詳細な説明は省略し、ここでは、DFD表示装置の簡単な動作原理のみを説明する。   For example, as shown in FIGS. 2-1 and 2-2, the DFD display device is arranged so that two or more display surfaces overlap each other when viewed from the viewpoint P of the observer (operator). According to the display method, the display device is usually divided into two types, a transmission type and a luminance modulation type. The detailed configuration and operation principle of the DFD display device are described in, for example, Japanese Patent No. 3022558 and Japanese Patent No. 3460671. Therefore, detailed description thereof is omitted, and here, the DFD display device is described. Only a simple operating principle will be described.

ここでは、図2−1および図2−2に示すように、2枚の表示面3A,3Bが重ね合わさっているとする。このとき、ポインタやオブジェクトなどの表示対象Objは、前記2枚の表示面3A,3Bの間の3次元空間内に、奥行き位置を反映して表示される。   Here, as shown in FIGS. 2-1 and 2-2, it is assumed that the two display surfaces 3A and 3B overlap each other. At this time, a display object Obj such as a pointer or an object is displayed in a three-dimensional space between the two display surfaces 3A and 3B reflecting the depth position.

DFD表示装置に表示される前記表示対象Objは、たとえば、図2−1に示すように、操作者の視点Pから見て手前の表示面3Aおよび奥の表示面3Bの両方に表示される。そしてこのとき、DFD表示装置が輝度変調型であれば、手前の表示面3Aの表示対象ObjAを輝度L、奥の表示面3Bの表示対象ObjBを輝度Lで表示すると、前記3次元空間内の、手前の表示面3Aからの距離と奥の表示面3Bからの距離の比がL:Lの奥行き位置に表示対象Objが表示されているように見える。 For example, as shown in FIG. 2A, the display object Obj displayed on the DFD display device is displayed on both the front display surface 3 </ b> A and the rear display surface 3 </ b> B as viewed from the viewpoint P of the operator. At this time, if the DFD display device is a luminance modulation type, the display object ObjA on the front display surface 3A is displayed with the luminance L A , and the display target ObjB on the back display surface 3B is displayed with the luminance L B. the inner, the ratio of the distance from the distance and the back of the display surface 3B from the front of the display surface 3A is L B: display object Obj the depth position of the L a appears to be displayed.

また、たとえば、図2−2に示すように、1つの表示対象Objの表示領域の中で輝度を連続的に変化させることで、1つの表示対象Objを奥行き方向に傾けて表示させることもできる。図2−2に示した例では、手前の表示面3Aの表示対象ObjAの輝度を紙面上から下に向かうにつれて大きくなるようにし、奥の表示面3Bの表示対象ObjBの輝度を紙面下から上に向かうにつれて大きくなるようにしている。そのため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的な表示対象Objを観察することができる。   Further, for example, as shown in FIG. 2B, by continuously changing the luminance in the display area of one display object Obj, one display object Obj can be displayed tilted in the depth direction. . In the example shown in FIG. 2B, the brightness of the display object ObjA on the front display surface 3A increases from the top to the bottom of the paper, and the brightness of the display target ObjB on the back display surface 3B increases from the bottom to the top of the paper. It is getting bigger as it goes to. Therefore, the operator can observe a three-dimensional display object Obj in which the upper side of the paper is inclined to the back and the lower side of the paper is inclined to the front.

また、詳細な説明は省略するが、DFD表示装置が透過型の場合、たとえば、手前の表示面3Aの表示対象Objを表示している領域の各点(画素)の透過度を調節することで、前記輝度変調型のDFD表示装置と同様に、手前の表示面3Aと奥の表示面3Bの間の任意の奥行き位置にポインタやオブジェクトなどの表示対象Objの立体像を表示することができる。   Although detailed explanation is omitted, when the DFD display device is a transmissive type, for example, by adjusting the transparency of each point (pixel) in the area displaying the display object Obj on the front display surface 3A. Similarly to the luminance modulation type DFD display device, a stereoscopic image of the display object Obj such as a pointer or an object can be displayed at an arbitrary depth position between the front display surface 3A and the back display surface 3B.

このように、DFD表示装置は、複数枚の表示面に表示されたオブジェクトやポインタの輝度の比あるいは透過度を変えることで、容易に3次元立体像を表示できる表示装置である。   In this way, the DFD display device is a display device that can easily display a three-dimensional stereoscopic image by changing the luminance ratio or transparency of objects and pointers displayed on a plurality of display surfaces.

なお、本発明において用いる外部表示装置3は、前述の通り、3次元空間を表現することが可能な表示装置であれば、どのようなものであっても構わない。しかしながら、DFD表示装置のような、あらかじめ3次元立体像が表現できる空間が制限されている3次元表示装置(ディスプレイ)を用いると、ポインタが指す奥行き位置を操作者により明確に呈示することができ、好ましい。また、一般的なCRTディスプレイや液晶ディスプレイのような2次元表示装置の場合、表現する前記3次元空間を2次元平面に射影して表示する処理が必要であるが、たとえば、DFD表示装置の場合、3次元表示空間の奥行き方向の位置に応じて各表示面上の点(画素)の輝度の比率を設定すればよいだけなので、システム制御装置1(ポインティング装置)にかかる負荷を低減できる。   The external display device 3 used in the present invention may be any display device that can express a three-dimensional space as described above. However, if a 3D display device (display), such as a DFD display device, in which a space capable of expressing a 3D stereoscopic image is limited in advance, the depth position pointed to by the pointer can be clearly presented to the operator. ,preferable. Further, in the case of a two-dimensional display device such as a general CRT display or a liquid crystal display, it is necessary to project the displayed three-dimensional space onto a two-dimensional plane, and for example, in the case of a DFD display device Since it is only necessary to set the luminance ratio of points (pixels) on each display surface according to the position in the depth direction of the three-dimensional display space, the load on the system control device 1 (pointing device) can be reduced.

また、一般的なCRTディスプレイや液晶ディスプレイのような2次元表示装置の場合、表示する3次元表示空間を2次元平面に射影して表示するので、操作者によっては、実空間と同じ奥行き感覚でポインティング操作をすることは難しい場合があるが、DFD表示装置のような3次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすることができる。これらのことから、DFD表示装置のような3次元表示装置を用いることで、前記操作者は、一般的な2次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよい精度と速さで3次元の奥行きをポインティング可能となる。   In addition, in the case of a two-dimensional display device such as a general CRT display or a liquid crystal display, the displayed three-dimensional display space is projected onto a two-dimensional plane and displayed. Although it may be difficult to perform a pointing operation, by using a three-dimensional display device such as a DFD display device, it is possible to perform a pointing operation with a feeling closer to real space. From these facts, by using a 3D display device such as a DFD display device, the operator can achieve better accuracy and speed than a case where a pointing operation is performed using a general 2D display. 3D depth can be pointed.

また、外部入力装置2は、キーボードやマウスのように前記PCに一般的に接続されている入力デバイスの他、たとえば、ペンタブレットやジョイスティック(ジョイパッド)であってもよい。またさらに、外部入力装置2は、たとえば、タッチパネルやタブレットを外部表示装置3と一体化し、ペンや指先などで外部表示装置3の表示画面に触れることで情報を入力できるようにしてもよい。   The external input device 2 may be, for example, a pen tablet or a joystick (joypad) in addition to an input device generally connected to the PC such as a keyboard or a mouse. Furthermore, the external input device 2 may be configured such that, for example, a touch panel or a tablet is integrated with the external display device 3, and information can be input by touching the display screen of the external display device 3 with a pen or a fingertip.

図3乃至図5は、本発明による実施例1の3次元ポインティング方法を説明するための模式図であり、図3は本発明に用いるポインタの例を説明するための図、図4は原理を説明するための図、図5は奥行き方向にあるオブジェクトのポインティング方法を説明するための図である。   3 to 5 are schematic diagrams for explaining the three-dimensional pointing method according to the first embodiment of the present invention. FIG. 3 is a diagram for explaining an example of a pointer used in the present invention. FIG. FIG. 5 is a diagram for explaining, and FIG. 5 is a diagram for explaining a method of pointing an object in the depth direction.

本実施例1の3次元ポインティング方法は、たとえば、図3に示すように、ポインティングを行うための部位4A−1(4A−2)と、奥行き方向の位置が固定された部位4B,4Cからなるポインタ4を外部表示装置3の3次元表示空間に表示する。   The three-dimensional pointing method according to the first embodiment includes, for example, a part 4A-1 (4A-2) for performing pointing and parts 4B and 4C whose positions in the depth direction are fixed as shown in FIG. The pointer 4 is displayed in the three-dimensional display space of the external display device 3.

このとき、ポインティングを行うための部位4A−1は、ポインティングしている位置を指し示す部位4Pを有する。この部位4A−1は、外部入力装置2からの入力情報に応じて奥行き方向(z>0)に移動する部位であり、奥行き方向に移動する際には、軌跡4Dをたどる。すなわち、部位4A−1は、部位4Pを中心にz座標を変化させながら360度回転し、4A−2の位置に移動する。このとき、部位4Pのxy座標は変化せず、外部入力装置2からの入力情報に基づいてz座標のみが変化する。   At this time, the part 4A-1 for performing the pointing has a part 4P indicating the pointing position. This part 4A-1 is a part that moves in the depth direction (z> 0) in accordance with the input information from the external input device 2, and follows the locus 4D when moving in the depth direction. That is, the part 4A-1 rotates 360 degrees around the part 4P while changing the z coordinate, and moves to the position 4A-2. At this time, the xy coordinate of the part 4P does not change, and only the z coordinate changes based on the input information from the external input device 2.

なお、部位4A−1が奥行き方向に移動する際の軌跡4Dは、表示してもよいし、非表示でもよい。   The locus 4D when the part 4A-1 moves in the depth direction may be displayed or may not be displayed.

また、奥行き方向の位置が固定された部位4B,4Cは、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる、いわば、奥行き位置のリファレンスとなる部位である。このとき、部位4B,4Cは、たとえば、外部表示装置3で表現される3次元表示空間の最も手前の2次元平面と、最も後方の2次元平面に表示する。外部表示装置3が、たとえば、図4に示すように、2枚の表示面3A,3Bを有するDFD表示装置であれば、たとえば、部位4Bを手前の表示面3A(z=0)上に表示し、部位4Cを奥の表示面3B上に表示する。   In addition, the parts 4B and 4C whose positions in the depth direction are fixed are parts that can be compared with other parts whose positions in the depth direction change, that is, the reference of the depth position. At this time, the parts 4B and 4C are displayed on, for example, the foremost two-dimensional plane and the rearmost two-dimensional plane of the three-dimensional display space expressed by the external display device 3. If the external display device 3 is a DFD display device having two display surfaces 3A and 3B as shown in FIG. 4, for example, the part 4B is displayed on the front display surface 3A (z = 0), for example. Then, the part 4C is displayed on the back display surface 3B.

また、本実施例1では、外部表示装置3をDFD表示装置とし、3次元表示空間の設定は、手前の表示面3Aと奥の表示面3Bの間の空間とするが、特に限定する必要はなく、表示装置が表現可能な空間であれば、どの空間を対象にしてもよい。これ以後の実施例においても、外部表示装置3としてDFD表示装置を用いるが、一般的なCRTディスプレイや液晶ディスプレイのような2次元表示装置や、HMD(Head Mount Display)のような3次元立体表示装置を用いても構わないことはいうまでもない。   Further, in the first embodiment, the external display device 3 is a DFD display device, and the setting of the three-dimensional display space is a space between the front display surface 3A and the back display surface 3B. As long as it is a space that can be expressed by the display device, any space may be used. In the following embodiments, a DFD display device is used as the external display device 3, but a two-dimensional display device such as a general CRT display or a liquid crystal display, or a three-dimensional stereoscopic display such as an HMD (Head Mount Display). It goes without saying that an apparatus may be used.

本実施例1の3次元ポインティング方法は、図4に示すように、外部入力装置2として、タブレット201と入力ペン202からなるペンタブレットを用いるとする。このとき、外部表示装置3の3次元表示空間に、図4に示したようなxyzの3次元座標を取っているとし、操作者(観察者)は−z方向から外部表示装置3を見ているとする。前記ペンタブレットを用いた場合、たとえば、タブレット201上で入力ペン202を滑らせたときの、入力ペン202のx軸方向の移動量およびy軸方向の移動量に応じて、ポインタ4を、外部表示装置3に表現された3次元表示空間上のxy平面内で移動させる。また、前記ペンタブレットは、一般に、電磁誘導方式で入力ペン202の動きを感知しており、入力ペン202の位置や移動量の他、入力ペンを押す圧力(筆圧)を検知することができる(たとえば、特開平5-73208号公報を参照。)。そのため、たとえば、入力ペン202をタブレット201に押しつけたときの圧力の大きさに応じて、ポインタ4のポインティングを行うための部位4A−1を制御し、ポインティングする奥行き位置(z座標)を制御することができる。   In the three-dimensional pointing method of the first embodiment, as shown in FIG. 4, a pen tablet including a tablet 201 and an input pen 202 is used as the external input device 2. At this time, assuming that the three-dimensional coordinates of xyz as shown in FIG. 4 are taken in the three-dimensional display space of the external display device 3, the operator (observer) looks at the external display device 3 from the −z direction. Suppose that When the pen tablet is used, for example, when the input pen 202 is slid on the tablet 201, the pointer 4 is moved to the outside according to the amount of movement of the input pen 202 in the x-axis direction and the amount of movement in the y-axis direction. It is moved in the xy plane on the three-dimensional display space represented on the display device 3. In addition, the pen tablet generally detects the movement of the input pen 202 by an electromagnetic induction method, and can detect not only the position and amount of movement of the input pen 202 but also the pressure (writing pressure) to press the input pen. (For example, see JP-A-5-73208.) Therefore, for example, according to the pressure when the input pen 202 is pressed against the tablet 201, the part 4A-1 for pointing the pointer 4 is controlled, and the depth position (z coordinate) for pointing is controlled. be able to.

また、前記ペンタブレットを用いる場合、たとえば、入力ペン202の圧力(筆圧)の大きさの代わりに、たとえば、入力ペン202でタブレット201を押した回数に応じて前記ポインタの奥行き位置を決定してもよい。   When using the pen tablet, for example, instead of the magnitude of the pressure (writing pressure) of the input pen 202, the depth position of the pointer is determined according to the number of times the tablet 201 is pressed with the input pen 202, for example. May be.

前記ペンタブレットなどの外部入力装置2を用いてポインタ4を操作して、奥行き方向にあるオブジェクトをポインティングする方法を、図5を用いて説明する。なお、図5において、(a),(b),(c)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。また、図5において、(a),(b),(c)には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。   A method of pointing an object in the depth direction by operating the pointer 4 using the external input device 2 such as the pen tablet will be described with reference to FIG. In FIG. 5, (a), (b), and (c) are the positional relationship between the pointer and the object before pointing, the positional relationship when the pointer is moved in the depth direction, and when the object is pointed, respectively. It is a figure which shows a positional relationship. In FIG. 5, (a), (b), and (c) show a diagram viewed from the operator's viewpoint, a diagram viewed from diagonally above, and a diagram viewed from the right side, respectively. .

奥行き方向のポインティングをする場合、操作者は、まず、入力ペン202のペン先の2次元位置によってポインタ4のxy座標を決定し、外部表示装置3に表示されたポインタ4のポインティング部位4Pの位置によりポインティングしている2次元座標を知覚することができる。ここで、外部表示装置3上で、図5に示した(a)の状態のように、操作者の視点から見て、ポインティングを行うための部位4A−1とオブジェクト5が重なっていても、奥行き位置が異なる場合、オブジェクト5はポインティングされていない。   When pointing in the depth direction, the operator first determines the xy coordinates of the pointer 4 based on the two-dimensional position of the pen tip of the input pen 202, and the position of the pointing part 4 </ b> P of the pointer 4 displayed on the external display device 3. It is possible to perceive the pointing two-dimensional coordinates. Here, on the external display device 3, as shown in FIG. 5A, even when the part 4 </ b> A- 1 for pointing and the object 5 overlap with each other as viewed from the operator's viewpoint, When the depth positions are different, the object 5 is not pointed.

このような状態で、たとえば、入力ペン202をタブレット201に押し付け、筆圧を加えると、図5に示した(b)の状態のように、ポインティングを行うための部位4A−1が、xy平面内でポインティング部4Pを中心に回転しながらオブジェクト5の方向(+z方向)に移動する。このとき、操作者には、ポインティングを行うための部位4A−1のポインティング部4Pを中心とした角度が異なって見える。また、DFD表示装置のような立体表示装置を用いている場合は、ポインティングを行うための部位4A−1の奥行きも併せて知覚することができる。そのため、操作者は、ポインティングを行うための部位4A−1の回転角で知覚する奥行きから、ポインティングを行うための部位4A−1が、操作前の位置よりも奥をポインティングしていることが知覚できる。   In such a state, for example, when the input pen 202 is pressed against the tablet 201 and a writing pressure is applied, the portion 4A-1 for performing the pointing as in the state of (b) shown in FIG. It moves in the direction of the object 5 (+ z direction) while rotating around the pointing unit 4P. At this time, the angle about the pointing part 4P of the part 4A-1 for performing the pointing appears different to the operator. In addition, when a stereoscopic display device such as a DFD display device is used, the depth of the part 4A-1 for performing pointing can also be perceived. Therefore, the operator perceives that the part 4A-1 for pointing is pointing deeper than the position before the operation from the depth perceived by the rotation angle of the part 4A-1 for pointing. it can.

ここで、さらにもう一度、入力ペン202に筆圧を加えると、図5に示した(c)の状態のように、ポインティングを行うための部位4A−1の回転角と操作者が知覚する奥行きがさらに変化する。このとき、図5の(c)の状態のように、ポインティングする部位4Pと前記オブジェクト5の任意の一点とのxy方向の距離が所定の距離(たとえば、10ピクセル)以下であり、かつ、奥行き方向の距離が所定の距離以下になると、オブジェクト5は、ポインタ4によってポインティングされた状態になる。そこで、ポインティングされた状態であることを操作者に伝えるため、たとえば、オブジェクト5の色を変えて、ポインティングされている状態であることを表す。   Here, when the pen pressure is applied to the input pen 202 again, as shown in FIG. 5C, the rotation angle of the portion 4A-1 for performing the pointing and the depth perceived by the operator are reduced. Further changes. At this time, as in the state of FIG. 5C, the distance in the xy direction between the point 4P to be pointed and an arbitrary point of the object 5 is a predetermined distance (for example, 10 pixels) or less, and the depth When the distance in the direction is equal to or smaller than the predetermined distance, the object 5 is in a state where it is pointed by the pointer 4. Therefore, in order to inform the operator that the state is the pointing state, for example, the color of the object 5 is changed to indicate the pointing state.

なお、オブジェクト5がポインティングされたと判定されるポインティング部位4Pとのxy方向の距離および奥行き方向の距離は、操作者が任意の距離に設定できるようにしてもよいし、あらかじめ、システム制御装置1であらかじめ定められた距離に設定するようにしてもよい。   The distance in the xy direction and the distance in the depth direction with respect to the pointing part 4P that is determined that the object 5 is pointed may be set to an arbitrary distance by the operator. A predetermined distance may be set.

このようにすれば、操作者は、ポインティングを行うための部位4A−1の回転角からポインタ4がポインティングする奥行き位置を直観的、かつ、正確に知覚できる。また、ポインティングを行うための部位4A−1によってポインティングされたときにオブジェクト5の色を変えることで、オブジェクト5と重なっているポインティングを行うための部位4A−1が、オブジェクト5をポインティングしているか否かが直観的、かつ、正確に知覚できる。また、ここで外部表示装置3としてDFD表示装置を用いており、ポインタ4の部位4Bや4Cは奥行き位置の知覚の手がかりとなるリファレンスとして働く。そのため、部位4B,4Cとポインティングを行うための部位4A−1の奥行き位置と比較することで、直感的、かつ、正確にポインティングを行えるという大きな効果がある。   In this way, the operator can intuitively and accurately perceive the depth position where the pointer 4 is pointing from the rotation angle of the portion 4A-1 for pointing. Whether the part 4A-1 for pointing that overlaps the object 5 is pointing to the object 5 by changing the color of the object 5 when it is pointed by the part 4A-1 for pointing. It can be intuitively and accurately perceived. In addition, a DFD display device is used as the external display device 3 here, and the parts 4B and 4C of the pointer 4 serve as a reference as a clue to perception of the depth position. Therefore, there is a great effect that the pointing can be performed intuitively and accurately by comparing with the depth position of the portion 4A-1 for pointing with the portions 4B and 4C.

図6−1は、ポインタの形状の第1の変形例を説明するための模式図である。また、図6−2は、ポインタの形状の第2の変形例を説明するための模式図である。   FIG. 6A is a schematic diagram for explaining a first modification of the shape of the pointer. FIG. 6B is a schematic diagram for explaining a second modification of the shape of the pointer.

ここまでの説明では、ポインタ4のポインティングを行うための部位4A−1の形状は、図3および図4などに示すような水滴形状を例として挙げたが、部位4A−1の形状は、操作者がポインティングしている2次元座標と奥行き位置を一つのポインタで同時に知覚でき、かつ、3次元空間の任意の点をポインティング可能な形状であれば、どのような形状であってもよい。   In the description so far, the shape of the part 4A-1 for pointing the pointer 4 has been exemplified as a water drop shape as shown in FIG. 3 and FIG. 4, but the shape of the part 4A-1 is an operation. Any shape may be used as long as the two-dimensional coordinates and the depth position that the person is pointing can be simultaneously perceived by one pointer and an arbitrary point in the three-dimensional space can be pointed.

すなわち、ポインティングを行うための形状4A−1は、たとえば、図6−1に示すように、人差し指でオブジェクトを指し示している形状であってもよい。このとき、ポインティングしている部位4Pは、人差し指の先とする。またこのとき、部位4A−1は、部位4P(人差し指の先)を中心にz座標を変化させながら回転し、4A−2の位置に移動させる。   That is, the shape 4A-1 for performing the pointing may be a shape in which the object is pointed with the index finger as shown in FIG. 6A, for example. At this time, the pointing part 4P is the tip of the index finger. At this time, the part 4A-1 rotates around the part 4P (the tip of the index finger) while changing the z coordinate, and moves to the position 4A-2.

また、ポインティングを行うための部位4A−1の形状は、たとえば、図6−2に示すように、三角形状であってもよい。このとき、ポインティングしている部位4Pは、1つの頂点とする。またこのとき、部位4A−1は、部位4P(1つの頂点)を中心にz座標を変化させながら回転し、4A−2の位置に移動させる。   Further, the shape of the part 4A-1 for performing the pointing may be, for example, a triangle as shown in FIG. At this time, the pointing part 4P is set as one vertex. At this time, the part 4A-1 rotates around the part 4P (one vertex) while changing the z coordinate and moves to the position 4A-2.

また、本実施例1では、ポインティングを行うための部位4A−1は、ポインティング部4Pを中心に360度回転できるような設定にしていたが、操作者にポインティングしている奥行き位置を呈示できるのであればこの限りではない。例えば、回転を180度にしても構わない。   Further, in the first embodiment, the part 4A-1 for performing the pointing is set to be able to rotate 360 degrees around the pointing unit 4P. However, the pointing position can be presented to the operator. This is not necessarily the case. For example, the rotation may be 180 degrees.

また、オブジェクト5についても、図5ではフォルダ型のオブジェクトを示したが、ポインタ4によってポインティング可能なものであれば、どのような形状であってもよい。   Further, the object 5 is also a folder type object in FIG. 5, but may have any shape as long as it can be pointed by the pointer 4.

また、本実施例1のポインティング方法において、前記ペンタブレットを用いる場合、たとえば、図4に示したような外付け型のペンタブレット201,202に限らず、たとえば、タブレット201が外部表示装置3と一体的に設けられていてもよい。タブレット201が外部表示装置3と一体的になっていれば、たとえば、外部表示装置3の表示画面上を入力ペン202で触れることでポインタ4を操作することができる。そのため、操作者は、より直感的に前記ポインタ4を操作することができる。また、本実施例1のポインティング方法は、前記ペンタブレットの代わりに、たとえば、タッチパネルのように、外部表示装置3と一体化可能な入力装置を用いてポインティングする場合にも適している。   In the pointing method of the first embodiment, when the pen tablet is used, for example, the tablet 201 is not limited to the external pen tablets 201 and 202 shown in FIG. It may be provided integrally. If the tablet 201 is integrated with the external display device 3, the pointer 4 can be operated by touching the display screen of the external display device 3 with the input pen 202, for example. Therefore, the operator can operate the pointer 4 more intuitively. The pointing method of the first embodiment is also suitable for pointing using an input device that can be integrated with the external display device 3, such as a touch panel, instead of the pen tablet.

前記タッチパネルの場合、たとえば、入力ペン202の代わりに操作者の指で前記外部表示装置3の画面に触れることでポインタ4を操作することができるので、入力ペン202を用いるペンタブレットよりも、より直感的に前記ポインタ4を操作することができる。さらに、マウス(マウスホイール)や、キーボード、タッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに奥行きポインティングができるようにしてもよい。   In the case of the touch panel, for example, the pointer 4 can be operated by touching the screen of the external display device 3 with an operator's finger instead of the input pen 202. Therefore, the touch panel is more than a pen tablet using the input pen 202. The pointer 4 can be operated intuitively. Furthermore, depth pointing may be performed when a predetermined operation is performed with a mouse (mouse wheel), a keyboard, a touch panel, a joystick, or the like.

図7は、本実施例1の3次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。   FIG. 7 is a flowchart for explaining a processing procedure in the system control apparatus of the three-dimensional pointing method according to the first embodiment.

以下、図1に示したような構成のシステム制御装置1を用いて、本実施例1の3次元ポインティング方法を説明する。このとき、システム制御装置1は、表示制御手段105により、まず、図7に示すように、外部表示装置3にオブジェクト5およびポインタ4を表示させる(ステップ601)。このとき、前記オブジェクト5は複数個表示されていてもよく、前記外部表示装置3で表現されている3次元空間上であれば、どの位置に表示されていてもよいとする。   Hereinafter, the three-dimensional pointing method of the first embodiment will be described using the system control apparatus 1 having the configuration shown in FIG. At this time, the system control device 1 first causes the display control means 105 to display the object 5 and the pointer 4 on the external display device 3 as shown in FIG. 7 (step 601). At this time, a plurality of the objects 5 may be displayed, and may be displayed at any position within the three-dimensional space represented by the external display device 3.

次に、操作者が、たとえば、前記ペンタブレットのタブレット201および入力ペン202を用いて入力した情報を入力情報取得手段101で取得する(ステップ602)。このとき、入力情報取得手段101で取得する入力情報は、ポインタ4の操作に関する情報の他に、処理制御手段108に処理をさせる入力情報も取得するが、ここでは、ポインタ4の操作に関する情報を取得したとする。入力情報取得手段101は、ポインタ4の操作に関する入力情報を取得した場合、その入力情報を前記ポインティング位置算出手段102に渡す。   Next, information input by the operator using, for example, the tablet 201 of the pen tablet and the input pen 202 is acquired by the input information acquisition unit 101 (step 602). At this time, the input information acquired by the input information acquisition unit 101 also acquires input information that causes the processing control unit 108 to perform processing in addition to the information related to the operation of the pointer 4. Suppose that it was acquired. When the input information acquisition unit 101 acquires the input information related to the operation of the pointer 4, the input information acquisition unit 101 passes the input information to the pointing position calculation unit 102.

ポインティング位置算出手段102は、入力情報を受け取ると、まず、入力情報に基づいてポインタ4の移動方向、移動量等を算出する(ステップ603)。なお、ステップ603では、たとえば、図4に示したxy平面内でのポインタ4の移動方向や移動量を算出する。   When the pointing position calculation unit 102 receives the input information, first, the pointing position calculation unit 102 calculates the moving direction, the moving amount, and the like of the pointer 4 based on the input information (step 603). In step 603, for example, the movement direction and movement amount of the pointer 4 in the xy plane shown in FIG. 4 are calculated.

次に、ステップ603における算出結果に基づいて、外部表示装置3に表示されたポインタ4を移動させて表示する(ステップ604)。ステップ604は、たとえば、ポインタ4のxy平面内での移動方向、移動量等に基づいてポインタ生成手段104で移動先のポインタ4を生成した後、表示制御手段105を利用して生成したポインタ4を外部表示装置3に表示させる。なお、入力情報中にポインタ4をxy平面内で移動する情報が含まれていない場合、ステップ604の操作は省略され、次のステップ605の処理が行われる。   Next, based on the calculation result in step 603, the pointer 4 displayed on the external display device 3 is moved and displayed (step 604). In step 604, for example, the pointer 4 is generated by the pointer generation unit 104 based on the movement direction, movement amount, etc. of the pointer 4 in the xy plane, and then generated by using the display control unit 105. Is displayed on the external display device 3. If the input information does not include information for moving the pointer 4 in the xy plane, the operation in step 604 is omitted, and the processing in the next step 605 is performed.

ポインティング位置算出手段102は、ステップ603の処理が終わると、次に、入力情報に基づいてポインティングする部位4A−1の奥行き位置を算出する(ステップ605)。ステップ605において、奥行き位置は、たとえば、入力ペン202の筆圧情報から決定する。   When the processing of step 603 is completed, the pointing position calculation unit 102 next calculates the depth position of the part 4A-1 to be pointed based on the input information (step 605). In step 605, the depth position is determined from the writing pressure information of the input pen 202, for example.

次に、ステップ605における算出結果に基づいて、外部表示装置3に表示されたポインタ4の部位4A−1を回転させて表示する(ステップ606)。ステップ606は、たとえば、部位4A−1の奥行き位置の算出結果に基づいてポインタ生成手段104で部位4A−1の奥行き位置を変えた後、表示制御手段105を利用して、図5に示したように部位4A−1の奥行き位置を変えたポインタ4を外部表示装置3に表示させる。また、入力情報中にポインティングする部位4A−1の奥行き位置を変える情報が含まれていない場合、ステップ606の操作は省略され、次のステップ607の処理が行われる。   Next, based on the calculation result in step 605, the part 4A-1 of the pointer 4 displayed on the external display device 3 is rotated and displayed (step 606). Step 606 is shown in FIG. 5 using the display control means 105 after changing the depth position of the part 4A-1 by the pointer generating means 104 based on the calculation result of the depth position of the part 4A-1, for example. Thus, the pointer 4 with the depth position of the part 4A-1 changed is displayed on the external display device 3. If the information to change the depth position of the pointing part 4A-1 is not included in the input information, the operation in step 606 is omitted and the processing in the next step 607 is performed.

ポインティング位置算出手段102は、ステップ603およびステップ606の処理を行うと、算出結果をポインタ生成手段104に渡すとともに、ポインティング判定手段106にも渡す。このとき、前記ポインティング判定手段106は、受け取った算出結果から、操作後の、ポインティングを行う部位4A−1から所定の範囲内にオブジェクトが有るか否かの判定をする(ステップ407)。ステップ407は、具体的には、たとえば、ポインタ4の部位4Pが指し示す点と、オブジェクトの任意の一点との、xy方向の距離が所定の距離(たとえば、10ピクセル)以下であり、かつ、奥行き方向の距離が所定の距離以下であるか否かの判定をする。そして、xy方向の距離および奥行き方向の距離がともに所定の距離以下であるオブジェクトがある場合、そのオブジェクトはポインティングされていると判定する。このとき、ポインティングしているオブジェクトがなければ、ステップ602に戻り、次の入力情報を取得するまで待機する。   When the pointing position calculation unit 102 performs the processing of step 603 and step 606, the pointing position calculation unit 102 passes the calculation result to the pointer generation unit 104 and also to the pointing determination unit 106. At this time, the pointing determination means 106 determines whether there is an object within a predetermined range from the pointed portion 4A-1 after the operation based on the received calculation result (step 407). Specifically, in step 407, for example, the distance in the xy direction between the point indicated by the part 4P of the pointer 4 and an arbitrary point of the object is equal to or less than a predetermined distance (for example, 10 pixels), and the depth It is determined whether or not the direction distance is equal to or less than a predetermined distance. If there is an object in which both the distance in the xy direction and the distance in the depth direction are equal to or less than the predetermined distance, it is determined that the object is pointed. At this time, if there is no pointing object, the process returns to step 602 and waits until the next input information is acquired.

また、ポインティングしているオブジェクト5がある場合、オブジェクト生成手段107において、たとえば、ポインティングされているオブジェクトの色を変えたオブジェクトを生成し、外部表示装置3に表示させる(ステップ608)。そして、色を変えたオブジェクトを表示した後は、ステップ602に戻り、次の入力情報を取得するまで待機する。ここで、本実施例では、オブジェクトをポインティングしたときに色を変えることを挙げたが、ポインティング時に音を鳴らすなど、同様の効果が得られるのであればこの限りではない。   If there is the pointing object 5, for example, the object generation means 107 generates an object in which the color of the pointing object is changed and displays it on the external display device 3 (step 608). Then, after displaying the object whose color has been changed, the process returns to step 602 and waits until the next input information is acquired. In this embodiment, the color is changed when the object is pointed. However, the present invention is not limited to this as long as the same effect can be obtained such as sounding at the time of pointing.

また、前述のような手順でポインティングする部位4A−1の奥行き位置を変えて表示させた後、外部入力装置2からポインタ4の奥行き位置の操作に関する情報を取得し、たとえば、xy平面内で移動させる場合、ポインティングする部位4A−1の奥行き位置を元に戻してから移動させてもよいし、ポインティングする部位4A−1の奥行き位置を変えたまま移動させてもよい。   Further, after the depth position of the part 4A-1 to be pointed is changed and displayed in the above-described procedure, information on the operation of the depth position of the pointer 4 is acquired from the external input device 2 and moved in the xy plane, for example. In this case, the depth position of the part 4A-1 to be pointed may be returned to the original position, or may be moved while the depth position of the part 4A-1 to be pointed is changed.

また、図示は省略するが、ステップ602において、ポインタ4の操作に関する情報以外の入力情報を取得した場合、入力情報取得手段101は、取得した入力情報を処理制御手段108に渡す。このとき、ポインタ4の操作に関する情報以外の入力情報としては、たとえば、ポインタ4でポインティングしたオブジェクトと関連づけられたソフトウェアの起動や、数値あるいは文字列の入力情報等が挙げられる。この場合、処理制御手段108は、入力情報に基づいて、オブジェクトと関連づけられたソフトウェアの起動等の処理を行い、表示制御手段105を用いて処理結果を外部表示装置3に表示させる。   Although illustration is omitted, when input information other than information related to the operation of the pointer 4 is acquired in step 602, the input information acquisition unit 101 passes the acquired input information to the processing control unit 108. At this time, examples of input information other than information related to the operation of the pointer 4 include activation of software associated with the object pointed by the pointer 4 and input information of numerical values or character strings. In this case, the processing control unit 108 performs processing such as activation of software associated with the object based on the input information, and causes the external display device 3 to display the processing result using the display control unit 105.

以上説明したように、本実施例1の3次元ポインティング方法によれば、ポインタ4の一つの部位4A−1の奥行き位置を変えて外部表示装置3に表示させることにより、ポインタ4を見た操作者が、ポインタ4がポインティングしている2次元座標および、奥行き位置を直観的、かつ、正確に知覚できる。   As described above, according to the three-dimensional pointing method of the first embodiment, an operation of viewing the pointer 4 by changing the depth position of one part 4A-1 of the pointer 4 and causing the external display device 3 to display it. A person can intuitively and accurately perceive the two-dimensional coordinates and the depth position at which the pointer 4 is pointing.

図8乃至図10は、前記実施例1の第1の応用例を説明するための模式図であり、図8はポインタの形状の例を説明するための図、図9は奥行き方向にあるオブジェクトのポインティング方法を説明するための図、図10は本応用例の変形例を説明するための図である。   8 to 10 are schematic diagrams for explaining the first application example of the first embodiment, FIG. 8 is a diagram for explaining an example of the shape of the pointer, and FIG. 9 is an object in the depth direction. FIG. 10 is a diagram for explaining a modification of this application example.

前記実施例1では、たとえば、図5に示したように、奥行き方向の位置を固定した部位4Bを環状にし、その内側に見えるポインティングを行うための部位4A−1が回転しながら奥行き方向に移動する形状のポインタ4を例に挙げた。しかしながら、ポインタ4の形状は、前記実施例1で挙げた形状のポインタと同等の効果が得られればどのような形状であってもよい。そこで、以下に、異なる形状のポインタの一例を挙げ、その動作などについて説明する。なお、以下に挙げるポインタ4を用いたポインティングと、前記実施例1で挙げたポインタ4を用いたポインティングとでは、ポインタ形状とポインティング位置の操作者への呈示法のみが異なる。よって、その他の入力方法や操作方法、入力情報の制御方法、表示方法、ポインティング時のフローなどは前述のポインタ4の場合と同様のため、説明は省略する。   In the first embodiment, for example, as shown in FIG. 5, the portion 4B whose position in the depth direction is fixed is formed into an annular shape, and the portion 4A-1 for pointing that is visible on the inside moves in the depth direction while rotating. An example of the pointer 4 having a shape to be used is given. However, the shape of the pointer 4 may be any shape as long as an effect equivalent to the shape of the pointer described in the first embodiment can be obtained. Therefore, an example of a pointer having a different shape will be described below and its operation will be described. The pointing using the pointer 4 described below and the pointing using the pointer 4 described in the first embodiment differ only in the pointer shape and the method of presenting the pointing position to the operator. Therefore, other input methods and operation methods, input information control methods, display methods, and the flow at the time of pointing are the same as in the case of the pointer 4 described above, and thus the description thereof is omitted.

形状が異なるポインタの一例としては、たとえば、図8に示すような形状のポインタ4が挙げられる。このポインタ4は、奥行き知覚の手がかりとなるリファレンス部位4Bとポインティングを行うとともに奥行き位置を表す部位4A−1’からなる。また、このポインタ4は、リファレンス部位4Bの中心で2次元座標(xy座標)を表現する。また、奥行き位置を表す部位4A−1’は、複数個の部位を奥行き方向に螺旋状に配置し、この部位4A−1’の変化で奥行き位置を操作者に呈示する。なお、図8では、奥行き位置を表す部位4A−1’は13段階で図示しているが、奥行き位置を表す部位4A−1’を増やし、より細かい奥行き位置を呈示することも可能である。   An example of a pointer having a different shape is a pointer 4 having a shape as shown in FIG. The pointer 4 includes a reference portion 4B that is a clue to depth perception, and a portion 4A-1 'that indicates the depth position while pointing. The pointer 4 represents a two-dimensional coordinate (xy coordinate) at the center of the reference part 4B. Further, the part 4A-1 'representing the depth position has a plurality of parts arranged spirally in the depth direction, and the depth position is presented to the operator by the change of the part 4A-1'. In FIG. 8, the part 4A-1 'representing the depth position is illustrated in 13 stages, but the part 4A-1' representing the depth position may be increased to present a finer depth position.

以下、図8に示したポインタ4によるポインティング方法を、図9を用いて説明する。なお、図9において、(a),(b),(c)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。また、図9において、(a),(b),(c)には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。   Hereinafter, the pointing method using the pointer 4 shown in FIG. 8 will be described with reference to FIG. In FIG. 9, (a), (b), and (c) are the positional relationship between the pointer and the object before pointing, the positional relationship when the pointer is moved in the depth direction, and when the object is pointed, respectively. It is a figure which shows a positional relationship. In FIG. 9, (a), (b), and (c) show a diagram viewed from the operator's viewpoint, a diagram viewed from diagonally above, and a diagram viewed from the right side, respectively, from the top. .

奥行き方向のポインティングをする場合、操作者は、まず、図9に示した(a)の状態のように、ポインタ4のリファレンス部位4Bの中心をポインティングしたいオブジェクト5と重なるように移動させる。このとき、操作者の視点から見て、リファレンス部位4Bの中心とオブジェクト5が重なっていても、奥行き位置が異なる場合、オブジェクト5はポインティングされていない。   When pointing in the depth direction, the operator first moves the center of the reference portion 4B of the pointer 4 so as to overlap the object 5 to be pointed, as in the state of (a) shown in FIG. At this time, even if the center of the reference part 4B and the object 5 overlap with each other as viewed from the operator's viewpoint, the object 5 is not pointed when the depth position is different.

このような状態で、たとえば、入力ペン202をタブレット201に押し付け、筆圧を加えるなどの、ポインタ4を奥行き方向に移動させる操作を行うと、たとえば、図9に示した(b)の状態のように、ポインタ4の奥行き位置を表す部位4A−1’が、操作者から見て手前の方(z<0)に配置されているものから順に消えていく。そのため、表示されている奥行き位置を表す部位4A−1’の数によって、現在どの奥行き位置をポインティングしているかが分かる。   In this state, for example, when an operation of moving the pointer 4 in the depth direction, such as pressing the input pen 202 against the tablet 201 and applying writing pressure, is performed, for example, the state of (b) shown in FIG. In this way, the part 4A-1 ′ representing the depth position of the pointer 4 disappears in order from the one arranged in front of the operator (z <0). Therefore, it can be known which depth position is currently pointing by the number of the parts 4A-1 'representing the displayed depth positions.

ここで、さらにもう一度、ポインタ4を奥行き方向に移動させる操作を行うと、たとえば、図9に示した(c)の状態のように、ポインタ4の奥行き位置を表す部位4A−1’のうち、オブジェクト5とほぼ同じ奥行き位置より奥にある部位だけが表示されるようになる。そして、表示されている部位4A−1’のうち、最も手前にある部位の奥行き位置に相当する位置にオブジェクト5がある場合、そのオブジェクト5はポインティングされていると判定され、ポインティングされているオブジェクトの色を変えたオブジェクトを生成し、外部表示装置3に表示させる。   Here, when the operation of moving the pointer 4 in the depth direction is performed again, for example, among the parts 4A-1 ′ representing the depth position of the pointer 4 as shown in FIG. 9C, Only the part located at the back from the same depth position as the object 5 is displayed. Then, when the object 5 is located at a position corresponding to the depth position of the nearest part among the displayed parts 4A-1 ′, the object 5 is determined to be pointing, and the object being pointed to An object with a different color is generated and displayed on the external display device 3.

このとき、消えずに表示された奥行き位置を表す部位4A−1’は、奥行き知覚の手がかりとなるリファレンスとなる。ゆえに、このポインタ4’は、ポインティングを行う部位自体がリファレンスとなり得る。そのため、表示を簡潔にすることができ、システム制御装置1(計算機)の表示にかかる負荷を減らすことができる。さらに、ポインタ4は、たとえば、図10の(a),(b),(c)に示すように、奥行き位置を表す部位4A−1’を消すことなく、奥行き位置を表す部位4A−1’の色を変えるなどすることで奥行き位置を操作者に呈示することも可能である。なお、図10において、(a),(b),(c)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係を操作者の視点から見た図である。   At this time, the part 4A-1 'representing the depth position displayed without disappearing becomes a reference as a clue to depth perception. Therefore, the pointer 4 ′ can be a reference to the pointed part itself. Therefore, the display can be simplified, and the load on the display of the system control apparatus 1 (computer) can be reduced. Furthermore, the pointer 4 is a part 4A-1 ′ representing the depth position without erasing the part 4A-1 ′ representing the depth position, for example, as shown in FIGS. It is also possible to present the depth position to the operator by changing the color of. In FIG. 10, (a), (b), and (c) are views showing the positional relationship between the pointer and the object before pointing from the viewpoint of the operator.

図11は、前記実施例1の第2の応用例を説明するための模式図である。   FIG. 11 is a schematic diagram for explaining a second application example of the first embodiment.

前記実施例1および第1の応用例では、ポインタ4の、奥行き位置を表す部位4A−1(4A−1’)が回転しながら奥行き方向に変化しているが、これに限らず、2次元的な表現で奥行き位置を知覚させることもできる。その方法について、図11を用いて説明する。なお、図11において、上段の(a)が奥行き位置変化前、下段の(b)が奥行き位置変化後を表す。また、図11において、(a),(b)には左から順にそれぞれ、斜め上方から見た図、操作者の視点から見た図、右側面から見た図を示している。   In the first embodiment and the first application example, the portion 4A-1 (4A-1 ′) representing the depth position of the pointer 4 changes in the depth direction while rotating. The depth position can be perceived with a realistic expression. This method will be described with reference to FIG. In FIG. 11, (a) in the upper stage represents before the depth position change, and (b) in the lower stage represents after the depth position change. In FIGS. 11A and 11B, (a) and (b) show a diagram viewed from the upper side, a diagram viewed from the viewpoint of the operator, and a diagram viewed from the right side, respectively, from the left.

図11に示すポインタ4は、2次元座標と奥行き位置をポインティングする部位4Pを有するポインティング部4Aを持つ。また、奥行き位置をポインティングするときにポインティング部4Aがたどる軌跡を表す部位4Dを持つ。この部位4Dは奥行き方向に傾いているため、その両端の部位の奥行き位置が異なる。ゆえに、奥行き知覚の手がかりとなるリファレンスとしても働く。さらに、ポインティングする部位4Pがポインティングしている奥行き位置を示す部位4Eを持つ。ここで、部位4Eは3次元空間内では奥行き方向に移動しても構わないし、ポインティングしている奥行き位置に対応した2次元平面内のみで移動しても構わない。また、部位4Eは、操作者がポインタ4を正面から見た場合、xy平面内で移動するため、奥行き位置を2次元的に知覚することができる。   The pointer 4 shown in FIG. 11 has a pointing unit 4A having a part 4P for pointing two-dimensional coordinates and a depth position. Moreover, it has the site | part 4D showing the locus | trajectory which the pointing part 4A follows when pointing a depth position. Since this part 4D is inclined in the depth direction, the depth positions of the parts at both ends thereof are different. Therefore, it also serves as a reference for clues to depth perception. Further, the pointing portion 4P has a portion 4E indicating the depth position at which the pointing is performed. Here, the part 4E may move in the depth direction in the three-dimensional space, or may move only in the two-dimensional plane corresponding to the pointing depth position. Moreover, since the part 4E moves within the xy plane when the operator views the pointer 4 from the front, the depth position can be perceived two-dimensionally.

図12は、前記実施例1の第3の応用例を説明するための模式図である。   FIG. 12 is a schematic diagram for explaining a third application example of the first embodiment.

前記実施例1および第1の応用例では、ポインタ4の、奥行き位置を表す部位4A−1(4A−1’)が回転しながら奥行き方向に変化しているが、これに限らず、他の部位を回転させることで奥行き位置を知覚させることもできる。その方法について、図12を用いて説明する。なお、図12において、(a),(b),(c)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。また、図12において、(a),(b),(c)には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。   In the first embodiment and the first application example, the portion 4A-1 (4A-1 ′) representing the depth position of the pointer 4 changes in the depth direction while rotating, but the present invention is not limited to this. The depth position can be perceived by rotating the part. This method will be described with reference to FIG. In FIG. 12, (a), (b), and (c) are the positional relationship between the pointer and the object before pointing, the positional relationship when the pointer is moved in the depth direction, and when the object is pointed, respectively. It is a figure which shows a positional relationship. In FIG. 12, (a), (b), and (c) show a diagram viewed from the operator's viewpoint, a diagram viewed from obliquely above, and a diagram viewed from the right side, respectively, from the top. .

図12に示すポインタ4は、2次元座標と奥行き位置をポインティングする部位4Pを有するポインティング部4Aを持つ。また、ポインティング部4Aの奥行き位置を表す部位4Bを持つ。この部位4Bは、図12に示すように、閉じていないリングで、その両端の奥行き位置が異なり、操作者が奥行き位置を変化させるにつれて部位4Bは回転する。操作者がポインタの奥行き位置を変化させるとポインティング部4Aは、回転する部位4Bがある奥行き位置に沿って奥行き方向に移動する。ここで、操作者は、奥行き位置が変化するにつれて、部位4Bの閉じていない部分の2次元位置が回転する(位置が変わる)ことによって奥行き位置を知覚することができる.さらに、部位4Bの両端の奥行き位置は常に変化せず一定の奥行きにとどまっているため、操作者は、この両端を奥行き知覚の手がかりとなるリファレンスとして知覚することができる。   The pointer 4 shown in FIG. 12 has a pointing unit 4A having a part 4P for pointing two-dimensional coordinates and a depth position. Moreover, it has the site | part 4B showing the depth position of 4 A of pointing parts. As shown in FIG. 12, this part 4B is a ring that is not closed, and the depth positions at both ends thereof are different, and the part 4B rotates as the operator changes the depth position. When the operator changes the depth position of the pointer, the pointing unit 4A moves in the depth direction along the depth position where the rotating portion 4B exists. Here, as the depth position changes, the operator can perceive the depth position by rotating (changing the position) the two-dimensional position of the unclosed portion of the part 4B. Furthermore, since the depth positions at both ends of the part 4B do not always change and remain at a constant depth, the operator can perceive both ends as a reference for depth perception.

上記に示したポインタは、外部表示装置3としてDFD型表示装置を用いている場合、外部表示装置3に表示されるポインティングを行うための部位4A−1’の位置や部位4Eの位置、部位4Bの閉じていない部分の2次元位置によって奥行きを認識できるだけでなく、実際に各オブジェクトの奥行きを知覚できるため、直感的、かつ、正確にポインタの奥行き位置が知覚できるという大きな効果がある。   When the DFD type display device is used as the external display device 3, the pointer shown above is the position of the part 4A-1 ′, the position of the part 4E for performing the pointing displayed on the external display device 3, the part 4B Not only can the depth be recognized by the two-dimensional position of the unclosed portion of the object, but also the depth of each object can be actually perceived, so that the depth position of the pointer can be perceived intuitively and accurately.

本実施例2は前記実施例1の3次元ポインティング方法の別の応用例であり、ポインティングしている2次元座標(xy座標)において、z座標にポインティング可能なオブジェクト(または点)が存在する場合、そのポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fをポインタに呈示するポインティング方法である。なお、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fが表示される以外は、前記実施例1と違いがないため、必要なシステムや操作法の説明は省略する。   The second embodiment is another application example of the three-dimensional pointing method of the first embodiment, and in the pointing two-dimensional coordinate (xy coordinate), there is a pointable object (or point) in the z coordinate. The pointing method presents an object 4F representing the depth position of the object that can be pointed to a pointer. Since there is no difference from the first embodiment except that the object 4F representing the depth position of the object that can be pointed is displayed, description of the necessary system and operation method is omitted.

図13は、本実施例2の3次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。   FIG. 13 is a flowchart for explaining a processing procedure in the system control apparatus of the three-dimensional pointing method according to the second embodiment.

本実施例2の3次元ポインティング方法の場合も、システム制御装置1では、図13に示すように、まず、外部表示装置3にオブジェクト5およびポインタ4を表示させる(ステップ601)。そして、操作者が、たとえば、前記ペンタブレットのタブレット201および入力ペン202を用いて入力した情報を入力情報取得手段101で取得する(ステップ602)。   Also in the case of the three-dimensional pointing method of the second embodiment, the system control device 1 first displays the object 5 and the pointer 4 on the external display device 3 as shown in FIG. 13 (step 601). Then, for example, information input by the operator using the tablet 201 and the input pen 202 of the pen tablet is acquired by the input information acquisition unit 101 (step 602).

次に、ステップ603においてポインタ4の移動方向、移動量等を算出した後、ポインタ4の奥行き方向にポインティング可能なオブジェクトが、その時点でポインタがポインティングしている点の2次元射影平面(xy座標)上で所定の距離(ここでは10ピクセルとする)以内に入っているかどうかを、ポインティング可能点判定手段103において判定する(ステップ609)。ポインティング可能なオブジェクトがある場合、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fを表示し(ステップ610)、ポインティング可能なオブジェクトがない場合はステップ610を飛ばして、ステップ604の処理を行う。   Next, after calculating the moving direction, moving amount, etc. of the pointer 4 in step 603, an object that can be pointed in the depth direction of the pointer 4 is a two-dimensional projection plane (xy coordinates) of the point to which the pointer is pointing at that time. The pointing possible point determination means 103 determines whether or not it is within a predetermined distance (here, 10 pixels) (step 609). If there is an object that can be pointed, the object 4F representing the depth position of the object that can be pointed is displayed (step 610). If there is no object that can be pointed, step 610 is skipped and the process of step 604 is performed.

なお、図13に示したステップ604からステップ608までの処理は、図7に示したステップ604からステップ608までの処理と同じ処理でよいので、繰り返しの説明は省略する。   Note that the processing from step 604 to step 608 shown in FIG. 13 may be the same as the processing from step 604 to step 608 shown in FIG.

図14は、本実施例2の概念を説明するための模式図である。   FIG. 14 is a schematic diagram for explaining the concept of the second embodiment.

本実施例2の概念を、たとえば、図5に示したポインタ4およびオブジェクト5のポインティング操作に適用すると、図14のようになる。なお、図14において、(a),(b),(c)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。   When the concept of the second embodiment is applied to the pointing operation of the pointer 4 and the object 5 shown in FIG. 5, for example, the result is as shown in FIG. In FIG. 14, (a), (b), and (c) are the positional relationship between the pointer and the object before pointing, the positional relationship when the pointer is moved in the depth direction, and when the object is pointed, respectively. It is a figure which shows a positional relationship.

本実施例2のポインティング方法では、たとえば、図14に示した(a)の状態のように、ポインタ4のポインティングを行う部位4A−1(ポインティングしている部位4P)をオブジェクト5上に移動させると、図13に示したステップ609により、ポインティング可能なオブジェクトがあると判定される。そのため、ステップ610により、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fが生成され、図14の(a)の状態のように、外部表示装置3にオブジェクト4Fが表示される。このことにより、操作者は、ポインタ4がどの奥行き位置にあっても、ポインタ4の奥行き位置とポインティング可能なオブジェクト5の奥行き位置の関係を知ることができ、より効率的なポインティングが可能となる。   In the pointing method of the second embodiment, for example, as shown in FIG. 14A, the part 4A-1 (pointing part 4P) where the pointer 4 is pointed is moved onto the object 5. In step 609 shown in FIG. 13, it is determined that there is an object that can be pointed. Therefore, in step 610, the object 4F representing the depth position of the object that can be pointed is generated, and the object 4F is displayed on the external display device 3 as in the state of FIG. As a result, the operator can know the relationship between the depth position of the pointer 4 and the depth position of the object 5 that can be pointed regardless of the depth position of the pointer 4, thereby enabling more efficient pointing. .

この状態から、ポインティングを行う部位4A−1を奥行き方向に移動させる操作をすると、図14に示した(b),(c)の状態のように、ポインティングを行う部位4A−1が回転しながら奥行き方向に移動する。そして、ポインティングを行う部位4A−1が、オブジェクト4Fが表示されている位置まで回転すると、オブジェクト5がポインティングされた状態になり、たとえば、図14の(c)の状態のようにオブジェクト5の色が変化する。   From this state, when the operation of moving the pointing portion 4A-1 in the depth direction is performed, the pointing portion 4A-1 is rotated as shown in FIGS. 14B and 14C. Move in the depth direction. Then, when the pointing part 4A-1 is rotated to the position where the object 4F is displayed, the object 5 is in a pointing state. For example, the color of the object 5 as shown in FIG. Changes.

なお、本実施例2において、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fは小さな三角形状であるが、操作者にポインティング可能な奥行き位置を呈示可能であればこの限りではない。   In the second embodiment, the object 4F representing the depth position of the object that can be pointed has a small triangular shape. However, the object 4F is not limited as long as the depth position that can be pointed to the operator can be presented.

また、本実施例2において、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fを表示するための条件として、ポインタ4がポインティングしている点の2次元射影平面(xy座標)上で一定の距離を10ピクセル以内としたが、この距離は操作者や管理者などが事前に任意の値に設定しても構わないし、システム制御装置1が自動的に所定の値に設定しても構わないものとする。   In the second embodiment, as a condition for displaying the object 4F representing the depth position of the object that can be pointed, a certain distance on the two-dimensional projection plane (xy coordinates) of the point to which the pointer 4 is pointing is set. Although the distance is within 10 pixels, this distance may be set to an arbitrary value in advance by an operator or an administrator, or may be automatically set to a predetermined value by the system control device 1. To do.

図15は、本発明による実施例3の3次元ポインティング方法を説明するための模式図である。   FIG. 15 is a schematic diagram for explaining the three-dimensional pointing method according to the third embodiment of the present invention.

本実施例3は、オブジェクトが操作者から見て重なった奥行き位置に配置されている場合における一つのオブジェクトのポインティング方法である。以下、本実施例3の3次元ポインティング方法を、図15を用いて説明する。なお、図15において、(a),(b),(c),(d)はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、手前のオブジェクトがポインティングされたときの位置関係、奥のオブジェクトがポインティングされたときの位置関係を示す図である。また、図15において、(a),(b),(c),(d)には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。   The third embodiment is a pointing method for one object in a case where the objects are arranged at a depth position overlapped when viewed from the operator. Hereinafter, the three-dimensional pointing method of the third embodiment will be described with reference to FIG. In FIG. 15, (a), (b), (c), and (d) respectively indicate the positional relationship between the pointer and the object before pointing, the positional relationship when the pointer is moved in the depth direction, and the object in front. It is a figure which shows the positional relationship when a is pointed, and the positional relationship when a back object is pointed. In FIG. 15, (a), (b), (c), and (d) are views from the top of the operator in order from the top, a view from obliquely above, and a view from the right side, respectively. Is shown.

本実施例3では、説明を簡単にするために、たとえば、図15に示した(a)の状態のように、2つのオブジェクト5A,5Bが重なっている場合を例に挙げる。またこのとき、操作者は、後ろのオブジェクト5Bをポインティングして選択しようとしているものとする。   In the third embodiment, in order to simplify the description, for example, a case where two objects 5A and 5B are overlapped as in the state of (a) shown in FIG. 15 is taken as an example. At this time, it is assumed that the operator is pointing to select the object 5B behind.

また、前記実施例1のポインティング方法を用い、操作者がポインティング部4A−1の回転角と知覚される奥行き位置からポインタとオブジェクトの奥行き位置を認知し、複数のオブジェクトを個別にポインティングすることは可能であるが、ここでは、本ポインタの特徴をより生かすため、前記実施例2のポインティング方法を応用して用いることとする。本実施例3のように複数個のオブジェクトが重なっている場合、前記実施例2におけるポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fをポインティング可能なオブジェクトの数だけ複数表示する。そのため、たとえば、図15の(a)の状態のように、2つのオブジェクト5A,5Bが重なっている場合、手前のオブジェクト5Aの奥行き位置を表すオブジェクト4F−1と、奥のオブジェクト5Bの奥行き位置を表すオブジェクト4F−2が表示される。   Further, using the pointing method of the first embodiment, the operator recognizes the depth position of the pointer and the object from the rotation angle of the pointing unit 4A-1 and the perceived depth position, and points a plurality of objects individually. Although possible, here, in order to make better use of the characteristics of the pointer, the pointing method of the second embodiment is applied. When a plurality of objects are overlapped as in the third embodiment, the object 4F representing the depth position of the object that can be pointed in the second embodiment is displayed by the number of objects that can be pointed. Therefore, for example, when the two objects 5A and 5B are overlapped as in the state of FIG. 15A, the object 4F-1 representing the depth position of the front object 5A and the depth position of the back object 5B An object 4F-2 representing is displayed.

本実施例3では、操作者がポインタをxy座標上で移動させ、ポインタ4の奥行き方向にポインティング可能なオブジェクトが、その時点でポインタがポインティングしている点の2次元射影平面(xy座標)上で一定の距離(ここでは10ピクセルとする)以内に入っていた場合、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4F−1,4F−2が表示される。操作者は、表示された2つのポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4F−1,4F−2から、ポインティングできるオブジェクトが2つ存在することを認識し、選択しようとしているオブジェクトの奥行き位置を他のオブジェクトの奥行き位置と混同することなく認知、さらにはポインティングすることができる。   In the third embodiment, the operator moves the pointer on the xy coordinates, and an object that can be pointed in the depth direction of the pointer 4 is on the two-dimensional projection plane (xy coordinates) of the point that the pointer is pointing at that time. In this case, the objects 4F-1 and 4F-2 representing the depth positions of the objects that can be pointed are displayed. The operator recognizes that there are two objects that can be pointed out from the objects 4F-1 and 4F-2 representing the depth positions of the two displayed objects that can be pointed, and determines the depth position of the object to be selected. Recognition and pointing can be performed without being confused with the depth position of other objects.

このような状態で、たとえば、ポインタ4を奥行き方向に移動させる操作をすると、図15に示した(b)の状態のように、ポインティングを行うための部位4A−1が、xy平面内でポインティング部4Pを中心に回転しながらオブジェクト5の方向(+z方向)に移動する。   In such a state, for example, when an operation of moving the pointer 4 in the depth direction is performed, the portion 4A-1 for pointing is pointed within the xy plane as in the state of (b) shown in FIG. It moves in the direction of the object 5 (+ z direction) while rotating around the part 4P.

ここで、さらにもう一度、ポインタ4を奥行き方向に移動させる操作をすると、図15に示した(c)の状態のように、ポインティングを行うための部位4A−1が、xy平面内でポインティング部4Pを中心に回転しながらオブジェクト5の方向(+z方向)に移動する。そして、手前のオブジェクト5Aの奥行き位置を表すオブジェクト4F−1が表示されている位置まで回転すると、手前のオブジェクト5Aがポインティングされた状態となり、手前のオブジェクト5Aの色が変化する。   Here, when the operation of moving the pointer 4 further in the depth direction is performed once again, as shown in FIG. 15C, the part 4A-1 for performing the pointing becomes the pointing unit 4P in the xy plane. It moves in the direction of the object 5 (+ z direction) while rotating around. Then, when the object 4F-1 representing the depth position of the object 5A in front is rotated to the position where the object 4F-1 is displayed, the object 5A in front is pointed and the color of the object 5A in front changes.

その後、さらにもう一度、ポインタ4を奥行き方向に移動させる操作をすると、図15に示した(d)の状態のように、ポインティングを行うための部位4A−1が、xy平面内でポインティング部4Pを中心に回転しながらオブジェクト5の方向(+z方向)に移動する。そして、奥のオブジェクト5Bの奥行き位置を表すオブジェクト4F−2が表示されている位置まで回転すると、奥のオブジェクト5Bがポインティングされた状態となり、奥のオブジェクト5Bの色が変化する。このとき、手前のオブジェクト5Aは、ポインティングされていない状態の色に戻る。   Thereafter, when the operation of moving the pointer 4 further in the depth direction is performed again, as shown in FIG. 15D, the part 4A-1 for performing the pointing operation moves the pointing unit 4P in the xy plane. It moves in the direction of the object 5 (+ z direction) while rotating to the center. Then, when the object 4F-2 representing the depth position of the back object 5B is rotated to a position where the object 4F-2 is displayed, the back object 5B is pointed and the color of the back object 5B changes. At this time, the object 5A in the foreground returns to the color that is not pointed.

なお、本実施例3において、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4F−1、4F−2は小さな三角形のような形状を用いたが、操作者にポインティング可能な奥行き位置を呈示可能であればこの限りではない。また、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクトが複数表示される以外は、実施例1および実施例2と違いがないため、必要なシステムや操作法の説明は省略する。   In the third embodiment, the objects 4F-1 and 4F-2 representing the depth positions of the objects that can be pointed have a shape like a small triangle. However, it is possible to present the depth position that can be pointed to the operator. This is not the case. In addition, since there is no difference from the first embodiment and the second embodiment except that a plurality of objects representing the depth positions of objects that can be pointed are displayed, description of necessary systems and operation methods is omitted.

図16は、本実施例3の応用例を説明するための模式図である。   FIG. 16 is a schematic diagram for explaining an application example of the third embodiment.

図15に示した例では、重なっている2つのオブジェクト5A,5Bがともに、フォルダ型のオブジェクトであったが、実際の3次元GUIでは、フォルダ型に限らず、種々の形状のオブジェクトが表示される。そこで、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4Fを表示するときに、該当するオブジェクトに割り当てられた属性に対応した形状のオブジェクトを表示することで、操作者は選択しようとしている目的のオブジェクトの奥行き位置を他のオブジェクトの奥行き位置と混同することなく認知し、ポインティングすることができるようになる。   In the example shown in FIG. 15, the two overlapping objects 5A and 5B are both folder-type objects. However, in an actual three-dimensional GUI, not only folder-type objects but also objects of various shapes are displayed. The Therefore, when the object 4F representing the depth position of the object that can be pointed is displayed, the object having the shape corresponding to the attribute assigned to the corresponding object is displayed, so that the operator can select the target object to be selected. The depth position can be recognized and pointed without being confused with the depth position of other objects.

ポインティング可能なオブジェクトの属性に対応した形状のオブジェクト4Fを表示する場合の一例として、図16に示すように、2つのオブジェクト5A,5Bが重なっており、手前のオブジェクト5Aがフォルダ型オブジェクト、奥のオブジェクト5Bがメール型オブジェクトである場合を挙げる。このとき、手前のオブジェクト5Aの奥行き位置を表すオブジェクト4F−1をフォルダ形状とし、奥のオブジェクト5Bの奥行き位置を表すオブジェクト4F−2をメール形状にする。このようにすれば、手前のオブジェクト5Aを選択するときには、ポインティングを行う部位4A−1がオブジェクト4F−1の位置まで回転するように外部入力装置2を操作すればよいことがわかる。   As an example of displaying an object 4F having a shape corresponding to the attribute of the object that can be pointed, as shown in FIG. 16, the two objects 5A and 5B are overlapped, the object 5A in the foreground is a folder type object, A case where the object 5B is a mail type object will be described. At this time, the object 4F-1 representing the depth position of the object 5A in the foreground is made into a folder shape, and the object 4F-2 representing the depth position of the object 5B in the back is made into a mail shape. In this way, when selecting the front object 5A, it is understood that the external input device 2 may be operated so that the part 4A-1 for pointing rotates to the position of the object 4F-1.

なお、本実施例3では、ポインティング対象となるオブジェクト5A,5B、およびポインティング可能なオブジェクトの奥行き位置を表すオブジェクト4F−1,4F−2をそれぞれ、フォルダ型、メール型としたが、同様の効果が得られるのであればこの限りではない。特にポインティング可能なオブジェクトの奥行き位置を表すオブジェクトについては、ポインティングしようとしているオブジェクトの属性に応じて、形状、色、大きさ、向き、動きなどを変化させて表示してもよいものとする。また、指標が表示される位置は、ポインティング可能な奥行き位置に限定せず、ポインティング可能な奥行き位置を操作者に2次元位置で呈示できるのであれば、その奥行き位置は問わず、2次元射影平面内のどの位置でも構わないものとする。   In the third embodiment, the objects 5A and 5B to be pointed and the objects 4F-1 and 4F-2 representing the depth positions of the objects that can be pointed to are the folder type and the mail type, respectively. This is not necessarily the case if In particular, an object representing the depth position of an object that can be pointed to may be displayed with its shape, color, size, orientation, movement, etc. changed according to the attribute of the object to be pointed. In addition, the position where the index is displayed is not limited to the depth position at which pointing is possible, and the depth position can be presented to the operator in a two-dimensional position. Any position can be used.

図17および図18は、本発明による実施例4の3次元ポインティング方法を説明するための模式図であり、図17は前記各実施例の問題点を説明する図、図18は本実施例4の原理を説明する図である。   17 and 18 are schematic diagrams for explaining the three-dimensional pointing method according to the fourth embodiment of the present invention. FIG. 17 is a diagram for explaining the problems of the respective embodiments, and FIG. 18 is the fourth embodiment. It is a figure explaining the principle of.

本発明の3次元ポインティング方法では、たとえば、図17に示した(a)の状態のように、操作者が選択しようとしているオブジェクト5A,5Bがポインタ4の大きさよりも大きい場合がある。このとき、ポインタ4を、たとえば、オブジェクト5A上に移動させ、ポインティングを行う部位4A−1を奥行き方向に移動させると、図17に示した(b)の状態のように、ポインティングを行う部位4A−1が隠れてしまい、どこをポインティングしているのか分からなくなってしまうことがある。   In the three-dimensional pointing method of the present invention, for example, the objects 5A and 5B that the operator is trying to select may be larger than the size of the pointer 4 as in the state of (a) shown in FIG. At this time, for example, when the pointer 4 is moved onto the object 5A and the part 4A-1 for pointing is moved in the depth direction, the part 4A for pointing as shown in FIG. 17B. -1 may be hidden and you may not know where you are pointing.

そこで、本実施例では、ポインタよりも大きなオブジェクトをポインティングする際にも、ポインタが隠れることなく、また、操作者が他の実施例同様に奥行き位置を知覚してポインティングが行えるポインタについて説明する。   Therefore, in the present embodiment, a pointer is described in which the pointer is not hidden when an object larger than the pointer is pointed, and the operator can perceive the depth position as in the other embodiments.

本実施例4では、たとえば、図18に示した(a)の状態のように、オブジェクトがない位置にポインタ4がある場合、ポインタ4は、初期の大きさで表示されているとする。このとき、操作者が選択しようとしているオブジェクト5A,5Bがポインタ4の大きさよりも大きい場合がある。   In the fourth embodiment, for example, when the pointer 4 is at a position where there is no object as in the state of (a) shown in FIG. 18, it is assumed that the pointer 4 is displayed with an initial size. At this time, the objects 5A and 5B that the operator is trying to select may be larger than the size of the pointer 4.

そして、たとえば、ポインタ4よりも大きいオブジェクト5Bをポインティングしたい場合は、図18に示した(b)の状態のように、オブジェクト5B上にポインタ4を移動させる。そして、ポインティングを行う部位4A−1を奥行き方向に移動させる操作をする。   For example, when it is desired to point an object 5B larger than the pointer 4, the pointer 4 is moved onto the object 5B as shown in FIG. 18B. And operation which moves the part 4A-1 which performs pointing to a depth direction is performed.

このとき、ポインタ4が初期の大きさであれば、ポインティングを行う部位4A−1の奥行き位置が手前のオブジェクト5Aの奥行き位置よりも奥になると、ポインティングを行う部位4A−1は手前のオブジェクト5Aに隠れてしまう。そこで、ポインティングを行う部位4A−1より手前にあり、かつ、重なっているオブジェクト5Aがある場合、図18の(b)の状態のように、ポインタ4のxy平面内での大きさを、あらかじめ操作者が設定していた大きさ、または、ポインタがオブジェクトに隠れず見える大きさまで拡大して表示される。これにより、操作者はポインタのポインティングを行う部位の奥行き位置を認識することができるようになり、目的のオブジェクトをポインティングできる。   At this time, if the pointer 4 has an initial size, if the depth position of the part 4A-1 to which the pointing is performed becomes deeper than the depth position of the object 5A in the foreground, the part 4A-1 to which the pointing is performed is the front object 5A. It hides in. Therefore, when there is an overlapping object 5A that is in front of the part 4A-1 where pointing is performed, the size of the pointer 4 in the xy plane is set in advance as shown in FIG. The display is enlarged to the size set by the operator or the size where the pointer can be seen without being hidden by the object. As a result, the operator can recognize the depth position of the part where the pointer is to be pointed, and can point to the target object.

図19は、本実施例4の3次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。   FIG. 19 is a flowchart for explaining a processing procedure in the system control apparatus of the three-dimensional pointing method according to the fourth embodiment.

本実施例4の3次元ポインティング方法の場合も、システム制御装置1では、図19に示すように、まず、外部表示装置3にオブジェクト5およびポインタ4を表示させる(ステップ601)。そして、操作者が、たとえば、前記ペンタブレットのタブレット201および入力ペン202を用いて入力した情報を入力情報取得手段101で取得する(ステップ602)。   Also in the case of the three-dimensional pointing method of the fourth embodiment, the system control device 1 first displays the object 5 and the pointer 4 on the external display device 3 as shown in FIG. 19 (step 601). Then, for example, information input by the operator using the tablet 201 and the input pen 202 of the pen tablet is acquired by the input information acquisition unit 101 (step 602).

次に、ポインタ4の移動方向、移動量を算出し(ステップ603)、その算出結果に基づいた2次元座標位置にポインタ4を移動させ、外部表示装置3に表示させる(ステップ604)。その後、ポインティングを行う部位の奥行き座標を算出し(ステップ605)、ポインティングを行う部位を奥行き方向に移動させながら回転させ、外部表示装置3に表示させる(ステップ606)。   Next, the moving direction and moving amount of the pointer 4 are calculated (step 603), the pointer 4 is moved to the two-dimensional coordinate position based on the calculation result, and displayed on the external display device 3 (step 604). Thereafter, the depth coordinate of the part to be pointed is calculated (step 605), the part to be pointed is rotated while being moved in the depth direction, and displayed on the external display device 3 (step 606).

なお、図19に示したステップ601からステップ606までの処理は、図7に示したステップ601からステップ606までの処理と同じ処理でよいので、詳細な説明は省略する。   Note that the processing from step 601 to step 606 shown in FIG. 19 may be the same as the processing from step 601 to step 606 shown in FIG.

本実施例4では、ステップ606の後、図19に示すように、操作者から見えるポインタ4の面積が所定の大きさを下回るか否かを判定する(ステップ611)。ステップ611は、たとえば、ポインタ4よりも手前にオブジェクトがあるか否か、手前にオブジェクトがある場合、ポインタ4の全体が隠れるか否かで判定する。このとき、ポインタ4の全体が隠れるのであれば、ポインタ4のxy平面内の大きさを、所定の大きさに拡大し、外部表示装置3に表示させる(ステップ612)。また、ポインタ4が隠れない場合は、大きさを変えず、そのまま次の処理(ステップ607)を行う。   In the fourth embodiment, after step 606, as shown in FIG. 19, it is determined whether or not the area of the pointer 4 visible to the operator is smaller than a predetermined size (step 611). In step 611, for example, it is determined whether or not there is an object in front of the pointer 4, and if there is an object in front, whether or not the entire pointer 4 is hidden. At this time, if the entire pointer 4 is hidden, the size of the pointer 4 in the xy plane is enlarged to a predetermined size and displayed on the external display device 3 (step 612). If the pointer 4 is not hidden, the next process (step 607) is performed without changing the size.

なお、図19に示したステップ607およびステップ608の処理は、図7に示したステップ607およびステップ608の処理と同じ処理でよいので、繰り返しの説明は省略する。   Note that the processing in step 607 and step 608 shown in FIG. 19 may be the same as the processing in step 607 and step 608 shown in FIG.

ただし、本実施例4では、ポインタ4の全体が隠れた場合にポインタを拡大するだけでなく、たとえば、ポインティングを行う部位4A−1やリファレンス部位4Bなど、ポインタ4の一部分が隠れたときにポインタ全体をxy平面内で拡大してもよい。また、ポインタ4を拡大するときには、xy平面内で拡大するだけでなく、x方向またはy方向のいずれか一方向のみに拡大してもよい。また、ポインタの一部分のみを拡大するなど、同じ効果が得られるのであればこの限りではない。また、ポインタが隠れている面積によって拡大率を変えるなど、拡大率を動的に設定しても構わないものとする。   However, in the fourth embodiment, not only the pointer is enlarged when the entire pointer 4 is hidden, but also when a part of the pointer 4 is hidden, for example, the part 4A-1 or the reference part 4B for pointing. The whole may be enlarged in the xy plane. Further, when the pointer 4 is enlarged, the pointer 4 may be enlarged not only in the xy plane but also in only one of the x direction and the y direction. Also, this is not necessary as long as the same effect can be obtained, such as enlarging only a part of the pointer. Also, the enlargement ratio may be set dynamically, such as changing the enlargement ratio depending on the area where the pointer is hidden.

図20は、ポインタの拡大率の設定方法の一例を示す模式図である。   FIG. 20 is a schematic diagram illustrating an example of a method for setting the enlargement ratio of the pointer.

ポインタの拡大率を動的に設定する場合、たとえば、図20に示すように、操作者から見たポインタ4、またはポインティングを行うための部位4A−1等の面積が、ポインタまたはポインティングを行うための部位4A−1等の全体の面積に対してある一定の割合tを下回ると、ポインタまたはポインティングを行うための部位4A−1等の面積を拡大し、操作者から見えるポインタの面積の割合がtを保つようにする。この割合tは、事前にシステムが設定しておいてもかまわないし、操作者が任意に設定してもかまわない。また、拡大方法は、ポインタが完全に隠れた時点で面積を2倍にするなど、例の限りではない。   When the enlargement ratio of the pointer is dynamically set, for example, as shown in FIG. 20, the area of the pointer 4 or the portion 4A-1 for performing the pointing as viewed from the operator performs the pointer or the pointing. When the ratio is smaller than a certain ratio t with respect to the entire area of the part 4A-1 or the like, the area of the part 4A-1 or the like for performing the pointer or pointing is enlarged, and the ratio of the area of the pointer visible to the operator is Keep t. This ratio t may be set by the system in advance or may be arbitrarily set by the operator. The enlargement method is not limited to the example, such as doubling the area when the pointer is completely hidden.

以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。   The present invention has been specifically described above based on the above-described embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. is there.

たとえば、前記実施例1から実施例4で説明したようなポインティング方法を、前記コンピュータに実行させるようなプログラムとして記述して前記コンピュータにインストールし、実行させることで、一般的なパーソナルコンピュータでも本発明のポインティング方法を実現することができる。またこのとき、前記プログラムは、たとえば、磁気的、電気的、もしくは光学的な記録媒体に記録して提供することもできるし、インターネット等のネットワークを介して提供することもできる。   For example, the pointing method as described in the first to fourth embodiments is described as a program to be executed by the computer, installed in the computer, and executed, so that the present invention can be applied to a general personal computer. This pointing method can be realized. At this time, for example, the program can be provided by being recorded on a magnetic, electrical, or optical recording medium, or can be provided via a network such as the Internet.

本発明の3次元ポインティング方法を実現するためのシステムの構成例を示す模式図である。It is a schematic diagram which shows the structural example of the system for implement | achieving the three-dimensional pointing method of this invention. DFD表示装置の原理を説明するための模式図である。It is a schematic diagram for demonstrating the principle of a DFD display apparatus. DFD表示装置の原理を説明するための模式図である。It is a schematic diagram for demonstrating the principle of a DFD display apparatus. 本発明による実施例1の3次元ポインティング方法を説明するための模式図であり、本発明に用いるポインタの例を説明するための図である。It is a schematic diagram for demonstrating the three-dimensional pointing method of Example 1 by this invention, and is a figure for demonstrating the example of the pointer used for this invention. 本発明による実施例1の3次元ポインティング方法を説明するための模式図であり、原理を説明するための図である。It is a schematic diagram for demonstrating the three-dimensional pointing method of Example 1 by this invention, and is a figure for demonstrating a principle. 本発明による実施例1の3次元ポインティング方法を説明するための模式図であり、奥行き方向にあるオブジェクトのポインティング方法を説明するための図である。It is a schematic diagram for demonstrating the three-dimensional pointing method of Example 1 by this invention, and is a figure for demonstrating the pointing method of the object in a depth direction. ポインタの形状の第1の変形例を説明するための模式図である。FIG. 10 is a schematic diagram for explaining a first modified example of a pointer shape. ポインタの形状の第1の変形例を説明するための模式図である。FIG. 10 is a schematic diagram for explaining a first modified example of a pointer shape. 本実施例1の3次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。It is a flowchart for demonstrating the process sequence in the system control apparatus of the three-dimensional pointing method of the present Example 1. 前記実施例1の第1の応用例を説明するための模式図であり、ポインタの形状の例を説明するための図である。It is a schematic diagram for demonstrating the 1st application example of the said Example 1, and is a figure for demonstrating the example of the shape of a pointer. 前記実施例1の第1の応用例を説明するための模式図であり、奥行き方向にあるオブジェクトのポインティング方法を説明するための図である。It is a schematic diagram for demonstrating the 1st application example of the said Example 1, and is a figure for demonstrating the pointing method of the object in a depth direction. 前記実施例1の第1の応用例を説明するための模式図であり、本応用例の変形例を説明するための図である。It is a schematic diagram for demonstrating the 1st application example of the said Example 1, and is a figure for demonstrating the modification of this application example. 前記実施例1の第2の応用例を説明するための模式図である。FIG. 4 is a schematic diagram for explaining a second application example of the first embodiment. 前記実施例1の第3の応用例を説明するための模式図である。FIG. 6 is a schematic diagram for explaining a third application example of the first embodiment. 本実施例2の3次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。It is a flowchart for demonstrating the process sequence in the system control apparatus of the three-dimensional pointing method of the present Example 2. 本実施例2の概念を説明するための模式図である。It is a schematic diagram for demonstrating the concept of the present Example 2. FIG. 本発明による実施例3の3次元ポインティング方法を説明するための模式図である。It is a schematic diagram for demonstrating the three-dimensional pointing method of Example 3 by this invention. 本実施例3の応用例を説明するための模式図である。FIG. 10 is a schematic diagram for explaining an application example of the third embodiment. 本発明による実施例4の3次元ポインティング方法を説明するための模式図であり、前記各実施例の問題点を説明する図である。It is a schematic diagram for demonstrating the three-dimensional pointing method of Example 4 by this invention, and is a figure explaining the problem of each said Example. 本発明による実施例4の3次元ポインティング方法を説明するための模式図であり、本実施例4の原理を説明する図である。It is a schematic diagram for demonstrating the three-dimensional pointing method of Example 4 by this invention, and is a figure explaining the principle of this Example 4. FIG. 本実施例4の3次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。It is a flowchart for demonstrating the process sequence in the system controller of the three-dimensional pointing method of the present Example 4. ポインタの拡大率の設定方法の一例を示す模式図である。It is a schematic diagram which shows an example of the setting method of the magnification factor of a pointer.

符号の説明Explanation of symbols

1…システム制御装置
101…入力情報取得手段
102…ポインティング位置算出手段
103…ポインティング可能点判定手段
104…ポインタ生成手段
105…表示制御手段
106…ポインティング判定手段
107…オブジェクト生成手段
108…処理制御手段
109…記憶手段
2…外部入力装置
201…タブレット
202…入力ペン
3…外部表示装置
3A…手前の表示面
3B…奥の表示面
4…ポインタ
4A,4A−1,4A−1’…ポインティングを行うための部位
4B,4C…奥行き方向の位置が固定された部位(リファレンス部位)
4P…ポインティングしている位置を指し示す部位
4D…ポインティングを行う部位の軌跡
4E…リファレンス部位
4F,4F−1,4F−2…奥行き位置を表すオブジェクト
5,5A,5B…オブジェクト
DESCRIPTION OF SYMBOLS 1 ... System control apparatus 101 ... Input information acquisition means 102 ... Pointing position calculation means 103 ... Pointing possible point determination means 104 ... Pointer generation means 105 ... Display control means 106 ... Pointing determination means 107 ... Object generation means 108 ... Processing control means 109 ... Storage means 2 ... External input device 201 ... Tablet 202 ... Input pen 3 ... External display device 3A ... Front display surface 3B ... Back display surface 4 ... Pointers 4A, 4A-1, 4A-1 '... for pointing Part 4B, 4C ... part where the position in the depth direction is fixed (reference part)
4P: Part indicating the position where pointing is performed 4D: Trajectory of the part where pointing is performed 4E: Reference part 4F, 4F-1, 4F-2: Object representing depth position 5, 5A, 5B: Object

Claims (11)

外部表示装置に表現された3次元表示空間の任意の一点をポインティングする3次元ポインティング方法であって、
外部入力装置からの入力情報に基づいて、前記3次元表示空間のポインティングする点の2次元平面座標および奥行き位置を算出するステップ1と、
前記ポインティングする点の2次元平面座標を示す第1の部位と、前記ポインティングする点における奥行き位置を示す第2の部位と、該奥行き位置に応じて2次元平面内の位置が変化する第3の部位とを有するポインタを生成するステップ2と、
前記生成したポインタを外部表示装置に表示させるステップ3とを有することを特徴とする3次元ポインティング方法。
A three-dimensional pointing method for pointing an arbitrary point in a three-dimensional display space expressed on an external display device,
Calculating a two-dimensional plane coordinate and a depth position of a point to be pointed in the three-dimensional display space based on input information from an external input device;
A first part indicating a two-dimensional plane coordinate of the point to be pointed, a second part indicating a depth position at the point to be pointed, and a third part whose position in the two-dimensional plane changes according to the depth position Generating a pointer having a portion; and
And a step 3 for displaying the generated pointer on an external display device.
前記ステップ2は、前記ポインタと、ポインティング可能なオブジェクトとの、2次元射影平面上での距離が一定の距離以内に近づくと、前記ポインティング可能なオブジェクトの奥行き位置を、前記第3の部位が表示されるべき前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトを生成することを特徴とする請求項1に記載の3次元ポインティング方法。   In the step 2, when the distance between the pointer and the object capable of pointing on the two-dimensional projection plane approaches within a certain distance, the depth position of the object capable of pointing is displayed by the third part. The three-dimensional pointing method according to claim 1, wherein an object indicating a position in a two-dimensional plane corresponding to the depth position to be performed is generated. 前記ステップ1からステップ3の各ステップに加え、前記ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトの形状、色、大きさ、向きおよび動きのうちの少なくとも一つを、前記ポインティング可能なオブジェクトの属性に対応して変化させるステップ4を有することを特徴とする請求項2に記載の3次元ポインティング方法。   In addition to the above steps 1 to 3, at least one of the shape, color, size, orientation and movement of the object indicating the depth position of the pointing object is set as an attribute of the pointing object. The three-dimensional pointing method according to claim 2, further comprising a step 4 of changing correspondingly. 前記ステップ2は、3次元空間の任意の一点をポインティングする際、前記ポインタの大きさを変化させて表示することを特徴とする請求項1乃至請求項3のいずれか1項に記載の3次元ポインティング方法。   The three-dimensional according to any one of claims 1 to 3, wherein the step 2 displays the pointer while changing the size of an arbitrary point in the three-dimensional space. Pointing method. 前記ステップ2は、前記第1の部位から第3の部位の各部位に加え、奥行き方向の位置が固定されており、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる第4の部位を生成することを特徴とする請求項1乃至請求項4のいずれか1項に記載の3次元ポインティング方法。   In step 2, in addition to the first part to the third part, the position in the depth direction is fixed, and the depth position can be compared with other parts whose position in the depth direction changes. The three-dimensional pointing method according to any one of claims 1 to 4, wherein a fourth part is generated. 外部表示装置に表現された3次元表示空間の任意の一点をポインティングする3次元ポインティング装置であって、
外部入力装置からの入力情報を取得する入力情報取得手段と、
前記入力情報取得手段で取得した入力情報に基づいて、前記3次元表示空間のポインティングする点の2次元平面座標および奥行き位置を算出するポインティング位置算出手段と、
前記ポインティング位置算出手段の算出結果に基づいて、前記ポインティングする点の2次元平面座標位置および奥行き位置を指し示すポインタを生成するポインタ生成手段と、
前記ポインタ生成手段で生成したポインタを前記外部表示装置に表示させる表示制御手段とを備え、
前記ポインタ生成手段は、前記ポインティングする点の2次元平面座標を示す第1の部位と、前記ポインティングする点における奥行き位置を示す第2の部位と、該奥行き位置に応じて2次元平面内の位置が変化する第3の部位とを有するポインタを生成することを特徴とする3次元ポインティング装置。
A three-dimensional pointing device for pointing an arbitrary point in a three-dimensional display space represented on an external display device,
Input information acquisition means for acquiring input information from an external input device;
A pointing position calculating means for calculating a two-dimensional plane coordinate and a depth position of a point to be pointed in the three-dimensional display space based on the input information acquired by the input information acquiring means;
Pointer generation means for generating a pointer indicating the two-dimensional plane coordinate position and depth position of the point to be pointed based on the calculation result of the pointing position calculation means;
Display control means for displaying the pointer generated by the pointer generation means on the external display device,
The pointer generating means includes a first part indicating a two-dimensional plane coordinate of the point to be pointed, a second part indicating a depth position at the point to be pointed, and a position in a two-dimensional plane according to the depth position. A three-dimensional pointing device that generates a pointer having a third portion where the angle changes.
前記ポインタ生成手段は、前記ポインタと、ポインティング可能なオブジェクトとの、2次元射影平面上での距離が一定の距離以内に近づくと、前記ポインティング可能なオブジェクトの奥行き位置を、前記第3の部位が表示されるべき前記奥行き位置に相当する2次元平面内での位置を示すオブジェクトを生成する手段を備えることを特徴とする請求項6に記載の3次元ポインティング装置。   When the distance between the pointer and the object that can be pointed on the two-dimensional projection plane approaches within a certain distance, the pointer generation unit determines the depth position of the object that can be pointed by the third part. The three-dimensional pointing device according to claim 6, further comprising means for generating an object indicating a position in a two-dimensional plane corresponding to the depth position to be displayed. 前記各手段に加え、前記ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトの形状、色、大きさ、向きおよび動きのうちの少なくとも一つを、前記ポインティング可能なオブジェクトの属性に対応して変化させるオブジェクト生成手段を備えることを特徴とする請求項7に記載の3次元ポインティング装置。   In addition to the above means, an object that changes at least one of the shape, color, size, orientation, and movement of the object indicating the depth position of the pointing object corresponding to the attribute of the pointing object The three-dimensional pointing device according to claim 7, further comprising a generation unit. 前記ポインタ生成手段は、前記ポインタの大きさを変化させる手段を備えることを特徴とする請求項6乃至請求項8のいずれか1項に記載の3次元ポインティング装置。   The three-dimensional pointing device according to any one of claims 6 to 8, wherein the pointer generation means includes means for changing the size of the pointer. 前記ポインタ生成手段は、前記第1の部位から第3の部位の各部位に加え、奥行き方向の位置が固定されており、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる第4の部位を生成することを特徴とする請求項6乃至請求項9のいずれか1項に記載の3次元ポインティング装置。   In addition to the first part to the third part, the pointer generating means has a fixed position in the depth direction, and compares the depth position with other parts whose position in the depth direction changes. The three-dimensional pointing device according to any one of claims 6 to 9, wherein a fourth portion that can be generated is generated. 請求項6乃至請求項10に記載のポインティング装置における各手段の処理動作をコンピュータに実行させる3次元ポインティングプログラム。   11. A three-dimensional pointing program for causing a computer to execute the processing operation of each means in the pointing device according to claim 6.
JP2005334415A 2005-11-18 2005-11-18 Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program Expired - Fee Related JP4907156B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005334415A JP4907156B2 (en) 2005-11-18 2005-11-18 Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005334415A JP4907156B2 (en) 2005-11-18 2005-11-18 Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program

Publications (2)

Publication Number Publication Date
JP2007140186A true JP2007140186A (en) 2007-06-07
JP4907156B2 JP4907156B2 (en) 2012-03-28

Family

ID=38203115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005334415A Expired - Fee Related JP4907156B2 (en) 2005-11-18 2005-11-18 Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program

Country Status (1)

Country Link
JP (1) JP4907156B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011048522A (en) * 2009-08-26 2011-03-10 Fujitsu Ltd Three-dimensional data display device and program
JP2016165107A (en) * 2011-01-27 2016-09-08 マイクロソフト テクノロジー ライセンシング,エルエルシー Presenting selectors within three-dimensional graphical environments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266328A (en) * 1993-03-11 1994-09-22 Hitachi Ltd Display method for three-dimensional position
JPH06301477A (en) * 1993-04-16 1994-10-28 Kyoto Densoku Kk Input device for pointed position of three-dimensional space
JPH09288744A (en) * 1996-02-20 1997-11-04 Aroaro Internatl:Kk Three-dimensional graphic editing device
JPH10320167A (en) * 1997-05-15 1998-12-04 Sharp Corp Virtual space window display system
JP2003216295A (en) * 2002-01-07 2003-07-31 Xerox Corp Method for displaying opacity desktop with depth perception

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266328A (en) * 1993-03-11 1994-09-22 Hitachi Ltd Display method for three-dimensional position
JPH06301477A (en) * 1993-04-16 1994-10-28 Kyoto Densoku Kk Input device for pointed position of three-dimensional space
JPH09288744A (en) * 1996-02-20 1997-11-04 Aroaro Internatl:Kk Three-dimensional graphic editing device
JPH10320167A (en) * 1997-05-15 1998-12-04 Sharp Corp Virtual space window display system
JP2003216295A (en) * 2002-01-07 2003-07-31 Xerox Corp Method for displaying opacity desktop with depth perception

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011048522A (en) * 2009-08-26 2011-03-10 Fujitsu Ltd Three-dimensional data display device and program
JP2016165107A (en) * 2011-01-27 2016-09-08 マイクロソフト テクノロジー ライセンシング,エルエルシー Presenting selectors within three-dimensional graphical environments

Also Published As

Publication number Publication date
JP4907156B2 (en) 2012-03-28

Similar Documents

Publication Publication Date Title
Reipschläger et al. Designar: Immersive 3d-modeling combining augmented reality with interactive displays
EP1821182B1 (en) 3d pointing method, 3d display control method, 3d pointing device, 3d display control device, 3d pointing program, and 3d display control program
Bowman et al. New directions in 3d user interfaces
Grossman et al. Multi-finger gestural interaction with 3d volumetric displays
US8179338B2 (en) Method and system for displaying information
US9704285B2 (en) Detection of partially obscured objects in three dimensional stereoscopic scenes
US6943811B2 (en) Apparatus and method of managing data objects
Hachet et al. Navidget for easy 3d camera positioning from 2d inputs
US20110138320A1 (en) Peek Around User Interface
US20120013613A1 (en) Tools for Use within a Three Dimensional Scene
JP2002140147A (en) Graphical user interface
WO2004066137A9 (en) System and method for managing a plurality of locations of interest in 3d data displays
US8471873B2 (en) Enhanced UI operations leveraging derivative visual representation
JP2014012040A (en) Input apparatus and information processing system
US20150248211A1 (en) Method for instantaneous view-based display and selection of obscured elements of object models
Hachet et al. Navidget for 3d interaction: Camera positioning and further uses
Sun et al. Selecting and Sliding Hidden Objects in 3D Desktop Environments.
JP4907156B2 (en) Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program
JP5767371B1 (en) Game program for controlling display of objects placed on a virtual space plane
KR102392675B1 (en) Interfacing method for 3d sketch and apparatus thereof
JP2005332231A (en) Pointing method, pointing device and program therefor
Lemoine et al. Interaction techniques: 3d menus-based paradigm
JP2016016319A (en) Game program for display-controlling objects arranged on virtual spatial plane
US11694376B2 (en) Intuitive 3D transformations for 2D graphics
JP4513620B2 (en) Information processing apparatus and data presentation method in information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4907156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees