JP5255483B2 - Method, apparatus and program for facilitating object selection - Google Patents
Method, apparatus and program for facilitating object selection Download PDFInfo
- Publication number
- JP5255483B2 JP5255483B2 JP2009043737A JP2009043737A JP5255483B2 JP 5255483 B2 JP5255483 B2 JP 5255483B2 JP 2009043737 A JP2009043737 A JP 2009043737A JP 2009043737 A JP2009043737 A JP 2009043737A JP 5255483 B2 JP5255483 B2 JP 5255483B2
- Authority
- JP
- Japan
- Prior art keywords
- extracted
- point
- evaluation
- display screen
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、オブジェクトの選択に関するものであり、特に、表示画面上に表示されている複数のオブジェクトの中から所望のオブジェクトを容易に選択するための方法、装置およびプログラムに関するものである。 The present invention relates to object selection, and more particularly to a method, apparatus, and program for easily selecting a desired object from a plurality of objects displayed on a display screen.
ワードプロセッサ、WYSIWYG型のHTMLエディタ、グラフィックツールなどのツールでは、オブジェクトのコピー、切り取り、貼り付け、削除、属性値の変更等の編集作業を行うためにオブジェクトを「選択」する必要があり、そのための一番簡単な方法としてマウスクリックによる選択が行われる。しかし、例えばWebページのように、オブジェクトが多数配置されていて重なり合っている場合には、所望のオブジェクトをクリックで簡単に選択できないことがある。そこで、そのように複雑にオブジェクトが配置されたケースでも、目的とするオブジェクトを簡単に選択できる方法が望まれる。 In tools such as word processors, WYSIWYG type HTML editors, graphic tools, etc., it is necessary to “select” an object in order to perform editing operations such as copying, cutting, pasting, deleting, and changing attribute values. The simplest way is to select with a mouse click. However, when a large number of objects are arranged and overlap each other as in a Web page, for example, a desired object may not be easily selected by clicking. Therefore, a method that can easily select a target object is desired even in such a case where objects are arranged in a complicated manner.
表示画面上に複雑に配置されたオブジェクトの選択を可能にする手法として、IBM(R)ホームページ・ビルダー(R)に含まれるウェブアートデザイナーのオブジェクトスタック(非特許文献1)、およびAdobe(R) Photoshop(R)のレイヤーパレット(非特許文献2)が知られている。オブジェクトスタックおよびレイヤーパレットは、表示画面上に配置された全オブジェクトに対応するアイテムを選択のために、編集画面とは別の特定の場所(オブジェクトスタックまたはレイヤーパレット)に一覧表示するものである。一覧表示では、各アイテムは対応するオブジェクトの重なりの順に表示され、その中の特定のアイテムをクリックすると、対応するオブジェクトが選択状態になる。これとは別に、オブジェクト要素をツリー形式で表示して、ツリー上の要素をクリックすることによって、エディタ上で対応するオブジェクトを選択するようにした技術も知られている。 Web art designer object stack (Non-patent Document 1) and Adobe (R) included in IBM (R) Homepage Builder (R) as a method for enabling selection of objects arranged in a complicated manner on the display screen A layer palette (Photo 2) of Photoshop (R) is known. The object stack and the layer palette are used to list items corresponding to all the objects arranged on the display screen in a specific place (object stack or layer palette) different from the editing screen. In the list display, each item is displayed in the order in which the corresponding objects overlap, and when a specific item is clicked, the corresponding object is selected. In addition to this, there is also known a technique in which object elements are displayed in a tree format and a corresponding object is selected on an editor by clicking an element on the tree.
上述の従来技術はいずれも全オブジェクトを一覧表示するものであるが、所定の条件を満たすオブジェクトだけを抽出して一覧表示する技術も知られている(特許文献1)。この公知技術では、視点とカーソル位置とを結ぶ直線が透過するオブジェクトが選択候補オブジェクトとして抽出され、一覧ダイアログに一覧表示される。
全オブジェクトを一覧表示する手法では、一覧表示の場所が編集画面とは別の場所であるため、その場所と選択されたオブジェクトが離れていた場合は、比較的長いマウス移動距離が必要となる。また、一覧表示の形態が編集画面におけるオブジェクトの実際の表示形態を示すものではないので、各オブジェクトが編集画面上でどのような位置関係にあるのかがわかりにくい。更に、全オブジェクトを一覧表示しているため、オブジェクトの数が多くなると、所望のオブジェクトを選ぶのに手間が掛かる場合がある。特許文献1の手法では、そのような手間は掛からないかもしれないが、視点とカーソル位置を結ぶ直線がオブジェクトを透過すかどうかで選択候補を決めているため、大きなオブジェクトの後ろに隠れている小さなオブジェクトを選択候補に加えたい場合は、何回かのクリック操作を必要とするであろう。更に、特許文献1の手法では、カーソル位置と重なっていないオブジェクトを選択肢に加えることはできない。
In the method of displaying all objects as a list, the place of the list display is a place different from the editing screen. Therefore, if the place is away from the selected object, a relatively long mouse movement distance is required. In addition, since the list display form does not indicate the actual display form of the objects on the editing screen, it is difficult to understand the positional relationship of the objects on the editing screen. Further, since all objects are displayed in a list, it may take time to select a desired object when the number of objects increases. The technique of
従って、本発明の目的は、上述のような課題を解決するオブジェクト選択を実現することにある。 Accordingly, an object of the present invention is to realize object selection that solves the above-described problems.
本発明によれば、コンピュータの表示画面上でオブジェクトの選択を容易にするための方法であって、前記表示画面上においてユーザにより指定されたポイントを特定するステップと、前記表示画面に表示されている複数のオブジェクトのうち、前記ポイントの近傍に位置するオブジェクトを抽出するステップと、前記抽出するステップが抽出したオブジェクト(以下、抽出オブジェクト)を各該抽出オブジェクトの属性に基づいて評価するステップと、前記抽出オブジェクトをそれらの評価結果に応じて順位付けし、ユーザによる選択が可能な形態で前記ポイントの近傍に一覧表示すると共に、最も評価結果の高い抽出オブジェクトを仮選択状態にするステップと、を含む方法が提供される。更に、この方法を実現するための装置、およびこの方法をコンピュータに実行させるためのプログラムも提供される。 According to the present invention, there is provided a method for facilitating selection of an object on a display screen of a computer, the step of identifying a point designated by a user on the display screen, and a display on the display screen. A step of extracting an object located in the vicinity of the point among a plurality of objects, and a step of evaluating an object extracted by the extracting step (hereinafter referred to as an extracted object) based on an attribute of each extracted object; Ranking the extracted objects according to their evaluation results, listing them in the vicinity of the points in a form that can be selected by the user, and placing the extracted objects with the highest evaluation results in a provisional selection state; A method of including is provided. Furthermore, an apparatus for realizing this method and a program for causing a computer to execute this method are also provided.
好ましくは、一覧表示では、各抽出オブジェクトが例えばアイコンの形で簡略表示され、簡略表示された特定の抽出オブジェクトの上にポインタが重なったときに、その簡略表示オブジェクトの実体、すなわち表示画面上に表示されている実際のオブジェクトが強調表示される。そして、特定の抽出オブジェクトが強調表示されている状態でユーザにより確定操作(例えば、マウスボタンのクリックまたはEnterキーの押し下げ)が行われると、その特定の抽出オブジェクトの選択が確定される。また、最も評価結果の高いオブジェクトが仮選択状態にあるときにユーザにより確定操作が行われると、その抽出オブジェクトの選択が確定される。 Preferably, in the list display, each extracted object is simply displayed in the form of an icon, for example, and when the pointer is over the specific extracted object that is simply displayed, the substance of the simplified display object, that is, the display screen is displayed. The actual object being displayed is highlighted. When the user performs a confirming operation (for example, clicking a mouse button or pressing the Enter key) while the specific extracted object is highlighted, the selection of the specific extracted object is confirmed. If the user performs a confirmation operation when the object having the highest evaluation result is in the temporary selection state, the selection of the extracted object is confirmed.
抽出するステップは、好ましくは、ユーザにより指定されたポイント(以下、指定ポイント)と、表示画面上に表示されている各オブジェクトとの距離を算出して、指定ポイントを内包するオブジェクトを含む、算出距離が所定の閾値以下のオブジェクトを抽出する。 Preferably, the extracting step includes calculating the distance between a point specified by the user (hereinafter referred to as a specified point) and each object displayed on the display screen, and includes an object containing the specified point. An object whose distance is equal to or smaller than a predetermined threshold is extracted.
評価するステップは、好ましくは、指定ポイントと各抽出オブジェクトの特徴部分との距離、該特徴部分の種類、および各抽出オブジェクトの画像的性質のうちの少なくとも1つ基づいて各抽出オブジェクトの評価値を算出する。特徴部分は、例えば各抽出オブジェクトの不透明部分であり、指定ポイントと不透明部分との距離が近いほど評価値を高くしてよい。特徴部分の種類は、テキスト、前景画像および背景画像を含み、それらを予め指定した順序に従って、各抽出オブジェクトの評価値を算出してよい。画像的性質は各抽出オブジェクトの透明度を含み、該透明度が低いほど評価値を高くしてよい。また、画像的性質として、各抽出オブジェクトの周波数成分に着目して、高周波成分があるほど評価値を高くしてもよい。 The step of evaluating preferably evaluates the evaluation value of each extracted object based on at least one of the distance between the designated point and the characteristic portion of each extracted object, the type of the characteristic portion, and the image property of each extracted object. calculate. The characteristic portion is, for example, an opaque portion of each extracted object, and the evaluation value may be increased as the distance between the designated point and the opaque portion is shorter. The types of feature portions include text, foreground images, and background images, and the evaluation value of each extracted object may be calculated in the order in which they are specified in advance. The image property includes the transparency of each extracted object, and the evaluation value may be higher as the transparency is lower. Further, as an image property, focusing on the frequency component of each extracted object, the evaluation value may be made higher as there is a higher frequency component.
評価するステップは、指定ポイントと各抽出オブジェクトの特徴部分との距離、該特徴部分の種類、および各抽出オブジェクトの画像的性質のうちの少なくとも2つ基づいて各抽出オブジェクトの評価値を算出してもよい。その場合、それぞれの評価値を重み付けした値の総和を各抽出オブジェクトの評価値とするのが好ましい。 The evaluating step calculates an evaluation value of each extracted object based on at least two of the distance between the designated point and the characteristic portion of each extracted object, the type of the characteristic portion, and the image property of each extracted object. Also good. In this case, it is preferable that the sum of values obtained by weighting the respective evaluation values be the evaluation value of each extracted object.
以下、図面を参照しながら、本発明を実施するための最良の形態(以下、単に実施形態という)について説明するが、実施形態の説明はあくまでも例示のためにのみなされるものであって、本発明が実施形態の構成に限定されないことは言うまでもない。 Hereinafter, the best mode for carrying out the present invention (hereinafter simply referred to as an embodiment) will be described with reference to the drawings. However, the description of the embodiment is merely for illustrative purposes, It goes without saying that the invention is not limited to the configuration of the embodiment.
本発明に従い、コンピュータの表示画面上でオブジェクトの選択を容易にするための装置の一実施形態を図1に示す。本実施形態では、表示画面として、多数のオブジェクトを取り扱うエディタの編集画面を想定している。図1のオブジェクト選択支援装置10は、表示装置234(図9)の表示画面上に表示される複数のオブジェクトの位置情報および属性情報をオブジェクト対応に記憶する記憶部12と、表示画面上においてユーザにより指定されたポイントを特定するポイント特定部14と、表示画面に表示されている複数のオブジェクトのうち、指定ポイントの近傍に位置するオブジェクトを抽出するオブジェクト抽出部16と、オブジェクト抽出部16が抽出したオブジェクト(以下、抽出オブジェクト)を各抽出オブジェクトの属性に基づいて評価する評価部18と、抽出オブジェクトをそれらの評価結果に応じて順位付けし、ユーザによる選択が可能な形態で指定ポイントの近傍に一覧表示すると共に、最も評価結果の高い抽出オブジェクトを仮選択状態にする選択処理部20とを含む。
One embodiment of an apparatus for facilitating selection of objects on a computer display screen in accordance with the present invention is shown in FIG. In this embodiment, an editor editing screen that handles a large number of objects is assumed as the display screen. The object selection support device 10 in FIG. 1 includes a
記憶部12は、例えば図2に示すような形式で、各オブジェクトの位置情報および属性情報をオブジェクト対応に記憶する。画面に表示されるオブジェクトの数をnとすると、記憶部12は、例えば1からnまでのオブジェクトIDと、各IDによって示されるオブジェクトの位置情報Li、種類Tiおよびピクセル情報Pi(i=1、2、・・・n)を記憶する。そのうち、種類Tiおよびピクセル情報Piをここでは属性情報と呼ぶ。位置情報Liは、例えば、対応するオブジェクトiを囲む矩形の左上角の座標と、当該矩形の幅(x方向の長さ)および高さ(y方向の長さ)を含む。種類Tiは、対応するオブジェクトiの特徴部分の種類であり、例えばテキスト、前景画像、背景画像などを含む。特徴部分とは、対応するオブジェクトの不透明部分であるが、詳細については後で説明する。ピクセル情報Piは、オブジェクトを構成する各ピクセルのアルファ値(不透明度)を含む。
The
次に、図3のフローチャートを参照しながら、図1に示すオブジェクト選択支援装置10の動作について説明する。図3のフローは、表示画面上の特定のポイントを指定するユーザ入力(例えばマウスクリック)があったときに開始する。最初のステップS1では、そのようなユーザ入力に応じて、ポイント特定部14が指定ポイントをxy座標の形式で特定し、その座標値をオブジェクト抽出部16に送る。次のステップS2で、オブジェクト抽出部16が、指定ポイントの座標値および記憶部12に記憶されている各オブジェクトの位置情報に基づいて、指定ポイントの近傍に位置するオブジェクトを抽出する。この抽出は、例えば指定ポイントとの距離が所定の閾値以下であるオブジェクトを選択することによって行われる。指定ポイントとの距離は、指定ポイントと各オブジェクトの最短距離でよく、あるいは指定ポイントと各オブジェクトの重心との距離でもよい。最短距離を採用した場合、指定ポイントと当該指定ポイントを内部に含むオブジェクトとの距離は便宜上0にしておけばよい。
Next, the operation of the object selection support apparatus 10 shown in FIG. 1 will be described with reference to the flowchart of FIG. The flow in FIG. 3 starts when there is a user input (for example, mouse click) that specifies a specific point on the display screen. In the
図4の画面例を参照して、ステップS2におけるオブジェクト抽出処理を具体的に説明する。図4は、表示画面40に3つのオブジェクト44、46および48が表示されている例を示している。オブジェクト44、46および48は、実際にはテキストや画像等のコンテンツを含んでいるが、図面が繁雑になって見にくくなるのを避けるため、図4ではそのようなコンテンツを省略している。
The object extraction processing in step S2 will be specifically described with reference to the screen example of FIG. FIG. 4 shows an example in which three
図4において、ユーザがカーソル42を図示のポイントまで移動させてクリックしたとき、ポイント特定部14がその座標を検出して(ステップS1)、オブジェクト抽出部16に知らせる。オブジェクト抽出部16は、それに応答して、表示画面40に表示されているオブジェクト44、46および48の位置情報を記憶部12から読み出し、各オブジェクトを囲む矩形の4辺の座標値、すなわち右辺および左辺のx座標値と、上辺および下辺のy座標値を指定ポイントの座標値と比較することにより、オブジェクト44については距離d1を、オブジェクト48については距離d2を算出する。オブジェクト46の場合は、指定ポイントがオブジェクト内に含まれているため、オブジェクト抽出部16は、指定ポイントとオブジェクト46との距離をデフォルト値(0でよい)に設定する。そしてオブジェクト抽出部16は、算出した距離を所定の閾値THと比較し、距離がTH以下であるオブジェクトを抽出する。例えば、図4の例でd2<TH<d1であれば、オブジェクト抽出部16は、オブジェクト46および48を抽出する。閾値は、例えば20mmといった固定値でもよいが、ユーザが自由に設定できるようにしておいてもよい。
In FIG. 4, when the user moves the
図4は指定ポイントと各オブジェクトの最短距離を算出する例を示しているが、指定ポイントと各オブジェクトの重心との距離を算出する場合は図5のようになる。オブジェクト抽出部16は、指定ポイントと、オブジェクト44の重心54、オブジェクト46の重心56およびオブジェクト48の重心58との距離d3、d4およびd5をそれぞれ算出し、それらを閾値THと比較することにより、オブジェクトを抽出する。例えば、d4<TH<d5<d3であれば、オブジェクト抽出部16はオブジェクト46だけを抽出する。重心自体の算出方法は周知であるから、その詳細については省略する。
FIG. 4 shows an example of calculating the shortest distance between the designated point and each object. FIG. 5 shows the case where the distance between the designated point and the center of gravity of each object is calculated. The
図3に戻って、オブジェクト抽出部16はステップS2でオブジェクトを抽出すると、指定ポイントの座標値と共に、その抽出オブジェクトのIDを評価部18に知らせる。評価部18は、次のステップS3で、IDを用いて記憶部12から抽出オブジェクトの属性情報を読み出し、抽出オブジェクトを評価する。この属性情報は、図2の例で言うと、種類およびピクセル情報である。本実施形態では、評価部18は、指定ポイントと各抽出オブジェクトの特徴部分との距離、特徴部分の種類、および各抽出オブジェクトの画像的性質の少なくとも1つに基づいて、各抽出オブジェクトを評価する。次に、これらの評価プロセスについて具体的に説明する。
Returning to FIG. 3, when the
まず、評価部18は、記憶部12から読み出した属性情報のうち、ピクセル情報に含まれる各ピクセルのアルファ値を調べることにより、各抽出オブジェクトの不透明部分を特徴部分として特定する。これは、例えば0から255までのアルファ値のうち所定値以上(例えば128以上)のアルファ値を持つピクセルを不透明ピクセルとして抽出することにより実施可能である。次に、評価部18は、抽出した不透明ピクセルから構成される不透明部分の内部に指定ポイントが含まれるかどうかを調べ、含まれている場合は、指定ポイントと不透明部分との距離を0とする。また、指定ポイントが不透明部分に含まれていない場合は、指定ポイントに最も近い不透明ピクセルを見つけて、それらの間の距離を指定ポイントと不透明部分との最短距離として算出する。距離は、mmやcmなどの長さでもよく、あるいはピクセル数で表してもよい。
First, the
評価部18は、指定ポイントと不透明部分との間の最短距離算出を抽出オブジェクトごとに実行し、算出結果に応じて各抽出オブジェクトに評価値を割り当てる。その場合、距離が近いほど評価値が高くなるようにする。これは、テキストや画像を含む、オブジェクトの特徴部分が指定ポイントに近いほど、ユーザが当該オブジェクトを選択する可能性が高いと考えられるからである。
The
評価値は抽出オブジェクトの順序付けに使用されるので、各抽出オブジェクトの相対的な値がわかればよい。従って、上述の最短距離だけを評価基準とするのであれば、例えば(1/算出距離)を評価値として使用してもよい。その場合、算出距離が0であれば除算ができないので、対応する抽出オブジェクトを最優先オブジェクトとして選択するために、他の抽出オブジェクトの評価値よりも大きい値を適宜割り当てておけばよい。 Since the evaluation value is used for ordering of the extracted objects, it is only necessary to know the relative value of each extracted object. Therefore, if only the above shortest distance is used as an evaluation criterion, for example, (1 / calculated distance) may be used as an evaluation value. In this case, division is not possible if the calculated distance is 0. Therefore, in order to select the corresponding extracted object as the highest priority object, a value larger than the evaluation value of the other extracted objects may be appropriately assigned.
また、評価部18は、抽出オブジェクトの特徴部分の種類に応じて各抽出オブジェクトに評価値を割り当てることも可能である。本実施形態では、テキスト→前景画像→背景画像の順に評価値を割り当てるが、この優先順位をユーザがエディタのメニュー画面で設定できるようにしておいてもよい。評価値としては、例えばテキストに対しては1を割り当て、後は前景画像、背景画像などの順に、0.2ずつ小さくなる値を割り当てることができる。
The
更に、評価部18は、抽出オブジェクトの画像的性質に応じて、各抽出オブジェクトに評価値を割り当ててもよい。画像的性質としては、各抽出オブジェクトの透明度および周波数成分を考慮することができる。
Furthermore, the
抽出オブジェクトの透明度はユーザの視覚に影響を与え、さらに編集操作に対しても影響を与えていると考えられる。例えば、ユーザがオブジェクトを選択する場合、より透明でないオブジェクトの部分の近傍で選択操作を行う傾向にあると仮定できる。そうすると、指定ポイント付近の抽出オブジェクトの透明度を評価することで、ユーザの選択操作の意図を汲むことができるようになる。なお、簡略化のため、抽出オブジェクトの透明度は、当該抽出オブジェクトを構成するピクセルの透明度の平均値を採用してもよい。評価部18は透明度が低くなるほど高い評価値を割り当てる。透明度に関する評価値は、例えば(アルファ値/255)でよい。
It is considered that the transparency of the extracted object affects the user's vision and also affects the editing operation. For example, when the user selects an object, it can be assumed that the selection operation tends to be performed in the vicinity of a part of the object that is less transparent. Then, by evaluating the transparency of the extracted object in the vicinity of the specified point, the user's intention of the selection operation can be drawn. For simplification, an average value of the transparency of pixels constituting the extraction object may be adopted as the transparency of the extraction object. The
周波数成分は、例えば、指定ポイントの直近の8×8のピクセルブロックで離散コサイン変換(DCT)を適用することで分析してもよい。評価部18は高周波成分があるほど高い評価値を割り当てる。これは、例えば、写真やテキストなどのように細かな変化に富む画像(高周波成分を含む)を、単一色又は色彩がなだらかに変化するような画像(低周波成分のみで構成される)よりも重視する、という考え方による。ユーザがオブジェクトを選択しようとする際に、そのオブジェクトの中でより変化に富んだ特徴的な部分の近傍で選択操作を行う傾向にあると仮定すると、高周波数成分の評価値を高くすることで、ユーザの意図を汲むことができるようになる。周波数成分に関する評価値は、例えば(最高周波数成分の位置/64)でよい。
The frequency component may be analyzed, for example, by applying a discrete cosine transform (DCT) on the 8 × 8 pixel block closest to the specified point. The
評価部18は、指定ポイントと特徴部分との距離だけを評価基準として使用する場合は、評価値を算出することなく、距離の短いものから順に抽出オブジェクトを順序付け、その結果を選択処理20に送るだけでもよい。また、特徴部分の種類だけで評価する場合は、同様に評価値を算出することなく、前述した順に抽出オブジェクトを順序付け、その結果を選択処理部20に送るだけでもよい。画像的性質だけを考慮する場合も同様である。
When the
しかし、指定ポイントと特徴部分との距離、特徴部分の種類、および抽出オブジェクトの画像的性質のうちの少なくとも2つを評価基準にする場合は、次のようにするのが好ましい。まず、評価部18は、評価値が、距離別、種類別および画像的性質別に、それぞれ0から1までの間に収まるように正規化する。そして、距離別の評価値をD、種類別の評価値をT、画像的性質別の評価値をIとしたときに、次式に従って総合評価値EVを計算する。
EV=αD+βT+γI (1)
However, when at least two of the distance between the designated point and the feature part, the type of the feature part, and the image property of the extracted object are used as evaluation criteria, the following is preferable. First, the
EV = αD + βT + γI (1)
上式おいて、α、βおよびγはα+β+γ=1を満たす重み付け係数であり、どの評価基準をどの程度重要視するかに応じて適宜決めることができる。 In the above equation, α, β, and γ are weighting coefficients that satisfy α + β + γ = 1, and can be appropriately determined depending on how much evaluation criteria are regarded as important.
更に、評価部18は、編集対象がWebページの場合は、各オブジェクトにHTMLタグが対応付けられているので、HTMLタグによる評価を追加してもよい。例えば、<BODY>タグはWebページ全体が領域になっており、特別な特徴を有さないことが多く、従ってタグによる評価では最低評価としてよい。また、<P>タグはテキストを有しているので、評価を高くしてよい。HTMLタグを評価基準にする場合は、上述のような正規化および重み付けを行う必要がある。
Further, when the editing target is a Web page, the
評価部18は各抽出オブジェクトの評価値を選択処理部20に送る。選択処理部20は、ステップS4で、評価値が最も高い抽出オブジェクトを仮選択状態にし、更にステップS5で、抽出オブジェクトを評価値の順に簡略形式で一覧表示する。仮選択状態とは、当該オブジェクトを編集対象として仮に選択した状態であって、ユーザによるマウスクリック等の確定操作があって初めて選択が確定し、当該オブジェクトの編集が可能になる状態のことである。
The
選択処理部20による処理結果の一例を図6に示す。図示のように、選択処理部20は、カーソル42によって示される指定ポイントの近傍に一覧ビュー60を表示し、その中に抽出オブジェクトを評価値の順に簡略表示する。図6は、オブジェクト46および48が抽出され、それらが簡略表示オブジェクト46’および48’として一覧ビュー60内に表示されている例を示している。図6の例では、一覧ビュー60内で上の方に表示されている簡略表示オブジェクトほど評価値が高くなっている。簡略表示オブジェクト46’および48’は、対応するオブジェクト46および48の一部であってもよく、あるいはレイヤーパレットのように、オブジェクトの種類に応じたアイコンとオブジェクトの名前から構成されてもよい。
An example of a processing result by the
更に、選択処理部20は、評価値が最も高い抽出オブジェクト(図6の例ではオブジェクト46)が仮選択状態にあることを示すために、そのオブジェクトの実体を強調表示する。図6の例では、簡単のためオブジェクト46を囲む矩形が太線で強調表示されているが、強調表示の形態はこれに限らず、例えばオブジェクト全体を高輝度表示するものであってもよい。
Further, the
図6は、簡単のため、抽出オブジェクトを2つしか示していないが、抽出オブジェクトの数が多くなったときには、評価値の低いオブジェクトを1つのグループにまとめて省略表示してもよい。その例を図8に示す。図8は、評価値が3位以下のオブジェクトを1つの省略表示ブロック80として一覧ビュー60内に表示した例を示している。選択処理部20は、ユーザが省略表示ブロック80を例えばマウスクリックで選択すると、省略表示されていた抽出オブジェクトをドロップダウンメニューの形式で簡略表示することができる。ドロップダウンメニュー形式の代わりに、省略表示されていた抽出オブジェクトを一覧ビュー60の中に簡略表示オブジェクト46’および48’と同様な形態で上書き表示してもよい。その場合は、元の一覧ビューに戻るためのボタンを適当な場所に設定しておくのが望ましい。
FIG. 6 shows only two extracted objects for the sake of simplicity, but when the number of extracted objects increases, objects with low evaluation values may be collectively displayed as one group and omitted. An example is shown in FIG. FIG. 8 shows an example in which an object having an evaluation value of third or lower is displayed in the
選択処理部20はこのあと再選択モードに入り(ステップS6)、ユーザによる確定操作を待つ(ステップS7)。図6の状態、すなわち最高評価のオブジェクト46が仮選択状態にあるときに、ユーザが例えばマウスボタンをクリックすることによって確定操作を実行すると、選択処理部20はそのユーザ入力に応答してオブジェクト46を選択オブジェクトとして確定する(ステップS8)。また、図6の状態で、ユーザがカーソル42を簡略表示オブジェクト48’の上に移動させた場合、図7に示すように、選択処理部20はそれに応答して、簡略表示オブジェクト48'の実体、すなわち対応するオブジェクト48を強調表示し、オブジェクト48が仮選択状態にあることを示す。この状態で、ユーザがマウスボタンをクリックすると、選択処理部20はそのユーザ入力に応答してオブジェクト48を選択オブジェクトとして確定する(ステップS8)。ユーザの確定操作が所定時間経過しても行われなかった場合は、そのときの仮選択オブジェクトの選択を確定させてもよい。また、ユーザが一覧ビュー60に表示されているオブジェクト以外のオブジェクトをクリックした場合は、図3の処理が最初から実行される。
The
図9は、図1のオブジェクト選択支援装置10として実施可能なデータ処理システムの構成例を示している。データ処理システム200は、システム・バス206に接続された複数のプロセッサ202および204を備えた対称型マルチプロセッサ(SMP)であってもよく、またシングル・プロセッサ・システムであってもよい。システム・バス206にはメモリ・コントローラ/キャッシュ208も接続されており、これはローカル・メモリ209に対するインターフェースを提供する。I/Oバス・ブリッジ210がシステム・バス206に接続されており、I/Oバス212に対するインターフェースを提供する。メモリ・コントローラ/キャッシュ206とI/Oバス・ブリッジ210は、図示されているように1つに統合することも可能である。
FIG. 9 shows a configuration example of a data processing system that can be implemented as the object selection support apparatus 10 of FIG. Data processing system 200 may be a symmetric multiprocessor (SMP) with
I/Oバス212に接続されたPCIバス・ブリッジ214は、PCIローカル・バス216に対するインターフェースを提供する。PCIローカル・バスには、モデム218、ネットワークアダプタ220などの通信機器、およびその他の周辺機器を接続可能である。典型的なPCIバスの実装では、4つのPCI拡張用スロットないしは拡張用コネクタを備えている。
A
追加のPCIバス・ブリッジ222および224は、追加のPCIローカル・バス226および228のためのインターフェースを提供し、それにより追加の周辺機器を扱うことが可能となる。図示のように、I/Oローカル・バス212には、メモリ・マップ式グラフィクス・アダプタ230およびハード・ディスク・ドライブ232も接続可能である。グラフィクス・アダプタ230には液晶ディスプレイなどの表示装置234が接続される。
Additional
オペレーティング・システムはプロセッサ202、204上で動作し、図9のデータ処理システム200にある各種コンポーネントを制御する。オペレーティング・システムは、マイクロソフト・コーポレーションから入手可能なWindows(R) XPといった市販のオペレーティング・システムであってもよい。オペレーティング・システム上で動作する、本発明に従うプログラムは、例えばハード・ディスク・ドライブ232などのストレージ・デバイスに記憶されており、実行時にメモリ209にロードされて、データ処理システム200をポイント特定部14、オブジェクト抽出部16、評価部18および選択処理部20として機能させる。記憶部12は、ローカル・メモリ209により実装可能である。
The operating system runs on the
当業者であれば、図9のハードウェアが実装に応じて変わり得ることを十分理解できよう。フラッシュROM(または同等の不揮発性メモリ)や光ディスク・ドライブなどといった、その他の内部ハードウェアや周辺機器が、図9に示したハードウェアに加えて、またはそれらに代えて使うことができる。 Those skilled in the art will appreciate that the hardware of FIG. 9 may vary depending on the implementation. Other internal hardware and peripheral devices such as a flash ROM (or equivalent non-volatile memory) and an optical disk drive can be used in addition to or instead of the hardware shown in FIG.
本発明は完全に機能するデータ処理システムとの関連で説明されたが、本発明のプロセスは、命令のコンピュータ可読媒体の形式および様々な形式で配布できること、ならびに本発明は配布を実行するため実際に使用される信号担持媒体の特定のタイプに関係なく等しく適用されることは、当業者に理解されるであろう。コンピュータ可読媒体の例は、フレキシブル・ディスク、ハード・ディスク・ドライブ、RAM、CD−ROM、DVD−ROMのような記録可能タイプの媒体、ならびに、ディジタルおよびアナログ通信リンク、無線周波数および光波伝送を使用する有線または無線通信リンクのような伝送タイプの媒体を含む。コンピュータ可読媒体は、特定のデータ処理システムで実際に使用するためデコードされる符号化フォーマットの形式を取ってもよい。 Although the present invention has been described in the context of a fully functional data processing system, the process of the present invention can be distributed in the form of a computer-readable medium of instructions and in various forms, and the present invention is practical for carrying out the distribution. It will be appreciated by those skilled in the art that the present invention applies equally regardless of the particular type of signal bearing medium used. Examples of computer readable media use recordable type media such as flexible disk, hard disk drive, RAM, CD-ROM, DVD-ROM, and digital and analog communication links, radio frequency and lightwave transmission Including transmission type media such as wired or wireless communication links. The computer readable medium may take the form of an encoded format that is decoded for actual use in a particular data processing system.
本発明の記述は、例示及び説明を目的として提示されており、網羅的であること及び開示された形式の発明に限定されることを意図しない。多くの修正および変形が、当業者に明らかであろう。実施形態は、本発明の原理および実際の応用を最もよく説明し、当業者が、想定される特定の使用に適した様々な修正を有する様々な実施形態について本発明を理解できるように、選択され説明された。 The description of the present invention has been presented for purposes of illustration and description, and is not intended to be exhaustive or limited to the invention in the form disclosed. Many modifications and variations will be apparent to practitioners skilled in this art. The embodiments are best described for the principles and practical applications of the present invention and are selected so that one skilled in the art can understand the present invention for various embodiments having various modifications suitable for the particular use envisioned. Was explained.
10 オブジェクト選択支援装置
12 記憶部
14 ポイント特定部
16 オブジェクト抽出部
18 評価部
20 選択処理部
40 表示画面
42 カーソル
44、46、48 オブジェクト
60 一覧ビュー
DESCRIPTION OF SYMBOLS 10 Object
Claims (13)
前記表示画面上においてユーザにより指定されたポイントを特定するステップと、
前記表示画面に表示されている複数のオブジェクトのうち、前記ポイントの近傍に位置するオブジェクトを抽出するステップと、
前記抽出するステップが抽出したオブジェクト(以下、抽出オブジェクト)を各該抽出オブジェクトの属性に基づいて評価するステップと、
前記抽出オブジェクトをそれらの評価結果に応じて順位付けし、ユーザによる選択が可能な形態で前記ポイントの近傍に一覧表示すると共に、最も評価結果の高い抽出オブジェクトを仮選択状態にするステップと、
を含み、
前記評価するステップは、前記ポイントと各抽出オブジェクトの特徴部分との距離、前記特徴部分の種類、および前記抽出オブジェクトの画像的性質のうちの少なくとも2つに基づいて各抽出オブジェクトの評価値を算出して、それぞれの評価値を重み付けした値の総和を各抽出オブジェクトの評価値とする、方法。 A method for facilitating selection of an object on a computer display screen, comprising:
Identifying a point designated by the user on the display screen;
Extracting an object located in the vicinity of the point among a plurality of objects displayed on the display screen;
Evaluating the objects extracted by the extracting step (hereinafter, extracted objects) based on the attributes of the extracted objects;
A step of the extraction object ranks according to their evaluation results, together with the list in the vicinity of the point form can be selected by the user and the high extraction object most evaluation results in the temporary selection state,
Only including,
The evaluating step calculates an evaluation value of each extracted object based on at least two of a distance between the point and a characteristic portion of each extracted object, a type of the characteristic portion, and an image property of the extracted object. Then, the sum of values obtained by weighting the respective evaluation values is used as the evaluation value of each extracted object .
前記ポイントと、前記表示画面上に表示されている各オブジェクトとの距離を算出するステップと、
前記ポイントを内包するオブジェクトを含む、前記距離が所定の閾値以下のオブジェクトを抽出するステップと
を含む、請求項1乃至5のいずれかに記載の方法。 The extracting step includes:
Calculating a distance between the point and each object displayed on the display screen;
The method according to claim 1, further comprising: extracting an object including the object including the point and having the distance equal to or less than a predetermined threshold.
前記特定するステップは、前記指定されたポイントの座標値を特定し、
前記抽出するステップは、前記座標値および前記位置情報をから、前記ポイントと、前記表示画面上に表示されている各オブジェクトとの距離を算出し、
前記評価するステップは、前記属性情報から各抽出オブジェクトを評価する、
請求項1乃至10のいずれかに記載の方法。 Storing the position information and attribute information of the plurality of objects displayed on the display screen;
The specifying step specifies a coordinate value of the designated point;
The step of extracting calculates a distance between the point and each object displayed on the display screen from the coordinate value and the position information,
The evaluating step evaluates each extracted object from the attribute information.
The method according to any one of claims 1 to 10.
前記表示画面上においてユーザにより指定されたポイントを特定するポイント特定部と、
前記表示画面に表示されている複数のオブジェクトのうち、前記ポイントの近傍に位置するオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクト抽出部が抽出したオブジェクト(以下、抽出オブジェクト)を各該抽出オブジェクトの属性に基づいて評価する評価部と、
前記抽出オブジェクトをそれらの評価結果に応じて順位付けし、ユーザによる選択が可能な形態で前記ポイントの近傍に一覧表示すると共に、最も評価結果の高い抽出オブジェクトを仮選択状態にする選択処理部と、
を含み、
前記評価部は、前記ポイントと各抽出オブジェクトの特徴部分との距離、前記特徴部分の種類、および前記抽出オブジェクトの画像的性質のうちの少なくとも2つに基づいて各抽出オブジェクトの評価値を算出して、それぞれの評価値を重み付けした値の総和を各抽出オブジェクトの評価値とする、装置。 An apparatus for facilitating selection of an object on a computer display screen,
A point identifying unit for identifying a point designated by the user on the display screen;
An object extraction unit that extracts an object located in the vicinity of the point among a plurality of objects displayed on the display screen;
An evaluation unit that evaluates an object extracted by the object extraction unit (hereinafter referred to as an extraction object) based on an attribute of each extraction object;
The extracted object ranks according to their evaluation results, together with the list in the vicinity of the point form can be selected by the user, a selection unit for high extraction object most evaluation results in the temporary selection state ,
Only including,
The evaluation unit calculates an evaluation value of each extracted object based on at least two of a distance between the point and a characteristic part of each extracted object, a type of the characteristic part, and an image property of the extracted object. The sum of values obtained by weighting the respective evaluation values is used as the evaluation value of each extracted object .
前記表示画面上においてユーザにより指定されたポイントを特定するステップと、
前記表示画面に表示されている複数のオブジェクトのうち、前記ポイントの近傍に位置するオブジェクトを抽出するステップと、
前記オブジェクト抽出部が抽出したオブジェクト(以下、抽出オブジェクト)を各該抽出オブジェクトの属性に基づいて評価するステップと、
前記抽出オブジェクトをそれらの評価結果に応じて順位付けし、ユーザによる選択が可能な形態で前記ポイントの近傍に一覧表示すると共に、最も評価結果の高い抽出オブジェクトを仮選択状態にするステップと、
を実行させ、
前記評価するステップは、前記ポイントと各抽出オブジェクトの特徴部分との距離、前記特徴部分の種類、および前記抽出オブジェクトの画像的性質のうちの少なくとも2つに基づいて各抽出オブジェクトの評価値を算出して、それぞれの評価値を重み付けした値の総和を各抽出オブジェクトの評価値とする、プログラム。 A program for facilitating selection of an object on a display screen of a computer, the step of identifying a point designated by a user on the display screen to the computer;
Extracting an object located in the vicinity of the point among a plurality of objects displayed on the display screen;
Evaluating an object extracted by the object extraction unit (hereinafter referred to as an extracted object) based on an attribute of each extracted object;
A step of the extraction object ranks according to their evaluation results, together with the list in the vicinity of the point form can be selected by the user and the high extraction object most evaluation results in the temporary selection state,
Was executed,
The evaluating step calculates an evaluation value of each extracted object based on at least two of a distance between the point and a characteristic portion of each extracted object, a type of the characteristic portion, and an image property of the extracted object. And the program which makes the sum total of the value which weighted each evaluation value the evaluation value of each extraction object .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009043737A JP5255483B2 (en) | 2009-02-26 | 2009-02-26 | Method, apparatus and program for facilitating object selection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009043737A JP5255483B2 (en) | 2009-02-26 | 2009-02-26 | Method, apparatus and program for facilitating object selection |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010198433A JP2010198433A (en) | 2010-09-09 |
JP5255483B2 true JP5255483B2 (en) | 2013-08-07 |
Family
ID=42823076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009043737A Expired - Fee Related JP5255483B2 (en) | 2009-02-26 | 2009-02-26 | Method, apparatus and program for facilitating object selection |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5255483B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5723588B2 (en) * | 2010-12-21 | 2015-05-27 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Information processing apparatus, display processing method, program, and recording medium |
US9032331B2 (en) * | 2011-03-29 | 2015-05-12 | International Business Machines Corporation | Visual widget search |
US10599305B2 (en) | 2015-10-16 | 2020-03-24 | International Business Machines Corporation | Approach for selecting a desired object on a small touch screen |
JP7134767B2 (en) * | 2018-07-25 | 2022-09-12 | 横河電機株式会社 | Display unit, display unit control method and program |
JP7360700B2 (en) * | 2019-12-06 | 2023-10-13 | 株式会社寺岡精工 | label issuing device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1195971A (en) * | 1997-09-24 | 1999-04-09 | Sharp Corp | User interface system |
JP3276068B2 (en) * | 1997-11-28 | 2002-04-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Object selection method and system |
JP2002366973A (en) * | 2001-06-07 | 2002-12-20 | Hitachi Software Eng Co Ltd | Method for generating object, method for selecting and controlling generated object and object data structure |
JP2002366974A (en) * | 2001-06-12 | 2002-12-20 | Hitachi Software Eng Co Ltd | Method for selecting and controlling object |
JP2007183716A (en) * | 2006-01-04 | 2007-07-19 | Fujifilm Corp | Information processor |
-
2009
- 2009-02-26 JP JP2009043737A patent/JP5255483B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010198433A (en) | 2010-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9378297B2 (en) | Task-based address bar and tabs scaling | |
US11320975B2 (en) | Automatically generating and applying graphical user interface resize-constraints based on design semantics | |
JP4945813B2 (en) | Print structured documents | |
EP1727029A1 (en) | Systems and methods for displaying linked information in a sorted context | |
US20120229397A1 (en) | Method and apparatus for selecting desired contents on read text in portable terminal | |
TWI433028B (en) | Method, apparatus and program for facilitating selection of object on display screen | |
US20140304578A1 (en) | Website Content Identification in a Content Management System | |
US8972863B2 (en) | Standard schema and user interface for website maps | |
US10795564B2 (en) | Content display control method and user terminal for performing content display control method | |
JP5604386B2 (en) | Information processing apparatus, information processing apparatus control method, program, and information recording medium | |
US11269950B2 (en) | Analysis for framework assessment | |
JP5255483B2 (en) | Method, apparatus and program for facilitating object selection | |
EP3043251A1 (en) | Method of displaying content and electronic device implementing same | |
US8416237B1 (en) | Perspective aware automatic guide generation | |
CN106844606A (en) | The focus processing method and processing device of webpage | |
JP5733342B2 (en) | Display control apparatus and program | |
US20090031224A1 (en) | Method, system, and computer program product for visually associating a static graphic image and html text on a web page | |
RU2595920C2 (en) | Browser frame with focusing on website | |
US20070263010A1 (en) | Large-scale visualization techniques | |
JP2009223563A (en) | Display processor, display processing method, display processing program, and recording medium | |
JP7159710B2 (en) | Information processing device and program | |
JP2008076667A (en) | Image display apparatus, image display method, and program | |
JP2015022496A (en) | Control program, control method, and control apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130419 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |