JP2021068482A - Method for controlling portable terminal - Google Patents
Method for controlling portable terminal Download PDFInfo
- Publication number
- JP2021068482A JP2021068482A JP2021015515A JP2021015515A JP2021068482A JP 2021068482 A JP2021068482 A JP 2021068482A JP 2021015515 A JP2021015515 A JP 2021015515A JP 2021015515 A JP2021015515 A JP 2021015515A JP 2021068482 A JP2021068482 A JP 2021068482A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- icon
- camera
- display
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、携帯端末の制御方法に関するものである。 The present invention relates to a method for controlling a mobile terminal.
近年のスマートフォンに代表される通信と情報処理技術、カメラ撮像技術と半導体技術の進歩は目覚しく、こうした環境の整備・拡大に伴って、従来の携帯電話での操作よりも円滑に操作するための技術が開発されている。 Recent advances in communication and information processing technology represented by smartphones, camera imaging technology, and semiconductor technology are remarkable, and with the development and expansion of such an environment, technology for smoother operation than conventional mobile phone operations. Has been developed.
例えば音声認識機能をスマートフォンに搭載し、音声でスマートフォンを操作するなどの高度なマンマシーンインターフェイスシステムも導入されてきている。また、アイコンによる直観的な操作を可能にするタッチパッドは、スマートフォンで一般的に搭載されている。タッチパッドによる操作が一般的である理由は、その安定した動作と廉価な部品により製造が可能であるところもある。 For example, an advanced man-machine interface system such as installing a voice recognition function in a smartphone and operating the smartphone by voice has been introduced. In addition, touchpads that enable intuitive operation using icons are commonly installed in smartphones. The reason why the touchpad operation is common is that it can be manufactured due to its stable operation and inexpensive parts.
しかし、これらは操作性に優れているとしても、音声では周囲の雑音や他の人の音声の影響を受ける可能性があり、タッチパッドでは手が滑って近くの別のアイコンを操作してしまう可能性もある。 However, even though they are easy to use, voice can be affected by ambient noise and other people's voice, and the touchpad can slip your hand and operate another nearby icon. There is a possibility.
誤操作の防止に関する技術として、例えば特許文献１には、ユーザの視線検出により、操作に有効な視線範囲にあるか否かを検出する視線有効範囲を設け、キーが操作された場合に、ユーザ視線が有効範囲にない場合に操作を無効とし、誤操作を防止する技術が記載されている。 As a technique for preventing erroneous operation, for example, Patent Document 1 provides an effective line-of-sight range for detecting whether or not the line-of-sight range is effective for operation by detecting the line-of-sight of the user, and when a key is operated, the user's line-of-sight is provided. Describes a technique for invalidating an operation when is not within the effective range and preventing an erroneous operation.
特許文献１に記載された技術を用いれば、キーの誤操作を防止できる。しかしながら、このような技術は、スマートフォンの操作性を損なう可能性があり、スマートフォンへの適用は難しい。 By using the technique described in Patent Document 1, it is possible to prevent erroneous operation of the key. However, such a technique may impair the operability of the smartphone, and it is difficult to apply it to the smartphone.
本発明の目的は、スマートフォンなどの携帯端末で、操作性を損なうことなく、誤操作を防止する技術を提供することにある。 An object of the present invention is to provide a technique for preventing erroneous operation of a mobile terminal such as a smartphone without impairing operability.
本発明に係る代表的な携帯端末の制御方法は、前記携帯端末のカメラが撮像した顔の目が向けられた視点を検出する検出ステップと、前記携帯端末の表示部において、前記視点に基づいた位置にカーソルを表示する表示ステップと、前記表示部に表示されたアイコンと、前記表示部の予め設定され、前記表示部の縁に接する複数の領域の中から選択されて設定される第１の領域への入力と、前記視点に基づいた位置とに対して、予め設定された入力条件を満たすか判定する条件判定ステップと、前記携帯端末の表示部の表示制御を行う制御ステップと、を備え、前記制御ステップにおいて、前記条件判定ステップに応じた前記視点に基づいた位置にある前記アイコンに対応するアプリケーションプログラムを実行し、前記表示部に前記実行に応じた表示を行うように表示制御する。 A typical method for controlling a mobile terminal according to the present invention is based on a detection step of detecting a viewpoint imaged by a camera of the mobile terminal to which the eyes of the face are directed, and a display unit of the mobile terminal based on the viewpoint. A first display step that displays a cursor at a position, an icon displayed on the display unit, and a first set that is selected from a plurality of preset areas of the display unit that are in contact with the edge of the display unit. It includes a condition determination step for determining whether or not a preset input condition is satisfied with respect to the input to the area and the position based on the viewpoint, and a control step for controlling the display of the display unit of the mobile terminal. In the control step, the application program corresponding to the icon at the position based on the viewpoint according to the condition determination step is executed, and the display is controlled so as to display the display according to the execution.
本発明によれば、スマートフォンなどの携帯端末で、操作性を損なうことなく、誤操作を防止する技術を提供することができる。 According to the present invention, it is possible to provide a technique for preventing erroneous operation in a mobile terminal such as a smartphone without impairing operability.
以下、本発明の実施形態の例を、図面を用いて説明する。 Hereinafter, examples of embodiments of the present invention will be described with reference to the drawings.
図１は、スマートフォン１００とその操作の例を示す図である。図１の例では、スマートフォン１００を操作するユーザ１６０が、電車またはバスなどの交通機関において、つり革１７０につかまって、片手をふさがれた状況であり、片手１６３でスマートフォン１００を保持している。
FIG. 1 is a diagram showing an example of a
ユーザ１６０は、スマートフォン１００を操作するために、顔をスマートフォン１００に向けて、目１６１によりスマートフォン１００を見ている。スマートフォン１００は、タッチパッド（表示画面）１１０、カメラ１２０、カメラ１３０、サイドボタン１４０、及びマイク１５０が設けられており、ユーザ１６０はタッチパッド１１０を見ることになる。
In order to operate the
カメラ１２０とカメラ１３０は、ユーザ１６０の顔を撮像するものであり、特にユーザ１６０の目１６１を撮像する。そして、２個のカメラでの撮像により顔とタッチパッド１１０との距離を算出し、目１６１の白目と瞳の位置関係から視線を特定して、タッチパッド１１０での視点を得るが、これらについては後で更に説明する。
The
図１に示したスマートフォン１００の例では、カメラを２個設けたが、顔とタッチパッド１１０との距離を他のセンサにより検出できるのであれば、１個であっても良い。例えば、タッチパッド１１０と同一面のカメラ１２０の代わりにカメラ１２０の位置に赤外線または超音波の距離センサを設けて、ユーザ１６０の顔との距離を測定しても良い。
In the example of the
また、ユーザ１６０がサングラスを着用しているなど目１６１の白目と瞳の位置関係を識別しにくく視点を特定しにくい場合は、その代わりに他の入力が利用されてもよい。ただし、ユーザ１６０の顔そのものがタッチパッド１１０へ向いているかを判定するために、顔の輪郭、例えば髪の毛と耳で構成される輪郭１６２が識別されても良い。
Further, when it is difficult to identify the positional relationship between the white of the
図２は、スマートフォン１００にアイコン２２０を表示した例を示す図である。図２の例は、ホーム画面或いは待ち受け画面と呼ばれる表示であり、タッチパッド１１０にアイコン２２０が表示されている。なお、アイコン２２０−１からアイコン２２０−９までを、いずれのアイコンであるかを特定せずに表す場合、アイコン２２０と表現し、以下では他の符号も同じ表現とする。
FIG. 2 is a diagram showing an example in which the icon 220 is displayed on the
アイコン２２０−１からアイコン２２０−９までのそれぞれは、アプリケーションプログラムに対応して予め設定されたアイコンであり、それらの中で選択されたアイコン２２０に対応するアプリケーションプログラムが実行される。カーソル２１０は、ユーザ１６０の視点の位置に表示される。即ち視点をユーザにフィードバックするカーソル位置を示す。
Each of the icons 220-1 to 220-9 is a preset icon corresponding to the application program, and the application program corresponding to the icon 220 selected among them is executed. The
先ずユーザ１６０の視線は、漠然とタッチパッド１１０上の一点を捉える。スマートフォン１００に着信があり、現在受話状態に移行できない旨を自動的に応答するアプリケーションプログラムの起動アイコンがアイコン２２０−８であった場合、ユーザ１６０はカーソル２１０をアイコン２２０−８上に合致させるべく視線を移動させる。
First, the line of sight of the
そして、スマートフォン１００は、アイコン２２０−８上に視点があることを特定し、サイドボタン１４０のスイッチオン動作、いわゆる「決定」動作を検出すると、アイコン２２０−８に対応するアプリケーションプログラムを起動する。これにより、片手操作でのアプリケーション選択及び起動が可能となる。
Then, when the
図１では、つり革１７０につかまるというユーザ１６０の行為を例にとったが、荷物を持っている場合、資料を手に持っている場合、或いは子供と手をつないで歩いている場合、片手を怪我している場合など、片手のみによる操作が求められる場面は多く存在し、これらの場合に、以上で説明した操作は有効である。
In FIG. 1, the
なお、スマートフォン１００は、視点がアイコン２２０−８上へ移動したことを特定すると、アイコン２２０−８上へカーソル２１０を移動するだけではなく、アイコン２２０−８の表示の色を変更したり、表示のサイズを変更したり、表示の形状を変更したりして、ハイライト表示しても良い。これにより、更に確実にアイコン２２０−８が選択されていることを、ユーザ１６０は確認できる。
When the
また、スマートフォン１００は、カーソル２１０を表示せず、視点がいずれかのアイコン２２０上へ移動したことを特定すると、そのアイコン２２０の表示の色を変更したり、表示のサイズを変更したり、表示の形状を変更したりしても良い。
Further, when the
また、図２の例では、カーソル２１０の形状を矢印としたが、視線の狙っている部分を示すという意味を強調するために、丸と十字を組み合わせたターゲットマークなどであっても良い。
Further, in the example of FIG. 2, the shape of the
以上の説明では、待ち受け画面におけるアプリケーションプログラムの起動の例を説明したが、アプリケーションプログラム実行中の操作についても、以上で説明した操作の処理は利用可能である。例えば、図２に示したアイコン２２０は電話番号を入力する数字キーであり、電話関係のアプリケーションプログラムを実行中にアイコン２２０の選択により数字が入力されても良い。 In the above description, an example of starting the application program on the standby screen has been described, but the processing of the operation described above can also be used for the operation during the execution of the application program. For example, the icon 220 shown in FIG. 2 is a number key for inputting a telephone number, and a number may be input by selecting the icon 220 while executing a telephone-related application program.
また、例えば留守電機能の利用では、合成音声のメッセージにしたがって数字の入力が求められる場合がある。即ち、タッチパッドから数字が入力可能になる状態と、スマートフォンから発せられる合成音声のメッセージを聞く状態とが重なる場合がある。 Further, for example, when using the answering machine function, it may be required to input a number according to a synthetic voice message. That is, the state in which numbers can be input from the touch pad and the state in which a synthetic voice message emitted from the smartphone is heard may overlap.
これに対して、スマートフォン１００はカメラ１２０、１３０によりユーザ１６０の視点により数字キーであるアイコン２２０が選択されるので、メッセージを聞くために耳がタッチパッド１１０に接触しても、数字キーであるアイコン２２０は選択されず、意図しないタッチパッド入力が受け付けられるようなことはない。
On the other hand, in the
また、待ち受け画面またはアプリケーションプログラムを実行中において、スマートフォン１００を懐にしまう動作の途中で、タッチパッド１１０への無意識の接触による意図しない入力が受け付けられることはない。なぜならば、視点によるアイコン２２０の選択がなく、更にサイドボタン１４０のスイッチオン動作もなく、ユーザの決定（実行）の意図条件が満たされていないためである。
Further, while the standby screen or the application program is being executed, an unintended input due to unconscious contact with the
以上で説明したように、アプリケーションプログラム或いは数字キーの決定という１つの指示を２種類の操作の組み合わせで入力することにより、誤って１種類の操作が発生してしまっても、誤った指示にまでは至らない。 As explained above, by inputting one instruction of the application program or the determination of the number keys with a combination of two types of operations, even if one type of operation is mistakenly generated, the wrong instruction is given. Does not reach.
ここでのポイントは、ユーザの顔認識及び視線や視点検知というスマートフォン内蔵の標準となりつつあるカメラ機能さえ備えていれば、比較的容易なソフトウェア処理により誤入力認識防止及び片手操作のみによる使い勝手向上という大きな効果を得ることができる点である。 The point here is to prevent erroneous input recognition by relatively easy software processing and improve usability by only one-handed operation, as long as it has the camera function that is becoming the standard built into smartphones such as user's face recognition and line-of-sight and viewpoint detection. The point is that a great effect can be obtained.
スマートフォン１００で他のアプリケーションプログラムを実行する例を説明する。図３は、スマートフォン１００にテキストを表示した例を示す図である。テキストは単語の並びで構成され、例えば単語３２０−１、単語３２０−２、単語３２０−３、単語３２０−４と順番に、ユーザ１６０は視点を移動しながら単語３２０を読み進む。
An example of executing another application program on the
ここで、ユーザ１６０が単語３２０−４をコピーしたい場合、ユーザ１６０の視点は単語３２０−４にあり、この視点をスマートフォン１００は特定する。そこで、サイドボタン１４０がスイッチオン動作されながら、マイク１５０が音声による操作を受け付ける。この音声による操作は、例えば「コピー」である。
Here, when the
これに対して、スマートフォン１００は、単語３２０−４をコピーしてクリップボードに貼り付ける。また、音声による操作は、他の種類の操作であっても良く、テキスト編集のための操作であっても良い。
On the other hand, the
以上で説明したように、単語３２０−４の選択とコピーという２つの指示を３種類の操作の組み合わせで入力することにより、誤って１種類の操作が発生してしまっても、誤った指示にまでは至らない。 As explained above, by inputting the two instructions of selecting and copying the word 320-4 with a combination of three types of operations, even if one type of operation is mistakenly generated, the wrong instruction will be given. Not reached.
次に、タブレット端末の例を説明する。図４は、タブレット端末４００の表示の例を示す図である。タブレット端末４００は、タッチパッド（表示画面）４１０、カメラ４２０、カメラ４３０、決定ボタン４４０、及びマイク４９０が設けられており、ユーザはタッチパッド４１０を見ることになる。
Next, an example of a tablet terminal will be described. FIG. 4 is a diagram showing an example of display of the
これらは、既に説明したスマートフォン１００のタッチパッド１１０、カメラ１２０、カメラ１３０、サイドボタン１４０、及びマイク１５０に相当し、カーソル４７０はカーソル２１０に相当し、アイコン２２０を表示してのアプリケーションプログラムの起動や、アプリケーションプログラム実行中の数字の入力は既に説明したとおりであり、テキストを表示しての単語の処理も既に説明したとおりである。
These correspond to the
ただし、アイコン２２０を表示してのアプリケーションプログラムの起動において、決定ボタン４４０が押し込まれる代わりに、マイク４９０が音声による操作として「実行」を受け付けても良い。
However, when the application program is started by displaying the icon 220, the
このような操作による指示は、情報検索でも利用できる。図４の例では、人４８０−１、人４８０−２、及び人４８０−３の３名が被写体となった写真情報において、ユーザが人４８０−２の人物の情報を知りたい場合、ユーザが視線を人４８０−２の表示に向けて、カーソル４７０が人４８０−２の表示に移動したとき、決定ボタン４４０を押し込むか、マイク４９０に向けて「情報検索せよ」と発声する。
Instructions by such an operation can also be used for information retrieval. In the example of FIG. 4, when the user wants to know the information of the person of the person 480-2 in the photographic information in which the three persons of the person 480-1, the person 480-2, and the person 480-3 are the subjects, the user wants to know the information of the person of the person 480-2. When the
これに対して、タブレット端末４００は、ユーザの視点を特定してカーソル４７０を移動し、決定ボタン４４０が押し込まれるか、マイク４９０で「情報検索せよ」という音声の操作を受け付けると、視点を特定した位置、即ちカーソル４７０を表示している位置の画像を顔認識し、タブレット端末４００内に記憶された情報或いはインターネット上の情報を検索して、見つかった結果を音声合成で出力するか、タッチパッド４１０に表示する。
On the other hand, the
タブレット端末４００は、ユーザの視点を特定してカーソル４７０を移動し、決定ボタン４４０が押し込まれる操作を受け付けると共に、マイク４９０で「情報検索せよ」という音声の操作を受け付けると、顔認識しても良い。
When the
情報検索の対象は地図情報であっても良い。図５Ａは、タブレット端末４００に地図情報を表示する例を示す図である。図５Ａに示すタブレット端末４００は、図４に示したタブレット端末４００に、ダウンボタン４５０とアップボタン４６０が追加されている。ダウンボタン４５０とアップボタン４６０は、音出力のボリュームの調整に使用されるものであるが、画像のズームの調整にも兼用される。
The target of the information retrieval may be map information. FIG. 5A is a diagram showing an example of displaying map information on the
ユーザが、先ず「アフリカ地図」を表示するよう操作し、図５Ａではタッチパッド４１０にアフリカの地図が表示されている。「アフリカ地図」を表示するための操作は、マイク４９０へ「アフリカ地図」という音声が入力されても良く、この音声と共に決定ボタン４４０が押し込まれるか、タッチパッド４１０の特定領域がタッチされても良い。
The user first operates to display the "Africa map", and in FIG. 5A, the map of Africa is displayed on the
そして、ユーザが、アフリカの地図の一部に視点をあわせて、アップボタン４６０を押すと、これらのユーザの操作に対して、タブレット端末４００は、カメラ４２０とカメラ４３０で得られたユーザの画像から視点を特定し、視点位置にあわせてカーソル４７０を表示し、アップボタン４６０が押されたことを検出すると、図５Ｂに示すように、視点位置であるカーソル４７０を中心に地図をズームアップする。
Then, when the user puts the viewpoint on a part of the map of Africa and presses the up
これにより、ユーザは、更に詳細な位置を確認するために見たい部分がズームアップされ、知りたい部分を詳細に観察することができる。 As a result, the user can zoom in on the part to be seen in order to confirm the more detailed position, and can observe the part to be known in detail.
なお、タブレット端末４００は、アップボタン４６０の代わりにダウンボタン４５０が押されたことを検出すると、視点位置であるカーソル４７０を中心に地図をズームダウンする。また、アップボタン４６０或いはダウンボタン４５０が押されたことを検出すると共に、マイク４９０で「ズームアップ」或いは「ズームダウン」という音声の操作を受け付けて、地図のズームアップ或いはズームダウンの処理を実行しても良い。
When the
更に、図５Ｂに示した表示において、タブレット端末４００は、決定ボタン４４０が押されたことを検出すると、視点位置であるカーソル４７０の地図上で指し示す国を特定し、その特定された国に関する情報を、タブレット端末４００内の記憶装置またはインター
ネットから検索して、図５Ｃに示すようにタッチパッド４１０に表示する。
Further, in the display shown in FIG. 5B, when the
ここで、タブレット端末４００は、決定ボタン４４０が押されたことを検出すると共に、マイク４９０で「詳細情報」という音声の操作を受け付けて、検索の処理と表示の処理を実行しても良い。
Here, the
地図情報に基づく情報検索では、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に基づき、タブレット端末４００の位置に応じた地図の表示と周辺情報の検索を可能にしても良い。タブレット端末４００は、地図アプリケーションプログラムが起動されると、ＧＰＳに基づき現在位置を中心とした地図を表示する。
In the information retrieval based on map information, it may be possible to display a map according to the position of the
図６Ａは、タブレット端末４００に地図情報を表示する例を示す図である。タッチパッド４１０、カメラ４２０、カメラ４３０、決定ボタン４４０、ダウンボタン４５０、アップボタン４６０、カーソル４７０、及びマイク４９０は既に説明したとおりである。タッチパッド４１０には地図をスクロールするための四方向の矢印と現在位置マーク６２０も表示される。
FIG. 6A is a diagram showing an example of displaying map information on the
現在位置マーク６２０が地図の中心に表示されている状態において、上矢印６１０に視点があわされて、決定ボタン４４０が押されると、地図が下へスクロールし、図６Ａに示す表示画面が得られる。図６Ａでは、地図の下へのスクロールに応じて、現在位置マーク６２０も下へ移動している。
With the
図６Ａに示した表示画面において、ユーザの視点が百貨店６３０にあわされると、カーソル４７０が百貨店６３０を指し示すように表示され、決定ボタン４４０が押されると、図６Ｂに示した表示画面となる。これにより、ユーザは、これから行こうとする百貨店の各階の情報を事前に得ることが可能となる。
On the display screen shown in FIG. 6A, when the user's viewpoint is moved to the
以下に、視点を特定するためのキャリブレーションと距離測定について、図７と図８を用いて説明する。キャリブレーションが開始されると、図７に示すように、タッチパッド１１０またはタッチパッド４１０の表示画面７１０の中で、先ず表示画面７１０−１のように中央に点滅するマーク７１１−１が表示される。
The calibration and the distance measurement for specifying the viewpoint will be described below with reference to FIGS. 7 and 8. When the calibration is started, as shown in FIG. 7, in the
表示画面７１０−１の表示に対して、カメラ１２０、カメラ１３０、カメラ４２０、或いはカメラ４３０による撮像画像７２０−１が取得される。ここで、図８を用いて後で説明するように、２つのカメラ１２０、１３０或いはカメラ４２０、４３０の視差を利用した、被写体７１２即ちユーザまでの距離を測定しても良い。撮像画像７２０−１でのカメラの倍率は、被写体７１２の上半身が収まる程度で良い。
The image captured by the
次に、表示画面７１０−２のように左下に点滅するマーク７１１−２が表示される。このとき、「点滅する図形に注目してください」などのメッセージが合成音声で出力されても良い。また、カメラの倍率が上げられて、被写体７１２の目の部分７１３がクローズアップされ、撮像画像７２０−２が取得される。
Next, a blinking mark 711-2 is displayed at the lower left as shown on the display screen 710-2. At this time, a message such as "Please pay attention to the blinking figure" may be output as a synthetic voice. Further, the magnification of the camera is increased, the
次に、表示画面７１０−３のように右上に点滅するマーク７１１−３が表示される。撮像画像７２０−２が取得されたカメラの倍率と同じ倍率で、被写体７１２の目の部分７１３がクローズアップされた撮像画像７２０−３が取得され、撮像画像７２０−２と撮像画像７２０−３の目のパターンの相関を求める。
Next, a blinking mark 711-3 is displayed on the upper right as shown on the display screen 710-3. At the same magnification as the magnification of the camera from which the captured image 720-2 was acquired, the captured image 720-3 with the
即ち、表示画面７１０の中央から遠い位置へ視線が向う従い、目の輪郭７１４における黒目や虹彩の位置７１５は、目の輪郭７１４の中央から離れるように変位する。表示画面
７１０の端点（マーク７１１−２とマーク７１１−３）を見たときの、目の輪郭７１４−２に対する黒目や虹彩の位置７１５−２と、目の輪郭７１４−３に対する黒目や虹彩の位置７１５−３との変位を基準として、キャリブレーション後の実際に視点を特定するために新たに得られた撮像画像の変位量の、変位の基準に対する割合から、表示画面の端点からの割合が、視点の位置として算出されても良い。
That is, since the line of sight is directed to a position far from the center of the
また、マーク７１１−２とマーク７１１−３の間の距離と、撮像画像７２０−１が取得されたときに測定されたスマートフォン１００（或いはタブレット端末４００）とユーザ（被写体７１２）との距離とから、撮像画像７２０−２と撮像画像７２０−３の視線の角度が算出され、新たに得られた撮像画像の変位量の、変位の基準に対する割合から、視線の角度の割合が算出され、視線の角度と新たに得られた撮像画像が取得されたときの距離とから視点の位置が算出されても良い。 Further, from the distance between the mark 711-2 and the mark 711-3 and the distance between the smartphone 100 (or tablet terminal 400) and the user (subject 712) measured when the captured image 720-1 is acquired. , The line-of-sight angles of the captured image 720-2 and the captured image 720-3 are calculated, and the ratio of the line-of-sight angle is calculated from the ratio of the displacement amount of the newly obtained captured image to the displacement reference, and the line-of-sight angle is calculated. The position of the viewpoint may be calculated from the angle and the distance when the newly obtained captured image is acquired.
なお、図７を用いた説明では、片目についての処理を説明したが、両目それぞれに対して処理を行い、平均化するなどしても良い。また、マーク７１１−１が表示されることなく、マーク７１１−２とマーク７１１−３が表示されても良い。更に、マーク７１１−２とマーク７１１−３の表示と撮像画像７２０−２と撮像画像７２０−３の取得に加えて、表示画面７１０の左上と右下にもマークが表示され、それぞれの撮像画像が取得されても良い。
In the description using FIG. 7, the process for one eye has been described, but the process may be performed for each of the eyes and averaged. Further, the mark 711-2 and the mark 711-3 may be displayed without displaying the mark 711-1. Further, in addition to the display of the mark 711-2 and the mark 711-3 and the acquisition of the captured image 720-2 and the captured image 720-3, the marks are also displayed on the upper left and lower right of the
図８は、２つのカメラによる距離測定の例を示す図である。顔認識により被写体７１２の両眼の中心位置である点８２１が検出され、検出された点８２１を用いた距離測定について説明する。また、説明を簡単にするために、２つのカメラの中で一方の正面に被写体７１２であるユーザが正対した状態での距離測定を説明する。
FIG. 8 is a diagram showing an example of distance measurement by two cameras.
図８では、携帯端末８１０が被写体７１２を撮像する位置関係を、ｚ軸の上方向から見たｘｙ平面で示している。携帯端末８１０は、スマートフォン１００或いはタブレット端末４００であり、レンズ８１１、レンズ８１２、撮像素子８１３、及び撮像素子８１４が設けられている。
In FIG. 8, the positional relationship in which the
撮像素子８１３には、レンズ８１１を通して、点８２１を含む被写体７１２が結像する。ここで、点８２１は撮像素子８１３上の点８２４となる。撮像素子８１４にも、レンズ８１２を通して、点８２１を含む被写体７１２が結像する。ここで、点８２１は撮像素子８１４上の点８２５となる。
A subject 712 including a
そして、撮像素子８１３における点８２４に相当する位置である撮像素子８１４における点８２６と、点８２５の位置の差が視差８３４に相当する。このように、１つの被写体７１２を２つのカメラで撮像すると、各カメラの撮像素子８１３と撮像素子８１４とでは画像に違いが生じる。
Then, the difference between the positions of the
また、点８２１と点８２２と点８２３が形成する大きな三角形と、点８２３と点８２６と点８２５が形成する小さな三角形とには、光学的性質上、相似関係がある。そこで、携帯端末８１０から被写体７１２までの長さ８３１を距離Ｌとし、レンズ間の長さ８３２を距離Ｄとし、焦点距離８３３を距離Ｆとし、視差８３４を距離Ｓとすると、これらの距離の間には、Ｌ：Ｄ＝Ｆ：Ｓという関係が成立する。
Further, the large triangle formed by the
この関係から、距離Ｌは、Ｌ＝Ｄ×Ｆ／Ｓで表され、例えばＤ＝５ｃｍ、Ｆ＝３ｍｍ、Ｓ＝０．５ｍｍとすると、Ｌ＝３０ｃｍが得られる。携帯端末８１０であるスマートフォン１００或いはタブレット端末４００では、２つのカメラそれぞれのレンズの位置と撮像素子の位置との関係は固定であるため、以上のように被写体７１２と携帯端末８１０の距
離を算出することが可能となる。
From this relationship, the distance L is represented by L = D × F / S. For example, if D = 5 cm, F = 3 mm, and S = 0.5 mm, L = 30 cm can be obtained. In the
以上で説明したように、被写体であるユーザの目が撮像可能であれば、視点と距離を算出可能であるが、ユーザの個人差により目の開き方や、ユーザと携帯端末との距離のとり方には大きな違いが出る可能性もあるため、目の輪郭と黒目では視点と距離を算出しにくい場合もある。そこで、以下では、めがね型の装置を用いる例を説明する。 As explained above, if the user's eyes, which are the subject, can be imaged, the viewpoint and distance can be calculated, but how to open the eyes and how to take the distance between the user and the mobile terminal due to individual differences of the user. It may be difficult to calculate the viewpoint and distance between the contour of the eye and the black eye, because there may be a big difference between the two. Therefore, an example of using a glasses-type device will be described below.
図９は、めがね型装置９００と携帯端末９４０の例を示す図である。めがね型装置９００は、めがねの形状をしており、鼻と耳が接触してユーザの顔に固定され、カメラ９２０−１とカメラ９２０−２を有する。カメラ９２０は、ユーザの目の近距離に位置するため、目の輪郭と黒目を撮像しやすい。なお、カメラ９２０は１つであっても良い。
FIG. 9 is a diagram showing an example of a glasses-
カメラ９２０とユーザの目との距離は、ユーザの顔の形状の個人差はあるものの、めがね型装置９００の形状に応じて、ほぼ一定となり、めがね型装置９００の形状が設計されるときに固定値として設定されても良い。
The distance between the camera 920 and the user's eyes is almost constant according to the shape of the eyeglass-
携帯端末９４０は、スマートフォン１００或いはタブレット端末４００であり、めがね型装置９００と接続コード９３０で接続され、カメラ９２０での撮像画像のデータをめがね型装置９００から得る。図９では、接続コード９３０による有線接続の例を示したが、接続コード９３０が無く、携帯端末９４０とめがね型装置９００とが無線接続されても良い。
The
携帯端末９４０は、タッチパッド（表示画面）９５０、アップボタン９６０、ダウンボタン９７０、及び決定ボタン９８０が設けられ、これらの動作は既に説明したとおりであるが、２つのカメラは設けられなくても良い。ユーザがタッチパッド９５０を見るために、めがね型装置９００のリム９１０には透明または着色されたレンズがはめ込まれる。
The
めがね型装置９００のリム９１０−１とリム９１０−２の一方または両方に液晶スクリーンがはめ込まれても良い。液晶スクリーンにアイコンなどを映し出すために、携帯端末９４０は接続コード９３０を介してめがね型装置９００へ画像データを出力しても良い。
The liquid crystal screen may be fitted to one or both of the rims 910-1 and rims 910-2 of the eyeglass-
めがね型装置９００に液晶スクリーンがはめ込まれた場合の携帯端末９４０は、液晶スクリーンに映し出されたアイコンなどへのユーザの視点を算出する。また、この場合の携帯端末９４０は、タッチパッド９５０を備えなくても良いし、タッチパッド９５０に対して小さい或いは解像度の低いタッチパッドであっても良い。
When the liquid crystal screen is fitted in the glasses-
めがね型装置９００のツル９９０−１とツル９９０−２の一方または両方にイヤフォンを備えても良い。イヤフォンを用いて音で情報をユーザへ伝えるために、携帯端末９４０は接続コード９３０を介してめがね型装置９００へ合成音声データを出力しても良い。このイヤフォンの代わりに、めがね型装置９００はヘッドフォンを備えても良い。ヘッドフォンを備えるために、ユーザの頭上で接触するヘッドバンドを備えても良い。
Earphones may be provided on one or both of the vines 990-1 and vines 990-2 of the glasses-
また、ハンズフリーフォンのようにツル９９０がマイクを備えても良い。マイクからの音声データを得るために、携帯端末９４０は接続コード９３０を介してめがね型装置９００から音声データを入力しても良い。
Further, the vine 990 may be provided with a microphone like a hands-free phone. In order to obtain the voice data from the microphone, the
更に、めがね型装置９００は、液晶スクリーンがはめ込まれ、アップボタン９６０、ダウンボタン９７０、及び決定ボタン９８０が設けられても良く、携帯端末９４０の処理をめがね型装置９００が実行しても良い。この場合のめがね型装置９００は、独立して動作可能であるため、接続コード９３０が無くても良い。
Further, the glasses-
以上の説明では、カメラを使用してユーザの視点を特定したが、カメラを使用しなくても良い。例えば、スマートフォンが鷲掴みにされた場合、ユーザの手の指が無意識にタッチパッドに接触し、ユーザの意図せぬ入力がなされる場合もあるが、これに対して、カメラを使用せず、図１０に示すような操作を検出しても良い。 In the above description, the viewpoint of the user is specified by using the camera, but the camera may not be used. For example, when a smartphone is grabbed, the fingers of the user's hand may unknowingly touch the touchpad and input may be made unintentionally by the user. The operation as shown in 10 may be detected.
図１０はカメラを使用しない操作の例を示す図である。スマートフォン１００は、タッチパッド１１０、サイドボタン１４０、及びマイク１５０が設けられている。カメラは設けられていても良いが、使用されない。視点位置の代わりに、片手１６４によるタッチパッド１１０への接触位置を検出し、片手１６３によるサイドボタン１４０の押し込まれる動作を検出して、スマートフォン１００は、検出された操作に対応する処理を実行する。
FIG. 10 is a diagram showing an example of an operation without using a camera. The
また、スマートフォン１００は、片手１６４によるタッチパッド１１０への接触位置を検出し、サイドボタン１４０の押し込まれる動作の検出の代わりに、マイク１５０での音声による操作を検出しても良い。これらにより、タッチパッド１１０の操作の検出に加えて別の操作の検出も行うことにより、ユーザの意図しない操作を誤検出する可能性を減らすことができる。
Further, the
以上の説明では、タッチパッド以外の操作を検出したが、タッチパッドの操作の検出で、ユーザの意図しない操作を誤検出する可能性を減らす例を説明する。図１１Ａは複数の指のタッチを検出するタブレット端末１１００の例を示す図である。タブレット端末１１００は、タッチパッド（表示画面）１１１０及びカメラ１１２０が設けられている。
In the above description, operations other than the touchpad have been detected, but an example of reducing the possibility of erroneously detecting an operation not intended by the user by detecting the operation of the touchpad will be described. FIG. 11A is a diagram showing an example of a
カメラ１１２０は、タッチパッド１１１０を操作する手１１４０を指まで撮像するようタッチパッド１１１０側に傾けられて設置され、カメラ１１２０の撮像光軸はタッチパッド１１１０の方向に傾き、撮像範囲は画角１１３０のようにタッチパッド１１１０の周辺を含む。
The
タブレット端末１１００では、手１１４０の１本目の指（例えば人差し指）のタッチを検出し、その状態でタッチした指の移動を検出すると、カーソルを移動させる。そして、手１１４０の２本目の指（例えば親指）により、タッチパッド１１１０内の実行（決定）ボタンの範囲のタッチを検出すると、１本目の指を検出している位置であるカーソルの位置に対応する動作を実行あるいは決定する。
The
図１１Ｂは、タブレット端末１１００の画面の例を示す図である。アイコン１１５０−１、アイコン１１５０−２、アイコン１１５０−３が、タッチパッド１１１０に表示されており、アイコン１１５０それぞれは、アプリケーションプログラム或いはアプリケーションプログラムに対する指示に対応している。
FIG. 11B is a diagram showing an example of a screen of the
アイコン１１６０は、実行（決定）ボタンである。例えば、１本目の指でのアイコン１１５０−１へのタッチを検出している状態で、２本目の指でのアイコン１１６０へのタッチを検出すると、タブレット端末１１００は、アイコン１１５０−１に対応するアプリケーションプログラムを起動したり、指示に基づく動作を実行したりする。
アイコン１１６０は、タッチパッド１１１０に表示されなくても良い。この場合の実行（決定）ボタンの範囲は、アイコン１１５０以外の領域となる。また、アイコン１１６０が表示されていない状態で、１本目の指がいずれかのアイコン１１５０を予め設定された時間以上タッチし続けていることを検出すると、アイコン１１６０が表示され、アイコン１１６０への２本目の指のタッチが検出されても良い。
The
カメラ１１２０が撮像した画像を分析することにより、タッチパッド１１１０にタッチしている指の種類が認識される。この指の種類の認識により、２本目の指のタッチが、親指のタッチであると認識した場合は、いわゆるマウスの左クリックとして検出されて、アイコン１１５０に対応するアプリケーションプログラムが起動されても良い。
By analyzing the image captured by the
また、２本目の指のタッチが、中指のタッチであると認識した場合は、いわゆるマウスの右クリックとして検出されて、アイコン１１５０に対応するアプリケーションプログラムのメニューが表示されたり、アプリケーションプログラムの情報が表示されたりしても良い。また、１本目の指のタッチが中指で行われた場合には、２本目の指のタッチが人差し指で行われた場合にマウスの左クリックとして検出され、２本目のタッチが薬指で行われた場合にマウスの右クリックとして検出されても良い。 When the touch of the second finger is recognized as the touch of the middle finger, it is detected as a so-called right mouse click, and the menu of the application program corresponding to the icon 1150 is displayed, or the information of the application program is displayed. It may be displayed. In addition, when the touch of the first finger is performed with the middle finger, when the touch of the second finger is performed with the index finger, it is detected as a left click of the mouse, and the second touch is performed with the ring finger. In some cases, it may be detected as a right mouse click.
指の種類の認識の結果が、ユーザにわかるようにするため、タッチパッド１１１０のタッチ部分の周囲を、認識した指の種類に応じた特定の色とする表示にしてもよい。そして、タッチ部分の周囲の色の表示が、カーソルとみなされても良い。これにより、指の種類の認識の誤りにより、誤った指示となる可能性を減らすことができる。
In order to make the result of finger type recognition visible to the user, the area around the touch portion of the
更に、カメラ１１２０で撮像された手１１４０の画像が、アイコン１１５０及びアイコン１１６０と重畳されてタッチパッド１１１０に表示されても良い。
Further, the image of the
次に、カメラにより視点を検出するが、図１などに示したサイドボタン１４０及び図４に示した決定ボタン４４０の代わりにタッチパッドを使用する例を説明する。図１２Ａは、タッチパッド１１０の一部を特別な領域とするスマートフォン１００の例を示す図である。
Next, an example in which the viewpoint is detected by the camera and the touch pad is used instead of the
スマートフォン１００は、タッチパッド１１０、カメラ１２０、及びカメラ１３０が設けられている。カメラ１２０及びカメラ１３０については既に説明したとおりである。スマートフォン１００は、サイドボタンとマイクが設けられていても良いが、ここでは使用されない。スマートフォン１００は、タブレット端末４００であっても良い。
The
サイドボタン１４０及び決定ボタン４４０の代わりにタッチパッド１１０を使用するために、サイドボタン１４０及び決定ボタン４４０の代わりとなる特別領域１２１０がタッチパッド１１０に設定される。特別領域１２１０は、スマートフォン１００が片手で保持された場合に、例えば親指でタッチされる領域である。
In order to use the
ユーザが、スマートフォン１００を片手で把持する場合、そのユーザの癖によってその把持する位置が異なり、そのユーザが右利きか左利きかによってもその把持する位置が異なる。そこで、図１２Ａに示すような特別領域１２１０−１から特別領域１２１０−６までに対して、１つの特別領域１２１０が選択される設定を、スマートフォン１００の電源がオンされた後またはリセットされた後に受け付ける。
When a user grips the
図１２Ａにおいて、例えば、特別領域１２１０−１、１２１０−３、１２１０−５は左手で把持された場合用であり、特別領域１２１０−２、１２１０−４、１２１０−６は右手で把持された場合用である。スマートフォン１００を把持する手でタッチされる特別領域１２１０は、タッチパッド１１０の縁に接する領域であることが望ましい。
In FIG. 12A, for example, the special regions 1210-1, 1210-3, 1210-5 are for the case of being gripped by the left hand, and the special regions 1210-2, 1210-4, 1210-6 are for the case of being gripped by the right hand. For. It is desirable that the special area 1210 touched by the hand holding the
図１２Ｂは、特別領域１２１０−３が選択される設定を受け付けた例である。視点による位置指定は、特別領域１２１０−３を除くタッチパッド１１０で有効とし、特別領域１２１０−３はタッチ専用とする。このため、特別領域１２１０−３にはアイコン１２３０は配置されない。
FIG. 12B is an example of accepting the setting in which the special region 1210-3 is selected. The position designation by the viewpoint is valid on the
そして、既に説明したように、カメラ１２０とカメラ１３０の撮像画像に基づいてユーザの視点が特定され、カーソル２１０が表示される。視点位置であるカーソル２１０の位置は、アイコン１２３０−１からアイコン１２３０−８の上を移動可能である。
Then, as described above, the user's viewpoint is specified based on the images captured by the
カーソル２１０が、アイコン１２３０−６の上に位置したところで、片手１２２０の親指により特別領域１２１０−３のタッチされたことが検出されると、アイコン１２３０−６に対応するアプリケーションが起動されたり、アプリケーションに指示が送られたりする。
When the
なお、特別領域１２１０−３に「決定」や「タッチ」などを表す文字列または特別なアイコンが表示され、ユーザが特別領域であることを理解できるようにしても良い。 A character string or a special icon representing "decision", "touch", or the like may be displayed in the special area 1210-3 so that the user can understand that the special area is used.
以上で説明した視点または１本目の指による第１の操作と、ボタンや音声による第２の操作などの複数の操作を検出することにより、操作の妥当性を確認し、ユーザの意図に即した動作を実現する。妥当性を確認するための操作は、以上で説明した操作に限定されるものではない。 By detecting a plurality of operations such as the first operation with the viewpoint or the first finger described above and the second operation with a button or voice, the validity of the operation is confirmed and the user's intention is met. Realize the operation. The operation for confirming the validity is not limited to the operation described above.
例えば、カメラを使用しての操作の検出として、視点によるアイコン選択状態が数秒間継続したら、実行または決定にあたり、「よろしければ右目のみを３秒間閉じてください」といったメッセージをユーザに投げかけ、そのとおりの動作が検出されれば、実行または決定の動作に移行するようにしても良い。 For example, to detect an operation using the camera, if the icon selection state by the viewpoint continues for a few seconds, when executing or deciding, a message such as "Please close only the right eye for 3 seconds if you like" is thrown to the user, and that's right. If the operation of is detected, the operation may be shifted to the execution or decision operation.
また、ユーザがサングラスを装着しており、目以外の入力が必要な場合、例えば口唇の形で確認するため、「よろしければ、『お』を発音するときの口の形にしてください」といったメッセージをユーザに投げかけ、そのとおりの動作が検出されるか判定されても良い。 Also, if the user is wearing sunglasses and needs input other than the eyes, for example, in order to check with the shape of the lips, a message such as "If you like, please use the shape of the mouth when pronouncing" o "". May be thrown at the user to determine if the exact behavior is detected.
操作を検出するためのスマートフォン１００或いはタブレット端末４００のセンサとしては既に説明したとおりであるが、検出される操作は、入力条件として優先度を持たせても良い。例えば、
（１）視線、視点、或いは目の状況
（２）口唇の形
（３）音声
（４）スイッチ入力
（５）タッチパッドへのタッチ情報
に対して、予め優先度が設定され、任意に組み合わされても良い。
The sensor of the
(1) Line of sight, viewpoint, or eye condition (2) Lip shape (3) Voice (4) Switch input (5) Priority is set in advance for touch information to the touch pad, and it is arbitrarily combined. You may.
周辺環境に応じて優先度の高い入力条件または優先度の低い入力条件を、後で説明する入力条件管理部が選択する。例えば、周辺環境として暗い環境であると判定されると、カメラが使用される入力条件は選択されず、優先度の低いスイッチ入力とタッチパッドへのタッチ情報が選択されても良い。 The input condition management unit, which will be described later, selects an input condition having a high priority or an input condition having a low priority according to the surrounding environment. For example, when it is determined that the surrounding environment is a dark environment, the input condition in which the camera is used is not selected, and the switch input having a low priority and the touch information to the touch pad may be selected.
図１３は携帯端末８１０の第１のハードウェア構成の例を示す図である。携帯端末８１０は既に説明したとおりスマートフォン１００或いはタブレット端末４００である。カメラ部１３０１は、カメラ１２０、１３０かカメラ４２０、４３０などに対応し、タッチパッド表示部１３０８とタッチパッドセンス部１３１６は、タッチパッド１１０かタッチパッド４１０などに対応する。
FIG. 13 is a diagram showing an example of the first hardware configuration of the
マイク部１３１３は、マイク１５０かマイク４９０に対応し、スイッチ入力部１３１５
は、サイドボタン１４０か決定ボタン４４０などに対応する。なお、スマートフォン１００本来の電話機能などのハードウェアは、本実施例の説明とは関係ないので省略している。また、アプリケーションプログラムの起動について特に説明する。
The
Corresponds to the
カメラ部１３０１は、２つ以上のカメラの撮像により得た画像情報を顔認識部１３０２へ出力する。顔認識部１３０２は、顔認識して、顔部分の特徴を抽出する。また、顔認識部１３０２は、顔までの距離を算出し、顔を正面に認識できない場合や目を認識できない場合、ユーザへメッセージを出すための動作をしても良い。
The
視点検出部１３０３は、目の部分の情報と顔までの距離を顔認識部１３０２から入力し、視点の位置を算出する。ここで、視点がタッチパッド表示部１３０８に向けられているかを判定しても良い。そして、視点は絶えず細かな動きを生じる性質があるため、ローパスフィルタ部１３０４は、細動情報をカットし、視点の情報を視点情報管理部１３０５へ出力する。
The
視点情報管理部１３０５は、タッチパッド表示部１３０８の画面上のどこに視点があるかを、カーソル表示１３０７へ出力し、タッチパッド表示部１３０８を介してユーザにカーソルを表示する。なお、既に説明したようにカーソルの代わりにアイコンのハイライト表示などであっても良い。
The viewpoint
一方、視点情報と組みあわされる少なくとも１つ以上の入力としては、マイク部１３１３から入力され、音声認識部１３１４を経て解読される音声入力、サイドボタンなどのスイッチ入力部１３１５からのスイッチ入力、或いはタッチパッドセンス部１３１６から入力される手指のタッチ入力などがある。
On the other hand, as at least one or more inputs combined with the viewpoint information, a voice input input from the
これらの入力と、視点情報管理部１３０５からの視点入力とがそろうことで、入力条件管理部１３０９は、アプリケーションプログラム実行部１３１０へ、入力により特定されるアプリケーションプログラムを起動させる。入力条件管理部１３０９は、既に説明したとおり、複数の入力が、予め定められた条件を満たすと判定すると、アプリケーションプログラム実行部１３１０へ指示を出力する。
When these inputs and the viewpoint input from the viewpoint
入力条件管理部１３０９は、アイコンの表示位置と、アイコンに対応するアプリケーションプログラムの識別情報との対応情報を有し、視点情報管理部１３０５からの視点入力に応じた識別情報をアプリケーションプログラム実行部１３１０へ出力しても良い。
The input
あるいは、アプリケーションプログラム実行部１３１０が、アイコンの表示位置と、アイコンに対応するアプリケーションプログラムの識別情報との対応情報を有し、入力条件管理部１３０９は、予め定められた条件を満たすと判定すると、視点情報管理部１３０５からの視点の入力を、アプリケーションプログラム実行部１３１０へ転送しても良い。
Alternatively, when the application
入力条件管理部１３０９は、タッチパッド１１０かタッチパッド４１０などの領域と、アプリケーションプログラムへの指示との対応情報を有し、タッチパッドセンス部１３１６からのタッチ位置の入力に応じた指示をアプリケーションプログラム実行部１３１０へ出力しても良い。
The input
入力条件管理部１３０９は、タッチパッド１１０かタッチパッド４１０などの領域として、特別領域１２１０の情報を複数有し、選択された特別領域１２１０−３の情報を有しても良く、アイコン１１６０の決定ボタンの領域を有しても良い。
The input
以上の説明では、入力条件管理部１３０９を独立した制御部として表したが、アプリケ
ーションプログラム実行部１３１０の一部であっても良い。最終的にアプリケーションプログラム実行部１３１０によって、スピーカー部１３１１がユーザに音声で情報を伝達するか、或いは通信制御部１３１２に指令を送り通信させても良い。
In the above description, the input
なお、図７を用いて既に説明したように、カメラで撮像した目の情報と視点とには個人差があることから、キャリブレーション管理部１３０６は、カメラで撮像した目の情報と視点との関係を管理して、視点情報管理部１３０５へ出力し、視点情報管理部１３０５は、その関係に基づいて視点を特定する。
As already described with reference to FIG. 7, since there are individual differences between the eye information captured by the camera and the viewpoint, the
カメラ部１３０１から視点情報管理部１３０５までは、顔の代わりに指を認識し、指の位置と種類を特定しても良い。入力条件管理部１３０９は、視点情報管理部１３０５からの指の位置と種類の情報を入力としても良く、タッチパッドセンス部１３１６からの入力を視点情報管理部１３０５へ転送し、視点情報管理部１３０５にタッチ位置へカーソルを表示させても良い。
The
図１４は携帯端末８１０の第２のハードウェア構成の例を示す図である。図１３を用いて説明したハードウェアの各部はソフトウェアで実現してもよい。図１４に示したハードウェア構成の例は、そのソフトウェアでの実現のためのハードウェア構成の例である。なお、図１４に示した携帯端末８１０のハードウェア構成は、一般的なスマートフォンやタブレット端末のハードウェア構成であっても良い。
FIG. 14 is a diagram showing an example of a second hardware configuration of the
プロセッサ１４０１はメモリ１４０２に格納されたプログラムを実行し、図１４に示した各部とデータをやり取りして、データを処理する。メモリ１４０２は例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、プログラムとデータが格納される。
The
ストレージ１４０３は例えばフラッシュメモリであり、プログラムとデータが格納される。メモリ１４０２とストレージ１４０３との間で、プログラムとデータが転送されても良い。通信部１４０４は接続コード９３０による有線接続、或いは無線電話回線や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で通信する。
The
メモリ１４０２に格納されたアプリケーションプログラムを実行するプロセッサ１４０１の制御により、通信部１４０４は送受信する。また、メモリ１４０２あるいはストレージ１４０３に格納されるプログラムとデータは、通信部１４０４により受信されても良い。
The
入力部１４０５は、マイク１４０７などからの入力信号をデータとしてメモリ１４０２或いはストレージ１４０３へ格納する。マイク１４０７は、図１に示したマイク１５０或いは図４に示したマイク４９０であり、音声信号を入力する。カメラ１４０８とカメラ１４０９のそれぞれは、図１に示したカメラ１２０とカメラ１３０或いは図４に示したカメラ４２０とカメラ４３０であり、撮像した映像信号を入力する。
The
出力部１４０６は、メモリ１４０２或いはストレージ１４０３に格納されたデータを信号に変換し、スピーカー１４１１などへ出力する。タッチパッド１４１０は、図１に示したタッチパッド１１０或いは図４に示したタッチパッド４１０などであり、タッチを検出すると、そのタッチの情報を入力部１４０５へ出力し、出力部から入力した映像信号にしたがって画面を表示する。
The
図１５は、図１４に示した携帯端末８１０の処理の例を示す図であり、メモリ１４０２に格納されてプロセッサ１４０１が実行するプログラムのフローチャートの例である。携帯端末８１０の電源がオンされる、或いはスリープから解除されると、プロセッサ１４０
１は処理を開始する。
FIG. 15 is a diagram showing an example of processing of the
1 starts processing.
まず、プロセッサ１４０１はキャリブレーションが未済であるかを判定する（ステップ１５０１）。この判定には、例えば、ストレージ１４０３にキャリブレーションが未済であるか否かのフラグが格納され、そのフラグをプロセッサ１４０１が読み出して判定しても良い。携帯端末８１０が製造されたとき、及びリセットされたときには、フラグが未済に設定される。
First, the
プロセッサ１４０１は、ステップ１５０１において未済である判定した場合、キャリブレーションを実行し（ステップ１５０２）、未済でないと判定した場合、ステップ１５０２をスキップする。ステップ１５０２におけるキャリブレーションの処理内容は、図７と図８を用いて説明したとおりであり、携帯端末８１０のカメラ１４０８、１４０９が有効にされてユーザが撮像される。更にフラグが済に設定される。
If the
プロセッサ１４０１は、待ち受け画面などとも呼ばれるホーム画面を表示する（ステップ１５０３）。ホーム画面は、図２に示したように、複数のアプリケーションプログラムそれぞれに対応したアイコンを含み、アイコンが操作されることにより、アプリケーションプログラムが起動される。この時点で、携帯端末８１０のカメラ部１３０１或いはカメラ１４０８、１４０９が有効にされていない場合は、有効にされる。
The
プロセッサ１４０１は、カメラ１４０８、１４０９を制御して撮像し、顔認識する（ステップ１５０４）。この顔認識では、カメラ１４０８、１４０９に向いた顔を認識するための処理を実行し、顔を認識した場合は、目の輪郭における黒目や虹彩の位置を認識する。
The
ステップ１５０４の顔を認識するための処理を実行した結果として、顔を正面に認識できた場合、顔が携帯端末８１０に向いているとみなして、プロセッサ１４０１はステップ１５０６へ進み、顔を認識できない場合または顔が横を向いていると認識できた場合、顔が携帯端末８１０に向いていないとみなして、プロセッサ１４０１は、ステップ１５１２へ進む。
If the face can be recognized in front as a result of executing the process for recognizing the face in
ステップ１５１２でプロセッサ１４０１は、ユーザの注意を促すメッセージ或いはユーザに顔を向けさせるメッセージを出力する。このメッセージはスピーカー１４１１から出力されても良い。
In
ステップ１５０６でプロセッサ１４０１は、ステップ１５０４で認識された目の輪郭における黒目や虹彩の位置と、ステップ１５０２のキャリブレーションで記録された目の輪郭における黒目や虹彩の位置との関係から視点を算出する。カメラ１４０８とカメラ１４０９との視差から顔までの距離を算出し、視点の算出に利用しても良い。
In
プロセッサ１４０１は、算出された視点の細かな変動により誤検出しないように、ローパスフィルタを適用する（ステップ１５０７）。例えば、予め設定された時間間隔で撮像された画像から視点が算出され、予め設定された個数の視点が算出されると、それらの視点の位置が平均化されても良い。
プロセッサ１４０１は、ローパスフィルタの適用された視点に対応する位置へカーソルを表示する（ステップ１５０８）。視点に対応する位置が、ステップ１５０３で表示されたホーム画面のアイコンの位置と一致する場合、位置が一致したアイコンは、ハイライト表示されても良い。
プロセッサ１４０１は、視点により指定されたアイコンを選択する入力があるかを判定する（ステップ１５０９）。この選択の入力は、例えば図１ではサイドボタン１４０による入力である。入力が無いと判定されると、視点により指定されたアイコンは、ユーザが単に見ただけの可能性もあるため、プロセッサ１４０１はステップ１５０４へ戻る。
選択の入力が有ると判定されると、プロセッサ１４０１は、その選択の入力が入力条件を満たすかを判定する（ステップ１５１０）。この入力条件は、優先度のある入力条件として既に説明したとおりであり、予め設定される。例えばサイドボタン１４０による入力であっても、入力条件を満たさないと判定されると、プロセッサ１４０１はステップ１５１２へ進む。
If it is determined that there is a selection input, the
ステップ１５１２でプロセッサ１４０１は、入力条件を満たしていない旨のメッセージ或いは入力が妥当でない旨のメッセージを出力する。このメッセージはスピーカー１４１１から出力されても良い。なお、ステップ１５１２は、ステップ１５０５の判定結果で実行しているか、ステップ１５１０の判定結果で実行しているかを判定しても良い。
In
ステップ１５１０で入力条件を満たすと判定されると、プロセッサ１４０１は、視点により指定されたアイコンに対応するアプリケーションプログラムを実行する（ステップ１５１１）。アプリケーションプログラムの実行結果としてのメッセージが、スピーカー１４１１から出力されても良いし、実行によるエラーのメッセージがスピーカー１４１１から出力されても良い。
When it is determined in
プロセッサ１４０１は、ステップ１５１１でアプリケーションプログラムが実行された後、またはステップ１５１２でメッセージが出力された後、未操作が、予め設定された時間経過したかを判定する。予め設定された時間経過したと判定すると、プロセッサ１４０１は、携帯端末８１０を例えばスリープ状態に移行させ、フローチャートの処理を終了する。
The
予め設定された時間が経過する前に操作されたと判定すると、プロセッサ１４０１はステップ１５０４へ戻る。なお、ステップ１５１３の未操作の判定は、独立した判定に限定されるものではなく、ステップ１５０６或いはステップ１５０９と連携しても良い。
If it is determined that the operation has been performed before the preset time has elapsed, the
なお、図１５を用いた以上の説明では、視点を使用する例を説明したが、既に説明したように他の入力条件であっても良く、図１３を用いて説明した各部の動作をプログラムで実現しても良い。 In the above description using FIG. 15, an example of using the viewpoint has been described, but other input conditions may be used as described above, and the operation of each part described with reference to FIG. 13 may be performed by a program. It may be realized.
以上で説明したように、携帯端末の制御方法は、ユーザの操作による入力に対して、複数の入力条件を判定して動作するため、ユーザの誤操作により誤って動作する可能性を低減できる。 As described above, since the control method of the mobile terminal operates by determining a plurality of input conditions with respect to the input by the user's operation, it is possible to reduce the possibility of erroneous operation due to the user's erroneous operation.
スマートフォンやタブレット端末などの携帯端末に適用でき、ユーザに操作されるコンピュータにも適用できる。 It can be applied to mobile terminals such as smartphones and tablet terminals, and can also be applied to computers operated by users.
１００ スマートフォン
１１０ タッチパッド
１２０ カメラ
１３０ カメラ
１４０ サイドボタン
１５０ マイク
100
Claims (3)
前記携帯端末のカメラが撮像した顔の目が向けられた視点を検出する検出ステップと、
前記携帯端末の表示部において、前記視点に基づいた位置にカーソルを表示する表示ステップと、
前記表示部に表示されたアイコンと、前記表示部の予め設定され、前記表示部の縁に接する複数の領域の中から選択されて設定される第１の領域への入力と、前記視点に基づいた位置とに対して、予め設定された入力条件を満たすか判定する条件判定ステップと、
前記携帯端末の表示部の表示制御を行う制御ステップと、を備え、
前記制御ステップにおいて、
前記条件判定ステップに応じた前記視点に基づいた位置にある前記アイコンに対応するアプリケーションプログラムを実行し、前記表示部に前記実行に応じた表示を行うように表示制御する、
ことを特徴とした、制御方法。 It is a control method for mobile terminals.
The detection step of detecting the viewpoint to which the eyes of the face are directed, which is captured by the camera of the mobile terminal,
A display step of displaying a cursor at a position based on the viewpoint on the display unit of the mobile terminal.
Based on the icon displayed on the display unit, the input to the first area set in advance of the display unit and selected from a plurality of areas in contact with the edge of the display unit, and the viewpoint. A condition determination step for determining whether a preset input condition is satisfied with respect to the position
A control step for controlling the display of the display unit of the mobile terminal is provided.
In the control step
An application program corresponding to the icon at a position based on the viewpoint according to the condition determination step is executed, and display control is performed so that the display unit is displayed according to the execution.
A control method characterized by that.
前記第１の領域には、前記アイコンを表示しない、
ことを特徴とした、制御方法。 In the control method according to claim 1,
The icon is not displayed in the first area.
A control method characterized by that.
前記第１の領域では、前記視点を検出しない、
ことを特徴とした、制御方法。 In the control method according to claim 2,
In the first region, the viewpoint is not detected.
A control method characterized by that.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021015515A JP7176020B2 (en) | 2021-02-03 | 2021-02-03 | Mobile device control method |
| JP2022179830A JP7416894B2 (en) | 2021-02-03 | 2022-11-09 | Mobile device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021015515A JP7176020B2 (en) | 2021-02-03 | 2021-02-03 | Mobile device control method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019526068A Division JP6833997B2 (en) | 2017-06-29 | 2017-06-29 | Mobile terminal |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022179830A Division JP7416894B2 (en) | 2021-02-03 | 2022-11-09 | Mobile device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021068482A true JP2021068482A (en) | 2021-04-30 |
| JP7176020B2 JP7176020B2 (en) | 2022-11-21 |
Family
ID=75637381
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021015515A Active JP7176020B2 (en) | 2021-02-03 | 2021-02-03 | Mobile device control method |
| JP2022179830A Active JP7416894B2 (en) | 2021-02-03 | 2022-11-09 | Mobile device |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022179830A Active JP7416894B2 (en) | 2021-02-03 | 2022-11-09 | Mobile device |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7176020B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023001310A (en) * | 2021-02-03 | 2023-01-04 | マクセル株式会社 | mobile terminal |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013242671A (en) * | 2012-05-18 | 2013-12-05 | Fujitsu Ltd | Tablet terminal and operation reception program |
| US20150261295A1 (en) * | 2014-03-17 | 2015-09-17 | Samsung Electronics Co., Ltd. | Method for processing input and electronic device thereof |
| JP2015191241A (en) * | 2014-03-27 | 2015-11-02 | 京セラドキュメントソリューションズ株式会社 | Electronic apparatus and operation support program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220136517A (en) * | 2013-06-27 | 2022-10-07 | 아이사이트 모빌 테크놀로지 엘티디 | Systems and methods of direct pointing detection for interaction with a digital device |
| JP6015866B2 (en) * | 2013-10-25 | 2016-10-26 | 株式会社村田製作所 | Display device for portable terminal |
| US10180716B2 (en) * | 2013-12-20 | 2019-01-15 | Lenovo (Singapore) Pte Ltd | Providing last known browsing location cue using movement-oriented biometric data |
| CN107924274A (en) * | 2015-07-31 | 2018-04-17 | 麦克赛尔株式会社 | Information terminal device |
| JP7176020B2 (en) * | 2021-02-03 | 2022-11-21 | マクセル株式会社 | Mobile device control method |
-
2021
- 2021-02-03 JP JP2021015515A patent/JP7176020B2/en active Active
-
2022
- 2022-11-09 JP JP2022179830A patent/JP7416894B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013242671A (en) * | 2012-05-18 | 2013-12-05 | Fujitsu Ltd | Tablet terminal and operation reception program |
| US20150261295A1 (en) * | 2014-03-17 | 2015-09-17 | Samsung Electronics Co., Ltd. | Method for processing input and electronic device thereof |
| JP2015191241A (en) * | 2014-03-27 | 2015-11-02 | 京セラドキュメントソリューションズ株式会社 | Electronic apparatus and operation support program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023001310A (en) * | 2021-02-03 | 2023-01-04 | マクセル株式会社 | mobile terminal |
| JP7416894B2 (en) | 2021-02-03 | 2024-01-17 | マクセル株式会社 | Mobile device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023001310A (en) | 2023-01-04 |
| JP7416894B2 (en) | 2024-01-17 |
| JP7176020B2 (en) | 2022-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10375219B2 (en) | Mobile terminal releasing a locked state and method for controlling the same | |
| KR101876655B1 (en) | Screen control method and device | |
| US20150054730A1 (en) | Wristband type information processing apparatus and storage medium | |
| KR20130081117A (en) | Mobile terminal and control method therof | |
| US20060044265A1 (en) | HMD information apparatus and method of operation thereof | |
| US20130250086A1 (en) | Automatic magnification of data on display screen based on eye characteristics of user | |
| CN105138118A (en) | Intelligent glasses, method and mobile terminal for implementing human-computer interaction | |
| JP6833997B2 (en) | Mobile terminal | |
| KR20180004112A (en) | Eyeglass type terminal and control method thereof | |
| JP7416894B2 (en) | Mobile device | |
| EP3985486B1 (en) | Glasses-type terminal | |
| JP2021073611A (en) | Mobile terminal | |
| CN114115544B (en) | Man-machine interaction method, three-dimensional display device and storage medium | |
| JP2014052934A (en) | Portable terminal device, program, and input method | |
| CN115136109A (en) | Gesture detection system | |
| CN105652451A (en) | Intelligent glasses | |
| EP4447426A1 (en) | Grip gesture recognition method and apparatus, device, storage medium, and chip | |
| JP7031112B1 (en) | Glasses type terminal | |
| JP7080448B1 (en) | Terminal device | |
| TWI495903B (en) | Three dimension contactless controllable glasses-like cell phone | |
| US20230328354A1 (en) | Electronic device, control method therefor, program, and storage medium | |
| CN111314612B (en) | Information display method and electronic equipment | |
| TWI552565B (en) | Three dimension contactless controllable glasses-like cell phone | |
| CN118535000A (en) | Equipment control method and device, electronic equipment and storage medium | |
| CN114327047A (en) | Device control method, device control apparatus, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210203 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211020 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220401 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7176020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |