Nothing Special   »   [go: up one dir, main page]

WO2016190057A1 - ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 - Google Patents

ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 Download PDF

Info

Publication number
WO2016190057A1
WO2016190057A1 PCT/JP2016/063617 JP2016063617W WO2016190057A1 WO 2016190057 A1 WO2016190057 A1 WO 2016190057A1 JP 2016063617 W JP2016063617 W JP 2016063617W WO 2016190057 A1 WO2016190057 A1 WO 2016190057A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
processing unit
movement
wearable electronic
electronic device
Prior art date
Application number
PCT/JP2016/063617
Other languages
English (en)
French (fr)
Inventor
卓 天野
軌行 石井
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2016190057A1 publication Critical patent/WO2016190057A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a wearable electronic device that can be worn, and particularly relates to a wearable electronic device that can recognize a predetermined gesture.
  • the present invention relates to a gesture detection method for wearable electronic devices.
  • the mobile computing device disclosed in this document is configured to acquire data related to a three-dimensional user movement comprising an infrared (IR) light emitting diode (LED) and an IR proximity sensor.
  • a sensor system communicatively coupled to the sensor system, and data clarity related to the three-dimensional user movement acquired by the sensor system and correct input gesture identification of the three-dimensional user movement.
  • a sensor control device module Configured to identify a property of the device that is indicative of a probability and regulate power consumption of at least one of the IR LED or the IR proximity sensor of the sensor system based on the device property.
  • the sensor system disclosed in Patent Document 1 is based on the assumption that the IR proximity sensor is stationary, and the IR proximity sensor is used to perform a three-dimensional user movement with respect to the IR proximity sensor, that is, a gesture. Relevant data is acquired. For this reason, if the IR proximity sensor moves, it is difficult to detect a gesture by the IR proximity sensor.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide a wearable electronic device capable of detecting a gesture even when a wearing part moves, and a gesture detection method for the wearable electronic device. It is to be.
  • the wearable electronic device and the gesture detection method thereof the first movement of the mounting member to be mounted on the first part in the living body is measured and mounted on the mounting member, which is different from the first part in the living body.
  • the second movement of the indicator provided in the second part or the second part is measured, and based on the first and second measurement results, the second movement of the second part or the indicator is determined. Gesture is recognized. Therefore, the wearable electronic device and the gesture detection method for the wearable electronic device according to the present invention can detect a gesture even if the wearing site moves.
  • the wearable electronic device in the present embodiment is an electronic device that can be worn and can detect a predetermined gesture, and includes a mounting member for mounting on a predetermined first part of a living body, and a first of the mounting member A first movement measuring unit for measuring movement; and a second indicator mounted on the mounting member and used for performing a gesture provided in the second part or the second part different from the first part in the living body.
  • Such a wearable electronic device may be an electronic device for any purpose, but here, as an example, a member (head) for mounting the mounting member on the head with the first part as the head More specifically, the case where it is a so-called head mounted display (HMD) will be described below.
  • a member head for mounting the mounting member on the head with the first part as the head More specifically, the case where it is a so-called head mounted display (HMD) will be described below.
  • HMD head mounted display
  • FIG. 1 is a perspective view showing a structural configuration of a wearable electronic device according to an embodiment.
  • FIG. 2 is a front view illustrating a structural configuration of the wearable electronic device according to the embodiment.
  • FIG. 3 is a top view illustrating a structural configuration of the wearable electronic device according to the embodiment.
  • FIG. 4 is a schematic cross-sectional view illustrating a configuration of a display unit in the wearable electronic device of the embodiment.
  • FIG. 5 is a block diagram illustrating an electrical configuration of the wearable electronic device according to the embodiment.
  • FIG. 6 is a diagram illustrating a configuration of a proximity sensor as an example of a second motion measurement unit in the wearable electronic device of the embodiment.
  • the right side and the left side of the HMD 100 refer to the right side and the left side for the user wearing the HMD 100.
  • the direction from the right side to the left side is the XYZ orthogonal.
  • a coordinate system is set, and the X axis, Y axis, Z axis, X direction, Y direction, and Z direction are used as appropriate.
  • the HMD 100 includes a frame 101 that is an example of a head mounting member to be mounted on the head.
  • a frame 101 that is substantially U-shaped when viewed from above includes a front part 101a to which two spectacle lenses 102 are attached, and side parts 101b and 101c that extend rearward (Y direction) from both ends of the front part 101a.
  • the two spectacle lenses 102 attached to the frame 101 may or may not have refractive power (optical power, reciprocal of focal length).
  • the cylindrical main body 103 is fixed to the front part 101 a of the frame 101 at the upper part of the right eyeglass lens 102 (which may be the left side according to the user's dominant eye etc.).
  • the main body 103 is provided with a display unit 104.
  • a display control unit 104DR (see FIG. 5 described later) that controls display of the display unit 104 based on an instruction from the control processing unit 121 described later is disposed. Note that a display unit may be disposed in front of both eyes as necessary.
  • the display unit 104 includes an image forming unit 104A and an image display unit 104B.
  • the image forming unit 104A is incorporated in the main body unit 103, and includes a light source 104a, a one-way diffusing plate 104b, a condenser lens 104c, and a display element 104d.
  • the image display unit 104B which is a so-called see-through type display member, is disposed on the entire plate so as to extend downward from the main body unit 103 and extend in parallel to one eyeglass lens 102 (see FIG. 1).
  • the eyepiece prism 104f, the deflecting prism 104g, and the hologram optical element 104h is disposed on the entire plate so as to extend downward from the main body unit 103 and extend in parallel to one eyeglass lens 102 (see FIG. 1).
  • the light source 104a has a function of illuminating the display element 104d.
  • the peak wavelength of light intensity and the half width of the light intensity are 462 ⁇ 12 nm (blue light (B light)), 525 ⁇ 17 nm (green light (G light )), 635 ⁇ 11 nm (red light (R light)), and is composed of RGB integrated light emitting diodes (LEDs) that emit light in three wavelength bands.
  • the display element 104d displays an image by modulating the light emitted from the light source 104a in accordance with image data, and is configured by a transmissive liquid crystal display element having pixels that serve as light transmitting regions in a matrix. Is done. Note that the display element 104d may be of a reflective type.
  • the eyepiece prism 104f totally reflects the image light from the display element 104d incident through the base end face PL1 by the opposed parallel inner side face PL2 and outer side face PL3, and passes through the hologram optical element 104h to the user's pupil. On the other hand, it transmits external light and guides it to the user's pupil, and is formed of, for example, an acrylic resin together with the deflecting prism 104g.
  • the eyepiece prism 104f and the deflection prism 104g are joined by an adhesive with the hologram optical element 104h sandwiched between inclined surfaces PL4 and PL5 inclined with respect to the inner surface PL2 and the outer surface PL3.
  • the deflection prism 104g is joined to the eyepiece prism 104f, and becomes a substantially parallel flat plate integrated with the eyepiece prism 104f.
  • the spectacle lens 102 (refer FIG. 1) is mounted
  • the hologram optical element 104h diffracts and reflects the image light (light having a wavelength corresponding to the three primary colors) emitted from the display element 104d, guides it to the pupil B, enlarges the image displayed on the display element 104d, and enlarges the user's pupil. It is a volume phase type reflection hologram guided as a virtual image.
  • the hologram optical element 104h has, for example, three wavelength ranges of 465 ⁇ 5 nm (B light), 521 ⁇ 5 nm (G light), and 634 ⁇ 5 nm (R light) with a peak wavelength of diffraction efficiency and a wavelength width of half the diffraction efficiency. The light is diffracted (reflected).
  • the peak wavelength of diffraction efficiency is the wavelength at which the diffraction efficiency reaches a peak
  • the wavelength width at half maximum of the diffraction efficiency is the wavelength width at which the diffraction efficiency is at half maximum of the diffraction efficiency peak. is there.
  • the display unit 104 having such a configuration, light emitted from the light source 104a is diffused by the unidirectional diffusion plate 104b, condensed by the condenser lens 104c, and incident on the display element 104d.
  • the light incident on the display element 104d is modulated for each pixel based on the image data input from the display control unit 104DR, and is emitted as image light. Thereby, a color image is displayed on the display element 104d.
  • the image light from the display element 104d enters the eyepiece prism 104f from its base end face PL1, is totally reflected a plurality of times by the inner side face PL2 and the outer side face PL3, and enters the hologram optical element 104h.
  • the light incident on the hologram optical element 104h is reflected there, passes through the inner side surface PL2, and reaches the pupil B.
  • the user can observe an enlarged virtual image of the image displayed on the display element 104d, and can visually recognize it as a screen formed on the image display unit 104B.
  • the eyepiece prism 104f, the deflecting prism 104g, and the hologram optical element 104h transmit almost all of the external light, the user can observe the external image (real image) through these. Therefore, the virtual image of the image displayed on the display element 104d is observed so as to overlap with a part of the external image. In this way, the user of the HMD 100 can simultaneously observe the image provided from the display element 104d and the external image via the hologram optical element 104h.
  • the image display unit 104B is transparent and can observe only an external image.
  • the display unit is configured by combining a light source, a liquid crystal display element, and an optical system.
  • a self-luminous display element for example, an organic EL display
  • Element may be used.
  • a transmissive organic EL display panel having transparency in a non-light emitting state may be used.
  • a second motion measuring unit for example, a proximity sensor
  • the lens 106a and the illuminance sensor 107 disposed between the second motion measuring unit 105 and the lens 106a are provided so as to face forward. Accordingly, in the example shown in FIGS. 1 to 3, the measurement direction of the second motion measurement unit 105, the optical axis of the camera 106, and the measurement direction of the illuminance sensor 107 are the same.
  • the measurement direction of the second motion measuring unit 105, the optical axis of the camera 106, and the measurement direction of the illuminance sensor 107 are the same as the central axis of the detection range of the proximity sensor 105A, the optical axis of the camera 106, and the illuminance sensor 107.
  • a position where not only when the central axes of the measurement range are parallel, but also when the three axes are slightly crossed, an output with a tendency similar to that when the three axes are parallel is obtained from the three parties. The case where these are arranged in a relationship is also included.
  • the right sub-body portion 108-R is attached to the right side portion 101b of the frame 101
  • the left sub-body portion 108-L is attached to the left side portion 101c of the frame 101.
  • the right sub-main body portion 108-R and the left sub-main body portion 108-L have an elongated plate shape, and have elongated projections 108a-R and 108a-L, respectively, inside.
  • the right sub-main body portion 108-R By engaging the elongated protrusion 108a-R with the elongated hole 101d of the side portion 101b of the frame 101, the right sub-main body portion 108-R is attached to the frame 101 in a positioned state, and the elongated protrusion 108a-L is By engaging with the long hole 101e of the side portion 101c of the frame 101, the left sub-main body portion 108-L is attached to the frame 101 in a positioned state.
  • a geomagnetic sensor 109 (see FIG. 5) and a first motion measuring unit (for example, a gyroscope and an acceleration sensor) 110 (see FIG. 5) are arranged in the right sub-main body portion 108-R.
  • a speaker (or earphone) 111A and a microphone 111B are arranged in the left sub-main body portion 108-L.
  • the main main body 103 and the right sub main body 108-R are connected so as to be able to transmit signals through a wiring HS, and the main main body 103 and the left sub main body 108-L can transmit signals through a wiring (not shown). It is connected to the.
  • a wiring HS a wiring
  • the main main body 103 and the left sub main body 108-L can transmit signals through a wiring (not shown). It is connected to the.
  • the right sub-main body 108-R is connected to the control unit CTU via a cord CD extending from the rear end thereof.
  • the HMD 100 may be configured to be operated by voice based on an output signal generated from the microphone 111B according to the input voice.
  • the main main body 103 and the left sub main body 108 may be configured to be wirelessly connected.
  • the HMD 100 includes a control unit CTU, a camera 106, a geomagnetic sensor 109, a first motion measuring unit 110, a second motion measuring unit 105, a microphone 111B, an illuminance sensor 107, and an image forming unit 104A. And a display control unit 104DR and a speaker 111A.
  • the control unit CTU includes a control processing unit 121, an operation unit 122, a GPS reception unit 123, a communication unit 124, a storage unit 125, a battery 126, and a power supply circuit 127.
  • the camera 106 is an apparatus that is connected to the control processing unit 121 and generates an image of a subject under the control of the control processing unit 121.
  • the camera 106 is, for example, an image forming optical system that forms an optical image of a subject on a predetermined image forming surface, and a light receiving surface that matches the image forming surface.
  • An image sensor that converts the image sensor into a digital signal processor (DSP) that performs known image processing on the output of the image sensor to generate an image (image data).
  • DSP digital signal processor
  • the imaging optical system includes one or more lenses, and includes the lens 106a as one of them.
  • the camera 106 outputs the generated image data to the control processing unit 121.
  • the geomagnetic sensor 109 is a circuit that is connected to the control processing unit 121 and measures the front ( ⁇ Y direction) orientation in the HMD 100 by measuring the earth magnetism. The geomagnetic sensor 109 outputs the measured orientation to the control processing unit 121.
  • the first motion measuring unit 110 is connected to the control processing unit 121 and is a device for measuring the motion of the frame 101 which is an example of the head-mounted member.
  • the first motion measuring unit 110 is mounted on the frame 101.
  • the first motion measurement unit 110 outputs the measurement result to the control processing unit 121. More specifically, the first motion measurement unit 110 is, for example, a gyroscope and an acceleration sensor 110a, and is disposed in the right sub-main body unit 108-R as described above.
  • the gyroscope and acceleration sensor 110a is configured to determine the angular velocity of the roll around the X axis, the angular velocity of the pitch around the Y axis, the angular velocity of the yaw around the Z axis, the acceleration in the X direction, the acceleration in the Y direction, and the Z according to the posture of the frame 101. It is a circuit that measures each acceleration in the direction.
  • the gyro and acceleration sensor 110 a outputs the measured angular velocities and accelerations to the control processing unit 121. Note that the gyro and acceleration sensor 110a may be a six-axis sensor in which these are integrated.
  • the second movement measuring unit 105 is connected to the control processing unit 121, and is a second indicator for performing a second movement of a second part different from the first part or a gesture provided in the second part. It is a device for measuring movement.
  • the first part is the head of a living body
  • the second part in the living body is a part different from the head, for example, a hand or a finger.
  • the indicator provided in the second part of the living body is, for example, a rod-shaped member (for example, a pen or a pointing rod) gripped by a user's hand, or a rod-shaped member mounted on a user's finger or arm with a mounting member. These members.
  • the second motion measuring unit 105 further detects the presence / absence of the second part.
  • the second motion measuring unit 105 is mounted on the frame 101 which is an example of the head mounting member.
  • the second motion measuring unit 105 outputs the measurement result to the control processing unit 121. More specifically, the second motion measuring unit 105 is, for example, a proximity sensor 105a and is mounted on the main body 103 fixed to the front part 101a of the frame 101 as described above.
  • the “proximity sensor” refers to a proximity range in front of the detection surface of the proximity sensor in order to detect that an object, for example, a part of a human body (such as a hand or a finger) is close to the user's eyes.
  • the signal is output by detecting whether or not it exists within the detection area.
  • the proximity range may be set as appropriate according to the operator's characteristics and preferences. For example, the proximity range from the detection surface of the proximity sensor may be within a range of 200 mm. If the distance from the proximity sensor is within 200 mm, the user can easily put the palm and fingers into and out of the user's field of view with the arm bent, so that the user can easily operate with gestures using the hands and fingers. In addition, the possibility of erroneous detection of a human body or furniture other than the user is reduced.
  • a passive proximity sensor has a detection unit that detects invisible light and electromagnetic waves emitted from an object when the object approaches.
  • a passive proximity sensor there are a pyroelectric sensor that detects invisible light such as infrared rays emitted from an approaching human body, an electrostatic capacitance sensor that detects a change in electrostatic capacitance between the approaching human body, and the like.
  • the active proximity sensor includes an invisible light and sound wave projection unit, and a detection unit that receives the invisible light and sound wave reflected and returned from the object.
  • Active proximity sensors include infrared sensors that project infrared rays and receive infrared rays reflected by objects, laser sensors that project laser beams and receive laser beams reflected by objects, and project ultrasonic waves. Then, there is an ultrasonic sensor that receives ultrasonic waves reflected by an object. Note that a passive proximity sensor does not need to project energy toward an object, and thus has excellent low power consumption. An active proximity sensor is easy to improve the certainty of detection. For example, even when a user wears a glove that does not transmit detection light emitted from a human body such as infrared light, Can detect movement. A plurality of types of proximity sensors may be combined.
  • the proximity sensor 105a includes four pyroelectric elements RA, RB, RC, and RD arranged in 2 rows and 2 columns, and detects invisible light such as infrared light emitted from the human body. Light is received as light, and a corresponding signal is output from each pyroelectric element RA to RD.
  • the outputs of the pyroelectric elements RA to RD vary in intensity according to the distance from the light receiving surface of the proximity sensor 105a to the object, and the intensity increases as the distance decreases.
  • the proximity sensor 105a outputs each output of the pyroelectric elements RA to RD to the control processing unit 121.
  • the microphone 111B is a circuit that is connected to the control processing unit 121 and converts acoustic vibration of sound into an electric signal.
  • the microphone 111 ⁇ / b> B outputs the converted electric signal representing the external sound to the control processing unit 121.
  • the illuminance sensor 107 is a circuit that is connected to the control processing unit 121 and measures illuminance.
  • the illuminance sensor 107 outputs the measured illuminance to the control processing unit 121.
  • the illuminance sensor 107 is, for example, a photodiode that outputs a current having a magnitude corresponding to the light intensity of incident light by photoelectric conversion, and an IV conversion circuit that converts the current value of the photodiode into a voltage value.
  • the peripheral circuit is provided.
  • the display control unit 104DR is a circuit that is connected to the control processing unit 121 and causes the image forming unit 104A to form an image by controlling the image forming unit 104A according to the control of the control processing unit 121.
  • the image forming unit 104A is as described above.
  • the speaker 111 ⁇ / b> A is a circuit that is connected to the control processing unit 121 and generates and outputs a sound corresponding to an electric signal representing a sound according to the control of the control processing unit 121.
  • the operation unit 122 is connected to the control processing unit 121 and is a device that inputs a predetermined instruction, such as power on / off, to the HMD 100, for example, one or a plurality of switches assigned a predetermined function Etc.
  • the GPS receiving unit 123 is connected to the control processing unit 121, and is a device that measures the position of the HDM 100 by a satellite positioning system for measuring the current position on the earth according to the control of the control processing unit 121.
  • the result (latitude X, longitude Y, altitude Z) is output to the control processing unit 121.
  • the GPS receiving unit 123 may be a GPS having a correction function for correcting an error such as DGSP (Differential GSP).
  • the communication unit 124 is a circuit that is connected to the control processing unit 121 and inputs / outputs data to / from an external device according to the control of the control processing unit 121.
  • an RS232C interface circuit that is a serial communication method
  • Bluetooth An interface circuit using the (registered trademark) standard
  • an interface circuit performing infrared communication such as an IrDA (Infrared Data Association) standard
  • an interface circuit using the USB (Universal Serial Bus) standard Universal Serial Bus
  • the communication unit 124 is a communication card or the like that communicates by wire or wireless, and may communicate with an external device such as a server device via a communication network such as an Ethernet environment (Ethernet is a registered trademark). ). Such a communication unit 124 generates a communication signal containing data to be transferred input from the control processing unit 121 according to a communication protocol used in the communication network, and generates the generated communication signal via the communication network. To the external device. The communication unit 124 receives a communication signal from an external device via the communication network, extracts data from the received communication signal, and converts the extracted data into data in a format that can be processed by the control processing unit 121. Output to the control processing unit 121.
  • the communication unit 124 transmits and receives communication signals according to the Wi-Fi (Wireless Fidelity) standard, which is one of the wireless LAN standards, and Wi-Fi Module (communication card) compatible with IEEE802.11b / g / n. It is configured with.
  • Wi-Fi Wireless Fidelity
  • Wi-Fi Module communication card
  • the battery 126 is a battery that accumulates electric power and supplies the electric power.
  • the battery 126 may be a primary battery or a secondary battery.
  • the power supply circuit 127 is a circuit that supplies power supplied from the battery 126 to each part of the HMD 100 that requires power at a voltage corresponding to each part.
  • the storage unit 125 is a circuit that is connected to the control processing unit 121 and stores various predetermined programs and various predetermined data under the control of the control processing unit 121.
  • the various predetermined programs include a control program that controls each part of the HMD 100 according to the function of each part, and first and second measurement results measured by the first and second motion measuring units 110 and 105.
  • a control processing program such as a gesture processing program for recognizing a gesture by the second movement of the second part based on the above.
  • the various predetermined data includes data necessary for controlling the HMD 100.
  • the storage unit 125 includes, for example, a ROM (Read Only Memory) that is a nonvolatile storage element, an EEPROM (Electrically Erasable Programmable Read Only Memory) that is a rewritable nonvolatile storage element, and the like.
  • the storage unit 125 includes a RAM (Random Access Memory) that serves as a working memory of the control processing unit 121 that stores data generated during the execution of the predetermined program.
  • the control processing unit 121 controls each part of the HMD 100 according to the function of each part, and based on the first and second measurement results measured by the first and second motion measuring units 110 and 105, A gesture based on the second movement is recognized, and processing corresponding to the recognized gesture is executed.
  • the control processing unit 121 includes, for example, a CPU (Central Processing Unit) and its peripheral circuits.
  • a control processing program is executed, so that a control unit 1211, a gesture processing unit 1212, and a detection result utilization unit 1213 are functionally configured. Part or all of the control unit 1211, the gesture processing unit 1212, and the detection result utilization unit 1213 may be configured by hardware.
  • the control unit 1211 controls each unit of the HMD 100 according to the function of each unit.
  • the gesture processing unit 1212 recognizes a gesture caused by the second movement of the second part based on the first and second measurement results measured by the first and second movement measuring units 110 and 105. More specifically, in the present embodiment, the gesture processing unit 1212 includes the first measurement result of the gyroscope and the acceleration sensor 110a and a plurality of pyroelectric elements in the proximity sensor 105a. Based on each output of RD, a predetermined gesture set in advance by the second movement of the hand or fingers is determined. The gesture processing unit 1212 notifies the detection result utilization unit 1213 of the determination result (detection result).
  • the gesture processing unit 1212 determines the first motion measurement unit 110 (gyroscope and acceleration sensor 110a in this embodiment) from the second measurement result measured by the second motion measurement unit 105 (proximity sensor 105a in this embodiment).
  • the first movement component due to the first movement is removed based on the first measurement result measured in step, and the second portion of the second part is removed based on the second measurement result from which the first movement component is removed. Recognize movement gestures.
  • the gesture processing unit 1212 starts its operation when the second motion measuring unit 105 detects the presence of the second part. More specifically, in the present embodiment, the gesture processing unit 1212 starts its operation by switching to the active state when the second motion measuring unit 105 detects the presence of the second part from the sleep state. The gesture processing unit 1212 may start its operation by turning on the power supply when the second motion measurement unit 105 detects the presence of the second part from the state where the power supply is turned off.
  • the gesture processing unit 1212 is mounted not on the frame 101 but on the control unit CTU that is separate from the frame 101.
  • the detection result utilization unit 1213 executes predetermined processing based on the determination result of the gesture processing unit 1212. For example, when the determination result of the gesture processing unit 1212 is a so-called “flick”, the detection result using unit 1213 performs the second operation from the first image formed in the image forming unit 104A by the display control of the display control unit 104DR. Change the display to turn the page. Further, for example, when the determination result of the gesture processing unit 1212 is a so-called “slide”, the detection result using unit 1213 moves the image formed in the image forming unit 104A by the display control of the display control unit 104DR. Change the display to.
  • FIG. 7 is a front view when the wearable electronic device of the embodiment is mounted.
  • FIG. 8 is a side view and a partial top view when the wearable electronic device of the embodiment is mounted.
  • FIG. 8 also shows the hand HD of the user US.
  • 8A is a side view
  • FIG. 8B is a partial top view.
  • FIG. 9 is a diagram illustrating an example of an image visually recognized by the user through the see-through image display unit.
  • FIG. 10 is a diagram illustrating an example of the output of the proximity sensor in the wearable electronic device of the embodiment. 10A shows the output of the pyroelectric element RA,
  • FIG. 10B shows the output of the pyroelectric element RB, FIG.
  • FIG. 10C shows the output of the pyroelectric element RC
  • FIG. 10D shows the output of the pyroelectric element RD.
  • the horizontal axis of each figure in FIG. 10 is time, and the vertical axis thereof is intensity (output level).
  • the gesture operation is an operation in which at least the hand HD or the finger of the user US enters or leaves the detection area of the proximity sensor 105a, and the gesture processing unit 1212 of the control processing unit 121 of the HMD 100 via the proximity sensor 105a. Can be detected.
  • the screen 104i of the image display unit 104B is arranged so as to overlap the effective visual field EV of the user's eye facing the image display unit 104B (here, positioned in the effective visual field EV).
  • the detection area SA of the proximity sensor 105a is in the visual field of the user's eye facing the image display unit 104B.
  • the detection area SA is located within the stable field of view of the user's eye or the field inside thereof (within about 90 ° horizontal and within about 70 ° vertical), and more preferably located inside the stable field of view.
  • the proximity sensor 105a may be installed with its arrangement and orientation adjusted so as to overlap with the effective visual field EV or the inner visual field (horizontal within about 30 °, vertical within about 20 °).
  • FIG. 9 shows an example in which the detection area SA overlaps the screen 104i.
  • the detection area SA of the proximity sensor 105a by setting the detection area SA of the proximity sensor 105a within the visual field of the eye of the user US while the user US is wearing the frame 101 that is the head mounting member on the head, the screen While observing the hand HD through 104i, the approach and retraction of the hand to the detection area SA of the proximity sensor 105a can be reliably visually recognized without moving the eye.
  • the gesture operation can be performed reliably while recognizing the detection area SA even when the user observes the screen. .
  • the gesture operation can be performed more reliably. If the detection area SA overlaps the screen 104i, the gesture operation can be performed more reliably.
  • the proximity sensor 105a includes a plurality of pyroelectric elements RA to RD as in the present embodiment, the entire light receiving area of the plurality of pyroelectric elements RA to RD is regarded as one light receiving unit, and The maximum detection range shall be regarded as the detection area. As shown in FIG.
  • the control processing unit 121 When there is nothing in front of the user US when the proximity sensor 105a is operating, the proximity sensor 105a does not receive invisible light as detection light, so that the control processing unit 121 is performing a gesture.
  • the gesture processing unit 1212 is set in the sleep state.
  • the proximity sensor 105a detects invisible light radiated from the hand HD, and the proximity sensor 105a based on the invisible light is detected.
  • the control processing unit 121 determines that a gesture has been performed, and activates the gesture processing unit 1212.
  • a gesture is performed with the hand HD of the user US.
  • the gesture may be performed by the user US using an indicator made of a material capable of emitting invisible light. You may go.
  • the proximity sensor 105a has four pyroelectric elements RA to RD arranged in two rows and two columns (see FIG. 6). Therefore, when the user US brings the hand HD close to the front of the HMD 100 from either the left, right, up, or down directions, the output timings of signals detected by the pyroelectric elements RA to RD are different.
  • the invisible light emitted from the hand HD is applied to the proximity sensor 105a.
  • the pyroelectric elements RA and RC first receive invisible light. Therefore, as shown in FIG. 10, first, the signals of the pyroelectric elements RA and RC rise, and the signals of the pyroelectric elements RB and RD rise after a delay. Thereafter, the signals of the pyroelectric elements RA and RC fall, and the signals of the pyroelectric elements RB and RD fall after a delay (not shown).
  • the gesture processing unit 1212 detects the timing of this signal, and the gesture processing unit 1212 determines that the user US has made a gesture by moving the hand HD from right to left.
  • the gesture processing unit 1212 can determine that the user US has made a gesture by moving the hand HD from left to right.
  • the gesture processing unit 1212 can determine that the user US has made a gesture by moving the hand HD from above to below.
  • the gesture processing unit 1212 can determine that the user US has made a gesture by moving the hand HD from the bottom to the top.
  • the gesture processing unit 1212 performs the gesture in which the user US moves the hand HD from the upper right to the lower left. Can be judged.
  • the gesture processing unit 1212 performs a gesture in which the user US moves the hand HD from the upper left to the lower right. Can be determined.
  • the gesture processing unit 1212 has performed the gesture in which the user US moves the hand HD from the lower left to the upper right. Can be judged.
  • the gesture processing unit 1212 performs a gesture in which the user US moves the hand HD from the lower right to the upper left. Can be determined.
  • FIG. 11 is a flowchart illustrating gesture detection processing (main routine) in the wearable electronic device according to the embodiment.
  • FIG. 12 is a flowchart illustrating a gesture determination process (subroutine) in the gesture detection process of the wearable electronic device according to the embodiment.
  • the gesture processing unit 1212 uses the hand or finger, which is an example of the second part, according to the basic principle described above.
  • the gesture by can be detected.
  • the proximity sensor 105a is disposed on the main body 103 of the frame 101, which is an example of a head mounting part, when the head, which is an example of the first part, is moved, only the basic principle described above is used. It is difficult for the gesture processing unit 1212 to detect the gesture correctly only based on the processing based on it. For example, even when the hand or finger is stationary, if the user swings the gesture, the gesture processing unit 1212 may detect a gesture with the hand or finger and make a misjudgment. .
  • the HMD 100 operates as follows.
  • the control unit 1211 samples the output of the proximity sensor 105a (each output of each current collecting element RA to RD) at a predetermined sampling interval (for example, 10 ms, 20 ms, or 30 ms).
  • a predetermined sampling interval for example, 10 ms, 20 ms, or 30 ms.
  • the first threshold th1 is a value set to avoid erroneous determination due to noise.
  • the control unit 1211 also samples the outputs of the gyroscope and the acceleration sensor 110a at the timing of sampling the output of the proximity sensor 105a.
  • the control unit 1211 also samples the outputs of the gyroscope and the acceleration sensor 110a at the timing of sampling the output of the proximity sensor 105a.
  • the control unit 1211 returns the process to the process S11 and executes the process S11 at the next sampling timing.
  • the control unit 1211 activates the gesture processing unit 1212 when the gesture processing unit 1212 is in the sleep state, and operates the gesture determination processing.
  • the gesture is provisionally determined (S12).
  • the gesture processing unit 1212 first determines the rising timing and falling timing of each output of the plurality of pyroelectric elements RA to RD in the proximity sensor 105a (S21).
  • the gesture processing unit 1212 determines whether or not a gesture can be determined (S22). As described above, the gesture is determined based on each rising timing and each falling timing of each signal output from each of the pyroelectric elements RA to RD in the proximity sensor 105a. In executing the process, the gesture cannot be determined. Therefore, whether or not the gesture processing unit 1212 can tentatively determine a gesture by combining the current processing result and a plurality of past processing results such as the previous processing result and the previous processing result in the current processing. Judging.
  • the gesture processing unit 1212 acquires the output of the proximity sensor 105a (each output of each current collector RA to RD) at the next sampling timing (S23). Is returned to step S21.
  • the gesture processing unit 1212 ends the determination process of the gesture shown in FIG. 12 as the temporarily determined gesture, and performs the process S13 of FIG. Execute.
  • the gesture processing unit 1212 determines whether the output of the gyroscope and the acceleration sensor 110a exceeds a predetermined threshold value (second threshold value) th2 or not.
  • a predetermined threshold value (second threshold value) th2 or not.
  • the second threshold th2 is a value set to avoid erroneous determination due to noise.
  • the processing unit 1212 determines (mainly determines) a gesture with the tentatively determined gesture (S15), and then executes processing S16.
  • the gesture processing unit 1212 corrects the tentatively determined gesture and finally determines (mainly determines) the gesture (S14). Then, the process S16 is executed.
  • the gesture processing unit 1212 obtains the temporarily determined speed vector (speed in the X direction, speed in the Z direction) of the gesture.
  • the output of the pyroelectric elements RA to RD is sampled at a predetermined sampling interval as described above, and the size (horizontal length (length in the X direction), vertical length (length in the Z direction) of each pyroelectric element RA to RD. , Diagonal length) can be measured in advance. Therefore, the sizes of the pyroelectric elements RA to RD are measured in advance and stored in the storage unit 125, and the sizes of the pyroelectric elements RA to RD are changed from the rising timing to the falling timing according to the tentatively determined gesture. By dividing by the time, the velocity vector is obtained.
  • the gesture processing unit 1212 determines whether the pyroelectric element RA or the pyroelectric element is based on the sampling interval. The time from the rise timing of the signal in RC to the fall timing is obtained, and the horizontal length of the pyroelectric element RA or the pyroelectric element RC is divided by the obtained time, whereby the speed in the X direction of the tentatively determined gesture is obtained. Ask. In the gesture of moving the hand HD from right to left, the speed in the Z direction is zero. Therefore, the velocity vector in the gesture of the tentatively determined gesture moving from right to left of the hand HD is obtained as (X-direction velocity, 0).
  • the time from the rising timing to the falling timing may be obtained by multiplying the number of samplings from the rising timing to the falling timing by a sampling interval, but a timer corresponding to each pyroelectric element RA to RD. May be functionally provided in the control processing unit 121, restarting the timer at the rise timing, and measuring the time until the fall timing with the timer.
  • the gesture processing unit 1212 obtains the first time from the rising timing of the signal in the pyroelectric element RA or the pyroelectric element RC to the falling timing based on the sampling interval, and the obtained first time.
  • a first speed first speed in the X direction
  • the second time from the rising timing of the signal in the pyroelectric element RD to the falling timing is obtained, and the second horizontal length in the pyroelectric element RB or pyroelectric element RD is divided by the obtained second time, 2 speeds (second speed in the X direction) are obtained, an average speed of the first and second speeds is obtained, and the obtained average speed is calculated as the temporary speed.
  • the gesture processing unit 1212 may obtain and average each corresponding speed for each pyroelectric element RA to RD, and this average speed may be used as the speed in the X direction of the tentatively determined gesture. The same applies to the following cases.
  • the velocity vector in the case where the tentatively determined gesture is a gesture of moving the hand HD from left to right is the same as that in the case where the tentatively determined gesture is the gesture of moving the hand HD from right to left. ( ⁇ X direction velocity, 0).
  • the gesture processing unit 1212 determines the signal rise timing in the pyroelectric element RA or the pyroelectric element RB based on the sampling interval. The time from the first to the fall timing is obtained, and the vertical length of the pyroelectric element RA or pyroelectric element RB is divided by the obtained time to obtain the speed in the ⁇ Z direction of the tentatively determined gesture.
  • the velocity in the X direction is zero. Therefore, the velocity vector in the gesture of the tentatively determined gesture moving from the top to the bottom of the hand HD is obtained as (speed in the 0, ⁇ Z direction).
  • the velocity vector in the case where the tentatively determined gesture is a movement gesture from the bottom to the top of the hand HD is the same as that in the case where the tentatively determined gesture is a movement gesture from the top to the bottom of the hand HD described above. (0, velocity in the Z direction).
  • the gesture processing unit 1212 determines the rise timing of the signal in the pyroelectric element RA or the pyroelectric element RD based on the sampling interval. Is calculated from the upper right to the lower left of the tentatively determined gesture by dividing the diagonal length of the pyroelectric element RA or the pyroelectric element RD by the obtained time. Ask. By dividing the obtained velocity in the direction from the upper right to the lower left into the respective components of the velocity in the X direction and the velocity in the Z direction based on the aspect ratio of the pyroelectric element RA or the aspect ratio of the pyroelectric element RD. The velocity vector in the gesture of the tentatively determined gesture moving from the upper right to the lower left of the hand HD is obtained as (velocity in the X direction, velocity in the Z direction).
  • a velocity vector in the case where the tentatively determined gesture is a movement gesture from the upper left to the lower right of the hand HD a velocity vector in a case where the tentatively determined gesture is a movement gesture from the lower left to the upper right of the hand HD
  • Each of the velocity vectors in the case where the tentatively determined gesture is a gesture of moving the hand HD from the lower right to the upper left is the above-described velocity vector which is the gesture of moving the hand HD from the upper right to the lower left. It is required in the same way as the case.
  • the gesture processing unit 1212 obtains a velocity vector in the first movement of the head, which is an example of the first part, from the acceleration in the X direction and the acceleration in the Z direction of the gyroscope and the acceleration sensor 110a.
  • a plurality of outputs are acquired from the gyro and the acceleration sensor 110a until the gesture is provisionally determined.
  • the average value of each of the plurality of outputs is used as the acceleration in the X direction and the acceleration in the Z direction of the gyroscope and the acceleration sensor 110a in the above-described processing.
  • an output acquired at the center timing among the plurality of outputs arranged in time series is used as the acceleration in the X direction and the acceleration in the Z direction of the gyroscope and the acceleration sensor 110a in the above-described processing.
  • the gesture processing unit 1212 subtracts the velocity vector in the first movement of the head from the velocity vector in the tentatively determined gesture, and the velocity in the second movement of the hand HD that is an example of the second part. Find a vector. Then, the gesture processing unit 1212 finally determines (mainly determines) a gesture with a gesture corresponding to the obtained velocity vector. Thereby, the temporarily determined gesture is corrected, and the gesture is finally determined (mainly determined).
  • the process HD is repeated from the lower right to the upper left of the hand HD by the process S12 (repetitive processes of the processes S21 to S23). Is temporarily determined as a movement gesture. Then, in step S13 and step S14, a velocity vector in the case of the tentatively determined movement of the hand HD from the lower right to the upper left is obtained, and the head obtained from the gyro and the acceleration sensor 110a is obtained from this velocity vector. The velocity vector of the part HD is subtracted to obtain the velocity vector of the hand HD.
  • the velocity vector of the hand HD In the velocity vector of the hand HD, the velocity component due to the movement from the top to the bottom of the head is removed, and the velocity in the Z direction becomes substantially zero. Therefore, the tentatively determined gesture of moving the hand HD from the lower right to the upper left is corrected to the gesture of moving the hand HD from the right to the left and finally determined.
  • step S16 the gesture processing unit 1212 notifies the finally determined gesture to the detection result utilization unit 1213.
  • the control unit 1211 samples the output of the proximity sensor 105a (each output of each of the current collecting elements RA to RD) at the next sampling timing, and the output of the proximity sensor 105a is the first output as in the process S11.
  • the threshold value th1 is exceeded, the presence or absence of the second part, in this example, the hand HD is determined (S17).
  • the control unit 1211 sets the gesture processing unit 1212 to the sleep state and returns the processing to the processing S11.
  • Process S11 is executed at the timing of sampling.
  • the control unit 1211 if the output of the proximity sensor 105a exceeds the first threshold th1 (Yes), that is, the output of any of the current collecting elements RA to RD in the proximity sensor 105a is When the first threshold value th1 is exceeded (Yes), the control unit 1211 returns the process to the process S12 and executes the next gesture determination process.
  • the detection result utilization unit 1213 executes a predetermined process based on the determination result of the gesture processing unit 1212. For example, when the determination result of the gesture processing unit 1212 is a so-called “flick”, the detection result using unit 1213 performs the second operation from the first image formed in the image forming unit 104A by the display control of the display control unit 104DR. Change the display to turn the page.
  • the HMD 100 as an example of the wearable electronic device in this embodiment and the gesture detection method implemented in the HMD 100 are measured by the second motion measurement unit 110 (the gyro and the acceleration sensor 110a in this embodiment).
  • the gesture by the second movement of the second part is performed. Since it recognizes, even if a mounting
  • the gesture processing unit 1212 does not operate until the second motion measurement unit 105 detects the presence of the second part (gesture processing). Since the unit 1212 is stopped), power can be saved.
  • the gesture processing unit 1212 is mounted on a control unit CTU that is separate from the frame 101 that is an example of a head-mounted member. Therefore, by mounting the minimum necessary configuration on the head mounting member, the head mounting member can be reduced in size and weight, and the mounting feeling such as discomfort and annoyance due to the mounting of the head mounting member can be reduced. it can.
  • the HMD 100 is based on the first measurement result obtained by measuring the predetermined motion in the living body by the first motion measuring unit 110 functionally in the control processing unit 121 as indicated by a broken line in FIG.
  • the gesture processing unit 1212 further includes a motion detection processing unit 1214 that detects the predetermined motion based on the second measurement result measured by the second motion measurement unit 105 when the motion detection processing unit 1214 detects the predetermined motion. Then, the gesture by the second movement of the second part may be recognized. According to this, when the living body performs a predetermined operation (for example, walking) excluding the movement (for example, swinging) of the first part, the gesture can be recognized without considering the predetermined movement.
  • a predetermined operation for example, walking
  • the movement for example, swinging
  • a measurement result measured by the first motion measurement unit 110 (in this embodiment, the gyroscope and the acceleration sensor 110a) when the living body performs the predetermined operation, for example, walking, is obtained in advance.
  • the obtained measurement result is stored in advance in the storage unit 125 as a signal pattern corresponding to the predetermined operation.
  • the motion detection processing unit 1214 correlates the first measurement result measured by the first motion measurement unit 110 with the signal pattern stored in the storage unit 125 within a predetermined range. It is determined whether or not the living body is performing the predetermined operation.
  • the gesture processing unit 1212 When the motion detection processing unit 1214 determines that the living body is performing the predetermined motion, the gesture processing unit 1212 performs measurement by the second motion measurement unit 105 (proximity sensor 105a in the present embodiment). Based on the measurement result, the gesture by the second movement of the second part (in the present embodiment, the hand HD) is recognized. Note that the motion detection processing unit 1214 may be configured by hardware.
  • the gesture processing unit 1212 receives the first motion measurement unit 110 (the gyro and acceleration sensor 110a in the present embodiment) when the output exceeds a predetermined threshold (third threshold) th3.
  • the output of the two-motion measuring unit 105 (proximity sensor 105a in this embodiment) may be canceled and the gesture temporary determination process may be performed again.
  • the first motion measurement unit 110 is the gyro and the acceleration sensor 110a, but is not limited thereto.
  • the first motion measuring unit 110 includes an acceleration sensor that measures acceleration, an angular velocity sensor that measures angular velocity, a speed sensor that measures velocity, a vibration sensor that measures vibration, an inclinometer that measures inclination, and a geomagnetic sensor that measures orientation. One or more of them may be provided.
  • a wearable electronic device is mounted on a mounting member for mounting on a first part in a living body, a first movement measuring unit for measuring a first movement of the mounting member, and the mounting member, A second movement measuring unit for measuring a second movement of an indicator for performing a gesture provided in the second part or the second part different from the first part in the living body; and the first and first A gesture processing unit for recognizing a gesture based on the second movement based on the first and second measurement results measured by the two-motion measurement unit.
  • the first motion measurement unit is one of an acceleration sensor that measures acceleration, an angular velocity sensor that measures angular velocity, a speed sensor that measures velocity, and a vibration sensor that measures vibration.
  • the second motion measuring unit includes a passive sensor including a plurality of pyroelectric elements arranged in a two-dimensional matrix.
  • the second motion measuring unit includes an active sensor including an infrared light source that emits infrared light and a plurality of pyroelectric elements arranged in a two-dimensional matrix. Configured.
  • the gesture processing unit is configured to determine the first measurement result based on the first measurement result measured by the first motion measurement unit from the second measurement result measured by the second motion measurement unit.
  • a first movement component due to one movement is removed, and gesture recognition based on the second movement of the second part is recognized based on the second measurement result from which the first movement component has been removed.
  • the gesture processing unit temporarily determines a gesture by the indicator provided in the second part of the living body or the second part based on the second measurement result, Based on the tentatively determined gesture and the first measurement result, the gesture by the second movement of the indicator provided in the second part or the second part of the living body is recognized.
  • the gesture processing unit modifies the gesture provisionally determined based on the second measurement result based on the first measurement result, and performs the gesture based on the second movement. recognize.
  • the gesture processing unit obtains the velocity vector of the first part and the velocity vector of the second part, and the velocity vector of the first part from the velocity vector of the second part. By subtracting, the gesture by the second movement is recognized.
  • Such a wearable electronic device is based on the second movement of the second part in consideration of not only the second measurement result measured by the second movement measurement unit but also the first measurement result measured by the first movement measurement unit. Since the gesture is recognized, the gesture can be detected even if the wearing part moves.
  • the above-described wearable electronic device further includes an operation detection processing unit that detects a predetermined operation in the living body based on a first measurement result measured by the first motion measurement unit, and the gesture
  • the processing unit detects the predetermined motion
  • the processing unit is provided in the second part or the second part based on the second measurement result measured by the second motion measurement unit. And recognizing a gesture caused by the second movement of the indicator.
  • Such a wearable electronic device can recognize a gesture without considering the predetermined movement when the living body performs a predetermined movement (for example, walking) other than the movement of the first part (for example, swinging). .
  • the gesture processing unit cancels the tentatively determined gesture when the first measurement result exceeds a predetermined threshold.
  • the second motion measuring unit further detects the presence or absence of the second part
  • the gesture processing unit is configured such that the second motion measuring unit is the second part.
  • the operation is started when the presence of the is detected.
  • the gesture processing unit performs the operation by turning on the power supply when the second motion measurement unit detects the presence of the second part from a state in which the power supply is turned off. Start.
  • the gesture processing unit starts its operation by changing to an active state when the second motion measuring unit detects the presence of the second part from a sleep state.
  • Such a wearable electronic device can save power because the gesture processing unit does not operate until the second motion measurement unit detects the presence of the second part (because the gesture processing unit is paused).
  • the gesture processing unit is mounted on a member separate from the mounting member.
  • Such a wearable electronic device can reduce the size of the mounting member by mounting the minimum necessary configuration on the mounting member, and can reduce a feeling of discomfort or annoyance due to mounting of the mounting member.
  • the mounting member is a member for mounting on the head with the first part as the head.
  • a wearable electronic device to be worn on the head can be provided, and even if such a wearable electronic device has a first movement such as a swing, for example, a gesture of a second movement by, for example, a hand or fingers. Can be detected.
  • a first movement such as a swing, for example, a gesture of a second movement by, for example, a hand or fingers.
  • a gesture detection method for a wearable electronic device is a gesture detection method for a wearable electronic device that is attached to a first part of a living body by a mounting member, and the first movement of the mounting member is measured.
  • the first measurement result is acquired, and the second measurement result is measured by measuring the second movement of the indicator for performing the gesture provided in the second part or the second part different from the first part in the living body. Acquiring and recognizing a gesture by the second movement based on the first and second measurement results.
  • a gesture based on the second part of the living body or an indicator provided in the second part is provisionally determined based on the second measurement result, and the provisional determination is performed.
  • the gesture by the second movement of the indicator provided in the second part or the second part of the living body is recognized.
  • the gesture temporarily determined based on the second measurement result is modified based on the first measurement result, and the gesture caused by the second movement is recognized.
  • the second measurement result is further detected when the predetermined action in the living body is detected based on the first measurement result and the predetermined action is detected. Based on the above, the gesture by the second movement is recognized.
  • Such a wearable electronic device gesture detection method takes into account not only the second measurement result measured in the second motion measurement step but also the first measurement result measured in the first motion measurement step, and the second portion of the second part. Since the gesture by two movements is recognized, even if the wearing part moves, the gesture can be detected.
  • the gesture detection method of a wearable electronic device and wearable electronic device can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明のウェアラブル電子機器およびそのジェスチャー検知方法では、生体における第１部位に装着される装着部材の第１の動きが測定され、前記装着部材に搭載され、前記生体における前記第１部位と異なる第２部位または前記第２部位に設けられた指示体の第２の動きが測定され、これら第１および第２測定結果に基づいて、前記第２部位または前記指示体の前記第２の動きによるジェスチャーが認識される。

Description

ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
　本発明は、身に付けることができるウェアラブル電子機器に関し、特に、所定のジェスチャーを認識できるウェアラブル電子機器に関する。そして、本発明は、ウェアラブル電子機器のジェスチャー検知方法に関する。
　近年、急速に発達した例えばスマートフォン（多機能型携帯電話機）等の携帯端末装置では、一般に、タッチパネルが備えられ、ユーザは、例えば所望の画像を表示させたり、情報を入力したりする等のために、その必要な入力操作を、前記タッチパネルを用いて行っている。しかしながら、例えば、ユーザの手が濡れていたり、汚れていたりする場合等のように、前記タッチパネルにタッチせずに前記入力操作を行いたい場合がある。このため、意思伝達手段の１つの身振りや手振りであるジェスチャーによって前記入力操作を行うことができる機器が研究、開発されており、例えば、特許文献１に開示された技術がある。
　この特許文献１に開示された移動コンピューティングデバイスは、赤外線（ＩＲ）発光ダイオード（ＬＥＤ）とＩＲ近接センサとを備える、３次元のユーザの動きに関連するデータを取得するように構成されているセンサシステムと、前記センサシステムに通信可能に結合され、前記センサシステムにより取得された前記３次元のユーザの動きに関連するデータの明瞭度と、前記３次元のユーザの動きに関する正しい入力ジェスチャー識別の確率とを示す、前記デバイスのプロパティを識別し、前記デバイスのプロパティに基づいて、前記センサシステムの前記ＩＲ ＬＥＤまたは前記ＩＲ近接センサのうちの少なくとも１つの電力消費を規制するように構成されているセンサ制御装置モジュールとを具備する。
　ところで、前記特許文献１に開示された前記センサシステムは、前記ＩＲ近接センサが静止していることを前提に、前記ＩＲ近接センサによって、前記ＩＲ近接センサに対する３次元のユーザの動き、すなわちジェスチャーに関連するデータを取得している。このため、前記ＩＲ近接センサが動いてしまうと、前記ＩＲ近接センサによってジェスチャーを検知することが難しい。
特表２０１３－５３４００９号公報
　本発明は、上述の事情に鑑みて為された発明であり、その目的は、装着部位が動いたとしてもジェスチャーの検知が可能なウェアラブル電子機器、および、前記ウェアラブル電子機器のジェスチャー検知方法を提供することである。
　本発明にかかるウェアラブル電子機器およびそのジェスチャー検知方法では、生体における第１部位に装着される装着部材の第１の動きが測定され、前記装着部材に搭載され、前記生体における前記第１部位と異なる第２部位または前記第２部位に設けられた指示体の第２の動きが測定され、これら第１および第２測定結果に基づいて、前記第２部位または前記指示体の前記第２の動きによるジェスチャーが認識される。したがって、本発明にかかるウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法は、装着部位が動いたとしてもジェスチャーの検知が可能となる。
　上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
実施形態におけるウェアラブル電子機器の構造的な構成を示す斜視図である。 前記ウェアラブル電子機器の構造的な構成を示す正面図である。 前記ウェアラブル電子機器の構造的な構成を示す上面図である。 前記ウェアラブル電子機器におけるディスプレイユニットの構成を示す概略断面図である。 前記ウェアラブル電子機器の電気的な構成を示すブロック図である。 前記ウェアラブル電子機器における第２動き測定部の一例としての近接センサの構成を示す図である。 前記ウェアラブル電子機器を装着した場合の正面図である。 前記ウェアラブル電子機器を装着した場合の側面図および部分上面図である。 シースルー型の画像表示部を通してユーザが視認する像の一例を示す図である。 前記ウェアラブル電子機器における第２動き測定部の一例としての近接センサの出力の一例を示す図である。 前記ウェアラブル電子機器におけるジェスチャー検知処理（メインルーチン）を示すフローチャートである。 前記ウェアラブル電子機器の前記ジェスチャー検知処理におけるジェスチャー判定処理（サブルーチン）を示すフローチャートである。
　以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
　本実施形態におけるウェアラブル電子機器は、身に付けることができ、所定のジェスチャーを検知できる電子機器であり、生体における所定の第１部位に装着するための装着部材と、前記装着部材の第１の動きを測定する第１動き測定部と、前記装着部材に搭載され、前記生体における前記第１部位と異なる第２部位または前記第２部位に設けられたジェスチャーを行うための指示体の第２の動きを測定する第２動き測定部と、前記第１および第２動き測定部で測定した第１および第２測定結果に基づいて、前記第２動きによるジェスチャーを認識するジェスチャー処理部とを備える。このようなウェアラブル電子機器は、任意の用途の電子機器であって良いが、ここでは、一例として、前記装着部材が前記第１部位を頭部として前記頭部に装着するための部材（頭部装着部材）であって、いわゆるヘッドマウントディスプレイ（ＨＭＤ）である場合について、より具体的に、以下に、説明する。
　図１は、実施形態におけるウェアラブル電子機器の構造的な構成を示す斜視図である。図２は、実施形態におけるウェアラブル電子機器の構造的な構成を示す正面図である。図３は、実施形態におけるウェアラブル電子機器の構造的な構成を示す上面図である。図４は、実施形態のウェアラブル電子機器におけるディスプレイユニットの構成を示す概略断面図である。図５は、実施形態におけるウェアラブル電子機器の電気的な構成を示すブロック図である。図６は、実施形態のウェアラブル電子機器における第２動き測定部の一例としての近接センサの構成を示す図である。以下、ＨＭＤ１００の右側および左側とは、ＨＭＤ１００を装着したユーザにとっての右側および左側をいうものとし、図１および図２に示すように、前記右側から前記左側に向かう方向をＸ方向としたＸＹＺ直交座標系が設定され、適宜、Ｘ軸、Ｙ軸、Ｚ軸、Ｘ方向、Ｙ方向およびＺ方向が用いられる。
　まず、ＨＭＤ１００の構造的な構成について説明する。図１ないし図３に示すように、本実施形態におけるＨＭＤ１００は、頭部に装着するための頭部装着部材の一例であるフレーム１０１を備える。上方から見て略コ字状であるフレーム１０１は、２つの眼鏡レンズ１０２を取り付ける前方部１０１ａと、前方部１０１ａの両端から後方（Ｙ方向）へと延在する側部１０１ｂ、１０１ｃとを備える。フレーム１０１に取り付けられた２つの眼鏡レンズ１０２は、屈折力（光学的パワー、焦点距離の逆数）を有して良く、また、有しなくて良い。
　右側（ユーザーの利き目等に応じて左側でもよい）の眼鏡レンズ１０２の上部において、円筒状の主本体部１０３がフレーム１０１の前方部１０１ａに固定されている。主本体部１０３にはディスプレイユニット１０４が設けられている。主本体部１０３内には、後述する制御処理部１２１からの指示に基づいてディスプレイユニット１０４の表示制御を司る表示制御部１０４ＤＲ（後述する図５を参照）が配置されている。なお、必要に応じて両眼の前にそれぞれディスプレイユニットが配置されてもよい。
　図４において、ディスプレイユニット１０４は、画像形成部１０４Ａと画像表示部１０４Ｂとを備えて構成される。画像形成部１０４Ａは、主本体部１０３内に組み込まれており、光源１０４ａと、一方向拡散板１０４ｂと、集光レンズ１０４ｃと、表示素子１０４ｄとを備える。一方、いわゆるシースルー型の表示部材である画像表示部１０４Ｂは、主本体部１０３から下方に向かい、片方の眼鏡レンズ１０２（図１参照）に平行に延在するように配置された全体的に板状であって、接眼プリズム１０４ｆと、偏向プリズム１０４ｇと、ホログラム光学素子１０４ｈとを有している。
　光源１０４ａは、表示素子１０４ｄを照明する機能を有し、例えば光強度のピーク波長および光強度半値の波長幅で４６２±１２ｎｍ（青色光（Ｂ光））、５２５±１７ｎｍ（緑色光（Ｇ光））、６３５±１１ｎｍ（赤色光（Ｒ光））となる３つの波長帯域の光を発するＲＧＢ一体型の発光ダイオード（ＬＥＤ）で構成されている。
　表示素子１０４ｄは、光源１０４ａからの出射光を画像データに応じて変調して画像を表示するものであり、光が透過する領域となる各画素をマトリクス状に有する透過型の液晶表示素子で構成される。なお、表示素子１０４ｄは、反射型であってもよい。
　接眼プリズム１０４ｆは、基端面ＰＬ１を介して入射する表示素子１０４ｄからの画像光を、相対する平行な内側面ＰＬ２と外側面ＰＬ３とで全反射させ、ホログラム光学素子１０４ｈを介してユーザの瞳に導く一方、外光を透過させてユーザの瞳に導くものであり、偏向プリズム１０４ｇとともに、例えばアクリル系樹脂で形成されている。この接眼プリズム１０４ｆと偏向プリズム１０４ｇとは、内側面ＰＬ２および外側面ＰＬ３に対して傾斜した傾斜面ＰＬ４、ＰＬ５でホログラム光学素子１０４ｈを挟み、接着剤で接合される。
　偏向プリズム１０４ｇは、接眼プリズム１０４ｆに接合されて、接眼プリズム１０４ｆと一体となって略平行平板となるものである。なお、ディスプレイユニット１０４とユーザの瞳の間に眼鏡レンズ１０２（図１参照）を装着すると、通常眼鏡を使用しているユーザでも画像を観察することが可能である。
　ホログラム光学素子１０４ｈは、表示素子１０４ｄから出射される画像光（３原色に対応した波長の光）を回折反射して瞳孔Ｂに導き、表示素子１０４ｄに表示される画像を拡大してユーザの瞳に虚像として導く体積位相型の反射型ホログラムである。このホログラム光学素子１０４ｈは、例えば、回折効率のピーク波長および回折効率半値の波長幅で４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させるように作製されている。ここで、回折効率のピーク波長は、回折効率がピークとなるときの波長のことであり、回折効率半値の波長幅とは、回折効率が回折効率ピークの半値となるときの波長幅のことである。
　このような構成のディスプレイユニット１０４では、光源１０４ａから出射された光は、一方向拡散板１０４ｂにて拡散され、集光レンズ１０４ｃにて集光されて表示素子１０４ｄに入射する。表示素子１０４ｄに入射した光は、表示制御部１０４ＤＲから入力された画像データに基づいて画素ごとに変調され、画像光として出射される。これにより、表示素子１０４ｄには、カラー画像が表示される。表示素子１０４ｄからの画像光は、接眼プリズム１０４ｆの内部にその基端面ＰＬ１から入射し、内側面ＰＬ２と外側面ＰＬ３で複数回全反射されて、ホログラム光学素子１０４ｈに入射する。ホログラム光学素子１０４ｈに入射した光は、そこで反射され、内側面ＰＬ２を透過して瞳孔Ｂに達する。瞳孔Ｂの位置では、ユーザは、表示素子１０４ｄに表示された画像の拡大虚像を観察することができ、画像表示部１０４Ｂに形成される画面として視認することができる。
　一方、接眼プリズム１０４ｆ、偏向プリズム１０４ｇおよびホログラム光学素子１０４ｈは、外光をほとんど全て透過させるので、ユーザはこれらを介して外界像（実像）を観察できる。したがって、表示素子１０４ｄに表示された画像の虚像は、外界像の一部に重なって観察されることになる。このようにして、ＨＭＤ１００のユーザは、ホログラム光学素子１０４ｈを介して、表示素子１０４ｄから提供される画像と外界像とを同時に観察できる。なお、ディスプレイユニット１０４が非表示状態の場合、画像表示部１０４Ｂは、素通しとなり、外界像のみを観察できる。なお、本実施形態では、光源と液晶表示素子と光学系とを組み合わせてディスプレイユニットが構成されているが、光源と液晶表示素子の組合せに代え、自発光型の表示素子（例えば、有機ＥＬ表示素子）が用いられても良い。また、光源と液晶表示素子と光学系の組合せに代えて、非発光状態で透過性を有する透過型有機ＥＬ表示パネルが用いられてもよい。
　図１ないし図３に戻って、主本体部１０３の正面には、フレーム１０１の中央寄りに配置された第２動き測定部（例えば近接センサ等）１０５と、側部寄りに配置されたカメラ１０６のレンズ１０６ａと、これら第２動き測定部１０５とレンズ１０６ａとの間に配置された照度センサ１０７とが、前方を向くようにして設けられている。したがって、この図１ないし図３に示す例では、第２動き測定部１０５の測定方向、カメラ１０６の光軸および照度センサ１０７の測定方向とは、互いに同じ方向となっている。ここで、第２動き測定部１０５の測定方向、カメラ１０６の光軸および照度センサ１０７の測定方向が同じ方向とは、近接センサ１０５Ａの検知範囲の中心軸、カメラ１０６の光軸、照度センサ１０７の測定範囲の中心軸が平行である場合だけでなく、３つの軸が若干交差していても、上記３つの軸が平行である場合と類似した傾向の出力が三者から得られるような位置関係でこれらが配置されている場合も含まれる。
　フレーム１０１の右側の側部１０１ｂには、右副本体部１０８－Ｒが取り付けられ、フレーム１０１の左側の側部１０１ｃには、左副本体部１０８－Ｌが取り付けられている。右副本体部１０８－Ｒおよび左副本体部１０８－Ｌは、細長い板形状を有しており、それぞれ内側に細長い突起１０８ａ－Ｒ、１０８ａ－Ｌを有している。この細長い突起１０８ａ－Ｒをフレーム１０１の側部１０１ｂの長孔１０１ｄに係合させることで、右副本体部１０８－Ｒは、位置決めされた状態でフレーム１０１に取り付けられ、細長い突起１０８ａ－Ｌをフレーム１０１の側部１０１ｃの長孔１０１ｅに係合させることで、左副本体部１０８－Ｌは、位置決めされた状態でフレーム１０１に取り付けられる。
　右副本体部１０８－Ｒ内には、地磁気センサ１０９（図５参照）と、第１動き測定部（例えばジャイロおよび加速度センサ等）１１０（図５参照）とが配置されている。左副本体部１０８－Ｌ内には、スピーカ（またはイヤホン）１１１Ａおよびマイク１１１Ｂ（図５参照）が配置されている。主本体部１０３と右副本体部１０８－Ｒとは、配線ＨＳで信号伝達可能に接続されており、主本体部１０３と左副本体部１０８－Ｌとは、不図示の配線で信号伝達可能に接続されている。図３に簡略図示するように、右副本体部１０８－Ｒは、その後端から延在するコードＣＤを介して制御ユニットＣＴＵに接続されている。なお、入力される音声に応じてマイク１１１Ｂから生成される出力信号に基づいて、音声によって操作されるように、ＨＭＤ１００が構成されてもよい。また、主本体部１０３と左副本体部１０８とは、無線接続されるように構成されてもよい。
　次に、ＨＭＤ１００の電気的な構成について説明する。図５において、ＨＭＤ１００は、制御ユニットＣＴＵと、カメラ１０６と、地磁気センサ１０９と、第１動き測定部１１０と、第２動き測定部１０５と、マイク１１１Ｂと、照度センサ１０７と、画像形成部１０４Ａと、表示制御部１０４ＤＲと、スピーカ１１１Ａとを備える。制御ユニットＣＴＵは、制御処理部１２１と、操作部１２２と、ＧＰＳ受信部１２３と、通信部１２４と、記憶部１２５と、バッテリ１２６と、電源回路１２７とを備える。
　カメラ１０６は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、被写体の画像を生成する装置である。カメラ１０６は、例えば、被写体の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記被写体の光学像を電気的な信号に変換するイメージセンサ、前記イメージセンサの出力に対し公知の画像処理を施して画像（画像データ）を生成するデジタルシグナルプロセッサ（ＤＳＰ）等を備えて構成される。前記結像光学系は、１または複数のレンズを備えて構成され、その１つとして前記レンズ１０６ａを含む。カメラ１０６は、前記生成した画像データを制御処理部１２１へ出力する。
　地磁気センサ１０９は、制御処理部１２１に接続され、地球磁気を測定することで、ＨＭＤ１００における前方（－Ｙ方向）の方位を測定する回路である。地磁気センサ１０９は、前記測定した方位を制御処理部１２１へ出力する。
　第１動き測定部１１０は、制御処理部１２１に接続され、前記頭部装着部材の一例であるフレーム１０１の動きを測定するための装置である。第１動き測定部１１０は、前記フレーム１０１に搭載される。第１動き測定部１１０は、その測定結果を制御処理部１２１へ出力する。より具体的には、第１動き測定部１１０は、例えば、ジャイロおよび加速度センサ１１０ａであり、上述したように、右副本体部１０８－Ｒ内に内蔵されて配置される。ジャイロおよび加速度センサ１１０ａは、フレーム１０１の姿勢に応じた、Ｘ軸回りのロールの角速度、Ｙ軸回りのピッチの角速度、Ｚ軸回りのヨーの角速度、Ｘ方向の加速度、Ｙ方向の加速度およびＺ方向の加速度それぞれを測定する回路である。ジャイロおよび加速度センサ１１０ａは、前記測定した各角速度および各加速度を制御処理部１２１へ出力する。なお、ジャイロおよび加速度センサ１１０ａは、これらを一体化した６軸センサであってもよい。
　第２動き測定部１０５は、制御処理部１２１に接続され、前記第１部位と異なる第２部位の第２の動きまたは前記第２部位に設けられたジェスチャーを行うための指示体の第２の動きを測定するための装置である。本実施形態では、前記第１部位は、生体の頭部であるので、前記生体における第２部位は、前記頭部と異なる部位、例えば、手や手指等である。また、前記生体の第２部位に設けられた指示体とは、例えばユーザの手によって把持された棒状の部材（例えばペンや指し棒等）、ユーザの指や腕に装着部材で装着された棒状の部材等である。そして、本実施形態では、第２動き測定部１０５は、さらに、前記第２部位の存否を検知する。第２動き測定部１０５は、前記頭部装着部材の一例であるフレーム１０１に搭載される。第２動き測定部１０５は、その測定結果を制御処理部１２１へ出力する。より具体的には、第２動き測定部１０５は、例えば、近接センサ１０５ａであり、上述したように、フレーム１０１の前方部１０１ａに固定されている主本体部１０３に搭載される。
　本明細書において、「近接センサ」とは、物体、例えば人体の一部（手や指など）がユーザの眼前に近接していることを検知するために、近接センサの検出面前方の近接範囲にある検出領域内に存在しているか否かを検出して信号を出力するものをいう。近接範囲は、操作者の特性や好みに応じて適宜に設定すればよいが、例えば、近接センサの検出面からの距離が２００ｍｍ以内の範囲とすることができる。近接センサからの距離が２００ｍｍ以内であれば、ユーザが腕を曲げた状態で、手のひらや指をユーザの視野内に入れたり出したりできるため、手や指を使ったジェスチャーによって容易に操作を行うことができ、また、ユーザ以外の人体や家具等を誤って検出する虞が少なくなる。
　近接センサには、パッシブ型とアクティブ型とがある。パッシブ型の近接センサは、物体が近接した際に物体から放射される不可視光や電磁波を検出する検出部を有する。パッシブ型の近接センサとして、接近した人体から放射される赤外線等の不可視光を検出する焦電センサや、接近した人体との間の静電容量変化を検出する静電容量センサ等がある。アクティブ型の近接センサは、不可視光や音波の投射部と、物体に反射して戻った不可視光や音波を受ける検出部とを有する。アクティブ型の近接センサとしては、赤外線を投射して物体で反射された赤外線を受光する赤外線センサや、レーザ光を投射して物体で反射されたレーザ光を受光するレーザセンサや、超音波を投射して物体で反射された超音波を受け取る超音波センサ等がある。なお、パッシブ型の近接センサは、物体に向けてエネルギーを投射する必要がないので、低消費電力性に優れている。アクティブ型の近接センサは、検知の確実性を向上させ易く、例えば、ユーザが、赤外光などの人体から放射される検出光を透過しない手袋をしているような場合でも、ユーザの手の動きを検出できる。複数種類の近接センサが組み合わされても良い。
　本実施形態では、近接センサ１０５ａとして、２次元マトリクス状に配列された複数の焦電素子を備えた焦電センサが用いられている。図６において、近接センサ１０５ａは、２行２列に配列された４個の焦電素子ＲＡ、ＲＢ、ＲＣ、ＲＤを備えて構成され、人体から放射される赤外光等の不可視光を検出光として受光し、それに対応した信号が各焦電素子ＲＡ～ＲＤそれぞれから出力される。各焦電素子ＲＡ～ＲＤの各出力は、近接センサ１０５ａの受光面から物体までの距離に応じて強度が変化し、距離が近いほど強度が大きくなる。近接センサ１０５ａは、各焦電素子ＲＡ～ＲＤの各出力を制御処理部１２１へ出力する。
　マイク１１１Ｂは、制御処理部１２１に接続され、音の音響振動を電気信号に変換する回路である。マイク１１１Ｂは、前記変換した、外部の音を表す前記電気信号を制御処理部１２１へ出力する。
　照度センサ１０７は、制御処理部１２１に接続され、照度を測定する回路である。照度センサ１０７は、前記測定した照度を制御処理部１２１へ出力する。照度センサ１０７は、例えば、光電変換することで入射光の光強度に応じた大きさの電流を出力するホトダイオード、および、前記ホトダイオードの電流値を電圧値へ変換するＩ－Ｖ変換回路等の、その周辺回路を備えて構成される。
　表示制御部１０４ＤＲは、制御処理部１２１に接続され、制御処理部１２１の制御に従って画像形成部１０４Ａを制御することで、画像形成部１０４Ａに画像を形成させる回路である。画像形成部１０４Ａは、上述した通りである。
　スピーカ１１１Ａは、制御処理部１２１に接続され、制御処理部１２１の制御に従って音を表す電気信号に応じた音を生成して出力するための回路である。
　操作部１２２は、制御処理部１２１に接続され、例えば電源のオンオフ等の、予め設定された所定の指示をＨＭＤ１００に入力する機器であり、例えば、所定の機能を割り付けられた１または複数のスイッチ等である。
　ＧＰＳ受信部１２３は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、地球上の現在位置を測定するための衛星測位システムによって、当該ＨＤＭ１００の位置を測定する装置であり、その測位結果（緯度Ｘ、経度Ｙ、高度Ｚ）を制御処理部１２１へ出力する。なお、ＧＰＳ受信部１２３は、ＤＧＳＰ（Ｄｉｆｆｅｒｅｎｔｉａｌ　ＧＳＰ）等の誤差を補正する補正機能を持ったＧＰＳであっても良い。
　通信部１２４は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるＲＳ２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｃｏｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）規格を用いたインターフェース回路等である。
　また、通信部１２４は、有線または無線によって通信する通信カード等であり、例えばイーサネット環境等の通信ネットワークを介して例えばサーバ装置等の外部装置との間で通信しても良い（イーサネットは登録商標）。このような通信部１２４は、制御処理部１２１から入力された転送すべきデータを収容した通信信号を、前記通信ネットワークで用いられる通信プロトコルに従って生成し、この生成した通信信号を前記通信ネットワークを介して外部装置へ送信する。通信部１２４は、前記通信ネットワークを介して外部装置から通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部１２１が処理可能な形式のデータに変換して制御処理部１２１へ出力する。通信部１２４は、例えば、無線ＬＡＮの規格の一つであるＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）規格で通信信号を送受信する、ＩＥＥＥ８０２．１１ｂ／ｇ／ｎに対応したＷｉ－Ｆｉ　Ｍｏｄｕｌｅ（通信カード）等を備えて構成される。
　バッテリ１２６は、電力を蓄積し、前記電力を供給する電池である。バッテリ１２６は、一次電池であってよく、また、二次電池であってよい。電源回路１２７は、バッテリ１２６から供給された電力を、電力を必要とする、当該ＨＭＤ１００の各部へ各部に応じた電圧で供給する回路である。
　記憶部１２５は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該ＨＭＤ１００の各部を当該各部の機能に応じて制御する制御プログラムや、第１および第２動き測定部１１０，１０５で測定した第１および第２測定結果に基づいて前記第２部位の第２の動きによるジェスチャーを認識するジェスチャー処理プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、ＨＭＤ１００を制御する上で必要なデータが含まれる。記憶部１２５は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備える。そして、記憶部１２５は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部１２１のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等を含む。
　制御処理部１２１は、ＨＭＤ１００の各部を当該各部の機能に応じてそれぞれ制御し、第１および第２動き測定部１１０、１０５で測定した第１および第２測定結果に基づいて前記第２部位の第２の動きによるジェスチャーを認識し、この認識したジェスチャーに応じた処理を実行するものである。制御処理部１２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）およびその周辺回路等を備えて構成される。制御処理部１２１には、制御処理プログラムが実行されることによって、制御部１２１１、ジェスチャー処理部１２１２および検知結果利用部１２１３が機能的に構成される。制御部１２１１、ジェスチャー処理部１２１２および検知結果利用部１２１３の一部または全ては、ハードウェアで構成されてもよい。
　制御部１２１１は、ＨＭＤ１００の各部を当該各部の機能に応じてそれぞれ制御するものである。
　ジェスチャー処理部１２１２は、第１および第２動き測定部１１０、１０５で測定した第１および第２測定結果に基づいて、前記第２部位の第２の動きによるジェスチャーを認識するものである。より具体的には、本実施形態では、ジェスチャー処理部１２１２は、ジャイロおよび加速度センサ１１０ａの第１測定結果および近接センサ１０５ａにおける複数の焦電素子、本実施形態では４個の焦電素子ＲＡ～ＲＤの各出力に基づいて、手や手指の第２の動きによる、予め設定された所定のジェスチャーを判定するものである。ジェスチャー処理部１２１２は、その判定結果（検知結果）を検知結果利用部１２１３へ通知する。好ましくは、ジェスチャー処理部１２１２は、第２動き測定部１０５（本実施形態では近接センサ１０５ａ）で測定した第２測定結果から、第１動き測定部１１０（本実施形態ではジャイロおよび加速度センサ１１０ａ）で測定した第１測定結果に基づいて前記第１の動きによる第１動き成分を除去し、この第１動き成分を除去した前記第２測定結果に基づいて、前記第２部位の前記第２の動きによるジェスチャーを認識する。
　そして、ジェスチャー処理部１２１２は、第２動き測定部１０５が前記第２部位の存在を検知した場合にその動作を開始する。より具体的には、本実施形態では、ジェスチャー処理部１２１２は、スリープ状態から第２動き測定部１０５が前記第２部位の存在を検知した場合にアクティブ状態にすることでその動作を開始する。なお、ジェスチャー処理部１２１２は、給電をオフした状態から第２動き測定部１０５が前記第２部位の存在を検知した場合に前記給電をオンすることでその動作を開始してもよい。
　また、ジェスチャー処理部１２１２は、本実施形態では、フレーム１０１ではなく、フレーム１０１と別体である制御ユニットＣＴＵに搭載されている。
　検知結果利用部１２１３は、ジェスチャー処理部１２１２の判定結果に基づいて所定の処理を実行するものである。例えば、ジェスチャー処理部１２１２の判定結果がいわゆる「フリック」である場合には、検知結果利用部１２１３は、表示制御部１０４ＤＲの表示制御によって画像形成部１０４Ａに形成されている第１画像から第２画像へとページめくりを行うように表示を変更する。また例えば、ジェスチャー処理部１２１２の判定結果がいわゆる「スライド」である場合には、検知結果利用部１２１３は、表示制御部１０４ＤＲの表示制御によって画像形成部１０４Ａに形成されている画像を移動するように表示を変更する。
　まず、ＨＭＤ１００における、ジェスチャーを検知する基本動作について説明する。図７は、実施形態のウェアラブル電子機器を装着した場合の正面図である。図８は、実施形態のウェアラブル電子機器を装着した場合の側面図および部分上面図である。図８には、ユーザＵＳの手ＨＤも図示されている。図８Ａは、側面図であり、図８Ｂは、部分上面図である。図９は、シースルー型の画像表示部を通してユーザが視認する像の一例を示す図である。図１０は、実施形態のウェアラブル電子機器における近接センサの出力の一例を示す図である。図１０Ａは、焦電素子ＲＡの出力を示し、図１０Ｂは、焦電素子ＲＢの出力を示し、図１０Ｃは、焦電素子ＲＣの出力を示し、図１０Ｄは、焦電素子ＲＤの出力を示す。図１０の各図の横軸は、時間であり、それらの縦軸は、強度（出力レベル）である。ここで、ジェスチャー操作とは、少なくともユーザＵＳの手ＨＤや指が近接センサ１０５ａの検出領域内に進入または離間する動作であり、近接センサ１０５ａを介してＨＭＤ１００の制御処理部１２１のジェスチャー処理部１２１２が検知できるものである。
　図９に示すように、画像表示部１０４Ｂの画面１０４ｉは、画像表示部１０４Ｂに対向するユーザの眼の有効視野ＥＶに重なるように（ここでは、有効視野ＥＶ内に位置するように）配置される。近接センサ１０５ａの検出領域ＳＡは、画像表示部１０４Ｂに対向するユーザの眼の視野内にある。好ましくは、検出領域ＳＡは、ユーザの眼の安定注視野またはその内側の視野内（水平約９０°以内、垂直約７０°以内）に位置し、さらに好ましくは、安定注視野よりも内側に位置する、有効視野ＥＶまたはその内側の視野内（水平約３０°以内、垂直約２０°以内）に重なるように位置するように、近接センサ１０５ａの配置と向きを調整して設置するとよい。
　図９には、検出領域ＳＡが画面１０４ｉに重なっている例が示されている。このように、ユーザＵＳが頭部装着部材であるフレーム１０１を頭部に装着した状態で、ユーザＵＳの眼の視野内に近接センサ１０５ａの検出領域ＳＡが位置するように設定することで、画面１０４ｉを通して手ＨＤを観察しつつ、眼の移動を伴うことなく、近接センサ１０５ａの検出領域ＳＡへの手の進入と退避とを確実に視認できる。特に、近接センサ１０５ａの検出領域ＳＡを安定注視野またはその内側の視野内とすることで、ユーザが画面を観察していても検出領域ＳＡを認識しつつ、確実にジェスチャー操作を行うことができる。また、近接センサ１０５ａの検出領域ＳＡを有効視野ＥＶまたはその内側の視野内とすることで、さらに確実にジェスチャー操作を行うことができる。検出領域ＳＡが画面１０４ｉに重なるようにすれば、さらに確実にジェスチャー操作を行うことができる。なお、本実施形態のように、近接センサ１０５ａが複数の焦電素子ＲＡ～ＲＤを有する場合は、複数の焦電素子ＲＡ～ＲＤの受光領域全体を一つの受光部とみて、その受光部の最大検出範囲を検出領域とみなすものとする。図９のように、近接センサ１０５ａの検出領域ＳＡが画面１０４ｉに重なるように設定されている場合は、検出領域ＳＡを示す画像を画面１０４ｉに表示する（例えば、領域ＳＡの範囲を実線で表示する）と、ユーザは、検出領域ＳＡを確実に認識できるので、ジェスチャーによる操作をより確実に行うことができる。
　次に、ジェスチャーの検出の基本原理について説明する。近接センサ１０５ａが作動しているときに、ユーザＵＳの前方に何も存在しなければ、近接センサ１０５ａは、検出光としての不可視光を受光しないので、制御処理部１２１は、ジェスチャーが行われていないと判断し、ジェスチャー処理部１２１２をスリープ状態とする。一方、図８に示すように、ユーザＵＳの目の前にユーザＵＳ自身の手ＨＤを接近させると、手ＨＤから放射される不可視光を近接センサ１０５ａが検出し、これに基づく近接センサ１０５ａからの出力信号に応じて制御処理部１２１は、ジェスチャーが行われたと判断し、ジェスチャー処理部１２１２をアクティブ状態とする。なお、以下においては、ユーザＵＳの手ＨＤによってジェスチャーを行うものとして説明するが、指やその他の部位であってもよく、不可視光を放射できる材料からなる指示具をユーザＵＳが用いてジェスチャーを行ってもよい。
　上述したように、近接センサ１０５ａは、２行２列に並べられた４個の焦電素子ＲＡ～ＲＤを有する（図６参照）。したがって、ユーザＵＳが、左右上下いずれの方向から手ＨＤをＨＭＤ１００の前方に近づけた場合、各焦電素子ＲＡ～ＲＤで検出する信号の出力タイミングが異なる。
　例えば、図８および図９を参照して、ユーザＵＳがＨＭＤ１００の前方で右方から左方に向かって手ＨＤを移動させたジェスチャーの場合、手ＨＤから放射された不可視光が近接センサ１０５ａに入射する。この場合に、最初に不可視光を受光するのは、焦電素子ＲＡ、ＲＣである。したがって、図１０に示すように、まず、焦電素子ＲＡ、ＲＣの信号が立ち上がり、遅れて焦電素子ＲＢ、ＲＤの信号が立ち上がる。そして、この後、焦電素子ＲＡ、ＲＣの信号が立ち下がって、遅れて焦電素子ＲＢ、ＲＤの信号が立ち下がる（図略）。この信号のタイミングをジェスチャー処理部１２１２が検出し、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを右から左へと移動させたジェスチャーを行ったと判定する。
　同様に、焦電素子ＲＢ、ＲＤの信号が立ち上がり、遅れて焦電素子ＲＡ、ＲＣの信号が立ち上がり、その後、焦電素子ＲＢ、ＲＤの信号が立ち下がって、遅れて焦電素子ＲＡ、ＲＣの信号が立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを左から右へと移動させたジェスチャーを行ったと判定できる。
　また同様に、焦電素子ＲＡ、ＲＢの信号が立ち上がり、遅れて焦電素子ＲＣ、ＲＤの信号が立ち上がり、その後、焦電素子ＲＡ、ＲＢの信号が立ち下がって、遅れて焦電素子ＲＣ、ＲＤの信号が立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを上から下へと移動させたジェスチャーを行ったと判定できる。
　また同様に、焦電素子ＲＣ、ＲＤの信号が立ち上がり、遅れて焦電素子ＲＡ、ＲＢの信号が立ち上がり、その後、焦電素子ＲＣ、ＲＤの信号が立ち下がって、遅れて焦電素子ＲＡ、ＲＢの信号が立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを下から上へと移動させたジェスチャーを行ったと判定できる。
　また同様に、焦電素子ＲＡの信号が立ち上がり、遅れて焦電素子ＲＢ、ＲＣの信号が立ち上がり、さらに遅れて焦電素子ＲＤが立ち上がり、その後、焦電素子ＲＡの信号が立ち下がって、遅れて焦電素子ＲＢ、ＲＣの信号が立ち下がって、さらに遅れて焦電素子ＲＤが立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを右上から左下へと移動させたジェスチャーを行ったと判定できる。
　また同様に、焦電素子ＲＢの信号が立ち上がり、遅れて焦電素子ＲＡ、ＲＤの信号が立ち上がり、さらに遅れて焦電素子ＲＣが立ち上がり、その後、焦電素子ＲＢの信号が立ち下がって、遅れて焦電素子ＲＡ、ＲＤの信号が立ち下がって、さらに遅れて焦電素子ＲＣが立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを左上から右下へと移動させたジェスチャーを行ったと判定できる。
　また同様に、焦電素子ＲＤの信号が立ち上がり、遅れて焦電素子ＲＢ、ＲＣの信号が立ち上がり、さらに遅れて焦電素子ＲＡが立ち上がり、その後、焦電素子ＲＤの信号が立ち下がって、遅れて焦電素子ＲＢ、ＲＣの信号が立ち下がって、さらに遅れて焦電素子ＲＡが立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを左下から右上へと移動させたジェスチャーを行ったと判定できる。
　また同様に、焦電素子ＲＣの信号が立ち上がり、遅れて焦電素子ＲＡ、ＲＤの信号が立ち上がり、さらに遅れて焦電素子ＲＢが立ち上がり、その後、焦電素子ＲＣの信号が立ち下がって、遅れて焦電素子ＲＡ、ＲＤの信号が立ち下がって、さらに遅れて焦電素子ＲＢが立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを右下から左上へと移動させたジェスチャーを行ったと判定できる。
　次に、上述した基本原理に基づく本実施形態におけるジェスチャーの検出について説明する。図１１は、実施形態のウェアラブル電子機器におけるジェスチャー検知処理（メインルーチン）を示すフローチャートである。図１２は、実施形態のウェアラブル電子機器の前記ジェスチャー検知処理におけるジェスチャー判定処理（サブルーチン）を示すフローチャートである。
　このようなＨＭＤ１００では、第２動き測定部１０５の一例である近接センサ１０５ａが静止している場合には、上述の基本原理によってジェスチャー処理部１２１２は、第２部位の一例である手や指等によるジェスチャーを検知できる。しかしながら、前記近接センサ１０５ａは、頭部装着部の一例であるフレーム１０１の主本体部１０３に配設されているので、第１部位の一例である頭部を動かすと、上述の基本原理のみに基づく処理だけでは、ジェスチャー処理部１２１２は、前記ジェスチャーを正しく検知し難い。例えば、前記手や指等が静止している場合でも、ユーザが首振りを行うと、ジェスチャー処理部１２１２は、前記手や指等によるジェスチャーを検知してしまい、誤判定してしまう虞がある。
　そこで、本実施形態では、ＨＭＤ１００は、次のように動作している。図１１において、制御部１２１１は、所定のサンプリング間隔（例えば１０ｍｓや２０ｍｓや３０ｍｓ等）で近接センサ１０５ａの出力（各集電素子ＲＡ～ＲＤの各出力）をサンプリングし、まず、近接センサ１０５ａの出力が予め設定された所定の閾値（第１閾値）ｔｈ１を越えているか否かを判定することによって、第２部位、この例では手ＨＤの存否を判定する（Ｓ１１）。前記第１閾値ｔｈ１は、ノイズによる誤判定を回避するために設定された値である。また、制御部１２１１は、近接センサ１０５ａの出力をサンプリングするタイミングで、ジャイロおよび加速度センサ１１０ａの出力もサンプリングする。以下も同様に、制御部１２１１は、同様に、近接センサ１０５ａの出力をサンプリングするタイミングで、ジャイロおよび加速度センサ１１０ａの出力もサンプリングする。
　前記判定の結果、近接センサ１０５ａの出力が前記第１閾値ｔｈ１を越えていない場合（Ｎｏ）には、制御部１２１１は、処理を処理Ｓ１１に戻し、次のサンプリングのタイミングで処理Ｓ１１を実行する。一方、前記判定の結果、近接センサ１０５ａの出力が前記第１閾値ｔｈ１を越えている場合（Ｙｅｓ）には、すなわち、近接センサ１０５ａにおける各集電素子ＲＡ～ＲＤのうちのいずれかの出力が前記第１閾値ｔｈ１を越えている場合（Ｙｅｓ）には、制御部１２１１は、ジェスチャー処理部１２１２がスリープ状態である場合にはアクティブ状態にしてジェスチャー処理部１２１２を動作させ、ジェスチャーの判定処理を実行し、ジェスチャーを仮決定する（Ｓ１２）。
　このジェスチャーの判定処理について図１２を用いて説明する。図１２において、まず、ジェスチャー処理部１２１２は、近接センサ１０５ａにおける複数の焦電素子ＲＡ～ＲＤの各出力の立ち上がりタイミングやその立ち下がりタイミングを判定する（Ｓ２１）。
　次に、ジェスチャー処理部１２１２は、ジェスチャーを決定できるか否かを判定する（Ｓ２２）。上述したように、ジェスチャーは、近接センサ１０５ａにおける焦電素子ＲＡ～ＲＤそれぞれから出力される各信号の、時系列に並ぶ各立ち上がりタイミングおよび各立ち下がりタイミングに基づいて判定されるので、１回の処理の実行では、ジェスチャーは、判定できない。このため、ジェスチャー処理部１２１２は、今回の処理で、今回の処理結果と、例えば前回の処理結果や前々回の処理結果等の過去の複数の処理結果と合わせることで、ジェスチャーを仮決定できるか否かを判定している。
　この判定の結果、ジェスチャーを決定できない場合には、ジェスチャー処理部１２１２は、次のサンプリングのタイミングで近接センサ１０５ａの出力（各集電素子ＲＡ～ＲＤの各出力）を取得し（Ｓ２３）、処理を処理Ｓ２１に戻す。一方、前記判定の結果、ジェスチャーを決定できる場合には、ジェスチャー処理部１２１２は、この決定したジェスチャーを仮決定したジェスチャーとしてこの図１２に示すジェスチャーの判定処理を終了し、図１１の処理Ｓ１３を実行する。
　図１１に戻って、処理Ｓ１３では、ジェスチャー処理部１２１２は、ジャイロおよび加速度センサ１１０ａの出力が予め設定された所定の閾値（第２閾値）ｔｈ２を越えているか否かを判定することによって、第１部位、この例では頭部の動きの有無を判定する。前記第２閾値ｔｈ２は、ノイズによる誤判定を回避するために設定された値である。
　この判定の結果、ジャイロおよび加速度センサ１１０ａの出力が前記第２閾値ｔｈ２を越えていない場合（Ｎｏ）には、後述する処理Ｓ１４で行うような第１測定結果を用いる修正を施すことなく、ジェスチャー処理部１２１２は、前記仮決定したジェスチャーでジェスチャーを最終的に決定（本決定）し（Ｓ１５）、その次に処理Ｓ１６を実行する。一方、前記判定の結果、ジャイロおよび加速度センサ１１０ａの出力が前記第２閾値ｔｈ２を越えている場合（Ｙｅｓ）には、すなわち、ジャイロおよび加速度センサ１１０ａにおけるＸ方向の加速度およびＺ方向の加速度のうちのいずれかの出力が前記第２閾値ｔｈ２を越えている場合（Ｙｅｓ）には、ジェスチャー処理部１２１２は、前記仮決定したジェスチャーを修正してジェスチャーを最終的に決定（本決定）し（Ｓ１４）、その次に処理Ｓ１６を実行する。
　この処理Ｓ１４では、より詳しくは、まず、ジェスチャー処理部１２１２は、前記仮決定したジェスチャーの速度ベクトル（Ｘ方向の速度、Ｚ方向の速度）を求める。焦電素子ＲＡ～ＲＤの出力は、上述したように、所定のサンプリング間隔でサンプリングされ、各焦電素子ＲＡ～ＲＤのサイズ（横長（Ｘ方向の長さ）、縦長（Ｚ方向の長さ）、対角長）は、予め測定できる。このため、各焦電素子ＲＡ～ＲＤのサイズが予め測定されて記憶部１２５に記憶され、前記仮決定したジェスチャーに応じて、焦電素子ＲＡ～ＲＤのサイズを立ち上がりタイミングからその立ち下がりタイミングまでの時間で除算することで、速度ベクトルが求められる。
　より具体的には、前記仮決定したジェスチャーが手ＨＤの右から左への移動のジェスチャーである場合には、ジェスチャー処理部１２１２は、前記サンプリング間隔に基づいて、焦電素子ＲＡまたは焦電素子ＲＣにおける信号の立ち上がりタイミングからその立ち下がりタイミングまでの時間を求め、この求めた時間で焦電素子ＲＡまたは焦電素子ＲＣにおける横長を除算することで、前記仮決定したジェスチャーのＸ方向の速度を求める。手ＨＤの右から左への移動のジェスチャーでは、Ｚ方向の速度は、０である。したがって、前記仮決定したジェスチャーが手ＨＤの右から左への移動のジェスチャーにおける速度ベクトルは、（Ｘ方向の速度、０）として求められる。立ち上がりタイミングからその立ち下がりタイミングまでの時間は、前記立ち上がりタイミングから前記立ち下がりタイミングまでのサンプリング回数に、サンプリング間隔を乗算することによって求められて良いが、各焦電素子ＲＡ～ＲＤに対応したタイマーが制御処理部１２１に機能的に設けられ、前記立ち上がりタイミングで前記タイマーをリスタートし、前記立ち下がりタイミングまでの時間を前記タイマーで計ることで求められても良い。
　なお、この場合において、ジェスチャー処理部１２１２は、前記サンプリング間隔に基づいて、焦電素子ＲＡまたは焦電素子ＲＣにおける信号の立ち上がりタイミングからその立ち下がりタイミングまでの第１時間を求め、この求めた第１時間で焦電素子ＲＡまたは焦電素子ＲＣにおける第１横長を除算することで、第１速度（Ｘ方向の第１速度）を求め、同様に、前記サンプリング間隔に基づいて、焦電素子ＲＢまたは焦電素子ＲＤにおける信号の立ち上がりタイミングからその立ち下がりタイミングまでの第２時間を求め、この求めた第２時間で焦電素子ＲＢまたは焦電素子ＲＤにおける第２横長を除算することで、第２速度（Ｘ方向の第２速度）を求め、これら第１および第２速度の平均速度を求め、この求めた平均速度を、前記仮決定したジェスチャーのＸ方向の速度としても良い。あるいは、ジェスチャー処理部１２１２は、各焦電素子ＲＡ～ＲＤごとにその対応する各速度を求めて平均し、この平均速度を、前記仮決定したジェスチャーのＸ方向の速度としても良い。以下の場合も同様である。
　前記仮決定したジェスチャーが手ＨＤの左から右への移動のジェスチャーである場合の速度ベクトルは、上述の、前記仮決定したジェスチャーが手ＨＤの右から左への移動のジェスチャーである場合と同様に、（－Ｘ方向の速度、０）として求められる。
　前記仮決定したジェスチャーが手ＨＤの上から下への移動のジェスチャーである場合には、ジェスチャー処理部１２１２は、前記サンプリング間隔に基づいて、焦電素子ＲＡまたは焦電素子ＲＢにおける信号の立ち上がりタイミングからその立ち下がりタイミングまでの時間を求め、この求めた時間で焦電素子ＲＡまたは焦電素子ＲＢにおける縦長を除算することで、前記仮決定したジェスチャーの－Ｚ方向の速度を求める。手ＨＤの上から下への移動のジェスチャーでは、Ｘ方向の速度は、０である。したがって、前記仮決定したジェスチャーが手ＨＤの上から下への移動のジェスチャーにおける速度ベクトルは、（０、－Ｚ方向の速度）として求められる。
　前記仮決定したジェスチャーが手ＨＤの下から上への移動のジェスチャーである場合の速度ベクトルは、上述の、前記仮決定したジェスチャーが手ＨＤの上から下への移動のジェスチャーである場合と同様に、（０、Ｚ方向の速度）として求められる。
　前記仮決定したジェスチャーが手ＨＤの右上から左下への移動のジェスチャーである場合には、ジェスチャー処理部１２１２は、前記サンプリング間隔に基づいて、焦電素子ＲＡまたは焦電素子ＲＤにおける信号の立ち上がりタイミングからその立ち下がりタイミングまでの時間を求め、この求めた時間で焦電素子ＲＡまたは焦電素子ＲＤにおける対角長を除算することで、前記仮決定したジェスチャーの右上から左下へ向かう方向の速度を求める。この求めた右上から左下へ向かう方向の速度を、焦電素子ＲＡの縦横比または焦電素子ＲＤの縦横比に基づいて、Ｘ方向の速度とＺ方向の速度との各成分に分解することで、前記仮決定したジェスチャーが手ＨＤの右上から左下への移動のジェスチャーにおける速度ベクトルは、（Ｘ方向の速度、Ｚ方向の速度）として求められる。
　前記仮決定したジェスチャーが手ＨＤの左上から右下への移動のジェスチャーである場合の速度ベクトル、前記仮決定したジェスチャーが手ＨＤの左下から右上への移動のジェスチャーである場合の速度ベクトル、および、前記仮決定したジェスチャーが手ＨＤの右下から左上への移動のジェスチャーである場合の速度ベクトルそれぞれは、上述の、前記仮決定したジェスチャーが手ＨＤの右上から左下への移動のジェスチャーである場合と同様に求められる。
　次に、ジェスチャー処理部１２１２は、ジャイロおよび加速度センサ１１０ａのＸ方向の加速度およびＺ方向の加速度から、第１部位の一例である頭部の第１の動きにおける速度ベクトルを求める。ここで、ジェスチャーを仮決定するまでに、ジャイロおよび加速度センサ１１０ａから複数の各出力が取得されている。このため、例えば、これら複数の各出力の平均値が上述の処理におけるジャイロおよび加速度センサ１１０ａの前記Ｘ方向の加速度および前記Ｚ方向の加速度として用いられる。また例えば、これら時系列に並ぶ複数の各出力のうちの中央のタイミングで取得された出力が上述の処理におけるジャイロおよび加速度センサ１１０ａの前記Ｘ方向の加速度および前記Ｚ方向の加速度として用いられる。
　次に、ジェスチャー処理部１２１２は、前記仮決定したジェスチャーにおける速度ベクトルから、前記頭部の第１の動きにおける速度ベクトルを減算し、第２部位の一例である手ＨＤの第２の動きにおける速度ベクトルを求める。そして、ジェスチャー処理部１２１２は、この求めた速度ベクトルに対応するジェスチャーでジェスチャーを最終的に決定（本決定）する。これによって前記仮決定したジェスチャーが修正され、ジェスチャーが最終的に決定（本決定）される。
　例えば、頭部を上から下へ動かしているときに、手ＨＤを右から左へ移動すると、処理Ｓ１２（処理Ｓ２１ないし処理Ｓ２３の各処理の繰り返し処理）によって、手ＨＤの右下から左上への移動のジェスチャーとして仮決定される。そして、処理Ｓ１３および処理Ｓ１４で、前記仮決定した手ＨＤの右下から左上への移動のジェスチャーである場合の速度ベクトルが求められ、この速度ベクトルから、ジャイロおよび加速度センサ１１０ａから求めた前記頭部の速度ベクトルが減算され、手ＨＤの速度ベクトルが求められる。この手ＨＤの速度ベクトルは、頭部の上から下への移動による速度成分が除去され、Ｚ方向の速度は、略ゼロになる。このため、前記仮決定した手ＨＤの右下から左上への移動のジェスチャーは、手ＨＤの右から左への移動のジェスチャーに修正され、最終的に決定される。
　そして、処理Ｓ１６では、ジェスチャー処理部１２１２は、この最終的に決定したジェスチャーを検知結果利用部１２１３へ通知する。
　次に、制御部１２１１は、次のサンプリングのタイミングで近接センサ１０５ａの出力（各集電素子ＲＡ～ＲＤの各出力）をサンプリングし、処理Ｓ１１と同様に、近接センサ１０５ａの出力が前記第１閾値ｔｈ１を越えているか否かを判定することによって、第２部位、この例では手ＨＤの存否を判定する（Ｓ１７）。
　この判定の結果、近接センサ１０５ａの出力が前記第１閾値ｔｈ１を越えていない場合（Ｎｏ）には、制御部１２１１は、ジェスチャー処理部１２１２をスリープ状態にして処理を処理Ｓ１１に戻し、次のサンプリングのタイミングで処理Ｓ１１を実行する。一方、前記判定の結果、近接センサ１０５ａの出力が前記第１閾値ｔｈ１を越えている場合（Ｙｅｓ）には、すなわち、近接センサ１０５ａにおける各集電素子ＲＡ～ＲＤのうちのいずれかの出力が前記第１閾値ｔｈ１を越えている場合（Ｙｅｓ）には、制御部１２１１は、処理を処理Ｓ１２へ戻し、次のジェスチャーの判定処理を実行する。
　一方、処理Ｓ１６によるジェスチャー処理部１２１２から通知を受けると、検知結果利用部１２１３は、ジェスチャー処理部１２１２の判定結果に基づいて所定の処理を実行する。例えば、ジェスチャー処理部１２１２の判定結果がいわゆる「フリック」である場合には、検知結果利用部１２１３は、表示制御部１０４ＤＲの表示制御によって画像形成部１０４Ａに形成されている第１画像から第２画像へとページめくりを行うように表示を変更する。
　以上説明したように、本実施形態におけるウェアラブル電子機器の一例としてのＨＭＤ１００およびこれに実装されたジェスチャー検知方法は、第２動き測定部１１０（本実施形態ではジャイロおよび加速度センサ１１０ａ）で測定した第２測定結果だけでなく第１動き測定部（本実施形態では近接センサ１０５ａ）で測定した第１測定結果も考慮して第２部位（本実施形態では手ＨＤ）の第２の動きによるジェスチャーを認識するので、装着部位（本実施形態では頭部）が動いたとしてもジェスチャーの検知が可能となる。
　本実施形態におけるウェアラブル電子機器の一例としてのＨＭＤ１００およびこれに実装されたジェスチャー検知方法は、第２動き測定部１０５が第２部位の存在を検知するまでジェスチャー処理部１２１２が動作しないので（ジェスチャー処理部１２１２が休止しているので）、省電力化できる。
　本実施形態におけるウェアラブル電子機器の一例としてのＨＭＤ１００およびこれに実装されたジェスチャー検知方法は、ジェスチャー処理部１２１２が頭部装着部材の一例であるフレーム１０１とは別体の制御ユニットＣＴＵに搭載されるので、前記頭部装着部材に必要最小限の構成を搭載することで頭部装着部材の部分を小型化、軽量化でき、頭部装着部材の装着による例えば違和感や煩わしさ等の装着感を軽減できる。
　なお、上述の実施形態において、ＨＭＤ１００は、図５に破線で示すように、制御処理部１２１に機能的に、生体における所定の動作を第１動き測定部１１０で測定した第１測定結果に基づいて検知する動作検知処理部１２１４をさらに備え、ジェスチャー処理部１２１２は、動作検知処理部１２１４が前記所定の動作を検知した場合には、第２動き測定部１０５で測定した第２測定結果に基づいて、前記第２部位の第２の動きによるジェスチャーを認識してもよい。これによれば、前記生体が第１部位の動き（例えば首振り等）を除く所定の動作（例えば歩行等）をした場合に、前記所定の動きを考慮せずに、ジェスチャーを認識できる。より具体的には、前記生体が前記所定の動作、例えば歩行等を行った場合における第１動き測定部１１０（本実施形態ではジャイロおよび加速度センサ１１０ａ）で測定される測定結果が予め求められ、この求められた測定結果が前記所定の動作に対応する信号パターンとして記憶部１２５に予め記憶される。そして、上述のジェスチャーを判定する際に、動作検知処理部１２１４は、第１動き測定部１１０で測定した第１測定結果が記憶部１２５に記憶された前記信号パターンと所定の範囲内で相関するか否かを判定することで、前記生体が前記所定の動作を行っているか否かを判定する。ジェスチャー処理部１２１２は、動作検知処理部１２１４によって前記生体が前記所定の動作を行っていると判定された場合に、第２動き測定部１０５（本実施形態では近接センサ１０５ａ）で測定した第２測定結果に基づいて、前記第２部位（本実施形態では手ＨＤ）の第２の動きによるジェスチャーを認識する。なお、動作検知処理部１２１４は、ハードウェアで構成されても良い。
　また、上述の実施形態において、ジェスチャー処理部１２１２は、第１動き測定部１１０（本実施形態ではジャイロおよび加速度センサ１１０ａ）の出力が所定の閾値（第３閾値）ｔｈ３を越えた場合に、第２動き測定部１０５（本実施形態では近接センサ１０５ａ）の出力をキャンセルし、ジェスチャーの仮決定の処理をやり直しても良い。
　また、上述の実施形態では、第１動き測定部１１０は、ジャイロおよび加速度センサ１１０ａであるが、これに限定されるものではない。第１動き測定部１１０は、加速度を測定する加速度センサ、角速度を測定する角速度センサ、速度を測定する速度センサ、振動を測定する振動センサ、傾斜を測定する傾斜計および方位を測定する地磁気センサのうちの１または複数を備えて構成されてもよい。
　本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
　一態様にかかるウェアラブル電子機器は、生体における第１部位に装着するための装着部材と、前記装着部材の第１の動きを測定するための第１動き測定部と、前記装着部材に搭載され、前記生体における前記第１部位と異なる第２部位または前記第２部位に設けられたジェスチャーを行うための指示体の第２の動きを測定するための第２動き測定部と、前記第１および第２動き測定部で測定した第１および第２測定結果に基づいて、前記第２の動きによるジェスチャーを認識するジェスチャー処理部とを備える。好ましくは、上述のウェアラブル電子機器において、前記第１動き測定部は、加速度を測定する加速度センサ、角速度を測定する角速度センサ、速度を測定する速度センサおよび振動を測定する振動センサのうちの１または複数を備えて構成される。好ましくは、これら上述のウェアラブル電子機器において、前記第２動き測定部は、２次元マトリクス状に配列された複数の焦電素子を備えるパッシブ型センサを備えて構成される。好ましくは、これら上述のウェアラブル電子機器において、前記第２動き測定部は、赤外光を照射する赤外線光源と、２次元マトリクス状に配列された複数の焦電素子とを備えるアクティブ型センサを備えて構成される。好ましくは、これら上述のウェアラブル電子機器において、前記ジェスチャー処理部は、前記第２動き測定部で測定した第２測定結果から、前記第１動き測定部で測定した第１測定結果に基づいて前記第１動きによる第１動き成分を除去し、この第１動き成分を除去した前記第２測定結果に基づいて、前記第２部位の前記第２動きによるジェスチャー認識する。好ましくは、上述のウェアラブル電子機器において、前記ジェスチャー処理部は、前記第２測定結果に基づいて前記生体の第２部位または前記第２部位に設けられた前記指示体によるジェスチャーを仮決定し、前記仮決定されジェスチャーと、前記第１測定結果とに基づいて、前記生体の第２部位または前記第２部位に設けられた前記指示体の前記第２の動きによるジェスチャーを認識する。好ましくは、上述のウェアラブル電子機器において、前記ジェスチャー処理部は、前記第２測定結果に基づいて仮決定したジェスチャーに、前記第１測定結果に基づいて修正を加え、前記第２の動きによるジェスチャーを認識する。好ましくは、上述のウェアラブル電子機器において、前記ジェスチャー処理部は、前記第１部位の速度ベクトルと前記第２部位の速度ベクトルとを求め、前記第２部位の速度ベクトルから前記第１部位の速度ベクトルを減算することで、前記第２の動きによるジェスチャーを認識する。
　このようなウェアラブル電子機器は、第２動き測定部で測定した第２測定結果だけでなく第１動き測定部で測定した第１測定結果も考慮して前記第２部位の前記第２の動きによるジェスチャーを認識するので、装着部位が動いたとしてもジェスチャーの検知が可能となる。
　他の一態様では、これら上述のウェアラブル電子機器において、前記生体における所定の動作を、前記第１動き測定部で測定した第１測定結果に基づいて検知する動作検知処理部をさらに備え、前記ジェスチャー処理部は、前記動作検知処理部が前記所定の動作を検知した場合には、前記第２動き測定部で測定した第２測定結果に基づいて、前記第２部位または前記第２部位に設けられた前記指示体の前記第２の動きによるジェスチャーを認識する。
　このようなウェアラブル電子機器は、生体が第１部位の動き（例えば首振り等）を除く所定の動作（例えば歩行等）をした場合に、前記所定の動きを考慮せずに、ジェスチャーを認識できる。
　他の一態様では、これら上述のウェアラブル電子機器において、前記ジェスチャー処理部は、前記第１測定結果が所定の閾値を超える場合、前記仮決定したジェスチャーを取り消す。
　他の一態様では、上述のウェアラブル電子機器において、前記第２動き測定部は、さらに、前記第２部位の存否を検知し、前記ジェスチャー処理部は、前記第２動き測定部が前記第２部位の存在を検知した場合に動作を開始する。好ましくは、上述のウェアラブル電子機器において、前記ジェスチャー処理部は、給電をオフした状態から前記第２動き測定部が前記第２部位の存在を検知した場合に前記給電をオンすることでその動作を開始する。好ましくは、上述のウェアラブル電子機器において、前記ジェスチャー処理部は、スリープ状態から前記第２動き測定部が前記第２部位の存在を検知した場合にアクティブ状態にすることでその動作を開始する。
　このようなウェアラブル電子機器は、前記第２動き測定部が前記第２部位の存在を検知するまでジェスチャー処理部が動作しないので（ジェスチャー処理部が休止しているので）、省電力化できる。
　他の一態様では、これら上述のウェアラブル電子機器において、前記ジェスチャー処理部は、前記装着部材とは別体の部材に搭載される。
　このようなウェアラブル電子機器は、装着部材に必要最小限の構成を搭載することで装着部材の部分を小型化でき、装着部材の装着による例えば違和感や煩わしさ等の装着感を軽減できる。
　他の一態様では、これら上述のウェアラブル電子機器において、前記装着部材は、前記第１部位を頭部として前記頭部に装着するための部材である。
　これによれば、頭部に装着されるウェアラブル電子機器を提供でき、このようなウェアラブル電子機器は、例えば首振り等の第１動きがあっても、例えば手や手指等による第２動きのジェスチャーの検知が可能となる。
　他の一態様にかかるウェアラブル電子機器のジェスチャー検知方法は、生体における第１部位に装着部材によって装着されるウェアラブル電子機器のジェスチャー検知方法であって、前記装着部材の第１の動きを測定して第１測定結果を取得し、前記生体における前記第１部位と異なる第２部位または前記第２部位に設けられたジェスチャーを行うための指示体の第２の動きを測定して第２測定結果を取得し、前記第１および第２測定結果に基づいて、前記第２の動きによるジェスチャーを認識する。好ましくは、上述のウェアラブル電子機器のジェスチャー検知方法において、前記第２測定結果に基づいて前記生体の第２部位または前記第２部位に設けられた指示体によるジェスチャーを仮決定し、前記仮決定されジェスチャーと前記第１測定結果とに基づいて、前記生体の第２部位または前記第２部位に設けられた前記指示体の前記第２の動きによるジェスチャーを認識する。好ましくは、上述のウェアラブル電子機器のジェスチャー検知方法において、前記第２測定結果に基づいて仮決定したジェスチャーに、前記第１測定結果に基づいて修正を加え、前記第２の動きによるジェスチャーを認識する。好ましくは、これら上述のウェアラブル電子機器のジェスチャー検知方法において、さらに、前記生体における所定の動作を第１測定結果に基づいて検知し、前記所定の動作を検知した場合には、前記第２測定結果に基づいて、前記第２の動きによるジェスチャーを認識する。
　このようなウェアラブル電子機器のジェスチャー検知方法は、第２動き測定工程で測定した第２測定結果だけでなく第１動き測定工程で測定した第１測定結果も考慮して前記第２部位の前記第２動きによるジェスチャーを認識するので、装着部位が動いたとしてもジェスチャーの検知が可能となる。
　この出願は、２０１５年５月２２日に出願された日本国特許出願特願２０１５－１０４８３０を基礎とするものであり、その内容は、本願に含まれるものである。
　本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
　本発明によれば、ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法が提供できる。
 

Claims (13)

  1. 　生体における第１部位に装着するための装着部材と、
    　前記装着部材の第１の動きを測定するための第１動き測定部と、
    　前記装着部材に搭載され、前記生体における前記第１部位と異なる第２部位または前記第２部位に設けられたジェスチャーを行うための指示体の第２の動きを測定するための第２動き測定部と、
    　前記第１および第２動き測定部で測定した第１および第２測定結果に基づいて、前記第２の動きによるジェスチャーを認識するジェスチャー処理部とを備える、
    　ウェアラブル電子機器。
  2. 　前記ジェスチャー処理部は、前記第２測定結果に基づいて前記生体の第２部位または前記第２部位に設けられた前記指示体によるジェスチャーを仮決定し、前記仮決定されジェスチャーと、前記第１測定結果とに基づいて、前記生体の第２部位または前記第２部位に設けられた前記指示体の前記第２の動きによるジェスチャーを認識する、
    　請求項１に記載のウェアラブル電子機器。
  3. 　前記ジェスチャー処理部は、前記第２測定結果に基づいて仮決定したジェスチャーに、前記第１測定結果に基づいて修正を加え、前記第２の動きによるジェスチャーを認識する、
    　請求項２に記載のウェアラブル電子機器。
  4. 　前記ジェスチャー処理部は、前記第１部位の速度ベクトルと前記第２部位の速度ベクトルとを求め、前記第２部位の速度ベクトルから前記第１部位の速度ベクトルを減算することで、前記第２の動きによるジェスチャーを認識する、
    　請求項３に記載のウェアラブル電子機器。
  5. 　前記生体における所定の動作を、前記第１動き測定部で測定した第１測定結果に基づいて検知する動作検知処理部をさらに備え、
    　前記ジェスチャー処理部は、前記動作検知処理部が前記所定の動作を検知した場合には、前記第２動き測定部で測定した第２測定結果に基づいて、前記第２部位または前記第２部位に設けられた前記指示体の前記第２の動きによるジェスチャーを認識する、
    　請求項１ないし請求項４のいずれか１項に記載のウェアラブル電子機器。
  6. 　前記ジェスチャー処理部は、前記第１測定結果が所定の閾値を超える場合、前記仮決定したジェスチャーを取り消す、
    　請求項３に記載のウェアラブル電子機器。
  7. 　前記第２動き測定部は、さらに、前記第２部位の存否を検知し、
    　前記ジェスチャー処理部は、前記第２動き測定部が前記第２部位の存在を検知した場合に動作を開始する、
    　請求項１または請求項２に記載のウェアラブル電子機器。
  8. 　前記ジェスチャー処理部は、前記装着部材とは別体の部材に搭載される、
    　請求項１ないし請求項７のいずれか１項に記載のウェアラブル電子機器。
  9. 　前記装着部材は、前記第１部位を頭部として前記頭部に装着するための部材である、
    　請求項１ないし請求項8のいずれか１項に記載のウェアラブル電子機器。
  10. 　生体における第１部位に装着部材によって装着されるウェアラブル電子機器のジェスチャー検知方法であって、
    　前記装着部材の第１の動きを測定して第１測定結果を取得し、
    　前記生体における前記第１部位と異なる第２部位または前記第２部位に設けられたジェスチャーを行うための指示体の第２の動きを測定して第２測定結果を取得し、
    　前記第１および第２測定結果に基づいて、前記第２の動きによるジェスチャーを認識する、
    　ウェアラブル電子機器のジェスチャー検知方法。
  11. 　前記第２測定結果に基づいて前記生体の第２部位または前記第２部位に設けられた指示体によるジェスチャーを仮決定し、前記仮決定されジェスチャーと前記第１測定結果とに基づいて、前記第２の動きによるジェスチャーを認識する、
    　請求項１０に記載のウェアラブル電子機器のジェスチャー検知方法。
  12. 　前記第２測定結果に基づいて仮決定したジェスチャーに、前記第１測定結果に基づいて修正を加え、前記第２の動きによるジェスチャーを認識する、
    　請求項１１に記載のウェアラブル電子機器のジェスチャー検知方法。
  13. 　さらに、前記生体における所定の動作を第１測定結果に基づいて検知し、
    　前記所定の動作を検知した場合には、前記第２測定結果に基づいて、前記第２の動きによるジェスチャーを認識する、
    　請求項１０または請求項１１に記載のウェアラブル電子機器のジェスチャー検知方法。
PCT/JP2016/063617 2015-05-22 2016-05-06 ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 WO2016190057A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-104830 2015-05-22
JP2015104830 2015-05-22

Publications (1)

Publication Number Publication Date
WO2016190057A1 true WO2016190057A1 (ja) 2016-12-01

Family

ID=57394051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/063617 WO2016190057A1 (ja) 2015-05-22 2016-05-06 ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法

Country Status (1)

Country Link
WO (1) WO2016190057A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2000148381A (ja) * 1998-11-05 2000-05-26 Telecommunication Advancement Organization Of Japan 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体
JP2000353046A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk ユーザインタフェース装置、ユーザインタフェース方法、ゲーム装置およびプログラム記憶媒体
JP2001103395A (ja) * 1999-09-30 2001-04-13 Kawasaki Heavy Ind Ltd ヘッド・マウント・ディスプレイ装置
JP2006293604A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
JP2011237987A (ja) * 2010-05-10 2011-11-24 Olympus Corp 操作入力装置およびマニピュレータシステム
JP2013137413A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013231520A (ja) * 2012-04-27 2013-11-14 Panasonic Corp 空気調和機
WO2014128789A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP2015069480A (ja) * 2013-09-30 2015-04-13 ブラザー工業株式会社 ヘッドマウントディスプレイ、及び、制御プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2000148381A (ja) * 1998-11-05 2000-05-26 Telecommunication Advancement Organization Of Japan 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体
JP2000353046A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk ユーザインタフェース装置、ユーザインタフェース方法、ゲーム装置およびプログラム記憶媒体
JP2001103395A (ja) * 1999-09-30 2001-04-13 Kawasaki Heavy Ind Ltd ヘッド・マウント・ディスプレイ装置
JP2006293604A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
JP2011237987A (ja) * 2010-05-10 2011-11-24 Olympus Corp 操作入力装置およびマニピュレータシステム
JP2013137413A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013231520A (ja) * 2012-04-27 2013-11-14 Panasonic Corp 空気調和機
WO2014128789A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP2015069480A (ja) * 2013-09-30 2015-04-13 ブラザー工業株式会社 ヘッドマウントディスプレイ、及び、制御プログラム

Similar Documents

Publication Publication Date Title
JP6398870B2 (ja) ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
US9360935B2 (en) Integrated bi-sensing optical structure for head mounted display
US9335547B2 (en) Head-mounted display device and method of controlling head-mounted display device
CN103529929B (zh) 手势识别系统及可识别手势动作的眼镜
US11947728B2 (en) Electronic device for executing function based on hand gesture and method for operating thereof
JP6607254B2 (ja) ウェアラブル電子機器、ウェアラブル電子機器のジェスチャー検知方法およびウェアラブル電子機器のジェスチャー検知プログラム
US20230199328A1 (en) Method of removing interference and electronic device performing the method
CN116830065A (zh) 用于跟踪用户注视并提供增强现实服务的电子装置及其方法
US11733952B2 (en) Wearable electronic device including display, method for controlling display, and system including wearable electronic device and case
KR20150091724A (ko) 착용형 안경장치
WO2016190057A1 (ja) ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
US11762486B2 (en) Electronic device for performing plurality of functions using stylus pen and method for operating same
US20220375172A1 (en) Contextual visual and voice search from electronic eyewear device
WO2016052061A1 (ja) ヘッドマウントディスプレイ
WO2016072271A1 (ja) 表示装置、表示装置の制御方法及びその制御プログラム
JP6790769B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US12050726B2 (en) Augmented reality device for changing input mode and method thereof
EP4407411A1 (en) Ar content display method based on ambient illuminance and electronic device
US20230251362A1 (en) Method of removing interference and electronic device performing the method
US11762202B1 (en) Ring-mounted flexible circuit remote control
US20240192492A1 (en) Wearable device outputting sound for object of interest and method for controlling the same
EP4350420A1 (en) Lens assembly including light-emitting element disposed on first lens, and wearable electronic device including same
US20240046578A1 (en) Wearable electronic device displaying virtual object and method for controlling the same
US20230138445A1 (en) Wearable electronic device and method for controlling electronic devices using vision information
WO2017065050A1 (ja) 入力装置、電子機器、電子機器の入力方法及びその入力プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16799765

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16799765

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP