Nothing Special   »   [go: up one dir, main page]

WO2007099908A1 - ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する装置、方法、プログラム - Google Patents

ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する装置、方法、プログラム Download PDF

Info

Publication number
WO2007099908A1
WO2007099908A1 PCT/JP2007/053518 JP2007053518W WO2007099908A1 WO 2007099908 A1 WO2007099908 A1 WO 2007099908A1 JP 2007053518 W JP2007053518 W JP 2007053518W WO 2007099908 A1 WO2007099908 A1 WO 2007099908A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable terminal
microphone
directivity
unit
switching
Prior art date
Application number
PCT/JP2007/053518
Other languages
English (en)
French (fr)
Inventor
Junichi Tagawa
Takeo Kanamori
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2008502773A priority Critical patent/JP4931907B2/ja
Priority to CN2007800068337A priority patent/CN101390440B/zh
Priority to US12/280,842 priority patent/US8155345B2/en
Publication of WO2007099908A1 publication Critical patent/WO2007099908A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Definitions

  • the present invention relates to an improvement in the quality of sound collected by a microphone in a wearable terminal.
  • the wearable terminal is a small terminal that can be worn on the body.
  • the wearable terminal In order to store video or audio, it is intended for those equipped with an imaging unit or sound collection unit as a function.
  • Wearable terminals have the characteristic of continuing the functions described above without requiring explicit operations, such as operations with hands or fingers.
  • the portable terminal has a characteristic that can be supported on a predetermined part of the body, such as hanging on the neck by attaching a string or the like to the terminal, or can be fixed to clothes, provided that the terminal has an attachment part. Terminal or portable shooting and sound pickup device.
  • a microphone attached to such a wearable terminal is used to pick up the voice of a person who is speaking face-to-face, or pick up the direction of sound collection, with the sound collection direction facing the front of the camera. You can pick up your own voice.
  • a portable terminal used for such a purpose needs to record sound clearly even in an environment where noise is present outdoors, so an acoustic signal arriving from a specific direction, such as a unidirectional microphone, etc.
  • a directional microphone that captures the signal with high sensitivity is used.
  • Patent Document 1 Japanese Patent Laid-Open No. 1-39193
  • Patent Document 2 JP-A-2005-37273
  • Figure 1 shows the directional characteristics of the sensitivity of a unidirectional microphone and an omnidirectional microphone. An omnidirectional microphone picks up sound from any directional force with the same sensitivity, whereas a unidirectional microphone picks up sound from the front and picks up sound from other directions. It is suppressed.
  • the neck strap is moved by the user's movement.
  • the twistable terminal rotates 90 degrees to the right from the front direction, the sound from the front direction, which is the original sound collection direction, will be suppressed, and the sound from the right 90 degree direction should be suppressed. Is picked up with high sensitivity.
  • the unidirectional microphone has a problem that it is weak against noise.
  • Fig. 2 shows the frequency characteristics of the sensitivity of the unidirectional microphone and the omnidirectional microphone.
  • a unidirectional microphone it is installed at a distance d, so that the signals collected by the two omnidirectional microphones are phased, and the directivity is synthesized by subtracting them electrically.
  • This is a comparison between the sensitivity of the omnidirectional microphone before synthesis and the sensitivity of the unidirectional microphone after synthesis, using a sound pressure gradient type directivity synthesis method.
  • both unidirectional and omnidirectional microphones have good sensitivity to noise.
  • the unidirectional microphone has a very low sensitivity at low frequencies, whereas the frequency dependence of the omnidirectional microphone is small.
  • the low-frequency sensitivity becomes worse as d, which is a parameter representing the size of a unidirectional microphone, decreases.
  • d is a parameter representing the size of a unidirectional microphone
  • noise generated by user movement has a low frequency of several Hz
  • a unidirectional microphone with a low S / N ratio in the low frequency range amplifies the low frequency range with an equalizer to increase sensitivity. When corrected, the low-frequency noise component is relatively emphasized.
  • Patent Document 1 discloses a conventional technique for taking noise countermeasures for a unidirectional microphone.
  • Patent Document 1 states that when a wind hits a microphone from an acoustic signal collected by the microphone.
  • An apparatus that detects wind noise generated in the synthesizer and switches between a unidirectional microphone and an omnidirectional microphone is disclosed.
  • the device of Patent Document 1 has a configuration suitable for the purpose of suppressing wind noise in a unidirectional microphone, and detects the sudden noise generated by the shaking of the device and appropriately outputs the output signals of the two microphones. It is difficult to switch between.
  • the wearable terminal Since the wearable terminal is always worn on the body and the sound collecting operation is continued regardless of the state of the user, the wearable terminal is shaken or moved by the user. When there is always a danger of colliding with the body, when using a unidirectional microphone
  • An object of the present invention is to collect sound without degrading sound quality as much as possible even when the device shakes in a device that continuously collects sound in an unstable environment such as a wearable terminal. It is to provide a device that can.
  • the wearable terminal according to the present invention is based on sound collection means, detection means for detecting a shake of the own apparatus, and the magnitude of the shake detected by the detection means. And a switching means for switching directivity in the sound collecting means.
  • the wearable terminal of the present invention it is detected whether the device is in a stable state with small shaking or whether the device is in an unstable state with large shaking.
  • the microphone should be directional so that the sound can be picked up with high sensitivity, and if it is in an unstable state, use an input with a non-directional microphone so as not to be affected by shaking.
  • the directivity of the microphone can be switched.
  • the shaking indicates a position force of the wearable terminal, for example, a vector in which the terminal position is displaced in an arbitrary direction as well as continuously changing up and down or up and down.
  • the magnitude of the shake is a scalar quantity represented by the absolute value of the vector, and the presence / absence of the shake indicates whether the absolute value force so of the vector is present or not.
  • Shaking in a predetermined direction Is the component value of the vector in the predetermined direction.
  • the directivity of the microphone is switched according to the magnitude of the shake, the influence of the shake caused by the user's action can be reduced even with a device that is constantly carried and collected like a wearable terminal.
  • the target voice can be clearly picked up. For example, even if the neck strap is twisted and the direction of sound collection is shifted, if the swing is small, the sound that should be collected by the directional microphone is collected with high sensitivity, and the neck strap is twisted 90 degrees to collect it. If there is a large shake that causes the sound direction to shift, switching to an omnidirectional microphone prevents the sensitivity from being reduced for the sound that should be collected.
  • the sound collection unit may include a microphone
  • the switching unit may switch the directivity direction or the presence / absence of the directivity based on the magnitude of the vibration in the reference axis direction of the microphone.
  • the microphone has a diaphragm for detecting sound pressure
  • the reference axis direction is an axial direction when the diaphragm is substantially axisymmetric
  • the detection unit detects a fluctuation in the pitch direction. You may do that.
  • the diaphragm of the microphone has a substantially axisymmetric shape, and the reference axis direction is referred to as a pitch direction when the symmetry axis is a reference axis. Since pitch fluctuations have the greatest impact as noise, effective noise countermeasures can be implemented by using this as a detection target.
  • the detection means displaces the microphone in the direction of the reference axis of the microphone among the pitch direction, the roll direction, and the direction of the sensor that outputs the angular velocity in the pitch direction, the roll direction, and the cho direction of the own machine.
  • Conversion means for converting the angular velocity to be converted into a displacement amount may include comparison means for comparing the displacement amount with a threshold value, and the directivity may be switched when the displacement amount exceeds the threshold value.
  • the switching unit may switch the directivity of the sound collection unit to non-directional when the displacement amount exceeds the threshold value.
  • the directivity of the sound collection unit is made omnidirectional, so that the influence of noise due to shaking can be reduced. Resistant to shaking can be controlled by a threshold value determined at the design stage.
  • the wearable terminal may further include a camera
  • the switching unit may have the directivity in the imaging direction of the camera when the amount of displacement does not exceed the threshold value.
  • the wearable terminal includes a camera that performs shooting processing at a predetermined time interval, and the detection unit captures the first image captured by the camera before the first image. Compared with the second image, it may be detected whether or not the force is generated in the direction of the reference axis of the microphone.
  • a wearable terminal equipped with a camera for recording video simultaneously with audio, it is possible to determine the magnitude of shaking based on an image taken by the camera without installing a separate sensor. it can. By analyzing the video, it is possible to determine whether or not the microphone is moving in the direction of the reference axis.
  • the switching unit is determined based on the first image and the second image, and the directivity of the sound collecting unit is determined when a displacement amount of the own device in the pitch direction exceeds a threshold value.
  • the sex may be switched to omnidirectional.
  • the switching unit may switch the directivity of the sound collecting unit to non-directional when the displacement amount force S in the reference axis direction is an output having impulse characteristics.
  • the impact of sudden noise can be reduced by detecting an impulsive shake generated by the impact of the wearable terminal hitting the body and switching to an omnidirectional microphone in that case.
  • the detection means includes a sensor that outputs angular velocities in the pitch direction, roll direction, and cho direction of the own aircraft, and the impulse output is a displacement calculated from the angular velocities in the pitch direction, roll direction, and cho direction.
  • the switching means may be provided with a comparison means for comparing the difference value with a threshold value, and the directionality may be switched when the difference value exceeds the threshold value.
  • the magnitude of the device shake is detected by the angular velocity, and the difference value representing the magnitude of the change in the shake is regarded as the magnitude of the instability shake.
  • Microphone power By switching to an omnidirectional microphone, the effects of sudden noise can be reduced.
  • the wearable terminal includes a camera that performs a photographing process at a predetermined time interval, and the impulse output may be expressed by a degree of blur in an image photographed by the camera.
  • the sound collecting means includes at least one of a directional microphone and an omnidirectional microphone
  • the switching means receives a directional microphone force input when shaking is detected by the detecting means.
  • the output signal may be switched from a signal that is input to a signal that is input to the omnidirectional microphone force.
  • a directional microphone and an omnidirectional microphone can be respectively installed, and both can be switched according to the magnitude of shaking. When shaking is small, the target voice can be picked up with high sensitivity, but a directional microphone is used.When shaking is large, an omnidirectional microphone that is highly resistant to noise and has constant sensitivity regardless of the direction of sound pickup is used. By using it, it is possible to prevent deterioration in sound quality even when the user picks up sound while moving.
  • the sound collecting means includes at least two or more omnidirectional microphones, and includes a synthesizing unit that synthesizes an input signal of omnidirectional microphone power to give sensitivity directivity,
  • the switching means may switch the output signal from the signal synthesized by the synthesizing means to the signal before synthesizing when the detecting means detects a shake.
  • the input of one of the omnidirectional microphones can be used to prevent deterioration in sound quality even when the user picks up sound while moving.
  • the comparison between the displacement amount and the threshold value in the comparison means may be made using a threshold value individually set for each direction of shaking.
  • the comparison between the angular velocity representing the magnitude of the shake and the threshold value is performed individually using the threshold value set for each shake direction, so a direction that produces a large amount of noise even with a small shake, such as the direction of the reference axis of the microphone.
  • Directivity switching that responds sensitively to small fluctuations by reducing the threshold value and increasing the threshold value for shaking that does not generate noise without moving the microphone in the direction of the reference axis. It can be performed.
  • the switching of directivity by the switching means may be performed by cross-feed processing.
  • the output component before switching which is not instantaneously switched, is gradually lowered, and at the same time, the output component after switching is gradually increased, and cross-feed processing is performed to make the sense of discomfort in the sense of hearing. It can be reduced more.
  • FIG. 1 Sensitivity directional characteristics of a unidirectional microphone and an omnidirectional microphone.
  • FIG. 3 A diagram showing a mobile terminal and its usage.
  • FIG. 4 is a diagram showing a sound collection direction of a microphone installed in the wearable terminal.
  • FIG. 5 is a block diagram showing a configuration of a wearable terminal according to the first embodiment of the present invention.
  • FIG. 6 is a diagram showing a rotation direction of the wearable terminal according to the first embodiment of the present invention.
  • FIG. 7 is a timing chart showing the operation of the wearable terminal according to the first embodiment of the present invention.
  • FIG. 8 is a schematic diagram for explaining directivity switching control of the wearable terminal according to the first embodiment of the present invention.
  • FIG. 9 is a flowchart showing the operation of the wearable terminal according to the first embodiment of the present invention.
  • FIG. 10 is a block diagram showing a configuration of a wearable terminal according to Embodiment 2 of the present invention.
  • FIG. 11 is a block diagram showing a configuration of a directivity synthesis unit of the wearable terminal according to the second embodiment of the present invention.
  • FIG. 12 is a block diagram showing a configuration of a wearable terminal according to Embodiment 3 of the present invention.
  • FIG. 13 is a block diagram showing a configuration of a blurred image detection unit of a wearable terminal according to the third embodiment of the present invention.
  • FIG. 14 is a diagram for explaining a blurred image detection method for a wearable terminal according to the third embodiment of the present invention.
  • FIG. 15 is a block diagram showing a configuration of a wearable terminal according to Embodiment 4 of the present invention.
  • FIG. 16 is a block diagram showing a configuration of an impulse detector of the wearable terminal in Embodiment 4 of the present invention.
  • FIG. 17 is a block diagram showing a configuration of a wearable terminal according to the fifth embodiment of the present invention. Explanation of symbols
  • FIG. 3 (a) is an external view of the wearable terminal according to Embodiment 1 of the present invention.
  • the wearable terminal incorporates a camera for acquiring a front image, a microphone phone for collecting sound and the like, and a gyro for detecting shaking of the wearable terminal itself.
  • the wearable terminal has a thin card shape, and the microphone is installed with the reference axis facing the front of the camera. As shown in Fig. 3 (b), this wearable terminal is assumed to be used by the user with his neck suspended.
  • the directivity direction of the directional microphone and the direction of the reference axis of the microphone do not necessarily coincide with each other. As shown in FIG. It may be turned upward for the purpose of collecting voice.
  • a microphone is a device that detects sound waves that are vibrations of air and converts them into electrical signals, but has a vibration surface for sensing sound pressure.
  • This vibration surface is not necessarily a flat surface, but usually has an axial symmetry or a shape close to axial symmetry, and this symmetry axis is called a reference axis.
  • the microphone has a structure that increases the contact area between the vibration surface and air in the direction of the reference axis. When the vibration surface is flat, the reference axis and the vibration surface are perpendicular to each other. It has become. In the following, even when the vibration surface is not a plane, the plane perpendicular to the reference axis will be referred to as the vibration surface for convenience.
  • FIG. 5 is a block diagram showing the configuration of the wearable terminal according to Embodiment 1 of the present invention.
  • the wearable terminal according to Embodiment 1 of the present invention inputs the angular velocity detected by the gyro 200 to the 1 ⁇ ? (01 ⁇ & 1 Signal Processor) via the AD converter ⁇ 210 and determines the magnitude of the shake.
  • the unidirectional microphone 110 and the omnidirectional microphone 120 are switched to collect sound.
  • Gyro 200, AD change ⁇ 210, DSP is synchronized with clock 220.
  • the collected audio data is encoded by the encoding unit 400, and then recorded on a recording medium such as an SD card or live distribution within a LAN for recording unit 410 or distribution unit 420. Forwarded to
  • Unidirectional microphone 110 and omnidirectional microphone 120 each have a specific A microphone that exhibits high sensitivity to sound from a direction and a microphone that collects sound with the same sensitivity for sound of any direction force. Their directivity characteristics are as shown in Fig. 1.
  • microphone elements such as capacitor types and dynamic types.
  • Dynamic microphones are inferior to condenser microphones in terms of force sensitivity, which has some degree of resistance to shaking. In such a case, it is more desirable to use a condenser microphone in order to obtain a small shake! / In a stable state / high sensitivity, and in this case, the countermeasure against the shake according to the present invention is so important.
  • the gyro 200 is a general angular velocity sensor.
  • the rotational direction of the angular velocity detected by the gyro 200 will be described with reference to FIG.
  • Fig. 3 (a) when using a wrist terminal that is installed with the microphone vibration surface facing the front as shown in Fig. 3 (b). Take the X axis in the front direction, the Z axis vertically upward, and the Y axis in the direction perpendicular to the X and Z axes. At this time, the vibration plane of the microphone is parallel to the YZ plane, and the reference axis is parallel to the X axis.
  • the direction of shaking of wearable devices can be classified into three types: roll direction, pitch direction, and show direction.
  • FIG. 6 (a) shows rotation around the X axis, and this rotation direction is referred to as the roll direction. Shaking in the roll direction is such that the wearable terminal suspended from the neck vibrates parallel to the body. Such shaking does not cause noise because it does not displace the vibration surface of the microphone in the direction of the reference axis.
  • the gyro 200 outputs the angular velocity of rotation around the X axis in response to the roll direction.
  • FIG. 6 (b) shows the rotation around the Y axis, and this direction of rotation is referred to as the pitch direction.
  • the pitch direction swing is a wearable terminal force hung from the neck, swinging toward or away from the body. Such shaking greatly displaces the vibration surface of the microphone in the direction of the reference axis, so even a small shaking causes a large amount of noise. Furthermore, since a large amount of noise is generated by a collision with the body, countermeasures against noise in this direction are the most important.
  • the gyro 200 outputs the angular velocity of rotation around the Y axis.
  • FIG. 6 (c) shows the rotation around the Z axis, and this rotation direction is referred to as a single direction. Shaking direction The wearable terminal with a suspended neck force vibrates by twisting the neck strap. Such shaking does not cause much noise because the force that displaces the vibration surface of the microphone in the direction of the reference axis is small.
  • the gyroscope 200 outputs the angular velocity of rotation around the Z axis in response to shaking in the direction of the arrow.
  • the wearable terminal according to Embodiment 1 of the present invention performs the directivity switching control by detecting the angular velocity with respect to the fluctuation in the pitch direction that is most likely to generate noise.
  • the gyro 200 may be a three-axis gyro that detects all angular velocities in the roll direction, the pitch direction, and the cho direction, or a single-axis gyro that detects only the angular velocity in the pitch direction. In the case of an axis gyro, only the angular velocity in the pitch direction is used in the DSP.
  • the gyro 200 outputs a voltage value corresponding to the detected angular velocity and inputs it to the AD converter 210.
  • the AD converter 210 receives the voltage value output from the gyro 200, converts it into a digital value, and outputs it to the DSP.
  • the AD conversion 210 is driven by a clock signal output from the clock 220, and outputs a digital value obtained by averaging voltage values in a sampling frame that can detect a change in fluctuation.
  • FIG. 7 illustrates this using a timing chart showing directivity switching control of the wearable terminal according to Embodiment 1 of the present invention.
  • the points tl, t2, ... on the time axis in Fig. 7 represent the start point of the clock cycle.
  • the gyro 200 detects angular velocities # 1, # 2,... For each frame corresponding to one cycle of the clock and outputs the corresponding voltage value as shown in the first stage of FIG.
  • AD conversion 210 integrates the angular velocities of five frames of angular velocities # 1 to # 5, and outputs the averaged value over the time length of five frames to multiplier 310.
  • the DSP receives the digital value output from the AD converter 210 as an input, determines whether the magnitude of the fluctuation is larger than a threshold value, and determines whether or not the unidirectional microphone 110 and the omnidirectional microphone correspond to the result. Switching to the directional microphone 120.
  • the DSP includes a multiplier 310, a comparator 320, and a directivity selection unit 330.
  • Multiplier 310 multiplies the digital value indicating the angular velocity per 5 frames input from AD converter 210 by the time length of 5 frames, and calculates the average angle that has changed over time of 5 frames as the displacement. This amount of displacement is an indicator of the magnitude of the shake. Multiplier 310 calculates displacement amount # 1 and outputs it to comparator 320 at time t6 accumulated for the angular velocity force frame output by gyro 200, as shown in the second row in FIG.
  • Comparator 320 compares the amount of displacement calculated by multiplier 310 with a predetermined threshold value, and outputs microphone mouthphone switching signal SS1.
  • the directivity selector 330 outputs the input signal having the selected microphone power as it is. For example, as shown in the fourth row of FIG. 7, the unidirectional microphone 110 is selected until time t8 when the change of the microphone switching signal in the comparator 320 is completed, and the omnidirectionality after time t8. Microphone 120 is selected.
  • FIG. 8 schematically shows the state of shaking and directivity switching that occurs when the wearable terminal is actually used while being worn on the body.
  • Figure 8 (a) shows the time zone when the user is stationary and the time zone when the user is moving.
  • Fig. 8 (b) the time change of the displacement VI calculated based on the angular velocity detected by the gyro 200 is plotted. While the user is stationary, the displacement VI takes a value smaller than the threshold value ⁇ , whereas when the user moves, the displacement VI shows a spike-like rise. The amount of displacement during movement VI force There is a moment when the threshold value ⁇ is below the ⁇ value. This indicates that there is a high possibility that the threshold value ⁇ will be exceeded again in a short time.
  • Figure 8 (c) shows the switching of microphones output from comparator 320.
  • the time variation of the signal SSI is plotted.
  • FIG. 9 is a flowchart showing the directivity switching operation shown above.
  • the gyro 200 detects the angular velocity.
  • the detected angular velocity is input to the multiplier 310 via the AD transformation 210.
  • the multiplier 310 calculates the displacement VI from the angular velocity and the sampling time.
  • the comparator 320 compares the displacement amount VI with the threshold value ⁇ . If VI is a, the process proceeds to step S104. If VI> a, the process proceeds to step S106.
  • T is obtained as the elapsed time since VI becomes a.
  • T and Thold the process proceeds to step S106.
  • the wearable terminal according to Embodiment 1 of the present invention uses the unidirectional microphone 110 so that the target sound can be picked up with high sensitivity when the vibration of the device itself is small.
  • the sensitivity that is difficult to be affected by noise does not depend on the direction of sound collection.
  • the omnidirectional microphone 120 By using the omnidirectional microphone 120, sound is collected without being affected by the user's movement. be able to.
  • Embodiment 2 of the present invention two omnidirectional microphones are used, and the acoustic signal force directivity output by the two omnidirectional microphones is changed according to the magnitude of the shake detected by the gyroscope.
  • a wearable terminal that switches the combining method will be described.
  • FIG. 10 is a block diagram showing a configuration of the wearable terminal according to Embodiment 2 of the present invention.
  • the wearable terminal according to the second embodiment of the present invention includes the unidirectional microphone 110 of the wearable terminal according to the first embodiment shown in FIG. 5 as the omnidirectional microphone 121, and the directivity selection unit 330 as the directivity synthesis unit 340. The configuration is replaced with.
  • Wearable terminal force according to the second embodiment of the present invention
  • the angular velocity detected by the gyro 200 is converted into the displacement VI by the multiplier 310, and the directivity is switched by comparing with the threshold oc by the comparator 320. Same as 1.
  • the directivity synthesis unit 340 of the wearable terminal receives signals input from the omnidirectional microphone 120 and the omnidirectional microphone 121. A signal with synthesized directivity is output by subtracting the phase.
  • the microphone switching signal SS1 is 1, one of the two omnidirectional microphone input signals is output as it is.
  • FIG. 11 is a block diagram showing a configuration of directivity synthesis section 340 of the wearable terminal according to Embodiment 2 of the present invention.
  • the directivity synthesis unit 340 includes a delay unit 341, a switch 342, a subtracter 343, and an equalizer 344 force.
  • the delay device 341 delays the phase of the signal input from the omnidirectional microphone 120.
  • the speed of sound c is regarded as a constant value of approximately 340 m / s.
  • Switch 342 is a switch that switches whether or not to perform directivity synthesis in accordance with microphone switching signal SS1 output from comparator 320.
  • SS1 When SS1 is 0, the signal input from the delay unit 341 is output to the subtractor 343 as it is to synthesize the directivity.
  • SS1 1, since the directivity is not synthesized, the signal input from delay device 341 is blocked.
  • the subtractor 343 performs a subtraction process by adding the signal input from the omnidirectional microphone 121 and the signal passing through the switch 342 to which a negative sign is added. If the signal input from the omnidirectional microphone 120 is interrupted by the switch 342, the subtractor 343 outputs the signal input from the omnidirectional microphone 121 as it is.
  • the equalizer 344 performs amplification in the low frequency range of the signal subtracted by the subtractor 343 in accordance with the microphone switching signal SS1 output from the comparator 320.
  • SS1 When SS1 is 0, directivity synthesis is performed and low frequency sensitivity is reduced, so amplification in the low frequency range is performed.
  • values previously determined at the design stage are used.
  • SS1 When SS1 is 1, directivity synthesis is not performed, so the signal input from the subtracter 343 that does not need to be amplified is output as it is.
  • the wearable terminal according to Embodiment 2 of the present invention synthesizes directivity by synthesizing two omnidirectional microphone force signals when shaking is small, and from the sound collection target.
  • the omnidirectional microphone force can be used for either input to prevent a decrease in sensitivity to the sound from the sound collection target.
  • Embodiment 3 of the present invention will be described with reference to a mobile terminal that detects the magnitude of shaking from an image taken by a camera and switches between a directional microphone and an omnidirectional microphone according to the magnitude of shaking. .
  • FIG. 12 is a block diagram showing a configuration of a wearable terminal according to Embodiment 3 of the present invention.
  • the wearable terminal according to Embodiment 3 of the present invention uses an imaging device 500 instead of the angular velocity detected by the gyro 200 of the wearable terminal according to Embodiment 1 shown in FIG.
  • the blur image detection unit 510 detects whether or not there is a blur in the image, instead of calculating the amount of displacement in the multiplier 310.
  • the imaging device 500 is a device that captures an image and outputs it as an electrical signal, such as a CCD camera.
  • the wearable terminal After the wearable terminal according to Embodiment 3 of the present invention detects blurring of an image by the blurring image detection unit 510 based on an image that is continuously captured by the imaging device 500 at a constant time interval, the comparator 320 The quantified blur is compared with the threshold ⁇ , and the directivity selector 330 selects the input from the unidirectional microphone 110 and the input from the omnidirectional microphone 120 according to the microphone switching signal SS1. The point of switching and outputting is the same as in the first embodiment.
  • FIG. 13 is a block diagram showing a configuration of the blurred image detection unit 510 of the wearable terminal according to Embodiment 3 of the present invention.
  • the blurred image detection unit 510 includes a frame memory 511 and a motion vector calculation unit 512.
  • the frame memory 511 stores the latest two images among images input from the imaging device 500.
  • the motion vector calculation unit 512 detects the shake of the wearable terminal itself by comparing the latest image stored in the frame memory 511 with the immediately preceding image, and quantifies the magnitude of the shake.
  • a method for calculating the magnitude of the image force fluctuation for example, there is a method disclosed in Patent Document 2.
  • the image is divided into meshes, the latest image is compared with the immediately preceding image for each block, and the object to be photographed is shaken from the motion vector representing the motion of the video in the block. The size of is calculated. If it is assumed that the object to be photographed moves and is V ⁇ , this can be regarded as the wearable terminal itself moving. Further, the present invention is not limited to this method, and any other method may be used as long as shake can be detected by image processing.
  • the wearable terminal that can detect the shake of the wearable terminal itself based on the image taken by the imaging device 500 and switch the directivity of the microphone according to the magnitude of the shake.
  • it is equipped with a photographing device, and video is recorded at the same time as recording audio.
  • shaking is detected from a photographed image, it is not necessary to newly install a jack for detecting the shaking, which is advantageous for downsizing the apparatus.
  • Embodiment 4 of the present invention detects an impulsive fluctuation that occurs when the vehicle collides with the body, and synthesizes the acoustic signal force directionality output by two omnidirectional microphones according to the magnitude of the impact.
  • a wearable terminal that switches the method to be performed will be described.
  • FIG. 15 is a block diagram showing a configuration of a wearable terminal according to Embodiment 4 of the present invention.
  • an impulse detector 350 is inserted between the multiplier 310 and the comparator 320 of the wearable terminal according to Embodiment 2 shown in FIG. It becomes the composition which added.
  • the wearable terminal according to Embodiment 4 of the present invention has two omnidirectional signals until the angular velocity detected by the gyro 200 is converted into the displacement VI by the multiplier 310 and according to the microphone switching signal SS1 output from the comparator 320.
  • the directivity is synthesized by performing a subtraction process between signals output from the directional microphone, which is the same as in the second embodiment.
  • impulse detector 350 of the wearable terminal in Embodiment 4 of the present invention will be described.
  • FIG. 16 is a block diagram showing a configuration of impulse detector 350 of the wearable terminal according to Embodiment 4 of the present invention.
  • the impulse detector 350 includes an arithmetic operator 351 and a register 352.
  • the arithmetic operator 351 calculates a difference value of the displacement VI output from the multiplier 310, and the comparator 320 Output to. If the displacement amount output by the multiplier 310 at time t is Vt, and the displacement amount output by the multiplier 310 at the previous time (t-1) is Vt-1, then the previous displacement is stored in the register 352. The quantity Vt-1 is retained. The arithmetic operation unit 351 compares the difference (Vt-Vt-1) between the latest displacement amount Vt input from the multiplier 310 and the displacement amount Vt-1 immediately before being held in the register 352. Output to. After the calculation, register 352 is updated to hold the latest displacement Vt.
  • the difference of the displacement VI is taken, so that the microphone switching signal SS1 output from the comparator 320 is delayed compared to the signal output from the microphone.
  • a delay unit 360 and a delay unit 361 are inserted into the output from the microphone. These output the output signal of the microphone by delaying it by a fixed delay time Timp.
  • the delay time Timp corresponds to the time required for impulse judgment and is set in advance.
  • Impulsive fluctuations are likely to generate large noise compared to normal fluctuations, so by setting loose criteria for impulsive fluctuations, it is possible to prevent degradation of sound collection quality even during movement. .
  • Embodiment 5 of the present invention describes a wearable terminal that performs determination using different threshold values for each direction of shaking and switches between a directional microphone and an omnidirectional microphone according to the magnitude of shaking in each direction.
  • FIG. 17 is a block diagram showing a configuration of a wearable terminal according to Embodiment 5 of the present invention.
  • the wearable terminal in Embodiment 5 of the present invention is the same as that in Embodiment 1 shown in FIG.
  • the wearable terminal multiplier 310 and the comparator 320 are separately installed in the pitch direction and the roll direction.
  • the wearable terminal is hung from the neck as shown in Fig. 3 (b)
  • the length of the neck strap has a length, so among the three directions shown in Fig. 6, the vibration in the pitch direction is the most.
  • the roll direction is the most likely to displace the vibration surface of the microphone. Therefore, the wearable terminal according to the fifth embodiment of the present invention determines whether or not a swing occurs in the roll direction separately from the pitch direction.
  • the wearable terminal in Embodiment 5 of the present invention converts the angular velocity detected by the gyro 200 into a displacement amount by the multiplier 310 and the multiplier 311, and compares the displacement amount and the threshold value by the comparator 320 and the comparator 321.
  • the directivity selector 330 selects either an acoustic signal input from the unidirectional microphone 110 or an acoustic signal input from the omnidirectional microphone 120 according to the output microphone switching signal.
  • the output point is the same as in the first embodiment.
  • gyro 200 of the wearable terminal in Embodiment 5 of the present invention is a two-axis gyro capable of detecting both the angular velocity in the pitch direction and the roll direction.
  • the pitch direction threshold and the roll direction threshold are individually set! While the fluctuation in the pitch direction fluctuates in the direction of the reference axis of the microphone, the fluctuation in the roll direction fluctuates in a direction perpendicular to the reference axis of the microphone, so it is unlikely to cause noise.
  • the pitch direction swing is likely to collide with the body, whereas the roll direction swing is less likely to cause a collision. In this respect as well, the roll direction swing is less likely to cause noise. Therefore, by setting the threshold value in the pitch direction to be smaller than the threshold value in the roll direction, noise countermeasures that are sensitive to the pitch direction can be taken.
  • the directivity selector 330 determines that the shake is small when both the microphone switching signal output from the comparator 320 and the microphone switching signal output from the comparator 321 are 0, and The input signal from the unidirectional microphone 110 is output. When either is 1, it is determined that the shaking is large, and the input signal from the omnidirectional microphone 120 is output. As described above, shaking is likely to generate noise! /, Judgment is performed under conditions that are severe U for the direction, and vibration is difficult to generate noise, and judgment is performed under conditions that are gentle to the direction. By doing so, the sensitivity using a directional microphone is as good as possible, and the sound is picked up while continuing to collect sound. Sometimes, switching to an omnidirectional microphone can reduce the effects of noise.
  • a wearable terminal composed of combinations other than these may be used to explain some combinations of shaking detection means, shaking magnitude judgment means, and directivity control means.
  • the shake may be detected using an acceleration sensor.
  • Cross feed means that when switching from one directivity to the other directivity, the former volume is gradually reduced and the latter volume is gradually increased.
  • the directivity of the directional microphone force is not limited to unidirectionality, but may be secondary sound pressure gradient type directional or super directional.
  • the wearable terminal detects a shake of the device itself.
  • the wearable terminal uses a directional microphone so that the sound from the target direction can be picked up with high sensitivity. Because the omnidirectional microphone is used so that noise caused by shaking can be reduced by reducing the influence of the deviation in the direction of sound collection, users always wear it and record surrounding sounds. High-quality recording can be performed even in an unstable environment.
  • Such directivity control of a microphone can be used for a video camera, an audio recorder, an in-vehicle video / audio recording apparatus, etc. in addition to a wearable terminal.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

 本発明は利用者が常時身に付けて周囲の撮影および収音を行い続けるウェアラブル端末において、目的の音声を感度良く収音するために指向性マイクロホンを使っていても、歩行等による装置自体の揺れに起因するノイズや収音方向のずれの影響を軽減することを目的とする。そのために、揺れを検出するセンサを設置し、揺れが小さいときは、指向性マイクロホンを用い、揺れが大きいときは、ノイズの影響を受けにくい無指向性マイクロホンを用いるように、マイクロホンの指向性制御を行う。

Description

明 細 書
ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する 装置、方法、プログラム
技術分野
[0001] 本発明はウェアラブル端末においてマイクロホンにより収音する音声の品質向上に 関する。
背景技術
[0002] 近年、利用者が常時身体に装着し、利用者の体験する日常生活をライフログとして 記録し続けることができるウェアラブル端末が登場しつつある。ここで、ウェアラブル端 末とは、身体に着用できる小型の端末である。映像または音声を保存するために、機 能として撮像部または収音部を備えるものを対象とする。ウェアラブル端末は、手や 指による操作と ヽつた明示的な操作をしなくても、前述諸機能を継続する特性を有し ている。また、前記端末に取り付け部を備え、取り付け部にひも等をつけることにより 首にぶら下げるなど身体の所定部位を基準として支持することや、または、着衣に固 定することができる特性を有する携帯型の端末あるいは携帯型の撮影収音装置であ る。このようなウェアラブル端末に取り付けるマイクロホンは、収音方向をカメラが向い ている正面方向に向け、向かい合って話している人物の声等を収音したり、収音方 向を上に向け、利用者自身の声等を収音することができる。このような目的で用いら れるゥ アラブル端末は、屋外で騒音が存在する環境下においても明瞭に音声を録 音する必要があるため、単一指向性マイクロホン等、特定方向から到来する音響信 号を感度良く捉える指向性マイクロホンが用いられて 、る。
特許文献 1:特開平 1-39193号公報
特許文献 2:特開 2005-37273号公報
発明の開示
発明が解決しょうとする課題
[0003] しかし、単一指向性マイクロホンは、特定の方向に対して感度が高 、代わりに、そ れ以外の方向に対しては感度が低いので、ウェアラブル端末を装着した利用者が歩 行等を行ったときに、揺れによって収音方向が変わってしまうという問題がある。図 1 は、単一指向性マイクロホンと無指向性マイクロホンの感度の指向特性を示した図で ある。無指向性マイクロホンは、どの方向力 の音声も同じ感度で収音するのに対し て、単一指向性マイクロホンは、正面方向からの音声を感度良く収音し、その他の方 向からの音声は抑制されることを示している。従って、例えば、ウェアラブル端末を首 力もひもで吊り下げていて、マイクロホンが正面に向かいあって話している相手の声 を収音するように設置されている場合に、利用者の動きによって首ひもがねじれてゥ アラブル端末が正面方向から右に 90度回転したとすると、本来想定して!/、る収音 方向である正面方向からの音声は抑制され、抑制すべき右 90度方向からの音声が 高 ヽ感度で収音されてしまう。
[0004] また、単一指向性マイクロホンはノイズに対しても弱いという問題がある。図 2は、単 一指向性マイクロホンと無指向性マイクロホンの感度の周波数特性を示した図である 。図 2では、単一指向性マイクロホンとして、距離 dだけ離して設置することで 2つの無 指向性マイクロホンで収音した信号に位相差をつけ、それらを電気的に減算すること で指向性を合成する方式、すなわち、音圧傾度型の指向性合成方式を用い、合成 前の無指向性マイクロホンの感度と、合成後の単一指向性マイクロホンの感度とを比 較したものである。高周波域では、単一指向性マイクロホンも無指向性マイクロホンも ノイズに対して良好な感度を示している。しかし、無指向性マイクロホンの周波数依存 性が小さいのに対して、単一指向性マイクロホンは低周波域で著しく感度が落ちるこ とがわかる。特に、単一指向性マイクロホンのサイズを表すパラメータである dが小さく なるにつれて、低周波感度が悪ィ匕することがわかる。ウェアラブル端末のように携帯 する装置では、装置サイズを小さくすることが要求されるため、マイクロホンを離して 設置することで感度の問題を克服することは困難である。利用者の動きに伴って発生 するノイズは数 Hz程度の低い周波数をもつので、低周波域で S/N比が小さくなる単 一指向性マイクロホンでは、イコライザにより低周波域を増幅して感度を補正したとき に、低周波のノイズ成分が相対的に強調されてしまう。
[0005] 単一指向性マイクロホンのノイズ対策を行った従来技術として特許文献 1がある。特 許文献 1には、マイクロホンで収音された音響信号から、風がマイクロホンに当たる際 に発生する風雑音を検出し、単一指向性マイクロホンと無指向性マイクロホンを切り 替える装置が開示されている。しかし、特許文献 1の装置は単一指向性マイクロホン において風雑音を抑制する目的に好適な構成をとつており、装置の揺れにより発生 する突発的なノイズを検知し適切に 2つのマイクロホンの出力信号を切り替えることは 困難である。
[0006] ゥ アラブル端末は常時身体に装着され、利用者の状態にかかわらず収音動作が 継続されているために、利用者の動きに伴って、ウェアラブル端末が揺らされたり、利 用者の身体に衝突したりする危険が常にあり、単一指向性マイクロホンを用いる場合
、揺れに起因するノイズの影響ゃ収音方向のずれが収音品質の著しい低下を招くた め、何らかの対策を行うことが必要となる。
[0007] 本発明の目的は、ウェアラブル端末のような不安定な環境下で常時収音動作が継 続される装置において、装置が揺れてもできるだけ音質を低下させることなく収音す ることができる装置を提供することである。
課題を解決するための手段
[0008] 上記の課題を解決するために、本発明に係るウェアラブル端末は、収音手段と、自 機の揺れを検出する検出手段と、前記検出手段により検出される揺れの大きさに基 づいて、収音手段における指向性の切り替えを行う切替手段とを備えることを特徴と するウェアラブル端末である。
発明の効果
[0009] 本発明におけるウェアラブル端末によると、揺れが小さい安定な状態に装置がある 力 あるいは、揺れが大きい不安定な状態に装置があるかを検出し、安定な状態に ある場合には、目的とする音声を感度よく収音できるようにマイクロホンに指向性をも たせ、不安定な状態にある場合には、揺れに影響されにくいように無指向性マイクロ ホン力もの入力を利用するように、マイクロホンの指向性を切り替えることができる。
[0010] ここで、揺れとは、ウェアラブル端末の位置力 例えば、前後あるいは上下に連続的 に変化することのみならず、端末位置が任意の方向に変位するベクトルを示す。揺れ の大きさとは、前記ベクトルの絶対値で表されるスカラー量であり、揺れの有無とは、 前記ベクトルの絶対値力 soでな 、かあるかの 、ずれかを示す。所定の方向への揺れ の大きさとは、前記ベクトルの前記所定の方向の成分値を示す。
[0011] 揺れの大きさによって、マイクロホンの指向性を切り替えるので、ウェアラブル端末 のように常時携帯され収音が継続される装置であっても、利用者の行動によって引き 起こされる揺れの影響を軽減して、目的とする音声を明瞭に収音することができる。 例えば、首ひもがねじれて収音方向がずれるような揺れの場合でも、揺れが小さけ れば指向性マイクロホンにより本来収音すべき音声を感度良く収音し、首ひもが 90度 ねじれて収音方向がずれてしまうような大きな揺れがあった場合は無指向性マイクロ ホンに切り替えることで、本来収音すべき音声に対して感度が低下することを防ぐ。
[0012] また、利用者の動きに伴って低周波ノイズが発生したとしても、指向性マイクロホン 力 無指向性マイクロホンに切り替えると、感度の周波数依存性はなくなるので、ィコ ライザにより低周波域を増幅する必要はなぐ低周波のノイズ成分が相対的に強調さ れてしまう事態を防止できる。
ここで、前記収音部は、マイクロホンを含み、前記切替部は、前記マイクロホンの基 準軸方向の揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を 切り替えるとしてもよ 、。
[0013] マイクロホンを基準軸の方向に大きく変位させる揺れが、最もノイズを発生させやす いため、マイクロホンの基準軸の方向の揺れに対して揺れの大小の判定を行うことで 、指向性の切り替えを有効に行うことができる。
ここで、前記マイクロホンは音圧を感知する振動板を有し、前記基準軸方向は、前 記振動板が略軸対称である場合の軸方向であり、前記検出部はピッチ方向の揺れを 検出するとしてもよい。
[0014] マイクロホンの振動板は通常、ほぼ軸対称の形状をしており、その対称軸を基準軸 としたとき、基準軸方向をピッチ方向と呼ぶ。ピッチ方向の揺れは最もノイズとしての 影響が大きいため、これを検出対象とすることで、効果的なノイズ対策を行うことがで きる。
ここで、前記検出手段は、自機のピッチ方向、ロール方向、ョー方向の各角速度を 出力するセンサと、ピッチ方向、ロール方向、ョー方向のうち、マイクロホンの基準軸 の方向に、マイクロホンを変位させる角速度を変位量に変換する変換手段とを備え、 前記切替手段は、変位量と閾値との比較を行う比較手段を備え、変位量が閾値を越 えた場合に指向性を切り替えるとしてもよい。
[0015] 装置の揺れの大きさを角速度力 検出し、それと閾値とを比較することで、マイクロ ホンに指向性をもたせるかどうかの判定を行うことができる。揺れが閾値を越えた場 合に無指向性マイクロホンを利用するように切り替えることで、揺れに起因するノイズ の影響を軽減することができる。
ここで、前記切替部は、前記変位量が前記閾値を越えた場合に、前記収音部の前 記指向性を無指向性に切り替えるとしてもよい。
[0016] 自機の揺れの大きさを表す変位量が閾値を越えたとき、収音部の指向性を無指向 性にするので、揺れによるノイズの影響を軽減することができる。設計段階で決める 閾値によって揺れに対する耐性を制御できる。
ここで、前記ウェアラブル端末は、カメラを更に備え、前記切替部は、前記変位量が 前記閾値を越えな ヽ場合に、前記カメラの撮像方向に前記指向性を有するとしても よい。
[0017] 自機の揺れの大きさを表す変位量が閾値を越えなければ、指向性マイクロホンでも ノイズの影響は小さ 、と判断される。収音部の指向性をカメラの撮像方向に合わせる ことで、撮影している相手の音声をよりはっきりと収音することができる。
ここで、前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、 前記検出手段は、前記カメラで撮影された第 1の画像を、前記第 1の画像より時間的 に前に撮影された第 2の画像と比較し、マイクロホンの基準軸の方向の揺れが発生し た力どうかを検出するとしてもよい。
[0018] 音声と同時に映像を記録するためにカメラを備えているウェアラブル端末では、別 途センサを設置しなくても、カメラで撮影された画像をもとに揺れの大きさを判定する ことができる。映像を解析することで、マイクロホンの基準軸の方向の揺れであるかど うかを判定することができる。
ここで、前記切替部は、前記第 1の画像と前記第 2の画像とに基づいて判定される 自機のピッチ方向への変位量が閾値を越えた場合に、前記収音部の前記指向性を 無指向性に切り替えるとしてもよい。 [0019] カメラが撮影した画像を解析することにより、自機がどちらの方向に揺れているかを 判定することができるので、最もノイズの影響が大きくなるピッチ方向の揺れを検出す ることができる。ピッチ方向の揺れの大きさを示す変位量が閾値を越えた場合に、指 向性を無指向性に切り替えることで、ノイズの影響を軽減することができる。
ここで、前記切替部は、基準軸方向の変位量力 Sインパルス性を有する出力である 場合に、前記収音部の前記指向性を無指向性に切り替えるとしてもよい。
[0020] ウェアラブル端末が身体などにぶつ力つた衝撃で発生するインパルス性の揺れを 検出し、その場合に無指向性マイクロホンに切り替えることで、突発的なノイズの影響 を軽減することができる。
ここで、前記検出手段は、自機のピッチ方向、ロール方向、ョー方向の各角速度を 出力するセンサを備え、前記インパルス出力は、ピッチ方向、ロール方向、ョー方向 の各角速度から算出される変位量の差分値としてそれぞれ表現され、前記切替手段 は、差分値と閾値との比較を行う比較手段を備え、差分値が閾値を越えた場合に指 向性を切り替えるとしてもよ 、。
[0021] 装置の揺れの大きさを角速度で検出し、揺れの変化の大きさを表す差分値をイン ノ^ト性の揺れの大きさとみなし、差分値が閾値よりも大きい場合に指向性のマイクロ ホン力 無指向性マイクロホンに切り替えることで、突発的なノイズの影響を軽減する ことができる。
ここで、前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、 前記インパルス出力は、カメラで撮影された画像におけるブレの度合 、で表現される としてちよい。
[0022] カメラで撮影された画像にブレがある場合に、インパルス性の揺れが発生したとみ なし、その場合に無指向性マイクロホンに切り替えることで、突発的なノイズの影響を 軽減することができる。
ここで、前記収音手段は、指向性マイクロホンと無指向性マイクロホンとをそれぞれ 少なくとも 1つ以上含み、前記切替手段は、前記検出手段により揺れが検出された場 合に、指向性マイクロホン力 入力される信号から、無指向性マイクロホン力 入力さ れる信号に、出力信号を切り替えるとしてもよい。 [0023] 指向性マイクロホンと無指向性マイクロホンをそれぞれ設置し、揺れの大きさに応じ て両者を切り替えることができる。揺れが小さいときは、目的の音声を感度よく収音で きるが指向性マイクロホンを用い、揺れが大きいときは、ノイズに対する耐性が強く収 音方向によらず一定の感度をもつ無指向性マイクロホンを用いることで、利用者が移 動しながら収音するような場合でも、音質の低下を防ぐことができる。
[0024] ここで、前記収音手段は、無指向性マイクロホンを少なくとも 2つ以上含み、無指向 性マイクロホン力 の入力信号を合成することにより感度に指向性をもたせる合成す る合成手段を備え、前記切替手段は、前記検出手段により揺れが検出された場合に 、前記合成手段で合成された信号から、合成前の信号に、出力信号を切り替えるとし てもよい。
無指向性マイクロホンを複数使って、それらの音響信号を合成することにより指向 性を生み出すので、指向性マイクロホンを別途用意しなくても、目的の音声に対して 感度良い収音を行うことができる。揺れが大きい場合は、いずれか一方の無指向性 マイクロホン力もの入力を用いることで、利用者が移動しながら収音するような場合で も、音質の低下を防ぐことができる。
[0025] ここで、前記比較手段における変位量と閾値との比較は、揺れの方向ごとに個別に 設定された閾値を用いてなされるとしてもよい。
揺れの大きさを表す角速度と閾値の比較は、揺れの方向ごとに設定された閾値を 用いて、それぞれ個別に行われるので、マイクロホンの基準軸の方向のように小さな 揺れでも大きなノイズを生む方向に対しては閾値を小さくし、マイクロホンを基準軸の 方向に変位させずノイズを生みにくい揺れに対しては閾値を大きくするなどして、小 さいゆれに対しても敏感に反応する指向性切り替えを行うことができる。
[0026] ここで、前記切替手段による指向性の切り替えは、クロスフ ード処理により行われ るとしてちよい。
指向性を切り替える際に、瞬時に切り替えるのではなぐ切り替え前の出力成分を 徐々に下げ、同時に、切り替え後の出力成分を徐々に上げるというクロスフ ード処 理を行うことで、聴感上の違和感をより軽減することができる。
図面の簡単な説明 [0027] [図 1]単一指向性マイクロホンおよび無指向性マイクロホンの感度の指向特性。
[図 2]単一指向性マイクロホンおよび無指向性マイクロホンの感度の周波数特性。
[図 3]ゥ アラブル端末とその使用形態を示す図。
[図 4]ウエアラブル端末に設置するマイクロホンの収音方向を示す図。
[図 5]本発明の実施形態 1におけるウェアラブル端末の構成を示すブロック図。
[図 6]本発明の実施形態 1におけるウェアラブル端末の回転方向を示す図。
[図 7]本発明の実施形態 1におけるウェアラブル端末の動作を示すタイミングチャート
[図 8]本発明の実施形態 1におけるウェアラブル端末の指向性切り替え制御を説明す る模式図。
[図 9]本発明の実施形態 1におけるウェアラブル端末の動作を示すフローチャート。
[図 10]本発明の実施形態 2におけるウェアラブル端末の構成を示すブロック図。
[図 11]本発明の実施形態 2におけるウェアラブル端末の指向性合成部の構成を示す ブロック図。
[図 12]本発明の実施形態 3におけるウェアラブル端末の構成を示すブロック図。
[図 13]本発明の実施形態 3におけるウェアラブル端末のブレ画像検出部の構成を示 すブロック図。
[図 14]本発明の実施形態 3におけるウェアラブル端末のブレ画像検出方法を説明す る図。
[図 15]本発明の実施形態 4におけるウェアラブル端末の構成を示すブロック図。
[図 16]本発明の実施形態 4におけるウェアラブル端末のインパルス検出部の構成を 示すブロック図。
[図 17]本発明の実施形態 5におけるウェアラブル端末の構成を示すブロック図。 符号の説明
[0028] 110 :単一指向性マイクロホン
120:無指向性マイクロホン
121:無指向性マイクロホン
200 :ジャイロ 210: AD変
220 :クロック
310 :乗算器
311 :乗算器
320 :比較器
321 :比較器
330 :指向性選択部
340 :指向性合成部
341 :遅延器
342: :スィッチ
343: :減算器
344: :イコライザ
350: :インパルス検出部
351: :算術演算器
352: :レジスタ
360: :遅延部
361: :遅延部
400: :符号化部
410: :記録部
420: :配信部
500: :撮像装置
510: :ブレ画像検出部
511: :フレームメモリ
512: :動きベクトル算出部
発明を実施するための最良の形態
〔実施形態 1〕
本発明の実施形態 1では、ジャイロにより検出した揺れの大きさに応じて指向性マイ クロホンと無指向性マイクロホンの切り替えを行うウェアラブル端末について説明する 図 3(a)は、本発明の実施形態 1におけるウェアラブル端末の外観図である。ウェアラ ブル端末は、正面の映像を取得するためのカメラと、音声等を収音するためのマイク 口ホンと、ウェアラブル端末自体の揺れを検出するためのジャイロを内蔵している。ゥ エアラブル端末は、カード型の薄い形状をしており、マイクロホンは基準軸をカメラの 正面方向に向けて設置されているものとする。このウエアラブル端末は、図 3(b)に示 すように、利用者が首力も吊り下げて使用されることを想定している。指向性マイクロ ホンの指向性の方向とマイクロホンの基準軸の方向は、必ずしも一致する必要はなく 、図 4に示すように、カメラの撮影対象となる話し相手の方向に向けてもよいし、自分 の声を収音する目的で上向きにしてもよい。
[0030] ここで、マイクロホンの基準軸と振動面の関係について述べておく。マイクロホンは 、空気の振動である音波を検出し、それを電気信号に変換する装置であるが、音圧 を感知するための振動面をもっている。この振動面は平面とは限らないが、通常、軸 対称、もしくは軸対称に近い形状をしており、この対称軸を基準軸と呼ぶ。 (IEC60050 -801参照)マイクロホンは、基準軸方向において振動面と空気との接触面積が大きく なるような構造をしており、振動面が平面である場合は、基準軸と振動面とは互いに 垂直になっている。以下では、振動面が平面でない場合でも、便宜上、基準軸に垂 直な平面を振動面と呼んで説明する。
[0031] 図 5は、本発明の実施形態 1におけるウェアラブル端末の構成を示すブロック図であ る。本発明の実施形態 1におけるウェアラブル端末は、ジャイロ 200で検出した角速度 を、 AD変^^ 210を介して1^?(01^&1 Signal Processor)に入力し、揺れの大きさを判 定して単一指向性マイクロホン 110と無指向性マイクロホン 120とを切り替えて収音す る構成になっている。ジャイロ 200、 AD変^ ^210、 DSPはクロック 220で同期されてい る。収音された音声データは、符号ィ匕部 400において符号ィ匕されたのち、 SDカードな どの記録媒体への記録や、 LAN内でのライブ配信などのために、記録部 410や配信 部 420へと転送される。
[0032] 以下、各構成要素の詳細について説明する。
単一指向性マイクロホン 110および無指向性マイクロホン 120は、それぞれ、特定の 方向からの音声に対して高 、感度を示すマイクロホンと、どの方向力 の音声に対し ても同じ感度で収音するマイクロホンである。それらの指向特性は図 1で示した通りで ある。マイクロホンに用いられるマイク素子は、コンデンサ型やダイナミック型など種々 あるが、いずれにしても揺れに起因するノイズは問題となる。ダイナミック型マイクロホ ンは、ある程度の揺れに対する耐性をもってはいる力 感度の面でコンデンサ型マイ クロホンよりも劣る。揺れの小さ!/、安定状態にお!/、て高 、感度を得るためにはコンデ ンサ型マイクロホンを用いる方が望ましぐその場合、本発明による揺れ対策はいつ そう重要なものとなる。
[0033] ジャイロ 200は、一般的な角速度センサである。ジャイロ 200が検出する角速度の回 転方向について、図 6を参照しながら説明する。今、図 3(b)のように、マイクロホンの振 動面が正面方向になるように設置されたゥ アラブル端末を首力 吊り下げて使用す る場合、図 3(a)に示すように、正面方向に X軸、鉛直上向きに Z軸、 X軸と Z軸に垂直 な方向に Y軸をとる。このとき、マイクロホンの振動面は YZ平面に平行であり、基準軸 は X軸に平行となっている。ウェアラブル端末の揺れ方向は、ロール方向、ピッチ方 向、ョー方向の 3種類に分類して考えられる。
[0034] 図 6(a)は、 X軸周りの回転であり、この回転方向をロール方向と呼ぶ。ロール方向の 揺れは、首から吊り下げられたウエアラブル端末が、身体に平行に振動するような揺 れである。このような揺れは、マイクロホンの振動面を基準軸方向に変位させないた め、ノイズは発生しにくい。ロール方向の揺れに対して、ジャイロ 200は X軸周りの回転 の角速度を出力する。
[0035] 図 6(b)は、 Y軸周りの回転であり、この回転方向をピッチ方向と呼ぶ。ピッチ方向の 揺れは、首から吊り下げられたウェアラブル端末力 身体に近づいたり遠ざ力つたり するような揺れである。このような揺れは、マイクロホンの振動面を基準軸方向に大き く変位させるため、小さな揺れであっても大きなノイズの原因となる。更に、身体との 衝突によっても大きなノイズが発生するので、この方向の揺れに対するノイズ対策が 最も重要となる。ピッチ方向の揺れに対して、ジャイロ 200は Y軸周りの回転の角速度 を出力する。
[0036] 図 6(c)は、 Z軸周りの回転であり、この回転方向をョ一方向と呼ぶ。ョー方向の揺れ は、首力も吊り下げられたウェアラブル端末が、首ヒモをねじらせて振動するような揺 れである。このような揺れは、マイクロホンの振動面を基準軸方向に変位させる力 そ の変位は小さいので、それほど大きなノイズの原因にはならない。ョー方向の揺れに 対して、ジャイロ 200は Z軸周りの回転の角速度を出力する。
[0037] 以上のように、揺れの方向によってノイズの発生しやすさが異なるため、どの方向の 揺れを検出するかが重要となる。
なお、マイクロホンが複数あり、それらの基準軸が平行でない場合は、最もノイズを 抑制したいマイクロホンを選び、そのマイクロホンの基準軸方向を考えてもよいし、複 数のマイクロホン全体として最もノイズが発生しやす ヽ方向を基準に考えてもよ 、。
[0038] 本発明の実施形態 1におけるウェアラブル端末は、最もノイズを発生させやす ヽピッ チ方向の揺れに対して、角速度を検出し指向性の切り替え制御を行うものとする。ジ ャイロ 200は、ロール方向、ピッチ方向、ョー方向の各角速度をすベて検出する 3軸ジ ャイロであっても、ピッチ方向の角速度だけを検出する 1軸ジャイロであってもよいが、 3軸ジャイロの場合は、 DSPにおいてピッチ方向の角速度だけを利用するものとする。 ジャイロ 200は、検出した角速度に対応する電圧値を出力し、 AD変換器 210に入力す る。
[0039] AD変換器 210は、ジャイロ 200が出力する電圧値を入力として、デジタル値に変換し 、 DSPに出力する。 AD変翻210はクロック 220が出力するクロック信号により駆動さ れ、揺れの変化を検出できる程度のサンプリングフレームで電圧値を平均化したデジ タル値を出力する。
これを、図 7は、本発明の実施形態 1におけるウェアラブル端末の、指向性切り替え 制御を示すタイミングチャートを用いて説明する。図 7における時間軸上の点 tl,t2,... は、クロック周期の開始点を表している。ジャイロ 200は、図 7の第 1段目に示すように、 クロックの 1周期に相当するフレームごとに角速度 #1,#2,…を検出し、対応する電圧値 を出力する。 AD変翻210は、角速度 #1から #5の 5フレーム分の角速度を積算し、 5 フレーム分の時間長で平均化した値を乗算器 310に出力する。
[0040] DSPは、 AD変 210が出力するデジタル値を入力として、揺れの大きさが閾値よ り大きいかどうかを判定し、その結果に応じて、単一指向性マイクロホン 110と無指向 性マイクロホン 120との切り替えを行う。 DSPは、乗算器 310、比較器 320、指向性選択 部 330から構成される。
乗算器 310は、 AD変 210から入力される 5フレーム当たりの角速度を示すデジ タル値に 5フレームの時間長を乗じて、 5フレームの時間に変化した平均的な角度を 変位量として算出する。この変位量は、揺れの大きさの指標となる。乗算器 310は、図 7に第 2段目に示すように、ジャイロ 200の出力する角速度力 フレーム分蓄積された 時刻 t6において、変位量 #1を算出し、比較器 320に出力する。
[0041] 比較器 320は、乗算器 310で算出された変位量を予め決められた閾値と比較し、マ イク口ホン切り替え信号 SS1を出力する。比較器 320は、変位量が閾値より小さい間は 、 SS1=0を出力し、変位量が閾値より大きくなると、 SS1=1を出力する。例えば、図 7に おいて、時刻 tlでは揺れが小さいとすると、マイクロホン切り替え信号 SS1=0となって いるとする。図 7の第 3段目に示すように、時刻 t7において、変位量 #1が閾値よりも大 きいと比較器 320が判定したとすると、時刻 t8からは、マイクロホン切り替え信号 SS1=1 が出力される。
[0042] 指向性選択部 330は、比較器 320が出力するマイクロホン切り替え信号 SS1が、 SS1= 0のときは単一指向性マイクロホン 110を選択し、 SS1=1のときは無指向性マイクロホン 120を選択する。指向性選択部 330は、選択されたマイクロホン力もの入力信号をその まま出力する。例えば、図 7の第 4段目に示すように、比較器 320におけるマイクロホン 切り替え信号の変更が完了する時刻 t8までは、単一指向性マイクロホン 110が選択さ れ、時刻 t8以降は、無指向性マイクロホン 120が選択される。
[0043] 実際にウェアラブル端末が身体に装着されて使用される場合に生じる揺れと指向 性切り替えの様子を模式的に表すと、図 8のようになる。図 8(a)には、利用者が静止し ている時間帯と移動している時間帯とが示されてある。図 8(b)には、ジャイロ 200で検 出された角速度をもとに算出された変位量 VIの時間変化がプロットされている。利用 者が静止している間は、変位量 VIは閾値 αよりも小さな値をとつているのに対して、 利用者が移動すると変位量 VIはスパイク状の立ち上がりを示す。移動中にも変位量 VI力 閾値 α以下になる瞬間もある力 短時間のうちにまた閾値 α以上になる可能 性が高いことを示している。図 8(c)には、比較器 320が出力するマイクロホン切り替え 信号 SSIの時間変化がプロットされている。最初、変位量 VIは、閾値 α以下であるの で、比較器 320は SS1=0を出力する。利用者の移動が始まり、最初に変位量 VIが閾 値 αより大きくなる時刻 T1において、比較器 320は SS1=1に変更する。移動中、何度 か変位量 VIが閾値 aより小さくなることもあるが、頻繁にマイクロホンの指向性を切り 換えると聴感上の違和感を生じさせてしまうので、保持時間 Tholdを設け、変位量 VI が閾値 αより小さくなつても、時間 Tholdの間は、比較器 320は SS1=1を出力し続ける。 移動終了直前に、変位量 VIが閾値 αより小さくなる時刻 T2から、時間 Thold経過して も、変位量 VIは閾値ひより小さいままであるので、その時点で比較器 320は SS1=0に 切り替える。
[0044] 上で示した、指向性切り替え動作をフローチャートで示すと、図 9のようになる。まず 、ステップ S101において、ジャイロ 200が角速度を検出する。検出された角速度は、 A D変 210を介して乗算器 310に入力される。次に、ステップ S102において、乗算器 310は、角速度とサンプリング時間から変位量 VIを算出する。ステップ S103では、比 較器 320が、変位量 VIと閾値 αを比較し、 VIく aならステップ S104に進み、 VI〉 aなら ステップ S106に進む。ステップ S104では VIく aとなってからの経過時間を Tを取得す る。ステップ S105において、 Tく Tholdならステップ S106へ移り、 TXTholdならステップ S1 07へ進む。ステップ S106では、比較器 320は、マイクロホン切り替え信号 SS1=1を出力 し、ステップ S108において、指向性選択部 330は、無指向性マイクロホンを選択する。 ステップ S107では、比較器 320は、マイクロホン切り替え信号 SS1=0を出力し、ステップ S109において、指向性選択部 330は、単一指向性マイクロホンを選択する。
[0045] 以上のようにして、本発明の実施形態 1におけるウェアラブル端末は、装置自体の 揺れが小さいときは、目的の音声を感度よく収音できるように単一指向性マイクロホン 110を用い、装置自体の揺れが大きいときは、ノイズの影響を受けにくぐ感度が収音 方向に依存しな 、無指向性マイクロホン 120を用いることで、利用者の動作に影響さ れにく ヽ収音を行うことができる。
〔実施形態 2〕
本発明の実施形態 2では、無指向性マイクロホンを 2つ用い、ジャイロにより検出した 揺れの大きさに応じて 2つの無指向性マイクロホンが出力する音響信号力 指向性を 合成する方法の切り替えを行うウェアラブル端末について説明する。
[0046] 本発明の実施形態 2におけるウェアラブル端末では、 2つの無指向性マイクロホンを 用いて一次音圧傾度型の指向性合成を行ない、図 4に示すように、 2つの無指向性 マイクロホンはを距離 dだけ離して設置する。無指向性マイクロホンの設置位置と距離 dを調整することで指向性を制御し、話している相手の音声を感度良く収音するため に、図 4(a)のように収音方向を正面に向けることも、あるいは、利用者自身の音声を感 度良く収音するたに、図 4(b)のように収音方向を上に向けることもできる。このようにし て、指向性を合成する場合でも、単一指向性マイクロホンのように、揺れに起因するノ ィズに対しては弱ぐ対策が必要となる。
[0047] 図 10は、本発明の実施形態 2におけるウェアラブル端末の構成を示すブロック図で ある。本発明の実施形態 2におけるウェアラブル端末は、図 5で示した実施形態 1にお けるウェアラブル端末の単一指向性マイクロホン 110を無指向性マイクロホン 121に、 指向性選択部 330を指向性合成部 340に置き換えた構成となっている。
本発明の実施形態 2におけるウェアラブル端末力 ジャイロ 200で検出した角速度を 乗算器 310で変位量 VIに変換し、比較器 320で閾値 ocと比較することで指向性を切り 替えるという点は、実施形態 1と同じである。
[0048] 以下、本発明の実施形態 2におけるウェアラブル端末の指向性合成部 340について 説明する。
本発明の実施形態 2におけるウェアラブル端末の指向性合成部 340は、比較器 320 が出力するマイクロホン切り替え信号 SS1が 0のときは、無指向性マイクロホン 120と無 指向性マイクロホン 121から入力される信号を位相をずらして減算処理することにより 指向性を合成した信号を出力する。また、マイクロホン切り替え信号 SS1が 1のときは、 2つの無指向性マイクロホン力 入力される信号のうちのいずれかの信号をそのまま 出力する。
[0049] 図 11は、本発明の実施形態 2におけるウェアラブル端末の指向性合成部 340の構 成を示すブロック図である。指向性合成部 340は、遅延器 341、スィッチ 342、減算器 3 43、イコライザ 344力 構成される。
遅延器 341は、無指向性マイクロホン 120から入力される信号の位相を遅延させる。 遅延時間ては、 2つの無指向性マイクロホンの振動面の間の距離 dと音速 cとを用い て τ =d=cと定義される。ここで、音速 cは、およそ 340m/sの一定値とみなす。
[0050] スィッチ 342は、比較器 320が出力するマイクロホン切り替え信号 SS1に応じて、指向 性の合成を行うかどうかを切り替えるスィッチである。 SS1が 0のときは、指向性を合成 するために、遅延器 341から入力される信号をそのまま減算器 343へ出力する。 SS1が 1のときは、指向性を合成しないので、遅延器 341から入力される信号を遮断する。 減算器 343は、無指向性マイクロホン 121から入力される信号と、スィッチ 342を通過 してくる信号に負号をつけた信号とを、加え合わせることにより減算処理を行う。無指 向性マイクロホン 120から入力される信号がスィッチ 342で遮断されて 、る場合は、減 算器 343は無指向性マイクロホン 121から入力される信号をそのまま出力する。
[0051] イコライザ 344は、比較器 320が出力するマイクロホン切り替え信号 SS1に応じて、減 算器 343で減算処理された信号の低周波域の増幅を行う。 SS1が 0のときは、指向性 合成が行われ、低周波感度が落ちているので、低周波域の増幅を行う。増幅する範 囲や増幅の度合い等は、予め設計段階で定められている値を用いる。 SS1が 1のとき は、指向性合成は行われていないので、増幅処理をする必要はなぐ減算器 343から 入力される信号をそのまま出力する。
[0052] 以上のようにして、本発明の実施形態 2におけるウェアラブル端末は、揺れが小さい ときは、 2つの無指向性マイクロホン力 の信号を合成することで指向性を合成し、収 音対象からの音声に対する感度を高め、揺れが大きいときは、無指向性マイクロホン 力も入力のいずれかを用いることで、収音対象からの音声に対する感度の低下を防 ぐことができる。
〔実施形態 3〕
本発明の実施形態 3では、カメラにより撮影した画像により揺れの大きさを検出し、 揺れの大きさに応じて指向性マイクロホンと無指向性マイクロホンの切り替えを行うゥ ヱアラブル端末にっ 、て説明する。
[0053] 図 12は、本発明の実施形態 3におけるウェアラブル端末の構成を示すブロック図で ある。本発明の実施形態 3におけるウェアラブル端末は、図 5で示した実施形態 1にお けるウェアラブル端末のジャイロ 200により検出する角速度の代わりに、撮像装置 500 により撮影した画像を用い、乗算器 310において変位量を算出する代わりに、ブレ画 像検出部 510において画像にブレがないかどうかを検出する構成となっている。撮像 装置 500は、映像を撮影して電気信号として出力する装置であり、例えば、 CCDカメラ 等である。
[0054] 本発明の実施形態 3におけるウェアラブル端末が、撮像装置 500で一定の時間間隔 で撮影され続ける画像をもとにブレ画像検出部 510で画像のブレを検出したあと、比 較器 320が定量ィ匕されたブレと閾値 αとを比較し、マイクロホン切り替え信号 SS1に応 じて、指向性選択部 330が単一指向性マイクロホン 110からの入力と無指向性マイクロ ホン 120からの入力とを切り替えて出力する点は、実施形態 1と同じである。
[0055] 以下、本発明の実施形態 3におけるウェアラブル端末のブレ画像検出部 510につい て説明する。
図 13は、本発明の実施形態 3におけるウェアラブル端末のブレ画像検出部 510の構 成を示すブロック図である。ブレ画像検出部 510は、フレームメモリ 511と動きベクトル 算出部 512から構成される。
[0056] フレームメモリ 511は、撮像装置 500から入力される画像のうち、最新の 2枚を記憶す る。
動きベクトル算出部 512は、フレームメモリ 511に記憶されている最新の画像と直前 の画像とを比較しすることによって、ウェアラブル端末自体の揺れを検出し、揺れの 大きさを定量ィ匕する。画像力 揺れの大きさを算出する方法は、例えば、特許文献 2 に開示されている方法がある。特許文献 2の方法では、画像をメッシュに分割し、各ブ ロックごとに最新の画像と直前の画像との比較を行い、ブロック内の映像の動きを表 す動きベクトルから、撮影対象物が揺れの大きさを算出する。撮影対象物が動いて Vヽな 、と仮定すると、これはウェアラブル端末自体が動 、て 、るものとみなすことがで きる。また、この方法に限らず、画像処理により揺れを検出できれば、他の方法であつ てもよい。
[0057] 例えば、図 14のように首から吊りさげたウェアラブル端末が前後に揺れる場合で説 明する。図 14(a)のように、ウェアラブル端末が前方に揺れているときに撮影された画 像は図 14(b)のようになる。一方、図 14(c)のように、ウェアラブル端末が鉛直方向に静 止しているときに撮影された画像は図 14(d)のようになる。これら 2つの画像を比較する と、全体が上下にシフトしているので、このことから、ウェアラブル端末はピッチ方向に 揺れていると判定される。また、シフトの大きさや撮影対象物の大きさの変化を解析 することで、揺れの大きさを推定することができる。
[0058] 以上のようにして、撮像装置 500で撮影した画像をもとに、ウェアラブル端末自体の 揺れを検出し、揺れの大きさに応じてマイクロホンの指向性を切り替えることができる ウェアラブル端末では、一般的に撮影装置を備えており、音声の記録と同時に映像 の記録も行われる。撮影した映像により揺れを検出する場合、揺れ検出のためジャィ 口等を新たに設置する必要がないため、装置の小型にとって有利となる。
〔実施形態 4〕
本発明の実施形態 4では、身体に衝突した場合などに発生するインパルス性の揺 れを検出し、衝撃の大きさに応じて 2つの無指向性マイクが出力する音響信号力 指 向性を合成する方法の切り替えを行うウェアラブル端末について説明する。
[0059] 図 15は、本発明の実施形態 4におけるウェアラブル端末の構成を示すブロック図で ある。本発明の実施形態 4におけるウェアラブル端末は、図 2で示した実施形態 2にお けるウェアラブル端末の乗算器 310と比較器 320の間にインパルス検出部 350を挿入 し、遅延部 360と遅延部 361を追加した構成となって 、る。
本発明の実施形態 4におけるウェアラブル端末は、ジャイロ 200で検出した角速度を 乗算器 310で変位量 VIに変換するまでと、比較器 320が出力するマイクロホン切り替 え信号 SS1に応じて、 2つの無指向性マイクロホンから出力される信号の間で減算処 理を行って指向性を合成する点は、実施形態 2と同じである。
[0060] 以下、本発明の実施形態 4におけるウェアラブル端末のインパルス検出部 350につ いて説明する。
図 16は、本発明の実施形態 4におけるウェアラブル端末のインパルス検出部 350の 構成を示すブロック図である。インパルス検出部 350は、算術演算器 351レジスタ 352と で構成される。
[0061] 算術演算器 351は、乗算器 310が出力する変位量 VIの差分値を演算し、比較器 320 に出力する。時刻 tにおいて、乗算器 310が出力する変位量を Vt、直前の時刻 (t-1)に おいて、乗算器 310が出力した変位量を Vt-1とすると、レジスタ 352には、直前の変位 量 Vt-1が保持されている。算術演算器 351は、乗算器 310から入力される最新の変位 量 Vtと、レジスタ 352に保持されて ヽる直前に変位量 Vt-1との差 (Vt-Vt- 1)を比較器 3 20に出力する。演算後、レジスタ 352は最新の変位量 Vtを保持するように更新される
[0062] 図 8でも示した通り、利用者が静止しているときは、変位量 VIの変動は小さいので、 差分値も小さくなる。しかし、利用者が移動を開始した直後や、移動中は、変位量 VI が急激に変化するため、差分値も大きくなる。このようなインパルス性の揺れに対して は、閾値 j8と比較することにより揺れの大きさの判定を行う。
インパルス検出部 350がインパルス性の揺れを検出するためには、変位量 VIの差 分をとるので、比較器 320が出力するマイクロホン切り替え信号 SS1は、マイクロホンが 出力する信号に比べて遅延が生じる。この遅延を補正するために、マイクロホンから の出力に対して、遅延部 360と遅延部 361を挿入する。これらは、マイクロホンの出力 信号を一定の遅延時間 Timpだけ遅延して出力する。遅延時間 Timpは、インパルス 判定に要する時間に相当し、予め設定されているものとする。
[0063] 比較器 320が出力するマイクロホン切替え信号 SS1は、差分値が閾値 j8より大きいと き SS1=1とし、差分値が閾値 j8より小さいとき SS1=0とする点は、実施形態 2と同じであ る。
インパルス性の揺れは通常の揺れに比べて大きなノイズを発生させやす 、ので、ィ ンパルス性の揺れに対する判定条件を緩く設定しておくことで、移動中でも収音品質 の低下を防止することができる。
〔実施形態 5〕
本発明の実施形態 5では、揺れの方向ごとに異なる閾値を用いて判定を行い、各 方向の揺れの大きさに応じて指向性マイクロホンと無指向性マイクロホンの切り替え を行うウェアラブル端末について説明する。
[0064] 図 17は、本発明の実施形態 5におけるウェアラブル端末の構成を示すブロック図で ある。本発明の実施形態 5におけるウェアラブル端末は、図 5で示した実施形態 1にお けるウェアラブル端末の乗算器 310、比較器 320が、ピッチ方向とロール方向とに別々 に設置した構成となっている。ウェアラブル端末を図 3(b)のように首から吊りさげて使う 場合、首ひもの長さがあるために、図 6で示した 3つの方向のうち、ピッチ方向の揺れ が最もマイクロホンの振動面を変位させる可能性が高 、が、次にマイクロホンの振動 面を変位させる可能性が高いのはロール方向である。そこで、本発明の実施形態 5に おけるウェアラブル端末は、ピッチ方向にカ卩えて、それとは別にロール方向の揺れに ついても揺れの判定を行う。本発明の実施形態 5におけるウェアラブル端末が、ジャ イロ 200で検出した角速度を、乗算器 310および乗算器 311で変位量に変換し、比較 器 320および比較器 321で変位量と閾値と比較し、出力されるマイクロホン切り替え信 号に応じて、指向性選択部 330が、単一指向性マイクロホン 110から入力される音響 信号か、無指向性マイクロホン 120から入力される音響信号のいずれかを選択して出 力する点は、実施形態 1と同じである。
[0065] ただし、本発明の実施形態 5におけるウェアラブル端末のジャイロ 200は、ピッチ方 向とロール方向の角速度を両方検出することのできる 2軸ジャイロであるとする。また、 ピッチ方向の閾値とロール方向の閾値とは個別に設定されて!、る。ピッチ方向の揺 れがマイクロホンの基準軸方向に揺れるのに対して、ロール方向の揺れはマイクロホ ンの基準軸に垂直な方向に揺れるので、ノイズの原因にはなりにくい。また、ピッチ方 向の揺れは身体との衝突が起こりやすいのに対して、ロール方向の揺れは衝突は起 こりにくいので、その点でも、ロール方向の揺れの方力 ノイズの原因になりにくい。 従って、ピッチ方向の閾値をロール方向の閾値に比べて小さく設定しておくことで、ピ ツチ方向に対して敏感なノイズ対策を行うことができる。
[0066] 指向性選択部 330は、比較器 320から出力されるマイクロホン切り替え信号と、比較 器 321から出力されるマイクロホン切り替え信号との、いずれもが 0のとき、揺れは小さ いと判定し、単一指向性マイクロホン 110からの入力信号を出力し、いずれかが 1のと き、揺れが大きいと判定し、無指向性マイクロホン 120からの入力信号を出力する。 以上のように、揺れがノイズを発生させやす!/、方向に対しては厳 U、条件で判定を 行 、、揺れがノイズを発生させにく 、方向に対しては緩 、条件で判定を行うことで、 できるだけ指向性マイクロホンを用いた感度の良 、収音を継続しつつ、揺れが大き ヽ ときには無指向性マイクロホンに切り替えることで、ノイズの影響を軽減することができ る。
〔その他の実施形態〕
上では、揺れの検出手段、揺れの大小の判定手段、指向性の制御手段を変えてい くつかの組み合わせを説明した力 これら以外の組み合せで構成されたウェアラブル 端末であってもよい。
[0067] また、揺れの検出手段として、ジャイロによる角速度検出とカメラで撮影した映像解 祈とを説明したが、これら以外にも、例えば、加速度センサを用いて揺れを検出して ちょい。
更に、指向性制御において、マイクロホン切り替え信号 SS1が切り替わったときに、 瞬間的に指向性を切り替えると聴感上の違和感が生じるので、クロスフェード処理で 切り替えるようにしてもよい。クロスフ ードとは、一方の指向性から他方の指向性へ 切り替える際に、前者の音量を徐々に下げ、後者の音量を徐々に上げていくことをい
[0068] また、指向性マイクロホン力もつ指向性は、単一指向性に限らず、二次音圧傾度型 旨向'性や超旨向'性などであってもよ ヽ。
産業上の利用可能性
[0069] 本発明にかかるウェアラブル端末は、装置自体の揺れを検出し、揺れが小さいとき は、目的の方向からの音声を感度良く収音できるように指向性マイクロホンを用い、 揺れが大きいときは、揺れに起因するノイズは収音方向のずれの影響を軽減して収 音を継続できるように無指向性マイクロホンを用いるので、利用者が常時身に付けて 周囲の音を記録し続けるような不安定な環境下でも、高品質な録音を行うことができ る。このようなマイクロホンの指向性制御はウェアラブル端末の他にも、ビデオカメラ、 音声レコーダー、車載用映像音声記録装置等にも利用することができる。

Claims

請求の範囲
[1] ウェアラブル端末であって、
少なくとも 1方向に指向性を形成可能な収音部と、
前記ウェアラブル端末の揺れを検出する検出部と、
検出された前記揺れの大きさに基づいて前記指向性の方向または前記指向性の 有無を切り替える切替部とを備える
ことを特徴とするウェアラブル端末。
[2] 前記収音部は、マイクロホンを含み、
前記切替部は、前記マイクロホンの基準軸方向の揺れの大きさに基づいて前記指 向性の方向または前記指向性の有無を切り替える
ことを特徴とする請求項 1記載のウェアラブル端末。
[3] 前記マイクロホンは音圧を感知する振動板を有し、
前記基準軸方向は、前記振動板が略軸対称である場合の軸方向であり、 前記検出部はピッチ方向の揺れを検出する
ことを特徴とする請求項 2記載のウェアラブル端末。
[4] 前記検出部は、自機のピッチ方向、ロール方向、ョー方向の各角速度を出力する センサと、
ピッチ方向、ロール方向、ョー方向のうち、マイクロホンの基準軸の方向に、マイクロ ホンを変位させる角速度を変位量に変換する変換部とを備え、
前記切替部は、
変位量と閾値との比較を行う比較部を備え、
変位量が閾値を越えた場合に指向性を切り替える
ことを特徴とする請求項 2記載のウェアラブル端末。
[5] 前記切替部は、前記変位量が前記閾値を越えた場合に、
前記収音部の前記指向性を無指向性に切り替える
ことを特徴とする請求項 4記載のウェアラブル端末。
[6] 前記ウェアラブル端末は、カメラを更に備え、
前記切替部は、前記変位量が前記閾値を越えない場合に、 前記収音部の前記指向性を前記カメラの撮像方向に切り替える
ことを特徴とする請求項 5記載のウェアラブル端末。
[7] 前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、
前記検出手段は、前記カメラで撮影された第 1の画像を、前記第 1の画像より時間 的に前に撮影された第 2の画像と比較し、マイクロホンの基準軸の方向の揺れが発生 した力どうかを検出する
ことを特徴をする請求項 2記載のウェアラブル端末。
[8] 前記切替部は、
前記第 1の画像と前記第 2の画像とに基づいて判定される自機のピッチ方向への変 位量が閾値を越えた場合に、
前記収音部の前記指向性を無指向性に切り替える
ことを特徴とする請求項 7記載のウェアラブル端末。
[9] 前記切替部は、基準軸方向の変位量力 Sインパルス性を有する出力である場合に、 前記収音部の前記指向性を無指向性に切り替える
ことを特徴とする請求項 1及至 4、 7の 、ずれかに記載のウェアラブル端末。
[10] 前記検出部は、自機のピッチ方向、ロール方向、ョー方向の各角速度を出力する センサを備え、
前記インパルス性を有する出力は、ピッチ方向、ロール方向、ョー方向の各角速度 カゝら算出される変位量の差分値としてそれぞれ表現され、
前記切替部は、
差分値と閾値との比較を行う比較部を備え、
差分値が閾値を越えた場合に指向性を切り替える
ことを特徴とする請求項 9記載のウェアラブル端末。
[11] 前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、
前記インパルス性を有する出力は、カメラで撮影された画像におけるブレの度合 ヽ で表現される
ことを特徴とする請求項 9記載のウェアラブル端末。
[12] 前記収音部は、指向性マイクロホンと無指向性マイクロホンとをそれぞれ少なくとも 1 つ以上含み、
前記切替部は、前記検出部により揺れが検出された場合に、指向性マイクロホンか ら入力される信号から、無指向性マイクロホン力 入力される信号に、出力信号を切 り替える
ことを特徴とする請求項 1、 7、 9のいずれか〖こ記載のウェアラブル端末。
[13] 前記収音部は、無指向性マイクロホンを少なくとも 2つ以上含み、
無指向性マイクロホン力 の入力信号を合成することにより感度に指向性をもたせ る合成する合成部を備え、
前記切替部は、前記検出部により揺れが検出された場合に、前記合成部で合成さ れた信号から、合成前の信号に、出力信号を切り替える
ことを特徴とする請求項 1、 7、 9のいずれか〖こ記載のウェアラブル端末。
[14] 前記比較部における変位量と閾値との比較は、揺れの方向ごとに個別に設定され た閾値を用いてなされる
ことを特徴とする請求項 4記載のウェアラブル端末。
[15] 前記切替部による指向性の切り替えは、クロスフェード処理により行われる
ことを特徴とする請求項 1記載のウェアラブル端末。
[16] ウェアラブル端末を制御するプロセッサであって、前記プロセッサは集積回路を含 み、
前記ゥヱアラブル端末は、
少なくとも 1方向に指向性を形成する収音部と、
前記ゥ アラブル端末の基準軸方向の変位量を検出する検出部と、
前記収音部の指向性を切り替える切替部とを含み、
前記プロセッサは、前記集積回路を用いて前記検出部力 入力される変位量を示 す信号に応じて前記切り替え部を制御する信号を出力する
ことを特徴とするプロセッサ。
[17] ウェアラブル端末を制御する方法であって、
少なくとも 1方向に指向性を形成可能な収音ステップと、
前記ウェアラブル端末の揺れを検出する検出ステップと、 検出された前記揺れの大きさに基づいて前記指向性の方向または前記指向性の 有無を切り替える切替ステップとを備える
ことを特徴とする方法。
[18] ウェアラブル端末の制御をプロセッサに実行させるプログラムであって、
少なくとも 1方向に指向性を形成可能な収音ステップと、
前記ウェアラブル端末の揺れを検出する検出ステップと、
検出された前記揺れの大きさに基づいて前記指向性の方向または前記指向性の 有無を切り替える切替ステップとをプロセッサに実行させる
ことを特徴とするプログラム。
[19] 請求項 18に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2007/053518 2006-02-27 2007-02-26 ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する装置、方法、プログラム WO2007099908A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008502773A JP4931907B2 (ja) 2006-02-27 2007-02-26 ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する装置、方法、プログラム
CN2007800068337A CN101390440B (zh) 2006-02-27 2007-02-26 可穿戴终端、控制可穿戴终端的处理器及方法
US12/280,842 US8155345B2 (en) 2006-02-27 2007-02-27 Wearable terminal, mobile imaging sound collecting device, and device, method, and program for implementing them

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-051029 2006-02-27
JP2006051029 2006-02-27

Publications (1)

Publication Number Publication Date
WO2007099908A1 true WO2007099908A1 (ja) 2007-09-07

Family

ID=38459015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/053518 WO2007099908A1 (ja) 2006-02-27 2007-02-26 ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する装置、方法、プログラム

Country Status (4)

Country Link
US (1) US8155345B2 (ja)
JP (1) JP4931907B2 (ja)
CN (1) CN101390440B (ja)
WO (1) WO2007099908A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011016358A1 (ja) * 2009-08-04 2011-02-10 ソニー株式会社 電子機器、制御方法、プログラム、及び撮像システム
JP2011135489A (ja) * 2009-12-25 2011-07-07 Fujitsu Ltd マイクロホンの指向性制御装置
JP2013072977A (ja) * 2011-09-27 2013-04-22 Fuji Xerox Co Ltd 音声解析装置
JP2013072978A (ja) * 2011-09-27 2013-04-22 Fuji Xerox Co Ltd 音声解析装置および音声解析システム
JP2014501064A (ja) * 2010-10-25 2014-01-16 クゥアルコム・インコーポレイテッド マルチマイクロフォンを用いた3次元サウンド獲得及び再生
JP2015050610A (ja) * 2013-08-30 2015-03-16 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
US9031256B2 (en) 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
KR20160025687A (ko) * 2014-08-27 2016-03-09 삼성전자주식회사 웨어러블 워치 및 그것의 디스플레이 방법
JP2017194529A (ja) * 2016-04-19 2017-10-26 リコーイメージング株式会社 防振制御装置
WO2019130908A1 (ja) * 2017-12-26 2019-07-04 キヤノン株式会社 撮像装置及びその制御方法及び記録媒体
WO2020189410A1 (ja) * 2019-03-15 2020-09-24 優 坂西 音声認識装置
JP2020154281A (ja) * 2019-03-15 2020-09-24 優 坂西 音声認識装置
US11503213B2 (en) 2017-12-26 2022-11-15 Canon Kabushiki Kaisha Image capturing apparatus, control method, and recording medium

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5339852B2 (ja) * 2008-10-29 2013-11-13 三洋電機株式会社 録音装置
KR101581883B1 (ko) * 2009-04-30 2016-01-11 삼성전자주식회사 모션 정보를 이용하는 음성 검출 장치 및 방법
EP2446642B1 (en) * 2009-06-23 2017-04-12 Nokia Technologies Oy Method and apparatus for processing audio signals
AU2011247642C1 (en) * 2010-04-27 2015-11-12 Bayer Intellectual Property Gmbh Orally disintegrating tablet containing acarbose
CN102403022A (zh) * 2010-09-13 2012-04-04 三洋电机株式会社 录音装置、录音条件设定方法以及录音条件设定程序
US9571925B1 (en) * 2010-10-04 2017-02-14 Nortek Security & Control Llc Systems and methods of reducing acoustic noise
KR101489612B1 (ko) 2010-12-27 2015-02-04 로무 가부시키가이샤 휴대 전화
US9313306B2 (en) 2010-12-27 2016-04-12 Rohm Co., Ltd. Mobile telephone cartilage conduction unit for making contact with the ear cartilage
JP5783352B2 (ja) 2011-02-25 2015-09-24 株式会社ファインウェル 会話システム、会話システム用指輪、携帯電話用指輪、指輪型携帯電話、及び、音声聴取方法
JP5333559B2 (ja) 2011-10-07 2013-11-06 株式会社デンソー 車両用装置
JP5867066B2 (ja) * 2011-12-26 2016-02-24 富士ゼロックス株式会社 音声解析装置
JP6031761B2 (ja) * 2011-12-28 2016-11-24 富士ゼロックス株式会社 音声解析装置および音声解析システム
KR101704155B1 (ko) 2012-01-20 2017-02-07 로무 가부시키가이샤 연골 전도부를 갖는 휴대 전화
KR102036464B1 (ko) 2012-06-29 2019-10-24 파인웰 씨오., 엘티디 스테레오 이어폰
WO2015025829A1 (ja) 2013-08-23 2015-02-26 ローム株式会社 携帯電話
WO2015060230A1 (ja) 2013-10-24 2015-04-30 ローム株式会社 腕輪型送受話装置、腕輪型報知装置
US9620116B2 (en) 2013-12-24 2017-04-11 Intel Corporation Performing automated voice operations based on sensor data reflecting sound vibration conditions and motion conditions
US10107676B2 (en) 2014-03-18 2018-10-23 Robert Bosch Gmbh Adaptive acoustic intensity analyzer
US9635257B2 (en) * 2014-05-12 2017-04-25 Gopro, Inc. Dual-microphone camera
JP6551919B2 (ja) 2014-08-20 2019-07-31 株式会社ファインウェル 見守りシステム、見守り検知装置および見守り通報装置
WO2016063587A1 (ja) 2014-10-20 2016-04-28 ソニー株式会社 音声処理システム
WO2016098820A1 (ja) 2014-12-18 2016-06-23 ローム株式会社 電磁型振動ユニットを用いた軟骨伝導聴取装置、および電磁型振動ユニット
CN104616687A (zh) * 2015-01-14 2015-05-13 小米科技有限责任公司 录音的方法及装置
CN104658536A (zh) * 2015-03-09 2015-05-27 深圳酷派技术有限公司 录音方式切换方法、录音方式切换系统和终端
KR102056550B1 (ko) 2015-07-15 2019-12-16 파인웰 씨오., 엘티디 로봇 및 로봇 시스템
KR102339798B1 (ko) * 2015-08-21 2021-12-15 삼성전자주식회사 전자 장치의 음향 처리 방법 및 그 전자 장치
JP6551929B2 (ja) 2015-09-16 2019-07-31 株式会社ファインウェル 受話機能を有する腕時計
WO2017126406A1 (ja) 2016-01-19 2017-07-27 ローム株式会社 ペン型送受話装置
TWI656525B (zh) * 2017-07-20 2019-04-11 美律實業股份有限公司 高保真語音裝置
CN112673646B (zh) * 2018-08-13 2023-12-12 奥正有限公司 包含非音频传感器的抗干扰换能器设备
JP2020053948A (ja) 2018-09-28 2020-04-02 株式会社ファインウェル 聴取装置
US10638210B1 (en) * 2019-03-29 2020-04-28 Sonova Ag Accelerometer-based walking detection parameter optimization for a hearing device user
CN113923562B (zh) * 2020-07-10 2024-08-20 北京搜狗智能科技有限公司 拾音方法和装置
CN113099158B (zh) * 2021-03-18 2024-04-26 广州市奥威亚电子科技有限公司 拍摄现场的拾音装置控制方法、装置、设备及存储介质
CN114501283B (zh) * 2022-04-15 2022-06-28 南京天悦电子科技有限公司 一种针对数字助听器的低复杂度双麦克风定向拾音方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6359300A (ja) * 1986-08-29 1988-03-15 Matsushita Electric Ind Co Ltd ビデオカメラ
JPH04259171A (ja) * 1991-02-14 1992-09-14 Fuji Photo Film Co Ltd ステレオマイク付携帯用vtr
JPH10155107A (ja) * 1996-11-20 1998-06-09 Kyocera Corp マイクロホン内蔵型ビデオカメラ
JPH11341592A (ja) * 1998-05-28 1999-12-10 Mitsubishi Electric Corp 撮像装置に同調する録音装置
JP2002218583A (ja) * 2001-01-17 2002-08-02 Sony Corp 音場合成演算方法及び装置
JP2005176138A (ja) * 2003-12-12 2005-06-30 Canon Inc 音声記録再生装置及び音声記録再生方法
JP2005333211A (ja) * 2004-05-18 2005-12-02 Sony Corp 音響収録方法、音響収録再生方法、音響収録装置および音響再生装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5940798A (ja) * 1982-08-31 1984-03-06 Toshiba Corp マイクロホンの雑音低減装置
JPS6439193A (en) 1987-08-04 1989-02-09 Matsushita Electric Ind Co Ltd Microphone device
JP2520929B2 (ja) * 1988-01-30 1996-07-31 アイワ株式会社 コンデンサマイクロホン
JPH03106299A (ja) * 1989-09-20 1991-05-02 Sanyo Electric Co Ltd アイクロホン装置
JPH1118190A (ja) * 1997-06-23 1999-01-22 Hitachi Ltd ノイズキャンセルシステム
EP0951883B1 (en) * 1998-03-18 2005-07-27 Nippon Telegraph and Telephone Corporation Wearable communication device with bone conduction transducer
DE10195945T1 (de) * 2000-03-20 2003-04-30 Audia Technology Inc Richtverarbeitung für ein System mit mehreren Mikrophonen
JP2001296343A (ja) * 2000-04-11 2001-10-26 Nec Corp 音源方位設定装置及びそれを備えた撮像装置、送信システム
JP2002344787A (ja) * 2001-05-16 2002-11-29 Matsushita Electric Ind Co Ltd ビデオ撮像録音装置の収音装置
DE10249416B4 (de) * 2002-10-23 2009-07-30 Siemens Audiologische Technik Gmbh Verfahren zum Einstellen und zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät
US7076072B2 (en) * 2003-04-09 2006-07-11 Board Of Trustees For The University Of Illinois Systems and methods for interference-suppression with directional sensing patterns
JP4259171B2 (ja) 2003-04-22 2009-04-30 凸版印刷株式会社 紙製蓋材
JP2005026956A (ja) * 2003-07-01 2005-01-27 Fuji Photo Film Co Ltd 録音機能付き撮像装置
JP4262023B2 (ja) 2003-07-16 2009-05-13 日本放送協会 映像揺れ検出装置、その方法及びそのプログラム、並びに、カメラ映像選択装置
GB2415584B (en) * 2004-06-26 2007-09-26 Hewlett Packard Development Co System and method of generating an audio signal
US7283850B2 (en) * 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
US20060088176A1 (en) * 2004-10-22 2006-04-27 Werner Alan J Jr Method and apparatus for intelligent acoustic signal processing in accordance wtih a user preference

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6359300A (ja) * 1986-08-29 1988-03-15 Matsushita Electric Ind Co Ltd ビデオカメラ
JPH04259171A (ja) * 1991-02-14 1992-09-14 Fuji Photo Film Co Ltd ステレオマイク付携帯用vtr
JPH10155107A (ja) * 1996-11-20 1998-06-09 Kyocera Corp マイクロホン内蔵型ビデオカメラ
JPH11341592A (ja) * 1998-05-28 1999-12-10 Mitsubishi Electric Corp 撮像装置に同調する録音装置
JP2002218583A (ja) * 2001-01-17 2002-08-02 Sony Corp 音場合成演算方法及び装置
JP2005176138A (ja) * 2003-12-12 2005-06-30 Canon Inc 音声記録再生装置及び音声記録再生方法
JP2005333211A (ja) * 2004-05-18 2005-12-02 Sony Corp 音響収録方法、音響収録再生方法、音響収録装置および音響再生装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011035774A (ja) * 2009-08-04 2011-02-17 Sony Corp 携帯型電子機器、制御方法、プログラム、撮像システム
CN102550014A (zh) * 2009-08-04 2012-07-04 索尼公司 电子装置、控制方法、程序和图像捕获系统
WO2011016358A1 (ja) * 2009-08-04 2011-02-10 ソニー株式会社 電子機器、制御方法、プログラム、及び撮像システム
JP2011135489A (ja) * 2009-12-25 2011-07-07 Fujitsu Ltd マイクロホンの指向性制御装置
JP2014501064A (ja) * 2010-10-25 2014-01-16 クゥアルコム・インコーポレイテッド マルチマイクロフォンを用いた3次元サウンド獲得及び再生
US9031256B2 (en) 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
JP2015213328A (ja) * 2010-10-25 2015-11-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated マルチマイクロフォンを用いた3次元サウンド獲得及び再生
US9552840B2 (en) 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
JP2013072977A (ja) * 2011-09-27 2013-04-22 Fuji Xerox Co Ltd 音声解析装置
JP2013072978A (ja) * 2011-09-27 2013-04-22 Fuji Xerox Co Ltd 音声解析装置および音声解析システム
US9664772B2 (en) 2013-08-30 2017-05-30 Honda Motor Co., Ltd. Sound processing device, sound processing method, and sound processing program
JP2015050610A (ja) * 2013-08-30 2015-03-16 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
KR20160025687A (ko) * 2014-08-27 2016-03-09 삼성전자주식회사 웨어러블 워치 및 그것의 디스플레이 방법
KR102311051B1 (ko) 2014-08-27 2021-10-13 삼성전자주식회사 웨어러블 워치 및 그것의 디스플레이 방법
JP2017194529A (ja) * 2016-04-19 2017-10-26 リコーイメージング株式会社 防振制御装置
WO2019130908A1 (ja) * 2017-12-26 2019-07-04 キヤノン株式会社 撮像装置及びその制御方法及び記録媒体
US11503213B2 (en) 2017-12-26 2022-11-15 Canon Kabushiki Kaisha Image capturing apparatus, control method, and recording medium
WO2020189410A1 (ja) * 2019-03-15 2020-09-24 優 坂西 音声認識装置
JP2020154281A (ja) * 2019-03-15 2020-09-24 優 坂西 音声認識装置
JP7432177B2 (ja) 2019-03-15 2024-02-16 優 坂西 音声認識装置

Also Published As

Publication number Publication date
JP4931907B2 (ja) 2012-05-16
CN101390440B (zh) 2012-10-10
US8155345B2 (en) 2012-04-10
JPWO2007099908A1 (ja) 2009-07-16
CN101390440A (zh) 2009-03-18
US20090129620A1 (en) 2009-05-21

Similar Documents

Publication Publication Date Title
WO2007099908A1 (ja) ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する装置、方法、プログラム
US10003885B2 (en) Use of an earpiece acoustic opening as a microphone port for beamforming applications
US8755536B2 (en) Stabilizing directional audio input from a moving microphone array
JP6023779B2 (ja) オーディオ情報処理の方法及び装置
JP4348706B2 (ja) アレイ装置および携帯端末
JP5801026B2 (ja) 画像音響処理装置及び撮像装置
EP2509337B1 (en) Accelerometer vector controlled noise cancelling method
JPH05316587A (ja) マイクロホン装置
CN109391870B (zh) 一种基于人体运动状态自调节耳机音频信号播放的方法
WO2020120944A1 (en) Methods and systems for speech detection
CN111402913A (zh) 降噪方法、装置、设备和存储介质
JP2005250397A (ja) ロボット
CN110390953B (zh) 啸叫语音信号的检测方法、装置、终端及存储介质
JP2011049840A (ja) 音信号処理装置
CN103905588B (zh) 一种电子设备及控制方法
CN102970638B (zh) 处理信号
JP6479211B2 (ja) 聴音装置
JP2010193064A (ja) A/d変換装置及びヘッドセット
JP2006237816A (ja) 演算装置、収音装置、及び、信号処理プログラム
JP6210450B2 (ja) 携帯端末装置
JP7245034B2 (ja) 信号処理装置、信号処理方法およびプログラム
CN111580777B (zh) 音频处理方法、装置、电子设备及存储介质
CN108476555B (zh) 音频处理的方法和终端设备
JP2000287292A (ja) 指向性可変マイクロフォンを備えた情報処理装置
EP4158902A1 (en) Hearing device with motion sensor used to detect feedback path instability

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2008502773

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 200780006833.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12280842

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 07737371

Country of ref document: EP

Kind code of ref document: A1