Nothing Special   »   [go: up one dir, main page]

WO2018008885A1 - 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체 - Google Patents

영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
WO2018008885A1
WO2018008885A1 PCT/KR2017/006787 KR2017006787W WO2018008885A1 WO 2018008885 A1 WO2018008885 A1 WO 2018008885A1 KR 2017006787 W KR2017006787 W KR 2017006787W WO 2018008885 A1 WO2018008885 A1 WO 2018008885A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
signal
voice signal
image processing
processing apparatus
Prior art date
Application number
PCT/KR2017/006787
Other languages
English (en)
French (fr)
Inventor
신기훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/315,511 priority Critical patent/US11120813B2/en
Priority to EP17824441.4A priority patent/EP3474557B1/en
Publication of WO2018008885A1 publication Critical patent/WO2018008885A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Definitions

  • the present disclosure relates to an image processing apparatus, a method of driving the image processing apparatus, and a computer readable recording medium, and more particularly, to recognize different types of microphones embedded in a TV and a remote controller, thereby enabling remote and short-range speech recognition.
  • An image processing apparatus, a driving method of the image processing apparatus, and a computer readable recording medium are particularly, to recognize different types of microphones embedded in a TV and a remote controller, thereby enabling remote and short-range speech recognition.
  • Embodiments of the present disclosure provide an image processing apparatus, a method of driving an image processing apparatus, and a computer-readable recording medium capable of recognizing different types of microphones embedded in a TV and a remote controller, thereby enabling remote and short-range speech recognition.
  • the purpose is.
  • An image processing apparatus includes a voice acquisition unit for acquiring a voice of a user and generating a first voice signal, a communication interface unit for receiving the second voice signal of the user from an external device, and the voice acquisition
  • a voice acquisition unit for acquiring a voice of a user and generating a first voice signal
  • a communication interface unit for receiving the second voice signal of the user from an external device
  • the voice acquisition When the first voice signal is received from the unit, a first preprocessing operation using voice amplification of the received first voice signal is performed, and when the second voice signal is received through the communication interface unit, the second voice signal of the second voice signal is received.
  • a processor that performs a second preprocessing operation using noise amplification.
  • the first audio acquisition unit includes a plurality of microphones arranged left and right on the image processing apparatus when the user views the plurality of microphones
  • the external device includes a plurality of microphones arranged back, front, or top and bottom when the user views the external apparatus.
  • the microphone may be provided.
  • the communication interface unit may receive the second voice signal in which the voice signals generated by the plurality of microphones are mixed in a stereo form from the external device through a single channel.
  • the image processing apparatus may further include a connector for connecting and disconnecting the audio acquisition unit.
  • the processor performs voice amplification and voice attenuation operations on the generated first voice signal, respectively, and uses the voice amplified first voice signal as a primary signal and interferes with the voice attenuated first voice signal.
  • the first preprocessing operation may be performed using the interference) signal.
  • the processor performs noise amplification and noise attenuation operations on the received second voice signal, respectively, using the noise attenuated second voice signal as the basic signal, and using the noise amplified second voice signal as the interference signal.
  • the second preprocessing operation may be performed using a signal.
  • the processor may provide a first target voice signal extracted by the first preprocessing operation and a second target voice signal extracted by the second preprocessing operation to a voice recognition unit that performs a voice recognition operation.
  • the processor may receive the second voice signal through the communication interface when there is a user command for performing a short range voice recognition operation using the external device.
  • the user command may be input by an interface between a user and the image processing apparatus or the external device.
  • a method of driving an image processing apparatus may include obtaining a voice of a user and generating a first voice signal, receiving a second voice signal of the user from an external device, and receiving the first voice signal.
  • a voice signal is generated, the first preprocessing operation using voice amplification of the generated first voice signal is performed.
  • the second voice signal is received from the external device, the second preprocessing using noise amplification of the second voice signal is performed. It may include performing an operation.
  • the first audio signal is generated by a plurality of microphones arranged left and right on the image processing apparatus when the user looks at the user, and the receiving of the first voice signal is arranged back, front, or top and bottom when the user looks at the external device.
  • the second voice signal generated by a plurality of microphones may be received.
  • the receiving may include receiving the second voice signal in which the voice signals generated by the plurality of microphones are mixed in a stereo form from the external device through a single channel.
  • the driving method of the image processing apparatus may further include recognizing the audio acquisition unit when the audio acquisition unit having the plurality of microphones is connected to a connector of the image processing unit.
  • the performing of the first preprocessing operation may include performing voice amplification and voice attenuation operations on the generated first voice signal, and using the voice amplified first voice signal as a basic signal and performing the voice attenuation.
  • the method may include performing the first preprocessing operation by using a first voice signal as an interference signal.
  • the performing of the second preprocessing operation may include performing noise amplification and noise attenuation operations on the received second voice signal, respectively, and using the noise attenuated second voice signal as the basic signal and performing the noise. And performing the second preprocessing operation by using the amplified second voice signal as the interference signal.
  • the driving method of the image processing apparatus may further include providing a first target voice signal extracted by the first preprocessing operation and a second target voice signal extracted by the second preprocessing operation to a voice recognition unit performing a voice recognition operation. It may include.
  • the receiving may include receiving the second voice signal when there is a user command for performing a short range voice recognition operation using the electronic device.
  • the user command may be input by an interface between a user and the image processing apparatus or the electronic device.
  • a computer-readable recording medium including a program for executing a method of driving the image processing apparatus, the method of driving the image processing apparatus, the voice of the user Generating a first voice signal, receiving a second voice signal of the user from an external device, and generating the first voice signal, and generating a first voice signal, wherein the first voice signal uses amplification of the generated first voice signal.
  • FIG. 1 is a diagram illustrating a voice recognition system according to an exemplary embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a detailed structure of the image processing apparatus of FIG. 1 according to the first embodiment of the present disclosure
  • FIG. 3 is an exemplary diagram showing a detailed structure of a voice signal processor shown in FIG. 2;
  • FIG. 4 is a block diagram illustrating a detailed structure of an image processing apparatus of FIG. 1 according to a second embodiment of the present disclosure
  • FIGS. 2 and 4 are block diagrams showing a detailed structure of a voice signal processing unit shown in FIGS. 2 and 4;
  • FIG. 6 is a view for explaining a far speech recognition environment and a near speech recognition environment
  • FIG. 7 is a block diagram showing a detailed structure of a remote control device of FIG. 1 according to a first embodiment of the present disclosure
  • FIG. 8 is a block diagram showing a detailed structure of a remote control device of FIG. 1 according to a second embodiment of the present disclosure
  • FIG. 9 is a flowchart illustrating a driving process of an image processing apparatus according to a first embodiment of the present disclosure
  • FIG. 10 is a flowchart illustrating a driving process of an image processing apparatus according to a second embodiment of the present disclosure
  • FIG. 11 is a flowchart illustrating a driving process of a remote control apparatus according to an embodiment of the present disclosure.
  • the embodiment of the present disclosure for convenience of description, it will be described on the assumption that a free-ignition engine is provided on the server side, but the embodiment of the present disclosure is fixed to a TV, a set-top box, a peripheral device (ex. An access point), or the like. Even if it is provided with a ignition engine, it can be applied to any number will not be particularly limited to any one method.
  • FIG. 1 is a diagram illustrating a voice recognition system according to an exemplary embodiment of the present disclosure.
  • the voice recognition system 90 may be a part of the image processing apparatus 100, the remote control apparatus 110, the communication network 120, and the voice recognition apparatus 130. Includes all of them.
  • “comprises some or all” means that some components such as communication network 120 and / or voice recognition device 130 are omitted so that system 90 is configured or configuration such as voice recognition device 130.
  • the speech recognition engine of the element ex. Free ignition engine
  • the speech recognition engine of the element can be configured to be integrated into other components, and the like, and will be described as all-inclusive to aid a sufficient understanding of the invention.
  • the image processing apparatus 100 includes an image display device such as a DTV and a peripheral device such as a set top box connected to the DTV.
  • the peripheral device may correspond to other electronic devices of the image processing apparatus 100, and may further include a BD (Bluray Disk) player, an access point, a refrigerator, etc. in addition to the set top box.
  • the image processing apparatus 100 may further include a mobile phone such as a smart phone. In the case of a mobile phone, various functions such as display, (data) relay and remote control may be performed, and thus may be appropriately used according to the selection thereof. will be.
  • the image processing apparatus 100 may include a plurality of microphones (hereinafter, microphones).
  • a plurality of microphones (or first microphones) may be referred to as a microphone array.
  • an array means an array.
  • the plurality of microphones may be provided in the image processing apparatus 100 in various forms.
  • the plurality of microphones may be formed in a form mounted inside, or may be provided in a manner of being connected to the connector of the image processing apparatus 100 from the outside. have.
  • the form mounted therein may have, for example, a form of arranging a plurality of chips on a printed circuit board (PCB).
  • PCB printed circuit board
  • the plurality of microphones may have a linear shape arranged in the first direction.
  • the plurality of microphones having a linear shape is preferably arranged in a horizontal direction to achieve the best performance when the speaker is located in front of the image processing apparatus 100 (eg, the screen side of the TV).
  • This male direction may be termed the broadside direction.
  • it may have the same form as the remote control device 110, but if it can have a different form of microphone arrangement may have a variety of forms, such as provided in a circular shape.
  • the spacing between the microphones will not be described in detail, but this may also be considered. Since the shape of the plurality of microphones of the image processing apparatus 100 and the remote control apparatus 110 may be determined in consideration of manufacturing cost or voice recognition performance according to the installation of the microphone, the present invention is not particularly limited to any one method. Will not.
  • the image processing apparatus 100 may operate a microphone array provided therein.
  • the image processing apparatus 100 may always turn on the microphone or keep some microphones turned on to recognize a speaker's speech, for example, a trigger such as "Hi TV.” Therefore, the image processing apparatus 100 preferably uses the audio input to the image processing apparatus 100 as a default unless there is a user command to use the voice input from the remote control apparatus 110. Therefore, the image processing apparatus 100 performs an operation for recognizing a user's voice spoken at a far distance from the remote controller 110 based on the speaker's position as shown in FIG. 1.
  • the image processing apparatus 100 may stop the internal microphone operation. Through this, the image processing apparatus 100 may perform a near-field speech recognition operation by simply adding a converter to a program for performing a far-field speech recognition operation using an internal microphone.
  • the image processing apparatus 100 performs signal processing (eg, voice amplification, voice suppression, etc.) on a plurality of internally inputted voice signals to perform remote voice recognition, thereby interfering with a primary signal.
  • signal processing such as noise amplification and noise suppression is performed on a plurality of speech signals, and thus, in order to perform the preprocessing on the signals in one algorithm, noise amplification is performed.
  • a converter eg, to output the positions of the input signals interchangeably in a specific situation). mode selector).
  • the converter may of course correspond to a software module. This process may be based on the fact that the object of beamforming for remote speech recognition becomes voice, not noise, but the object of beamforming for near speech recognition becomes noise.
  • the remote controller 110 refers to a conventional remote controller, but may include a mobile phone having a remote control function.
  • the remote controller 110 also has a plurality of microphones (or second microphones).
  • the plurality of microphones may be arranged in the same direction as the image processing apparatus 100, but due to the structural characteristics of the remote control apparatus 110 (eg, to improve voice acquisition performance, etc.), the plurality of microphones may be arranged in a direction different from a first direction, for example, in a vertical direction. It may be desirable.
  • the term "vertical direction” refers to a form in which the speaker is disposed on the remote control device 110 so as to be positioned before and after the remote control device 110 is desired.
  • the signal is disposed above and below the front portion of the remote control device 110 to be transmitted and received.
  • the image processing apparatus 100 executes one algorithm, since the plurality of microphones provided in the remote control apparatus 110 have a different shape from the microphone arrangement of the image processing apparatus 100, as described above.
  • the preprocessing operation must be performed differently through the transducer to ensure that signal processing is performed normally. If the plurality of microphones provided in the remote control apparatus 110 have the same shape as the image processing apparatus 100, the above converter may be omitted.
  • the remote control apparatus 110 may transmit a control signal for notifying the image processing apparatus 100. If the user command for the near voice recognition operation is received from the image processing apparatus 100 to the remote controller 110, the reverse may be reversed. Thus, it will not be particularly limited to where the user command is entered. As long as the image processing apparatus 100 recognizes that there is a user command, it will be irrelevant in what form the user command is processed.
  • the communication network 120 includes both wired and wireless communication networks.
  • the wired network includes an internet network such as a cable network or a public telephone network (PSTN), and the wireless communication network includes a CDMA, WCDMA, GSM, Evolved Packet Core (EPC), Long Term Evolution (LTE), WiBro network, and the like. to be.
  • PSTN public telephone network
  • the communication network 120 according to an embodiment of the present disclosure is not limited thereto, and may be used as, for example, a cloud computing network under a cloud computing environment as an access network of a next generation mobile communication system to be implemented.
  • an access point in the communication network 120 may access an exchange or the like of a telephone company, but in the case of a wireless communication network, data may be connected to an SGSN or a gateway GPRS support node (GGSN) operated by a communication company. Or, it can be connected to various repeaters such as BTS (Base Station Transmission), NodeB, e-NodeB and process data.
  • BTS Base Station Transmission
  • NodeB NodeB
  • e-NodeB process data.
  • the communication network 120 may include an access point.
  • Access points include small base stations, such as femto or pico base stations, which are frequently installed in buildings.
  • the femto or pico base station is classified according to the maximum number of image processing apparatus 100 can be connected according to the classification of the small base station.
  • the access point includes a short-range communication module for performing short-range communication, such as the image processing apparatus 100 and Zigbee and Wi-Fi (Wi-Fi).
  • the access point may use TCP / IP or Real-Time Streaming Protocol (RTSP) for wireless communication.
  • RTSP Real-Time Streaming Protocol
  • the near field communication may be performed in various standards such as Bluetooth, Zigbee, Infrared (IrDA), Ultra High Frequency (UHF) and Very High Frequency (VHF) and Ultra Wideband Communication (UWB).
  • the access point may extract the location of the data packet, designate the best communication path for the extracted location, and deliver the data packet to the next device, such as the image processing apparatus 100, along the designated communication path.
  • An access point may share several circuits in a general network environment, and may include, for example, a router, a repeater, and a repeater.
  • the voice recognition device 130 may include a voice recognition server and operate as a kind of cloud server.
  • the speech recognition apparatus 130 includes all (or some) HW resources or SW resources related to speech recognition, thereby recognizing a result of recognition of the spoken speech received from the image processing apparatus 100 having the least resources. Text-based).
  • the voice recognition device 130 according to the embodiment of the present disclosure is not limited to the cloud server.
  • the voice recognition device 130 may be an external device, that is, an access point or a desktop computer. It can also be a peripheral device. Alternatively, any type of device may be used as long as it can provide only a sound signal provided by the image processing apparatus 100, more precisely, a recognition result for audio data.
  • the voice recognition device 130 may be a device for providing a recognition result.
  • the speech recognition apparatus 130 may calculate a recognition result when receiving the audio data of the speech voice spoken by the user from the image processing apparatus 100. If the user requests a search by uttering the name of a sports star, the search result may be provided to the image processing apparatus 100 based on the recognition result of the vocal voice corresponding to the search word. On the other hand, if a voice for operating hardware (ex. Tuner) or software (ex. Application) of the image processing apparatus 100 is uttered, it will provide a recognition result.
  • FIG. 2 is a block diagram showing a detailed structure of the image processing apparatus of FIG. 1 according to the first embodiment of the present disclosure
  • FIG. 3 is an exemplary diagram showing a detailed structure of the audio signal processor shown in FIG. 2.
  • the image processing apparatus 100 of FIG. 1 is a peripheral device such as a set-top box, and when the microphone is connected from the outside, the communication interface unit 200.
  • a voice signal processing unit 210 and may further include a voice acquisition unit such as a microphone array if the microphone is not connected to the outside.
  • the communication interface 200 may transmit a plurality of voice signals received from a microphone connected to the communication interface 200 to the voice signal processor 210 when the image processing apparatus 100 operates in a remote voice recognition mode.
  • the image processing apparatus 100 receives a plurality of voice signals provided from the remote control apparatus 110 and transmits the plurality of voice signals to the voice signal processor 210.
  • the mode corresponds to a state in which the system designer designates to operate in a certain condition.
  • the communication interface 200 may process various types of information, that is, data, depending on how the voice signal processor 210 processes the voice signal. For example, suppose that the voice signal processor 210 includes a fixed ignition engine. In this case, various operations of the image processing apparatus 100 may be performed based on the recognition result. For example, say "Turn off the TV.” Based on the recognition result thereof, the image processing apparatus 100 may cut off power input from the outside.
  • the voice signal processor 210 may control the communication interface 200 to transmit the preprocessed voice signal to the voice recognition device 130 by performing a simple preprocessing operation. have.
  • the voice signal processor 210 may perform various operations as described above, but performs both the remote speech recognition operation and the near speech recognition operation according to the exemplary embodiment of the present disclosure. Before performing the recognition operation, the voice signal processor 210 performs a preprocessing operation. When the voice signal is input, the voice signal processor 210 extracts only a section having a trigger signal, and removes noise from the extracted voice signal section. Will be performed. In this case, the voice signal processor 210 amplifies the voice region through a beamforming operation (eg, amplification of an amplifier) in a long distance voice recognition operation, suppresses the voice region through an attenuator (ex. Blocking matrix), and divides both signals. In other words, a post-filter is performed (post-processing) to extract a desired target voice signal.
  • a beamforming operation eg, amplification of an amplifier
  • an attenuator ex. Blocking matrix
  • the voice signal processor 210 when operating in the near-field speech recognition mode according to the present disclosure, amplifies the noise region using the same beamformer and the blocking matrix as described above, and suppresses the noise region, and then the target speech signal. Change the position of the two signals that are input to the post-processing stage (ex. Post-filter) that outputs.
  • the amplification of the noise region is to maintain the speech region, but it can be seen as contrasting to suppressing the above speech region, and the reduction of the noise region can be seen as contrasting to the amplification of the speech region.
  • the transducer is configured to perform different preprocessing operations according to the arrangement direction.
  • the image processing apparatus 100 may perform the far and near speech recognition operation with the highest efficiency by simply adding the transducer. .
  • the voice signal processor 210 may include a processor 300 and a memory 310 as shown in FIG. 3.
  • the processor 300 may execute a program (or algorithm) according to an embodiment of the present disclosure stored in the memory 310 to perform a voice processing operation according to the present disclosure.
  • the processor 300 may include, for example, a command analyzing unit, an operation unit (ALU), a register group, and a control circuit. Since this is well known to those skilled in the art, details thereof will be omitted.
  • FIG. 4 is a block diagram illustrating a detailed structure of an image processing apparatus of FIG. 1 according to a second exemplary embodiment of the present disclosure.
  • the image processing apparatus 100 of FIG. 1 is an image display apparatus such as a DTV, and assumes a situation in which a microphone is built in the communication interface unit 400. ), The voice acquisition unit 410, the control unit 420, the storage unit 430, the display unit 440, and part or all of the voice signal processing unit 450.
  • the image processing apparatus 100 ′ of FIG. 4 is not significantly different.
  • the image processing apparatus 100 ′ of FIG. 4 includes a sound acquisition unit 410, and there is a difference in that the control unit 420 and the sound signal processing unit 450 are physically separated. Accordingly, it can be seen that the control function is in charge of the controller 420, and the voice signal processing is performed by the voice signal processor 450.
  • the voice acquisition unit 410 may include a plurality of microphones according to an exemplary embodiment of the present disclosure.
  • the plurality of microphones may have a linear arrangement, and for example, the microphones may be arranged in a broadside direction, ie, a direction perpendicular to the speaker viewing direction ⁇ .
  • the voice acquisition unit 410 may be formed in the form of a chip configured on the board, and in the embodiment of the present disclosure may have any form if it can have a different form from the remote control device 110 of FIG. It will be irrelevant.
  • the controller 420 may control the voice signal processor 450 to execute a program stored therein, and receive and process a result according to the control of the voice signal processor 450.
  • the voice signal processor 450 may receive a result of recognizing a command “What time is it now?” And display the related information on the display unit 440 accordingly.
  • the voice signal processor 450 may be configured in the form of an EEPROM to update a method of writing a program for voice signal processing.
  • the controller 420 includes the processor 300 and the memory 310 as shown in FIG. 3, the processor 300 is stored in the audio signal processor 450 when the image processing apparatus 100 ′ is initially driven.
  • the program may be used after loading the program into the memory 310.
  • the memory 310 may be a RAM.
  • the storage unit 430 may store various information or data processed in the voice processing apparatus 100 ′.
  • the information means identification information of the device, user information, etc.
  • the data may mean voice and image data.
  • Information or data stored in the storage 430 may be output under the control of the controller 420.
  • FIG. 5 is a block diagram illustrating a detailed structure of the voice signal processor illustrated in FIGS. 2 and 4, and FIG. 6 is a diagram for describing a far-field speech recognition environment and a short-range speech recognition environment.
  • the voice signal processor 450 of FIG. 4 includes a switching unit 500, a buffer unit 510, a beamformer 520, a blocking matrix unit 530, a converter 540, and Part or all of the processing unit 550 is included.
  • each of the above blocks may be hardware-divided, but the S / W module is performed to perform each function in one software. Can mean. Modules in hardware can be one chip unit.
  • the switching unit 500 includes a switch, and the switch may be composed of MOS FET devices.
  • the switching unit 500 selects an audio signal (or a first audio signal) from the image processing apparatus 100 of FIG. 1 and an audio signal (or a second audio signal) of the remote controller 110.
  • the remote controller 110 is set to receive a voice signal from the image processing apparatus 100 by default, and then changes to the near voice recognition mode using the remote controller 110.
  • the path may be selected so that the audio signal of) is received.
  • the control may be performed under the control of the controller 420 of FIG. 4.
  • the change to the near voice recognition mode may be performed by selecting the voice recognition button provided in the remote control apparatus 110.
  • the buffer unit 510 temporarily stores a signal input from the outside and may output the signal in synchronization. For example, a signal or data is received in serial and converted into a parallel form. Accordingly, the buffer unit 510 may simultaneously output signals to the beamformer 520 and the blocking matrix unit 530.
  • the beamformer 520 performs a preprocessing operation of the voice signal according to the present disclosure together with the blocking matrix unit 530 and the converter 540.
  • the preprocessing unit is meant to include the above post-processing unit, but in the present disclosure, it can be seen that the pre-processing unit is divided into the pre-processing unit and the post-processing unit for convenience.
  • the beamformer 520 amplifies the signal input in the speaker direction, and thus may include an amplifier.
  • the beamformer 520 uses the same algorithm as described above when a voice signal is input in a short-range speech recognition environment, thereby amplifying a noise region in the received voice signal. Accordingly, one beamformer 520 performs the same operation due to different types of microphones disposed in the image processing apparatus 100 and the remote control apparatus 110, but amplifies the voice region. On the other hand, it will amplify the noise area.
  • the blocking matrix unit 530 attenuates the signal input in the speaker direction. For example, if the beamformer 520 amplifies the voice region, the blocking matrix unit 530 attenuates the voice region.
  • the speech signal includes a speech region representing the user spoken speech and a noise region which is a noise signal.
  • the voice signal amplified by the voice region input to the converter 540 through the beamformer 520 becomes a basic signal, and the voice signal attenuated by the voice region input from the blocking matrix unit 530 becomes an interference signal. .
  • the blocking matrix unit 530 provides the converter 540 with the voice signal in which the noise region is attenuated through the same algorithm as above.
  • the converter 540 may provide the base signal and the interference signal to the post-processing unit 550 when performing the remote speech recognition operation to analyze the noise characteristics and output a desired target speech signal according to the result.
  • the post-processing unit 550 may provide a voice signal in which the noise region is attenuated to an input unit provided with the above basic signal so that the post-processing unit 550 may output the target voice signal, and the noise region is amplified. Is provided to the input unit provided with the interference signal.
  • This is called 'mode change' in an embodiment of the present disclosure.
  • the converter 540 may be called a mode change because the converter 540 performs signal processing in a first manner in a first situation, and processes a signal in a second manner different from the first manner in a second situation.
  • the post-processing unit 550 (ex. Post-filter) is strictly included in the pre-processing operation in the speech recognition operation, but performs speech recognition using the basic signals and the interference signals input in the remote speech recognition environment and the near speech recognition environment, respectively. It outputs the target voice signal necessary for The post filter will be discussed later.
  • the output target voice signal is provided to the voice recognition unit to perform a voice recognition operation.
  • the speech recognition unit may extract a feature of the target speech signal and calculate a recognition result by comparing the data of the speech model DB based on the extracted feature.
  • the two-channel microphone array built into the main body of the image processing apparatus 100 to control the device by remote voice recognition is disposed perpendicular to the front direction of the product as shown in FIG. 6 (a), which is called a broadside array.
  • a the front direction of the product as shown in FIG. 6 (a)
  • the speaker's voice is amplified and the sound in the side direction is attenuated. This is called the basic signal.
  • the basic signal is a signal in which the front speaker voice is emphasized and the side interference noise is suppressed, while the interference signal is suppressed in the front speaker voice and the side interference noise is reduced. It becomes the highlighted signal.
  • the aim is to remove ambient and interfering noises contained in the basic signal.
  • the ambient noise has a fixed characteristic, and the interference noise has a fluid specificity. Therefore, noise estimation techniques such as Minima-Controlled Recursive Average (MCRA) are used to estimate the ambient noise and add the interference signal to estimate the non-voice noise included in the basic signal.
  • MCRA Minima-Controlled Recursive Average
  • a speech estimation technique such as OM-LSA (Optimally Modified Log Spectral Amplitude) is applied to extract the speaker speech from the basic signal. All of these processes may be performed by the post processor 550. In this case, the post processor 550 may further perform a separate operation to drastically reduce the amount of computation.
  • a two-channel end-fire microphone array applied to the remote controller that is, the remote controller 110 to remove side interference noise
  • the output signal of the beamformer becomes a signal in which side interference noise is enhanced and speaker voice is suppressed.
  • the output signal is a signal in which the speaker voice is enhanced. Therefore, the above-described signal processing structure (for example, beamformer, blocking matrix) for remote speech recognition is applied as it is, but the signal provided from the converter 540 to the post-processor 550, that is, the base signal and the interference signal, are interchanged with each other. The result is a signal that effectively eliminates side-side interference and ambient noise. That is, even when the image processing apparatus 100 of FIG. 1 operates in the near speech recognition mode, a desired target speech signal may be easily obtained.
  • FIG. 7 is a block diagram showing a detailed structure of the remote control device of FIG. 1 according to the first embodiment of the present disclosure.
  • the remote control apparatus 110 includes a communication interface 700 and a controller 710, and may further include a voice acquisition unit.
  • the remote control device 110 For example, (1) when a plurality of microphones are connected to the communication interface 700 of the remote control device 110 to operate, (2) the user for the short range voice recognition operation by the remote control device 110 through voice recognition. When receiving a command and transmitting the received user command to the image processing apparatus 100 of FIG. 1, (3) the remote control apparatus 110 generates a short range voice based on the user command provided from the image processing apparatus 100.
  • the case of performing the recognition operation may have the structure of FIG. 7.
  • the communication interface 700 performs various operations for short-range speech recognition under the control of the controller 710. For example, when there is a user command to perform a near-field speech recognition operation, a plurality of signals received through a plurality of microphones are formed in a stereo form, and the formed stereo signal is processed through one channel through the image processing apparatus. Will be sent to (100).
  • the controller 710 may control the communication interface 700 to generate signals input through a plurality of microphones in a stereo form and transmit them to the image processing apparatus 100 according to an exemplary embodiment of the present disclosure. This may be done when there is a user command to perform the near speech recognition operation. If there is a release command, the operation may be performed such as cutting off power provided to the plurality of microphones.
  • FIG. 8 is a block diagram illustrating a detailed structure of the remote control apparatus of FIG. 1 according to the second exemplary embodiment of the present disclosure.
  • the remote control apparatus 110 ′ may include a communication interface 800, a voice acquirer 810, a controller 820, and a user interface 830. And a portion or all of the storage 840, where "including some or all" is synonymous with the foregoing.
  • the remote controller 110 ′ of FIG. 8 includes a voice acquisition unit 810 in which a plurality of microphones are arranged, and a user interface unit such as a button or a display. The difference is that it can further include 830.
  • the microphone array of the audio acquisition unit 810 may have a form different from that of the microphone arranged in the image processing apparatus 100 of FIG. 1.
  • the remote control device 110' may use a physical button provided at the front or side of the main body to perform the operation.
  • the user may touch the keypad displayed on the screen.
  • the controller 820 may control all the components of the remote controller 110 ′.
  • the controller 820 may store the processed information or data in the storage 840 and use the same.
  • the controller 820 if the controller 820 requests the user to perform a near-field speech recognition operation through the user interface 830, the controller 820 provides the same to the image processing apparatus 100 through the communication interface 800. Do it. In this case, the information provided may be bit information.
  • the controller 820 may generate a stereo voice signal by combining voice signals input through a plurality of microphones of the voice acquirer 810 by performing a short range voice recognition operation. The generated audio signal is transmitted to the image processing apparatus 100 through the communication interface 800.
  • the communication interface 800 of FIG. 8, the voice acquirer 810, the controller 820, the user interface 830, and the storage 840 of FIG. 7 are described above. 700 and the control unit 710 are not so different, so the contents are replaced.
  • controller 820 of FIG. 8 may have a structure as shown in FIG. 3. Therefore, the present disclosure will not be particularly limited in what form the remote controller 110 ′ has.
  • FIG. 9 is a flowchart illustrating a driving process of an image processing apparatus according to a first embodiment of the present disclosure.
  • the image processing apparatus 100 is powered on and at the same time the microphone built in the apparatus 100 is activated, and the processing mode of the preprocessing is set to the remote mode by default. Then, the output of the beamformer 520 is input to the post processor 550 as a basic signal and the blocking matrix output as an interference signal (S900 to S940). When it is confirmed that the output signal of the post processor 550 is a wake-up word for activating the voice recognition mode, the output signal is then sent to the voice recognition unit for additional command recognition (S950 and S960).
  • the microphone embedded in the image processing apparatus 100 is deactivated and the microphone embedded in the remote control is activated.
  • the output of the former 520 is input to the post processor 550 as an interference signal (S910 to S980). Thereafter, the output signal of the post processor 550 is sent to the voice recognition unit.
  • the change to the near-field mode corresponds to the output of the two input signals by the converter (or mode selector) 520.
  • FIG. 10 is a flowchart illustrating a driving process of an image processing apparatus according to a second embodiment of the present disclosure.
  • the image processing apparatus 100 of FIG. 1 acquires a user's voice and generates a first audio signal (S1000).
  • a plurality of first voice signals are generated through a first voice acquisition unit including a plurality of microphones arranged in a first shape in its main body.
  • the plurality of first voice signals represents a plurality of first voice signals generated through respective microphones.
  • each voice signal will contain noise, i.e. noise.
  • the image processing apparatus 100 receives a user's second audio signal from an external device (S1010).
  • the second voice signal represents a signal generated and provided by the second voice acquisition unit included in the external device.
  • the second audio acquisition unit includes a plurality of microphones arranged in a second form different from the first form, and the image processing apparatus 100 includes a plurality of second generations generated by the plurality of microphones from another electronic device, for example, the remote controller 110. 2 Receive a voice signal.
  • the second voice signal will also contain noise.
  • the image processing apparatus 100 performs a first preprocessing operation using voice amplification of the first voice signal generated when the first voice signal is generated, and amplifies noise of the second voice signal when a second voice signal is received from an external device.
  • a second preprocessing operation is performed.
  • the first preprocessing may process the signal by default without changing the mode, for example, for the remote speech recognition operation
  • the second preprocessing may process the signal by changing the mode for the speech recognition operation on the basis.
  • the image processing apparatus 100 does not perform long-range and short-range speech recognition operations smoothly because the signals received by different microphone arrays are different. You may not be able to. Accordingly, in the embodiment of the present disclosure, some operations are added such that the second speech signal received in the near speech recognition mode is processed in the same (or similar) processing manner as the first speech signal received in the far speech recognition mode. It can be said that this is the mode converter.
  • the second audio signal related thereto may be output from the peripheral device.
  • the focus is on receiving.
  • the peripheral device for example, the remote control device 110 does not transmit a signal based on a user command to the image processing apparatus 100, the user sees the form of the received second voice signal and the user has a short range voice.
  • the operation may be switched by recognizing that the switch to the recognition mode is requested. For example, when the second voice signal is input in a stereo form, the image processing apparatus 100 may operate in the near voice recognition mode based on the second voice signal. Therefore, the present disclosure will not be particularly limited in what circumstances the short-range voice food mode.
  • FIG. 11 is a flowchart illustrating a driving process of a remote control apparatus according to an embodiment of the present disclosure.
  • the remote control apparatus 110 receives a user command for operating the image processing apparatus 100 (eg, TV, set-top box, etc.) in a near-field speech recognition mode ( S1100).
  • a user command for operating the image processing apparatus 100 eg, TV, set-top box, etc.
  • a near-field speech recognition mode S1100
  • the remote controller 110 acquires a user's voice through a voice acquisition unit including a plurality of microphones and generates a voice signal (S1110).
  • the remote control apparatus 110 generates a plurality of voice signals through the plurality of microphones arranged in a second form different from the form in which the plurality of microphones are arranged in the image processing apparatus 100.
  • the microphone performs a function of converting a sound signal into an electrical signal, which may be a voice signal.
  • the voice signal will contain noise.
  • the remote controller 110 mixes the audio signal generated by the plurality of microphones in a stereo form and transmits it to the image processing apparatus 100 (S1120).
  • the generated stereo audio signal may be transmitted through a single channel.
  • FIG. 12 is a result of processing a broadside microphone array signal applied to a JS9500 smart TV of a domestic S company according to an embodiment of the present disclosure
  • FIG. 13 illustrates an endfire microphone array signal attached to a front / rear of a remote control of a smart TV. The result processed by the Example is shown.
  • both the primary signal emphasizes the voice and the interfering signal emphasizes the ambient noise, e.g. In the last signal waveform and spectrum), the ambient noise was effectively removed and the speaker's voice was emphasized.
  • a signal processor provided in the image processing apparatus 100, for example, one program. Even if the surroundings are noisy, you can maintain the general remote control grip position without having to hold the remote control close to your mouth. In addition, when a remote controller cannot be found, even short sentences can be recognized even when speaking directly to the device. Finally, a DSP chip with preprocessing to process the microphone signal of the remote control does not need to be added to the remote control, which will reduce the power consumption of the remote control.
  • the present disclosure is not necessarily limited to these embodiments.
  • all of the components may be selectively operated in combination with one or more.
  • each or some of the components of the components are selectively combined to perform some or all functions combined in one or a plurality of hardware. It may be implemented as a computer program having a. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art of the present disclosure.
  • Such a computer program may be stored in a computer-readable non-transitory computer readable media to be read and executed by a computer, thereby implementing an embodiment of the present disclosure.
  • the non-transitory readable recording medium refers to a medium that stores data semi-permanently and can be read by a device, not a medium storing data for a short time such as a register, a cache, or a memory.
  • the above-described programs may be stored and provided in a non-transitory readable recording medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 개시는 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체에 관한 것으로서, 본 개시의 실시예에 따른 영상처리장치는, 사용자의 음성을 취득하여 제1 음성 신호를 발생시키는 음성 취득부, 사용자의 제2 음성 신호를 외부 장치로부터 수신하는 통신 인터페이스부, 및 음성 취득부로부터의 제1 음성 신호가 수신되면 수신된 제1 음성 신호의 음성 증폭을 이용한 제1 전처리 동작을 수행하고, 통신 인터페이스부를 통하여 제2 음성 신호가 수신되면 제2 음성 신호의 잡음 증폭을 이용한 제2 전처리 동작을 수행하는 프로세서를 포함할 수 있다.

Description

영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체
본 개시는 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체에 관한 것으로서, 더 상세하게는 가령 TV와 리모컨에 내장된 마이크로폰의 서로 다른 형태를 인식해 원거리 및 근거리 음성 인식을 가능하게 하는 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체에 관한 것이다.
스마트 TV와 같은 제품을 음성으로 제어하기 위하여 리모컨에 내장된 단일 마이크로폰(이하, 마이크)의 음성을 이용하여 TV를 제어하는 것은 잘 알려진 바 있다. 이러한 방식은 음성 취득을 위한 성능이 제한적이어서 전처리 기술을 적용해도 고정(혹은 비유동적인)(stationary) 잡음만 제거 가능하다. 이로 인해 사용자들은 시끄러운 장소에서의 리모컨 사용을 회피하거나 사용한다 해도 리모컨을 입 가까이 가져와 발화하여 그 결과 의도치 않은 숨소리로 인해 인식이 저하는 경우도 빈번하다.
이를 개선하기 위하여 최근 들어서는 빔포밍(beamforming)과 같은 다채널 마이크 기반의 전처리 기술이 소개되고 있는데, 이는 단일 채널 전처리에 비해 방향을 가지게 설계되어 있어 원치 않는 방향에서 오는 고정 잡음도 상당 부분 제거하는 장점을 갖게 되었다.
그런데, 만약 리모컨에 1채널이 아닌 가령 2채널 마이크 어레이를 내장하여 전처리를 통해 인식률을 개선하고자 하는 경우 마이크와 ADC(Analog-Digital Converter) 또는 코덱이 추가되고, 또 별도의 DSP(Digital Signal Processor) 칩이 필요하게 되어 원가 상승으로 이어질 수 있다.
또한, 리모컨에서의 전력 소모도 증가함에 따라 연산량이 적고 성능이 매우 제한적인 2채널 전처리 기술만 적용해야 하는 불편함이 있다.
본 개시의 실시예는, 가령 TV와 리모컨에 내장된 마이크로폰의 서로 다른 형태를 인식해 원거리 및 근거리 음성 인식을 가능하게 하는 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체를 제공함에 그 목적이 있다.
본 개시의 실시예에 따른 영상처리장치는, 사용자의 음성을 취득하여 제1 음성 신호를 발생시키는 음성 취득부, 상기 사용자의 제2 음성 신호를 외부 장치로부터 수신하는 통신 인터페이스부, 및 상기 음성 취득부로부터의 상기 제1 음성 신호가 수신되면 상기 수신된 제1 음성 신호의 음성 증폭을 이용한 제1 전처리 동작을 수행하고, 상기 통신 인터페이스부를 통하여 상기 제2 음성 신호가 수신되면 상기 제2 음성 신호의 잡음 증폭을 이용한 제2 전처리 동작을 수행하는 프로세서를 포함한다.
상기 제1 음성 취득부는, 상기 사용자가 바라볼 때 상기 영상처리장치상에서 좌우로 배치되는 복수의 마이크로폰을 포함하며, 상기 외부 장치는 상기 사용자가 상기 외부 장치를 바라볼 때 전후 또는 상하로 배치된 복수의 마이크로폰을 구비할 수 있다.
상기 통신 인터페이스부는 상기 복수의 마이크로폰에 의해 발생한 음성 신호가 스테레오 형태로 혼합된 상기 제2 음성신호를 상기 외부 장치로부터 단일 채널을 통해 수신할 수 있다.
상기 영상처리장치는, 상기 음성 취득부를 연결하고 분리하는 커넥터를 더 포함할 수 있다.
상기 프로세서는 상기 발생한 제1 음성 신호에 대하여 음성 증폭 및 음성 감쇄 동작을 각각 수행하며, 상기 음성 증폭된 제1 음성 신호를 기본(primary) 신호로 이용하고 상기 음성 감쇄된 제1 음성 신호를 간섭(interference) 신호로 이용해 상기 제1 전처리 동작을 수행할 수 있다.
상기 프로세서는, 상기 수신한 제2 음성 신호에 대하여 잡음 증폭 및 잡음 감쇄 동작을 각각 수행하며, 상기 잡음 감쇄된 제2 음성 신호를 상기 기본 신호로 이용하고 상기 잡음 증폭된 제2 음성 신호를 상기 간섭 신호로 이용해 상기 제2 전처리 동작을 수행할 수 있다.
상기 프로세서는 상기 제1 전처리 동작에 의해 추출한 제1 타겟 음성 신호 및 상기 제2 전처리 동작에 의해 추출한 제2 타겟 음성 신호를 음성 인식 동작을 수행하는 음성 인식부로 제공할 수 있다.
상기 프로세서는 상기 외부 장치를 이용해 근거리 음성 인식 동작을 수행하기 위한 사용자 명령이 있을 때, 상기 통신 인터페이스부를 통하여 상기 제2 음성 신호를 수신할 수 있다.
상기 사용자 명령은 사용자와 상기 영상처리장치 또는 상기 외부 장치의 인터페이스에 의해 입력될 수 있다.
또한, 본 개시의 실시예에 따른 영상처리장치의 구동방법은 사용자의 음성을 취득하여 제1 음성 신호를 발생시키는 단계, 상기 사용자의 제2 음성 신호를 외부 장치로부터 수신하는 단계, 및 상기 제1 음성 신호가 발생하면, 상기 발생한 제1 음성 신호의 음성 증폭을 이용한 제1 전처리 동작을 수행하고, 상기 외부 장치로부터 상기 제2 음성 신호가 수신되면 상기 제2 음성 신호의 잡음 증폭을 이용한 제2 전처리 동작을 수행하는 단계를 포함할 수 있다.
상기 제1 음성 신호는 상기 사용자가 바라볼 때 상기 영상처리장치상에서 좌우로 배치되는 복수의 마이크로폰에 의해 발생하고, 상기 수신하는 단계는 상기 사용자가 상기 외부 장치를 바라볼 때 전후 또는 상하로 배치된 복수의 마이크로폰에 의해 발생된 상기 제2 음성 신호를 수신할 수 있다.
상기 수신하는 단계는, 상기 복수의 마이크로폰에 의해 발생한 음성 신호가 스테레오 형태로 혼합된 상기 제2 음성 신호를 상기 외부 장치로부터 단일 채널을 통해 수신할 수 있다.
상기 영상처리장치의 구동방법은 상기 영상처리장치의 커넥터에 상기 복수의 마이크로폰을 구비한 음성 취득부가 연결되면, 상기 음성 취득부를 인식하는 단계를 더 포함할 수 있다.
상기 제1 전처리 동작을 수행하는 단계는, 상기 발생한 제1 음성 신호에 대하여 음성 증폭 및 음성 감쇄 동작을 각각 수행하는 단계, 및 상기 음성 증폭된 제1 음성 신호를 기본 신호로 이용하고 상기 음성 감쇄된 제1 음성 신호를 간섭 신호로 이용하여 상기 제1 전처리 동작을 수행하는 단계를 포함할 수 있다.
상기 제2 전처리 동작을 수행하는 단계는, 상기 수신한 제2 음성 신호에 대하여 잡음 증폭 및 잡음 감쇄 동작을 각각 수행하는 단계, 및 상기 잡음 감쇄된 제2 음성 신호를 상기 기본 신호로 이용하고 상기 잡음 증폭된 제2 음성 신호를 상기 간섭 신호로 이용하여 상기 제2 전처리 동작을 수행하는 단계를 포함할 수 있다.
상기 영상처리장치의 구동방법은 상기 제1 전처리 동작에 의해 추출한 제1 타겟 음성 신호 및 상기 제2 전처리 동작에 의해 추출한 제2 타겟 음성 신호를 음성 인식 동작을 수행하는 음성 인식부로 제공하는 단계를 더 포함할 수 있다.
상기 수신하는 단계는, 상기 전자장치를 이용해 근거리 음성 인식 동작을 수행하기 위한 사용자 명령이 있을 때, 상기 제2 음성 신호를 수신할 수 있다.
상기 사용자 명령은 사용자와 상기 영상처리장치 또는 상기 전자장치의 인터페이스에 의해 입력될 수 있다.
한편, 본 개시의 실시예에 따른 컴퓨터 판독가능 기록매체는, 영상처리장치의 구동방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 영상처리장치의 구동방법은, 사용자의 음성을 취득하여 제1 음성 신호를 발생시키는 단계, 상기 사용자의 제2 음성 신호를 외부 장치로부터 수신하는 단계, 및 상기 제1 음성 신호가 발생하면, 상기 발생한 제1 음성 신호의 음성 증폭을 이용한 제1 전처리 동작을 수행하고, 상기 외부 장치로부터 상기 제2 음성 신호가 수신되면 상기 제2 음성 신호의 잡음 증폭을 이용한 제2 전처리 동작을 수행하는 단계를 실행할 수 있다.
도 1은 본 개시의 실시예에 따른 음성인식 시스템을 나타내는 도면이다.
도 2는 본 개시의 제1 실시예에 따라 도 1의 영상처리장치의 세부 구조를 나타내는 블록다이어그램,
도 3은 도 2에 도시된 음성신호처리부의 세부 구조를 나타내는 예시도,
도 4는 본 개시의 제2 실시예에 따라 도 1의 영상처리장치의 세부 구조를 나타내는 블록다이어그램,
도 5는 도 2 및 도 4에 도시된 음성신호처리부의 세부 구조를 나타내는 블록다이어그램,
도 6은 원거리 음성 인식 환경과 근거리 음성 인식 환경을 설명하기 위한 도면,
도 7은 본 개시의 제1 실시예에 따른 도 1의 원격제어장치의 세부 구조를 나타내는 블록다이어그램,
도 8은 본 개시의 제2 실시예에 따른 도 1의 원격제어장치의 세부 구조를 나타내는 블록다이어그램,
도 9는 본 개시의 제1 실시예에 따른 영상처리장치의 구동 과정을 나타내는 흐름도,
도 10은 본 개시의 제2 실시예에 따른 영상처리장치의 구동 과정을 나타내는 흐름도,
도 11은 본 개시의 실시예에 따른 원격제어장치의 구동 과정을 나타내는 흐름도, 그리고
도 12 및 도 13은 본 개시의 실시예에 따른 실험 검증 결과를 나타내는 도면이다.
이하, 도면을 참조하여 본 개시의 실시예에 대하여 상세히 설명한다.
본 개시의 실시예에서는 설명의 편의를 위하여 가령 서버 측에 자유발화엔진을 구비하는 경우를 가정하여 설명하겠지만, 본 개시의 실시예는 TV나 셋탑박스 또는 그 주변장치(ex. 액세스포인트) 등에 고정발화엔진을 구비하는 경우에도 얼마든지 적용 가능하므로 어느 하나의 방식에 특별히 한정하지는 않을 것이다.
도 1은 본 개시의 실시예에 따른 음성인식 시스템을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 개시의 실시예에 따른 음성인식 시스템(90)은 영상처리장치(100), 원격제어장치(110), 통신망(120) 및 음성인식장치(130)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 통신망(120) 및/또는 음성인식장치(130)와 같은 일부 구성요소가 생략되어 시스템(90)이 구성되거나, 음성인식장치(130)와 같은 구성요소의 음성인식엔진(ex. 자유발화엔진)이 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
영상처리장치(100)는 DTV 등의 영상표시장치, DTV에 연결된 셋탑박스 등의 주변장치를 포함한다. 물론 주변장치는 영상처리장치(100)의 타 전자기기에 해당되며, 셋탑박스 외에도 BD(Bluray Disk) 재생기, 액세스포인트, 냉장고 등을 더 포함할 수 있다. 물론 영상처리장치(100)는 스마트폰과 같은 휴대폰을 더 포함할 수 있는데, 휴대폰의 경우에는 디스플레이, (데이터) 중계 및 원격제어 등의 다양한 기능을 수행할 수 있으므로 이의 선택에 따라 적절히 사용될 수 있을 것이다.
본 개시의 실시예에 따른 영상처리장치(100)는 복수의 마이크로폰(이하, 마이크)을 포함할 수 있다. 본 개시에서는 복수의 마이크(혹은 제1 마이크)를 마이크 어레이(array)라 명명할 수 있다. 물론 어레이는 배열을 의미한다. 복수의 마이크는 다양한 형태로 영상처리장치(100)에 구비될 수 있는데, 가령 내부에 탑재된 형태로 형성될 수 있고, 또 외부로부터 영상처리장치(100)의 커넥터에 연결되는 방식으로 구비될 수도 있다. 여기서, 내부에 탑재된 형태는 예를 들어, 인쇄회로기판(PCB) 상에 복수의 칩을 나열하는 형태를 가질 수도 있을 것이다.
이러한 복수의 마이크는 제1 방향으로 배열되는 선형 형태를 가질 수 있다. 이때 선형 형태를 갖는 복수의 마이크는 화자가 영상처리장치(100)의 정면(ex. TV의 화면쪽)에 위치할 때 최고의 성능을 발휘하기 위하여 수평 방향으로 배치되는 것이 바람직하다. 이러한 수형 방향은 브로드사이드(broadside) 방향이라 명명될 수 있다. 물론 원격제어장치(110)와 동일 형태를 가질 수도 있겠지만, 다른 형태의 마이크 배열 형태를 가질 수 있다면 원형으로 구비되는 등 다양한 형태를 가질 수 있을 것이다. 본 개시에서는 마이크 간 간격을 자세히 언급하지는 않겠지만, 이러한 부분도 고려될 수 있을 것이다. 영상처리장치(100)와 원격제어장치(110)의 복수의 마이크에 대한 형태는 마이크의 설치에 따른 제조비용 또는 음성인식 성능 등을 최종적으로 고려하여 결정될 수 있는 것이므로 어느 하나의 방식에 특별히 한정하지는 않을 것이다.
위의 구성에 따라 가령, TV에 전원이 인가되어 턴온 동작하는 경우, 영상처리장치(100)는 내부에 구비되는 마이크 어레이를 동작시킬 수 있다. 예를 들어, 영상처리장치(100)는 화자의 발화어, 가령 "Hi TV"와 같은 트리거를 인식하기 위하여 마이크를 항상 턴온된 상태로, 또는 일부의 마이크가 켜진 상태를 유지할 수도 있다. 따라서, 영상처리장치(100)는 원격제어장치(110)로부터 입력되는 음성을 이용하겠다는 사용자 명령이 없는 이상 영상처리장치(100)로 입력되는 음성을 디폴트로 이용하는 것이 바람직하다. 따라서, 영상처리장치(100)는 도 1에서와 같이 화자의 위치를 기준으로 원격제어장치(110)보다는 원거리에서 발화되는 사용자의 음성을 인식하기 위한 동작을 수행하게 된다.
또한, 영상처리장치(100)에 구비되는 버튼 또는 터치 스크린상에서 입력되는 사용자 명령어 또는 원격제어장치(110)로부터 입력되는 사용자 명령어에 근거하여 원격제어장치(110)를 이용한 근거리 음성 인식 동작을 수행해야 하는 경우, 영상처리장치(100)는 내부의 마이크 동작을 중단시킬 수 있다. 이를 통해 영상처리장치(100)는 내부의 마이크를 이용한 원거리 음성 인식 동작을 수행하기 위한 프로그램에 변환기를 단순히 추가하는 것만으로 근거리 음성 인식 동작도 함께 수행할 수 있게 된다.
다시 말해, 영상처리장치(100)가 원거리 음성 인식을 수행하기 위하여 내부의 마이크로 입력된 복수의 음성신호에 신호 처리(ex. 음성 증폭, 음성 억제 등)를 수행하여 기본 신호(primary signal)와 간섭 신호(interference signal)를 생성하였다면, 근거리 음성 인식 동작에서는 복수의 음성 신호에 잡음 증폭 및 잡음 억제 등의 신호 처리가 이루어져 가령 하나의 알고리즘에서 상기의 신호들에 대한 전처리를 양호하게 수행하기 위해서는 잡음 증폭된 복수의 음성 신호와 잡음 억제된 복수의 음성 신호의 위치를 서로 변경하여 가령 후치필터에 입력해야 하므로, 본 개시의 실시예에서는 특정 상황에서 입력 신호의 위치를 서로 바꿔 출력하기 위한 변환기(ex. mode selector)를 사용하게 된다. 물론 변환기는 소프트웨어 모듈에 해당될 수 있을 것이다. 이러한 과정은 원거리 음성 인식을 위한 빔포밍의 대상은 잡음이 아닌 음성이 되지만, 근거리 음성 인식을 위한 빔포밍의 대상은 잡음이 된다는 점에 근거해 볼 수 있을 것이다.
원격제어장치(110)는 통상의 리모컨을 지칭하지만, 원격제어 기능을 갖는 휴대폰 등을 포함할 수 있다. 원격제어장치(110) 또한 복수의 마이크(혹은 제2 마이크)를 갖는다. 이러한 복수의 마이크는 영상처리장치(100)와 동일한 방향으로 배치될 수 있겠지만, 원격제어장치(110)의 구조 특성상(ex. 음성 취득 성능 개선 등) 제1 방향과 다른 방향, 가령 수직 방향으로 배열되는 것이 바람직할 수 있다. 여기서, "수직 방향"이라 함은 화자가 원격제어장치(110)를 바랄 볼 때 전후에 위치하도록 원격제어장치(110)에 배치된 형태를 의미한다. 본 개시의 실시예에서는 신호가 송수신되는 원격제어장치(110)의 전면부의 상하에 배치되는 것이 바람직하다.
이러한 구조에 따라 영상처리장치(100)가 하나의 알고리즘을 실행하는 경우, 원격제어장치(110)에 구비되는 복수의 마이크가 영상처리장치(100)의 마이크 배열과 다른 형태를 가지므로 위에서와 같이 변환기를 통해 전처리 동작을 다르게 수행해 주어야 신호 처리가 정상적으로 수행된다고 볼 수 있다. 만약 원격제어장치(110)에 구비되는 복수의 마이크가 영상처리장치(100)와 동일한 형태를 갖는다면 위의 변환기는 생략되어 구성될 수도 있을 것이다.
나아가, 원격제어장치(110)는 사용자가 근거리 음성 인식 동작을 수행하길 원하는 경우, 영상처리장치(100)로 이를 알리기 위한 제어 신호를 전송할 수 있다. 만약, 근거리 음성 인식 동작을 위한 사용자 명령이 영상처리장치(100)에서 원격제어장치(110)로 수신되는 경우에는 그 반대가 될 수 있을 것이다. 따라서, 사용자 명령이 어디에서 입력되는지 특별히 한정하지는 않을 것이다. 영상처리장치(100)가 사용자 명령이 있다는 것을 인지하기만 하면 어떠한 형태로 사용자 명령이 처리되든 무관할 것이다.
통신망(120)은 유무선 통신망을 모두 포함한다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로 망 등을 포함하는 의미이다. 물론 본 개시의 실시예에 따른 통신망(120)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망 등에 사용될 수 있다. 가령, 통신망(120)이 유선 통신망인 경우 통신망(120) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(120)은 액세스포인트를 포함할 수 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 영상처리장치(100)를 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 영상처리장치(100)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 영상처리장치(100)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함될 수 있다.
음성인식장치(130)는 음성인식서버를 포함하며, 일종의 클라우드 서버로서 동작할 수 있다. 다시 말해, 음성인식장치(130)는 음성 인식과 관련한 모든(또는 일부의) HW 자원이나 SW 자원을 구비함으로써 최소한의 자원을 가진 영상처리장치(100)로부터 수신된 발화 음성에 대한 인식 결과(ex. 텍스트 기반)를 생성하여 제공할 수 있다. 물론 본 개시의 실시예에 따른 음성인식장치(130)는 클라우드 서버에 한정되지는 않는다. 예를 들어, 통신망(120)이 생략 구성되어 영상처리장치(100)가 음성인식장치(130)와 다이렉트 통신을 수행하는 경우, 음성인식장치(130)는 외부 장치 즉 액세스포인트이거나 데스크탑 컴퓨터와 같은 주변 장치가 될 수도 있다. 또는 영상처리장치(100)에서 제공한 음향 신호, 더 정확하게는 오디오 데이터에 대한 인식 결과만 제공해 줄 수 있다면 어떠한 형태의 장치이어도 무관하다. 이러한 점에서 음성인식장치(130)는 인식결과 제공장치가 될 수도 있다.
본 개시의 실시예에 따른 음성인식장치(130)는 사용자가 발화한 발성 음성에 대한 오디오 데이터를 영상처리장치(100)로부터 수신하는 경우, 이에 대한 인식 결과를 산출할 수 있다. 만약, 사용자가 스포츠 스타의 이름을 발화하여 검색을 요청한 경우라면, 검색어에 해당되는 발성 음성의 인식 결과에 근거하여 검색된 검색 결과를 영상처리장치(100)로 제공할 수도 있다. 반면, 영상처리장치(100)의 하드웨어(ex. 튜너)나 소프트웨어(ex. 어플리케이션)를 동작시키기 위한 음성을 발화하였다면 이에 대한 인식 결과를 제공하게 될 것이다.
도 2는 본 개시의 제1 실시예에 따른 도 1의 영상처리장치의 세부 구조를 나타내는 블록다이어그램이며, 도 3은 도 2에 도시된 음성신호 처리부의 세부 구조를 나타내는 예시도이다.
도 2에 도시된 바와 같이, 본 개시의 제1 실시예에 따른 도 1의 영상처리장치(100)는 셋탑박스와 같은 주변장치이고, 마이크가 외부에서 연결되는 상황이라면, 통신 인터페이스부(200) 및 음성신호 처리부(210)를 포함하며, 마이크가 외부에서 연결되는 상황이 아니라면, 마이크 어레이와 같은 음성 취득부를 더 포함할 수 있다.
통신 인터페이스부(200)는 영상처리장치(100)가 원거리 음성 인식 모드로 동작할 때, 통신 인터페이스부(200)에 연결된 마이크로부터 수신되는 복수의 음성 신호를 음성신호 처리부(210)로 전달할 수 있다. 또한, 영상처리장치(100)가 근거리 음성 인식 모드로 동작할 때에는 원격제어장치(110)에서 제공되는 복수의 음성 신호를 수신하여 음성신호 처리부(210)로 전달한다. 여기서, 모드(mode)는 시스템 설계자가 특정 조건에서 어떠한 과정으로 동작하도록 지정한 상태에 해당된다.
나아가, 통신 인터페이스부(200)는 음성신호 처리부(210)가 음성 신호가 어떠한 형태로 처리되느냐에 따라 다양한 형태의 정보 즉 데이터를 처리할 수 있다. 예를 들어, 음성신호 처리부(210)가 고정발화엔진을 구비하는 경우를 가정해 보자. 이의 경우에는 인식 결과에 근거하여 영상처리장치(100)의 다양한 동작을 수행할 수 있을 것이다. 가령 "TV 꺼"를 가정해 보자. 이의 인식 결과에 근거하여 영상처리장치(100)는 외부에서 입력되는 전원을 차단할 수 있을 것이다.
또한, 통신 인터페이스부(200)가 도 1의 음성인식장치(130)와 연계하에 동작해야 하는 경우를 가정해 보자. 음성신호 처리부(210)는 자체적으로 처리 가능한 트리거 명령이 아닌 경우라 판단되면, 간단한 전처리 동작만 수행하여 전처리된 음성 신호를 음성인식장치(130)로 전송하도록 통신 인터페이스부(200)를 제어할 수 있다.
음성신호 처리부(210)는 위에서 언급한 대로 다양한 동작을 수행할 수 있지만, 본 개시의 실시예에 따라 원거리 음성 인식 동작과 근거리 음성 인식 동작을 모두 수행하게 된다. 음성신호 처리부(210)는 인식 동작을 수행하기에 앞서 전처리 동작을 수행하게 되는데, 음성 신호가 입력되면 가령 트리거 신호가 있는 구간만을 추출하고, 추출한 음성 신호 구간에서 잡음을 제거하는 등의 동작을 기본적으로 수행하게 된다. 이때, 음성신호 처리부(210)는 원거리 음성 인식 동작에서 빔포밍 동작(ex. 증폭기의 증폭)을 통해 음성 영역을 증폭시키고, 감쇄기(ex. blocking matrix)를 통해 음성 영역을 억제시키며, 두 신호를 다시 가령 후치필터를 통해 (후)처리하여 원하는 타겟 음성 신호을 추출하게 되는 것이다.
또한, 음성신호 처리부(210)는 본 개시에 따라 근거리 음성 인식 모드로 동작하는 경우, 위에서와 동일한 가령 빔포머와 차단 매트릭스를 이용하여 각각 잡음 영역을 증폭하고, 잡음 영역을 억제한 후 타겟 음성 신호를 출력하는 후처리 단(ex. post-filter)으로 입력되는 두 신호의 위치를 변경하여 입력시킨다. 다시 말해, 잡음 영역을 증폭한다는 것은 음성 영역을 유지하는 것이지만 위의 음성 영역을 억제하는 것에 대비된다고 볼 수 있고, 잡음 영역을 감소하는 것은 음성 영역을 증폭하는 것에 대비된다고 볼 수 있기 때문이다. 이는 물론 도 1의 영상처리장치(100) 및 원격제어장치(110)에 구비되는 마이크의 배열 방향에서 기인하는 것이라 볼 수 있으므로, 본 개시에서는 그 배열 방향에 따라 서로 다른 전처리 동작을 수행하기 위해 변환기를 통해 두 신호의 위치를 변경하여 후처리 단으로 입력시키게 된다.
물론, 영상처리장치(100) 및 원격제어장치(110)에 구비되는 마이크의 배열 방향이 서로 동일하다면 위의 위치 변환 과정이 불필요하겠지만, 대신 음성 인식 특히 근거리 음성 인식의 효율이 감소할 수는 있을 것이다. 따라서, 본 개시에서는 이러한 상황을 고려하여 마이크가 배치된다는 가정하에, 변환기를 단순히 추가하는 것만으로 영상처리장치(100)가 원거리 및 근거리 음성 인식 동작을 수행하고, 최고의 효율을 띠게 된다고 볼 수 있을 것이다.
한편, 음성신호 처리부(210)는 도 3에서와 같이 프로세서(300) 및 메모리(310)를 포함할 수 있다. 프로세서(300)는 메모리(310)에 저장된 본 개시의 실시예에 따른 프로그램(또는 알고리즘)을 실행하여 본 개시에 따른 음성처리 동작을 수행할 수 있을 것이다. 여기서, 프로세서(300)는 가령 명령 해석부, 연산부(ALU), 레지스터 그룹, 제어회로를 포함할 수 있다. 이는 당업자에게 잘 알려진 바이므로 자세한 내용은 생략하도록 한다.
도 4는 본 개시의 제2 실시예에 따른 도 1의 영상처리장치의 세부 구조를 나타내는 블록다이어그램이다.
도 4에 도시된 바와 같이, 본 개시의 제2 실시예에 따른 도 1의 영상처리장치(100)는 DTV와 같은 영상표시장치이고, 마이크가 내장된 상황을 가정한 것으로서, 통신 인터페이스부(400), 음성 취득부(410), 제어부(420), 저장부(430), 디스플레이부(440) 및 음성신호 처리부(450)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 일부 구성요소가 생략되거나 하나의 구성요소가 다른 구성요소에 통합될 수 있는 것을 의미하는 것으로서, 발명의 충분히 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
도 4의 영상처리장치(100')는 도 2의 영상처리장치(100)와 비교해 볼 때, 크게 차이는 없다. 다만, 도 4의 영상처리장치(100')는 음성 취득부(410)를 포함하고, 제어부(420)와 음성신호 처리부(450)가 물리적으로 분리되어 있다는 데에 차이가 있다. 이에 따라 제어 기능은 제어부(420)에서 담당하고, 음성신호처리는 음성신호 처리부(450)에서 수행한다고 볼 수 있다.
음성 취득부(410)는 본 개시의 실시예에 따라 복수의 마이크를 포함할 수 있다. 이때, 복수의 마이크는 선형으로 배열된 형태를 가질 수 있으며, 가령 브로드사이드 방향 즉 화자가 바라보는 방향(↑)과 수직된 방향(→)으로 배열되는 것이 바람직하다. 또한, 음성 취득부(410)는 보드상에 구성된 칩의 형태로 이루어지는 것도 얼마든지 가능하며, 본 개시의 실시예에서는 도 1의 원격제어장치(110)와 다른 형태를 가질 수 있다면 어떠한 형태를 갖는다 하더라도 무관할 것이다.
또한, 제어부(420)는 음성신호의 처리가 필요한 경우 음성신호 처리부(450)를 제어하여 내부에 저장된 프로그램을 실행시키고, 그에 따른 결과를 수신하여 처리할 수 있다. 예를 들어, 음성신호 처리부(450)를 통해 "지금 몇시지?"라는 명령어에 대한 인식 결과를 수신하여 그에 따라 관련 정보를 디스플레이부(440)에 표시해 줄 수 있을 것이다.
음성신호 처리부(450)는 도 2에서 이미 설명한 바 있지만, EEPROM의 형태로 구성되어 음성신호처리를 위한 프로그램을 써넣는 방식을 갱신할 수 있을 것이다.
한편, 제어부(420)가 도 3에서와 같이 프로세서(300)와 메모리(310)를 포함하는 경우, 프로세서(300)는 영상처리장치(100')의 초기 구동시에 음성신호 처리부(450)에 저장된 프로그램을 메모리(310)로 로딩한 후 이를 이용할 수 있을 것이다. 이에 메모리(310)는 램(RAM)이 될 수 있다.
저장부(430)는 음성처리장치(100')의 내부에서 처리되는 다양한 정보 또는 데이터를 저장할 수 있다. 여기서, 정보는 장치의 식별 정보, 사용자 정보 등을 의미한다면, 데이터는 음성 및 영상 데이터 등을 의미할 수 있다. 제어부(420)의 제어 하에 저장부(430)에 저장된 정보 또는 데이터가 출력될 수 있을 것이다.
도 5는 도 2 및 도 4에 도시된 음성신호 처리부의 세부 구조를 나타내는 블록다이어그램이며, 도 6은 원거리 음성 인식 환경과 근거리 음성 인식 환경을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 가령 도 4의 음성신호 처리부(450)는 스위칭부(500), 버퍼부(510), 빔포머(520), 차단 매트릭스부(530), 변환기(540) 및 후처리부(550)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 앞서의 의미와 동일하며, 상기의 각각의 블록은 하드웨어적으로 구분됨을 의미할 수 있지만, 하나의 소프트웨어에서 각각의 기능을 수행하기 S/W 모듈을 의미할 수 있다. 하드웨어에서의 모듈은 하나의 칩 단위가 될 수 있다.
스위칭부(500)는 스위치를 포함하며, 스위치는 MOS FET 소자들로 구성될 수도 있다. 스위칭부(500)는 도 1의 영상처리장치(100)로부터의 음성 신호(혹은 제1 음성 신호)와 원격제어장치(110)의 음성 신호(혹은 제2 음성 신호)를 선택한다. 예를 들어, TV가 턴온되는 경우 영상처리장치(100)로부터의 음성 신호를 수신하도록 디폴트로 설정되어 있다가 원격제어장치(110)를 이용한 근거리 음성인식 모드로 변경될 때, 원격제어장치(110)의 음성 신호가 수신되도록 경로를 선택할 수 있다. 이때 제어는 가령 도 4의 제어부(420)의 제어하에 이루어질 수 있을 것이다. 여기서, 근거리 음성인식 모드로의 변경은 원격제어장치(110)에 구비되는 음성인식 버튼을 선택함으로써 이루어질 수 있다.
버퍼부(510)는 외부로부터 입력되는 신호를 일시 저장하였다가 동기화하여 신호를 출력할 수 있다. 가령 시리얼(serial)로 신호 또는 데이터를 수신하여 패러렐(parallel) 형태로 변환하는 것이다. 이에 따라 버퍼부(510)는 빔포머(520)와 차단 매트릭스부(530)로 신호를 동시에 출력할 수 있을 것이다.
빔포머(520)는 차단 매트릭스부(530), 변환기(540)와 함께 본 개시에 따른 음성 신호의 전처리 동작을 수행한다. 사실, 음성인식동작에서 전처리부는 위의 후처리부를 포함하는 의미이지만, 본 개시에서는 전처리부를 다시 전처리부와 후처리부로 편의상 구분한 것이라 볼 수 있다. 빔포머(520)는 화자 방향에서 입력되는 신호를 증폭하며, 이에 따라 증폭기를 포함할 수 있을 것이다.
반면, 빔포머(520)는 근거리 음성인식 환경에서 음성 신호가 입력될 때에는 위에서와 동일한 알고리즘을 이용하며, 그에 따라 수신된 음성 신호에서 잡음 영역이 증폭된다. 따라서, 하나의 빔포머(520)는 영상처리장치(100)와 원격제어장치(110)에 배치된 복수의 마이크의 서로 다른 형태로 인해 동일한 동작을 수행하지만, 한편에서는 음성 영역을 증폭시키게 되고, 다른 한편에서는 잡음 영역을 증폭시키게 되는 것이다.
차단 매트릭스부(530)는 화자 방향에서 입력되는 신호를 감쇄시킨다. 예를 들어, 빔포머(520)가 음성 영역을 증폭시킨다면, 차단 매트릭스부(530)는 음성 영역을 감쇄시킨다. 사실, 음성 신호는 사용자 발화 음성을 나타내는 음성 영역과 잡음 신호인 잡음 영역을 포함하게 된다. 이때, 빔포머(520)를 통해 변환기(540)로 입력되는 음성 영역이 증폭된 음성 신호는 기본 신호가 되고, 차단 매트릭스부(530)로부터 입력되는 음성 영역이 감쇄된 음성 신호는 간섭 신호가 된다.
위에서와 마찬가지로, 차단 매트릭스부(530)는 근거리 음성인식 환경에서 음성 신호가 입력될 때, 위에서와 동일한 알고리즘을 통해 잡음 영역이 감쇄된 음성 신호를 변환기(540)로 제공하게 된다.
변환기(540)는 원거리 음성 인식 동작을 수행할 때, 기본 신호와 간섭 신호를 후처리부(550)로 제공하여 잡음 특성을 분석하여 그 결과에 따라 원하는 타겟 음성 신호를 출력하도록 할 수 있다. 반면, 근거리 인식 동작을 수행하기 위해서는 후처리부(550)가 타겟 음성 신호를 출력할 수 있도록 잡음 영역이 감쇄된 음성 신호를 위의 기본 신호가 제공되는 입력부로 제공하고, 잡음 영역이 증폭된 음성 신호는 위의 간섭 신호가 제공되는 입력부로 제공하게 된다. 이를 본 개시의 실시예에서 '모드 변경'이라 명명한다. 다시 말해, 변환기(540)는 제1 상황에서 제1 방식으로 신호 처리를 수행하고, 제2 상황에서는 제1 방식과 다른 제2 방식으로 신호를 처리하므로 모드 변경이라 명명될 수 있다.
후처리부(550)(ex. post-filter)는 엄격히 말해 음성인식 동작에서는 전처리 동작에 포함되는 것이지만, 원거리 음성인식 환경 및 근거리 음성인식 환경에서 각각 입력되는 기본 신호와 간섭 신호를 이용하여 음성 인식을 위해 필요한 타겟 음성 신호를 출력하게 된다. 후치필터와 관련해서는 이후에 좀더 다루기로 한다.
출력된 타겟 음성 신호는 음성 인식부로 제공되어 음성 인식 동작이 이루어지게 될 것이다. 음성 인식부는 타겟 음성 신호의 특징을 추출하고, 추출한 특징을 기반으로 음성 모델 DB의 데이터와 비교하여 인식 결과를 산출할 수 있을 것이다.
좀더 살펴보면, 원거리 음성 인식으로 기기를 제어하기 위해 영상처리장치(100)의 본체에 내장된 2채널 마이크 어레이는 도 6의 (a)처럼 제품의 정면 방향에 수직으로 배치되며 이를 브로드사이드 어레이라 부른다. 이러한 마이크 어레이 신호에 정면 방향으로 빔포밍을 적용하면 화자의 음성이 증폭되고 측면 방향에서의 소리가 감쇄된 신호를 얻을 수 있다. 이를 기본 신호라 하는 것이다.
또한 ICA(Independent Component Analysis)에 기반한 적응적 필터링(adaptive filtering) 기술을 적용하여 특정 방향의 소리를 강화하는 필터(filter)를 생성하는 것이 가능한데, GSS(Geometric Source Separation)에서와 같이 화자 방향에 고정된 빔포밍 필터 계수를 제한 조건(adaptation constraint)으로 활용하면 화자 음성이 억제된 신호를 얻을 수 있다. 이를 간섭 신호라 하고 이러한 필터를 생성하는 모듈을 '차단 매트릭스'라 부른다.
다시 말해 원거리 음성인식(far-talk) 조건에서의 기본 신호는 정면의 화자 음성이 강조되고 측면의 간섭 잡음이 억제된 신호인데, 이에 반해 간섭 신호는 정면의 화자 음성이 억제되고 측면의 간섭 잡음이 강조된 신호가 된다. 목적은 기본 신호에 담겨있는 주변 소음과 간섭 잡음을 제거하는 것인데, 일반적으로 주변 소음은 고정된 특성을 갖고, 간섭 잡음은 유동적인 특정을 갖는다고 가정한다. 따라서 MCRA(Minima-Controlled Recursive Average)와 같은 잡음 추정 기법으로 주변 소음을 추정하고 여기에 간섭 신호를 더하여 기본 신호에 포함된 비음성 잡음을 추정한다. 마지막으로 이렇게 추정된 잡음을 기반으로 OM-LSA(Optimally Modified Log Spectral Amplitude)와 같은 음성 추정 기법을 적용하여 기본 신호에서 화자 음성을 추출한다. 이러한 처리 과정은 모두 후처리부(550)에서 이루어질 수 있는데, 이때 후처리부(550)는 연산량을 획기적으로 줄이기 위하여 별도의 동작을 더 수행할 수도 있을 것이다.
흔히 측면 간섭 잡음을 제거하기 위해 리모컨 즉 원격제어장치(110)에 적용하는 2채널 엔드파이어(end-fire) 마이크 어레이는 도 6의 (b)와 같이 리모컨의 전/후면에 장착되어 화자 방향과 직선상의 배치를 갖는다. 이러한 경우 본 개시의 실시예에서와 같이 모드 변경을 위한 변환기(540)를 적용하지 않는 경우 빔포머의 출력 신호는 측면 간섭 잡음이 강화되고 화자 음성이 억제된 신호가 되는데 반해 차단 매트릭스(530)의 출력 신호는 화자 음성이 강화된 신호가 된다. 따라서 위에서 언급한 원거리 음성 인식용 신호 처리 구조(ex. 빔포머, 차단 매트릭스)를 그대로 적용하되, 변환기(540)에서 후처리부(550)로 제공되는 신호 즉 기본 신호와 간섭 신호를 서로 뒤바꿔서 입력하게 되면 측면의 간섭 잡음과 주변 소음이 효과적으로 제거된 신호를 얻을 수 있게 된다. 즉 도 1의 영상처리장치(100)가 근거리 음성 인식 모드에서 동작할 때에도 원하는 타겟 음성 신호를 용이하게 얻을 수 있다.
도 7은 본 개시의 제1 실시예에 따른 도 1의 원격제어장치의 세부 구조를 나타내는 블록다이어그램이다.
도 7에 도시된 바와 같이, 본 개시의 제1 실시예에 따른 원격제어장치(110)는 통신 인터페이스부(700) 및 제어부(710)를 포함하며, 음성 취득부를 더 포함할 수 있다.
가령, (1) 복수의 마이크가 원격제어장치(110)의 통신 인터페이스부(700)에 연결되어 동작하는 경우, (2) 음성인식을 통해 원격제어장치(110)가 근거리 음성 인식 동작을 위한 사용자 명령을 수신하고, 수신한 사용자 명령을 도 1의 영상처리장치(100)로 전송하는 경우, (3) 영상처리장치(100)에서 제공되는 사용자 명령을 근거로 원격제어장치(110)가 근거리 음성 인식 동작을 수행하는 경우 등은 도 7의 구조를 가질 수 있을 것이다.
위에서와 같은 여러 상황들을 고려해 볼 때, 통신 인터페이스부(700)는 제어부(710)의 제어 하에 근거리 음성 인식을 위한 다양한 동작을 수행한다. 예를 들어, 근거리 음성 인식 동작이 이루어지도록 하는 사용자 명령이 있는 경우, 복수의 마이크를 통해 수신되는 복수의 신호들을 스테레오 형태로 형성하고, 형성된 스테레오 형태의 음성 신호를 하나의 채널을 통해 영상처리장치(100)로 전송하게 된다.
제어부(710)는 본 개시의 실시예에 따라 복수의 마이크를 통해 입력되는 신호들을 스테레오 형태로 생성하여 영상처리장치(100)로 전송하도록 통신 인터페이스부(700)를 제어할 수 있다. 이는 근거리 음성 인식 동작을 수행하기 위한 사용자 명령이 있을 때 이루어질 수 있으며, 만약 해제 명령이 있는 경우 복수의 마이크로 제공되는 전원을 차단하는 등의 동작을 수행할 수 있을 것이다.
도 8은 본 개시의 제2 실시예에 따른 도 1의 원격제어장치의 세부 구조를 나타내는 블록다이어그램이다.
도 8에 도시된 바와 같이, 본 개시의 제2 실시예에 따른 원격제어장치(110')는 통신 인터페이스부(800), 음성 취득부(810), 제어부(820), 사용자 인터페이스부(830) 및 저장부(840)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서의 의미와 동일하다.
도 7의 원격제어장치(110)와 비교해 볼 때, 도 8의 원격제어장치(110')는 복수의 마이크가 배열되어 있는 음성 취득부(810)를 내장하고, 버튼 또는 디스플레이와 같은 사용자 인터페이스부(830)를 더 포함할 수 있다는 데에 차이가 있다. 물론 음성 취득부(810)의 마이크 배열은 도 1의 영상처리장치(100)에 배열된 마이크의 형태와 다른 형태를 갖는 것이 바람직하다. 또한, 원격제어장치(110')를 이용해 사용자가 근거리 음성 인식 동작을 수행하고자 할 때, 이의 동작을 실행하기 위하여 원격제어장치(110')는 본체의 정면 또는 측면에 구비되는 물리 버튼을 이용할 수 있지만, 디스플레이의 화면상에 키패드의 형태로 구현하는 경우에는 화면에 표시된 키패드를 사용자가 터치하여 이용할 수 있을 것이다.
또한, 제어부(820)는 원격제어장치(110')의 모든 구성요소들을 제어하는 역할을 수행할 수 있다. 예를 들어 제어부(820)는 처리되는 정보나 데이터는 저장부(840)에 저장한 후 이용할 수 있을 것이다. 본 개시의 실시예에 따라 제어부(820)는 사용자 인터페이스부(830)를 통해 사용자가 근거리 음성 인식 동작을 수행할 것을 요청하였다면, 이를 통신 인터페이스부(800)를 통해 영상처리장치(100)로 제공하도록 한다. 이때 제공되는 정보는 비트 정보일 수 있을 것이다. 또한, 제어부(820)는 근거리 음성 인식 동작을 수행하여 음성 취득부(810)의 복수의 마이크를 통해 입력되는 음성 신호들을 조합하여 스테레오 형태의 음성 신호를 생성할 수 있다. 그리고 생성한 음성 신호를 통신 인터페이스부(800)를 통해 영상처리장치(100)로 전송되도록 한다.
이러한 점을 제외하면, 도 8의 통신 인터페이스부(800), 음성 취득부(810), 제어부(820), 사용자 인터페이스부(830) 및 저장부(840)는 앞서의 도 7의 통신 인터페이스부(700) 및 제어부(710)와 크게 다르지 않으므로 그 내용들로 대신한다.
한편, 도 7의 경우에도 마찬가지겠지만, 도 8의 제어부(820)는 도 3에서와 같은 구조를 가질 수 있다. 따라서, 본 개시에서는 원격제어장치(110')가 어떠한 형태를 갖는지 특별히 한정하지는 않을 것이다.
도 9는 본 개시의 제1 실시예에 따른 영상처리장치의 구동 과정을 나타내는 흐름도이다.
설명의 편의상 도 9를 도 1 및 도 5와 함께 참조하면, 영상처리장치(100)는 전원이 켜짐과 동시에 해당 장치(100)에 내장된 마이크가 활성화되고 전처리의 처리 모드는 디폴트로 원거리 모드로 되어 빔포머(520)의 출력을 기본 신호로, 차단 매트릭스 출력을 간섭 신호로 후처리부(550)에 입력한다(S900 ~ S940). 후처리부(550)의 출력 신호가 음성 인식 모드 활성화를 위한 웨이크업(wake-up) 단어임이 확인되면 이후 출력 신호는 추가 명령어 인식을 위한 음성 인식부로 보내어진다(S950, S960).
사용자가 리모컨의 음성 인식 버튼을 누르면 영상처리장치(100)에 내장된 마이크를 비활성화함과 동시에 리모컨에 내장된 마이크를 활성화하고, 처리 모드를 근거리 모드로 변경하여 차단 매트릭스 출력을 기본 신호로, 빔포머(520)의 출력을 간섭 신호로 후처리부(550)에 입력한다(S910 ~ S980). 이후 후처리부(550)의 출력 신호는 음성 인식부로 보내진다. 여기서, "근거리 모드로 변경"한다는 것은 변환기(혹은 모드 선택기)(520)가 2개의 입력 신호의 위치를 서로 바꿔서 출력하는 것에 해당된다.
도 10은 본 개시의 제2 실시예에 따른 영상처리장치의 구동 과정을 나타내는 흐름도이다.
설명의 편의상 도 10을 도 1과 함께 참조하면, 도 1의 영상처리장치(100)는 사용자의 음성을 취득하여 제1 음성 신호를 발생한다(S1000). 가령 자신의 본체에 제1 형태로 배열되는 복수의 마이크로폰을 포함하는 제1 음성 취득부를 통해 복수의 제1 음성 신호를 발생시킨다. 여기서, 복수의 제1 음성 신호는 각각의 마이크로폰을 통해 발생된 다수의 제1 음성 신호들을 나타낸다. 물론 각각의 음성 신호는 노이즈 즉 잡음을 포함할 것이다.
또한, 영상처리장치(100)는 사용자의 제2 음성 신호를 외부 장치로부터 수신한다(S1010). 여기서, 제2 음성 신호는 외부 장치에 구비되는 제2 음성 취득부에서 발생하여 제공되는 신호를 나타낸다. 제2 음성 취득부는 제1 형태와 다른 제2 형태로 배열되는 복수의 마이크로폰을 구비하며, 영상처리장치(100)는 타 전자장치 예컨대 원격제어장치(110)로부터 복수의 마이크로폰에 의해 발생한 복수의 제2 음성 신호를 수신한다. 제2 음성 신호 또한 잡음을 포함할 것이다.
이어 영상처리장치(100)는 제1 음성 신호가 발생하면 발생한 제1 음성 신호의 음성 증폭을 이용한 제1 전처리 동작을 수행하고, 외부 장치로부터 제2 음성 신호가 수신되면 제2 음성 신호의 잡음 증폭을 이용한 제2 전처리 동작을 수행한다(S1020). 여기서, 제1 전처리는 원거리 음성 인식 동작을 위해 가령 모드 변경없이 디폴트로 신호가 처리될 수 있고, 제2 전처리는 근거로 음성 인식 동작을 위해 모드를 변경하여 신호를 처리할 수 있을 것이다.
앞서 이미 설명한 바와 같이, 하나의 빔포머와 하나의 차단 매트릭스를 사용한다 하더라도 서로 다른 마이크 어레이에 의해 수신되는 신호의 형태가 다르기 때문에 영상처리장치(100)는 원거리 및 근거리 음성 인식 동작을 원활히 수행하지 못할 수 있다. 따라서, 본 개시의 실시예에서는 근거리 음성 인식 모드에서 수신되는 제2 음성 신호를 원거리 음성 인식 모드에서 수신되는 제1 음성 신호와 같은(또는 유사한) 처리 방식으로 신호 처리가 이루어지도록 일부의 동작을 추가하였다고 볼 수 있는데, 이것이 바로 모드 변환기에 해당될 수 있다.
한편, 본 개시의 실시예에서는 복수의 제2 음성 취득부가 주변장치에 구비되느냐보다는 가령 두 장치의 마이크 어레이가 서로 다른 형태일 때 이에 관련된 제2 음성 신호를 영상처리장치(100)가 주변장치로부터 수신한다는 것에 중점을 두고 있다. 이러한 점에 근거해 보면, 굳이 주변장치 가령 원격제어장치(110)가 영상처리장치(100)로 사용자 명령에 근거한 신호를 전송하지 않는다 하더라도, 수신된 제2 음성 신호의 형태를 보고 사용자가 근거리 음성 인식 모드로의 전환을 요청한 것으로 인식하여 모드를 변환하여 동작할 수도 있을 것이다. 예를 들어, 제2 음성 신호가 스테레오 형태로 입력되면, 이를 근거로 영상처리장치(100)는 근거리 음성 인식 모드로 동작할 수도 있는 것이다. 따라서, 본 개시에서는 어떠한 상황에서 근거리 음성 음식 모드로 전환하는지에 대하여 특별히 한정하지는 않을 것이다.
도 11은 본 개시의 실시예에 따른 원격제어장치의 구동 과정을 나타내는 흐름도이다.
설명의 편의상 도 11을 도 1과 함께 참조하면, 원격제어장치(110)는 영상처리장치(100)(ex. TV, 셋탑박스 등)를 근거리 음성 인식 모드로 동작시키기 위한 사용자 명령을 수신한다(S1100).
이어, 원격제어장치(110)는 복수의 마이크로폰을 포함하는 음성 취득부를 통해 사용자의 음성을 취득하여 음성 신호를 발생시킨다(S1110). 원격제어장치(110)는 영상처리장치(100)에서 복수의 마이크로폰이 배열되는 형태와 다른 제2 형태로 배열되는 복수의 마이크로폰을 통해 복수의 음성 신호를 발생시킨다. 통상 마이크는 소리 신호를 전기 신호를 변환하는 기능을 수행하게 되는데, 이러한 전기 신호는 음성 신호가 될 수 있다. 물론 음성 신호에는 잡음이 포함되어 있을 것이다.
또한, 원격제어장치(110)는 복수의 마이크로폰에 의해 발생한 음성 신호를 스테레오 형태로 혼합하여 영상처리장치(100)로 전송한다(S1120). 이때 발생한 스테레오 형태의 음성 신호는 단일 채널을 통해 전송될 수 있다.
도 12 및 도 13은 본 개시의 실시예에 따른 실험 검증 결과를 나타내는 도면이다.
도 12는 국내 S사의 JS9500 스마트 TV에 적용된 브로드사이드 마이크 어레이 신호를 본 개시의 실시예에 의해 처리한 결과이고, 도 13은 스마트 TV의 리모컨 전/후면에 부착한 엔드파이어 마이크 어레이 신호를 본 개시의 실시예에 의해 처리한 결과를 보여주고 있다.
주변이 시끄러운 환경에서 두 가지 마이크 어레이로 입력된 신호를 처리한 결과, 양쪽 모두 기본 신호는 음성을 강조하고, 간섭 신호는 주변 잡음을 강조하여 가령 후치필터와 같은 후처리부의 최종 출력(ex. 맨 마지막의 신호 파형 및 스펙트럼) 신호에는 주변 잡음이 효과적으로 제거되고 화자 음성이 강조된 것을 확인할 수 있었다.
본 개시의 실시예에 따르면, 영상처리장치(100)에 구비되는 신호처리기 가령 하나의 프로그램을 이용하여 원거리와 근거리 발화를 모두 처리할 수 있게 된다. 주변이 시끄러워도 리모컨을 입에 가까이 댈 필요 없이 일반적인 리모컨 파지 자세를 유지하며 버튼만 누르고 말해도 인식 성능에 열화를 막을 수 있다. 또한, 리모컨을 찾을 수 없을 때 기기를 향해 직접 말해도 짧은 문장은 인식이 가능해진다. 끝으로 리모컨의 마이크 신호를 처리하기 위한 전처리가 적용된 DSP 칩을 리모컨에 추가될 필요가 없으므로 리모컨의 전력 소모도 줄일 수 있게 될 것이다.
한편, 본 개시의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 개시가 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 개시의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 개시의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 사용자의 음성을 취득하여 제1 음성 신호를 발생시키는 음성 취득부;
    상기 사용자의 제2 음성 신호를 외부 장치로부터 수신하는 통신 인터페이스부; 및
    상기 음성 취득부로부터의 상기 제1 음성 신호가 수신되면 상기 수신된 제1 음성 신호의 음성 증폭을 이용한 제1 전처리 동작을 수행하고, 상기 통신 인터페이스부를 통하여 상기 제2 음성 신호가 수신되면 상기 제2 음성 신호의 잡음 증폭을 이용한 제2 전처리 동작을 수행하는 프로세서;를 포함하는 영상처리장치.
  2. 제1항에 있어서,
    상기 제1 음성 취득부는, 상기 사용자가 바라볼 때 상기 영상처리장치상에서 좌우로 배치되는 복수의 마이크로폰을 포함하며, 상기 외부 장치는 상기 사용자가 상기 외부 장치를 바라볼 때 전후 또는 상하로 배치된 복수의 마이크로폰을 구비하는 영상처리장치.
  3. 제1항에 있어서,
    상기 통신 인터페이스부는 상기 복수의 마이크로폰에 의해 발생한 음성 신호가 스테레오 형태로 혼합된 상기 제2 음성신호를 상기 외부 장치로부터 단일 채널을 통해 수신하는 영상처리장치.
  4. 제1항에 있어서,
    상기 음성 취득부를 연결하고 분리하는 커넥터;를 더 포함하는 영상처리장치.
  5. 제1항에 있어서,
    상기 프로세서는 상기 발생한 제1 음성 신호에 대하여 음성 증폭 및 음성 감쇄 동작을 각각 수행하며, 상기 음성 증폭된 제1 음성 신호를 기본(primary) 신호로 이용하고 상기 음성 감쇄된 제1 음성 신호를 간섭(interference) 신호로 이용해 상기 제1 전처리 동작을 수행하는 영상처리장치.
  6. 제5항에 있어서,
    상기 프로세서는, 상기 수신한 제2 음성 신호에 대하여 잡음 증폭 및 잡음 감쇄 동작을 각각 수행하며, 상기 잡음 감쇄된 제2 음성 신호를 상기 기본 신호로 이용하고 상기 잡음 증폭된 제2 음성 신호를 상기 간섭 신호로 이용해 상기 제2 전처리 동작을 수행하는 영상처리장치.
  7. 제6항에 있어서,
    상기 프로세서는 상기 제1 전처리 동작에 의해 추출한 제1 타겟 음성 신호 및 상기 제2 전처리 동작에 의해 추출한 제2 타겟 음성 신호를 음성 인식 동작을 수행하는 음성 인식부로 제공하는 영상처리장치.
  8. 제1항에 있어서,
    상기 프로세서는 상기 외부 장치를 이용해 근거리 음성 인식 동작을 수행하기 위한 사용자 명령이 있을 때, 상기 통신 인터페이스부를 통하여 상기 제2 음성 신호를 수신하는 영상처리장치.
  9. 제8항에 있어서,
    상기 사용자 명령은 사용자와 상기 영상처리장치 또는 상기 외부 장치의 인터페이스에 의해 입력되는 영상처리장치.
  10. 사용자의 음성을 취득하여 제1 음성 신호를 발생시키는 단계;
    상기 사용자의 제2 음성 신호를 외부 장치로부터 수신하는 단계; 및
    상기 제1 음성 신호가 발생하면, 상기 발생한 제1 음성 신호의 음성 증폭을 이용한 제1 전처리 동작을 수행하고, 상기 외부 장치로부터 상기 제2 음성 신호가 수신되면 상기 제2 음성 신호의 잡음 증폭을 이용한 제2 전처리 동작을 수행하는 단계;를 포함하는 영상처리장치의 구동방법.
  11. 제10항에 있어서,
    상기 제1 음성 신호는 상기 사용자가 바라볼 때 상기 영상처리장치상에서 좌우로 배치되는 복수의 마이크로폰에 의해 발생하고,
    상기 수신하는 단계는,
    상기 사용자가 상기 외부 장치를 바라볼 때 전후 또는 상하로 배치된 복수의 마이크로폰에 의해 발생된 상기 제2 음성 신호를 수신하는 영상처리장치의 구동방법.
  12. 제11항에 있어서,
    상기 수신하는 단계는,
    상기 복수의 마이크로폰에 의해 발생한 음성 신호가 스테레오 형태로 혼합된 상기 제2 음성 신호를 상기 외부 장치로부터 단일 채널을 통해 수신하는 영상처리장치의 구동방법.
  13. 제11항에 있어서,
    상기 영상처리장치의 커넥터에 상기 복수의 마이크로폰을 구비한 음성 취득부가 연결되면, 상기 음성 취득부를 인식하는 단계;를 더 포함하는 영상처리장치의 구동방법.
  14. 제10항에 있어서,
    상기 제1 전처리 동작을 수행하는 단계는,
    상기 발생한 제1 음성 신호에 대하여 음성 증폭 및 음성 감쇄 동작을 각각 수행하는 단계; 및
    상기 음성 증폭된 제1 음성 신호를 기본 신호로 이용하고 상기 음성 감쇄된 제1 음성 신호를 간섭 신호로 이용하여 상기 제1 전처리 동작을 수행하는 단계;를
    포함하는 영상처리장치의 구동방법.
  15. 제14항에 있어서,
    상기 제2 전처리 동작을 수행하는 단계는,
    상기 수신한 제2 음성 신호에 대하여 잡음 증폭 및 잡음 감쇄 동작을 각각 수행하는 단계; 및
    상기 잡음 감쇄된 제2 음성 신호를 상기 기본 신호로 이용하고 상기 잡음 증폭된 제2 음성 신호를 상기 간섭 신호로 이용하여 상기 제2 전처리 동작을 수행하는 단계;를
    포함하는 영상처리장치의 구동방법.
PCT/KR2017/006787 2016-07-05 2017-06-27 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체 WO2018008885A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/315,511 US11120813B2 (en) 2016-07-05 2017-06-27 Image processing device, operation method of image processing device, and computer-readable recording medium
EP17824441.4A EP3474557B1 (en) 2016-07-05 2017-06-27 Image processing device, operation method of image processing device, and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0084710 2016-07-05
KR1020160084710A KR102471499B1 (ko) 2016-07-05 2016-07-05 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
WO2018008885A1 true WO2018008885A1 (ko) 2018-01-11

Family

ID=60912795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006787 WO2018008885A1 (ko) 2016-07-05 2017-06-27 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체

Country Status (4)

Country Link
US (1) US11120813B2 (ko)
EP (1) EP3474557B1 (ko)
KR (1) KR102471499B1 (ko)
WO (1) WO2018008885A1 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10743101B2 (en) 2016-02-22 2020-08-11 Sonos, Inc. Content mixing
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
TWI651714B (zh) * 2017-12-22 2019-02-21 隆宸星股份有限公司 語音選項選擇系統與方法以及使用其之智慧型機器人
CN108428452B (zh) * 2018-03-14 2019-12-13 百度在线网络技术（北京）有限公司 终端支架和远场语音交互系统
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
GB201814988D0 (en) * 2018-09-14 2018-10-31 Squarehead Tech As Microphone Arrays
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) * 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
JP7216621B2 (ja) * 2019-07-11 2023-02-01 Ｔｖｓ Ｒｅｇｚａ株式会社 電子機器、プログラムおよび音声認識方法
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US10972802B1 (en) * 2019-09-26 2021-04-06 Dish Network L.L.C. Methods and systems for implementing an elastic cloud based voice search using a third-party search provider
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
KR20210097428A (ko) 2020-01-30 2021-08-09 삼성전자주식회사 전자장치 및 그 제어방법
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN112562639B (zh) * 2020-11-30 2023-09-19 努比亚技术有限公司 音频处理方法、终端及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200290369Y1 (ko) * 2002-06-28 2002-09-27 삼성전자 주식회사 모니터링장치 및 감시자와 감시대상자 상호 통화를 위한호출이 가능한 감시시스템
US6868045B1 (en) * 1999-09-14 2005-03-15 Thomson Licensing S.A. Voice control system with a microphone array
KR20130045471A (ko) * 2011-10-26 2013-05-06 삼성전자주식회사 전자장치 및 그 제어방법
US8948415B1 (en) * 2009-10-26 2015-02-03 Plantronics, Inc. Mobile device with discretionary two microphone noise reduction
US20150356972A1 (en) * 2013-03-25 2015-12-10 Panasonic Intellectual Property Management Co., Ltd. Voice recognition device and voice recognition method

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5267323A (en) * 1989-12-29 1993-11-30 Pioneer Electronic Corporation Voice-operated remote control system
US7260538B2 (en) 2002-01-08 2007-08-21 Promptu Systems Corporation Method and apparatus for voice control of a television control device
KR100934651B1 (ko) 2002-12-09 2009-12-31 엘지전자 주식회사 전자동 세탁기의 음성인식장치
JP4226395B2 (ja) 2003-06-16 2009-02-18 アルパイン株式会社 音声補正装置
KR100703699B1 (ko) 2005-02-05 2007-04-05 삼성전자주식회사 다자간 화상 통신을 제공하는 장치 및 방법
US8508575B2 (en) 2010-03-31 2013-08-13 Sony Corporation Television system, television set and method for operating a television system
KR20120011945A (ko) 2010-07-28 2012-02-09 삼성전자주식회사 아이피 텔레비전에서 음성 인식을 이용한 인터넷 검색 방법 및 장치
KR101453701B1 (ko) * 2010-08-27 2014-10-22 인텔 코오퍼레이션 Dvr에 버퍼링된 프로그램 데이터의 피어 투 피어 스트리밍
US8320974B2 (en) * 2010-09-02 2012-11-27 Apple Inc. Decisions on ambient noise suppression in a mobile communications handset device
KR101726737B1 (ko) 2010-12-14 2017-04-13 삼성전자주식회사 다채널 음원 분리 장치 및 그 방법
WO2012169679A1 (ko) * 2011-06-10 2012-12-13 엘지전자 주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 장치의 음성인식 시스템
JP2014126600A (ja) * 2012-12-25 2014-07-07 Panasonic Corp 音声認識装置、音声認識方法、およびテレビ
US10229697B2 (en) * 2013-03-12 2019-03-12 Google Technology Holdings LLC Apparatus and method for beamforming to obtain voice and noise signals
US9338551B2 (en) * 2013-03-15 2016-05-10 Broadcom Corporation Multi-microphone source tracking and noise suppression
US9443531B2 (en) * 2014-05-04 2016-09-13 Yang Gao Single MIC detection in beamformer and noise canceller for speech enhancement
KR102147329B1 (ko) * 2014-06-17 2020-08-24 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
KR102269848B1 (ko) * 2014-10-27 2021-06-28 엘지전자 주식회사 영상표시기기 및 그의 원거리 음성 인식율 향상 방법
JP2016127300A (ja) * 2014-12-26 2016-07-11 アイシン精機株式会社 音声処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6868045B1 (en) * 1999-09-14 2005-03-15 Thomson Licensing S.A. Voice control system with a microphone array
KR200290369Y1 (ko) * 2002-06-28 2002-09-27 삼성전자 주식회사 모니터링장치 및 감시자와 감시대상자 상호 통화를 위한호출이 가능한 감시시스템
US8948415B1 (en) * 2009-10-26 2015-02-03 Plantronics, Inc. Mobile device with discretionary two microphone noise reduction
KR20130045471A (ko) * 2011-10-26 2013-05-06 삼성전자주식회사 전자장치 및 그 제어방법
US20150356972A1 (en) * 2013-03-25 2015-12-10 Panasonic Intellectual Property Management Co., Ltd. Voice recognition device and voice recognition method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3474557A4 *

Also Published As

Publication number Publication date
KR20180004950A (ko) 2018-01-15
EP3474557B1 (en) 2023-12-13
EP3474557A4 (en) 2019-04-24
US20190237089A1 (en) 2019-08-01
KR102471499B1 (ko) 2022-11-28
US11120813B2 (en) 2021-09-14
EP3474557A1 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
WO2018008885A1 (ko) 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체
US11626125B2 (en) System and apparatus for real-time speech enhancement in noisy environments
KR101540896B1 (ko) 전자 디바이스 상에서의 마스킹 신호 생성
JP4792156B2 (ja) マイクロホンアレイを有するボイス制御システム
CN105814909B (zh) 用于反馈检测的系统和方法
WO2018070639A1 (ko) 전자 장치 및 전자 장치의 오디오 신호 처리 방법
US10834503B2 (en) Recording method, recording play method, apparatuses, and terminals
WO2017052056A1 (en) Electronic device and method of audio processing thereof
WO2017026568A1 (ko) 음질 개선을 위한 방법 및 헤드셋
CN109360549B (zh) 一种数据处理方法、穿戴设备和用于数据处理的装置
WO2016112113A1 (en) Utilizing digital microphones for low power keyword detection and noise suppression
KR102081336B1 (ko) 오디오 시스템, 오디오 장치 및 오디오 장치의 채널 맵핑 방법
CN105612576A (zh) 限制有源噪声消除输出
KR20120128542A (ko) 멀티 채널 에코 제거를 위한 멀티 채널 비-상관 처리 방법 및 장치
WO2018038381A1 (ko) 외부 기기를 제어하는 휴대 기기 및 이의 오디오 신호 처리 방법
CN107479854A (zh) 一种投影仪及投影方法
US20160267925A1 (en) Audio processing apparatus that outputs, among sounds surrounding user, sound to be provided to user
WO2016053019A1 (ko) 잡음이 포함된 오디오 신호를 처리하는 방법 및 장치
KR102223653B1 (ko) 음성 신호 처리 장치 및 방법, 그리고 단말
KR102575293B1 (ko) 음성을 처리하기 위한 음성 처리 장치, 음성 처리 시스템 및 음성 처리 방법
WO2022030880A1 (ko) 음성 신호를 처리하는 방법 및 이를 이용한 장치
CN113261305A (zh) 耳机、声学信号处理方法和程序
CN112585993B (zh) 声音信号处理系统和声音信号处理装置
US20240282327A1 (en) Speech enhancement using predicted noise
US20240274113A1 (en) Audio communication between proximate devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17824441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017824441

Country of ref document: EP

Effective date: 20190118