KR102155380B1

KR102155380B1 - Method and Device for Analyzing Real-time Sound

Info

Publication number: KR102155380B1
Application number: KR1020180075332A
Authority: KR
Inventors: 류명훈; 박한
Original assignee: 주식회사 디플리
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2020-09-14
Also published as: KR20200002148A

Abstract

본 발명의 일 실시예에 따른 실시간 소리 분석 장치는 실시간으로 발생하는 소리를 수집하는 입력부, 수집된 실시간 소리 데이터를 머신 러닝이 용이하도록 가공하는 신호처리부, 사전 수집된 소리 데이터를 머신 러닝(Machine Learning) 방식으로 학습하여, 소리 유형(Category) 정보를 구분하기 위한 제1 함수를 훈련시키는 제1 학습부, 및 상기 제1 함수에 의해 신호처리 된 소리 데이터를 소리 유형으로 분류하는 제1 분류기를 포함하는 것을 특징으로 한다. 본 발명의 일 실시예에 따르면, 머신 러닝에 기초하여 실시간으로 수집되는 소리의 유형 및 원인을 학습할 수 있고, 실시간으로 수집되는 소리의 유형과 원인에 대하여 보다 정확한 예측이 가능하다. The real-time sound analysis device according to an embodiment of the present invention includes an input unit that collects sounds generated in real time, a signal processing unit that processes the collected real-time sound data to facilitate machine learning, and machine learning the previously collected sound data. ), and training a first function for classifying sound category information, and a first classifier for classifying sound data signal-processed by the first function into sound types. Characterized in that. According to an embodiment of the present invention, it is possible to learn the types and causes of sounds collected in real time based on machine learning, and more accurately predict the types and causes of sounds collected in real time.

Description

Real-time sound analysis method and device {Method and Device for Analyzing Real-time Sound}

본 발명은 실시간 소리를 분석하는 방법 및 장치에 관한 것으로, 더 상세하게는 실시간으로 발생하는 주변 소리를 인공지능에 기반한 기계학습 방식으로 학습하고 분석하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for analyzing real-time sound, and more particularly, to a method and apparatus for learning and analyzing ambient sounds generated in real time using a machine learning method based on artificial intelligence.

음향 기술의 발달로 소리를 감지하여 분류할 수 있는 기능을 가진 장치들이 다양하게 출시되고 있다. 주파수 분석을 통해 소리를 분류하고 사용자에게 결과값을 제공해주는 기능은 대중들의 모바일 장치를 통해 널리 활용되고 있고, 최근에는 인공지능 스피커가 출시되어 사용자의 언어적 소리에 반응하고 질문이나 명령에 대한 적절한 피드백을 제공하기도 하는 등 소리 분석을 위한 도구들은 점점 다양해지는 추세다. With the development of sound technology, a variety of devices having a function of detecting and classifying sound are being released. The function of classifying sounds through frequency analysis and providing results to users is widely used through mobile devices of the public, and recently, artificial intelligence speakers have been released to respond to users' verbal sounds and respond appropriately to questions or commands. Tools for sound analysis such as providing feedback are becoming increasingly diverse.

대한민국 특허 제10-1092473호의 경우 주변의 다양한 소리 중 아기의 울음소리를 감지할 수 있는 진동수 및 지속 패턴을 이용한 아기 울음소리 감지방법 및 장치를 제공한다. 이는 아기가 울고 있는지 여부를 감지하여 부모에게 알려주거나 자동으로 엄마의 심장 박동음을 들려주는 등의 피드백 기능을 탑재하여 육아의 부담을 덜어주는 것을 목적으로 한다. 그러나 이와 같은 기술은 아기의 울음 여부만 알려줄 뿐 아기가 우는 이유에 대한 정보는 제공하지 않고, 아기가 우는 이유(예: 배고픔, 아픔 등)가 다양할 수 있음에도 불구하고 일관된 피드백(예: 엄마의 심장 박동음 들려주기)만을 제공하는 등 경우에 따라서는 적절치 않은 피드백을 주게 되는 문제점을 안고 있다. In the case of Korean Patent No. 10-1092473, a method and apparatus for detecting baby crying sounds using a frequency and continuous pattern capable of detecting the crying sound of a baby among various surrounding sounds are provided. This aims to relieve the burden of parenting by providing a feedback function such as detecting whether the baby is crying and notifying the parents or automatically listening to the mother's heartbeat. However, techniques like this only tell if the baby is crying, not provide information about why the baby is crying, and consistent feedback (e.g., mother's) despite the fact that the reasons the baby is crying (e.g., hunger, pain, etc.) can vary. In some cases, such as only providing a heartbeat sound), inappropriate feedback is given.

한편, 최근 출시되는 인공지능 스피커의 경우에는 언어적 음성에 한정하여 반응하므로 글로 표현될 수 없는 비언어적 소리(예: 아기 울음소리)에 대해서는 피드백을 제공할 수 없다는 문제가 있다. Meanwhile, in the case of recently released artificial intelligence speakers, there is a problem that feedback cannot be provided for non-verbal sounds that cannot be expressed in writing (eg, baby crying) because they respond only to verbal voices.

대한민국 등록특허공보 제10-1092473호 (2011년 12월 5일 등록)Korean Patent Publication No. 10-1092473 (registered on December 5, 2011)

본 발명은 위와 같은 문제점을 해결하기 위하여 제안된 것으로, 머신 러닝에 의해 소리를 학습하여 실시간으로 소리를 분류해낼 뿐 아니라 소리가 발생하게 된 원인을 학습함으로써, 소리의 종류 뿐 아니라 그 원인까지 분석할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다. The present invention has been proposed to solve the above problems, and not only classifies sounds in real time by learning sounds by machine learning, but also analyzes not only the types of sounds but also the causes thereof by learning the cause of the sound generation. It is an object of the present invention to provide a method and apparatus that can be used.

본 발명의 일 실시예에 따른 실시간 소리 분석 장치는 실시간으로 발생하는 소리를 수집하는 입력부, 수집된 실시간 소리 데이터를 머신 러닝이 용이하도록 가공하는 신호처리부, 사전 수집된 소리 데이터를 머신 러닝(Machine Learning) 방식으로 학습하여, 소리 유형(Category) 정보를 구분하기 위한 제1 함수를 훈련시키는 제1 학습부, 및 상기 제1 함수에 의해 신호처리 된 소리 데이터를 소리 유형으로 분류하는 제1 분류기를 포함하는 것을 특징으로 한다. The real-time sound analysis device according to an embodiment of the present invention includes an input unit that collects sounds generated in real time, a signal processing unit that processes the collected real-time sound data to facilitate machine learning, and machine learning the previously collected sound data. ), and training a first function for classifying sound category information, and a first classifier for classifying sound data signal-processed by the first function into sound types. Characterized in that.

본 발명의 일 실시예에 따른 실시간 소리 분석 장치는 소리 데이터에 관한 정보를 전송하고 수신하는 제1 통신부를 포함하고, 상기 제1 통신부는 신호처리 된 소리 데이터를 추가 분석 장치로 전송할 수 있다. The real-time sound analysis apparatus according to an embodiment of the present invention includes a first communication unit that transmits and receives information about sound data, and the first communication unit may transmit signal-processed sound data to an additional analysis device.

상기 제1 통신부는 추가 분석 장치로부터 딥 러닝에 의해 학습된 제2 함수를 통해 소리 원인을 분석한 결과를 수신할 수 있다. The first communication unit may receive a result of analyzing the cause of the sound through the second function learned by deep learning from the additional analysis device.

본 발명의 일 실시예에서, 상기 제1 학습부는 상기 실시간 소리 데이터를 머신 러닝 방식으로 학습하여 상기 제1 함수를 보완할 수 있다. In an embodiment of the present invention, the first learning unit may supplement the first function by learning the real-time sound data using a machine learning method.

본 발명의 일 실시예에서, 상기 제1 학습부는 사용자가 입력한 피드백을 전송받아 상기 피드백에 대응하는 실시간 소리 데이터를 머신 러닝 방식으로 학습하여 제1 함수를 보완할 수 있다. In an embodiment of the present invention, the first learning unit may supplement the first function by receiving the feedback input by the user and learning real-time sound data corresponding to the feedback through a machine learning method.

본 발명의 일 실시예에 따른 실시간 소리 분석 장치는 제1 피드백 수용부를 더 포함할 수 있고, 상기 제1 피드백 수용부는 사용자로부터 직접 피드백을 입력받거나 다른 장치 또는 모듈로부터 피드백을 전달받을 수 있다. The real-time sound analysis apparatus according to an embodiment of the present invention may further include a first feedback receiving unit, and the first feedback receiving unit may directly receive feedback from a user or receive feedback from another device or module.

본문에서 쓰이는 '함수'란, 머신 러닝을 위해 주어진 데이터 및 학습 알고리즘을 통해 지속적으로 보강되는 도구를 의미한다. 구체적으로, 입력(소리)과 출력(유형 또는 원인)의 관계를 예측하는 도구를 의미한다. 따라서, 최초 학습시에는 관리자에 의해 함수가 사전결정될 수 있다. The term'function' used in the text refers to a tool that is continuously reinforced through given data and learning algorithms for machine learning. Specifically, it refers to a tool that predicts the relationship between input (sound) and output (type or cause). Therefore, at the time of initial learning, the function can be predetermined by the administrator.

학습하는 데이터가 많아질수록 더욱 정확해지는 상기 제1 함수는 사전에 수집한 소리 데이터를 머신 러닝 방식으로 학습시킴으로써 주변 소리를 유형별로 분류하는 유용한 도구가 될 수 있다. 예를 들어 상기 제1 함수는 관심 소리가 환자의 소리인 경우 사전에 수집한 환자 소리를 머신 러닝 방식으로 학습시키면 환자가 신음 소리를 내는지, 일상적 대화를 하는지, 웃음 소리를 내는지 구분할 수 있다. 이러한 머신 러닝 방식에서는 분류기(Classifier)가 학습될 수 있고, 바람직하게는 상기 분류기는 로지스틱 회귀분석 분류기(Logistic Regression Classifier)일 수 있으나, 이에 한정되지 않는다. 즉, 분류기의 함수는 데이터에 의해 머신 러닝 방식으로 훈련되어 성능이 개선될 수 있다. 이러한 학습 과정은 실시간 소리 데이터가 수집되면서 지속적으로 반복되어 분류기가 더 정확한 결과를 도출할 수 있도록 한다. The first function, which becomes more accurate as the number of data to be learned increases, can be a useful tool for classifying surrounding sounds by type by learning previously collected sound data using a machine learning method. For example, if the sound of interest is the sound of a patient, the first function can distinguish whether the patient makes a moaning sound, a daily conversation, or a laughter if the patient sound collected in advance is learned using a machine learning method. In this machine learning method, a classifier may be learned, and preferably the classifier may be a logistic regression classifier, but is not limited thereto. In other words, the function of the classifier may be trained in a machine learning method based on data to improve performance. This learning process is continuously repeated as real-time sound data is collected, allowing the classifier to derive more accurate results.

실시간 소리 분석 장치와 통신하는 추가 분석 장치는, 실시간 소리 데이터를 제2 머신 러닝 방식으로 학습함으로써 제2 함수를 보완하는 제2 학습부를 포함할 수 있다. 학습하는 데이터가 많아질수록 더욱 정확해지는 제2 함수는 사전에 수집한 소리 데이터를 머신 러닝 방식으로 학습시킴으로써 주변 소리가 발생하는 원인을 유형별로 분류할 수 있다. 예를 들어 상기 제2 함수는 관심 소리가 환자의 소리인 경우 사전에 수집한 환자 소리를 머신 러닝 방식으로 학습시키면 환자가 내는 소리를 원인 별로 분류하여 환자가 신경통을 호소하는지, 고열에 의한 통증을 호소하는지, 자세의 불편감을 호소하는지 구분할 수 있다. 바람직하게는 상기 제2 머신 러닝 방식은 딥 러닝 방식일 수 있다. 바람직하게는 상기 딥 러닝 방식에서는 오류 역전파(Error Backpropagation) 방식이 사용될 수 있으나, 이에 한정되지 않는다. 이러한 학습 과정은 실시간 소리 데이터가 수집되면서 지속적으로 반복되어 분류기가 더 정확한 결과를 도출할 수 있도록 한다. The additional analysis device that communicates with the real-time sound analysis device may include a second learning unit that supplements the second function by learning real-time sound data using a second machine learning method. The second function, which becomes more accurate as the number of data to be learned increases, can classify the causes of surrounding sounds by type by learning the previously collected sound data by machine learning. For example, if the sound of interest is the patient's sound, the second function is to classify the sound made by the patient by cause by learning the sound of the patient collected in advance by machine learning, so that whether the patient complains of neuralgia or pain due to high fever. It can be distinguished whether it complains of complaining of discomfort in posture. Preferably, the second machine learning method may be a deep learning method. Preferably, in the deep learning method, an error backpropagation method may be used, but is not limited thereto. This learning process is continuously repeated as real-time sound data is collected, allowing the classifier to derive more accurate results.

또한, 상기 추가 분석 장치(700)는 실시간 소리 분석 장치(600)에서 얻어진 정보를 추가 학습 데이터로 사용할 수 있다. 제1 학습부에서 소리의 로우 데이터(Raw Data)로부터 특징 벡터(Feature Vectors)를 추출하고 이를 활용하여 머신 러닝으로 소리의 유형(Category)을 분류하였다면, 제2 학습부에서는 상기 유형까지도 특징 벡터로 고려하여 학습을 반복함으로써 소리가 발생하는 원인을 더 신속하고 정확하게 분석할 수 있다. 머신 러닝 또는 딥 러닝에서는 학습 대상의 특징 벡터가 다양하고 정확할수록 더 빠른 학습이 가능하기 때문에, 상기 방식은 분석의 정확도를 높이는데 매우 유용하다. In addition, the additional analysis device 700 may use information obtained from the real-time sound analysis device 600 as additional learning data. If the first learning unit extracts feature vectors from the raw data of sound and uses them to classify the sound category by machine learning, the second learning unit also classifies the type as a feature vector. Considering and repeating learning, the cause of sound generation can be analyzed more quickly and accurately. In machine learning or deep learning, the more diverse and accurate feature vectors to be learned, the faster learning is possible, so this method is very useful for increasing the accuracy of analysis.

본 발명의 일 실시예에서, 실시간 소리 분석 장치는 제1 피드백 수용부를 더 포함할 수 있고, 상기 제1 피드백 수용부는 사용자로부터 직접 피드백을 입력받거나 다른 장치 또는 모듈로부터 피드백을 전달받을 수 있다. In an embodiment of the present invention, the real-time sound analysis apparatus may further include a first feedback receiving unit, and the first feedback receiving unit may directly receive feedback from a user or receive feedback from another device or module.

본 발명의 일 실시예에서, 실시간 소리 분석 장치는 제1 제어부를 더 포함할 수 있고, 상기 제1 제어부는 상기 제1 분류기에 의해 분류된 소리 유형이 관심 소리에 해당하는지 판단하여 상기 분류된 소리 유형이 관심 소리에 해당하는 경우, 신호처리 된 소리 데이터를 추가 분석 장치로 전송하도록 제어할 수 있다. In one embodiment of the present invention, the real-time sound analysis apparatus may further include a first control unit, and the first control unit determines whether the sound type classified by the first classifier corresponds to the sound of interest, and When the type corresponds to the sound of interest, the signal-processed sound data may be controlled to be transmitted to an additional analysis device.

본 발명의 일 실시예에서, 상기 제1 학습부는 수집된 소리 데이터에 대하여 준 지도 학습(Semi-supervised Learning)에 기반한 자동 레이블링을 수행할 수 있다. 상기 자동 레이블링은 정해진 알고리즘에 의해 수행되거나 사용자의 피드백에 의해 수행될 수 있다. 즉, 상기 자동 레이블링은 평소에 정해진 알고리즘에 의해 수행되다가 오류에 대한 사용자의 피드백을 수신하면 피드백에 대응하는 데이터에 사용자의 피드백에 맞는 레이블링을 수행한 후 다시 머신 러닝으로 함수를 학습시킨다. In an embodiment of the present invention, the first learning unit may perform automatic labeling based on semi-supervised learning on the collected sound data. The automatic labeling may be performed by a predetermined algorithm or may be performed by a user's feedback. That is, the automatic labeling is performed according to an algorithm that is normally determined, and when a user's feedback on an error is received, the data corresponding to the feedback is labeled according to the user's feedback, and then the function is trained again by machine learning.

바람직하게는, 상기 신호처리부는 전처리, 프레임 생성, 특징 벡터 추출을 수행한다. Preferably, the signal processing unit performs pre-processing, frame generation, and feature vector extraction.

상기 전처리는 정규화(Normalization), 주파수 필터링(Frequency Filtering), 템포럴 필터링(Temporal Filtering), 윈도잉(Windowing) 중 적어도 하나를 포함할 수 있다. The pre-processing may include at least one of Normalization, Frequency Filtering, Temporal Filtering, and Windowing.

상기 프레임 생성은 전처리된 소리 데이터를 시간 영역(time domain)의 복수의 프레임들로 구분하는 작업이다. The frame generation is an operation of dividing the preprocessed sound data into a plurality of frames in a time domain.

상기 특징 벡터 추출은 상기 복수의 프레임들 중 단일의 프레임 별로 수행되거나 동일한 개수의 프레임으로 구성된 프레임 그룹 별로 수행될 수 있다.The feature vector extraction may be performed for each single frame among the plurality of frames or may be performed for each frame group consisting of the same number of frames.

상기 신호처리부에서 추출된 특징 벡터는 적어도 하나의 차원(Dimension)으로 구성될 수 있다. 즉, 하나의 특징 벡터가 사용될 수도 있고 복수의 특징 벡터가 사용될 수도 있다. The feature vector extracted from the signal processor may be configured with at least one dimension. That is, one feature vector may be used or a plurality of feature vectors may be used.

상기 신호처리부는 실시간 소리 데이터의 전처리, 프레임 생성 및 특징 벡터 추출을 수행하되, 전처리 전에 실시간 소리 데이터의 일부만을 핵심 벡터로 생성할 수 있다. 실시간 소리 데이터의 양이 방대하므로 원본 데이터를 모두 저장하지 않고 반드시 필요한 핵심 벡터만으로 가공한 후 전처리, 프레임 생성 및 특징 벡터 추출을 수행하는 작업을 수행할 수 있다. 상기 핵심 벡터는 추가 분석 장치로 전송될 수 있다. The signal processing unit performs pre-processing, frame generation, and feature vector extraction of real-time sound data, but may generate only a part of real-time sound data as a core vector before pre-processing. Since the amount of real-time sound data is vast, it is possible to perform pre-processing, frame generation, and feature vector extraction after processing only essential vectors without storing all of the original data. The core vector may be transmitted to an additional analysis device.

상기 특징 벡터의 적어도 하나의 차원은 상기 소리 유형(Category)에 관한 차원을 포함할 수 있다. 이는 소리의 발생 원인을 구분하기 위한 제2 함수를 학습시키는 추가 분석 장치의 제2 학습부에서 소리 데이터의 특징 벡터로서 소리 유형까지 포함하는 경우 더욱 정확한 원인 예측이 가능하기 때문이다. 다만, 특징 벡터에 소리 유형이 아닌 다른 요소들이 포함될 수 있고, 추가할 수 있는 특징 벡터의 요소가 소리 유형로 한정되는 것은 아니다. At least one dimension of the feature vector may include a dimension related to the sound category. This is because more accurate cause prediction is possible when the second learning unit of the additional analysis device that learns the second function for distinguishing the cause of sound occurrence includes a sound type as a feature vector of sound data. However, elements other than the sound type may be included in the feature vector, and the element of the feature vector that can be added is not limited to the sound type.

바람직하게는, 상기 실시간 소리 분석 장치가 수행하는 제1 머신 러닝 방식은 최소 평균 제곱법(Least Mean Square; LMS)을 포함하고, 상기 최소 평균 제곱법으로 회귀분석 분류기(Logistic Regression Classifier)를 학습할 수 있다. Preferably, the first machine learning method performed by the real-time sound analysis apparatus includes a least mean square method (LMS), and a logistic regression classifier is learned using the least mean square method. I can.

바람직하게는, 상기 추가 분석 장치가 수행하는 제2 머신 러닝 방식은 딥 러닝(Deep Learning) 방식이고, 오류 역전파(Backpropagation)를 통해 상기 제2 함수를 최적화할 수 있다. Preferably, the second machine learning method performed by the additional analysis device is a deep learning method, and the second function may be optimized through error backpropagation.

상기 신호처리부는 연속된 프레임들을 복수의 프레임 그룹들(Frame Group)로 재정의하는 프레임 그룹 형성 단계를 더 포함할 수 있다. 상기 복수의 프레임 그룹들 중 각 프레임 그룹이 포함하는 프레임들의 집합은 상기 복수의 프레임 그룹들 중 다른 프레임 그룹이 포함하는 프레임들의 집합과는 다르고, 각 프레임 그룹들 간의 시간 간격은 일정한 것이 바람직하다. The signal processing unit may further include a step of forming a frame group redefining consecutive frames into a plurality of frame groups. It is preferable that a set of frames included in each frame group among the plurality of frame groups is different from a set of frames included in another frame group among the plurality of frame groups, and a time interval between each frame group is constant.

특징 벡터의 추출 및 소리 유형 및 원인 분류는 각 프레임 그룹을 일 단위로 하여 수행될 수 있다. The extraction of feature vectors and classification of sound types and causes may be performed for each frame group as a unit.

상기 제1 학습부는 사용자가 입력한 피드백을 전송받아 상기 피드백에 대응하는 실시간 소리 데이터를 머신 러닝 방식으로 학습하여 제1 함수를 보완할 수 있다. The first learning unit may supplement the first function by receiving the feedback input by the user and learning real-time sound data corresponding to the feedback using a machine learning method.

이를 위해 실시간 소리 분석 장치는 피드백 수용부를 포함할 수 있다. 상기 제1 피드백 수용부는 사용자로부터 직접 피드백을 입력받거나 다른 장치 또는 모듈로부터 피드백을 전달받을 수 있다. To this end, the real-time sound analysis device may include a feedback receiving unit. The first feedback receiving unit may directly receive feedback from a user or may receive feedback from another device or module.

본 발명의 일 실시예에서, 인공지능에 기반한 실시간 소리 분석 장치는 피드백 수용부를 더 포함할 수 있고, 상기 피드백 수용부는 사용자가 입력한 피드백을 제1 학습부 및 제2 학습부 중 적어도 어느 하나로 전달하고, 상기 피드백을 전송받은 학습부는 대응하는 함수를 보완할 수 있다. 예를 들면, 상기 제2 학습부는 상기 실시간 소리 분석 장치에서 얻어진 정보를 추가 학습 데이터로 사용할 수 있다. In one embodiment of the present invention, the apparatus for analyzing real-time sound based on artificial intelligence may further include a feedback receiving unit, and the feedback receiving unit transmits the feedback input by the user to at least one of the first learning unit and the second learning unit. And, the learning unit receiving the feedback may supplement the corresponding function. For example, the second learning unit may use information obtained from the real-time sound analysis device as additional learning data.

상기 실시간 소리 분석 장치는 제1 표시부를 더 포함할 수 있고, 상기 추가 분석 장치는 제2 표시부를 더 포함할 수 있고, 각 표시부는 대응하는 분석 장치에서 분류된 소리 유형 및/또는 소리 원인을 출력할 수 있다. The real-time sound analysis device may further include a first display unit, and the additional analysis device may further include a second display unit, and each display unit outputs sound types and/or sound causes classified by a corresponding analysis device. can do.

상기 추가 분석 장치는 서버이거나 이동통신용 단말기일 수 있다. 상기 추가 분석 장치가 서버인 경우, 제2 통신부는 상기 소리 유형 및 소리 원인 중 적어도 하나를 이동통신용 단말기로 전송할 수 있고, 상기 이동통신용 단말기에서 입력받은 사용자의 피드백을 다시 수신할 수 있다. 상기 추가 분석 장치가 이동통신용 단말기인 경우, 소리 원인 분석을 이동통신용 단말기가 직접 수행하고, 사용자가 이동통신용 단말기에 피드백을 입력하면 이동통신용 단말기에서 실시간 소리 분석 장치에 사용자의 피드백을 직접 전송할 수도 있다. The additional analysis device may be a server or a mobile communication terminal. When the additional analysis device is a server, the second communication unit may transmit at least one of the sound type and the sound cause to the mobile communication terminal, and may again receive a user's feedback input from the mobile communication terminal. When the additional analysis device is a mobile communication terminal, the mobile communication terminal directly performs sound cause analysis, and when the user inputs feedback to the mobile communication terminal, the mobile communication terminal may directly transmit the user's feedback to the real-time sound analysis device. .

바람직하게는, 상기 제1 통신부가 상기 소리 유형에 관한 사용자의 피드백을 받은 경우, 상기 제1 학습부는 상기 피드백에 대응하는 소리 데이터에 관하여 제1 머신 러닝 방식으로 학습함으로써 상기 제1 분류기를 보완할 수 있다. 이러한 학습 과정은 실시간 소리 데이터가 수집되고 피드백을 받는 과정이 지속적으로 반복되어 분류기가 더 정확한 결과를 도출할 수 있도록 한다. Preferably, when the first communication unit receives user feedback on the sound type, the first learning unit may supplement the first classifier by learning about sound data corresponding to the feedback in a first machine learning method. I can. This learning process allows the classifier to derive more accurate results by continuously repeating the process of collecting real-time sound data and receiving feedback.

바람직하게는, 상기 제2 통신부가 상기 소리 원인에 관한 사용자의 피드백을 받은 경우, 상기 제2 학습부는 상기 피드백에 대응하는 소리 데이터에 관하여 제2 머신 러닝 방식으로 학습함으로써 상기 제2 분류기를 보완할 수 있다. 이러한 학습 과정은 실시간 소리 데이터가 수집되고 피드백을 받는 과정이 지속적으로 반복되어분류기가 더 정확한 결과를 도출할 수 있도록 한다. Preferably, when the second communication unit receives a user's feedback on the cause of the sound, the second learning unit may supplement the second classifier by learning about sound data corresponding to the feedback using a second machine learning method. I can. This learning process allows the classifier to derive more accurate results by continuously repeating the process of collecting real-time sound data and receiving feedback.

예를 들면, 상기 소리 유형 및 소리 원인에 대한 사용자의 피드백을 수신하면 상기 피드백을 기초로 머신 러닝 및/또는 딥 러닝을 통해 상기 제1 분류기 및/또는 제2 분류기를 발전시킬 수 있다. For example, upon receiving a user's feedback on the sound type and sound cause, the first classifier and/or the second classifier may be developed through machine learning and/or deep learning based on the feedback.

상기 신호처리부는 상기 실시간 소리 데이터를 가공하기 용이하도록 최적화하는 신호처리를 수행하되, 상기 실시간 소리 데이터를 전처리한 후, 전처리된 소리 데이터를 시간 영역(time domain)의 복수의 프레임들로 구분하고, 상기 복수의 프레임의 각각의 프레임으로부터 특징 벡터를 추출할 수 있다. 상기 전처리는 예를 들어 정규화(Normalization), 주파수 필터링(Frequency Filtering), 템포럴 필터링(Temporal Filtering), 윈도잉(Windowing)일 수 있다. The signal processing unit performs signal processing for optimizing the real-time sound data to be easily processed, and after pre-processing the real-time sound data, divides the pre-processed sound data into a plurality of frames in a time domain, A feature vector may be extracted from each frame of the plurality of frames. The pre-processing may be, for example, normalization, frequency filtering, temporal filtering, and windowing.

상기 특징 벡터의 적어도 하나의 차원은 상기 소리 유형 정보에 관한 차원일 수 있다. At least one dimension of the feature vector may be a dimension related to the sound type information.

바람직하게는, 상기 제2 머신 러닝 방식은 딥 러닝(Deep Learning) 방식이고, 오류 역전파(Backpropagation)를 통해 상기 제2 분류기를 발전시킬(Developing) 수 있다. Preferably, the second machine learning method is a deep learning method, and the second classifier may be developed through error backpropagation.

본 발명의 일 실시예에 따른 실시간 소리 분석 방법은 사전 수집된 소리 데이터를 머신 러닝(Machine Learning) 방식으로 학습하여, 소리 유형(Category) 정보를 구분하기 위한 제1 함수를 훈련시키는 단계(S110), 입력부를 통해 실시간으로 발생하는 소리를 수집하는 단계(S120), 수집된 실시간 소리 데이터를 학습이 용이하도록 신호처리하는 단계(S130), 신호처리 된 실시간 소리 데이터를 상기 제1 함수를 통해 소리 유형으로 분류하는 단계(S140), 상기 소리 유형으로 분류하는 단계에서 분류된 소리 유형이 관심 소리에 해당하는지 판단하는 단계(S150), 분류된 소리 유형이 관심 소리에 해당하는 경우, 신호처리 된 실시간 소리 데이터를 실시간 소리 분석 장치에서 추가 분석 장치로 전송하는 단계(S160) 및 상기 실시간 소리 데이터를 머신 러닝 방식으로 학습하여, 상기 제1 함수를 보완하는 단계(S190)를 포함하는 것을 특징으로 한다. In the real-time sound analysis method according to an embodiment of the present invention, training a first function for classifying sound category information by learning pre-collected sound data by machine learning (S110) , Collecting the sound generated in real time through the input unit (S120), the step of processing the collected real-time sound data to facilitate learning (S130), the signal-processed real-time sound data through the first function Classifying as (S140), determining whether the sound type classified in the step of classifying as the sound type corresponds to the sound of interest (S150), when the classified sound type corresponds to the sound of interest, signal-processed real-time sound And transmitting data from a real-time sound analysis device to an additional analysis device (S160), and learning the real-time sound data using a machine learning method to supplement the first function (S190).

바람직하게는, 상기 실시간 소리 분석 장치가 상기 추가 분석 장치로부터 딥 러닝에 의해 학습된 제2 함수를 통해 소리 원인을 분석한 결과를 수신하는 단계(S170)를 포함할 수 있다. Preferably, the real-time sound analysis device may include receiving a result of analyzing a sound cause from the additional analysis device through a second function learned by deep learning (S170).

본 발명의 일 실시예에서, 관심 소리 여부 및/또는 관심 소리에 대한 분석 결과를 제1 표시부(D1)에 출력하는 단계(S180)를 더 포함할 수 있다. In an embodiment of the present invention, the operation S180 may further include outputting a sound of interest and/or an analysis result of the sound of interest to the first display unit D1.

상기 방법은 도 8에 의해 도시된다. The method is illustrated by FIG. 8.

본 발명의 일 실시예에 따르면, 머신 러닝에 기초하여 실시간으로 수집되는 소리의 유형 및 원인을 학습할 수 있고, 실시간으로 수집되는 소리의 유형과 원인에 대하여 보다 정확한 예측이 가능하다. According to an embodiment of the present invention, it is possible to learn the types and causes of sounds collected in real time based on machine learning, and more accurately predict the types and causes of sounds collected in real time.

도 1은 본 발명과 관련된 실시간 소리 분석 방법 및 장치를 설명하기 위한 개념도이다.
도 2는 본 발명에 의한 실시간 소리 분석 장치의 제1 실시예를 나타내는 도면이다.
도 3은 본 발명에 의한 실시간 소리 분석 장치의 제2 실시예를 나타내는 도면이다.
도 4는 본 발명에 의한 실시간 소리 분석 장치의 제3 실시예를 나타내는 도면이다.
도 5는 본 발명에 의한 실시간 소리 분석 방법에 관한 블록도이다.
도 6은 소리 데이터의 신호처리에 관한 블록도이다.
도 7은 소리 데이터를 프레임별로 분류하여 특징 벡터를 추출하는 일 실시예를 나타내는 도면이다.
도 8은 본 발명에 의한 실시간 소리 분석 방법에 관한 블록도이다. 1 is a conceptual diagram illustrating a real-time sound analysis method and apparatus related to the present invention.
2 is a diagram showing a first embodiment of a real-time sound analysis apparatus according to the present invention.
3 is a diagram showing a second embodiment of a real-time sound analysis apparatus according to the present invention.
4 is a diagram showing a third embodiment of a real-time sound analysis apparatus according to the present invention.
5 is a block diagram of a real-time sound analysis method according to the present invention.
6 is a block diagram of signal processing of sound data.
7 is a diagram illustrating an embodiment of extracting a feature vector by classifying sound data for each frame.
8 is a block diagram of a real-time sound analysis method according to the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all modifications included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.

도 1은 본 발명과 관련된 실시간 소리 분석 방법 및 장치를 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating a real-time sound analysis method and apparatus related to the present invention.

주변 소리(10)가 발생하면 이는 실시간으로 마이크와 같은 입력부(610)를 통해 감지되고 데이터로 저장된다. 주변 소리(10)는 소리가 가의 없는 무음(11)일 수도 있고, 사용자가 관심을 가지지 않는 소리, 즉 잡음(12)일 수도 있으며, 사용자가 분류하거나 분석하고자 하는 관심 소리(13)일 수도 있다. 상기 관심 소리(13)는 경우에 따라 환자의 신음(131)일 수도 있고, 아기 울음 소리(132)일 수도 있고, 성인의 음성(133)일 수도 있다. 그러나 상기 관심 소리(13)는 위 3가지 예에 한정되지 않고 교통사고 충돌 소리, 차량 작동 소리, 동물 소리 등 모든 소리가 될 수 있다. When the ambient sound 10 occurs, it is sensed in real time through an input unit 610 such as a microphone and stored as data. The ambient sound 10 may be a sound that has no meaning, or may be a sound that is not of interest to the user, that is, noise 12, or may be a sound of interest 13 that the user wants to classify or analyze. . In some cases, the sound of interest 13 may be a patient's groan 131, a baby's cry 132, or an adult's voice 133. However, the sound of interest 13 is not limited to the above three examples, and may be any sound such as a traffic accident collision sound, vehicle operation sound, and animal sound.

예를 들어 관심 소리(13)가 성인의 음성(133)인 경우, 아기 울음 소리(132)는 잡음(12)으로 분류될 수 있다. 예를 들어 관심 소리(13)가 동물 소리인 경우, 환자의 신음(131), 아기 울음 소리(132), 성인의 음성(133) 및 교통사고 충돌 소리 등은 잡음(12)으로 분류될 수 있다. For example, when the sound of interest 13 is an adult's voice 133, the baby crying sound 132 may be classified as a noise 12. For example, when the sound of interest 13 is an animal sound, a patient's groan 131, a baby's cry 132, an adult's voice 133, and a traffic accident collision sound may be classified as noise 12. .

이와 같은 소리 유형의 분류는 실시간 소리 분석 장치(600)에서 제1 분류기(630)에 의해 수행될 수 있다. 상기 제1 분류기(630)는 제1 학습부(650)를 통해 머신 러닝 방식으로 기능이 강화될 수 있다. 우선, 사전 수집된 소리 데이터(S001)의 적어도 일부에 소리 유형을 레이블링(Labeling)한다. 이후, 상기 제1 학습부(650)는 소리 유형이 레이블된(Labeled) 사전 수집된 소리 데이터(S001)를 활용하여 머신 러닝 방식으로 제1 분류기(630)의 제1 함수(f1)를 학습시킨다. 상기 제1 분류기(630)는 로지스틱 회귀분석 분류기(Logistic Regression Classifier)일 수 있다. The classification of such sound types may be performed by the first classifier 630 in the real-time sound analysis apparatus 600. The first classifier 630 may be enhanced with a machine learning method through the first learning unit 650. First, a sound type is labeled on at least a part of the pre-collected sound data S001. Thereafter, the first learning unit 650 learns the first function f1 of the first classifier 630 using a machine learning method using pre-collected sound data S001 labeled with a sound type. . The first classifier 630 may be a logistic regression classifier.

지도 학습(Supervised Learning)은 트레이닝 데이터를 이용해 하나의 함수를 훈련시키기 위한 머신 러닝 방법 중 하나인데, 트레이닝 데이터는 일반적으로 입력 객체에 대한 속성을 벡터 형태로 포함하고 있으며 각각의 벡터에 대해 원하는 결과가 무엇인지 표시되어 있다. 이렇게 훈련된 함수 중 연속적인 값을 출력하는 것을 회귀분석(Regression)이라 하고 주어진 입력 벡터가 어떤 종류의 값인지 표식하는 것을 분류(Classification)라 한다. 반면 비 지도 학습(Unsupervised Learning)은 지도 학습과는 달리 입력값에 대한 목표치가 주어지지 않는다. Supervised Learning is one of the machine learning methods for training a function using training data. Training data generally contains the properties of the input object in the form of a vector, and the desired result for each vector is It is marked what it is. Among the trained functions, outputting continuous values is called regression, and marking what kind of values a given input vector is called classification. On the other hand, unsupervised learning, unlike supervised learning, does not give a target value for an input value.

바람직하게는, 본 발명의 일 실시예에서, 제1 학습부(650)는 지도 학습과 비 지도 학습의 중간 성격을 갖는 준 지도 학습(Semi-supervised Learning) 방식을 사용할 수 있다. 상기 준 지도 학습은 목표값이 표시된 데이터와 표시되지 않은 데이터를 모두 훈련에 사용하는 것을 말한다. 대개의 경우 이러한 방법에 사용되는 트레이닝 데이터는 목표값이 표시된 데이터가 적고 표시되지 않은 데이터를 많이 갖고 있다. 상기 준 지도 학습을 사용하면 레이블링 작업에 드는 시간과 비용을 크게 아낄 수 있다. Preferably, in an embodiment of the present invention, the first learning unit 650 may use a semi-supervised learning method having an intermediate characteristic between supervised learning and unsupervised learning. The quasi-supervised learning refers to using both data with a target value indicated and data not indicated for training. In most cases, the training data used in this method has a small amount of data with a target value indicated and a lot of data not indicated. Using the quasi-supervised learning can greatly save time and cost for labeling.

상기 목표값을 표시하는 작업이 레이블링(Labeling)이다. 예를 들면, 주변 소리(10)가 발생하고, 그 소리 데이터를 입력이라 하면, 그 소리의 유형이 무음(11)인지, 잡음(12)인지 또는 관심 소리(13)인지에 대하여 표시하는 것이 레이블링 작업이다. 즉, 레이블링은 데이터에 출력의 예를 미리 표시하고 이를 머신 러닝 알고리즘에 의해 함수를 학습시키기 위한 기초 작업이다. The task of displaying the target value is labeling. For example, if ambient sound (10) is generated and the sound data is input, labeling indicates whether the type of sound is silent (11), noise (12), or sound of interest (13). It's a job. In other words, labeling is a basic operation for pre-marking an example of an output in data and learning a function using a machine learning algorithm.

사람이 직접 표시하는 것이 지도 학습, 표시하지 않는 것이 비 지도 학습이고, 일부는 사람이 직접 표시하고, 나머지는 표시하지 않는 것이 준 지도 학습이다. What a person directly displays is supervised learning, and what does not display is unsupervised learning, and some is directly marked by a person, and others are not marked as semi-supervised learning.

본 발명의 일 실시예에서, 제1 분석 장치(600)는 준 지도 학습에 기반한 자동 레이블링(Auto-labeling) 작업을 수행할 수 있다. 레이블(Label)이란, 함수가 출력해야 할 결과값들을 의미한다. 예를 들어, 상기 레이블은 무음, 잡음, 아기 울음 소리, 울음 소리를 제외한 아기 소리 등의 결과값들이다. 상기 자동 레이블링은 아래와 같은 순서로 수행될 수 있다. 상기 자동 레이블링은 예를 들어 제1 학습부(650)가 수행할 수 있다. In an embodiment of the present invention, the first analysis device 600 may perform an auto-labeling operation based on semi-supervised learning. Label means the result values that the function should output. For example, the labels are result values of silence, noise, baby crying, and baby sounds excluding crying sounds. The automatic labeling may be performed in the following order. The automatic labeling may be performed, for example, by the first learning unit 650.

우선, 사람이 개입하여 일정한 개수(예를 들어, 100개)의 데이터에 대해 레이블을 표시한다. 이후부터 수집되는 소리 데이터에 대해서는 레이블을 표시하는 작업을 하지 않고 적절한 신호처리를 진행한 후 차원 축소 작업을 거친다. 동질성을 지닌 집단을 분류하는 클러스터링 기법을 사용하여 하나의 동질성으로 분류되는 복수의 데이터들을 하나의 데이터 군으로 묶는다. 이 때, 상기 클러스터링 기법은 사전 결정된 하이퍼 파라미터(Hyperparameter)를 기준으로 하여 분류를 진행하되, 상기 하이퍼 파라미터는 향후 수행되는 학습 정확도에 따라 변경될 수 있다. First, a person intervenes and displays a label for a certain number of data (eg, 100). For sound data collected from then on, the label is not displayed, but appropriate signal processing is performed and then dimension reduction is performed. A clustering technique that classifies a group with homogeneity is used to group a plurality of data classified as a homogeneity into a single data group. In this case, the clustering technique is classified based on a predetermined hyperparameter, but the hyperparameter may be changed according to a learning accuracy performed in the future.

다음으로, 복수의 데이터 군이 형성되면 각 데이터 군 별로 사전 결정된 개수(예를 들어, 4개의 데이터)만큼만 무작위로 골라 어떤 특징을 가진 요소인지를 판별한다. 예를 들면, 만약, 제1 데이터 군에서 고른 4개의 데이터 중 3개 이상이 잡음에 해당하는 것으로 확인되면, 제1 데이터 군은 모두 잡음으로 간주하고 제1 데이터 군 내의 모든 데이터를 잡음으로 레이블링 한다. 만약, 제2 데이터 군에서 고른 4개의 데이터 중 2개 이하가 아기 울음 소리에 해당한다면 제2 데이터 군 내의 모든 데이터를 잡음 또는 무음으로 레이블링 한다. Next, when a plurality of data groups are formed, only a predetermined number (for example, 4 data) for each data group is randomly selected to determine which element has a characteristic. For example, if three or more of the four data selected from the first data group are found to correspond to noise, all of the first data group are regarded as noise, and all data in the first data group are labeled as noise. . If two or less of the four data selected from the second data group correspond to the baby's crying sound, all data in the second data group are labeled as noise or silence.

다음으로, 이렇게 사전 결정된 알고리즘으로 레이블링을 수행하고, 레이블 된 데이터들은 학습 데이터로 활용한다. 이 경우 정확도 지표가 높아지면 상기 알고리즘으로 레이블링을 지속하고, 정확도 지표가 낮아지면 차원 축소 방식을 변경하거나 클러스터링의 파라미터를 변경하고, 앞의 과정을 다시 수행한다. Next, labeling is performed with this predetermined algorithm, and the labeled data is used as training data. In this case, if the accuracy index increases, labeling is continued with the algorithm, and if the accuracy index decreases, the dimensionality reduction method is changed or the clustering parameter is changed, and the previous process is performed again.

한편, 실시간 소리 분석 장치(600)가 관심 소리(13)를 감지하여 표시함으로써 사용자(2)에게 편리함을 제공하기는 하지만, 사용자(2)는 청력을 가진 인간으로서, 현재 주변에서 환자가 신음을 내는지 안 내는지 인지할 수 있고, 아기가 우는지 안 우는지 인지할 수 있으며, 동물이 소리를 내는지 안 내는지 인지할 수 있다. 이는 인간의 오감 중 하나인 청력이 손상되지 않았다면 구분할 수 있는 요소이다. 그러나 사용자(2)는 환자가 신음을 낼 때 그 소리만 듣고 어느 부위가 아파서 신음을 내는지를 알기는 어렵다. 마찬가지로, 사용자(2)는 아기가 울 때 그 소리만 듣고 아기가 무엇을 원하는지 알기는 어렵다. On the other hand, although the real-time sound analysis device 600 provides convenience to the user 2 by detecting and displaying the sound of interest 13, the user 2 is a human with hearing, and the patient moans in the surroundings. It can recognize whether it is making or not, it can recognize whether a baby is crying or not, and it can recognize whether an animal is making a sound or not. This is an element that can be distinguished if the hearing ability, one of the five senses of humans, is not damaged. However, it is difficult for the user 2 to hear only the sound when the patient makes a groan and know which part is painful and makes the groan. Similarly, it is difficult for the user 2 to hear only the sound when the baby is crying and know what the baby wants.

관심 소리(13)가 감지되면 실시간 소리 분석 장치(600)는 추가 분석 장치(700)로 신호처리된 실시간 소리 데이터를 전송한다. 관심 소리(13)가 발생하는 원인은 제1 원인, 제2 원인 및 제3 원인 등 여러가지가 있을 수 있고, 사용자(2)의 수요는 관심 소리(13)의 발생 원인에 집중된다. When the sound of interest 13 is detected, the real-time sound analysis device 600 transmits the signal-processed real-time sound data to the additional analysis device 700. There may be various causes of the sound of interest 13 to be generated, such as a first cause, a second cause, and a third cause, and the demand of the user 2 is concentrated on the cause of the sound of interest 13.

예를 들어 상기 관심 소리(13)가 아기 울음 소리(132)인 경우, 아기는 배가 고파서 울었을 수도 있고, 변의(便意)를 느껴 울었을 수도 있고, 기저귀에 대소변을 싼 후 불편감 때문에 울었을 수도 있고, 졸려서 울었을 수도 있다. 또는, 감정 상태에 따라 슬퍼서 울었을 수도 있고, 슬퍼하다가 기뻐하면서 울음 소리를 낼 수도 있다. 이처럼, 아기의 울음 소리는 성인이 듣기에 유사하게 들릴지 몰라도 그 원인은 다양하다. For example, if the sound of interest 13 is the crying sound of the baby 132, the baby may have cried because he was hungry, or he may have cried because he felt stool, or because of discomfort after packing a diaper. Maybe he was sleepy and cried. Or, depending on your emotional state, you may have been sad and cry, or you may be sad and rejoice and make a cry. As such, babies' crying sounds may sound similar to an adult's hearing, but the causes are varied.

예를 들어 상기 관심 소리(13)가 환자의 신음(131)인 경우, 본 발명의 일 실시예에 따르면 환자의 목소리에서 발생하는 다양한 소리를 통해 발견하기 어려운 특정 질병을 조기에 발견하도록 하는 것이 가능하다. 또한, 환자의 신음(131)이 아니라 환자의 몸에서 발생하는 다양한 소리 역시 상기 관심 소리(13)가 될 수 있다. 구체적으로, 실시간 소리 분석 장치(600)로 환자의 소변 소리를 관심 소리(13)로서 감지한 후 추가 분석 장치(700)로 환자가 전립선 비대증을 앓고 있는지 여부를 분석할 수 있다. For example, if the sound of interest 13 is the patient's groan 131, according to an embodiment of the present invention, it is possible to detect a specific disease that is difficult to detect early through various sounds generated from the patient's voice. Do. In addition, various sounds generated by the patient's body rather than the patient's groan 131 may also be the sound of interest 13. Specifically, after detecting the urine sound of the patient as the sound of interest 13 by the real-time sound analysis device 600, the additional analysis device 700 may analyze whether the patient suffers from an enlarged prostate.

예를 들어 상기 관심 소리(13)가 베어링 마찰음인 경우, 본 발명의 일 실시예에 따르면 베어링이 회전하며 발생하는 다양한 소리를 통해 사고 원인이 될 수 있는 결함을 조기에 발견하도록 하는 것이 가능하다. For example, when the sound of interest 13 is a bearing friction sound, according to an embodiment of the present invention, it is possible to detect a defect that may cause an accident early through various sounds generated as the bearing rotates.

이와 같은 소리 원인의 분류는 추가 분석 장치(700)에서 제2 분류기(710)에 의해 수행될 수 있다. 상기 제2 분류기(710)는 제2 학습부(750)를 통해 딥 러닝 방식으로 기능이 강화될 수 있다. 우선, 사전 수집된 소리 데이터(S001)의 적어도 일부에 소리 원인을 레이블링(Labeling)한다. 이후, 상기 제2 학습부(750)는 소리 원인이 레이블된(Labeled) 사전 수집된 소리 데이터(S001)를 활용하여 딥 러닝 방식으로 제2 분류기(710)의 제2 함수(f2)를 학습시킨다. The classification of the sound cause may be performed by the second classifier 710 in the additional analysis device 700. The function of the second classifier 710 may be enhanced through a deep learning method through the second learning unit 750. First, a sound cause is labeled on at least a part of the sound data S001 collected in advance. Thereafter, the second learning unit 750 learns the second function f2 of the second classifier 710 using a deep learning method using pre-collected sound data S001 in which the sound cause is labeled. .

실시간 소리 분석 장치(600) 및 추가 분석 장치(700) 간의 통신으로 사용자(2)는 관심 소리(13)의 발생 여부 및 관심 소리(13)의 발생 원인(21, 22, 23)을 파악할 수 있다. Through communication between the real-time sound analysis device 600 and the additional analysis device 700, the user 2 can determine whether the sound of interest 13 is generated and the causes 21, 22, and 23 of the sound of interest 13 .

본 발명의 일 실시예에서, 상기 소리 원인은 소리를 발생시키는 주체의 상태(State)일 수 있다. 즉, 아기가 우는 '원인'이 배고픔이라면, 마찬가지로 아기는 배가 고픈 '상태'에 있다고 볼 수 있다. 상기 '상태'라는 용어는 아기가 울고 있다는 1차적인 의미로 이해될 수도 있으나, 본 발명의 일 실시예의 추가 분석 장치(700)에서 얻고자 하는 데이터는 아기가 울고 있는 이유와 같은 2차적인 의미로 이해되는 것이 바람직하다. In an embodiment of the present invention, the cause of the sound may be a state of a subject generating the sound. In other words, if the'cause' of the baby's cry is hunger, the baby can be considered to be in a'state' of hunger. The term'state' may be understood as a primary meaning that the baby is crying, but the data to be obtained from the additional analysis device 700 according to an embodiment of the present invention has a secondary meaning such as the reason why the baby is crying. It is preferable to be understood as.

본 발명의 일 실시예에서, 실시간 소리 분석 장치(600)는 소리가 아닌 다른 정보를 감지하여 소리와 함께 분석을 수행함으로써 분석 대상의 상태(소리 발생의 원인) 분석 정확도를 향상시킬 수 있다. 예를 들면, 아기가 뒤척이는 진동을 감지하여 추가로 분석할 수 있다. 이에 따라, 진동을 감지하는 장치가 추가로 구성될 수 있다. 또는 진동을 감지하는 모듈이 상기 실시간 소리 분석 장치(600)에 장착될 수 있다. 진동을 감지하는 장치는 일 예일 뿐이고, 설정된 관심 소리(13)와 관련된 정보를 감지하는 장치라면 추가가 가능하다. In an embodiment of the present invention, the real-time sound analysis apparatus 600 may improve the accuracy of analyzing the state of the analysis object (cause of sound generation) by detecting information other than sound and performing analysis together with sound. For example, you can detect and further analyze the vibrations your baby turns. Accordingly, a device for sensing vibration may be additionally configured. Alternatively, a module for sensing vibration may be mounted on the real-time sound analysis device 600. The device for sensing vibration is only an example, and any device that detects information related to the set sound of interest 13 can be added.

본 발명의 일 실시예에서, 실시간 소리 분석 장치(600)는 복수의 관심 소리(13)를 감지하여 소리와 함께 분석을 수행함으로써 분석 대상의 상태(소리 발생의 원인) 분석 정확도를 향상시킬 수 있다. In one embodiment of the present invention, the real-time sound analysis device 600 may improve the accuracy of analyzing the state of the analysis object (cause of sound generation) by detecting a plurality of sounds of interest 13 and performing analysis together with the sound. .

예를 들면, 누군가 넘어지는 소리 및 부딪히는 소리가 감지된 후 아기의 울음 소리가 감지되었을 경우, 장치가 아기 울음 소리만 분석하면 그 원인이 '고통스러움'으로 분석될 확률이 낮을 수 있으나(예를 들면, 60%), 넘어지는 소리 및 부딪히는 소리가 울음 소리 직전에 발생했다는 정보를 함께 분석하여 아기 울음 소리의 원인이 '고통스러움'일 것이라고 더 높은 확률(예를 들면, 90%)로 분석할 수 있다. 즉, 장치의 신뢰도가 향상될 수 있다. For example, if the crying sound of a baby is detected after the sound of someone falling or bumping is detected, it may be less likely that the cause will be analyzed as'painfulness' if the device analyzes only the crying sound of the baby (for example, For example, 60%), by analyzing the information that the falling sound and the bumping sound occurred immediately before the crying sound, the cause of the crying sound of the baby is'painfulness' and analyzed with a higher probability (for example, 90%). I can. That is, the reliability of the device can be improved.

본 발명의 일 실시예에서, 상기 실시간 소리 분석 장치(600)는 사용자(2)가 소리를 감지하고자 하는 대상의 근처에 배치되는 것이 바람직하다. 따라서 상기 실시간 소리 분석 장치(600)는 이동성이 요구될 수 있고, 그 데이터 저장 용량은 작을 수 있다. 즉, 이동이 필요한 장치에 포함되는 센서 등의 소형(또는 초소형) 장치의 경우 컴퓨팅 자원(메모리 사용량, CPU 사용량), 네트워크 자원, 배터리 자원이 일반 데스크탑 또는 서버 환경에 비해 매우 부족한 것이 일반적이다. 즉, 실시간 소리 분석 장치(600) 배치 후 주변 소리(10)가 발생하면 이에 대한 원본 데이터 중 인공지능 분석, 특히 머신 러닝 또는 딥 러닝을 위해 필요한 핵심 정보만이 저장되는 것이 바람직하다. In one embodiment of the present invention, the real-time sound analysis device 600 is preferably disposed near an object for which the user 2 wants to sense sound. Therefore, the real-time sound analysis device 600 may require mobility, and its data storage capacity may be small. That is, in the case of a small (or ultra-small) device such as a sensor included in a device that needs to be moved, it is common that computing resources (memory usage, CPU usage), network resources, and battery resources are very insufficient compared to a general desktop or server environment. That is, when the surrounding sound 10 occurs after the real-time sound analysis device 600 is placed, it is preferable that only core information necessary for artificial intelligence analysis, especially machine learning or deep learning, is stored among the original data for this.

예를 들면 마이크로 컨트롤러 유닛(Micro Controller Unit; MCU) 기반의 프로세서는 데스크탑 컴퓨터가 사용하는 프로세서에 비해 대략 수십만분의 1 수준에 그친다. 특히, 소리 데이터와 같은 미디어 데이터의 경우 데이터의 크기가 매우 크기 때문에, 데스크탑 컴퓨터처럼 원본 데이터를 메모리에 저장해두고 처리를 하는 것은 불가능하다. 예를 들어 4분 길이의 음성 데이터(44.1KHz sampling rate)는 크기가 보통 40MB 정도인데, 고성능 MCU의 시스템의 전체 메모리 용량은 64KB 수준에 그쳐 약 600분의 1 수준에 그친다. For example, a processor based on a microcontroller unit (MCU) is only a few hundred thousandths of a processor used in a desktop computer. In particular, in the case of media data such as sound data, since the data size is very large, it is impossible to store and process the original data in memory like a desktop computer. For example, 4 minutes of audio data (44.1KHz sampling rate) is usually about 40MB, but the total memory capacity of a high-performance MCU system is only 64KB, which is about 1 in 600.

따라서 본 발명의 일 실시예에 따른 실시간 소리 분석 장치(600)는 분석할 원본 데이터를 메모리에 저장해두고 처리를 하는 기존 방식과는 달리 원본 데이터에 대한 중간 처리(예를 들면, FFT, Arithmetic computation 등)를 먼저 진행한 후 인공지능 분석 과정에 필요한 일부 정보만 핵심 벡터로 생성한다. Therefore, the real-time sound analysis apparatus 600 according to an embodiment of the present invention stores the original data to be analyzed in a memory and processes the original data in an intermediate process (for example, FFT, Arithmetic computation, etc.). ) First, and then only some information necessary for the artificial intelligence analysis process is created as a core vector.

상기 핵심 벡터는 전처리(Preprocessing) 및 특징 벡터(Feature Vector)와는 다른 것으로서, 원본 데이터를 실시간으로 전처리한 후 그 결과를 이용해 곧바로 특징 벡터 연산을 하는 과정을 거치지 않는다. 구체적으로, 이후에 구해낼 특징 벡터의 연산에 필요한 전처리 중간 연산값 및 원본 데이터의 중간 연산값을 저장한다. 이는 엄격히 말하면 원본 데이터의 압축은 아니다. The core vector is different from preprocessing and feature vectors, and does not undergo a process of performing a feature vector operation immediately using the result after preprocessing the original data in real time. Specifically, preprocessed intermediate calculation values required for calculation of feature vectors to be obtained later and intermediate calculation values of original data are stored. This is not strictly speaking the compression of the original data.

따라서 전처리 및 특징 벡터 추출보다 핵심 벡터 연산이 먼저 수행되고, 실시간 소리 분석 장치(600)는 원본 데이터 대신 핵심 벡터를 저장함으로써 부족한 연산 능력 및 저장 공간의 한계를 극복할 수 있다. Therefore, the core vector operation is performed before the preprocessing and feature vector extraction, and the real-time sound analysis apparatus 600 stores the core vector instead of the original data, thereby overcoming the limitation of insufficient computational power and storage space.

바람직하게는, 실시간 소리 분석 장치(600)에서 추가 분석 장치(700)로 (또는 다른 장치로) 전송하는 데이터는 실시간 소리 데이터의 핵심 벡터 정보일 수 있다. 즉, 실시간으로 수집되는 소리를 추가 분석 장치(700)로 (또는 다른 장치로) 전송하는 작업 역시 실시간으로 수행되어야 하므로 실시간 소리 분석 장치(600)의 신호처리부에서 생성된 핵심 벡터 정보만을 추가 분석 장치(700)로 전송하는 것이 유리하다. Preferably, data transmitted from the real-time sound analysis device 600 to the additional analysis device 700 (or to another device) may be key vector information of real-time sound data. That is, since the operation of transmitting the sound collected in real time to the additional analysis device 700 (or to another device) must also be performed in real time, only the core vector information generated by the signal processing unit of the real-time sound analysis device 600 is an additional analysis device. It is advantageous to transfer to 700.

이하, 음원(1), 실시간 소리 분석 장치(600), 추가 분석 장치(700), 이동통신용 단말기(800) 및 사용자(2) 간의 상호작용에 대하여 도 2 내지 5를 활용하여 상세히 설명한다. Hereinafter, the interaction between the sound source 1, the real-time sound analysis device 600, the additional analysis device 700, the mobile communication terminal 800, and the user 2 will be described in detail using FIGS. 2 to 5.

도 2는 본 발명에 의한 실시간 소리 분석 장치의 제1 실시예를 나타내는 도면이다. 2 is a diagram showing a first embodiment of a real-time sound analysis apparatus according to the present invention.

음원(1)은 아기일 수도 있고, 동물일 수도 있고, 물건일 수도 있다. 도 2에서는 우는 아기가 도시되어 있다. 예를 들어 아기 울음 소리(132)가 입력부(610)에 의해 감지되면, 실시간 소리 데이터(S002)로 저장되어 신호처리부(620)에 의해 머신 러닝에 맞도록 신호처리 된다. 신호처리 된 실시간 소리 데이터는 제1 함수(f1)를 포함하는 제1 분류기(630)에 의해 소리 유형으로 분류된다. The sound source 1 may be a baby, an animal, or an object. In Figure 2 a crying baby is shown. For example, when the baby's crying sound 132 is detected by the input unit 610, it is stored as real-time sound data (S002) and processed by the signal processing unit 620 to match machine learning. The signal-processed real-time sound data is classified as a sound type by a first classifier 630 including a first function f1.

제1 분류기(630)에 의해 소리 유형으로 분류된 실시간 소리 데이터는 제1 통신부(640)와 제2 통신부(740)의 통신에 의해 추가 분석 장치(700)에 전송된다. 전송된 실시간 소리 데이터 중 관심 소리에 관한 데이터는 제2 분류기(730)에 의해 소리 원인으로 분류된다. The real-time sound data classified as sound type by the first classifier 630 is transmitted to the additional analysis device 700 through communication between the first communication unit 640 and the second communication unit 740. Among the transmitted real-time sound data, data related to a sound of interest is classified as a sound cause by the second classifier 730.

제1 학습부(650)는 머신 러닝에 의해 제1 분류기(630)의 제1 함수(f1)를 학습시킨다. 여기서 입력은 주변 소리(10)고, 출력은 소리 유형이다. 상기 소리 유형은 무음(11), 잡음(12) 및 관심 소리(13)를 포함하되, 다른 유형이 포함될 수 있다. 예를 들어 복수의 관심 소리를 두어 소리 유형에 무음(11), 잡음(12), 제1 관심 소리 및 제2 관심 소리, 제3 관심 소리가 포함될 수 있다. 예를 들어 상기 무음(11)과 잡음(12)도 다른 유형으로 변경될 수 있다. The first learning unit 650 learns the first function f1 of the first classifier 630 by machine learning. Here, the input is the ambient sound (10), and the output is the sound type. The sound types include silence 11, noise 12, and sound of interest 13, but other types may be included. For example, a plurality of sounds of interest may be placed, and sound types may include silence 11, noise 12, a first sound of interest, a second sound of interest, and a third sound of interest. For example, the silence 11 and the noise 12 may also be changed to other types.

상기 제1 분류기(630)는 사전 수집된 소리 데이터(S001)를 활용하여 학습된 제1 함수(f1)를 포함한다. 즉, 입력인 실시간 소리 데이터가 제1 함수(f1)를 거쳐 출력인 소리 유형으로 분류될 수 있도록 사전 학습이 이루어진다. 그러나 상기 사전 학습이 이루어지더라도 제1 함수(f1)가 완벽하지 않으므로 지속적으로 보완되는 것이 바람직하다. 실시간 소리 데이터(S002)가 지속적으로 유입되고 이에 대한 결과값이 출력된 후, 사용자(2)가 오류가 있는 결과값들에 대해 피드백을 입력하면 제1 학습부(650)가 이를 반영하여 제1 분류기(630)를 다시 학습시킨다. 이러한 과정이 반복되면서 제1 함수(f1)는 점점 보완되고, 소리 유형 분류 정확도가 향상된다. The first classifier 630 includes a first function f1 learned using pre-collected sound data S001. That is, pre-learning is performed so that the input real-time sound data can be classified into the output sound type through the first function f1. However, even if the pre-learning is performed, since the first function f1 is not perfect, it is desirable to be continuously supplemented. After the real-time sound data (S002) is continuously introduced and the result values are output, when the user 2 inputs feedback on the result values with errors, the first learning unit 650 reflects this and The classifier 630 is trained again. As this process is repeated, the first function f1 is gradually supplemented, and the accuracy of classification of sound types is improved.

상기 제2 분류기(730)는 사전 수집된 소리 데이터(S001)를 활용하여 학습된 제2 함수(f2)를 포함한다. 즉, 입력인 실시간 소리 데이터가 제2 함수(f2)를 거쳐 출력인 소리 원인으로 분류될 수 있도록 사전 학습이 이루어진다. 그러나 상기 사전 학습이 이루어지더라도 제2 함수(f2)가 완벽하지 않으므로 지속적으로 보완되는 것이 바람직하다. 실시간 소리 데이터(S002)가 지속적으로 유입되고 이에 대한 결과값이 출력된 후, 사용자(2)가 오류가 있는 결과값들에 대해 피드백을 입력하면 제2 학습부(750)가 이를 반영하여 제2 분류기(730)를 다시 학습시킨다. 이러한 과정이 반복되면서 제2 함수(f2)는 점점 보완되고, 소리 원인 분류 정확도가 향상된다. The second classifier 730 includes a second function f2 learned using pre-collected sound data S001. That is, prior learning is performed so that the input real-time sound data can be classified as an output sound source through the second function f2. However, even if the prior learning is performed, since the second function f2 is not perfect, it is desirable to be continuously supplemented. After the real-time sound data (S002) is continuously introduced and the result values are output, when the user 2 inputs feedback on the result values with errors, the second learning unit 750 reflects this and The classifier 730 is trained again. As this process is repeated, the second function f2 is gradually supplemented, and the accuracy of classification of sound causes is improved.

실시간 소리 분석 장치(600)는 제1 표시부(670)를 포함할 수 있다. 제1 표시부(670)는 예를 들면 조명, 스피커, 텍스트 표시부 및 디스플레이 패널일 수 있다. 상기 제1 표시부(670)는 소리 유형을 표시할 수 있고, 바람직하게는 추가 분석 장치(700)로부터 전송받은 소리 원인을 표시할 수도 있다. The real-time sound analysis device 600 may include a first display unit 670. The first display unit 670 may be, for example, a lighting, a speaker, a text display unit, and a display panel. The first display unit 670 may display a sound type, and preferably, a sound cause transmitted from the additional analysis device 700 may be displayed.

추가 분석 장치(700)는 제2 표시부(770)를 포함할 수 있다. 제2 표시부(770)는 예를 들면 조명, 스피커, 텍스트 표시부 및 디스플레이 패널일 수 있다. 상기 제2 표시부(770)는 소리 원인을 표시할 수 있고, 바람직하게는 실시간 소리 분석 장치(600)로부터 전송받은 소리 유형을 표시할 수도 있다. The additional analysis device 700 may include a second display unit 770. The second display unit 770 may be, for example, a lighting, a speaker, a text display unit, and a display panel. The second display unit 770 may display the cause of the sound, and preferably, may display the type of sound transmitted from the real-time sound analysis device 600.

실시간 소리 분석 장치(600)의 구성 요소들은 제1 제어부(660)에 의해 제어된다. 제1 제어부(660)는 입력부(610)에 의해 주변 소리(10)가 감지되면 신호처리 및 분류를 실행하도록 신호처리부(620) 및 제1 분류기(630)에 명령을 내릴 수 있고, 분류 결과 및 실시간 소리 데이터를 추가 분석 장치(700)에 전송하도록 제1 통신부(640)에 명령을 전달할 수 있다. 또한, 실시간 소리 데이터의 유입에 따라 제1 학습부(650)가 제1 분류기(630)를 보완하는 학습을 시킬 것인지 결정할 수 있다. 또한, 상기 제1 제어부(660)는 분류 결과를 제1 표시부(670)에 표시하도록 제어할 수 있다. Components of the real-time sound analysis device 600 are controlled by the first control unit 660. The first control unit 660 may command the signal processing unit 620 and the first classifier 630 to perform signal processing and classification when the ambient sound 10 is detected by the input unit 610, and the classification result and A command may be transmitted to the first communication unit 640 to transmit real-time sound data to the additional analysis device 700. In addition, according to the inflow of real-time sound data, the first learning unit 650 may determine whether to perform learning to supplement the first classifier 630. In addition, the first control unit 660 may control the classification result to be displayed on the first display unit 670.

추가 분석 장치(700)의 구성 요소들은 제2 제어부(760)에 의해 제어된다. 제2 제어부(760)는 실시간 소리 분석 장치(600)로부터 데이터를 전송받으면 분류를 실행하도록 제2 분류기(730)에 명령을 내릴 수 있고, 분류 결과를 실시간 소리 분석 장치(600)에 전송하도록 제2 통신부(740)에 명령을 전달할 수 있다. 또한, 실시간 소리 데이터의 유입에 따라 제2 학습부(750)가 제2 분류기(730)를 보완하는 학습을 시킬 것인지 결정할 수 있다. 또한, 상기 제2 제어부(760)는 분류 결과를 제2 표시부(770)에 표시하도록 제어할 수 있다. Components of the additional analysis device 700 are controlled by the second control unit 760. The second control unit 760 may issue a command to the second classifier 730 to perform classification upon receiving data from the real-time sound analysis device 600, and transmit the classification result to the real-time sound analysis device 600. 2 A command can be transmitted to the communication unit 740. In addition, according to the inflow of real-time sound data, the second learning unit 750 may determine whether to perform learning to supplement the second classifier 730. In addition, the second control unit 760 may control the classification result to be displayed on the second display unit 770.

사용자(2)는 이동통신용 단말기(800)에 설치된 애플리케이션을 통해 소리의 유형 및 원인에 대한 분석을 제공받는다. 즉, 실시간 소리 분석 장치(600)는 제1 통신부(640)에서 신호처리된 실시간 소리 데이터 및 소리 유형 분류 결과를 제2 통신부(740)로 전송하고 추가 분석 장치(700)는 전송받은 데이터를 기초로 소리 원인을 분류한다. 이후 추가 분석 장치(700)는 실시간 소리 분석 장치(600) 및 추가 분석 장치(700)에서 수행된 분석 결과를 이동통신용 단말기(800)로 전송하고, 사용자(2)는 애플리케이션을 통해 상기 분석 결과에 접근할 수 있다. The user 2 is provided with an analysis of the type and cause of sound through an application installed in the mobile communication terminal 800. That is, the real-time sound analysis device 600 transmits the real-time sound data and sound type classification results processed by the first communication unit 640 to the second communication unit 740, and the additional analysis device 700 is based on the received data. Classify the sound cause by Thereafter, the additional analysis device 700 transmits the analysis result performed by the real-time sound analysis device 600 and the additional analysis device 700 to the mobile communication terminal 800, and the user 2 transmits the analysis result to the analysis result through an application. I can access it.

사용자(2)는 분석 결과가 맞는지 틀린지에 대한 피드백을 애플리케이션을 통하여 제공할 수 있고, 상기 피드백은 추가 분석 장치(700)로 전송된다. 실시간 소리 분석 장치(600) 및 추가 분석 장치(700)는 상기 피드백을 공유하고, 각 제어부(660, 760)에 의해 대응하는 함수(f1, f2)를 재학습시킨다. 즉, 피드백에 대응하는 실시간 소리 데이터에 상기 피드백을 반영하여 레이블링하고, 학습부(650, 750)가 분류기(630, 730)를 학습시킴으로써 각 함수의 정확도가 향상된다. The user 2 may provide feedback on whether the analysis result is correct or incorrect through the application, and the feedback is transmitted to the additional analysis device 700. The real-time sound analysis device 600 and the additional analysis device 700 share the feedback and relearn the corresponding functions f1 and f2 by the respective controllers 660 and 760. That is, real-time sound data corresponding to the feedback is labeled by reflecting the feedback, and the learning units 650 and 750 learn the classifiers 630 and 730 to improve the accuracy of each function.

도 2의 실시예에서 추가 분석 장치(700)는 서버일 수 있다. In the embodiment of FIG. 2, the additional analysis device 700 may be a server.

도 3은 본 발명에 의한 실시간 소리 분석 장치의 제2 실시예를 나타내는 도면이다. 도 2와 중복되는 부분에 대한 설명은 생략한다. 3 is a diagram showing a second embodiment of a real-time sound analysis apparatus according to the present invention. Description of the overlapping portion with FIG. 2 will be omitted.

사용자(2)는 실시간 소리 분석 장치(600)로부터 직접 소리의 유형 및 원인에 대한 분석 결과를 제공받을 수 있다. 상기 분석 결과는 제1 표시부(670)를 통해 제공될 수 있다. 사용자(2)는 분석 결과가 맞는지 틀린지에 대한 피드백을 실시간 소리 분석 장치(600)에 직접 제공할 수 있고, 상기 피드백은 추가 분석 장치(700)로 전송된다. 실시간 소리 분석 장치(600) 및 추가 분석 장치(700)는 상기 피드백을 공유하고, 각 제어부(660, 760)에 의해 대응하는 함수(f1, f2)를 재학습시킨다. 즉, 피드백에 대응하는 실시간 소리 데이터에 상기 피드백을 반영하여 레이블링하고, 학습부(650, 750)가 분류기(630, 730)를 학습시킴으로써 각 함수의 정확도가 향상된다. The user 2 may receive an analysis result for the type and cause of sound directly from the real-time sound analysis device 600. The analysis result may be provided through the first display unit 670. The user 2 may directly provide feedback on whether the analysis result is correct or incorrect to the real-time sound analysis device 600, and the feedback is transmitted to the additional analysis device 700. The real-time sound analysis device 600 and the additional analysis device 700 share the feedback and relearn the corresponding functions f1 and f2 by the respective controllers 660 and 760. That is, real-time sound data corresponding to the feedback is labeled by reflecting the feedback, and the learning units 650 and 750 learn the classifiers 630 and 730 to improve the accuracy of each function.

도 3의 실시예에서 추가 분석 장치(700)는 서버일 수 있다. In the embodiment of FIG. 3, the additional analysis device 700 may be a server.

도 4는 본 발명에 의한 실시간 소리 분석 장치의 제3 실시예를 나타내는 도면이다. 도 2와 중복되는 부분에 대한 설명은 생략한다. 4 is a diagram showing a third embodiment of a real-time sound analysis apparatus according to the present invention. Description of the overlapping portion with FIG. 2 will be omitted.

사용자(2)는 추가 분석 장치(600)로부터 직접 소리의 유형 및 원인에 대한 분석 결과를 제공받을 수 있다. 상기 분석 결과는 제2 표시부(770)를 통해 제공될 수 있다. 사용자(2)는 분석 결과가 맞는지 틀린지에 대한 피드백을 추가 분석 장치(700)에 직접 제공할 수 있고, 상기 피드백은 실시간 소리 분석 장치(600)로 전송된다. 실시간 소리 분석 장치(600) 및 추가 분석 장치(700)는 상기 피드백을 공유하고, 각 제어부(660, 760)에 의해 대응하는 함수(f1, f2)를 재학습시킨다. 즉, 피드백에 대응하는 실시간 소리 데이터에 상기 피드백을 반영하여 레이블링하고, 학습부(650, 750)가 분류기(630, 730)를 학습시킴으로써 각 함수의 정확도가 향상된다. The user 2 may receive an analysis result of the type and cause of sound directly from the additional analysis device 600. The analysis result may be provided through the second display unit 770. The user 2 may directly provide feedback on whether the analysis result is correct or incorrect to the additional analysis device 700, and the feedback is transmitted to the real-time sound analysis device 600. The real-time sound analysis device 600 and the additional analysis device 700 share the feedback and relearn the corresponding functions f1 and f2 by the respective controllers 660 and 760. That is, real-time sound data corresponding to the feedback is labeled by reflecting the feedback, and the learning units 650 and 750 learn the classifiers 630 and 730 to improve the accuracy of each function.

도 4의 실시예에서 추가 분석 장치(700)는 이동통신용 단말기의 일부일 수 있다. 즉, 이동통신용 단말기(800)가 추가 분석 장치(700)를 포함할 수 있고, 이 경우 사용자(2)가 추가 분석 장치(700)에 직접 피드백을 입력할 수 있다. In the embodiment of FIG. 4, the additional analysis device 700 may be a part of a mobile communication terminal. That is, the mobile communication terminal 800 may include the additional analysis device 700, and in this case, the user 2 may directly input the feedback to the additional analysis device 700.

도 5 및 도 8은 본 발명에 의한 실시간 소리 분석 방법에 관한 블록도이다. 5 and 8 are block diagrams of a real-time sound analysis method according to the present invention.

본 발명에 의한 실시간 소리 분석 방법 및 장치는 실시간 소리 분석 장치(600) 및 추가 분석 장치(700)의 상호작용에 의해 작동한다. 사전 수집된 소리 데이터(S001)는 크롤링(Crawling)의 방식으로 수집될 수 있으나 이에 한정되지 않는다. 각 분류기(630, 730)가 최소한의 기능을 수행할 수 있게 하려면 실시간 소리 분석 장치(600)의 제1 학습부(650) 및 추가 분석 장치(700)의 제2 학습부(750) 모두 적어도 일부가 레이블 된 사전 수집된 소리 데이터(S001)가 필요하다. 사전 수집된 소리 데이터(S001)는 각 분석 장치(600, 700)로 전달된다. 이러한 사전 수집된 소리 데이터(S001)에 의해 제1 함수(f1) 및 제2 함수(f2)를 훈련시키는 작업은 분류 작업에 선행된다. The real-time sound analysis method and apparatus according to the present invention operates by the interaction of the real-time sound analysis device 600 and the additional analysis device 700. The pre-collected sound data S001 may be collected by a crawling method, but is not limited thereto. To enable each classifier (630, 730) to perform a minimum function, at least a part of both the first learning unit 650 of the real-time sound analysis device 600 and the second learning unit 750 of the additional analysis device 700 Pre-collected sound data (S001) labeled with is required. The pre-collected sound data (S001) is transmitted to each analysis device (600, 700). The operation of training the first function f1 and the second function f2 by the pre-collected sound data S001 precedes the classification operation.

도 5와 도 8을 함께 참조한다. 제1 함수(f1) 및 제2 함수(f2)가 훈련에 의해 어느 정도 최적화된 후 입력부(610)를 통해 실시간 소리 데이터(S002)가 입력되고 나면, 전처리 및 특징 벡터 추출이 포함된 신호처리 단계(S130)가 수행된다. 이후 제1 함수(f1)를 통해 소리 유형 별로 분류한다. 5 and 8 are referred together. After the first function (f1) and the second function (f2) are optimized to some extent by training and real-time sound data (S002) is input through the input unit 610, a signal processing step including pre-processing and feature vector extraction (S130) is performed. Thereafter, they are classified by sound type through the first function f1.

소리 유형에는 무음(11), 잡음(12)이 있을 수 있고, 사용자가 관심을 갖는 관심 소리(13)는 적어도 하나가 지정될 수 있다. 예를 들어 관심 소리(13)는 아기 울음 소리일 수 있고, 관심 소리(13)가 아기 울음 소리 및 부모의 음성일 수 있다. The sound type may include silence 11 and noise 12, and at least one sound of interest 13 that the user is interested in may be designated. For example, the interest sound 13 may be a baby crying sound, and the interest sound 13 may be a baby crying sound and a parent's voice.

제1 제어부(660)는 분류된 소리 유형이 관심 소리에 해당하는지 판단할 수 있다. 만약 분류된 소리 유형이 관심 소리에 해당하는 경우, 신호처리 된 실시간 소리 데이터를 실시간 소리 분석 장치(600)에서 추가 분석 장치로 전송한다. The first control unit 660 may determine whether the classified sound type corresponds to a sound of interest. If the classified sound type corresponds to the sound of interest, the signal-processed real-time sound data is transmitted from the real-time sound analysis device 600 to the additional analysis device.

신호처리 된 실시간 소리 데이터를 전송받은 제2 통신부(740)는 이 정보를 제2 분류기(730)로 전달하고, 제2 분류기(730)는 제2 함수(f2)를 통해 소리 원인 별로 분류한다. The second communication unit 740 receiving the signal-processed real-time sound data transfers this information to the second classifier 730, and the second classifier 730 classifies each sound cause through a second function f2.

소리 원인에 대한 분류 결과는 외부 장치로 전송될 수 있는데, 상기 외부 장치는 실시간 소리 분석 장치(600)일 수 있으나, 다른 장치일 수도 있다. The classification result for the sound cause may be transmitted to an external device. The external device may be the real-time sound analysis device 600, but may be another device.

제2 통신부(740)를 통해 제1 통신부(640)로 소리 원인 분류 결과를 전송한 후 각 분석 장치(600, 700)의 표시부는 소리 유형 및/또는 소리 원인에 대한 분석 결과를 출력할 수 있다. After transmitting the sound cause classification result to the first communication unit 640 through the second communication unit 740, the display unit of each analysis device 600, 700 may output a sound type and/or an analysis result for the sound cause. .

일련의 과정을 거친 후 제1 학습부(650)는 수집된 실시간 소리 데이터를 머신 러닝 방식으로 학습함으로써 제1 함수를 보완할 수 있다. 여기서 사용자의 피드백을 받은 경우에는 상기 피드백에 대응하는 실시간 소리 데이터를 머신 러닝 방식으로 학습함으로써 제1 함수를 개선하는 것이 바람직하다. After going through a series of processes, the first learning unit 650 may supplement the first function by learning the collected real-time sound data using a machine learning method. Here, when a user's feedback is received, it is preferable to improve the first function by learning real-time sound data corresponding to the feedback using a machine learning method.

일련의 과정을 거친 후 제2 학습부(750)는 수집된 실시간 소리 데이터를 딥 러닝 방식으로 학습함으로써 제2 함수를 보완할 수 있다. 여기서 사용자의 피드백을 받은 경우에는 상기 피드백에 대응하는 실시간 소리 데이터를 딥 러닝 방식으로 학습함으로써 제2 함수를 개선하는 것이 바람직하다. After going through a series of processes, the second learning unit 750 may supplement the second function by learning the collected real-time sound data in a deep learning method. Here, when a user's feedback is received, it is preferable to improve the second function by learning real-time sound data corresponding to the feedback in a deep learning method.

실시간 소리 분석 장치(600)는 신호처리 후 특징 벡터를 추출하여 소리 유형으로 분류한다. 추가 분석 장치(700)는 실시간 소리 분석 장치(600)로부터 소리 유형이 분류된 실시간 소리 데이터를 수신하여 제2 함수를 통해 소리 원인으로 분류한다. 각 분석 장치(600, 700)에서 분류 작업 수행이 완료되면 각 함수(f1, f2)를 보완할 수 있다. The real-time sound analysis device 600 extracts feature vectors after signal processing and classifies them into sound types. The additional analysis device 700 receives real-time sound data in which a sound type is classified from the real-time sound analysis device 600 and classifies it as a sound cause through a second function. When the classification operation is completed in each of the analysis devices 600 and 700, each function f1, f2 may be supplemented.

본 발명의 일 실시예에서 관심 소리(13)가 아기 울음 소리(132)인 경우가 아닌 단순한 아기 소리인 경우에는 본 발명에 의한 실시간 소리 분석 방법 및 장치가 사용자(2)에게 더욱 유용한 정보를 제공할 수 있다. In an embodiment of the present invention, when the sound of interest 13 is a simple baby sound rather than a baby crying sound 132, the real-time sound analysis method and apparatus according to the present invention provides more useful information to the user 2 can do.

즉, 아기는 울기 전에 내는 울음 전 소리(Pre-crying Sound)를 내기도 하는데, 관심 소리(13)가 상기 울음 전 소리이고, 사용자(2)가 이에 대한 소리 유형 및 원인 분석을 제공받을 경우, 아기가 울고 나서 아기 울음 소리에 대한 분석을 제공받을 경우보다 더 빠른 대응이 가능하다. That is, the baby may make a pre-crying sound before crying, and if the sound of interest 13 is the sound before crying, and the user 2 receives the sound type and cause analysis for this, A quicker response is possible than if the baby was crying and then provided with an analysis of the baby's cries.

도 6은 소리 데이터의 신호처리에 관한 블록도이다. 6 is a block diagram of signal processing of sound data.

신호처리부(620)에서는 머신 러닝에 용이하도록 실시간 소리 데이터를 최적화하는데, 최적화는 신호처리에 의해 수행될 수 있다. The signal processing unit 620 optimizes real-time sound data to facilitate machine learning, and the optimization may be performed by signal processing.

바람직하게는 상기 신호처리부(620)는 예를 들어 정규화(Normalization), 주파수 필터링(Frequency Filtering), 템포럴 필터링(Temporal Filtering), 윈도잉(Windowing)과 같은 전처리를 거치고, 전처리된 소리 데이터를 시간 영역의 복수의 프레임들로 구분한 후, 각 프레임 또는 프레임 그룹의 특징 벡터를 추출할 수 있다. Preferably, the signal processing unit 620 undergoes pre-processing such as, for example, normalization, frequency filtering, temporal filtering, and windowing, and stores the pre-processed sound data in time. After dividing the region into a plurality of frames, a feature vector of each frame or frame group may be extracted.

특징 벡터로 표현된 실시간 소리 데이터는 프레임 별로 또는 프레임 그룹 별로 하나의 단위를 구성할 수 있다. The real-time sound data expressed as a feature vector may constitute one unit for each frame or for each frame group.

도 7은 소리 데이터를 프레임별로 분류하여 특징 벡터를 추출하는 일 실시예를 나타내는 도면이다. 7 is a diagram illustrating an embodiment of extracting a feature vector by classifying sound data for each frame.

시간 영역에서 100ms 단위로 자른 각 프레임(FR1, FR2, FR3, FR4, FR5)을 정의하였고, 이로부터 단일 프레임 특징 벡터(V1)가 추출된다. 도 7에서처럼 연속된 프레임 5개를 묶어 하나의 프레임 그룹(FG1, FG2, FG3)으로 정의하였고, 이로부터 프레임 그룹 특징 벡터(V2)가 추출된다. 단일 프레임 별로 분석을 수행할 수도 있으나, 데이터 처리에 따른 과부하 방지 및 정확성 향상을 위해 프레임 그룹(FG1, FG2, FG3) 별로 분석을 수행할 수도 있다. Each frame (FR1, FR2, FR3, FR4, FR5) cut by 100ms in the time domain is defined, from which a single frame feature vector (V1) is extracted. As shown in FIG. 7, five consecutive frames are grouped and defined as one frame group (FG1, FG2, FG3), and a frame group feature vector (V2) is extracted from this. Analysis may be performed for each single frame, but analysis may be performed for each frame group (FG1, FG2, FG3) to prevent overload and improve accuracy due to data processing.

1: 음원
2: 사용자
10: 주변 소리
11: 무음
12: 잡음
13: 관심 소리
131: 환자의 신음
132: 아기의 울음
133: 성인의 음성
21: 제1 원인
22: 제2 원인
23: 제3 원인
600: 실시간 소리 분석 장치
610: 입력부
620: 신호처리부
630: 제1 분류기
640: 제1 통신부
650: 제1 학습부
660: 제1 제어부
670: 제1 표시부
700: 추가 분석 장치
730: 제2 분류기
740: 제2 통신부
750: 제2 학습부
760: 제2 제어부
770: 제2 표시부
S001: 사전 수집된 소리 데이터
S002: 실시간 소리 데이터
FR1, FR2, FR3, FR4, FR5: 프레임
FG1, FG2, FG3: 프레임 그룹
V1, V2: 특징 벡터1: sound source
2: user
10: ambient sound
11: silent
12: noise
13: sounds of interest
131: patient moaning
132: baby cry
133: adult voice
21: first cause
22: second cause
23: third cause
600: real-time sound analysis device
610: input
620: signal processing unit
630: first classifier
640: first communication unit
650: first learning unit
660: first control unit
670: first display unit
700: additional analysis device
730: second classifier
740: second communication unit
750: second learning unit
760: second control unit
770: second display unit
S001: Pre-collected sound data
S002: Real-time sound data
FR1, FR2, FR3, FR4, FR5: Frame
FG1, FG2, FG3: frame group
V1, V2: feature vectors

Claims

An input unit for collecting sounds generated in real time;
A signal processing unit processing the collected real-time sound data to facilitate deep learning;
A first classifier for classifying signal-processed sound data into sound types by a first function for classifying sound type information learned by deep learning; And
Including; a first communication unit for transmitting and receiving information on sound data,
The first communication unit transmits the signal-processed sound data to an additional analysis device, which is a server, and receives a result of analyzing the sound cause through a second function learned by deep learning from the additional analysis device,
Mobility is required, and data storage capacity, battery resources, and computing power are less than those of the additional analysis device. To classify the sound type,
The first function and the second function become more accurate as the number of data to be learned increases,
Real-time sound analysis device based on artificial intelligence.

delete

The method of claim 1,
Further comprising a learning unit for training a first function for classifying sound type information by learning the pre-collected sound data in a deep learning method,
The learning unit supplements the first function by learning the real-time sound data in a deep learning method,
Real-time sound analysis device based on artificial intelligence.

The method of claim 4,
The learning unit receives the feedback input by the user and learns real-time sound data corresponding to the feedback in a deep learning method to supplement a first function,
Real-time sound analysis device based on artificial intelligence.

The method of claim 5,
Further comprising a first feedback receiving unit, wherein the first feedback receiving unit receives a direct feedback from a user or receives a feedback from another device or module,
Real-time sound analysis device based on artificial intelligence.

The method of claim 4,
The learning unit receives the feedback input by the user and learns real-time sound data corresponding to the feedback using a machine learning method to supplement a first function,
Real-time sound analysis device based on artificial intelligence.

The method of claim 1,
Further comprising a first control unit,
The first control unit determines whether the sound type classified by the first classifier corresponds to the sound of interest, and when the classified sound type corresponds to the sound of interest, controls to transmit signal-processed sound data to an additional analysis device. ,
Real-time sound analysis device based on artificial intelligence.

The method of claim 4,
The learning unit performs automatic labeling based on semi-supervised learning on the collected sound data,
Real-time sound analysis device based on artificial intelligence.

The method of claim 9,
The automatic labeling is performed by a predetermined algorithm or by a user's feedback,
Real-time sound analysis device based on artificial intelligence.

The method of claim 1,
The signal processing unit performs pre-processing, frame generation, and feature vector extraction of real-time sound data, but generates only a part of real-time sound data as a core vector before pre-processing,
Real-time sound analysis device based on artificial intelligence.

Collecting sounds generated in real time through an input unit;
Signal processing the collected real-time sound data to facilitate learning;
Classifying the signal-processed real-time sound data into sound types through a first function for classifying sound type information learned by deep learning;
Determining whether the sound type classified in the sound type classification step corresponds to a sound of interest;
If the classified sound type corresponds to the sound of interest, transmitting the signal-processed real-time sound data from the real-time sound analysis device to the additional analysis device;
Supplementing the first function by learning the real-time sound data using a deep learning method; And
And receiving, by the real-time sound analysis device, a result of analyzing the sound cause from the additional analysis device through a second function for classifying sound cause information learned by deep learning,
The real-time sound analysis device requires mobility, and data storage capacity, battery resources, and computational power are less than that of the additional analysis device. Can be classified,
The first function and the second function become more accurate as the number of data to be learned increases,
Real-time sound analysis method based on artificial intelligence.

delete