KR102017229B1 - A text sentence automatic generating system based deep learning for improving infinity of speech pattern - Google Patents
A text sentence automatic generating system based deep learning for improving infinity of speech pattern Download PDFInfo
- Publication number
- KR102017229B1 KR102017229B1 KR1020190043515A KR20190043515A KR102017229B1 KR 102017229 B1 KR102017229 B1 KR 102017229B1 KR 1020190043515 A KR1020190043515 A KR 1020190043515A KR 20190043515 A KR20190043515 A KR 20190043515A KR 102017229 B1 KR102017229 B1 KR 102017229B1
- Authority
- KR
- South Korea
- Prior art keywords
- deep learning
- intention
- unit
- text
- output
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 93
- 238000012360 testing method Methods 0.000 claims abstract description 51
- 238000013136 deep learning model Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 11
- 208000025174 PANDAS Diseases 0.000 description 8
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 8
- 240000004718 Panda Species 0.000 description 8
- 235000016496 Panda oleosa Nutrition 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000005094 computer simulation Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G06F17/2785—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
Abstract
Description
본 발명은 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 관한 것으로서, 더욱 상세하게는 원어민들로부터 수집된 딥러닝 학습자료인 텍스트들의 발화 패턴과 텍스트들의 의도 정보를 이용하여 딥러닝 트레이닝을 수행하고, 수행 결과인 의도별 딥러닝 모델 정보를 도출하고, 도출된 의도별 딥러닝 모델 정보에 특정 의도 정보를 적용하여 특정 의도를 갖는 다수의 텍스트 문장들을 자동으로 생성하여 출력하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 관한 것이다.The present invention relates to a deep learning-based automatic text sentence generation system for improving the infinity of the speech pattern, and more particularly, by using the speech pattern of the texts and the intention information of the texts, which are deep learning materials collected from native speakers. Performing deep learning training, deriving deep learning model information for each intention as a result, and generating and outputting a plurality of text sentences having a specific intention by applying specific intention information to the derived deep learning model information for each intention The present invention relates to a deep learning based text sentence generation system for improving the infinity of speech patterns.
음성인식 기술이 발전하면서 자연어 인식에 대한 수요도 높아지고 있다.With the development of speech recognition technology, the demand for natural language recognition is increasing.
종래 기술의 경우, 자연어 인식은 의도 파악과 대상의 추출을 위해 Rule, 통계 모델, 의도별 딥러닝 모델 정보 등 다양한 모델을 사용하여 자연어 인식이 수행되는데, 실제 이러한 모델이 구현된 뒤 이를 검증하기 위한 데이터 수집이 용이치 않은 실정이다.In the prior art, natural language recognition is performed using various models such as rules, statistical models, and deep learning model information for each intention to identify intentions and extract objects. Data collection is not easy.
즉, 다수의 발화 데이터가 수집되어야 이러한 모델을 만들 수 있는데, 수집된 데이터의 대부분은 이미 모델을 생성하는 데 사용되었기 때문에, 검증용으로 재사용하기에는 부적합하다. 이에 따라, 검증용 자연어 문장 데이터를 새로 수집해야 하는데, 이는 비용과 시간이 매우 많이 드는 작업이다.In other words, a large number of utterance data must be collected before this model can be created. Since most of the collected data has already been used to generate the model, it is not suitable for reuse for verification purposes. Accordingly, new natural sentence data for verification must be collected, which is a very expensive and time-consuming task.
따라서, 딥러닝 기술을 활용하여 기존에 수집된 데이터를 기반으로 새로운 테스트용 문장을 생성하는 기술과 이를 통해 모델 생성에 사용되지 않은 순수한 검증용 데이터를 확보할 수 있는 기술의 필요성이 대두되고 있다.Therefore, there is a need for a technology for generating a new test sentence based on data collected using deep learning technology and a technology for obtaining pure verification data not used for model generation.
또한, 종래 기술의 경우, Dictation 및 NLU 기술 적용에 따른 인식 결과 Format이 변경될 수 밖에 없었다. 따라서, 기존의 Grammar Matching 방식으로 자동 평가는 불가능하였으며, 기존 평가시스템에서 발생하는 오류의 자동 수정의 필요성이 대두되고 있다.In addition, in the prior art, the format of the recognition result was changed due to the application of the Dictation and NLU technologies. Therefore, automatic evaluation was impossible with the existing Grammar Matching method, and there is a need for automatic correction of errors occurring in the existing evaluation system.
또한, 종래 기술의 경우, 음성 인식 장비에 자연어 처리 기술이 적용되면서 음성 인식 명령어로써 모든 경우의 발화 패턴이 입력 가능하게 되었으나, 사용자의 잠재적 발화 패턴을 수동으로 작성하여 테스트하는 것은 물리적으로 많은 시간과 비용이 소모되고 생성할 수 있는 패턴에 한계가 있다.In addition, in the conventional technology, as the natural language processing technology is applied to the speech recognition equipment, speech patterns in all cases can be input as speech recognition commands, but manual creation and testing of the potential speech patterns of the user are physically time-consuming. There is a cost and a limit to the patterns that can be generated.
이에 따라, 발화 패턴의 무한성(infinity)을 개선한 사용자의 잠재적 발화 패턴을 자동으로 생성하는 자동화 시스템 개발이 필요해졌다.Accordingly, there is a need for the development of an automated system that automatically generates a user's potential speech pattern that improves the infinity of the speech pattern.
본 발명에서는 상기와 같은 종래 기술의 문제점을 개선하고자 원어민들로부터 수집된 딥러닝 학습자료인 텍스트들의 발화 패턴과 텍스트들의 공통 의도 정보를 이용하여 딥러닝 트레이닝을 수행하고, 수행 결과 의도별 딥러닝 모델 정보를 도출하고, 도출된 의도별 딥러닝 모델 정보에 특정 의도 정보를 적용하여 특정 의도를 갖는 다수의 텍스트 문장들을 자동으로 생성하여 출력하기 위한 딥러닝 기반의 자연어 발화 패턴 텍스트 문장 자동 생성시스템을 제안하게 되었다.In the present invention, in order to improve the problems of the prior art as described above, deep learning training is performed using the speech patterns of texts, which are the deep learning learning materials collected from native speakers, and common intention information of the texts, and the deep learning model for each intention as a result. We propose a deep learning-based natural language utterance pattern text sentence generation system for automatically generating and outputting a large number of text sentences with specific intent by deriving information and applying specific intent information to the derived deep learning model information. Was done.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제1 목적은 수집된 딥러닝 학습 자료인 원어민 텍스트들의 발화 패턴과 텍스트들의 의도 정보를 이용하여 딥러닝 트레이닝을 수행하여 의도별 딥러닝 모델 정보를 생성하는 것을 목적으로 한다.Accordingly, the present invention has been proposed in view of the above-described problems of the prior art, and a first object of the present invention is to perform deep learning training by using utterance patterns of native speakers' texts, which are collected deep learning materials, and intention information of the texts. The purpose is to generate deep learning model information for each intent.
본 발명의 제2 목적은 생성된 의도별 딥러닝 모델 정보에 특정 의도 정보를 반영시켜 특정 의도를 갖는 텍스트 문장을 자동으로 생성하는 것을 목적으로 한다.A second object of the present invention is to automatically generate text sentences having a specific intention by reflecting specific intention information in the generated deep learning model information for each intention.
본 발명의 제3 목적은 생성된 텍스트 문장을 음성인식 자동평가시스템의 NLU(Natural Language Understanding)의 평가용 텍스트(Text)로 활용하는 것을 목적으로 한다.A third object of the present invention is to utilize the generated text sentence as an evaluation text of Natural Language Understanding (NLU) of the automatic speech recognition system.
본 발명이 해결하고자 하는 과제를 달성하기 위하여, 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템은,In order to achieve the problem to be solved by the present invention, deep learning based text sentence automatic generation system for improving the infinity of the speech pattern,
발화 패턴 정보와 의도 정보를 갖는 딥러닝 학습자료인 다양한 텍스트들을 입력받아 딥러닝 트레이닝을 수행하여 복수의 딥러닝 모델을 포함하는 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 딥러닝모델링부(100)와,Deep learning training is performed by receiving various texts, which are deep learning learning materials having speech pattern information and intention information, to generate deep learning model information for each intention including a plurality of deep learning models, and to generate deep learning model information for each intent generated. And the deep
테스트문장자동생성부(200)의 텍스트 문장 생성시 필요한 의도유형정보를 테스트문장자동생성부(200)로 제공하기 위한 출력의도입력부(200)와,An output
상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여 의도유형정보에 해당하는 텍스트 문장을 생성하여 출력하고, 출력되는 텍스트 문장에 대한 신뢰값을 출력하기 위한 테스트문장자동생성부(300)를 포함하는 것을 특징으로 한다.By using the deep learning model information for each intent provided by the deep
이상의 구성 및 작용을 갖는 본 발명인 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템은 기존에 수집된 데이터(딥러닝 학습자료로 활용하기 위해 수집된 특정 의도를 갖는 다양한 발화패턴을 갖는 텍스트들)를 기반으로 수집된 데이터와는 다른 새로운 텍스트 문장(수집된 텍스트의 발화패턴과 동일한 의도를 갖되 다른 발화패턴을 갖는 텍스트 문장)을 자동으로 생성 출력함으로써, 사용자의 잠재적 발화 패턴 즉, 잠재적 발화 패턴의 무한성(infinity)을 개선할 수 있는 효과를 제공하게 된다.The deep learning based automatic text sentence generation system for improving the infinity of the utterance pattern according to the present invention having the above-described configuration and operation utilizes various utterance patterns having specific intentions collected in order to be used as the existing data (deep learning material). And automatically generate and output a new text sentence (text sentence having the same intention as the collected speech pattern of the collected text but having a different speech pattern) based on the collected data based on the collected text). It will provide the effect of improving the infinity of the potential speech pattern.
또한, 사용자를 대상으로 직접 평가용 코퍼스(말뭉치)를 수집하지 않아도 자동적으로 의도 유형별 텍스트 문장(모델 생성에 사용되지 않은 순수한 검증용 데이터)을 확보할 수 있게 되어, 이를 음성인식 자동평가시스템의 NLU(Natural Language Understanding)의 평가용 텍스트(Text)로 활용함으로써, 사용자의 잠재적 발화 패턴을 수동으로 작성하여 테스트함에 따른 장시간 소요와 막대한 비용 소모를 줄일 수 있는 효과를 제공하게 된다.In addition, it is possible to automatically obtain text sentences (pure verification data not used for model generation) by intention type without collecting corpus (corpus) directly for the user, which is the NLU of the automatic speech recognition system. By using it as an evaluation text of (Natural Language Understanding), it is possible to reduce a long time and a huge cost by manually creating and testing a user's potential speech pattern.
도 1은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템을 개략적으로 나타낸 전체 구성도.
도 2는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 딥러닝모델링부(100) 블록도.
도 3은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 RNN 기본 구조 예시도.
도 4는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 테스트문장자동생성부(300) 블록도.
도 5는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 테스트문장자동생성부(300)를 통해 생성되는 자동 텍스트 문장 생성 구조도.
도 6은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 RNN 알고리즘 구조 및 트레이닝 파라미터 예시도.
도 7은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 RNN 모델 트레이닝 예시도.
도 8은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 의해 생성된 자동 생성 결과 시험 예시도.
도 9는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 의해 생성된 의도 유형별 텍스트 문장 출력 예시도.1 is an overall configuration diagram schematically showing a deep learning based automatic text sentence generation system for improving the infinity of the speech pattern according to a first embodiment of the present invention.
2 is a block diagram of a deep
3 is a basic diagram illustrating a basic structure of an RNN of a deep learning based text sentence automatic generation system for improving infinity of a speech pattern according to a first embodiment of the present invention.
Figure 4 is a block diagram of the automatic test
5 is an automatic text sentence generation structure diagram generated by the test sentence
6 is an exemplary structure and training parameters of an RNN algorithm of an automatic text sentence generation system based on deep learning for improving infinity of a speech pattern according to a first embodiment of the present invention.
7 is an exemplary RNN model training diagram of a deep learning based automatic text sentence generation system for improving the infinity of the speech pattern according to the first embodiment of the present invention.
8 is an exemplary diagram illustrating an automatic generation result test generated by a deep learning based text sentence automatic generation system for improving the infinity of the utterance pattern according to the first embodiment of the present invention.
9 is an exemplary view of outputting a text sentence for each intent type generated by an automatic system for automatically generating text sentences based on deep learning to improve infinity of the speech pattern according to the first embodiment of the present invention.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. The following merely illustrates the principles of the invention. Therefore, those skilled in the art, although not explicitly described or illustrated herein, can embody the principles of the present invention and invent various devices that fall within the spirit and scope of the present invention.
또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.In addition, all conditional terms and embodiments listed herein are in principle clearly intended to be understood only for the purpose of understanding the concept of the invention and are not to be limited to the specifically listed embodiments and states. do.
본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다.In describing the present invention, terms such as first and second may be used to describe various components, but the components may not be limited by the terms.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.When a component is referred to as being connected or connected to another component, it may be understood that the component may be directly connected to or connected to the other component, but there may be other components in between. .
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention, and singular forms may include plural forms unless the context clearly indicates otherwise.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.In this specification, the terms including or including are intended to designate that there exists a feature, a number, a step, an operation, a component, a part, or a combination thereof described in the specification, and one or more other features or numbers, It can be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.
본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템은,In the deep learning based automatic text sentence generation system for improving the infinity of the speech pattern according to the first embodiment of the present invention,
발화 패턴 정보와 의도 정보를 갖는 딥러닝 학습자료인 다양한 텍스트들을 입력받아 딥러닝 트레이닝을 수행하여 복수의 딥러닝 모델을 포함하는 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 딥러닝모델링부(100)와,Deep learning training is performed by receiving various texts, which are deep learning learning materials having speech pattern information and intention information, to generate deep learning model information for each intention including a plurality of deep learning models, and to generate deep learning model information for each intent generated. And the deep
테스트문장자동생성부(200)의 텍스트 문장 생성시 필요한 의도유형정보를 테스트문장자동생성부(200)로 제공하기 위한 출력의도입력부(200)와,An output
상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여 의도유형정보에 해당하는 텍스트 문장을 생성하여 출력하고, 출력되는 텍스트 문장에 대한 신뢰값을 출력하기 위한 테스트문장자동생성부(300)를 포함하여 구성되는 것을 특징으로 한다.By using the deep learning model information for each intent provided by the deep
또한, 상기 딥러닝모델링부(100)는,In addition, the deep
딥러닝 학습자료인 특정 발화패턴을 갖는 복수의 텍스트들을 입력받고, 입력된 텍스트들을 트레이닝모델링부(130)로 제공하기 위한 모델텍스트코퍼스부(110);A model
모델텍스트코퍼스부(110)에 입력되는 텍스트들의 의도를 입력받고, 입력된 해당 의도를 해당 텍스트에 태깅하고, 텍스트마다 의도가 태깅된 택스트별 의도 태깅정보를 트레이닝모델링부(130)로 제공하기 위한 모델의도입력부(120);To receive the intents of the texts input to the model
상기 모델텍스트코퍼스부(110)가 제공한 특정 발화패턴을 갖는 복수의 텍스트들과 모델의도입력부(120)가 제공한 텍스트별 의도 태깅정보를 이용하여 딥러닝 트레이닝을 수행하여 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 트레이닝모델링부(130);를 포함하여 구성되는 것을 특징으로 한다.Deep learning model for each intention by performing deep learning training using a plurality of texts having a specific speech pattern provided by the
이때, 상기 트레이닝모델링부(130)는,At this time, the
딥러닝 모델링시 모델링에 관한 파라미터를 조정하는 모델링파라미터제공모듈(131)을 포함하여 구성되는 것을 특징으로 한다.In the deep learning modeling is characterized in that it comprises a modeling
또한, 상기 테스트문장자동생성부(300)는,In addition, the test sentence
상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여, 상기 의도유형정보에 해당하는 의도를 갖는 다양한 발화패턴의 텍스트 문장들을 자동으로 생성하기 위한 연산모델부(310);By using the deep learning model information for each intent provided by the deep
상기 연산모델부(310)가 생성한 텍스트 문장들을 출력하기 위한 코퍼스출력부(320);A
상기 코퍼스출력부(320)를 통해 출력되는 텍스트 문장이 출력의도입력부(200)를 통해 입력된 의도유형정보의 의도에 얼마나 유사한지를 나타내는 신뢰값을 출력하기 위한 신뢰값출력부(330);를 포함하여 구성되는 것을 특징으로 한다.A confidence
이때, 상기 연산모델부(310)는,At this time, the
생성된 텍스트 문장 출력시 출력 옵션에 관한 파라미터를 조정하기 위한 출력파라미터제공모듈(311);을 더 포함하여 구성되는 것을 특징으로 한다.And an output
또한, 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은,In addition, the text sentence generated and output by the test sentence
딥러닝 학습자료로 사용되기 위해 입력된 텍스트들과는 동일한 의도 유형을 갖되 다른 발화 패턴을 갖는 텍스트 문장인 것을 특징으로을 특징으로 한다.Characterized in that it is a text sentence having the same intention type but different speech patterns than the input text to be used as a deep learning learning material.
또한, 상기 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은,Further, the text sentence generated and output by the test sentence
음성인식 자동평가시스템의 NLU(Natural Language Understanding)의 평가용 텍스트로 활용되는 것을 특징으로 한다.Characterized in that it is used as the text for evaluation of the Natural Language Understanding (NLU) of the speech recognition automatic evaluation system.
이하에서는, 본 발명에 의한 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, a deep learning based text sentence automatic generation system for improving the infinity of the speech pattern according to the present invention will be described in detail.
도 1은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템을 개략적으로 나타낸 전체 구성도이다.1 is an overall configuration diagram schematically showing a deep learning based automatic text sentence generation system for improving the infinity of the utterance pattern according to the first embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명인 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템(1000)은 딥러닝모델링부(100), 출력의도입력부(200), 테스트문장자동생성부(300)를 포함하여 구성되게 된다.As shown in FIG. 1, the deep learning-based text sentence automatic generation system 1000 for improving the infinity of the utterance pattern of the present invention includes a deep
상기 딥러닝모델링부(100)는 발화 패턴 정보와 의도 정보를 갖는 딥러닝 학습자료인 다양한 텍스트들을 입력받아 딥러닝 트레이닝을 수행하여 복수의 딥러닝 모델을 포함하는 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 수단이다.The deep
예를 들어, 딥러닝모델링부(100)로 입력되는 딥러닝 학습자료가 '1.판다 레스토랑 찾기', '2.나는 셜록홈즈가 누구인지 알고 싶다' 등일 때, 입력되는 각각의 텍스트들의 발화 패턴 정보는 "판다_레스토랑_찾기", "나_셜록홈즈_누구인지_알고싶다" 이고, 입력되는 각각의 텍스트들의 의도 정보는 '레스토랑 검색','인물검색' 이되는 것이다.For example, when the deep learning material input to the deep
이와 같이 딥러닝모델링부(100)는 발화 패턴과 의도 정보를 갖는 다수의 딥러닝 학습자료인 텍스트들을 입력받아 딥러닝 트레이닝을 수행하고, 수행 결과인 의도별 딥러닝 모델 정보(복수의 딥러닝 모델 포함)를 테스트문장자동생성부(300)로 제공하게 된다.As such, the deep
상기 출력의도입력부(200)는 테스트문장자동생성부(300)의 텍스트 문장 생성시 필요한 의도유형정보를 테스트문장자동생성부(300)로 제공하기 위한 수단이다.The output
예를 들어, '레스토랑 찾기'라는 의도 유형을 테스트문장자동생성부(300)로 제공하여, 테스트문장자동생성부(300)가 '레스토랑 찾기'라는 의도를 갖는 다양한 발화 패턴의 텍스트 문장을 생성 출력하도록 하는 것이다.For example, by providing a test sentence
상기 테스트문장자동생성부(300)는 상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여 의도유형정보에 해당하는 텍스트 문장을 생성하여 출력하고, 출력되는 텍스트 문장에 대한 신뢰값을 출력하는 구성이다.The test sentence
예를 들어, 출력의도입력부(200)가 제공한 의도유형정보가 '레스토랑 찾기' 라면, 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보 중, '레스토랑 찾기'란 의도의 딥러닝 모델 정보를 이용하여 다양한 발화 패턴을 갖는 '레스토랑 찾기'란 의도의 텍스트 문장들을 생성하여 출력하는 것이다.For example, if the intention type information provided by the output
도 2는 본 발명의 제1 실시예에 따른 딥러닝 기반의 발화 패턴 무한성이 개선된 텍스트 문장 자동 생성시스템의 딥러닝모델링부(100) 블록도이다.2 is a block diagram of a deep
도 2에 도시한 바와 같이, 상기 딥러닝모델링부(100)는 모델텍스트코퍼스부(110), 모델의도입력부(120), 트레이닝모델링부(130)를 포함하여 구성된다.As shown in FIG. 2, the deep
구체적으로 설명하면, 상기 모델텍스트코퍼스부(110)는 딥러닝 학습자료인 특정 발화패턴을 갖는 복수의 텍스트들을 입력받고, 입력된 텍스트들을 트레이닝모델링부(130)로 제공하는 것을 특징으로 한다.In detail, the model
특히 상기 입력되는 특정 발화패턴을 갖는 복수의 텍스트들은 각각의 의도를 갖고 있게 된다.In particular, the plurality of texts having the specific speech pattern inputted have their respective intentions.
예를 들어, 입력되는 특정 발화패턴을 갖는 복수의 텍스트들이 1.Where is the <Panda Restaurant>?, 2.I want to look for <Panda Restaurant>, 3.Could you please find <Panda Restaurant>? 라면, 상기 텍스트들은 'Panda' 란 식당을 찾으라는 의도를 갖는 텍스트들인 것이다. 즉, 상기 텍스트들은 'Find Restaurant(식당 찾기)'라는 의도의 텍스트들인 것이다.For example, a plurality of texts having a specific speech pattern inputted are 1.Where is the <Panda Restaurant> ?, 2.I want to look for <Panda Restaurant>, 3.Could you please find <Panda Restaurant>? Ramen, the texts are texts intended to find a restaurant called 'Panda'. That is, the texts are texts intended to be 'Find Restaurant'.
마찬가지로, 다른 예로서, 음악 검색, 주소 검색, 날씨 검색, 주식 검색 등의 다양한 의도에 해당하는 다양한 발화 패턴을 갖는 텍스트들이 모델텍스트코퍼스부(110)를 통해 입력되는 것이다.Similarly, as another example, texts having various speech patterns corresponding to various intentions such as music search, address search, weather search, stock search, etc. may be input through the model
특히, 딥러닝 학습자료인 특정 발화패턴을 갖는 복수의 텍스트들의 모델텍스트코퍼스부(110)로의 입력은 수집된 텍스트들의 사람에 의한 수동 입력과 텍스트 수집 로봇에 의해 수집된 텍스트들의 로봇에 의한 자동 입력을 포함하는 것을 특징으로 한다.In particular, the input of the plurality of texts having a specific speech pattern, which is a deep learning material, into the model
그리고, 모델의도입력부(120)는 모델텍스트코퍼스부(110)에 입력되는 텍스트들의 의도를 입력받고, 입력된 해당 의도를 해당 텍스트에 태깅하고, 텍스트마다 의도가 태깅된 택스트별 의도 태깅정보를 트레이닝모델링부(130)로 제공하는 것을 특징으로 한다.In addition, the model
예를 들어, 모델텍스트코퍼스부(110)에 입력되는 1번 텍스트가 "Where is the <Panda Restaurant>?"이고 1번 텍스트의 의도가 식당 찾기라는 정보가 모델의도입력부(120)에 입력되면, 모델의도입력부(120)는 입력된 1번 텍스트인 "Where is the <Panda Restaurant>?"에 "식당 찾기"란 의도를 태깅하고, "식당 찾기"란 의도정보가 태깅된 텍스트별 의도태킹정보(예:"Where is the <Panda Restaurant>? _식당 찾기")를 트레이닝모델링부(300)로 제공하게 된다.For example, when the
이후, 상기 트레이닝모델링부(130)는 상기 모델텍스트코퍼스부(110)가 제공한 특정 발화패턴을 갖는 복수의 텍스트들과 모델의도입력부(120)가 제공한 텍스트별 의도태깅정보를 이용하여 딥러닝 트레이닝을 수행하여 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하는 기능을 수행하게 된다.Thereafter, the
상기 트레이닝모델링부(130)는 의도별 딥러닝 모델 정보 생성을 위해 도 3에 도시된 종래의 RNN(Recurrent Neural Network) 알고리즘을 활용할 수 있다.The
상기 RNN(Recurrent Neural Network) 알고리즘은 입력된 텍스트들의 문장은 시간의 순서에 따라 그 연쇄가 달라질 수 있는 특성을 지니고 있으므로 하나의 단어만을 이해하는 것이 아니라, 이전 단어와 현재 단어의 관계를 학습한 후, 이후 단어를 예측하는 알고리즘인 것으로 종래의 기술인바 구체적인 설명은 생략한다.The Recurrent Neural Network (RNN) algorithm has a characteristic that the chain of the input texts can vary in sequence according to the time, so that not only one word is understood, but the relationship between the previous word and the current word is studied. Since it is an algorithm for predicting a word afterwards, a conventional description thereof will be omitted.
한편, 부가적인 양태에 따라, 상기 트레이닝모델링부(130)는 딥러닝 모델링시 모델링에 관한 파라미터를 조절하는 모델링파라미터제공모듈(131)를 더 포함하여 구성되는 것을 특징으로 한다.On the other hand, according to an additional aspect, the
예를 들어, 딥러닝 모델링시 모델링의 차수, 모델링의 깊이, 모델링 네트워크 유형 등과 같은 모델링시 필요한 모델링 옵션을 조절하여 모델링의 차수, 깊이, 네트워크 유형등을 조절할 필요가 있는데, 상기 모델링파라미터제공모듈(131)은 이러한 모델링 옵션에 관한 모델링 파라미터를 트레이닝모델링부(130)에 제공하여 제공된 파라미터로 모델링이 이루어질 수 있도록 하는 것이다.For example, during deep learning modeling, it is necessary to adjust the modeling order, depth, network type, and the like by adjusting modeling options required for modeling, such as modeling depth, modeling depth, modeling network type, and the like. 131 provides modeling parameters related to these modeling options to the
도 4는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 테스트문장자동생성부(300) 블록도이다.FIG. 4 is a block diagram of an automatic test
도 5는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 테스트문장자동생성부(300)를 통해 생성되는 자동 텍스트 문장 생성 구조도이다.5 is an automatic text sentence generation structure diagram generated by the test sentence
도 4 내지 도 5에 도시한 바와 같이, 상기 테스트문장자동생성부(300)는 연산모델부(310), 코퍼스출력부(320), 신뢰값출력부(330)을 포함하여 구성되게 된다.As shown in FIGS. 4 to 5, the test sentence
상기 연산모델부(310)는 딥러닝모델링부(100)로부터 제공된 의도별 딥러닝 모델 정보(50)와 출력의도입력부(200)를 통해 제공된 의도유형정보를 이용하여 상기 의도유형정보에 해당하는 의도를 갖는 다양한 발화패턴의 텍스트 문장들을 자동 생성하게 된다.The
예를 들어, 딥러닝모델링부(100)에 5만개의 원어민 텍스트가 입력되고 입력된 텍스트들은 150개의 의도 유형으로 구분되고, 5만개의 원어민 텍스트는 150개의 의도 유형별로 특정한 발화패턴을 갖고 있으며, 딥러닝모델링부(100)의 트레이닝모델링부(130)는 상술한 바와 같이 RNN(Recurrent Neural Network) 알고리즘을 활용하여 의도별 딥러닝 모델 정보(50)을 생성하여 연산모델부(310)로 제공하는 것이다.For example, 50,000 native speakers are input to the deep
딥러닝모델링부(100)로부터 의도별 딥러닝 모델 정보(50)와 출력의도입력부(200)로부터 의도유형정보를 제공받은 상기 연산모델부(310)는 상기 의도유형정보에 해당하는 의도를 갖는 다양한 발화패턴의 텍스트 문장들을 자동 생성하게 되는 것이다The
도 6을 참조하여 구체적으로 설명하면, 딥러닝모델링부(100)로부터 의도별 딥러닝 모델 정보(50)와 출력의도입력부(200)로부터 의도유형정보를 제공받은 연산모델부(310)는 예를 들어, GRU Cell(Gated Recurrent Unit)이라는 대표적인 RNN 알고리즘을 이용하여 출력값인 다양한 발화패턴의 텍스트 문장들을 자동 생성하는 것이다.Referring to FIG. 6, the
도 7을 참조하여 GRU Cell(Gated Recurrent Unit)이라는 RNN 알고리즘을 이용한 다양한 발화패턴의 텍스트 문장 자동 생성에 대해 설명한다.The automatic generation of text sentences of various speech patterns using an RNN algorithm called a GRU Cell (Gated Recurrent Unit) will be described with reference to FIG. 7.
예를 들어, 입력 데이터 <STR>는 출력의도입력부(200)로부터 제공된 의도유형정보에 해당하는 것으로 예를 들어, 의도유형정보가 "식당 찾기"란 의도인 경우, 입력 데이터 <STR>가 S1을 통과하면 Find 라는 출력값이 나오고, 입력 데이터인 Find를 S2에 통과시키면 me 라는 출력값이 나오고, me를 S3에 통과시키면 POI(찾는 목적지 의미함)라는 출력값이 나오고 POI(찾는 목적지 의미함)를 S4에 통과시키면 문장이 종료되는 마침표가 출력됨으로 "Find me POI."란 식당 찾기란 의도를 갖는 특정 발화패턴의 텍스트 문장이 생성 되는것이다. For example, the input data <STR> corresponds to the intention type information provided from the output
상기 코퍼스출력부(320)는 상기 연산모델부(310)가 자동 생성한 텍스트 문장을 출력하게 되는 것이다. 이때 연산모델부(310)가 자동 생성한 텍스트 문장들은 딥러닝 학습자료로 딥러닝모델링부(100)에 입력된 텍스트와 의도는 동일하되 다른 발화 패턴을 갖는 텍스트 문장들인 것을 특징으로 한다.The
예를 들어, 딥러닝 학습자료로 딥러닝모델링부(100)에 입력된 텍스트가 1. Where is the <Restaurant>?, 2. I want to look for <Restaurant>., 3. Could you please find <Restaurant>? 라면, 상기 연산모델부(310)가 자동 생성한 텍스트 문장은 4. Find <Restaurant>., 5. I want to find <Restaurant>., 6. Could you please looking for <Restaurant>., 7. Where is the <Restaurant>. 등과 같이 의도는 "식당 찾기"로 동일하지만 발화패턴이 상이한 텍스트 문장이 생성되고, 생성된 텍스트 문장들이 코퍼스출력부(320)를 통해 출력되는 것이다.For example, the text entered into the deep
따라서, '식당 찾기'라는 의도유형정보를 출력의도입력부(200)를 통해 입력하게 되면 '식당 찾기'란 동일 의도를 갖되 상기한 4번 내지 7번 등과 같이 발화 패턴이 서로 상이한 텍스트 문장이 연산모델부(310)에 의해 생성되고, 생성된 텍스트 문장들은 코퍼스출력부(320)를 통해 출력되는 것이다.Therefore, when the intention type information of 'finding a restaurant' is input through the output
즉, 상기 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은 딥러닝 학습자료로 사용되기 위해 딥러닝모델링부(100)에 입력된 텍스트들과는 동일한 의도 유형을 갖되 다른 발화 패턴을 갖는 텍스트 문장인 것을 특징으로 한다.That is, the text sentence generated and output by the test sentence
그리고, 상기 신뢰값출력부(330)는 코퍼스출력부(320)를 통해 출력되는 텍스트 문장이 출력의도입력부(200)를 통해 입력된 의도유형정보의 의도에 얼마나 유사한지를 나타내는 신뢰값을 출력하게 된다.The confidence
즉, 생성 출력되는 텍스트 문장이 출력의도입력부(200)를 통해 입력된 의도유형정보의 의도에 얼마나 유사한지를 확인할 수 있는 신뢰값 즉, 확률값을 출력하는 기능을 수행하게 된다.That is, a function of outputting a confidence value, that is, a probability value, which can confirm how similar the generated text sentence is to the intention of the intention type information input through the output
출력되는 텍스트 문장과 의도 유형간의 신뢰값(확률값) 계산은 일반적으로 확률적 거리값을 이용할 수 있는데, 이에 대한 구체적인 설명은 본 출원인이 출원하여 등록된 대한민국등록특허번호 제10-1890704호인 '음성 인식과 언어 모델링을 이용한 간편 메시지 출력장치 및 출력방법'과 대한민국등록특허번호 제10-1913191호인 '도메인 추출기반의 언어 이해 성능 향상장치및 성능 향상방법'에 구체적으로 설명되어 있다.The calculation of the confidence value (probability value) between the output text sentence and the intent type can generally use a probabilistic distance value, and the detailed description thereof includes 'voice recognition', which is registered and filed by the applicant of the Republic of Korea Patent No. 10-1890704. Simple message output device and method using language modeling and 'Korean language registration No. 10-1913191', 'Language extraction based language understanding performance improving device and performance improvement method' are described in detail.
신뢰값을 계산하는 기술은 통계학 혹은 음성 인식 기술에서 주로 사용하는 기술로서, 토픽모델, 오피니언 마이닝, 텍스트 요약, 데이터 분석, 여론 조사 등에서 일반적으로 적용되는 기술이므로 신뢰값을 계산하는 원리를 구체적으로 설명하지 않아도 당업자들은 상기한 의미를 충분히 이해할 수 있다는 것은 자명한 사실이다.The technique of calculating the confidence value is a technique commonly used in statistics or speech recognition technology, and it is a general technique used in topic model, opinion mining, text summarization, data analysis, and public opinion survey. It is obvious that those skilled in the art can fully understand the above meanings.
한편, 부가적인 양태에 따라 상기 연산모델부(310)는 생성된 텍스트 문장 출력시 출력 옵션에 관한 파라미터를 조정하기 위한 출력파라미터제공모듈(311);을 더 포함하여 구성되는 것을 특징으로 한다.Meanwhile, according to an additional aspect, the
예를 들어, 출력파라미터제공모듈(311)이 조정할 수 있는 출력 옵션에 관한 파라미터는 의도 유형과 의도유형별 출력 텍스트 문장 수량일 수 있다.For example, the parameter related to the output option that the output
예를 들어, 출력파라미터제공모듈(311)를 통해 의도유형을 지정(예: 길찾기, 라디오 검색, 주소 검색 등)하고, 지정된 의도 유형별 출력 텍스트 문장의 수량을 5개로 조정하면, 도 9와 같이, 의도 유형별로 5개씩 자동 생성된 텍스트 문장을 출력하게 되는 것이다.For example, if the intention type is specified through the output parameter providing module 311 (eg, directions, radio search, address search, etc.), and the quantity of output text sentences for each designated intention type is adjusted to five, as shown in FIG. 9. In this case, five text sentences are automatically generated for each intent type.
결론적으로, 상기 테스트문장자동생성부(300)의 연산모델부(310), 코퍼스출력부(320), 신뢰값출력부(330)에 의해, 딥러닝 모델 생성에 사용되지 않은 순수한 검증용 자연어 발화 패턴 텍스트 문장을 생성할 수 있고, 이를 음성인식장치의 테스트용 텍스트 문장으로 활용할 수 있는 효과를 발휘하게 되는 것이다. 특히, 상기 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은 음성인식 자동평가시스템의 NLU(Natural Language Understanding)의 평가용 텍스트로 활용될 수 있다.In conclusion, by using the
다음은 실제 본 발명인 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 의해 의도별로 출력되는 텍스트 문장의 적정성 즉, 신뢰성 및 입력 문장의 중복성을 시험한 예시를 도 8을 통해 설명하도록 한다.Next, an example of testing the adequacy of the text sentences output by intention, that is, reliability and redundancy of input sentences, by the deep learning-based automatic text sentence generation system for improving the infiniteness of the speech pattern according to the present invention will be described with reference to FIG. 8. Do it.
도 8과 같이, 10개 의도 유형별 의도 내용으로 Navigate, Search, FM, Search Nearest, Create Calendar, Find Address, Search Menu, DisableGPS, StockMarketTrend, Search Weather 를 입력할 경우에 적정성 즉, 신뢰성은 각각, 100%, 100%, 100%, 100%, 100%, 80%, 100%, 100%, 60%, 100% 으로서, 평균 신뢰값이 94%에 달하여 상당한 신뢰도가 있음을 확인할 수 있었다.As shown in FIG. 8, when Navigate, Search, FM, Search Nearest, Create Calendar, Find Address, Search Menu, DisableGPS, StockMarketTrend, and Search Weather are input as the intent content of each intent type, the reliability, that is, reliability is 100%, respectively. , 100%, 100%, 100%, 100%, 80%, 100%, 100%, 60%, 100%, the average confidence value of 94% was confirmed that there is considerable reliability.
또한, 입력 문장의 중복성은 각각 40%, 40%, 80%, 40%, 0%, 60%, 20%, 40%, 20%, 20% 으로서, 평균 입력문장의 중복성이 36%에 달하여 모델 생성에 사용하지 않은 순수한 검증용 데이터의 신규 확보가 가능한 장점을 가지게 됨을 확인할 수 있었다.Also, the redundancy of input sentences is 40%, 40%, 80%, 40%, 0%, 60%, 20%, 40%, 20%, 20%, respectively, and the average input sentence redundancy reaches 36%. It can be seen that it has the advantage that new acquisition of pure verification data that is not used for generation is possible.
또한, 도 9에 도시한 바와 같이, 1번 의도 유형인 Navigate에 대하여 하기와 같이, 새롭게 자동 생성된 자연어 발화 패턴의 텍스트 문장을 생성 출력할 수 있고, 이를 NLU 평가 Text로 활용할 수 있게 되는 것이다.In addition, as shown in FIG. 9, a text sentence of a natural language utterance pattern newly automatically generated may be generated and output as described below with respect to Navigate, which is the
즉, Generated Pattern 1: navigate to a <POI> on <STREET> and <STREET> ,In other words, Generated Pattern 1: navigate to a <POI> on <STREET> and <STREET>,
Generated Pattern 2: navigate me over to a <POI> on <STREET> and <STREET>,Generated Pattern 2: navigate me over to a <POI> on <STREET> and <STREET>,
Generated Pattern 3: navigate me over to <POI>,Generated Pattern 3: navigate me over to <POI>,
Generated Pattern 4: navigate to the <STREET> and <STREET> intersection,Generated Pattern 4: navigate to the <STREET> and <STREET> intersection,
Generated Pattern 5: navigate to <POI> on the corner of <STREET> and <STREET>.Generated Pattern 5: navigate to <POI> on the corner of <STREET> and <STREET>.
결국, 의도 유형별로 비문법적인 문장이 생성될 확률이 각각 다르게 나타나지만 충분히 활용할 정도 수준의 매칭성을 보여주고 있음을 알 수 있으며, 이렇게 출력된 새로운 문장들을 정제(원본 중복 문장 제거, 비문법적 문장 제거, 도메인 정보 부족 제거 등)를 거치고 나면 NLU 평가 Text로 활용할 수 있게 되는 것이다.As a result, the probability of generating a non-legal sentence for each type of intention is different, but it shows that it shows a level of matching that can be fully utilized, and thus the newly printed sentences are refined (removing original duplicate sentences, removing non-legal sentences, After removing domain information shortage, etc., it can be used as NLU evaluation text.
결국, 본 발명에 의하면, 딥러닝모델링부(100)를 통해 발화 패턴과 의도 정보를 갖는 원어민 텍스트들을 입력받아 딥러닝 트레이닝을 수행하고, 수행 결과인 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하면, 테스트문장자동생성부(300)는 제공된 의도별 딥러닝 모델 정보와 출력의도입력부(200)를 통해 제공된 의도 유형을 이용하여 의도 유형에 해당하는 각기 다른 발화 패턴을 갖는 텍스트 문장을 생성하고 출력함으로써, 사용자의 잠재적 발화 패턴의 무한성(infinity)을 개선할 수 있게 된다.As a result, according to the present invention, the deep
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the above-described specific embodiment, the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.
100 : 딥러닝모델링부
200 : 출력의도입력부
300 : 테스트문장자동생성부100: deep learning modeling unit
200: output intention input unit
300: test sentence automatic generation unit
Claims (7)
발화 패턴 정보와 의도 정보를 갖는 딥러닝 학습자료인 다양한 텍스트들을 입력받아 딥러닝 트레이닝을 수행하여 복수의 딥러닝 모델을 포함하는 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 딥러닝모델링부(100)와,
테스트문장자동생성부(300)의 텍스트 문장 생성시 필요한 의도유형정보를 테스트문장자동생성부(300)로 제공하기 위한 출력의도입력부(200)와,
상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여 의도유형정보에 해당하는 텍스트 문장을 생성하여 출력하고, 출력되는 텍스트 문장에 대한 신뢰값을 출력하기 위한 테스트문장자동생성부(300)를 포함하며,
상기 딥러닝모델링부(100)는,
딥러닝 학습자료인 특정 발화패턴을 갖는 복수의 텍스트들을 입력받고, 입력된 텍스트들을 트레이닝모델링부(130)로 제공하기 위한 모델텍스트코퍼스부(110);
모델텍스트코퍼스부(110)에 입력되는 텍스트들의 의도를 입력받고, 입력된 해당 의도를 해당 텍스트에 태깅하고, 텍스트마다 의도가 태깅된 택스트별 의도 태깅정보를 트레이닝모델링부(130)로 제공하기 위한 모델의도입력부(120);
상기 모델텍스트코퍼스부(110)가 제공한 특정 발화패턴을 갖는 복수의 텍스트들과 모델의도입력부(120)가 제공한 텍스트별 의도 태깅정보를 이용하여 딥러닝 트레이닝을 수행하여 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 트레이닝모델링부(130);를 포함하고,
상기 트레이닝모델링부(130)는,
딥러닝 모델링시 모델링에 관한 파라미터를 조정하는 모델링파라미터제공모듈(131)를 더 포함하여 구성되며, 상기 모델링에 관한 파라미터는 모델링의 차수, 모델링의 깊이, 모델링 네트워크 유형을 포함하는 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.
In the deep learning based automatic text sentence generation system for improving the infinity of the speech pattern,
Deep learning training is performed by receiving various texts, which are deep learning learning materials having speech pattern information and intention information, to generate deep learning model information for each intention including a plurality of deep learning models, and to generate deep learning model information for each intent generated. And the deep learning modeling unit 100 to provide a test sentence automatic generation unit 300,
An output intention input unit 200 for providing the test sentence automatic generation unit 300 with the intent type information necessary for generating the text sentence of the test sentence automatic generation unit 300;
By using the deep learning model information for each intent provided by the deep learning modeling unit 100 and the intention type information provided by the output intention input unit 200, a text sentence corresponding to the intention type information is generated and output. It includes a test sentence automatic generation unit 300 for outputting a confidence value for the text sentence to be,
The deep learning modeling unit 100,
A model text corpus unit 110 for receiving a plurality of texts having a specific speech pattern as a deep learning material and providing the input texts to the training modeling unit 130;
To receive the intents of the texts input to the model text corpus unit 110, tag the corresponding intentions to the corresponding texts, and provide the training modeling unit 130 with intent tagging information for each text tagged with the intents for each text. Model intention input unit 120;
Deep learning model for each intention by performing deep learning training using a plurality of texts having a specific speech pattern provided by the model text corpus 110 and intention tagging information for each text provided by the model intention input unit 120 And a training modeling unit 130 for generating the information and providing the generated deep learning model information for each test to the test sentence automatic generation unit 300.
The training modeling unit 130,
The deep learning modeling is configured to further include a modeling parameter providing module for adjusting the parameters related to the modeling, wherein the parameters relating to the modeling is characterized in that the degree of modeling, modeling depth, modeling network type Deep learning based text sentence generation system to improve the infiniteness of patterns.
상기 테스트문장자동생성부(300)는,
상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여, 상기 의도유형정보에 해당하는 의도를 갖는 다양한 발화패턴의 텍스트 문장들을 자동으로 생성하기 위한 연산모델부(310);
상기 연산모델부(310)가 생성한 텍스트 문장들을 출력하기 위한 코퍼스출력부(320);
상기 코퍼스출력부(320)를 통해 출력되는 텍스트 문장이 출력의도입력부(200)를 통해 입력된 의도유형정보의 의도에 얼마나 유사한지를 나타내는 신뢰값을 출력하기 위한 신뢰값출력부(330);를 포함하여 구성되는 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.
The method of claim 1,
The test sentence automatic generation unit 300,
By using the deep learning model information for each intent provided by the deep learning modeling unit 100 and the intention type information provided by the output intention input unit 200, various speech patterns having intentions corresponding to the intention type information are included. A calculation model unit 310 for automatically generating text sentences;
A corpus output unit 320 for outputting text sentences generated by the calculation model unit 310;
A confidence value output unit 330 for outputting a confidence value indicating how similar the text sentence output through the corpus output unit 320 to the intention of the intention type information input through the output intention input unit 200; Deep learning based automatic text sentence generation system for improving the infinity of the speech pattern, characterized in that comprises.
상기 연산모델부(310)는,
생성된 텍스트 문장 출력시 출력 옵션에 관한 파라미터를 조정하기 위한 출력파라미터제공모듈(311);을 더 포함하여 구성되며,
상기 출력 옵션에 관한 파라미터는 의도 유형과 의도유형별 출력 텍스트 문장 수량을 포함하는 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.
The method of claim 4, wherein
The calculation model unit 310,
It is configured to further include; output parameter providing module (311) for adjusting the parameters related to the output option when outputting the generated text sentence,
And a parameter related to the output option includes an intention type and an output text sentence quantity for each intention type.
상기 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은,
딥러닝 학습자료로 사용되기 위해 입력된 텍스트들과는 동일한 의도 유형을 갖되 다른 발화 패턴을 갖는 텍스트 문장인 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.
The method of claim 1,
The text sentence generated and output by the test sentence automatic generation unit 300,
Deep learning-based text sentence automatic generation system for improving the infinity of the utterance pattern, characterized in that the text sentence having the same intention type and different utterance pattern than the input text to be used as deep learning learning materials.
상기 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은,
음성인식 자동평가시스템의 NLU(Natural Language Understanding)의 평가용 텍스트로 활용되는 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.
The method of claim 1,
The text sentence generated and output by the test sentence automatic generation unit 300,
Deep learning based text sentence generation system for improving the infiniteness of speech patterns, characterized in that it is used as the text for evaluation of NLU (Natural Language Understanding) of the speech recognition automatic evaluation system.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190043515A KR102017229B1 (en) | 2019-04-15 | 2019-04-15 | A text sentence automatic generating system based deep learning for improving infinity of speech pattern |
PCT/KR2019/006337 WO2020213785A1 (en) | 2019-04-15 | 2019-05-27 | System for automatically generating text-based sentences on basis of deep learning to achieve improvement related to infinity of utterance patterns |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190043515A KR102017229B1 (en) | 2019-04-15 | 2019-04-15 | A text sentence automatic generating system based deep learning for improving infinity of speech pattern |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102017229B1 true KR102017229B1 (en) | 2019-09-02 |
Family
ID=67951389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190043515A KR102017229B1 (en) | 2019-04-15 | 2019-04-15 | A text sentence automatic generating system based deep learning for improving infinity of speech pattern |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102017229B1 (en) |
WO (1) | WO2020213785A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102173382B1 (en) | 2020-02-25 | 2020-11-03 | 휴멜로 주식회사 | Apparatus for generating text and method thereof |
CN113240088A (en) * | 2021-05-17 | 2021-08-10 | 上海中通吉网络技术有限公司 | Training method of text intention recognition model |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113179352B (en) * | 2021-05-25 | 2023-04-07 | 北京捷通华声科技股份有限公司 | Call quality determination method, call quality determination device, and computer-readable storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100733469B1 (en) | 2004-01-08 | 2007-06-29 | 정보통신연구진흥원 | Pronunciation Test System and Method of Foreign Language |
JP2010224194A (en) * | 2009-03-23 | 2010-10-07 | Sony Corp | Speech recognition device and speech recognition method, language model generating device and language model generating method, and computer program |
KR20170078788A (en) * | 2015-07-02 | 2017-07-07 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | On-board voice command identification method and apparatus, and storage medium |
KR20180124716A (en) * | 2017-05-11 | 2018-11-21 | 경희대학교 산학협력단 | Method for intent-context fusioning in healthcare systems for effective dialogue management |
KR20190019294A (en) * | 2017-08-17 | 2019-02-27 | 주식회사 엘지유플러스 | Apparatus and method for Natural Language Processing Engine Performance Auto Evaluation System for use in Artificial Intelligence Device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102502220B1 (en) * | 2016-12-20 | 2023-02-22 | 삼성전자주식회사 | Electronic apparatus, method for determining user utterance intention of thereof, and non-transitory computer readable recording medium |
-
2019
- 2019-04-15 KR KR1020190043515A patent/KR102017229B1/en active IP Right Grant
- 2019-05-27 WO PCT/KR2019/006337 patent/WO2020213785A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100733469B1 (en) | 2004-01-08 | 2007-06-29 | 정보통신연구진흥원 | Pronunciation Test System and Method of Foreign Language |
JP2010224194A (en) * | 2009-03-23 | 2010-10-07 | Sony Corp | Speech recognition device and speech recognition method, language model generating device and language model generating method, and computer program |
KR20170078788A (en) * | 2015-07-02 | 2017-07-07 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | On-board voice command identification method and apparatus, and storage medium |
KR20180124716A (en) * | 2017-05-11 | 2018-11-21 | 경희대학교 산학협력단 | Method for intent-context fusioning in healthcare systems for effective dialogue management |
KR20190019294A (en) * | 2017-08-17 | 2019-02-27 | 주식회사 엘지유플러스 | Apparatus and method for Natural Language Processing Engine Performance Auto Evaluation System for use in Artificial Intelligence Device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102173382B1 (en) | 2020-02-25 | 2020-11-03 | 휴멜로 주식회사 | Apparatus for generating text and method thereof |
KR20210108293A (en) | 2020-02-25 | 2021-09-02 | 휴멜로 주식회사 | Apparatus for generating text and method thereof |
KR20220064948A (en) | 2020-02-25 | 2022-05-19 | 휴멜로 주식회사 | Apparatus for generating text and method thereof |
CN113240088A (en) * | 2021-05-17 | 2021-08-10 | 上海中通吉网络技术有限公司 | Training method of text intention recognition model |
Also Published As
Publication number | Publication date |
---|---|
WO2020213785A1 (en) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111696535B (en) | Information verification method, device, equipment and computer storage medium based on voice interaction | |
US10083690B2 (en) | Better resolution when referencing to concepts | |
JP6541673B2 (en) | Real time voice evaluation system and method in mobile device | |
US11068656B2 (en) | Displaying text classification anomalies predicted by a text classification model | |
US12001798B2 (en) | Generation of training data for machine learning based models for named entity recognition for natural language processing | |
US12057117B2 (en) | Method and apparatus of verifying information based on a voice interaction, device, and computer storage medium | |
KR102017229B1 (en) | A text sentence automatic generating system based deep learning for improving infinity of speech pattern | |
JP2005084681A (en) | Method and system for semantic language modeling and reliability measurement | |
KR20170088164A (en) | Self-learning based dialogue apparatus for incremental dialogue knowledge, and method thereof | |
CN111145733B (en) | Speech recognition method, speech recognition device, computer equipment and computer readable storage medium | |
CN111292751B (en) | Semantic analysis method and device, voice interaction method and device, and electronic equipment | |
US10607601B2 (en) | Speech recognition by selecting and refining hot words | |
CN109976702A (en) | A kind of audio recognition method, device and terminal | |
CN109087667B (en) | Voice fluency recognition method and device, computer equipment and readable storage medium | |
JP6810580B2 (en) | Language model learning device and its program | |
TW202032534A (en) | Voice recognition method and device, electronic device and storage medium | |
CN111177351A (en) | Method, device and system for acquiring natural language expression intention based on rule | |
KR20210130024A (en) | Dialogue system and method of controlling the same | |
CN112149386A (en) | Event extraction method, storage medium and server | |
CN115238045B (en) | Method, system and storage medium for extracting generation type event argument | |
CN111144118A (en) | Method, system, device and medium for identifying named entities in spoken text | |
CN112037772B (en) | Response obligation detection method, system and device based on multiple modes | |
CN113488034A (en) | Voice information processing method, device, equipment and medium | |
CN111326142A (en) | Text information extraction method and system based on voice-to-text and electronic equipment | |
CN116189657A (en) | Multi-mode voice recognition error correction method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |