KR100789368B1 - Apparatus and Method for coding and decoding residual signal - Google Patents
Apparatus and Method for coding and decoding residual signal Download PDFInfo
- Publication number
- KR100789368B1 KR100789368B1 KR1020060042645A KR20060042645A KR100789368B1 KR 100789368 B1 KR100789368 B1 KR 100789368B1 KR 1020060042645 A KR1020060042645 A KR 1020060042645A KR 20060042645 A KR20060042645 A KR 20060042645A KR 100789368 B1 KR100789368 B1 KR 100789368B1
- Authority
- KR
- South Korea
- Prior art keywords
- pulse
- coefficient
- linear predictive
- residual signal
- residual
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000013139 quantization Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 4
- 230000001174 ascending effect Effects 0.000 claims 2
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005311 autocorrelation function Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION
본 발명은 잔차 신호 부호화 및 복호화 장치와 그 방법에 관한 것임.The present invention relates to a residual signal encoding and decoding apparatus and a method thereof.
2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention
본 발명은, 종래의 변환 부호화를 이용한 잔차 신호 부호화 방법을 개선하여, 변환 부호화 방법에서 선형 예측 부호화(linear predictive coding) 모델 및 트랙 구조를 채용함으로써 음질을 개선하고 메모리 및 계산량을 줄이기 위한 잔차 신호 부호화 및 복호화 장치와 그 방법을 제공하는데 목적이 있음.The present invention improves the residual signal coding method using the conventional transform coding, and employs a linear predictive coding model and a track structure in the transform coding method to improve the sound quality and to reduce the memory and the calculation amount. And a decoding device and a method thereof.
3. 발명의 해결방법의 요지3. Summary of Solution to Invention
본 발명은, 잔차 신호 부호화 장치에 있어서, 시간 영역의 잔차 신호를 주파수 영역으로 변환하여 변환 계수를 출력하는 변환부; 상기 변환계수로부터 선형예측계수를 추출하는 선형예측계수 추출부; 상기 선형예측계수를 양자화하여 양자화된 선형예측계수 및 인덱스를 출력하는 선형예측계수 양자화부; 상기 양자화된 선형예측계수에 기초하여 구현된 필터를 구비하며 상기 변환계수에 대하여 선형예측 분석을 수행하여 선형예측 잔차 변환계수를 출력하는 선형예측 분석 필터부; 상기 선형예측 잔차 변환계수를 소정 개수의 대역으로 구분하여 대역별로 선형예측 잔차 변환계수를 출력하는 대역 분할부; 상기 대역별 선형예측 잔차 변환계수를 검색하여 최적의 펄스를 선택하고, 상기 최적의 펄스에 대한 펄스 파라미터를 출력하는 펄스 검색부; 및 상기 최적 펄스의 펄스 파라미터를 양자화하는 펄스 양자화부를 포함함.According to an aspect of the present invention, there is provided a residual signal encoding apparatus comprising: a transform unit configured to convert a residual signal in a time domain into a frequency domain and output a transform coefficient; A linear predictive coefficient extracting unit extracting a linear predictive coefficient from the transform coefficient; A linear predictive coefficient quantizer configured to quantize the linear predictive coefficient and output a quantized linear predictive coefficient and an index; A linear predictive analysis filter unit having a filter implemented based on the quantized linear predictive coefficients and outputting a linear predictive residual transform coefficient by performing linear predictive analysis on the transform coefficients; A band dividing unit for dividing the linear prediction residual conversion coefficient into a predetermined number of bands and outputting a linear prediction residual conversion coefficient for each band; A pulse searching unit searching the linear prediction residual transformation coefficient for each band to select an optimal pulse, and outputting a pulse parameter for the optimal pulse; And a pulse quantizer for quantizing the pulse parameters of the optimum pulse.
4. 발명의 중요한 용도4. Important uses of the invention
본 발명은 광대역 통합망에서 음성 부호화 등에 이용됨.The present invention is used for voice coding in a broadband integrated network.
잔차 신호, 잔차 파라미터, 선형예측, 변환 부호화 Residual Signal, Residual Parameter, Linear Prediction, Transform Coding
Description
도 1은 잔차 신호 부호화 방법을 이용한 음성 부호화/복호화 장치 구성도,1 is a block diagram of a speech encoding / decoding apparatus using a residual signal encoding method;
도 2는 종래의 잔차 신호 부호화기 및 복호화기의 상세 구성도,2 is a detailed block diagram of a conventional residual signal encoder and decoder;
도 3은 본 발명의 일실시예에 따라 변환 부호화를 이용하여 잔차신호를 부호화/복호화하는 잔차 신호 부호화 및 복호화 장치의 구성도,3 is a block diagram of a residual signal encoding and decoding apparatus for encoding / decoding a residual signal using transform encoding according to an embodiment of the present invention;
도 4는 본 발명의 일실시예에 따라 펄스 검색기에서 수행될 수 있는 개-루프 방식의 펄스 검색 흐름도,4 is an open-loop pulse search flowchart that may be performed in a pulse searcher according to an embodiment of the present invention;
도 5는 본 발명의 일실시예에 따라 펄스 검색기에서 수행될 수 있는 폐-루프 방식의 펄스 검색 흐름도,5 is a closed-loop pulse search flow chart that may be performed in a pulse searcher according to an embodiment of the present invention;
도 6은 도 3의 펄스 양자화기 및 펄스 역-양자화기에 대한 일실시예 상세 구성도,6 is a detailed block diagram of an embodiment of the pulse quantizer and the pulse de-quantizer of FIG. 3;
도 7은 종래의 변환 부호화를 이용한 잔차 부호화 방법으로 처리된 음성 스펙트럼과 본 발명 방법으로 처리된 음성 스펙트럼을 원음과 비교한 그래프이다.7 is a graph comparing a speech spectrum processed by a residual encoding method using a conventional transform encoding and a speech spectrum processed by a method of the present invention with an original sound.
* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings
301 : 변환기 303 : 선형예측계수 추출기301: transducer 303: linear predictive coefficient extractor
305 : 선형예측계수 양자화기 307 : 선형예측 분석필터305: linear predictive coefficient quantizer 307: linear predictive analysis filter
309 : 대역 분할기 311 : 펄스 검색기 309: band divider 311: pulse searcher
313 : 펄스 양자화기 321 : 선형예측계수 역-양자화기313: pulse quantizer 321: linear predictive coefficient inverse quantizer
323 : 펄스 역-양자화기 325 : 선형예측 합성필터323: pulse de-quantizer 325: linear predictive synthesis filter
327 : 대역 통합기 329 : 펄스 생성기 327
331 : 역-변환기331: Inverse transformer
본 발명은 음성 부호화 및 복호화 기술에 관한 것으로, 보다 상세하게는 음성 신호 중 잔차 신호(residual signal)를 주파수 영역으로 변환하여 잔차 파라미터를 출력하기 위한 잔차 신호 부호화 장치 및 그 방법과 상기 잔차 파라미터로부터 잔차 신호를 복원하기 위한 잔차 신호 복호화 장치 및 그 방법에 관한 것이다.The present invention relates to a speech encoding and decoding technique, and more particularly, to a residual signal encoding apparatus and method for converting a residual signal of a speech signal into a frequency domain and outputting a residual parameter, and a residual from the residual parameter. The present invention relates to a residual signal decoding apparatus for recovering a signal, and a method thereof.
음성을 디지털화하여 전송하는 기술은 기존 전화망을 포함한 유선 통신망, 이동 통신망 및 최근 주목되는 VoIP(Voice over IP(Internet Protocol))망 등에서 널리 이용되고 있다. 음성을 단순히 샘플링 및 디지털화하여 전송하는 경우에, 64kbps(8kHz로 샘플링하고 각 샘플을 8bit로 부호화하는 경우) 정도의 데이터 전송율이 요구된다. 그러나, 음성 분석과 적절한 부호화 방법을 이용하여 음성을 전송 하면 데이터 전송율을 현저하게 감소시킬 수 있다. The technology of digitizing and transmitting voice is widely used in wired communication networks including existing telephone networks, mobile communication networks, and voice over IP (Internet Protocol) networks. In the case of simply sampling, digitizing and transmitting voice, a data rate of about 64 kbps (when sampling at 8 kHz and encoding each sample by 8 bits) is required. However, transmission of speech using speech analysis and appropriate coding methods can significantly reduce the data rate.
이러한 음성 압축 기술로서 변환 부호화(transform coding) 방법이 있다. 변환 부호화 방법에 따르면 시간 영역의 음성 신호가 주파수 영역으로 변환된 후 각 주파수 성분에 해당하는 계수가 부호화되며, 사람의 청각 특성에 따라 각 주파수 성분이 부호화됨으로써 상대적으로 낮은 데이터 전송율 및 계산량이 요구된다.As such a voice compression technique, there is a transform coding method. According to the transform encoding method, a coefficient corresponding to each frequency component is encoded after a speech signal in a time domain is converted into a frequency domain, and a relatively low data rate and a calculation amount are required because each frequency component is encoded according to a human auditory characteristic. .
한편, 최근의 음성 부호화 기술은 기존 전화망 대역에 해당하는 협대역 음성을 부호화하는데서 벗어나 더 나은 자연성과 명료성을 제공할 수 있는 광대역 음성을 부호화하는 방향으로 이동하고 있다. 또한, 다양한 망 환경을 수용하기 위해서, 하나의 음성 부호화 장치가 다양한 데이터 전송율을 지원하는 다중 비트율 부호화기(Multi-Rate Coder)가 널리 사용되고 있다.On the other hand, the recent speech coding technology is moving away from encoding narrowband speech corresponding to the existing telephone network band, and moving toward encoding wideband speech that can provide better naturalness and clarity. In addition, in order to accommodate various network environments, a multi-rate coder in which one voice encoding apparatus supports various data rates is widely used.
이러한 추세를 반영하여, 대역폭 확장성(bandwidth scalability) 및 비트율 확장성(rate scalability)을 제공하는 임베디드 가변 비트율 부호화기(embedded variable rate coder)가 개발되고 있다. 상기 임베디드 가변 비트율 부호화기는 높은 전송율의 비트스트림이 낮은 전송율의 비트스트림을 포함하는 형태로 구성되고, 이를 위해 대부분 잔차 신호 부호화 방법을 이용하고 있다.Reflecting this trend, embedded variable rate coders have been developed that provide bandwidth scalability and rate scalability. The embedded variable bit rate encoder is configured such that a high bitrate bitstream includes a low bitrate bitstream, and mostly uses a residual signal encoding method.
도 1은 잔차 신호 부호화 방법을 이용한 음성 부호화/복호화 장치 구성도이다.1 is a block diagram of a speech encoding / decoding apparatus using a residual signal encoding method.
도 1에 도시된 바와 같이, 음성 부호화 장치(100)는 핵심 부호화기(101), 핵심 복호화기(103), 잔차 신호 생성기(105), 잔차 부호화기(107) 및 파라미터 패킹 기(109)를 포함한다. 핵심 부호화기(101)는 입력 음성 신호를 부호화하여 핵심 파라미터를 출력한다. 핵심 복호화기(103)는 핵심 부호화기(101)로부터 출력된 핵심 파라미터를 복호화하여 핵심 신호(core signal)를 출력한다. 잔차 신호 생성기(105)는 상기 입력 음성 신호에서 핵심 복호화기(103)로부터 출력된 핵심 신호를 빼서 잔차 신호를 생성한다. 잔차 부호화기(107)는 잔차 신호 생성기(105)로부터 출력된 잔차 신호를 부호화하여 잔차 파라미터를 출력한다. 파라미터 패킹기(109)는 핵심 부호화기(101)로부터 출력된 핵심 파라미터와 잔차 부호화기(107)로부터 출력된 잔차 파라미터를 소정의 비트스트림으로 변환하여 출력한다.As shown in FIG. 1, the
음성 복호화 장치(110)는 핵심 복호화기(111), 음성 신호 복원기(113), 잔차 복호화기(115) 및 파라미터 언-패킹기(117)를 포함한다. 파라미터 언-패킹기(117)는 음성 부호화 장치(100)로부터 입력된 비트스트림을 핵심 파라미터와 잔차 파라미터로 변환한다. 핵심 복호화기(111)는 상기 핵심 파라미터를 복호화하여 핵심 신호를 출력한다. 잔차 복호화기(115)는 상기 잔차 파라미터를 복호화하여 잔차 신호를 출력한다. 음성 신호 복원기(113)는 핵심 복호화기(111)로부터 출력된 핵심 신호와 잔차 복호화기(115)로부터 출력된 잔차 신호를 더해서 복원된 음성 신호를 출력한다. The
도 2는 종래의 잔차 신호 부호화기 및 복호화기의 상세 구성도로서, 변환 부호화 방법을 이용하여 잔차 신호를 부호화/복호화하는 잔차 부호화기 및 잔차 복호화기를 나타낸다.2 is a detailed configuration diagram of a conventional residual signal encoder and decoder, and illustrates a residual encoder and a residual decoder for encoding / decoding a residual signal using a transform encoding method.
도 2에 도시된 바와 같이, 잔차 부호화기(107)는 변환기(201), 변환계수 정규화기(203), 스케일 팩터 양자화기(205), 스케일 팩터 계산기(207) 및 정규화 변환계수 양자화기(209)를 포함한다. As shown in FIG. 2, the
변환기(201)는 시간 영역의 잔차 신호를 입력받아 주파수 영역으로 변환하여 변환 계수를 출력한다. 주파수 영역으로 변환하는 방법으로 MDCT(Modified Discrete Cosine Transform)가 이용될 수 있으나, 이에 한정되는 것은 아니다. 스케일 팩터 계산기(207)는 변환기(201)로부터 변환 계수를 입력받아 스케일 팩터(scale factor)를 계산 출력한다. 여기서, 스케일 팩터는 상기 변환 계수의 전체 에너지를 변환 계수의 개수로 나누어 평균한 정규화(nomalized) 에너지이다. 스케일 팩터 양자화기(205)는 스케일 팩터 계산기(207)로부터 출력된 스케일 팩터를 양자화한다. 스케일 팩터 양자화기(205)로부터 출력된 양자화된 스케일 팩터는 변환 계수 정규화기(203) 및 잔차 복호화기(115)로 입력된다. 변환 계수 정규화기(203)는 변환기(201)로부터 출력된 변환 계수를 스케일 팩터 양자화기(205)로부터 출력된 양자화된 스케일 팩터로 나누어 정규화 변환 계수를 출력한다. 정규화 변환 계수 양자화기(209)는 변환 계수 정규화기(203)로부터 출력된 정규화 변환계수를 양자화하여 잔차 복호화기(115)로 입력한다. 따라서, 잔차 부호화기(107)는 양자화된 스케일 팩터 및 양자화된 정규화 변환계수인 잔차 파라미터를 출력하게 된다.The
잔차 복호화기(115)는 정규화 변환 계수 역-양자화기(211), 변환계수 역-정규화기(213), 스케일 팩터 역-양자화기(215) 및 역-변환기(217)를 포함한다.
정규화 변환계수 역-양자화기(211)는 정규화 변환계수 양자화기(209)로부터 출력된 양자화된 정규화 변환 계수를 역-양자화하여 복원된 정규화 변환 계수를 출력한다. 스케일 팩터 역-양자화기(215)는 스케일 팩터 양자화기(205)로부터 출력된 양자화된 스케일 팩터를 역-양자화하여 복원된 스케일 팩터를 출력한다. 변환계수 역-정규화기(213)는 정규화 변환계수 역-양자화기(211)로부터 출력된 복원된 정규화 변환 계수에 스케일 팩터 역-양자화기(215)로부터 출력된 복원된 스케일 팩터를 곱해서 복원된 변환계수를 출력한다. 역-변환기(217)는 변환계수 역-정규화기(213)로부터 출력된 복원된 변환계수를 역-변환하여 시간 영역의 잔차 신호를 복원 출력한다. 역-변환 방법으로 상기 MDCT에 대응하여 IMDCT(Inverse MDCT)가 사용될 수 있다.The normalized transform coefficient inverse quantizer 211 inversely quantizes the quantized normalized transform coefficient output from the normalized
이러한 종래의 변환 부호화를 이용한 잔차 신호 부호화 방법은, 양자화 잡음때문에 복원된 음성 신호의 하모닉(harmonic) 성분이 왜곡되어 음질이 저하되는 문제점이 있고, 모든 변환 계수를 처리하기 때문에 많은 메모리 및 계산량을 요구하는 문제점이 있다.The residual signal coding method using the conventional transform coding has a problem in that the harmonic component of the speech signal reconstructed due to quantization noise is distorted, and thus the sound quality is deteriorated. There is a problem.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 종래의 변환 부호화를 이용한 잔차 신호 부호화 방법을 개선하여, 변환 부호화 방법에서 선형 예측 부호화(linear predictive coding) 모델 및 트랙 구조를 채용함으로써 음질을 개선하고 메모리 및 계산량을 줄이기 위한 잔차 신호 부호화 및 복호화 장치와 그 방법 을 제공하는데 목적이 있다. The present invention has been proposed to solve the above problems, by improving the residual signal coding method using the conventional transform coding, by improving the sound quality by adopting a linear predictive coding model and track structure in the transform coding method An object of the present invention is to provide a residual signal encoding and decoding apparatus and a method thereof for reducing a memory and a calculation amount.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 목적을 달성하기 위한 본 발명은, 잔차 신호 부호화 장치에 있어서, 시간 영역의 잔차 신호를 주파수 영역으로 변환하여 변환 계수를 출력하는 변환부; 상기 변환계수로부터 선형예측계수를 추출하는 선형예측계수 추출부; 상기 선형예측계수를 양자화하여 양자화된 선형예측계수 및 대응 인덱스를 출력하는 선형예측계수 양자화부; 상기 양자화된 선형예측계수에 기초하여 구현된 필터를 구비하며 상기 변환계수에 대하여 선형예측 분석을 수행하여 선형예측 잔차 변환계수를 출력하는 선형예측 분석 필터부; 상기 선형예측 잔차 변환계수를 소정 개수의 대역으로 구분하여 대역별로 선형예측 잔차 변환계수를 출력하는 대역 분할부; 상기 대역별 선형예측 잔차 변환계수를 검색하여 최적의 펄스를 선택하고, 상기 최적의 펄스에 대한 펄스 파라미터를 출력하는 펄스 검색부; 및 상기 최적 펄스의 펄스 파라미터를 양자화하는 펄스 양자화부를 포함한다.According to another aspect of the present invention, there is provided a residual signal encoding apparatus comprising: a transform unit which converts a residual signal in a time domain into a frequency domain and outputs a transform coefficient; A linear predictive coefficient extracting unit extracting a linear predictive coefficient from the transform coefficient; A linear predictive coefficient quantizer configured to quantize the linear predictive coefficient and output a quantized linear predictive coefficient and a corresponding index; A linear predictive analysis filter unit having a filter implemented based on the quantized linear predictive coefficients and outputting a linear predictive residual transform coefficient by performing linear predictive analysis on the transform coefficients; A band dividing unit for dividing the linear prediction residual conversion coefficient into a predetermined number of bands and outputting a linear prediction residual conversion coefficient for each band; A pulse searching unit searching the linear prediction residual transformation coefficient for each band to select an optimal pulse, and outputting a pulse parameter for the optimal pulse; And a pulse quantizer for quantizing the pulse parameters of the optimum pulse.
또한, 본 발명은, 잔차 신호 부호화 방법에 있어서, 시간 영역의 잔차 신호를 주파수 영역으로 변환하여 변환 계수를 출력하는 단계; 상기 변환계수로부터 선 형예측계수를 추출하는 단계; 상기 선형예측계수를 양자화하여 양자화된 선형예측계수 및 대응 인덱스를 출력하는 단계; 상기 양자화된 선형예측계수에 기초하여 구현된 필터를 구비하며 상기 변환계수에 대하여 선형예측 분석을 수행하여 선형예측 잔차 변환계수를 출력하는 단계; 상기 선형예측 잔차 변환계수를 소정 개수의 대역으로 구분하여 대역별로 선형예측 잔차 변환계수를 출력하는 단계; 상기 대역별 선형예측 잔차 변환계수를 검색하여 최적의 펄스를 선택하고, 상기 최적의 펄스에 대한 펄스 파라미터를 출력하는 단계; 및 상기 최적 펄스의 펄스 파라미터를 양자화하는 단계를 포함한다.The present invention also provides a method of encoding a residual signal, the method comprising: converting a residual signal in a time domain into a frequency domain and outputting a transform coefficient; Extracting a linear predictive coefficient from the transform coefficient; Quantizing the linear predictive coefficients to output quantized linear predictive coefficients and corresponding indices; Outputting a linear predictive residual transform coefficient having a filter implemented based on the quantized linear predictive coefficient and performing linear predictive analysis on the transform coefficient; Dividing the linear prediction residual conversion coefficient into a predetermined number of bands and outputting a linear prediction residual conversion coefficient for each band; Searching for the linear prediction residual transformation coefficient for each band to select an optimal pulse, and outputting a pulse parameter for the optimal pulse; And quantizing the pulse parameters of the optimal pulse.
또한, 본 발명은, 잔차 신호 복호화 장치에 있어서, 양자화된 선형예측계수의 인덱스를 역-양자화하여 복원된 선형예측계수를 출력하는 선형예측계수 역-양자화부; 양자화된 펄스 파라미터를 역-양자화하여 복원된 펄스 파라미터를 출력하는 펄스 역-양자화부; 상기 복원된 펄스 파라미터로부터 펄스를 생성하여 복원된 대역별 선형예측 잔차 변환계수를 출력하는 펄스 생성부; 상기 복원된 대역별 선형예측 잔차 변환계수를 전체 대역에 대하여 더함으로써 복원된 선형예측 잔차 변환계수를 출력하는 대역 통합부; 상기 복원된 선형예측계수에 기초하여 구현된 필터를 구비하며 상기 복원된 선형예측 잔차 변환계수에 대하여 선형예측 합성을 수행하여 복원된 변환계수를 출력하는 선형예측 합성 필터부; 및 주파수 영역의 상기 복원된 변환계수를 시간 영역으로 역-변환하여 잔차 신호를 복원하는 역-변환부를 포함한다.In addition, the present invention provides a residual signal decoding apparatus, comprising: a linear predictive coefficient inverse-quantizer for outputting a linear predictive coefficient reconstructed by inversely quantizing an index of a quantized linear predictive coefficient; A pulse inverse-quantizer for outputting a reconstructed pulse parameter by inversely quantizing the quantized pulse parameter; A pulse generator for generating a pulse from the recovered pulse parameter and outputting a linear prediction residual transform coefficient for each band; A band integrating unit for outputting the restored linear prediction residual transform coefficients by adding the restored linear prediction residual transform coefficients for each band; A linear prediction synthesis filter having a filter implemented based on the reconstructed linear prediction coefficients and outputting a reconstructed transform coefficient by performing linear prediction synthesis on the reconstructed linear prediction residual transform coefficients; And an inverse-transformer which inverse-converts the restored transform coefficients in the frequency domain to the time domain to restore the residual signal.
또한, 본 발명은,잔차 신호 복호화 방법에 있어서, 양자화된 선형예측계수의 인덱스를 역-양자화하여 복원된 선형예측계수를 출력하는 단계; 양자화된 펄스 파라미터를 역-양자화하여 복원된 펄스 파라미터를 출력하는 단계; 상기 복원된 펄스 파라미터로부터 펄스를 생성하여 복원된 대역별 선형예측 잔차 변환계수를 출력하는 단계; 상기 복원된 대역별 선형예측 잔차 변환계수를 전체 대역에 대하여 더함으로써 복원된 선형예측 잔차 변환계수를 출력하는 단계; 상기 복원된 선형예측계수에 기초하여 구현된 필터를 구비하며 상기 복원된 선형예측 잔차 변환계수에 대하여 선형예측 합성을 수행하여 복원된 변환계수를 출력하는 단계; 및 주파수 영역의 상기 복원된 변환계수를 시간 영역으로 역-변환하여 잔차 신호를 복원하는 단계를 포함한다.The present invention also provides a residual signal decoding method comprising: outputting a reconstructed linear predictive coefficient by inversely quantizing an index of a quantized linear predictive coefficient; De-quantizing the quantized pulse parameters to output the reconstructed pulse parameters; Generating a pulse from the reconstructed pulse parameter and outputting a reconstructed linear prediction residual transform coefficient for each band; Outputting the reconstructed linear prediction residual transform coefficient by adding the reconstructed linear prediction residual transform coefficient for each band; Outputting a reconstructed transform coefficient having a filter implemented based on the reconstructed linear predictive coefficient and performing linear predictive synthesis on the reconstructed linear predictive residual transform coefficient; And inversely transforming the reconstructed transform coefficient in the frequency domain into the time domain to recover a residual signal.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 3은 본 발명의 일실시예에 따라 변환 부호화를 이용하여 잔차신호를 부호화/복호화하는 잔차 신호 부호화 및 복호화 장치의 구성도이다.3 is a block diagram of a residual signal encoding and decoding apparatus for encoding / decoding a residual signal using transform encoding according to an embodiment of the present invention.
본 발명에 따른 잔차 신호 부호화 장치 및 복호화 장치는 도 1의 잔차 신호 부호화 방법을 이용한 음성 부호화/복호화 장치에 적용될 수 있다.The residual signal encoding apparatus and the decoding apparatus according to the present invention may be applied to a speech encoding / decoding apparatus using the residual signal encoding method of FIG. 1.
도 3에 도시된 바와 같이, 잔차 신호 부호화 장치(300)는 변환기(301), 선형예측계수 추출기(303), 선형예측계수 양자화기(305), 선형예측 분석필터(307), 대역 분할기(309), 펄스 검색기(311) 및 펄스 양자화기(313)를 포함한다. As shown in FIG. 3, the residual
변환기(301)는 예를 들어 잔차 신호 생성기(105)로부터 출력된 시간 영역의 잔차 신호를 주파수 영역으로 변환하여 변환 계수를 출력한다. 본 명세서에서는 일례로서 MDCT를 이용하여 아래 [수학식1]과 같이 MDCT 변환을 수행하여 변환된 MDCT 계수(X(k))를 산출한다. 그러나, 본 발명이 MDCT에 한정되는 것은 아니며, 다양한 주파수 영역 변환 방법이 본 발명의 기술적 사상을 벗어나지 않으며 적용될 수 있다는 점은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(이하, 당업자)에게 자명하다.The
여기서, x(n)은 시간 영역의 잔차 신호, h(n)은 윈도우 함수이고, n은 시간 영역의 샘플 인덱스, k는 주파수 영역의 계수 인덱스, N은 MDCT 블록의 크기이다.Where x (n) is the residual signal in the time domain, h (n) is the window function, n is the sample index in the time domain, k is the coefficient index in the frequency domain, and N is the size of the MDCT block.
선형예측계수 추출기(303)는 변환기(301)로부터 출력된 변환 계수(X(k))로부터 선형예측계수(linear predictive coding coefficients)를 추출한다. 상기 선형예측계수는 전체 변환 계수(k, k=0,1,...,N-1)에 대해서, 현재 변환 계수와 과거 p개의 변환 계수들로부터 예측한 변환 계수의 차이를 나타내는 함수(E)의 값을 최소 로 하는 p개의 계수이다. 즉, 아래 [수학식 2]의 E를 최소로 하는 계수({ai}, i=1,2,...,p)가 선형예측계수이다.The linear predictive coefficient extractor 303 extracts linear predictive coding coefficients from the transform coefficient X (k) output from the
여기서, p는 선형예측차수이다. 선형예측계수는 자기상관함수(ACF : Autocorrelation function)인 Levinson-Durbin 알고리즘을 이용하여 산출될 수 있으나, 이에 한정되는 것은 아니며 다양한 선형예측계수 산출 방법이 본 발명의 기술적 사상을 벗어나지 않으며 적용될 수 있다는 점은 본 발명의 당업자에게 자명하다.Where p is the linear predictive order. The linear predictive coefficient may be calculated using the Levinson-Durbin algorithm, which is an autocorrelation function (ACF), but the present invention is not limited thereto. Is apparent to those skilled in the art.
선형예측계수 양자화기(305)는 선형예측계수 추출기(303)로부터 출력된 선형예측계수를 양자화하여 양자화된 선형예측계수 및 그 인덱스를 출력한다. 양자화 방법에는 벡터 양자화, 분할 예측 벡터 양자화 등이 있으며 다양한 양자화 방법이 사용될 수 있다. 상기 양자화된 선형예측계수의 인덱스는 잔차 신호 복호화 장치(320)로 입력된다. 상기 양자화된 선형예측계수는 선형예측 분석필터(307)의 구현에 사용된다.The linear
선형예측 분석필터(307)는 선형예측계수 양자화기(305)로부터 출력된 양자화된 선형예측계수에 기초하여 구현된 필터로, 변환기(301)로부터 출력된 변환 계수에 대하여 선형예측 분석을 수행하여 선형예측 잔차 변환계수를 출력한다. 즉, 아래 [수학식 3]과 같이 선형예측 잔차 변환계수(R(k))를 산출한다.The linear
여기서, {a` i}는 양자화된 선형예측계수이다.Where {a ` i } is the quantized linear predictive coefficient.
대역 분할기(309)는 전체 잔차 신호 대역을 몇 개의 대역으로 분할하기 위해, 선형예측 분석필터(307)로부터 출력되는 선형예측 잔차 변환계수를 대역별로 구분하여 대역별 선형예측 잔차 변환계수를 출력한다. 대역 분할 방법에는 일정한 간격으로 분할하는 방법, 음성 신호의 청각적 특성을 반영한 임계 대역을 이용하여 분할하는 방법 등이 있으며 다양한 대역 분할 방법이 사용될 수 있다. In order to divide the entire residual signal band into several bands, the
펄스 검색기(311)는 대역 분할기(309)로부터 출력된 대역별 선형예측 잔차 변환계수를 검색하여 최적의 계수를 선택한다. 이때, 상기 선형예측 잔차 변환계수 각각을 하나의 펄스로 보는 경우 각 펄스는 부호, 위치 및 크기로 표현될 수 있다. 따라서, 상기 선형예측 잔차 변환계수(펄스)를 검색하여 최적 펄스가 선택되면, 선택된 펄스의 부호, 위치 및 크기 정보로 구성된 펄스 파라미터를 출력한다.The
최적의 계수(펄스)를 선택하는 과정에서, 각 대역의 전체 선형예측 잔차 변환계수를 검색하면, 검색 범위가 넓기 때문에 많은 메모리와 계산량이 필요하다. 그러나 본 발명의 일실시예에 따르면 펄스 검색기(311)는 대역 분할기(309)로부터 출력된 각 대역의 선형 예측 잔차 변환계수를 다시 소정 개수의 트랙으로 구분하고 각 트랙에서 최적의 펄스를 검색함으로써 메모리와 계산량이 증가되지 않는다. In the process of selecting an optimal coefficient (pulse), searching the entire linear predictive residual transform coefficients of each band requires a large amount of memory and a large amount of computation since the search range is wide. However, according to an embodiment of the present invention, the
본 명세서에서는 하나의 소정 대역에서 선형예측 잔차 변환계수가 40개이고 검색할 펄스의 개수가 5개일 때, 아래 [표1]과 같은 트랙 구조를 사용하는 경우를 예시적으로 설명한다.In the present specification, when a linear predictive residual transform coefficient is 40 in one predetermined band and the number of pulses to be searched is 5, a track structure as shown in Table 1 below will be described.
상기 [표1]에 나타난 바와 같이, 특정 대역의 선형예측 잔차 변환계수(펄스)를 분할하는 트랙의 개수는 5개이고, 트랙당 펄스의 개수는 8개이다(즉, 8개의 위치를 가짐). 특정 대역에서 검색할 펄스의 개수는 5개로서 각 트랙에서 1개의 펄스가 최적 펄스로 선택된다. 이때, 각 트랙에서 선택되는 펄스를 트랙별 선택 펄스라 한다. 상기 트랙 구조에는, 각 트랙에서 각 펄스의 부호 정보() 및 위치 정보([표1]에서, 첫 번째 트랙인 경우 0,5,10,15,20,25,30,35)가 나타나 있다. 각 트랙에서 각 펄스의 크기 정보를 나타내기 위해서는 별도의 코드북이 필요하다. 상기 [표1]에 나타난 실시예에서, 각 펄스의 부호 정보 및 위치 정보는 후술되는 펄스 양자화기(313)에서 부호에 대한 1비트 및 위치에 대한 3비트로 양자화되고, 크기 정보는 상기 별도의 코드북에 따른 소정의 비트로 양자화될 수 있다.As shown in Table 1, the number of tracks for dividing the linear predictive residual transform coefficient (pulse) of a specific band is 5, and the number of pulses per track is 8 (that is, having 8 positions). The number of pulses to search in a particular band is five, so one pulse is selected as the optimal pulse in each track. At this time, a pulse selected in each track is called a track selection pulse. The track structure includes sign information of each pulse in each track ( ) And location information (Table 1) shows 0, 5, 10, 15, 20, 25, 30 and 35 for the first track. A separate codebook is needed to represent the magnitude information of each pulse in each track. In the embodiment shown in Table 1, the sign information and the position information of each pulse are quantized by 1 bit for the code and 3 bits for the position in the
또한, 본 명세서에서는 또 다른 하나의 소정 대역에서 선형예측 잔차 변환계수가 40개이고, 검색할 펄스의 개수가 9개일 때, 아래 [표2]와 같은 트랙구조를 사용하는 경우를 예시적으로 설명한다.In this specification, a case in which a track structure as shown in Table 2 below is used as an example when the linear prediction residual transform coefficient is 40 and the number of pulses to be searched is 9 in another predetermined band will be described. .
상기 [표2]에 나타난 바와 같이, 특정 대역의 선형예측 잔차 변환계수(펄스)를 분할하는 트랙의 개수는 5개이고 트랙당 펄스의 개수는 16, 8, 8, 4, 4개이다. 본 예시에서, 특정 대역에서 검색할 펄스의 개수는 총 9개로서 각 트랙에서 3,2,2,1,1개의 펄스가 최적 펄스로 선택된다. 각 트랙에서 선택되는 펄스 각각을 트랙별 선택 펄스라 하고, 각 트랙에서 트랙별 선택 펄스의 집합을 트랙별 선택 펄스 조합이라 한다. 즉, 상기 [표2]의 실시예에서, 첫번째 트랙에서 0,1,2의 위치를 갖는 펄스가 최적 펄스로 선택된다면, 0의 위치를 갖는 펄스, 1의 위치를 갖는 펄스 또는 2의 위치를 갖는 펄스 각각은 트랙별 선택 펄스이고, 첫번째 트랙에서 트랙별 선택 펄스의 집합인 0의 위치를 갖는 펄스, 1의 위치를 갖는 펄스 및 2의 위치를 갖는 펄스를 트랙별 펄스 조합이라 한다. 상술한 바와 같이, 상기 [표2]의 실시예에서, 각 펄스의 부호 정보는 후술되는 펄스 양자화기(313)에서 1비트로 양자화 될수 있다. 또한, 첫번째 트랙에서 선택된 각 펄스의 위치 정보는 4비트로 양자화되고, 두번째 트랙 및 세번째 트랙의 각 펄스의 위치 정보는 3비트로 양자화되며, 네번째 트랙 및 다섯번째 트랙의 위치 정보는 2비트로 양자화될 수 있다. 각 펄스의 크기정보는 상술한 바와 같이 상기 별도의 코드북에 따른 소정의 비트로 양자화될 수 있다.As shown in Table 2, the number of tracks for dividing the linear predictive residual transform coefficient (pulse) of a specific band is five and the number of pulses per track is 16, 8, 8, 4, and four. In this example, the number of pulses to be searched in a specific band is 9 in total, and 3, 2, 2, 1, 1 pulses are selected as optimal pulses in each track. Each of the pulses selected in each track is called a track-specific selection pulse, and the set of track-specific selection pulses in each track is called a track-specific selection pulse combination. That is, in the embodiment of Table 2, if the pulse having the position of 0, 1, 2 in the first track is selected as the optimal pulse, the pulse having the position of 0, the pulse having the position of 1 or the position of 2 is selected. Each pulse having is a track-specific selection pulse, and a pulse having a position of 0, a pulse having a position of 1, and a pulse having a position of 2 in the first track are called track-specific pulse combinations. As described above, in the embodiment of Table 2, the sign information of each pulse may be quantized to 1 bit in the
상기 예시외에도 대역별 선형예측 잔차 변환계수의 개수(D)와 대역별 검색할 펄스의 개수(G)를 고려하여 다양한 트랙 구조가 사용될 수 있다. 즉, 상기 대역별 선형예측 잔차 변환계수를 트랙별로 나누어 검색하기 위한 트랙의 개수(T), 트랙당 펄스의 개수(2m, m은 자연수, ) 및 트랙당 검색할 펄스의 개수(g, g는 자연수, )가 다양하게 결정될 수 있다.In addition to the above examples, various track structures may be used in consideration of the number D of linear prediction residual transform coefficients per band and the number G of pulses to be searched for each band. That is, the number of tracks (T) for searching and dividing the linear prediction residual conversion coefficient for each track by track, the number of pulses per track (2 m , m is a natural number, ) And the number of pulses to search per track (g, g is a natural number, ) Can be determined in various ways.
펄스 검색기(360)가 상기 트랙 구조를 사용하여 펄스를 검색하는 방식에는 개-루프 방식 및 폐-루프 방식이 있다. 개-루프 방식은 각 트랙에서 선형예측 잔차 변환계수를 검색하여 큰 크기를 갖는 펄스 순서대로 최적 펄스를 선택하는 방식이다(도 4 참조). 폐-루프 방식은 변환기(301)로부터 출력된 원 변환 계수와 각 트랙의 각 펄스 위치를 갖는 모든 조합을 고려하여 잔차 신호 부호화 장치(300)에 내재된 연관 복호화 장치(local decoder)에서 선형예측 합성된 변환 계수와의 차이(오류값)를 최소로 하는 펄스를 선택하는 방식이다(도 5 참조). 당업자에게는 부호화 장치가 연관 복호화 장치를 포함한다는 것이 자명하다. 따라서, 상기 연관 복호화 장치는 도시되지 않았다. 폐-루프 방식의 펄스 검색 방법은 연관 복호화 장치에서 먼저 합성을 해보고 최적의 펄스를 선택하기 때문에 개-루프 방식의 펄스 검색 방법보다 좋은 음질을 얻을 수 있다.The pulse searcher 360 searches for a pulse using the track structure includes an open-loop method and a closed-loop method. The open-loop method searches the linear predictive residual transform coefficients in each track and selects the optimal pulses in order of pulses having a large magnitude (see FIG. 4). In the closed-loop scheme, linear prediction synthesis is performed in a local decoder inherent in the residual
펄스 양자화기(313)는 펄스 검색기(311)로부터 출력된 펄스 파라미터를 소정의 비트로 양자화하여 잔차 신호 복호화 장치(320)로 출력한다(도 6 참조). The pulse quantizer 313 quantizes the pulse parameter output from the
또한, 도 3에 도시된 바와 같이 잔차 신호 복호화 장치(320)는 선형예측계수 역-양자화기(321), 펄스 역-양자화기(323), 선형예측 합성필터(325), 펄스 생성기(329), 대역 통합기(327) 및 역-변환기(331)를 포함한다.In addition, as shown in FIG. 3, the residual
선형예측계수 역-양자화기(321)는 선형예측계수 양자화기(305)로부터 출력된 양자화된 선형예측계수의 인덱스를 역-양자화하여 복원된 선형예측계수를 출력한다.The linear predictive coefficient
펄스 역-양자화기(323)는 펄스 양자화기(313)로부터 출력된 양자화된 펄스 파라미터를 역-양자화하여 선택된 최적 펄스의 부호, 위치 및 크기 정보로 구성된 복원된 펄스 파라미터를 출력한다. The pulse de-quantizer 323 inversely quantizes the quantized pulse parameter output from the
펄스 생성기(329)는 펄스 역-양자화기(323)로부터 출력된 펄스의 부호, 위치 및 크기 정보를 이용하여 펄스를 생성한다. 펄스 생성기(329)에 의해 생성된 펄스는 복원된 대역별 선형예측 잔차 변환계수이다.The
대역 통합기(327)는 펄스 생성기(450)로부터 출력된 펄스, 즉 대역별 선형예측 잔차 변환계수를 모든 대역에서 더하여 복원된 선형예측 잔차 변환계수를 출력한다. The
선형예측 합성필터(325)는 선형예측계수 역-양자화기(321)로부터 출력된 복원된 선형예측계수에 기초하여 구현된 필터로, 대역 통합기(327)로부터 출력된 선형예측 잔차 변환계수에 대하여 선형예측 합성을 수행하여 복원된 변환계수를 출력한다. 즉, 아래의 [수학식 4]과 같이 복원된 변환계수(X`(k))를 산출한다.The linear
여기서, R`(k)는 복원된 선형예측 잔차 변환계수, {a' i}는 양자화된 선형예측계수이다.Where R ` (k) is the reconstructed linear prediction residual transform coefficient and {a ' i } is the quantized linear predictive coefficient.
역-변환기(331)는 주파수 영역의 상기 복원된 변환계수를 시간 영역의 잔차 신호로 변환한다. 본 명세서에서 변환기(301)의 예시적인 MDCT 변환에 대응하여, 역-변환기(331)는 아래의 [수학식 5]와 같이 IMDCT 변환을 수행하여 복원된 잔차 신호()를 산출한다. 그러나, 본 발명이 IMDCT에 한정되는 것은 아니며, 다양한 주파수 영역 역-변환 방법이 본 발명의 기술적 사상을 벗어나지 않으며 적용될 수 있다는 점은 당업자에게 자명하다.Inverse-
*y(n)은 현재 블록의 역-변환된 샘플, y`(n)은 이전 블록의 역-변환된 샘플 이다. * y (n) is the inverse transformed sample of the current block, y ` (n) is the inverse transformed sample of the previous block.
역-변환기(331)의 출력 신호 즉, 잔차 신호는 예를 들어 음성 신호 복원기(113)로 입력된다.The output signal of the
도 4는 본 발명의 일실시예에 따라 펄스 검색기에서 수행될 수 있는 개-루프 방식의 펄스 검색 흐름도이다. 4 is an open-loop pulse search flow diagram that may be performed in a pulse searcher in accordance with one embodiment of the present invention.
상술한 바와 같이, 대역별 트랙의 개수(T), 각 트랙의 펄스 개수(2m) 및 각 트랙에서 검색할 펄스 개수(g)는 대역별 선형예측 잔차 변환계수의 개수(D, ) 및 대역별 검색할 펄스의 개수(G, )를 고려하여 결정된다.As described above, the number of tracks per band (T), the number of pulses of each track (2 m ), and the number of pulses (g) to be searched in each track are the number of linear prediction residual transform coefficients (D, ) And number of pulses to search by band (G, ) Is taken into consideration.
우선, 첫 번째 트랙을 선택한다(s401) First, the first track is selected (s401).
다음으로, 선택된 트랙에 존재하는 2m개의 펄스 전부에 대하여 각각 절대값을 취하여 펄스의 크기 정보를 획득한다(s402). Next, the absolute value of each of the 2 m pulses existing in the selected track is taken to obtain pulse size information (S402).
상기 펄스 절대값을 내림차순으로 정렬하고(s403) 트랙당 검색할 펄스 개수(g)에 따라 상기 내림차순으로 정렬된 펄스의 절대값이 큰 순서대로 펄스를 선택한다(s404). 상기 [표1]과 같이 트랙당 1개 펄스가 검색되는 경우, 각 트랙별로 가장 큰 펄스가 1개씩 최적 펄스로 선택된다. 또한, 상기 [표2]와 같이 첫번째 트랙에서 3개 펄스가 검색되는 경우 펄스 절대값이 큰 순서대로 3개 펄스가 최적 펄스로 선택되고, 마찬가지로 두번째 내지 다섯번째 트랙에서도 펄스 절대값이 큰 순서대로 검색할 펄스의 개수(2,2,1,1)만큼 펄스가 선택된다. The pulse absolute values are sorted in descending order (s403), and the pulses are selected in order of increasing absolute value of the pulses sorted in descending order according to the number of pulses g to be searched per track (s404). When one pulse per track is searched as shown in [Table 1], the largest pulse for each track is selected as an optimal pulse. In addition, when three pulses are searched in the first track as shown in [Table 2], the three pulses are selected as the optimal pulses in the order of the largest absolute pulse value, and similarly in the order of the largest absolute pulse values in the second to fifth tracks. Pulses are selected by the number of pulses (2, 2, 1, 1) to be searched.
다음으로, 선택된 트랙이 마지막 트랙인지 확인하여(s405) 마지막 트랙이 아니라면 다음 트랙을 선택한다(s407). 상기 다음 트랙에 대해서 단계 s402 내지 s405를 반복 수행한다. 반면, 선택된 트랙이 마지막 트랙이라면 펄스 검색을 종료한다.Next, it is checked whether the selected track is the last track (s405), and if it is not the last track, the next track is selected (s407). Steps s402 to s405 are repeated for the next track. On the other hand, if the selected track is the last track, the pulse search ends.
최종적으로 각 트랙에서 펄스 크기가 최대인 펄스를 최적 펄스로 선택함으로써 트랙별 선택 펄스 조합(트랙별로 1개 펄스가 선택되는 경우를 포함)이 산출되고, 상기 트랙별 선택 펄스 조합을 전체 트랙에 대하여 더한 대역별 선택 펄스 조합이 산출된다. 펄스 검색기(311)는 상기 대역별 선택 펄스 조합을 구성하는 상기 트랙별 선택 펄스 조합에 포함된 최적 펄스 각각에 대한 펄스 파라미터를 펄스 양자화기(313)로 출력한다. Finally, by selecting the pulse having the largest pulse size in each track as the optimal pulse, a track-specific selection pulse combination (including a case in which one pulse is selected for each track) is calculated, and the track selection pulse combination is applied to all tracks. In addition, a band-specific selection pulse combination is calculated. The
도 5는 본 발명의 일실시예에 따라 펄스 검색기에서 수행될 수 있는 폐-루프 방식의 펄스 검색 흐름도이다. 5 is a closed-loop pulse search flow chart that may be performed in a pulse searcher according to an embodiment of the present invention.
상술한 바와 같이, 대역별 트랙의 개수(T), 각 트랙의 펄스 개수(2m) 및 각 트랙에서 검색할 펄스 개수(g)는 각 대역의 선형예측 잔차 변환계수의 개수(D, ) 및 대역별 검색할 펄스의 개수(G, )를 고려하여 결정된다.As described above, the number of tracks per band (T), the number of pulses of each track (2 m ), and the number of pulses (g) to be searched in each track are the number of linear prediction residual conversion coefficients (D, ) And number of pulses to search by band (G, ) Is taken into consideration.
본 명세서의 일례로서, 상기 [표1] 및 [표2]와 같이 대역별 트랙의 개수가 5인 경우가 설명되나, 이에 한정되는 것은 아니다. As an example of the present specification, a case in which the number of tracks for each band is 5 will be described as shown in Tables 1 and 2, but it is not limited thereto.
우선, 소정의 최소 오류값를 초기화한다(s501). First, a predetermined minimum error value is initialized (s501).
다음으로, 첫 번째 트랙의 첫 번째 펄스 조합을 선택한다(s502). 상기 [표1]의 실시예와 같이 각 트랙에서 8개 펄스 중 1개 펄스가 검색되는 경우, 펄스 조합은 8C1(=8)가지 경우가 가능하다. 상기 8가지 펄스 조합 중 하나의 소정 펄스 조합을 선택하여 첫번째 트랙의 첫번째 펄스 조합으로 한다. 또한, 상기 [표2]의 실시예와 같이 첫번째 트랙의 16개 펄스에서 3개 펄스가 검색되는 경우, 첫번째 트랙에서 가능한 펄스 조합은 16C3(=560)가지이다. 상기 560가지 펄스 조합 중 하나의 소정 펄스 조합을 선택하여 첫번째 트랙의 첫번째 펄스 조합으로 한다.Next, the first pulse combination of the first track is selected (s502). When one of the eight pulses is searched in each track as in the embodiment of Table 1 above, the pulse combination may be 8 C 1 (= 8). One of the eight pulse combinations is selected to be the first pulse combination of the first track. In addition, when three pulses are searched in 16 pulses of the first track as in the embodiment of Table 2, there are 16 C 3 (= 560) possible pulse combinations in the first track. One predetermined pulse combination of the 560 pulse combinations is selected to be the first pulse combination of the first track.
다음으로, 두 번째 트랙의 첫 번째 펄스 조합을 선택한다(s503). 상기 [표1]의 실시예와 같이 각 트랙에서 8개 펄스 중 1개 펄스가 검색되는 경우, 단계 s502와 동일하게 두번째 트랙의 첫번째 펄스 조합이 선택된다. 상기 [표2]의 실시예와 같이 두번째 트랙의 8개 펄스에서 2개 펄스가 검색되는 경우, 두번째 트랙에서 가능한 펄스 조합은 8C2(=28)가지이다. 상기 28가지 펄스 조합 중 하나의 소정 펄스 조합을 선택하여 두번째 트랙의 첫번째 펄스 조합으로 한다.Next, the first pulse combination of the second track is selected (s503). When one of the eight pulses is retrieved in each track as in the embodiment of Table 1 above, the first pulse combination of the second track is selected in the same manner as in step s502. When two pulses are searched in eight pulses of the second track as in the embodiment of Table 2, there are 8 C 2 (= 28) possible pulse combinations in the second track. One predetermined pulse combination of the 28 pulse combinations is selected to be the first pulse combination of the second track.
같은 방식으로 세 번째 트랙의 첫 번째 펄스 조합, 네 번째 트랙의 첫 번째 펄스 조합, 다섯 번째 트랙의 첫 번째 펄스 조합을 각각 선택한다(s504, s505, s506). 상기 단계 s502 내지 s506에 의해 트랙별 펄스 조합을 선택한다.In the same manner, the first pulse combination of the third track, the first pulse combination of the fourth track, and the first pulse combination of the fifth track are respectively selected (s504, s505, and s506). In step S502 to S506, a track-specific pulse combination is selected.
다음으로, 상기 각 트랙에서 선택된 5 개의 트랙별 펄스 조합에서만 값을 가지고 나머지 위치에서는 0의 값을 가지는 펄스를 전체 트랙에 대하여 더한 대역별 펄스 조합에 대하여 잔차 신호 부호화 장치(300)에 내재된 연관 복호화 장치에서 선형 예측 합성을 수행하여 대역별 변환계수를 생성한다(s507). 상기 연관 복호화 장치에서 출력된 대역별 변환계수와 변환기(301)의 출력인 원 변환계수와의 차이(오류값)을 계산하고(s508) 계산된 오류값을 현재 저장된 최소 오류값와 비교하여(s509) 계산된 오류값이 최소 오류값보다 작은 경우 최소 오류값을 갱신한다(s510).Next, the correlation inherent in the residual
다음으로, 다섯 번째 트랙에서 선택된 펄스 조합이 다섯 번째 트랙의 마지막 펄스 조합인지 확인한다(s511). 다섯 번째 트랙의 마지막 펄스 조합이 아니라면, 다섯 번째 트랙의 다음 펄스 조합을 선택하고(s512) 상기 다섯 번째 트랙의 다음 펄스 조합에 대해서 단계 s507 내지 s511을 반복 수행한다. Next, it is checked whether the pulse combination selected in the fifth track is the last pulse combination in the fifth track (s511). If it is not the last pulse combination of the fifth track, the next pulse combination of the fifth track is selected (s512) and steps s507 to s511 are repeated for the next pulse combination of the fifth track.
다섯 번째 트랙에서 선택된 펄스 조합이 마지막 펄스 조합이라면 네 번째 트랙에서 선택된 펄스 조합이 네 번째 트랙의 마지막 펄스 조합인지 확인한다(s513). 네 번째 트랙의 마지막 펄스 조합이 아니라면, 네 번째 트랙의 다음 펄스 조합을 선택하고(s514) 상기 네 번째 트랙의 다음 펄스 조합에 대해서 단계 s506 내지 s513을 반복 수행한다.If the pulse combination selected in the fifth track is the last pulse combination, it is checked whether the pulse combination selected in the fourth track is the last pulse combination in the fourth track (s513). If it is not the last pulse combination of the fourth track, the next pulse combination of the fourth track is selected (s514) and steps s506 to s513 are repeated for the next pulse combination of the fourth track.
같은 방식으로, 네 번째 트랙에서 선택된 펄스 조합이 마지막 펄스 조합이라면 세 번째 트랙에서 선택된 펄스 조합이 마지막 펄스 조합인지 확인하여(s515) 세 번째 트랙의 마지막 펄스 조합이 아니라면, 세 번째 트랙의 다음 펄스 조합 선택하고(s516) 단계 s505내지 s515를 반복 수행한다. In the same way, if the pulse combination selected in the fourth track is the last pulse combination, check whether the pulse combination selected in the third track is the last pulse combination (s515) and if it is not the last pulse combination in the third track, the next pulse combination in the third track Select (s516) and repeat steps s505 to s515.
세 번째 트랙에서 선택된 펄스 조합이 마지막 펄스 조합이라면 두 번째 트랙에서 선택된 펄스 조합이 마지막 펄스 조합인지 확인하여(s517) 두 번째 트랙의 마 지막 펄스 조합이 아니라면, 두번째 트랙의 다음 펄스 조합을 선택하고(s518) 단계 s504 내지 s517을 반복 수행한다.If the pulse combination selected in the third track is the last pulse combination, check whether the pulse combination selected in the second track is the last pulse combination (s517) .If it is not the last pulse combination of the second track, select the next pulse combination of the second track ( s518) Repeat steps s504 to s517.
두번째 트랙에서 선택된 펄스 조합이 마지막 펄스 조합이라면 첫 번째 트랙에서 선택된 펄스 조합이 마지막 펄스 조합인지 확인하여(s519) 첫 번째 트랙의 마지막 펄스 조합이 아니라면, 첫 번째 트랙의 다음 펄스 조합을 선택하고(s520) 단계 s503 내지 s519를 반복 수행한다. 반면, 첫번째 트랙의 마지막 펄스 조합이라면 펄스 검색을 종료한다.If the pulse combination selected in the second track is the last pulse combination, it is checked whether the pulse combination selected in the first track is the last pulse combination (s519). If it is not the last pulse combination of the first track, the next pulse combination of the first track is selected (s520). ) Steps s503 to s519 are repeated. On the other hand, if it is the last pulse combination of the first track, the pulse search ends.
최종적으로, 상기 오류값을 최소로 하는 대역별 펄스 조합을 선택함으로써 대역별 선택 펄스 조합이 산출된다. 상기 대역별 선택 펄스 조합을 구성하는 트랙별 펄스 조합이 트랙별 선택 펄스 조합이다. 펄스 검색기(311)는 상기 대역별 선택 펄스 조합을 구성하는 상기 트랙별 선택 펄스 조합에 포함된 최적 펄스 각각에 대한 펄스 파라미터를 펄스 양자화기(313)로 출력한다. Finally, the band-specific selection pulse combination is calculated by selecting the band-specific pulse combination that minimizes the error value. A track-specific pulse combination constituting the band-specific selection pulse combination is a track-specific selection pulse combination. The
도 6은 도 3의 펄스 양자화기 및 펄스 역-양자화기에 대한 일실시예 상세 구성도이다.FIG. 6 is a detailed block diagram of an embodiment of the pulse quantizer and the pulse de-quantizer of FIG. 3.
도 6에 도시된 바와 같이, 펄스 양자화기(313)는 크기 양자화기(601), 부호 양자화기(603) 및 위치 양자화기(605)를 포함한다. As shown in FIG. 6, the
크기 양자화기(601)는 각 트랙에서 선택된 펄스의 크기 정보를 소정의 비트로 양자화한다. 이 때, 트랙 구조에는 각 펄스의 크기 정보가 나타나지 않으므로 별도의 코드북이 필요하다. 따라서, 상기 별도의 코드북은 잔차 신호 부호화/복호 화 장치에 내재되어 있어야 한다. 부호 양자화기(603)는 각 트랙에서 선택된 펄스의 부호가 (+1)인지 (-1)인지에 따라 펄스의 부호 정보를 1 비트로 양자화할 수 있다. 위치 양자화기(605)는 각 트랙에서 선택된 펄스의 위치 정보를 트랙당 위치의 개수에 따라 정해지는 비트로 양자화한다. 즉, [표1]의 실시예와 같이 트랙당 위치의 개수가 8개인 경우에는, 펄스의 위치 정보는 3비트로 양자화될 수 있다. 또한, [표2]의 실시예와 같이, 첫번째 트랙에서의 위치 개수가 16개인 경우 첫번째 트랙의 펄스 위치 정보는 4비트로 양자화되고, 두번째 트랙 및 세번째 트랙에서의 위치 개수가 8개인 경우 두번째 트랙 및 세번째 트랙에서 선택된 펄스의 위치 정보는 3비트로 양자화되며, 네번째 트랙 및 다섯번째 트랙에서의 위치 개수가 4개인 경우 네번째 트랙 및 다섯번째 트랙에서 선택된 펄스의 위치 정보는 2비트로 양자화될 수 있다.The magnitude quantizer 601 quantizes the magnitude information of the pulse selected in each track into predetermined bits. At this time, since the size information of each pulse does not appear in the track structure, a separate codebook is required. Therefore, the separate codebook should be inherent in the residual signal encoding / decoding apparatus. The
여기서, 앞서 설명된 바와 같이 본 발명의 일실시예에 따른 트랙구조는 펄스 부호 및 펄스 위치 양자화에 필요한 비트 정보를 제공하므로, 펄스 크기 양자화에 필요한 비트 정보를 제공하는 코드북만이 필요하고, 따라서, 잔차 신호 부호화/복호화 장치 내에서 코드북 저장에 요구되는 메모리가 감소하며 코드북 검색에 요구되는 계산량이 감소한다.Here, as described above, since the track structure according to an embodiment of the present invention provides bit information necessary for pulse code and pulse position quantization, only a codebook for providing bit information necessary for pulse size quantization is needed. The memory required for codebook storage in the residual signal encoding / decoding device is reduced and the amount of computation required for codebook retrieval is reduced.
또한, 도 6에 도시된 바와 같이, 펄스 역-양자화기(323)는 크기 역-양자화기(607), 부호 역-양자화기(609) 및 위치 역-양자화기(611)를 포함한다. 6, pulse
크기 역-양자화기(607)는 크기 양자화기(601)로부터 출력된 소정 비트의 크 기 정보를 역양자화하여 펄스 크기를 복원한다. 부호 역-양자화기(609)는 부호 양자화기(603)로부터 출력된 소정 비트의 부호 정보를 역양자화하여 펄스 부호를 복원한다. 위치 역-양자화기(611)는 위치 양자화기(605)로부터 출력된 소정 비트의 위치 정보를 역양자화하여 펄스 위치를 복원한다. The magnitude inverse quantizer 607 recovers the pulse size by inverse quantization of magnitude information of a predetermined bit output from the
도 7은 종래의 변환 부호화를 이용한 잔차 부호화 방법으로 처리된 음성 스펙트럼과 본 발명 방법으로 처리된 음성 스펙트럼을 원음과 비교한 그래프로서, 2.7 kHz~3.7 kHz대역의 음성 신호를 40 비트로 부호화한 후 복호화한 결과를 나타낸다. 비교의 편리를 위해 나머지 대역은 모두 종래의 방법을 사용하였다. FIG. 7 is a graph comparing a speech spectrum processed by a residual encoding method using a conventional transform encoding method and a speech spectrum processed by a method of the present invention with original sound. After decoding a speech signal in the 2.7 kHz to 3.7 kHz band with 40 bits, decoding is performed. One result is shown. For convenience of comparison, the remaining bands all used conventional methods.
원으로 표시된 부분에서 가장 위에 있는 신호가 원 음성의 스펙트럼이고, 중간에 있는 신호가 본 발명 방법으로 처리한 음성의 스펙트럼이며, 가장 아래에 있는 신호가 종래의 방법으로 처리한 음성의 스펙트럼이다. 그래프에서 보이는 바와 같이, 본 발명 방법으로 처리된 음성의 스펙트럼이 종래의 방법보다 원음의 스펙트럼과 더 유사하다.The uppermost signal in the circled portion is the spectrum of the original speech, the middle signal is the spectrum of speech processed by the method of the present invention, and the lowermost signal is the spectrum of speech processed by the conventional method. As can be seen from the graph, the spectrum of speech processed by the method of the present invention is more similar to the spectrum of the original sound than the conventional method.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
상기와 같은 본 발명은, 종래의 변환 부호화를 이용한 잔차 신호 부호화 방법을 개선하여 변환 부호화 방법에서 선형 예측 부호화(linear predictive coding) 모델 및 트랙 구조를 채용함으로써 음질을 개선하고 메모리 및 계산량을 줄일 수 있다.As described above, the present invention can improve the sound quality and reduce the memory and the calculation amount by adopting a linear predictive coding model and a track structure in the transform coding method by improving the residual signal coding method using the conventional transform coding. .
Claims (26)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/441,955 US7599833B2 (en) | 2005-05-30 | 2006-05-26 | Apparatus and method for coding residual signals of audio signals into a frequency domain and apparatus and method for decoding the same |
US12/420,215 US20090210219A1 (en) | 2005-05-30 | 2009-04-08 | Apparatus and method for coding and decoding residual signal |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050045752 | 2005-05-30 | ||
KR20050045752 | 2005-05-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060124568A KR20060124568A (en) | 2006-12-05 |
KR100789368B1 true KR100789368B1 (en) | 2007-12-28 |
Family
ID=37729282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060042645A KR100789368B1 (en) | 2005-05-30 | 2006-05-11 | Apparatus and Method for coding and decoding residual signal |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100789368B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228991A (en) * | 2014-06-26 | 2016-12-14 | 华为技术有限公司 | Decoding method, Apparatus and system |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101441897B1 (en) | 2008-01-31 | 2014-09-23 | 삼성전자주식회사 | Method and apparatus for encoding residual signals and method and apparatus for decoding residual signals |
KR101426271B1 (en) | 2008-03-04 | 2014-08-06 | 삼성전자주식회사 | Method and apparatus for Video encoding and decoding |
CN102396024A (en) | 2009-02-16 | 2012-03-28 | 韩国电子通信研究院 | Encoding/decoding method for audio signals using adaptive sine wave pulse coding and apparatus thereof |
JP5730860B2 (en) | 2009-05-19 | 2015-06-10 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute | Audio signal encoding and decoding method and apparatus using hierarchical sinusoidal pulse coding |
KR101325760B1 (en) * | 2009-12-17 | 2013-11-08 | 한국전자통신연구원 | Apparatus and method for audio codec |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1020892A (en) | 1996-06-28 | 1998-01-23 | Nec Corp | Speech communication device |
KR20000074088A (en) * | 1999-05-18 | 2000-12-05 | 윤종용 | Speech coding/decoding device and method therof |
KR20040080726A (en) * | 2003-03-13 | 2004-09-20 | 한국전자통신연구원 | Apparatus for coding wide-band low bit rate speech signal |
-
2006
- 2006-05-11 KR KR1020060042645A patent/KR100789368B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1020892A (en) | 1996-06-28 | 1998-01-23 | Nec Corp | Speech communication device |
KR20000074088A (en) * | 1999-05-18 | 2000-12-05 | 윤종용 | Speech coding/decoding device and method therof |
KR20040080726A (en) * | 2003-03-13 | 2004-09-20 | 한국전자통신연구원 | Apparatus for coding wide-band low bit rate speech signal |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228991A (en) * | 2014-06-26 | 2016-12-14 | 华为技术有限公司 | Decoding method, Apparatus and system |
US10339945B2 (en) | 2014-06-26 | 2019-07-02 | Huawei Technologies Co., Ltd. | Coding/decoding method, apparatus, and system for audio signal |
CN106228991B (en) * | 2014-06-26 | 2019-08-20 | 华为技术有限公司 | Decoding method, apparatus and system |
US10614822B2 (en) | 2014-06-26 | 2020-04-07 | Huawei Technologies Co., Ltd. | Coding/decoding method, apparatus, and system for audio signal |
Also Published As
Publication number | Publication date |
---|---|
KR20060124568A (en) | 2006-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7599833B2 (en) | Apparatus and method for coding residual signals of audio signals into a frequency domain and apparatus and method for decoding the same | |
JP5343098B2 (en) | LPC harmonic vocoder with super frame structure | |
JP6704037B2 (en) | Speech coding apparatus and method | |
US6721700B1 (en) | Audio coding method and apparatus | |
KR100304092B1 (en) | Audio signal coding apparatus, audio signal decoding apparatus, and audio signal coding and decoding apparatus | |
KR20090083069A (en) | Method and apparatus for encoding audio signal, and method and apparatus for decoding audio signal | |
CN101542599A (en) | Method, apparatus, and system for encoding and decoding broadband voice signal | |
CA2578610A1 (en) | Voice encoding device, voice decoding device, and methods therefor | |
CN101131820A (en) | Coding device, decoding device, coding method, and decoding method | |
JP5863765B2 (en) | Encoding method and apparatus, and decoding method and apparatus | |
KR100789368B1 (en) | Apparatus and Method for coding and decoding residual signal | |
KR20070083957A (en) | Vector conversion device and vector conversion method | |
JP5544370B2 (en) | Encoding device, decoding device and methods thereof | |
KR100499047B1 (en) | Apparatus and method for transcoding between CELP type codecs with a different bandwidths | |
US20090210219A1 (en) | Apparatus and method for coding and decoding residual signal | |
US20130268268A1 (en) | Encoding of an improvement stage in a hierarchical encoder | |
CN112970063A (en) | Method and apparatus for rate quality scalable coding with generative models | |
JP4359949B2 (en) | Signal encoding apparatus and method, and signal decoding apparatus and method | |
KR100707184B1 (en) | Audio coding and decoding apparatus and method, and recoding medium thereof | |
JP4618823B2 (en) | Signal encoding apparatus and method | |
JP4287840B2 (en) | Encoder | |
KR100682966B1 (en) | Method and apparatus for quantizing/dequantizing frequency amplitude, and method and apparatus for encoding/decoding audio signal using it | |
KR20080092823A (en) | Apparatus and method for encoding and decoding signal | |
Bakır | Compressing English Speech Data with Hybrid Methods without Data Loss | |
Mikhael et al. | A new linear predictor employing vector quantization in nonorthogonal domains for high quality speech coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121129 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20131128 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20151127 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20161121 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20181025 Year of fee payment: 12 |