KR20060011854A - 소거된 주기 신호 데이터를 은닉하는 장치 및 방법 - Google Patents

Abstract

본 발명의 회로 및 방법은 과거 주기 신호 데이터 입력을 사용하여, 대체에 의해 음성 신호 데이터 또는 유사한 주기 신호 데이터의 소거를 보상한다. 소정의 수의 최근의 주기 신호 데이터가 저장된 이후에, 소거가 발생하는지 여부는 프로세싱의 단위인 매 주기 신호 데이터 시퀀스마다 판정된다. 소거가 발생하는 경우, 사용되도록 결정된 세그먼트 내에 존재하는 저장된 주기 신호 데이터 시퀀스 중 하나가 대체용 합성 데이터를 발생시키는데 사용된다. 사용될 세그먼트의 위치는, 프로세싱의 단위에 걸쳐 소거가 계속되는 경우, 그 위치가 각 프로세싱 단위에 대해 점진적으로 순차적으로 변하도록 결정된다.

보상 회로, 위치 제어기, 주기 신호

Description

소거된 주기 신호 데이터를 은닉하는 장치 및 방법{APPARATUS AND METHOD FOR CONCEALING ERASED PERIODIC SIGNAL DATA}

본 발명은 소거된 주기 신호 데이터를 보상하는 보상 회로 및 그 보상 방법에 관한 것이고, 예를 들어, 음성 신호의 소거 (erasure) 의 보상에 적용될 수 있다.

오늘날, 인터넷 또는 유사한 통신 네트워크를 통한 음성 통신이 광범위하게 사용되지만, 그 네트워크를 통해 전송된 음성은 부분적으로 소거되거나 소실되어서 음성 품질의 저하를 초래하게 된다. 저하된 음성 품질을 향상시키기 위해, ITU-T (International Telecommunication Union-Telecommunication Standardization Sector; 국제 통신 협회-통신 표준화 부문) 권고문 (Recommendation) G.711 부록Ⅰ에 교시된 방법이 이용가능하다.

상기 문서에 교시된 방법에 따르면, 네트워크를 통해 도달되는 코딩 음성 신호는 음성 디코더에 의해 디코딩되고, 그 후 보상 회로에 입력된다. 보상 회로는, 음성 신호 디코딩의 단위인 음성 프레임을 기초로, 입력 디코딩 음성 신호를 모니터링하고, 음성의 소거가 발생할 때마다 보상을 실행한다. 좀더 상세하게는, 임의의 음성이 미싱 (missing) 될 때, 보상 회로는 소거가 발생한 시간 직전에 수신되어, 예를 들어, 그 회로에 포함된 메모리에 저장된 음성 데이터에 기초하여, 상기 시간 근방의 주기 또는 파형 주파수를 결정한다. 결과적으로, 프레임의 시작 위상이 직전 프레임의 종료 위상과 일치함으로써 파형 주기의 연속성을 유지하도록, 보상 회로는 메모리에 저장된 음성 데이터를 판독하고, 소거와 관련되고 음성 신호 대체 (substitution) 를 필요로 하는 프레임을 그 데이터로 대체한다.

보상 회로의 메모리는, 예를 들어, 3 개의 연속 파형 주기까지 음성 데이터를 저장할 수 있을 정도로 큰 저장 용량을 가져서, 단일의 연속하는 파형에 기인하는 바람직하지 않은 톤이 음성 데이터의 3 개의 파형 주기의 사용에 의해 제거될 수 있다. 음성 데이터의 오직 하나의 파형 주기만이 저장되어야 한다면, 대체용으로 반복 사용될 경우에, 불필요한 톤이 발생한다.

그러나 소거의 보상을 위해 음성 데이터의 3 개의 파형 주기까지 저장하는 것은, 메모리, 그 액세스 구성, 및 이에 따른 전체 보상 회로를 확대하지 않고는 실시할 수 없다. 또한, 소거 프레임이 연속적으로 발생할 경우에, 대체 음성 데이터를 형성하는데 사용하기 위한 섹션은 파형 주기의 배수로 확장되었다. 따라서, 소거 프레임이 연속적으로 오는 경우, 대체 데이터를 형성하는데 이용가능한 음성 데이터는 결과적으로 더 긴 섹션으로부터 획득된다. 따라서, 대체된 음성의 음색 변동에서의 자연스러움이 손상될 수도 있다.

발명의 요약

본 발명의 목적은 상술한 결점이 없고 주기 신호의 부분적 소거를 은닉할 수 있는 보상 회로 및 그 보상 방법을 제공하는 것이다.

본 발명에 의하면, 소거된 주기 신호 데이터를 과거 주기 신호 데이터 입력으로 대체하기 위한 보상 회로는 소정의 수의 최근 주기 신호 데이터 입력을 저장하기 위한 과거 데이터 저장 회로를 포함한다. 판정 회로는, 프로세싱의 단위인 매 주기 신호 데이터 시퀀스마다 소거가 발생하는지 여부를 판정한다. 소거가 발생하는 경우, 대체 회로는, 과거 데이터 저장 회로에 저장된 주기 신호 데이터 시퀀스 중에서, 소정의 세그먼트에 존재하는 주기 신호 데이터 시퀀스를 사용하여 대체 또는 보간용 합성 데이터를 발생시키는데 사용된다. 복수의 프로세싱의 단위에 걸쳐 소거가 계속될 경우, 위치 제어기는 사용될 세그먼트의 위치가 각 프로세싱의 단위마다 변하도록 그 세그먼트의 위치를 결정한다.

또한, 본 발명에 의하면, 소거된 주기 신호 데이터를 과거 주기 신호 데이터 입력으로 대체하는 보상 방법은 소정의 수의 최근의 주기 신호 데이터 입력을 저장하는 과거 데이터 저장 단계로 시작된다. 소거가 발생하는지 여부는 프로세싱의 단위인 매 주기 신호 데이터 시퀀스마다 판정된다. 소거가 발생하면, 사용될 소정의 세그먼트에 존재하는 주기 신호 데이터 시퀀스는, 과거 데이터 저장 단계에서 저장된 주기 신호 데이터 시퀀스 중에서 사용되어, 대체 또는 보간용 합성 데이터를 발생시킨다. 또한, 소거가 복수의 프로세싱의 단위에 걸쳐 계속되는 경우, 사용될 세그먼트의 위치는 그 위치가 각 프로세싱의 단위마다 변경되도록 결정된다.

본 발명의 목적 및 특징은 첨부 도면과 관련하여 다음의 상세한 설명을 고려함으로써 명백해질 것이다.

도 1은 본 발명을 구현하는 소거 보상 회로를 도시한 개략 블록도이다.

도 2는 예시적인 실시형태에 포함된 자기상관 계산 회로에 의해 실행되는 프로세싱의 특정 결과를 도시한 그래프이다.

도 3은 대체용 합성 음성 데이터를 발생시키기 위한 예시적인 실시형태에 의해 실행되는 절차를 나타낸다.

도 4는 대체용으로 사용될 과거 음성 데이터의 범위를 정하는 활성 세그먼트를 결정하기 위한 예시적인 실시형태에 의해 역시 실행되는 절차를 도시한 것이다.

도 5는 본 발명의 대안적인 실시형태에 따라 실행되는 활성 세그먼트 결정 절차를 도시한 것이다.

도 6은 본 발명의 다른 대안적인 실시형태에 따라 실행되는 활성 세그먼트 결정 절차를 도시한 것이다.

도 7은 본 발명의 또 다른 대안적인 실시형태에 따라 실행되는 활성 세그먼트 결정 절차를 도시한 것이다.

도 8은 종래의 음성 소거 보상 방법을 도시한 것이다.

도면의 도 1을 참조하면, 본 발명을 구현한 음성 소거 보상 회로는 음성 신호에 예로써 적용된다. 도 1에서 도시된 회로는, 이하에서 설명되는 기능을 달성할 수 있는 한, 하드웨어에 의해 전부 구현되거나 소프트웨어에 의해 부분적으로 구현될 수도 있다.

도 1에 도시한 바와 같이, 음성 소거 보상 회로 (일반적으로 도면부호 10) 는 도시된 바와 같이 상호 접속된, 음성 대체 회로 (12), 2 개의 데이터 메모리 ((A) ; 14 및 (B) ; 16), 소거 판정 회로 (18), 음성 데이터의 주기를 검출하기 위한 자기상관 계산 회로 (20), 및 대체 제어기 (22) 를 포함한다. 또한, 회로 (10) 는 음성 디코더 (26) 를 포함하는데, 음성 디코더는 입력 포트 (30) 에서 네트워크를 통해 수신된 음성 데이터를 디코딩하도록 구성되고, 음성 대체 회로 (12) 의 입력부에 접속된 자신의 출력 포트 (24) 를 가진다.

음성 디코더 (26) 로부터 입력부 (24) 를 통해 디코딩 음성 데이터를 수신하면, 음성 대체 회로 (12) 는, 음성 데이터가 소거되지 않으면 음성 데이터를 단순히 통과시킨다. 음성 데이터가 소거되면, 음성 대체 회로 (12) 는 대체 제어기 (22) 의 제어에 따라, 데이터 메모리 (16) 에 저장된 음성 데이터를 사용함으로써 대체 또는 보간을 수행한다.

음성 디코더 (26) 로부터 출력되며, 문맥상 종종 완전 음성 데이터로 지칭되는, 비-소거 음성 데이터는 음성 대체 회로 (12) 를 통해 데이터 메모리 (14) 에 입력되고 소거의 보상용으로 사용된다. 예시적인 실시형태에서, 데이터 메모리 (14) 에 저장될 음성 데이터의 지속 기간은 종래의 회로에서보다 더 짧다. 예를 들어, 데이터 메모리 (14) 는 음성 데이터의 많아야 수 개의 파형 주기를 저장할 정도의 저장 용량을 가진다. 음성 데이터의 파형 주기는, 물론 설계자에 의해 적절히 선택될 수 있더라도, 5 내지 15 밀리초 (milliseconds) 의 범위에 있다. 데이터 메모리 (14) 는 다른 데이터 메모리 (16) 에 접속되는 출력부 (32) 를 가진다.

음성 데이터의 대체가 실행되어야 하는 경우, 데이터 메모리 (14) 에 저장된 음성 데이터는 데이터 메모리 (16) 에 복사된다. 이것은, 데이터 메모리 (14) 에 저장된 음성 데이터가 업데이트되는 경우에도, 대체 직전에 나타난 음성 데이터가 데이터 메모리 (16) 에 보존되도록 한다.

소거 판정 회로 (18) 는 음성 데이터가 소거되는지 여부를 판정한다. 예를 들어, 도달된 음성 프레임의 순서를 나타내는 프레임 번호가 획득되지 않은 경우, 획득된 프레임 번호가 과거 프레임 번호와 동일한 경우, 또는 프레임 번호가 획득되었지만 이와 관련된 음성 데이터가 예를 들어, 검출된 에러로 인해, 디코딩될 수 없는 경우, 소거 판정 회로 (18) 는 문제의 프레임 번호에 의해 지정된 프레임의 음성 데이터가 미싱된 것으로 결정한다. 원한다면, 소거 판정 회로 (18) 의 기능은 음성 디코드 (26) 에 할당될 수도 있다. 어떤 경우에, 소거 판정 회로 (18) 는 음성 소거 보상 회로 (10) 의 일부를 형성한다. 소거 판정 회로 (18) 로부터 출력된 판정의 결과는 대체 제어기 (22) 및 자기상관 계산 회로 (20) 에 전달된다.

음성 데이터가 미싱된 경우, 자기상관 계산 회로 (20) 는 대체 제어기 (22) 의 제어에 따라, 데이터 메모리 (14) 에 저장된 음성 데이터 시퀀스의 자기상관 값을 계산한 후, 그 자기상관 값으로부터 파형 주기 (34) 및 시프트 주기 (36) 를 생성하며, 이에 의해 동기 (同期) 를 검출한다. 따라서, 생성된 파형 주기와 시 프트 주기 (34 및 36) 는 대체 제어기 (22) 에 제공된다.

도 2는 자기상관 계산 회로 (20) 로부터 출력된 계산의 특정 결과를 나타낸 그래프인데, 가로좌표는 시프트의 양을 나타내고 세로좌표는 시프트의 양에 대응하는 자기상관을 나타낸다. 파형 주기는 음성 데이터 시퀀스에 특정된 주기에 관한 종래의 기본 정보를 지칭한다. 예시적인 실시형태에서, 일반적으로 5 내지 15 밀리초의 범위에 있는 음성 데이터의 파형 주기는 상기 범위 내의 최대 자기상관을 갖는 시프트의 양을 지칭한다. 물론, 원한다면, 파형 주기 탐색의 범위는 상기 범위보다 더 넓거나 더 좁을 수도 있다.

한편, 음성 데이터, 즉 제 2 프레임을 수반하는 프레임의 음성 데이터가 2 개 이상의 연속적인 프레임에 걸쳐 미싱된 경우, 시프트 주기는, 데이터 메모리 (16) 내의 음성 데이터 세그먼트를 정의하는 정보로서 검출되고 보간되는데 사용된다. 시프트 주기는, 파형 주기보다 더 좁은 시프트량에 존재하는 최고 피크 자기상관 값에서의 시프트의 양에 의해 구현된다. 시프트 주기는 또 다른 관점에서 정의될 수도 있다. 예를 들어, 시프트의 양이 파형 주기의 ¼ 내지 ¾의 범위에 존재하는 피크 자기상관 값에 대응하는 추가적인 조건이 판정에 사용될 수도 있다.

일반적으로, 음성 신호는 서로 오버랩되는 복수의 주파수 성분으로 구성되어서, 복수의 피크 자기상관 값이 파형 주기 밖에서도 나타난다. 미리 선택된 조건을 만족하는 복수의 피크 자기상관 값 중 하나가 시프트 주기로서 사용된다.

파형과 시프트 주기는 상술한 자기상관을 사용하는 방법, 예를 들어, 주파수 분석을 사용하는 방법 이외의 임의의 적절한 방법에 의해 결정될 수도 있다.

도 1을 다시 참조하면, 대체 제어기 (22) 는 전체 보상 회로 (10) 를 제어하여, 소거된 프레임을 음성 데이터로 대체한다. 자기상관 계산 회로 (20) 는 과거 소정의 수의 음성 데이터와 최근의 완전 음성 데이터를 기준으로서 사용하여 자기상관을 생성한다. 이것은, 음성 데이터가 미싱된 프레임 직전에 나타난 음성 데이터 시퀀스의 마지막 위상을 보상 회로 (10) 가 안다는 것을 의미한다.

상기 구성을 갖는 보상 회로 (10) 의 동작은 도 3a 내지 도 3d 및 도 4를 참조하여 설명한다. 다음의 설명에서, 데이터 메모리 (14 및 16) 의 저장 영역은 각각 버퍼 A 및 버퍼 B로서 지칭한다. 명확하게 도시되거나 설명되지 않았더라도, ITU-T G.711에서 설명된 오버랩 추가 프로세싱이 실행될 수도 있다.

도 3의 부분 [A]에 도시된 바와 같이, 보상 회로 (10) 에 입력된 음성 데이터가 버퍼 A에 기입되는 동안, 버퍼 A의 내용은 매 프레임마다 업데이트된다. 버퍼 A의 용량은 최대 파형 주기 길이의 수 배일 수도 있으나, 이에 제한되지 않는다.

음성 데이터가 소거된 프레임이 발생하는 경우, 전술한 파형과 시프트 주기는 버퍼 A에 저장된 음성 데이터 시퀀스로부터 계산되고, 그 후, 음성 데이터의 소거가 종료할 때까지 기억된다. 또한, 버퍼 A에 저장된 음성 데이터 시퀀스는 대체용으로 합성 음성 데이터를 생성하기 위해 버퍼 B에 복사되고, 소거가 종료할 때까지 버퍼 B에 유지된다. 이 경우에, 합성 음성 데이터의 일 프레임은 음성 데이터의 일 파형 주기로부터 생성되어, 재구성된 파형 데이터 또는 음성 데이터가 출력된다.

먼저, 대체용으로 합성 음성 데이터를 생성하기 위한 절차는 음성 데이터가 오직 한 프레임에서만 미싱된다는 가정하에 설명된다. 이 경우에, 대체용으로 사용될 음성 데이터는 소거가 발생하기 직전의 포인트로부터 상기 포인트의 일 파형 주기 이전의 포인트로 연장된다. 이 세그먼트는 종종 활성 세그먼트로 지칭된다. 도 3의 부분 [B]에 도시된 바와 같이, 소거의 시작의 일 파형 주기 이전에 나타난 음성 데이터가 대체용 음성 데이터의 시작 포인트 (311) 로서 사용된다. 대체용 음성 데이터를 생성하기 위해, 시작 포인트 (311) 로부터 일 파형 주기의 우측 단 (313) 으로 연장하는 음성 데이터가 사용된다. 도면부호 301로 식별된 대체용 음성 데이터가 일 파형 주기의 우측 단 (313) 에서도 일 프레임 부족하다면, 절차는 좌측 단 (314) 으로 복귀한다.

대체용 음성 데이터를 생성하기 위해, 절차가 우측 단 (313) 으로부터 좌측 단 (314) 으로 복귀하는 경우, 그 절차는, 주기의 ¼에 각각 대응하는 우측 단 (313) 의 좌측의 세그먼트 및 좌측 단 (314) 의 좌측의 세그먼트가 서로 오버랩하도록 하여, 우측 단 (313) 으로부터 좌측 단 (314) 으로의 연속적인 천이를 달성한다. 이러한 오버랩 방식은 ITU-T 권고문 G.711에서 "오버랩 부가 (overlap add)"로서 정의된다. 또한, 주기의 ¼에 각각 대응하는, 음성의 소거 직전의 세그먼트와 제 1 프레임의 좌측에서의 세그먼트는 서로 오버랩되어서, 소거 직전의 음성 데이터로부터 합성 음성 데이터로 연속적인 천이가 발생한다. ITU-T 권고문 G.711에 기초한 오버랩 방식은 단지 예시적인 것이고, 음성 파형을 연속적으로 접속할 수 있는 임의의 다른 방식으로 대체될 수도 있다.

이하, 음성이 2 개의 연속적인 프레임에 걸쳐 소거되는 경우에 대체용의 합성 음성 데이터가 어떻게 생성되는지를 설명한다. 음성 데이터가 미싱된 제 1 프레임에 대하여, 합성 음성 데이터는, 음성이 오직 하나의 프레임에서 미싱되는 경우와 동일한 방식으로 생성된다. 또한, 음성 데이터가 미싱된 제 2 프레임에 대한 합성 음성 신호는 다음의 절차에 의해 발생된다.

먼저, 도 3의 부분 [C]에 도시한 바와 같이, 활성 세그먼트는 제 1 프레임의 대체용으로 사용된 위치로부터, 일 시프트 주기 (320) 만큼 좌측으로 시프트된다. 대체용 음성 데이터 (302) 는 그 결과로서 발생하는 새로운 활성 세그먼트 (326) 로부터 생성된다. 활성 세그먼트 (326) 는 다음의 방식에 따라 결정된 시작 포인트 (321) 를 가진다.

제 1 프레임용으로 사용되는 활성 세그먼트의 종료 포인트는 도 3의 부분 [B]에 도시된 종료 포인트 (312) 와 일치하는 임시 시작 포인트 (325) 라고 가정한다. 임시 시작 포인트 (325) 가 좌측 단 (324) 과 우측 단 (323) 사이의 현재의 활성 세그먼트 (326) 에 존재한다면, 임시 시작 포인트 (325) 는 실제의 시작 포인트로서 사용된다. 임시 시작 포인트 (325) 가 현재의 활성 세그먼트 (326) 에 있지 않다면, 일 파형 주기 만큼 임시 시작 포인트 (325) 로부터 좌측으로 시프트된 세그먼트 (326) 의 포인트는 실제의 시작 포인트 (321) 인 것으로 결정된다. 제 2의 소거된 프레임에 대한 음성 데이터의 발생은 그러한 실제의 시작 포인트에 위치한 음성 데이터로 시작된다.

또한, 주기의 ¼에 각각 대응하는 제 1 프레임의 종료 포인트 (312) 의 우측의 세그먼트와 제 2 프레임의 시작 포인트 (321) 의 우측의 세그먼트는, 제 1 프레임의 음성 데이터로부터 제 2 프레임의 음성 데이터로의 연속적인 천이를 보장하도록 서로 오버랩된다. ITU-T 권고문 G.711에 기초한 오버랩 방식은, 전술한 바와 같이, 음성 파형을 연속적으로 접속할 수 있는 임의의 다른 방식으로 대체될 수도 있다.

음성 데이터가 3 개 이상의 연속적인 프레임에 걸쳐 미싱되는 경우, 제 3 프레임에서 대체될 합성 음성 데이터는, 제 2 프레임에서 대체되는 합성 음성 데이터와 동일한 방식, 즉, 시프트 주기에 기초하여 활성 세그먼트를 결정하고, 그 활성 세그먼트 내의 시작 포인트를 결정한 후, 대체용 음성 데이터를 생성함으로써 생성된다 (도 3의 부분 [D]).

제 2 및 후속하는 소거 프레임에서 대체될 합성 음성 데이터 각각은 출력되기 전에 연속적으로 감쇠한다. 감쇠비가 100%를 초과하는 경우, 음성 데이터로서 제로 (0) 가 출력된다.

또한, 제 3 및 후속하는 프레임에 대하여, 활성 세그먼트는, 상술한 바와 같이, 한번에 일 시프트 주기만큼 프레임 단위로 좌측으로 순차적으로 시프트한다. 따라서, 일 시프트 주기 만큼 좌측으로 시프트하는 활성 세그먼트는 버퍼 B의 범위를 초과할 것이다. 이러한 경우, 대체용 합성 음성 데이터는, 이후 도 4를 참조하여 설명되는 절차에 의해 생성된다.

도 4는 버퍼 B에서의 활성 세그먼트의 변화를 나타낸 것이다. 도시된 바 와 같이, 제 2 및 후속하는 프레임에 대하여, 파형 주기에 기초하여 제 1 프레임에 할당된 활성 세그먼트 (B1) 는 한번에 일 시프트 주기 만큼 프레임 단위로 활성 세그먼트 (B2 및 B3) 로 순차적으로 시프트한다. 그 결과, 활성 세그먼트 (B3) 를 따르는 활성 세그먼트 (341) 가, 활성 세그먼트 (B4) 에 의해 나타난 바와 같이 버퍼 B의 좌측 단 (351) 의 좌측을 포함할 수도 있다. 이 경우, 활성 세그먼트 (341) 는 일 파형 주기 만큼 우측으로 시프트하고, 그 결과로서 발생하는 세그먼트는 합성 음성 데이터의 발생을 위한 활성 세그먼트 (342) 로서 사용된다.

좀더 상세하게, 활성 세그먼트 (342) 는 다음의 방식으로 결정된 시작 포인트 (344) 를 가진다. 이전 프레임의 종료 포인트 (330) 와 일치하는 임시 시작 포인트 (343) 가 세그먼트 (342) 에 존재한다면, 그 임시 시작 포인트가 시작 포인트로서 결정된다. 임시 시작 포인트 (343) 가 세그먼트 (342) 에 존재하지 않는다면, 활성 세그먼트 (342) 는, 이전 프레임의 종료 포인트 (330) 가 세그먼트 (342) 를 진입할 때까지 한번에 일 파형 주기 만큼 우측으로 순차적으로 시프트한다. 후속하는 다른 프레임에서도 음성이 미싱될 경우, 활성 세그먼트 (B5 및 B6) 각각은 일 시프트 주기 만큼 좌측으로 시프트하며, 그 후 버퍼 B의 범위를 초과한다면, 일 파형 주기 만큼 우측으로 시프트한다.

소거 후에 완전 음성 데이터 시퀀스가 다시 나타나는 경우, ITU-T G.711 표준에 기초한 오버랩 프로세싱은, 대체된 합성 음성 데이터로부터 실제 음성 데이터로의 연속적인 천이를 보장하기 위해 바람직하게 실행되어야 한다. 이때, 오버랩 프로세싱은 마지막 합성 음성 데이터의 종료 포인트의 우측과 실제 음성 데이터 의 시작 포인트를 사용한다. 물론, 상기 오버랩 프로세싱은, 연속적인 천이를 구현할 수 있는 임의의 다른 프로세싱으로 대체될 수도 있다.

상술한 바와 같이, 예시적인 실시형태는, 2 개의 상이한 주기, 즉 파형 주기 및 시프트 주기를 계산함으로써 대체용 합성 음성 데이터를 생성하고, 계산된 시프트 주기를 기초로 과거 음성 데이터가 사용되는 활성 세그먼트를 프레임 단위로 시프트시킨다. 따라서, 활성 세그먼트는, 이전의 활성 세그먼트를 오버랩하면서, 순차적으로 이동한다. 이것은 작은 용량을 갖는 메모리가 과거 음성 데이터를 저장하는데 충분하게 하고, 따라서 전체 보상 회로의 스케일을 감소시킨다.

물론, 예시적인 실시형태는 큰 용량을 갖는 종래의 메모리와 유사하게 실행가능한데, 이 경우에는 다수의 파형 데이터 또는 활성 세그먼트가 사용될 수 있다. 이것은 합성 음성 데이터가 많은 종류의 변형을 포함하도록 하며, 따라서, 자연스럽게 들리게 한다. 다른 방식으로, 더 큰 메모리 용량을 사용할 수 있는 회로의 경우, 더 많은 변형을 포함하는 음성 데이터를 발생시키며, 따라서, 더 자연스럽게 들리는 것이 가능하다.

또한, 예시적인 실시형태는 활성 세그먼트를 점진적으로 시프트시키고, 따라서, 재구성된 음성으로서 바람직하지 않은 단일 파형의 연속적인 발생을 제거할 수 있다. 이것은, 청각에 대해 부자연스러운 느낌을 제거하는 자연스런 음성 데이터가 대체될 수 있음을 나타낸다. 또한, 예시적인 실시형태는 파형 주기로부터 유도된 시프트 주기의 사용으로 활성 세그먼트의 시프트 폭을 결정함으로써, 음성 데이터의 연속성을 보장한다.

본 발명에 따른 음성 소거 보상 회로의 대안적인 실시형태는 도 5를 참조하여 설명한다. 예시적인 실시형태가 이전 실시형태와 본질적으로 유사하기 때문에, 다음의 설명은 예시적인 실시형태에서 고유한 절차에 집중하도록 한다. 요컨대, 예시적인 실시형태는, 시프트 주기 만큼 좌측으로 시프트된 활성 세그먼트가 버퍼 B의 범위를 초과하는 경우에 활성 세그먼트를 결정하는 방법과 관련하여 이전의 실시형태와 다르다.

도 5는 활성 세그먼트가 예시적인 실시형태에서 어떻게 변하는지와 버퍼 B를 도시한 것이다. 도 5에 도시된 활성 세그먼트 (B1 내지 B3) 는 도 4에 도시된 활성 세그먼트 (B1 내지 B3) 와 동일하다. 도 5에 도시된 바와 같이, 시프트로부터 기인하는 새로운 활성 세그먼트 (501) 가 활성 세그먼트 (B4) 에 의해 나타난 바와 같이 버퍼 B의 좌측 단 (521) 의 좌측을 포함하는 경우, 음성 데이터의 대체용의 또 다른 활성 세그먼트 (503) 가 다음의 절차에 의해 다시 결정된다.

먼저, 활성 세그먼트는 일 파형 주기 만큼 활성 세그먼트 (501) 로부터 우측으로 시프트한다. 그 후, 그 결과로서 발생하는 새로운 활성 세그먼트 (502) 의 우측 단 (504) 이 버퍼 B의 최근의 일 파형 주기의 범위에 있는지 여부가 판정된다. 이 판정의 답이 긍정이면, 대체용 합성 음성 데이터가 활성 세그먼트 (502) 의 사용에 의해 생성된다. 상기 판정의 답이 부정이면, 활성 세그먼트는 동일한 판정을 반복하기 위해 또 다른 파형 주기 만큼 우측으로 더 시프트한다. 이런 절차는 시프트된 활성 세그먼트의 우측 단이 최근의 일 파형 주기에 진입할 때까지 반복된다.

좀더 상세하게, 새롭게 선택된 활성 세그먼트 (503) 의 시작 포인트를 결정하기 위해, 이전 프레임의 종료 포인트는, 이전 실시형태에서와 같이 시작 포인트가 활성 세그먼트 (503) 에 진입할 때까지, 한번에 일 파형 주기 만큼 우측으로 순차적으로 시프트한다.

음성 데이터의 소거가 상술한 프레임 이후에도 계속되는 경우, 활성 세그먼트 (503) 는 활성 세그먼트 (511) 에 의해 나타난 바와 같이 좌측으로 순차적으로 시프트한다.

상술한 바와 같이, 예시적인 실시형태는, 합성된 음성이 긴 소거 프레임을 만나는 경우에도 변하도록 구성된다. 이것은, 활성 세그먼트가 특정 범위에 연속적으로 포함되는 것을 방지하는 구조에 의해 달성된다. 이것은, 재생성된 합성 음성에서의 자연스러움을 유지하게 하며, 그렇지 않으면, 반복적인 단일 파형에 의해 발생되는 원하지 않는 톤의 사운드가 출력되는 것을 방지하게 한다.

본 발명에 따른 음성 소거 보상 회로의 또 다른 대안적인 실시형태를 설명하기 위해 도 6을 참조한다. 또한, 예시적인 실시형태는, 시프트 주기 만큼 좌측으로 시프트한 활성 세그먼트가 버퍼 B의 범위를 초과하는 경우에 활성 세그먼트를 결정하는 방법을 제외하고는, 도 3 및 도 4를 참조하여 설명된 실시형태와 동일하다. 도 6은 예시적인 실시형태에 특정된 활성 세그먼트의 변형과 버퍼 B를 도시한 것이다. 도 6에 도시된 활성 세그먼트 (B1 내지 B3) 는 도 4에 도시된 활성 세그먼트 (B1 내지 B3) 와 동일하다.

도 6에 도시된 바와 같이, 좌측으로의 시프트에 의해 새롭게 결정된 활성 세 그먼트 (601) 가 활성 세그먼트 (B4) 에 의해 나타난 바와 같이 버퍼 B의 좌측 단 (641) 의 좌측을 포함하는 경우, 활성 세그먼트 (601) 는 일 파형 주기 만큼 우측으로 시프트하며, 그 결과로서 발생하는 세그먼트 (602) 가 그 프레임의 활성 세그먼트라고 결정된다. 임시 시작 포인트가 활성 세그먼트 (602) 내에 존재하면, 이전 실시형태에서와 같이, 그 임시 시작 포인트가 활성 세그먼트 (602) 의 시작 포인트라고 결정되며, 그렇지 않으면, 임시 시작 포인트는 일 파형 주기 만큼 우측으로 시프트하고 그 후 시작 포인트로서 사용된다. 우측으로의 시프트는, 후속 프레임에서 소거가 연속적으로 발생하는 경우에 반복된다.

시프트 주기를 기초로 달성되는 우측으로의 반복된 시프트에 기인하는 활성 세그먼트 (631) 가 버퍼 B의 우측 단 (642) 의 우측을 포함하는 경우, 활성 세그먼트 (631) 를 일 파형 주기 만큼 좌측으로 시프트시킴으로써 새로운 활성 세그먼트 (632) 가 선택되어, 이에 의해 합성 음성 데이터를 발생시킨다. 활성 세그먼트 (632) 내의 시작 포인트 (634) 는, 방향이 반대이지만 이전 실시형태에서와 동일한 방식으로 결정된다. 후속 프레임에서 소거가 연속적으로 발생하는 경우, 활성 세그먼트의 좌측으로의 시프트는 한번에 시프트 주기 만큼 반복된다. 상술한 절차는 소거가 종료할 때까지 반복된다.

상술한 바와 같이, 예시적인 실시형태는 서로 근접해 있는 근처 프레임의 활성 세그먼트의 위치를 확인함으로써, 대체용 합성 음성 데이터도 시간에 따라 서로 근접하게 한다. 이것은, 프레임 간의 천이가 자연스럽도록 하기 위해 근처 프레임에서의 대체된 파형 간의 연속성을 보장한다.

또한, 예시적인 실시형태는, 이전 실시형태에서와 같이, 활성 세그먼트가 특정 범위에 연속적으로 존재하는 것을 방지하도록 구성되어, 대체된 음성이 가변적이 되게 한다. 이것은, 그렇지 않으면 단일 파형을 반복함으로써 야기되는 원하지 않는 톤의 사운드가 재생되는 것을 방지한다.

도 7을 참조하면, 음성 소거 보상 회로의 또 다른 대안적인 실시형태가 본 발명에 따라 설명된다. 또한, 예시적인 실시형태는, 시프트 주기 만큼 좌측 또는 우측으로 시프트한 활성 세그먼트가 버퍼 B의 범위를 초과한 경우에 활성 세그먼트를 판정하는 방법을 제외하고 도 3 및 도 4를 참조하여 설명된 실시형태와 동일하다. 도 7은 예시적인 실시형태에 특정된 활성 세그먼트의 변형 및 버퍼 B를 도시한 것이다. 도 7에 도시된 활성 세그먼트 (B1 내지 B3) 는 도 4에 도시된 활성 세그먼트 (B1 내지 B3) 와 동일하다.

도 7에 도시된 바와 같이, 직전의 활성 세그먼트 (711) 를 시프트시킴으로써 선택된 활성 세그먼트 (701) 가, 활성 세그먼트 (B4) 에 의해 나타난 바와 같이 버퍼 B의 좌측 단 (741) 의 좌측을 포함하는 경우, 활성 세그먼트 (701) 는 그 세그먼트 (701) 의 좌측 단 (703) 이 버퍼 B의 좌측 단 (741) 과 일치할 때까지 우측으로 시프트한다. 그 결과로서 발생하는 새로운 세그먼트 (702) 는 합성 음성 데이터의 발생을 위한 활성 세그먼트로서 사용된다. 세그먼트 (702) 내의 시작 포인트에 관하여, 임시 시작 포인트는, 세그먼트 (702) 내에 존재하면, 시작 포인트라고 결정되거나, 그렇지 않으면, 도 4에 도시된 절차에서와 같이 일 파형 주기 만큼 좌측으로 시프트된다.

후속 프레임에서도 소거가 계속되는 경우, 활성 세그먼트의 우측으로의 시프트는 한번에 시프트 주기 만큼 반복된다. 각 활성 세그먼트 내의 시작 포인트는 도 6의 절차에서와 동일한 방식에 의해 결정된다.

우측으로의 시프트로부터 기인한 활성 세그먼트 (731) 가 활성 세그먼트 (B7) 에 의해 나타난 바와 같이 버퍼 B의 우측 단 (742) 의 우측을 포함하는 경우, 세그먼트 (731) 는, 세그먼트 (731) 의 우측 단 (733) 이 버퍼 B의 우측 단(742) 과 일치할 때까지 좌측으로 시프트한다. 이러한 좌측으로의 시프트에 의해 결정된 세그먼트 (732) 는 합성 음성 데이터의 발생을 위한 활성 세그먼트로서 사용된다.

또한, 후속 프레임에서도 소거가 계속되는 경우, 활성 세그먼트의 좌측으로의 시프트는 한번에 시프트 주기 만큼 반복된다. 또한, 각 활성 세그먼트 내의 시작 포인트는 도 6의 절차에서와 동일한 방식에 의해 결정될 수도 있다.

소거된 프레임이 긴 시간의 주기에 걸쳐 연속적으로 발생하는 경우, 예시적인 실시형태는, 실패 없는 대체 음성 데이터의 발생을 위해 버퍼 B에 저장된 음성 데이터의 전체 범위를 사용할 수 있으며, 따라서, 자연스럽게 들리는 대체된 음성을 출력할 수 있다. 예시적인 실시형태는 작은 용량을 갖는 메모리로 용이하게 실시가능하다.

또한, 예시적인 실시형태는 대체된 음성의 파형이 전체 버퍼 B의 변형을 포함하는 것을 허용하고, 동시에, 단일의 연속적인 파형에 기인하는 바람직하지 않은 톤을 제거한다.

도 8은, 예를 들어, 3 개의 파형 주기까지에 걸쳐 음성 데이터를 저장할 정도로 용량이 큰 내부 메모리 (800) 를 사용하는 종래의 음성 소거 보상 방법을 나타낸 것이다. 따라서, 메모리 (800) 내에 저장된 음성 데이터는 단일의 연속적인 파형에 기인하는 톤을 제거하는데 사용된다. 그러나, 이 방법은 메모리 (800) 및 그 액세스 구성을 확대하여, 전체 보상 회로의 스케일을 증가시킨다.

또한, 도 8의 방법에 따라서, 소거된 프레임이 연속적으로 발생하는 경우, 합성 음성 데이터의 발생용으로 사용될 세그먼트는 파형 주기를 기초로 연장된다. 결과적으로, 연속적으로 소거된 프레임에 대해, 음성 데이터의 발생용 음성 데이터는 넓은 범위에서 수집되어, 대체된 음성의 자연적인 변형을 저하시키는 경향이 있다.

이와 반대로, 도시되고 설명된 본 발명의 예시적인 실시형태는, 사용될 세그먼트를 시프트시키기 위해, 점진적인 대체용 음성 데이터의 위치를 시프트시킨다. 따라서, 음성 신호의 소거는, 음성 데이터가 3 개의 파형 주기에 걸쳐 저장되지 않음에도 불구하고 신호 품질을 저하시키지 않고 보상될 수 있다.

예시적인 실시형태가 항상 시프트 주기를 결정하는 것으로 도시되고 설명되었지만, 어떤 상황에서는 시프트 주기는 결정되지 않을 수도 있는데, 이 경우에는 종래의 보상 절차가 실행된다. 예를 들어, 소거된 프레임이, 예로써 자기상관 값과 미리 선택된 임계값 간의 차의 비교 또는 자기상관 값과 미리 선택된 임계값 간의 비율의 비교에 의해 결정되는 것과 같이, 상관도가 작은 무-음성 세그먼트를 나타낸다면, 시프트 주기는 결정되지 않을 수도 있다.

예시적인 실시형태는, 파형 주기보다 더 짧은 주기 중에서, 가장 큰 자기상관 값을 시프트 주기로서 갖는 주기를 선택한다. 다른 방법으로, 미리 선택된 값보다 큰 자기상관 값을 갖는 복수의 시프트의 양 또는 주기 중에서, 파형 주기로부터 가장 가깝거나 가장 먼 주기가 선택될 수도 있다.

원한다면, 예시적인 실시형태에서 결정된 단일의 시프트 주기는 복수의 시프트 주기로 대체될 수도 있다. 예를 들어, 제 1 시프트 주기를 사용하는 활성 세그먼트의 시프트와 제 2 시프트 주기를 사용하는 동일한 활성 세그먼트의 시프트는 선택적으로 달성될 수도 있다. 또한, 무작위수 (random number) 가 각 시프트에 대해 선택적으로 사용될 수도 있다.

예시적인 실시형태에서 사용되는 활성 세그먼트는 파형 주기와 일치하는 반면, 활성 세그먼트에는 프레임 길이 또는 유사한 고정 길이가 제공될 수도 있는데, 이 경우에, 시프트 주기는 활성 세그먼트보다 더 짧아야 한다. 활성 세그먼트가 고정된 경우에도, 시프트 이후의 활성 세그먼트에서의 시작 포인트는 파형 주기의 사용에 의해 결정된다.

예시적인 실시형태에서, 오버랩 프로세싱은 대체의 경우에 적절하게 실행된다. 또한, 예시적인 실시형태는 도시되고 설명된 음성 신호뿐만 아니라 임의의 다른 주기 신호, 예를 들어, 음악 신호 또는 사인 곡선의 파형을 갖는 신호에도 적용할 수 있다.

요컨대, 본 발명은 신호 품질을 저하시키지 않고 주기 신호의 소거된 일부를 대체할 수 있는 회로를 제공함을 알 수 있다.

명세서, 특허청구범위, 첨부 도면, 및 명세서의 요약서를 포함하여, 2003년 5월 14일에 출원된 일본특허출원번호 제 2003-136338호의 전체 명세서가 여기에 참조로서 전부 포함된다.

본 발명이 특정한 예시적인 실시형태를 참조하여 설명되었지만, 본 발명은 실시형태에 의해 제한되지 않는다. 당업자는, 본 발명의 범위 및 사상에서 벗어나지 않고 실시형태를 변경 또는 변형시킬 수 있음을 알 수 있다.

Claims (14)

1. 소거된 주기 신호 데이터를 상기 소거된 주기 신호 데이터 이전에 입력된 주기 신호 데이터로 대체하기 위한 보상 회로로서,

   소정의 수의 최근의 주기 신호 데이터 입력을 저장하도록 구성된 과거 데이터 저장 회로;

   프로세싱의 단위인 매 주기 신호 데이터 시퀀스마다 소거가 발생하는지 여부를 판정하도록 구성된 판정 회로;

   소거가 발생하는 경우, 상기 과거 데이터 저장 회로에 저장된 주기 신호 데이터 시퀀스 중에서 사용될 소정의 세그먼트에 있는 주기 신호 데이터 시퀀스를 사용하여, 대체용 합성 데이터를 발생시키도록 구성된 대체 회로; 및

   복수의 프로세싱 단위에 걸쳐 소거가 발생하는 경우, 세그먼트의 위치가 각 프로세싱의 단위에 대해 변하도록 사용될 상기 세그먼트의 위치를 결정하도록 구성된 위치 제어기를 구비하는, 보상 회로.
2. 제 1 항에 있어서,

   상기 위치 제어기는, 상기 과거 데이터 저장 회로에 저장된 상기 주기 신호 데이터 시퀀스의 주기를 계산하며, 그 계산된 주기 중에서, 가장 높은 주기성을 갖는 파형 주기를, 사용될 세그먼트의 폭으로서 선택하는, 보상 회로.
3. 제 1 항에 있어서,

   상기 위치 제어기는, 상기 과거 데이터 저장 회로에 저장된 상기 주기 신호 데이터 시퀀스의 주기를 계산하며 그 계산된 주기 중에서, 사용될 세그먼트의 폭 보다 짧은 주기를, 매 프로세싱 프레임에 대한 상기 세그먼트를 변경하기 위한 인덱스로서 선택하는, 보상 회로.
4. 제 1 항에 있어서,

   상기 위치 제어기는, 사용될 세그먼트의 위치를 가장 새로운 주기 신호 데이터 시퀀스로부터 상기 과거 데이터 저장 회로에 저장된 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 순차적으로 시프트시키고, 상기 세그먼트가 상기 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 더 시프트될 수 없는 경우에, 상기 가장 오래된 주기 신호 데이터 시퀀스에 인접한 위치에 있는 세그먼트를 결정하는, 보상 회로.
5. 제 1 항에 있어서,

   상기 위치 제어기는, 사용될 세그먼트의 위치를 가장 새로운 주기 신호 데이터 시퀀스로부터 상기 과거 데이터 저장 회로에 저장된 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 순차적으로 시프트시키며, 상기 세그먼트가 상기 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 더 시프트할 수 없는 경우에, 상기 세그먼트를 상기 가장 새로운 주기 신호 데이터 시퀀스로부터 상기 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 다시 순차적으로 시프트시키며, 소거가 계속되는 한, 시프트에 의해 달성되는 변형을 반복하는, 보상 회로.
6. 제 1 항에 있어서,

   상기 위치 제어기는, 사용될 세그먼트의 위치를 가장 새로운 주기 신호 데이터 시퀀스로부터 상기 과거 데이터 저장 회로에 저장된 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 순차적으로 시프트시키며, 상기 세그먼트가 상기 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 더 시프트할 수 없는 경우에, 상기 세그먼트를 상기 가장 오래된 주기 신호 데이터 시퀀스로부터 상기 가장 새로운 주기 신호 데이터 시퀀스 쪽으로 순차적으로 시프트시키며, 상기 세그먼트가 상기 가장 새로운 주기 신호 데이터 시퀀스 쪽으로 더 시프트할 수 없는 경우에, 상기 세그먼트를 상기 가장 새로운 주기 신호 데이터 시퀀스로부터 상기 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 순차적으로 시프트시키며, 소거가 계속되는 한, 시프트에 의해 달성되는 변형을 반복하는, 보상 회로.
7. 제 1 항에 있어서,

   상기 주기 신호는 음성 신호를 포함하는, 보상 회로.
8. 소거된 주기 신호 데이터를 상기 소거된 주기 신호 데이터 이전에 입력된 주기 신호 데이터로 대체하기 위한 보상 방법으로서,

   소정의 수의 최근의 주기 신호 데이터 입력을 저장하는 과거 데이터 저장 단 계;

   프로세싱의 단위인 매 주기 신호 데이터 시퀀스마다 소거가 발생하는지 여부를 판정하는 판정 단계;

   소거가 발생한 경우, 상기 과거 데이터 저장 단계에서 저장된 주기 신호 데이터 시퀀스 중에서, 사용될 소정의 세그먼트에 있는 주기 신호 데이터 시퀀스를 사용하여, 대체용 데이터를 발생시키는 대체 단계; 및

   복수의 프로세싱 단위에 걸쳐 소거가 발생한 경우, 세그먼트의 위치가 각 프로세싱의 단위에 대해 변하도록 사용될 상기 세그먼트의 위치를 결정하는 위치 제어 단계를 포함하는, 보상 방법.
9. 제 8 항에 있어서,

   상기 위치 제어 단계는, 상기 과거 데이터 저장 단계에서 저장된 상기 주기 신호 데이터 시퀀스의 주기를 계산하며, 그 계산된 주기 중에서, 가장 높은 주기성을 갖는 파형 주기를, 사용될 세그먼트의 폭으로서 선택하는, 보상 방법.
10. 제 8 항에 있어서,

    상기 위치 제어 단계는, 상기 과거 데이터 저장 단계에서 저장된 상기 주기 신호 데이터 시퀀스의 주기를 계산하며, 그 계산된 주기 중에서, 사용될 세그먼트의 폭 보다 짧은 주기를 매 프로세싱 프레임에 대한 상기 세그먼트를 변경하기 위한 인덱스로서 선택하는, 보상 방법.
11. 제 8 항에 있어서,

    상기 위치 제어 단계는, 사용될 세그먼트의 위치를 가장 새로운 주기 신호 데이터 시퀀스로부터 상기 과거 데이터 저장 단계에서 저장된 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 순차적으로 시프트시키며, 상기 세그먼트가 상기 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 더 시프트할 수 없는 경우에, 상기 가장 오래된 주기 신호 데이터 시퀀스에 인접한 위치에 있는 세그먼트를 결정하는, 보상 방법.
12. 제 8 항에 있어서,

    상기 위치 제어 단계는, 사용될 세그먼트의 위치를 가장 새로운 주기 신호 데이터 시퀀스로부터 상기 과거 데이터 저장 단계에서 저장된 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 순차적으로 시프트시키며, 상기 세그먼트가 상기 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 더 시프트할 수 없는 경우에, 상기 세그먼트를 상기 가장 새로운 주기 신호 데이터 시퀀스로부터 상기 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 다시 순차적으로 시프트시키며, 소거가 계속되는 한, 시프트에 의해 달성되는 변형을 반복하는, 보상 방법.
13. 제 8 항에 있어서,

    상기 위치 제어 단계는, 사용될 세그먼트의 위치를 가장 새로운 주기 신호 데이터 시퀀스로부터 상기 과거 데이터 저장 단계에서 저장된 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 순차적으로 시프트시키며, 상기 세그먼트가 상기 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 더 시프트할 수 없는 경우에, 상기 세그먼트를 상기 가장 오래된 주기 신호 데이터 시퀀스로부터 상기 가장 새로운 주기 신호 데이터 시퀀스 쪽으로 순차적으로 시프트시키며, 상기 세그먼트가 상기 가장 새로운 주기 신호 데이터 시퀀스 쪽으로 더 시프트할 수 없는 경우에, 상기 세그먼트를 상기 가장 새로운 주기 신호 데이터 시퀀스로부터 상기 가장 오래된 주기 신호 데이터 시퀀스 쪽으로 순차적으로 시프트시키며, 소거가 계속되는 한, 시프트에 의해 달성되는 변형을 반복하는, 보상 방법.
14. 제 8 항에 있어서,

    상기 주기 신호는 음성 신호를 포함하는, 보상 방법.

Images