KR102607863B1

KR102607863B1 - 음원 분리 장치 및 음원 분리 방법

Info

Publication number: KR102607863B1
Application number: KR1020180153726A
Authority: KR
Inventors: 강성찬; 김재흥; 윤용섭; 이충호; 홍혁기
Original assignee: 삼성전자주식회사
Priority date: 2018-12-03
Filing date: 2018-12-03
Publication date: 2023-12-01
Also published as: JP2020092420A; CN111261184A; US20200177992A1; US10750281B2; CN111261184B; JP7409833B2; EP3664468A1; KR20200067300A

Abstract

음원 분리 장치 및 음원 분리 방법이 개시된다. 개시된 음원 분리 장치는 소리의 방향에 따라 선택적으로 하나 이상이 반응하도록 구성된 복수의 방향성 진동체를 포함한다. 개시된 음원 분리 장치는, 복수의 방향성 진동체의 출력 신호들의 세기들을 기초로 서로 다른 제 1 음원과 제 2 음원의 방향을 결정하고, 제 1 음원으로부터 오는 소리와 제 2 음원으로부터 오는 소리를 각각 분리하여 획득하기 위하여 상기 복수의 방향성 진동체 중에서 서로 다른 제 1 방향성 진동체와 제 2 방향성 진동체를 선택하도록 구성된다.

Description

음원 분리 장치 및 음원 분리 방법 {Blind source separating apparatus and method}

개시된 실시예들은 음원 분리 장치 및 음원 분리 방법에 관한 것으로, 더욱 상세하게는 복수의 방향성 진동체를 이용하여 2개의 음원으로부터 오는 소리를 분리할 수 있는 음원 분리 장치 및 음원 분리 방법에 관한 것이다.

생활 가전 제품, 영상 디스플레이 장치, 가상 현실 장치, 증강 현실 장치, 인공지능 스피커 등에 장착되어 소리가 오는 방향을 탐지하고 음성을 인식할 수 있는 음향 센서의 활용성이 증가하고 있다. 특히, 서로 다른 2개의 방향에 위치한 음원으로부터 오는 소리를 각각 분리하여 식별하는 음향 센서의 유용성이 증가하고 있다.

공지된 음원 분리 방법에는, 예컨대, ICA(Independent Component Analysis), GSS(Geometric Source Separation) 등이 있다. ICA 또는 GSS 방식은 다수의 마이크로폰에 입력된 신호를 시간-주파수 영역 변환을 통해 분석하여, 위치를 추정한 후 음원의 특성을 추출하여 분리하는 것이다. 또한, 최근에는 심층 신경망 기술을 이용하여 다수의 음원을 학습한 후, 학습된 결과를 기초로 음원을 분리하는 방법도 개발되고 있다.

서로 다른 2개의 음원으로부터 오는 소리를 분리할 수 있는 음원 분리 장치 및 음원 분리 방법를 제공한다.

음원 분리 장치를 포함하는 전자 장치를 제공한다.

일 실시예에 따른 음원 분리 장치는, 소리가 입력되는 소리 입력부; 상기 소리 입력부를 통해 입력된 소리가 출력되는 소리 출력부; 상기 소리 입력부와 상기 소리 출력부 사이의 평면에서 상기 소리 입력부의 중심과 연직으로 마주하는 상기 평면 상의 중심점을 둘러싸는 형태로 배열된 것으로, 상기 소리 입력부로 입력되는 소리의 방향에 따라 선택적으로 하나 이상이 반응하도록 구성된 복수의 방향성 진동체; 및 상기 복수의 방향성 진동체의 출력 신호들의 세기들을 기초로 서로 다른 제 1 음원과 제 2 음원의 방향을 결정하고, 상기 제 1 음원으로부터 오는 소리와 제 2 음원으로부터 오는 소리를 각각 분리하여 획득하기 위하여 상기 복수의 방향성 진동체 중에서 서로 다른 제 1 방향성 진동체와 제 2 방향성 진동체를 선택하도록 구성된 제어 회로;를 포함할 수 있다.

상기 제어 회로는 제 1 방향성 진동체의 제 1 출력 신호를 기초로 상기 제 1 음원으로부터 오는 소리 정보를 획득하고 상기 제 2 방향성 진동체의 제 2 출력 신호를 기초로 상기 제 2 음원으로부터 오는 소리 정보를 획득하도록 구성될 수 있다.

상기 제어 회로는 상기 복수의 방향성 진동체 중에서 상기 제 1 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 제 1 방향성 진동체로서 선택하고, 상기 복수의 방향성 진동체 중에서 상기 제 2 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 제 2 방향성 진동체로서 선택하도록 구성될 수 있다.

상기 제어 회로는 상기 복수의 방향성 진동체 중에서 상기 제 1 음원의 방향을 향해 배치된 방향성 진동체를 제 1 방향성 진동체로서 선택하고, 상기 복수의 방향성 진동체 중에서 상기 제 2 음원의 방향을 향해 배치된 방향성 진동체를 제 2 방향성 진동체로서 선택하도록 구성될 수 있다.

상기 제어 회로는 상기 제 1 방향성 진동체의 제 1 출력 신호에 상기 제 2 음원의 소리가 기여한 비율 및 상기 제 2 방향성 진동체의 제 2 출력 신호에 상기 제 1 음원의 소리가 기여한 비율을 기초로, 제 1 출력 신호와 제 2 출력 신호를 연산하여 상기 제 1 음원의 소리와 상기 제 2 음원의 소리 정보를 획득하도록 구성될 수 있다.

예를 들어, 상기 제 1 방향성 진동체의 제 1 출력 신호를 C1, 상기 제 2 방향성 진동체의 제 2 출력 신호를 C2, 상기 제 1 음원의 소리 신호를 S1, 상기 제 2 음원의 소리 신호를 S2, 상기 제 1 출력 신호에 상기 제 2 음원의 소리가 기여한 비율을 α, 상기 제 2 출력 신호에 상기 제 1 음원의 소리가 기여한 비율을 β라 할 때,

C1 = S1 + αS2,

C2 = S2 + βS1이고,

S1 = (C1-αC2)/(1-αβ),

S2 = (C2-βC1)/(1-αβ)가 될 수 있다.

상기 제 1 방향성 진동체의 제 1 출력 신호에 상기 제 2 음원의 소리가 기여한 비율은 상기 제 1 방향성 진동체와 상기 제 2 음원 사이의 각도에 의해 결정되고, 상기 제 2 방향성 진동체의 제 2 출력 신호에 상기 제 1 음원의 소리가 기여한 비율은 상기 제 2 방향성 진동체와 상기 제 1 음원 사이의 각도에 의해 결정될 수 있다.

상기 음원 분리 장치는 각각의 방향성 진동체에 입사하는 소리의 방향에 따른 각각의 방향성 진동체의 민감도를 저장한 메모리를 더 포함할 수 있다.

상기 제어 회로는 상기 제 1 음원의 방향을 중심으로 제 1 각도 범위 내에 배열된 복수의 방향성 진동체 중에서 상기 제 2 음원의 방향에 대해 가장 민감도가 작은 방향성 진동체를 제 1 방향성 진동체로서 선택하고, 상기 제 2 음원의 방향을 중심으로 제 2 각도 범위 내에 배열된 복수의 방향성 진동체 중에서 상기 제 1 음원의 방향에 대해 가장 민감도가 작은 방향성 진동체를 제 2 방향성 진동체로서 선택하도록 구성될 수 있다.

상기 제어 회로는 상기 제 1 음원으로부터 오는 소리가 작아지는 시간 동안 상기 제 2 음원의 방향을 결정하고, 상기 제 2 음원으로부터 오는 소리가 작아지는 시간 동안 상기 제 1 음원의 방향을 결정하도록 구성될 수 있다.

상기 제어 회로는 180도 범위 내에 배열된 복수의 방향성 진동체의 출력 신호들의 세기들이 2개의 이상의 피크를 갖는 경우에 2개 이상의 음원이 존재하는 것으로 판단하고, 180도 범위 내에 배열된 복수의 방향성 진동체의 출력 신호들의 세기들이 하나의 피크를 갖는 시간 동안 하나의 음원의 방향을 결정하도록 구성될 수 있다.

상기 제어 회로는 상기 복수의 방향성 진동체 중에서 출력 신호의 세기가 최대인 방향성 진동체의 배치 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하도록 구성될 수 있다.

상기 제어 회로는 상기 복수의 방향성 진동체 중에서 출력 신호의 세기가 최소인 방향성 진동체의 배치 방향에 수직한 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하도록 구성될 수 있다.

상기 제어 회로는, 출력 신호의 세기가 최소인 방향성 진동체에 대해 +90°에 배치된 방향성 진동체의 진동 세기와 출력 신호의 세기가 최소인 방향성 진동체에 대해 -90°에 배치된 방향성 진동체의 출력 신호의 세기를 비교하고, 출력 신호의 세기가 더 큰 방향성 진동체의 배치 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하도록 구성될 수 있다.

상기 음원 분리 장치는 소리가 입력되는 방향과 관계 없이 반응하는 무방향성 진동체를 더 포함할 수 있다.

상기 제어 회로는, 출력 신호의 세기가 최소인 방향성 진동체에 대해 +90°에 배치된 방향성 진동체의 위상과 진동 세기가 최소인 방향성 진동체에 대해 -90°에 배치된 방향성 진동체의 위상을 상기 무방향성 진동체의 위상과 비교하고, 상기 무방향성 진동체의 위상과 가장 가까운 위상을 갖는 방향성 진동체의 배치 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하도록 구성될 수 있다.

상기 복수의 방향성 진동체와 상기 무방향성 진동체는 동일한 평면 상에 배열되며, 상기 복수의 방향성 진동체는 상기 무방향성 진동체를 둘러싸는 형태로 배열될 수 있다.

상기 복수의 방향성 진동체는 상기 중심점에 대해 소정의 대칭성을 갖도록 배열될 수 있다.

상기 소리 출력부는 상기 복수의 방향성 진동체 전체를 마주하도록 형성될 수 있다.

상기 소리 출력부는 상기 복수의 방향성 진동체 각각과 마주하는 복수개로 구비될 수 있다.

상기 복수의 방향성 진동체는 동일한 공진 주파수를 가질 수 있다.

상기 복수의 방향성 진동체는 서로 다른 공진 주파수를 갖는 복수의 방향성 진동체를 포함할 수 있다.

다른 실시예에 따른 음원 분리 방법은, 하나의 중심점을 둘러싸는 형태로 배열된 것으로, 입력되는 소리의 방향에 따라 선택적으로 하나 이상이 반응하도록 구성된 복수의 방향성 진동체를 이용하여 소리를 수신하는 단계; 상기 복수의 방향성 진동체의 출력 신호들의 세기들을 기초로 서로 다른 제 1 음원과 제 2 음원의 방향을 결정하는 단계; 상기 제 1 음원으로부터 오는 소리와 제 2 음원으로부터 오는 소리를 각각 분리하여 획득하기 위하여 상기 복수의 방향성 진동체 중에서 서로 다른 제 1 방향성 진동체와 제 2 방향성 진동체를 선택하는 단계; 및 상기 제 1 방향성 진동체와 제 2 방향성 진동체를 이용하여 소리 정보를 획득하는 단계;를 포함할 수 있다.

개시된 음원 분리 장치는 복잡한 연산 처리를 필요로 하지 않고 간단하게 서로 다른 2개의 음원으로부터 오는 소리를 분리할 수 있다. 따라서, 개시된 음원 분리 장치는 소형화가 가능하여 소형 전자 제품에 탑재할 수 있다. 개시된 음원 분리 장치를 탑재한 전자 제품은 소음이 있는 환경에도 사용자의 음원을 비교적 정확하게 분리할 수 있다.

도 1은 일 실시예에 따른 음원 분리 장치의 개략적인 구성을 보이는 평면도이다.
도 2는 도 1에 도시된 음원 분리 장치에 대한 A-A' 단면도이다.
도 3a는 도 1에 도시된 음원 분리 장치에 구비된 복수의 방향성 진동체 중의 하나의 구조를 상세히 보이는 단면도이다.
도 3b는 도 1에 도시된 음원 분리 장치에 구비된 복수의 방향성 진동체 중의 하나의 구조를 상세히 보이는 평면도이다.
도 4는 다른 실시예에 따른 음원 분리 장치의 개략적인 구성을 보이는 평면도이다.
도 5는 도 4에 도시된 음원 분리 장치에 대한 A-A' 단면도이다.
도 6은 복수의 방향성 진동체 중 일부를 예시하여, 방향성 진동체들의 동작 원리 및 지향성 이득 특성을 보인다.
도 7은 복수의 방향성 진동체들 중에서 하나의 방향성 진동체의 지향성 특성을 예시적으로 보이는 그래프이다.
도 8은 한 방향으로부터 소리가 입력되었을 때 음원 분리 장치에 구비된 모든 방향성 진동체들의 출력을 예시적으로 보이는 그래프이다.
도 9는 2개의 서로 다른 방향으로부터 소리가 입력되었을 때 음원 분리 장치에 구비된 모든 방향성 진동체들의 출력을 예시적으로 보이는 그래프이다.
도 10은 서로 다른 두 음원에서 방출된 소리의 파형을 예시적으로 보인다.
도 11a 내지 도 11d는 다양한 상황에서 소리를 분리하기 위하여 방향성 진동체를 선택하는 예를 보인다.
도 12는 선택된 방향성 진동체의 조합에 따른 음성 인식 테스트 결과를 예시적으로 보이는 그래프이다.
도 13은 또 다른 실시예에 따른 음원 분리 장치의 개략적인 구성을 보이는 평면도이다.
도 14는 또 다른 실시예에 따른 음원 분리 장치의 개략적인 구성을 보이는 평면도이다.
도 15는 도 14에 도시된 음원 분리 장치에 대한 A-A' 단면도이다.
도 16은 한 방향으로 소리가 입력되었을 때 하나의 무방향성 진동체 및 서로 마주하는 2개의 방향성 진동체의 진동 위상을 예시적으로 보이는 그래프이다.
도 17은 일 실시예에 따른 사물 인터넷(Internet of Things) 장치의 개략적인 구성을 보이는 블록도이다.
도 18은 도 17에 도시된 사물 인터넷 장치가 일상 생활에 적용되는 동작을 예시적으로 보인다.
도 19는 일 실시예에 따른 자동차 음성 인터페이스 장치의 개략적인 구성을 보이는 블록도이다.
도 20은 일 실시예에 따른 자동차 음성 인터페이스 장치가 자동차에 적용된 동작을 예시적으로 보인다.
도 21은 일 실시예에 따른 공간 녹음(spatial recording) 장치의 개략적인 구성을 보이는 블록도이다.
도 22는 일 실시예에 따른 전방위 카메라의 개략적인 구성을 보이는 블록도이다.

이하, 첨부된 도면들을 참조하여, 음원 분리 장치 및 음원 분리 방법에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 또한, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. 또한 이하에서 설명하는 층 구조에서, "상부" 나 "상"이라고 기재된 표현은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.

도 1은 일 실시예에 따른 음원 분리 장치의 개략적인 구성을 보이는 평면도이다. 도 2는 도 1에 도시된 음원 분리 장치에 대한 A-A' 단면도이다. 도 1 및 도 2를 참조하면, 일 실시예에 따른 음원 분리 장치(100)는 소리가 입력되는 소리 인입구(inlet)(134), 소리 인입구(134)를 통해 입력된 소리가 배출되는 소리 배출구(outlet)(135), 소리 인입구(134)와 소리 배출구(135) 사이에 배열된 복수의 방향성 진동체(110_k)를 포함할 수 있다. 여기서, 복수의 방향성 진동체(110_k)의 개수를 N이라고 할 때, k는 1에서 N까지의 정수이다.

방향성 진동체(110_k)의 개수 N에 의해 음원 분리 장치(100)의 물리적인 각도 분해능이 결정될 수 있다. 예를 들어, 음원 분리 장치(100)의 물리적 분해능은 360°/N으로 표현될 수 있다. 음원 분리 장치(100)는 복수의 방향성 진동체(110_k) 각각의 출력 신호의 세기를 비교하여 입사하는 소리의 방향을 탐지할 수 있으며, 상호 비교할 방향성 진동체(110_k)의 개수가 많아질수록 더 높은 각 분해능의 획득이 가능하다.

복수의 방향성 진동체(110_k)는 소리 인입구(134)로 입력되는 소리의 방향에 따라 선택적으로 하나 이상이 반응하도록 배열된다. 복수의 방향성 진동체(110_k)는 소리 인입구(134) 주위를 둘러싸는 형태로 배열될 수 있다. 복수의 방향성 진동체(110_k)는 서로 겹침이 없이 평면적으로 배열되며, 소리 인입구(134)에 대해 복수의 방향성 진동체(110_k) 전체가 노출되도록 배열될 수 있다. 복수의 방향성 진동체(110_k)는, 도 1에 도시된 바와 같이, 동일한 평면 상에 배열될 수 있다. 또한, 복수의 방향성 진동체(110_k)는 소리 인입구(134)의 중심과 연직으로 마주하는 상기 평면상의 중심점(C)을 둘러싸는 형태로 배열될 수 있다. 도 1에서는 복수의 방향성 진동체(110_k)가 중심점(C)을 원형으로 둘러싸는 것으로 도시되고 있으나, 이는 단지 예시적인 것이다. 복수의 방향성 진동체(110_k) 배열은 이에 한정되지 않고, 중심점(C)에 대해 소정의 대칭성을 갖는, 다양한 형태로 배열될 수 있다. 예를 들어, 복수의 방향성 진동체(110_k)는 다각형이나 타원형의 궤적을 이루는 형태로 배열될 수도 있다.

소리 배출구(135)는 복수의 방향성 진동체(110_k)의 개수와 동일한 개수로 마련되어, 복수의 방향성 진동체(110_k)의 각각과 마주하게 배치될 수 있다. 소리 인입구(134)와 소리 배출구(135)의 크기나 형상은 특별히 제한되지 않으며, 복수의 방향성 진동체(110_k)를 동일한 정도로 노출할 수 있는 임의의 크기와 형상을 가질 수 있다.

소리 인입구(134)와 소리 배출구(135)의 형성을 위해, 소리 인입구(134)와 소리 배출구(135)의 형상에 대응하는 개구가 형성된 케이스(130)가 사용될 수 있다. 케이스(130)는 음향을 차단할 수 있는 다양한 재질로 이루어질 수 있다. 예를 들어, 케이스(130)는 알루미늄과 같은 재질이 사용될 수 있다. 케이스(130)에 형성된 소리 인입구(134)와 소리 배출구(135)는 도 1에 도시된 형상에 한정되는 것은 아니다.

케이스(130)의 내부에는, 복수의 방향성 진동체(110_k)를 지지하고 복수의 방향성 진동체(110_k)가 소리에 반응하여 진동하는 공간을 제공하는 지지부(120)가 배치될 수 있다. 지지부(120)는, 도 1에 도시된 바와 같이, 기판에 관통홀(TH)을 형성하여 이루어질 수 있다. 복수의 방향성 진동체(110_k)는 지지부(120)에 일단이 지지되며, 관통홀(TH)과 마주하도록 배치될 수 있다. 관통홀(TH)은 방향성 진동체(110_k)가 외력에 의해 진동하는 공간을 제공하며, 이를 만족하는 한, 형상이나 크기는 특별히 한정되지 않는다. 지지부(120)는 실리콘 기판 등 다양한 재질로 형성될 수 있다.

음원 분리 장치(100)는 복수의 방향성 진동체(110_k)의 출력 신호들의 세기를 비교하여 방위각 방향으로 서로 다른 위치에 있는 2개 이상의 음원의 방향을 탐지하고 탐지된 음원의 방향을 기초로 소리 정보를 획득할 방향성 진동체(110_k)를 선택하는 제어 회로(140)를 더 포함할 수 있다. 또한, 음원 분리 장치(100)는 소리의 입사 방향에 따른 각각의 방향성 진동체(110_k)의 민감도 등과 같은 데이터를 저장하는 메모리(141)를 더 포함할 수 있다.

도 3a는 도 1에 도시된 음원 분리 장치(100)에 구비된 복수의 방향성 진동체(110_k) 중의 하나의 구조를 상세히 보이는 단면도이고, 도 3b는 도 1에 도시된 음원 분리 장치(100)에 구비된 복수의 방향성 진동체(110_k) 중의 하나의 구조를 상세히 보이는 평면도이다. 도 3a 및 도 3b를 참조하면, 방향성 진동체(110_k)는 지지부(120)에 고정되는 고정부(10), 신호에 반응하여 가동되는 가동부(30), 및 가동부(30)의 움직임을 센싱하는 감지부(20)를 포함할 수 있다. 방향성 진동체(110_k)는 또한, 가동부(30)에 소정의 질량(m)을 제공하기 위한 질량체(40)를 더 포함할 수 있다.

가동부(30)는 예를 들어 탄성 필름으로 이루어질 수 있다. 탄성 필름은 길이 L, 폭 W를 가질 수 있고, 질량체(40)의 질량(m)과 함께, 방향성 진동체(110_k)의 공진 특성을 정하는 요소가 된다. 탄성 필름으로는 실리콘, 금속, 폴리머 등의 재질이 사용될 수 있다.

감지부(20)는 가동부(30)의 움직임을 센싱하는 센서층을 포함할 수 있다. 감지부(20)는 예를 들어, 압전 소자를 포함할 수 있다. 이 경우, 감지부(20)는 전극층, 압전물질층, 및 전극층이 적층된 구조를 가질 수 있다. 압전물질로는, 예를 들어, ZnO, SnO, PZT, ZnSnO₃, Polyvinylidene fluoride(PVDF), poly(vinylidene fluoride-trifluoroethylene) (P(VDF-TrFE)), AlN 또는 PMN-PT 등이 사용될 수 있다. 전극층으로, 금속 재료나 이 외에도 다양한 도전성 재료가 사용될 수 있다.

방향성 진동체(110_k)들의 폭, 두께 등의 구체적인 수치는 방향성 진동체(110_k)에 대해 원하는 공진 주파수를 고려하여 결정할 수 있다. 예를 들어, 각각의 방향성 진동체(110_k)는 대략 수㎛ 내지 수백 ㎛사이의 폭, 수㎛ 이하의 두께, 및 대략 수 mm 이하의 길이를 가질 수 있으며, 이에 한정되지 않는다. 이러한 미세한 크기의 방향성 진동체(110_k)들은 MEMS(Micro Electro Mechanical System) 공정에 의해 제작될 수 있다.

방향성 진동체(110_k)는 외부 신호에 반응하여 Z-방향을 따라 상하로 진동하며, 변위(z)에 비례하는 출력을 나타내게 된다. 변위(z)는 다음 운동방정식을 따른다.

여기서, c는 댐핑 계수(damping coefficient)이고, k는 탄성 계수이다. 그리고, F₀cosωt는 외력(driving force)으로서, 방향성 진동체(110_k)에 입사되는 신호에 의한 작용을 나타낸다. k값은 가동부(30)의 물성과 형상에 의해 정해진다.

방향성 진동체(110_k)는 공진 주파수 f₀를 중심으로 하며 소정의 밴드폭을 가지는 주파수 응답 특성을 나타낸다. 중심 주파수 f₀는 다음과 같다.

이와 같이, 음원 분리 장치(100)에 구비된 방향성 진동체(110_k)들은 설계된 중심 주파수를 중심으로 하는 소정 대역의 주파수를 갖는 소리를 감지할 수 있다. 따라서, 중심 주파수를 설계함에 있어, 주어진 환경에서 활용성이 높은 주파수 대역을 선택하여, 선택된 주파수 대역에 맞도록 방향성 진동체(110_k)들을 구현할 수 있다.

일 실시예에 따른 음원 분리 장치(100)는 각 위치에 구비된 방향성 진동체(110_k)들이 모두 동일한 공진 주파수를 갖도록 동일한 길이로 설정될 수 있다. 그러나, 반드시 이에 한정되는 것은 아니며, 복수의 방향성 진동체(110_k)들이 서로 다른 공진 주파수를 갖도록 변형하는 것도 가능하다.

또한, 도 4는 다른 실시예에 따른 음원 분리 장치의 개략적인 구성을 보이는 평면도이고, 도 5는 도 4에 도시된 음원 분리 장치에 대한 A-A' 단면도이다. 도 4 및 도 5를 참조하면, 음원 분리 장치(101)는 소리가 입력되는 소리 인입구(134), 소리 인입구(134)를 통해 입력된 소리가 배출되는 소리 배출구(137), 및 소리 인입구(134)와 소리 배출구(137) 사이에 배열된 복수의 방향성 진동체(110_k)를 포함할 수 있다. 여기서, 복수의 방향성 진동체(110_k)의 개수를 N이라고 할 때, k는 1에서 N까지의 정수이다.

도 4 및 도 5에 도시된 음원 분리 장치(101)는 소리 배출구(137)의 형상에서 도 1 및 도 2에 도시된 음원 분리 장치(100)와 차이가 있으며, 나머지 구성은 실질적으로 동일하다. 예를 들어, 소리 배출구(137)는 복수의 방향성 진동체(110_k)에 대해 개별적으로 마련되는 것이 아니라, 하나의 소리 배출구(137)가 복수의 방향성 진동체(110_k)에 대해 공유되는 형태를 갖는다. 다시 말해, 하나의 소리 배출구(137)가 복수의 방향성 진동체(110_k) 전체와 마주할 수 있다. 도 4 및 도 5에 도시된 소리 배출구(137)의 크기는 예시적인 것이고, 소리 배출구(137)의 크기는 이보다 작을 수 있다.

소리 인입구(134)와 소리 배출구(137)의 형성을 위해, 소리 인입구(134)와 소리 배출구(137)의 형상에 대응하는 개구가 형성된 케이스(131)가 사용될 수 있다. 소리 배출구(137)의 크기는 특정되지 않을 수도 있다. 예를 들어, 복수의 방향성 진동체(110_k)에 대해 소리 인입구(134) 맞은 편의 공간이 모두 열린 형태가 될 수 있다. 이와 같이 열린 공간이 소리 배출구(137)로 기능할 수 있다.

상술한 실시예들에 따른 음원 분리 장치(100, 101)에서, 복수의 방향성 진동체(110_k) 중에서 방향성이 있는 소리가 입사되는 경로에 놓여 있는 하나 이상의 방향성 진동체(110_k)가 소리에 반응하여 진동하게 된다. 예를 들어, 도 2에 도시한 바와 같이, ①의 경로로 소리가 입력되면, 이 경로 상에 놓인, 방향성 진동체(110_1)를 포함하여, 이와 인접한 하나 이상의 방향성 진동체가 진동할 수 있다. 또한, ②의 경로로 소리가 입력되면, 이 경로 상에 놓인, 방향성 진동체(110_9)를 포함하여, 이와 인접한 하나 이상의 방향성 진동체가 진동할 수 있다. 따라서, 입사된 소리의 방향에 따른 복수의 방향성 진동체(110_k)의 출력을 고려하여 입사된 소리의 방향을 알아낼 수 있다.

도 6은 복수의 방향성 진동체(110_k) 중 일부를 예시하여, 방향성 진동체(110_k)들의 동작 원리 및 지향성 이득 특성을 보인다. 도 6을 참조하면, 복수의 방향성 진동체(A, B, C)의 각각은 소리 인입구(134)를 중심으로 하는 원의 반경 방향의 지향각을 갖는 단위 음향 센서가 된다. 각각의 단위 음향 센서의 지향성 이득 곡선은 8자(figure of eight) 형태가 된다. 이러한 지향성 이득 곡선에 따라, 음원 분리 장치(100, 101)는 모든 방향에서 입력되는 신호들에 대해 선택적으로 반응하는 방향성 진동체(110_k)의 출력들이 중첩(superposition)되어 형성된 출력을 갖게 된다.

한편, 각각의 방향성 진동체(110_k)는 그 배치 위치에 따라 선호하는 각도가 있으며, 이를 주요 방향(principal direction)이라 한다. 출력 형성에 있어서, 주요 방향의 소리에 대해서는 크게, 이외의 방향의 소리에 대해서는 작게 기여한다. 따라서, 모든, 임의의 방향으로 입사된 소리에 대해, 복수의 방향성 진동체(110_k) 각각의 출력 크기를 단순히 비교하는 것에 의해, 입사된 소리의 방향을 추정할 수 있다.

도 7은 복수의 방향성 진동체(110_k)들 중에서 하나의 방향성 진동체의 지향성 특성을 예시적으로 보이는 그래프이다. 도 7에서 64개의 방향성 진동체(110_k)들이 하나의 평면 상에서 원형으로 배열되어 있으며, 각각의 방향성 진동체(110_k)는 소리 인입구(134)의 중심과 연직으로 마주하는 상기 평면상의 중심점(C)을 향해 정렬된 것으로 가정하였다. 그러나, 방향성 진동체(110_k)들의 개수가 64로 한정되는 것은 아니며, 실제로는 64개보다 많은 개수의 방향성 진동체(110_k)들이 사용될 수 있다. 도 7을 참조하면, 180도 방향에 배치된 방향성 진동체는 180도와 0도 방향으로부터 입사하는 소리에 대해 가장 큰 출력을 갖고 -90도와 +90도 방향으로부터 입사하는 소리에 대해 가장 작은 출력을 갖는 8자형 이득 특성을 보인다. 특히, 180도 방향으로부터 입사하는 소리에 대한 출력이 0도 방향으로부터 입사하는 소리에 대한 출력보다 약간 크다.

도 8은 한 방향으로부터 소리가 입력되었을 때 음원 분리 장치(100, 101)에 구비된 모든 방향성 진동체(110_k)들의 출력을 예시적으로 보이는 그래프이다. 도 8에서 64개의 방향성 진동체(110_k)들이 배열되어 있으며, 1번부터 64번까지의 방향성 진동체가 0도 방향으로부터 시계 방향을 따라 배열되어 있고, 180도 방향에 위치한 33번 방향성 진동체의 길이 방향을 따라 33번 방향성 진동체를 향해 소리가 입사하는 것으로 가정하였다. 도 8을 참조하면, 1번 방향성 진동체 부근과 그 반대쪽에 배치된 33번 방향성 진동체 부근에서 각각 출력의 피크가 형성된다. 그리고, 1번 방향성 진동체의 +90도 방향에 배치된 17번 방향성 진동체 부근과 1번 방향성 진동체의 -90도 방향에 배치된 49번 방향성 진동체 부근에서 출력이 최소가 된다. 특히, 33번 방향성 진동체 부근에서 출력이 가장 크다.

결과적으로, 복수의 방향성 진동체(110_k) 중에서 소리가 입사하는 쪽에 배치된 방향성 진동체의 출력이 가장 크고 소리가 입사하는 방향의 ±90도 각도에 배치된 방향성 진동체의 출력이 가장 작다. 따라서, 음원 분리 장치(100, 101)의 제어 회로(140)는 출력이 가장 큰 방향성 진동체 또는 출력이 가장 작은 방향성 진동체를 이용하여 입력되는 소리의 방향, 다시 말해 음원의 방향을 결정할 수 있다.

예를 들어, 제어 회로(140)는 복수의 방향성 진동체(110_k) 중에서 출력 신호의 세기가 최대인 방향성 진동체의 배치 방향을 음원의 방향으로 결정할 수 있다. 대신에, 제어 회로(140)는 복수의 방향성 진동체(110_k) 중에서 출력 신호의 세기가 최소인 방향성 진동체의 배치 방향에 수직한 방향을 음원의 방향으로 결정할 수 있다. 특히, 제어 회로(140)는 신호의 세기가 최소인 방향성 진동체에 대해 +90°에 배치된 방향성 진동체의 진동 세기와 출력 신호의 세기가 최소인 방향성 진동체에 대해 -90°에 배치된 방향성 진동체의 출력 신호의 세기를 비교하고, 출력 신호의 세기가 더 큰 방향성 진동체의 배치 방향을 음원의 방향으로 결정할 수 있다.

방위각 방향으로 서로 다른 위치에 있는 2개의 음원으로부터 동시에 소리가 입사하는 경우에는, 두 음원의 출력이 시간에 따라 차이가 있는 점을 이용하여 두 음원의 방향을 알 수 있다. 예를 들어, 두 음원 중에서 제 1 음원의 출력이 작아지고 제 2 음원의 출력이 커지는 시간 동안, 상술한 방법으로 제 2 음원의 방향을 결정할 수 있다. 그리고, 두 음원 중에서 제 1 음원의 출력이 커지고 제 2 음원의 출력이 작아지는 다른 시간 동안, 상술한 방법으로 제 1 음원의 방향을 결정할 수 있다.

예를 들어, 도 9는 2개의 서로 다른 방향으로부터 소리가 입력되었을 때 음원 분리 장치(100, 101)에 구비된 모든 방향성 진동체(110_k)들의 출력을 예시적으로 보이는 그래프이다. 도 9에서는 64개의 방향성 진동체(110_k)들이 배열되어 있으며, 1번부터 64번까지의 방향성 진동체가 0도 방향으로부터 시계 방향을 따라 배열된 것으로 가정하였다. 그리고, 180도 방향에 위치한 33번 방향성 진동체의 길이 방향을 따라 33번 방향성 진동체를 향해 제 1 음원으로부터 소리가 입사하고, 이와 동시에 90도 방향에 위치한 17번 방향성 진동체의 길이 방향을 따라 17번 방향성 진동체를 향해 제 2 음원으로부터 다른 소리가 입사하는 것으로 가정하였다. 다시 말해, 제 1 음원이 180도 방향에 위치하고 제 2 음원 90도 방향에 위치하는 것으로 가정하였다.

도 9를 참조하면, 제 1 음원에 의한 방향성 진동체(110_k)들의 출력을 보이는 그래프 Ⅰ은 1번 방향성 진동체 부근과 그 반대쪽에 배치된 33번 방향성 진동체 부근에서 각각 출력의 피크가 형성되고, 17번 방향성 진동체 부근과 49번 방향성 진동체 부근에서 출력이 최소가 된다. 제 2 음원에 의한 방향성 진동체(110_k)들의 출력을 보이는 그래프 Ⅱ는 17번 방향성 진동체 부근과 그 반대쪽에 배치된 49번 방향성 진동체 부근에서 각각 출력의 피크가 형성되고, 1번 방향성 진동체 부근과 33번 방향성 진동체 부근에서 출력이 최소가 된다.

제 1 음원과 제 2 음원으로부터 동시에 동일한 세기의 소리가 입력되면, 방향성 진동체(110_k)들의 출력은 그래프 Ⅰ과 그래프 Ⅱ를 합한 그래프 Ⅲ과 같이 된다. 결과적으로, 180도의 각도 범위 내에서 다수의 피크가 형성된다. 따라서, 제어 회로(140)는 방향성 진동체(110_k)들의 출력을 분석하여, 180도의 각도 범위 내에 배열된 복수의 방향성 진동체(110_k)의 출력 신호들의 세기들이 2개의 이상의 피크를 갖는 경우에 2개 이상의 음원이 존재하는 것으로 판단할 수 있다. 또는, 제어 회로(140)는 방향성 진동체(110_k)들의 출력에서 뚜렷한 피크와 뚜렷한 최소점을 찾을 수 없는 경우에 2개 이상의 음원이 존재하는 것으로 판단할 수 있다.

제 1 음원과 제 2 음원으로부터 각각 오는 소리의 세기는 시간에 따라 크거나 작아진다. 예를 들어, 도 10은 서로 다른 두 음원에서 방출된 소리의 파형을 예시적으로 보인다. 도 10에 도시된 바와 같이, 제 1 음원으로부터의 소리와 제 2 음원으로부터의 소리는 시간이 흐름에 따라 커지거나 작아지는 것을 반복한다. 그리고, 제 1 음원의 소리가 작아지는 동시에 제 2 음원의 소리가 커지고, 제 2 음원의 소리가 작아지는 동시에 제 1 음원의 소리가 커지는 순간이 존재한다. 예를 들어, 도 10에서 시간 T1 동안에는 제 1 음원의 소리가 작고 제 2 음원의 소리가 크다. 그리고, 시간 T2 동안에는 제 2 음원의 소리가 작고 제 1 음원의 소리가 크다.

그러면, 제어 회로(140)는 시간 T1 동안 제 2 음원의 방향을 결정하고 시간 T2 동안 제 1 음원의 방향을 결정할 수 있다. 예를 들어, 제어 회로(140)는 방향성 진동체(110_k)들의 출력을 분석하여, 180도의 각도 범위 내에 배열된 복수의 방향성 진동체(110_k)의 출력 신호들의 세기들이 하나의 뚜렷한 피크와 하나의 뚜렷한 최소점을 갖는 시간 동안 하나의 음원의 방향을 결정할 수 있다. 도 9의 그래프를 참조하면, 방향성 진동체(110_k)들의 출력이 그래프 Ⅲ에서 그래프 Ⅰ로 변하는 순간, 제어 회로(140)는 제 1 음원의 방향을 결정할 수 있다. 그리고, 방향성 진동체(110_k)들의 출력이 그래프 Ⅲ에서 그래프 Ⅱ로 변하는 순간, 제어 회로(140)는 제 2 음원의 방향을 결정할 수 있다.

제 1 음원의 방향과 제 2 음원의 방향을 결정한 후에, 제어 회로(140)는 복수의 방향성 진동체(110_k) 중에서 제 1 음원으로부터 오는 소리 정보를 획득하기 위한 방향성 진동체와 제 2 음원으로부터 오는 소리 정보를 획득하기 위한 방향성 진동체를 선택할 수 있다. 특히, 제어 회로(140)는 제 1 음원으로부터 오는 소리와 제 2 음원으로부터 오는 소리를 각각 효과적으로 분리하여 획득할 수 있도록 2개의 방향성 진동체를 선택할 수 있다.

도 7에 도시된 바와 같이, 방향성 진동체는 그의 길이 방향으로 오는 소리에 대해 가장 민감하다. 그리고, 방향성 진동체의 길이 방향과 소리의 방향 사이의 각도 차이가 커질수록 방향성 진동체의 민감도가 점점 줄어들며, 방향성 진동체의 길이 방향에 수직으로 오는 소리에 대해 방향성 진동체의 민감도가 최소가 된다. 도 7의 예에서, 방향성 진동체의 길이 방향을 중심으로 ±30도까지는 방향성 진동체의 민감도가 크게 줄어들지 않으며, 약 ±60도 정도에서 약 -5dB 정도로 민감도가 줄어든다. 그리고, ±90도 정도에서는 약 -15dB 미만으로 민감도가 줄어든다. 이러한 방향성 진동체의 방향성 특성을 고려하여 크로스토크를 최소화할 수 있도록 방향성 진동체를 선택할 수 있다.

예를 들어, 도 11a 내지 도 11d는 다양한 상황에서 소리를 분리하기 위하여 방향성 진동체를 선택하는 예를 보인다. 도 11a 내지 도 11d에서 부채꼴로 표시된 영역(A, B)은 선택된 방향성 진동체가 소리를 잘 획득할 수 있는 각도 범위를 나타낸다.

먼저, 도 11a는 단지 하나의 음원이 0도 방향에 배치된 경우이다. 이 경우에는, 복수의 방향성 진동체(110_k) 중에서 간단히 음원의 방향으로 배치된 방향성 진동체를 선택하여 소리 정보를 획득할 수 있다. 도 11a에서, 방사 방향으로 연장된 복수의 선분들은 복수의 방향성 진동체(110_k)를 나타내며, 그 중에서 점선으로 표시된 것은 선택된 방향성 진동체를 나타낸다.

또한, 도 11b는 제 1 음원과 제 2 음원이 서로 90도 떨어져 있는 경우이다. 이 경우에도, 복수의 방향성 진동체(110_k) 중에서 제 1 음원의 방향으로 배치된 제 1 방향성 진동체를 선택하여, 제 1 방향성 진동체의 출력 신호를 기초로 제 1 음원으로부터 오는 소리 정보를 획득할 수 있다. 그리고, 복수의 방향성 진동체(110_k) 중에서 제 2 음원의 방향으로 배치된 제 2 방향성 진동체를 선택하여, 제 2 방향성 진동체의 출력 신호를 기초로 제 2 음원으로부터 오는 소리 정보를 획득할 수 있다. 이 경우, 제 1 음원으로부터 오는 소리의 방향은 제 2 방향성 진동체의 길이 방향에 수직하므로, 제 1 음원의 소리가 제 2 방향성 진동체에 주는 영향은 작다. 마찬가지로, 제 2 음원으로부터 오는 소리의 방향은 제 1 방향성 진동체의 길이 방향에 수직하므로, 제 2 음원의 소리가 제 1 방향성 진동체에 주는 영향은 작다. 따라서, 제 1 음원과 제 2 음원이 서로 90도 이상 떨어져 있으면, 제어 회로(140)는 복수의 방향성 진동체(110_k) 중에서 제 1 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 제 1 방향성 진동체로서 선택하고, 복수의 방향성 진동체(110_k) 중에서 제 2 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 제 2 방향성 진동체로서 선택할 수 있다.

도 11c는 제 1 음원과 제 2 음원 사이의 각도가 90도 미만인 경우이다. 예를 들어, 도 11c에서 제 1 음원과 제 2 음원 사이의 각도는 60도일 수 있다. 도 11c의 예에서는, 도 11b의 예와 마찬가지로, 복수의 방향성 진동체(110_k) 중에서 제 1 음원의 방향으로 배치된 제 1 방향성 진동체를 선택하여 제 1 음원의 소리 정보를 획득하고, 제 2 음원의 방향으로 배치된 제 2 방향성 진동체를 선택하여 제 2 음원의 소리 정보를 획득하였다. 다시 말해, 복수의 방향성 진동체(110_k) 중에서 제 1 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 제 1 방향성 진동체로서 선택하고, 복수의 방향성 진동체(110_k) 중에서 제 2 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 제 2 방향성 진동체로서 선택하였다.

그러나, 도 11c와 같이 제 1 음원과 제 2 음원 사이의 각도가 90도 미만인 경우에도 민감도가 가장 큰 방향성 진동체를 선택하면, 간섭이 커져서 음원 분리가 충분히 이루어지지 않을 수 있다. 예를 들어, 선택된 제 1 방향성 진동체에서 수신되는 제 2 음원의 소리가 증가할 수 있으며, 선택된 제 2 방향성 진동체에서 수신되는 제 1 음원의 소리가 증가할 수 있다. 그러면, 제 1 및 제 2 방향성 진동체에서 각각 수신된 소리에 잡음이 증가하게 된다.

도 11d는 제 1 음원과 제 2 음원 사이의 각도가 60도인 경우에, 도 11c와 다른 방식으로 방향성 진동체를 선택한 예를 보인다. 도 11d의 경우에는, 목표 음원 이외의 음원에 대해 민감도가 가장 작은 방향성 진동체를 선택하였다. 예를 들어, 복수의 방향성 진동체(110_k) 중에서 제 1 음원의 소리를 충분히 획득할 수 있으면서 제 2 음원에 대해 민감도가 가장 낮은 방향성 진동체를 제 1 방향성 진동체로 선택하여 제 1 음원의 소리 정보를 획득하고, 제 2 음원의 소리를 충분히 획득할 수 있으면서 제 1 음원에 대해 민감도가 가장 낮은 방향성 진동체를 제 2 방향성 진동체로 선택하여 제 2 음원의 소리 정보를 획득할 수 있다.

다시 말해, 제어 회로(140)는 제 1 음원의 방향을 중심으로 소정의 각도 범위 내에 배열된 복수의 방향성 진동체(110_k) 중에서 제 2 음원의 방향에 대해 가장 민감도가 작은 방향성 진동체를 제 1 방향성 진동체로서 선택할 수 있다. 또한, 제어 회로(140)는 제 2 음원의 방향을 중심으로 소정의 각도 범위 내에 배열된 복수의 방향성 진동체(110_k) 중에서 제 1 음원의 방향에 대해 가장 민감도가 작은 방향성 진동체를 제 2 방향성 진동체로서 선택할 수 있다. 도 11d의 예에서, 제 1 방향성 진동체로서 +30도 방향에 위치한 방향성 진동체를 선택하고, 제 2 방향성 진동체로서 -120도 방향에 위치한 방향성 진동체를 선택하였다. 그러면, 제 1 방향성 진동체는 제 2 음원에 대해 90도 떨어지게 되며, 제 2 방향성 진동체도 제 1 음원에 대해 90도 떨어지게 된다.

제 1 방향성 진동체와 제 2 방향성 진동체를 선택한 후에는, 제 1 방향성 진동체와 제 2 방향성 진동체를 이용하여 제 1 음원의 소리와 제 2 음원의 소리를 각각 획득할 수 있다. 제 1 방향성 진동체의 출력 신호를 C1, 제 2 방향성 진동체의 출력 신호를 C2, 제 1 음원의 소리 신호를 S1, 제 2 음원의 소리 신호를 S2라고 할 때, 도 11a의 경우에는 C1 = S1이 된다.

그리고, 도 11b의 경우에는, C1 = S1 + 1/10 × S2 및 C2 = 1/10 × S1 + S2가 될 수 있다. 여기서, 1/10은 도 7에 도시된 예에서 방향성 진동체의 방향성을 기초로 예시적으로 결정된 것으로서, 방향성 진동체의 방향성 특성에 따라 그 값은 달라질 수 있다. 도 11b의 경우, 제 1 방향성 진동체에서 수신되는 제 2 음원의 소리는 제 1 음원의 소리의 1/10 정도이므로 충분히 음원 분리가 될 수 있다.

도 11c의 경우에는, C1 = S1 + 1/2 × S2 및 C2 = 1/2 × S1 + S2가 될 수 있다. 여기서도, 1/2은 도 7에 도시된 예에서 방향성 진동체의 방향성을 기초로 예시적으로 결정된 것으로서, 방향성 진동체의 방향성 특성에 따라 그 값은 달라질 수 있다. 도 11c의 경우, C1에서 S1과 S2가 차지하는 비율이 2:1이기 때문에 음원 분리가 충분히 이루어지지 않을 수 있다.

도 11d의 경우에는, C1 = 4/5 × S1 + 1/10 × S2 및 C2 = 1/10 × S1 + 4/5 × S2가 될 수 있다. 여기서도, 4/5와 1/10은 도 7에 도시된 예에서 방향성 진동체의 방향성을 기초로 예시적으로 결정된 것으로서, 방향성 진동체의 방향성 특성에 따라 그 값은 달라질 수 있다. 도 11d의 경우, C1에서 S1과 S2가 차지하는 비율이 8:1이므로 충분히 음원 분리가 될 수 있다.

도 12는 선택된 방향성 진동체의 조합에 따른 음성 인식 테스트 결과를 예시적으로 보이는 그래프이다. 음성 인식 테스트는 제 1 음원과 제 2 음원에서 다수의 단어들을 담은 소리를 각각 출력하고, 선택된 방향성 진동체를 통해 부정확하게 인식한 단어의 개수의 비율을 측정하는 방식으로 수행되었다. 가장 좌측의 그래프는 도 11a의 경우로서 부정확하게 인식한 비율은 약 25.5 %이다. 도 11a는 하나의 음원만을 사용하였기 때문에, 2개의 음원을 사용하는 경우에 간섭의 영향을 보이는 기준이 될 수 있다. 좌측에서 두 번째 그래프는 도 11b의 경우로서 부정확하게 인식한 비율이 약 29.7 %로 기준보다 약간 증가하였다. 좌측에서 세 번째 그래프는 도 11c의 경우로서 부정확하게 인식한 비율이 약 67.9 %로 기준보다 크게 증가하였다. 그리고, 가장 우측의 그래프는 도 11d의 경우로서 부정확하게 인식한 비율이 약 31.1 %로 도 11b의 경우와 유사한 결과를 보였다. 따라서, 목표 음원 이외의 음원에 대해 민감도가 가장 작은 방향성 진동체를 선택함으로써, 충분히 음원 분리가 될 수 있음을 알 수 있다.

이러한 음원 분리 장치(100, 101)는 복잡한 연산 처리를 필요로 하지 않고 복수의 방향성 진동체(110_k)만으로 하드웨어적으로 간단하게 서로 다른 2개의 음원으로부터 오는 소리를 분리할 수 있다. 따라서, 음원 분리 장치(100, 101)는 소형화가 가능하여 소형 전자 제품에 탑재할 수 있다. 본 실시예에 따른 음원 분리 장치(100, 101)를 탑재한 전자 제품은 소음이 있는 환경에도 사용자의 음원을 비교적 정확하게 분리할 수 있다.

지금까지는 하나의 음원에 대하여 단지 하나의 방향성 진동체만을 선택하여 소리 정보를 획득하는 것으로 설명하였으나, 반드시 이에 한정되는 것은 아니다. 필요에 따라서는 하나의 음원에 대하여 인접한 하나 이상의 방향성 진동체, 예를 들어 연달아 인접한 2개 또는 3개의 방향성 진동체를 선택하여 소리 정보를 획득할 수 있다. 이 경우에도, 음원이 2개 이상 존재할 경우, 목표 음원 이외의 음원에 대해 민감도가 가장 작은 방향성 진동체들의 그룹을 선택할 수 있다.

또한, 지금까지는 별도의 소프트웨어적인 신호 처리 없이 단지 선택된 방향성 진동체의 출력 신호만으로 음원을 분리하여 소리 정보를 획득하는 것으로 설명하였다. 예를 들어, 제 1 음원에 대해 선택된 제 1 방향성 진동체의 출력 신호로 제 1 음원의 소리 정보를 획득하고, 제 2 음원에 대해 선택된 제 2 방향성 진동체의 출력 신호로 제 2 음원의 소리 정보를 획득하였다. 그러나, 소프트웨어적으로 제 1 방향성 진동체의 출력 신호와 제 2 방향성 진동체의 출력 신호를 연산하여 음원을 분리하는 것도 가능하다. 예를 들어, 도 11c의 예에서, C1 = S1 + 1/2 × S2 및 C2 = 1/2 × S1 + S2이므로, 연립방정식을 풀어서 C1을 S1만으로 표현할 수 있으며 C2를 S2만으로 표현할 수 있다. 구체적으로, 풀어보면 C1' = C1 - 1/2 × C2 = 3/4 × S1가 되며, C2' = C2 - 1/2 × C1 = 3/4 × S2가 된다.

따라서, 제 1 음원에 대해 선택된 제 1 방향성 진동체의 출력 신호에 제 2 음원의 소리가 기여하는 비율 및 제 2 음원에 대해 선택된 제 2 방향성 진동체의 출력 신호에 제 1 음원의 소리가 기여하는 비율을 알면, 제어 회로(140)는 제 1 방향성 진동체의 출력 신호와 제 2 방향성 진동체의 출력 신호를 연산하여 제 1 음원의 소리 정보와 제 2 음원의 소리 정보를 획득할 수 있다. 보다 일반적으로 표현하자면, 제 1 방향성 진동체의 출력 신호를 C1, 제 2 방향성 진동체의 출력 신호를 C2, 제 1 음원의 소리 신호를 S1, 제 2 음원의 소리 신호를 S2, 제 1 방향성 진동체의 출력 신호에 제 2 음원의 소리가 기여한 비율을 α, 제 2 방향성 진동체의 출력 신호에 제 1 음원의 소리가 기여한 비율을 β라 할 때,

C1 = S1 + αS2, 및

C2 = S2 + βS1이고,

S1과 S2를 C1과 C2로 나타내면,

S1 = (C1-αC2)/(1-αβ), 및

S2 = (C2-βC1)/(1-αβ)이 된다.

여기서, α와 β는 입사하는 소리의 방향에 따른 제 1 방향성 진동체와 제 2 방향성 진동체의 고유한 민감도 특성으로서 미리 측정하여 알 수 있다. 예를 들어, 제 1 방향성 진동체와 제 2 음원 사이의 각도에 따라 α의 값이 결정되며, 제 2 방향성 진동체와 제 1 음원 사이의 각도에 따라 β의 값이 결정된다. 만약 음원 분리 장치(100, 101) 내의 모든 방향성 진동체(110_k)들이 동일한 방향성 특성을 갖는다면 α와 β는 동일한 값을 갖는다. 그러나, 방향성 진동체(110_k)들의 방향성 특성이 서로 다르면 α와 β는 상이한 값을 갖는다.

메모리(141)에는 각각의 방향성 진동체에 입사하는 소리의 방향에 따른 각각의 방향성 진동체의 민감도에 대한 미리 측정된 값들이 저장될 수 있다. 예를 들어, 메모리(141)에는 각각의 방향성 진동체에 입사하는 소리의 입사각과 그에 대응하는 민감도 값의 쌍들이 저장될 수 있다. 그러면 제어 회로(140)는 메모리(141)에 저장된 방향성 진동체의 민감도 특성으로부터 α와 β를 구하고, 이를 기초로 제 1 방향성 진동체의 출력 신호와 제 2 방향성 진동체의 출력 신호를 연산하여 제 1 음원의 소리 정보와 제 2 음원의 소리 정보를 획득할 수 있다. 따라서, 복수의 방향성 진동체(110_k) 중에서 목표 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 선택한 후, 소프트웨어적인 신호 처리를 통해 음원을 분리할 수도 있다.

한편, 다양한 공진 주파수를 갖는 방향성 진동체(110_k)들의 조합을 이용하여 음원 방향 탐지의 각도 분해능 및 음원 분리 성능을 향상시킬 수 있다. 예를 들어, 도 13은 또 다른 실시예에 따른 음원 분리 장치의 개략적인 구성을 보이는 평면도이다. 도 13을 참조하면, 음원 분리 장치(102)는 복수의 서브 그룹(SG_1, SG_2, SG_3, SG_4)을 포함한다. 복수의 서브 그룹(SG_1, SG_2, SG_3, SG_4)은 각각 서로 다른 방향성을 대표할 수 있도록, 방위가 인접한 방향성 진동체들을 소정 개수로 묶어 형성될 수 있다. 예를 들어, 도 13에는 제 1 내지 제 4 서브그룹(SG_1, SG_2, SG_3, SG_4)이 서로 90°씩 차이나는 방향을 대표하는 것으로 편의상 도시되었다. 그러나, 도 13에 도시된 서브그룹들의 개수는 단지 설명의 편의를 위한 것으로 4개로 제한되는 것이 아니며, 실제로는 4개보다 많은 서브그룹들이 사용될 수 있다. 이하에서는 편의상 4개의 서브그룹들을 기준으로 설명한다.

또한, 본 실시예에 따른 음원 분리 장치(102)는 공진 주파수가 서로 다른 방향성 진동체(110_1_k, 110_2_k, 110_3_k, 110_4_k)들을 포함하는 점에서, 전술한 실시예들과 차이가 있다. 예를 들어, 각 서브그룹(SG_1, SG_2, SG_3, SG_4)은 일정 범위의 주파수를 갖도록 길이에 변화를 준 방향성 진동체(110_1_k, 110_2_k, 110_3_k, 110_4_k)들을 포함할 수 있다. 이러한 음원 분리 장치(102)의 경우, 각 서브그룹(SG_1, SG_2, SG_3, SG_4) 내에서의 주파수 대역은 단일 공진대역이 아니라 가청 대역 전체로 넓힐 수 있다.

제 1 서브그룹(SG_1)는 중심각 90°범위의 원주를 따라 배열된 복수의 방향성 진동체(110_1_k)를 포함하고, 제 2 서브그룹(SG_2)은 다음 중심각 90°범위의 원주를 따라 배열된 복수의 방향성 진동체(110_2_k)를, 제 3 서브그룹(SG_3)은 그 다음 중심각 90°범위의 원주를 따라 배열된 복수의 방향성 진동체(110_3_k), 제 4 서브그룹(SG_4)은 그 다음 중심각 90°범위의 원주를 따라 배열된 복수의 방향성 진동체(110_4_k)를 포함한다.

제 i 서브 그룹(SG_i)(i는 1에서 4까지의 정수)에 포함되는 방향성 진동체(110_i_k)(k는 1부터 N까지의 정수)들은 소정 주파수 범위(Δf)의 소리를 감지할 수 있도록, 각각의 공진 주파수가 설정된다. 인접한 방향성 진동체(110_i_k)들의 공진 주파수 간격은 서브 그룹(SG_i)에 포함된 방향성 진동체(110_i_k)의 개수(N) 및 주파수 범위(Δf)를 고려하여 정할 수 있다.

각 서브 그룹(SG_i) 내의 복수의 방향성 진동체(110_i_k)는 공진 주파수의 크기 순서대로 배열될 수 있다. 또한, 크기 순서로 배열되는 방향은 복수의 서브 그룹(SG_i)내에서 모두 같을 수 있다. 예를 들어, 도 13에 도시된 바와 같이, 각 각 서브 그룹(SG_i)내에서, 시계 방향을 따라 방향성 진동체(110_i_k)들의 길이가 점점 길어지는 순서로 방향성 진동체(110_i_k)들이 배열될 수 있다. 다만, 이에 한정되지 않고, 반시계 방향으로 방향성 진동체(110_i_k)들의 길이가 점점 길어지는 순서로 배열될 수 있고, 또는, 일부 서브 그룹(SG_i)에서는 시계 방향, 다른 서브 그룹(SG_j,j≠i)에서는 반시계 방향으로 배열되는 것도 가능하다.

공진 주파수가 서로 다른 복수의 방향성 진동체들을 구비하는 상술한 음원 분리 장치(102)에서, 방향성 진동체들의 배열은 상술한 설명에 한정되지 않는다. 각 서브그룹에서 방향성 진동체들의 배열 간격, 예를 들어, 주파수 간격이나 공간 간격은 동일하지 않을 수도 있고, 또한, 예를 들어, 인접한 방향성 진동체 사이의의 커플링을 고려한 다양한 배열 방식이 적용될 수도 있다.

도 14는 또 다른 실시예에 따른 음원 분리 장치의 개략적인 구성을 보이는 평면도이고, 도 15는 도 14에 도시된 음원 분리 장치에 대한 A-A' 단면도이다. 도 14 및 도 15를 참조하면, 음원 분리 장치(103)는 소리가 입력되는 방향과 관계 없이 반응하는 무방향성 진동체(115)를 더 포함할 수 있다. 도 14 및 도 15에 도시된 음원 분리 장치(103)의 나머지 구성은 도 4 및 도 5에 도시된 음원 분리 장치(101)의 구성과 동일할 수 있다.

무방향성 진동체(115)는 예를 들어 소리 배출구(137) 내에 배치될 수 있으며, 복수의 방향성 진동체(110_k)들과 동일 평면 상에 위치할 수 있다. 이 경우, 복수의 방향성 진동체(110_k)들은 무방향성 진동체(115)를 둘러싸는 형태로 배열될 수 있다. 그러나 무방향성 진동체(115)가 배치되는 위치는 반드시 이에 한정되지 않으며, 다양한 다른 위치에 무방향성 진동체(115)를 배치할 수도 있다. 예를 들어, 케이스(131)의 외부에 무방향성 진동체(115)가 위치할 수도 있다.

무방향성 진동체(115)는 방향성 진동체(110_k)들과 달리 모든 방향으로부터 입력되는 소리에 대해 거의 동일한 출력을 가질 수 있다. 이를 위해, 무방향성 진동체(115)는 원형 박막의 형태를 가질 수 있다. 무방향성 진동체(115)가 소리 배출구(137) 내에 배치되는 경우, 원형의 무방향성 진동체(115)의 중심과 소리 배출구(137)의 중심점이 일치하도록 무방향성 진동체(115)가 배치될 수 있다.

한편, 무방향성 진동체(115)의 출력은 소리의 입력 방향과 관계 없이 일정하지만, 무방향성 진동체(115)의 진동 위상은 소리가 입력되는 방향에 따라 달라질 수 있다. 예를 들어, 도 15에 개략적으로 도시된 바와 같이, 무방향성 진동체(115)의 진동 위상은 방향성 진동체(110_k)들 중에서 소리가 입력되는 방향에 배치된 방향성 진동체(110_1)의 진동 위상과 동일할 수 있다. 또한, 무방향성 진동체(115)의 진동 위상은 방향성 진동체(110_k)들 중에서 소리가 입력되는 방향과 반대 방향에 배치된 방향성 진동체(110_9)의 위상과 반대일 수 있다.

도 16은 한 방향으로 소리가 입력되었을 때 하나의 무방향성 진동체(115) 및 서로 마주하는 2개의 방향성 진동체(110_1, 110_9)의 진동 위상을 예시적으로 보이는 그래프이다. 예를 들어, 방향성 진동체(110_1)와 방향성 진동체(110_9)가 서로 마주하여 배치되어 있고, 방향성 진동체(110_1)로부터 방향성 진동체(110_9)로의 방향으로 소리가 입력된다고 가정한다. 그러면, 도 16에 도시된 바와 같이, 방향성 진동체(110_1)의 진동 위상은 방향성 진동체(110_9)의 진동 위상과 180도 반대이다. 그리고, 무방향성 진동체(115)의 진동 위상은 방향성 진동체(110_1)의 진동 위상과 동일하고 방향성 진동체(110_9)의 진동 위상과 180도 반대이다.

따라서, 무방향성 진동체(115)의 진동 위상과 방향성 진동체(110_k)들의 진동 위상을 참조하여 음원의 방향을 정확하게 탐지하는 것도 가능하다. 예를 들어, 제어 회로(140)는 복수의 방향성 진동체(110_k) 중에서 출력 신호의 세기가 최소인 방향성 진동체를 선택한다. 그리고, 제어 회로(140)는 출력 신호의 세기가 최소인 방향성 진동체의 대해 +90°에 배치된 방향성 진동체의 위상과 출력 신호의 세기가 최소인 방향성 진동체의 대해 -90°에 배치된 방향성 진동체의 위상을 무방향성 진동체(115)의 위상과 비교한다. 그런 후, 제어 회로(140)는 무방향성 진동체(115)의 위상과 가장 가까운 위상을 갖는 방향성 진동체의 배치 방향을 음원의 방향으로 결정할 수 있다.

지금까지 설명한 실시예들에 따른 음원 분리 장치(100, 101, 102, 103)는 다양한 전자 장치에 적용될 수 있다. 음원 분리 장치(100, 101, 102, 103)는 칩 솔루션(Chip solution) 형태의 센서로 구현되어 모바일 기기, IT, 가전, 자동차 등의 분야에서, 복수의 음원의 추적, 잡음 제거, 공간 녹음(Spatial recording)등을 수행할 수 있고, 파노라마 촬영, 증강 현실(Augmented Reality), 가상 현실(Virtual Reality) 분야 등에도 활용 가능하다.

이하에서는 상술한 음원 분리 장치(100, 101, 102, 103)를 활용하는 전자 장치들을 살펴보기로 한다.

도 17은 일 실시예에 따른 사물 인터넷(Internet of Things) 장치의 개략적인 구성을 보이는 블록도이고, 도 18은 도 17에 도시된 사물 인터넷 장치가 일상 생활에 적용되는 동작을 예시적으로 보인다.

사물 인터넷 장치(200)는 사용자가 제공하는 음성 신호를 수신하는 음원 분리 장치(210), 음원 분리 장치(210)에서 수신한 신호를 입력 변수로 사용하는 하나 이상의 어플리케이션 모듈(232)이 저장된 메모리(230), 어플리케이션 모듈(232)을 실행하는 프로세서(220)를 포함한다. 사물 인터넷 장치(200)는 또한, 통신부(250)를 포함할 수 있다.

사물 인터넷 장치(200)는 회전 또는 이동과 같은 구동이 가능한 구동 기기(240)를 더 포함할 수 있다. 구동 기기(240)는 음원 분리 장치(210)에서 수신한 신호를 입력 변수로 하여 실행된 어플리케이션 모듈(232)의 실행 결과에 따라 정해진 방향으로 회전 또는 이동 구동이 제어될 수 있다. 회전이나 이동 방향은 예를 들어, 음원 분리 장치(210)에서 센싱한 소리의 방향을 향하거나 이를 회피하는 방향일 수 있다. 구동 기기(240)는 어플리케이션 모듈(232)의 실행 결과를 사용자에게 출력할 수 있는 출력 기능을 가지도록 구현될 수 있다. 구동 기기(240)는 예를 들어, 스피커나 디스플레이 같은 출력 장치일 수 있다. 음원 분리 장치(210)로는 전술한 실시예들에 따른 음원 분리 장치(100, 101, 102, 103) 중 어느 하나 또는 이들이 변형, 조합된 구조가 채용될 수 있다.

프로세서(220)는 사물 인터넷 장치(200)의 전반적인 동작을 제어할 수 있다. 음원 분리 장치(210), 구동 기기(240), 통신부(250)의 동작을 제어할 수 있고, 관련된 제어 신호를 활용하며 메모리(230)에 저장된 프로그램들을 실행할 수 있다. 메모리(230)에는 또한, 제어 신호에 의해 구동 기기(240)를 소정 방향으로 회전 또는 이동시키도록 프로그램된 구동 기기 제어 모듈(234)이 구비될 수 있다. 구동 기기 제어 모듈(234)는 음원 분리 장치(210)에서 센싱된 신호 및 이와 연계한 어플리케이션 실행 결과를 반영하여, 구동 기기(240)가 음원 분리 장치(210)에서 센싱한 소리의 방향을 향하도록, 또는 이를 회피하는 방향으로 회전 또는 이동되도록 구동 기기(240)를 제어할 수 있다. 이는 예시적인 것이며, 음원 분리 장치(210)에서 센싱된 신호를 반영한 어플리케이션 실행 결과에 따른 구동 기기 제어 방향은 다양하게 변화될 수 있을 것이다.

메모리(230)에는 또한, 음원 분리 장치(210)에서 수신한 신호가 유효한 입력 신호인지를 방향성과 연계하여 학습하도록 프로그램된 학습 모듈(236)이 더 구비될 수 있다. 학습 모듈(236)은 예를 들어, 음원 분리 장치(210)에서 센싱한 소리의 방향성과 유효 신호 여부를 판단한 결과를 반복하여 학습 데이터로 생성하고 누적하며, 누적된 학습 데이터로부터 통계적인 특징을 추출함으로써, 특정 방향에서 입력되는 소리는 유효 신호가 아닌 것으로 처리할 수 있다. 예를 들어, 사용자의 목소리와 다른 방향으로부터 오는 소리를 잡음으로 처리할 수도 있으며, 또는 서로 다른 방향에 있는 복수 사용자의 목소리를 각각 분리하여 인식할 수 있다. 또한, 메모리(230)에는 이외에도, 사물 인터넷 장치(200)의 전반적인 동작을 프로세서(220)에서 제어하는데 필요한 다양한 프로그램 및 데이터들이 저장될 수 있다.

메모리(230)는, 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

통신부(250)는 블루투스(bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication unit), WLAN(와이파이) 통신, 지그비(Zigbee) 통신, 적외선(IrDA, infrared Data Association) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra wideband) 통신, Ant+ 통신 WIFI 통신 방법을 이용하여 외부 기기와 통신할 수 있고, 이에 제한되지 않는다.

도 18을 참조하면, 사물 인터넷 장치(200)에 구비되는 구동 기기(240)는 회전 가능한 구성의 스피커로 예시되고 있다. 이하의 설명은 구동 기기(240)로 스피커를 예시하여 설명할 것이나, 구동 기기(240)는 이에 한정되지 않는다. 사물 인터넷 장치(200)는 입력되는 소리 신호(S1, S2)의 방향성을 판단하고 이를 향하는 방향으로 스피커를 회전할 수 있다. 또한, 사물 인터넷 장치(200)는 동시에 입력되는 2개의 소리 신호(S1, S2)를 효율적으로 분리할 수 있다.

사물 인터넷 장치(200)는 입력되는 소리 신호(S1, S2) 중에서 유효한 신호를 식별할 수 있다. 예를 들어, 사용자(U)로부터의 소리 신호(S1)와 사용자가 아닌 음원(NU)에서의 소리 신호(S2)를 분리하여 인식할 수 있다. 이러한 구별은 입력된 소리의 방향성과 연계하여 유효 신호 여부를 학습함으로써 가능할 수 있다. 이에 따라, 예를 들어, TV와 같이, 고정된 특정 위치의 방향으로부터 유효하지 않은 신호가 지속적으로 입력되는 것을 학습을 통해 판단한 후, 입력된 소리 신호(S1, S2) 중 유효 신호인 소리 신호(S2)의 방향으로 스피커를 회전시킬 수 있고, 또한, 소리 신호(S2)와 관련된 어플리케이션을 실행할 수 있다. 이러한 사물 인터넷 장치(200)는 인공 지능 스피커로 활용될 수 있고, 이외에도, 다양한 사물에 적용되어, 해당 사물이 가지는 고유 기능의 활용도를 높일 수 있다.

또한, 도 19는 일 실시예에 따른 자동차 음성 인터페이스 장치의 개략적인 구성을 보이는 블록도이고, 도 20은 일 실시예에 따른 자동차 음성 인터페이스 장치가 자동차에 적용된 동작을 예시적으로 보인다.

도 19를 참조하면, 자동차 음성 인터페이스 장치(300)는 음원 분리 장치(310) 및 유효 신호 추출 모듈(350)을 포함한다. 유효 신호 추출 모듈(350)은 유효 신호 추출을 위한 처리 과정에 대한 프로그램이 저장된 메모리와 이를 실행하는 프로세서로 구현될 수 있다. 음원 분리 장치(310)로는 전술한 실시예들에 따른 음원 분리 장치(100, 101, 102, 130) 중 어느 하나 또는 이들이 변형, 조합된 구조가 채용될 수 있다.

유효 신호 추출 모듈(350)은 음원 분리 장치(310)에서 수신한 신호를 그 방향성에 따라 유효한 신호인지 여부를 판단하고, 유효한 신호인 경우, 이를 자동차 제어 모듈에 전달할 수 있다. 유효 신호 추출 모듈(350)은 다양한 방향으로부터 입력된 소리 중 운전자의 방향 이외의 방향성을 가지는 소리 신호를 분리한 후 잡음으로 제거하여 자동차 제어 모듈에 전달할 수 있다.

도 20을 참조하면, 자동차(400)에 구비된 음원 분리 장치(310)는 운전자(DR)로부터의 소리 신호(S1)와 승객들(PA)로부터의 소리 신호(S2, S3, S4)를 분리하여 감지한다. 음원 분리 장치(310)는 수신된 소리 신호(S1, S2, S3, S4)들의 방향성을 구분하며 소리 신호(S1, S2, S3, S4)들을 각각 분리하여 감지된 결과를 유효 신호 추출 모듈(350)에 전달할 수 있다. 유효 신호 추출 모듈(350)은 운전자(DR)에 의한 소리 신호(S1)만을 자동차 제어 모듈(420)에 전달할 수 있다.

도 21은 일 실시예에 따른 공간 녹음(spatial recording) 장치의 개략적인 구성을 보이는 블록도이다. 도 21을 참조하면, 일 실시예에 따른 공간 녹음 장치(500)는 음원 분리 장치(510), 음원 분리 장치(510)에서 센싱한 신호를 분석하여 음원 분리 장치(510)에 입사된 소리의 방향성을 판단하는 프로세서(520), 및 프로세서(520)의 신호 처리를 위한 프로그램 및 상기 프로세서의 실행 결과가 저장되는 메모리(530)를 포함할 수 있다. 음원 분리 장치(510)로는 전술한 실시예들에 따른 음원 분리 장치(100, 101, 102, 103) 중 어느 하나 또는 이들이 변형, 조합된 구조가 채용될 수 있다. 음원 분리 장치(510)는 주변 소리를 방향성과 결부하여 녹음할 수 있다. 음원 분리 장치(510)는 높은 분해능으로 소리의 입력 방향을 추정할 수 있다.

공간 녹음 장치(500)는 소리의 입력 방향을 추정한 결과를 활용하여, 원하는 음원에 대해서만 선택적으로 녹음하거나, 또는 서로 다른 방향에 있는 음원들의 소리를 분리하여 각각 개별적으로 녹음하는 것도 가능하다. 공간 녹음 장치(500)는 녹음된 소리을 방향성에 맞추어 재생할 수 있도록, 다채널 스피커(550)를 더 포함할 수 있다. 프로세서(510)는 메모리(530)에 저장된 오디오 신호가 방향성에 맞추어 재생되도록 다채널 스피커(550)를 제어할 수 있다. 녹음된 음원을 방향성에 맞추어 재생함으로써, 녹음된 콘텐츠(contents)의 현장감을 증강시키고, 몰입감, 실제감을 향상시킬 수 있다. 이러한 공간 녹음 장치(500)는 증강 현실(Augmented Reality) 또는 가상 현실(Virtual Reality) 장치에 활용될 수도 있다.

또한, 도 22는 일 실시예에 따른 전방위 카메라의 개략적인 구성을 보이는 블록도이다. 도 22를 참조하면, 일 실시예에 따른 전방위 카메라(600)는 전방위에 놓인 객체에 대한 파노라마 촬영이 가능한 카메라이다. 전방위 카메라(600)는 음원 분리 장치(610), 전방위(omnidirectional) 촬영 모듈(640), 음원 분리 장치(610)에서 센싱한 방향성 소리 신호와 전방위 촬영 모듈(640)에서 촬영한 전방위 영상 신호가 정합하도록, 음원 분리 장치(610)와 전방위 촬영 모듈(640)을 제어하는 프로세서(620), 및 방향성 소리 신호 및 전방위 영상 신호를 저장하는 메모리(630)를 포함할 수 있다. 음원 분리 장치(610)는 전술한 실시예들에 따른 음원 분리 장치(100, 101, 102, 103) 중 어느 하나이거나, 또는 이들이 변형, 조합된 구조를 가질 수 있고, 전방위로부터의 소리를 감지하여 서로 다른 방향으로부터 오는 소리를 분리할 수 있다.

전방위 촬영 모듈(640)로서 일반적인 파노라마 촬영 모듈이 사용될 수 있다. 예를 들어, 360도 회전 가능한 본체 내에 광학 렌즈들과 이미지 센서 등의 구성이 구비된 전방위 촬영 모듈(640)이 채용될 수 있다. 프로세서(620)의 제어에 따라, 음원 분리 장치(610)에서 센싱된 신호 중에서, 전방위 촬영 모듈(640)에서의 촬영 방향에 해당하는 방향의 소리만을 분리하여 선택적으로 메모리(630)에 저장될 수 있다. 이와 같이, 전방위 카메라(600)에 의해, 360° 파노라마 영상 신호와 영상에 정합하는 소리 신호가 메모리(630)에 저장될 수 있다. 이러한 영상/소리 정보는 다채널 스피커가 구비된 디스플레이 장치에 의해 재생되며 현장감을 극대화할 수 있고, 또한, 증강 현실(Augmented Reality)/가상 현실(Virtual Reality) 장치에 활용될 수도 있다.

전술한 실시예들에 따른 전자 장치들은 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다.

전술한 실시예들에 따른 전자 장치에서 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

지금까지, 음원 분리 장치 및 음원 분리 방법은 도면에 도시된 실시예를 참고로 설명되었으나, 앞서 언급하였듯이 하나의 공진기만을 가지는 공진구조로 대체될 수 있다. 또한 상술한 실시예는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형이 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 명세서의 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.

100, 101, 102, 103.....음원 분리 장치
110_k, 110_i_k.....방향성 진동체
115.....무방향성 진동체 120.....지지부
130, 131.....케이스 134.....소리 인입구
135, 137.....소리 배출구 140.....제어 회로
141.....메모리 SG_i..서브 그룹
200.....사물 인터넷 장치 300.....자동차 음성 인터페이스 장치
500.....공간 녹음 장치 600.....전방위 카메라

Claims

소리가 입력되는 소리 인입구;
상기 소리 인입구를 통해 입력된 소리가 출력되는 소리 배출구;
상기 소리 인입구와 상기 소리 배출구 사이의 평면에서 상기 소리 인입구의 중심과 연직으로 마주하는 상기 평면 상의 중심점을 둘러싸는 형태로 배열된 것으로, 상기 소리 인입구로 입력되는 소리의 방향에 따라 선택적으로 하나 이상이 반응하도록 구성된 복수의 방향성 진동체; 및
상기 복수의 방향성 진동체의 출력 신호들의 세기들을 기초로 서로 다른 제 1 음원과 제 2 음원의 방향을 결정하고, 상기 제 1 음원으로부터 오는 소리와 제 2 음원으로부터 오는 소리를 각각 분리하여 획득하기 위하여 상기 복수의 방향성 진동체 중에서 서로 다른 제 1 방향성 진동체와 제 2 방향성 진동체를 선택하도록 구성된 제어 회로;를 포함하며,
상기 제어 회로는 제 1 방향성 진동체의 제 1 출력 신호를 기초로 상기 제 1 음원으로부터 오는 소리 정보를 획득하고 상기 제 2 방향성 진동체의 제 2 출력 신호를 기초로 상기 제 2 음원으로부터 오는 소리 정보를 획득하도록 구성되고,
상기 제어 회로는, 상기 제 1 음원과 제 2 음원 사이의 각도가 90도 미만인 경우, 상기 제 1 음원의 방향을 중심으로 제 1 각도 범위 내에 배열된 복수의 방향성 진동체 중에서 상기 제 2 음원의 방향에 대해 가장 민감도가 작은 방향성 진동체를 제 1 방향성 진동체로서 선택하고, 상기 제 2 음원의 방향을 중심으로 제 2 각도 범위 내에 배열된 복수의 방향성 진동체 중에서 상기 제 1 음원의 방향에 대해 가장 민감도가 작은 방향성 진동체를 제 2 방향성 진동체로서 선택하도록 구성되는 음원 분리 장치.
삭제
제 1 항에 있어서,
상기 제어 회로는, 상기 제 1 음원과 제 2 음원이 서로 90도 이상 떨어진 경우, 상기 복수의 방향성 진동체 중에서 상기 제 1 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 제 1 방향성 진동체로서 선택하고, 상기 복수의 방향성 진동체 중에서 상기 제 2 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 제 2 방향성 진동체로서 선택하는 음원 분리 장치.
제 1 항에 있어서,
상기 제어 회로는, 상기 제 1 음원과 제 2 음원이 서로 90도 이상 떨어진 경우, 상기 복수의 방향성 진동체 중에서 상기 제 1 음원의 방향을 향해 배치된 방향성 진동체를 제 1 방향성 진동체로서 선택하고, 상기 복수의 방향성 진동체 중에서 상기 제 2 음원의 방향을 향해 배치된 방향성 진동체를 제 2 방향성 진동체로서 선택하는 음원 분리 장치.
제 4 항에 있어서,
상기 제어 회로는 상기 제 1 방향성 진동체의 제 1 출력 신호에 상기 제 2 음원의 소리가 기여한 비율 및 상기 제 2 방향성 진동체의 제 2 출력 신호에 상기 제 1 음원의 소리가 기여한 비율을 기초로, 제 1 출력 신호와 제 2 출력 신호를 연산하여 상기 제 1 음원의 소리와 상기 제 2 음원의 소리 정보를 획득하도록 구성된 음원 분리 장치.
제 5 항에 있어서,
상기 제 1 방향성 진동체의 제 1 출력 신호를 C1, 상기 제 2 방향성 진동체의 제 2 출력 신호를 C2, 상기 제 1 음원의 소리 신호를 S1, 상기 제 2 음원의 소리 신호를 S2, 상기 제 1 출력 신호에 상기 제 2 음원의 소리가 기여한 비율을 α, 상기 제 2 출력 신호에 상기 제 1 음원의 소리가 기여한 비율을 β라 할 때,
C1 = S1 + αS2,
C2 = S2 + βS1이고,
S1 = (C1-αC2)/(1-αβ),
S2 = (C2-βC1)/(1-αβ)
인 음원 분리 장치.
제 5 항에 있어서,
상기 제 1 방향성 진동체의 제 1 출력 신호에 상기 제 2 음원의 소리가 기여한 비율은 상기 제 1 방향성 진동체와 상기 제 2 음원 사이의 각도에 의해 결정되고, 상기 제 2 방향성 진동체의 제 2 출력 신호에 상기 제 1 음원의 소리가 기여한 비율은 상기 제 2 방향성 진동체와 상기 제 1 음원 사이의 각도에 의해 결정되는 음원 분리 장치.
제 7 항에 있어서,
각각의 방향성 진동체에 입사하는 소리의 방향에 따른 각각의 방향성 진동체의 민감도를 저장한 메모리를 더 포함하는 음원 분리 장치.
삭제
제 1 항에 있어서,
상기 제어 회로는 상기 제 1 음원으로부터 오는 소리가 작아지는 시간 동안 상기 제 2 음원의 방향을 결정하고, 상기 제 2 음원으로부터 오는 소리가 작아지는 시간 동안 상기 제 1 음원의 방향을 결정하도록 구성된 음원 분리 장치.
제 10 항에 있어서,
상기 제어 회로는 180도 범위 내에 배열된 복수의 방향성 진동체의 출력 신호들의 세기들이 2개의 이상의 피크를 갖는 경우에 2개 이상의 음원이 존재하는 것으로 판단하고, 180도 범위 내에 배열된 복수의 방향성 진동체의 출력 신호들의 세기들이 하나의 피크를 갖는 시간 동안 하나의 음원의 방향을 결정하도록 구성된 음원 분리 장치.
제 1 항에 있어서,
상기 제어 회로는 상기 복수의 방향성 진동체 중에서 출력 신호의 세기가 최대인 방향성 진동체의 배치 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하도록 구성된 음원 분리 장치.
제 1 항에 있어서,
상기 제어 회로는 상기 복수의 방향성 진동체 중에서 출력 신호의 세기가 최소인 방향성 진동체의 배치 방향에 수직한 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하도록 구성된 음원 분리 장치.
제 13 항에 있어서,
상기 제어 회로는, 출력 신호의 세기가 최소인 방향성 진동체에 대해 +90°에 배치된 방향성 진동체의 진동 세기와 출력 신호의 세기가 최소인 방향성 진동체에 대해 -90°에 배치된 방향성 진동체의 출력 신호의 세기를 비교하고, 출력 신호의 세기가 더 큰 방향성 진동체의 배치 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하도록 구성된 음원 분리 장치.
제 13 항에 있어서,
소리가 입력되는 방향과 관계 없이 반응하는 무방향성 진동체를 더 포함하는 음원 분리 장치.
제 15 항에 있어서,
상기 제어 회로는, 출력 신호의 세기가 최소인 방향성 진동체에 대해 +90°에 배치된 방향성 진동체의 위상과 진동 세기가 최소인 방향성 진동체에 대해 -90°에 배치된 방향성 진동체의 위상을 상기 무방향성 진동체의 위상과 비교하고, 상기 무방향성 진동체의 위상과 가장 가까운 위상을 갖는 방향성 진동체의 배치 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하도록 구성된 음원 분리 장치.
제 15 항에 있어서,
상기 복수의 방향성 진동체와 상기 무방향성 진동체는 동일한 평면 상에 배열되며, 상기 복수의 방향성 진동체는 상기 무방향성 진동체를 둘러싸는 형태로 배열되는 음원 분리 장치.
제 1 항에 있어서,
상기 복수의 방향성 진동체는 상기 중심점에 대해 소정의 대칭성을 갖도록 배열되는 음원 분리 장치.
제 1 항에 있어서,
상기 소리 배출구는 상기 복수의 방향성 진동체 전체를 마주하도록 형성된 음원 분리 장치.
제 1 항에 있어서,
상기 소리 배출구는 상기 복수의 방향성 진동체 각각과 마주하는 복수개로 구비되는 음원 분리 장치.
제 1 항에 있어서,
상기 복수의 방향성 진동체는 동일한 공진 주파수를 갖는 음원 분리 장치.
제 1 항에 있어서,
상기 복수의 방향성 진동체는 서로 다른 공진 주파수를 갖는 복수의 방향성 진동체를 포함하는 음원 분리 장치.
◈청구항 23은(는) 설정등록료 납부시 포기되었습니다.◈

하나의 중심점을 둘러싸는 형태로 배열된 것으로, 입력되는 소리의 방향에 따라 선택적으로 하나 이상이 반응하도록 구성된 복수의 방향성 진동체를 이용하여 소리를 수신하는 단계;
상기 복수의 방향성 진동체의 출력 신호들의 세기들을 기초로 서로 다른 제 1 음원과 제 2 음원의 방향을 결정하는 단계;
상기 제 1 음원으로부터 오는 소리와 제 2 음원으로부터 오는 소리를 각각 분리하여 획득하기 위하여 상기 복수의 방향성 진동체 중에서 서로 다른 제 1 방향성 진동체와 제 2 방향성 진동체를 선택하는 단계; 및
상기 제 1 방향성 진동체와 제 2 방향성 진동체를 이용하여 소리 정보를 획득하는 단계;를 포함하고,
상기 제 1 방향성 진동체와 제 2 방향성 진동체를 이용하여 소리 정보를 획득하는 단계는 상기 제 1 방향성 진동체의 제 1 출력 신호를 기초로 상기 제 1 음원으로부터 오는 소리 정보를 획득하고 상기 제 2 방향성 진동체의 제 2 출력 신호를 기초로 상기 제 2 음원으로부터 오는 소리 정보를 획득하는 단계를 포함하며,
상기 제 1 음원과 제 2 음원 사이의 각도가 90도 미만인 경우, 상기 제 1 방향성 진동체와 제 2 방향성 진동체를 선택하는 단계는:
상기 제 1 음원의 방향을 중심으로 제 1 각도 범위 내에 배열된 복수의 방향성 진동체 중에서 상기 제 2 음원의 방향에 대해 가장 민감도가 작은 방향성 진동체를 제 1 방향성 진동체로서 선택하는 단계; 및
상기 제 2 음원의 방향을 중심으로 제 2 각도 범위 내에 배열된 복수의 방향성 진동체 중에서 상기 제 1 음원의 방향에 대해 가장 민감도가 작은 방향성 진동체를 제 2 방향성 진동체로서 선택하는 단계;를 포함하는 음원 분리 방법.
◈청구항 24은(는) 설정등록료 납부시 포기되었습니다.◈

제 23 항에 있어서,
상기 제 1 음원과 제 2 음원의 방향을 결정하는 단계는:
상기 제 1 음원으로부터 오는 소리가 작아지는 시간 동안 상기 제 2 음원의 방향을 결정하는 단계; 및
상기 제 2 음원으로부터 오는 소리가 작아지는 시간 동안 상기 제 1 음원의 방향을 결정하는 단계;를 포함하는 음원 분리 방법.
◈청구항 25은(는) 설정등록료 납부시 포기되었습니다.◈

제 24 항에 있어서,
상기 제 1 음원과 제 2 음원의 방향을 결정하는 단계는:
180도 범위 내에 배열된 복수의 방향성 진동체의 출력 신호들의 세기들이 2개의 이상의 피크를 갖는 경우에 2개 이상의 음원이 존재하는 것으로 판단하는 단계; 및
상기 180도 범위 내에 배열된 복수의 방향성 진동체의 출력 신호들의 세기들이 하나의 피크를 갖는 시간 동안 하나의 음원의 방향을 결정하는 단계;를 더 포함하는 음원 분리 방법.
◈청구항 26은(는) 설정등록료 납부시 포기되었습니다.◈

제 23 항에 있어서,
상기 제 1 음원과 제 2 음원의 방향을 결정하는 단계는 상기 복수의 방향성 진동체 중에서 출력 신호의 세기가 최대인 방향성 진동체의 배치 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하는 단계를 포함하는 음원 분리 방법.
◈청구항 27은(는) 설정등록료 납부시 포기되었습니다.◈

제 23 항에 있어서,
상기 제 1 음원과 제 2 음원의 방향을 결정하는 단계는 상기 복수의 방향성 진동체 중에서 출력 신호의 세기가 최소인 방향성 진동체의 배치 방향에 수직한 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하는 단계를 포함하는 음원 분리 방법.
◈청구항 28은(는) 설정등록료 납부시 포기되었습니다.◈

제 27 항에 있어서,
상기 제 1 음원과 제 2 음원의 방향을 결정하는 단계는:
출력 신호의 세기가 최소인 방향성 진동체에 대해 +90°에 배치된 방향성 진동체의 진동 세기와 출력 신호의 세기가 최소인 방향성 진동체에 대해 -90°에 배치된 방향성 진동체의 출력 신호의 세기를 비교하는 단계; 및
출력 신호의 세기가 더 큰 방향성 진동체의 배치 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하는 단계;를 포함하는 음원 분리 방법.
◈청구항 29은(는) 설정등록료 납부시 포기되었습니다.◈

제 27 항에 있어서,
소리가 입력되는 방향과 관계 없이 반응하는 무방향성 진동체를 이용하여 소리를 수신하는 단계를 더 포함하는 음원 분리 방법.
◈청구항 30은(는) 설정등록료 납부시 포기되었습니다.◈

제 29 항에 있어서,
상기 제 1 음원과 제 2 음원의 방향을 결정하는 단계는:
출력 신호의 세기가 최소인 방향성 진동체에 대해 +90°에 배치된 방향성 진동체의 위상과 진동 세기가 최소인 방향성 진동체에 대해 -90°에 배치된 방향성 진동체의 위상을 상기 무방향성 진동체의 위상과 비교하는 단계; 및
상기 무방향성 진동체의 위상과 가장 가까운 위상을 갖는 방향성 진동체의 배치 방향을 제 1 음원 또는 제 2 음원의 방향으로 결정하는 단계;를 더 포함하는 음원 분리 방법.
삭제
◈청구항 32은(는) 설정등록료 납부시 포기되었습니다.◈

제 23 항에 있어서,
상기 제 1 음원과 제 2 음원이 서로 90도 이상 떨어진 경우, 상기 제 1 방향성 진동체와 제 2 방향성 진동체를 선택하는 단계는:
상기 복수의 방향성 진동체 중에서 상기 제 1 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 제 1 방향성 진동체로서 선택하는 단계; 및
상기 복수의 방향성 진동체 중에서 상기 제 2 음원의 방향에 대해 가장 민감도가 큰 방향성 진동체를 제 2 방향성 진동체로서 선택하는 단계;를 포함하는 음원 분리 방법.
◈청구항 33은(는) 설정등록료 납부시 포기되었습니다.◈

제 23 항에 있어서,
상기 제 1 음원과 제 2 음원이 서로 90도 이상 떨어진 경우, 상기 제 1 방향성 진동체와 제 2 방향성 진동체를 선택하는 단계는:
상기 복수의 방향성 진동체 중에서 상기 제 1 음원의 방향을 향해 배치된 방향성 진동체를 제 1 방향성 진동체로서 선택하는 단계; 및
상기 복수의 방향성 진동체 중에서 상기 제 2 음원의 방향을 향해 배치된 방향성 진동체를 제 2 방향성 진동체로서 선택하는 단계;를 포함하는 음원 분리 방법.
◈청구항 34은(는) 설정등록료 납부시 포기되었습니다.◈

제 33 항에 있어서,
상기 제 1 방향성 진동체와 제 2 방향성 진동체를 이용하여 소리 정보를 획득하는 단계는:
상기 제 1 방향성 진동체의 제 1 출력 신호에 상기 제 2 음원의 소리가 기여한 비율 및 상기 제 2 방향성 진동체의 제 2 출력 신호에 상기 제 1 음원의 소리가 기여한 비율을 결정하는 단계; 및
상기 제 1 출력 신호와 제 2 출력 신호를 연산하여 상기 제 1 음원의 소리와 상기 제 2 음원의 소리 정보를 획득하는 단계;를 포함하는 음원 분리 방법.
◈청구항 35은(는) 설정등록료 납부시 포기되었습니다.◈

제 34 항에 있어서,
상기 제 1 방향성 진동체의 제 1 출력 신호를 C1, 상기 제 2 방향성 진동체의 제 2 출력 신호를 C2, 상기 제 1 음원의 소리 신호를 S1, 상기 제 2 음원의 소리 신호를 S2, 상기 제 1 출력 신호에 상기 제 2 음원의 소리가 기여한 비율을 α, 상기 제 2 출력 신호에 상기 제 1 음원의 소리가 기여한 비율을 β라 할 때,
C1 = S1 + αS2,
C2 = S2 + βS1이고,
S1 = (C1-αC2)/(1-αβ),
S2 = (C2-βC1)/(1-αβ)
인 음원 분리 방법.
◈청구항 36은(는) 설정등록료 납부시 포기되었습니다.◈

제 34 항에 있어서,
상기 제 1 방향성 진동체의 제 1 출력 신호에 상기 제 2 음원의 소리가 기여한 비율은 상기 제 1 방향성 진동체와 상기 제 2 음원 사이의 각도에 의해 결정되고, 상기 제 2 방향성 진동체의 제 2 출력 신호에 상기 제 1 음원의 소리가 기여한 비율은 상기 제 2 방향성 진동체와 상기 제 1 음원 사이의 각도에 의해 결정되는 음원 분리 방법.
삭제