以下、図面を参照して、本発明による各実施形態のマルチチャンネル音響の音声信号変換装置について説明する。
〔第1実施形態〕
図1は、本発明による第1実施形態のマルチチャンネル音響の音声信号変換装置10と、その周辺装置の概略構成を示すブロック図である。
図1に示す音声信号供給装置100は、複数の音源が発音した複数の音響(歌唱音や楽器音等)の混合音の波形を示すマルチチャンネル音響の音声信号を供給可能とする装置である。特に、図1に示す音声信号供給装置100は、本来、例示する5chのマルチチャンネル音響システムのスピーカ配置200(図示破線)用に、後方のチャンネルの音声信号(後方チャンネル音声信号Xm)と、前方のチャンネルの音声信号(前方チャンネル音声信号Xo)と、を含むマルチチャンネル音響の音声信号を供給可能となっている。
スピーカ配置200は、受聴者の頭部Hを基準に前方のスピーカ(前方中央のスピーカFC及び斜め前方左右に一対のスピーカFL,FR)と、後方のスピーカ(斜め後方左右に一対のスピーカBL,BR)が配置されることが想定され、音声信号供給装置100から供給するマルチチャンネル音響の音声信号は、これら各スピーカによって音像を定位させることが想定されたものである。尚、音声信号供給装置100は、低音用の放音装置(ウーハ)をスピーカ配置200に対し追加することで5.1chのサラウンドシステムを構成することも可能なマルチチャンネル音響の音声信号を供給する装置でもよい。
ただし、図1に示す本実施形態の例では、音声信号供給装置100から供給するマルチチャンネル音響の音声信号は、例示する5chの変形マルチチャンネル音響システムとして実配置されるスピーカ配置300にて再生されるようになっている。尚、本発明に直接関係しない要素、例えばスピーカ配置300にて再生するためのパワーアンプ等の設置の図示は省略している。
つまり、スピーカ配置300は、受聴者の頭部Hを基準に前方のスピーカ(前方中央のスピーカFC及び斜め前方左右に一対のスピーカFL,FR)についてはスピーカ配置200と同配値であるが、後方のスピーカ(斜め後方左右に一対のスピーカBL,BR)が設置できない等の理由で、側方のスピーカ(側方左右に一対のスピーカSL,SR)として設置されている。
このようなスピーカ配置300において、音声信号供給装置100から供給するマルチチャンネル音響の音声信号について、前方チャンネル音声信号Xoをそれぞれ対応する前方中央のスピーカFC及び斜め前方左右に一対のスピーカFL,FRにて再生し、後方チャンネル音声信号Xmをそれぞれ斜め後方左右に一対のスピーカBL,BRの代わりに設置した側方左右に一対のスピーカSL,SRにて再生すると、音像が定位する位置がずれてしまい受聴者が誤認識してしまうことになる。
そこで、図1に示す例では、このようなマルチチャンネル音響の音声信号のうち後方チャンネル音声信号Xmについては本発明による第1実施形態の音声信号変換装置10へ供給されるようになっている。一方、前方チャンネル音声信号Xoはそれぞれ対応する前方中央のスピーカFC及び斜め前方左右に一対のスピーカFL,FRに供給されるようになっている。
そして、本実施形態の音声信号変換装置10は、帯域抑圧フィルタ記憶部11と、後方感強調処理部12とを備えるよう構成されている。
帯域抑圧フィルタ記憶部11は、その詳細は後述するが、所定数(1つを含む)の帯域抑圧フィルタを記憶している。この所定数の帯域抑圧フィルタは、フィルタ形状として複数種類あるときは「形状種別」で分類されるとともに、それぞれの形状種別毎に、予め定めた抑圧量で予め定めた抑圧帯域幅の基準の帯域抑圧フィルタが定められ、抑圧帯域として複数種類あるときは各基準の帯域抑圧フィルタに対し異なる抑圧帯域幅となる帯域抑圧フィルタが「帯域種別」で分類されている。
「形状種別」としては、図2を参照して後述するが、矩形状(図2(a))、対称三角状(図2(b))、非対称三角状(図2(c))、変形対称三角状又は変形非対称三角状(図2(d))、複数多重した変形三角状(図2(e))がある。帯域抑圧フィルタは、所謂デジタルフィルタによるデジタル信号処理か、又は所謂アクティブフィルタ回路によるアナログ信号処理で実現できる。
「帯域種別」としては、所定オクターブバンド(例えば1/3オクターブバンド)の中心周波数(例えば2kHzから8kHzの間で予め規定される周波数)を対象にして、予め定めた抑圧量(例えば96dB)で予め定めた抑圧帯域幅(2kHzから6.3kHz)のものを基準の帯域抑圧フィルタとして1つ用意しておき、更に、当該基準の帯域抑圧フィルタに対し異なる抑圧帯域幅(2kHzから8kHz,2.5kHzから8kHz等)を1つ以上用意している。
即ち、本実施形態の例では、「形状種別」で分類される所定種類数の帯域抑圧フィルタについて、それぞれの形状種別毎に、「帯域種別」で分類される複数の帯域抑圧フィルタを帯域抑圧フィルタ記憶部11に記憶している。
ただし、帯域抑圧フィルタ記憶部11にて、矩形状(図2(a))のもの1種類のみについて1つの基準の帯域抑圧フィルタのみを保持する形態であっても、多くの受聴者に対応させることができ一定の作用・効果が得られるが、後述する理由で、より多くの受聴者に対応させるために、「帯域種別」で分類される複数の帯域抑圧フィルタを保持する形態が望ましい。
後方感強調処理部12は、その詳細は後述するが、入力される後方チャンネル音声信号Xmに対して、帯域抑圧フィルタ記憶部11から読み出した帯域抑圧フィルタを適用することで後方感強調処理を行い、これにより側方のチャンネルの音声信号(後方感強調処理済みの音声信号Xm’)へと変換し、この後方感強調処理済みの音声信号Xm’を側方左右に一対のスピーカSL,SRへ出力する機能部である。
ここで、当該受聴者本人の頭部伝達関数(HRTF)を測定することなく、より多くの受聴者が後方に音像を知覚できるようにするために、当該受聴者によって、帯域抑圧フィルタ記憶部11に保持されている種々の帯域抑圧フィルタの形状種別及び帯域種別を選択的に外部設定できるように、当該外部設定に対応する選択設定信号を発生する外部インターフェース(図示せず)が音声信号変換装置10に設けられている。そして、後方感強調処理部12は、この選択設定信号に対応する帯域抑圧フィルタを帯域抑圧フィルタ記憶部11から読み出し、後方感強調処理を行うよう構成されている。
複数の帯域抑圧フィルタが帯域抑圧フィルタ記憶部11に記憶してある場合、当該帯域抑圧フィルタを識別できる情報、例えば帯域抑圧フィルタの名称や番号なども帯域抑圧フィルタ記憶部11に記憶させておくようにする。当該外部インターフェースを用いて、受聴者が複数の帯域抑圧フィルタの名称や番号に対して使用する帯域抑圧フィルタを選択するよう構成することができる。
尚、本実施形態の例では、側方左右に対称に実配置される一対のスピーカSL,SRに対し、共通の帯域抑圧フィルタを適用する例としているが、左側方用スピーカSLと右側方用スピーカSRとで、異なる帯域抑圧フィルタを適用可能に構成してもよい。このようにチャンネル毎に異なる帯域抑圧フィルタを適用する場合、どのチャンネルに対してどの帯域抑圧フィルタを使用するのかを識別できるように、帯域抑圧フィルタを使用するチャンネルの番号も対応付けて記憶しておき、当該外部インターフェースを用いて受聴者が選択できるよう構成することができる。
このように、例示する本実施形態の音声信号変換装置10は、後方感強調処理部12により、入力される後方チャンネル音声信号Xmに対して帯域抑圧フィルタを適用して後方感強調処理を行い、これにより側方のチャンネルの音声信号(後方感強調処理済みの音声信号Xm’)へと変換し、この後方感強調処理済みの音声信号Xm’を側方左右に一対のスピーカSL,SRへ出力するように構成されている。
ただし、この音声信号変換装置10は、前方チャンネル音声信号Xo及び後方チャンネル音声信号Xmを入力する構成とすることもでき、この場合も後方感強調処理部12により、後方チャンネル音声信号Xmに対して帯域抑圧フィルタ記憶部11から読み出した帯域抑圧フィルタを適用して後方感強調処理を行って側方のチャンネルの音声信号(後方感強調処理済みの音声信号Xm’)へと変換して出力するとともに、入力された前方チャンネル音声信号Xoをそのまま出力する構成とすることもできる。
尚、本実施形態の例では、前方チャンネルの音声信号Xoと後方チャンネル音声信号Xmを区別して入力する例を示しているが、音声信号に付随しているメタデータからどの音声信号が後方のチャンネルの音声信号であるか否かを判断し、音声信号変換装置10内で自動的に前方(或いは側方)のチャンネルの音声信号と後方のチャンネルの音声信号に分離させる構成とすることもできる。
また、音声信号変換装置10は、その入力段にマルチチャンネル音響のアナログ音声信号を入力してアナログ・デジタル変換処理を施してデジタル信号処理(本実施形態の例では、後方感強調処理)を行い、デジタル信号処理後にデジタル・アナログ変換処理を施してスピーカ配置300へ出力する構成とすることもできる。
図2(a)乃至(e)には、それぞれ本発明による第1実施形態のマルチチャンネル音響の音声信号変換装置10における帯域抑圧フィルタ記憶部11で記憶するフィルタ例を示している。図2(a)乃至(e)には対応する帯域抑圧フィルタの「形状種別」を示している。
前述したように、帯域抑圧フィルタの「形状種別」として、矩形状(図2(a))、対称三角状(図2(b))、非対称三角状(図2(c))、変形対称三角状又は変形非対称三角状(図2(d))、複数多重した変形三角状(図2(e))がある。
図2(a),(b)の帯域抑圧フィルタは、下側遮断周波数FLと上側遮断周波数FU、並びに予め定めた抑圧量FG(例えば96dB)、減衰傾度(例えば−96dB/(1/24oct.))によって規定することができる。減衰傾度を急峻にした場合、図2(a)のような矩形状になり、減衰傾度を緩やかにした場合、図2(b)のような対称三角状となる。
非対称三角状(図2(c))の帯域抑圧フィルタは、下側遮断周波数FLと上側遮断周波数FU、並びに下側遮断周波数FLに関する第1減衰傾度、上側遮断周波数FUに関する第2減衰傾度、抑圧量FG(例えば96dB)によって規定することができる。
変形対称三角状又は変形非対称三角状(図2(d))の帯域抑圧フィルタは、下側遮断第1周波数FL1と上側遮断第1周波数FU1、下側遮断第2周波数FL2と上側遮断第2周波数FU2、下側強調量ELと上側強調量EU並びに下側遮断第1周波数FL1に関する第1減衰傾度、下側遮断第2周波数FL2に関する第2減衰傾度、上側遮断第1周波数FU1に関する第3減衰傾度、上側遮断第2周波数FU2に関する第4減衰傾度、及び抑圧量FG(例えば96dB)によって規定することができる。
また、複数多重した変形三角状(図2(e))の帯域抑圧フィルタは、複数のノッチに個別に下側遮断周波数FLと上側遮断周波数FU、下側の減衰傾度、上側の減衰傾度、抑圧量によって規定することができる。例えばノッチSN1,SN1に対応させる抑圧量FG1,FG2をそれぞれ90dB,96dBとして予め規定しておくことができる。
(後方感強調処理)
図3を参照して、後方感強調処理部12による後方感強調処理について説明する。まず、後方感強調処理部12は、入力される後方チャンネル音声信号Xmに対し、帯域抑圧フィルタ記憶部12に保持される初期設定された帯域抑圧フィルタを適用する(ステップS1)。ここで、初期設定された帯域抑圧フィルタとして、矩形状(図2(a))の帯域抑圧フィルタによる予め定めた抑圧量(例えば96dB)で予め定めた抑圧帯域幅(下側遮断周波数FL=2kHz、上側遮断周波数FU=6.3kHz)、減衰傾度(−96dB/ (1/24oct.))の基準の帯域抑圧フィルタを用いるものとする。
続いて、後方感強調処理部12は、外部からの選択設定信号の有無を監視し(ステップS2)、当該選択設定信号が無ければ(ステップS2:No)、後方チャンネルの音声信号Xmに対し当該基準の帯域抑圧フィルタを適用した後方感強調処理済みの音声信号Xm’を、本例では側方チャンネル音声信号として出力する(ステップS4)。
一方、当該選択設定信号が有るとき(ステップS2:Yes)、後方感強調処理部12は、当該選択設定信号に対応する帯域抑圧フィルタを、帯域抑圧フィルタ記憶部11から読み出して、入力される後方チャンネル音声信号Xmに対して適用し(ステップS3)、当該選択設定信号に対応する帯域抑圧フィルタを適用した後方感強調処理済みの音声信号Xm’を、本例では側方チャンネル音声信号として出力する(ステップS4)。
本実施形態の例では、斜め後方左右に一対のスピーカBL,BR用として想定されていた後方チャンネル音声信号Xmに対して帯域抑圧フィルタを適用し、それぞれ側方左右に一対のスピーカSL,SR用の側方チャンネル音声信号(後方感強調処理済みの音声信号Xm’)へと変換する例を示しているが、斜め前方左右に一対のスピーカFL,FR用の斜め前方チャンネル音声信号(後方感強調処理済みの音声信号Xm’)へと変換するよう構成してもよい。この場合には、受聴者が複数の帯域抑圧フィルタの名称や番号に対して使用する帯域抑圧フィルタを選択する際に、その時の抑圧量も選択可能にして調整できるようにすることが好ましい。従って、後方感強調処理部12は、当該帯域抑圧フィルタについて実配置されるスピーカに応じて選択変更可能に構成することができる。また、実配置されるスペーカ位置を制限しないようにするためには、マルチチャンネル音響の音声信号のうち後方に設置されたスピーカから再生することが想定された複数のチャンネルがある際に、該チャンネル毎に異なる帯域抑圧フィルタを適用可能に構成すればよい。
ところで、このように斜め後方左右に一対のスピーカBL,BR用として想定されていた後方チャンネル音声信号Xmに対して帯域抑圧フィルタを適用し、それぞれ側方左右に一対のスピーカSL,SR用の側方チャンネル音声信号(後方感強調処理済みの音声信号Xm’)へと変換することで、多くの受聴者が後方に音像を知覚できるようになるか否かについて実験により検証した。
より具体的には、1/3オクターブバンドの中心周波数1.6kHzから12.5kHzまでの周波数帯域を様々な帯域幅で抑圧した広帯域白色雑音を、受聴者の側方左右に一対のスピーカSL,SRから再生して、複数の受聴者に知覚した音像の方向を回答させる主観評価実験を行った。
音源は200Hz〜17kHzの広帯域白色雑音とした。帯域抑圧フィルタは、1.6kHzから12.5kHzの1/3オクターブバンドを1〜10バンドまで連続して抑圧した矩形状帯域抑圧フィルタの帯域幅を可変とした55種類とし、帯域抑圧フィルタなしを含めて全56種類である。帯域抑圧フィルタの抑圧量はFG=96dBで固定した。刺激の時間長は1.2秒とし、定常状態を1秒、ハミング窓によるフェードイン、フェードアウトを0.1秒ずつ設けた側方チャンネル音声信号(後方感強調処理済みの音声信号Xm’)を複数の受聴者に受聴させた。尚、実験に用いたスピーカはFOSTEX製FE83E、パワーアンプはYAMAHA製PA4050、オーディオインターフェースはRME製FirefaceUC、音声信号変換装置10を構成したパーソナルコンピュータとして、エプソン製Endevor Pro5600で構成した。
そして、水平面内の方位角±90°に設置した側方に左右一対のスピーカSL,SRから同相で刺激を提示した。スピーカSL,SRから当該受聴者の頭部Hの中心までの距離は1.2mであり、高さは、1.2m(ほぼ当該受聴者の耳の高さ)に調整した。提示音圧レベルは、頭部中心位置で、60dB(A特性)である。当該受聴者には、音像の上昇角をマッピング法で回答させた。回答時問は6秒とした。1試行で全56種類の実験音源を1回ずつランダムに提示し、提示順を変えて各々の当該受聴者について10試行繰り返した。複数の当該受聴者は成人10名である。
全56種類の実験音源を基に、多くの受聴者が後方に音像を知覚できる割合の高いものから順に、上位11パターン(No.1〜No.11)の帯域抑圧フィルタの抑圧帯域についてまとめた結果を図4(a)に示している。
図4(a)にてNo.1として示す帯域抑圧フィルタは、矩形状(図2(a))の帯域抑圧フィルタによる予め定めた抑圧量(例えば96dB)で予め定めた抑圧帯域幅(下側遮断周波数FL=2kHz、上側遮断周波数FU=6.3kHz)、減衰傾度−96dB/(1/24oct.)の基準の帯域抑圧フィルタに対応している。
即ち、No.1として示す帯域抑圧フィルタのみを帯域抑圧フィルタ記憶部12に保持しておき、後方感強調処理部12により読み出して後方感強調処理を適用するだけでも、78%の確率で後方に音像を知覚できている。
また、図4(b)に示すように、No.1,2,3として示す帯域抑圧フィルタを帯域抑圧フィルタ記憶部12に保持しておき、当該受聴者によって選択設定させ、後方感強調処理部12により読み出して後方感強調処理を適用することで、91%の確率で、後方に音像を知覚できるようになることが分かった。
一方、No.1,2,3として示す帯域抑圧フィルタでは抑圧帯域が広く、音響品質を損ないかねないことから、より狭い帯域幅となる複数の帯域抑圧フィルタを当該受聴者によって選択設定させるよう構成することができる。例えば、図4(b)に示すように、No.6,7,10,11として示す帯域抑圧フィルタを当該受聴者によって選択設定させることで、81%の確率で後方に音像を知覚できるようになることが分かった。また、更に狭い帯域幅となる複数の帯域抑圧フィルタとして、No.6,11として示す帯域抑圧フィルタを当該受聴者によって選択設定させることで、79%の確率で後方に音像を知覚できるようになることが分かった。
このように、概ね2kHz〜8kHzの間で可変帯域となる複数種の帯域抑圧フィルタを帯域抑圧フィルタ記憶部12に保持しておき、受聴者によって選択設定可能に構成することで、より多くの受聴者が後方に音像を知覚できるようになる。そして、図2に示したように、形状種別として複数種の形状の帯域抑圧フィルタを用意することで、更に一層、高品質でより多くの受聴者が後方に音像を知覚できるようになることが期待できる。
特に、頭部伝達関数(HRTF)は個人性があるが、平均的な後方チャンネル音声信号用の頭部伝達関数(HRTF)において、4kHz以上の周波数帯域の中で最も低い周波数のノッチ周波数は約6kHz〜10kHzに集中している。そこで、前述の頭部伝達関数(HRTF)の4kHz以上の周波数帯域の中で最も低い周波数のノッチ周波数を抑圧可能とする上側遮断周波数を持つ帯域抑圧フィルタを、後方感強調処理部12によって使用する帯域抑圧フィルタとして定め、帯域抑圧フィルタ記憶部11に記憶しておくようにすることが好ましい。これにより、より多くの受聴者が後方に音像を知覚する汎用的な後方音像知覚効果が得られるようになる。
〔第2実施形態〕
図5は、本発明による第2実施形態のマルチチャンネル音響の音声信号変換装置10と、その周辺装置の概略構成を示すブロック図である。尚、図5において、図1と同様な構成要素には同一の参照番号を付している。第2実施形態では、入力されるマルチチャンネル音響の音声信号のチャンネル数より少ない出力チャンネル数(スピーカ数)で斜め前方(側方でもよい)から再生する場合を想定している。
図5に示す音声信号供給装置100は、第1実施形態と同様に、本来、例示する5chのマルチチャンネル音響システムのスピーカ配置200(図示破線)用に、後方のチャンネルの音声信号(後方チャンネル音声信号Xm)と、前方のチャンネルの音声信号(前方チャンネル音声信号Xo)と、を含むマルチチャンネル音響の音声信号を供給可能とする装置として構成される。
そして、スピーカ配置200は、受聴者の頭部Hを基準に前方のスピーカ(前方中央のスピーカFC及び斜め前方左右に一対のスピーカFL,FR)と、後方のスピーカ(斜め後方左右に一対のスピーカBL,BR)に配置されることが想定され、音声信号供給装置100から供給するマルチチャンネル音響の音声信号は、これら各スピーカによって音像を定位させることが想定されたものである。尚、音声信号供給装置100は、低音用の放音装置(ウーハ)をスピーカ配置200に対し追加することで5.1chのサラウンドシステムを構成することも可能なマルチチャンネル音響の音声信号を供給する装置とすることもできる。
ただし、図5に示す例では、音声信号供給装置100から供給するマルチチャンネル音響の音声信号は、例示する3chの変形マルチチャンネル音響システムとして実配置されるスピーカ配置400にて再生されるようになっている。スピーカ配置400は、受聴者の頭部Hを基準に前方のスピーカFCと、斜め前方のスピーカ(スピーカFL,FR)が設置されている。
スピーカ配置400において音像が定位する位置がずれて受聴者が誤認識することを抑制するために、5chのマルチチャンネル音響の音声信号は、本発明による第2実施形態の音声信号変換装置10に供給され、この音声信号変換装置10からスピーカ配置400の3chの変形マルチチャンネル音響システムのスピーカ配置400にて再生されるようになっている。尚、本発明に直接関係しない要素、例えばスピーカ配置400にて再生するためのパワーアンプ等の設置の図示は省略している。
そして、本実施形態の音声信号変換装置10は、帯域抑圧フィルタ記憶部11と、後方感強調処理部12と、再生信号生成部13とを備えるよう構成される。即ち、本実施形態の音声信号変換装置10は、第1実施形態と比較して、再生信号生成部13を更に備える点で相違する。
帯域抑圧フィルタ記憶部11及び後方感強調処理部12の動作は、第1実施形態と同様であり更なる詳細な説明は省略する。
再生信号生成部13は、後方感強調処理部12から出力される後方感強調処理済みの音声信号Xm’(2チャンネル分)と前方チャンネル音声信号Xo(3チャンネル分)を入力し、予め定めた利得係数を基に重み付け加算合成処理を施して、スピーカ配置400にて再生されるべき3チャンネル分のマルチチャンネル音響の音声信号(再生信号)を生成し、スピーカ配置400に向けて出力する。
つまり、前述した第1実施形態では、後方感強調処理部12から出力される後方感強調処理済みの音声信号Xm’(2チャンネル分)を、側方チャンネル音声信号としてスピーカ配置300に向けて出力するよう構成していたが、本実施形態では、前方チャンネル音声信号Xo(3チャンネル分)との重み付け加算合成処理を経て、斜め前方のスピーカ(スピーカFL,FR)用の前方チャンネル音声信号が生成される。
(再生信号生成処理)
ここで、図6を参照して、再生信号生成部13による再生信号生成処理について説明する。まず、再生信号生成部13は、後方感強調処理部12によって帯域抑圧フィルタを適用した後方感強調処理済みの音声信号Xm’(2チャンネル分)と、音声信号供給装置100から得られる前方チャンネル音声信号Xo(3チャンネル分)を入力する(ステップS11)。
続いて、再生信号生成部13は、各チャンネルの音声信号に対し、再生するチャンネルへの予め定められた利得係数kin(添え字iは出力チャンネル番号、添え字nは入力チャンネル番号を示す)を乗算する(ステップS12)。
利得係数kinの一例を図7に示している。入力信号は、前方チャンネル音声信号Xo(3チャンネル分)と、後方感強調処理済みの音声信号Xm’(2チャンネル分)の5チャンネル分であり、それぞれ本来、5chのマルチチャンネル音響システムのスピーカ配置200における前方中央のスピーカFC用、斜め前方左右に一対のスピーカFL,FR用、及び斜め後方左右に一対のスピーカBL,BR用の音声信号に対応しており、図7では便宜上、順番に“1ch”〜“5ch”として表し、利得係数kinにおける添え字nはその入力チャンネル番号に対応させている。そして、再生信号生成部13の出力信号(再生信号)は、スピーカ配置400における斜め前方左右に一対のスピーカFL,FR用、及び前方中央のスピーカFC用の音声信号に対応しており、図7では便宜上、順番に“1ch”〜“3ch”として表し、利得係数kinにおける添え字iはその出力チャンネル番号に対応させている。
続いて、再生信号生成部13は、利得係数を乗算した各チャンネルの音声信号を、再生するチャンネル用に加算し、再生信号を生成する(ステップS13)。即ち、図7に示すように予め規定された再生するチャンネル毎の利得係数kinの割り当てを参照して、式(1)のように5チャンネル分の入力信号xn(添え字nは入力チャンネル番号)に利得係数kinを乗算した音声信号を加算して3チャンネル分の再生信号を生成する。
そして、再生信号生成部13は、再生するチャンネル毎の再生信号をスピーカ配置400に向けて出力する(ステップS14)。
尚、本実施形態では、図8(a)に示すように、本来、受聴者の頭部Hの背面からの配置角度θで斜め後方左右に一対のスピーカBL,BRが配置されることが想定されている後方チャンネル音声信号Xmであるときに、後方感強調処理済みの音声信号Xm’に対し、受聴者の頭部Hの正面からの配置角度θ0で斜め前方左右に一対のスピーカFL,FRにおける左右のレベルバランスを考慮した利得係数kinが設定されている。
即ち、sinθとsinθ0の比が、“前方左用のスピーカFLのための利得係数kL及び前方右用のスピーカFRのための利得係数kRの差分”と“利得係数kL及び利得係数kRの和”の比と等しくなるよう利得係数kinが設定されている。
より具体的には、図7における利得係数k14,k24,k15,k25は、例えば図8(a)において左右対称でθ0=60°の斜め前方スピーカFL,FRにより、左右対称でθ=45°の斜め後方スピーカBL,BR用の入力信号に対し後方感強調処理を施して再生する場合を想定すると、この左右のレベルバランスの調整のために従来から知られているサイン則(例えば、安藤彰男,“音場の高臨場感技術”,映像情報メディア学会誌Vol.66, No.8, pp.671-677(2012)参照)を用いることができる。
つまり、図8(a)において、例えば受聴者の頭部Hの中心から後方感強調済みの音声信号を再生するスピーカFL,FRまでの角度θ0=60°、受聴者の頭部Hの中心から後方に定位させたい音像の位置での角度θを45°、入力信号(5チャンネル分の音声信号)を前方左側のスピーカFLから再生する音声の利得係数をk14、前方右側のスピーカFRから再生する音声の利得係数をk24とすると、式(2)から求めることができる。
同じく、図8(b)に示すように、本来、受聴者の頭部Hの背面からの配置角度θで斜め後方左右に一対のスピーカBL,BRが配置されることが想定されている後方チャンネル音声信号Xmであるときに、後方感強調処理済みの音声信号Xm’に対し、受聴者の頭部Hの正面からの配置角度θ0で側方左右に一対のスピーカSL,SRにおける左右のレベルバランスを考慮した利得係数kinを設定することができる。
つまり、図8(b)において、例えば受聴者の頭部Hの中心から後方感強調済みの音声信号を再生するスピーカSL,SRまでの角度θ0=90°、受聴者の頭部Hの中心から後方に定位させたい音像の位置での角度θを45°、入力信号(5チャンネル分の音声信号)を側方左側のスピーカSLから再生する音声の利得係数をk14、側方右側のスピーカSRから再生する音声の利得係数をk24とすると、同様に、式(2)から求めることができる。
このような左右のレベルバランスはサイン則の他にもタンゼント則など別の方法を用いて利得係数を算出してもよい。また、本実施形態の例では、5ch或いは5.1chのマルチチャンネル音響を例に説明しているが、再生チャンネルへの割り当てとして、22.2chや、11.1ch、或いは10.2chの場合など、入力チャンネル数と出力チャンネル数の組み合わせについてそれぞれの利得係数のパターンを、再生信号生成部13により読み出し可能な記憶部(図示せず)に予め記憶しておき、図示しない外部インターフェースを用いて受聴者がその割り当てを選択可能にしておくこともできる。これにより、生信号生成部13は、入力チャンネル数や出力チャンネル数に応じて、尚且つ左右に異なる信号レベルで重み付け加算で合成して側方もしくは斜め前方の実配置のスピーカから再生するための再生信号を生成することができる。
尚、このように側方又は前方のチャンネルの音声信号に対して、帯域抑圧フィルタによるフィルタ処理に遅延が生じるときは、再生信号生成部13の出力チャンネルの音声信号として音声信号変換装置10への入力信号のチャンネルの音声信号の位相関係を維持するよう同期を確保するために、一定量の遅延を加えてもよい。
以上のように、入力されるマルチチャンネル音響の音声信号のチャンネル数より少ない出力チャンネル数(スピーカ数)で側方又は斜め前方から再生する場合でも、第1実施形態と同様に、より多くの受聴者が後方に音像を知覚することができようになる。
従って、概ね2kHz〜8kHzの間で可変帯域となる複数種の帯域抑圧フィルタを帯域抑圧フィルタ記憶部12に保持しておき、受聴者によって選択設定可能に構成することで、より多くの受聴者が後方に音像を知覚できるようになる。そして、図2に示したように、形状種別として複数種の形状の帯域抑圧フィルタを用意することで、更に一層、高品質でより多くの受聴者が後方に音像を知覚できるようになることが期待できる。
特に、頭部伝達関数(HRTF)は個人性があるが、平均的に、後方チャンネル音声信号用の頭部伝達関数(HRTF)において、4kHz以上の周波数帯域の中で最も低い周波数のノッチ周波数は約6kHz〜10kHzに集中している。そこで、後方チャンネル音声信号用の頭部伝達関数(HRTF)の4kHz以上の周波数帯域の中で最も低い周波数のノッチ周波数を抑圧可能に上側遮断周波数を持つ帯域抑圧フィルタを、或る帯域種別の基準の帯域抑圧フィルタとして予め設定しておくことで、より多くの受聴者が後方に音像を知覚する汎用的な後方音像知覚効果が得られるようになる。
〔第3実施形態〕
図9は、本発明による第3実施形態のマルチチャンネル音響の音声信号変換装置10と、その周辺装置の概略構成を示すブロック図である。尚、図9において、図5と同様な構成要素には同一の参照番号を付している。第3実施形態における音声信号変換装置10では、第2実施形態の構成に加えて分析部14が設けられ、分析部14により入力信号(入力される後方チャンネル音声信号Xm)を周波数分析し、分析結果によって帯域抑圧フィルタ記憶部11に記憶されている或る帯域種別の基準の帯域抑圧フィルタを変形するか、又は或る帯域種別の基準の帯域抑圧フィルタに換えて別の帯域抑圧フィルタを選択するか、が変更可能となっている。
尚、以下に説明する第3実施形態では、上述した第2実施形態の音声信号変換装置10に対して更に分析部14を設ける例を説明するが、上述した第1実施形態の音声信号変換装置10に対して更に同様の分析部14を設ける構成とすることができる。
即ち、本実施形態の音声信号変換装置10は、帯域抑圧フィルタ記憶部11と、後方感強調処理部12と、再生信号生成部13と、分析部14とを備えるよう構成され、第2実施形態と比較して、分析部14を更に備える点で相違する。
帯域抑圧フィルタ記憶部11、後方感強調処理部12、及び再生信号生成部13の動作は、第1及び第2実施形態と同様であり更なる詳細な説明は省略する。
分析部14は、後方チャンネル音声信号Xmを入力して周波数分析を行い、その分析結果によって帯域抑圧フィルタ記憶部11に記憶されている或る帯域種別の基準の帯域抑圧フィルタを変形するか、又は或る帯域種別の基準の帯域抑圧フィルタから別の帯域抑圧フィルタに選択することで変更可能とし、変更した際にはその旨を後方感強調処理部12に指示して変更後の帯域抑圧フィルタを利用させる機能部である。
(分析処理)
ここで、図10乃至図12を参照して、分析部14による分析処理について説明する。図10は、本実施形態のマルチチャンネル音響の音声信号変換装置10における分析部14のメイン処理を示すフローチャートであり、図11及び図12は、分析部14のサブ処理を示すフローチャートである。
尚、図10乃至図12に示す分析処理は、帯域抑圧フィルタ記憶部11にて図2に示すような複数種の形状種別の帯域抑圧フィルタが保持され、更にその形状種別毎に、複数の帯域種別の帯域抑圧フィルタが保持されている場合を説明する。
まず、図10を参照するに、分析部14は、所定帯域(例えば±1オクターブバンド)内に入力される後方チャンネル音声信号Xmに対し、周波数スペクトルの分析を行う(ステップS21)。
続いて、分析部14は、帯域抑圧フィルタ記憶部11に保持される或る帯域種別の基準の帯域抑圧フィルタについて、変更判定処理を実行する(ステップS22)。
ここで、帯域抑圧フィルタ記憶部11にて図2(a)乃至(e)に示すような複数種の形状種別の帯域抑圧フィルタが保持され、更にその形状種別毎に、複数の帯域種別の帯域抑圧フィルタが保持されている。このため、その形状種別毎に、或る帯域種別の基準の帯域抑圧フィルタが設定されているものとし、この或る帯域種別の基準の帯域抑圧フィルタに対して異なる帯域幅の複数の帯域種別の帯域抑圧フィルタが保持されている。
そして、後述する図11及び図12に示すサブ処理(変更判定処理)により、その形状種別毎に、或る帯域種別の基準の帯域抑圧フィルタの形状が変更され、併せて当該異なる帯域幅の複数の帯域種別の帯域抑圧フィルタの形状が変更される。
尚、帯域抑圧フィルタ記憶部11にて1つの或る帯域種別の基準の帯域抑圧フィルタのみが保持されているときは、その帯域抑圧フィルタの形状が変更される。
また、帯域抑圧フィルタの変更は、帯域抑圧フィルタ記憶部11にて1種類の或る帯域種別の基準の帯域抑圧フィルタについて異なる帯域幅の複数の帯域種別の帯域抑圧フィルタが保持されているときに、複数有るうちの1つの帯域抑圧フィルタを選択することを含む。
図10を参照するに、分析部14は、当該変更判定処理後に、帯域抑圧フィルタについて変更した際にはその旨を後方感強調処理部12に指示する(ステップS23)。
そして、分析部14からの指示を受け付けた後方感強調処理部12は、当該分析部14によって変更された帯域抑圧フィルタについて、これまで使用していた形状種別の帯域抑圧フィルタに対応させてその変更後の帯域抑圧フィルタを適用するよう構成される。
(変更判定処理)
次に、変更判定処理を説明する。図11を参照するに、分析部14は、入力される後方チャンネル音声信号Xmの周波数スペクトルのうち、周波数スペクトルの分析を行った所定帯域(例えば±1オクターブバンド)の範囲で、帯域抑圧フィルタ記憶部11に既設定されている帯域抑圧フィルタの変更判定処理を行う。
まず、分析部14は、当該所定帯域内に高域側ピークSP2から見て所定レベル以上、例えば20dB以上で所定幅以上(例えば0.125%)のノッチが有るか否かを監視する(ステップS31)。
当該所定帯域内にて20dB以上のノッチが有るとき(ステップS31:Yes)、分析部14は、後述する図13(a)の上側図に示すような当該所定帯域内におけるピークSP1に基づく半値SL、ピークSP2に基づく半値SU、及びノッチSN(後述する図14(a)の上側図に示すSN1, SN2を含む)を保持する(ステップS32)。
続いて、分析部14は、帯域抑圧フィルタ記憶部11に保持されるうちの帯域抑圧フィルタにおける特定の形状種別について、特定の帯域種別のものを選択する(ステップS33)。
続いて、分析部14は、図12を参照するに、当該特定の帯域種別の帯域抑圧フィルタSUを基に|SU−FU|が閾値Thを超えてずれていないかを判定する(ステップS34)。
閾値Thを超えてずれているとき(ステップS34:No)、分析部14は、当該特定の形状種別の帯域抑圧フィルタにおける全ての帯域種別のものについて変更なしとして判定し(ステップS35)、ステップS38に移行する。
一方、閾値Thを超えてずれていないとき(ステップS34:Yes)、分析部14は、当該特定の帯域種別のものを閾値Th以上、上側遮断周波数FUが下限周波数FUmin以上、上限周波数FUmax以下となるよう所定値で変更する(ステップS36)。この変更処理は、閾値Th以上、上側遮断周波数FUが予め定めた下限周波数FUmin以上、及び予め定めた上限周波数FUmax以下となる複数有るうちの1つを選択することを含む。つまり、当該特定の帯域種別のフィルタ(各帯域種別における基準の帯域抑圧フィルタ)の形状を直接的に所定値で形状変更するか、或いは複数の帯域抑圧フィルタが保持されているうちの閾値Th以上、上側遮断周波数FUが予め定めた下限周波数FUmin以上、及び予め定めた上限周波数FUmax以下となる1つを選択するよう構成することができる。例えば、FUmin=6.3kHz、上限周波数FUmax=8kHzとすることができる。
続いて、分析部14は、当該特定の形状種別の帯域抑圧フィルタについて、当該所定値を用いて全ての帯域種別のものを変更する(ステップS37)。これは、図9に示すように、外部インターフェースで受聴者が形状種別・帯域種別に関する選択する余地を残しているためである。
続いて、分析部14は、全ての形状種別の帯域抑圧フィルタの変更判定が終了したか否かを判定する(ステップS38)。全ての形状種別の帯域抑圧フィルタの変更判定が終了していないとき(ステップS38:No)、図11に示すステップS33に移行し、別の形状種別の帯域抑圧フィルタの選択を行う。全ての形状種別の帯域抑圧フィルタの変更判定が終了していれば(ステップS38:Yes)、帯域抑圧フィルタの変更判定処理を終了する。
尚、分析部14は、帯域抑圧フィルタの変更判定に係る帯域内に複数のノッチを検出した場合、全てのノッチを順に走査(例えば、高域のノッチから順に走査)して、変更判定処理を実行する。
このように、分析部14は、音声信号変換装置に入力されるマルチチャンネル音響の音声信号のうち後方に設置されるスピーカから再生することが想定されていたチャンネルの音声信号について周波数スペクトルを分析し、この分析結果を基に帯域抑圧フィルタ記憶部11に記憶されている帯域抑圧フィルタの形状及び抑圧帯域のいずれか一方又は双方を自動的に変更可能に構成される。
特に、分析部14は、その分析結果を基に帯域抑圧フィルタ記憶部11に記憶されている複数の帯域抑圧フィルタのうち後方感強調処理部12によって使用する帯域抑圧フィルタを自動的に選択設定するよう構成することができる。
図13(a)は、例えば図2(a)に示す矩形状の帯域抑圧フィルタについて、入力信号(後方チャンネル音声信号)の周波数スペクトラム分布に対し、帯域抑圧フィルタ記憶部11に記憶されている特定の帯域種別の帯域抑圧フィルタの|SU−FU|が閾値Thを超えてずれていない様子を示している。
そして、分析部14による帯域抑圧フィルタの変更処理によって、例えば図2(a)に示す矩形状の帯域抑圧フィルタについては、図13(b)に示すように、|SU−FU|<Thのときに、FU>SN、且つTh≦|SU−FU|、且つFUmin≦FU≦FUmaxとなるよう所定値で中心周波数の変更を行い基準の帯域抑圧フィルタとして更新する。或いは複数有るうちの選択によるときは、これを満たす中心周波数のものを基準の帯域抑圧フィルタとして選択更新する。
また、図13(c)に示すように、|SU−FU|<Thのときに、FU>SN、且つTh≦|SU−FU|、且つFUmin≦FU≦FUmaxとなるよう所定値で帯域幅の変更を行い基準の帯域抑圧フィルタとして更新する。或いは複数有るうちの選択によるときは、これを満たす帯域幅のものを基準の帯域抑圧フィルタとして選択更新する。
また、図13(d)に示すように、Th≦|SU−FU|、且つFUmin≦FU≦FUmaxを満たすが、SN<FGのときに、FG’=SN+α>FG(α:マージン)となるよう所定値で抑圧量の変更を行い基準の帯域抑圧フィルタとする。或いは複数有るうちの選択によるときは、これを満たす抑圧量のものを基準の帯域抑圧フィルタとして選択更新する。
更に、図2(b)乃至図2(d)に示す三角状ベースの帯域抑圧フィルタについては、図14(a)に示すように、|SU−FU|<Thのときに、FU>SN、且つTh≦|SU−FU|、且つFUmin≦FU≦FUmaxとなるよう所定値で減衰傾度の変更を行い基準の帯域抑圧フィルタとして更新する。或いは複数有るうちの選択によるときは、これを満たす減衰傾度のものを基準の帯域抑圧フィルタとして選択更新する。
帯域抑圧フィルタの変更判定処理は、当該判定対象の所定帯域内における入力信号のノッチ数と帯域抑圧フィルタのノッチ数が一致するか否かで帯域抑圧フィルタの変更判定を行うようにしてもよい。例えば、図2(e)に示す複数ノッチの帯域抑圧フィルタについては、図14(b)に示すように、入力信号のノッチ数と帯域抑圧フィルタのノッチ数が一致するときに、ノッチ数が一致しないよう形状変更を行い基準の帯域抑圧フィルタとして更新する。或いは複数有るうちの選択によるときは、これを満たすノッチ数のものを基準の帯域抑圧フィルタとして選択更新する。
以上のように、分析部14は、入力信号(後方チャンネル音声信号Xm)の周波数スペクトルの分析処理によって、入力信号にノッチもしくはピークがみられる場合、基準とする帯域抑圧フィルタよりも、図13に示すように抑圧する中心周波数が高い又は低いフィルタとなるように変更又は選択することや、抑圧する帯域幅がより広い又は狭いフィルタとなるように変更又は選択することや、抑圧量を変更又は選択することや、減衰傾度がより急峻な又は緩やかなフィルタとなるように変形又は選択することや、ノッチ数を変更するように変形または選択することで、基準の帯域抑圧フィルタを変更することができる。上記の例では、入力信号の特徴としてピークやノッチを用いたが、入力信号が抑圧帯域を含むか否かなど、帯域抑圧による周波数特性の変化が確認できるものであればよい。
そして、音声信号が入力されている間、周波数分析は400ms毎など一定時間毎に所定オクターブバンド単位で分析を行うことで、動的に帯域抑圧フィルタを変更することができる。
これにより、帯域抑圧フィルタ記憶部11にて図2(a)乃至(e)に示すような複数種の形状種別の帯域抑圧フィルタが保持され、更にその形状種別毎に、複数の帯域種別の帯域抑圧フィルタが保持されているときに、その形状種別毎に、或る帯域種別の基準の帯域抑圧フィルタの形状が変更され、併せて当該異なる帯域幅の複数の帯域種別の帯域抑圧フィルタの形状が変更される。この場合、図9に示すように、外部インターフェースで受聴者が形状種別・帯域種別に関する選択する余地を残されている。
ただし、本分析処理によって、入力信号(入力される後方チャンネル音声信号Xm)に応じた或る帯域種別の基準の帯域抑圧フィルタを変更可能となるため、外部インターフェースで受聴者が形状種別・帯域種別に関する選択するよう構成していなくても、高精度に、多くの受聴者が後方に音像を知覚できるようになる。
そして、帯域抑圧フィルタ記憶部11に保持される図2(a)乃至(e)に示すような複数種の形状種別の帯域抑圧フィルタの変更処理によって、入力信号に応じて動的に更新されるようになる。
また、各実施形態の音声信号変換装置10をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリに記憶される。コンピュータに備えられる中央演算処理装置(CPU)などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、各実施形態の音声信号変換装置10の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した各実施形態の例では、5ch(又は5.1ch)のマルチチャンネル音響の音声信号を入力し変換する例を説明したが、22.2ch,10.2ch,11.1ch,7.1ch等のマルチチャンネル音響の音声信号を入力し後方感強調処理により後方チャンネル音声信号を側方又は斜め前方のチャンネルの音声信号へ後方感強調処理を施して変換するよう構成することができる。尚、22.2ch等の複数階層のマルチチャンネル音響の音声信号を入力し複数階層の出力チャンネルの音声信号へ後方感強調処理により変換する際には、対応する階層内で後方感強調処理を施すように構成する。これにより、上層部後方と中層部後方の音像を分けて知覚できるようにすることができる。
また、出力チャンネルも上述した実施形態の例に限らず、種々のスピーカ配置に適用することができる。例えば、本発明におけるマルチチャンネル音響の音声信号変換装置は、特許文献1に開示されるディスプレイの周囲に配置された複数のスピーカによりマルチチャンネル音響再生を可能とする前方スピーカ装置や、マルチチャンネル音響を再生可能な複数のスピーカを棒状に配置した前方スピーカ装置に対しても、多くの受聴者が後方に音像を知覚できるようになる。
また、上述した各実施形態の音声信号変換装置では、所謂クロストークキャンセルを行うことなく、後方感強調効果を実現することができるが、クロストークキャンセルを行う再生機と組み合わせてもよい。更に、クロストークキャンセル処理は、後方感強調部の前段又は後段に設けることもできる。従って、本発明に係る音声信号変換装置は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。