JP2005157278A - 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム - Google Patents

Abstract

【課題】 より具体的手法によりコンサートホールなどの音場の、特に直接音及び反射音の到来方向と到達遅れ時間を忠実に再現し、より高臨場感の音場再現を可能とする。
【解決手段】 インパルス応答作成手段４は、反射音の到来方向データに基づき、全方向頭部伝達関数記憶部５に記憶されている全方向の頭部伝達関数データから、前記到来方向に対応する角度の左右ペアの頭部伝達関数を選択する頭部伝達関数選択手段４１、反射音の周波数特性データを用いて、頭部伝達関数選択手段４１により選択された左右ペアの頭部伝達関数をイコライジングするイコライジング手段４２、反射音が受音点に到達するまでの到達遅れ時間を用いて、イコライジングされた左右ペアの頭部伝達関数に遅延をかける遅延手段４３、その頭部伝達関数を累積加算し左右２チャンネルのインパルス応答を得る加算手段４４を有する。
【選択図】図２

Description

本発明は、音場再生対象となる空間内の設定された受音点における音場解析データに基づき、入来音声信号に対して音場再生を行う全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラムに関するものである。

従来より、AVアンプなどではディジタル信号処理によりあたかもコンサートホールで聞いているかのような音場を実現している。例えば、古くは残響成分をリバーブ処理により付加したり、ホールの反射音状況をあらかじめ計算し、方向別の反射音をFIRフィルタの係数として、各チャンネルの音声にフィルタ処理することにより音場感を演出しているものがある。また最近では映画をホームシアターで鑑賞する場合に、映画館のサラウンドLRスピーカからの音声を、仮想音源により前方２ｃｈのスピーカで再現するものがある。

しかしながら、AVアンプで行われているような方法はすべて、音源の方向は設置したスピーカ、あるいは仮想音源の場合サラウンドLRスピーカが置かれるべき方向からであって、我々が日常経験している音場、つまり全周囲方向から音が聞こえる状態を再現しているわけではない。

一方、劇場やホールをはじめとして競技場、スタジオ、ホームシアターなどさまざまな音場を予測するために、限られた帯域幅の音圧エネルギーまたは音圧レベルをスピーカ（音源）のデータとして保持しておき、周知の虚像法や音線法によって室内の音場特性（例えば、受音点における音圧レベル）を算出することで、音響シミュレーションを行っていた。

特開２００２−３６６１６２公報「音響シミュレーション装置および音響調整装置」は、音源であるスピーカの全方向のインパルス応答データを用いることにより、位相特性を含む高精度の音場予測を行い、受音点におけるインパルス応答データを算出して楽音を再生するシステムを実現している。

さらに、特許第２９３２８０１号公報「立体音場シミュレーション方法」には、まだ建設されていない、つまり実際には存在しない音場の音響特性を予測して模擬的に創出する、立体音場シミュレーション方法が書かれている。

この方法では、受音点における特定の方向、すなわち立体角に対応したインパルス応答を求め、左右の耳の音響特性を補正して２系統にし、左右各耳について立体角の数分のインパルス応答を合成（加算）する。ここまでを、すべて波動音響シミュレーション（数値演算）にて行う。これを聴取する場合には、左右のスピーカから、再生系の補正を含むクロストークキャンセル処理を行いながら再生する。

この方法により、「正確に受聴者の左右両耳に入力することができ、立体音場を創出する」ことができると開示されている。また、立体角の分散数(分割数の誤記と思われる)を増やせば精度も上がると開示されている。
特開２００２−３６６１６２公報 特許第２９３２８０１号公報

しかしながら、特開２００２−３６６１６２公報記載の発明では、可聴化するにあたり、各音線のインパルス応答と受音点に入射する角度に応じた頭部伝達関数を畳み込み演算して左右２チャンネルの伝達関数を作成するが（特開２００２−３６６１６２公報 段落番号［０１１２］参照）、左右２チャンネルの伝達関数（インパルス応答）作成の具体的な実現方法の記述がされていない。さらに言えば、壁面伝達関数を作成する際、周波数特性のみに注目しているため、受音点側の反射音の到達遅れ時間の反映がなされていない。

特許第２９３２８０１号公報記載の発明では、インパルス応答を合成（加算）を、すべて数値演算で行っているため、計算を開始してから音を出すまでに時間がかかる。この数値演算では、立体角を変数に適宜に分割してインパルス応答を求めるており、精度を上げるために分割数を増やせば、より一層実際に音を出すまでに時間を要してしまう。

また、上記従来の方法では、左右２チャンネルの２系統に集約し、前方２個のスピーカにて音を再生するが、実際コンサートホールで体験する、ホール全体が筐体となって音が伝わってくる、いわゆる箱が鳴る状態を再現するのは難しかった。

そこで、本発明は上記の点に着目してなされたものであり、処理時間の短縮を図ったより具体的手法によりコンサートホールなどの音場の、特に直接音及び反射音の到来方向と到達遅れ時間を忠実に再現し、より高臨場感の音場再現を可能とする全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラムを提供することを目的とするものである。

さらに、本発明は、低域を専用チャンネルとすることにより箱が鳴る状態、すなわち全周囲から音が鳴っている状態を再現可能な全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラムを提供することを目的とするものである。

そこで、上記課題を解決するために本発明は、下記の装置、方法、及びプログラムを提供するものである。
（１）
音場再生対象となる空間内に設定された受音点における音場解析データに基づき、入来音声信号に対して音場再生を行う全周囲音場創生装置において、
人頭の両耳における全方向の頭部伝達関数データを記憶する全方向頭部伝達関数データ記憶手段（５）と、
前記受音点における直接音及び各反射音を、前記音場解析データ及び前記頭部伝達関数データを用いて、左右ペアの頭部伝達関数に置き換えて左右２チャンネルのインパルス応答を作成するインパルス応答作成手段（４）と、
作成された前記左右２チャンネルのインパルス応答を用いて、前記入来音声信号に対して音場再生処理を行う音場処理手段（６）と、を設け、
前記インパルス応答作成手段（４）は、
前記受音点での前記音場解析データである直接音の到来方向データまたは各反射音の到来方向データに基づき、前記全方向の頭部伝達関数データから前記到来方向に対応する角度の左右ペアの頭部伝達関数データを選択する頭部伝達関数選択手段（４１）と、
前記受音点での前記音場解析データである直接音の周波数特性データまたは各反射音の周波数特性データに基づき、前記選択された左右ペアの頭部伝達関数データを各々イコライジングするイコライジング手段（４２）と、
前記受音点での前記音場解析データである直接音の到達遅れ時間データまたは各反射音の到達遅れ時間データに基づき、前記イコライジングされた左右ペアの頭部伝達関数データに遅延をかける遅延手段（４３）と、
前記直接音に関して得られた前記遅延された左右ペアの頭部伝達関数データと、反射音の音線本数分の前記各反射音に関して得られた前記遅延された左右ペアの頭部伝達関数データとを左右各々加算して前記左右２チャンネルのインパルス応答を得る加算手段（４４）と、
を有することを特徴とする全周囲音場創生装置。
（２）
上記（１）記載の全周囲音場創生装置において、
前記インパルス応答作成手段で作成された前記左右２チャンネルのインパルス応答の各低域成分のみを取り出して、その取り出した各低域成分を加算して低域成分のインパルス応答を作成する低域通過フィルタ手段（８）を設け、
前記音場処理手段（６ａ）は、前記左右２チャンネルのインパルス応答と前記低域成分のインパルス応答とを用いて、前記入来音声信号に対して音場再生処理を行う、
ことを特徴とする全周囲音場創生装置。
（３）
音場再生対象となる空間内に設定された受音点における音場解析データに基づき、入来音声信号に対して音場再生を行う全周囲音場創生方法において、
人頭の両耳における全方向の頭部伝達関数データを保持する全方向頭部伝達関数データ保持ステップと、
前記受音点における直接音及び各反射音を、前記音場解析データ及び前記頭部伝達関数データを用いて、左右ペアの頭部伝達関数に置き換えて左右２チャンネルのインパルス応答を作成するインパルス応答作成ステップと、
作成された前記左右２チャンネルのインパルス応答を用いて、前記入来音声信号に対して音場再生処理を行う音場処理ステップと、を設け、
前記インパルス応答作成ステップは、
前記受音点での前記音場解析データである直接音の到来方向データまたは各反射音の到来方向データに基づき、前記全方向の頭部伝達関数データから前記到来方向に対応する角度の左右ペアの頭部伝達関数データを選択する頭部伝達関数選択ステップと、
前記受音点での前記音場解析データである直接音の周波数特性データまたは各反射音の周波数特性データに基づき、前記選択された左右ペアの頭部伝達関数データを各々イコライジングするイコライジングステップと、
前記受音点での前記音場解析データである直接音の到達遅れ時間データまたは各反射音の到達遅れ時間データに基づき、前記イコライジングされた左右ペアの頭部伝達関数データに遅延をかける遅延ステップと、
前記直接音に関して得られた前記遅延された左右ペアの頭部伝達関数データと、反射音の音線本数分の前記各反射音に関して得られた前記遅延された左右ペアの頭部伝達関数データとを左右各々加算して前記左右２チャンネルのインパルス応答を得る加算ステップと、
を有することを特徴とする全周囲音場創生方法。
（４）
上記（３）記載の全周囲音場創生方法において、
前記インパルス応答作成ステップにて作成された前記左右２チャンネルのインパルス応答の各低域成分のみを取り出して、その取り出した各低域成分を加算して低域成分のインパルス応答を作成する低域通過ステップを設け、
前記音場処理ステップは、前記左右２チャンネルのインパルス応答と前記低域成分のインパルス応答とを用いて、前記入来音声信号に対して音場再生処理を行う、
ことを特徴とする全周囲音場創生方法。
（５）
音場再生対象となる空間内に設定された受音点における音場解析データに基づき、入来音声信号に対して音場再生を行う全周囲音場創生装置としてコンピュータを機能させるための全周囲音場創生プログラムにおいて、
前記受音点における直接音及び各反射音を、前記音場解析データ、及び人頭の両耳における全方向の頭部伝達関数データを記憶したメモリから供給される頭部伝達関数データを用いて、左右ペアの頭部伝達関数に置き換えて左右２チャンネルのインパルス応答を作成するインパルス応答作成手段と、
作成された前記左右２チャンネルのインパルス応答を用いて、前記入来音声信号に対して音場再生処理を行う音場処理手段と、をコンピュータに実現させ、
前記インパルス応答作成手段として、
前記受音点での前記音場解析データである直接音の到来方向データまたは各反射音の到来方向データに基づき、前記全方向の頭部伝達関数データから前記到来方向に対応する角度の左右ペアの頭部伝達関数データを選択する頭部伝達関数選択手段と、
前記受音点での前記音場解析データである直接音の周波数特性データまたは各反射音の周波数特性データに基づき、前記選択された左右ペアの頭部伝達関数データを各々イコライジングするイコライジング手段と、
前記受音点での前記音場解析データである直接音の到達遅れ時間データまたは各反射音の到達遅れ時間データに基づき、前記イコライジングされた左右ペアの頭部伝達関数データに遅延をかける遅延手段と、
前記直接音に関して得られた前記遅延された左右ペアの頭部伝達関数データと、反射音の音線本数分の前記各反射音に関して得られた前記遅延された左右ペアの頭部伝達関数データとを左右各々加算して前記左右２チャンネルのインパルス応答を得る加算手段と、
をコンピュータに実現させることを特徴とする全周囲音場創生プログラム。
（６）
上記（５）記載の全周囲音場創生プログラムにおいて、
前記インパルス応答作成手段で作成された前記左右２チャンネルのインパルス応答の各低域成分のみを取り出して、その取り出した各低域成分を加算して低域成分のインパルス応答を作成する低域通過フィルタ手段をコンピュータに実現させ、
前記音場処理手段は、前記左右２チャンネルのインパルス応答と前記低域成分のインパルス応答とを用いて、前記入来音声信号に対して音場再生処理を行う、
ことを特徴とする全周囲音場創生プログラム。

以上説明したように、本発明の全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラムによれば、コンサートホールなどの音場の、直接音及びあらゆる方向から到来する反射音の到来方向を、処理時間の短縮を図ったより具体的手法により再現することができ、高臨場感な音場再現が可能である。

また、受音点での到達遅れ時間をより具体的手法により忠実に再生でき、精度の良い音場再現が可能である。
さらに、本発明は、方向性がないと言われる低域を専用チャンネルとすることにより、箱が鳴る、すなわち全周囲から音が鳴っている状態を再現可能である。

以下、添付図面を参照して本発明の一実施例を説明する。

図１は、本発明の全周囲音場創生装置の実施の形態におけるブロック図である。図１において１は反射音情報取得のための室形データや受音点座標等を入力するための入力手段及び結果表示のための出力手段、２は可聴化の際に必要な音声入出力手段で、音源を１個に設定した場合は入力１系統、２個に設定した場合は２系統、出力は２系統、例えばヘッドホンもしくはスピーカ２個である。３は音場再生対象となる空間内に設定された受音点における直接音を含む全反射音を算出する反射音算出手段、４は左右２チャンネルのインパルス応答を作成するインパルス応答作成手段で、その際、全方向頭部伝達関数記憶部５より、対応する左右ペアの頭部伝達関数を使用する。６は音声入出力手段より入力された音声信号と、インパルス応答作成手段４において作成された左右のインパルス応答を用いて可聴化を行う可聴化手段（入力された音声信号に対して音場再生処理を行う音場処理手段）、７はこれらを制御する制御手段である。

図２はインパルス応答作成手段４を示すブロック図である。図２において４１は反射音の到来方向データに基づき、全方向頭部伝達関数記憶部５に記憶されている全方向の頭部伝達関数データから、前記到来方向に対応する角度の左右ペアの頭部伝達関数を選択する頭部伝達関数選択手段、４２は反射音の周波数特性データを用いて、頭部伝達関数選択手段４１により選択された左右ペアの頭部伝達関数をイコライジングするイコライジング手段、４３は反射音が受音点に到達するまでの到達遅れ時間を用いて、イコライジングされた左右ペアの頭部伝達関数に遅延をかける遅延手段、４４はその頭部伝達関数を累積加算し左右２チャンネルのインパルス応答を得る加算手段である。

図３は本実施例の処理の流れを示すフローチャート図である。
図４は全方向頭部伝達関数記憶部５に記憶されているデータの概要を示したものである。全方向頭部伝達関数とは、人頭を取り囲む全周囲方向に音源を置いた場合の頭部伝達関数である。本実施例の場合、人頭を中心に半径1mの天球を考え、仰角は上下方向に１０度おき、水平角は5度おきにスピーカを置き、インパルス応答を両耳で測定したデータをファイルとして記憶している。例えば、仰角30°水平角60°にスピーカを置いて測定したデータのファイル名は左耳はL30e60a.raw、右耳はR30e60a.rawとしている。この左右ペアの伝達関数はセットであり、左右の耳に各々のデータを音声として提供すれば、インパルスが仰角30°水平角60°の方向に聞こえることを示す。

インパルス応答の測定角度については決められたものはなく、隣り合う角度において知覚する方向に差がなければ、もう少し荒くしても良い。
ここで基本原理について簡単に説明する。反射音計算をする際、受音点を１点とする。受音点における直接音及び反射音が算出され、ある反射音が仰角30°水平角60°の方向からやってきたと想定する。このとき、図４で説明した仰角30°水平角60°の左右ペアの伝達関数でその反射音を置き換えることが本発明のポイントである。

以下、図１、２、３を用いながら詳細を説明する。まず、対象とするコンサートホール（即ち音場再生対象となる空間）の室形を構築するために、室形データや壁面に使用されている内装材料の吸音率データを入出力手段１にて入力する。さらに音源の位置や大きさ、受音点の位置を入出力手段１にて入力する（Ｓ１）。ここで音源、受音点ともに１個とする。反射音情報取得に必要なデータがそろえば、制御手段7は反射音算出手段3に受音点における反射音を算出させる。反射音算出手段３は本実施例では幾何音響的手法を用いており、音源から受音点に到達するすべての音線を算出する。このとき、次の3種類のデータ（音場解析データ）を算出しておく（Ｓ２）。
・受音点に到来する直接音及び反射音の到来方向、すなわち水平角と仰角のデータ。
・受音点に到来する直接音及び反射音の、壁面材料の吸音率や空気吸収を反映した周波数特性データ。
・受音点に到来する直接音及び反射音の、音源から受音点に到達するまでの到達遅れ時間データ。

これらのデータは音響シミュレーションのソフトウェアで計算したものでもよいし、ユーザが創作した仮想音場のデータでもよい。要するに、何らかの形で到来方向、周波数特性、到達遅れ時間のデータがセットになった反射音情報が得られていればよい。

直接音を含む全反射音の３種類のデータが算出されると、インパルス応答作成に移る。インパルス応答作成手段４は初めに、処理の回数ｉ＝０とし（Ｓ３）、まず直接音の処理を行う。頭部伝達関数選択手段４１は直接音の水平角、仰角のデータから対応する左右ペアの頭部伝達関数を全方向頭部伝達関数記憶部５より取得する（Ｓ４、Ｓ５）。次にイコライジング手段４２は、頭部伝達関数選択手段４１にて取得した左右ペアの頭部伝達関数を直接音の周波数特性データを用いて各々、帯域ごとにイコライジングする（Ｓ６）。例えば７０ｄＢを基準として、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタでイコライジング処理をする。なお、他のレベルを基準にしたり、他のフィルタを用いても良い。

次に、遅延手段４３はイコライジングされた左右ペアの頭部伝達関数に、直接音の到達遅れ時間データに基づき、遅れ時間分遅延をかける（Ｓ７）。そして加算手段４４において直接音が置き換えられた左右ペアの頭部伝達関数を保持しておく（Ｓ８）。

次に、処理の回数ｉを１増加し（Ｓ９）、１番目の反射音の処理に移る（Ｓ１０→Ｙ）。直接音の処理と同様に、頭部伝達関数選択手段４１で対応する頭部伝達関数を選択し（Ｓ４、Ｓ５）、イコライジング手段４２にてイコライジングする（Ｓ６）。このとき先ほど７０ｄＢを基準としたので、反射音も同じ基準を用いる。遅延手段４３で遅延をかけた後（Ｓ７）、加算手段４４では前回生成した直接音の左右ペアの頭部伝達関数左右各々に、１番目の反射音の頭部伝達関数を加算する（Ｓ８）。つまり、反射音は直接音より到達時刻が遅いので、直接音より少し遅れたところから加算されることになる。

このようにして、全反射音分（全音線本数分）の頭部伝達関数を累積加算していき、左右ペアのインパルス応答を作成する。全反射音分の処理が終わると（Ｓ１０→Ｎ）、この段階で作成された左右ペアのインパルス応答は受音点に人頭を置いた場合の両耳におけるインパルス応答である。

一般に、部屋のインパルス応答に無響室で録音された音楽を畳み込み演算すれば、その部屋でその音楽を聞いた場合の音場になることは知られている。可聴化手段６は音源１個の場合、モノラルソースと左右のインパルス応答とを各々畳み込み（Ｓ１１）、音声入出力手段２の出力がスピーカの場合、あらかじめ再生環境における２スピーカのクロストークを測定しておき、クロストークキャンセル処理をも行う（Ｓ１１）。

音声出力手段２がヘッドホンの場合はヘッドホンのスピーカから耳までの伝達関数が１となるようヘッドホンの逆特性をフィルタ処理する（Ｓ１１）。処理された音声信号はスピーカまたはヘッドホンに供給され、直接音を含むすべての反射音がしかるべき到来方向より再生される。

このように実施例１によれば、従来のようにスピーカを設置した方向から到来する音のみしか再現していなかったものに対して、全方向の頭部伝達関数を用いるようにしたため、あらゆる方向から到来する音を再現することができる。従って、実施例１によれば、より高臨場感な音場再現が可能となる。また受音点での到達遅れ時間を忠実に再生しているため、より精度の良い音場再現が可能となる。

次に本発明の実施例２の全周囲音場創生装置を示す。この全周囲音場創生装置は本発明を実施するにあたっての必要なデータを例えばＣＤ−ＥＸＴＲＡなどのメディアから供給し、ユーザがホール音場を試聴したい場合に本方法が動作するようになっている。したがってＣＤ―ＥＸＴＲＡプレーヤとして考えても良い。図５は本実施例のＣＤ−ＥＸＴＲＡのフォーマットであって、通常の音楽データ(オーディオ信号)のほかに、ホールの音響データ、頭部伝達関数のデータが記録されている。ホールの音響データ部分にはある受音点での反射音番号(直接音０番、反射音１番以降)、到来方向(水平角、仰角)データ、到達遅れ時間データ、周波数特性データ、が書かれている。ホール音場を試聴する場合は、まずホールの音響データ部及び頭部伝達関数データ部を図示されない内蔵メモリに取り込み、実施例1と同様の方法で左右ペアのインパルス応答を作成する。このインパルス応答とＣＤ−ＥＸＴＲＡに記録されているオーディオ信号を畳み込み、あらかじめ測定しておいたクロストークを用いてクロストークキャンセル処理を行なう。ところでＣＤ−ＥＸＴＲＡ等のオーディオ信号は現在ではステレオ信号が一般的である。この場合は周知のように音源を２個（Ｌ、Ｒ）として考え、Ｌにモノラル音源を置いた場合、Ｒにモノラル音源を置いた場合、と別々に反射音情報の算出を行い、２系統の音場解析データを求める。つまり左右ペアのインパルス応答が２組作成される。畳み込み演算は、Ｌに音源を置いた場合の左右ペアのインパルス応答にステレオオーディオ信号のＬチャンネルの信号をそれぞれ畳み込み、Ｒに音源を置いた場合の左右ペアのインパルス応答にステレオオーディオ信号のＲチャンネルの信号をそれぞれ畳み込み、左耳同士、右耳同士、信号を加算すれば良い。

次にメディアがＤＶＤオーディオである場合の本発明の実施例を示す。本実施例の全周囲音場創生装置はＤＶＤ−オーディオプレーヤとして考えてよい。ＤＶＤ−オーディオは図６のように、オーディオ信号が含まれるＤＶＤ−ＡｕｄｉｏゾーンとＤＶＤ−ＲＯＭと同じ機能を果たすＤＶＤ−Ｏｔｈｅｒｓゾーンがある。ＤＶＤオーディオは最大２種類のオーディオフォーマットで同一音源を記録可能である。本実施例のＤＶＤ−オーディオメディアのオーディオ信号は、一方は通常の収録方法で収録した音源をミックスダウンしたもの、もう一方は無響室で同じ曲目を演奏して収録したものが記録されている。無響室録音ができない場合はホールの舞台上で楽器に近いところにマイクをセッティングし、直接音のみを収録し、ミックスダウンしても良い。

ＤＶＤ−Ｏｔｈｅｒｓゾーンはデータにとどまらずプログラムをも記録することができる。したがってＤＶＤ−Ｏｔｈｅｒｓゾーンには本発明の全周囲音場創生プログラムと、ホールの音響データ、頭部伝達関数のデータが記録されている。

全周囲音場創生装置にこのディスクがセットされ、ユーザがホール音場で試聴するための操作ボタンを押すと、まずＤＶＤ−Ｏｔｈｅｒｓゾーンの全周囲音場創生プログラムがＤＶＤ−オーディオプレーヤのＲＡＭ領域に読み込まれ、次いでホール音響データ、及び頭部伝達関数データが読み込まれ、本方法が動作する。

このように実施例２、実施例３のような記録メディアを利用すれば、ユーザ側がホール音響データや頭部伝達関数データ、あるいはプログラムを用意する必要がなく、気軽に高精度なホール音場を楽しむことができる。なお、この記録メディアはＣＤ−ＥＸＴＲＡ、ＤＶＤ−オーディオなどの光ディスクだけに限らず、メモリーカードや磁気ディスクでも良い。

図７は本発明の一実施例を適用したＤＶＤエンコード装置を示している。オーディオ信号ＡはＡ／Ｄ変換器１１１によりデジタル信号に変換され、次いで信号処理回路１１２に供給される。信号処理回路１１２及びメモリ１１３はこのデジタルオーディオ信号を、圧縮を行わない場合にはそのままＤＶＤ符号化回路１１４に出力し、他方、圧縮を行う場合には圧縮を行ってＤＶＤ符号化回路１１４に出力する。

また、ビデオ信号Ｖ及び静止画信号ＳＰはＡ／Ｄ変換器１１１Ｖによりデジタル信号に変換され、次いで信号処理回路１１２に供給され。信号処理回路１１２及びメモリ１１３はこのデジタルビデオ信号をＭＰＥＧフォーマットにエンコードしてＤＶＤ符号化回路１１４に出力し、一方、このデジタル静止画信号をＭＰＥＧフォーマットまたはＪＰＥＧフォーマットにエンコードしてＤＶＤ符号化回路１１４に出力する。

ＤＶＤ符号化回路１１４はこのオーディオデータＡ、ビデオ信号Ｖ及び静止画データＳＰと、ホールの音響データ、頭部伝達関数データなどを図６に示すデータ構造にフォーマット化する。このストリームデータはそのまま出力端子ＯＵＴ１を介して出力されたり、変調回路１１５によって媒体に応じて変調され出力端子ＯＵＴ２を介して出力される。出力端子ＯＵＴ１を介して出力されたストリームデータは、例えばインターネット、データ放送などのネットワークを介して伝送される。

ＤＶＤ符号化回路１１４が、図１に示す実施例１のブロック３、４、５、７に相当し、また、後述の図８に示す実施例４のブロック３、４、５、７ａ、８に相当する。

次に、実施例１の発展形である実施例４について、図８、図９と共に説明する。図１、図３と同一部分には同一の符号を付す。実施例４は、低域成分のインパルス応答を作成する低域通過フィルタ手段８を新たに設け、可聴化手段６ａにより、左右２チャンネルのインパルス応答と低域成分のインパルス応答とを用いて、前記入来音声信号に対して音場再生処理を行うようにしたものである。実施例４は、低域を専用チャンネルとすることにより、箱が鳴る、すなわち全周囲から音が鳴っている状態を再現可能とする。

図８は、本発明の全周囲音場創生装置の実施の形態におけるブロック図である。図８において、１は反射音情報取得のための室形データや受音点座標等を入力するための入力手段及び結果表示のための出力手段、２は可聴化の際に必要な音声入力手段で、音源を１個に設定した場合は入力１系統、２個に設定した場合は２系統である。３は音場再生対象となる空間内に設定された受音点における直接音を含む全反射音を算出する反射音算出手段、４は左右２チャンネルのインパルス応答を作成するインパルス応答作成手段で、その際、全方向頭部伝達関数記憶部５より、対応する左右ペアの頭部伝達関数を使用する。

低域通過フィルタ手段８は、インパルス応答作成手段４で作成された左右２チャンネルのインパルス応答の各低域成分を取り出し、取り出した各低域成分を加算し、低域成分のインパルス応答を作成する。６ａは、音声入力手段２より入力された音声信号と、左右のインパルス応答と低域成分のインパルス応答とを用いて可聴化を行う可聴化手段（入力された音声信号に対して音場再生処理を行う音場処理手段）である。７ａはこれらを制御する制御手段である。音場処理を行なった左右及び低域信号は増幅手段９で増幅され、音声出力手段１０にて出力される。

以下、図８、２、９を用いながら詳細を説明する。図９は実施例４おける処理の流れを示すフローチャート図である。
まず、対象とするコンサートホール（即ち音場再生対象となる空間）の室形を構築するために、室形データや壁面に使用されている内装材料の吸音率データを入出力手段１にて入力する。さらに音源の位置や大きさ、受音点の位置を入出力手段１にて入力する（図９に示すＳ１）。ここで音源、受音点ともに１個とする。反射音情報取得に必要なデータがそろえば、制御手段７ａは反射音算出手段３に受音点における反射音を算出させる。反射音算出手段３は本実施例では幾何音響的手法を用いており、音源から受音点に到達するすべての音線を算出する。このとき、次の３種類のデータ（音場解析データ）を算出しておく（Ｓ２）。
・受音点に到来する直接音及び反射音の到来方向、すなわち水平角と仰角のデータ。
・受音点に到来する直接音及び反射音の、壁面材料の吸音率や空気吸収を反映した周波数特性データ。
・受音点に到来する直接音及び反射音の、音源から受音点に到達するまでの到達遅れ時間データ。

これらのデータは音響シミュレーションのソフトウェアで計算したものでもよいし、ユーザが創作した仮想音場のデータでもよい。要するに、何らかの形で到来方向、周波数特性、到達遅れ時間のデータがセットになった反射音情報が得られていればよい。

直接音を含む全反射音の３種類のデータが算出されると、インパルス応答作成に移る。インパルス応答作成手段４は初めに、処理の回数ｉ＝０とし（Ｓ３）、まず直接音の処理を行う。頭部伝達関数選択手段４１は直接音の水平角、仰角のデータから対応する左右ペアの頭部伝達関数を全方向頭部伝達関数記憶部５より取得する（Ｓ４、Ｓ５）。次にイコライジング手段４２は、頭部伝達関数選択手段４１にて取得した左右ペアの頭部伝達関数を直接音の周波数特性データを用いて各々、帯域ごとにイコライジングする（Ｓ６）。例えば７０ｄＢを基準として、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタでイコライジング処理をする。なお、他のレベルを基準にしたり、他のフィルタを用いても良い。

次に、遅延手段４３はイコライジングされた左右ペアの頭部伝達関数に、直接音の到達遅れ時間データに基づき、遅れ時間分遅延をかける（Ｓ７）。そして加算手段４４において直接音が置き換えられた左右ペアの頭部伝達関数を保持しておく（Ｓ８）。

次に、処理の回数ｉを１増加し（Ｓ９）、１番目の反射音の処理に移る（Ｓ１０→Ｙ）。直接音の処理と同様に、頭部伝達関数選択手段４１で対応する頭部伝達関数を選択し（Ｓ４、Ｓ５）、イコライジング手段４２にてイコライジングする（Ｓ６）。このとき先ほど７０ｄＢを基準としたので、反射音も同じ基準を用いる。遅延手段４３で遅延をかけた後（Ｓ７）、加算手段４４では前回生成した直接音の左右ペアの頭部伝達関数左右各々に、１番目の反射音の頭部伝達関数を加算する（Ｓ８）。つまり、反射音は直接音より到達時刻が遅いので、直接音より少し遅れたところから加算されることになる。

このようにして、全反射音分（全音線本数分）の頭部伝達関数を累積加算していき、左右ペアのインパルス応答を作成する。全反射音分の処理が終わると（Ｓ１０→Ｎ）、この段階で作成された左右ペアのインパルス応答は受音点に人頭を置いた場合の両耳におけるインパルス応答である。

次に左右２チャンネルのインパルス応答の各低域成分（ここでは１００Ｈｚ以下の帯域とする）が、低域通過フィルタ手段８により取り出され、その各低域成分を加算して低域成分のインパルス応答を作成する（Ｓ２１）。

一般に、部屋のインパルス応答に無響室で録音された音楽を畳み込み演算すれば、その部屋でその音楽を聞いた場合の音場になることは知られている。可聴化手段６ａは音源１個の場合、モノラルソースと左右のインパルス応答、ならびにモノラルソースと低域成分のインパルス応答とを各々畳み込み（Ｓ１２）む。音声出力手段１０がスピーカの場合、あらかじめ再生環境における２スピーカのクロストークを測定しておき、左右２チャンネルの信号に関してはクロストークキャンセル処理をして前方ＬＲスピーカから再生し、モノラルソースと低域成分のインパルス応答とを畳み込んだ低域信号については、サブウーファスピーカから再生する（Ｓ１２）。

あるいは、低域通過フィルタ手段８を可聴化手段６ａの後段に置き、インパルス応答を畳み込んだ後の信号から低域成分を取り出しても良い。
音声出力手段１０がヘッドホンの場合は、ヘッドホンのスピーカから耳までの伝達関数が１となるようヘッドホンの逆特性をフィルタ処理する（Ｓ１２）。このとき低域信号はＬＲスピーカの両方から出力される。

このように、処理された音声信号はスピーカまたはヘッドホンに供給され、直接音を含むすべての反射音がしかるべき到来方向より再生される。
このように実施例４によれば、従来のようにスピーカを設置した方向から到来する音のみしか再現していなかったものに対して、全方向の頭部伝達関数を用いるようにしたため、あらゆる方向から到来する音を再現することができる。また方向性がないと言われる低域はサブウーファーから再生し増強することで、“箱が鳴る”すなわち全周囲から音が鳴っている効果をさらに演出することができる。従って、実施例４によれば、より高臨場感な音場再現が可能となる。また受音点での到達遅れ時間を忠実に再生しているため、より精度の良い音場再現が可能となる。

なお、本発明は、上記した全周囲音場創生装置の機能をコンピュータに実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

以上、説明したように本発明は頭部伝達関数データベースを持っているため、可聴化の際、受音側の条件に関して非常に高精度であるといえる。従って、発音側の条件に関して非常に高精度である特開２００２−３６６１６２公報「音響シミュレーション装置および音響調整装置」と組み合わせることにより、さらに高精度な音場再現が可能である。

本発明の一実施例を示す図である。 インパルス応答作成手段の内容を示すブロック図である。 一実施例における処理の流れを示すフローチャート図である。 全方向頭部伝達関数記憶部の概要を示す図である。 本発明の実施例２におけるＣＤ−ＥＸＴＲＡを示す図である。 本発明の実施例３におけるＤＶＤ−オーディオを示す図である。 本発明のの一実施例を適用したＤＶＤエンコード装置を示すブロック図である。 本発明の実施例４を示す図である。 実施例４おける処理の流れを示すフローチャート図である。

符号の説明

１ 入出力手段
２ 音声入出力手段
３ 反射音算出手段
４ インパルス応答作成手段
５ 全方向頭部伝達関数記憶部
６、６ａ 可聴化手段
７、７ａ 制御手段
８ 低域通過フィルタ手段
４１ 頭部伝達関数選択手段
４２ イコライジング手段
４３ 遅延手段
４４ 加算手段

Claims (6)

1. 音場再生対象となる空間内に設定された受音点における音場解析データに基づき、入来音声信号に対して音場再生を行う全周囲音場創生装置において、
   人頭の両耳における全方向の頭部伝達関数データを記憶する全方向頭部伝達関数データ記憶手段と、
   前記受音点における直接音及び各反射音を、前記音場解析データ及び前記頭部伝達関数データを用いて、左右ペアの頭部伝達関数に置き換えて左右２チャンネルのインパルス応答を作成するインパルス応答作成手段と、
   作成された前記左右２チャンネルのインパルス応答を用いて、前記入来音声信号に対して音場再生処理を行う音場処理手段と、を設け、
   前記インパルス応答作成手段は、
   前記受音点での前記音場解析データである直接音の到来方向データに基づき、前記全方向の頭部伝達関数データから前記直接音の到来方向に対応する角度の前記直接音に関する左右ペアの頭部伝達関数データを選択すると共に、前記受音点での前記音場解析データである各反射音の到来方向データに基づき、前記全方向の頭部伝達関数データから前記各反射音の到来方向に対応する角度の前記各反射音に関する左右ペアの頭部伝達関数データをそれぞれ選択する頭部伝達関数選択手段と、
   前記受音点での前記音場解析データである直接音の周波数特性データに基づき、前記選択された直接音に関する左右ペアの頭部伝達関数データを各々イコライジングすると共に、前記受音点での前記音場解析データである各反射音の周波数特性データに基づき、前記選択された各反射音に関する左右ペアの頭部伝達関数データを各々イコライジングするイコライジング手段と、
   前記受音点での前記音場解析データである直接音の到達遅れ時間データに基づき、前記イコライジングされた直接音に関する左右ペアの頭部伝達関数データに遅延をかけると共に、前記受音点での前記音場解析データである各反射音の到達遅れ時間データに基づき、前記イコライジングされた各反射音に関する左右ペアの頭部伝達関数データにそれぞれ遅延をかける遅延手段と、
   前記直接音に関して得られた前記遅延された左右ペアの頭部伝達関数データと、反射音の音線本数分の前記各反射音に関して得られた前記遅延された左右ペアの頭部伝達関数データとを左右各々加算して前記左右２チャンネルのインパルス応答を得る加算手段と、
   を有することを特徴とする全周囲音場創生装置。
2. 請求項１記載の全周囲音場創生装置において、
   前記インパルス応答作成手段で作成された前記左右２チャンネルのインパルス応答の各低域成分のみを取り出して、その取り出した各低域成分を加算して低域成分のインパルス応答を作成する低域通過フィルタ手段を設け、
   前記音場処理手段は、前記左右２チャンネルのインパルス応答と前記低域成分のインパルス応答とを用いて、前記入来音声信号に対して音場再生処理を行う、
   ことを特徴とする全周囲音場創生装置。
3. 音場再生対象となる空間内に設定された受音点における音場解析データに基づき、入来音声信号に対して音場再生を行う全周囲音場創生方法において、
   人頭の両耳における全方向の頭部伝達関数データを保持する全方向頭部伝達関数データ保持ステップと、
   前記受音点における直接音及び各反射音を、前記音場解析データ及び前記頭部伝達関数データを用いて、左右ペアの頭部伝達関数に置き換えて左右２チャンネルのインパルス応答を作成するインパルス応答作成ステップと、
   作成された前記左右２チャンネルのインパルス応答を用いて、前記入来音声信号に対して音場再生処理を行う音場処理ステップと、を設け、
   前記インパルス応答作成ステップは、
   前記受音点での前記音場解析データである直接音の到来方向データに基づき、前記全方向の頭部伝達関数データから前記直接音の到来方向に対応する角度の前記直接音に関する左右ペアの頭部伝達関数データを選択すると共に、前記受音点での前記音場解析データである各反射音の到来方向データに基づき、前記全方向の頭部伝達関数データから前記各反射音の到来方向に対応する角度の前記各反射音に関する左右ペアの頭部伝達関数データをそれぞれ選択する頭部伝達関数選択ステップと、
   前記受音点での前記音場解析データである直接音の周波数特性データに基づき、前記選択された直接音に関する左右ペアの頭部伝達関数データを各々イコライジングすると共に、前記受音点での前記音場解析データである各反射音の周波数特性データに基づき、前記選択された各反射音に関する左右ペアの頭部伝達関数データを各々イコライジングするイコライジングステップと、
   前記受音点での前記音場解析データである直接音の到達遅れ時間データに基づき、前記イコライジングされた直接音に関する左右ペアの頭部伝達関数データに遅延をかけると共に、前記受音点での前記音場解析データである各反射音の到達遅れ時間データに基づき、前記イコライジングされた各反射音に関する左右ペアの頭部伝達関数データにそれぞれ遅延をかける遅延ステップと、
   前記直接音に関して得られた前記遅延された左右ペアの頭部伝達関数データと、反射音の音線本数分の前記各反射音に関して得られた前記遅延された左右ペアの頭部伝達関数データとを左右各々加算して前記左右２チャンネルのインパルス応答を得る加算ステップと、
   を有することを特徴とする全周囲音場創生方法。
4. 請求項３記載の全周囲音場創生方法において、
   前記インパルス応答作成ステップにて作成された前記左右２チャンネルのインパルス応答の各低域成分のみを取り出して、その取り出した各低域成分を加算して低域成分のインパルス応答を作成する低域通過ステップを設け、
   前記音場処理ステップは、前記左右２チャンネルのインパルス応答と前記低域成分のインパルス応答とを用いて、前記入来音声信号に対して音場再生処理を行う、
   ことを特徴とする全周囲音場創生方法。
5. 音場再生対象となる空間内に設定された受音点における音場解析データに基づき、入来音声信号に対して音場再生を行う全周囲音場創生装置としてコンピュータを機能させるための全周囲音場創生プログラムにおいて、
   前記受音点における直接音及び各反射音を、前記音場解析データ、及び人頭の両耳における全方向の頭部伝達関数データを記憶したメモリから供給される頭部伝達関数データを用いて、左右ペアの頭部伝達関数に置き換えて左右２チャンネルのインパルス応答を作成するインパルス応答作成手段と、
   作成された前記左右２チャンネルのインパルス応答を用いて、前記入来音声信号に対して音場再生処理を行う音場処理手段と、をコンピュータに実現させ、
   前記インパルス応答作成手段として、
   前記受音点での前記音場解析データである直接音の到来方向データに基づき、前記全方向の頭部伝達関数データから前記直接音の到来方向に対応する角度の前記直接音に関する左右ペアの頭部伝達関数データを選択すると共に、前記受音点での前記音場解析データである各反射音の到来方向データに基づき、前記全方向の頭部伝達関数データから前記各反射音の到来方向に対応する角度の前記各反射音に関する左右ペアの頭部伝達関数データをそれぞれ選択する頭部伝達関数選択手段と、
   前記受音点での前記音場解析データである直接音の周波数特性データに基づき、前記選択された直接音に関する左右ペアの頭部伝達関数データを各々イコライジングすると共に、前記受音点での前記音場解析データである各反射音の周波数特性データに基づき、前記選択された各反射音に関する左右ペアの頭部伝達関数データを各々イコライジングするイコライジング手段と、
   前記受音点での前記音場解析データである直接音の到達遅れ時間データに基づき、前記イコライジングされた直接音に関する左右ペアの頭部伝達関数データに遅延をかけると共に、前記受音点での前記音場解析データである各反射音の到達遅れ時間データに基づき、前記イコライジングされた各反射音に関する左右ペアの頭部伝達関数データにそれぞれ遅延をかける遅延手段と、
   前記直接音に関して得られた前記遅延された左右ペアの頭部伝達関数データと、反射音の音線本数分の前記各反射音に関して得られた前記遅延された左右ペアの頭部伝達関数データとを左右各々加算して前記左右２チャンネルのインパルス応答を得る加算手段と、
   をコンピュータに実現させることを特徴とする全周囲音場創生プログラム。
6. 請求項５記載の全周囲音場創生プログラムにおいて、
   前記インパルス応答作成手段で作成された前記左右２チャンネルのインパルス応答の各低域成分のみを取り出して、その取り出した各低域成分を加算して低域成分のインパルス応答を作成する低域通過フィルタ手段をコンピュータに実現させ、
   前記音場処理手段は、前記左右２チャンネルのインパルス応答と前記低域成分のインパルス応答とを用いて、前記入来音声信号に対して音場再生処理を行う、
   ことを特徴とする全周囲音場創生プログラム。
   
   

Images