JP4973919B2 - 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム - Google Patents

Description

本発明は、出力制御システムおよび方法、出力制御装置および方法、並びにプログラムに関し、特に、マルチディスプレイ装置に応じた音声信号処理を行うことができるようにした出力制御システムおよび方法、出力制御装置および方法、並びにプログラムに関する。

従来から、複数のスピーカを用いて聴衆者を取り囲む位置に仮想音源を形成する技術が提案されている（例えば、特許文献１）。

また、近年、テレビジョン受像機を同じ向きに左右または上下に並べて、これらのテレビジョン受像機に、それぞれ個別の画像を表示させるだけでなく、全体として、１つの画像を拡大して表示させたり、所望の大きさで画像を分割して表示させたりするスケーラブルテレビジョン受像機の技術が利用されるようになってきた。

例えば、特許文献２には、親機としてのテレビジョン受像機で、テレビジョン放送番組が表示されている場合、親機に表示された画像データにシーンチェンジが生じると、そのシーンチェンジ直後のフレームの画像データが、子機としてのテレビジョン受像機で表示され、その後、さらに、親機に表示された画像データにシーンチェンジが生じると、そのシーンチェンジ直後のフレームの画像データが、子機において、いままで表示されていた画像データに代えて表示されることが提案されている。

このように、従来においては、スケーラブルテレビジョン受像機での画像表示に関する提案が多くなされている。

特開２００５−６４７４６号公報 特開２００４−２８９８６６号公報

しかしながら、例えば、特許文献２には、各テレビジョン受像機の画像表示面の左右に設けられているスピーカから、いずれかのテレビジョン受像機で表示されている番組の音声が出力されることが記載されているだけであり、従来のスケーラブルテレビジョン受像機の提案においては、複数のスピーカは搭載されているものの、例えば、特許文献１のような仮想音源を形成する技術など、複数のスピーカによる音声出力について言及するものが殆どなかった。

したがって、早急に、スケーラブルテレビジョン受像機における、複数のスピーカによる音声出力に関する提案が要求されていた。

本発明は、このような状況に鑑みてなされたものであり、マルチディスプレイ装置に表示される画像に応じて、その画像が対応する音声の音声信号処理を行うことができるようにするものである。

本発明の第１の側面の出力制御システムは、複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力をそれぞれ制御する複数の出力制御装置で構成される出力制御システムにおいて、前記複数の出力制御装置それぞれは、他の出力制御装置の状態または処理結果などの情報を相互に送受信する通信手段と、前記通信手段により受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行う信号処理手段と、前記対象のスピーカに出力される音声信号が入力される第１の信号入力手段と、前記対象のスピーカに出力される音声信号以外の音声信号が入力される第２の信号入力手段と、前記第２の信号入力手段から入力される前記音声信号の特徴を検出する検出手段とを備え、前記信号処理手段は、前記検出手段により検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理を行い、前記対象のスピーカに出力する。

前記多画面表示装置を構成する前記複数の表示装置への表示をそれぞれ制御する複数の表示制御装置をさらに有し、前記通信手段は、さらに、前記複数の表示制御装置から、前記複数の表示装置の状態または処理結果などの情報を受信し、前記信号処理手段は、前記通信手段により受信された前記複数の表示装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行うことができる。

前記通信手段は、さらに、前記検出手段により検出された前記音声信号の特徴の検出結果を、前記複数の表示制御装置に送信することができる。

前記信号処理手段は、前記多画面表示装置に表示される画像に対応する音声の音像を、前記多画面表示装置の表示面上の任意の位置へ定位させるように、前記対象のスピーカに出力される音声信号の処理を行うことができる。

前記信号処理手段は、前記多画面表示装置を構成する前記複数の表示装置のうちの１の表示装置に表示される画像に対応する音声の音像を、前記表示面上における前記多画面表示装置の中央位置、または、前記中央位置を中心とした円周上に定位させるように、前記対象のスピーカに出力される音声信号の処理を行うことができる。

前記信号処理手段は、前記多画面表示装置を構成する前記複数の表示装置のうちの２以上の表示装置に表示される画像に対応する音声の音像を、前記２以上の表示装置に表示される画像のサイズに応じた定位位置に定位させるように、前記対象のスピーカに出力される音声信号の処理を行うことができる。

前記スピーカそれぞれには、前記多画面表示装置に表示される画像に対応する音声の音像に対して異なる効果を与える役割が設定され、前記信号処理手段は、前記対象のスピーカに設定された役割に応じて、前記対象のスピーカに出力される音声信号の処理を行うことができる。

前記対象のスピーカには、音像を引き締める効果を与える役割が設定されることができる。

前記対象のスピーカには、音像を拡げる効果を与える役割が設定されることができる。

前記対象のスピーカには、残響効果を与える役割が設定されることができる。

本発明の第１の側面の出力制御方法は、複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力をそれぞれ制御する複数の出力制御装置で構成される出力制御システムの出力制御方法において、前記複数の出力制御装置それぞれの出力制御方法は、通信手段が、他の出力制御装置の状態または処理結果などの情報を相互に送受信し、信号処理手段が、受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行い、第１の信号入力手段が、前記対象のスピーカに出力される音声信号を入力し、第２の信号入力手段が、前記対象のスピーカに出力される音声信号以外の音声信号を入力し、検出手段が、前記第２の信号入力手段から入力される前記音声信号の特徴を検出するステップを含み、前記信号処理手段が、前記検出手段により検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理を行い、前記対象のスピーカに出力する。

本発明の第２の側面の出力制御装置は、複数の出力制御装置で構成される出力制御システムを構成し、複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力を制御する出力制御装置において、他の出力制御装置の状態または処理結果などの情報を相互に送受信する通信手段と、前記通信手段により受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行う信号処理手段と、前記対象のスピーカに出力される音声信号が入力される第１の信号入力手段と、前記対象のスピーカに出力される音声信号以外の音声信号が入力される第２の信号入力手段と、前記第２の信号入力手段から入力される前記音声信号の特徴を検出する検出手段とを備え、前記信号処理手段は、前記検出手段により検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理を行い、前記対象のスピーカに出力する。

本発明の第２の側面の出力制御方法は、複数の出力制御装置で構成される出力制御システムを構成し、複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力を制御する出力制御装置の出力制御方法において、通信手段が、他の出力制御装置の状態または処理結果などの情報を相互に送受信し、信号処理手段が、受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行い、第１の信号入力手段が、前記対象のスピーカに出力される音声信号を入力し、第２の信号入力手段が、前記対象のスピーカに出力される音声信号以外の音声信号を入力し検出手段が、前記第２の信号入力手段から入力される前記音声信号の特徴を検出するステップを含み、前記信号処理手段が、前記検出手段により検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理を行い、前記対象のスピーカに出力する。

本発明の第２の側面のプログラムは、複数の出力制御装置で構成される出力制御システムを構成する出力制御装置に、複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力を制御する処理を行わせるプログラムであって、他の出力制御装置の状態または処理結果などの情報を相互に送受信し、受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行い、前記対象のスピーカに出力される音声信号が第１の信号入力手段に入力され、前記対象のスピーカに出力される音声信号以外の音声信号が第２の信号入力手段に入力され、前記第２の信号入力手段から入力される前記音声信号の特徴を検出するステップを含み、検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理を行い、前記対象のスピーカに出力する。

本発明の第１の側面においては、複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力をそれぞれ制御する複数の出力制御装置それぞれにより、他の出力制御装置の状態または処理結果などの情報が相互に送受信され、受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理が行われる。また、前記対象のスピーカに出力される音声信号が第１の信号入力手段に入力され、前記対象のスピーカに出力される音声信号以外の音声信号が第２の信号入力手段に入力され、前記第２の信号入力手段から入力される前記音声信号の特徴が検出される。そして、検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理が行われ、前記対象のスピーカに出力される。

本発明の第２の側面においては、他の出力制御装置の状態または処理結果などの情報が相互に送受信され、受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理が行われる。また、前記対象のスピーカに出力される音声信号が第１の信号入力手段に入力され、前記対象のスピーカに出力される音声信号以外の音声信号が第２の信号入力手段に入力され、前記第２の信号入力手段から入力される前記音声信号の特徴が検出される。そして、検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理が行われ、前記対象のスピーカに出力される。

本発明の第１の側面によれば、多画面表示装置に表示される画像に応じて、その画像が対応する音声の音声信号処理を行うことができる。

本発明の第２の側面によれば、スケーラブルに出力数の変更を行うことができる。また、各出力に対して個別の処理を行うことができる。

以下、図を参照して本発明の実施の形態について説明する。

図１は、本発明を適用したマルチスピーカシステム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の実施の形態の構成を示す図である。

図１の例において、マルチスピーカシステムは、９個のディスプレイ１１−１乃至１１−９からなるマルチディスプレイ装置１、並びに、９対のスピーカ１２Ｌ−１乃至１２Ｌ−９およびスピーカ１２Ｒ−１乃至１２Ｒ−９（Ｌ：左用とＲ：右用で１対）からなるマルチスピーカ２により構成されており、マルチディスプレイ装置１に表示される画像に対応する音声の出力を制御するシステムである。なお、以下、説明の便宜上、マルチスピーカシステムの正面に向かって左側に配置されるスピーカを左用スピーカとし、右側に配置されるスピーカを右用スピーカとして説明する。

マルチディスプレイ装置１は、例えば、それらの表示面が３行×３列のアレイ状（行列状）に配置される各ディスプレイ１１−１乃至１１−９にそれぞれ異なる番組の画像を表示したり、９台のディスプレイ１１−１乃至１１−９や、そのうち、少なくとも２台のディスプレイで１つの拡大画像として番組を表示したりする。

ディスプレイ１１−１乃至１１−９の筐体は、各表示面が３行×３列のアレイ状になるように配置されている。すなわち、上段には、左からディスプレイ１１−１乃至１１−３の筐体が配置され、中段には、左からディスプレイ１１−４乃至１１−６の筐体が配置され、下段には、左からディスプレイ１１−７乃至１１−９の筐体が配置されている。なお、ディスプレイ１１−１乃至１１−９について、それぞれ区別する必要がない場合、単にディスプレイ１１と称するものとする。また、これらのディスプレイ１１の台数は、何台であってもよく、ディスプレイ１１の筐体を、横方向に何列、縦方向に何段で配置するようにしてもよい。

マルチスピーカシステムにおいて、複数、あるいは１のディスプレイ１１に表示される画像（以下、ディスプレイ１１の画面とも称する）のうち、ユーザが操作可能な画面（以下、アクティブ画面と称する）は、１つとされる。ユーザは、図示せぬリモートコントローラを操作することで、複数の画面の中からアクティブ画面を選択したり、アクティブ画面に対して、音量や選局、ズームなどの指示を行うことができる。そして、このアクティブ画面が、マルチスピーカ２における音声出力の対象の画面とされる。

マルチスピーカ２は、アクティブ画面に対応する音声が、マルチディスプレイ装置１の表示面上のアクティブ画面の辺りから聞こえてくるように、換言するに、その音声の音像を、アクティブ画面に定位させるように、９対のスピーカ１２Ｌ−１乃至１２Ｌ−９およびスピーカ１２Ｒ−１乃至１２Ｒ−９の音声出力を制御する。すなわち、マルチスピーカ２は、アクティブ画面に対応する音声を、９対のスピーカ１２Ｌ−１乃至１２Ｌ−９およびスピーカ１２Ｒ−１乃至１２Ｒ−９のうち、アクティブ画面の位置やサイズに応じた位置に配置されるスピーカから出力させる。

なお、左用のスピーカ１２Ｌ−１乃至１２Ｌ−９および右用のスピーカ１２Ｒ−１乃至１２Ｒ−９をそれぞれ区別する必要がない場合、スピーカ１２Ｌおよびスピーカ１２Ｒとも称し、さらに、それらをまとめて、単にスピーカ１２とも称する。また、これらのスピーカ１２の数は、何対であってもよく、ディスプレイ１１の数と対応させる必要はない。

９対のスピーカ１２Ｌ−１乃至１２Ｌ−９およびスピーカ１２Ｒ−１乃至１２Ｒ−９は、３行×３列のアレイ状になるように配置されているディスプレイ１１−１乃至１１−９を取り囲むように、ディスプレイ１１−１乃至１１−９の表示面に、スピーカ１２の筐体の前面を合わせて、ディスプレイ１１−１乃至１１−９の上下側に、それぞれ６つ並んで、かつ、ディスプレイ１１−１乃至１１−９の左右側にそれぞれ３つ並んで、２次元配置されている。

すなわち、スピーカ１２Ｌ−１および１２Ｒ−１は、上段、左端のディスプレイ１１−１の上部に並んでそれぞれ配置されており、スピーカ１２Ｌ−２および１２Ｒ−２は、上段、中央のディスプレイ１１−２の上部に並んでそれぞれ配置されており、スピーカ１２Ｌ−３および１２Ｒ−３は、上段、右端のディスプレイ１１−３の上部に並んでそれぞれ配置されている。スピーカ１２Ｌ−４および１２Ｒ−４は、上段のディスプレイ１１−１乃至１１−３を挟んだ左右の位置にそれぞれ配置されており、スピーカ１２Ｌ−５および１２Ｒ−５は、中段のディスプレイ１１−４乃至１１−６を挟んだ左右の位置にそれぞれ配置されており、スピーカ１２Ｌ−６および１２Ｒ−６は、下段のディスプレイ１１−７乃至１１−９を挟んだ左右の位置にそれぞれ配置されている。

また、スピーカ１２Ｌ−７および１２Ｒ−７は、下段、左端のディスプレイ１１−７の下部に並んでそれぞれ配置されており、スピーカ１２Ｌ−８および１２Ｒ−８は、下段、中央のディスプレイ１１−８の下部に並んでそれぞれ配置されており、スピーカ１２Ｌ−９および１２Ｒ−９は、下段、右端のディスプレイ１１−９の下部に並んでそれぞれ配置されている。なお、スピーカ１２の配置も、図１の場合に限らず、少なくとも上下２つ以上、かつ左右２つ以上に２次元配置されていればよい。

そして、各スピーカ１２は、アクティブ画面の位置や画面のサイズ、および自分の配置位置に応じて信号処理されたアクティブ画面に対応する音声を出力する。

以上のように、マルチスピーカシステムにおいては、マルチディスプレイ装置１の周囲（上下左右）を取り囲むように配置された各スピーカ１２により、マルチディスプレイ装置１の表示面（すなわち、マルチスピーカ２が２次元配置される平面）上のアクティブ画面の位置やサイズ、および自分の配置位置に応じて信号処理された音声が出力される。これにより、アクティブ画面の音声の音像を、上下左右任意の位置のアクティブ画面に定位させることができるので、ユーザに対して、アクティブ画面の位置を直感的に認識させることができる。

図２は、図１のマルチスピーカシステムの電気的な構成例を示す図である。なお、図２の例においては、左用のスピーカ１２Ｌ−１乃至１２Ｌ−９、右用のスピーカ１２Ｒ−１乃至１２Ｒ−９、および、低音用のスピーカ１２Ｂ−１乃至１２Ｂ−９でそれぞれ１対として構成されている。これらのスピーカ１２Ｂ−１乃至スピーカ１２Ｂ−９も区別する必要がない場合、スピーカ１２Ｂと称し、さらに、スピーカ１２Ｌ，１２Ｒ，および１２Ｂをまとめて、スピーカ１２とも称する。

図２の例においては、マルチスピーカシステムは、チューナ部３１、メイン制御部３２、９対のスピーカ１２Ｌ−１乃至１２Ｌ−９，スピーカ１２Ｒ−１乃至１２Ｒ−９，およびスピーカ１２Ｂ−１乃至１２Ｂ−９のうち、対応する１対のスピーカ１２Ｌ，１２Ｒ，および１２Ｂに出力する音声の信号処理を行うスピーカエンジン部３３−１乃至３３−９、並びに、ディスプレイ１１−１乃至１１−９のうち、対応するディスプレイ１１に出力する画像の信号処理を行う映像エンジン部３４−１乃至３４−９により構成されている。

なお、以下、スピーカエンジン部３３−１乃至３３−９および映像エンジン部３４−１乃至３４−９を個々に区別する必要がない場合、それぞれ、スピーカエンジン部３３および映像エンジン部３４とも称する。

チューナ部３１は、複数（例えば、９個）のチューナで構成されている。チューナ部３１の複数のチューナは、それぞれ、図示せぬアンテナより受信される放送局からの放送信号の受信帯域を選択し、選択した受信帯域の放送信号を所定の方式で復調し、復調された信号のうちの画像信号および音声信号を、メイン制御部３２に出力する。

メイン制御部３２は、MPU(Multi Processor Unit)などで構成され、マルチスピーカシステムに接続されている複数のスピーカエンジン部３３および映像エンジン部３４をまとめるための制御を行う。すなわち、メイン制御部３２には、図示せぬリモートコントローラからのユーザの指示信号、映像エンジン部３４からの状態や処理結果などの情報、およびスピーカエンジン部３３からの状態や処理結果などの情報が入力される。

メイン制御部３２は、ユーザの指示信号を、必要に応じて、映像エンジン部３４およびスピーカエンジン部３３に供給する。メイン制御部３２は、また、映像エンジン部３４からの情報を、他の映像エンジン部３４およびスピーカエンジン部３３に供給し、スピーカエンジン部３３からの情報を、他のスピーカエンジン部３３および映像エンジン部３４に供給する。すなわち、映像エンジン部３４の状態や処理結果などの情報、並びに、スピーカエンジン部３３の状態や処理結果などの情報は、メイン制御部３２を介して、相互に共有される。

また、メイン制御部３２は、リモートコントローラからのユーザの指示信号に応じて、チューナ部３１からの画像信号を、映像エンジン部３４に出力し、チューナ部３１からの音声信号を、スピーカエンジン部３３に出力する。

例えば、各ディスプレイ１１にそれぞれ異なる番組の画像を出力する場合には、各映像エンジン部３４に、異なる番組の画像信号が出力される。また、例えば、ディスプレイ１１−１乃至１１−３で同じ番組の画像を出力する場合には、ディスプレイ１１−１乃至１１−３に対応する映像エンジン部３４−１乃至３４−３に、同じ番組の画像信号、それ以外のディスプレイ１１に、異なる番組の画像信号が出力される。

一方、メイン制御部３２は、スピーカエンジン部３３に、ユーザにより設定されたアクティブ画面の音声信号を出力するとともに、複数系統、または、少なくとも１系統の他の番組の音声信号も出力する。

スピーカエンジン部３３および映像エンジン部３４は、それぞれ、マルチスピーカシステムに着脱可能に構成されており、装着（接続）されたスピーカエンジン部３３および映像エンジン部３４は、メイン制御部３２を介して、相互に情報の受け渡しを行うことができる。

スピーカエンジン部３３は、映像エンジン部３４の状態や、他のスピーカエンジン部３３の状態に基づいて、マルチディスプレイ装置１およびマルチスピーカ２の構成、すなわち、マルチディスプレイ装置１を構成するディスプレイ１１の数やその配置、およびマルチスピーカ２を構成するスピーカ１２の数やその配置などを確認することで、マルチスピーカ２における、対応するスピーカ１２Ｌ，１２Ｒ，および１２ＢのID(Identification)番号を取得する。なお、ID番号は、DIP(dual in-line package)スイッチなどを予め設定しておき、それを確認することでも取得できる。

さらに、スピーカエンジン部３３は、対応するスピーカ１２のID番号と、映像エンジン部３４から処理結果（例えば、アクティブ画面信号や画面サイズ信号）などに基づいて、対応するスピーカ１２Ｌ，１２Ｒ，および１２Ｂの音声信号処理に関するパラメータを選択し、選択したパラメータに基づいて、メイン制御部３２から入力される音声信号の信号処理を行う。

ここで、スピーカエンジン部３３には、アクティブ画面に対応する音声信号が、スピーカ１２に出力する音声信号（以下、スピーカ出力信号とも称する）として入力され、それ以外の少なくとも１系統の音声信号が、裏音声信号として入力されている。

スピーカエンジン部３３は、スピーカ出力信号の音声信号処理を行って、対応するスピーカ１２に出力するとともに、裏音声信号を監視しており、監視結果に基づいて、例えば、スピーカ出力信号に代えて、裏音声信号の音声信号処理を行うなど、監視結果に基づく処理を実行する。なお、このスピーカエンジン部３３の処理結果も、メイン制御部３２を介して、他のスピーカエンジン部３３や、映像エンジン部３４に供給される。

映像エンジン部３４も、他の映像エンジン部３４の状態や、必要であれば、スピーカエンジン部３３の状態に基づいて、マルチディスプレイ装置１およびマルチスピーカ２の構成などを確認することで、マルチディスプレイ装置１における、対応するディスプレイ１１のID番号を認識する。また、映像エンジン部３４は、メイン制御部３２からのユーザの指示信号に応じて、自分が表示する画像（画面）をアクティブ画面に設定したり、その設定を解除する。

映像エンジン部３４は、メイン制御部３２からのユーザの指示信号に応じて、メイン制御部３２から入力されてくる画像信号に対して、他の映像エンジン部３４と連動して、１つの拡大画像を表示するための画像処理を行ったり、個々の番組の画像を表示するための画像処理を行い、処理後の画像信号を、ディスプレイ１１に出力する。そして、映像エンジン部３４の処理結果（例えば、アクティブ画面信号、画面サイズ信号、チャンネル番号、またはズームサイズなど）は、メイン制御部３２を介して、スピーカエンジン部３３や、他の映像エンジン部３４に供給される。

以上のように、マルチスピーカステムにおいては、スピーカエンジン部３３および映像エンジン部３４により、メイン制御部３２を介して、相互に情報の受け渡しが行われるので、任意の数の映像エンジン部３４やスピーカエンジン部３３を追加して、出力数を自在に変更することも可能である。

また、マルチスピーカシステムにおいては、個々のスピーカエンジン部３３および映像エンジン部３４が個別に処理を行うので、各出力に対して個別の音声信号処理や画像信号処理を追加することも可能である。

なお、図２の例においては、スピーカエンジン部３３および映像エンジン部３４における相互の情報の受け渡しを、メイン制御部３２を介して行う例が示されているが、スピーカエンジン部３３および映像エンジン部３４を、有線または無線により、互いに（電気的に）接続して、メイン制御部３２を介さずに、情報の受け渡しを行うように構成することもできる。

図３は、図２のスピーカエンジン部の構成例を示す図である。なお、図３の例においては、スピーカエンジン部３３とスピーカ１２Ｌ、１２Ｒ、および１２Ｂとの間には、それぞれ、スピーカエンジン部３３からの音声信号を増幅するためのアンプ４１Ｌ、４１Ｒ、および４１Ｂが備えられている。

図３のスピーカエンジン部３３は、音声入力部５１−１および音声入力部５１−２、AD(Analog to Digital)変換部５２−１および５２−２、音声信号処理部５３、監視処理部５３ａ、DA(Digital to Analog)変換部５５−１および５５−２、並びに、音量制御部５６−１および５６−２により構成されている。

音声入力部５１−１は、メイン制御部３２からのアクティブ画面に対応する音声信号（左音声信号および右音声信号）を、スピーカ出力信号（スピーカ左出力信号およびスピーカ右出力信号）として入力し、AD変換部５２−１に出力する。AD変換部５２−１は、音声入力部５１−１からのスピーカ左出力信号およびスピーカ右出力信号に対して、AD変換を行い、デジタル化されたスピーカ左出力信号およびスピーカ右出力信号を、音声信号処理部５３に出力する。

音声入力部５１−２は、メイン制御部３２からのアクティブ画面に対応する音声信号以外の１系統の音声信号（左音声信号および右音声信号）を、裏音声信号（裏左音声信号および裏右音声信号）として入力し、AD変換部５２−２に出力する。AD変換部５２―２は、音声入力部５１−２からの裏左音声信号および裏右音声信号に対して、AD変換を行い、デジタル化された裏左音声信号および裏右音声信号を、音声信号処理部５３に出力する。

音声信号処理部５３は、マルチディスプレイ装置１およびマルチスピーカ２の多種の構成における各スピーカ１２に応じたパラメータ群を有している。このパラメータ群は、さらに、後述する音像定位や音表現に基づき、マルチディスプレイ装置１におけるアクティブ画面の位置やサイズに応じて予め設定されたパラメータで構成されている。

音声信号処理部５３は、制御部５４から供給される映像エンジン部３４の状態や他のスピーカエンジン部３３の状態に応じて、パラメータ群を選択し、さらに、制御部５４から供給される映像エンジン部３４やスピーカエンジン部３３の処理結果（例えば、マルチディスプレイ装置１におけるアクティブ画面の位置やサイズ）に応じて、選択したパラメータ群の中から用いるパラメータを選択する。そして、音声信号処理部５３は、AD変換部５２−１からのスピーカ出力信号に対して、選択したパラメータに基づく音声処理を行う。音声処理後のフルレンジ(Full Range)の左音声信号および右音声信号は、DA変換部５５−１に出力され、音声処理後の低周波数帯域（Bass）の音声信号は、DA変換部５５−２に出力される。

また、音声信号処理部５３は、裏音声信号を監視する監視処理部５３ａを内蔵している。監視処理部５３ａは、AD変換部５２−２から入力される裏音声信号を解析し、解析することで抽出した情報を音声信号処理部５３に供給する。音声信号処理部５３は、監視処理部５３ａにより抽出された情報に基づく処理を行い、その処理結果を、制御部５４およびメイン制御部３２を介して、他のスピーカエンジン部３３や映像エンジン部３４に供給する。

例えば、監視処理部５３ａは、裏音声信号において、緊急放送や速報の特徴（すなわち、緊急放送や速報の特有の音声信号）を監視し、緊急放送や速報特有の音声信号が含まれていた場合、その緊急放送や速報の音声信号を抽出し、抽出結果を音声信号処理部５３に供給してくる。これに対応して、音声信号処理部５３は、その抽出結果を、制御部５４およびメイン制御部３２を介して、他のスピーカエンジン部３３や映像エンジン部３４に供給するとともに、例えば、スピーカ１２に出力する音声信号を、裏音声信号に切り替えて音声処理を行う。

制御部５４は、スピーカエンジン部３３の状態（例えば、メイン制御部３２に接続され、マルチスピーカ２を構成している状態）や、音声信号処理部５３の処理結果などを、メイン制御部３２に送信することで、それらの情報を、他のスピーカエンジン部３３や映像エンジン部３４に供給する。また、制御部５４は、メイン制御部３２を介して送信されてくる、ユーザの指示信号、または、他のスピーカエンジン部３３や映像エンジン部３４の状態や処理結果などの情報を受信し、それらの情報に基づいて、音声信号処理部５３または音量制御部５６−１および５６−２を制御する。

DA変換部５５−１は、音声信号処理部５３からの音声処理後のフルレンジの左音声信号および右音声信号に対して、DA変換を行い、アナログの左音声信号および右音声信号を、それぞれ、音量制御部５６−１に出力する。DA変換部５５−２は、音声信号処理部５３からの音声処理後の低周波数帯域の音声信号に対して、DA変換を行い、アナログの低周波数帯域の音声信号を、音量制御部５６−２に出力する。

音量制御部５６−１は、制御部５４の制御のもと、DA変換部５５−１からのアナログの左音声信号および右音声信号の音量を制御し、それぞれ、アンプ４１Ｌおよび４１Ｒを介して、スピーカ１２Ｌおよび１２Ｒに出力する。これにより、スピーカ１２Ｌおよび１２Ｒからは、それぞれ、信号処理が施された左音声信号および右音声信号に対応する左音声および右音声が出力される。

音量制御部５６−２は、制御部５４の制御のもと、DA変換部５５−２からのアナログの低周波数帯域の音声信号の音量を制御し、アンプ４１Ｂを介して、スピーカ１２Ｂに出力する。これにより、スピーカ１２Ｂからは、信号処理が施された低周波数帯域の音声信号に対応する低周波数帯域の音声が出力される。

なお、図３の例においては、裏音声信号として、１系統の音声信号しか入力されていないが、複数系統の音声信号を入力し、１系統の場合と同様に処理することも可能である。

図４は、図１のマルチディスプレイ装置におけるアクティブ画面の例を示す図である。

図４の例において、各表示面が３行×３列のアレイ状になるように配置されているディスプレイ１１−１乃至１１−９には、それぞれ異なる番組の画像が表示されている。すなわち、図４のマルチディスプレイ装置１においては、９個の画面が構成されており、９個の画面のうち、上段の左側のディスプレイ１１−１の画面（ディスプレイ１１−１に表示されている顔の画像）ＧＧ１がアクティブ画面として設定されている。

マルチスピーカ２は、アクティブ画面である、ディスプレイ１１−１の画面ＧＧ１に音像を定位させるように、ディスプレイ１１−１の画面ＧＧ１に対応する音声を、例えば、ディスプレイ１１−１の真上に配置されるスピーカ１２Ｌ−１および１２Ｒ−１、ディスプレイ１１−１の真下に配置されるスピーカ１２Ｌ−７および１２Ｒ−７、ディスプレイ１１−１の左右に配置されるスピーカ１２Ｌ−４および１２Ｒ−４からのみ出力させる。なお、ハッチングがなされたスピーカ１２は、他のスピーカ１２よりも使用重要度が高いことを表しており、図４の例においては、使用重要度が高いスピーカ１２からのみ、音声が出力される例が示されている。

その際、マルチスピーカ２においては、ディスプレイ１１−１の左右に配置されるスピーカ１２Ｌ−４および１２Ｒ−４に出力させる音声の音声信号に対して遅延操作を行い、ディスプレイ１１−１の上下に配置されるスピーカ１２Ｌ−１および１２Ｒ−１並びにスピーカ１２Ｌ−７および１２Ｒ−７に出力させる音声の音声信号に対して音量操作を行うことで、ディスプレイ１１−１に対する上下左右の音像定位が実現されている。

すなわち、人間の耳の配置などの聴覚的な特性より、人間においては、上下方向の知覚よりも左右方向の知覚のほうが優れており、このことが、音の方向を知覚する上で非常に顕著にあらわれることは過去の解析により自明となっている。したがって、遅延操作は、左右方向への音像定位に効果的であるが、上下方向にはさほど効果的ではない。

そこで、マルチスピーカ２においては、上下方向への音像定位を実現するために、上下に配置されたスピーカの音量操作を有効的に用いることで、上下方向へのロバストな音像定位が実現される。具体的には、マルチスピーカ２においては、各スピーカ１２（に出力される音声信号）に対して、アクティブ画面（図４の場合、画面ＧＧ１）への上下左右の音像定位に対応して設定された遅延操作および音量操作のパラメータが割り当てられる。

図５は、図４の場合のスピーカに割り当てられるパラメータの例を示している。

図５の例においては、図４の例におけるディスプレイ１１−１の左右に配置されるスピーカ１２Ｌ−４および１２Ｒ−４、ディスプレイ１１−１の真上に配置されるスピーカ１２Ｌ−１および１２Ｒ−１、並びに、ディスプレイ１１−１の真下に配置されるスピーカ１２Ｌ−７および１２Ｒ−７の音量パラメータおよび遅延パラメータが示されている。なお、図示せぬその他のスピーカ１２の音量パラメータおよび遅延パラメータは「０」とされている。

スピーカ１２Ｌ−４には、「0.5」の音量パラメータと「０」の遅延パラメータが割り当てられ、スピーカ１２Ｒ−４には、「0.5」の音量パラメータと「５０」の遅延パラメータが割り当てられる。

また、スピーカ１２Ｌ−１および１２Ｒ−１には、「0.9」の音量パラメータと「０」の遅延パラメータが割り当てられ、スピーカ１２Ｌ−７および１２Ｒ−７には、「0.4」の音量パラメータと「０」の遅延パラメータが割り当てられる。

ここで、音量パラメータは、最大値を１とした場合の値が示されており、遅延パラメータは、サンプリング周波数48kHzの音声に対する遅延サンプル量とされる。

すなわち、図４の例の場合、左右方向に対しては、スピーカ１２Ｌ−４よりも、ディスプレイ１１−１の画面ＧＧ１からの距離が離れているスピーカ１２Ｒ−４を５０サンプル遅延させることで、ディスプレイ１１−１の画面ＧＧ１への音像定位がなされている。

上下方向に対しては、例えば、左右のスピーカ１２Ｌ−４および１２Ｒ−４の音量パラメータ「0.5」を基準にすると、ディスプレイ１１−１の画面ＧＧ１からの距離が離れているスピーカ１２Ｌ−１および１２Ｒ−１の音量パラメータを「0.9」と基準よりも大きくさせ、スピーカ１２Ｌ−７および１２Ｒ−７の音量パラメータを「0.4」と基準よりも小さくさせることで、ディスプレイ１１−１の画面ＧＧ１への音像定位がなされている。

以上のように、マルチスピーカ２における音像定位は、両耳への時間到達差を利用した遅延操作と両耳へ到達する音声の音量差を用いた音量操作によって実現される。

図６は、図１のマルチディスプレイ装置におけるアクティブ画面の他の例を示す図である。

図６の例において、各表示面が３行×３列のアレイ状になるように配置されているディスプレイ１１−１乃至１１−９には、図４の例の場合と同様に、それぞれ異なる番組の画像が表示されている。すなわち、図６のマルチディスプレイ装置１においても、９個の画面が構成されており、９個の画面のうち、中段の左から２番目（すなわち、マルチディスプレイ装置１の中央）のディスプレイ１１−５の画面（ディスプレイ１１−５に表示されている顔の画像）ＧＧ２がアクティブ画面として設定されている。

マルチスピーカ２は、アクティブ画面である、ディスプレイ１１−５の画面ＧＧ２に音像を定位させるように、ディスプレイ１１−５の画面ＧＧ２に対応する音声を、例えば、ディスプレイ１１−５の真上に配置されるスピーカ１２Ｌ−２および１２Ｒ−２、ディスプレイ１１−５の真下に配置されるスピーカ１２Ｌ−８および１２Ｒ−８、ディスプレイ１１−５の左右に配置されるスピーカ１２Ｌ−５および１２Ｒ−５からのみ出力させる。

その際、マルチスピーカ２においては、ディスプレイ１１−５の左右に配置されるスピーカ１２Ｌ−５および１２Ｒ−５に出力させる音声の音声信号に対して遅延操作を行い、ディスプレイ１１−５の上下に配置されるスピーカ１２Ｌ−２および１２Ｒ−２並びにスピーカ１２Ｌ−８および１２Ｒ−８に出力させる音声の音声信号に対して音量操作を行うことで、上下左右の音像定位を実現している。

すなわち、図６の例の場合、スピーカ１２Ｌ−５および１２Ｒ−５は、ディスプレイ１１−５の画面Ｇ２からの距離が同じであり、スピーカ１２Ｌ−２および１２Ｒ−２と、スピーカ１２Ｌ−８および１２Ｒ−８も、ディスプレイ１１−５の画面Ｇ２からの距離が同じであるので、実際には、左右同等の遅延操作や音量操作を行うことで、ディスプレイ１１−５に対する上下左右の音像定位がなされている。

なお、図示は省略するが、図６のマルチスピーカ２においても、各スピーカ１２に対して、アクティブ画面（図６の場合、画面ＧＧ２）への上下左右の音像定位に対応して設定された、図５のような音量パラメータおよび遅延パラメータが割り当てられている。

図７は、図１のマルチディスプレイ装置におけるアクティブ画面の他の例を示す図である。

図７の例において、各表示面が３行×３列のアレイ状になるように配置されているディスプレイ１１−１乃至１１−９のうち、上中下段の右側のディスプレイ１１−３，１１−６，および１１−９には、１つの番組の拡大画像が表示されており、その他のディスプレイ１１には、それぞれ異なる番組の画像が表示されている。すなわち、図７のマルチディスプレイ装置１においては、７個の画面が構成されており、７個の画面のうち、ディスプレイ１１−３，１１−６，および１１−９の拡大画面（ディスプレイ１１−３，１１−６，および１１−９に表示されている顔の画像）ＧＧ３がアクティブ画面として設定されている。

なお、以下、図７の例の拡大画面ＧＧ３のように、複数のディスプレイ１１に表示される１つの拡大画像をズーム時の画面とも称する。

マルチスピーカ２は、アクティブ画面である、ディスプレイ１１−３，１１−６，および１１−９の拡大画面ＧＧ３に音像を定位させるように、例えば、ディスプレイ１１−３，１１−６，および１１−９の拡大画面ＧＧ３に対応する音声を、ディスプレイ１１−３，１１−６，および１１−９の真上に配置されるスピーカ１２Ｌ−３および１２Ｒ−３、ディスプレイ１１−３，１１−６，および１１−９の真下に配置されるスピーカ１２Ｌ−９および１２Ｒ−９、ディスプレイ１１−３，１１−６，および１１−９の左右に配置されるスピーカ１２Ｌ−４乃至１２Ｌ−６および１２Ｒ−４乃至１２Ｒ−６からのみ出力させる。

その際、マルチスピーカ２においては、ディスプレイ１１−３，１１−６，および１１−９の左右に配置されるスピーカ１２Ｌ−４乃至１２Ｌ−６および１２Ｒ−４乃至１２Ｒ−６に出力させる音声に対して遅延操作を行い、ディスプレイ１１−５の上下に配置されるスピーカ１２Ｌ−３および１２Ｒ−３並びにスピーカ１２Ｌ−９および１２Ｒ−９の音声信号に対して音量操作を行うことで、上下左右の音像定位を実現している。

すなわち、図７の例の場合、例えば、左右方向に対しては、スピーカ１２Ｒ−４乃至１２Ｒ−６よりも、ディスプレイ１１−３，１１−６，および１１−９の画面ＧＧ３からの距離が離れているスピーカ１２Ｌ−４乃至１２Ｌ−６を数サンプル遅延させることで、ディスプレイ１１−３，１１−６，および１１−９の拡大画面ＧＧ３への音像定位がなされている。また、上下方向に対しては、スピーカ１２Ｌ−３および１２Ｒ−３と、スピーカ１２Ｌ−９および１２Ｒ−９は、ディスプレイ１１−３，１１−６，および１１−９の画面ＧＧ３からの距離が同じであるので、実際には、左右同等の遅延操作や音量操作を行うことで、ディスプレイ１１−３，１１−６，および１１−９の拡大画面ＧＧ３への音像定位がなされている。

なお、図示は省略するが、図７のマルチスピーカ２においても、各スピーカ１２に対して、アクティブ画面（図７の場合、拡大画面ＧＧ３）への上下左右の音像定位に対応して設定された、図５のような音量パラメータおよび遅延パラメータが割り当てられている。

図８は、図１のマルチディスプレイ装置におけるアクティブ画面の他の例を示す図である。すなわち、図８の例は、図４のアクティブ画面の他の例である。

図８の例においては、各表示面が３行×３列のアレイ状になるように配置されているディスプレイ１１−１乃至１１−９のうち、中下段の左から１および２番目のディスプレイ１１−４，１１−５，１１−７，および１１−８に表示されている顔の画像（すなわち、ディスプレイ１１−４，１１−５，１１−７，および１１−８の拡大画面）ＧＧ４がアクティブ画面として設定されている。

マルチスピーカ２は、アクティブ画面である、ディスプレイ１１−４，１１−５，１１−７，および１１−８の拡大画面ＧＧ４に音像を定位させるように、例えば、ディスプレイ１１−４，１１−５，１１−７，および１１−８の拡大画面ＧＧ４に対応する音声を、ディスプレイ１１−４，１１−５，１１−７，および１１−８の真上に配置されるスピーカ１２Ｌ−１，１２Ｒ−１，１２Ｌ−２，および１２Ｒ−２、ディスプレイ１１−４，１１−５，１１−７，および１１−８の真下に配置されるスピーカ１２Ｌ−７，１２Ｒ−７，１２Ｌ−８，および１２Ｒ−８、ディスプレイ１１−４，１１−５，１１−７，および１１−８の左右に配置されるスピーカ１２Ｌ−５，１２Ｒ−５，１２Ｌ−６，および１２Ｒ−６からのみ出力させる。

その際、マルチスピーカ２においては、ディスプレイ１１−４，１１−５，１１−７，および１１−８の左右に配置されるスピーカ１２Ｌ−５，１２Ｒ−５，１２Ｌ−６，および１２Ｒ−６に出力させる音声に対して遅延操作を行い、ディスプレイ１１−４，１１−５，１１−７，および１１−８の上下に配置されるスピーカ１２Ｌ−１，１２Ｒ−１，１２Ｌ−２，および１２Ｒ−２並びに１２Ｌ−７，１２Ｒ−７，１２Ｌ−８，および１２Ｒ−８の音声信号に対して音量操作を行うことで、上下左右の音像定位を実現している。

すなわち、図８の例の場合、例えば、左右方向に対しては、スピーカ１２Ｌ−５および１２Ｌ−６よりも、ディスプレイ１１−４，１１−５，１１−７，および１１−８の画面ＧＧ４の中心からの距離が離れているスピーカ１２Ｒ−５、および１２Ｒ−６を数サンプル遅延させることで、ディスプレイ１１−３，１１−６，および１１−９の拡大画面ＧＧ４への音像定位がなされる。また、上下方向に対しては、スピーカ１２Ｌ−７，１２Ｒ−７，１２Ｌ−８，および１２Ｒ−８よりも、ディスプレイ１１−４，１１−５，１１−７，および１１−８の拡大画面ＧＧ４中心からの距離が離れているスピーカ１２Ｌ−１，１２Ｒ−１，１２Ｌ−２，および１２Ｒ−２を小さい音量にさせることで、ディスプレイ１１−４，１１−５，１１−７，および１１−８の拡大画面ＧＧ４への音像定位がなされる。

なお、図示は省略するが、図８のマルチスピーカ２においても、各スピーカ１２に対して、アクティブ画面（図８の場合、拡大画面ＧＧ４）への上下左右の音像定位に対応して設定された、図５のような音量パラメータおよび遅延パラメータが割り当てられている。

以上のように、マルチスピーカシステムにおいては、マルチスピーカ２を構成するスピーカ１２を、マルチディスプレイ装置１の上下左右に配置するようにしたので、マルチディスプレイ装置１の表示面上、上下左右任意の位置に設定され得るアクティブな画面に音像を定位させることができる。

これにより、従来においては、例えば、アクティブな画面に目印などをつけておき、ユーザに全画面を目でスキャンさせて認識させていたアクティブな画面を、直感的に認識させることができる。

ここで、マルチスピーカ２においては、ある点に対してではなく、上述したように、面（画面）に対しての音像定位が重要となる。

一般に、近接した場所への音像定位を聞き分けるための精度を得るために、音像の場所が変化した瞬間にそれが以前の定位位置と場所が違うことを認識させなければならない。しかしながら、マルチディスプレイ装置１のディスプレイ１１同士は、近接して配置されているので、音像の場所が変化した瞬間にそれが以前の定位位置と場所が違うことを認識させることが難しい。

そこで、マルチスピーカ２においては、両耳への到達時間差より計算された遅延操作だけではなく、アクティブ画面が切り替わったことを、認識させやすくするために、より隣接する画面との差分が大きくなるよう、各ディスプレイ１１の画面がアクティブ画面に設定された場合に、各アクティブ画面に対応する音声の音像が、図９に示されるように、円周上に定位させるようにする。

図９は、音像定位位置の例を示す図である。なお、図９の例においては、各ディスプレイ１１およびスピーカ１２の符号の図示は省略されており、画面Ｇ１乃至Ｇ９は、それぞれ、異なる画像が表示されるディスプレイ１１−１乃至１１−９の画面を示し、Ｐ１乃至Ｐ９は、それぞれ、ディスプレイ１１−１乃至１１−９の画面Ｇ１乃至Ｇ９がアクティブ画面に設定された場合の音像定位位置を示している。

すなわち、ディスプレイ１１−１乃至１１−４の画面Ｇ１乃至Ｇ４およびディスプレイ１１−６乃至１１−９の画面Ｇ６乃至Ｇ９がアクティブ画面に設定された場合の音像定位位置Ｐ１乃至Ｐ４および音像定位位置Ｐ６乃至Ｐ９は、各画面ではなく、点線で示されるように、マルチディスプレイ装置１の中央位置を中心とした、マルチディスプレイ装置１の表示面（全画面Ｇ１乃至Ｇ９）よりもひと回り大きい円の円周Ｍ１上の位置に配置される。また、図９の例において、円周Ｍ１上の各音像定位位置は、それぞれ等間隔に配置されている。

具体的には、ディスプレイ１１−１の画面Ｇ１がアクティブ画面に設定された場合の音像定位位置Ｐ１は、マルチディスプレイ装置１の中央位置から、ディスプレイ１１−１の画面Ｇ１を通る直線が、円周Ｍ１と交わる位置に配置される。ディスプレイ１１−２の画面Ｇ２がアクティブ画面に設定された場合の音像定位位置Ｐ２は、マルチディスプレイ装置１の中央位置から、ディスプレイ１１−２の画面Ｇ２を通る直線が、円周Ｍ１と交わる位置に配置される。ディスプレイ１１−３の画面Ｇ３がアクティブ画面に設定された場合の音像定位位置Ｐ３は、マルチディスプレイ装置１の中央位置から、ディスプレイ１１−３の画面Ｇ３を通る直線が、円周Ｍ１と交わる位置に配置される。ディスプレイ１１−４の画面Ｇ４がアクティブ画面に設定された場合の音像定位位置Ｐ４は、マルチディスプレイ装置１の中央位置から、ディスプレイ１１−４の画面Ｇ４を通る直線が、円周Ｍ１と交わる位置に配置される。

ディスプレイ１１−６の画面Ｇ６がアクティブ画面に設定された場合の音像定位位置Ｐ６は、マルチディスプレイ装置１の中央位置から、ディスプレイ１１−６の画面Ｇ６を通る直線が、円周Ｍ１と交わる位置に配置される。ディスプレイ１１−７の画面Ｇ７がアクティブ画面に設定された場合の音像定位位置Ｐ７は、マルチディスプレイ装置１の中央位置から、ディスプレイ１１−７の画面Ｇ７を通る直線が、円周Ｍ１と交わる位置に配置される。ディスプレイ１１−８の画面がアクティブ画面に設定された場合の音像定位位置Ｐ８は、マルチディスプレイ装置１の中央位置から、ディスプレイ１１−８の画面Ｇ８を通る直線が、円周Ｍ１と交わる位置に配置される。ディスプレイ１１−９の画面Ｇ９がアクティブ画面に設定された場合の音像定位位置Ｐ９は、マルチディスプレイ装置１の中央位置から、ディスプレイ１１−９の画面Ｇ９を通る直線が、円周Ｍ１と交わる位置に配置される。

なお、マルチディスプレイ装置１の中央に配置されるディスプレイ１１−５については、その画面Ｇ５がアクティブ画面に設定された場合の音像定位位置Ｐ５は、マルチディスプレイ装置１の中央位置に配置される。

以上のように、個々のディスプレイの画面に音像を定位させる場合には、ディスプレイの個数、画面の大きさに関係なく、すべてのディスプレイを囲む円の円周上、または、その円の中心に配置されるように、各スピーカの音量操作や遅延操作のパラメータを設定する。これにより、ディスプレイ同士が近接する場合でも、音像の場所が変化した瞬間にそれが以前の定位位置と場所が違うこと、すなわち、アクティブ画面が変化したことをユーザに認識させることができる。

なお、図９の例においては、円周Ｍ１は楕円で示されているが、すべてのディスプレイの表示面を囲む円であれば、正円でも楕円であってもよい。

また、図９の例においては、各ディスプレイ１１−１乃至１１−９の画面Ｇ１乃至Ｇ９には、それぞれ異なる画像が表示されており、マルチディスプレイ装置１において、９個の画面が構成される例を説明したが、図１０および図１１に示されるように、ズーム時の画面が構成される場合にも、それぞれ異なる画像が表示される画面は、すべてのディスプレイを囲む円の円周上に配置される。

図１０の例においては、拡大画面ＧＡ１は、１つの拡大画像が表示されるディスプレイ１１−１，１１−２，１１−４，および１１−５の画面を示し、画面Ｇ３，画面Ｇ６，および画面Ｇ７乃至Ｇ９は、それぞれ、異なる画像が表示されるディスプレイ１１−３，１１−６，および１１−７乃至１１−９の画面を示し、ＰＡ１，Ｐ３，Ｐ６，およびＰ７乃至Ｐ９は、それぞれ、拡大画面ＧＡ１，画面Ｇ３，画面Ｇ６，および画面Ｇ７乃至Ｇ９がアクティブ画面に設定された場合の音像定位位置を示している。

すなわち、ディスプレイ１１−３，１１−６，および１１−７乃至１１−９の画面Ｇ３，画面Ｇ６，および画面Ｇ７乃至Ｇ９がアクティブ画面に設定された場合の音像定位置Ｐ３，Ｐ６，およびＰ７乃至Ｐ９は、図９の例の場合と同様に、マルチディスプレイ装置１の中央位置を中心とした、マルチディスプレイ装置１の表示面よりもひと回り大きい円の円周Ｍ１上の位置に配置されるように、各スピーカ１２の音量操作や遅延操作のパラメータが設定される。

これにより、ズーム時の画面があり、かつ、ディスプレイ同士が近接する場合でも、音像の場所が変化した瞬間にそれが以前の定位位置と場所が違うこと、すなわち、アクティブ画面が変化したことをユーザに認識させることができる。

一方、ディスプレイ１１−１，１１−２，１１−４，および１１−５の拡大画面ＧＡ１がアクティブ画面に設定された場合の音像定位置ＰＡ１は、拡大画面ＧＡ１の中央位置ではなく、拡大画面ＧＡ１の中央位置よりも、他の画面Ｇ３，画面Ｇ６，および画面Ｇ７乃至Ｇ９とは反対方向に寄ったディスプレイ１１−１の位置に配置されるように、各スピーカ１２の音量操作や遅延操作のパラメータが設定される。

これにより、他の画面Ｇ３，画面Ｇ６，および画面Ｇ７乃至Ｇ９から、拡大画面ＧＡ１に音像が移動した場合に、その移動をユーザに認識させやすくすることができる。

図１１の例においては、拡大画面ＧＢ１は、１つの拡大画像が表示されるディスプレイ１１−１，１１−４，および１１−７の画面を示し、画面Ｇ２，画面Ｇ３，画面Ｇ５，画面Ｇ６，画面Ｇ８，および画面Ｇ９は、それぞれ、異なる画像が表示されるディスプレイ１１−２，１１−３，１１−５，１１−６，１１−８，および１１−９の画面を示し、ＰＢ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ８，およびＰ９は、それぞれ、拡大画面ＧＢ１，画面Ｇ２，画面Ｇ３，画面Ｇ５，画面Ｇ６，画面Ｇ８，および画面Ｇ９がアクティブ画面に設定された場合の音像定位位置を示している。

すなわち、ディスプレイ１１−２，１１−３，１１−６，１１−８，および１１−９の画面Ｇ２，画面Ｇ３，画面Ｇ６，画面Ｇ８，および画面Ｇ９がアクティブ画面に設定された場合の音像定位置Ｐ２，Ｐ３，Ｐ６，Ｐ８，およびＰ９は、図９の例の場合と同様に、マルチディスプレイ装置１の中央位置を中心とした、マルチディスプレイ装置１の表示面よりもひと回り大きい円の円周Ｍ１上の位置に配置されるように、各スピーカ１２の音量操作や遅延操作のパラメータが設定される。また、マルチディスプレイ装置１の中央に配置されるディスプレイ１１−５の画面Ｇ５がアクティブ画面に設定された場合の音像定位位置Ｐ５は、マルチディスプレイ装置１の中央位置に配置されるように、各スピーカ１２の音量操作や遅延操作のパラメータが設定される。

これにより、ズーム時の画面があり、かつ、ディスプレイ同士が近接する場合でも、音像の場所が変化した瞬間にそれが以前の定位位置と場所が違うこと、すなわち、アクティブ画面が変化したことをユーザに認識させることができる。

一方、ディスプレイ１１−１，１１−４，および１１−７の拡大画面ＧＢ１がアクティブ画面に設定された場合の音像定位置ＰＢ１は、拡大画面ＧＢ１の中央位置ではなく、中央位置よりも、他の画面Ｇ２，画面Ｇ３，画面Ｇ５，画面Ｇ６，画面Ｇ８，および画面Ｇ９とは反対方向（すなわち、図中左側）に寄った位置に配置されるように、各スピーカ１２の音量操作や遅延操作のパラメータが設定される。

これにより、他の画面Ｇ２，画面Ｇ３，画面Ｇ５，画面Ｇ６，画面Ｇ８，および画面Ｇ９から、音像が拡大画面ＧＢ１に移動した場合に、その移動をユーザに認識させやすくすることができる。

次に、図１２を参照して、ズーム時の画面（拡大画面）がアクティブ画面に設定された場合の音表現について詳しく説明する。

図１２の例においては、マルチディスプレイ装置１の９個のディスプレイ１１−１乃至１１−９で協調して表示される１つの番組の拡大画像（拡大画面）ＧＣ１（図中ハッチング部分）が示されている。この拡大画面ＧＣ１は、図１１の画面ＧＢ１や画面Ｇ２など比較して、画面の大きさ、表示されている画像の大きさなどが異なっており、音声もその画像の変化に応じた音表現を行う必要がある。

実際には、音像は、しっかり引き締めることで、拡大画面ＧＣ１の中心に定位させつつ、画面や表示される画像の大きさに応じて音に拡がりを持たせる必要がある。そこで、マルチスピーカシステムにおいては、本来相反するこの２つの要素を複数のスピーカ１２を用いて役割分担し、分担された役割に応じたパラメータを設定することで実現する。

具体的に説明する。図１２の例の場合、拡大画面ＧＣ１の周囲の実線の丸は、スピーカ１２の配置位置を表し、その大きさは、基準となる音の大きさを表している。また、矢印は遅延の大きさを表し、点線は遅延された音を表し、その大きさは、調整後の音の大きさを表している。また、拡大画面ＧＣ１の上部には、スピーカ１２−１乃至１２−３が左から順に並んで配置されており、拡大画面ＧＣ１の下部には、スピーカ１２−７乃至１２−９が左から順に並んで配置されており、拡大画面ＧＣ１の左側には、スピーカ１２Ｌ−４乃至１２Ｌ−６が上から順に並んで配置されており、拡大画面ＧＣ１の右側には、スピーカ１２Ｒ−４乃至１２Ｒ−６が上から順に並んで配置されている。

なお、図１２の例においては、説明の便宜上、スピーカ１２Ｌ−１および１２Ｒ−１はスピーカ１２−１とされ、スピーカ１２Ｌ−２および１２Ｒ−２はスピーカ１２−２とされ、スピーカ１２Ｌ−３および１２Ｒ−３はスピーカ１２−３とされ、スピーカ１２Ｌ−７および１２Ｒ−７はスピーカ１２−７とされ、スピーカ１２Ｌ−８および１２Ｒ−８はスピーカ１２−８とされ、スピーカ１２Ｌ−９および１２Ｒ−９はスピーカ１２−９とされている。

図１２の例のスピーカシステムにおいては、これらのスピーカのうち、上下に配置されるスピーカ１２−１および１２−７のペア並びにスピーカ１２−３および１２−９のペアには、Ａの円に示されるように、拡大画面ＧＣ１に対応する音声を、基準となる音の大きさで出力させることで、音像を引き締め、拡大画面ＧＣ１の中心に定位させている。

上下左右の十字に配置されるスピーカ１２−２および１２−８のペア、並びに１２Ｌ−５および１２Ｒ−５のペアには、短い矢印に示されるように、拡大画面ＧＣ１に対応する音声に対して、少しの遅延操作を行わせ、Ｂの円に示されるように、拡大画面ＧＣ１に対応する音声を、基準よりも大きな音の大きさで出力させることで、音像が画面ＧＣ１の大きさを表すよう、音に拡がりを持たせている。

さらに、左右に配置されるスピーカ１２Ｌ−４および１２Ｒ−４のペア、並びにスピーカ１２Ｌ−６および１２Ｒ−６のペアには、Ｃの円に示されるように、拡大画面ＧＣ１に対応する音声を、基準と同じ大きさで出力させ、長い矢印に示されるように、拡大画面ＧＣ１に対応する音声に対して、過剰な遅延操作を行わせることで、音に大きな拡がり、すなわち、残響（エコー）を持たせている。

すなわち、図１２の例の場合、上下に配置されたスピーカペアの一方（スピーカ１２−１および１２−７、並びにスピーカ１２−３および１２−９）には、音像を引き締め、基準となる役割および拡大画面ＧＣ１の中心に定位させる役割が割り当てられ、上下に配置されたスピーカペアの他方（スピーカ１２−２および１２−８）と、左右に配置されたスピーカペアの一方（スピーカ１２Ｌ−５および１２Ｒ−５）には、拡大画面ＧＣ１の大きさに応じた音に拡がりを持たせる役割が割り当てられ、左右に配置されたスピーカペアの他方（スピーカ１２Ｌ−４および１２Ｒ−４、並びにスピーカ１２Ｌ−６および１２Ｒ−６）には、音にさらなる拡がり、すなわち、残響を持たせる役割が割り当てられている。

以上のように、ズーム時の画面がアクティブ画面に設定される場合、複数のスピーカに役割分担させる、すなわち、役割分担に応じたパラメータによる音声処理を行わせることで、画面の大きさ、および表示されている画像の大きさなどに応じた音声を出力させることができる。

図１３は、図１２の音表現の他の例を示している。図１３の例においては、９個のディスプレイ１１−１乃至１１−９のうち、４個のディスプレイ１１−１，１１−２，１１−４，および１１−５で協調して表示される１つの番組の拡大画像（拡大画面）ＧＣ２（図中ハッチング部分）が示されている。

図１３の例のスピーカシステムにおいては、これらのスピーカのうち、拡大画面ＧＣ２以外の画面の上下または左右に配置されるスピーカ１２−３および１２−９のペア、並びにスピーカ１２Ｌ−６および１２Ｒ−６のペアには、Ａの円に示されるように、基準となる音の大きさで出力させている。

拡大画面ＧＣ２の上下に配置されるスピーカ１２−１および１２−７、並びにスピーカ１２−２および１２−８のペアには、Ｂの円に示されるように、拡大画面ＧＣ２に対応する音声を、基準よりも大きな音の大きさで出力させることで、マルチディスプレイ装置１の左寄りに位置する拡大画面ＧＣ２の中心に定位させている。スピーカ１２−１には、さらに、短い矢印に示されるように、拡大画面ＧＣ２に対応する音声に対して、少しの遅延操作を行わせることで、音像が拡大画面ＧＣ２の大きさを表すよう、音に拡がりを持たせている。

拡大画面ＧＣ２の左右に配置されるスピーカ１２Ｌ−４および１２Ｒ−４のペアのうち、スピーカ１２Ｒ−４には、Ｃ２の円に示されるように、拡大画面ＧＣ２に対応する音声を、基準となる音の大きさで出力させ、スピーカ１２Ｌ−４には、短い矢印に示されるように、拡大画面ＧＣ２に対応する音声に対して、少しの遅延操作を行わせ、Ｃ１の円に示されるように、拡大画面ＧＣ２に対応する音声を、基準よりも大きな音の大きさで出力させることで、音像が、マルチディスプレイ装置１の左寄りに位置する拡大画面ＧＣ２の大きさを表すよう、音に拡がりを持たせている。

さらに、拡大画面ＧＣ２の左右に配置されるスピーカ１２Ｌ−５および１２Ｒ−５のペアのうち、スピーカ１２Ｒ−５には、Ｄ２の円に示されるように、拡大画面ＧＣ２に対応する音声を、基準となる音の大きさで出力させ、スピーカ１２Ｌ−５には、Ｄ１の円に示されるように、拡大画面ＧＣ２に対応する音声を、基準と同じ大きさで出力させ、長い矢印に示されるように、拡大画面ＧＣ２に対応する音声に対して、過剰な遅延操作を行わせることで、音に大きな拡がり、すなわち、残響（エコー）を持たせている。

すなわち、図１３の例において、画面の上下左右以外に配置されたスピーカのペア（スピーカ１２−３および１２−９、並びにスピーカ１２Ｌ−６および１２Ｒ−６）には、音像を引き締め、基準となる役割が割り当てられ、画面の上下に配置されたスピーカのペア（スピーカ１２−１および１２−７、並びに、スピーカ１２−２および１２−８）には、画面の中心に音像を定位させる役割が割り当てられ、左右に配置されたスピーカペアの一方（スピーカ１２Ｌ−４および１２Ｒ−４）には、音に拡がりを持たせる役割が割り当てられ、左右に配置されたスピーカペアの他方（スピーカ１２Ｌ−５および１２Ｒ−５）には、音にさらなる拡がり、すなわち、残響を持たせる役割が割り当てられている。

以上のように、図１３の例の場合も、複数のスピーカに役割分担させる、すなわち、役割分担に応じたパラメータによる音声処理が行われることで、画面の大きさ、および表示されている画像の大きさなどに応じた音声を出力させることができる。

図１４は、図１２の音表現のさらに他の例を示している。図１４の例においては、９個のディスプレイ１１−１乃至１１−９のうち、３個のディスプレイ１１−１，１１−４，および１１−７で協調して表示される１つの番組の拡大画像（拡大画面）ＧＣ３（図中ハッチング部分）が示されている。

図１４の例のスピーカシステムにおいては、拡大画面ＧＣ３以外の画面の上下に配置されるスピーカ１２−２および１２−８のペア、並びにスピーカ１２−３および１２−９のペアには、Ａの円に示されるように、拡大画面ＧＣ３に対応する音声を、基準となる音の大きさで出させている。

拡大画面ＧＣ３の上下に配置されるスピーカ１２−１および１２−７のペアには、Ｂの円に示されるように、拡大画面ＧＣ３に対応する音声を、基準よりも大きな音の大きさで出力させ、さらに、短い矢印に示されるように、拡大画面ＧＣ３に対応する音声に対して、少しの遅延操作を行わせ、マルチディスプレイ装置１の左寄りに位置する拡大画面ＧＣ３の中心に定位させつつ、音像が拡大画面ＧＣ３の大きさを表すよう、音に拡がりを持たせている。

拡大画面ＧＣ３の左右に配置されるスピーカ１２Ｌ−５および１２Ｒ−５のペアのうち、スピーカ１２Ｒ−５には、Ｃ２の円に示されるように、拡大画面ＧＣ３に対応する音声を、基準となる音の大きさで出力させ、スピーカ１２Ｌ−５には、短い矢印に示されるように、拡大画面ＧＣ３に対応する音声に対して、少しの遅延操作を行わせ、Ｃ１の円に示されるように、拡大画面ＧＣ３に対応する音声を、基準よりも大きな音の大きさで出力させることで、音像が、マルチディスプレイ装置１の左寄りに位置する拡大画面ＧＣ３の大きさを表すよう、音に拡がりを持たせている。

拡大画面ＧＣ３の左右に配置されるスピーカ１２Ｌ−４および１２Ｒ−４のペア、並びに、スピーカ１２Ｌ−６および１２Ｒ−６のペアのうち、スピーカ１２Ｒ−４および１２Ｒ−６には、Ｄ２の円に示されるように、拡大画面ＧＣ３に対応する音声を、基準となる音の大きさで出力させ、スピーカ１２Ｌ−４および１２Ｒ−６には、Ｄ１の円に示されるように、拡大画面ＧＣ３に対応する音声を、基準と同じ大きさで出力させ、短い矢印に示されるように、拡大画面ＧＣ３に対応する音声に対して、少しの遅延操作を行わせることで、音像が、マルチディスプレイ装置１の左寄りに位置する拡大画面ＧＣ３の大きさを表すよう、音に拡がりを持たせている。

すなわち、図１４の例において、画面以外の上下に配置されたスピーカのペア（スピーカ１２−２および１２−８、並びにスピーカ１２−３および１２−９）には、音を引き締め、基準となる役割が割り当てられ、画面の上下に配置されたスピーカのペア（スピーカ１２−１および１２−７）には、画面の中心に音像を定位させる役割が割り当てられ、左右に配置されたスピーカペア（スピーカ１２Ｌ−４および１２Ｒ−４，１２Ｌ−５および１２Ｒ−５，並びに１２Ｌ−６および１２Ｒ−６）には、音に拡がりを持たせる役割が割り当てられいる。なお、この場合、画面ＧＣ３が細長いので残響は持たせていない。

以上のように、図１４の例の場合も、複数のスピーカに役割分担させる、すなわち、役割分担に応じたパラメータによる音声処理が行われることで、画面の大きさ、および表示されている画像の大きさなどに応じた音声を出力させることができる。

次に、図１５のフローチャートを参照して、スピーカエンジン部３３による音声出力制御処理を詳しく説明する。

制御部５４は、ステップＳ１１において、自己の情報として、スピーカエンジン部３３の状態（例えば、メイン制御部３２に接続され、マルチスピーカ２を構成している状態）をメイン制御部３２に送信するとともに、他のエンジン部（他のスピーカエンジン部３３や映像エンジン部３４）からの情報を、メイン制御部３２を介して受信する。制御部５４は、音声信号処理部５３に他のエンジン部からの情報を供給する。

音声信号処理部５３は、ステップＳ１２において、他のエンジン部からの情報に基づいて、対応するスピーカ１２Ｌ，１２Ｒ，および１２Ｂの音声信号処理に関するパラメータ群を選択する。

すなわち、音声信号処理部５３は、例えば、受信した映像エンジン部３４の状態や、他のスピーカエンジン部３３の状態に基づいて、マルチディスプレイ装置１およびマルチスピーカ２の構成（マルチディスプレイ装置１を構成するディスプレイ１１の数やその配置、およびマルチスピーカ２を構成するスピーカ１２の数やその配置）などを確認することで、マルチスピーカ２における、対応するスピーカ１２Ｌ，１２Ｒ，および１２ＢのID番号を取得し、そのID番号に基づいて、マルチディスプレイ装置１およびマルチスピーカ２の多種の構成、並びに、それらの構成における対応するスピーカ１２Ｌ，１２Ｒ，および１２ＢのID番号に応じた音声処理に関するパラメータ群を選択する。

このパラメータ群は、上述した音像定位や音表現に基づき、様々なアクティブ画面や画面サイズ毎に予め設定されているものである。なお、図１５のステップＳ１１およびＳ１２は、スピーカエンジン部３３または映像エンジン部３４が新しく接続されたとき、あるいは、外されたときのみ行われるようにすることもできる。

一方、チューナ部３１の複数のチューナは、それぞれ、図示せぬアンテナより受信される放送局からの放送信号の受信帯域を選択し、選択した受信帯域の放送信号を所定の方式で復調し、復調された信号のうちの画像信号および音声信号を、メイン制御部３２に出力しており、メイン制御部３２は、スピーカエンジン部３３に、ユーザにより設定されたアクティブ画面の音声信号を出力するとともに、例えば、１系統の他の番組の音声信号も出力している。

ステップＳ１３において、音声入力部５１−１は、メイン制御部３２からのアクティブ画面に対応する音声信号（左音声信号および右音声信号）を、スピーカ出力信号（スピーカ左出力信号およびスピーカ右出力信号）として入力し、AD変換部５２−１に出力する。音声入力部５１−１からのスピーカ左出力信号およびスピーカ右出力信号は、AD変換部５２−１により、デジタル化されて、音声信号処理部５３に出力される。

ステップＳ１４において、音声入力部５１−２は、メイン制御部３２からのアクティブ画面に対応する音声信号以外の１系統の音声信号（左音声信号および右音声信号）を、裏音声信号（裏左音声信号および裏右音声信号）として入力し、AD変換部５２−２に出力する。音声入力部５１−２からの裏左音声信号および裏右音声信号は、AD変換部５２―２により、デジタル化されて、音声信号処理部５３に出力される。

ステップＳ１５において、監視処理部５３ａは、AD変換部５２−２から入力される裏音声信号を解析し、裏音声信号において、緊急放送の音声信号を監視し、緊急放送が検出されたか否かを判定する。緊急放送が検出されていないと判定された場合、処理は、ステップＳ１６に進み、音声信号処理部５３は、AD変換部５２−１からのスピーカ出力信号の音声信号処理を実行する。この音声信号処理の詳細は、図１６を参照して後述する。

ステップＳ１６のスピーカ出力信号の音声信号処理により、映像エンジン部３４やスピーカエンジン部３３の処理結果（例えば、マルチディスプレイ装置１におけるアクティブ画面の位置やサイズ）に応じて、パラメータ群の中から用いるパラメータが選択され、AD変換部５２−１からのスピーカ出力信号に対して、選択したパラメータに基づく音声処理が行われる。

音声処理後のフルレンジ(Full Range)の左音声信号および右音声信号は、DA変換部５５−１に出力され、音声処理後の低周波数帯域（Bass）の音声信号は、DA変換部５５−２に出力される。DA変換部５５−１は、音声信号処理部５３からの音声処理後のフルレンジの左音声信号および右音声信号に対して、DA変換を行い、アナログの左音声信号および右音声信号を、それぞれ、音量制御部５６−１に出力する。DA変換部５５−２は、音声信号処理部５３からの音声処理後の低周波数帯域の音声信号に対して、DA変換を行い、アナログの低周波数帯域の音声信号を、音量制御部５６−２に出力する。

ステップＳ１７において、音量制御部５６−１は、制御部５４の制御のもと、DA変換部５５−１からのアナログの左音声信号および右音声信号の音量を制御し、それぞれ、アンプ４１Ｌおよび４１Ｒを介して、スピーカ１２Ｌおよび１２Ｒに出力する。これにより、スピーカ１２Ｌおよび１２Ｒからは、それぞれ、信号処理が施されたスピーカ出力信号の左音声信号および右音声信号に対応する左音声および右音声が出力される。

また、音量制御部５６−２は、制御部５４の制御のもと、DA変換部５５−２からのアナログの低周波数帯域の音声信号の音量を制御し、アンプ４１Ｂを介して、スピーカ１２Ｂに出力する。これにより、スピーカ１２Ｂからは、信号処理が施されたスピーカ出力信号の低周波数帯域の音声信号に対応する低周波数帯域の音声が出力される。

一方、緊急放送などは、特徴的な効果音とともに送出されるため、裏音声信号から、緊急放送用の特徴的な効果音が検出された場合、緊急放送が検出されたと判定されて、処理は、ステップＳ１８に進む。

ステップＳ１８において、音声信号処理部５３は、緊急放送をユーザに通知するための所定の音声を、スピーカ１２Ｌ，１２Ｒ，および１２Ｂから出力させる。

すなわち、音声信号処理部５３は、緊急放送をユーザに通知するための所定の音声に対応する音声信号（左音声信号、右音声信号、および低周波数帯域の音声信号）を生成し、DA変換部５５−１および音量制御部５６−１を介して、生成した左音声信号および右音声信号を、スピーカ１２Ｌおよび１２Ｒに出力させ、DA変換部５５−２および音量制御部５６−２を介して、生成した低周波数帯域の音声信号を、スピーカ１２Ｂに出力させる。

ステップＳ１９において、音声信号処理部５３は、緊急放送の検出結果を、制御部５４およびメイン制御部３２を介して、他のスピーカエンジン部３３や映像エンジン部３４に供給する。

この緊急放送の検出結果により、例えば、他のスピーカエンジン部３３において緊急放送が検出されていなかったとしても、他のスピーカエンジン部３３においても、同様に、次のステップＳ２０以降の処理が行われる。または、映像エンジン部３４により、緊急放送が検出された番組の画像がディスプレイ１１に表示されるように構成することも可能である。さらに、この緊急放送の検出結果に基づいて、映像エンジン部３４に、「緊急放送の番組に切り替えるか否か」をユーザに選択させるための画像を表示させ、ユーザの選択に応じて、次のステップＳ２０の処理を行うようにすることもできる。

ステップＳ２０において、音声信号処理部５３は、スピーカ出力信号の代わりに、裏音声信号の音声信号処理を実行する。なお、この裏音声信号の音声信号処理は、処理対象の音声信号が異なるだけであり、図１６を参照して後述する（ステップＳ１６の）音声信号処理と基本的に同様の処理を行うため、その説明は繰り返しになるので省略する。

ステップＳ２０の裏音声信号の音声信号処理により、映像エンジン部３４やスピーカエンジン部３３の処理結果（例えば、マルチディスプレイ装置１におけるアクティブ画面の位置やサイズ）に応じて、パラメータ群の中から用いるパラメータが選択され、AD変換部５２−２から裏音声信号に対して、選択したパラメータに基づく音声処理が行われる。

音声処理後のフルレンジ(Full Range)の左音声信号および右音声信号は、DA変換部５５−１に出力され、音声処理後の低周波数帯域（Bass）の音声信号は、DA変換部５５−２に出力される。DA変換部５５−１は、音声信号処理部５３からの音声処理後のフルレンジの左音声信号および右音声信号に対して、DA変換を行い、アナログの左音声信号および右音声信号を、それぞれ、音量制御部５６−１に出力する。DA変換部５５−２は、音声信号処理部５３からの音声処理後の低周波数帯域の音声信号に対して、DA変換を行い、アナログの低周波数帯域の音声信号を、音量制御部５６−２に出力する。

ステップＳ１７において、音量制御部５６−１は、制御部５４の制御のもと、DA変換部５５−１からのアナログの左音声信号および右音声信号の音量を制御し、それぞれ、アンプ４１Ｌおよび４１Ｒを介して、スピーカ１２Ｌおよび１２Ｒに出力する。これにより、スピーカ１２Ｌおよび１２Ｒからは、それぞれ、信号処理が施された裏音声信号の左音声信号および右音声信号に対応する左音声および右音声が出力される。

また、音量制御部５６−２は、制御部５４の制御のもと、DA変換部５５−２からのアナログの低周波数帯域の音声信号の音量を制御し、アンプ４１Ｂを介して、スピーカ１２Ｂに出力する。これにより、スピーカ１２Ｂからは、信号処理が施された裏音声信号の低周波数帯域の音声信号に対応する低周波数帯域の音声が出力される。

すなわち、検出された緊急放送の裏音声信号が、スピーカ１２Ｌ，１２Ｒ，および１２Ｂから出力される。

以上のように、スピーカエンジン部３３に、スピーカ出力信号以外の裏音声信号を入力するようにしたので、裏音声信号を用いた処理を行い、その処理結果を音声出力処理に反映することができる。

なお、図１５の例においては、スピーカエンジン部３３において、処理対象の音声信号を、スピーカ出力信号から、裏音声に切り替える例を説明したが、ステップＳ１９において供給される検出結果に基づいて、メイン制御部３２により、緊急放送が検出された番組の音声信号を、スピーカ出力信号として、各スピーカエンジン部３３に出力するようにすることも可能である。この場合、スピーカエンジン部３３においては、スピーカ出力信号を処理することで、緊急放送が検出された番組の音声がスピーカ１２から出力される。

また、図１５の例においては、裏音声信号から、緊急放送や速報などを検出する例を説明したが、それらに限らず、例えば、その他にも、特徴的な効果音を検出することによる臨時ニュースの検出や、音量変化を監視することによるＣＭや、盛り上がりシーンの検出、さらに、予め登録された音声パターン（例えば、番組のオープニング、番組内の所定のコーナの開始、特定の話者による台詞など）とのマッチングによる検出なども、同様に行うことができる。

さらに、上記説明においては、裏音声信号を入力して監視する例を説明したが、入力される音声は、番組などの音声に限らず、例えば、マイクロフォンを備えて、マイクロフォンから入力される音声をセンシングすることも可能である。

次に、図１６のフローチャートを参照して、図１５のステップＳ１６の音声信号処理を説明する。なお、この処理は、図９に示されるマルチディスプレイ装置１において９個の画面が構成され、その１つの画面がアクティブ画面に設定される場合の処理である。また、図１６の音声信号処理は、図１７に示される音声信号処理部５３により実行される。

図１７は、図１６の音声信号処理を実行する音声信号処理部の詳細な構成例を示す図である。なお、図１７の例において、実線は、入力信号（スピーカ出力信号または裏音声信号）の流れを示し、点線は、指示信号や制御信号の流れを示している。また、実線が１本しか示されていないが、実際には、左右の音声信号が入力され、左右の音声信号および低周波数帯域の音声信号が音声信号処理部５３から出力される。

図１７の音声信号処理部５３は、周波数解析部１０１、パラメータ格納部１０２、遅延操作部１０３、および音量操作部１０４により構成されている。AD変換部５２−１からの入力信号（音声信号）は、周波数解析部１０１および遅延操作部１０３に入力される。また、アクティブ画面を表示している映像エンジン部３４からのアクティブ画面識別信号は、メイン制御部３２および制御部５４を介して、パラメータ格納部１０２に供給される。

周波数解析部１０１は、入力信号の周波数成分を検出し、検出した周波数成分を、パラメータ格納部１０２に供給する。

パラメータ格納部１０２には、マルチディスプレイ装置１およびマルチスピーカ２の多種の構成における各スピーカ１２に応じたパラメータ群が記憶されている。また、このパラメータ群は、さらに、上述した音像定位や音表現に基づいて設定されたものであり、マルチディスプレイ装置１におけるアクティブ画面の位置やサイズ、そして、低周波数域成分および高周波数域成分の割合に応じたパラメータで構成されている。

パラメータ格納部１０２は、制御部５４から供給される映像エンジン部３４の状態や他のスピーカエンジン部３３の状態に応じて、パラメータ群を選択し、さらに、選択したパラメータ群の中から、制御部５４から供給されるアクティブ画面識別信号と、周波数解析部１０１からの周波数成分に含まれる低周波数域成分および高周波数域成分の割合に応じたパラメータ（遅延操作量や音量操作量）を選択し、選択したパラメータに応じて、遅延操作部１０３および音量操作部１０４を制御する。

すなわち、マルチスピーカシステムにおける入力音声信号には、音楽、テレビジョン音声信号、およびラジオ音声信号などさまざまなものが考えられる。また、図６などを参照して上述したように、遅延操作や音量操作それぞれの音像定位への寄与は、入力信号に含まれる周波数に大きく依存する。これは、それぞれの操作の特性によるもので、人間が遅延を感じ取るにはある程度長い波長を必要とするため、入力信号に含まれる低周波数域成分が大きく影響してくるためである。一方、高周波数域成分は、元々指向性が高いため音量操作が効果的に働く。

したがって、パラメータ格納部１０２においては、周波数解析部１０１により検出される周波数成分に含まれる低周波数域成分および高周波数域成分の割合で、最適なパラメータ（遅延操作量や音量操作量）を決定することで、入力信号に影響されない音像定位を実現している。

遅延操作部１０３は、パラメータ格納部１０２の制御のもと、入力信号に対して遅延操作を行い、遅延操作された音声信号を、音量操作部１０４に出力する。音声操作部１０４は、パラメータ格納部１０２の制御のもと、遅延操作部１０３からの音声信号に対して音量を大きくしたり、小さくしたりする音量操作を行い、音量操作された音声信号を、DA変換部５５−１や５５−２に出力する。

図１６に戻り、図１７の音声信号処理部５３による音声信号処理を説明する。AD変換部５２−１からの入力信号（音声信号）は、周波数解析部１０１および遅延操作部１０３に入力される。

ステップＳ３１において、周波数解析部１０１は、入力信号の周波数を解析し、解析した周波数成分をパラメータ格納部１０２に供給する。なお、常に解析することもできるが、実際には、例えば、ユーザがチャンネルボタンを押した瞬間に入力される入力信号の周波数が解析される。また、この検出の際の解析対象は、周波数に限ったものではなく、時間域信号の解析、すなわち、ある時間に何回所定の周波数を交差するかを利用することも可能である。

ステップＳ３２において、パラメータ格納部１０２は、アクティブ画面を表示している映像エンジン部３４からのアクティブ画面識別信号を、メイン制御部３２および制御部５４を介して入力する。

ステップＳ３３において、パラメータ格納部１０２は、図１５のステップＳ１２において選択されたパラメータ群の中から、さらに、周波数解析部１０１からの周波数の解析結果、およびアクティブ画面識別信号に対応するパラメータを選択する。例えば、図４の例の場合、すなわち、ディスプレイ１１−１の画面Ｇ１がアクティブ画面である場合には、図５のパラメータが選択される。

ステップＳ３４において、パラメータ格納部１０２は、遅延操作部１０３を制御し、選択されたパラメータに応じて、入力信号を遅延させる。例えば、図４のスピーカ１２Ｌ−４およびスピーカ１２Ｒ−４の場合、図５に示されるように、遅延操作部１０３は、スピーカ１２Ｒ−４に出力する右音声信号のみを５０遅延させる。遅延操作された音声信号は、音量操作部１０４に出力される。

ステップＳ３５において、パラメータ格納部１０２は、音量操作部１０４を制御し、選択されたパラメータに応じて、遅延された信号の音量を操作させ、DA変換部５５−１や５５−２に出力させる。例えば、図４のスピーカ１２Ｌ−４およびスピーカ１２Ｒ−４の場合、図５に示されるように、音量操作部１０４は、スピーカ１２Ｒ−４に出力する右音声信号およびスピーカ１２Ｌ−４に出力する左音声信号の音量を、0.5の割合で操作する。

この後、処理は、図１５のステップＳ１７に進み、ステップＳ１７においては、入力信号の周波数およびアクティブ画面に最適なパラメータで遅延や音量が操作された信号に対応する音声が対応するスピーカ１２Ｌ，１２Ｒ,および１２Ｂから出力される。

すなわち、図１９の処理が、すべてのスピーカ１２に対応するスピーカエンジン部３３−１乃至３３−９により行われる。したがって、ディスプレイ１１−１の画面Ｇ１がアクティブ画面に設定されている場合には、画面Ｇ１に対応する音声の音像が、図９のＰ１に定位するように音声信号の遅延や音量が操作された音声が、各スピーカ１２から出力される。これにより、図４のディスプレイ１１−１の画面Ｇ１の音声の音像が、画面Ｇ１に定位するように聞こえてくる。

次に、図１８のフローチャートを参照して、図１５のステップＳ１６の音声信号処理の他の例を説明する。なお、この処理は、例えば、図１２乃至図１４に示されるズーム時の画面がアクティブ画面に設定される場合の処理である。また、図１８の音声信号処理は、図１９に示される音声信号処理部５３により実行される。

図１９は、図１８の音声信号処理を実行する音声信号処理部の詳細な構成例を示す図である。なお、図１９の例においては、パラメータ格納部１０２がパラメータ格納部１５１に入れ替わっている点が、図１７の音声信号処理部５３と異なるだけであり、周波数解析部１０１、遅延操作部１０３、および音量操作部１０４が備えられている点は共通している。

すなわち、図１９のパラメータ格納部１５１には、メイン制御部３２および制御部５４を介して、アクティブ画面を表示している映像エンジン部３４からのアクティブ画面識別信号だけでなく、画面サイズ信号も供給される。

パラメータ格納部１５１は、パラメータ格納部１０２と同様に構成されており、制御部５４から供給される映像エンジン部３４の状態や他のスピーカエンジン部３３の状態に応じて、パラメータ群を選択し、さらに、選択したパラメータ群の中から、制御部５４から供給されるアクティブ画面識別信号および画面サイズ信号と、周波数解析部１０１からの周波数成分に含まれる低周波数域成分および高周波数域成分の割合に応じたパラメータ（遅延操作量や音量操作量）を選択し、選択したパラメータに応じて、遅延操作部１０３および音量操作部１０４を制御する。

図１８に戻り、図１９の音声信号処理部５３による音声信号処理を説明する。なお、図１８のステップＳ５１，Ｓ５４，およびＳ５５は、図１６のステップＳ３１，Ｓ３４，およびＳ３５と基本的に同様な処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。

AD変換部５２−１からの入力信号（音声信号）は、周波数解析部１０１および遅延操作部１０３に入力される。ステップＳ５１において、周波数解析部１０１は、入力信号の周波数を解析し、解析した周波数成分をパラメータ格納部１５１に供給する。

ステップＳ５２において、パラメータ格納部１５１は、アクティブ画面を表示している映像エンジン部３４からのアクティブ画面識別信号および画面サイズ信号を、メイン制御部３２および制御部５４を介して入力する。

ステップＳ５３において、パラメータ格納部１５１は、図１５のステップＳ１２において選択されたパラメータ群の中から、さらに、周波数解析部１０１からの周波数の解析結果、アクティブ画面識別信号、および画面サイズ信号に対応するパラメータを選択する。例えば、図１２の例の場合、すなわち、ディスプレイ１１−１乃至１１−９の拡大画面ＧＣ１がアクティブ画面である場合には、拡大画面ＧＣ１に対応したパラメータが選択される。

ステップＳ５４において、パラメータ格納部１５１は、遅延操作部１０３を制御し、選択されたパラメータに応じて、入力信号を遅延させる。例えば、図１２のスピーカ１２Ｌ−５およびスピーカ１２Ｒ−５の場合、遅延操作部１０３は、スピーカ１２Ｒ−４に出力する右音声信号およびスピーカ１２Ｌ−４に出力する左音声信号を少し遅延させる。

ステップＳ５５において、パラメータ格納部１５１は、音量操作部１０４を制御し、選択されたパラメータに応じて、遅延された信号の音量を操作させ、DA変換部５５−１や５５−２に出力させる。例えば、図１２のスピーカ１２Ｌ−５およびスピーカ１２Ｒ−５の場合、音量操作部１０４は、スピーカ１２Ｒ−４に出力する右音声信号およびスピーカ１２Ｌ−４に出力する左音声信号の音量を基準に比して大きくなるように操作する。

この後、処理は、図１５のステップＳ１７に進み、ステップＳ１７においては、入力信号の周波数、アクティブ画面、および画面サイズに最適なパラメータで遅延や音量が操作された信号に対応する音声が対応するスピーカ１２Ｌ，１２Ｒ,および１２Ｂから出力される。

すなわち、図１９の処理が、すべてのスピーカ１２に対応するスピーカエンジン部３３−１乃至３３−９により行われる。したがって、図１２のディスプレイ１１−１乃至１１−９の拡大画面ＧＣ１がアクティブ画面に設定されている場合には、拡大画面ＧＣ１に対応する音声の音像が、拡大画面ＧＣ１の中央位置および大きさに応じて音声信号の遅延や音量が操作された音声が、各スピーカ１２から出力される。これにより、図１２のディスプレイ１１−１乃至１１−９の拡大画面ＧＣ１の音声の音像が、拡大画面ＧＣ１に定位するように聞こえてくる。

以上のように、マルチスピーカシステムにおいては、各スピーカエンジン部が、情報を相互に送受信し、受信された情報に基づいて個々に音声処理を行うようにしたので、スケーラブルに出力数の変更を行うことができたり、各出力に対する音声処理に、個別の処理を加えることができる。

また、スピーカエンジン部に、出力する音声信号とは異なる裏音声信号を入力するようにしたので、裏音声信号を処理した処理結果を、音声処理に反映させることができる。これにより、例えば、上述したように、裏番組において速報があった場合に、すぐに、その裏番組に、音声を切り替えることができる。さらに、この処理結果も、映像エンジン部に送信することで、すぐに、裏番組に画像を切り替えることも可能である。

さらに、マルチスピーカシステムにおいては、マルチスピーカ２を構成するスピーカ１２を、マルチディスプレイ装置１の表示面上の、上下左右に配置するようにしたので、アクティブ画面がどの位置へ移動しても、上下左右任意の位置への音像定位を行うことができる。これにより、ユーザに対して、アクティブ画面の位置を直感的に認識させることができる。

また、マルチスピーカシステムにおいては、ディスプレイの画面ではなく、マルチディスプレイ装置１の表示面（全画面Ｇ１乃至Ｇ９）よりもひと回り大きい円の中心または、円周上の位置に音像を配置するようにしたので、ディスプレイ同士が近接していても、ユーザに対して、アクティブ画面の移動を直感的に認識させることができる。

さらに、マルチスピーカシステムにおいては、各スピーカに、音像を引き締める役割、音像を拡げる役割、残響を与える役割などの役割を割り当て（設定し）、使用されているディスプレイ数や画像のズーム倍率（アクティブ画面サイズ）に対応した遅延および音量操作を行うようにしたので、使用されているディスプレイ数や画像のズーム倍率によらず、映像の中心に音像を定位させることができる。

また、マルチスピーカシステムにおいては、入力信号の周波数特性を解析し、それに適切な遅延および音量操作を行うようにしたので、音像定位が入力信号に依存してしまうことを抑制することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ３０１の構成の例を示すブロック図である。CPU（Central Processing Unit）３１１は、ROM（Read Only Memory）３１２、または記憶部３１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３１３には、CPU３１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３１１、ROM３１２、およびRAM３１３は、バス３１４により相互に接続されている。

CPU３１１にはまた、バス３１４を介して入出力インタフェース３１５が接続されている。入出力インタフェース３１５には、上述したセンサ２１、キーボード、マウス、マイクロフォンなどよりなる入力部３１６、ディスプレイ、スピーカなどよりなる出力部３１７が接続されている。CPU３１１は、入力部３１６から入力される指令に対応して各種の処理を実行する。そして、CPU３１１は、処理の結果を出力部３１７に出力する。

入出力インタフェース３１５に接続されている記憶部３１８は、例えばハードディスクからなり、CPU３１１が実行するプログラムや各種のデータを記憶する。通信部３１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部３１９を介してプログラムを取得し、記憶部３１８に記憶してもよい。

入出力インタフェース３１５に接続されているドライブ３２０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア３２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３１８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory)，DVD（Digital Versatile Disc）を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３２１、または、プログラムが一時的もしくは永続的に格納されるROM３１２や、記憶部３１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したマルチスピーカシステムの実施の形態の構成例を示すブロック図である。 図１のマルチスピーカシステムの電気的な構成例を示すブロック図である。 図２のスピーカエンジン部の構成例を示すブロック図である。 図１のマルチディスプレイ装置におけるアクティブ画面の例を示す図である。 図４の場合の各スピーカに割り当てられるパラメータの例を示す図である。 図１のマルチディスプレイ装置におけるアクティブ画面の他の例を示す図である。 図１のマルチディスプレイ装置におけるアクティブ画面のさらに他の例を示す図である。 図１のマルチディスプレイ装置におけるアクティブ画面の他の例を示す図である。 ９個の画面を有するマルチディスプレイ装置における音像定位位置の例を示す図である。 １個の拡大画面と５個の画面を有するマルチディスプレイ装置における音像定位位置の例を示すである。 １個の拡大画面と６個の画面を有するマルチディスプレイ装置における音像定位位置の例を示すである。 拡大画面がアクティブ画面に設定された場合の音表現を説明する図である。 拡大画面がアクティブ画面に設定された場合の音表現の他の例を説明する図である。 拡大画面がアクティブ画面に設定された場合の音表現のさらに他の例を説明する図である。 図２のスピーカエンジン部の音声出力制御処理を説明するフローチャートである。 図１５のステップＳ１６の音声信号処理を説明するフローチャートである。 図１６の処理を実行する図３の音声信号処理部の構成例を示すブロック図である。 図１５のステップＳ１６の音声信号処理の他の例を説明するフローチャートである。 図１８の処理を実行する図３の音声信号処理部の構成例を示すブロック図である。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ マルチディスプレイ装置， ２ マルチスピーカ， １１−１乃至１１−９ ディスプレイ， １２Ｌ−１乃至１２Ｌ−９，１２Ｒ−１乃至１２Ｒ−９ スピーカ， ３２ メイン制御部， ３３−１乃至３３−９ スピーカエンジン部， ３４−１乃至３４−９ 映像エンジン部， ５１−１，５１−２ 音声入力部， ５３ 音声信号処理部， ５３ａ 監視処理部， ５４ 制御部， １０１ 周波数解析部， １０２ パラメータ格納部， １０３ 遅延操作部， １０４ 音量操作部， １５１ パラメータ格納部

Claims (14)

1. 複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力をそれぞれ制御する複数の出力制御装置で構成される出力制御システムにおいて、
   前記複数の出力制御装置それぞれは、
   他の出力制御装置の状態または処理結果などの情報を相互に送受信する通信手段と、
   前記通信手段により受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行う信号処理手段と、
   前記対象のスピーカに出力される音声信号が入力される第１の信号入力手段と、
   前記対象のスピーカに出力される音声信号以外の音声信号が入力される第２の信号入力手段と、
   前記第２の信号入力手段から入力される前記音声信号の特徴を検出する検出手段と
   を備え、
   前記信号処理手段は、前記検出手段により検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理を行い、前記対象のスピーカに出力する
   出力制御システム。
2. 前記多画面表示装置を構成する前記複数の表示装置への表示をそれぞれ制御する複数の表示制御装置をさらに有し、
   前記通信手段は、さらに、前記複数の表示制御装置から、前記複数の表示装置の状態または処理結果などの情報を受信し、
   前記信号処理手段は、前記通信手段により受信された前記複数の表示装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行う
   請求項１に記載の出力制御システム。
3. 前記通信手段は、さらに、前記検出手段により検出された前記音声信号の特徴の検出結果を、前記複数の表示制御装置に送信する
   請求項２に記載の出力制御システム。
4. 前記信号処理手段は、前記多画面表示装置に表示される画像に対応する音声の音像を、前記多画面表示装置の表示面上の任意の位置へ定位させるように、前記対象のスピーカに出力される音声信号の処理を行う
   請求項１に記載の出力制御システム。
5. 前記信号処理手段は、前記多画面表示装置を構成する前記複数の表示装置のうちの１の表示装置に表示される画像に対応する音声の音像を、前記表示面上における前記多画面表示装置の中央位置、または、前記中央位置を中心とした円周上に定位させるように、前記対象のスピーカに出力される音声信号の処理を行う
   請求項４に記載の出力制御システム。
6. 前記信号処理手段は、前記多画面表示装置を構成する前記複数の表示装置のうちの２以上の表示装置に表示される画像に対応する音声の音像を、前記２以上の表示装置に表示される画像のサイズに応じた定位位置に定位させるように、前記対象のスピーカに出力される音声信号の処理を行う
   請求項４に記載の出力制御システム。
7. 前記スピーカそれぞれには、前記多画面表示装置に表示される画像に対応する音声の音像に対して異なる効果を与える役割が設定され、
   前記信号処理手段は、前記対象のスピーカに設定された役割に応じて、前記対象のスピーカに出力される音声信号の処理を行う
   請求項４に記載の出力制御システム。
8. 前記対象のスピーカには、音像を引き締める効果を与える役割が設定される
   請求項７に記載の出力制御システム。
9. 前記対象のスピーカには、音像を拡げる効果を与える役割が設定される
   請求項７に記載の出力制御システム。
10. 前記対象のスピーカには、残響効果を与える役割が設定される
    請求項７に記載の出力制御システム。
11. 複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力をそれぞれ制御する複数の出力制御装置で構成される出力制御システムの出力制御方法において、
    前記複数の出力制御装置それぞれの出力制御方法は、
    通信手段が、他の出力制御装置の状態または処理結果などの情報を相互に送受信し、
    信号処理手段が、受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行い、
    第１の信号入力手段が、前記対象のスピーカに出力される音声信号を入力し、
    第２の信号入力手段が、前記対象のスピーカに出力される音声信号以外の音声信号を入力し、
    検出手段が、前記第２の信号入力手段から入力される前記音声信号の特徴を検出する
    ステップを含み、
    前記信号処理手段が、前記検出手段により検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理を行い、前記対象のスピーカに出力する
    出力制御方法。
12. 複数の出力制御装置で構成される出力制御システムを構成し、複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力を制御する出力制御装置において、
    他の出力制御装置の状態または処理結果などの情報を相互に送受信する通信手段と、
    前記通信手段により受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行う信号処理手段と、
    前記対象のスピーカに出力される音声信号が入力される第１の信号入力手段と、
    前記対象のスピーカに出力される音声信号以外の音声信号が入力される第２の信号入力手段と、
    前記第２の信号入力手段から入力される前記音声信号の特徴を検出する検出手段と
    を備え、
    前記信号処理手段は、前記検出手段により検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理を行い、前記対象のスピーカに出力する
    出力制御装置。
13. 複数の出力制御装置で構成される出力制御システムを構成し、複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力を制御する出力制御装置の出力制御方法において、
    通信手段が、他の出力制御装置の状態または処理結果などの情報を相互に送受信し、
    信号処理手段が、受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行い、
    第１の信号入力手段が、前記対象のスピーカに出力される音声信号を入力し、
    第２の信号入力手段が、前記対象のスピーカに出力される音声信号以外の音声信号を入力し、
    検出手段が、前記第２の信号入力手段から入力される前記音声信号の特徴を検出する
    ステップを含み、
    前記信号処理手段が、前記検出手段により検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理を行い、前記対象のスピーカに出力する
    出力制御方法。
14. 複数の出力制御装置で構成される出力制御システムを構成する出力制御装置に、複数の表示装置がアレイ状に配置されてなる多画面表示装置に表示される画像に対応する音声を、スピーカが少なくとも上下２つ以上、かつ左右２つ以上に２次元配置される２次元配置スピーカのうち、対象のスピーカへの出力を制御する処理を行わせるプログラムであって、
    他の出力制御装置の状態または処理結果などの情報を相互に送受信し、
    受信された前記他の出力制御装置の情報に基づいて、前記対象のスピーカに出力される音声信号の処理を行い、
    前記対象のスピーカに出力される音声信号が第１の信号入力手段に入力され、
    前記対象のスピーカに出力される音声信号以外の音声信号が第２の信号入力手段に入力され、
    前記第２の信号入力手段から入力される前記音声信号の特徴を検出する
    ステップを含み、
    検出された前記音声信号の特徴の検出結果に応じて、前記第２の信号入力手段から入力される前記音声信号の処理を行い、前記対象のスピーカに出力する
    プログラム。

Images