Nothing Special   »   [go: up one dir, main page]

JP2009128559A - 残響効果付加装置 - Google Patents

残響効果付加装置 Download PDF

Info

Publication number
JP2009128559A
JP2009128559A JP2007302539A JP2007302539A JP2009128559A JP 2009128559 A JP2009128559 A JP 2009128559A JP 2007302539 A JP2007302539 A JP 2007302539A JP 2007302539 A JP2007302539 A JP 2007302539A JP 2009128559 A JP2009128559 A JP 2009128559A
Authority
JP
Japan
Prior art keywords
circuit
output
waveform data
impulse response
sampling period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007302539A
Other languages
English (en)
Inventor
Tetsukazu Nakae
哲一 仲江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007302539A priority Critical patent/JP2009128559A/ja
Priority to US12/255,777 priority patent/US7612281B2/en
Priority to EP08291058A priority patent/EP2063413B1/en
Priority to DE602008000670T priority patent/DE602008000670D1/de
Publication of JP2009128559A publication Critical patent/JP2009128559A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/281—Reverberation or echo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • G10H2250/111—Impulse response, i.e. filters defined or specified by their temporal impulse response features, e.g. for echo or reverberation applications
    • G10H2250/115—FIR impulse, e.g. for echoes or room acoustics, the shape of the impulse response is specified in particular according to delay times
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/621—Waveform interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract


【課題】 回路の無駄なく、高品質かつ長時間の残響音を生成する。
【解決手段】 ＦＩＲフィルタ８０−１〜８０−４および加算（累算）回路８１を有する第１の畳み込み演算回路と、第１の畳み込み演算回路において所定の段数だけ遅延された楽音波形データを受け入れ、第１のサンプリング周波数よりも小さい第２のサンプリング周波数による、平均化された第２の楽音波形データを出力する移動平均回路８２と、第２のサンプリング周波数による第２の楽音波形データを受け入れるＦＩＲフィルタ８０−５〜８０−２８および加算（累算）回路８３を有する第２の畳み込み演算回路と、第２の畳み込み演算回路の加算回路８３からの出力値を受け入れ、出力値を補間した補間値を算出し、第１のサンプリング周波数で、出力値および補間値を順次出力する補間回路８４とを備え、加算回路８１の出力と補間回路８４の出力とがさらに加算され、残響音データとして出力される。
【選択図】 図８

Description

本発明は、楽音に残響音を付加する残響効果付加装置に関する。
楽音に残響音を付加する残響効果付加装置は、ディジタルの楽音波形データを受け入れて、楽音波形データにディジタルフィルタによるフィルタ処理を施すのが一般的である。フィルタ処理においては、ＦＩＲ（有限インパルス応答：Finite Impulse Response）フィルタ或いはＩＩＲ（無限インパルス応答：Infinite Impulse
Response）フィルタが利用される。
ＦＩＲフィルタを利用する場合には、入力された楽音信号のデータＸ［ｎ−ｋ］（ｋ＝０，１，２，・・・，ｎ−１）と、音楽ホールの残響特性などから得たインパルス応答ａ［ｋ］を畳み込み演算することで、共鳴音のデータＹ［ｎ］＝ΣＸ［ｎ−ｋ］×ａ［ｋ］を得ることができる。
たとえば、特許文献１には、高音質を得るために、インパルス応答の直接音部の畳み込みを実行する信号処理系と、インパルス応答の反射音部の畳み込みを実行する信号処理系とを別個に並列して設け、反射音部の畳み込みを実行する信号処理系では、直接音部の畳み込みを実行する信号処理系よりも低いサンプリング信号にダウンサンプリングした信号を用いる技術が提案されている。
特開２００７−２０２０２０号公報
特許文献１のように、二つの信号処理系を並列させる構成では、２つのＦＩＲフィルタを含む畳み込み演算回路が必要であるだけでなく、２系列のインパルス応答データが必要である。したがって、多くの回路要素やデータを必要とする。また、２つの信号処理系を並列に設けているため、インパルス応答係数が「０」となって何れか一方の信号処理系が実質的に演算を行わないような状況も起こりえるため、回路および演算に無駄が生じる場合がある。
本発明は、回路の無駄がなく、かつ、高品質かつ長時間の残響音を生成することができる残響効果付加装置を提供することを目的とする。
本発明の目的は、複数個のインパルス応答係数を記憶したインパルス応答係数メモリと、
時系列順に供給される楽音波形データを第１のサンプリング周期で複数段遅延させ、当該遅延された楽音波形データ夫々と前記インパルス応答係数メモリから読み出されたインパルス応答係数夫々とを乗算するとともに、各乗算結果を加算して出力する第１の畳み込み演算手段と、
この第１の畳み込み演算手段により所定段まで遅延された楽音波形データの出力周期を、前記第１のサンプリング周期より長い第２のサンプリング周期に変換する変換手段と、
この変換手段から順次供給される楽音波形データを、前記第２のサンプリング周期で複数段遅延させ、当該遅延された楽音波形データ夫々と前記インパルス応答係数メモリから読み出されたインパルス応答係数夫々とを乗算するとともに、各乗算結果を加算して出力する第２の畳み込み演算手段と、
この第２の畳み込み演算手段から順次供給される加算出力の出力周期を、前記第２のサンプリング周期から前記第１のサンプリング周期に変換する逆変換手段と、
この逆変換回路により前記第１のサンプリング周期で出力される前記加算出力と前記第１の畳み込み演算回路からの加算出力とを加算して出力する加算手段と、
を有することを特徴とする残響効果付加装置により達成される。
好ましい実施態様においては、前記変換手段は、前記第１の畳み込み演算手段から前記第１のサンプリング周期で順次供給される加算出力を移動平均演算を行い、この演算結果を前記第２のサンプリング周期で出力する移動平均演算手段からなる。
また、好ましい実施態様においては、前記逆変換手段が、前記第２のサンプリング周期で前記第２の畳み込み演算手段から順次供給される加算出力を補間し、当該加算出力或いは補間出力を前記第１のサンプリング周期で出力する補間手段からなる。
また、本発明の目的は、複数個のインパルス応答係数を記憶したインパルス応答係数メモリと、
時系列順に供給される楽音波形データを第１のサンプリング周期で複数段遅延させ、当該遅延された楽音波形データ夫々と前記インパルス応答係数メモリから読み出されたインパルス応答係数夫々とを乗算するとともに、各乗算結果を加算して出力する第１の畳み込み演算手段と、
この（ｓ−１）（ｓ＝２、・・・、Ｓ）の畳み込み演算手段により所定段まで遅延された楽音波形データの出力周期を、前記第（ｓ−１）のサンプリング周期より長い第ｓのサンプリング周期に変換する変換手段と、
この変換手段から順次供給される楽音波形データを、前記第ｓのサンプリング周期で複数段遅延させ、当該遅延された楽音波形データ夫々と前記インパルス応答係数メモリから読み出されたインパルス応答係数夫々とを乗算するとともに、各乗算結果を加算して出力する第ｓの畳み込み演算手段と、
この第ｓの畳み込み演算手段から順次供給される加算出力の出力周期を、前記第ｓのサンプリング周期から前記第（ｓ−１）のサンプリング周期に変換する逆変換手段と、
この逆変換回路により前記第（ｓ−１）のサンプリング周期で出力される前記加算出力と前記第（ｓ−１）の畳み込み演算回路からの加算出力とを加算して出力する加算手段と、
を有することを特徴とする残響効果付加装置により達成される。
好ましい実施態様においては、前記変換手段は、前記第（ｓ−１）の畳み込み演算手段から前記第（ｓ−１）のサンプリング周期で順次供給される加算出力を移動平均演算を行い、この演算結果を前記第ｓのサンプリング周期で出力する移動平均演算手段からなる。
また、好ましい実施態様においては、前記逆変換手段が、前記第ｓのサンプリング周期で前記第ｓの畳み込み演算手段から順次供給される加算出力を補間し、加算出力或いは当該補間出力を前記第（ｓ−１）のサンプリング周期で出力する補間手段からなる。
本発明によれば、回路の無駄がなく、かつ、高品質かつ長時間の残響音を生成することができる残響効果付加装置を提供することが可能となる。
以下、添付図面を参照して、本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態にかかる電子楽器の構成を示すブロックダイヤグラムである。本実施の形態においては、電子楽器に残響音付加回路を設けている。
図１に示すように、本実施の形態にかかる電子楽器１０は、鍵盤１２、ＣＰＵ１４、ＲＯＭ１６、ＲＡＭ１８、楽音生成部２０、および、操作子群２２を有する。鍵盤１２、ＣＰＵ１４、ＲＯＭ１６、ＲＡＭ１８、楽音生成部２０および操作子群２２は、バス３０を介して接続される。楽音生成部２０は、発音回路２４、残響音付加回路２６および音響システム２８を有する。
鍵盤１２は、演奏者の押鍵操作に応じて、押鍵された鍵を特定する情報および押鍵された鍵のベロシティを示す情報をＣＰＵ１４に伝達することができる。
ＣＰＵ１４は、システム制御、押鍵された鍵に応じた音高の楽音を生成するための楽音生成部２０に与える種々の制御信号の生成、残響音付加回路２６に与える制御信号の生成などを実行する。ＲＯＭ１６は、プログラムや、プログラムの実行の際に使用される定数、楽音生成部２０により生成される楽音波形データのもととなる波形データ、残響音付加回路２６にて用いられる、インパルス応答係数を含むインパルス応答データなどを記憶する。ＲＡＭ１８は、プログラムの実行の過程で必要な変数、演算により得られた値、パラメータ、入力データ、出力データなどを一時的に記憶する。
図２は、本実施の形態にかかる発音回路、残響音付加回路およびこれらに関連する構成部材の例を示すブロックダイヤグラムである。
図１および図２に示すように、発音回路２４は、ＣＰＵ１４から与えられた、発音すべき楽音の音色を示す音色情報、発音すべき音高を示す音高情報およびベロシティ情報に基づいて、所定の音色で、かつ、所定音高の楽音波形データＸ［ｎ］を出力する。上記音色情報、音高情報およびベロシティ情報が制御信号１を構成する。
制御信号１に含まれる音高情報およびベロシティ情報は、鍵盤１２からの信号に基づいて、ＣＰＵ１４により生成される。また、制御信号１に含まれる音色情報は、演奏者による操作子群２２に含まれる操作子を操作した情報に基づいて、ＣＰＵ１４により生成される。
残響音付加回路２６は、複数の畳み込み演算回路を有する残響音生成回路３０および加算回路３２を備え、制御信号２にしたがって、楽音波形データに基づく残響音データを生成し、楽音波形データと残響音データとを合成した合成データを生成して出力する。図２に示すように、残響音生成回路３０には制御信号２が与えられる。制御信号２は、ＣＰＵ１２により生成される。
音響システム２８は、Ｄ／Ａ変換器、増幅回路およびスピーカを有し、合成データをアナログ信号に変換して、アナログ信号を増幅し、スピーカから放音する。
図３は、本実施の形態にかかる発音回路および波形メモリの構成例を示すブロックダイヤグラムである。図３に示すように、本実施の形態にかかる発音回路２４は、波形再生回路３６、エンベロープ生成回路３７および乗算回路３８を有する。
波形メモリ３５には、ピアノ音色データ、フォークギター音色データなど、種々の音色の波形データが記憶されている。波形メモリ３５は、たとえばＲＯＭ１６により実現される。波形再生回路３６は、波形メモリ３５に記憶された種々の音色のデータから、制御信号１に含まれる音色情報にしたがって所定の種別（たとえば、ピアノ音色）の波形データを、制御信号１に含まれる音高情報にしたがって読み出す。また、エンベロープ生成回路３７は、制御信号１に含まれるベロシティ情報にしたがったエンベロープデータを出力する。波形データとエンベロープデータとは、乗算回路３８において乗算され、楽音波形データＸ［ｎ］が出力される。
また、本実施の形態においては、インパルス応答メモリ（図示せず）に、楽音波形データのそれぞれの値と乗算されるインパルス応答データ係数を含むインパルス応答データが格納される。インパルス応答メモリには、音色ごとのインパルス応答データが格納される。図３に示す波形メモリを使用する場合には、ピアノ音色インパルス応答データ、フォークギター音色インパルス応答データ、ガットギター音色インパルス応答データ、チェロ音色インパルス応答データ、ヴァイオリン音色インパルスデータが、インパルス応答メモリに格納される。たとえば、インパルス応答メモリはＲＯＭ１６により実現される。また、制御信号２には、インパルス応答データを選択する情報が含まれる。
一般的な畳み込み演算回路においては、以下の式にしたがった畳み込み演算が実行される。
Ｙ［ｎ］＝ΣＸ［ｎ−ｋ］×ａ［ｋ］ （ｋ＝０，１，２，・・・，ｍ）
Ｙ［ｎ］は出力された残響音データ、Ｘ［ｎ−ｋ］は楽音波形データ、ａ［ｋ］はインパルス応答係数である。
図４は、一般的な畳み込み演算回路の概略を示すブロックダイヤグラムである。図４に示すものはいわゆるＦＩＲフィルタである。畳み込み演算回路は、入力されたデータ（たとえば、楽音波形データＸ［ｎ］）を受け入れて、これを１クロック分だけ遅延して出力する複数の遅延回路４０−１〜４０−ｍ、楽音波形データ、或いは、遅延回路の出力データを受け入れて、受け入れたデータと、インパルス応答係数ａ［ｋ］とを乗算する乗算回路４１−０〜４１−ｍ、および、乗算回路４１−０〜４１−ｍの出力を加算する加算回路４２とを有している。
ＦＩＲフィルタのタップ数は、たとえば１０２４など大きいものであるため、多量の遅延回路および乗算回路が必要となる。そこで、実際には、パイプラインを利用して、データ読み出し、乗算回路における乗算および加算回路における加算を並列的に実行することで、少数の乗算回路および加算回路によるＦＩＲフィルタを実現している。
たとえば、ＦＩＲフィルタは、遅延された楽音波形データを記憶するとともに、クロックにしたがって楽音波形データをシフトするシフトレジスタと、シフトレジスタにより保持された所定の段の楽音波形データと、当該楽音波形データと乗算すべきインパルス応答係数とを乗算する乗算回路と、乗算回路からの出力と、自身の出力とを累算する加算回路と、を有し、楽音波形データの取得およびインパルス応答係数の読み出し、乗算回路における乗算、並びに、加算回路における累算がパイプライン処理により並列的に実行される。
図５は、パイプラインを説明する図である。図５に示すように、ＦＩＲフィルタは、最初のクロックタイミング（クロック＝１）で、楽音波形データＸ［ｎ］およびインパルス応答係数ａ［０］を取得し（符号５０１参照）、次のクロックタイミング（クロック＝２）で、楽音波形データＸ［ｎ］とインパルス応答係数ａ［０］とを乗算して乗算値Ｚ［０］を得る（符号５１１参照）。クロック＝２のクロックタイミングでは、上記乗算と並列して、ＦＩＲフィルタは、図５に示すように、ＦＩＲフィルタは、最初のクロックタイミング（クロック＝１）で、楽音波形データＸ［ｎ−１］およびインパルス応答係数ａ［１］を取得する。
さらに次のクロックタイミング（クロック＝３）で、乗算値Ｚ［０］と元の累算値（初期的には累算値＝０）とが加算されて累算値Ｙ［０］が得られる（符号５２１参照）。クロック＝３のクロックタイミングにおいても、ＦＩＲフィルタにおいては、並列的に、楽音波形データＸ［ｎ−２］およびインパルス応答係数ａ［２］が取得されるとともに（符号５０３参照）、楽音波形データＸ［ｎ−１］とインパルス応答係数ａ［１］とが乗算されて乗算値Ｚ［１］が算出される（符号５１２参照）。
パイプライン処理によって、小数の乗算回路および加算回路によって高速な積和演算が実現される。しかしながら、楽音波形データのサンプリング周波数を４４．１ｋＨｚと考えると、２２．７μｓで積和演算全てを終了させる必要がある。ＦＩＲフィルタの動作クロックを５０ＭＨｚと高速動作を仮定しても、１クロックあたりの時間は２０ｎｓである。したがって、「２２．７μｓ／２０ｎｓ＝１１３５」であり、ＦＩＲフィルタのタップ数は１１００程度となる。実際に、１１００タップ程度のＦＩＲフィルタでは、残響音の生成には不十分である。
そこで、たとえば、１０２４タップの積和演算が可能なＦＩＲフィルタを複数設け、上流側のＦＩＲフィルタにより遅延され、出力された楽音波形データを、下流側のＦＩＲフィルタに入力するような構成として、各ＦＩＲフィルタから出力された積和演算値を加算することにより、サンプリング周波数を小さくすることなく、より多くのタップ数のＦＩＲフィルタを実現することができる。
図６は、１０２４タップのＦＩＲフィルタを２８個利用した残響音生成回路の例を示す図である。図６に示すように、この残響音生成回路は、２８個のＦＩＲフィルタ６０−１〜６０−２８と、ＦＩＲフィルタ６０−１〜６０−２８の出力を加算する加算（累算）回路６１を有する。
ＦＩＲフィルタにおいては、シフトレジスタにより、楽音波形データがクロックごとにシフトされ、最終的にＦＩＲフィルタから出力される。たとえば、最上流にあるＦＩＲフィルタ６０−１から出力される楽音波形データは、下流側に隣接する次のＦＩＲフィルタ６０−２の入力となる。
加算（累算）回路６１は、一方の入力を自身の出力（累算値）として、また、他方の入力をＦＩＲフィルタ６０−１〜６０−２８の何れか１つから出力された積和演算値として、累算値と、ＦＩＲフィルタ６０−１〜６０−２８の何れかからの積和演算値とを累算していく。全てのＦＩＲフィルタの積和演算値を累算することで、残響音データＹ［ｎ］を得ることができる。
それぞれが１０２４タップのＦＩＲフィルタを２８個用いることで、２８６７２タップのＦＩＲフィルタが実現される。また、加算（累算）回路６１においては、２８回の累算処理を要するが、１０２４タップのＦＩＲフィルタの処理および累算処理により、１０２４＋２８＝１０７６クロック程度しか要することはなく、上述した１１３５クロックの範囲内におさまる。
次に、本発明の実施の形態にかかる残響音生成回路について説明する。図７は、本実施の形態にかかる残響音生成回路の概略を示すブロックダイヤグラムである。図４に示すように、本実施の形態にかかる残響音生成回路は、入力されたデータ（たとえば、楽音波形データＸ［ｎ］）を受け入れて、これを１クロック分だけ遅延させて出力する複数の遅延回路７０−１〜７０−（ｍ−１）、楽音波形データ、或いは、遅延回路から出力された楽音波形データを受け入れて、受け入れた楽音波形データと、インパルス応答係数ａ［ｋ］（ｋ＝０、１、・・・（ｍ−１））とを乗算する乗算回路７１−０〜７１−（ｍ−１）を有している。
さらに、本実施の形態にかかる残響音生成回路は、第１のサンプリング周波数ｆｓ１による楽音波形データを受け入れて、複数の楽音波形データの平均値をとり、第２のサンプリング周波数ｆｓ２（ｆｓ２＜ｆｓ１）の平均化された第２の楽音波形データを生成する移動平均回路７３を有する。本実施の形態において、移動平均回路は、楽音波形データの出力周期を、第１のサンプリング周期より長い第２のサンプリング周期に変換する変換手段に相当する。なお、サンプリング周期＝１／サンプリング周波数であり、本実施の形態においては、サンプリング周波数を用いて説明を進める。
また、残響音生成回路は、第２の楽音波形データを受け入れて、これを、１クロック分だけ遅延させて出力する遅延回路７２−１〜７２−（Ｍ−１）と、遅延回路７２−１〜７２−（Ｍ−１）の出力データを受け入れて、受け入れたデータと、インパルス応答データａ［ｋ］（ｋ＝ｍ、・・・、（ｍ＋Ｍ））とを乗算する乗算回路７１−ｍ〜７１−（ｍ＋Ｍ）と、乗算回路７１−ｍ〜７１−（ｍ＋Ｍ）の出力を加算する加算回路７４と、加算回路７４の出力データ（第２のサンプリング周波数ｆｓ２）を補間して、第１のサンプリング周波数ｆｓ１のデータを出力する補間回路７５と、乗算回路７１−０〜７１−（ｍ−１）の出力と、補間回路７５の出力とを加算する加算回路７６とを有している。本実施の形態において、補間回路は、加算回路からの加算出力の出力周期を、第２のサンプリング周期から第１のサンプリング周期に変換する逆変換手段に相当する。
遅延回路７０−１〜７０−（ｍ−１）、乗算回路７１−０〜７１−（ｍ−１）および加算回路７６は第１の畳み込み演算回路７７を構成し、遅延回路７２−１〜７２−（Ｍ−１）、乗算回路７１−ｍ〜７１−（ｍ＋Ｍ）および加算回路７６は第２の畳み込み演算回路７８を構成する。
図１２は、残響音を説明するグラフである。図１２に示すように、直接音（符号１２００参照）に対する残響音は、２つの部分から成り立っていると言われている。そのひとつが初期反射音（符号１２０１参照）で、音源から発せられた音波が、壁、床、天井などを１度反射したものである。基本的には、直接音が聴こえた後に数ｍｓ〜１００ｍｓ後に聴こえる。もうひとつが後部残響音（符号１２０２参照）で、音源から発せられた音波が複数回反射したものであり、直接音が聴こえてから１５０ｍｓ程度経過後に聴こえる。なお、後部残響音が直接音に対して−６０ｄＢ減衰するまでの時間を残響時間と呼ぶ。
後期残響音は、壁、床、天井および聴衆などによって、反射を繰り返した音であり、特に、高周波成分が壁、床などにより吸収され失われていると考えられている。したがって、ＦＩＲフィルタで残響を実現する場合には、後部残響音のサンプリング周波数は初期反射音より小さくて良い。
本実施の形態においては、初期反射音については、第１のサンプリング周波数ｆｓ１の楽音波形データおよびインパルス応答係数によって畳み込み演算を行い、後部残響音については、第２のサンプリング周波数ｆｓ２の楽音波形データおよびインパルス応答係数によって畳み込み演算を行っている。
図１２に示すように、インパルス応答係数ａ［０］〜ａ［ｍ−１］は、初期反射音を再現するためのものであり（符号１２１１参照）、その一方、インパルス応答係数ａ［ｍ］〜ａ［ｍ＋Ｍ］は、後部反射音を再現するためのものである（符号１２１２参照）。このように、本実施の形態においては、インパルス応答係数を含むインパルス応答データは、通常のＦＩＲフィルタと同様に、１系列だけ、ＲＯＭ１６などのメモリ中に保持されていれば良い。
図７の例では、乗算回路７０−０〜７０−（ｍ−１）の信号の和Ｙ１が、以下のように得られ、これが初期反射音に相当する。
Ｙ１［ｎ］＝ΣＸ［ｎ−ｋ］×ａ［ｋ］（ｋ＝０，２，・・・，ｍ−１）
また、乗算回路７１−ｍ〜７１−（ｍ＋Ｍ）の信号の和Ｙ２は、以下のように得られる。これが後部残響音に相当する
Ｙ２［Ｎ］＝ΣＸ’［Ｎ−ｋ］×ａ［ｍ＋ｋ］（ｋ＝０，２，・・・，Ｍ）
なお、Ｘ’［Ｎ−ｋ］は、移動平均回路７３の出力であり、たとえば、隣接する２つの楽音波形データの平均とした場合には、以下の通りとなる。
Ｘ’［ｉ］＝（Ｘ［ｊ］＋Ｘ［ｊ＋１］）／２ （ｊ＝偶数）
以下、より具体的な残響音生成回路の例について説明する。図６を参照して説明したように、複数のＦＩＲフィルタを設け、ＦＩＲフィルタにおいて遅延された楽音波形データを下流側に隣接するＦＩＲフィルタに与え、かつ、ＦＩＲフィルタから出力される積和演算値を加算することで、より多くのタップ数のＦＩＲフィルタを実現できる。したがって、本実施の形態においても、複数のＦＩＲフィルタを利用した残響音生成回路を実現することができる。
図８は、本実施の形態にかかる、複数のＦＩＲフィルタを利用した残響音生成回路の例を示す図である。この例でも、１０２４タップのＦＩＲフィルタを２８個利用して残響音生成回路を実現している。
図８に示すように、残響音生成回路は、２８個のＦＩＲフィルタ１〜２８（符号８０−１〜８０−２８）と、上流側の４つのＦＩＲフィルタ８０−１〜８０−４の出力を加算する加算（累算）回路８６と、移動平均回路８２と、下流側の２４個のＦＩＲフィルタ８０−５〜８０−２８の出力を加算する加算（累算）回路８３と、補間回路８４と、加算回路８１の出力および補間回路８４の出力を加算する加算回路８５と、を有している。
図８に示す例においては、ＦＩＲフィルタ８０−１〜８０−４および加算（累算）回路８６が第１の畳み込み演算回路を構成し、ＦＩＲフィルタ８０−５〜８０−２８および加算（累算）回路８３が第２の畳み込み演算回路を構成する。
第１の畳み込み演算回路に含まれるＦＩＲフィルタ８０−１〜８０−３においては、第１のサンプリング周波数ｆｓ１による楽音波形データがクロックごとにシフトされ、ＦＩＲフィルタ８０−１〜８０−３から出力される楽音波形データは、下流側に隣接する次のＦＩＲフィルタ８０−２〜８０−４にそれぞれ入力される。また、ＦＩＲフィルタ８０−４から出力される楽音波形データは、移動平均回路８２に入力される。
それぞれのＦＩＲフィルタは、楽音波形データを記憶するシフトレジスタと、シフトレジスタにより保持された楽音波形データと、楽音波形データと乗算すべきインパルス応答係数とを乗算する乗算回路と、乗算回路からの出力と、自身の出力とを累算する加算回路と、を有し、楽音波形データの取得およびインパルス応答係数の読み出し、乗算回路における乗算、並びに、加算回路における累算が、パイプライン処理により並列的に実行される。
移動平均回路８２において平均化された楽音波形データは、ＦＩＲフィルタ８０−５に入力される。第２の畳み込み演算回路に含まれるＦＩＲフィルタ８０−５〜８０−２７においては、第２のサンプリング周波数ｆｓ２による平均化された楽音波形データがクロックごとにシフトされ、ＦＩＲフィルタ８０−５〜８０−２７から出力される楽音波形データは、下流側に隣接する次のＦＩＲフィルタ８０−６〜８０−２８にそれぞれ入力される。
図９は、本実施の形態にかかる移動平均回路の構成例を示す図である。図９に示すように、移動平均回路８２は、入力した楽音波形データの値を１／２にする乗算回路９０と、楽音波形データを１クロック分遅延させる遅延回路９１と、１クロック分遅延された楽音波形データの値を１／２にする乗算回路９２と、乗算回路９０および９２から出力されたデータを加算する加算回路９３と、を有する。
加算回路９３には、１／２倍された楽音波形データ（加算回路９０の出力）と、１／２倍された１クロック前の楽音波形データ（加算回路９２の出力）とが加算される。これにより、元の楽音波形データの第１のサンプリング周波数ｆｓ１の１／２となるような第２のサンプリング周波数ｆｓ２の、平均化された楽音波形データが出力される。
図１０は、本実施の形態にかかる補間回路の構成例を示す図である。図１０に示すように、補間回路８４は、入力した積和演算値を１／２にする乗算回路１０１と、積和演算値を第１のサンプリング周波数ｆｓ１の１クロック分遅延させる遅延回路１０２と、１クロック分遅延された積和演算値を１／２にする乗算回路１０３と、乗算回路１０１および乗算回路１０３から出力されたデータを加算する加算回路１０４と、入力された積和演算値を第１のサンプリング周波数ｆｓ１の１クロック分保持するデータラッチ１０５と、第１のサンプリング周波数ｆｓ１で、入力した積和演算値および加算回路１０４から出力されるデータの何れか一方を選択するセレクタ１０５を有している。
図１１は、本実施の形態にかかる補間回路の動作を示すタイミングチャートである。図１１において、補間回路の１クロックは第１のサンプリング周波数ｆｓ１に相当する。図１１に示すように、補間回路８２は第２のサンプリング周波数ｆｓ２で、つまり２クロックごとに積和演算値(ＷａｖｅＮｏｗ)を入力する（符号１１０１、１１１１参照）。
次のクロックタイミングで、加算回路１０４において、１／２倍された積和演算値ＷａｖｅＮｏｗと、先に遅延され、１／２倍された積和演算値（ＷａｖｅＯｌｄ）とが加算される（（ＷａｖｅＯｌｄ＋ＷａｖｅＮｅｗ）／２：符号１１０３）一方、遅延回路１０２において積和演算値が遅延される（ＷａｖｅＯｌｄ←ＷａｖｅＮｏｗ：符号１１０３参照）。
次のクロックタイミングで、セレクタ１０６により補間値（加算回路１０４の出力）が選択されて出力され（符号１１０４参照）。さらに、次のクロックタイミングで、セレクタ１０５により積和演算値（データラッチ１０５の出力）が選択されて出力される（符号１１０５参照）。
このような動作を繰り返すことにより、補間値（（ＷａｖｅＯｌｄ＋ＷａｖｅＮｅｗ）／２）、積和演算値（ＷａｖｅＮｅｗ）の順で、第１のサンプリング周波数ｆｓ１にしたがって繰り返し出力される。
図８において、ＦＩＲフィルタ８０−１〜８０−４から出力される積和演算値は、加算（累算）回路８１において加算される。実際には、加算（累算）回路８１は、一方の入力を自身の出力（累算値）として、他方の入力を第１の畳み込み演算回路のＦＩＲフィルタ８０−１〜８０−４の何れか１つから出力される積和演算値として、累算値と、ＦＩＲフィルタ８０−１〜８０−４からの積和演算値とを累算していく。これにより、第１の積和演算回路の全てのＦＩＲフィルタ８０−１〜８０−４の積和演算値が累算される。
また、移動平均回路８２により平均化された楽音波形データは、第１のサンプリング周波数ｆｓ１の半分の第２のサンプリング周波数ｆｓ２よるものである。したがって、第２の畳み込み演算回路のＦＩＲフィルタ８０−５〜８０−２８は、タップ数は同じであっても、第１の畳み込み演算回路のＦＩＲフィルタ８０−１〜８０−４と比較して、時間軸方向で２倍のインパルス応答係数との乗算を実現することができる。
第２の畳み込み演算回路のＦＩＲフィルタ８０−５〜８０−２８から出力される積和演算値は、加算（累算）回路８３において加算される。加算（累算）回路８１と同様に、加算（累算）回路８３は、一方の入力を自身の出力（累算値）として、他方の入力をＦＩＲフィルタ８０−５〜８０−２８の何れか１つから出力される積和演算値として、累算値と、ＦＩＲフィルタ８０−５〜８０−２８の何れかから出力される積和演算値とを累算していく。これにより、第２の畳み込み演算回路の全てのＦＩＲフィルタ８０−５〜８０−２８の積和演算値が累算される。
加算（累算）回路８３からの、第２のサンプリング周波数ｆｓ２にしたがった出力は、補間回路８４に入力される。補間回路８４は上述したように、入力したデータを補間し、第１のサンプリング周波数ｆｓ１で、補間値および積和演算値を繰り返し出力する。
加算（累算）回路８１の出力および補間回路８４の出力は加算回路８５により加算され、残響音データＹ［ｎ］として出力される。
なお、実際には、加算（累算）回路８１からの積和演算値の累算値は、補間回路８４の出力とタイミングが合うように、所定の時間だけ遅延される。
図２に示すように、残響音データＹ［ｎ］は、残響音生成回路３０から出力され、加算回路３２において、発音回路から出力された楽音波形データと加算される。加算回路３２から出力された残響音が付加された楽音波形データは、音響システム２８に出力され、音響信号としてスピーカから放音される。
本実施の形態においては、第１のサンプリング周波数による楽音波形データを遅延させる遅延回路７０−１〜７０−（ｍ−１）と、最新の楽音波形データおよび前記遅延回路により遅延された楽音波形データと所定のインパルス応答係数とを乗算する乗算回路７１−１〜７１−（ｍ−１）と、乗算回路の出力を加算する加算回路７６とを有する。
また、本実施の形態においては、第１の畳み込み演算回路における遅延回路からの、所定の段数だけ遅延された楽音波形データを受け入れ、第１のサンプリング周波数ｆｓ１よりも小さい第２のサンプリング周波数ｆｓ２による、平均化された第２の楽音波形データを出力する移動平均回路７３を有する。
本実施の形態において、第２の畳み込み演算回路７８は、前記第２のサンプリング周波数による第２の楽音波形データを遅延させる遅延回路７２−１〜７２−（Ｍ−１）と、最新の第２の楽音波形データおよび延回路により遅延された第２の楽音波形データと所定のインパルス応答係数とを乗算する乗算回路７１−ｍ〜７１−（ｍ＋Ｍ）と、乗算回路の出力を加算する加算回路７４とを有する。
さらに、本実施の形態においては、第２の畳み込み演算回路７８の加算回路７４からの出力値を受け入れ、当該出力値を補間した補間値を算出し、前記第１のサンプリング周波数で、前記出力値および補間値を順次出力する補間回路７５を有し、第１の畳み込み演算回路７７の加算回路７６が、複数の乗算回路７１−０〜７１−（ｍ−１）の出力と、補間回路７５の出力とを加算して、残響音データとして出力する。
本実施の形態は、上記構成とすることで、インパルス応答データとして、単一の系列のインパルス応答係数ａ［ｋ］（ｋ＝０、１、・・・（ｍ−１）、ｍ、・・・（ｍ＋Ｍ）を保持すれば足りる。したがって、複数系列のインパルス応答データを有することによるデータ量の増大やデータの無駄を防止することができる。
また、本実施の形態によれば、第１のサンプリング周波数ｆｓ１による楽音波形データを平均化することにより、第２のサンプリング周波数ｆｓ２による第２の楽音波形データを生成し、第２の畳み込み演算回路が第２のサンプリング周波数ｆｓ２による第２の楽音波形データを用いて畳み込み演算を行う。したがって、回路の無駄を回避しつつ、より長時間にわたった残響音を生成することが可能となる。
また、本実施の形態においては、前記第１の畳み込み演算回路が、遅延された第１のサンプリング周波数による楽音波形データを記憶するシフトレジスタと、シフトレジスタにより保持された所定の段の第１のサンプリング周波数による楽音波形データと、第１のサンプリング周波数による楽音波形データと乗算すべきインパルス応答係数とを乗算する乗算回路とを備え、乗算回路からの出力と、自身の出力とを累算する加算回路と、を有し、楽音波形データの取得およびインパルス応答係数の読み出し、乗算回路における乗算、並びに、前記加算回路における累算を、パイプライン処理により並列的に実行する。第２の畳み込み演算回路においても同様である。
したがって、少数の乗算回路および加算回路により畳み込み演算回路を実現することができる。
さらに、本実施の形態においては、第１の畳み込み演算回路は、１０２４タップのＦＩＲフィルタであって、それぞれが、第１のサンプリング周波数による楽音波形データ、或いは、上流側に隣接するＦＩＲフィルタにおいて１０２４タップだけ遅延された第１のサンプリング周波数による楽音波形データを受け入れるように構成された４個のＦＩＲフィルタを備え、
また、第２の畳み込み演算回路は、１０２４タップのＦＩＲフィルタであって、それぞれが、第２のサンプリング周波数による第２の楽音波形データ、或いは、上流側に隣接するＦＩＲフィルタ回路において１０２４タップだけ遅延された第２のサンプリング周波数による楽音波形データを受け入れるように構成された２６個のＦＩＲフィルタを備える。
これにより、初期反射音および十分な長さの後部残響音を含む残響音データを生成することが可能となる。
次に、本発明の第２の実施の形態について説明する。第１の実施の形態においては、第１の畳み込み演算回路を構成する第１群のＦＩＲフィルタ（図８においては、ＦＩＲフィルタ８０−１〜８０−４）と、第２の畳み込み演算回路を構成する第２群のＦＩＲフィルタ（図８においては、ＦＩＲフィルタ８０−５〜８０−２８）とを設け、第１群のＦＩＲフィルタの各々においては、第１のサンプリング周波数ｆｓ１の楽音波形データに基づく積和演算が実行され、第２群のＦＩＲフィルタにおいては、第１のサンプリング周波数より小さい（実際には１／２の）第２のサンプリング周波数ｆｓ２の楽音波形データに基づく積和演算が実行されている。
第２の実施の形態においては、さらに、第３の畳み込み演算回路を構成する第３群のＦＩＲフィルタを設け、第２のサンプリング周波数より小さい（たとえば、１／２）第３のサンプリング周波数ｆｓ３の楽音波形データに基づく積和演算が実行される。
図１３は、第２の実施の形態にかかる、複数のＦＩＲフィルタを利用した残響音生成回路の例を示す図である。この例でも、１０２４タップのＦＩＲフィルタを２８個利用して残響音生成回路を実現している。
図１３に示すように、残響音生成回路は、２８個のＦＩＲフィルタ１３０−１〜１３０−２８と、上流側の４つのＦＩＲフィルタ１３０−１〜１３０−４の出力を加算する加算（累算）回路１３１と、移動平均回路１３２と、中流に位置する２２個のＦＩＲフィルタ１３０−５〜１３０−２６の出力を加算する加算（累算）回路１３３と、移動平均回路１３４と、下流側に位置する２個のＦＩＲフィルタ１３０−２７〜１３０−２８の出力を加算する加算（累算）回路１３５と、補間回路１３６と、加算（累算）回路１３３の出力および補間回路１３６の出力を加算する加算回路１３７と、補間回路１３８と、加算回路１３１の出力および補間回路１３８の出力を加算する加算回路１３９と、を有している。
図１３に示す例においては、ＦＩＲフィルタ１３０−１〜１３０−４および加算（累算）回路１３１が第１の畳み込み演算回路を構成し、ＦＩＲフィルタ１３０−５〜１３０−２６および加算（累算）回路１３３が第２の畳み込み演算回路を構成し、ＦＩＲフィルタ１３０−２７〜８０−２８および加算（累算）回路１３５が第３の畳み込み演算回路を構成する。
第１の畳み込み演算回路に含まれるＦＩＲフィルタ１３０−１〜１３０−３においては、楽音波形データがクロックごとにシフトされ、ＦＩＲフィルタ１３０−１〜１３０−３から出力される楽音波形データは、下流側に隣接する次のＦＩＲフィルタ１３０−２〜１３０−４にそれぞれ入力される。また、ＦＩＲフィルタ１３０−４から出力される楽音波形データは、移動平均回路１３２に入力される
移動平均回路１３２においては、平均化された、第２のサンプリング周波数ｆｓ２による楽音波形データが生成される。第２のサンプリング周波数ｆｓ２による楽音波形データは、ＦＩＲフィルタ１３０−５に入力される。第２の畳み込み演算回路に含まれるＦＩＲフィルタ１３０−５〜１３０−２５においては、楽音波形データがクロックごとにシフトされ、ＦＩＲフィルタ１３０−５〜１３０−２５から出力される楽音波形データは、下流側に隣接する次のＦＩＲフィルタ１３０−６〜１３０−２６にそれぞれ入力される。ＦＩＲフィルタ１３０−２６から出力される楽音波形データは、移動平均回路１３４に入力される。
移動平均回路１３４においては、平均化された、第３のサンプリング周波数ｆｓ３による楽音波形データが生成される。第３のサンプリング周波数ｆｓ３による楽音波形データは、ＦＩＲフィルタ１３０−２７に入力される。第３の畳み込み演算回路に含まれるＦＩＲフィルタ１３０−２７においては、楽音波形データがクロックごとにシフトされ、ＦＩＲフィルタ１３０−２７から出力される楽音波形データは、下流側に隣接する次のＦＩＲフィルタ１３０−２８に入力される。
なお、移動平均回路および補間回路の構成は、第１の実施の形態のものと同様である。また、ＦＩＲフィルタも第１の実施の形態のものと同様である。
ＦＩＲフィルタ１３０−１〜１３０−４から出力される積和演算値は、加算（累算）回路１３１において加算される。加算（累算）回路１３１は、一方の入力を自身の出力（累算値）として、他方の入力を第１の畳み込み演算回路のＦＩＲフィルタ１３０−１〜１３０−４の何れか１つから出力される積和演算値として、累算値と、ＦＩＲフィルタ１３０−１〜１３０−４の何れかから出力される積和演算値とを累算していく。これにより、第１の積和演算回路の全てのＦＩＲフィルタ１３０−１〜１３０−４の積和演算値が累算される。
移動平均回路１３２により平均化された楽音波形データは、第１のサンプリング周波数ｆｓ１の半分の第２のサンプリング周波数ｆｓ２によるものである。したがって、第２の畳み込み演算回路のＦＩＲフィルタ１３０−５〜１３０−２６は、タップ数は同じであっても、第１の畳み込み演算回路のＦＩＲフィルタ１３０−１〜１３０−４と比較して、時間軸方向で２倍のインパルス応答係数との乗算を実現することができる。
第２の畳み込み演算回路のＦＩＲフィルタ１３０−５〜１３０−２６から出力される積和演算値は、加算（累算）回路１３３において加算される。加算（累算）回路１３３は、一方の入力を自身の出力（累算値）として、他方の入力をＦＩＲフィルタ１３０−５〜１３０−２６の何れか１つのから出力される積和演算値として、累算値と、ＦＩＲフィルタ１３０−５〜１３０−２６の何れかから出力される積和演算値とを累算していく。これにより、第２の畳み込み演算回路の全てのＦＩＲフィルタ１３０−５〜１３０−２６の積和演算値が累算される。
移動平均回路１３４により平均化された楽音波形データは、第２のサンプリング周波数ｆｓ２の半分の第３のサンプリング周波数ｆｓ３によるものである。したがって、第３の畳み込み演算回路のＦＩＲフィルタ１３０−２７〜１３０−２８は、タップ数は同じであっても、（第２の畳み込み演算回路のＦＩＲフィルタ１３０−５〜１３０−２６と比較して、時間軸方向で２倍のインパルス応答係数との乗算（第１の畳み込み演算回路のＦＩＲフィルタ１３０−１〜１３０−４と比較して、時間軸方向で４倍のインパルス応答係数との乗算）を実現することができる。
さらに、第３の畳み込み演算回路ＦＩＲフィルタ１３０−２７および１３０−２８から出力される積和演算値は、加算（累算）回路１３５において加算される。加算（累算）回路１３５は、一方の入力を自身の出力（累算値）として、他方の入力をＦＩＲフィルタ１３０−２７、１３０−２８の何れか１つから出力される積和演算値として、累算値と、ＦＩＲフィルタ１３０−２７、１３０−２８の何れかから出力される積和演算値とを累算していく。これにより、第３の畳み込み演算回路の全てのＦＩＲフィルタ１３０−２７、１３０−２８の積和演算値が累算される。
加算（累算）回路１３５からの、第３のサンプリング周波数ｆｓ３にしたがった出力は補間回路１３６に与えられる。補間回路１３６は、第２のサンプリング周波数ｆｓ２で、補間値および積和演算値を繰り返し出力する。
加算（累算）回路１３３の出力および補間回路１３６の出力は、加算回路１３７により加算される。加算回路１３７からの、第２のサンプリング周波数ｆｓ２にしたがった出力は、さらに、補間回路１３８に与えられる。
補間回路１３７は、第１のサンプリング周波数ｆｓ１で、補間値および積和演算値を繰り返し出力する。補間回路１３６および補間回路１３８の構成は、第１の実施の形態にかかる補間回路８２と同様である。
補間回路１３８の出力と、加算（累算）回路１３１の出力とは、加算回路１３９において加算され、残響音データＹ［ｎ］として出力される。
なお、第１の実施の形態と同様に、実際には、加算（累算）回路１３３からの積和演算値の累算値は、補間回路１３６の出力とタイミングが合うように、所定の時間だけ遅延される。同様に、加算（累算）回路１３１からの積和演算値の累算値は、補間回路１３８の出力とタイミングが合うように、所定の時間だけ遅延される。
残響音データＹ［ｎ］は、残響音生成回路３０から出力され、加算回路３２において、発音回路から出力された楽音波形データと加算される。加算回路３２から出力された残響音が付加された楽音波形データは、音響システム２８に出力され、音響信号としてスピーカから放音される。
第２の実施の形態によれば、第１の畳み込み演算回路は、１０２４タップのＦＩＲフィルタであって、それぞれが、第１のサンプリング周波数による楽音波形データ、或いは、上流側に隣接するＦＩＲフィルタにおいて１０２４タップだけ遅延された第１のサンプリング周波数による楽音波形データを受け入れるように構成された４個のＦＩＲフィルタを備え、
第２の畳み込み演算回路は、１０２４タップのＦＩＲフィルタであって、それぞれが、第２のサンプリング周波数による第２の楽音波形データ、或いは、上流側に隣接するＦＩＲフィルタ回路において１０２４タップだけ遅延された第２のサンプリング周波数による楽音波形データを受け入れるように構成された２４個のＦＩＲフィルタを備え、
また、第３の畳み込み演算回路は、１０２４タップのＦＩＲフィルタであって、それぞれが、第３のサンプリング周波数による第３の楽音波形データ、或いは、上流側に隣接するＦＩＲフィルタ回路において１０２４タップだけ遅延された第３のサンプリング周波数による楽音波形データを受け入れるように構成された２４個のＦＩＲフィルタを備えている。
このような構成とすることで、さらに長い残響時間に相当する残響音データを生成することが可能となる。
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
たとえば、前記実施の形態においては、１０２４タップのＦＩＲフィルタを試用しているが、ＦＩＲのフィルタのタップ数はこれに限定されるものではなく楽音波形データのサンプリング周波数（第１のサンプリング周波数ｆｓ１）およびＦＩＲフィルタの処理速度に応じて決定すれば良い。
また、第１の畳み込み演算回路、第２の畳み込み演算回路および第３の畳み込み演算回路におけるＦＩＲフィルタの数も上記実施の形態に記載された数に限定されるものではない。
さらに、第１の実施の形態においては、２つの畳み込み演算回路を設け、第２の実施の形態においては３つの畳み込み演算回路を設けたが、畳み込み演算回路の数はそれ以上であっても良い。
図１は、本発明の第１の実施の形態にかかる電子楽器の構成を示すブロックダイヤグラムである。 図２は、本実施の形態にかかる発音回路、残響音付加回路およびこれらに関連する構成部材の例を示すブロックダイヤグラムである。 図３は、本実施の形態にかかる発音回路および波形メモリの構成例を示すブロックダイヤグラムである。 図４は、一般的な畳み込み演算回路の概略を示すブロックダイヤグラムである。 図５は、パイプラインを説明する図である。 図６は、１０２４タップのＦＩＲフィルタを２８個利用した残響音生成回路の例を示す図である。 図７は、本実施の形態にかかる制御信号３を生成する部材のブロックダイヤグラムである。 図８は、本実施の形態にかかる、複数のＦＩＲフィルタを利用した残響音生成回路の例を示す図である。 図９は、本実施の形態にかかる移動平均回路の構成例を示す図である。 図１０は、本実施の形態にかかる補間回路の構成例を示す図である。 図１１は、本実施の形態にかかる補間回路の動作を示すタイミングチャートである。 図１２は、残響音を説明するグラフである。 図１３は、第２の実施の形態にかかる、複数のＦＩＲフィルタを利用した残響音生成回路の例を示す図である。
符号の説明
１０ 電子楽器
１２ 鍵盤
１４ ＣＰＵ
１６ ＲＯＭ
１８ ＲＡＭ
２０ 楽音生成部
２２ 操作子群
２４ 発音回路
２６ 残響音付加回路
２８ 音響システム
３０ 残響音生成回路
３２ 加算回路

Claims (6)

  1. 複数個のインパルス応答係数を記憶したインパルス応答係数メモリと、
    時系列順に供給される楽音波形データを第１のサンプリング周期で複数段遅延させ、当該遅延された楽音波形データ夫々と前記インパルス応答係数メモリから読み出されたインパルス応答係数夫々とを乗算するとともに、各乗算結果を加算して出力する第１の畳み込み演算手段と、
    この第１の畳み込み演算手段により所定段まで遅延された楽音波形データの出力周期を、前記第１のサンプリング周期より長い第２のサンプリング周期に変換する変換手段と、
    この変換手段から順次供給される楽音波形データを、前記第２のサンプリング周期で複数段遅延させ、当該遅延された楽音波形データ夫々と前記インパルス応答係数メモリから読み出されたインパルス応答係数夫々とを乗算するとともに、各乗算結果を加算して出力する第２の畳み込み演算手段と、
    この第２の畳み込み演算手段から順次供給される加算出力の出力周期を、前記第２のサンプリング周期から前記第１のサンプリング周期に変換する逆変換手段と、
    この逆変換回路により前記第１のサンプリング周期で出力される前記加算出力と前記第１の畳み込み演算回路からの加算出力とを加算して出力する加算手段と、
    を有することを特徴とする残響効果付加装置。
  2. 前記変換手段は、前記第１の畳み込み演算手段から前記第１のサンプリング周期で順次供給される加算出力を移動平均演算を行い、この演算結果を前記第２のサンプリング周期で出力する移動平均演算手段からなることを特徴とする請求項１に記載の残響効果付加装置。
  3. 前記逆変換手段が、前記第２のサンプリング周期で前記第２の畳み込み演算手段から順次供給される加算出力を補間し、当該加算出力或いは補間出力を前記第１のサンプリング周期で出力する補間手段からなることを特徴とする請求項１に記載の残響効果付加装置。
  4. 複数個のインパルス応答係数を記憶したインパルス応答係数メモリと、
    時系列順に供給される楽音波形データを第１のサンプリング周期で複数段遅延させ、当該遅延された楽音波形データ夫々と前記インパルス応答係数メモリから読み出されたインパルス応答係数夫々とを乗算するとともに、各乗算結果を加算して出力する第１の畳み込み演算手段と、
    この（ｓ−１）（ｓ＝２、・・・、Ｓ）の畳み込み演算手段により所定段まで遅延された楽音波形データの出力周期を、前記第（ｓ−１）のサンプリング周期より長い第ｓのサンプリング周期に変換する変換手段と、
    この変換手段から順次供給される楽音波形データを、前記第ｓのサンプリング周期で複数段遅延させ、当該遅延された楽音波形データ夫々と前記インパルス応答係数メモリから読み出されたインパルス応答係数夫々とを乗算するとともに、各乗算結果を加算して出力する第ｓの畳み込み演算手段と、
    この第ｓの畳み込み演算手段から順次供給される加算出力の出力周期を、前記第ｓのサンプリング周期から前記第（ｓ−１）のサンプリング周期に変換する逆変換手段と、
    この逆変換回路により前記第（ｓ−１）のサンプリング周期で出力される前記加算出力と前記第（ｓ−１）の畳み込み演算回路からの加算出力とを加算して出力する加算手段と、
    を有することを特徴とする残響効果付加装置。
  5. 前記変換手段は、前記第（ｓ−１）の畳み込み演算手段から前記第（ｓ−１）のサンプリング周期で順次供給される加算出力を移動平均演算を行い、この演算結果を前記第ｓのサンプリング周期で出力する移動平均演算手段からなることを特徴とする請求項４に記載の残響効果付加装置。
  6. 前記逆変換手段が、前記第ｓのサンプリング周期で前記第ｓの畳み込み演算手段から順次供給される加算出力を補間し、加算出力或いは当該補間出力を前記第（ｓ−１）のサンプリング周期で出力する補間手段からなることを特徴とする請求項４に記載の残響効果付加装置。
JP2007302539A 2007-11-22 2007-11-22 残響効果付加装置 Pending JP2009128559A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007302539A JP2009128559A (ja) 2007-11-22 2007-11-22 残響効果付加装置
US12/255,777 US7612281B2 (en) 2007-11-22 2008-10-22 Reverberation effect adding device
EP08291058A EP2063413B1 (en) 2007-11-22 2008-11-12 Reverberation effect adding device
DE602008000670T DE602008000670D1 (de) 2007-11-22 2008-11-12 Vorrichtung zum Hinzufügen eines Widerhalleffekts

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007302539A JP2009128559A (ja) 2007-11-22 2007-11-22 残響効果付加装置

Publications (1)

Publication Number Publication Date
JP2009128559A true JP2009128559A (ja) 2009-06-11

Family

ID=40419472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007302539A Pending JP2009128559A (ja) 2007-11-22 2007-11-22 残響効果付加装置

Country Status (4)

Country Link
US (1) US7612281B2 (ja)
EP (1) EP2063413B1 (ja)
JP (1) JP2009128559A (ja)
DE (1) DE602008000670D1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014228696A (ja) * 2013-05-22 2014-12-08 ヤマハ株式会社 音響処理装置
CN113453120A (zh) * 2020-03-25 2021-09-28 卡西欧计算机株式会社 效果赋予装置、方法及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128559A (ja) * 2007-11-22 2009-06-11 Casio Comput Co Ltd 残響効果付加装置
JP4702392B2 (ja) * 2008-04-28 2011-06-15 カシオ計算機株式会社 共鳴音発生装置および電子楽器
KR101546849B1 (ko) * 2009-01-05 2015-08-24 삼성전자주식회사 주파수 영역에서의 음장효과 생성 방법 및 장치
US9541929B2 (en) * 2012-11-08 2017-01-10 Richtek Technology Corporation Mixed mode compensation circuit
CN105393456B (zh) * 2013-03-26 2018-06-22 拉克伦·保罗·巴拉特 虚拟采样率增加的音频滤波
US9390723B1 (en) * 2014-12-11 2016-07-12 Amazon Technologies, Inc. Efficient dereverberation in networked audio systems
JP6801443B2 (ja) 2016-12-26 2020-12-16 カシオ計算機株式会社 楽音生成装置および方法、電子楽器
JP6540681B2 (ja) * 2016-12-26 2019-07-10 カシオ計算機株式会社 楽音生成装置および方法、電子楽器
US20190392641A1 (en) * 2018-06-26 2019-12-26 Sony Interactive Entertainment Inc. Material base rendering
JP7179079B2 (ja) * 2018-10-09 2022-11-28 ローランド株式会社 効果音発生方法、及び情報処理装置
US11705148B2 (en) * 2021-06-11 2023-07-18 Microsoft Technology Licensing, Llc Adaptive coefficients and samples elimination for circular convolution

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS628198A (ja) * 1985-07-05 1987-01-16 ヤマハ株式会社 残響付加装置
JPS6343413A (ja) * 1986-08-09 1988-02-24 Pioneer Electronic Corp 音場制御装置
JPH01144814A (ja) * 1987-12-01 1989-06-07 Matsushita Electric Ind Co Ltd 音場再生装置
JPH0262876B2 (ja) * 1985-06-25 1990-12-26 Yamaha Corp
JPH0458611A (ja) * 1990-06-27 1992-02-25 Toshiba Corp サンプリング周波数変換装置
JPH08181572A (ja) * 1994-12-21 1996-07-12 Sony Corp 音響信号処理方法および装置
JPH10126218A (ja) * 1996-10-15 1998-05-15 Sony Corp サンプリング周波数変換装置
JP2000194381A (ja) * 1998-12-25 2000-07-14 Sony Corp 音場創生装置
JP2005167381A (ja) * 2003-11-28 2005-06-23 Sony Corp デジタル信号処理装置及びデジタル信号処理方法、並びにヘッドホン装置

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2819533B2 (ja) * 1988-05-10 1998-10-30 ヤマハ株式会社 楽音信号発生装置
JP2845114B2 (ja) * 1993-12-29 1999-01-13 ヤマハ株式会社 残響付与装置
JP3019767B2 (ja) * 1995-12-28 2000-03-13 ヤマハ株式会社 デジタル信号処理装置
US6850621B2 (en) * 1996-06-21 2005-02-01 Yamaha Corporation Three-dimensional sound reproducing apparatus and a three-dimensional sound reproduction method
JPH11331992A (ja) * 1998-05-15 1999-11-30 Sony Corp デジタル処理回路と、これを使用したヘッドホン装置およびスピーカ装置
AU5009399A (en) * 1998-09-24 2000-05-04 Sony Corporation Impulse response collecting method, sound effect adding apparatus, and recording medium
JP3460602B2 (ja) * 1998-11-25 2003-10-27 ヤマハ株式会社 反射音生成装置
JP3430985B2 (ja) * 1999-08-05 2003-07-28 ヤマハ株式会社 合成音生成装置
US7146296B1 (en) * 1999-08-06 2006-12-05 Agere Systems Inc. Acoustic modeling apparatus and method using accelerated beam tracing techniques
JP4379976B2 (ja) * 1999-10-25 2009-12-09 ソニー株式会社 信号処理装置
AUPQ941600A0 (en) * 2000-08-14 2000-09-07 Lake Technology Limited Audio frequency response processing sytem
JP2002191099A (ja) * 2000-09-26 2002-07-05 Matsushita Electric Ind Co Ltd 信号処理装置
CA2354808A1 (en) * 2001-08-07 2003-02-07 King Tam Sub-band adaptive signal processing in an oversampled filterbank
US6957240B2 (en) * 2001-08-08 2005-10-18 Octasic Inc. Method and apparatus for providing an error characterization estimate of an impulse response derived using least squares
JP4059478B2 (ja) * 2002-02-28 2008-03-12 パイオニア株式会社 音場制御方法及び音場制御システム
US20030169887A1 (en) * 2002-03-11 2003-09-11 Yamaha Corporation Reverberation generating apparatus with bi-stage convolution of impulse response waveform
JP3874099B2 (ja) * 2002-03-18 2007-01-31 ソニー株式会社 音声再生装置
JP4062959B2 (ja) * 2002-04-26 2008-03-19 ヤマハ株式会社 残響付与装置、残響付与方法、インパルス応答生成装置、インパルス応答生成方法、残響付与プログラム、インパルス応答生成プログラムおよび記録媒体
US7167568B2 (en) * 2002-05-02 2007-01-23 Microsoft Corporation Microphone array signal enhancement
KR20050026928A (ko) * 2002-06-12 2005-03-16 이큐테크 에이피에스 룸 스피커로부터의 사운드를 디지털 등화하는 방법 및 그용도
JP4393383B2 (ja) * 2002-10-15 2010-01-06 韓國電子通信研究院 ユーザの選好度によるオーディオ信号適応変換装置、および、その方法
FR2851879A1 (fr) * 2003-02-27 2004-09-03 France Telecom Procede de traitement de donnees sonores compressees, pour spatialisation.
JP4127094B2 (ja) * 2003-03-26 2008-07-30 ヤマハ株式会社 残響音生成装置およびプログラム
WO2005036523A1 (en) 2003-10-09 2005-04-21 Teac America, Inc. Method, apparatus, and system for synthesizing an audio performance using convolution at multiple sample rates
US20050223050A1 (en) * 2004-04-01 2005-10-06 Chi-Min Liu Efficient method and apparatus for convolution of input signals
US7876909B2 (en) * 2004-07-13 2011-01-25 Waves Audio Ltd. Efficient filter for artificial ambience
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
JP2006101461A (ja) * 2004-09-30 2006-04-13 Yamaha Corp 立体音響再生装置
CN101040322A (zh) * 2004-10-15 2007-09-19 皇家飞利浦电子股份有限公司 处理音频数据以便生成交混回响的系统和方法
WO2006047387A2 (en) * 2004-10-26 2006-05-04 Burwen Technology Inc Unnatural reverberation
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
JP4674505B2 (ja) * 2005-08-01 2011-04-20 ソニー株式会社 音声信号処理方法、音場再現システム
US8340304B2 (en) * 2005-10-01 2012-12-25 Samsung Electronics Co., Ltd. Method and apparatus to generate spatial sound
JP2007202020A (ja) 2006-01-30 2007-08-09 Sony Corp 音声信号処理装置、音声信号処理方法、プログラム
JP4286840B2 (ja) * 2006-02-08 2009-07-01 学校法人早稲田大学 インパルス応答合成方法および残響付与方法
PL1989920T3 (pl) * 2006-02-21 2010-07-30 Koninl Philips Electronics Nv Kodowanie i dekodowanie dźwięku
WO2007106553A1 (en) * 2006-03-15 2007-09-20 Dolby Laboratories Licensing Corporation Binaural rendering using subband filters
WO2007110103A1 (en) * 2006-03-24 2007-10-04 Dolby Sweden Ab Generation of spatial downmixes from parametric representations of multi channel signals
FR2899424A1 (fr) * 2006-03-28 2007-10-05 France Telecom Procede de synthese binaurale prenant en compte un effet de salle
US8180067B2 (en) * 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
US8036767B2 (en) * 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
US20080085008A1 (en) * 2006-10-04 2008-04-10 Earl Corban Vickers Frequency Domain Reverberation Method and Device
US8189812B2 (en) * 2007-03-01 2012-05-29 Microsoft Corporation Bass boost filtering techniques
US8363843B2 (en) * 2007-03-01 2013-01-29 Apple Inc. Methods, modules, and computer-readable recording media for providing a multi-channel convolution reverb
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
US8483395B2 (en) * 2007-05-04 2013-07-09 Electronics And Telecommunications Research Institute Sound field reproduction apparatus and method for reproducing reflections
KR100899836B1 (ko) * 2007-08-24 2009-05-27 광주과학기술원 실내 충격응답 모델링 방법 및 장치
US20090103737A1 (en) * 2007-10-22 2009-04-23 Kim Poong Min 3d sound reproduction apparatus using virtual speaker technique in plural channel speaker environment
JP2009128559A (ja) * 2007-11-22 2009-06-11 Casio Comput Co Ltd 残響効果付加装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262876B2 (ja) * 1985-06-25 1990-12-26 Yamaha Corp
JPS628198A (ja) * 1985-07-05 1987-01-16 ヤマハ株式会社 残響付加装置
JPS6343413A (ja) * 1986-08-09 1988-02-24 Pioneer Electronic Corp 音場制御装置
JPH01144814A (ja) * 1987-12-01 1989-06-07 Matsushita Electric Ind Co Ltd 音場再生装置
JPH0458611A (ja) * 1990-06-27 1992-02-25 Toshiba Corp サンプリング周波数変換装置
JPH08181572A (ja) * 1994-12-21 1996-07-12 Sony Corp 音響信号処理方法および装置
JPH10126218A (ja) * 1996-10-15 1998-05-15 Sony Corp サンプリング周波数変換装置
JP2000194381A (ja) * 1998-12-25 2000-07-14 Sony Corp 音場創生装置
JP2005167381A (ja) * 2003-11-28 2005-06-23 Sony Corp デジタル信号処理装置及びデジタル信号処理方法、並びにヘッドホン装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014228696A (ja) * 2013-05-22 2014-12-08 ヤマハ株式会社 音響処理装置
CN113453120A (zh) * 2020-03-25 2021-09-28 卡西欧计算机株式会社 效果赋予装置、方法及存储介质

Also Published As

Publication number Publication date
US7612281B2 (en) 2009-11-03
EP2063413A2 (en) 2009-05-27
EP2063413A3 (en) 2009-07-01
DE602008000670D1 (de) 2010-04-01
US20090133566A1 (en) 2009-05-28
EP2063413B1 (en) 2010-02-17

Similar Documents

Publication Publication Date Title
JP2009128559A (ja) 残響効果付加装置
JP4127094B2 (ja) 残響音生成装置およびプログラム
JP4702392B2 (ja) 共鳴音発生装置および電子楽器
JP6724828B2 (ja) フィルタ演算処理装置、フィルタ演算方法、及び効果付与装置
JP2819533B2 (ja) 楽音信号発生装置
CN101149916B (zh) 滤波装置以及使用滤波装置的电子乐器
JP2009175677A (ja) 共鳴音付加装置および電子楽器
WO2006070768A1 (ja) オーディオ波形処理装置、方式およびプログラム
CN113453120B (zh) 效果赋予装置、方法及存储介质
JP2009025589A (ja) 電子楽器の共鳴音付加装置および電子楽器
JP5169753B2 (ja) 共鳴音付加装置および電子楽器
JP2009244705A (ja) ピッチシフトシステムおよびプログラム
JP5593590B2 (ja) 共鳴音発生装置、電子楽器および共鳴音発生プログラム
JP5035388B2 (ja) 共鳴音発生装置および電子楽器
JP4548516B2 (ja) Ｆｉｒフィルタ装置、音響装置およびｆｉｒフィルタプログラム
JP5092902B2 (ja) Ｆｉｒフィルタ係数算出装置、ｆｉｒフィルタ装置、および、ｆｉｒフィルタ係数算出プログラム
JP2905904B2 (ja) 電子楽器の信号処理装置
JP3435702B2 (ja) 楽音発生装置
JP2725479B2 (ja) 電子楽器
WO2020195041A1 (ja) フィルタ効果付与装置、電子楽器及び電子楽器の制御方法
JP2010026044A (ja) 残響付与装置およびプログラム
JP2674595B2 (ja) 楽音波形信号形成装置
JP4152262B2 (ja) 楽音発生装置及び楽音発生方法
JP3541072B2 (ja) 楽音制御装置、楽音波形記憶方法及び楽音波形再生方法
JPH10247084A (ja) 音源装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100810