JP4973537B2 - 音響処理装置およびプログラム - Google Patents

Description

本発明は、音楽的な特徴が類似する複数の区間の反復を音響信号から検出する技術に関する。

演奏音の音楽的な特徴が所定の条件を満たす区間を楽曲のなかから特定する様々な技術が従来から提案されている。例えば特許文献１には、楽曲の演奏音を収録した音響信号のうち音楽的な特徴が相類似する複数の区間を適宜に統合することで楽曲のサビの区間を特定する技術が開示されている。
特開２００４−２３３９６５号公報

特許文献１の技術によれば、音楽的な構造が単純で明瞭な楽曲（例えばイントロやサビの配置が明瞭なポップスやロックの楽曲）においてサビが長時間にわたって連続する場合には、サビの区間を高精度に特定することが可能である。しかし、楽曲のサビ（chorus, refrain）の特定のみを目的とする特許文献１の技術では、時間長の短い区間が連続して反復される区間（例えば、電子音楽の楽曲のうち１小節や２小節程度の短い区間を単位としてドラムスやベースやリズムギターの演奏音が反復される区間）を高精度に特定することは困難である。以上の事情に鑑みて、本発明は、楽曲のなかで短い区間が反復される区間についても高精度に特定するという課題の解決をひとつの目的とする。

以上の課題を解決するために、本発明に係る音響処理装置は、複数の反復区間が配列されたループ領域を音響信号から特定する装置であって、複数の単位区間の各々について音響信号の特徴量を抽出する特徴抽出手段と、各単位区間の特徴量の相互間の類似度を算定する類似度算定手段と、音響信号と時間差を付与した音響信号とにおける単位区間の特徴量の類似度が高い領域に対応した類似線分を、時間軸と時間差軸とを含む平面に配置した類似度マトリクスを生成する第１マトリクス生成手段と、類似度が高い区間の割合に応じた反復確度を類似度マトリクスにおける時間差毎に算定する確度算定手段と、反復確度の分布における複数のピークを特定するピーク特定手段と、ピーク特定手段が特定した各ピークの位置に基準線を配置した基準マトリクスを生成する第２マトリクス生成手段と、類似度マトリクスの時間軸上における複数の時点の各々について、当該時点に対応した位置に配置された基準マトリクスの各基準線と類似度マトリクスの各類似線分との相関値を算定する相関算定手段と、相関値の分布におけるピークを基準としてループ領域を特定する区間特定手段とを具備する。

以上の構成においては、類似度マトリクスから算定された反復確度の分布における各ピークの位置に応じて設定された基準マトリクスを類似度マトリクスと照合することでループ領域が特定されるから、時間長の短い反復区間で構成されるループ領域についても高精度に検出することが可能である。

本発明の好適な態様において、ピーク特定手段は、反復確度の分布におけるピークの周期を特定する周期特定手段と、反復確度の分布において周期特定手段が特定した周期で現れる複数のピークを選択するピーク選択手段とを含む。周期特定手段による周期の特定には、自己相関演算や周波数分析（フーリエ変換）など公知の技術が任意に利用される。

ところで、反復確度の分布から特定されるピークの個数が多過ぎると（すなわち基準マトリクスのサイズが大き過ぎると）、短時間のループ領域を検出することが困難となる。一方、ピークの個数が少な過ぎると、短時間の反復を含む多数の区間がループ領域として検出される。そこで、さらに好適な態様において、ピーク特定手段は、反復確度の分布から特定するピークの個数を所定の範囲内に制限する。以上の態様においては、ピーク特定手段の特定するピークの個数が所定の範囲内に制限されるから、適度な時間長のループ領域を高精度に特定できるという利点がある。例えば、短時間の反復もループ領域として検出するためには所定の閾値を下回る個数にピークの個数が制限され、短時間の反復の検出を抑制するためには所定の閾値を上回る個数にピークの個数が制限される。

相関値の分布におけるピークの位置からループ領域を特定するための方法は任意であるが、例えば、相関値の分布におけるピークの時点から、基準マトリクスのサイズに応じた基準長が経過するまでの区間をループ領域として特定する方法が好適である。ただし、例えば基準マトリクスのサイズを上回る時間長にわたってループ領域が継続する場合、相関値の分布から検出されるピークの頂上部が平坦である可能性がある。したがって、頂上部が平坦なピークが検出された場合、当該ピークの前縁を始点とし、基準マトリクスのサイズに応じた基準長がピークの後縁から経過した時点を終点とする区間をループ領域として特定する方法が好適に採用される。

以上の総ての態様に係る音響処理装置は、入力音の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、複数の反復区間が配列されたループ領域を音響信号から特定するためのプログラムであって、複数の単位区間の各々について音響信号の特徴量を抽出する特徴抽出処理と、各単位区間の特徴量の相互間の類似度を算定する類似度算定処理と、音響信号と時間差を付与した音響信号とにおける単位区間の特徴量の類似度が高い領域に対応した類似線分を、時間軸と時間差軸とを含む平面に配置した類似度マトリクスを生成する第１マトリクス生成処理と、類似度が高い区間の割合に応じた反復確度を類似度マトリクスにおける時間差毎に算定する確度算定処理と、反復確度の分布における複数のピークを特定するピーク特定処理と、ピーク特定処理で特定した各ピークの位置に基準線を配置した基準マトリクスを生成する第２マトリクス生成処理と、類似度マトリクスの時間軸上における複数の時点の各々について、当該時点に対応した位置に配置された基準マトリクスの各基準線と類似度マトリクスの各類似線分との相関値を算定する相関算定処理と、相関値の分布におけるピークを基準としてループ領域を特定する区間特定処理とをコンピュータに実行させる。本発明のプログラムによれば、以上の各態様に係る音響処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

図１は、本発明の実施の形態に係る音響処理装置のブロック図である。図１に示すように、音響処理装置１００には信号生成装置１２が接続される。信号生成装置１２は、楽曲の演奏音（楽音や音声）の時間波形を表す音響信号Ｖを生成して音響処理装置１００に出力する。例えば、記録媒体（例えば光ディスクや半導体記憶回路）から音響信号Ｖを取得して出力する再生装置や、通信網から音響信号Ｖを受信して出力する通信装置が信号生成装置１２として好適である。

音響処理装置１００は、信号生成装置１２から供給される音響信号Ｖについてループ領域を特定する。図２に示すように、ループ領域Ｌは、始点ｔBから終点ｔEにわたる楽曲のうち音楽的な特徴の類似する複数の区間（以下「反復区間」という）ＳRが連続的に反復されるひとつまたは複数の区間である。

図１に示すように、音響処理装置１００は、制御装置１４と記憶装置１６とを具備する。制御装置１４は、プログラムを実行することで図１の各要素として機能する演算処理装置（ＣＰＵ）である。記憶装置１６は、制御装置１４が実行するプログラムや制御装置１４が使用する各種のデータを記憶する。半導体記憶装置や磁気記憶装置など公知の記録媒体が記憶装置１６として任意に採用される。なお、制御装置１４の各要素はＤＳＰなどの専用の電子回路でも実現される。また、制御装置１４の各要素は複数の集積回路に分散して配置されてもよい。

図１の特徴抽出部２２は、音響信号Ｖを時間軸上で区分した複数の単位区間（フレーム）の各々について音響信号Ｖの音響的な特徴量Ｆを抽出する。単位区間は、反復区間ＳRと比較して充分に短い時間長に設定される。特徴量Ｆの好例はＰＣＰ（Pitch Class Profile）である。ＰＣＰは、音響信号Ｖの周波数スペクトルを１オクターブに相当する周波数帯域毎に分割して各々を加算したスペクトルにおいて、１２個の半音階（Ｃ，Ｃ#，Ｄ，……，Ａ#，Ｂ）の各々に対応する周波数成分の強度値の集合（すなわち、各半音階に対応する周波数成分の強度を複数のオクターブにわたって加算した数値を要素とする１２次元ベクトル）である。したがって、離散フーリエ変換（短時間フーリエ変換）を含む周波数分析を音響信号Ｖに対して実行する手段が特徴抽出部２２として好適である。なお、ＰＣＰについては特開2000-298475号公報に詳述されている。もっとも、本発明で利用される特徴量Ｆの種類はＰＣＰに限定されない。

類似度算定部２４は、各単位区間の特徴量Ｆの相互間の類否の指標となる数値（以下「類似度」という）ＳMを算定する。さらに詳述すると、類似度算定部２４は、複数の単位区間から２個の単位区間を選択する全通りの組合せについて各単位区間の特徴量Ｆの類似度ＳMを算定する。特徴量Ｆがベクトルとして記述される場合、例えば各単位区間の特徴量Ｆのユークリッド距離やコサイン角が類似度ＳMとして算定される。

図３は、類似度算定部２４による算定の結果を示す概念図である。図３においては、ひとつの楽曲の始点ｔBから終点ｔEまでの時間の経過が縦軸と横軸とに図示されている。類似度ＳMが高い２個の単位区間の組合せに相当する地点が太線で図示されている。直線Ａは、楽曲内の同じ単位区間について算定される類似度ＳMが最大（特徴量Ｆの一致）であることを意味する。図３においては直線Ａを挟んで一方の領域（右上の領域）のみに類似度ＳMが図示されている。図３に示すように、楽曲のうち時点ｔ1から時点ｔ2までの区間ｓ1と、時点ｔ2から時点ｔ3までの区間ｓ2と、時点ｔ3から時点ｔ4までの区間ｓ3とについて特徴量Ｆの類似度ＳMが高い場合を以下では想定する。

図１のマトリクス生成部２６は、類似度算定部２４が算定した類似度ＳMに基づいて類似度マトリクスＭAを生成する。図４は、類似度マトリクスＭAの内容を例示する概念図である。図４に示すように、類似度マトリクスＭAは、時間軸に沿ってシフト量ｄだけ遅延させた音響信号Ｖの各単位区間の特徴量Ｆと遅延前の音響信号Ｖの各単位区間の特徴量Ｆとの類似度ＳMを、時間軸Ｔと時間差軸Ｄ（シフト量ｄ）とを含むＴ-Ｄ平面内に表現した行列である。時間軸Ｔは、楽曲の始点ｔBから終点ｔEまでの時間の経過を示す。また、時間差軸Ｄは、時間軸に沿った音響信号Ｖのシフト量（遅延量）ｄを示す。図４に太線で図示したように、類似度マトリクスＭAには、楽曲のうち他の単位区間との類似度ＳMが高い単位区間を示す線分（以下「類似線分」という）ＧAが描画される。

図３に例示したように区間ｓ1（ｔ1〜ｔ2）と区間ｓ2（ｔ2〜ｔ3）とでは各単位区間の特徴量Ｆが類似するから、図５に示すように、時間長(ｔ2−ｔ1)だけ遅延させた音響信号Ｖの区間ｓ1の特徴量Ｆは、遅延前の音響信号Ｖのうち当該区間ｓ1に時間軸上で対応する区間ｓ2の特徴量Ｆに類似する。したがって、図４に示すように、類似度マトリクスＭAにおける時間差軸Ｄのうちシフト量ｄが(ｔ2−ｔ1)である時点には、時間軸Ｔのうち区間ｓ2に対応する類似線分ＧA（Ｘ1〜Ｘ2）が描画される。点Ｘ1は図３の点Ｘ1aに対応し、点Ｘ2は図３の点Ｘ2aに対応する。同様に、点Ｘ2から点Ｘ3（図３の点Ｘ3aに対応する点）までの類似線分ＧAは、楽曲の区間ｓ2（ｔ2〜ｔ3）と区間ｓ3（ｔ3〜ｔ4）とで各単位区間の類似度ＳMが高いことを意味する。また、図５に示すように時間長(ｔ3−ｔ1)だけ遅延させた音響信号Ｖの区間ｓ1（ｔ1〜ｔ2）と遅延前の音響信号Ｖの区間ｓ3（ｔ3〜ｔ4）とで特徴量Ｆが類似することは、図４の類似度マトリクスＭAのうち点Ｘ4（図３の点Ｘ4aに対応）から点Ｘ5（図３の点Ｘ5aに対応）までの類似線分ＧAで表現される。

図１に示すように、マトリクス生成部２６は、時間/時間差特定部２６２と雑音除去部２６４とで構成される。時間/時間差特定部２６２は、類似度算定部２４が算定した類似度ＳMをＴ-Ｄ平面に配列する。雑音除去部２６４は、時間/時間差特定部２６２による処理後の類似度ＳMに対して閾値処理とフィルタ処理とを実行する。閾値処理は、類似度算定部２４が算定した類似度ＳMを所定の閾値との大小に応じて２値化する処理である。すなわち、閾値を上回る類似度ＳMは第１値ｂ1（例えば「１」）に変換され、閾値を下回る類似度ＳMは第２値ｂ2（例えば「０」）に変換される。類似度マトリクスＭAにおいて第１値ｂ1が直線状に連続する区間が図４の類似線分ＧAに相当する。

なお、少数の単位区間のみで類似度ＳMが高くなる場合には、類似度マトリクスＭA内において第２値ｂ2の分布する領域内に少数の第１値ｂ1が点在する場合がある。また、実際には音楽的に類似する区間であっても僅かな単位区間にて特徴量Ｆが非類似となる場合があるから、第１値ｂ1の複数の配列が僅かな間隔（第２値ｂ2の領域）をあけて時間軸Ｔの方向に離間する場合がある。雑音除去部２６４が実行するフィルタ処理（Morphological Filtering）は、閾値処理後にＴ-Ｄ平面に分散的に点在する第１値ｂ1を除去する処理や、時間軸Ｔの方向に僅かな間隔をあけて配列する第１値ｂ1の複数の配列を連結する処理を含む。すなわち、雑音除去部２６４は、所定長を上回る類似線分ＧA以外の第１値ｂ1（雑音）をフィルタ処理によってＴ-Ｄ平面から除去する。以上の処理によって図４の類似度マトリクスＭAが生成される。

図１の確度算定部３２は、類似度マトリクスＭAにおける時間差軸Ｄ上のシフト量ｄ毎に反復確度Ｒを算定する。反復確度Ｒは、シフト量ｄだけ遅延させた音響信号Ｖの始点ｔBから遅延前の音響信号Ｖの終点ｔEまでの区間のうち類似度ＳMが高いと判定された区間（類似線分ＧA）の割合を示す数値である。例えば、図４に示すように、シフト量ｄに対応する反復確度Ｒ(d)は、当該シフト量ｄに対応した類似度ＳMの総数Ｎ(d)（シフト量ｄに対応する第１値ｂ1および第２値ｂ2の総数）のうち第１値ｂ1に設定された類似度ＳMの個数ｎの割合（すなわち類似線分ＧAの長さの総和）として算定される（Ｒ(d)＝ｎ／Ｎ(d)）。個数Ｎ(d)による除算は、シフト量ｄ毎の個数Ｎ(d)の相違に依存しないように反復確度Ｒ(d)を正規化する処理である。類似度ＳMの総数Ｎ(d)は、音響信号Ｖの全区間（ｔB〜ｔE）からシフト量ｄを減算した区間の単位区間の総数に相当する。以上の定義から理解されるように、反復確度Ｒ(d)は、シフト量ｄだけ遅延させた音響信号Ｖと遅延前の音響信号Ｖとで相類似する区間（特徴量Ｆが相類似する単位区間の総数）の割合を示す指標である。

図４においては、確度算定部３２が各シフト量ｄについて算定した反復確度Ｒの時間差軸Ｄに沿った分布（以下「確度分布」という）ｒが類似度マトリクスＭAに併記されている。音響信号Ｖがループ領域Ｌを含む場合、確度分布ｒには、ループ領域Ｌ内の各反復区間ＳRの周期に相当する間隔をあけてピークＰRが現れる。図１のピーク特定部３４は、確度分布ｒにおけるｍ個（ｍは２以上の自然数）のピークＰRを特定する。例えば以下に説明するように、確度分布ｒの自己相関演算を利用して各ピークＰRが特定される。

ピーク特定部３４は、周期特定部３４４とピーク選択部３４６とで構成される。周期特定部３４４は、確度分布ｒにおける各ピークＰRの周期ＴRを特定する。周期ＴRの特定には確度分布ｒに対する自己相関演算が利用される。すなわち、周期特定部３４４は、第１に、確度分布ｒを時間差軸Ｄの方向に移動（シフト）させながら移動の前後の確度分布ｒの相関値（相互相関値）ＣAを算定することでシフト量Δと相関値ＣAとの関係を特定する。図６は、シフト量Δと相関値ＣAとの関係を示す概念図である。図６に示すように、シフト量Δが確度分布ｒの周期に接近するほど相関値ＣAは増大する。

第２に、周期特定部３４４は、自己相関演算の結果に基づいて確度分布ｒにおける各ピークＰRの周期ＴRを特定する。例えば、周期特定部３４４は、図６に示すように、相関値ＣAの分布に現れる多数のピークのうちシフト量Δがゼロの地点からみて所定個のピークについて相隣接する各ピークの間隔Δpを算定し、間隔Δpの最大値を確度分布ｒにおけるピークＰRの周期ＴRとして特定する。

図１のピーク選択部３４６は、確度分布ｒの複数のピークＰRのうち周期特定部３４４が特定した周期ＴRで現れるｍ個のピークＰRを選択する。図７は、ピーク選択部３４６が確度分布ｒからピークＰRを選択する処理を説明するための概念図である。なお、図７においては確度分布ｒの各ピークＰRが便宜的に縦線として図示されている。図７に示すように、ピーク選択部３４６は、確度分布ｒの複数のピークＰRのうち反復確度Ｒが最大となるひとつのピークＰR0を選択し、ピークＰR0から時間差軸Ｄの正方向および負方向に周期Ｔの整数倍だけ離間した地点を中心とする所定の範囲ａ内に存在するピークＰRを選択する。

ピーク選択部３４６は、確度分布ｒから選択するピークＰRの個数ｍを閾値ＴＨ1（例えばＴＨ1＝５）以下に制限する。例えば、確度分布ｒから検出されるピークＰRの個数が閾値ＴＨ1を上回る場合には、時間差軸Ｄの原点に近いｍ個（ｍ＝ＴＨ1）のピークＰRを選択する。一方、楽曲が明瞭なループ領域Ｌを含まない場合には確度分布ｒのピークＰRの個数は少ないから、確度分布ｒから検出されるピークＰRの個数ｍが所定の閾値ＴＨ2（ＴＨ2＜ＴＨ1、例えばＴＨ2＝３）を下回る場合、ピーク選択部３４６は、楽曲がループ領域Ｌを含まないことを画像の表示や音声の出力によって利用者に報知する。すなわち、ピーク選択部３４６が最終的に選択するピークＰRの個数ｍは閾値ＴＨ1以下かつ閾値ＴＨ2以上の範囲内に制限される。閾値ＴＨ1や閾値ＴＨ2は利用者からの指示に応じて可変に制御される。なお、ピーク特定部３４が４個のピークＰRを特定した場合（ｍ＝４）を以下では想定する。

図１のマトリクス生成部３６は、ピーク特定部３４が特定したｍ個のピークＰRの位置に基づいて基準マトリクスＭBを生成する。図７においては、基準マトリクスＭBが確度分布ｒに併記されている。基準マトリクスＭBは、Ｍ行Ｍ列（Ｍは２以上の自然数）の正方行列である。基準マトリクスＭBの第１列は時間差軸Ｄの原点に対応し、基準マトリクスＭBの第Ｍ列は、時間差軸Ｄのうちピーク特定部３４が特定した第ｍ番目のピークＰR（ｍ個のピークＰRのうち時間差軸Ｄの原点から最遠のピークＰR）の位置に対応する。すなわち、基準マトリクスＭBのサイズ（列数および行数）は、ピーク特定部３４が特定した第ｍ番目のピークＰRの位置に応じて可変に設定される。

図７に示すように、マトリクス生成部３６は、第１に、基準マトリクスＭBのＭ列のうちピーク特定部３４が特定した各ピークＰRの位置（シフト量ｄ）に対応するｍ個の列（以下「ピーク対応列」という）Ｃpを選択する。図７のピーク対応列Ｃp1は、時間差軸Ｄの原点（基準マトリクスＭBの第１列）からみて第１番目のピークＰRの位置に対応する列である。同様に、ピーク対応列Ｃp2は第２番目のピークＰR（ＰR0）の位置に対応し、ピーク対応列Ｃp3は第３番目のピークＰRの位置に対応し、ピーク対応列Ｃp4（第Ｍ列）は第４番目のピークＰRに対応する。

第２に、マトリクス生成部３６は、ｍ個のピーク対応列Ｃpの各々に属するＭ個の数値のうち正対角線（第１行第１列から第Ｍ行第Ｍ列に至る直線）上から第Ｍ行までの数値を第１値ｂ1（例えば「１」）に設定するとともに他の総ての数値を第２値ｂ2（例えば「０」）に設定することで基準マトリクスＭBを生成する。図７においては、第１値ｂ1に設定された領域が太線で図示されている。

以上に説明したように基準マトリクスＭBの各ピーク対応列Ｃpには、第１値ｂ1を配列した直線（以下「基準線」という）ＧBが設定される。確度分布ｒにはループ領域Ｌ内の各反復区間ＳRに対応した周期でピークＰRが現れる。したがって、類似度マトリクスＭAのうちループ領域Ｌが存在する領域には、基準マトリクスＭBの基準線ＧBに類似する態様で類似線分ＧAが存在する可能性が高い。

図１の相関算定部４２は、マトリクス生成部２６が生成した類似度マトリクスＭA内の各領域とマトリクス生成部３６が生成した基準マトリクスＭBとを照合することで両者の相関値（相互相関値）ＣBを算定する。図８は、相関算定部４２による処理の内容を説明するための概念図である。図８に示すように、類似度マトリクスＭAの第１列（時間差軸Ｄの原点）と基準マトリクスＭBの第１列とが合致するように基準マトリクスＭBを類似度マトリクスＭAに重ねて配置し、基準マトリクスＭBを、第１行が時間軸Ｔの原点に合致する位置から時間軸Ｔの方向に移動させた各場合について相関値ＣBを算定する。

相関値ＣBは、基準マトリクスＭBの各基準線ＧBの配列の態様（間隔や全長）と類似度マトリクスＭAの各類似線分ＧAの配列の態様との相関（類否）の指標となる数値である。例えば、基準マトリクスＭB内の各数値（ｂ1，ｂ2）と類似度マトリクスＭAのうち基準マトリクスＭBに重なるＭ行Ｍ列の領域内の各類似度ＳM（ｂ1，ｂ2）とで対応する数値を乗算して得られる複数（Ｍ×Ｍ個）の数値を加算することで相関値ＣBが算定される。

以上の処理によって、図８に示すように、類似度マトリクスＭAの時間軸Ｔ上における複数の時点の各々について相関値ＣB（時間軸Ｔと相関値ＣBとの関係）が算定される。相関値ＣBの定義から理解されるように、基準マトリクスＭBの各基準線ＧBと類似度マトリクスＭAのうち基準マトリクスＭBに対応する領域内の各類似線分ＧAとで態様が類似するほど相関値ＣBは増加する。

図１の区間特定部４４は、相関算定部４２が算定した相関値ＣBの分布に現れるピークを基準としてループ領域Ｌを特定する。図１に示すように、区間特定部４４は、閾値処理部４４２とピーク検出部４４４と区間決定部４４６とで構成される。図９は、区間特定部４４の各要素による処理の内容を説明する概念図である。

図９の部分(b)に示すように、閾値処理部４４２は、相関算定部４２が算定した相関値ＣB（図９の部分(a)）のうち所定の閾値ＴＨCを下回る成分を除去する。すなわち、閾値ＴＨCを下回る相関値ＣBがゼロに変更される。ピーク検出部４４４は、閾値処理部４４２による処理後の相関値ＣBの分布からピークＰCを検出するとともに各ピークＰCの位置ＬPを特定する。

基準マトリクスＭBの行数Ｍに対応する時間長（以下「基準長」という）と楽曲内のループ領域Ｌの時間長とが略一致する場合、基準マトリクスＭBが時間軸Ｔ上のループ領域Ｌに重なる場合だけ相関値ＣBの数値は増大する。したがって、図９の部分(b)に示すように、相関値ＣBの分布には頂上部が先鋭なピークＰC（ＰC1）が現れる。先鋭なピークＰCが検出されると、ピーク検出部４４４は、ピークＰCの頂上部を位置ＬPとして特定する。一方、楽曲内のループ領域Ｌの時間長が基準長を上回る場合、基準マトリクスＭBが時間軸Ｔ上のループ領域Ｌの範囲内で移動する限りは相関値ＣBが高い数値を維持する。したがって、相関値ＣBの分布には頂上部が平坦なピークＰC（ＰC2，ＰC3）が現れる。平坦なピークＰCが検出されると、ピーク検出部４４４は、ピークＰCの後縁（立下がり時点）を位置ＬPとして特定する。

区間決定部４４６は、ピーク検出部４４４が検出した位置ＬPを基準としてループ領域Ｌを特定する。ピーク検出部４４４が先鋭なピークＰC（ＰC1）の位置ＬPを検出した場合、区間決定部４４６は、位置ＬPを始点として基準長Ｗが経過する時点までの区間をループ領域Ｌ（ｍ個の反復区間ＳRの集合）として特定する。また、ピーク検出部４４４が平坦なピークＰC（ＰC2，ＰC3）の後縁の位置ＬPを検出した場合、区間決定部４４６は、ピークＰCの前縁を始点として位置ＬPから基準長Ｗが経過する時点までの区間をループ領域Ｌとして特定する。すなわち、ピークＰCが平坦である場合、ループ領域Ｌは、ピークＰCの前縁から後縁までの区間に相当する個数の反復区間ＳRとｍ個の反復区間ＳRとを連結した区間となる。

以上の形態においては、類似度マトリクスＭAから算定された確度分布ｒの各ピークＰRの位置ＬPに応じて設定された基準マトリクスＭBがループ領域Ｌの特定に利用されるから、時間長の短い反復区間ＳRで構成されるループ領域Ｌについても高精度に検出することが可能である。

また、基準マトリクスＭBの生成に利用されるピークＰRの個数ｍが多過ぎると（すなわち基準マトリクスＭBの基準線ＧBの本数が多過ぎると）、長時間にわたって類似線分ＧAが基準マトリクスＭBに類似するループ領域Ｌしか検出されないという問題がある。一方、ピークＰRの個数ｍが少な過ぎると、過度に多数のループ領域Ｌが検出されるという問題がある。本形態においては、基準マトリクスＭBの生成に利用されるピークＰRの個数ｍが閾値ＴＨ1と閾値ＴＨ2との間に制限されるから、適度な時間長のループ領域Ｌを適切に検出できるという利点がある。

さらに、頂上部が先鋭なピークＰCに加えて頂上部が平坦なピークＰCも相関値ＣBの分布から検出され、かつ、平坦なピークＰCについては、後縁（位置ＬP）から基準長Ｗが経過する時点までの区間がループ領域Ｌとして特定される。したがって、基準長Ｗを上回る時間長のループ領域Ｌも高精度に検出することが可能である。

＜変形例＞
以上の各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下に例示する各態様を任意に組合わせてもよい。

（１）変形例１
確度分布ｒからピークＰRを検出する方法は任意である。例えば、ピーク特定部３４の周期特定部３４４は、図１０に示すように、相関値ＣAの分布におけるシフト量Δの原点（Δ＝０）から相関値ＣAの最大値（ピーク）の地点までの間隔を周期ＴRとして特定する。一方、ピーク選択部３４６は、図１１に示すように、確度分布ｒにおける時間差軸Ｄの原点から正方向に周期ＴRの整数倍だけ離間した地点を中心とする所定の範囲ａ内に存在するピークＰRを選択する。

また、確度分布ｒに現れるピークＰRの周期ＴRを特定する方法は自己相関演算に限定されない。例えば、離散フーリエ変換などの周波数分析を確度分布ｒに対して実行することで確度分布ｒの周波数スペクトル（あるいはケプストラム）を特定し、周波数スペクトルのピークの周波数から周期ＴRを特定する構成が採用される。

（２）変形例２
ループ領域Ｌの検出の結果を利用する具体的な方法は任意である。例えば、音響処理装置１００が検出したループ領域Ｌの各反復区間ＳRを適宜に連結することで新規な楽曲を編成することが可能である。また、ループ領域Ｌの検出の結果は楽曲の構成の分析（ループ領域Ｌの割合の測定）にも利用される。

本発明の実施形態に係る音響処理装置のブロック図である。 楽曲におけるループ領域および反復区間を示す概念図である。 類似度算定部による算定の結果を示す概念図である。 類似度マトリクスおよび確度分布を示す概念図である。 音響信号のシフト量と各区間の類否について説明するための概念図である。 相関値の分布を示す概念図である。 確度分布におけるピークの選択と基準マトリクスとを示す概念図である。 類似度マトリクスと基準マトリクスとの相関を算定する処理を示す概念図である。 ループ領域を特定する処理を示す概念図である。 確度分布のピークの周期を特定する方法の別例を示す概念図である。 確度分布のピークを検出する方法の別例を示す概念図である。

符号の説明

１００……音響処理装置、１２……信号生成装置、１４……制御装置、１６……記憶装置、２２……特徴抽出部、２４……類似度算定部、２６……マトリクス生成部、２６２……時間/時間差特定部、２６４……雑音除去部、３２……確度算定部、３４……ピーク特定部、３４４……周期特定部、３４６……ピーク選択部、３６……マトリクス生成部、４２……相関算定部、４４……区間特定部。

Claims (6)

1. 複数の反復区間が配列されたループ領域を音響信号から特定する装置であって、
   複数の単位区間の各々について前記音響信号の特徴量を抽出する特徴抽出手段と、
   前記各単位区間の特徴量の相互間の類似度を算定する類似度算定手段と、
   前記音響信号と時間差を付与した前記音響信号とにおける前記単位区間の特徴量の類似度が高い領域に対応した類似線分を、時間軸と時間差軸とを含む平面に配置した類似度マトリクスを生成する第１マトリクス生成手段と、
   類似度が高い区間の割合に応じた反復確度を前記類似度マトリクスにおける時間差毎に算定する確度算定手段と、
   前記反復確度の分布における複数のピークを特定するピーク特定手段と、
   前記ピーク特定手段が特定した前記各ピークの位置に基準線を配置した基準マトリクスを生成する第２マトリクス生成手段と、
   前記類似度マトリクスの時間軸上における複数の時点の各々について、当該時点に対応した位置に配置された前記基準マトリクスの各基準線と前記類似度マトリクスの各類似線分との相関値を算定する相関算定手段と、
   前記相関値の分布におけるピークを基準として前記ループ領域を特定する区間特定手段と
   を具備する音響処理装置。
2. 前記ピーク特定手段は、
   前記反復確度の分布におけるピークの周期を特定する周期特定手段と、
   前記反復確度の分布において前記周期特定手段が特定した周期で現れる複数のピークを選択するピーク選択手段と
   を含む請求項１の音響処理装置。
3. 前記ピーク特定手段は、前記反復確度の分布から特定するピークの個数を所定の範囲内に制限する
   請求項１または請求項２の音響処理装置。
4. 前記区間特定手段は、前記相関値の分布におけるピークの時点から、前記基準マトリクスのサイズに応じた基準長が経過するまでの区間をループ領域として特定する
   請求項１から請求項３の何れかの音響処理装置。
5. 前記区間特定手段は、前記相関値の分布において頂上部が平坦なピークが検出された場合に、当該ピークの前縁を始点とし、前記基準マトリクスのサイズに応じた基準長がピークの後縁から経過した時点を終点とする区間をループ領域として特定する
   請求項１から請求項４の何れかの音響処理装置。
6. 複数の反復区間が配列されたループ領域を音響信号から特定するためのプログラムであって、
   複数の単位区間の各々について前記音響信号の特徴量を抽出する特徴抽出処理と、
   前記各単位区間の特徴量の相互間の類似度を算定する類似度算定処理と、
   前記音響信号と時間差を付与した前記音響信号とにおける前記単位区間の特徴量の類似度が高い領域に対応した類似線分を、時間軸と時間差軸とを含む平面に配置した類似度マトリクスを生成する第１マトリクス生成処理と、
   類似度が高い区間の割合に応じた反復確度を前記類似度マトリクスにおける時間差毎に算定する確度算定処理と、
   前記反復確度の分布における複数のピークを特定するピーク特定処理と、
   前記ピーク特定処理で特定した前記各ピークの位置に基準線を配置した基準マトリクスを生成する第２マトリクス生成処理と、
   前記類似度マトリクスの時間軸上における複数の時点の各々について、当該時点に対応した位置に配置された前記基準マトリクスの各基準線と前記類似度マトリクスの各類似線分との相関値を算定する相関算定処理と、
   前記相関値の分布におけるピークを基準として前記ループ領域を特定する区間特定処理と
   をコンピュータに実行させるプログラム。
   

Images