JP4278667B2 - 楽曲結合装置、楽曲結合方法、及び楽曲結合プログラム - Google Patents

Description

本発明は楽曲コンテンツ処理技術に関し、特に、複数の楽曲コンテンツを結合する楽曲結合装置、楽曲結合方法、及び楽曲結合プログラムに関する。

テレビ放送又はラジオ放送等を受信し、楽曲コンテンツを自動的に収集（録音）する装置が知られている。このような装置において、同一の楽曲コンテンツを２つ記録した場合の対処法として、以下の２つの手法が提案されている（特許文献１参照）。

（１）２つの楽曲コンテンツのうちで雑音レベルの低い楽曲コンテンツを択一的に選択する手法（以下、「第１の背景技術」という）。

（２）２つの楽曲コンテンツの振幅の平均をとる手法（以下、「第２の背景技術」という）。
特表２００５−５２２０５７号公報

しかしながら、上述した第１の背景技術では、２つの楽曲コンテンツにおいて、全体として雑音レベルの低い方が選択されるため、選択された楽曲コンテンツには、部分的に非常に大きな雑音が含まれている場合がある。

上述した第２の背景技術では、２つの楽曲コンテンツにおいては、雑音レベルの低い部分と、雑音レベルの高い部分との平均をとることになる。つまり、高品質な部分と、低品質な部分との平均をとることにより、高品質な部分を劣化させることになる。

したがって、上述した第１及び第２の背景技術では、複数の楽曲コンテンツから高品質な楽曲コンテンツを作成することは困難であった。

上記問題点を鑑み、本発明は、複数の楽曲コンテンツから高品質な楽曲コンテンツを作成可能な楽曲結合装置、楽曲結合方法、及び楽曲結合プログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の特徴は、複数の楽曲コンテンツを結合する楽曲結合装置であって、複数の楽曲コンテンツの少なくとも１つから特徴量を算出し、当該特徴量が閾値を超えた時点をカット点として検出するカット点検出部と、当該カット点を用いて、各楽曲コンテンツを複数のセグメントに分割するセグメント化部と、各楽曲コンテンツの各セグメントの品質を判定する品質判定部と、当該品質の判定結果に基づき、各楽曲コンテンツにおいて時間的位置の等しい各セグメント間で、最も品質の高いセグメントを選択するセグメント選択部と、当該選択されたセグメントを順次結合して１つの楽曲コンテンツを得るセグメント結合部とを備えることを要旨とする。

ここで、「楽曲コンテンツ」とは、音楽（楽曲）が含まれるコンテンツを意味する。また、「品質」とは、雑音やディスクジョッキー（ＤＪ）の声など、本来の楽曲以外の音声が含まれるかによって決まり、これらが含まれている場合には品質が悪いとする。よって、「品質の高いセグメント」とは、雑音やＤＪの声など、本来の楽曲以外の音声が含まれる量が少ないセグメントを意味する。

この特徴によれば、上記カット点により各楽曲コンテンツを複数のセグメントに分割し、品質の高いセグメントを集めて１つの楽曲コンテンツを作成するので、高品質な楽曲コンテンツを作成できる。

第２の特徴は、第１の特徴に係る楽曲結合装置において、上記カット点検出部は、上記特徴量として、音声信号のパワー又は周波数の単位時間当たりの変化量を算出することを要旨とする。ここで「音声信号のパワー」とは、例えば、フーリエ変換などにより音声信号から振幅スペクトルを算出し、この振幅スペクトルの２乗和を求めたものを意味する。

この特徴によれば、楽曲コンテンツから音声信号のパワー又は周波数の単位時間当たりの変化量を特徴量として算出するので、楽曲コンテンツについて好ましい特徴量を得ることができ、精度の良いカット点を検出することができる。

第３の特徴は、第１又は第２の特徴に係る楽曲結合装置において、上記品質判定部は、各セグメントに含まれるノイズのレベルに応じて、各セグメントの品質を判定することを要旨とする。ここで、ノイズとは、雑音やＤＪの声などを意味する。雑音はＳ／Ｎ比、ＤＪの声は周波数の特徴量分布で判断できる。また、「ノイズのレベル」とは、ノイズの振幅を意味する。

この特徴によれば、雑音の少ない、品質の良い部分を集めて結合することにより、雑音の少ない楽曲コンテンツを得ることができる。

第４の特徴は、第１又は第２の特徴に係る楽曲結合装置において、上記品質判定部は、各セグメントに楽曲以外の音声信号が付加されていることの尤度に応じて、各セグメントの品質を判定することを要旨とする。ここで、「楽曲以外の音声信号」とは、例えば、楽曲コンテンツがラジオ放送を録音して得られたものである場合、ＤＪによる曲紹介等を意味する。以下においては、楽曲以外の音声信号を「トーク」と呼ぶ。また、「各セグメントに楽曲以外の音声信号が付加されていることの尤度」とは、例えば、分類するクラスごとのモデルをガウス混合分布(GMM)を用いてモデル化し、このモデルごとに似ているかどうかを示す尤度関数が用意されており、入力した音声とトークについての尤度関数を用いて算出された確率（尤度）を意味する。

この特徴によれば、トークの尤度が高いものをトークの尤度が低いもので置き換えることにより、トークの少ない楽曲コンテンツを得ることができる。

第５の特徴は、第１〜第４のいずれかの特徴に係る楽曲結合装置において、複数の楽曲コンテンツを記憶する楽曲コンテンツ記憶部と、上記結合して得られた１つの楽曲コンテンツを楽曲コンテンツ記憶部に記憶するとともに、上記複数の楽曲コンテンツを楽曲コンテンツ記憶部から削除する制御部とを更に備えることを要旨とする。

この特徴によれば、重複する複数の楽曲コンテンツを楽曲コンテンツ記憶部から削除して、上記結合して得られた１つの楽曲コンテンツを楽曲コンテンツ記憶部に記憶するので、楽曲コンテンツ記憶部の記憶容量を削減できる。

第６の特徴は、第１〜第４のいずれかの特徴に係る楽曲結合装置において、上記複数の楽曲コンテンツを記憶する楽曲コンテンツ記憶部と、上記選択されたセグメントに関する情報をプレイリストとして記憶するプレイリスト記憶部と、当該記憶されたプレイリストに従って、上記楽曲コンテンツ記憶部から上記複数の楽曲コンテンツをセグメント単位で読み出す制御部とを更に備え、上記セグメント結合部は、楽曲コンテンツ記憶部から読み出されたセグメントを選択されたセグメントとして順次結合することを要旨とする。

この特徴によれば、重複する複数の楽曲コンテンツを楽曲コンテンツ記憶部から削除することなく、プレイリストで管理するので、元の楽曲コンテンツをそのままの状態で保存することができる。

第７の特徴は、複数の楽曲コンテンツを結合する楽曲結合方法であって、複数の楽曲コンテンツの少なくとも１つから特徴量を算出して、当該特徴量が閾値を超えた時点をカット点として検出するステップと、当該カット点を用いて、各楽曲コンテンツを複数のセグメントに分割するステップと、各楽曲コンテンツの各セグメントの品質を判定するステップと、当該品質の判定結果に基づき、各楽曲コンテンツにおいて時間的位置の等しい各セグメント間で、最も品質の高いセグメントを選択するステップと、当該選択されたセグメントを順次結合して１つの楽曲コンテンツを得るステップとを含むことを要旨とする。

この特徴によれば、上記カット点により各楽曲コンテンツを複数のセグメントに分割し、品質の高いセグメントを集めて１つの楽曲コンテンツを作成するので、高品質な楽曲コンテンツを作成できる。

第８の特徴は、複数の楽曲コンテンツを結合する楽曲結合プログラムであって、コンピュータに、複数の楽曲コンテンツの少なくとも１つから特徴量を算出して、当該特徴量が閾値を超えた時点をカット点として検出する手順と、当該カット点を用いて、各楽曲コンテンツを複数のセグメントに分割する手順と、各楽曲コンテンツの各セグメントの品質を判定する手順と、当該品質の判定結果に基づき、各楽曲コンテンツにおいて時間的位置の等しい各セグメント間で、最も品質の高いセグメントを選択する手順と、当該選択されたセグメントを順次結合して１つの楽曲コンテンツを得る手順とを実行させることを要旨とする。

本発明によれば、重複する複数の楽曲コンテンツから高品質な楽曲コンテンツを作成可能な楽曲結合装置、楽曲結合方法、及び楽曲結合プログラムを提供できる。

次に、図面を参照して、本発明の第１及び第２実施形態を説明する。以下の第１及び第２実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

［第１実施形態]
（録音再生装置のハードウェア構成例）
本発明の第１実施形態に係る楽曲録音再生装置のハードウェア構成図を図１に示す。楽曲録音再生装置は、チューナ１と、楽曲結合装置１００ａと、スピーカ５とを備える。チューナ１は例えばラジオ放送等の放送信号を受信し、放送信号から音声信号を復調する。楽曲結合装置１００ａは、楽曲コンテンツの録音再生処理を行うとともに、重複する複数の楽曲コンテンツを結合する。スピーカ５は、楽曲結合装置１００ａによって再生された音声信号を出力する。

楽曲結合装置１００ａは、Ａ／Ｄ（Analog to Digital）変換器２と、ＭＰ３（MPEG Audio Layer-3）コーデック３と、Ｄ／Ａ（Digital to Analog）変換器４と、ＤＳＰ（Digital Signal Processor）７と、ＣＰＵ（Central Processing Unit）８と、ＨＤＤ（Hard Disk Drive）９と、メモリ１０と、バス６とを備える。Ａ／Ｄ変換器２、ＭＰ３コーデック３、Ｄ／Ａ変換器４、ＤＳＰ７、ＣＰＵ８、ＨＤＤ９、及びメモリ１０は、バス６を介して各種のデータを授受する。

Ａ／Ｄ変換器２は、チューナ１からの音声信号をデジタル信号データに変換する。ＭＰ３コーデック３は、入力されたデジタル音声データを圧縮符号化して符号化音声データを得るエンコーダの機能と、符号化音声データを復号化するデコーダの機能とを有する。Ｄ／Ａ変換器４は、ＭＰ３コーデック３によって復号化されたデジタル音声データをアナログ信号に変換してスピーカ５に供給する。

ＨＤＤ９は、主に、符号化音声データを記憶する。メモリ１０は、ＤＳＰ７及びＣＰＵ８で実行されるプログラムを記憶するとともに、ＤＳＰ７及びＣＰＵ８のプログラム実行中に作業領域として利用される。ＤＳＰ７は、入力された音声信号を解析する。ＣＰＵ８は、楽曲結合装置１００ａ全体の制御を実行する。

（楽曲結合装置の機能構成例）
次に、楽曲結合装置１００ａの機能ブロック図を図２に示す。図２に示す楽曲結合装置１００ａは、図１に示したＡ／Ｄ変換器２、ＭＰ３コーデック３、及びＤ／Ａ変換器４に加えて、楽曲コンテンツ抽出部７０と、カット点検出部７１と、品質判定部７２ａと、カット点情報記憶部９２と、品質情報記憶部９３と、一致検出部８１ａと、セグメント化部８２ａと、位置合わせ処理部８３と、セグメント選択部８４ａと、セグメント結合部８５ａと、制御部８０ａと、楽曲コンテンツ記憶部９１とを備えている。

楽曲コンテンツ抽出部７０、カット点検出部７１、及び品質判定部７２ａのそれぞれの機能は、図１のＤＳＰ７により実現される。一致検出部８１ａ、セグメント化部８２ａ、位置合わせ処理部８３、セグメント選択部８４ａ、セグメント結合部８５ａ、及び制御部８０ａのそれぞれの機能は、図１のＣＰＵ８により実現される。カット点情報記憶部９２、品質情報記憶部９３、及び楽曲コンテンツ記憶部９１は、図１のＨＤＤ９内に構成される。

楽曲コンテンツ抽出部７０は、Ａ／Ｄ変換器２からのデジタル音声データから楽曲コンテンツを抽出する。制御部８０ａは、楽曲コンテンツ抽出部７０が抽出した楽曲コンテンツをＭＰ３コーデック３に供給する。ＭＰ３コーデック３は、楽曲コンテンツを圧縮符号化する。圧縮符号化された楽曲コンテンツは、楽曲コンテンツ記憶部９１に記録される。

カット点検出部７１は、楽曲コンテンツ抽出部７０が抽出した楽曲コンテンツから特徴量を算出し、特徴量が閾値を超えた時点をカット点として検出する。ここで「特徴量」としては、例えば音声信号のパワーの単位時間当たりの変化量が利用できる。カット点検出部７１の詳細については後述する。

カット点情報記憶部９２は、カット点検出部７１が検出したカット点に関する情報を記憶する。具体的には、カット点情報記憶部９２は、各楽曲コンテンツを識別する楽曲コンテンツ識別子と、各楽曲コンテンツのカット点数とを対応付けたカット点数情報を記憶するとともに、各カット点を識別するカット点識別子と、各カット点の検出時刻（楽曲コンテンツの開始時刻からの経過時刻）とを対応付けたカット点時刻情報を記憶する。以下、上記カット点数情報とカット点時刻情報とを併せて「カット点情報」と呼ぶ。

このように、新たな楽曲コンテンツが楽曲コンテンツ記憶部９１に記録される際には、当該新たな楽曲コンテンツのカット点情報も同時にカット点情報記憶部９２に記録される。

品質判定部７２ａは、楽曲コンテンツの品質を判定する。楽曲コンテンツの品質判定基準としては、雑音のレベル又はトークの尤度の少なくとも一方が利用できる。以下では、楽曲コンテンツの品質判定基準として、雑音のレベル及びトークの尤度の両方を利用する場合について説明する。

品質判定部７２ａは、隣接する２つのカット点により区分される「セグメント」毎に品質を判定しても良く、楽曲コンテンツの所定時間毎の品質を判定しても良い。ここでは品質判定部７２ａが、セグメント毎に楽曲コンテンツの品質を判定する場合について説明する。

楽曲コンテンツの品質判定基準としてトークの尤度を利用する場合、音声認識技術を使用したクラスタリングにより、楽曲コンテンツとトークとを区別することが可能である。なお、「トーク」とは、上述したように、楽曲コンテンツに付加されている音声信号であり、例えば、ディスクジョッキー（ＤＪ）による曲紹介等がこれに該当する。

品質情報記憶部９３は、品質判定部７２ａが判定した各セグメントの品質を品質情報として記憶する。具体的には、各セグメントを識別するセグメント識別子と、各セグメントの品質情報（雑音レベル、トークの尤度）とを対応付けて記憶する。

一致検出部８１ａは、カット点情報記憶部９２に記憶されたカット点情報に基づき、新たに記録された楽曲コンテンツと過去に記録された楽曲コンテンツとの重複を検出する。一例として、一致検出部８１ａは、上記カット点情報に基づき、各楽曲コンテンツのカット点の数が同じであるか否かを判定する。各楽曲コンテンツのカット点の数が同じであれば、上記カット点時刻情報に基づき、各楽曲コンテンツにおいて、１つ目のカット点と２つ目のカット点の時間を計算する。このカット点区間の時間が２つの楽曲コンテンツの間で同じであれば、一致検出部８１ａは、次のカット点間の時間を計算し、最後のカット点まで繰り返す。２つの楽曲コンテンツにおいてすべてのカット点間の時間が同じであれば楽曲コンテンツが重複していると判定される。

一致検出部８１ａによって重複する２つの楽曲コンテンツが検出された場合、制御部８０ａは、重複する２つの楽曲コンテンツを楽曲コンテンツ記憶部９１から取得し、ＭＰ３コーデック３により各楽曲コンテンツを復号化する。復号化された各楽曲コンテンツは、セグメント化部８２ａに供給される。

セグメント化部８２ａは、上記カット点情報を用いて、各楽曲コンテンツを複数のセグメントに分割する。詳細には、セグメント化部８２ａは、新たに記録された楽曲コンテンツのカット点情報を用いて、新たに記録された楽曲コンテンツをセグメント化するとともに、過去に記録された楽曲コンテンツのカット点情報を用いて、過去に記録された楽曲コンテンツをセグメント化する。セグメント化された各楽曲コンテンツは、位置合わせ処理部８３に供給される。

位置合わせ処理部８３は、各楽曲コンテンツにおける相対位置を一致させるため、各楽曲コンテンツの最初のカット点の位置を一致させる。相対位置を一致させることで、対応するセグメントを明らかにする。なお、セグメントとは、上述したように、隣り合う２つカット点で挟まれた楽曲コンテンツの一部である。位置合わせ処理後の各楽曲コンテンツは、セグメント選択部８４ａに供給される。

セグメント選択部８４ａは、品質情報記憶部９３に記憶された各楽曲コンテンツの品質情報に基づき、各楽曲コンテンツにおいて時間的位置の等しい各セグメント間で、最も品質の高いセグメントを選択する。つまり、セグメント選択部８４ａは、各楽曲コンテンツの各セグメントの雑音レベルやトークの尤度を品質情報記憶部９３から読み出し、より低雑音であるセグメント、もしくは、より低いトークの尤度をもつセグメントを選択する。セグメント選択部８４ａによって選択されたセグメントは、セグメント結合部８５ａに供給される。

セグメント結合部８５ａは、セグメント選択部８４ａによって選択されたセグメントを順次結合して１つの楽曲コンテンツを得る。ここで、各セグメントは、カット点を接点にして結合される。セグメント結合部８５ａが作成した楽曲コンテンツは、制御部８０ａに供給される。

制御部８０ａは、セグメント結合部８５ａから供給される楽曲コンテンツを、ＭＰ３コーデック３を用いて圧縮符号化し、圧縮符号化後の楽曲コンテンツを楽曲コンテンツ記憶部９１に記憶する。その際、制御部８０ａは、結合対象となった元の各楽曲コンテンツを楽曲コンテンツ記憶部９１から削除する。

（カット点検出部の構成例）
次に、カット点検出部７１の機能ブロック図を図３に示す。カット点検出部７１は、パワー算出部７１１と、微分演算部７１２と、閾値比較部７１３と、カット点記録処理部７１４とを備えている。

パワー算出部７１１は、図４に示すように、時間領域において、楽曲コンテンツから音声信号のパワーを算出する。

微分演算部７１２は、音声信号のパワーの変化を検知するため、特徴量として音声信号のパワーを微分する。図５に示すように、時刻Ｔ前後の所定の期間Ｗ１における平均パワーの差の絶対値が、微分値として算出される。微分された結果、パワーの変化が大きい期間は微分値が大きくなる。

閾値比較部７１３は、微分演算部７１２が算出した所定の期間での微分値（特徴量）が所定の閾値以上であれば、当該期間は音声信号の変化が大きいことを意味し、図４に示すように、当該期間の始点又は終点をカット点として検出する。なお、所定の閾値は、楽曲の種類（ジャンル、曲調等）によって変更しても良い。

カット点記録処理部７１４は、閾値比較部７１３によって検出されたカット点に関する情報をカット点情報記憶部９２に記録する。

なお、図３の構成に限らず、周波数領域において周波数分析を行い、特定の周波数帯域でのパワーが閾値を越え、ある時間その状態が続いたときに、音声の変化が大きいとして、カット点として検出する構成でも良い。

（セグメント選択部及びセグメント結合部の動作例）
次に、図６の波形図を用いて、セグメント選択部８４ａ及びセグメント結合部８５ａの動作を説明する。

図６（ａ）及び（ｂ）は、異なる時刻に記録された、同一の楽曲コンテンツの音声波形を示している。図６（ａ）及び（ｂ）に示す音声波形においては、カット点１〜３の合計３つのカット点が検出されている。

図６（ａ）のカット点１及び２で区分されるセグメントは、雑音及びトークの少ないセグメントである。図６（ａ）のカット点２及び３で区分されるセグメントは、雑音が多いセグメントである。

また、図６（ｂ）のカット点１及び２で区分されるセグメントは、トークの多いセグメントである。図６（ｂ）のカット点２及び３で区分されるセグメントは、雑音の少ないセグメントである。

セグメント選択部８４ａは、図６（ａ）のカット点１及び２で区分されるセグメントと、図６（ｂ）のカット点１及び２で区分されるセグメントとを比較評価し、図６（ａ）のカット点１及び２で区分されるセグメントを選択する。

セグメント選択部８４ａは、図６（ａ）のカット点２及び３で区分されるセグメントと、図６（ｂ）のカット点２及び３で区分されるセグメントとを比較評価し、図６（ｂ）のカット点２及び３で区分されるセグメントを選択する。

この結果、セグメント結合部８５ａは、図６（ｃ）に示すように、図６（ａ）のカット点１及び２で区分されるセグメントと、図６（ｂ）のカット点２及び３で区分されるセグメントとを、カット点２を接点として結合する。このようにして、雑音及びトークの少ない楽曲コンテンツが作成される。

（楽曲録音処理フロー例）
次に、図７に示すフローチャートを参照して、第１実施形態に係る楽曲録音処理フローの一例について説明する。

図７のステップＳ１０１において、図２に示すチューナ１は、例えばラジオ放送等の放送信号を受信し、放送信号から音声信号を復調する。

ステップＳ１０２において、Ａ／Ｄ変換器２は、ステップＳ１０１で得られた音声信号をデジタル信号データに変換する。

ステップＳ１０３において、楽曲コンテンツ抽出部７０は、ステップＳ１０２で得られたデジタル音声データから、楽曲コンテンツを抽出する。

ステップＳ１０４において、ＭＰ３コーデック３は、ステップＳ１０３で得られた楽曲コンテンツを圧縮符号化する。

ステップＳ１０５において、制御部８０ａは、ステップＳ１０４で圧縮符号化された楽曲コンテンツを楽曲コンテンツ記憶部９１に記憶する。

一方、ステップＳ１０６において、図３に示すパワー算出部７１１は、ステップＳ１０３で得られた楽曲コンテンツから音声信号のパワーを算出する。更に、微分演算部７１２は、パワー算出部７１１が算出した音声信号のパワーを微分する。

ステップＳ１０７において、閾値比較部７１３は、ステップＳ１０６で算出された微分値がある閾値以上であれば、その時刻をカット点として検出する。閾値比較部７１３が検出したカット点の情報は、図１のカット点情報記憶部９２に記録される。

ステップＳ１０８において、図１に示す品質判定部７２ａは、ステップＳ１０３で抽出された楽曲コンテンツの雑音レベルをセグメント単位で判定する。

ステップＳ１０９において、品質判定部７２ａは、ステップＳ１０３で抽出された楽曲コンテンツのトークの尤度をセグメント単位で判定する。ステップＳ１０８及びステップＳ１０９で判定された雑音レベル及びトークの尤度の情報は、品質情報記憶部９３に記録される。

（楽曲再生処理フロー例）
次に、図８に示すフローチャートを参照して、第１実施形態に係る楽曲再生処理フローの一例について説明する。

図８のステップＳ２０１において、制御部８０ａは、楽曲コンテンツ記憶部９１から、圧縮符号化された楽曲コンテンツ（符号化音声データ）を読み出す。

ステップＳ２０２において、ＭＰ３コーデック３は、ステップＳ２０１で読み出された符号化音声データを復号化してデジタル音声データを得る。

ステップＳ２０３において、Ｄ／Ａ変換器４は、ステップＳ２０２で得られたデジタル音声データをアナログ信号に変換して音声信号を得る。

ステップＳ２０４において、スピーカ５は、ステップＳ２０３で得られた音声信号を出力する。

（楽曲結合処理フロー例）
次に、図９に示すフローチャートを参照して、第１実施形態に係る楽曲結合処理フローの一例について説明する。

図９のステップＳ３０１において、図２に示す一致検出部８１ａは、カット点情報記憶部９２に記憶されたカット点情報に基づき、カット点情報の一致判定を実行し、新たに記録された楽曲コンテンツと過去に記録された楽曲コンテンツとの重複を検出する。なお、ステップＳ３０１の詳細については後述する。

ステップＳ３０２において、位置合わせ処理部８３は、楽曲コンテンツの相対位置を一致させるため、各楽曲コンテンツの最初のカット点の位置を一致させる。ステップＳ３０２の詳細については後述する。

ステップＳ３０３において、セグメント選択部８４ａは、各楽曲コンテンツにて時間的位置の等しい各セグメントを、ＭＰ３コーデック３及び制御部８０ａを介して楽曲コンテンツ記憶部９１から取得する。

ステップＳ３０４において、セグメント選択部８４ａは、各楽曲コンテンツにて時間的位置の等しい各セグメントについての品質情報（雑音レベル、トークの尤度）を、品質情報記憶部９３から取得する。セグメント選択部８４ａは、より低雑音であるセグメント、もしくは、より低いトークの尤度を有するセグメントを選択する。

ステップＳ３０５において、セグメント結合部８５ａは、ステップＳ３０４で選択されたセグメントを、カット点を接点として結合する。

ステップＳ３０６において、制御部８０ａは、各楽曲コンテンツの各セグメントのうち、最後のセグメントまで楽曲結合処理が完了したか否かを判定する。最後のセグメントまで楽曲結合処理が完了したと判定された場合、楽曲結合処理が完了する。最後のセグメントまで楽曲結合処理が完了していないと判定された場合、ステップＳ３０３に処理が戻る。

（一致判定処理フロー例）
次に、図１０に示すフローチャートを参照して、第１実施形態に係る楽曲結合処理における一致判定処理、すなわち図９のステップＳ３０１の詳細について説明する。ただし、一致判定対象の一方の（１曲目の）楽曲コンテンツのカット点の位置をＴ０〜ＴＮとし、他方の（２曲目の）楽曲コンテンツのカット点の位置をＳ０〜ＳＮとする（Ｎ；１以上の整数）。

図１０のステップＳ４０１において、一致検出部８１ａは、変数“ｎ”を０に初期化する。

ステップＳ４０２において、一致検出部８１ａは、各楽曲コンテンツの最後のカット点まで一致判定処理が完了したか否かを判定するため、変数“ｎ”が“Ｎ＋１”よりも小さいか否か判定する。変数“ｎ”が“Ｎ＋１”よりも小さい場合、ステップＳ４０３に移行する。変数“ｎ”が“Ｎ＋１”以上である場合、ステップＳ４０５に移行する。

ステップＳ４０３において、一致検出部８１ａは、隣接する２つのカット点により区分されるセグメントの期間が、各楽曲コンテンツ間で等しいか否かを判定するため、｜Ｔ（ｎ＋１）−Ｔｎ｜と、｜Ｓ（ｎ＋１）−Ｓｎ｜とが、等しいか否かを判定する。｜Ｔ（ｎ＋１）−Ｔｎ｜と、｜Ｓ（ｎ＋１）−Ｓｎ｜とが等しいと判定された場合、ステップＳ４０４に移行する。｜Ｔ（ｎ＋１）−Ｔｎ｜と、｜Ｓ（ｎ＋１）−Ｓｎ｜とが等しくないと判定された場合、ステップＳ４０６に移行する。

ステップＳ４０４において、一致検出部８１ａは、変数“ｎ”をインクリメントし、その後ステップＳ４０２に処理が戻る。

一方、ステップＳ４０５において、一致検出部８１ａは、各楽曲コンテンツの各セグメントの期間がすべて一致しているため、各楽曲コンテンツが一致すると判定する。

これに対してステップＳ４０６において、一致検出部８１ａは、各楽曲コンテンツの各セグメントの期間が一致しないため、各楽曲コンテンツが一致しないと判定する。

（位置合わせ処理フロー例）
次に、図１１に示すフローチャートを参照して、第１実施形態に係る楽曲結合処理における位置合わせ処理、すなわち図９のステップＳ３０２の詳細について説明する。ただし、一致判定対象の一方の（１曲目の）楽曲コンテンツのカット点の位置をＴ０〜ＴＮとし、他方の（２曲目の）楽曲コンテンツのカット点の位置をＳ０〜ＳＮとする（Ｎ；１以上の整数）。

図１１のステップＳ５０１において、位置合わせ処理部８３は、２つの楽曲コンテンツの最初のカット点Ｓ０，Ｔ０の時間的位置を一致させる。

ステップＳ５０２において、位置合わせ処理部８３は、変数“ｎ”を０に初期化する。

ステップＳ５０３において、位置合わせ処理部８３は、各楽曲コンテンツの最後のカット点まで位置合わせ処理が完了したか否かを判定するため、変数“ｎ”が“Ｎ＋１”よりも小さいか否か判定する。変数“ｎ”が“Ｎ＋１”よりも小さい場合、ステップＳ５０４に移行する。変数“ｎ”が“Ｎ＋１”以上である場合、ステップＳ５０６に移行する。

ステップＳ５０４において、位置合わせ処理部８３は、隣接する２つのカット点により区分されるセグメントの期間が、各楽曲コンテンツ間で等しいか否かを判定するため、｜Ｔ（ｎ＋１）−Ｔｎ｜と、｜Ｓ（ｎ＋１）−Ｓｎ｜とが、等しいか否かを判定する。｜Ｔ（ｎ＋１）−Ｔｎ｜と、｜Ｓ（ｎ＋１）−Ｓｎ｜とが等しいと判定された場合、ステップＳ５０５に移行する。｜Ｔ（ｎ＋１）−Ｔｎ｜と、｜Ｓ（ｎ＋１）−Ｓｎ｜とが等しくないと判定された場合、位置合わせ処理が終了する。

ステップＳ５０５において、位置合わせ処理部８３は、変数“ｎ”をインクリメントし、その後ステップＳ５０３に処理が戻る。

ステップＳ５０６において、位置合わせ処理部８３は、２つの楽曲コンテンツの最初のカット点Ｓ０，Ｔ０の時間的位置の差を記録する。

（作用及び効果）
以上詳細に説明したように、第１実施形態によれば、上記カット点により各楽曲コンテンツを複数のセグメントに分割し、品質の高いセグメントを集めて１つの楽曲コンテンツを作成するので、高品質な楽曲コンテンツを作成できる。

また、第１実施形態によれば、楽曲コンテンツから、音声信号のパワーを特徴量として抽出するので、楽曲コンテンツに対して最適な特徴量を得ることができる。

更に、第１実施形態によれば、各セグメントの品質判定基準として雑音及びトークの尤度を用いるので、雑音及びトークの少ない楽曲コンテンツを作成可能となる。

第１実施形態によれば、重複する複数の楽曲コンテンツを楽曲コンテンツ記憶部９１から削除して、上記結合して得られた１つの楽曲コンテンツを楽曲コンテンツ記憶部９１に記憶するので、楽曲コンテンツ記憶部９１の記憶容量を削減できる。

［第１実施形態の変形例]
上述した第１実施形態においては、上記結合して得られた１つの楽曲コンテンツを楽曲コンテンツ記憶部９１に記憶するとともに、結合対象となった複数の楽曲コンテンツを楽曲コンテンツ記憶部９１から削除する場合について説明した。第１実施形態の変形例においては、結合対象となった複数の楽曲コンテンツを楽曲コンテンツ記憶部９１から削除しない構成について説明する。

（楽曲結合装置の機能構成例）
次に、第１実施形態の変形例に係る楽曲結合装置１００ｂの機能ブロック図を図１２に示す。楽曲結合装置１００ｂは、セグメント選択部８４ａによって選択されたセグメントに関する情報（例えばセグメント識別子）をプレイリストとして記憶するプレイリスト記憶部９４を備えている点で、図２とは異なっている。

制御部８０ｂは、楽曲コンテンツの再生時において、プレイリスト記憶部９４に記憶されたプレイリストに従って、楽曲コンテンツ記憶部９１から複数の楽曲コンテンツをセグメント単位で読み出す。

セグメント結合部８５ｂは、楽曲コンテンツ記憶部９１から読み出されたセグメントを順次結合して１つの楽曲コンテンツを得る。

（作用及び効果）
第１実施形態の変形例によれば、品質の高いセグメントの情報を記録しおき、再生時において結合処理を実行するので、高品質な楽曲コンテンツを作成できるとともに、楽曲コンテンツの保存性に優れた構成とすることができる。つまり、重複する複数の楽曲コンテンツを楽曲コンテンツ記憶部９１から削除することなく、プレイリストで管理するので、元の楽曲コンテンツをそのままの状態で保存することができる。

［第２実施形態］
以下の第２実施形態においては、第１実施形態と異なる点を主に説明し、重複する説明を省略する。

（楽曲結合装置の機能構成例）
本発明の第２実施形態に係る楽曲結合装置１００ｃの機能ブロック図を図１３に示す。楽曲結合装置１００ｃは、図２で示したカット点情報記憶部９２、品質情報記憶部９３、及び位置合わせ処理部８３を備えていない点で、図２とは異なっている。

楽曲コンテンツ抽出部７０は、Ａ／Ｄ変換器２からのデジタル音声データから楽曲コンテンツを抽出する。制御部８０ａは、楽曲コンテンツ抽出部７０が抽出した楽曲コンテンツをＭＰ３コーデック３に供給する。ＭＰ３コーデック３は、楽曲コンテンツを圧縮符号化する。圧縮符号化された楽曲コンテンツは、楽曲コンテンツ記憶部９１に記録される。

一致検出部８１ｂは、楽曲コンテンツ抽出部７０が抽出した楽曲コンテンツと、楽曲コンテンツ記憶部９１に記録された楽曲コンテンツとの一致を検出する。具体的には、一致検出部８１ｂは、楽曲コンテンツ記憶部９１に記録された各楽曲コンテンツを、ＭＰ３コーデック３及び制御部８０ｃを介して順次取得する。一致検出部８１ｂは、当該取得した楽曲コンテンツと、楽曲コンテンツ抽出部７０が抽出した楽曲コンテンツとを、音声波形のマッチングにより一致判定を行う。重複する２つの楽曲コンテンツが検出された場合、当該２つの楽曲コンテンツはカット点検出部７１に供給される。

カット点検出部７１は、一致検出部８１ｂから供給される２つの楽曲コンテンツのうち、一方の楽曲コンテンツからカット点を検出する。カット点の検出手法については、第１実施形態と同様である。

セグメント化部８２ｂは、カット点検出部７１が検出したカット点情報を用いて、重複する２つの楽曲コンテンツをそれぞれセグメント化する。具体的には、セグメント化部８２ｂは、上記一方の楽曲コンテンツから検出されたカット点情報を、他方の楽曲コンテンツについても適用することで、重複する２つの楽曲コンテンツのカット点を完全一致させる。したがって、第２実施形態においては、図２に示した位置合わせ処理部８３を不要としている。

品質判定部７２ｂは、各楽曲コンテンツの品質をセグメント毎に判定する。各セグメントの品質判定手法については、第１実施形態と同様である。

セグメント選択部８４ｂは、品質判定部７２ｂが判定した品質情報に基づき、各楽曲コンテンツにおいて時間的位置の等しい各セグメント間で、最も品質の高いセグメントを選択する。

セグメント結合部８５ｂは、セグメント選択部８４ｂによって選択されたセグメントを順次結合して１つの楽曲コンテンツを得る。セグメント結合部８５ｂが作成した楽曲コンテンツは、制御部８０ｃに供給される。

制御部８０ｃは、セグメント結合部８５ｂから供給される楽曲コンテンツを、ＭＰ３コーデック３を用いて圧縮符号化し、圧縮符号化後の楽曲コンテンツを楽曲コンテンツ記憶部９１に記憶する。その際、制御部８０ｃは、結合対象となった元の各楽曲コンテンツを楽曲コンテンツ記憶部９１から削除する。

（楽曲録音処理フロー例）
次に、図１４に示すフローチャートを参照して、第２実施形態に係る楽曲録音処理フローの一例について説明する。

図１４のステップＳ６０１において、図１３に示すチューナ１は、例えばラジオ放送等の放送信号を受信し、放送信号から音声信号を復調する。

ステップＳ６０２において、Ａ／Ｄ変換器２は、ステップＳ６０１で得られた音声信号をデジタル信号データに変換する。

ステップＳ６０３において、楽曲コンテンツ抽出部７０は、ステップＳ６０２で得られたデジタル音声データから、楽曲コンテンツを抽出する。

ステップＳ６０４において、ＭＰ３コーデック３は、ステップＳ６０３で得られた楽曲コンテンツを圧縮符号化する。

ステップＳ６０５において、制御部８０ｃは、ステップＳ６０４で圧縮符号化された楽曲コンテンツを楽曲コンテンツ記憶部９１に記憶する。

（楽曲結合処理フロー例）
次に、図１５に示すフローチャートを参照して、第２実施形態に係る楽曲結合処理フローの一例について説明する。

図１５のステップＳ７０１において、図１３に示す一致検出部８１ｂは、上述した音声波形のマッチングにより、新たに記録された楽曲コンテンツと過去に記録された楽曲コンテンツとの重複を検出する。

ステップＳ７０２において、図３に示すパワー算出部７１１は、ステップＳ７０１で得られた重複する２つの楽曲コンテンツのうち一方の楽曲コンテンツから音声信号のパワーを算出する。更に、微分演算部７１２は、パワー算出部７１１が算出した音声信号のパワーを微分する。

ステップＳ７０３において、閾値比較部７１３は、ステップＳ７０２で算出された微分値がある閾値以上であれば、その時刻をカット点として検出する。当該検出されたカット点は、上記重複する２つの楽曲コンテンツのうち他方の楽曲コンテンツにマッピングされる。

ステップＳ７０４において、セグメント選択部８４ｂは、各楽曲コンテンツにおいて時間的位置の等しい各セグメントを取得する。

ステップＳ７０５において、品質判定部７２ｂは、ステップＳ７０４で取得された各セグメントの雑音レベルを判定する。

ステップＳ７０６において、品質判定部７２ｂは、ステップＳ７０４で取得された各セグメントのトークの尤度を判定する。

ステップＳ７０７において、セグメント選択部８４ｂは、ステップＳ７０５及びステップＳ７０６で判定された品質情報（雑音レベル、トークの尤度）に基づき、より低雑音であるセグメント、もしくは、より低いトークの尤度を有するセグメントを選択する。さらに、セグメント結合部８５ｂは、セグメント選択部８４ｂが選択したセグメントを、カット点を接点として結合する。

ステップＳ７０８において、制御部８０ｃは、各楽曲コンテンツの各セグメントのうち、最後のセグメントまで楽曲結合処理が完了したか否かを判定する。最後のセグメントまで楽曲結合処理が完了したと判定された場合、楽曲結合処理が完了する。最後のセグメントまで楽曲結合処理が完了していないと判定された場合、ステップＳ７０４に処理が戻る。

（作用及び効果）
以上詳細に説明したように、第２実施形態によれば、第１実施形態と同様に、カット点により各楽曲コンテンツを複数のセグメントに分割し、品質の高いセグメントを集めて１つの楽曲コンテンツを作成するので、高品質な楽曲コンテンツを作成できる。

更に、第２実施形態によれば、重複する２つの楽曲コンテンツのうち、一方の楽曲コンテンツから検出されたカット点情報を、他方の楽曲コンテンツについても適用することで、各楽曲コンテンツのカット点を完全一致させる。したがって、第２実施形態においては、図２に示した位置合わせ処理部８３を不要とすることができる。

［その他の実施形態］
上記のように、本発明は第１及び第２実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなる。

上述した実施形態においては、楽曲コンテンツの特徴量として、音声信号のパワーの単位時間当たりの変化量を使用する場合について説明した。その他の実施形態として、図１６に示すように、楽曲コンテンツの特徴量として、音声信号の周波数の単位時間当たりの変化量を使用しても良い。

また、上述した実施形態においては、ラジオ放送を受信して、楽曲コンテンツを記録する録音再生装置の例について説明した。しかしながら、インターネット網等の通信網を利用した放送を受信しても良く、ＣＤ等から読み出された楽曲コンテンツを録音・再生しても良い。

更に、上述した実施形態においては、２つの重複する楽曲コンテンツを結合する一例について説明した。しかしながら、３つ以上の重複する楽曲コンテンツを結合する場合に適用可能である。３つ以上の重複する楽曲コンテンツを結合する場合、２つの重複する楽曲コンテンツを結合する場合よりも高品質な楽曲コンテンツを作成可能となる。

上述した実施形態においては、楽曲コンテンツ等を記憶するためにＨＤＤを用いる一例を説明したが、ＨＤＤに限らず、フラッシュメモリ等の半導体記憶装置を用いてもかまわない。

また、上述した実施形態で説明した各処理フローをコンピュータプログラムとして実装し、パーソナルコンピュータ（ＰＣ）に実行させることが可能である。

このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。

第１実施形態に係る楽曲録音再生装置のハードウェア構成例を示すブロック図である。 第１実施形態に係る楽曲結合装置の機能構成例を示す機能ブロック図である。 第１実施形態に係るカット点検出部の機能構成例を示す機能ブロック図である。 第１実施形態に係るパワー算出部の動作を説明するための波形図である。 第１実施形態に係る微分演算部の動作を説明するための波形図である。 第１実施形態に係るセグメント選択部及びセグメント結合部の動作を説明するための波形図である。 第１実施形態に係る楽曲録音処理フロー例を示すフローチャートである。 第１実施形態に係る楽曲再生処理フロー例を示すフローチャートである。 第１実施形態に係る楽曲結合処理フロー例を示すフローチャートである。 第１実施形態に係る楽曲結合処理における一致判定処理フロー例を示すフローチャートである。 第１実施形態に係る楽曲結合処理における位置合わせ処理フロー例を示すフローチャートである。 第１実施形態の変形例に係る楽曲結合装置の機能構成例を示す機能ブロック図である。 第２実施形態に係る楽曲結合装置の機能構成例を示す機能ブロック図である。 第２実施形態に係る楽曲録音処理フロー例を示すフローチャートである。 第２実施形態に係る楽曲結合処理フロー例を示すフローチャートである。 その他の実施形態に係るカット点検出動作を説明するための波形図である。

符号の説明

１…チューナ
２…Ａ／Ｄ変換器
３…ＭＰ３コーデック
４…Ｄ／Ａ変換器
５…スピーカ
６…バス
７…ＤＳＰ
８…ＣＰＵ
９…ＨＤＤ
１０…メモリ
７０…楽曲コンテンツ抽出部
７１…カット点検出部
７２ａ，７２ｂ…品質判定部
８０ａ〜８０ｃ…制御部
８１ａ，８１ｂ…一致検出部
８２ａ，８２ｂ…セグメント化部
８３…位置合わせ処理部
８４ａ，８４ｂ…セグメント選択部
８５ａ，８５ｂ…セグメント結合部
９１…楽曲コンテンツ記憶部
９２…カット点情報記憶部
９３…品質情報記憶部
９４…プレイリスト記憶部
１００ａ〜１００ｃ…楽曲結合装置
７１１…パワー算出部
７１２…微分演算部
７１３…閾値比較部
７１４…カット点記録処理部

Claims (8)

1. 複数の楽曲コンテンツを結合する楽曲結合装置であって、
   前記複数の楽曲コンテンツの少なくとも１つから特徴量を算出して、前記特徴量が閾値を超えた時点をカット点として検出するカット点検出部と、
   前記カット点を用いて、各楽曲コンテンツを複数のセグメントに分割するセグメント化部と、
   各楽曲コンテンツの各セグメントの品質を判定する品質判定部と、
   前記品質の判定結果に基づき、各楽曲コンテンツにおいて時間的位置の等しい各セグメント間で、最も品質の高いセグメントを選択するセグメント選択部と、
   前記選択されたセグメントを順次結合して１つの楽曲コンテンツを得るセグメント結合部と
   を備えることを特徴とする楽曲結合装置。
2. 前記カット点検出部は、前記特徴量として、音声信号のパワー又は周波数の単位時間当たりの変化量を算出することを特徴とする請求項１に記載の楽曲結合装置。
3. 前記品質判定部は、各セグメントに含まれるノイズのレベルに応じて、各セグメントの品質を判定することを特徴とする請求項１又は２に記載の楽曲結合装置。
4. 前記品質判定部は、各セグメントに楽曲以外の音声信号が付加されていることの尤度に応じて、各セグメントの品質を判定することを特徴とする請求項１又は２に記載の楽曲結合装置。
5. 前記複数の楽曲コンテンツを記憶する楽曲コンテンツ記憶部と、
   前記結合して得られた１つの楽曲コンテンツを前記楽曲コンテンツ記憶部に記憶するとともに、前記複数の楽曲コンテンツを前記楽曲コンテンツ記憶部から削除する制御部と
   を更に備えることを特徴とする請求項１〜４のいずれか１項に記載の楽曲結合装置。
6. 前記複数の楽曲コンテンツを記憶する楽曲コンテンツ記憶部と、
   前記選択されたセグメントに関する情報をプレイリストとして記憶するプレイリスト記憶部と、
   前記記憶されたプレイリストに従って、前記楽曲コンテンツ記憶部から前記複数の楽曲コンテンツをセグメント単位で読み出す制御部とを更に備え、
   前記セグメント結合部は、前記楽曲コンテンツ記憶部から読み出されたセグメントを前記選択されたセグメントとして順次結合することを特徴とする請求項１〜４のいずれか１項に記載の楽曲結合装置。
7. 複数の楽曲コンテンツを結合する楽曲結合方法であって、
   前記複数の楽曲コンテンツの少なくとも１つから特徴量を算出して、前記特徴量が閾値を超えた時点をカット点として検出するステップと、
   前記カット点を用いて、各楽曲コンテンツを複数のセグメントに分割するステップと、
   各楽曲コンテンツの各セグメントの品質を判定するステップと、
   前記品質の判定結果に基づき、各楽曲コンテンツにおいて時間的位置の等しい各セグメント間で、最も品質の高いセグメントを選択するステップと、
   前記選択されたセグメントを順次結合して１つの楽曲コンテンツを得るステップと
   を含むことを特徴とする楽曲結合方法。
8. 複数の楽曲コンテンツを結合する楽曲結合プログラムであって、コンピュータに、
   前記複数の楽曲コンテンツの少なくとも１つから特徴量を算出して、前記特徴量が閾値を超えた時点をカット点として検出する手順と、
   前記カット点を用いて、各楽曲コンテンツを複数のセグメントに分割する手順と、
   各楽曲コンテンツの各セグメントの品質を判定する手順と、
   前記品質の判定結果に基づき、各楽曲コンテンツにおいて時間的位置の等しい各セグメント間で、最も品質の高いセグメントを選択する手順と、
   前記選択されたセグメントを順次結合して１つの楽曲コンテンツを得る手順と
   を実行させることを特徴とする楽曲結合プログラム。

Images