WO2014203870A1

WO2014203870A1 - 演奏システム、演奏方法及び演奏プログラム

Info

Publication number: WO2014203870A1
Application number: PCT/JP2014/065945
Authority: WO
Inventors: 上原　春喜
Original assignee: ヤマハ株式会社
Priority date: 2013-06-17
Filing date: 2014-06-16
Publication date: 2014-12-24
Also published as: JPWO2014203870A1; US20160133243A1

Abstract

　ユーザが再生対象となる演奏データを特定するときに、その特定を視覚的に容易に行い得るようにする。演奏者が演奏装置（１００）を用いて演奏するときに、撮像装置（２００）がその演奏の様子を撮像する。演奏を示す演奏データは、そのときに演奏日時とともに、演奏記録サーバ装置（４００）に記録される。また、画像を示す画像データは、そのときの撮像日時とともに、画像記録サーバ装置（３００）に記録される。演奏を再生したい場合、ユーザは、画像記録サーバ装置（３００）に記録されている画像の中から所望する演奏時の画像を視覚的に選択する。選択された画像の撮像日時に近い演奏日時の演奏データが演奏記録サーバ装置（４００）にて特定され、その演奏データに基づいて演奏装置（１００）にて演奏が再生される。

Description

演奏システム、演奏方法及び演奏プログラム

　本発明は、演奏に関係する情報を記録し、その演奏を再生するための技術に関する。

　鍵盤の操作内容を表す演奏データを記録する装置として、特許文献１に開示された演奏記録装置がある。この演奏記録装置は、演奏データ記録モードにおいては、鍵盤の操作に基いて時系列的に生成された演奏データと時刻情報とを組にして一時記憶領域に記憶させ、複数の演奏データを一まとめにした演奏記録ファイルを外部記憶装置に記憶させる。そして、この演奏記録装置は、演奏データ再生モードにおいては、ユーザが選択した時刻に対応する演奏記録ファイルを検索し、検索された演奏記録ファイルを再生する。

特開２００８－２３３５７４号公報

　記録される演奏データは膨大な数になることもあるため、ユーザがこれらのデータ群から再生対象となる演奏データを選択するときには、その選択ができるかぎり容易であることが望ましい。そこで、本発明は、ユーザが再生対象となる演奏データを特定するときに、その特定を視覚的に容易に行い得るようにすることを目的とする。

　本発明の１の態様は、演奏を示す演奏データと、当該演奏がなされた日時に関連する演奏日時データとを対応付けて記憶する第１記憶手段と、画像を示す画像データと、当該画像の撮像または記録に関連する日時を示す画像日時データとを対応付けて記憶する第２記憶手段と、前記第２記憶手段に記憶された画像データのうちユーザによって選択された画像データに対応付けられた前記画像日時データを特定し、前記第１記憶手段において、特定された前記画像日時データと所定の関係である前記演奏日時データに対応付けられた演奏データを演奏装置に送信する送信手段とを備えることを特徴とする演奏記録装置を提供する。

　また、本発明の他の態様は、画像を撮像する撮像装置と、演奏データに基づいて演奏を行う演奏装置と、演奏者が行った演奏を示す演奏データを記録する演奏記録装置とを備え、前記演奏記録装置は、演奏を示す演奏データと、当該演奏がなされた日時に関連する演奏日時データとを対応付けて記憶する第１記憶手段と、画像を示す画像データと、前記撮像装置を用いた当該画像の撮像または記録に関連する日時を示す画像日時データとを対応付けて記憶する第２記憶手段と、前記第２記憶手段に記憶された画像データのうちユーザによって選択された画像データに対応付けられた前記画像日時データを特定し、前記第１記憶手段において、特定された前記画像日時データと所定の関係である前記演奏日時データに対応付けられた演奏データを演奏装置に送信する送信手段とを有することを特徴とする演奏記録再生システムを提供する。

　また、本発明の他の態様は、演奏を示す複数の演奏データと、該複数の演奏データにそれぞれ関連付けられるとともに、前記複数の演奏がなされたそれぞれの日時に関連する複数の演奏日時データとを取得する第1の取得手段と、画像を示す複数の画像データと、該複数の画像データにそれぞれ関連付けられるとともに、該複数の画像の撮像または記録に関連するそれぞれの日時を示す複数の画像日時データと、を取得する第２の取得手段と、前記複数の画像データのうちユーザによって選択された前記画像データに関連付けられた前記画像日時データ及び前記複数の演奏日時データに基づいて、前記複数の演奏データのうちから１の演奏データを特定する特定手段と、前記特定された１の演奏データを送信する送信手段と、を含むことを特徴とする演奏システムである。

　また、本発明の他の態様は、演奏を示す複数の演奏データと、該複数の演奏データにそれぞれ関連付けられるとともに、前記複数の演奏がなされたそれぞれの日時に関連する複数の演奏日時データとを取得し、画像を示す複数の画像データと、該複数の画像データにそれぞれ関連付けられるとともに、該複数の画像の撮像または記録に関連するそれぞれの日時を示す複数の画像日時データと、を取得し、前記複数の画像データのうちユーザによって選択された前記画像データに関連付けられた前記画像日時データ及び前記複数の演奏日時データに基づいて、前記複数の演奏データのうちから１の演奏データを特定し、前記特定された１の演奏データを送信する、ことを特徴とする演奏方法である。

　また、本発明の他の態様は、演奏を示す複数の演奏データと、該複数の演奏データにそれぞれ関連付けられるとともに、前記複数の演奏がなされたそれぞれの日時に関連する複数の演奏日時データとを取得し、画像を示す複数の画像データと、該複数の画像データにそれぞれ関連付けられるとともに、該複数の画像の撮像または記録に関連するそれぞれの日時を示す複数の画像日時データと、を取得し、前記複数の画像データのうちユーザによって選択された前記画像データに関連付けられた前記画像日時データ及び前記複数の演奏日時データに基づいて、前記複数の演奏データのうちから１の演奏データを特定し、前記特定された１の演奏データを送信する、命令を含むことを特徴とする演奏プログラムである。

　本発明によれば、ユーザが再生対象となる演奏データを特定するときに、その特定を視覚的に容易に行い得るようになる。

本発明の一実施形態に係る演奏記録再生システム１の全体構成を示した図。演奏装置のハードウェア構成を示した図。撮像装置のハードウェア構成を示した図。画像記録サーバ装置のハードウェア構成を示した図。画像情報の一例を示した図。演奏記録サーバ装置のハードウェア構成を示した図。演奏情報の一例を示した図。演奏を記録するときのシステム全体の動作を説明するシーケンス図。演奏を再生するときのシステム全体の動作を説明するシーケンス図。撮像装置において演奏再生時に画像データを表示する場合の一例を示す図。撮像装置において演奏再生時に画像データを表示する場合の他の一例を示す図。撮像装置において演奏再生時に画像データを表示する場合の他の一例を示す図。撮像装置において演奏再生時に画像データを表示する場合の他の一例を示す図。撮像装置において演奏再生時に画像データを表示する場合の他の一例を示す図。撮像装置において演奏再生時に画像データを表示する場合の他の一例を示す図。

［実施形態］
［演奏記録再生システム１の全体構成］
　図１は、本発明の一実施形態に係る演奏記録再生システム１の全体構成を示した図である。演奏記録再生システム１は、演奏装置１００と、撮像装置２００と、画像記録サーバ装置３００と、演奏記録サーバ装置４００と、移動通信網５００と、インターネット６００とを備えている。画像記録サーバ装置３００及び演奏記録サーバ装置４００は、本発明に係る演奏記録装置を構成する。この演奏記録再生システム１において、演奏者が演奏装置１００を用いて演奏するときに、撮像装置２００がその演奏の様子を撮像する。演奏を示す演奏データは、そのときに演奏日時とともに、演奏記録サーバ装置４００に記録される。また、画像を示す画像データは、そのときの撮像日時とともに、画像記録サーバ装置３００に記録される。演奏を再生したい場合、ユーザは、画像記録サーバ装置３００に記録されている画像の中から所望する演奏時の画像を視覚的に選択する。そうすると、選択された画像の撮像日時に近い演奏日時の演奏データが演奏記録サーバ装置４００にて特定され、その演奏データに基づいて演奏装置１００にて演奏が再生されるようになっている。なお、演奏記録再生システム１には、演奏装置１００、撮像装置２００、画像記録サーバ装置３００及び演奏記録サーバ装置４００を複数備えていてもよいが、図１においては、図面が繁雑になるのを防ぐため、それぞれ一つの装置のみを示している。

　演奏装置１００はユーザの操作に応じて演奏を行う装置である。本実施形態では、演奏装置１００は、演奏データに基づいて演奏を行う自動演奏機能を備えたアコースティックピアノである。撮像装置２００は画像を撮像する装置である。本実施例では、撮像装置２００は、携帯電話機、スマートフォン、タブレット型ＰＣ等の携帯可能な撮像装置である。撮像装置２００は、演奏装置１００との間で情報のやり取りをする第１の通信機能と、移動通信網５００及びインターネット６００（以下、これらを通信網と略称する）を介して画像記録サーバ装置３００や演奏記録サーバ装置４００と通信を行う第２の通信機能とを有する。なお、撮像装置２００は移動通信網５００を介さずにインターネット６００のみを介して画像記録サーバ装置３００や演奏記録サーバ装置４００と通信を行ってもよい。画像記録サーバ装置３００は、撮像装置２００から通信網を介して受信したデータを記憶し、撮像装置２００からの要求に応じて、記憶されたデータを送信する機能を有する。演奏記録サーバ装置４００は、演奏装置１００から通信網を介して受信したデータを記憶し、演奏装置１００や撮像装置２００からの要求に応じて、記憶されたデータを送信する機能を有する。

［演奏装置１００の構成］
　演奏装置１００は、鍵盤の鍵の動きに応じて弦を打弦するアクション機構や、弦の振動を止めるダンパなど、一般的なアコースティックピアノが有する機構と同じ機構を備えるほか、図２に示すような電気的なハードウェア構成を備えている。記憶部１０２は、例えばハードディスクなどの不揮発性記憶手段であり、演奏装置１００を一意に識別する演奏装置ＩＤや、制御部１０１が生成する各種情報やファイルを記憶する。第１通信部１０５は、例えば赤外線やブルートゥース（登録商標）などの無線通信規格又は所定の有線通信規格（例えばＬＡＮ）に従って、撮像装置２００の第１通信部２０８と通信を行う。第２通信部１０６は、例えばＬＡＮにより通信網を介して画像記録サーバ装置３００や演奏記録サーバ装置４００と通信を行う。タッチパネル１０３は、演奏装置１００を操作するための画面などを表示してユーザからの操作を受け付けるユーザインタフェースである。なお、ユーザインタフェースはタッチパネル１０３に限らずディスプレイと操作部によって構成してもよい。

　センサ部１０７は、鍵盤の鍵の動きを検出するセンサを有している。センサは、鍵毎に設けられており、演奏者により鍵が操作されて演奏が行われると、鍵の動きに対応した信号がセンサ部１０７から制御部１０１へ出力される。駆動部１０８は、鍵盤の鍵を駆動するアクチュエータ（例えばソレノイド）を有している。アクチュエータは、鍵盤の鍵毎に設けられている。ＭＩＤＩ（Musical　Instrument　Digital　Interface：登録商標）データに基づいてアクチュエータが駆動されると、鍵が動作し、鍵の動作に応じてアクション機構が動作することにより、打弦がなされる。

　制御部１０１は、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）及びＲＡＭ（Random　Access　Memory）を備えたマイクロコントローラである。ＣＰＵがＲＯＭに記憶されているプログラムを実行することにより、鍵盤の操作に応じてＭＩＤＩデータを生成する機能や、ＭＩＤＩデータに基づいて演奏を行う自動演奏機能や、日時を計る計時機能が実現される。

［撮像装置２００の構成］
　図３は撮像装置２００のハードウェア構成図である。撮像装置２００は、表示部２０１、入力部２０２、収音部２０４、撮像部２０５、第２通信部２０６、放音部２０７、第１通信部２０８、記憶部２０９及び制御部２１０を備えている。表示部２０１は、液晶ディスプレイ等の表示装置である。入力部２０２は、テンキーやタッチパネルなどによって実現され、ユーザによる操作を受け付ける。収音部２０４は、マイクロフォンや音声処理回路からなり、収音する。撮像部２０５は、レンズやイメージセンサや映像信号処理回路からなり、撮像を行う。第２通信部２０６は、アンテナや無線信号処理回路によって実現され、いわゆる３ＧやＬＴＥ（Long　Term　Evolution）、無線ＬＡＮ（Local　Area　Network）といった無線通信規格に従って、通信網を介して画像記録サーバ装置３００及び演奏記録サーバ装置４００と通信を行う。第１通信部２０８は、例えば赤外線やブルートゥース（登録商標）などの無線通信規格又は所定の有線通信規格（例えばＬＡＮ）に従って、演奏装置１００の第１通信部１０５と通信を行う。放音部２０７はスピーカであり、音声通信に用いられるほか、各種情報を音声でユーザに報知する。記憶部２０９は、例えばＥＥＰＲＯＭ（Electronically　Erasable　and　Programmable　ROM）やフラッシュメモリなどの記憶手段であり、制御部２１０によって実行されるプログラムが記憶される。これらのプログラムは、記憶媒体によりあるいはインターネット等を介したダウンロードにより、記憶部２０９に提供されて記憶されてもよい。制御部２１０は、ＣＰＵ、ＲＯＭ及びＲＡＭを備えたマイクロコントローラであり、撮像装置２００の各部の動作を制御する。ＣＰＵがＲＯＭに記憶されているプログラムを実行することにより、例えば日時を計る計時機能が実現される。

［画像記録サーバ装置３００の構成］
　図４は、画像記録サーバ装置３００のハードウェア構成を示すブロック図である。画像記録サーバ装置３００は、制御部３０１と、入出力部３０２と、記憶部３０３と、通信部３０４とを備えたコンピュータである。制御部３０１は、ＣＰＵ等の演算装置と、ＲＯＭ及びＲＡＭなどの記憶装置とを備えている。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部３０３に記憶されたプログラムを実行することによって、画像記録サーバ装置３００の各部の動作を制御する。入出力部３０２は、キーボードやマウス等の入力装置と表示装置である。通信部３０４は通信網に接続されており、通信網を介して通信を行う。記憶部３０３は、例えばハードディスク等の大容量で不揮発性の記憶手段である。記憶部３０３は、制御部３０１が用いるデータ群やプログラム群を記憶しており、例えば画像データベースを記憶している。記憶部３０３は、画像を示す画像データと、当該画像の撮像または記録に関連する日時を示す画像日時データと、演奏装置１００を識別する識別情報である演奏装置ＩＤと、演奏記録再生システム１によって提供されるサービスの対象であることを識別するためのタグ情報であるサービス識別タグとを対応付けて記憶する第２記憶手段として機能する。

　図５は、画像データベースの一例を示す図である。画像データベースにおいては、画像日時データ、演奏装置ＩＤ、画像データ及びサービス識別タグが対応付けられている。画像データは、演奏装置１００によって演奏者が演奏を行う様子が撮像装置２００によって撮像されたときの画像を示すデータである。画像日時データは、画像の撮像または記録に関連する日時を示すデータであり、ここでは、その撮像がなされた日時を示すデータである。演奏装置ＩＤは、演奏装置１００を識別する識別情報である。サービス識別タグは、この演奏記録再生システム１によって提供されるサービスの対象であることを識別するためのタグ情報である。

［演奏記録サーバ装置４００の構成］
　図６は、演奏記録サーバ装置４００のハードウェア構成を示すブロック図である。演奏記録サーバ装置４００は、画像記録サーバ装置３００と同様に、制御部４０１と、入出力部４０２と、記憶部４０３と、通信部４０４とを備えたコンピュータである。制御部４０１は、ＣＰＵ等の演算装置と、ＲＯＭ及びＲＡＭなどの記憶装置とを備えている。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部４０３に記憶されたプログラムを実行することによって、演奏記録サーバ装置４００の各部の動作を制御する。入出力部４０２は、キーボードやマウス等の入力装置と表示装置である。通信部４０４は通信網に接続されており、通信網を介して通信を行う。記憶部４０３は、例えばハードディスク等の大容量で不揮発性の記憶手段である。記憶部４０３は、制御部４０１が用いるデータ群やプログラム群を記憶しており、例えば演奏データベースを記憶している。記憶部４０３は、演奏を示す演奏データと、当該演奏がなされた日時に関連する演奏日時データとを対応付けて記憶する第１記憶手段として機能する。

　図７は、演奏データベースの一例を示す図である。演奏データベースにおいては、演奏ＩＤ、演奏日時データ、演奏装置ＩＤ及びＭＩＤＩデータが対応付けられている。演奏ＩＤは個々の演奏を識別する識別子である。ＭＩＤＩデータは、演奏装置１００における演奏を示す演奏データである。演奏日時データは、演奏がなされた日時に関連するデータであり、ここではその演奏の記録が開始された日時を示すデータである。演奏装置ＩＤは、演奏装置１００を識別する演奏装置ＩＤである。

　画像記録サーバ装置３００の制御部３０１及び演奏記録サーバ装置４００の制御部４０１は、画像記録サーバ装置３００の記憶部３０３（第２記憶手段）に記憶された画像データのうちユーザによって選択された画像データに対応付けられた画像日時データを特定し、演奏記録サーバ装置４００の記憶部４０３（第１記憶手段）において、特定された画像日時データと所定の関係である演奏日時データに対応付けられた演奏データ（ＭＩＤＩデータ）を演奏装置１００に送信する送信手段として機能する。

［演奏記録動作］
　図８は、演奏を記録するときのシステム全体の動作を説明するシーケンス図である。まず、演奏者が演奏装置１００を用いた演奏を開始すると（ステップＳ１）、演奏装置１００の制御部１０１は、演奏結果に応じて生成したＭＩＤＩデータと、その演奏開始の日時を示す日時情報と、その演奏装置１００の演奏装置ＩＤとを含む演奏情報を演奏記録サーバ装置４００に送信する（ステップＳ２）。演奏記録サーバ装置４００の制御部４０１は、これらの演奏情報に新規の演奏ＩＤを割り当てて、記憶部４０３への記録を開始する（ステップＳ３）。

　一方、演奏者の演奏を聴く第３者（または演奏者自身でもよい）は、撮像装置２００を用いて演奏者による演奏の様子を撮像する（ステップＳ４）。撮像装置２００の制御部２１０は、撮像された画像を示す画像データと、その撮像時の日時を示す日時情報と、演奏装置１００の演奏装置ＩＤと、サービス識別タグとを含む画像情報を画像記録サーバ装置３００に送信する（ステップＳ５）。演奏装置ＩＤは、ユーザが撮像装置２００に入力してもよいし、予め撮像装置２００に設定されて記憶部２０９に記憶されていてもよい。画像記録サーバ装置３００の制御部３０１は、この画像情報を記憶部３０３へ記録する（ステップＳ６）。なお、ステップＳ５の前に演奏装置１００が第一の通信機能を介して演奏装置ＩＤを撮像装置２００へ送信し、撮像装置２００が記憶部２０９に演奏装置ＩＤを記憶してもよい。

　演奏者が演奏装置１００を用いた演奏を終えると（ステップＳ７）、演奏装置１００の制御部１０１は、演奏終了の旨を演奏記録サーバ装置４００に通知する（ステップＳ８）。演奏記録サーバ装置４００の制御部４０１は、この通知に応じて、記憶部４０３への演奏情報の記録を終了する（ステップＳ９）。

［演奏再生動作］
　図９は、演奏を再生するときのシステム全体の動作を説明するシーケンス図である。まず、ユーザが撮像装置２００において所定の操作を行うと、撮像装置２００の制御部２１０は画像記録サーバ装置３００に対して、記録している画像データのリストを要求する（ステップＳ１１）。この要求には、サービス識別タグが含まれている。画像記録サーバ装置３００の制御部３０１は、この要求に応じて、上記サービス識別タグが対応付けられている画像データをサムネイル化した画像リストを生成して撮像装置２００に送信する（ステップＳ１２）。この画像リストには、それぞれの画像データと、これに対応付けられた日時データ及び演奏装置ＩＤが含まれている。なお、この画像リストの要求には、サービス識別タグだけでなく演奏装置ＩＤを含んでいてもよい。その場合、画像記録サーバ装置３００の制御部３０１は、この要求に応じて、上記サービス識別タグ及び演奏装置ＩＤが対応付けられている画像データをサムネイル化した画像リストを生成して撮像装置２００に送信する。

　撮像装置２００においてこの画像リストが表示されると、ユーザは、演奏の様子を示した画像を視認し、その中から所望の演奏時のものと思われる画像を選択する（ステップＳ１３）。この選択操作に応じて、制御部２１０は、選択された画像データに対応する日時データ及び演奏装置ＩＤを含む演奏ＩＤ要求を演奏記録サーバ装置４００に送信する（ステップＳ１４）。演奏記録サーバ装置４００の制御部４０１は、受信した演奏装置ＩＤと同じものを含む演奏情報のうち、上記の画像日時データと所定の関係である演奏日時データを含む演奏情報内の演奏ＩＤを特定する（ステップＳ１５）。ここでは、画像日時データが示す日時と近い日時を示す演奏日時データ、より具体的には、画像日時データとの差が閾値（例えば５分）以内の演奏日時データを含む演奏情報内の演奏ＩＤが特定される。制御部４０１は、その演奏ＩＤを撮像装置２００に送信する（ステップＳ１６）。撮像装置２００の制御部２１０は、受信した演奏ＩＤを演奏装置１００に送信する（ステップＳ１７）。演奏装置１００の制御部１０１は、受信した演奏ＩＤを演奏記録サーバ装置４００に送信する（ステップＳ１８）。演奏記録サーバ装置４００の制御部４０１は、受信した演奏ＩＤに対応するＭＩＤＩデータを特定し（ステップＳ１９）、演奏装置１００に送信する（ステップＳ２０）。演奏装置１００の制御部１０１は、受信したＭＩＤＩデータに基づいて自動演奏を行う（ステップＳ２１）。

　上記実施形態によれば、演奏者が演奏装置１００を用いて演奏するときに、撮像装置２００がその演奏の様子を撮像する。演奏を示す演奏データは、そのときに演奏日時とともに、演奏記録サーバ装置４００に記録される。また、画像を示す画像データは、そのときの撮像日時とともに、画像記録サーバ装置３００に記録される。演奏を再生したい場合、ユーザは、画像記録サーバ装置３００に記録されている画像の中から所望する演奏時の画像を視覚的に選択する。選択された画像の撮像日時に近い演奏日時の演奏データが演奏記録サーバ装置４００にて特定され、その演奏データに基づいて演奏装置１００にて演奏が再生される。よって、ユーザが再生対象となる演奏データを特定するときに、その特定を視覚的に容易に行い得る。

［変形例］
　上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。

　上述した実施形態においては、演奏装置１００は、アコースティックピアノの機構を備えた自動演奏ピアノであるが、演奏装置１００は、この自動演奏ピアノに限定されるものではない。例えば、アコースティックピアノの機構を備えていない電子ピアノや、電子キーボードであってもよい。また、演奏装置１００は、鍵盤楽器に限定されるものではなく、演奏者の演奏に応じてＭＩＤＩデータを出力できる演奏装置であれば他の演奏装置であってもよい。

　上述した実施形態においては、演奏データとしてＭＩＤＩデータを記憶しているが、ＭＩＤＩデータに限定されるものではない。例えば、ＭＩＤＩデータをオーディオデータに変換して記憶してもよいし、マイクで演奏の音を収音して、収音した音をデジタル化して記憶するようにしてもよい。

　演奏日時データは、演奏がなされた日時に関連する演奏日時データであればよい。実施形態においては、演奏日時データは日付と時刻を表すが、この構成に限定されるものではなく、日付だけであってもよいし、時刻だけであってもよい。また、演奏日時データは、演奏の記録開始の日時ではなく、演奏の記録終了の日時や、演奏の記録期間中の日時や、演奏の記録の前後の日時であってもよい。要するに、演奏を特定し得るような日時であればよい。

　画像日時データは、画像の撮像または記録に関連する日時を示す画像日時データであればよい。実施形態において、画像日時データは、日付と時刻を表すが、この構成に限定されるものではなく、日付だけであってもよいし、時刻だけであってもよい。また、演奏期間中に撮像されたときの日時ではなく、演奏開始前や演奏終了後に撮像されたときの日時であってもよい。また、撮像のタイミングではなく、画像記録サーバ装置３００に記録されたときの日時であってもよい。要するに、演奏日時データと画像日時データとに基づいて、画像データと演奏データとの対応関係を特定し得るような日時であればよい。

　また、画像データは、１つの演奏に対して１つだけではなく、複数であってもよい。また、画像は静止画であっても動画であってもよい。また、画像データは、撮像したものに限らず、ユーザがダウンロードなどの何らかの方法で入手した画像データであってもよい。

　撮像装置２００が譜面を撮像し、画像記録サーバ装置３００が、その譜面の撮像画像と、スキャナで読み取られて予め記憶されている譜面の画像とをパターンマッチングし、予め記憶されている画像において、譜面の撮像画像と同じ又は近いと判定された譜面の画像情報を演奏情報に含めるようにしてもよい。また、このパターンマッチングによって譜面の撮像画像と同じ又は近いと判定された譜面の楽曲名を特定し、特定した楽曲名を示す情報を演奏情報に含めるようにしてもよい。なお、譜面の撮像画像に限らず、文字列（例えば冊子に記載されている楽曲名の文字列）を撮像した画像から周知の文字認識技術によりテキストを認識し、楽曲名を特定してもよい。そして、この演奏情報に含まれる演奏データを再生する場合には、演奏情報に含まれている楽曲名をタッチパネル１０３に表示させるようにしてもよい。さらに、撮像画像とともに文字認識技術により認識したテキストをタッチパネル１０３に表示させてもよい。

　また、実施形態で説明した情報以外の情報、例えばユーザの音声を画像情報や演奏情報に含めて記憶してもよい。

　実施形態では、画像記録サーバ装置３００及び演奏記録サーバ装置４００は、別々の装置であったが、これらが一体の演奏記録装置であってもよい。この場合、ユーザは、演奏の様子を示した画像を視認し、その中から所望の演奏時のものと思われる画像を選択したとき、選択された画像データに対応する日時データ及び演奏装置ＩＤを含む演奏ＩＤ要求を演奏記録装置に送信する。このときに、演奏記録装置は、受信した演奏装置ＩＤと同じものを含む演奏情報のうち、上記の画像日時データと所定の関係である演奏日時データを含む演奏情報内の演奏ＩＤを特定する。さらに、演奏記録装置は、この演奏ＩＤに対応するＭＩＤＩデータを特定することができるから、これを演奏装置１００に送信すればよい。つまり、画像記録サーバ装置３００の記憶部３０３（第２記憶手段）に記憶された画像データのうちユーザによって選択された画像データに対応付けられた画像日時データを特定し、演奏記録サーバ装置４００の記憶部４０３（第１記憶手段）において、特定された画像日時データと所定の関係である演奏日時データに対応付けられた演奏データ（ＭＩＤＩデータ）を演奏装置１００に送信する送信手段が、１つの演奏記録装置によって実現される。

　画像日時データと所定の関係である演奏日時データを特定するときの「所定の関係」は、実施形態で例示した、日時の差が閾値以内という場合に限らず、要するに、演奏日時データと画像日時データとに基づいて画像データと演奏データとの対応関係を特定し得るような関係であればよい。具体的には、例えば、画像日時データが演奏データの演奏開始日時と演奏終了日時の間の日時を表す場合には、当該演奏データを当該画像日時データと所定の関係にある演奏データとして特定し、一方、画像日時データが、演奏データの演奏開始日時と演奏終了日時の間の日時を表していない場合には、演奏開始日時が画像日時データの表す日時より後である演奏データと、演奏終了日時が画像日時データの表す日時より前である演奏データを比較し、より近い方の演奏データを当該画像日時データと所定の関係にある演奏データとして特定するように構成してもよい。

　また、ステップＳ５において、演奏装置１００および撮像装置２００が位置情報を保持している場合には、撮像装置２００は、ユーザの入力によらないで、撮像装置２００に最も近い演奏装置１００の演奏装置ＩＤを画像情報に含んで画像記録サーバ装置３００に送信してもよい。

　また、ステップＳ１３の選択操作に応じて、制御部２１０は、選択された画像データに対応する演奏装置ＩＤを含む画像データを撮像装置２００に送信するよう、画像記録サーバ装置３００に要求してもよい。その後、制御部２１０は、受信した複数の画像データを日時情報の古いものから順に所定時間ごとに表示部２０１へ表示することにより、スライドショー機能を実現するようにしてもよい。

　また、上記実施形態においては、主に、ユーザの画像データの選択に応じて、演奏装置１００において自動演奏を行う構成について説明したが、撮像装置２００等の端末において、演奏データを再生するように構成してもよい。具体的には、例えば、演奏記録サーバ４００がユーザの画像データの選択に応じて特定された演奏データを撮像装置２００に送信し、当該撮像装置２００が演奏データを再生する。

　また、この場合、撮像装置２００等の端末が演奏データを再生中に、当該演奏データに関連する画像データを表示するように構成してもよい。この場合、例えば、演奏記録サーバ装置４００は、特定された演奏データに関連付けられた演奏日時データに基づいて、複数の画像データのうちから少なくとも１の画像データを特定し、撮像装置２００に当該少なくとも１の画像データを当該少なくとも１の画像データに関連付けられた画像日時データとともに送信する。そして、撮像装置２００は、当該演奏データを再生する際に、当該少なくとも１の画像データを表示する。

　より具体的には、例えば、図１０上に示すようにある演奏データの演奏開始日時と演奏終了日時の間の日時を表す画像日時データを表す画像データ（画像Ａ）が選択された場合、図１０下に示すように当該画像データを当該演奏データの演奏の演奏開始時から終了時まで表示するように構成してもよい。なお、図１０上においては演奏データと画像データの時間的位置を表し、図下が表示における演奏データと画像データの表示についての時間的位置を表す。つまり、図１０においては左方向から右方向に向かう方向への移動が時間的な経過に対応する。なお、当該上図と下図との関係については、後述する図１１乃至図１５についても同様である。

　また、図１１上に示すように、ある演奏データの演奏開始日時と演奏終了日時の間の日時を表す画像日時データを表す画像データ（画像Ａ及びＢ）が複数存在する場合において、図１１下に示すように、１の画像データ（画像Ｂ）が選択された場合、選択された画像Ｂを演奏データの演奏開始時から表示し、演奏データの演奏開始時からの時間が、他の画像データ（画像Ａ）の画像日時データの表す日時から演奏データの演奏開始日時の表す時間までの差分に応じた時間経過すると、当該他の画像データ（画像Ａ）を表示するように構成してもよい。そして、演奏データの演奏開始時からの時間が、１の画像データ（画像Ｂ）の画像日時データの表す日時から演奏データの演奏開始日時の表す時間までの差分に応じた時間経過すると、当該１の画像データ（画像Ｂ）を表示するように構成してもよい。なお、演奏データの再生中、当該１の画像データ及び他の画像データの表示は、次の画像を表示するまで継続して表示するように構成してもよい。なお、この場合、図１２上及び図１２下に示すように、選択された画像データ（画像Ａ）の画像日時データの表す日時が、演奏開始日時に最も近い場合には、当該画像データ（画像Ａ）が、当該画像データ（画像Ａ）を表示するタイミングで既に表示されていることから、当該画像データ（画像Ａ）が、他の画像データが表示されるまで継続して表示されることとなる。なお、画像Ａを表示するタイミングについては上記と同様であるので説明を省略する。また、上記のように複数の映像を切り替えて表示する場合においては、例えば、フェードアウト及び反転などを行う場合にタイムラグが発生する場合もあり得る。よって、厳密な表示の切り替えタイミングを要求しているわけではないことはいうまもない。

　また、例えば、図１３上に示すように、ある演奏データの演奏開始日時と演奏終了日時の間の日時を表す画像日時データを表す画像データ（画像Ａ及びＢ）が存在し、更に、当該演奏データの演奏開始日時前または演奏終了日時後に他の演奏データよりも時間的に近接する画像データ（画像Ｃ）が存在する場合において、画像Ｃが選択された場合、図１３Ｂに示すように、画像Ｃを表示した後、それぞれ画像Ａ及び画像Ｂを表示するタイミングで画像Ａ及び画像Ｂを表示するように構成してもよい。なお、画像Ａ及びＢを表示するタイミングについては上記と同様であるので説明を省略する。

　また、例えば、図１４上に示すように、ある演奏データの演奏開始日時と演奏終了日時の間の日時を表す画像日時データを表す画像データ（画像Ａ及びＢ）が存在し、更に、当該演奏データの演奏開始日時及び演奏終了日時に他の演奏データよりも時間的に近接する画像データ（画像Ｃ及びＤ）が存在する場合において、画像Ｄが選択された場合、図１４Ｂに示すように、画像Ｄを表示した後、画像Ａ及び画像Ｂを表示するタイミングで画像Ａ及び画像Ｂを表示するように構成してもよい。なお、画像Ａ及びＢを表示するタイミングについては上記と同様であるので説明を省略する。

　また、例えば、図１５上に示すように、ある演奏データの演奏開始日時と演奏終了日時の間の日時を表す画像日時データを表す画像データ（画像Ａ及びＢ）が存在し、更に、当該演奏データの演奏開始日時及び演奏終了日時に他の演奏データよりも時間的に近接する画像データ（画像Ｃ及びＤ）が存在する場合において、いずれの画像データが選択された場合であっても、図１５下に示すように、これらの画像データ（画像Ａ乃至Ｄ）を時間的に略等間隔で表示するように構成してもよい。なお、この場合の順序は、例えば、画像データの画像日時データの表す日時に応じた順序としてもよい。更に、この場合、演奏データの演奏開始時または演奏データの演奏待機中に表示される画像データとして、選択された画像データを表示するように構成してもよい。なお、図１５下は、選択された画像データが画像Ａである場合を示す。なお、図１１乃至図１４で説明した場合においても、選択された画像データを演奏待機中に表示するように構成してもよい。また、図１０乃至図１５に示した例は、互いに矛盾しない限り、組み合わせて用いてもよいことはいうまでもない。

　本発明は、各装置が行う情報処理方法や、コンピュータを各装置として機能させるためのプログラムといった形態でも実施が可能である。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。なお、特許請求の範囲における演奏データは、音楽の演奏データの他、音声を表す音声データなど音に関するその他のデータを含む。

Claims

　複数の演奏データと、該複数の演奏データにそれぞれ関連付けられるとともに、前記複数の演奏がなされたそれぞれの日時に関連する複数の演奏日時データとを取得する第１の取得手段と、
　画像を示す複数の画像データと、該複数の画像データにそれぞれ関連付けられるとともに、該複数の画像の撮像または記録に関連するそれぞれの日時を示す複数の画像日時データと、を取得する第２の取得手段と、
　前記複数の画像データのうちユーザによって選択された前記画像データに関連付けられた前記画像日時データ及び前記複数の演奏日時データに基づいて、前記複数の演奏データのうちから１の演奏データを特定する特定手段と、
　前記特定された１の演奏データを送信する送信手段と、
　を含むことを特徴とする演奏システム。
　前記演奏システムは、更に、演奏を行う演奏手段を有する演奏装置を含み、
　前記複数の演奏データのうちの少なくとも１の演奏データは、前記演奏手段による演奏に基づいて生成される、
　ことを特徴とする請求項１記載の演奏システム。
　前記演奏手段は、前記送信された１の演奏データに基づいて演奏することを特徴とする請求項２記載の演奏システム。
　前記演奏システムは、撮像手段と、該撮像手段の撮像に応じて画像データを生成する画像データ生成手段と、を含む撮像装置を含み、
　前記生成された画像データは、前記複数の画像データのうち少なくとも１の画像データに含まれる、
　ことを特徴とする請求項１記載の演奏システム。
　前記撮像装置は、更に、前記送信された１の演奏データを再生する再生手段を含む、
　ことを特徴とする請求項４記載の演奏システム。
　前記特定手段は、更に、前記特定された１の演奏データに関連付けられた演奏日時データに基づいて、前記複数の画像データのうち少なくとも１の画像データを特定し、
　前記送信手段は、更に、前記特定された少なくとも１の画像データを送信する、
　ことを特徴とする請求項５記載の演奏システム。
　前記撮像装置は、更に、前記送信された演奏データの再生中に、前記特定された少なくとも１の画像データに応じた画像情報を表示する表示手段を含む、
　ことを特徴とする請求項６記載の演奏システム。
　前記表示手段は、前記ユーザによって選択された前記画像データに応じた画像情報を表示した後、前記画像データに関連付けられた画像日時データの表す日時に応じた順序で前記少なくとも１の画像データに応じた画像情報を表示することを特徴とする請求項７記載の演奏システム。
　前記表示手段は、更に、ユーザによって選択された前記画像データに応じた画像情報及び前記少なくとも１の画像データに応じた画像情報を、前記送信された演奏データの再生中、時間的に略等間隔で表示することを特徴とする請求項８記載の演奏システム。
　前記各演奏日時データは、それぞれ前記各演奏の開始日時と前記演奏の終了日時とを表し、
　前記特定手段は、前記選択された前記画像データに関連付けられた前記画像日時データが表す日時と前記各演奏日時データの開始日時と終了日時に基づいて、前記演奏データを特定する、
　ことを特徴とする請求項１記載の演奏システム。
　複数の演奏データと、該複数の演奏データにそれぞれ関連付けられるとともに、前記複数の演奏がなされたそれぞれの日時に関連する複数の演奏日時データとを取得し、
　画像を示す複数の画像データと、該複数の画像データにそれぞれ関連付けられるとともに、該複数の画像の撮像または記録に関連するそれぞれの日時を示す複数の画像日時データと、を取得し、
　前記複数の画像データのうちユーザによって選択された前記画像データに関連付けられた前記画像日時データ及び前記複数の演奏日時データに基づいて、前記複数の演奏データのうちから１の演奏データを特定し、
　前記特定された１の演奏データを送信する、
　ことを特徴とする演奏方法。
　複数の演奏データと、該複数の演奏データにそれぞれ関連付けられるとともに、前記複数の演奏がなされたそれぞれの日時に関連する複数の演奏日時データとを取得し、
　画像を示す複数の画像データと、該複数の画像データにそれぞれ関連付けられるとともに、該複数の画像の撮像または記録に関連するそれぞれの日時を示す複数の画像日時データと、を取得し、
　前記複数の画像データのうちユーザによって選択された前記画像データに関連付けられた前記画像日時データ及び前記複数の演奏日時データに基づいて、前記複数の演奏データのうちから１の演奏データを特定し、
　前記特定された１の演奏データを送信する、
　命令を含むことを特徴とする演奏プログラム。
　請求項１２に記載された演奏プログラムを記録したコンピュータ読み取り可能な記録媒体。