JP6857024B2 - 再生制御方法、システム、及び情報処理装置 - Google Patents

Description

本発明は、利用者の状況に応じて音響の再生を制御する技術に関する。

特許文献１には、運動の映像から視線を離す姿勢を含む運動を補助する発明が記載されている。この発明では、視線が離れる姿勢を含む運動であると判定した場合に、その運動に対応する音声情報を出力する。

特開２０１６−６７５１９号公報

特許文献１の発明では、利用者が運動するときの当該運動の姿勢に対して、音声情報の出力の有無が決められている。即ち、特許文献１の発明では、利用者が実際にどのような姿勢であるかを把握することを要しない。
本発明は、上述した背景の下になされたものであり、利用者が行動しているときの当該利用者の状況に応じて、音響の再生を制御することを目的とする。
ことを目的とする。

上述した課題を解決するため、本発明の再生制御方法は、利用者の行動を特定する第１ステップと、前記行動中に前記利用者が利用している機能を特定する第２ステップと、前記利用者の前記機能に対する集中度合いの指標を特定する第３ステップと、特定された前記行動と、前記機能と、前記指標とに基づいて、音響の再生に係る制御内容を決定する第４ステップと、決定された前記制御内容に基づいて前記音響の再生を制御する第５ステップとを備える。
本発明の再生制御方法において、前記制御内容は音量の変更を含んでもよい。
この再生制御方法において、前記第５ステップにおいて、前記指標に基づいて、前記集中度合いが高い場合ほど前記音量を低くしてもよい。
本発明の再生制御方法において、前記制御内容は前記音響の再生の一時停止を含んでもよい。
本発明の再生制御方法において、前記機能に係る画像を表示する表示部に対する、前記利用者の視線を検出する第６ステップを備え、前記第３ステップにおいて、前記視線の検出結果に基づいて、前記指標を特定してもよい。
本発明の再生制御方法において、前記利用者の情報の入力により指示された前記制御内容を、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方と対応付けて、記憶部に記録する第７ステップを備え、前記第４ステップにおいて、特定された前記行動又は前記機能と対応付けて前記記憶部に記憶された前記制御内容に基づいて、前記音響の再生に係る制御内容を決定してもよい。
本発明の再生制御方法において、複数の装置における、利用者の情報の入力により指示された前記制御内容と、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方との関係に応じたデータを取得する第８ステップを備え、前記第４ステップにおいて、特定された前記行動及び前記機能の少なくとも一方と、取得された前記データとに基づいて、前記音響の再生に係る制御内容を決定してもよい。
本発明のシステムは、利用者の行動を特定する行動特定部と、前記行動中に前記利用者が利用している機能を特定する機能特定部と、前記利用者の前記機能に対する集中度合いの指標を特定する指標特定部と、特定された前記行動と、前記機能と、前記指標とに基づいて、音響の再生に係る制御内容を決定する決定部と、決定された前記制御内容に基づいて前記音響の再生を制御する再生部と、複数の装置における、利用者の情報の入力により指示された前記制御内容と、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方との関係に応じたデータを記録したデータベースと、前記データベースから前記データを取得する取得部とを備え、前記決定部は、特定された前記行動及び前記機能の少なくとも一方と、取得された前記データとに基づいて、前記制御内容を決定するシステムである。

本発明によれば、利用者が行動しているときの当該利用者の状況に応じて、音響の再生を制御することができる。

本発明の第１実施形態に係る末装置、及び音響装置を利用する利用者を示す図である。 同実施形態に係る端末装置の構成の一例を示すブロック図である。 同実施形態に係る端末装置で実行される処理の一例を示すフローチャートである。 本発明の第２実施形態に係る端末装置の構成の一例を示すブロック図である。 同実施形態に係るテーブルの構成の一例を示す図である。 同実施形態に係るテーブルの構成の一例を示す図である。 同実施形態に係る端末装置で実行される処理の一例を示すフローチャートである。 本発明の第３実施形態に係るシステムの全体構成の一例を示す図である。 同実施形態に係る端末装置の構成の一例を示すブロック図である。 同実施形態に係るデータベースの構成の一例を示す図である。 同実施形態に係るシステムで実行される処理の一例を示すシーケンスチャートである。

以下、図面を参照して本発明の実施形態を説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る端末装置１０、及び音響装置２０を利用する利用者Ｕを示す図である。図１には、利用者Ｕの右耳に音響装置２０が装着された様子が示されているが、左耳にも音響装置２０が装着されているものとする。なお、図面においては、本実施形態の構成を分かりやすくするため、各要素の寸法を実際の寸法とは異ならせてある。

端末装置１０は、利用者Ｕにより利用される端末装置である。端末装置１０は、例えば、アプリケーションプログラム（以下「アプリケーション」という。）を実行することにより、所定の機能を実現する。端末装置１０は、少なくとも、音響を再生する機能を実現する。端末装置１０は、音響を再生し、当該再生した音響に係る音響信号を音響装置２０へ送信する。音響の再生は、例えば楽曲に係る音響信号を発生させる処理である。音響装置２０は、外観がイヤホンと同等の装置である。音響装置２０は、利用者Ｕの耳１００に装着された状態で利用される。音響装置２０は、端末装置１０から音響信号を受信し、当該受信した音響信号が示す音を出力（放音）する。本実施形態では、端末装置１０と音響装置２０とが無線により接続されるが、有線により接続されてもよい。また、音響装置２０は、イヤホン以外の音響装置、例えばヘッドフォン等であってもよい。

図２は、端末装置１０の構成の一例を示すブロック図である。端末装置１０は、物理的な構成として、プロセッサ１１と、センサ部１２と、メモリ１３と、入力部１４と、撮像部１５と、測位部１６と、通信部１７と、表示部１８とを含む。
プロセッサ１１は、端末装置１０の各部を制御する制御部として機能する。プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＤＳＰ（Digital Signal Processor）で例示されるハードウェア回路を含む。

センサ部１２は、１又は複数のセンサを含む。センサ部１２は、利用者Ｕの行動を特定するための情報を計測する。センサ部１２は、例えば、加速度センサＡＳ、及びジャイロセンサＧＳを含む。加速度センサＡＳは、端末装置１０に作用した加速度を計測する。加速度センサＡＳは、例えば３軸の加速度センサである。ジャイロセンサＧＳは、端末装置１０に作用した角速度を計測する。ジャイロセンサＧＳは、例えば３軸のジャイロセンサである。

メモリ１３は、データを記憶する。メモリ１３は、ＲＡＭ（Random Access Memory）で例示される不揮発性メモリ、及びＲＯＭ（Read only Memory）、ＥＥＰＲＯＭ（Electrically Erasable ROM）、ハードディスク装置で例示される不揮発性メモリを含む記憶部である。不揮発性メモリは、例えばプロセッサ１１により作業領域として用いられる。不揮発性メモリは、例えば、制御プログラムＣＰ、アプリケーション、及び音響ファイルを記憶する。制御プログラムＣＰは、端末装置１０を制御するためのプログラムである。アプリケーションとして、例えば、利用者Ｕのスケジュールを管理するためのアプリケーション（つまり、スケジューラ）、ニュースや天気予報等の情報を提供するアプリケーション、電子メールに係る機能を提供するアプリケーション（つまり、メーラ）、及びＳＮＳ（Social Networking Service）に係る機能を提供するアプリケーションがある。音響ファイルは、音響の再生に用いられるファイルである。

入力部１４は、端末装置１０に情報を入力するために利用者Ｕにより用いられる。入力部１４は、例えば、利用者Ｕが操作するタッチパネル又は物理ボタンを含む。入力部１４は、利用者Ｕが音声により情報を入力するためのマイクロフォンを含んでもよい。

撮像部１５は、撮像し、当該撮像した画像を示す画像データを生成する。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）で例示される撮像素子、及びレンズ１５１を含む。撮像部１５は、いわゆるインカメラで、端末装置１０を利用中である利用者Ｕの顔を撮像する。このため、レンズ１５１は、図１に示すように、端末装置１０の正面側に配置されている。

測位部１６は、端末装置１０（換言すると利用者Ｕ）の位置を測定（測位）し、測定した位置を示す位置情報を生成する。測位部１６は、例えば、ＧＰＳ（Global Positioning System）方式に基づいて測位するための受信機及び回路を含む。この場合、位置情報は、緯度及び経度の情報を含む。測位部１６は、ＧＰＳ以外の方式に基づいて測位してもよい。

通信部１７は、外部の装置と通信する。通信部１７は、無線により通信するためのアンテナ及び回路を含む。通信部１７は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）の規格に基づいて、端末装置１０に近接した音響装置２０と通信する。通信部１７は、Ｂｌｕｅｔｏｏｔｈ以外の規格（例えば、Ｗｉ−Ｆｉ（登録商標））に基づいて、通信してもよい。

表示部１８は、表示面に画像を表示する。表示部１８は、例えば液晶ディスプレイを含む。ただし、表示部１８は、液晶方式以外の方式の表示装置（例えば、有機ＥＬディスプレイ）を含んでもよい。

次に、プロセッサ１１の機能構成を説明する。プロセッサ１１は、行動特定部１１１と、受付部１１２と、機能実行部１１３と、表示制御部１１４と、機能特定部１１５と、視線検出部１１６と、指標特定部１１７と、決定部１１８と、再生部１１９とを含む。プロセッサ１１のこれらの機能のうち、機能実行部１１３を除く機能は、制御プログラムＣＰにより実現される。機能実行部１１３は、所定のアプリケーションにより実現される。

行動特定部１１１は、利用者Ｕの行動を特定する。行動特定部１１１は、例えば、利用者Ｕが、現在、どこで、何をしているかを特定する。行動特定部１１１は、例えば、センサ部１２により計測された情報、及び測位部１６から供給された位置情報に基づいて、利用者Ｕの行動を特定する。また、行動特定部１１１は、スケジューラ機能と連携し、利用者Ｕのスケジュールに基づいて、利用者Ｕの行動を特定してもよい。また、行動特定部１１１は、利用者Ｕの過去の行動履歴に基づいて、利用者Ｕの行動を特定してもよい。行動特定部１１１は、特定した行動を、決定部１１８に通知する。

受付部１１２は、入力部１４を用いて、利用者Ｕによる情報の入力を受け付ける。受付部１１２は、入力を受け付けた情報を、機能実行部１１３、指標特定部１１７、及び再生部１１９に供給する。

機能実行部１１３は、メモリ１３に記憶されたアプリケーションに係る機能を実行する。機能実行部１１３は、実行中の機能、本実施形態ではフォアグラウンドで実行するアプリケーションを、機能特定部１１５に通知する。

表示制御部１１４は、機能実行部１１３が実行中の機能に係る画像（画面）を、表示部１８に表示させる。

機能特定部１１５は、行動特定部１１１が特定した行動中に利用者Ｕが利用している機能を特定する。機能特定部１１５は、例えば、フォアグラウンドで実行するアプリケーションに係る機能が実行されていることを特定する。機能特定部１１５は、特定した機能を、指標特定部１１７、及び決定部１１８へ通知する。

視線検出部１１６は、表示部１８に対する利用者Ｕの視線を検出する。視線検出部１１６は、撮像部１５から供給された画像データが示す画像を解析して、表示部１８に利用者Ｕの視線が向いているかどうかを検出する。視線検出のアルゴリズムは、公知のアルゴリズムでよい。視線検出部１１６は、視線の検出結果を、指標特定部１１７に通知する。

指標特定部１１７は、利用者Ｕの機能特定部１１５が特定した機能に対する集中度合いの指標を特定する。集中度合いの指標は、利用者Ｕが機能に集中している度合いを間接的に特定するための指標である。指標特定部１１７は、例えば、表示部１８に表示した画像（コンテンツ）がスクロール中であるときのスクロール速度、利用者Ｕの操作の頻度（つまり、単位時間当たりの操作回数）、及び実行中の機能の継続利用時間のうちの１つ以上を、当該指標として特定する。スクロール速度が速く、操作の頻度が高く、又は継続利用時間が長い場合ほど、集中度合いが高いと推定される。また、指標特定部１１７は、視線検出部１１６による視線の検出結果を、指標として特定する。所定期間に占める利用者Ｕの視線が表示部１８に向いている期間が長い場合ほど、集中度合いが高いと推定される。

決定部１１８は、行動特定部１１１により特定された行動と、機能特定部１１５により特定された機能と、指標特定部１１７により特定された指標とに基づいて、音響の再生に係る制御内容を決定する。制御内容は、本実施形態では、音量の変更、再生の停止、所定の音（例えば、マスキング効果のある音）の出力、及びノイズキャンセリング機能の作動の１つ以上を含む。決定部１１８は、決定した制御内容を、再生部１１９に通知する。

再生部１１９は、メモリ１３に記憶された音響ファイルに基づいて、音響を再生する。この際、再生部１１９は、決定部１１８により決定された制御内容に基づいて、音響の再生を制御する。再生部１１９は、再生した音響に係る音響信号を、通信部１７を用いて、音響装置２０へ送信する。

図３は、端末装置１０で実行される処理の一例を示すフローチャートである。
端末装置１０において受付部１１２は、入力部１４を用いて、利用者Ｕからの情報の入力を受け付ける（ステップＳ１）。次に、端末装置１０では、入力の種類が判定される（ステップＳ２）。機能の実行を指示する機能実行指示が入力されたと機能実行部１１３が判定した場合（ステップＳ２；機能実行指示）、機能実行部１１３は、指示された当該機能を実行する（ステップＳ３）。機能実行部１１３は、例えば、指示されたアプリケーションをフォアグラウンドで実行する。表示制御部１１４は、当該実行中の機能（アプリケーション）に係る画面を、表示部１８に表示させる（ステップＳ４）。そして、端末装置１０の処理は、ステップＳ１に戻される。

ステップＳ２で音響の再生を指示する再生指示が入力されたと、再生部１１９が判定した場合、再生部１１９は音響を再生する（ステップＳ５）。具体的には、再生部１１９は、再生指示で指定された音響ファイルをメモリ１３から読み出して、音響を再生する。利用者Ｕは、音響装置２０により出力された音響を聴くことになる。

音響が再生されている期間において、行動特定部１１１は、利用者Ｕの行動を特定する（ステップＳ６）。行動特定部１１１は、例えば、利用者Ｕが電車に乗っているかどうか、乗っている場合には現在位置がどこであるか、という行動を特定する。なお、電車に乗っているかどうかといった利用者Ｕの行動は、測位部１６から供給された位置情報が示す位置、及び加速度センサＡＳによって計測された加速度（より具体的には、加速度の時間的な変化）、及びジャイロセンサＧＳによって計測された角速度（より具体的には、角速度の時間的な変化）に基づいて推定される。利用者Ｕの現在位置は、測位部１６から供給された位置情報が示す位置である。

次に、機能特定部１１５は、行動特定部１１１が特定した行動中に利用者Ｕが利用している機能を特定する（ステップＳ７）。機能特定部１１５は、ここでは、フォアグラウンドで実行中のアプリケーションを特定する。次に、視線検出部１１６は、利用者Ｕの視線を検出する（ステップＳ８）。そして、指標特定部１１７は、実行中の機能に対する利用者Ｕの集中度合いの指標を特定する（ステップＳ９）。

次に、決定部１１８は、行動特定部１１１により特定された行動と、機能特定部１１５により特定された機能と、指標特定部１１７により特定された指標とに基づいて、制御内容を決定する（ステップＳ１０）。再生部１１９は、決定部１１８が決定した制御内容に基づいて、音響の再生を制御する（ステップＳ１１）。行動、機能、及び集中度合いの指標と、制御内容との関係は、本実施形態では、予め決められているものとする。そして、端末装置１０では、入力部１４を用いて、利用者Ｕからの新たな情報の入力があったかどうかが判断される（ステップＳ１２）。ステップＳ１２で「ＮＯ」と判断された場合は、音響の再生を継続したまま、端末装置１０の処理はステップＳ５に戻される。ステップＳ１２で「ＹＥＳ」と判断された場合は、ステップＳ２に戻される。

ここで、端末装置１０における再生制御の具体例を説明する。
利用者Ｕが通勤中の電車の中で、端末装置１０及び音響装置２０を用いて音楽を聴いている場合を考える。端末装置１０がニュースを提供するアプリケーションを実行し、利用者Ｕが当該ニュースを見ている場合、再生部１１９は利用者Ｕが指定した音量（通常音量）で、音響を再生する。利用者Ｕが、隙間時間に適した情報を見ている場合、又は娯楽性の高い情報を見ている場合、利用者Ｕは音楽も同時に楽しみたいと考えていると推察されるからである。

次に、端末装置１０により電子メールが受信され、利用者Ｕがこの電子メールへの返信を行おうとした場合を考える。例えば電子メールの送信元が、利用者Ｕの所属する会社である場合、利用者Ｕはその返信に係る作業に集中したい場合がある。そこで、決定部１１８は、機能特定部１１５によりメーラが特定された場合、音量を所定量だけ低下させることを決定する。再生部１１９は、音量を低下させる。この際、決定部１１８は、利用者Ｕが電車で移動している場合にはこの音量の変更を行うが、それ以外の場合は行わないようにしてもよい。また、決定部１１８は、集中度合いの指標に基づいて、音量を低下させる量を異ならせてもよい。利用者Ｕが表示部１８に視線を向けている頻度が高いほど、実行中の機能に対する集中度が高いと推定される。そこで、決定部１１８は、集中度合いの指標に基づいて、利用者Ｕの集中度合いが高い場合ほど音量を低くする。

その後、利用者Ｕの現在位置が、利用者Ｕが電車から降りる予定の駅に近づいた場合を考える。当該駅は、例えば、利用者Ｕの過去の行動履歴、スケジューラ機能、又は当該駅の事前登録に基づいて特定される。決定部１１８は、利用者Ｕの現在位置が、利用者Ｕが降りようとする駅の所定距離以内に近接すると、音響の再生を停止させることを決定する。そして、再生部１１９は、音響の再生を停止する。音響の再生の停止は、一時停止であってもよい。再生部１１９が音響の再生を一時停止した場合、次に当該音響の再生を開始するときは、一時停止した位置から再生を開始（再開）する。なお、一時停止でない停止の場合は、再生部１１９は、当該音響の先頭から再生を開始する。
このように、音響の再生が停止されることにより、利用者Ｕは、電車の車内アナウンスを聞きやすくなり、乗り過ごしの可能性が低くなる。この際、決定部１１８は、利用者Ｕの集中度合いが高い場合は、音響の再生を停止させるが、そうでない場合は、音量を維持又は所定量だけ下げて、音響の再生を継続してもよい。機能に対する利用者Ｕの集中度合いが低い場合、乗り過ごしの可能性は低いと考えられるからである。

上述した利用者Ｕの行動、実行中の機能、及び集中度合いの指標と、制御内容との関係は、一例に過ぎない。決定部１１８は、例えば、音量の変更に代えて、音響の再生を停止させることを決定してもよい。これにより、利用者Ｕが、より作業に集中しやすくなる可能性があるからである。また、決定部１１８は、利用者Ｕが作業に集中しやすくなるように、所定の音を再生することを決定してもよい。この場合、再生部１１９は、ピンクノイズ、及びホワイトノイズで例示される、外部の音をマスキングする効果のある音（マスキング音）を再生してもよい。また、決定部１１８は、利用者Ｕが作業に集中しやすくなるように、ノイズキャンセリング機能を作動させることを決定してもよい。

以上説明した第１実施形態の端末装置１０によれば、利用者Ｕが行動しているときの利用者Ｕの状況に応じて、音響の再生を自律的に制御することができる。これにより、端末装置１０は、利用者Ｕの行動、その行動中に利用する機能、及び当該機能に対する集中度合いに応じた、利用者Ｕにとって望ましい方法で、音響を再生することができる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態の端末装置は、利用者Ｕ自らが調整した音量の変更を学習して、音響の再生の自律的な制御を行う点で、上述した第１実施形態と相違する。以下で説明する要素又は処理ステップのうち、上述した第１実施形態と同じ要素又は処理ステップについては同じ符号を用いて表し、対応する要素又は処理ステップについては符号の末尾に「Ａ」を付して表す。

図４は、端末装置１０Ａの構成の一例を示すブロック図である。端末装置１０Ａの物理的な構成は、上述した第１実施形態と同じである。ただし、本実施形態では、メモリ１３にテーブルＴが記憶されている。また、プロセッサ１１の機能として、記録部１２０が含まれている。プロセッサ１１の機能として、決定部１１８に代えて決定部１１８Ａが含まれる。端末装置１０Ａのその余の構成は、端末装置１０と同じである。

プロセッサ１１において、記録部１２０は、入力部１４を用いた利用者Ｕの情報の入力により指示された制御内容を、当該入力が行われたときの利用者Ｕの行動、及び実行中の機能の少なくとも一方と対応付けて、メモリ１３のテーブルＴに記録する。決定部１１８Ａは、利用者Ｕの行動、及び実行中の機能の少なくとも一方と対応付けてテーブルＴに記録された制御内容に基づいて、音響の再生に係る制御内容を決定する。

図５、及び図６は、テーブルＴの構成の一例を示す図である。図５に示すテーブルＴでは、行動「電車」に対応付けて、機能、及び「音量変更」が対応付けられている。「音量変更」は、音響の再生に係る制御内容の一例である。
行動「電車」は、利用者Ｕが電車に乗っていることを示す。図５の場合、利用者Ｕが電車に乗っているときに、機能「ニュース」、及び「ＳＮＳ」が実行中のときには音量を変更しなかったが、機能「メール」（メーラ）が実行中のときには音量のレベルを「４」だけ低下させたことを意味する。図６に示すときのテーブルＴでは、「電車（○駅〜＃駅）」は、利用者Ｕが電車に乗って、○駅と＃駅との間を移動していることを示す。図６の場合、利用者Ｕが電車に乗ってＢ駅とＣ駅との間を移動しているとき、機能「ニュース」、「メール」、及び「ＳＮＳ」のいずれの実行中であっても、音量のレベルを「５」〜「７」だけ上昇させたことを意味する。

図７は、端末装置１０Ａで実行される処理の一例を示すフローチャートである。
端末装置１０において受付部１１２は、入力部１４を用いて、利用者Ｕからの情報の入力を受け付ける（ステップＳ１）。次に、端末装置１０では、その情報の入力の種類が判定される（ステップＳ２）。ここで、制御内容の変更を指示する変更指示が入力されたと再生部１１９が判定した場合（ステップＳ２；変更指示）、再生部１１９は変更指示で指示された制御内容に基づいて、音響の再生を制御する（ステップＳ１３）。

次に、行動特定部１１１は、利用者Ｕの行動を特定する（ステップＳ１４）。次に、機能特定部１１５は、ステップＳ６の行動中に利用者Ｕが利用している機能を特定する（ステップＳ１５）。

次に、記録部１２０は、ステップＳ１３の制御内容を、当該制御内容の入力が行われたときの利用者Ｕの行動、及び実行中の機能と対応付けて、メモリ１３のテーブルＴに記録する（ステップＳ１６）。そして、端末装置１０Ａの処理は、ステップＳ１２に進む。

ステップＳ２で「再生指示」と判定された場合、上述した第１実施形態と同様、端末装置１０ＡではステップＳ５〜Ｓ９の処理が実行される。次に、決定部１１８Ａは、行動特定部１１１により特定された行動と、機能特定部１１５により特定された機能と、指標特定部１１７により特定された指標と、テーブルＴとに基づいて、制御内容を決定する（ステップＳ１０Ａ）。再生部１１９は、決定部１１８Ａが決定した制御内容に基づいて、音響の再生を制御する（ステップＳ１１）。そして、端末装置１０Ａの処理は、ステップＳ１２に進む。

ここで、端末装置１０Ａにおける再生制御の具体例を説明する。
テーブルＴが図５に示す状態であった場合を考える。この場合、利用者Ｕは、機能として「ニュース」又は「ＳＮＳ」の利用中は音量を低下させていない。よって、隙間時間に適した情報を見ている場合、又は娯楽性の高い情報を見ている場合は、利用者Ｕは、自身が指定した音量で音響を聴きたいと考えている、と推定される。一方、利用者Ｕは、機能として「メール」の利用中は音量を「４」だけ低下させている。よって、「メール」に係る作業の実行中は、利用者Ｕが、音量を低下させて当該作業に集中したいと考えている、と推察される。そこで、決定部１１８Ａは、ステップＳ１０Ａでは、実行中の機能が「ニュース」又は「ＳＮＳ」である場合は、音量を変更（低下）させない。この際、決定部１１８Ａは、行動、及び集中度合いの指標によらないで、音量を変更さないようにしてもよい。また、決定部１１８Ａは、実行中の機能が「メール」である場合は、音量を所定量だけ低下させる。この際、決定部１１８Ａは、例えば、音量を「４」だけ低下させる。また、決定部１１８Ａは、行動、及び集中度合いの指標に応じて、音量を変更させる量を異ならせてもよい。例えば、決定部１１８Ａは、行動が「電車」である場合は音量を低下させるが、他の行動の場合は低下させない。また、決定部１１８Ａは、集中度が高いことを示す指標である場合ほど、音量を低下させる量を大きくしてもよい。

次に、テーブルＴが図６に示す状態であった場合を考える。この場合、利用者Ｕは、機能によらないで、Ａ駅とＢ駅との間で音量を上昇させていることから、Ｂ駅とＣ駅との間では周辺が騒がしいと推定される。そこで、決定部１１８Ａは、ステップＳ１０Ａでは、Ｂ駅とＣ駅との間では、音量を所定量だけ上昇させる。この際、決定部１１８Ａは、例えば、過去の音量の変更量の平均である「６」だけ上昇させる。また、決定部１１８Ａは、行動、及び集中度合いの指標に基づいて、音量を変更させる量を変更させてもよい。例えば、決定部１１８Ａは、集中度が高いことを示す指標の場合ほど、音量を上昇させる量を小さくしてもよい。
なお、上述した利用者Ｕの行動、実行中の機能、及び集中度合いの指標と、制御内容との関係は、一例に過ぎない。本実施形態において、制御内容が音量の変更でなくてもよい。

以上説明した第２実施形態の端末装置１０Ａによれば、上述した第１実施形態と同様の効果に加え、利用者Ｕがどの状況のときにどのように音量を変更させたか学習して、音響の再生の自律的な制御を行うことができる。これにより、個々の利用者の好みに合った態様で、自律的に音響の再生に係る制御を行うことができる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。本実施形態の端末装置は、他の端末装置の利用者が調整した音量の変更に基づいて、自律的に音響の再生に係る制御を行う点で、上述した第２実施形態と相違する。以下で説明する要素又は処理ステップのうち、上述した第１実施形態と同じ要素又は処理ステップについては同じ符号を用いて表し、対応する要素又は処理ステップについては符号の末尾に「Ｂ」を付して表す。

図８は、本実施形態に係るシステム１の全体構成を示す図である。システム１は、複数の端末装置１０Ｂと、サーバ装置３０とを含む。複数の端末装置１０Ｂのうちの１台を、利用者Ｕが利用するものとする。複数の端末装置１０Ｂの各々の構成は、互いに同じである。複数の端末装置１０Ｂ、及びサーバ装置３０は、ネットワークＮＷ経由の通信を行う。ネットワークＮＷは、例えば、インターネット、無線通信網、及びゲートウェイ装置を含む通信回線である。複数の端末装置１０Ｂは、ネットワークＮＷ経由で、サーバ装置３０と通信する。

サーバ装置３０は、複数の端末装置１０Ｂの各々から、音響の再生に係る制御内容を収集し、データベース３１０に記録する。データベース３１０は、例えばハードディスク装置により実現されるが、それ以外の記憶装置により実現されてもよい。また、サーバ装置３０は、データベース３１０に記録したデータに基づいて、実行すべき音響の再生に係る制御内容を、各端末装置１０Ｂに通知する。

図９は、端末装置１０Ａの構成の一例を示すブロック図である。端末装置１０Ａの物理的な構成は、第２通信部１９を備える点を除き、上述した第１実施形態と同じである。第２通信部１９は、ネットワークＮＷと無線により通信する。第２通信部１９は、例えば通信回路及びアンテナを含む。また、プロセッサ１１の機能として、送信部１２１、及び取得部１２２が含まれている。プロセッサ１１の機能として、決定部１１８に代えて決定部１１８Ｂが含まれる。端末装置１０Ａのその余の構成は、端末装置１０と同じである。

プロセッサ１１において、送信部１２１は、入力部１４を用いた利用者Ｕからの情報の入力に応じた制御内容を、当該入力が行われたときの利用者Ｕの行動、及び実行中の機能の少なくとも一方と対応付けて、第２通信部１９を用いてサーバ装置３０へ送信する。サーバ装置３０は、複数の端末装置１０Ｂの各々から、入力部１４を用いた利用者Ｕの入力に応じた制御内容を、当該入力が行われたときの利用者の行動、及び実行中の機能の少なくとも一方と対応付けて、データベース３１０に記録する。

図１０は、データベース３１０の構成の一例を示す図である。データベース３１０は、入力部１４を用いた利用者の情報の入力により指示された制御内容を、端末ＩＤと、当該入力が行われたときの利用者Ｕの行動、及び実行中の機能とが対応付けて記録されている。端末ＩＤは、端末装置１０Ｂの識別子である。このように、データベース３１０は、図５，６で説明したテーブルＴに記録されるデータを、複数の端末装置１０Ｂについて記録した構成に等しい。

取得部１２２は、サーバ装置３０から、複数の端末装置１０Ｂにおける制御内容と、利用者の行動及び機能の少なくとも一方との関係に応じたデータを、第２通信部１９を用いて取得する。決定部１１８Ｂは、利用者Ｕの行動及び機能の少なくとも一方と、サーバ装置３０から取得されたデータとに基づいて、音響の再生の制御内容を決定する。

図１１は、端末装置１０Ｂで実行される処理の一例を示すフローチャートである。
端末装置１０Ｂにおいて受付部１１２は、入力部１４を用いて、変更指示の入力を受け付ける（ステップＳ２１）。再生部１１９は、この変更指示で指示された制御内容に基づいて、音響の再生を制御する（ステップＳ２２）。次に、行動特定部１１１は、利用者Ｕの行動を特定する（ステップＳ２３）。次に、機能特定部１１５は、行動中に利用者Ｕが利用している機能を特定する（ステップＳ２４）。

次に、送信部１２１は、第２通信部１９を用いて、ステップＳ２２の制御内容を、当該制御内容の入力が行われたときの利用者Ｕの行動、及び実行中の機能と対応付けて、サーバ装置３０へ送信（アップロード）する（ステップＳ２５）。この送信のタイミングは任意でよく、定期的なタイミング（例えば１日１回）でもよいし、利用者Ｕにより指示されたタイミングでもよい。そして、サーバ装置３０は、端末装置１０Ｂから受信した、制御内容と、当該制御内容の入力が行われたときの利用者Ｕの行動、及び実行中の機能との関係を、データベース３１０に記録する（ステップＳ２６）。
端末装置１０Ｂからサーバ装置３０へのデータのアップロードに係る処理は、以上である。次に、端末装置１０Ｂがサーバ装置３０からデータをダウンロードに係る処理を説明する。

取得部１２２は、サーバ装置３０から、複数の端末装置１０Ｂにおける制御内容と、利用者の行動及び機能との関係に応じたデータを、第２通信部１９を用いて取得（ダウンロード）する（ステップＳ２７，Ｓ２８）。この取得のタイミングは任意でよく、定期的なタイミング（例えば１日１回）でもよいし、利用者Ｕにより指示されたタイミングでもよい。

再生部１１９により音響の再生が開始されると（ステップＳ２９）、行動特定部１１１は、利用者Ｕの行動を特定する（ステップＳ３０）。次に、機能特定部１１５は、行動中に利用者Ｕが利用している機能を特定する（ステップＳ３１）。次に、視線検出部１１６は、利用者Ｕの視線を検出する（ステップＳ３２）。そして、指標特定部１１７は、実行中の機能に対する利用者Ｕの集中度合いの指標を特定する（ステップＳ３３）。

そして、決定部１１８Ｂは、行動特定部１１１により特定された行動、機能特定部１１５により特定された機能、及び指標特定部１１７により特定された指標と、ステップＳ２８で取得したデータとに基づいて、制御内容を決定する（ステップＳ３４）。再生部１１９は、決定部１１８Ｂが決定した制御内容に基づいて、音響の再生を制御する（ステップＳ３５）。

図１０に示すデータベース３１０である場合、決定部１１８Ｂは、Ａ駅とＢ駅との間において、機能として「メール」の利用中は、音量を所定量下げ、「ニュース」又は「ＳＮＳ」の利用中は、音量を変更（低下）させないようにする。複数の利用者が、かかる音量の変更をしているからである。また、利用者Ｕが電車に乗ってＢ駅とＣ駅との間を移動しているときは、決定部１１８Ｂは、実行中の機能によらないで、音量を所定量だけ上昇させる。複数の利用者が、かかる音量の変更をしているからである。
なお、上述した利用者Ｕの行動、実行中の機能、及び集中度合いの指標、並びにデータベース３１０と、制御内容との関係は、一例に過ぎない。本実施形態において、制御内容が音量の変更でなくてもよい。

以上説明した第３実施形態の端末装置１０Ｂによれば、上述した第１実施形態と同様の効果に加え、利用者Ｕが端末装置１０Ｂの使用開始直後であっても、他の端末装置１０Ｂにおける制御内容に基づいて、自律的に音響の再生に係る制御を行うことができる。

［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
上述した実施形態では、利用者Ｕは、音響装置２０を用いて音響信号が示す音を聴いていたが、端末装置１０（１０Ａ，１０Ｂ）に設けられたスピーカからの音を聴取してもよい。利用者Ｕが耳に装着する音響装置２０に代えて、固定的に配置される音響装置が用いられてもよい。当該音響装置は、例えば利用者Ｕの自宅等の場所に配置される放音装置で、音響信号が示す音を出力する。

本発明の端末装置は、音響を再生する機能を有する外部の装置における、当該音響の再生を制御してもよい。この場合、当該端末装置は、音響の再生に係る制御内容を指示するデータを、当該外部装置に送信する。当該外部の装置は、例えばミュージックプレーヤであるが、パーソナルコンピュータ、テレビジョン、ハードディスクレコーダ等の、音響を再生する機能を有する装置であればよい。このように、本発明の端末装置は、少なくとも、利用者の行動、行動中に利用者が利用している機能、及び利用者の集中度合いの指標を特定し、これらに基づいて、音響の再生に係る制御内容を決定すればよい。

本発明の端末装置は、利用者が手に持って使用する形態の装置でなくてもよい。本発明の端末装置は、眼鏡型、腕時計型、リストバンド型等の、利用者の身体の部位に装着可能な装置（つまり、ウェアラブルコンピュータ）であってもよい。

本発明の機能は、アプリケーションにより実行される機能以外の機能、例えば、オペレーティングシステム、ミドルウェア等の、アプリケーション以外のソフトウェアにより実行される機能であってもよい。また、上述した実施形態で説明した、利用者の行動、機能、集中度合いの指標の具体的内容はあくまで一例であり、種々の変形が可能である。

上述した実施形態のプロセッサ１１が実現する機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の連携によって実現され得る。プロセッサ１１の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、音響の再生を制御する再生制御方法として特定することもできる。

１…システム、１０，１０Ａ，１０Ｂ…端末装置、１１…プロセッサ、１１１…行動特定部、１１２…受付部、１１３…機能実行部、１１４…表示制御部、１１５…機能特定部、１１６…視線検出部、１１７…指標特定部、１１８，１１８Ａ，１１８Ｂ…決定部、１１９…再生部、１２０…記録部、１２１…送信部、１２２…取得部、１２…センサ部、１３…メモリ、１４…入力部、１５…撮像部、１６…測位部、１７…通信部、１８…表示部、１９…第２通信部、２０…音響装置、３０…サーバ装置、３１０…データベース、ＡＳ…加速度センサ、ＧＳ…ジャイロセンサ、Ｔ…テーブル。

Claims (8)

1. 利用者の行動を特定するステップと、
   前記行動中に前記利用者が利用している機能を特定するステップと、
   前記利用者の前記機能に対する集中度合いの指標を特定するステップと、
   特定された前記行動と、前記機能と、前記指標とに基づいて、音響の再生に係る制御内容を決定するステップと、
   決定された前記制御内容に基づいて前記音響の再生を制御するステップと
   複数の装置における、利用者の情報の入力により指示された前記制御内容と、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方との関係に応じたデータを取得するステップと
   を備え、
   前記制御内容を決定するステップにおいて、特定された前記行動及び前記機能の少なくとも一方と、取得された前記データとに基づいて、前記音響の再生に係る制御内容が決定される
   再生制御方法。
2. 前記制御内容は音量の変更を含む
   ことを特徴とする請求項１に記載の再生制御方法。
3. 前記音響の再生を制御するステップにおいて、前記指標に基づいて、前記集中度合いが高い場合ほど前記音量を低くする
   ことを特徴とする請求項２に記載の再生制御方法。
4. 前記制御内容は前記音響の再生の一時停止を含む
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の再生制御方法。
5. 前記機能に係る画像を表示する表示部に対する、前記利用者の視線を検出するステップを備え、
   前記指標を特定するステップにおいて、前記視線の検出結果に基づいて、前記指標が特定される
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の再生制御方法。
6. 前記利用者の情報の入力により指示された前記制御内容を、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方と対応付けて、記憶部に記録するステップを備え、
   前記制御内容を決定するステップにおいて、特定された前記行動又は前記機能と対応付けて前記記憶部に記憶された前記制御内容に基づいて、前記音響の再生に係る制御内容を決定する
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の再生制御方法。
7. 利用者の行動を特定する行動特定部と、
   前記行動中に前記利用者が利用している機能を特定する機能特定部と、
   前記利用者の前記機能に対する集中度合いの指標を特定する指標特定部と、
   特定された前記行動と、前記機能と、前記指標とに基づいて、音響の再生に係る制御内容を決定する決定部と、
   決定された前記制御内容に基づいて前記音響の再生を制御する再生部と、
   複数の装置における、利用者の情報の入力により指示された前記制御内容と、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方との関係に応じたデータを記録したデータベースと、
   前記データベースから前記データを取得する取得部と
   を備え、
   前記決定部は、特定された前記行動及び前記機能の少なくとも一方と、取得された前記データとに基づいて、前記制御内容を決定する
   システム。
8. 利用者の行動を特定する行動特定部と、
   前記行動中に前記利用者が利用している機能を特定する機能特定部と、
   前記利用者の前記機能に対する集中度合いの指標を特定する指標特定部と、
   特定された前記行動と、前記機能と、前記指標とに基づいて、音響の再生に係る制御内容を決定する決定部と、
   決定された前記制御内容に基づいて前記音響の再生を制御する再生部と、
   複数の装置における、利用者の情報の入力により指示された前記制御内容と、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方との関係に応じたデータを記録したデータベースから前記データを取得する取得部と
   を備え、
   前記決定部は、特定された前記行動及び前記機能の少なくとも一方と、取得された前記データとに基づいて、前記制御内容を決定する
   情報処理装置。

Images