JP6167833B2 - Information processing apparatus and information processing program - Google Patents
Information processing apparatus and information processing program Download PDFInfo
- Publication number
- JP6167833B2 JP6167833B2 JP2013212650A JP2013212650A JP6167833B2 JP 6167833 B2 JP6167833 B2 JP 6167833B2 JP 2013212650 A JP2013212650 A JP 2013212650A JP 2013212650 A JP2013212650 A JP 2013212650A JP 6167833 B2 JP6167833 B2 JP 6167833B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- mobile terminal
- acceleration
- meeting
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 58
- 230000001133 acceleration Effects 0.000 claims description 188
- 238000001514 detection method Methods 0.000 claims description 160
- 238000012545 processing Methods 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 62
- 239000000463 material Substances 0.000 description 114
- 230000000737 periodic effect Effects 0.000 description 60
- 238000004364 calculation method Methods 0.000 description 49
- 230000002093 peripheral effect Effects 0.000 description 38
- 238000005259 measurement Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 21
- 230000008859 change Effects 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000009434 installation Methods 0.000 description 9
- 241000519995 Stachys sylvatica Species 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010048669 Terminal state Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、情報処理装置及び情報処理プログラムに関する。 The present invention relates to an information processing apparatus and an information processing program.
特許文献1には、使用期限を過ぎた場合に、確実に超過利用を防ぐ手段を備えたサンプルコンテンツの配布及び管理方法とそのシステムとを提供することを課題とし、コンテンツと、使用期限情報ファイルと、書き換えプログラムとが組み合わされ、少なくとも一部が暗号化されてカプセルが形成され、コンピュータに内蔵された専用ブラウザによってカプセルの復号とコンテンツの閲覧や実行が可能で、読み取った時間情報から使用実績情報を演算し、その使用実績情報と使用期限との所定の関係により使用期限情報ファイルに記載された指示に従ってコンテンツの少なくとも一部の閲覧や実行を制限し、必要に応じて書き換えプログラムに基づいてコンテンツの書き換えが行われることが開示されている。 In Patent Document 1, it is an object to provide a sample content distribution and management method and a system therefor that includes means for reliably preventing overuse when the expiration date has passed. And a rewriting program, and at least a part of it is encrypted to form a capsule. The capsule can be decrypted and the content can be viewed and executed by a dedicated browser built into the computer. Calculates information, restricts browsing and execution of at least part of the content according to the instructions described in the expiration date information file according to the predetermined relationship between the usage record information and the expiration date, and if necessary based on the rewriting program It is disclosed that content is rewritten.
特許文献2には、2つ以上のデバイスに関連づけられた距離関連機能、情報に基づいて、1つ又は複数の機能をあるデバイスが実行してよいかどうかを制御することを課題とし、1つ又は複数の機能の実行を他のデバイスへ要求することをあるデバイスが許可されるかどうかを制御するために、1つ又は複数の距離ベース機能が使用され、同様に、他のデバイスによって要求された1つ又は複数の機能をあるデバイスが実行してよいかどうかを制御するために、1つ又は複数の距離ベース機能が使用され、距離関連機能は、デバイス間の1つの距離、デバイス間の2つ以上の距離、デバイス間の相対距離における変化率、デバイス間の相対加速度、又は2つ以上のこれら距離関連機能のある組み合わせを含む様々な形態を取り得ることが開示されている。 In Patent Document 2, it is an object to control whether a certain device can execute one or a plurality of functions based on distance-related functions and information associated with two or more devices. Or one or more distance-based functions are used to control whether a device is allowed to request other devices to perform multiple functions, as well as requested by other devices One or more distance-based functions are used to control whether a device may perform one or more functions, and the distance-related functions are one distance between devices, between devices Disclosure that it can take a variety of forms including two or more distances, rate of change in relative distance between devices, relative acceleration between devices, or some combination of two or more of these distance related functions. It has been.
特許文献3には、セキュアな情報共有グループを形成する場合、グループへの参加、暗号鍵の配布や管理を自動で行うことを可能にし、ユーザの利便性を向上させることを課題とし、複数の情報機器が無線通信により接続されたグループを管理するグループ管理システムにおいて、位置検出システムにより各情報機器の位置を検出し、位置検出システムの検出結果に基づいてその情報機器が所定の範囲に存在するか否かを判定し、所定の範囲に存在すると判定された場合には該情報機器との間でユーザ認証を行い、認証成功した場合は、その情報機器に対して当該グループにおける通信のための秘密鍵を通知し、情報機器をグループに加入させることが開示されている。 In Patent Document 3, when a secure information sharing group is formed, it is possible to automatically perform group participation, encryption key distribution and management, and improve user convenience. In a group management system that manages a group in which information devices are connected by wireless communication, the position of each information device is detected by a position detection system, and the information device exists in a predetermined range based on the detection result of the position detection system. If it is determined that it is within a predetermined range, user authentication is performed with the information device. If the authentication is successful, the information device can be used for communication in the group. It is disclosed to notify a secret key and join an information device to a group.
本発明は、会合の開始日時前の予め定められた日時を過ぎてからその会合に用いる文書を復号する場合にあって、参加者がその会合の場所にいないにもかかわらず、その文書の復号処理をしてしまうことを抑制するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。 In the present invention, when a document used for the meeting is decrypted after a predetermined date and time before the meeting start date and time, the decryption of the document is performed even though the participant is not at the meeting place. An object of the present invention is to provide an information processing apparatus and an information processing program that suppress processing.
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、複数人が集まる会合の参加者の位置を示す情報を受け付ける第1の受付手段と、前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、前記携帯端末を振動させ、該振動している間の該携帯端末の加速度を検知する第2の検知手段を具備し、前記第2の受付手段が受け付ける情報は、前記第2の検知手段によって検知された前記携帯端末の加速度に関する情報であることを特徴とする情報処理装置である。
請求項2の発明は、複数人が集まる会合の参加者の位置を示す情報を受け付ける第1の受付手段と、前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、前記復号手段によって復号処理が行われた後に、前記第2の受付手段が受け付けた情報に基づいて、前記会合が終了している場合は、前記文書の閲覧を不可能とする処理を行う処理手段を具備することを特徴とする情報処理装置である。
The gist of the present invention for achieving the object lies in the inventions of the following items.
The invention according to claim 1 is a first accepting means for accepting information indicating the position of a participant of a meeting where a plurality of people gather, and a second accepting means for accepting information on the environment of the portable terminal owned by the participant. And a predetermined date and time before the meeting start date and time, and based on the information received by the first receiving means and the second receiving means, When the participant is present , the apparatus includes a decoding unit that decodes a document necessary for the meeting , and a second detection unit that vibrates the portable terminal and detects an acceleration of the portable terminal during the vibration. The information received by the second receiving means is information regarding the acceleration of the portable terminal detected by the second detecting means .
The invention according to claim 2 is a first receiving means for receiving information indicating positions of participants in a meeting where a plurality of people gather, and a second receiving means for receiving information on the environment of the mobile terminal owned by the participant. And a predetermined date and time before the meeting start date and time, and based on the information received by the first receiving means and the second receiving means, When the participant is present, the meeting is decrypted based on the information received by the second accepting unit after the decrypting unit decrypts the document necessary for the meeting and the decrypting process is performed by the decrypting unit. An information processing apparatus comprising processing means for performing a process of making it impossible to view the document when it has been completed.
請求項3の発明は、前記携帯端末の周囲の音を取得し、該音に基づいて、該携帯端末の環境を検知する第1の検知手段をさらに具備し、前記第2の受付手段が受け付ける情報は、前記第1の検知手段によって検知された前記携帯端末の環境に関する情報であることを特徴とする請求項1又は2に記載の情報処理装置である。 The invention of claim 3 further includes first detection means for acquiring sounds around the portable terminal and detecting the environment of the portable terminal based on the sounds, and the second reception means receives the sound. information is an information processing apparatus according to claim 1 or 2, characterized in that the information about the environment of the first of the mobile terminal detected by the detecting means.
請求項4の発明は、前記携帯端末と通信可能な装置を検知する第3の検知手段をさらに具備し、前記第2の受付手段が受け付ける情報は、前記第3の検知手段によって検知された前記装置に関する情報であることを特徴とする請求項1から3のいずれか一項に記載の情報処理装置である。 The invention of claim 4 further comprises third detection means for detecting a device communicable with the portable terminal, and the information received by the second reception means is detected by the third detection means. The information processing apparatus according to claim 1, wherein the information processing apparatus is information related to the apparatus.
請求項5の発明は、複数人が集まる会合の参加者の位置を示す情報を受け付ける第1の受付手段と、前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、前記携帯端末の周囲の音を取得し、該音に基づいて、該携帯端末の環境を検知する第1の検知手段と、前記携帯端末を振動させ、該振動している間の該携帯端末の加速度を検知する第2の検知手段と、前記携帯端末と通信可能な装置を検知する第3の検知手段を具備し、前記第2の受付手段が受け付ける情報は、前記第1の検知手段によって検知された前記携帯端末の環境に関する第1の情報と、前記第2の検知手段によって検知された前記携帯端末の加速度に関する第2の情報と、前記第3の検知手段によって検知された前記装置に関する第3の情報であり、前記復号手段は、前記第1の情報、前記第2の情報、前記第3の情報のそれぞれに計数を乗算した合計値に基づいて、前記会合の場所に前記参加者がいるか否かの判断を行うことを特徴とする情報処理装置である。 The invention according to claim 5 is a first accepting means for accepting information indicating a position of a participant of a meeting where a plurality of people gather, and a second accepting means for accepting information on the environment of the mobile terminal owned by the participant. And a predetermined date and time before the meeting start date and time, and based on the information received by the first receiving means and the second receiving means, When there is the participant, a decoding unit that decodes a document necessary for the meeting , and a first detection that acquires sound around the portable terminal and detects the environment of the portable terminal based on the sound Means, a second detection means for detecting the acceleration of the mobile terminal during the vibration, and a third detection means for detecting a device communicable with the mobile terminal. And information received by the second receiving means. The first information related to the environment of the mobile terminal detected by the first detection means, the second information related to the acceleration of the mobile terminal detected by the second detection means, and the third information Third information on the device detected by the detection means, wherein the decoding means is based on a total value obtained by multiplying each of the first information, the second information, and the third information by a count. is information processing apparatus, characterized in that for judging whether the participant is in place of the meeting.
請求項6の発明は、前記復号手段によって復号処理が行われた後に、前記第2の受付手段が受け付けた情報に基づいて、前記会合が終了している場合は、前記文書の閲覧を不可能とする処理を行う処理手段をさらに具備することを特徴とする請求項1、3から5のいずれか一項に記載の情報処理装置である。 According to the sixth aspect of the present invention, after the decryption process is performed by the decryption unit, the document cannot be browsed when the meeting is ended based on the information received by the second reception unit. The information processing apparatus according to claim 1 , further comprising processing means for performing the processing described in claim 1.
請求項7の発明は、コンピュータを、複数人が集まる会合の参加者の位置を示す情報を受け付ける第1の受付手段と、前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、前記携帯端末を振動させ、該振動している間の該携帯端末の加速度を検知する第2の検知手段として機能させ、前記第2の受付手段が受け付ける情報は、前記第2の検知手段によって検知された前記携帯端末の加速度に関する情報であることを特徴とする情報処理プログラムである。
請求項8の発明は、コンピュータを、複数人が集まる会合の参加者の位置を示す情報を受け付ける第1の受付手段と、前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、前記復号手段によって復号処理が行われた後に、前記第2の受付手段が受け付けた情報に基づいて、前記会合が終了している場合は、前記文書の閲覧を不可能とする処理を行う処理手段として機能させるための情報処理プログラムである。
請求項9の発明は、コンピュータを、複数人が集まる会合の参加者の位置を示す情報を受け付ける第1の受付手段と、前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、前記携帯端末の周囲の音を取得し、該音に基づいて、該携帯端末の環境を検知する第1の検知手段と、前記携帯端末を振動させ、該振動している間の該携帯端末の加速度を検知する第2の検知手段と、前記携帯端末と通信可能な装置を検知する第3の検知手段として機能させ、前記第2の受付手段が受け付ける情報は、前記第1の検知手段によって検知された前記携帯端末の環境に関する第1の情報と、前記第2の検知手段によって検知された前記携帯端末の加速度に関する第2の情報と、前記第3の検知手段によって検知された前記装置に関する第3の情報であり、前記復号手段は、前記第1の情報、前記第2の情報、前記第3の情報のそれぞれに計数を乗算した合計値に基づいて、前記会合の場所に前記参加者がいるか否かの判断を行うことを特徴とする情報処理プログラムである。
According to the seventh aspect of the present invention, there is provided a first accepting means for accepting information indicating a position of a participant of a meeting where a plurality of people gather, and a second accepting information relating to the environment of the mobile terminal owned by the participant. Based on the information received by the first accepting means and the second accepting means, and when the predetermined date and time before the meeting start date has passed. When the participant is present at the location, the decoding means for decoding the document required for the meeting , and the second detection for detecting the acceleration of the mobile terminal while vibrating the mobile terminal to function as a unit, the second reception unit receives information is an information processing program, characterized in that an acceleration information regarding the said mobile terminal which is detected by the second detecting means.
The invention according to claim 8 is a first receiving means for receiving information indicating a position of a participant of a meeting where a plurality of people gather, and a second receiving information on the environment of the mobile terminal owned by the participant. Based on the information received by the first accepting means and the second accepting means, and when the predetermined date and time before the meeting start date has passed. If the participant is present at the location, based on the information received by the second accepting means after the decrypting means for decrypting the document necessary for the meeting and the decrypting process performed by the decrypting means, When the meeting has ended, the information processing program causes the document to function as a processing unit that performs processing for making it impossible to view the document.
According to the ninth aspect of the present invention, there is provided a first receiving means for receiving information indicating a position of a participant of a meeting where a plurality of people gather, and a second receiving information related to the environment of the mobile terminal owned by the participant. Based on the information received by the first accepting means and the second accepting means, and when the predetermined date and time before the meeting start date has passed. If the participant is present at the location, the decoding means for decoding the document necessary for the meeting, the sound around the portable terminal is obtained, and the environment of the portable terminal is detected based on the sound. A first detection means, a second detection means for detecting the acceleration of the mobile terminal while vibrating the mobile terminal, and a third detection for detecting a device communicable with the mobile terminal. The second function The information received by the attaching means includes first information relating to the environment of the portable terminal detected by the first detecting means, and second information relating to acceleration of the portable terminal detected by the second detecting means. The third information about the device detected by the third detection means, wherein the decoding means multiplies each of the first information, the second information, and the third information by a count. An information processing program for determining whether or not there is the participant at the meeting place based on a total value.
請求項1の情報処理装置によれば、会合の開始日時前の予め定められた日時を過ぎてからその会合に用いる文書を復号する場合にあって、その参加者がその会合の場所にいないにもかかわらず、その文書の復号処理をしてしまうことを抑制することができる。また、参加者の所有している携帯端末が振動している間の該携帯端末の加速度に基づいて、その参加者が会合の場所にいるか否かを判断することができる。
請求項2の情報処理装置によれば、会合の開始日時前の予め定められた日時を過ぎてからその会合に用いる文書を復号する場合にあって、その参加者がその会合の場所にいないにもかかわらず、その文書の復号処理をしてしまうことを抑制することができる。また、会合が終了した場合は、文書の閲覧を不可能とすることができる。
According to the information processing apparatus of claim 1, when a document used for the meeting is decrypted after a predetermined date and time before the meeting start date and time, the participant is not at the meeting place. Nevertheless, it is possible to prevent the document from being decrypted. Further, based on the acceleration of the portable terminal while the portable terminal owned by the participant is vibrating, it can be determined whether or not the participant is at the meeting place.
According to the information processing apparatus of claim 2, when a document used for the meeting is decrypted after a predetermined date and time before the meeting start date and time, the participant is not at the meeting place. Nevertheless, it is possible to prevent the document from being decrypted. In addition, when the meeting ends, it is possible to make it impossible to view the document.
請求項3の情報処理装置によれば、参加者の所有している携帯端末の周囲の音に基づいて、その参加者が会合の場所にいるか否かを判断することができる。 According to the information processing apparatus of the third aspect , it is possible to determine whether or not the participant is in the meeting place based on the sound around the portable terminal owned by the participant.
請求項4の情報処理装置によれば、参加者の所有している携帯端末と通信可能な装置に基づいて、その参加者が会合の場所にいるか否かを判断することができる。 According to the information processing apparatus of the fourth aspect, it is possible to determine whether or not the participant is at the meeting place based on a device capable of communicating with the portable terminal owned by the participant.
請求項5の情報処理装置によれば、会合の開始日時前の予め定められた日時を過ぎてからその会合に用いる文書を復号する場合にあって、その参加者がその会合の場所にいないにもかかわらず、その文書の復号処理をしてしまうことを抑制することができる。また、第1の情報、第2の情報、第3の情報のそれぞれに計数を乗算した合計値に基づいて、会合の場所に参加者がいるか否かの判断を行うことができる。 According to the information processing apparatus of claim 5, when a document used for the meeting is decrypted after a predetermined date and time before the meeting start date and time, the participant is not at the meeting place. Nevertheless, it is possible to prevent the document from being decrypted. Further , based on the total value obtained by multiplying each of the first information, the second information, and the third information by a count, it can be determined whether or not there is a participant at the meeting place .
請求項6の情報処理装置によれば、会合が終了した場合は、文書の閲覧を不可能とすることができる。 According to the information processing apparatus of the sixth aspect, when the meeting is ended, it is possible to make the browsing of the document impossible.
請求項7の情報処理プログラムによれば、会合の開始日時前の予め定められた日時を過ぎてからその会合に用いる文書を復号する場合にあって、その参加者がその会合の場所にいないにもかかわらず、その文書の復号処理をしてしまうことを抑制することができる。また、参加者の所有している携帯端末が振動している間の該携帯端末の加速度に基づいて、その参加者が会合の場所にいるか否かを判断することができる。
請求項8の情報処理プログラムによれば、会合の開始日時前の予め定められた日時を過ぎてからその会合に用いる文書を復号する場合にあって、その参加者がその会合の場所にいないにもかかわらず、その文書の復号処理をしてしまうことを抑制することができる。また、会合が終了した場合は、文書の閲覧を不可能とすることができる。
請求項9の情報処理プログラムによれば、会合の開始日時前の予め定められた日時を過ぎてからその会合に用いる文書を復号する場合にあって、その参加者がその会合の場所にいないにもかかわらず、その文書の復号処理をしてしまうことを抑制することができる。また、第1の情報、第2の情報、第3の情報のそれぞれに計数を乗算した合計値に基づいて、会合の場所に参加者がいるか否かの判断を行うことができる。
According to the information processing program of claim 7, when a document used for the meeting is decrypted after a predetermined date and time before the meeting start date and time, the participant is not at the meeting place. Nevertheless, it is possible to prevent the document from being decrypted. Further, based on the acceleration of the portable terminal while the portable terminal owned by the participant is vibrating, it can be determined whether or not the participant is at the meeting place.
According to the information processing program of claim 8, when a document used for the meeting is decrypted after a predetermined date and time before the meeting start date and time, the participant is not at the meeting place. Nevertheless, it is possible to prevent the document from being decrypted. In addition, when the meeting ends, it is possible to make it impossible to view the document.
According to the information processing program of claim 9, when a document used for the meeting is decrypted after a predetermined date and time before the meeting start date and time, the participant is not at the meeting place. Nevertheless, it is possible to prevent the document from being decrypted. Further, based on the total value obtained by multiplying each of the first information, the second information, and the third information by a count, it can be determined whether or not there is a participant at the meeting place.
以下、図面に基づき本発明を実現するにあたっての好適な実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理ごとに又はモジュール内で複数の処理を行う場合はその処理ごとに、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
Hereinafter, an example of a preferred embodiment for realizing the present invention will be described with reference to the drawings.
FIG. 1 shows a conceptual module configuration diagram of a configuration example of the present embodiment.
The module generally refers to components such as software (computer program) and hardware that can be logically separated. Therefore, the module in the present embodiment indicates not only a module in a computer program but also a module in a hardware configuration. Therefore, the present embodiment is a computer program for causing these modules to function (a program for causing a computer to execute each procedure, a program for causing a computer to function as each means, and a function for each computer. This also serves as an explanation of the program and system and method for realizing the above. However, for the sake of explanation, the words “store”, “store”, and equivalents thereof are used. However, when the embodiment is a computer program, these words are stored in a storage device or stored in memory. It is the control to be stored in the device. Modules may correspond to functions one-to-one, but in mounting, one module may be configured by one program, or a plurality of modules may be configured by one program, and conversely, one module May be composed of a plurality of programs. The plurality of modules may be executed by one computer, or one module may be executed by a plurality of computers in a distributed or parallel environment. Note that one module may include other modules. Hereinafter, “connection” is used not only for physical connection but also for logical connection (data exchange, instruction, reference relationship between data, etc.). “Predetermined” means that the process is determined before the target process, and not only before the process according to this embodiment starts but also after the process according to this embodiment starts. In addition, if it is before the target processing, it is used in accordance with the situation / state at that time or with the intention to be decided according to the situation / state up to that point. When there are a plurality of “predetermined values”, they may be different values, or two or more values (of course, including all values) may be the same. In addition, the description having the meaning of “do B when it is A” is used in the meaning of “determine whether or not it is A and do B when it is judged as A”. However, the case where it is not necessary to determine whether or not A is excluded.
In addition, the system or device is configured by connecting a plurality of computers, hardware, devices, and the like by communication means such as a network (including one-to-one correspondence communication connection), etc., and one computer, hardware, device. The case where it implement | achieves by etc. is included. “Apparatus” and “system” are used as synonymous terms. Of course, the “system” does not include a social “mechanism” (social system) that is an artificial arrangement.
In addition, when a plurality of processes are performed for each module or each module, the target information is read from the storage device for each process, and the processing result is written to the storage device after performing the processing. is there. Therefore, description of reading from the storage device before processing and writing to the storage device after processing may be omitted. Here, the storage device may include a hard disk, a RAM (Random Access Memory), an external storage medium, a storage device via a communication line, a register in a CPU (Central Processing Unit), and the like.
本実施の形態である情報処理装置100は、会合の開始日時前の予め定められた日時を過ぎてからその会合に用いる文書を復号するものであって、図1の例に示すように、スケジュール処理モジュール110、文書取得モジュール120、文書復号/再暗号化等処理モジュール130、位置検知モジュール140、環境検知モジュール150、周辺装置検知モジュール160、イベント検知モジュール170を有している。情報処理装置100は、利用者が所有している携帯端末であってもよいし、携帯端末以外の情報処理装置であってもよい。携帯端末以外の情報処理装置の場合は、その携帯端末と通信可能に接続されている。「会合」は、複数人が1つの箇所に集まるものであって、その会合の参加者が文書を用いるものであればよく、イベント、会議、発表会、学会、大会、顧客面談、機械のメンテナンス作業、プレゼンテーション等がある。以下、イベントを主な例として説明する。 The information processing apparatus 100 according to the present embodiment decodes a document used for the meeting after a predetermined date and time before the meeting start date and time. As shown in the example of FIG. The processing module 110 includes a document acquisition module 120, a document decryption / re-encryption processing module 130, a position detection module 140, an environment detection module 150, a peripheral device detection module 160, and an event detection module 170. The information processing apparatus 100 may be a mobile terminal owned by a user, or may be an information processing apparatus other than the mobile terminal. In the case of an information processing apparatus other than a portable terminal, the information processing apparatus is connected to be communicable with the portable terminal. “Meetings” are those where multiple people gather in one place and the participants of the meeting use documents. Events, conferences, presentations, conferences, conferences, customer interviews, machine maintenance Work, presentation, etc. Hereinafter, an event will be described as a main example.
スケジュール処理モジュール110は、利用者(会合の参加者となり得る者)のスケジュール情報を取得する。例えば、スケジュール管理システムからその日の利用者のスケジュール情報を取得するようにしてもよいし、そのスケジュール管理システムから予定日時前の予め定められた日時にスケジュール情報を含む電子メール等の通知を受けるようにしてもよい。そして、スケジュール処理モジュール110は、そのスケジュール情報から利用者に会議の予定があるか否かを判断する。スケジュール情報として、例えば、スケジュール情報テーブル300がある。対象となっている利用者の会合ごとにスケジュール情報テーブル300を受け取る。図3は、スケジュール情報テーブル300のデータ構造例を示す説明図である。スケジュール情報テーブル300は、開始日時欄310、終了日時欄320、イベントID欄330、位置欄340、参加人数欄350、参加者ID欄360等を有している。開始日時欄310は、イベントの開始日時(年、月、日、秒、秒以下、又はこれらの組み合わせであってもよい)を記憶している。終了日時欄320は、そのイベントの終了日時を記憶している。イベントID欄330は、本実施の形態においてそのイベントを一意に識別するための情報(イベントID:IDentification)を記憶している。位置欄340は、そのイベントが開催される会議室等の位置を記憶している。例えば、緯度、経度、ビル名、部屋番号等の情報がある。参加人数欄350は、そのイベントにおける参加人数を記憶している。参加者ID欄360は、本実施の形態において、そのイベントにおける参加者を一意に識別するための情報(参加者ID、利用者ID)を記憶している。 The schedule processing module 110 acquires schedule information of users (persons who can be participants in the meeting). For example, the user's schedule information for the day may be acquired from the schedule management system, or a notification such as an e-mail including the schedule information may be received from the schedule management system at a predetermined date and time before the scheduled date and time. It may be. Then, the schedule processing module 110 determines whether or not the user has a meeting schedule based on the schedule information. For example, there is a schedule information table 300 as the schedule information. The schedule information table 300 is received for each meeting of the target users. FIG. 3 is an explanatory diagram showing an example of the data structure of the schedule information table 300. The schedule information table 300 includes a start date / time column 310, an end date / time column 320, an event ID column 330, a position column 340, a participant number column 350, a participant ID column 360, and the like. The start date / time column 310 stores the start date / time of the event (may be year, month, day, second, second or less, or a combination thereof). The end date / time column 320 stores the end date / time of the event. The event ID column 330 stores information (event ID: IDentification) for uniquely identifying the event in the present embodiment. The position column 340 stores the position of a conference room or the like where the event is held. For example, there are information such as latitude, longitude, building name, and room number. The number of participants column 350 stores the number of participants in the event. In the present embodiment, the participant ID column 360 stores information (participant ID, user ID) for uniquely identifying the participant in the event.
文書取得モジュール120は、文書復号/再暗号化等処理モジュール130と接続されている。文書取得モジュール120は、対象となっているイベントに必要な文書を取得する。例えば、イベントIDと文書IDが対応付けられているテーブルを参照して、イベントIDから文書IDを抽出し、その文書IDの文書を文書管理システムから取得すればよい。なお、ここでの文書とは、テキストデータ、画像、動画、音声等の電子データ、又はこれらの組み合わせであり、記憶、編集及び検索等の対象となり、システム又は利用者間で個別の単位として交換できるものをいい、これらに類似するものを含む。具体的には、文書作成プログラムによって作成された文書、Webページ等を含む。そして、その文書は、暗号化されている。暗号化手法としては、例えば、公開鍵暗号があるが、これに限る必要はない。例えば、期限付チケット等の技術を用いてもよい。 The document acquisition module 120 is connected to the document decryption / re-encryption processing module 130. The document acquisition module 120 acquires a document necessary for the target event. For example, referring to a table in which an event ID and a document ID are associated with each other, the document ID may be extracted from the event ID, and the document with the document ID may be acquired from the document management system. Documents here are text data, electronic data such as images, moving images, audio, etc., or a combination of these, and are subject to storage, editing, searching, etc., and exchanged as individual units between systems or users. What you can do, including things similar to these. Specifically, it includes a document created by a document creation program, a Web page, and the like. The document is encrypted. As an encryption method, for example, there is public key encryption, but it is not necessary to be limited to this. For example, a technique such as a time-limited ticket may be used.
位置検知モジュール140は、イベント検知モジュール170と接続されている。位置検知モジュール140は、イベント検知モジュール170によって日時(イベントの開始日時前の予め定められた日時)を過ぎていると判断された場合は、イベントの参加者の位置を示す情報を受け付ける。例えば、対象としている参加者が所持している携帯端末に内蔵されているGPS(Global Positioning System(汎地球測位システム))が出力する位置情報、その携帯端末が利用しているWiFi基地局の位置情報、その携帯端末が利用している携帯電話網に用いられている電話回線基地局の位置情報のいずれかを用いればよい。 The position detection module 140 is connected to the event detection module 170. If the event detection module 170 determines that the date and time (predetermined date and time before the event start date and time) has passed, the position detection module 140 receives information indicating the location of the event participant. For example, position information output by GPS (Global Positioning System) built in a portable terminal possessed by the target participant, position of the WiFi base station used by the portable terminal Any one of the information and the location information of the telephone line base station used in the mobile phone network used by the mobile terminal may be used.
環境検知モジュール150は、イベント検知モジュール170と接続されている。環境検知モジュール150は、参加者の所有している携帯端末の環境に関する情報を受け付ける。
環境検知モジュール150は、携帯端末の周囲の音を取得し、その音に基づいて、その携帯端末の環境を検知するようにしてもよい。つまり、この場合の携帯端末の環境に関する情報とは、この検知された携帯端末の環境に関する情報である。なお、携帯端末の周囲の音(環境音)を取得するには、その携帯端末のマイクロフォンを用いればよい。
環境検知モジュール150は、環境音から生活シーンを特定するために、携帯端末で音をセンシングして、環境を検知する。環境音の音信号からスペクトログラムを生成し、これに二次元フーリエ変換を適用する。その結果と周期性特徴又はテンプレート画像との類似性により、その音が取得された状況(例えば、会議室、作業スペース、オープンフロア、屋外等)を特定する。周囲の音から環境に関する情報を得ることについては、図5〜8の例を用いて後述する。
The environment detection module 150 is connected to the event detection module 170. The environment detection module 150 receives information related to the environment of the mobile terminal owned by the participant.
The environment detection module 150 may acquire sound around the mobile terminal and detect the environment of the mobile terminal based on the sound. That is, the information regarding the environment of the mobile terminal in this case is information regarding the detected environment of the mobile terminal. Note that the microphone of the portable terminal may be used to acquire sound around the portable terminal (environmental sound).
The environment detection module 150 detects the environment by sensing sound with a mobile terminal in order to identify a living scene from the environmental sound. A spectrogram is generated from the sound signal of the environmental sound, and a two-dimensional Fourier transform is applied thereto. The situation (for example, a conference room, a work space, an open floor, the outdoors, etc.) where the sound was acquired is specified by the similarity between the result and the periodic characteristics or the template image. Obtaining information related to the environment from surrounding sounds will be described later using the examples of FIGS.
また、環境検知モジュール150は、携帯端末を振動させ、その振動している間のその携帯端末の加速度を検知するようにしてもよい。つまり、この場合の携帯端末の環境に関する情報とは、この検知された携帯端末の加速度に関する情報である。
環境検知モジュール150は、携帯端末が振動することで置いてある場所の材質・硬さを認識する。つまり、置かれている机などに振動を与え、その固有振動数から置かれている机などの種類を判定する。加速度から環境に関する情報を得ることについては、図9〜19の例を用いて後述する。
The environment detection module 150 may vibrate the mobile terminal and detect the acceleration of the mobile terminal during the vibration. That is, the information regarding the environment of the mobile terminal in this case is information regarding the detected acceleration of the mobile terminal.
The environment detection module 150 recognizes the material and hardness of the place where the portable terminal is placed by vibrating. That is, vibration is given to a desk or the like placed, and the type of the desk or the like placed is determined from its natural frequency. Obtaining information about the environment from the acceleration will be described later with reference to the examples of FIGS.
周辺装置検知モジュール160は、イベント検知モジュール170と接続されている。周辺装置検知モジュール160は、参加者の所有している携帯端末の環境に関する情報を受け付ける。周辺装置検知モジュール160は、携帯端末と無線による近距離通信可能な装置を検知するようにしてもよい。つまり、この場合の携帯端末の環境に関する情報とは、この検知された装置に関する情報である。装置とは、参加者の所有している携帯端末と通信可能な位置にある周辺装置であり、例えば、その会議室にある情報機器(例えば、プロジェクタ等)、他の参加者が所有している携帯端末等がある。装置に関する情報としては、例えば、通信可能な周辺装置の数、通信可能な周辺装置ID、通信可能な周辺装置の種類(例えば、会議室に備え付けられているものか否かを示す情報等)のいずれか1つ又はこれら2つ以上の組み合わせがある。無線による近距離通信として、例えば、Bluetooth(登録商標)、WiFi、赤外線通信、NFC(Near Field Communication)等がある。 The peripheral device detection module 160 is connected to the event detection module 170. The peripheral device detection module 160 receives information regarding the environment of the mobile terminal owned by the participant. Peripheral device detection module 160 may detect a device capable of short-range communication wirelessly with a mobile terminal. That is, the information regarding the environment of the mobile terminal in this case is information regarding the detected device. A device is a peripheral device in a position where it can communicate with a mobile terminal owned by a participant, for example, an information device (for example, a projector or the like) in the conference room, or owned by another participant. There are portable terminals. Examples of information on the device include the number of peripheral devices that can communicate, the peripheral device ID that can communicate, and the type of peripheral device that can communicate (for example, information indicating whether or not the device is installed in a conference room). There are any one or a combination of two or more. Examples of wireless near field communication include Bluetooth (registered trademark), WiFi, infrared communication, NFC (Near Field Communication), and the like.
イベント検知モジュール170は、文書復号/再暗号化等処理モジュール130、位置検知モジュール140、環境検知モジュール150、周辺装置検知モジュール160と接続されている。イベント検知モジュール170は、複数人が集まるイベントの開始日時前の予め定められた日時を過ぎているか否かを判断する。「イベントの開始日時前の予め定められた日時」とは、イベント開始1時間前等のように、イベントの開始前であって、開始日時から予め定められた期間を確保するための日時である。イベントの開始前の期間を0としてもよいし、数日等としてもよい。この期間は、イベント開始前に文書を閲覧できる状態になる。もちろんのことながらイベント中も閲覧可能である。なお、ここで閲覧可能であるとは、暗号化された文書を復号することをいう。なお、単にイベントの予定開始日時だけを用いて文書を復号してしまうと、イベントの予定がキャンセルされた場合は、イベントが開催されていないにもかかわらず、文書が閲覧できる状態になってしまう。また、イベントが予定よりも早く又は遅く終わることがあり得るので、イベントの予定終了日時だけを用いて文書を削除等してしまうと、余計に文書が閲覧できる状態を継続してしまうこと又はイベント中にもかかわらず文書が閲覧できなくなってしまうことが発生する。 The event detection module 170 is connected to the document decryption / re-encryption processing module 130, the position detection module 140, the environment detection module 150, and the peripheral device detection module 160. The event detection module 170 determines whether or not a predetermined date and time before the start date and time of the event where a plurality of people gather has passed. The “predetermined date and time before the event start date and time” is the date and time for securing a predetermined period from the start date and time, such as one hour before the event start. . The period before the start of the event may be 0 or may be several days. During this period, the document can be browsed before the event starts. Of course, it can be viewed during the event. Note that “viewable here” means that an encrypted document is decrypted. In addition, if the document is decrypted using only the scheduled start date and time of the event, if the event schedule is canceled, the document can be viewed even if the event is not held. . In addition, since an event may end earlier or later than scheduled, if a document is deleted using only the scheduled end date and time of the event, the state in which the document can be browsed will be continued or the event will continue. The document may not be able to be viewed despite being inside.
そして、イベント検知モジュール170は、位置検知モジュール140と環境検知モジュール150によって受け付けられた情報に基づいて、対象としているイベントの場所に、対象としている参加者がいるか否かを判断する。環境検知モジュール150によって受け付けられた情報として、例えば、対象としている参加者が所持している携帯端末の環境に関する情報、その携帯端末の加速度に関する情報のいずれか1つ又はこれらの組み合わせがある。
対象としている参加者が所持している携帯端末の環境に関する情報を用いる場合について、例えば、環境検知モジュール150、イベント検知モジュール170は、以下のような一連の処理を行う。
イベント開始時間になったら、携帯端末のマイクロフォンを使って、その携帯端末が置かれている周囲の環境音を取得する。イベントの行われる予定の場所は、過去に取得したデータを使って、その周期性特徴又はテンプレート画像が登録されている。携帯端末で取得した状況と、イベントの行われる予定の場所情報とを比較して、携帯端末が正しく予定の場所に持ち込まれたことを認識する。なお、イベントの行われる予定の場所に関して、過去に取得されたデータが無い場合は、状況情報以外の情報(例えば、位置検知モジュール140の位置情報)を用いて、場所を特定し、今回の状況情報をその場所の状況情報として登録すればよい。
また、イベント継続中も携帯端末で環境音を取得して、イベント開始時に取得した状況との差異が生じたら、イベントが終了したと認識するようにしてもよい。
携帯端末が取得する環境音とは、会議室であれば聞こえる空調、プロジェクタ、PCなどの継続的な音を指す。オフィス環境であれば、周囲にある空調、複写機、プリンタ、人の話し声などの継続的な音を指す。屋外であれば、車や電車など交通機関の音、人の歩行音、話し声、音楽、アナウンスなどの継続的な音を指す。
Then, based on the information received by the position detection module 140 and the environment detection module 150, the event detection module 170 determines whether or not there is a target participant at the target event location. The information received by the environment detection module 150 includes, for example, one or a combination of information regarding the environment of the mobile terminal possessed by the target participant and information regarding the acceleration of the mobile terminal.
In the case of using information related to the environment of the portable terminal possessed by the target participant, for example, the environment detection module 150 and the event detection module 170 perform the following series of processes.
When the event start time is reached, the ambient sound around the mobile terminal is acquired using the microphone of the mobile terminal. A periodic feature or a template image is registered at a place where an event is scheduled using data acquired in the past. The situation acquired by the portable terminal is compared with the place information where the event is scheduled, and it is recognized that the portable terminal has been correctly brought to the planned place. When there is no data acquired in the past regarding the place where the event is scheduled to be performed, information other than the situation information (for example, position information of the position detection module 140) is used to identify the place, and the current situation Information may be registered as situation information of the place.
Further, while the event is continuing, the environmental sound may be acquired by the mobile terminal, and if a difference from the situation acquired at the start of the event occurs, it may be recognized that the event has ended.
The environmental sound acquired by the mobile terminal refers to continuous sound from an air conditioner, projector, PC, etc. that can be heard in a conference room. In an office environment, it refers to continuous sounds such as the surrounding air conditioning, copiers, printers, and human voices. When outdoors, it refers to continuous sounds such as sounds of transportation such as cars and trains, walking sounds of people, speech, music and announcements.
また、対象としている参加者が所持している携帯端末の加速度に関する情報を用いる場合について、例えば、環境検知モジュール150、イベント検知モジュール170は、以下のような一連の処理を行う。
イベント開始時間になったら、携帯端末がバイブレーションを起こし、加速度センサ又はジャイロセンサで取得した値を使って、その携帯端末が置かれている状況を判定する。例えば、会議室に設置されている机の上や、自席の机の上、棚の上、床の上などを判定し、さらに照度センサを併用すれば、手持ち、かばんの中、ポケットの中なども判定できる。過去に実績があるものや想定されるものについては、事前にデータを取得しておき、それらと比較して判定を行う。なお、イベントの行われる予定の場所に関して、過去に取得されたデータが無い場合は、加速度以外の情報(例えば、位置検知モジュール140の位置情報)を用いて、場所を特定し、今回の加速度に関する情報をその場所の固有値として登録すればよい。
また、イベント継続中に、加速度センサ又はジャイロセンサにより携帯端末に動きが発生したと認識したら、前述の処理を行い、携帯端末の置かれている状況を再判定する。机に置かれていた端末が手に持たれたり、かばんの中から取り出されたり場合はイベント継続中と認識する。また机に置かれていた端末がかばんやポケットの中に格納された場合は、イベントが終了したと認識するようにしてもよい。
Further, in the case of using information on the acceleration of the mobile terminal possessed by the target participant, for example, the environment detection module 150 and the event detection module 170 perform the following series of processes.
When the event start time is reached, the mobile terminal vibrates, and the value acquired by the acceleration sensor or the gyro sensor is used to determine the situation where the mobile terminal is placed. For example, if it is judged on a desk installed in a conference room, on a desk in your seat, on a shelf, on a floor, etc., and with an illuminance sensor, it is held in your hand, in your bag, in your pocket, etc. Can also be determined. For those that have a past record or are assumed, data is acquired in advance, and a comparison is made with them. When there is no data acquired in the past regarding the place where the event is scheduled to be performed, the place is specified using information other than acceleration (for example, position information of the position detection module 140), and the current acceleration is related. Information may be registered as a unique value of the place.
If the acceleration sensor or the gyro sensor recognizes that a movement has occurred in the portable terminal while the event is continuing, the above-described processing is performed to re-determine the situation where the portable terminal is placed. When the terminal placed on the desk is held in the hand or taken out of the bag, it is recognized that the event is continuing. Further, when the terminal placed on the desk is stored in a bag or pocket, it may be recognized that the event has ended.
また、イベント検知モジュール170は、位置検知モジュール140と周辺装置検知モジュール160によって受け付けられた情報に基づいて、対象としているイベントの場所に、対象としている参加者がいるか否かを判断するようにしてもよい。周辺装置検知モジュール160によって受け付けられた情報として、例えば、対象としている参加者が所持している携帯端末と通信可能な装置に関する情報がある。
例えば、周辺装置検知モジュール160、イベント検知モジュール170は、以下のような一連の処理を行う。
イベント開始時間になったら、携帯端末の通信モジュールを使って周囲の装置を検索する。自分の携帯端末との通信可否や機能的に利用できるかどうかとは関係なく、装置情報が取得できるものを対象とする。例えば携帯端末(携帯電話、スマートフォン、タブレット等を含む)、固定されたデスクトップPC、プロジェクタ、モニター、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)、スキャナ、プリンタ、ファックス、スピーカー、無線ポート(LAN、電話等)、会議室に設置したRFID、ヘッドセット、スピーカー等がある。
取得した装置IDとイベントの行われる予定の場所にある装置IDとを比較して、対象としている参加者が予定の場所にいるか否かを判断する。
そして、装置IDが取得できたら、それらをリスト化した情報をイベントと結び付ける。つまり、その場所に固定された装置の装置IDだけでなく、他の参加者が所持している携帯端末等の装置IDも含めて、参加しているイベントと関連付ける。
イベント継続中は定期的にポーリングして、周囲の装置の増減を検知する。そして、イベント終了条件と照らし合わせる。例えば、固定装置以外の装置(携帯端末)の数がイベント開始時にはイベント参加者数未満であった場合、周囲の装置の数がイベント参加者数まで増えた場合は、イベント途中で参加者が増えたと認識してイベント継続中と判断するが、それより多くなった場合はイベント終了と認識するようにしてもよい。なお、閾値としてイベント参加者数そのものを用いたが、そのイベント参加者数に予め定められた数を加算又は減算した値を閾値としてもよい。また、固定装置の存在が無くなったら、自分の携帯端末が場所から離れたと認識してイベント終了と判断するようにしてもよい。
Further, the event detection module 170 determines whether or not there is a target participant at the location of the target event based on the information received by the position detection module 140 and the peripheral device detection module 160. Also good. As information received by the peripheral device detection module 160, for example, there is information about a device that can communicate with a mobile terminal possessed by a target participant.
For example, the peripheral device detection module 160 and the event detection module 170 perform the following series of processes.
When the event start time is reached, the surrounding device is searched using the communication module of the portable terminal. Regardless of whether or not it is possible to communicate with its own mobile terminal and whether it can be used functionally, it is intended for devices that can acquire device information. For example, mobile terminals (including mobile phones, smartphones, tablets, etc.), fixed desktop PCs, projectors, monitors, multifunction devices (scanners, printers, copiers, fax machines, etc.) Image processing apparatus), scanner, printer, fax, speaker, wireless port (LAN, telephone, etc.), RFID installed in a conference room, headset, speaker, and the like.
The acquired device ID is compared with the device ID at the place where the event is scheduled, and it is determined whether or not the target participant is at the planned location.
And if apparatus ID is acquired, the information which made them list will be tied with an event. That is, not only the device ID of the device fixed at the place, but also the device ID of a mobile terminal or the like possessed by another participant is associated with the participating event.
Polling periodically during the event to detect changes in surrounding devices. Then, check against the event end condition. For example, if the number of devices (mobile terminals) other than fixed devices is less than the number of event participants at the start of the event, or if the number of surrounding devices increases to the number of event participants, the number of participants increases during the event. It is determined that the event is continuing. However, if the number of events exceeds that, it may be recognized that the event has ended. Although the number of event participants themselves is used as the threshold, a value obtained by adding or subtracting a predetermined number to the number of event participants may be used as the threshold. Further, when there is no longer a fixed device, it may be determined that the event has ended by recognizing that his / her mobile terminal is away from the place.
また、イベント検知モジュール170は、位置検知モジュール140と環境検知モジュール150と周辺装置検知モジュール160によって受け付けられた情報に基づいて、対象としているイベントの場所に参加者がいるか否かを判断するようにしてもよい。そして、イベント検知モジュール170は、環境検知モジュール150によって受け付けられた情報(対象としている参加者が所持している携帯端末の環境に関する情報、その携帯端末の加速度に関する情報)、周辺装置検知モジュール160によって受け付けられた情報(対象としている参加者が所持している携帯端末と通信可能な装置に関する情報)のそれぞれに計数を乗算した合計値に基づいて判断処理を行うようにしてもよい。
具体的には、イベント検知モジュール170は、例えば予め作成されている位置情報テーブル400を用いて、判断処理を行う。図4は、位置情報テーブル400のデータ構造例を示す説明図である。位置情報テーブル400は、位置欄410、位置テンプレート画像欄420、設置機器欄430を有している。位置欄410は、会議室等の会合が行われ得る場所の位置情報(スケジュール情報テーブル300の位置欄340に該当)を記憶している。位置テンプレート画像欄420は、前述の周期性特徴又はテンプレート画像である位置テンプレート画像を記憶している。設置機器欄430は、その場所に設置されている機器(例えば、プロジェクタ等)を記憶している。つまり、位置検知モジュール140から得た情報と位置欄410に記憶されている情報、環境検知モジュール150から得た情報と位置テンプレート画像欄420に記憶されている情報、周辺装置検知モジュール160から得た情報と設置機器欄430に記憶されている情報とをそれぞれ比較し、一致度合いに基づいて、対象としているイベントの場所に、対象としている参加者がいるか否かを判断する。
例えば、一致度合いとして、以下の信頼度を用いる。信頼度は、優先度によって決定した係数を使って以下の式のように決定する。
信頼度 = Σαi*Xi+Σβj*Yj
i,j:センサ種類
α,β:センサ固有係数
X:センサ出力値(アナログ値) 温度や照度などの連続値
Y:センサ出力値(デジタル値) 装置などの存在/不在で表わす値
なお、この式では、センサ出力値として、アナログ値とデジタル値に分けて算出しているが、いずれか一方だけであってもよい。
つまり、イベント検知モジュール170は、複数のセンサから取得したデータに優先度を加味して状況の信頼度を算出している。そして、算出した信頼度とイベント開始の閾値とを比較して、イベントの開始を判断する。
次に示すようなセンサ固有係数が高い(優先度が高い)センサデータを採用してもよい。センサデータとして、位置情報、温度情報、音情報、照度情報、加速度情報、ジャイロ情報、地磁気情報、気圧情報などがある。
・ダイナミックレンジが大きいもの、つまり、On/Offの差が大きいもの。例えば、音、温度、照度などがある。
・周期的あるいは継続的なもの。例えば、空調音、電車の通過音などがある。なお、間欠的に発生するものは、センサ固有係数を小さくする。
・S/N比が大きいもの、つまり、ノイズの混入が小さいもの。例えば、机上で振動した際の固有振動などがある。
・人に近い値。例えば、顔認識、声認識、脈拍、脳波、癖の動作などがある。
・絶対値が保証できる値、つまり、時間や測定環境に依存しないもの。例えば、位置情報などがある。
・場所に固有の装置情報、つまり、それ自身が移動しない装置。例えば、固定されたデスクトップPC、プロジェクタ、モニター、複合機、スキャナ、プリンタ、ファックス、スピーカーなどがある。
Further, the event detection module 170 determines whether or not there is a participant at the target event location based on the information received by the position detection module 140, the environment detection module 150, and the peripheral device detection module 160. May be. Then, the event detection module 170 receives information received by the environment detection module 150 (information on the environment of the mobile terminal possessed by the target participant, information on the acceleration of the mobile terminal), and the peripheral device detection module 160 The determination process may be performed based on a total value obtained by multiplying each of the received information (information on a device that can communicate with a portable terminal possessed by the target participant).
Specifically, the event detection module 170 performs a determination process using, for example, a position information table 400 created in advance. FIG. 4 is an explanatory diagram showing an example of the data structure of the position information table 400. The position information table 400 includes a position field 410, a position template image field 420, and an installed equipment field 430. The position column 410 stores position information (corresponding to the position column 340 of the schedule information table 300) of a place where a meeting such as a conference room can be held. The position template image column 420 stores a position template image that is the above-described periodic feature or template image. The installed device column 430 stores a device (for example, a projector) installed at the location. That is, the information obtained from the position detection module 140 and the information stored in the position column 410, the information obtained from the environment detection module 150 and the information stored in the position template image column 420, and obtained from the peripheral device detection module 160 The information and the information stored in the installed device column 430 are respectively compared, and based on the degree of coincidence, it is determined whether there is a target participant at the target event location.
For example, the following reliability is used as the matching degree. The reliability is determined by the following equation using the coefficient determined by the priority.
Reliability = Σαi * Xi + Σβj * Yj
i, j: Sensor type α, β: Sensor specific coefficient X: Sensor output value (analog value) Continuous value such as temperature and illuminance Y: Sensor output value (digital value) Value expressed by presence / absence of device etc. In the equation, the sensor output value is calculated separately for an analog value and a digital value, but only one of them may be calculated.
That is, the event detection module 170 calculates the reliability of the situation by adding priority to data acquired from a plurality of sensors. Then, the start of the event is determined by comparing the calculated reliability with the threshold value for starting the event.
Sensor data having a high sensor specific coefficient (high priority) as shown below may be adopted. Examples of sensor data include position information, temperature information, sound information, illuminance information, acceleration information, gyro information, geomagnetic information, and atmospheric pressure information.
・ A large dynamic range, that is, a large On / Off difference. For example, there are sound, temperature, and illuminance.
・ Periodic or continuous. For example, there are air-conditioning sound and train passing sound. In addition, what is generated intermittently reduces the sensor intrinsic coefficient.
・ A large S / N ratio, that is, a small amount of noise. For example, there is a natural vibration when vibrating on a desk.
・ Value close to people. For example, there are face recognition, voice recognition, pulse, electroencephalogram, and wrinkle movement.
・ A value that can guarantee the absolute value, that is, a value that does not depend on time or measurement environment. For example, there is position information.
-Device information specific to a location, that is, a device that does not move itself. For example, there are fixed desktop PCs, projectors, monitors, multifunction devices, scanners, printers, fax machines, speakers, and the like.
また、イベント検知モジュール170は、文書復号/再暗号化等処理モジュール130によって復号処理が行われた後に、環境検知モジュール150又は周辺装置検知モジュール160が受け付けた情報(対象としている参加者が所持している携帯端末の環境に関する情報、その携帯端末の加速度に関する情報、その携帯端末と通信可能な装置に関する情報のいずれか1つ又はこれらの組み合わせ)に基づいて、イベントが終了しているか否かを判断するようにしてもよい。前述と同様の式を用いてイベントの終了を判断するようにしてもよい。 In addition, the event detection module 170 receives information received by the environment detection module 150 or the peripheral device detection module 160 after the decryption processing is performed by the document decryption / re-encryption processing module 130 (possessed by the target participant). Whether or not the event has ended based on the information on the environment of the mobile terminal, the information on the acceleration of the mobile terminal, the information on the device that can communicate with the mobile terminal, or a combination thereof) You may make it judge. The end of the event may be determined using the same formula as described above.
文書復号/再暗号化等処理モジュール130は、文書取得モジュール120、イベント検知モジュール170と接続されている。文書復号/再暗号化等処理モジュール130は、イベント検知モジュール170によって参加者が対象としているイベントの場所にいると判断した場合は、そのイベントに必要な文書を復号する。その文書を復号することによって、閲覧可能状態とする。
また、文書復号/再暗号化等処理モジュール130は、イベント検知モジュール170によってイベントが終了していると判断した場合は、文書の閲覧を不可能とする処理を行うようにしてもよい。「文書の閲覧を不可能とする処理」とは、例えば、その文書を元の鍵とは異なる鍵を用いて暗号化すること、その文書を復号するための鍵を削除すること、その文書を削除すること等がある。また、イベント検知モジュール170によっても終了の判断がつかないとき(例えば、予め定められた範囲に前述の信頼度が含まれている場合等)は警告メッセージを提示し、操作者からの反応が予め定められた時間無い場合は、強制的に再暗号化等の処理を実施するようにしてもよい。
The document decryption / re-encryption processing module 130 is connected to the document acquisition module 120 and the event detection module 170. When the event detection module 170 determines that the participant is at the target event location, the document decryption / re-encryption processing module 130 decrypts the document necessary for the event. By decrypting the document, it is made possible to browse.
Further, when the event detection module 170 determines that the event has ended, the document decryption / re-encryption processing module 130 may perform a process of making it impossible to view the document. “Processing to make viewing a document impossible” means, for example, encrypting the document using a key different from the original key, deleting the key for decrypting the document, It may be deleted. In addition, when the event detection module 170 cannot determine the end (for example, when the above-mentioned reliability is included in a predetermined range), a warning message is presented, and the response from the operator is If there is no predetermined time, processing such as re-encryption may be forcibly executed.
図2は、本実施の形態による処理例を示すフローチャートである。
ステップS202では、スケジュール処理モジュール110が、スケジュール情報を受け付ける。
ステップS204では、スケジュール処理モジュール110が、イベントの予定があるか否かを判断し、ある場合はステップS206へ進み、それ以外の場合はステップS200へ戻る。
ステップS206では、文書取得モジュール120が、そのイベントに必要な関連文書があるか否かを判断し、ある場合はステップS208へ進み、それ以外の場合はステップS200へ戻る。
FIG. 2 is a flowchart showing an example of processing according to this embodiment.
In step S202, the schedule processing module 110 receives schedule information.
In step S204, the schedule processing module 110 determines whether or not an event is scheduled, and if there is, the process proceeds to step S206, and otherwise returns to step S200.
In step S206, the document acquisition module 120 determines whether there is a related document necessary for the event. If there is, the process proceeds to step S208. Otherwise, the process returns to step S200.
ステップS208では、文書復号/再暗号化等処理モジュール130が、暗号化文書を受信する。予定されたイベントで使用する暗号化された文書を入手する。
ステップS210では、文書復号/再暗号化等処理モジュール130が、暗号鍵を受信する。予定されたイベントでのみ復号可能な暗号鍵を管理サーバから入手する。
ステップS212では、イベント検知モジュール170が、予定時間であるか否かを判断し、予定時間である場合はステップS214へ進み、それ以外の場合は予定時間まで待機する。ここでの予定時間とは、前述したイベント開始日時前の予め定められた日時をいう。
In step S208, the document decryption / re-encryption processing module 130 receives the encrypted document. Obtain encrypted documents for use in scheduled events.
In step S210, the document decryption / re-encryption processing module 130 receives the encryption key. An encryption key that can be decrypted only by a scheduled event is obtained from the management server.
In step S212, the event detection module 170 determines whether it is the scheduled time. If it is the scheduled time, the process proceeds to step S214, and otherwise waits until the scheduled time. The scheduled time here refers to a predetermined date and time before the event start date and time described above.
ステップS214では、位置検知モジュール140が、位置情報を受け付ける。
ステップS216では、環境検知モジュール150が、環境情報を受け付ける。
ステップS218では、周辺装置検知モジュール160が、周辺装置情報を受け付ける。
ステップS220では、イベント検知モジュール170が、予定の場所であるか否かを判断し、予定の場所である場合はステップS222へ進み、それ以外の場合はステップS236へ進む。つまり、ここでは参加者の携帯端末がスケジュールに設定された場所にあることを検知する。
In step S214, the position detection module 140 receives position information.
In step S216, the environment detection module 150 receives environment information.
In step S218, the peripheral device detection module 160 receives peripheral device information.
In step S220, the event detection module 170 determines whether or not the location is a planned location. If the location is the planned location, the process proceeds to step S222. Otherwise, the process proceeds to step S236. That is, here, it is detected that the participant's mobile terminal is in the place set in the schedule.
ステップS222では、文書復号/再暗号化等処理モジュール130が、文書を復号する。例えば、暗号鍵に設定された時刻(スケジュールから設定)になったら復号ができるようになっている。
ステップS224では、イベント検知モジュール170が、イベントをセットする。具体的には、環境情報、周辺装置情報のいずれか1つ又は両方を入手し、イベント構成要素と設定する。つまり、イベント開始における状況を記憶する。例えば、周辺装置情報テーブル2000を記憶する。図20は、周辺装置情報テーブル2000のデータ構造例を示す説明図である。周辺装置情報テーブル2000は、イベントID欄2010、イベント初期周辺装置欄2020、イベント現在周辺装置欄2030、終了条件欄2040を有している。イベントID欄2010は、イベントIDを記憶している。イベント初期周辺装置欄2020は、イベント初期において周辺装置検知モジュール160が検知した周辺装置の装置IDを記憶している。イベント現在周辺装置欄2030は、イベント現在において周辺装置検知モジュール160が検知した周辺装置の装置IDを記憶している。終了条件欄2040は、終了条件を記憶している。ステップS224では、イベントID欄2010、イベント初期周辺装置欄2020をセットし、また、終了条件欄2040を、イベントのスケジュール情報、イベント場所の情報に基づいてセットする。例えば、そのイベントに予定された参加者数に基づいて、検知できる周囲の携帯端末数をセットしてもよい。例えば、周囲の携帯端末数が0である場合(携帯端末が放置されている場合等)を、終了とする条件としてもよい。また、固定された装置の装置IDがなくなった場合(その場所から離れた場合)を、終了とする条件としてもよい。場所が変化した場合、携帯端末が予め定められた速度以上で移動している場合を、終了とする条件としてもよい。終了条件は、複数あってもよく、それらが論理結合(AND、OR等)されていてもよい。イベント現在周辺装置欄2030は、ステップS230でセットする。
In step S222, the document decryption / re-encryption processing module 130 decrypts the document. For example, decryption can be performed at the time set in the encryption key (set from the schedule).
In step S224, the event detection module 170 sets an event. Specifically, one or both of environmental information and peripheral device information is acquired and set as an event component. That is, the situation at the start of the event is stored. For example, the peripheral device information table 2000 is stored. FIG. 20 is an explanatory diagram showing an example of the data structure of the peripheral device information table 2000. The peripheral device information table 2000 includes an event ID column 2010, an event initial peripheral device column 2020, an event current peripheral device column 2030, and an end condition column 2040. The event ID column 2010 stores an event ID. The event initial peripheral device column 2020 stores the device ID of the peripheral device detected by the peripheral device detection module 160 at the initial time of the event. The event current peripheral device column 2030 stores the device ID of the peripheral device detected by the peripheral device detection module 160 at the current event time. The end condition column 2040 stores an end condition. In step S224, the event ID column 2010 and the event initial peripheral device column 2020 are set, and the end condition column 2040 is set based on event schedule information and event location information. For example, the number of surrounding portable terminals that can be detected may be set based on the number of participants scheduled for the event. For example, when the number of surrounding mobile terminals is 0 (for example, when the mobile terminal is left unattended), the condition may be set to end. Moreover, it is good also as conditions to make it complete | finish when the apparatus ID of the fixed apparatus runs out (when leaving | separating from the place). When the location is changed, a condition that the mobile terminal is moving at a predetermined speed or more may be set as the end condition. There may be a plurality of termination conditions, and they may be logically coupled (AND, OR, etc.). The event current peripheral device column 2030 is set in step S230.
ステップS226では、位置検知モジュール140が、位置情報を受け付ける。
ステップS228では、環境検知モジュール150が、環境情報を受け付ける。
ステップS230では、周辺装置検知モジュール160が、周辺装置情報を受け付ける。
ステップS232では、イベント検知モジュール170が、イベントに変化があったか否かを判断し、変化があった場合はステップS234へ進み、それ以外の場合はステップS226へ戻る。構成要素に変化が生じた場合(環境が変わった、周辺装置が減った、増えた)、イベントに変化があったとする。
ステップS234では、イベント検知モジュール170が、イベントが終了したか否かを判断し、終了した場合はステップS236へ進み、それ以外の場合はステップS226へ戻る。予め定められた基準に照らし、イベント終了を判断する。基準として、場所が変わった、装置が減った、装置が閾値以上増えたなどがある。
ステップS236では文書復号/再暗号化等処理モジュール130が、ステップS222で復号した文書を、再暗号化、鍵削除、削除のいずれかの処理を行う。
In step S226, the position detection module 140 receives position information.
In step S228, the environment detection module 150 receives environment information.
In step S230, the peripheral device detection module 160 receives peripheral device information.
In step S232, the event detection module 170 determines whether or not there has been a change in the event. If there has been a change, the process proceeds to step S234; otherwise, the process returns to step S226. When a change occurs in a component (the environment has changed, the number of peripheral devices has decreased or increased), it is assumed that the event has changed.
In step S234, the event detection module 170 determines whether or not the event has ended. If it has ended, the process proceeds to step S236, and otherwise returns to step S226. The end of the event is determined in light of predetermined criteria. As a standard, the location has changed, the number of devices has decreased, the number of devices has increased more than a threshold, and the like.
In step S236, the document decryption / re-encryption processing module 130 performs any of re-encryption, key deletion, and deletion processing on the document decrypted in step S222.
図5〜8の例を用いて、環境検知モジュール150内のモジュール構成、処理内容(携帯端末の環境を検知する処理)等を説明する。
分類装置としての環境検知モジュール150は、時間的に変化する信号(「時間変化信号」と呼ぶ)を入力とし、この入力信号を解析することで、この入力信号が表す事象が、予め登録された事象のいずれに該当するかを判定(すなわち入力信号をいずれかの登録事象に分類)する。
The module configuration in the environment detection module 150, the processing content (processing for detecting the environment of the mobile terminal), and the like will be described using the examples of FIGS.
The environment detection module 150 as a classification device receives a time-varying signal (referred to as a “time-varying signal”) as an input, and by analyzing this input signal, an event represented by this input signal is registered in advance. It is determined which of the events corresponds (that is, the input signal is classified into any registered event).
分類の対象となる時間変化信号は、例えば、センサがある時間にわたって出力した時系列的な信号である。例えば、マイクロフォンが検出する音声信号、加速度センサが検出する加速度信号、速度センサが取得する速度信号、圧力センサが検出する圧力信号等がその一例である。
分類先である事象は、時間変化信号の解析により特定可能なものであればどのようなものであってもよい。例えば、人が携帯するスマートフォンのマイクロフォンが拾った音声信号を解析することで、その人が歩行している、駅のホームで電車を待っている、電車に乗っている、等というように、その人がそのときどのような状況にいるかを解析することが考えられる。この例における各種の「状況」が分類先の事象の一例である。
この分類のために、環境検知モジュール150では、入力された時間変化信号のスペクトログラムの二次元フーリエ変換を求め、スペクトログラムの周波数成分の分布を示す画像を生成する。一方、事前に、各種の事象のそれぞれについて、その事象において生じる時間変化信号を取得し、その時間変化信号のスペクトログラムの周波数成分の分布を示す画像を作成し、これをその事象に対応するテンプレート画像としてデータベース化しておく。そして、入力信号のスペクトログラムの周波数成分の分布を示す画像が、データベース内の各事象のテンプレート画像のどれに類似しているかに応じて、その入力信号がどの事象を表しているのかを判定する。
The time change signal to be classified is, for example, a time-series signal output from a sensor over a certain time. For example, an audio signal detected by a microphone, an acceleration signal detected by an acceleration sensor, a speed signal acquired by a speed sensor, a pressure signal detected by a pressure sensor, and the like are examples.
The event that is the classification destination may be any event that can be identified by analysis of the time-varying signal. For example, by analyzing the audio signal picked up by a smartphone microphone carried by a person, the person is walking, waiting for a train at a station platform, riding a train, etc. It is possible to analyze what kind of situation a person is at that time. Various “situations” in this example are examples of events to be classified.
For this classification, the environment detection module 150 obtains a two-dimensional Fourier transform of the spectrogram of the input time-varying signal and generates an image showing the distribution of the frequency components of the spectrogram. On the other hand, for each of various events, a time change signal generated in the event is acquired in advance, and an image showing the distribution of frequency components of the spectrogram of the time change signal is created, and this is a template image corresponding to the event. As a database. Then, according to which of the template images of each event in the database is similar to the image indicating the frequency component distribution of the spectrogram of the input signal, it is determined which event the input signal represents.
ここで、スペクトログラムとは、周知のように、信号のスペクトル密度が時間に応じてどのように変化するかを表す、時間変化するスペクトル表現である。スペクトログラムは、一般的には、横軸に時間、縦軸に周波数をとり、各点の明るさや色である時点のある周波数の信号強度(振幅)を表すグラフ(画像)として表される。環境検知モジュール150では、このスペクトログラムに対して二次元フーリエ変換を施したものを分類に用いる。 Here, as is well known, the spectrogram is a time-varying spectrum expression that represents how the spectral density of a signal changes with time. The spectrogram is generally represented as a graph (image) representing the signal intensity (amplitude) of a certain frequency at a point in time with brightness and color at each point, with time on the horizontal axis and frequency on the vertical axis. In the environment detection module 150, the spectrogram subjected to two-dimensional Fourier transform is used for classification.
図5に、人が携帯するスマートフォンのマイクロフォンで拾った音声信号から作成したスペクトログラムの例を示す。(a)は、その人が駅のプラットフォームで電車を待っている状況の音声信号のスペクトログラムであり、(b)は、その人が待っているプラットフォームに対して電車が近づいてきたときの音声信号のスペクトログラムである。また、(c)はその人が野外を走る電車に乗っているときの音声信号のスペクトログラムであり、(d)はその人がトンネル内(あるいは地下)を走る電車に乗っているときの音声信号のスペクトログラムである。
図6には、(a)人が歩いているときにスマートフォンのマイクロフォンにより取得された音声信号から生成したスペクトログラムと、(b)そのスペクトログラムの二次元フーリエ変換と、を示す。環境検知モジュール150では、例えば、(b)に例示したスペクトログラムの二次元フーリエ変換を、テンプレート画像として、「人が歩いている」という状況(事象)と対応づけて、データベースに蓄積する。
また、上述したテンプレート画像を用いた分類を、スペクトログラムの二次元フーリエ変換の画像が持つ周期的な特徴を用いた分類と組み合わせることも考えられる。
例えば、図6に示したスペクトログラム(a)の二次元フーリエ変換(b)の画像には、画像を上下に二分する横軸上に、周囲に比べて目立って輝度が高い点(「白点」と呼ぶ)が一定の間隔で周期的に並んでいる。この例における隣り合う白点同士の間隔が、二次元フーリエ変換(b)の画像が含む周期性を示す特徴である。例えば、人が歩いているときと走っているときでは、その間隔が異なることが発明者の実験で分かっている。したがって、信号のスペクトログラムを二次元フーリエ変換した結果の中に、(b)に示すような周期性を持つ特徴が見られる場合には、そのような周期性の特徴を用いて分類を行うこともできる。例えば、状況(例えば歩いている/走っている)ごとに、その状況に対応する二次元フーリエ変換(b)の画像の横軸上の白点の間隔を、その状況に対応する周期性特徴としてデータベース化しておき、入力信号のスペクトログラムの二次元フーリエ変換から求められる周期性特徴に類似した周期性特徴をデータベースから検索し、検索した周期性特徴に対応する状況を、入力信号の示す状況と判定する。
ただし、そのような周期性は、全ての事象(状況)について見られるものではない。そこで、環境検知モジュール150では、入力信号のスペクトログラムの二次元フーリエ変換から周期性特徴を見いだせた場合は、その特徴に基づいて分類を行う。一方、周期性特徴を見いだせなかった場合は、テンプレート画像との比較に基づいて分類を行う。
FIG. 5 shows an example of a spectrogram created from an audio signal picked up by a microphone of a smartphone carried by a person. (A) is a spectrogram of an audio signal when the person is waiting for a train on the platform of the station, and (b) is an audio signal when the train is approaching the platform on which the person is waiting. This is the spectrogram. Further, (c) is a spectrogram of an audio signal when the person is on a train running outdoors, and (d) is an audio signal when the person is on a train running in a tunnel (or underground). This is the spectrogram.
FIG. 6 shows (a) a spectrogram generated from an audio signal acquired by a smartphone microphone when a person is walking, and (b) a two-dimensional Fourier transform of the spectrogram. In the environment detection module 150, for example, the two-dimensional Fourier transform of the spectrogram illustrated in (b) is stored as a template image in the database in association with the situation (event) that “a person is walking”.
It is also conceivable to combine the classification using the template image described above with the classification using the periodic features of the two-dimensional Fourier transform image of the spectrogram.
For example, in the image of the two-dimensional Fourier transform (b) of the spectrogram (a) shown in FIG. 6, a point (“white point”) having a remarkably higher brightness than the surroundings on the horizontal axis that bisects the image vertically. Are periodically arranged at regular intervals. The interval between adjacent white spots in this example is a feature indicating the periodicity included in the image of the two-dimensional Fourier transform (b). For example, it has been found by the inventors' experiment that the distance between the person walking and the person running is different. Therefore, if a characteristic having periodicity as shown in (b) is found in the result of two-dimensional Fourier transform of the spectrogram of the signal, classification may be performed using such periodic characteristic. it can. For example, for each situation (for example, walking / running), the interval between white spots on the horizontal axis of the image of the two-dimensional Fourier transform (b) corresponding to the situation is used as a periodic characteristic corresponding to the situation. Create a database, search the database for periodic features similar to the periodic features obtained from the two-dimensional Fourier transform of the spectrogram of the input signal, and determine the situation corresponding to the searched periodic features as the situation indicated by the input signal To do.
However, such periodicity is not seen for all events (situations). Therefore, in the environment detection module 150, when a periodic feature can be found from the two-dimensional Fourier transform of the spectrogram of the input signal, classification is performed based on the feature. On the other hand, if no periodic feature is found, classification is performed based on comparison with the template image.
図7に、分類装置としての環境検知モジュール150の機能構成の一例を示す。
図7の例では、テンプレート画像DB(データベース)730には、分類したい事象(例えばスマートフォンを携帯しているユーザが居る場の状況)ごとに、その事象の識別情報に対応づけて、その事象に関してセンサが検出した時間変化信号のスペクトログラムを二次元フーリエ変換して得られる画像が、テンプレート画像として登録されている。すなわち、事前に実験を行って、各種の事象についてのセンサの検出信号を収集し、収集した信号からテンプレート画像を生成し、これをテンプレート画像DB730に登録しておく。登録されるテンプレート画像は、図7の分類装置のスペクトログラム生成モジュール712、前処理モジュール714、及び二次元フーリエ変換モジュール722(又はこれと同じ機能を持つ装置)を用いて生成したものである。
FIG. 7 shows an example of a functional configuration of the environment detection module 150 as a classification device.
In the example of FIG. 7, the template image DB (database) 730 is associated with the identification information of each event for each event to be classified (for example, a situation where a user carrying a smartphone is present). An image obtained by two-dimensional Fourier transform of the spectrogram of the time change signal detected by the sensor is registered as a template image. That is, an experiment is performed in advance, sensor detection signals for various events are collected, a template image is generated from the collected signals, and this is registered in the template image DB 730. The template image to be registered is generated using the spectrogram generation module 712, the preprocessing module 714, and the two-dimensional Fourier transform module 722 (or an apparatus having the same function) of the classification apparatus of FIG.
また、周期性特徴DB734には、テンプレート画像に周期性特徴が見られる事象のみについて、その事象の識別情報に対応づけて、その周期性特徴が登録されている。例えば、テンプレート画像DB730を構築する際に作成した各事象のテンプレート画像を解析して周期性特徴を探し、周期性特徴が見つかれば、これを周期性特徴DB734に登録すればよい。周期性特徴としては、例えば、図6に例示したように、テンプレート画像(図6の(b)がその一例)の中央を通る横軸上に等間隔に存在する白点同士の間隔を用いればよい。この場合、事象ごとに、その事象に対応するテンプレート画像の中央を通る横軸上の画素値分布を求め、この画素値分布を二値化する等により白点を抽出し、抽出された白点群の中の隣り合う白点同士の間隔をそれぞれ求め、求めた間隔同士が予め定めた許容誤差以内で等しい場合に、そのテンプレート画像は周期性を持つと判定する。そして、それら複数の間隔の統計的な代表値(例えば平均値)を、その事象の周期性特徴として周期性特徴DB734に登録する。なお、テンプレート画像の横軸上に並ぶ白点の周期性に着目したり、それら白点同士の間隔を周期性特徴として用いたりするというのはあくまで一例にすぎない。周期性特徴DB734に登録する特徴を求める際の周期性特徴の検出方式は、後述する周期性特徴検出モジュール726で用いられるものと同じものである。 Further, in the periodicity feature DB 734, the periodicity feature is registered in association with the identification information of the event only for the event in which the periodicity feature is seen in the template image. For example, the periodic image is searched by analyzing the template image of each event created when the template image DB 730 is constructed, and if a periodic feature is found, it may be registered in the periodic feature DB 734. As the periodicity feature, for example, as illustrated in FIG. 6, an interval between white spots existing at equal intervals on the horizontal axis passing through the center of the template image (example of FIG. 6B) is used. Good. In this case, for each event, a pixel value distribution on the horizontal axis passing through the center of the template image corresponding to the event is obtained, and a white point is extracted by binarizing this pixel value distribution. The intervals between adjacent white spots in the group are obtained, and when the obtained intervals are equal within a predetermined tolerance, the template image is determined to have periodicity. Then, the statistical representative values (for example, average values) of the plurality of intervals are registered in the periodic feature DB 734 as the periodic features of the event. Note that paying attention to the periodicity of white spots arranged on the horizontal axis of the template image, or using the interval between the white spots as a periodic feature is merely an example. The periodic feature detection method for obtaining the feature registered in the periodic feature DB 734 is the same as that used in the periodic feature detection module 726 described later.
図7の装置の信号入力モジュール710には、分類対象の時間変化信号が入力される。例えば、スマートフォンにインストールされたアプリケーションが、スマートフォンのマイクロフォンが一定期間ごとに、その一定期間にピックアップした音声信号のデータを、インターネットを介して分類装置である環境検知モジュール150に送信し、そのデータを信号入力モジュール710が受け取る。
スペクトログラム生成モジュール712は、信号入力モジュール710が受け取った時間変化信号のスペクトログラムを生成する。スペクトログラムの生成には、従来用いられている方法を用いればよい。生成されるスペクトログラムは、一種の画像として取り扱うことができる。
生成されたスペクトログラムは、前処理モジュール714に入力され、二次元フーリエ変換のための前処理をうける。前処理モジュール714は、バンドパスフィルタモジュール716、非線形変換モジュール718及び二値化モジュール720を有する。
The time change signal to be classified is input to the signal input module 710 of the apparatus of FIG. For example, an application installed on a smartphone transmits audio signal data picked up by the smartphone microphone at a certain period to the environment detection module 150 that is a classification device via the Internet, and the data is transmitted to the environment detection module 150. Received by the signal input module 710.
The spectrogram generation module 712 generates a spectrogram of the time-varying signal received by the signal input module 710. A conventionally used method may be used for generating the spectrogram. The generated spectrogram can be handled as a kind of image.
The generated spectrogram is input to the preprocessing module 714 and subjected to preprocessing for two-dimensional Fourier transform. The preprocessing module 714 includes a band pass filter module 716, a nonlinear conversion module 718, and a binarization module 720.
バンドパスフィルタモジュール716は、入力されたスペクトログラム(例えば横軸が時間、縦軸が周波数を示す)のなかから、予め定めた周波数帯域の部分を抽出する。これは、スペクトログラムから、後の解析にとって意味がない(ノイズにしかならない)周波数帯域を取り除く処理である。抽出する周波数帯域は、分類装置としての環境検知モジュール150が分類しようとする信号の特性等に応じて予め定めておけばよい。
非線形変換モジュール718は、バンドパスフィルタモジュール716の出力(すなわちスペクトログラムのうち抽出された部分)に対して、非線形の増幅を行う。これは、画像信号を表示する際のガンマ補正と同様の考え方で、低強度(輝度が低い)の信号成分を増幅して強度を上げることで、信号対ノイズ比を改善するためのものである。
二値化モジュール720は、非線形変換モジュール718の出力に対して二値化処理を施す。この二値化により、スペクトログラムの特徴が強調される。この二値化モジュール720の出力が、二次元フーリエ変換モジュール722に入力される。
The band pass filter module 716 extracts a portion of a predetermined frequency band from the input spectrogram (for example, the horizontal axis indicates time and the vertical axis indicates frequency). This is a process of removing a frequency band from the spectrogram that is meaningless (becomes only noise) for later analysis. The frequency band to be extracted may be determined in advance according to the characteristics of the signal to be classified by the environment detection module 150 as the classification device.
The nonlinear conversion module 718 performs nonlinear amplification on the output of the bandpass filter module 716 (that is, the extracted portion of the spectrogram). This is to improve the signal-to-noise ratio by amplifying a low-intensity (low-brightness) signal component and increasing the intensity based on the same concept as gamma correction when displaying an image signal. .
The binarization module 720 performs binarization processing on the output of the nonlinear conversion module 718. This binarization emphasizes the characteristics of the spectrogram. The output of the binarization module 720 is input to the two-dimensional Fourier transform module 722.
二次元フーリエ変換モジュール722は、入力された二値化結果(すなわち入力信号のスペクトログラムを前処理して得られた二値化画像)に対して、公知の二次元フーリエ変換を施す。これにより、そのスペクトログラムの二値化画像の周波数成分の分布を示す画像が得られる。この画像(二値化結果)は、分類処理モジュール724に入力される。
分類処理モジュール724は、入力された二次元フーリエ変換結果の画像を用いて、分類対象の時間変化信号が表す事象が、データベース(テンプレート画像DB730及び周期性特徴DB734)に登録された事象のいずれに該当するかを判定する。分類処理モジュール724は、周期性特徴検出モジュール726、画像ベース分類モジュール728、及び特徴ベース分類モジュール732を有する。
周期性特徴検出モジュール726は、入力された二次元フーリエ変換結果の画像から、周期性特徴を検出する。検出方法は、前述した周期性特徴DB734に登録する特徴の求め方と同様でよい。
The two-dimensional Fourier transform module 722 performs a known two-dimensional Fourier transform on the input binarization result (that is, a binarized image obtained by preprocessing the spectrogram of the input signal). Thereby, an image showing the distribution of the frequency components of the binarized image of the spectrogram is obtained. This image (binarization result) is input to the classification processing module 724.
The classification processing module 724 uses the input image of the two-dimensional Fourier transform result, and the event represented by the time-varying signal to be classified is any of the events registered in the database (template image DB 730 and periodic feature DB 734). Determine if it applies. The classification processing module 724 includes a periodic feature detection module 726, an image-based classification module 728, and a feature-based classification module 732.
The periodic feature detection module 726 detects a periodic feature from the input image of the two-dimensional Fourier transform result. The detection method may be the same as the method for obtaining the features registered in the periodic feature DB 734 described above.
周期性特徴検出モジュール726により周期性特徴が検出された場合、分類処理モジュール724は、特徴ベース分類モジュール732を用いて分類を行う。すなわち、特徴ベース分類モジュール732は、周期性特徴DB734に登録された各事象の周期性特徴の中から、周期性特徴検出モジュール726により検出された周期性特徴に近いものを探す。この探索では、例えば、検出された周期性特徴と周期性特徴DB734の周期性特徴との距離を求め、その距離が予め定めた閾値以下であれば、両者が「近い」と判定すればよい。例えば、図6の例のように隣り合う白点同士の間隔を周期性特徴とする場合、分類対象の信号から生成した二次元フーリエ変換の画像におけるその間隔と、周期性特徴DB734に登録された各事象に対応する間隔と、の差を求め、その差が閾値以下であれば、両者の間隔同士が「近い」ということになる。周期性特徴が複数の成分を含む場合には、周期性特徴をそれら各成分からなるベクトルとみなし、ベクトル同士の距離が閾値以下であるかどうかを判定すればよい。そして、そのような「近い」周期性特徴が見つかれば、見つかった周期性特徴に対応する事象を、分類対象の時間変化信号の分類先と判定する。検出された周期性特徴に「近い」周期性特徴が周期性特徴DB734から複数見つかった場合の取扱は、別途定めておけばよい。1つの例では、それら複数の「近い」周期性特徴のうち最も「近い」ものを分類先と判定する。別の例では、それら複数の「近い」周期性特徴の全てを分類先と判定する。
周期性特徴検出モジュール726により周期性特徴が検出されなかった場合、又は特徴ベース分類モジュール732で分類先が見つからなかった場合には、画像ベース分類モジュール728が分類を行う。画像ベース分類モジュール728は、入力された二次元フーリエ変換結果の画像と、テンプレート画像DB730に登録されている各テンプレート画像とを比較し、その比較の結果に基づいて分類を行う。
When a periodic feature is detected by the periodic feature detection module 726, the classification processing module 724 performs classification using the feature-based classification module 732. In other words, the feature-based classification module 732 searches the periodic feature of each event registered in the periodic feature DB 734 for a feature close to the periodic feature detected by the periodic feature detection module 726. In this search, for example, the distance between the detected periodic feature and the periodic feature of the periodic feature DB 734 is obtained, and if the distance is equal to or less than a predetermined threshold, both may be determined to be “close”. For example, when the interval between adjacent white spots is a periodic feature as in the example of FIG. 6, the interval in the image of the two-dimensional Fourier transform generated from the classification target signal and the periodic feature DB 734 are registered. The difference between the intervals corresponding to each event is obtained, and if the difference is equal to or less than the threshold value, the intervals between the two are “close”. When the periodic feature includes a plurality of components, the periodic feature is regarded as a vector composed of each component, and it may be determined whether the distance between the vectors is equal to or less than a threshold value. If such a “close” periodic feature is found, the event corresponding to the found periodic feature is determined as the classification destination of the time-varying signal to be classified. The handling when a plurality of periodic features “close” to the detected periodic feature are found from the periodic feature DB 734 may be determined separately. In one example, the closest “close” of the plurality of “close” periodic features is determined as the classification destination. In another example, all of the plurality of “close” periodic features are determined to be classification destinations.
If no periodic feature is detected by the periodic feature detection module 726, or if a classification destination is not found by the feature-based classification module 732, the image-based classification module 728 performs classification. The image-based classification module 728 compares the input image of the two-dimensional Fourier transform result with each template image registered in the template image DB 730, and performs classification based on the comparison result.
画像ベース分類モジュール728の処理手順の一例を図8に示す。この手順は、テンプレート画像DB730に登録された事象(及びこれに対応するテンプレート画像)ごとに実行される。この手順では、まず処理対象の事象に対応するテンプレート画像をテンプレート画像DB730から読み出し、読み出したテンプレート画像に対して、複素共役を求めるための共役フィルタ処理を施す(S802)。これにより、共役テンプレート画像を求められる。なお、テンプレート画像DB730に対して共役テンプレート画像を登録しておく場合には、S802は不要である。次に、二次元フーリエ変換モジュール722から入力された二次元フーリエ変換結果の画像と、共役テンプレート画像とを乗算する(S804)。次に、その乗算結果に対して逆フーリエ変換を施す(S806)。この逆フーリエ変換は、二次元フーリエ変換と同じ演算でよい。フーリエ変換と相互相関関数との関係から、逆フーリエ変換の結果は、それら2つの二次元フーリエ変換(分類対象とテンプレート画像)の変換前のスペクトログラム同士の相関係数を表している。この相関係数を予め定めた閾値と比較する(S808)。この比較の結果、相関係数が閾値以上(すなわち相関が十分強い)であれば、分類対象はそのテンプレート画像に対応する事象に該当すると判定する(すなわちその事象を分類先に決定する)(S810)。相関係数が閾値未満であれば、分類対象はそのテンプレート画像に対応する事象に該当しない(すなわちその事象は分類先ではない)と判定する(S812)。 An example of the processing procedure of the image base classification module 728 is shown in FIG. This procedure is executed for each event (and corresponding template image) registered in the template image DB 730. In this procedure, first, a template image corresponding to an event to be processed is read from the template image DB 730, and conjugate filter processing for obtaining complex conjugate is performed on the read template image (S802). Thereby, a conjugate template image is obtained. Note that when a conjugate template image is registered in the template image DB 730, S802 is not necessary. Next, the image of the two-dimensional Fourier transform result input from the two-dimensional Fourier transform module 722 is multiplied by the conjugate template image (S804). Next, an inverse Fourier transform is performed on the multiplication result (S806). This inverse Fourier transform may be the same operation as the two-dimensional Fourier transform. From the relationship between the Fourier transform and the cross-correlation function, the result of the inverse Fourier transform represents the correlation coefficient between the spectrograms before the two two-dimensional Fourier transforms (classification target and template image). This correlation coefficient is compared with a predetermined threshold value (S808). As a result of the comparison, if the correlation coefficient is equal to or greater than the threshold (that is, the correlation is sufficiently strong), it is determined that the classification target corresponds to an event corresponding to the template image (that is, the event is determined as a classification destination) (S810). ). If the correlation coefficient is less than the threshold value, it is determined that the classification target does not correspond to the event corresponding to the template image (that is, the event is not a classification destination) (S812).
図8の例では、相関係数が閾値以上となる事象は全て分類先と判定されるが、この代わりに、相関係数が閾値以上となる事象のうち相関係数が最大となる事象のみを分類先と判定するようにしてもよい。
以上に説明したように、分類装置である環境検知モジュール150は、分類対象の時間変化信号のスペクトログラムの二次元フーリエ変換を、各事象についての信号から生成したスペクトログラムの二次元フーリエ変換(テンプレート画像)と比較することで、分類対象の分類先を決定する。このような構成によれば、その二次元フーリエ変換から明確な周期性特徴が検出できない場合でも、分類が可能となる。また、二次元フーリエ変換から明確な周期性特徴が検出できる場合には、画像同士の比較(相関演算)という比較的負荷の高い処理を省略し、その周期性特徴に基づいて分類を行うことで、計算負荷が軽減される。スペクトログラムの生成から二次元フーリエ変換までの処理系は、画像比較に基づく分類と周期性特徴に基づく分類とで共用されるので、簡潔なシステム構成となっている。
In the example of FIG. 8, all events whose correlation coefficient is equal to or greater than the threshold are determined as classification destinations. You may make it determine with a classification | category destination.
As described above, the environment detection module 150 serving as a classification device performs a two-dimensional Fourier transform of a spectrogram of a time-varying signal to be classified, and a two-dimensional Fourier transform (template image) of the spectrogram generated from the signal for each event. To determine the classification target of the classification target. According to such a configuration, classification can be performed even when a clear periodic feature cannot be detected from the two-dimensional Fourier transform. In addition, when a clear periodic feature can be detected from the two-dimensional Fourier transform, a relatively heavy processing such as comparison (correlation calculation) between images is omitted, and classification is performed based on the periodic feature. , The calculation load is reduced. Since the processing system from spectrogram generation to two-dimensional Fourier transform is shared by classification based on image comparison and classification based on periodic characteristics, the system configuration is simple.
このような分類装置としての環境検知モジュール150は、例えば、時間変化信号を生成するセンサが搭載されたデバイス(例えばスマートフォン)の周囲の状況(この状況を時間変化信号が表している)が、予め規定された状況(事象)のどれに該当するかを分析することができる。この分析結果に応じてそのデバイスを制御したり、その分析結果を蓄積して傾向を分析する等によりそのデバイスへのサービスを改善したりする等の応用も考えられる。 For example, the environment detection module 150 as such a classification device is configured so that, for example, a situation around a device (for example, a smartphone) on which a sensor that generates a time change signal is mounted (the time change signal represents this situation) in advance. It is possible to analyze which of the specified situations (events) is applicable. Applications such as controlling the device in accordance with the analysis result and improving the service to the device by accumulating the analysis result and analyzing the trend are also conceivable.
以上に例示した分類装置としての環境検知モジュール150は、例えば、汎用のコンピュータに上述の各機能モジュールの処理を表すプログラムを実行させることにより実現してもよい。ここで、コンピュータは、例えば、ハードウェアとして、CPU等のマイクロプロセッサ、ランダムアクセスメモリ(RAM)及びリードオンリメモリ(ROM)等のメモリ(一次記憶)、HDD(ハードディスクドライブ)を制御するHDDコントローラ、各種I/O(入出力)インタフェース、ローカル・エリア・ネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバスを介して接続された回路構成を有する。また、そのバスに対し、例えばI/Oインタフェース経由で、CDやDVDなどの可搬型ディスク記録媒体に対する読み取り及び/又は書き込みのためのディスクドライブ、フラッシュ・メモリなどの各種規格の可搬型の不揮発性記録媒体に対する読み取り及び/又は書き込みのためのメモリリーダライタ、などが接続されてもよい。上に例示した各機能モジュールの処理内容が記述されたプログラムがCDやDVD等の記録媒体を経由して、又はネットワーク等の通信手段経由で、ハードディスクドライブ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがRAMに読み出されCPU等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。また、分類装置である環境検知モジュール150を構成する機能モジュールのうちの1つ以上を、ハードウェア回路として構成してもよい。 The environment detection module 150 as the classification device exemplified above may be realized, for example, by causing a general-purpose computer to execute a program representing the processing of each functional module described above. Here, the computer includes, as hardware, for example, a microprocessor such as a CPU, a memory (primary storage) such as a random access memory (RAM) and a read only memory (ROM), an HDD controller that controls an HDD (hard disk drive), Various I / O (input / output) interfaces, network interfaces that perform control for connection to a network such as a local area network, and the like have a circuit configuration connected via a bus, for example. In addition, various non-volatile portable devices such as a disk drive and a flash memory for reading and / or writing to a portable disk recording medium such as a CD or a DVD via the I / O interface, for example. A memory reader / writer for reading and / or writing to the recording medium may be connected. A program in which the processing contents of each functional module exemplified above are described is stored in a fixed storage device such as a hard disk drive via a recording medium such as a CD or DVD, or via a communication means such as a network, and stored in a computer. Installed. The program stored in the fixed storage device is read into the RAM and executed by a microprocessor such as a CPU, thereby realizing the functional module group exemplified above. Moreover, you may comprise one or more of the functional modules which comprise the environment detection module 150 which is a classification device as a hardware circuit.
前述の環境検知モジュール150は以下のように把握してもよい。
[A1]
1以上の事象の各々について、その事象に関して検出された時間変化信号のスペクトログラムの二次元フーリエ変換を、テンプレート画像として記憶するテンプレート画像記憶手段と、
センサにより求められた分類対象の時間変化信号を処理して、当該分類対象の時間変化信号のスペクトログラムを生成するスペクトログラム生成手段と、
前記スペクトログラム生成手段が生成したスペクトログラムの二次元フーリエ変換を計算する二次元フーリエ変換計算手段と、
前記テンプレート画像記憶手段に記憶される前記各事象に対応する前記テンプレート画像ごとに、当該テンプレート画像と、前記二次元フーリエ変換計算手段が求めた前記二次元フーリエ変換と、の類似度を計算する類似度計算手段と、
前記類似度計算手段が計算した前記類似度に基づき、前記分類対象の時間変化信号が前記1以上の事象のいずれに対応するかを判定する判定手段と、
を有する分類装置。
The environment detection module 150 described above may be grasped as follows.
[A1]
Template image storage means for storing, as a template image, a two-dimensional Fourier transform of the spectrogram of the time-varying signal detected for the event for each of the one or more events;
A spectrogram generating means for processing a time-change signal of a classification target obtained by a sensor and generating a spectrogram of the time-change signal of the classification target;
Two-dimensional Fourier transform calculation means for calculating a two-dimensional Fourier transform of the spectrogram generated by the spectrogram generation means;
Similarity for calculating the similarity between the template image and the two-dimensional Fourier transform obtained by the two-dimensional Fourier transform calculation means for each template image corresponding to each event stored in the template image storage means Degree calculation means,
A determination unit that determines which of the one or more events corresponds to the time-change signal of the classification target based on the similarity calculated by the similarity calculation unit;
A classification device.
[A2]
前記1以上の事象の各々について、その事象に関して検出された時間変化信号のスペクトログラムの二次元フーリエ変換が持つ周期性の特徴を、テンプレート特徴として記憶する特徴記憶手段と、
前記二次元フーリエ変換計算手段が求めた前記二次元フーリエ変換の画像から周期的な特徴を検出する特徴検出手段と、
前記特徴記憶手段に記憶された前記テンプレート特徴の中から、前記特徴検出手段が検出した前記周期性の特徴に類似するものを特定する特定手段と、
をさらに有し、
前記判定手段は、前記特徴検出手段が検出した前記周期性の特徴に類似するテンプレート特徴が前記特定手段により特定された場合には、前記類似度判定手段による類似度の計算は行わず、前記分類対象の時間変化信号を、前記特定手段により特定されたテンプレート特徴に該当する事象に対応すると判定する、
ことを特徴とする[A1]に記載の分類装置。
[A2]
For each of the one or more events, feature storage means for storing, as a template feature, a periodic feature of a two-dimensional Fourier transform of a spectrogram of a time-varying signal detected for the event;
Feature detection means for detecting periodic features from the image of the two-dimensional Fourier transform obtained by the two-dimensional Fourier transform calculation means;
A specifying unit for specifying a template similar to the periodic feature detected by the feature detection unit from the template features stored in the feature storage unit;
Further comprising
The determination means does not calculate the similarity by the similarity determination means when a template feature similar to the periodic feature detected by the feature detection means is specified by the specification means, and does not calculate the classification Determining that the time change signal of the target corresponds to an event corresponding to the template feature specified by the specifying means;
The classification device according to [A1].
[A3]
コンピュータを、
1以上の事象の各々について、その事象に関して検出された時間変化信号のスペクトログラムの二次元フーリエ変換を、テンプレート画像として記憶するテンプレート画像記憶手段、
センサにより求められた分類対象の時間変化信号を処理して、当該分類対象の時間変化信号のスペクトログラムを生成するスペクトログラム生成手段、
前記スペクトログラム生成手段が生成したスペクトログラムの二次元フーリエ変換を計算する二次元フーリエ変換計算手段、
前記テンプレート画像記憶手段に記憶される前記各事象に対応する前記テンプレート画像ごとに、当該テンプレート画像と、前記二次元フーリエ変換計算手段が求めた前記二次元フーリエ変換と、の類似度を計算する類似度計算手段、
前記類似度計算手段が計算した前記類似度に基づき、前記分類対象の時間変化信号が前記1以上の事象のいずれに対応するかを判定する判定手段、
として機能させるためのプログラム。
[A3]
Computer
Template image storage means for storing, for each of one or more events, a two-dimensional Fourier transform of a spectrogram of a time-varying signal detected for the event as a template image;
A spectrogram generating means for processing a time-change signal of a classification target obtained by a sensor and generating a spectrogram of the time-change signal of the classification target;
Two-dimensional Fourier transform calculation means for calculating a two-dimensional Fourier transform of the spectrogram generated by the spectrogram generation means;
Similarity for calculating the degree of similarity between the template image and the two-dimensional Fourier transform obtained by the two-dimensional Fourier transform calculation means for each template image corresponding to each event stored in the template image storage means Degree calculation means,
A determination unit that determines which of the one or more events corresponds to the time change signal of the classification target based on the similarity calculated by the similarity calculation unit;
Program to function as.
[A1]又は[A3]によれば、分類対象の時間変化信号を、スペクトログラムの特徴量を用いる場合よりも少ない計算量で、対応する事象に分類できる。
[A2]によれば、二次元フーリエ変換から明確な周期性特徴が検出できる場合には処理負荷が軽減される。
According to [A1] or [A3], it is possible to classify a time-change signal to be classified into a corresponding event with a smaller calculation amount than when using a spectrogram feature amount.
According to [A2], if a clear periodic feature can be detected from the two-dimensional Fourier transform, the processing load is reduced.
図9〜19の例を用いて、環境検知モジュール150内のモジュール構成、処理内容(携帯端末の加速度を検知して置かれている状況を判断する処理)を説明する。
環境検知モジュール150を含む携帯端末91は、振動機能(バイブレーション機能)を備え、携帯端末91の振動時に計測される加速度データに基づいて、携帯端末91が置かれた物体の材質を判定する処理を行う。
9 to 19, the module configuration in the environment detection module 150 and the processing content (processing for detecting the acceleration of the mobile terminal and determining the situation where it is placed) will be described.
The mobile terminal 91 including the environment detection module 150 has a vibration function (vibration function), and performs processing for determining the material of the object on which the mobile terminal 91 is placed based on acceleration data measured when the mobile terminal 91 vibrates. Do.
[機能ブロック図の説明]
図9には、携帯端末91の機能ブロック図の例を示した。図9の例に示されるように、携帯端末91は、計測制御モジュール911、振動発生モジュール912、加速度検出モジュール913、加速度データ記録モジュール914、データ取得モジュール915、データ保持モジュール916、摩擦係数算出モジュール917、反発係数算出モジュール918、加速度振幅算出モジュール919、材質判定モジュール920、情報処理切替モジュール921を備える。
[Explanation of functional block diagram]
In FIG. 9, the example of the functional block diagram of the portable terminal 91 was shown. As shown in the example of FIG. 9, the portable terminal 91 includes a measurement control module 911, a vibration generation module 912, an acceleration detection module 913, an acceleration data recording module 914, a data acquisition module 915, a data holding module 916, and a friction coefficient calculation module. 917, a restitution coefficient calculation module 918, an acceleration amplitude calculation module 919, a material determination module 920, and an information processing switching module 921.
携帯端末91に備えられる前述の各モジュールの機能は、CPU等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する通信手段、振動発生器(バイブレータ)、3方向のそれぞれの加速度を検出する加速度センサ等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュ・メモリ等の情報記憶媒体によってコンピュータたる携帯端末91に供給されることとしてもよいし、インターネット等のデータ通信網を介して携帯端末91に供給されることとしてもよい。なお、携帯端末91は、携帯電話機(フィーチャーフォン、スマートフォンを含む)、タブレット端末、ノートパーソナルコンピュータ、PDA等としてよい。 The function of each module provided in the portable terminal 91 includes control means such as a CPU, storage means such as a memory, communication means for transmitting / receiving data to / from an external device, a vibration generator (vibrator), and acceleration in each of the three directions. A computer including an acceleration sensor to detect may be realized by reading and executing a program stored in a computer-readable information storage medium. The program may be supplied to the portable terminal 91 as a computer by an information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or may be carried via a data communication network such as the Internet. It may be supplied to the terminal 91. Note that the mobile terminal 91 may be a mobile phone (including feature phones and smartphones), a tablet terminal, a notebook personal computer, a PDA, or the like.
計測制御モジュール911は、計測の開始及び終了、振動発生モジュール912の振動の開始及び停止等を制御する。例えば、計測制御モジュール911は、計測を実行するタイミングが到来した場合に、計測条件(計測回数、振動時間等)を設定するとともに、設定した計測条件に従って振動発生モジュール912に振動の開始と停止とを実行させる。また、計測の実行タイミングは、予め定められた時間間隔ごととしてもよいし、携帯端末91において予め定められたイベントが発生したタイミングとしてもよいし、携帯端末91において他のデバイスから予め定められた信号を受信したタイミングとしてもよい。
振動発生モジュール912は、例えば重りと、重りを回転させるモータを含み構成され、計測制御モジュール911による制御に従って携帯端末91を振動させる。振動発生モジュール912は、計測制御モジュール911により指定されたタイミング(T1)で振動を開始し、計測制御モジュール911により指定されたタイミング(T2(<T1))まで振動を継続した後に振動を停止する処理を、指定された回数繰り返すこととする。
加速度検出モジュール913は、例えば加速度センサを含み構成され、携帯端末91の加速度を検出する。加速度検出モジュール913は、X方向加速度検出モジュール913X、Y方向加速度検出モジュール913Y、Z方向加速度検出モジュール913Zを有し、携帯端末91の物体に対する設置面の面内方向と、設置面の面外方向(例えば法線方向)の3方向の加速度をそれぞれ検出するようになっている。なお、X,Y方向が携帯端末91の設置面(ディスプレイが設けられている表面又はその裏面)の面内方向の方向に対応しており、Z方向が設置面に対する法線方向に対応している。
The measurement control module 911 controls the start and end of measurement, the start and stop of vibration of the vibration generation module 912, and the like. For example, the measurement control module 911 sets measurement conditions (number of times of measurement, vibration time, etc.) when the timing for executing measurement arrives, and starts and stops vibration in the vibration generation module 912 according to the set measurement conditions. Is executed. In addition, the measurement execution timing may be set for each predetermined time interval, may be a timing at which a predetermined event occurs in the mobile terminal 91, or may be predetermined from another device in the mobile terminal 91. It is good also as the timing which received the signal.
The vibration generation module 912 includes, for example, a weight and a motor that rotates the weight, and vibrates the mobile terminal 91 according to control by the measurement control module 911. The vibration generation module 912 starts vibration at the timing (T1) designated by the measurement control module 911, stops vibration after continuing the vibration until the timing (T2 (<T1)) designated by the measurement control module 911. The process is repeated a specified number of times.
The acceleration detection module 913 includes, for example, an acceleration sensor, and detects the acceleration of the mobile terminal 91. The acceleration detection module 913 includes an X-direction acceleration detection module 913X, a Y-direction acceleration detection module 913Y, and a Z-direction acceleration detection module 913Z. The in-plane direction of the installation surface relative to the object of the portable terminal 91 and the out-of-plane direction of the installation surface The accelerations in the three directions (for example, the normal direction) are detected. The X and Y directions correspond to the in-plane direction of the installation surface of the mobile terminal 91 (the surface on which the display is provided or its back surface), and the Z direction corresponds to the normal direction to the installation surface. Yes.
加速度データ記録モジュール914は、計測制御モジュール911による制御に応じて振動発生モジュール912により発生した振動に基づいて加速度検出モジュール913により検出される加速度データを時間に関連付けて記録する。加速度データ記録モジュール914は、X方向加速度データ記録モジュール914X、Y方向加速度データ記録モジュール914Y、Z方向加速度データ記録モジュール914Zを有し、携帯端末91の設置面内方向(X,Y方向)と、設置面の法線方向(Z方向)の3方向の加速度データを計測時刻に関連付けてそれぞれ記録する。
データ取得モジュール915は、携帯端末91の設置面の材質判定処理に利用するデータ(利用データ)を取得する。データ取得モジュール915は、予め定められたデバイス(サーバ)から利用データをダウンロードすることとしてもよいし、利用データを格納した記憶媒体から利用データを読み出すこととしてもよい。例えば、データ取得モジュール915は、計測開始時に、予め定められたデバイスへの通信が可能である場合には、予め定められたデバイスから最新の利用データをダウンロードし、予め定められたデバイスへの通信が可能でない場合には、既に取得されている利用データを利用するようにしてもよい。
例えば、データ取得モジュール915により取得される利用データには、振動発生モジュール912による振動によるX,Y,Z方向に発生する力の時間ごとの推移情報、材質ごとの摩擦係数、反発係数の範囲を定めたデータや、材質ごとのX,Y,Z方向の加速度振幅の範囲を定めたデータ等が含まれる。
データ保持モジュール916は、データ取得モジュール915により取得された利用データを保持する。以下、データ保持モジュール916により保持されるデータの一例を説明する。
The acceleration data recording module 914 records the acceleration data detected by the acceleration detection module 913 in association with time based on the vibration generated by the vibration generating module 912 according to the control by the measurement control module 911. The acceleration data recording module 914 includes an X-direction acceleration data recording module 914X, a Y-direction acceleration data recording module 914Y, and a Z-direction acceleration data recording module 914Z, and the installation in-plane direction (X and Y directions) of the mobile terminal 91, Acceleration data in three directions in the normal direction (Z direction) of the installation surface are recorded in association with the measurement time.
The data acquisition module 915 acquires data (use data) used for the material determination process for the installation surface of the mobile terminal 91. The data acquisition module 915 may download usage data from a predetermined device (server), or may read usage data from a storage medium storing the usage data. For example, the data acquisition module 915 downloads the latest usage data from the predetermined device and communicates with the predetermined device when communication with the predetermined device is possible at the start of measurement. If this is not possible, use data that has already been acquired may be used.
For example, the usage data acquired by the data acquisition module 915 includes time-dependent transition information of force generated in the X, Y, and Z directions due to vibration by the vibration generation module 912, friction coefficient for each material, and range of restitution coefficient. Data that defines the range of acceleration amplitudes in the X, Y, and Z directions for each material are included.
The data holding module 916 holds the usage data acquired by the data acquisition module 915. Hereinafter, an example of data held by the data holding module 916 will be described.
図10には、データ保持モジュール916に保持される振動発生モジュール912による力のデータの一例を示した。図10に示される例では、横軸に時間t(t=0で振動開始)、縦軸に力(N)を表す。振動発生モジュール912による力のデータは、携帯端末の機種ごとに予め定められていることとしてよい。
図11には、データ保持モジュール916に保持される第1の材質特徴データテーブルの一例を示した。図11の例に示される第1の材質特徴データテーブルでは、材質を識別する材質ID、材質の説明情報、材質の摩擦係数が取り得る値の範囲、材質の反発係数が取り得る値の範囲がそれぞれ関連付けて記憶される。
FIG. 10 shows an example of force data by the vibration generation module 912 held in the data holding module 916. In the example shown in FIG. 10, the horizontal axis represents time t (vibration starts at t = 0), and the vertical axis represents force (N). The force data by the vibration generating module 912 may be determined in advance for each model of the mobile terminal.
FIG. 11 shows an example of the first material feature data table held in the data holding module 916. In the first material feature data table shown in the example of FIG. 11, there are a material ID for identifying a material, material description information, a range of values that the material friction coefficient can take, and a range of values that the material restitution coefficient can take. They are stored in association with each other.
図12には、材質ごとの3軸方向のそれぞれの加速度データの一例を示した。図12の例には材質が絨毯(A)である場合のX,Y,Z方向の加速度のデータ、材質がプラスチック(B)である場合のX,Y,Z方向の加速度のデータを示している。図12の例に示されるように、絨毯(A)には目があり、面内方向の移動のし易さに指向性があるのに対して、プラスチック(B)には、面内方向の移動のし易さには指向性がない。また、絨毯(A)はプラスチック(B)と比べて柔らかいため、Z方向の加速度がプラスチックに比べて小さくなる。このように、材質ごとに3軸の加速度データの取り得る値の組合せには差異が生じる。図13及び図14には、材質ごとに3軸の加速度データの取り得る値の組合せには差異が生じる点に着目し、材質ごとに定めた加速度特徴の一例を示す。
図13には、データ保持モジュール916に保持される第2の材質特徴データテーブルの一例を示した。図13の例に示される第2の材質特徴データテーブルでは、材質を識別する材質ID、材質の説明情報、X方向の加速度振幅が取り得る値の範囲、Y方向の加速度振幅が取り得る値の範囲、Z方向の加速度振幅が取り得る値の範囲がそれぞれ関連付けて記憶される。
FIG. 12 shows an example of acceleration data in each of the triaxial directions for each material. The example in FIG. 12 shows acceleration data in the X, Y, and Z directions when the material is carpet (A), and acceleration data in the X, Y, and Z directions when the material is plastic (B). Yes. As shown in the example of FIG. 12, the carpet (A) has eyes and has directivity in the ease of movement in the in-plane direction, whereas the plastic (B) has an in-plane direction. There is no directivity in the ease of movement. Further, since the carpet (A) is softer than the plastic (B), the acceleration in the Z direction is smaller than that of the plastic. Thus, there is a difference in the combinations of values that can be taken by the triaxial acceleration data for each material. FIG. 13 and FIG. 14 show an example of acceleration characteristics determined for each material, focusing on the fact that there is a difference in the combinations of values that can be taken by the triaxial acceleration data for each material.
FIG. 13 shows an example of the second material feature data table held in the data holding module 916. In the second material feature data table shown in the example of FIG. 13, the material ID for identifying the material, the material description information, the range of values that the acceleration amplitude in the X direction can take, and the values that the acceleration amplitude in the Y direction can take. A range and a range of values that can be taken by the acceleration amplitude in the Z direction are stored in association with each other.
図14には、データ保持モジュール916に保持される第2の材質特徴データテーブルの他の一例を示した。図14の例に示される第2の材質特徴データテーブルでは、材質を識別する材質ID、材質の説明情報、XY平面における加速度振幅が取り得る値の範囲、XY平面における加速度のばらつき(偏差、分散)、Z方向の加速度振幅が取り得る値の範囲がそれぞれ関連付けて記憶される。
摩擦係数算出モジュール917は、携帯端末91の設置面内方向の携帯端末91の加速度データに基づいて携帯端末91が置かれている物体と携帯端末91との摩擦係数(動摩擦係数)を算出する。例えば、摩擦係数算出モジュール917は、X方向加速度データ記録モジュール914Xに記録されたX方向の携帯端末91の加速度データと、データ保持モジュール916に保持された振動発生モジュール912により発生するX方向の力のデータとに基づいてX方向の摩擦係数を算出し、Y方向加速度データ記録モジュール914Yに記録されたY方向の携帯端末91の加速度データと、データ保持モジュール916に保持された振動発生モジュール912により発生するY方向の力のデータとに基づいてY方向の摩擦係数を算出することとしてよい。この摩擦係数の算出処理の詳細については後述する。
FIG. 14 shows another example of the second material feature data table held in the data holding module 916. In the second material feature data table shown in the example of FIG. 14, the material ID for identifying the material, the description information of the material, the range of values that the acceleration amplitude on the XY plane can take, and the variation (deviation, variance) of the acceleration on the XY plane ), A range of values that the acceleration amplitude in the Z direction can take is stored in association with each other.
The friction coefficient calculation module 917 calculates a friction coefficient (dynamic friction coefficient) between the object on which the mobile terminal 91 is placed and the mobile terminal 91 based on the acceleration data of the mobile terminal 91 in the in-plane direction of the mobile terminal 91. For example, the friction coefficient calculation module 917 includes the X direction acceleration data recorded in the X direction acceleration data recording module 914X and the X direction force generated by the vibration generation module 912 held in the data holding module 916. The friction coefficient in the X direction is calculated based on the data in the Y direction, and the acceleration data of the portable terminal 91 in the Y direction recorded in the Y direction acceleration data recording module 914Y and the vibration generation module 912 held in the data holding module 916 are used. The friction coefficient in the Y direction may be calculated based on the generated Y direction force data. Details of the friction coefficient calculation process will be described later.
反発係数算出モジュール918は、携帯端末91の設置面の法線方向についての携帯端末91の加速度データに基づいて携帯端末91が置かれている面と携帯端末91との反発係数を算出する。例えば、反発係数算出モジュール918は、Z方向加速度データ記録モジュール914Zに記録されたZ方向の携帯端末91の加速度データに基づいて得られる衝突前後の設置面の法線方向の速度に基づいて、Z方向の反発係数を算出することとしてよい。この反発係数の算出処理の詳細についても後述する。
加速度振幅算出モジュール919は、加速度データ記録モジュール914に記録された加速度データに基づいて、振動発生時の加速度の振幅を算出する。例えば、加速度振幅算出モジュール919は、X方向加速度データ記録モジュール914Xに記録されたX方向の携帯端末91の加速度データに基づいてX方向の加速度振幅を算出し、Y方向加速度データ記録モジュール914Yに記録されたY方向の携帯端末91の加速度データに基づいてY方向の加速度振幅を算出し、Z方向加速度データ記録モジュール914Zに記録されたZ方向の携帯端末91の加速度データに基づいてZ方向の加速度振幅を算出することとしてよい。また、加速度振幅算出モジュール919は、XY面内における加速度の振幅、XY面内におけるX方向の加速度、Y方向の加速度のばらつきを算出することとしてもよい。
The restitution coefficient calculation module 918 calculates the restitution coefficient between the surface on which the mobile terminal 91 is placed and the mobile terminal 91 based on the acceleration data of the mobile terminal 91 in the normal direction of the installation surface of the mobile terminal 91. For example, the coefficient of restitution calculation module 918 uses the normal direction velocity of the installation surface before and after the collision obtained based on the acceleration data of the mobile terminal 91 in the Z direction recorded in the Z direction acceleration data recording module 914Z. The direction restitution coefficient may be calculated. Details of the processing for calculating the coefficient of restitution will be described later.
The acceleration amplitude calculation module 919 calculates the amplitude of acceleration at the time of occurrence of vibration based on the acceleration data recorded in the acceleration data recording module 914. For example, the acceleration amplitude calculation module 919 calculates the acceleration amplitude in the X direction based on the acceleration data of the mobile device 91 in the X direction recorded in the X direction acceleration data recording module 914X, and records it in the Y direction acceleration data recording module 914Y. The Y direction acceleration amplitude is calculated based on the Y direction mobile terminal 91 acceleration data, and the Z direction acceleration is calculated based on the Z direction mobile terminal 91 acceleration data recorded in the Z direction acceleration data recording module 914Z. The amplitude may be calculated. The acceleration amplitude calculation module 919 may calculate acceleration amplitude in the XY plane, acceleration in the X direction in the XY plane, and variation in acceleration in the Y direction.
材質判定モジュール920は、摩擦係数算出モジュール917により算出された摩擦係数、反発係数算出モジュール918により算出された反発係数、加速度振幅算出モジュール919により算出された加速度振幅の少なくとも1つに基づいて、携帯端末91が置かれている物体の材質を判定する。
例えば、材質判定モジュール920は、材質の判定に摩擦係数と反発係数とを用いる場合には、第1の材質特徴データテーブルの中から、摩擦係数算出モジュール917により算出された摩擦係数、反発係数算出モジュール918により算出された反発係数とをそれぞれ範囲に含む材質を検索し、材質が検索された場合には、当該検索された材質を携帯端末91が置かれた物体の材質と判定することとしてよい。
また、例えば、材質判定モジュール920は、材質の判定に3軸の加速度振幅を用いる場合には、第2の材質特徴データテーブルの中から、3軸の加速度振幅をそれぞれ範囲に含む材質を検索し、材質が検索された場合には、当該検索された材質を携帯端末91が置かれた物体の材質と判定することとしてよい。
また、例えば、材質判定モジュール920は、材質の判定に摩擦係数及び反発係数と、3軸の加速度振幅を用いる場合には、摩擦係数及び反発係数に基づいて検索された材質のうち、3軸の加速度振幅に基づいて検索された材質が含まれる材質を携帯端末91が置かれた物体の材質と判定することとしてもよいし、摩擦係数及び反発係数に基づいて検索された材質と3軸の加速度振幅に基づいて検索された材質のうちどちらか一方に含まれる材質を携帯端末91が置かれた物体の材質と判定することとしてもよい。
情報処理切替モジュール921は、材質判定モジュール920により判定された材質に応じた情報処理を実行する。例えば、情報処理切替モジュール921は、材質判定モジュール920により判定された材質が予め定められた材質(例えば車のダッシュボードに用いられる素材)であって、加速度データ記録モジュール914から算出される面内方向の移動量が閾値を超えている場合に、携帯端末91に警告情報を出力させる(例えばアラート音を鳴らす等)ようにしてもよい。
The material determination module 920 is based on at least one of the friction coefficient calculated by the friction coefficient calculation module 917, the restitution coefficient calculated by the restitution coefficient calculation module 918, and the acceleration amplitude calculated by the acceleration amplitude calculation module 919. The material of the object on which the terminal 91 is placed is determined.
For example, when the material determination module 920 uses the friction coefficient and the restitution coefficient for the determination of the material, the friction coefficient and the restitution coefficient calculated by the friction coefficient calculation module 917 from the first material characteristic data table are calculated. A material that includes each of the coefficient of restitution calculated by the module 918 is searched, and when the material is searched, the searched material may be determined as the material of the object on which the mobile terminal 91 is placed. .
Further, for example, when the triaxial acceleration amplitude is used for the material judgment, the material judgment module 920 searches the second material feature data table for materials each including the triaxial acceleration amplitude in the range. When the material is retrieved, the retrieved material may be determined as the material of the object on which the mobile terminal 91 is placed.
In addition, for example, when the material determination module 920 uses the friction coefficient and the restitution coefficient and the triaxial acceleration amplitude for the determination of the material, among the materials retrieved based on the friction coefficient and the restitution coefficient, The material including the material retrieved based on the acceleration amplitude may be determined as the material of the object on which the mobile terminal 91 is placed, or the material retrieved based on the friction coefficient and the restitution coefficient and the triaxial acceleration. The material included in either one of the materials searched based on the amplitude may be determined as the material of the object on which the mobile terminal 91 is placed.
The information processing switching module 921 executes information processing according to the material determined by the material determination module 920. For example, in the information processing switching module 921, the material determined by the material determination module 920 is a predetermined material (for example, a material used for a dashboard of a car) and is calculated from the acceleration data recording module 914. When the amount of movement in the direction exceeds the threshold value, warning information may be output from the portable terminal 91 (for example, an alert sound is sounded).
[フローチャートの説明]
次に、携帯端末91により実行される処理の一例を図15乃至図18の例に示したフローチャートを参照しながら説明する。
[材質判定処理]
図15の例には、携帯端末91により実行される携帯端末91の置かれている物体の材質を判定する材質判定処理のフローチャートを示した。以下、説明する材質判定処理は、携帯端末91により定期的なタイミング又は、予め定められたイベント(例えば判定の信号を受信した場合や、強い衝撃を検知した場合等)が検出された場合に実行されることとしてよい。
[Explanation of flowchart]
Next, an example of processing executed by the mobile terminal 91 will be described with reference to the flowcharts shown in the examples of FIGS.
[Material judgment processing]
In the example of FIG. 15, the flowchart of the material determination process which determines the material of the object in which the portable terminal 91 is performed performed by the portable terminal 91 was shown. Hereinafter, the material determination process described below is executed when the mobile terminal 91 detects a periodic timing or a predetermined event (for example, when a determination signal is received or when a strong impact is detected). It can be done.
図15の例に示されるように、携帯端末91は、機種・環境に応じた初期設定(例えば、振動パターン(データテーブル、振動時間)の設定、携帯端末91の質量mの設定等)を実行するとともに(S1502)、計測回数(N回)についても設定する(S1504)。計測回数Nは、1以上の整数としてよい。
携帯端末91は、変数iを1に初期化して(S1506)、振動発生モジュール912による振動の発生を開始し(S1508)、X,Y,Z方向の加速度データをそれぞれに対応した加速度センサにより順次計測し、時間に関連付けて記録する(S1510)。
携帯端末91は、振動開始からの経過時間が閾値T以上となっていない場合には(S1512:N)、振動の発生を継続するとともに、S1510に戻って、3軸の加速度データを記録する。一方で、携帯端末91は、振動開始からの経過時間が閾値T以上となった場合には(S1512:Y)、振動を停止させる(S1514)。
As shown in the example of FIG. 15, the mobile terminal 91 performs initial settings (for example, setting of vibration patterns (data table, vibration time), setting of mass m of the mobile terminal 91, etc.) according to the model and environment. In addition, the number of times of measurement (N times) is also set (S1504). The number of measurements N may be an integer of 1 or more.
The portable terminal 91 initializes the variable i to 1 (S1506), starts generation of vibration by the vibration generation module 912 (S1508), and sequentially stores acceleration data in the X, Y, and Z directions by corresponding acceleration sensors. Measure and record in association with time (S1510).
If the elapsed time from the start of vibration is not equal to or greater than the threshold T (S1512: N), the portable terminal 91 continues to generate vibration and returns to S1510 to record triaxial acceleration data. On the other hand, when the elapsed time from the start of vibration is equal to or greater than the threshold T (S1512: Y), the mobile terminal 91 stops the vibration (S1514).
携帯端末91は、振動を停止させた後に、変数iがNに達していない場合には(S1516:N)、変数iをインクリメント(1加算)して(S1518)、予め定められた時間間隔を待機した後に、S1508の処理を開始することとしてよい。また、携帯端末91は、S1516で、変数iがNに達している場合には(S1516:Y)、記録された加速度データのノイズキャンセル処理を行った後に(S1520)、記録された加速度データに基づいて摩擦係数の算出処理を実行する(S1522)。この摩擦係数の算出処理の詳細については、図16の例に示したフローチャートに基づき説明する。 When the variable i has not reached N after stopping the vibration (S1516: N), the mobile terminal 91 increments the variable i (adds 1) (S1518) and sets a predetermined time interval. After waiting, the processing of S1508 may be started. If the variable i has reached N in S1516 (S1516: Y), the portable terminal 91 performs noise cancellation processing on the recorded acceleration data (S1520), and then stores the recorded acceleration data in the recorded acceleration data. Based on this, the coefficient of friction calculation process is executed (S1522). Details of the friction coefficient calculation process will be described based on the flowchart shown in the example of FIG.
[摩擦係数算出処理]
図16の例には、摩擦係数算出処理のフローチャートを示した。図16の例に示されるように、携帯端末91は、携帯端末91の質量mを取得し(S1602)、データ保持モジュール916からX方向の振動による力Fx(t)のデータを取得する(S1604)。
携帯端末91は、変数iを1に初期化して(S1606)、i回目の計測データにおけるX方向の加速度ax(t)、力Fx(t)、質量mに基づいて動摩擦係数μxiを算出する(S1608)。なお、時間tは、振動開始時を0とする。ここで、動摩擦係数の算出処理は、図19の例に示した物理モデルに基づいて行うこととしてよい。
[Friction coefficient calculation processing]
The example of FIG. 16 shows a flowchart of the friction coefficient calculation process. As shown in the example of FIG. 16, the mobile terminal 91 acquires the mass m of the mobile terminal 91 (S1602), and acquires data of the force F x (t) due to vibration in the X direction from the data holding module 916 ( S1604).
The portable terminal 91 initializes the variable i to 1 (S1606), and sets the dynamic friction coefficient μ xi based on the acceleration a x (t), the force F x (t), and the mass m in the X direction in the i-th measurement data. Calculate (S1608). Time t is set to 0 when vibration starts. Here, the dynamic friction coefficient calculation processing may be performed based on the physical model shown in the example of FIG.
図19に示した物理モデルの例では、携帯端末91が対象物92に置かれていることとし、対象物92の質量Mは携帯端末91の質量mに比べて十分に重く、対象物92の質量を無限大(対象物は固定されている)と仮定する。また、携帯端末91に備えられた振動発生器(バイブレータ)は、携帯端末91の質量mに比べて十分に軽く、振動発生モジュール912の質量は無限小(0)と仮定する。さらに、Z方向の運動変化は考慮せず、Fcx(t)は、予め定められた力で動作することとし、携帯端末91、対象物92、振動発生モジュール912は互いに剛体であるとする。この場合に、X方向に関して算出される動摩擦係数μは、以下の式(1)により算出される。なお、Nは垂直抗力でmgに等しい。
携帯端末91は、第1回〜第N回の計測のそれぞれについて算出された動摩擦係数μx1〜μxNに基づいて、X方向の動摩擦係数μxを算出する(S1614)。例えば、携帯端末91は、μx1〜μxNの平均値をμxとして算出することとしてよい。
In the example of the physical model shown in FIG. 19, it is assumed that the portable terminal 91 is placed on the object 92, and the mass M of the object 92 is sufficiently heavier than the mass m of the portable terminal 91. Assume that the mass is infinite (the object is fixed). Further, it is assumed that the vibration generator (vibrator) provided in the mobile terminal 91 is sufficiently lighter than the mass m of the mobile terminal 91 and the mass of the vibration generating module 912 is infinitesimal (0). Furthermore, it is assumed that the motion change in the Z direction is not taken into account, and F cx (t) operates with a predetermined force, and the mobile terminal 91, the object 92, and the vibration generation module 912 are rigid bodies. In this case, the dynamic friction coefficient μ calculated in the X direction is calculated by the following equation (1). N is vertical drag and is equal to mg.
The mobile terminal 91, based on the 1st to N-th times are calculated for each measurement the dynamic friction coefficient μ x1 ~μ xN, calculates the X-direction of the dynamic friction coefficient μ x (S1614). For example, the mobile terminal 91 may calculate an average value of μ x1 to μ xN as μ x .
次に、携帯端末91は、データ保持モジュール916からY方向の振動による力Fy(t)のデータを取得し(S1616)、変数iを1に初期化して(S1618)、i回目の計測データにおけるY方向の加速度ay(t)、力Fy(t)、質量mに基づいて動摩擦係数μyiを(1)式により算出する(S1620)。なお、時間tは、振動開始時を0とする。
携帯端末91は、変数iがNに達していない場合には(S1622:N)、変数iをインクリメント(1加算)して(S1624)、S1620に戻り、変数iがNに達した場合には(S1622:Y)、S1626に進む。
携帯端末91は、計測1〜Nのそれぞれについて算出された動摩擦係数μy1〜μyNに基づいて、Y方向の動摩擦係数μyを算出し(S1626)、リターンする(S1699)。例えば、携帯端末91は、μy1〜μyNの平均値をμyとして算出することとしてよい。
Next, the portable terminal 91 acquires data of the force F y (t) due to the vibration in the Y direction from the data holding module 916 (S1616), initializes the variable i to 1 (S1618), and the i-th measurement data The dynamic friction coefficient μ yi is calculated by the equation (1) based on the acceleration a y (t), the force F y (t), and the mass m in the Y direction (S1620). Time t is set to 0 when vibration starts.
When the variable i has not reached N (S1622: N), the mobile terminal 91 increments (adds 1) the variable i (S1624), returns to S1620, and when the variable i reaches N (S1622: Y), the process proceeds to S1626.
The mobile terminal 91, based on the dynamic friction coefficient μ y1 ~μ yN calculated for each measurement 1 to N, calculate the dynamic friction coefficient mu y in the Y direction (S1626), the process returns (S1699). For example, the mobile terminal 91 may calculate an average value of μ y1 to μ yN as μ y .
ここで、図15のフローチャートに戻り説明を続ける。携帯端末91は、摩擦係数の算出処理を終えると、次に、記録された加速度データに基づいて反発係数の算出処理を実行する(S1524)。この反発係数の算出処理の詳細については、図17の例に示したフローチャートに基づいて説明する。 Returning to the flowchart of FIG. When the portable terminal 91 finishes the friction coefficient calculation process, it next executes a coefficient of restitution calculation process based on the recorded acceleration data (S1524). Details of the processing for calculating the coefficient of restitution will be described based on the flowchart shown in the example of FIG.
[反発係数算出処理]
図17の例に示されるように、携帯端末91は、変数iを1に初期化して(S1702)、i回目の計測データにおけるZ方向の加速度az(t)に基づいて、携帯端末91と対象物との衝突時刻t1を算出する(S1704)。なお、時間tは、振動開始時を0とし、振動開始時のZ方向の座標位置は0とする。
携帯端末91は、i回目の計測データにおけるZ方向の加速度az(t)に基づいて、衝突時刻t1の直前t1A(t1A=t1−Δt)の速度Vを以下の式(2)により算出するとともに(S1706)、衝突時刻t1の直後t1B(t1B=t1+Δt)の速度Uを以下の式(3)により算出する(S1708)。そして、携帯端末91は、算出されたVとUとに基づいて反発係数eiを以下の式(4)により算出する(S1710)。
As illustrated in the example of FIG. 17, the mobile terminal 91 initializes the variable i to 1 (S1702), and based on the acceleration a z (t) in the Z direction in the i-th measurement data, calculating a collision time t 1 to the object (S1704). The time t is set to 0 at the start of vibration, and the coordinate position in the Z direction at the start of vibration is set to 0.
Based on the acceleration a z (t) in the Z direction in the i-th measurement data, the portable terminal 91 calculates the velocity V of t 1A (t 1A = t 1 −Δt) immediately before the collision time t 1 using the following equation (2 ) (S1706), and the speed U of t 1B (t 1B = t 1 + Δt) immediately after the collision time t 1 is calculated by the following equation (3) (S 1708). Then, the portable terminal 91 calculates the restitution coefficient e i based on the calculated V and U by the following equation (4) (S1710).
携帯端末91は、変数iがNに達していない場合には(S1712:N)、変数iをインクリメント(1加算)して(S1714)、S1704に戻り、変数iがNに達した場合には(S1712:Y)、S1716に進む。
携帯端末91は、計測1〜Nのそれぞれについて算出された反発係数e1〜eNに基づいて、反発係数eを算出し(S1716)、リターンする(S1799)。例えば、携帯端末91は、e1〜eNの平均値をeとして算出することとしてよい。
If the variable i has not reached N (S1712: N), the portable terminal 91 increments the variable i (adds 1) (S1714), returns to S1704, and if the variable i reaches N, (S1712: Y), the process proceeds to S1716.
The portable terminal 91 calculates the restitution coefficient e based on the restitution coefficients e 1 to e N calculated for each of the measurements 1 to N (S1716), and returns (S1799). For example, the mobile terminal 91 may calculate the average value of e 1 to e N as e.
次に、図15の例のフローチャートに戻り説明を続ける。携帯端末91は、反発係数の算出処理を終えると、次に、記録された加速度データに基づいて加速度振幅の算出処理を実行する(S1526)。この加速度振幅の算出処理の詳細については、図18の例に示したフローチャートに基づき説明する。 Next, returning to the flowchart of the example of FIG. When the portable terminal 91 finishes the calculation process of the coefficient of restitution, the portable terminal 91 next executes a calculation process of the acceleration amplitude based on the recorded acceleration data (S1526). The details of the acceleration amplitude calculation process will be described based on the flowchart shown in the example of FIG.
[加速度振幅算出処理]
図18の例に示されるように、携帯端末91は、変数iを1に初期化して(S1802)、i回目の計測データにおけるX方向の加速度振幅Axiを算出し(S1804)、i回目の計測データにおけるY方向の加速度振幅Ayiを算出し(S1806)、i回目の計測データにおけるZ方向の加速度振幅Aziを算出する(S1808)。なお、加速度振幅は、周期的に現れる加速度の最大値と最小値との差としてよい。
携帯端末91は、変数iがNに達していない場合には(S1810:N)、変数iをインクリメント(1加算)して(S1812)、S1804に戻り、変数iがNに達した場合には(S1810:Y)、S1814に進む。
携帯端末91は、第1回〜第N回の計測のそれぞれについて算出されたX方向の加速度振幅Ax1〜AxNに基づいて、X方向の加速度振幅Axを算出し(S1814)、計測1〜Nのそれぞれについて算出されたY方向の加速度振幅Ay1〜AyNに基づいて、Y方向の加速度振幅Ayを算出し(S1816)、第1回〜第N回の計測のそれぞれについて算出されたZ方向の加速度振幅Az1〜AzNに基づいて、Z方向の加速度振幅Azを算出し(S1818)、リターンする(S1899)。例えば、携帯端末91は、Ax1〜AxNの平均値をAx、Ay1〜AyNの平均値をAy、Az1〜AzNの平均値をAzとして算出することとしてよい。
[Acceleration amplitude calculation processing]
As shown in the example of FIG. 18, the mobile terminal 91 initializes a variable i to 1 (S1802), calculates the acceleration amplitude A xi of X direction in the i-th measurement data (S1804), the i-th An acceleration amplitude A yi in the Y direction in the measurement data is calculated (S1806), and an acceleration amplitude A zi in the Z direction in the i-th measurement data is calculated (S1808). The acceleration amplitude may be the difference between the maximum value and the minimum value of acceleration that appear periodically.
If the variable i has not reached N (S1810: N), the mobile terminal 91 increments (adds 1) the variable i (S1812), returns to S1804, and if the variable i reaches N (S1810: Y), the process proceeds to S1814.
The mobile terminal 91, based on the acceleration amplitude A x1 to A xN of X direction calculated regarding each of the 1st to N-th time measurement, to calculate the acceleration amplitude A x of the X direction (S1814), measuring 1 based on the acceleration amplitude a y1 to a yN of the calculated Y-direction for each to N, calculating an acceleration amplitude a y of the Y direction (S1816), calculated for each of the 1st to N-th single measurement Based on the acceleration amplitudes A z1 to A zN in the Z direction, the acceleration amplitude A z in the Z direction is calculated (S1818), and the process returns (S1899). For example, the mobile terminal 91 is good as possible to calculate the average value of A x1 ~A xN A x, the mean value of the A y1 ~A yN A y, a mean value of the A z1 to A zN as A z.
ここで、図15の例のフローチャートに戻り説明を続ける。携帯端末91は、加速度振幅の算出処理を終えると、算出された摩擦係数、反発係数、加速度振幅の少なくとも1つに基づいて、携帯端末91が置かれている対象物の材質を判定する(S1528)。以下、材質の判定処理の具体例について説明する。
携帯端末91は、摩擦係数と反発係数を用いて材質を判定する場合には、第1の材質特徴データテーブルの中から、S1522で算出された摩擦係数、S1524で算出された反発係数をそれぞれ範囲に含む材質の識別情報(材質ID)を検索する。ここで、携帯端末91は、S1522で算出された摩擦係数、S1524で算出された反発係数をそれぞれ範囲に含む材質の識別情報(材質ID)が検索されなかった場合には、エラーを返すか、S1526で算出された3軸の加速度振幅を用いて材質を判定することとしてよい。
ここで、携帯端末91は、3軸の加速度振幅を用いて材質を判定する場合には、第2の材質特徴データテーブルの中から、S1526で算出された3軸の加速度振幅(X,Y,Z方向のそれぞれの加速度振幅)をそれぞれ範囲に含む材質の識別情報(材質ID)を検索する。ここで、携帯端末91は、XY平面内の加速度振幅の大きさと、X,Y方向のそれぞれの加速度の変動量(偏差)の範囲を第2の材質特徴データテーブルに保持しておく場合には、X方向の加速度振幅と、Y方向の加速度振幅とに基づいてXY平面内の加速度振幅の大きさAxyを算出するとともに、第1〜第N回の計測におけるX方向の加速度振幅とY方向の加速度振幅の取る値に基づくばらつきの尺度を示す偏差σを算出し、Axy、偏差σ、Z方向の加速度振幅Azを範囲として含む材質の識別情報(材質ID)を検索することとしてよい。ここで、携帯端末91は、S1526で算出された加速度振幅に対応した材質の識別情報(材質ID)が検索されなかった場合には、エラーを返すこととしてよい。
また、携帯端末91は、摩擦係数と反発係数を用いて判定した材質IDのうち、加速度振幅を用いて判定した材質IDに含まれる材質IDを、携帯端末91が置かれた面の材質IDとして判定することとしてもよい。
Returning to the flowchart of the example of FIG. After completing the calculation processing of the acceleration amplitude, the mobile terminal 91 determines the material of the object on which the mobile terminal 91 is placed based on at least one of the calculated friction coefficient, restitution coefficient, and acceleration amplitude (S1528). ). A specific example of the material determination process will be described below.
When the mobile terminal 91 determines the material using the friction coefficient and the restitution coefficient, the range of the friction coefficient calculated in S1522 and the restitution coefficient calculated in S1524 from the first material feature data table, respectively. The identification information (material ID) of the material included in is searched. Here, when the identification information (material ID) of the material that includes the friction coefficient calculated in S1522 and the restitution coefficient calculated in S1524 is not searched, the mobile terminal 91 returns an error, The material may be determined using the triaxial acceleration amplitude calculated in S1526.
Here, when the mobile terminal 91 determines the material using the triaxial acceleration amplitude, the triaxial acceleration amplitude (X, Y, and X) calculated in S1526 is selected from the second material feature data table. The material identification information (material ID) including the respective acceleration amplitudes in the Z direction) is searched. Here, when the portable terminal 91 holds the magnitude of the acceleration amplitude in the XY plane and the range of variation (deviation) of the acceleration in the X and Y directions in the second material feature data table. The acceleration amplitude magnitude A xy in the XY plane is calculated based on the X-direction acceleration amplitude and the Y-direction acceleration amplitude, and the X-direction acceleration amplitude and the Y-direction in the first to Nth measurements are calculated. The deviation σ indicating the scale of variation based on the value taken by the acceleration amplitude of A may be calculated, and material identification information (material ID) including A xy , the deviation σ, and the acceleration amplitude A z in the Z direction as a range may be searched. . Here, the portable terminal 91 may return an error when the material identification information (material ID) corresponding to the acceleration amplitude calculated in S1526 is not searched.
In addition, the portable terminal 91 uses, as the material ID of the surface on which the portable terminal 91 is placed, the material ID included in the material ID determined using the acceleration amplitude among the material IDs determined using the friction coefficient and the restitution coefficient. It may be determined.
携帯端末91は、S1528で判定された材質に応じた情報処理を実行することとしてよい(S1530)。例えば、携帯端末91は、S1528で判定された材質に応じてバイブレーションの強度を変えるようにしてもよいし、S1528で判定された材質が、自動車のダッシュボードである場合には、携帯端末91にアラート音を出力させることとしてもよいし、S1528で判定された材質が、絨毯である場合には、携帯端末91の着信時の動作をバイブレーションから効果音に切り替えるようにしてもよい。また、携帯端末91の置かれた場所を検索する要求を受け付けた場合に、材質の判定処理を実行し、判定された材質の情報を音声出力するようにすれば、ユーザが携帯端末91を見つけやすくなる。 The portable terminal 91 may execute information processing according to the material determined in S1528 (S1530). For example, the mobile terminal 91 may change the intensity of vibration according to the material determined in S1528. If the material determined in S1528 is a dashboard of an automobile, the mobile terminal 91 may An alert sound may be output, or when the material determined in S1528 is a carpet, the operation of the mobile terminal 91 at the time of incoming call may be switched from vibration to sound effect. In addition, when a request for searching for a place where the mobile terminal 91 is placed is received, the material determination process is executed, and the information on the determined material is output by voice, so that the user finds the mobile terminal 91. It becomes easy.
以上説明した携帯端末91は、自らが置かれた物体の材質を判定し、判定された材質に応じた処理を実行できる。
また、環境検知モジュール150は、上述したものに限定されるものではない。例えば、環境検知モジュール150では、摩擦係数、反発係数、加速度振幅の情報に基づいて材質の判定処理を実行しているが、算出した摩擦係数、反発係数、加速度振幅の情報をサーバに送信し、サーバが送信された摩擦係数、反発係数、加速度振幅の情報に基づいて対応する材質を判定して、その結果を携帯端末91に送信するようにしてもよい。また、携帯端末91が記録した加速度のデータをサーバに送信して、サーバにおいて摩擦係数、反発係数、加速度振幅の情報を算出するようにしてもよい。
The mobile terminal 91 described above can determine the material of the object on which the mobile terminal 91 is placed, and can execute processing according to the determined material.
Further, the environment detection module 150 is not limited to the one described above. For example, the environment detection module 150 executes the material determination process based on the friction coefficient, the restitution coefficient, and the acceleration amplitude information, but transmits the calculated friction coefficient, the restitution coefficient, and the acceleration amplitude information to the server. The server may determine the corresponding material based on the transmitted friction coefficient, restitution coefficient, and acceleration amplitude information, and transmit the result to the portable terminal 91. Alternatively, the acceleration data recorded by the portable terminal 91 may be transmitted to the server, and the server may calculate the friction coefficient, the coefficient of restitution, and the acceleration amplitude.
前述の環境検知モジュール150は以下のように把握してもよい。
[B1]
携帯端末の加速度を計測する加速度計測手段と、
前記携帯端末が対象物上に置かれた状態で、前記携帯端末を振動させた際の前記加速度計測手段により計測される加速度に基づいて、前記対象物に接触する面内方向に対する第1の特徴量と面外方向に対する第2の特徴量を算出する算出手段と、
前記第1の特徴量と前記第2の特徴量に基づき前記対象物の材質を特定する特定手段と、を含む携帯端末。
[B2]
前記特定手段は、1以上の材質ごとに、第1の特徴量の範囲と、第2の特徴量の範囲とをそれぞれ関連付けて記憶した記憶手段から、前記算出手段により算出された前記第1の特徴量と前記第2の特徴量とに基づき前記対象物の材質を特定する、
[B1]に記載の携帯端末。
[B3]
前記第1の特徴量は、前記面内方向における第1の方向と、第2の方向とのそれぞれについて前記加速度計測手段により計測される加速度の振幅を含み、
前記第2の特徴量は、前記面外方向について前記加速度計測手段により計測される加速度の振幅を含む、
[B1]又は[B2]に記載の携帯端末。
[B4]
前記携帯端末は、当該携帯端末を振動させる振動発生手段を備え、
前記算出手段は、前記面内方向について前記振動発生手段により発生する力と、前記面内方向について前記加速度計測手段により計測される加速度と、前記携帯端末の質量とに基づいて前記携帯端末と前記対象物の動摩擦係数を算出し、
前記第1の特徴量は、前記動摩擦係数を含む、
[B1]乃至[B3]に記載の携帯端末。
The environment detection module 150 described above may be grasped as follows.
[B1]
An acceleration measuring means for measuring the acceleration of the mobile terminal;
1st characteristic with respect to the in-plane direction which contacts the said object based on the acceleration measured by the said acceleration measurement means at the time of vibrating the said portable terminal in the state which the said portable terminal was put on the target object A calculating means for calculating a second feature amount for the amount and the out-of-plane direction;
A mobile terminal comprising: specifying means for specifying a material of the object based on the first feature value and the second feature value.
[B2]
The specifying unit is configured to store the first feature amount range and the second feature amount range in association with each other for each of one or more materials, and store the first feature amount range calculated by the calculation unit. Identifying the material of the object based on the feature quantity and the second feature quantity;
The mobile terminal according to [B1].
[B3]
The first feature amount includes an amplitude of acceleration measured by the acceleration measuring unit in each of the first direction and the second direction in the in-plane direction,
The second feature amount includes an amplitude of acceleration measured by the acceleration measuring unit in the out-of-plane direction.
The mobile terminal according to [B1] or [B2].
[B4]
The mobile terminal includes vibration generating means for vibrating the mobile terminal,
The calculation means includes the mobile terminal based on the force generated by the vibration generation means in the in-plane direction, the acceleration measured by the acceleration measurement means in the in-plane direction, and the mass of the mobile terminal. Calculate the dynamic friction coefficient of the object,
The first feature amount includes the dynamic friction coefficient.
The mobile terminal according to [B1] to [B3].
[B5]
前記算出手段は、前記加速度計測手段により計測される加速度に基づいて算出される、前記携帯端末が前記対象物に衝突する前の前記面外方向の速度と、前記携帯端末が前記対象物に衝突した後の前記面外方向の速度とに基づいて、前記携帯端末と前記対象物の反発係数を算出し、
前記第2の特徴量は、前記反発係数を含む、
[B1]乃至[B3]に記載の携帯端末。
[B6]
加速度を計測する加速度計測手段を備える携帯端末と、
前記携帯端末が対象物上に置かれた状態で、前記携帯端末を振動させた際の前記加速度計測手段により計測される加速度に基づいて、前記対象物に接触する面内方向に対する第1の特徴量と面外方向に対する第2の特徴量を算出する算出手段と、
前記第1の特徴量と前記第2の特徴量に基づき前記対象物の材質を特定する特定手段と、を含む携帯端末状態判定システム。
[B7]
携帯端末の加速度を計測する加速度計測手段と、
前記携帯端末が対象物上に置かれた状態で、前記携帯端末を振動させた際の前記加速度計測手段により計測される加速度に基づいて、前記対象物に接触する面内方向に対する第1の特徴量と面外方向に対する第2の特徴量を算出する算出手段と、
前記第1の特徴量と前記第2の特徴量に基づき前記対象物の材質を特定する特定手段
としてコンピュータを機能させるためのプログラム。
[B5]
The calculating means calculates the speed in the out-of-plane direction before the portable terminal collides with the object, and the portable terminal collides with the object, calculated based on the acceleration measured by the acceleration measuring means. Based on the speed in the out-of-plane direction after calculating the restitution coefficient of the mobile terminal and the object,
The second feature amount includes the restitution coefficient,
The mobile terminal according to [B1] to [B3].
[B6]
A portable terminal equipped with an acceleration measuring means for measuring acceleration;
1st characteristic with respect to the in-plane direction which contacts the said object based on the acceleration measured by the said acceleration measurement means at the time of vibrating the said portable terminal in the state which the said portable terminal was put on the target object A calculating means for calculating a second feature amount for the amount and the out-of-plane direction;
A mobile terminal state determination system including: a specifying unit that specifies a material of the object based on the first feature amount and the second feature amount.
[B7]
An acceleration measuring means for measuring the acceleration of the mobile terminal;
1st characteristic with respect to the in-plane direction which contacts the said object based on the acceleration measured by the said acceleration measurement means at the time of vibrating the said portable terminal in the state which the said portable terminal was put on the target object A calculating means for calculating a second feature amount for the amount and the out-of-plane direction;
A program for causing a computer to function as specifying means for specifying the material of the object based on the first feature value and the second feature value.
[B1],[B6]及び[B7]によれば、携帯端末が置かれている物体の材質を特定できる。
[B2]によれば、材質ごとに、特徴量の範囲を関連付けて、物体の材質を特定できる。
[B3]によれば、加速度の振幅を用いて、物体の材質を特定できる。
[B4]によれば、携帯端末が置かれている物体との動摩擦係数から、物体の材質を特定できる。
[B5]によれば、携帯端末が置かれている物体との反発係数から、物体の材質を特定できる。
According to [B1], [B6], and [B7], the material of the object on which the mobile terminal is placed can be specified.
According to [B2], the material of the object can be specified for each material by associating the range of the feature amount.
According to [B3], the material of the object can be specified using the amplitude of the acceleration.
According to [B4], the material of the object can be specified from the coefficient of dynamic friction with the object on which the mobile terminal is placed.
According to [B5], the material of the object can be specified from the restitution coefficient with the object on which the mobile terminal is placed.
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図21に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてCPU2101を用い、記憶装置としてRAM2102、ROM2103、HD2104を用いている。HD2104として、例えばハードディスクを用いてもよい。スケジュール処理モジュール110、文書取得モジュール120、文書復号/再暗号化等処理モジュール130、位置検知モジュール140、環境検知モジュール150、周辺装置検知モジュール160、イベント検知モジュール170等のプログラムを実行するCPU2101と、そのプログラムやデータを記憶するRAM2102と、本コンピュータを起動するためのプログラム等が格納されているROM2103と、補助記憶装置(フラッシュメモリ等であってもよい)であるHD2104と、キーボード、マウス、タッチパネル等に対する利用者の操作に基づいてデータを受け付ける受付装置2106と、CRT、液晶ディスプレイ等の出力装置2105と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース2107、そして、それらをつないでデータのやりとりをするためのバス2108により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。 Note that the hardware configuration of the computer on which the program according to the present embodiment is executed is a general computer as illustrated in FIG. 21, specifically, a personal computer, a computer that can be a server, or the like. That is, as a specific example, the CPU 2101 is used as a processing unit (calculation unit), and the RAM 2102, ROM 2103, and HD 2104 are used as storage devices. For example, a hard disk may be used as the HD 2104. A CPU 2101 for executing programs such as a schedule processing module 110, a document acquisition module 120, a document decryption / re-encryption processing module 130, a position detection module 140, an environment detection module 150, a peripheral device detection module 160, an event detection module 170, etc. A RAM 2102 for storing the program and data, a ROM 2103 for storing a program for starting the computer, an HD 2104 as an auxiliary storage device (may be a flash memory, etc.), a keyboard, a mouse, a touch panel For connecting to a receiving device 2106 that accepts data based on a user's operation on the device, an output device 2105 such as a CRT or a liquid crystal display, and a communication network such as a network interface card. Communication line interface 2107, and, and a bus 2108 for exchanging data by connecting them. A plurality of these computers may be connected to each other via a network.
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図21に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図21に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えばASIC等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図21に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、情報家電、複写機、ファックス、スキャナ、プリンタ、複合機などに組み込まれていてもよい。
Among the above-described embodiments, the computer program is a computer program that reads the computer program, which is software, in the hardware configuration system, and the software and hardware resources cooperate with each other. Is realized.
Note that the hardware configuration shown in FIG. 21 shows one configuration example, and the present embodiment is not limited to the configuration shown in FIG. I just need it. For example, some modules may be configured with dedicated hardware (for example, ASIC), and some modules may be in an external system and connected via a communication line. A plurality of systems shown in FIG. 5 may be connected to each other via communication lines so as to cooperate with each other. In particular, in addition to a personal computer, it may be incorporated in an information appliance, a copier, a fax machine, a scanner, a printer, a multifunction machine, or the like.
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダムアクセスメモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
前述の実施の形態は以下のように把握してもよい。
[C1]複数人が集まる会合の開始日時前の予め定められた日時を過ぎているか否かを判断する第1の判断手段と、
前記第1の判断手段によって前記日時を過ぎていると判断された場合は、前記会合の参加者の位置を示す情報を受け付ける第1の受付手段と、
前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、
前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいるか否かを判断する第2の判断手段と、
前記第2の判断手段によって前記参加者が前記会合の場所にいると判断した場合は、該会合に必要な文書を復号する復号手段
を具備することを特徴とする情報処理装置。
[C2]前記携帯端末の周囲の音を取得し、該音に基づいて、該携帯端末の環境を検知する第1の検知手段
をさらに具備し、
前記第2の受付手段が受け付ける情報は、前記第1の検知手段によって検知された前記携帯端末の環境に関する情報である
ことを特徴とする[C1]に記載の情報処理装置。
[C3]前記携帯端末を振動させ、該振動している間の該携帯端末の加速度を検知する第2の検知手段
をさらに具備し、
前記第2の受付手段が受け付ける情報は、前記第2の検知手段によって検知された前記携帯端末の加速度に関する情報である
ことを特徴とする[C1]又は[C2]に記載の情報処理装置。
[C4]前記携帯端末と通信可能な装置を検知する第3の検知手段
をさらに具備し、
前記第2の受付手段が受け付ける情報は、前記第3の検知手段によって検知された前記装置に関する情報である
ことを特徴とする[C1]から[C3]のいずれか一項に記載の情報処理装置。
[C5]前記携帯端末の周囲の音を取得し、該音に基づいて、該携帯端末の環境を検知する第1の検知手段と、
前記携帯端末を振動させ、該振動している間の該携帯端末の加速度を検知する第2の検知手段と、
前記携帯端末と通信可能な装置を検知する第3の検知手段
をさらに具備し、
前記第2の受付手段が受け付ける情報は、前記第1の検知手段によって検知された前記携帯端末の環境に関する第1の情報と、前記第2の検知手段によって検知された前記携帯端末の加速度に関する第2の情報と、前記第3の検知手段によって検知された前記装置に関する第3の情報であり、
前記第2の判断手段は、前記第1の情報、前記第2の情報、前記第3の情報のそれぞれに計数を乗算した合計値に基づいて判断処理を行う
ことを特徴とする[C1]に記載の情報処理装置。
[C6]前記復号手段によって復号処理が行われた後に、前記第2の受付手段が受け付けた情報に基づいて、前記会合が終了しているか否かを判断する第3の判断手段と、
前記第3の判断手段によって前記会合が終了していると判断した場合は、前記文書の閲覧を不可能とする処理を行う処理手段
をさらに具備することを特徴とする[C1]から[C5]のいずれか一項に記載の情報処理装置。
[C7]コンピュータを、
複数人が集まる会合の開始日時前の予め定められた日時を過ぎているか否かを判断する第1の判断手段と、
前記第1の判断手段によって前記日時を過ぎていると判断された場合は、前記会合の参加者の位置を示す情報を受け付ける第1の受付手段と、
前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、
前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいるか否かを判断する第2の判断手段と、
前記第2の判断手段によって前記参加者が前記会合の場所にいると判断した場合は、該会合に必要な文書を復号する復号手段
として機能させるための情報処理プログラム。
そして、前述の発明は、以下の効果を有する。
[C1]の情報処理装置によれば、会合の開始日時前の予め定められた日時を過ぎてからその会合に用いる文書を復号する場合にあって、その参加者がその会合の場所にいないにもかかわらず、その文書の復号処理をしてしまうことを抑制することができる。
[C2]の情報処理装置によれば、参加者の所有している携帯端末の周囲の音に基づいて、その参加者が会合の場所にいるか否かを判断することができる。
[C3]の情報処理装置によれば、参加者の所有している携帯端末が振動している間の該携帯端末の加速度に基づいて、その参加者が会合の場所にいるか否かを判断することができる。
[C4]の情報処理装置によれば、参加者の所有している携帯端末と通信可能な装置に基づいて、その参加者が会合の場所にいるか否かを判断することができる。
[C5]の情報処理装置によれば、第1の情報、第2の情報、第3の情報のそれぞれに計数を乗算した合計値に基づいて判断処理を行うことができる。
[C6]の情報処理装置によれば、会合が終了した場合は、文書の閲覧を不可能とすることができる。
[C7]の情報処理プログラムによれば、会合の開始日時前の予め定められた日時を過ぎてからその会合に用いる文書を復号する場合にあって、参加者がその会合の場所にいないにもかかわらず、その文書の復号処理をしてしまうことを抑制することができる。
The program described above may be provided by being stored in a recording medium, or the program may be provided by communication means. In that case, for example, the above-described program may be regarded as an invention of a “computer-readable recording medium recording the program”.
The “computer-readable recording medium on which a program is recorded” refers to a computer-readable recording medium on which a program is recorded, which is used for program installation, execution, program distribution, and the like.
The recording medium is, for example, a digital versatile disc (DVD), which is a standard established by the DVD Forum, such as “DVD-R, DVD-RW, DVD-RAM,” and DVD + RW. Standard “DVD + R, DVD + RW, etc.”, compact disc (CD), read-only memory (CD-ROM), CD recordable (CD-R), CD rewritable (CD-RW), Blu-ray disc ( Blu-ray (registered trademark) Disc), magneto-optical disk (MO), flexible disk (FD), magnetic tape, hard disk, read-only memory (ROM), electrically erasable and rewritable read-only memory (EEPROM (registered trademark)) )), Flash memory, random access memory (RAM), S A D (Secure Digital) memory card is included.
The program or a part of the program may be recorded on the recording medium for storage or distribution. Also, by communication, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), a wired network used for the Internet, an intranet, an extranet, etc., or wireless communication It may be transmitted using a transmission medium such as a network or a combination of these, or may be carried on a carrier wave.
Furthermore, the program may be a part of another program, or may be recorded on a recording medium together with a separate program. Moreover, it may be divided and recorded on a plurality of recording media. Further, it may be recorded in any manner as long as it can be restored, such as compression or encryption.
The above-described embodiment may be grasped as follows.
[C1] first determination means for determining whether or not a predetermined date and time before the start date and time of a meeting where a plurality of people gather is passed;
A first receiving unit that receives information indicating a position of a participant of the meeting when the first determining unit determines that the date and time have passed;
Second receiving means for receiving information on the environment of the mobile terminal owned by the participant;
Second determination means for determining whether or not there is the participant at the meeting place based on information received by the first reception means and the second reception means;
Decoding means for decoding a document necessary for the meeting when the second determining means determines that the participant is at the meeting place
An information processing apparatus comprising:
[C2] First detection means for acquiring a sound around the portable terminal and detecting an environment of the portable terminal based on the sound
Further comprising
The information received by the second receiving means is information on the environment of the mobile terminal detected by the first detecting means.
The information processing apparatus according to [C1].
[C3] Second detection means for vibrating the mobile terminal and detecting acceleration of the mobile terminal during the vibration
Further comprising
The information received by the second receiving means is information relating to the acceleration of the mobile terminal detected by the second detecting means.
The information processing apparatus according to [C1] or [C2].
[C4] Third detection means for detecting a device capable of communicating with the portable terminal
Further comprising
The information received by the second receiving means is information regarding the device detected by the third detecting means.
The information processing apparatus according to any one of [C1] to [C3].
[C5] first detection means for acquiring a sound around the portable terminal and detecting an environment of the portable terminal based on the sound;
A second detection means for vibrating the mobile terminal and detecting an acceleration of the mobile terminal during the vibration;
Third detection means for detecting a device capable of communicating with the portable terminal
Further comprising
The information received by the second receiving means includes first information relating to the environment of the portable terminal detected by the first detecting means, and information relating to acceleration of the portable terminal detected by the second detecting means. 2 information and third information related to the device detected by the third detection means,
The second determination means performs determination processing based on a total value obtained by multiplying each of the first information, the second information, and the third information by a count.
The information processing apparatus according to [C1].
[C6] Third determination means for determining whether or not the meeting is ended based on information received by the second reception means after the decoding process is performed by the decoding means;
Processing means for performing processing to make browsing of the document impossible when it is determined by the third determination means that the meeting has ended
The information processing apparatus according to any one of [C1] to [C5], further including:
[C7]
A first determination means for determining whether or not a predetermined date and time before the start date and time of the meeting where a plurality of people gather;
A first receiving unit that receives information indicating a position of a participant of the meeting when the first determining unit determines that the date and time have passed;
Second receiving means for receiving information on the environment of the mobile terminal owned by the participant;
Second determination means for determining whether or not there is the participant at the meeting place based on information received by the first reception means and the second reception means;
Decoding means for decoding a document necessary for the meeting when the second determining means determines that the participant is at the meeting place
Information processing program to function as
And the above-mentioned invention has the following effects.
According to the information processing apparatus of [C1], when a document used for the meeting is decoded after a predetermined date and time before the meeting start date and time, the participant is not at the meeting place. Nevertheless, it is possible to prevent the document from being decrypted.
According to the information processing apparatus of [C2], it is possible to determine whether or not the participant is at the meeting place based on the sound around the mobile terminal owned by the participant.
According to the information processing apparatus of [C3], based on the acceleration of the mobile terminal while the mobile terminal owned by the participant is vibrating, it is determined whether or not the participant is at the meeting place. be able to.
According to the information processing apparatus of [C4], it is possible to determine whether or not the participant is at the meeting place based on an apparatus that can communicate with the mobile terminal owned by the participant.
According to the information processing apparatus [C5], the determination process can be performed based on the total value obtained by multiplying each of the first information, the second information, and the third information by a count.
According to the information processing apparatus [C6], when the meeting is ended, it is possible to make it impossible to view the document.
According to the information processing program of [C7], when a document used for the meeting is decoded after a predetermined date and time before the meeting start date and time, the participant is not at the meeting place. Regardless, it is possible to prevent the document from being decrypted.
91…携帯端末
92…対象物
100…情報処理装置
110…スケジュール処理モジュール
120…文書取得モジュール
130…文書復号/再暗号化等処理モジュール
140…位置検知モジュール
150…環境検知モジュール
160…周辺装置検知モジュール
170…イベント検知モジュール
710…信号入力モジュール
712…スペクトログラム生成モジュール
714…前処理モジュール
716…バンドパスフィルタモジュール
718…非線形変換モジュール
720…二値化モジュール
722…二次元フーリエ変換モジュール
724…分類処理モジュール
726…周期性特徴検出モジュール
728…画像ベース分類モジュール
730…テンプレート画像DB
732…特徴ベース分類モジュール
734…周期性特徴DB
911…計測制御モジュール
912…振動発生モジュール
913…加速度検出モジュール
913X…X方向加速度検出モジュール
913Y…Y方向加速度検出モジュール
913Z…Z方向加速度検出モジュール
914…加速度データ記録モジュール
914X…X方向加速度データ記録モジュール
914Y…Y方向加速度データ記録モジュール
914Z…Z方向加速度データ記録モジュール
915…データ取得モジュール
916…データ保持モジュール
917…摩擦係数算出モジュール
918…反発係数算出モジュール
919…加速度振幅算出モジュール
920…材質判定モジュール
921…情報処理切替モジュール
DESCRIPTION OF SYMBOLS 91 ... Portable terminal 92 ... Object 100 ... Information processing apparatus 110 ... Schedule processing module 120 ... Document acquisition module 130 ... Document decryption / re-encryption processing module 140 ... Position detection module 150 ... Environment detection module 160 ... Peripheral device detection module 170 ... event detection module 710 ... signal input module 712 ... spectrogram generation module 714 ... pre-processing module 716 ... band pass filter module 718 ... non-linear transformation module 720 ... binarization module 722 ... two-dimensional Fourier transform module 724 ... classification processing module 726 ... Periodic feature detection module 728 ... Image-based classification module 730 ... Template image DB
732 ... Feature-based classification module 734 ... Periodic feature DB
911 ... Measurement control module 912 ... Vibration generation module 913 ... Acceleration detection module 913X ... X direction acceleration detection module 913Y ... Y direction acceleration detection module 913Z ... Z direction acceleration detection module 914 ... Acceleration data recording module 914X ... X direction acceleration data recording module 914Y ... Y-direction acceleration data recording module 914Z ... Z-direction acceleration data recording module 915 ... Data acquisition module 916 ... Data holding module 917 ... Friction coefficient calculation module 918 ... Repulsion coefficient calculation module 919 ... Acceleration amplitude calculation module 920 ... Material determination module 921 ... Information processing switching module
Claims (9)
前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、
前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、
前記携帯端末を振動させ、該振動している間の該携帯端末の加速度を検知する第2の検知手段
を具備し、
前記第2の受付手段が受け付ける情報は、前記第2の検知手段によって検知された前記携帯端末の加速度に関する情報である
ことを特徴とする情報処理装置。 First receiving means for receiving information indicating positions of participants of a meeting where a plurality of people gather ;
Second receiving means for receiving information on the environment of the mobile terminal owned by the participant;
In the case where a predetermined date and time before the meeting start date has passed , based on the information received by the first receiving means and the second receiving means, the participation place If the person is present, the decoding means for decoding the document necessary the association,
Vibrating the mobile terminal, and comprising second detection means for detecting the acceleration of the mobile terminal during the vibration ,
The information received by the second receiving means is information relating to acceleration of the portable terminal detected by the second detecting means .
前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、
前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、
前記復号手段によって復号処理が行われた後に、前記第2の受付手段が受け付けた情報に基づいて、前記会合が終了している場合は、前記文書の閲覧を不可能とする処理を行う処理手段
を具備することを特徴とする情報処理装置。 First receiving means for receiving information indicating positions of participants of a meeting where a plurality of people gather ;
Second receiving means for receiving information on the environment of the mobile terminal owned by the participant;
In the case where a predetermined date and time before the meeting start date has passed , based on the information received by the first receiving means and the second receiving means, the participation place If the person is present, the decoding means for decoding the document necessary the association,
A processing unit that performs a process of making it impossible to view the document when the meeting is ended based on the information received by the second receiving unit after the decoding process is performed by the decoding unit. An information processing apparatus comprising:
をさらに具備し、
前記第2の受付手段が受け付ける情報は、前記第1の検知手段によって検知された前記携帯端末の環境に関する情報である
ことを特徴とする請求項1又は2に記載の情報処理装置。 A first detecting means for acquiring a sound around the portable terminal and detecting an environment of the portable terminal based on the sound;
Said second receiving means receives information processing apparatus according to claim 1 or 2, characterized in that the information about the environment of the first of the mobile terminal detected by the detecting means.
をさらに具備し、
前記第2の受付手段が受け付ける情報は、前記第3の検知手段によって検知された前記装置に関する情報である
ことを特徴とする請求項1から3のいずれか一項に記載の情報処理装置。 Further comprising third detecting means for detecting a device capable of communicating with the portable terminal;
4. The information processing apparatus according to claim 1, wherein the information received by the second receiving unit is information regarding the apparatus detected by the third detection unit. 5.
前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、
前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、
前記携帯端末の周囲の音を取得し、該音に基づいて、該携帯端末の環境を検知する第1の検知手段と、
前記携帯端末を振動させ、該振動している間の該携帯端末の加速度を検知する第2の検知手段と、
前記携帯端末と通信可能な装置を検知する第3の検知手段
を具備し、
前記第2の受付手段が受け付ける情報は、前記第1の検知手段によって検知された前記携帯端末の環境に関する第1の情報と、前記第2の検知手段によって検知された前記携帯端末の加速度に関する第2の情報と、前記第3の検知手段によって検知された前記装置に関する第3の情報であり、
前記復号手段は、前記第1の情報、前記第2の情報、前記第3の情報のそれぞれに計数を乗算した合計値に基づいて、前記会合の場所に前記参加者がいるか否かの判断を行う
ことを特徴とする情報処理装置。 First receiving means for receiving information indicating positions of participants of a meeting where a plurality of people gather;
Second receiving means for receiving information on the environment of the mobile terminal owned by the participant;
In the case where a predetermined date and time before the meeting start date has passed, based on the information received by the first receiving means and the second receiving means, the participation place A decryption means for decrypting a document necessary for the meeting;
First detecting means for acquiring a sound around the portable terminal and detecting an environment of the portable terminal based on the sound;
A second detection means for vibrating the mobile terminal and detecting an acceleration of the mobile terminal during the vibration;
Third detection means for detecting a device capable of communicating with the portable terminal
Comprising
The information received by the second receiving means includes first information relating to the environment of the portable terminal detected by the first detecting means, and information relating to acceleration of the portable terminal detected by the second detecting means. 2 information and third information related to the device detected by the third detection means,
The decoding means determines whether or not there is the participant at the meeting location based on a total value obtained by multiplying each of the first information, the second information, and the third information by a count. information processing apparatus, which comprises carrying out.
をさらに具備することを特徴とする請求項1、3から5のいずれか一項に記載の情報処理装置。 A processing unit that performs a process of making it impossible to view the document when the meeting is ended based on information received by the second receiving unit after the decoding process is performed by the decoding unit. The information processing apparatus according to claim 1 , further comprising:
複数人が集まる会合の参加者の位置を示す情報を受け付ける第1の受付手段と、
前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、
前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、
前記携帯端末を振動させ、該振動している間の該携帯端末の加速度を検知する第2の検知手段
として機能させ、
前記第2の受付手段が受け付ける情報は、前記第2の検知手段によって検知された前記携帯端末の加速度に関する情報である
ことを特徴とする情報処理プログラム。 Computer
First receiving means for receiving information indicating positions of participants of a meeting where a plurality of people gather ;
Second receiving means for receiving information on the environment of the mobile terminal owned by the participant;
In the case where a predetermined date and time before the meeting start date has passed , based on the information received by the first receiving means and the second receiving means, the participation place If the person is present, the decoding means for decoding the document necessary the association,
Causing the mobile terminal to vibrate and function as second detection means for detecting the acceleration of the mobile terminal during the vibration ,
The information received by the second receiving means is information relating to the acceleration of the mobile terminal detected by the second detecting means.
An information processing program characterized by that .
複数人が集まる会合の参加者の位置を示す情報を受け付ける第1の受付手段と、
前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、
前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、
前記復号手段によって復号処理が行われた後に、前記第2の受付手段が受け付けた情報に基づいて、前記会合が終了している場合は、前記文書の閲覧を不可能とする処理を行う処理手段
として機能させるための情報処理プログラム。 Computer
First receiving means for receiving information indicating positions of participants of a meeting where a plurality of people gather ;
Second receiving means for receiving information on the environment of the mobile terminal owned by the participant;
In the case where a predetermined date and time before the meeting start date has passed , based on the information received by the first receiving means and the second receiving means, the participation place If the person is present, the decoding means for decoding the document necessary the association,
A processing unit that performs a process of making it impossible to view the document when the meeting is ended based on the information received by the second receiving unit after the decoding process is performed by the decoding unit. Information processing program to function as
複数人が集まる会合の参加者の位置を示す情報を受け付ける第1の受付手段と、First receiving means for receiving information indicating positions of participants of a meeting where a plurality of people gather;
前記参加者の所有している携帯端末の環境に関する情報を受け付ける第2の受付手段と、 Second receiving means for receiving information on the environment of the mobile terminal owned by the participant;
前記会合の開始日時前の予め定められた日時を過ぎている場合であって、前記第1の受付手段と前記第2の受付手段によって受け付けられた情報に基づいて、前記会合の場所に前記参加者がいる場合は、該会合に必要な文書を復号する復号手段と、 In the case where a predetermined date and time before the meeting start date has passed, based on the information received by the first receiving means and the second receiving means, the participation place A decryption means for decrypting a document necessary for the meeting;
前記携帯端末の周囲の音を取得し、該音に基づいて、該携帯端末の環境を検知する第1の検知手段と、First detecting means for acquiring a sound around the portable terminal and detecting an environment of the portable terminal based on the sound;
前記携帯端末を振動させ、該振動している間の該携帯端末の加速度を検知する第2の検知手段と、 A second detection means for vibrating the mobile terminal and detecting an acceleration of the mobile terminal during the vibration;
前記携帯端末と通信可能な装置を検知する第3の検知手段 Third detection means for detecting a device capable of communicating with the portable terminal
として機能させ、 Function as
前記第2の受付手段が受け付ける情報は、前記第1の検知手段によって検知された前記携帯端末の環境に関する第1の情報と、前記第2の検知手段によって検知された前記携帯端末の加速度に関する第2の情報と、前記第3の検知手段によって検知された前記装置に関する第3の情報であり、 The information received by the second receiving means includes first information relating to the environment of the portable terminal detected by the first detecting means, and information relating to acceleration of the portable terminal detected by the second detecting means. 2 information and third information related to the device detected by the third detection means,
前記復号手段は、前記第1の情報、前記第2の情報、前記第3の情報のそれぞれに計数を乗算した合計値に基づいて、前記会合の場所に前記参加者がいるか否かの判断を行う The decoding means determines whether or not there is the participant at the meeting location based on a total value obtained by multiplying each of the first information, the second information, and the third information by a count. Do
ことを特徴とする情報処理プログラム。 An information processing program characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013212650A JP6167833B2 (en) | 2013-10-10 | 2013-10-10 | Information processing apparatus and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013212650A JP6167833B2 (en) | 2013-10-10 | 2013-10-10 | Information processing apparatus and information processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015075980A JP2015075980A (en) | 2015-04-20 |
JP6167833B2 true JP6167833B2 (en) | 2017-07-26 |
Family
ID=53000769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013212650A Expired - Fee Related JP6167833B2 (en) | 2013-10-10 | 2013-10-10 | Information processing apparatus and information processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6167833B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106934295A (en) | 2015-12-31 | 2017-07-07 | 珠海金山办公软件有限公司 | A kind of document processing method and device |
JP6631941B2 (en) * | 2016-03-11 | 2020-01-15 | 富士ゼロックス株式会社 | Control device, position confirmation system and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08102735A (en) * | 1994-09-30 | 1996-04-16 | Toshiba Corp | Electronic document processing method |
JP2006152825A (en) * | 2004-11-25 | 2006-06-15 | Toyota Motor Corp | Combustion chamber of internal combustion engine |
US20060173722A1 (en) * | 2005-01-28 | 2006-08-03 | Kabushiki Kaisha Toshiba | Method and system for managing documents |
KR101073594B1 (en) * | 2007-03-19 | 2011-10-14 | 후지쯔 가부시끼가이샤 | Authentication terminal and control method of the same, service providing terminal and control method of the same, and computer readable recording medium |
JP2009020829A (en) * | 2007-07-13 | 2009-01-29 | Sharp Corp | Electronic conference server device and electronic conference system |
JP5275376B2 (en) * | 2011-01-18 | 2013-08-28 | 株式会社東芝 | Information processing apparatus and information processing program |
JP2013065255A (en) * | 2011-09-20 | 2013-04-11 | Pfu Ltd | Information processing apparatus, event control method, and event control program |
-
2013
- 2013-10-10 JP JP2013212650A patent/JP6167833B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015075980A (en) | 2015-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3094845C (en) | System and method for tailoring an electronic digital assistant query as a function of captured multi-party voice dialog and an electronically stored multi-party voice-interaction template | |
US10409860B2 (en) | Methods and systems for searching utilizing acoustical context | |
CN103918247B (en) | Intelligent mobile phone sensor logic based on background environment | |
CN108351870A (en) | According to the Computer Distance Education and semantic understanding of activity pattern | |
CN108351992A (en) | It is experienced according to the enhanced computer of active prediction | |
KR20150020319A (en) | Systems and methods for content delivery and management | |
CN105320726A (en) | Reducing the need for manual start/end-pointing and trigger phrases | |
US20100179756A1 (en) | Optimization of map views based on real-time data | |
JP2014135058A (en) | Management for interactive in-vehicle advertisement | |
JP2014504112A (en) | Information processing using a set of data acquisition devices | |
EP2118722A1 (en) | Controlling a document based on user behavioral signals detected from a 3d captured image stream | |
CN107851243A (en) | Infer physics conference location | |
KR20120140404A (en) | Automatic picture recognition and transmission mabile terminal | |
CN108958634A (en) | Express delivery information acquisition method, device, mobile terminal and storage medium | |
US11074040B2 (en) | Presenting location related information and implementing a task based on gaze, gesture, and voice detection | |
JP2019028767A (en) | Display control device, display control method and display control program | |
JP2019036191A (en) | Determination device, method for determination, and determination program | |
US10847159B1 (en) | Presenting location related information and implementing a task based on gaze, gesture, and voice detection | |
JP6167833B2 (en) | Information processing apparatus and information processing program | |
JP7267696B2 (en) | Information processing device, information processing method, and information processing program | |
WO2024150698A1 (en) | Information processing device, information processing method, and program | |
JP2019036201A (en) | Output controller, output control method, and output control program | |
US20130332166A1 (en) | Processing apparatus, processing system, and output method | |
CN103973884A (en) | Information display method, device and terminal | |
KR20140099167A (en) | Method and system for displaying an object, and method and system for providing the object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170321 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6167833 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |