JP2019198027A

JP2019198027A - Control system and program

Info

Publication number: JP2019198027A
Application number: JP2018091733A
Authority: JP
Inventors: 池部　早人; Hayato Ikebe; 早人池部; 藤井　寿隆; Hisataka Fujii; 寿隆藤井; 康司笠嶋; Yasushi Kasashima; 雅章東城; Masaaki Tojo
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-05-10
Filing date: 2018-05-10
Publication date: 2019-11-14
Also published as: WO2019216372A1

Abstract

To provide a control system capable of switching whether to restrict control of a device depending on the position of the device to be controlled.SOLUTION: A first communication part 212 receives a piece of first identification information via a voice recognition server device 120 from an operation unit 100. A second communication part 214 receives a piece of second identification information through a local area. A control part 220 permits the control of a device 300 when the second identification information received in the second communication part 214 matches the first identification information received in the first communication part 212. On the other hand, the control part 220 prohibits the control of the device 300 when the second identification information received by the second communication part 214 does not match the first identification information received by the first communication part 212 or when the second communication part 214 has not received the second identification information.SELECTED DRAWING: Figure 1

Description

本発明は、機器を制御する制御システム、プログラムに関する。 The present invention relates to a control system and a program for controlling a device.

情報家電が住宅内のネットワークに接続される場合、ユーザは、情報家電に対して携帯端末から指令を送信することによって、情報家電の制御が可能になる。ユーザの操作性を向上させるために、音声認識手段による音声認識の結果が指令として情報家電に送信される。このような状況において、セキュリティ対策等の観点から、情報家電の動作を制御可能なユーザが限定される。例えば、受けつけた音声信号と、ユーザを識別するための音声データとをもとにユーザが認証された場合に、ユーザの指示内容に関連する通信機器に対して指令が送信される（例えば、特許文献１参照）。 When the information home appliance is connected to a network in a house, the user can control the information home appliance by transmitting a command from the mobile terminal to the information home appliance. In order to improve the operability for the user, the result of speech recognition by the speech recognition means is transmitted to the information home appliance as a command. Under such circumstances, users who can control the operation of the information home appliance are limited from the viewpoint of security measures and the like. For example, when the user is authenticated based on the received audio signal and audio data for identifying the user, a command is transmitted to the communication device related to the user's instruction content (for example, a patent) Reference 1).

特開２０１７−８３５２６号公報JP 2017-83526 A

例えば、シャッター等の機器が住宅内のネットワークに接続されており、住宅外に存在するユーザが携帯端末を使用してシャッターを開ける場合、住宅における安全性が低くなることもある。一方、住宅内に存在するユーザが携帯端末を使用してシャッターを開けることは、ユーザの利便性を向上させるために望まれる。つまり、機器が設置されたスペースの外であるか内であるかに応じて、当該機器に対する制御を制限するか否かを切りかえることが望まれる。 For example, when a device such as a shutter is connected to a network in a house and a user who is outside the house opens the shutter using a mobile terminal, the safety in the house may be lowered. On the other hand, it is desirable for the user who exists in a house to open a shutter using a portable terminal in order to improve a user's convenience. That is, it is desirable to switch whether or not to restrict the control of the device depending on whether the device is outside or inside the installed space.

本発明はこうした状況に鑑みなされたものであり、その目的は、機器を制御しようとする位置に応じて、当該機器に対する制御を制限するか否かを切りかえる技術を提供することにある。 The present invention has been made in view of such a situation, and an object of the present invention is to provide a technique for switching whether or not to restrict control of a device in accordance with a position where the device is to be controlled.

上記課題を解決するために、本発明のある態様の制御システムは、所定スペースに配置される操作装置から、所定スペースを含むローカルエリアの外に設置されたサーバ装置を介して、操作装置を識別するための第１識別情報を受信する第１通信部と、操作装置から、ローカルエリア内を通って、操作装置を識別するための第２識別情報を受信する第２通信部と、第２通信部において受信した第２識別情報と、第１通信部において受信した第１識別情報とが一致する場合に、所定スペースに設置された機器の制御を許可する制御部とを備える。制御部は、第２通信部において受信した第２識別情報と、第１通信部において受信した第１識別情報とが不一致である場合、あるいは第２通信部が第２識別情報を未受信である場合、機器の制御を禁止する。 In order to solve the above problems, a control system according to an aspect of the present invention identifies an operation device from an operation device arranged in a predetermined space via a server device installed outside a local area including the predetermined space. A first communication unit for receiving first identification information for receiving, a second communication unit for receiving second identification information for identifying the operating device from the operating device through the local area, and a second communication A control unit that permits control of the device installed in the predetermined space when the second identification information received by the unit matches the first identification information received by the first communication unit. The control unit, when the second identification information received by the second communication unit and the first identification information received by the first communication unit do not match, or the second communication unit has not received the second identification information In this case, control of the device is prohibited.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。 Note that any combination of the above-described components, the expression of the present invention converted between a method, an apparatus, a system, a computer program, or a recording medium on which the computer program is recorded are also effective as an aspect of the present invention. is there.

本発明によれば、機器を制御しようとする位置に応じて、当該機器に対する制御を制限するか否かを切りかえることができる。 According to the present invention, it is possible to switch whether or not to restrict control on a device according to a position where the device is to be controlled.

実施例に係る遠隔操作システムの構成を示す図である。It is a figure which shows the structure of the remote control system which concerns on an Example. 図１の記憶部に記憶されるテーブルのデータ構造を示す図である。It is a figure which shows the data structure of the table memorize | stored in the memory | storage part of FIG. 図１の遠隔操作システムによる制御手順を示すシーケンス図である。It is a sequence diagram which shows the control procedure by the remote control system of FIG. 図１の制御システムによる制御手順を示すフローチャートである。It is a flowchart which shows the control procedure by the control system of FIG. 図１の遠隔操作システムによる別の制御手順を示すシーケンス図である。It is a sequence diagram which shows another control procedure by the remote control system of FIG.

本発明の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例は、住宅等の需要家内に設置される機器を遠隔から操作する遠隔操作システムに関する。機器は、例えば、電力制御システム（ＥＭＳ：ＥｎｅｒｇｙＭａｎａｇｅｍｅｎｔＳｙｓｔｅｍ）における通信プロトコルの１つであるＥＣＨＯＮＥＴＬｉｔｅ（登録商標）による通信を実行可能である。このような機器は、住宅設備機器、家電製品、ビル・店舗設備機器、すなわち照明、空調、冷蔵、電力設備、一般白物家電製品、センサ、アクチュエータなどを含む。ここでの機器には、例えば、エアコン、シャッターが含まれる。 Before specifically describing the embodiment of the present invention, an outline of the present embodiment will be described. The embodiment relates to a remote operation system for remotely operating a device installed in a consumer such as a house. For example, the device can perform communication using ECHONET Lite (registered trademark), which is one of communication protocols in an energy management system (EMS). Such equipment includes housing equipment, home appliances, building / store equipment, ie, lighting, air conditioning, refrigeration, power equipment, general white goods, sensors, actuators, and the like. The equipment here includes, for example, an air conditioner and a shutter.

このような機器の操作には、スマートフォン等の端末装置が使用される。ユーザは、機器の制御の指示を音声として端末装置に発話する。端末装置は、音声を電気信号に変換して、電気信号に変換された音声（以下、「音声情報」という）を音声認識サーバ装置に送信する。音声認識サーバ装置は、端末装置から受信した音声情報に対して音声認識を実行することによって、機器の制御の指示が示されたメッセージを生成する。音声認識サーバ装置において生成されたメッセージは、住宅内のルータを経由して制御システムに送信される。制御システムは、ＥＣＨＯＮＥＴＬｉｔｅ（登録商標）によって機器を接続しており、メッセージにおいて示された指示に応じて機器を制御する。その際、制御システムは、メッセージとともに、端末装置を識別するための識別情報（以下、「第１識別情報」という）も端末装置から受信し、第１識別情報に対する認証が成功した場合に、機器を制御する。 A terminal device such as a smartphone is used for the operation of such a device. The user utters an instruction to control the device to the terminal device as a voice. The terminal device converts the sound into an electric signal, and transmits the sound converted into the electric signal (hereinafter referred to as “voice information”) to the voice recognition server device. The voice recognition server device generates a message indicating an instruction to control the device by executing voice recognition on the voice information received from the terminal device. The message generated in the voice recognition server device is transmitted to the control system via the router in the house. The control system connects the devices by ECHONET Lite (registered trademark), and controls the devices in accordance with instructions indicated in the message. At that time, the control system also receives identification information (hereinafter referred to as “first identification information”) for identifying the terminal device together with the message from the terminal device, and when the authentication for the first identification information is successful, To control.

ユーザは、機器の制御の指示を住宅外から端末装置に発話することもある。そのため、音声認識サーバ装置は住宅外に設置される。また、前述のごとく、住宅における安全性を考慮して、シャッターのような機器に対する制御が制限される。つまり、制御システムは、第１識別情報に対する認証が成功した場合であっても、シャッターを開ける指示に対してシャッターを開ける制御を実行しない。 The user may utter a device control instruction to the terminal device from outside the house. Therefore, the voice recognition server device is installed outside the house. In addition, as described above, in consideration of safety in a house, control on a device such as a shutter is limited. That is, the control system does not execute the control to open the shutter in response to the instruction to open the shutter even when the authentication for the first identification information is successful.

端末装置の代わりに、スマートスピーカのような操作装置が使用されることもある。操作装置は、マイクロフォンを備えており、機器の制御の指示を音声としてユーザから受けつける。このような操作装置は、住宅内に配置されるが、音声情報を住宅外の音声認識サーバ装置に送信する。これに続く処理は、これまでと同様である。そのため、住宅内に配置される操作装置に対して、シャッターを開ける指示を音声として発話しても、制御システムは、シャッターを開ける制御を実行しない。このように安全性が問題とならない状況においても、機器に対する制御が制限される。ユーザの利便性を考慮すると、安全性が問題とならない状況においては、機器に対する制御の制限が緩和される方が望ましい。そのために、本実施例に係る遠隔操作システムは、次の処理を実行する。 An operation device such as a smart speaker may be used instead of the terminal device. The operation device includes a microphone and receives an instruction to control the device as a voice from the user. Such an operating device is arranged in a house, but transmits voice information to a voice recognition server apparatus outside the house. Subsequent processing is the same as before. Therefore, the control system does not execute the control to open the shutter even if the instruction to open the shutter is uttered as sound to the operating device arranged in the house. Even in such a situation where safety is not a problem, control of the device is limited. In consideration of user convenience, in a situation where safety is not a problem, it is desirable that the control restrictions on the device be relaxed. Therefore, the remote control system according to the present embodiment executes the following process.

操作装置は、音声情報を送信すると、住宅内のローカルエリアにおいて、操作装置を識別するための識別情報（以下、「第２識別情報」という）をブロードキャスト送信する。第２識別情報は、ルータを介して制御システムに受信される。また、制御システムは、メッセージを受信するとともに、操作装置を識別するための第１識別情報もこれまでどおりに受信する。制御システムは、第１識別情報と第２識別情報とを受信し、これらが一致する場合に、シャッターの制御を許可する。一方、制御システムは、第２識別情報を受信しない場合、あるいは第１識別情報と第２識別情報が一致しない場合、シャッターの制御を禁止する。 When the operating device transmits the audio information, the operating device broadcasts identification information for identifying the operating device (hereinafter referred to as “second identification information”) in the local area in the house. The second identification information is received by the control system via the router. Further, the control system receives the message and also receives the first identification information for identifying the operating device as before. The control system receives the first identification information and the second identification information, and permits the control of the shutter when they match. On the other hand, the control system prohibits shutter control when the second identification information is not received or when the first identification information and the second identification information do not match.

図１は、遠隔操作システム１０００の構成を示す。遠隔操作システム１０００は、操作装置１００、ルータ１１０、音声認識サーバ装置１２０、変換サーバ装置１３０、制御システム２００、機器３００と総称される第１機器３００ａ、第２機器３００ｂ、第Ｎ機器３００ｎを含む。また、遠隔操作システム１０００には、端末装置１５０が含まれてもよい。制御システム２００は、ネットワーク側通信部２１０、制御部２２０、記憶部２３０、機器側通信部２４０を含み、ネットワーク側通信部２１０は、第１通信部２１２、第２通信部２１４を含む。ここで、操作装置１００、ルータ１１０、制御システム２００、機器３００は、住宅等の需要家内に配置される。一方、音声認識サーバ装置１２０、変換サーバ装置１３０は、住宅等の需要家外に配置される。図１では、需要家内がスペース内と示され、需要家外がスペース外と示される。端末装置１５０は、スペース外に配置されたり、スペース内に配置されたりする。 FIG. 1 shows a configuration of the remote operation system 1000. The remote operation system 1000 includes an operation device 100, a router 110, a voice recognition server device 120, a conversion server device 130, a control system 200, a first device 300a, a second device 300b, and an Nth device 300n, which are collectively referred to as a device 300. . In addition, the remote operation system 1000 may include a terminal device 150. The control system 200 includes a network side communication unit 210, a control unit 220, a storage unit 230, and a device side communication unit 240. The network side communication unit 210 includes a first communication unit 212 and a second communication unit 214. Here, the operation device 100, the router 110, the control system 200, and the device 300 are arranged in a consumer such as a house. On the other hand, the voice recognition server device 120 and the conversion server device 130 are arranged outside a consumer such as a house. In FIG. 1, the inside of the consumer is indicated as being in the space, and the outside of the consumer is indicated as being outside the space. The terminal device 150 is arranged outside the space or arranged inside the space.

操作装置１００は、前述のスマートスピーカに相当し、スペース内に配置される。操作装置１００は、図示しないマイクロフォンと処理部と通信部を少なくとも含む装置である。操作装置１００のマイクロフォンは、発話者であるユーザが発話した音声を受けつける。音声の一例は、機器３００の制御の指示である。機器３００の制御の指示では、「エアコンをオンにする」のように、制御対象となる機器３００の名称と、当該機器３００に対する制御内容が含まれる。操作装置１００の処理部は、マイクロフォンで受けつけた音声を電気信号に変換することによって音声情報を生成する。操作装置１００の通信部は、ルータ１１０を介して音声認識サーバ装置１２０に音声情報を送信する。その際、通信部は、操作装置１００を識別するための第１識別情報も、ルータ１１０を介して音声認識サーバ装置１２０に送信する。また、操作装置１００は、音声情報と第１識別情報とを送信すると、第２識別情報をブロードキャスト送信する。ここで、第１識別情報と第２識別情報は、同一の内容であるとする。 The operating device 100 corresponds to the above-described smart speaker and is arranged in a space. The operation device 100 is a device including at least a microphone, a processing unit, and a communication unit (not shown). The microphone of the operation device 100 receives the voice uttered by the user who is the speaker. An example of the voice is an instruction to control the device 300. The instruction to control the device 300 includes the name of the device 300 to be controlled and the content of control for the device 300, such as “turn on the air conditioner”. The processing unit of the controller device 100 generates sound information by converting sound received by the microphone into an electric signal. The communication unit of the controller device 100 transmits voice information to the voice recognition server device 120 via the router 110. At that time, the communication unit also transmits first identification information for identifying the controller device 100 to the voice recognition server device 120 via the router 110. Further, when transmitting the voice information and the first identification information, the controller device 100 broadcasts the second identification information. Here, it is assumed that the first identification information and the second identification information have the same contents.

ルータ１１０は、スペース内に設置され、スペースを含むローカルエリアのネットワークと、スペース外のネットワークとを分離する。ルータ１１０は、操作装置１００から受信した音声情報と第１識別情報とを音声認識サーバ装置１２０に送信する。また、ルータ１１０は、操作装置１００からブロードキャスト送信された第２識別情報を受信し、第２識別情報をローカルエリアのネットワーク内に転送する。ブロードキャスト送信された信号は、スペース外のネットワークに転送されない。 The router 110 is installed in a space and separates a local area network including the space from a network outside the space. The router 110 transmits the voice information and the first identification information received from the operation device 100 to the voice recognition server device 120. In addition, the router 110 receives the second identification information broadcast from the controller device 100, and transfers the second identification information into the local area network. The broadcast signal is not transferred to a network outside the space.

音声認識サーバ装置１２０は、スペース外に設置され、音声情報と第１識別情報とを受信する。音声認識サーバ装置１２０は、音声情報に対して音声認識を実行する。音声認識には公知の技術が使用されればよいので、ここでは説明を省略する。音声認識によって、音声認識サーバ装置１２０は、制御対象となる機器３００の名称と、当該機器３００に対する制御内容を取得する。機器３００に対する制御内容は、機器３００の制御の指示に相当する。音声認識サーバ装置１２０は、機器３００の名称と、制御内容とが含まれたメッセージを生成する。また、音声認識サーバ装置１２０は、第１識別情報と、メッセージの宛先となる制御システム２００との対応関係を認識しており、受信した第１識別情報からメッセージの宛先を特定する。音声認識サーバ装置１２０は、特定した宛先に、メッセージと第１識別情報とを送信する。 The voice recognition server device 120 is installed outside the space and receives voice information and first identification information. The voice recognition server device 120 performs voice recognition on the voice information. Since a known technique may be used for the speech recognition, the description is omitted here. Through the voice recognition, the voice recognition server device 120 acquires the name of the device 300 to be controlled and the control content for the device 300. The control content for the device 300 corresponds to an instruction to control the device 300. The voice recognition server device 120 generates a message including the name of the device 300 and the control content. Further, the voice recognition server device 120 recognizes the correspondence between the first identification information and the control system 200 that is the message destination, and identifies the message destination from the received first identification information. The voice recognition server device 120 transmits the message and the first identification information to the specified destination.

変換サーバ装置１３０は、スペース外に設置され、音声認識サーバ装置１２０に接続される。前述のごとく、音声認識サーバ装置１２０はメッセージを生成するが、メッセージの内容は、例えば、制御システム２００を製造するメーカ毎に異なる。変換サーバ装置１３０は、メッセージの宛先となる制御システム２００を製造するメーカを認識しており、当該メーカに応じて、音声認識サーバ装置１２０において生成されたメッセージを変換する。なお、各メーカにおけるメッセージが共通である場合、変換サーバ装置１３０は遠隔操作システム１０００に含まれなくてもよい。変換サーバ装置１３０は、ルータ１１０を介して宛先となる制御システム２００に、メッセージと第１識別情報とを送信する。 Conversion server device 130 is installed outside the space and connected to voice recognition server device 120. As described above, the voice recognition server device 120 generates a message, but the content of the message is different for each manufacturer that manufactures the control system 200, for example. The conversion server device 130 recognizes the manufacturer that manufactures the control system 200 that is the destination of the message, and converts the message generated in the voice recognition server device 120 according to the manufacturer. Note that the conversion server device 130 may not be included in the remote operation system 1000 when the messages in each manufacturer are common. The conversion server device 130 transmits the message and the first identification information to the control system 200 that is the destination via the router 110.

制御システム２００は、スペース内に設置され、ルータ１１０に接続されるとともに、複数の機器３００に接続される。制御システム２００は、スペース内のゲートウエイであるといえる。制御システム２００は、１つの装置で構成されてもよく、互いに接続された複数の装置で構成されてもよい。前者の場合、制御システム２００は制御装置であるといえる。以下では、装置の数に関係なく、制御システム２００として説明する。制御システム２００の第１通信部２１２は、ルータ１１０経由で変換サーバ装置１３０からのメッセージと第１識別情報とを受信する。第１通信部２１２は、メッセージと第１識別情報とを制御部２２０に出力する。第２通信部２１４は、ルータ１１０経由で操作装置１００からの第２識別情報をメッセージに合わせて受信する。これは、操作装置１００からローカルエリア内を通った第２識別情報を受信することに相当する。第２通信部２１４は、第２識別情報を制御部２２０に出力する。 The control system 200 is installed in a space, connected to the router 110, and connected to a plurality of devices 300. It can be said that the control system 200 is a gateway in the space. The control system 200 may be composed of a single device or a plurality of devices connected to each other. In the former case, it can be said that the control system 200 is a control device. Below, it demonstrates as the control system 200 irrespective of the number of apparatuses. The first communication unit 212 of the control system 200 receives the message and the first identification information from the conversion server device 130 via the router 110. The first communication unit 212 outputs the message and the first identification information to the control unit 220. The second communication unit 214 receives the second identification information from the controller device 100 via the router 110 according to the message. This is equivalent to receiving the second identification information passing through the local area from the controller device 100. The second communication unit 214 outputs the second identification information to the control unit 220.

制御部２２０は、第１通信部２１２からメッセージと第１識別情報とを受けつけるとともに、第２通信部２１４から第２識別情報を受けつける。ここで、第１通信部２１２においてメッセージと第１識別情報とが受信されたタイミングと、第２通信部２１４において第２識別情報が受信されたタイミングとの時間差が一定期間以内であれば、制御部２２０は、第１識別情報と第２識別情報とが対応する判定する。これは、メッセージに合わせて第２通信部２１４が第２識別情報を受信することに相当する。 The control unit 220 receives a message and first identification information from the first communication unit 212 and receives second identification information from the second communication unit 214. If the time difference between the timing at which the first communication unit 212 receives the message and the first identification information and the timing at which the second communication unit 214 receives the second identification information is within a certain period, the control is performed. The unit 220 determines that the first identification information corresponds to the second identification information. This corresponds to the second communication unit 214 receiving the second identification information in accordance with the message.

制御部２２０は、第１識別情報に対する認証処理を実行する。認証処理には公知の技術が使用されればよいので、ここでは説明を省略する。認証が失敗した場合、制御部２２０は、処理を終了する。一方、認証が成功した場合、制御部２２０は、メッセージから機器３００の名称と、制御内容とを抽出する。これに続いて、制御部２２０は、記憶部２３０に記憶されたテーブルを参照する。図２は、記憶部２３０に記憶されるテーブルのデータ構造を示す。テーブルでは、各機器３００に対してスペース外からの制御が許可されているか否かが示される。スペース外からの制御が許可されている場合、テーブルでは「○」が示され、スペース外からの制御が許可されていない場合、テーブルでは「×」が示される。例えば、第１機器３００ａはエアコンであり、それには「○」が示され、第２機器３００ｂはシャッターであり、それには「×」が示される。図１に戻る。 The controller 220 executes an authentication process for the first identification information. Since a known technique may be used for the authentication process, the description thereof is omitted here. When the authentication fails, the control unit 220 ends the process. On the other hand, when the authentication is successful, the control unit 220 extracts the name of the device 300 and the control content from the message. Following this, the control unit 220 refers to the table stored in the storage unit 230. FIG. 2 shows the data structure of the table stored in the storage unit 230. The table indicates whether or not each device 300 is permitted to be controlled from outside the space. When control from outside the space is permitted, “◯” is indicated in the table, and when control from outside the space is not permitted, “X” is indicated in the table. For example, the first device 300a is an air conditioner, which is indicated by “◯”, and the second device 300b is a shutter, which is indicated by “x”. Returning to FIG.

制御部２２０は、テーブルを参照することによって、抽出した機器３００に対して、スペース外からの制御が許可されているか否かを判定する。スペース外からの制御が許可されている場合、制御部２２０は、機器３００の制御を許可する。スペース外からの制御が許可されていない場合、制御部２２０は、第２識別情報と第１識別情報とが一致すれば、機器３００の制御を許可する。しかしながら、スペース外からの制御が許可されていない場合、制御部２２０は、第２識別情報と第１識別情報とが不一致であれば、あるいは第２識別情報を未受信であれば、機器３００の制御を禁止する。ここで、制御部２２０は、機器３００の制御を許可する場合、抽出した制御内容に応じるように機器３００を制御する。 The control unit 220 refers to the table to determine whether or not the extracted device 300 is allowed to be controlled from outside the space. When the control from outside the space is permitted, the control unit 220 permits the control of the device 300. When control from outside the space is not permitted, the control unit 220 permits control of the device 300 if the second identification information matches the first identification information. However, when control from outside the space is not permitted, the control unit 220 determines that the second identification information does not match the first identification information, or if the second identification information is not received, the device 300 Prohibit control. Here, when permitting control of the device 300, the control unit 220 controls the device 300 in accordance with the extracted control content.

機器側通信部２４０は、複数の機器３００を接続するとともに、所定の通信プロトコルにしたがって各機器３００との通信を行う。所定の通信プロトコルの一例は、前述のごとく、ＥＣＨＯＮＥＴＬｉｔｅ（登録商標）である。なお、機器側通信部２４０は、ネットワーク側通信部２１０と一体的に構成されてもよい。機器側通信部２４０は、制御部２２０において機器３００の制御が許可された場合、当該機器３００を制御するための制御信号を送信する。このような制御信号の送信には公知の技術が使用されればよいが、抽出した制御内容に応じているものとする。 The device-side communication unit 240 connects a plurality of devices 300 and communicates with each device 300 according to a predetermined communication protocol. An example of the predetermined communication protocol is ECHONET Lite (registered trademark) as described above. The device-side communication unit 240 may be configured integrally with the network-side communication unit 210. If the control of the device 300 is permitted by the control unit 220, the device-side communication unit 240 transmits a control signal for controlling the device 300. A known technique may be used for transmission of such a control signal, but it depends on the extracted control content.

端末装置１５０がスペース内に配置される場合、端末装置１５０は、操作装置１００と同様に、ルータ１１０を介して音声認識サーバ装置１２０に音声情報と第１識別情報とを送信する。その際、端末装置１５０は、第２識別情報をブロードキャスト送信し、第２識別情報は、ルータ１１０によってローカルエリアのネットワーク内に転送される。そのため、制御システム２００の第１通信部２１２は、変換サーバ装置１３０からのメッセージと第１識別情報とを受信し、第２通信部２１４は、ルータ１１０経由で端末装置１５０からの第２識別情報をメッセージに合わせて受信する。これらにより、制御システム２００は、これまでと同様の処理を実行する。 When the terminal device 150 is disposed in the space, the terminal device 150 transmits the voice information and the first identification information to the voice recognition server device 120 via the router 110, similarly to the operation device 100. At that time, the terminal device 150 broadcasts the second identification information, and the second identification information is transferred to the local area network by the router 110. Therefore, the first communication unit 212 of the control system 200 receives the message and the first identification information from the conversion server device 130, and the second communication unit 214 receives the second identification information from the terminal device 150 via the router 110. Is received according to the message. Thus, the control system 200 executes the same processing as before.

一方、端末装置１５０がスペース外に配置される場合も、端末装置１５０は、音声認識サーバ装置１２０に音声情報と第１識別情報とを送信する。しかしながら、端末装置１５０は、第２識別情報をブロードキャスト送信しても、第２識別情報は、ルータ１１０によってローカルエリアのネットワーク内に転送されない。そのため、制御システム２００の第１通信部２１２は、変換サーバ装置１３０からのメッセージと第１識別情報とを受信するが、第２通信部２１４は、ルータ１１０経由で端末装置１５０からの第２識別情報を受信しない。その結果、制御システム２００は、スペース外からの制御が許可されていない機器３００に対する制御を禁止する。 On the other hand, also when the terminal device 150 is arranged outside the space, the terminal device 150 transmits the voice information and the first identification information to the voice recognition server device 120. However, even if the terminal device 150 broadcasts the second identification information, the second identification information is not transferred to the local area network by the router 110. Therefore, the first communication unit 212 of the control system 200 receives the message and the first identification information from the conversion server device 130, but the second communication unit 214 receives the second identification from the terminal device 150 via the router 110. Does not receive information. As a result, the control system 200 prohibits control of the device 300 that is not permitted to be controlled from outside the space.

本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。 The subject of the apparatus, system, or method in the present disclosure includes a computer. When the computer executes the program, the main function of the apparatus, system, or method according to the present disclosure is realized. The computer includes a processor that operates according to a program as a main hardware configuration. The processor may be of any type as long as the function can be realized by executing the program. The processor includes one or a plurality of electronic circuits including a semiconductor integrated circuit (IC) or an LSI (Large Scale Integration). The plurality of electronic circuits may be integrated on one chip or provided on a plurality of chips. The plurality of chips may be integrated into one device, or may be provided in a plurality of devices. The program is recorded on a non-transitory recording medium such as a ROM, an optical disk, or a hard disk drive that can be read by a computer. The program may be stored in advance in a recording medium, or may be supplied to the recording medium via a wide area communication network including the Internet.

以上の構成による遠隔操作システム１０００の動作を説明する。図３は、遠隔操作システム１０００による制御手順を示すシーケンス図である。操作装置１００は音声を入力する（Ｓ１０）。操作装置１００は音声情報および第１識別情報を送信する（Ｓ１２）。音声認識サーバ装置１２０は、音声認識を実行し（Ｓ１４）、メッセージを生成する（Ｓ１６）。音声認識サーバ装置１２０はメッセージおよび第１識別情報を送信する（Ｓ１８）。変換サーバ装置１３０はメッセージを変換する（Ｓ２０）。変換サーバ装置１３０はメッセージおよび第１識別情報を送信する（Ｓ２２）。操作装置１００は第２識別情報を送信する（Ｓ２４）。制御システム２００は、メッセージおよび第１識別情報を受信するとともに、第２識別情報を受信すると、判定を実行する（Ｓ２６）。操作装置１００は指示を出力し（Ｓ２８）、機器３００を制御する（Ｓ３０）。 The operation of the remote operation system 1000 configured as above will be described. FIG. 3 is a sequence diagram showing a control procedure by the remote operation system 1000. The operating device 100 inputs voice (S10). The controller device 100 transmits voice information and first identification information (S12). The voice recognition server device 120 executes voice recognition (S14) and generates a message (S16). The voice recognition server device 120 transmits a message and first identification information (S18). The conversion server device 130 converts the message (S20). The conversion server device 130 transmits the message and the first identification information (S22). The controller device 100 transmits the second identification information (S24). The control system 200 receives the message and the first identification information, and executes the determination when receiving the second identification information (S26). The operating device 100 outputs an instruction (S28) and controls the device 300 (S30).

図４は、制御システム２００による制御手順を示すフローチャートである。第１通信部２１２はメッセージおよび第１識別情報を受信する（Ｓ５０）。制御対象となる機器３００がスペース外で制御可能でなく（Ｓ５２のＮ）、第２通信部２１４が第２識別情報を受信しており（Ｓ５４のＹ）、第１識別情報と第２識別情報とが一致している場合（Ｓ５６のＹ）、制御部２２０は機器３００を制御する（Ｓ５８）。制御対象となる機器３００がスペース外で制御可能である場合（Ｓ５２のＹ）、制御部２２０は機器３００を制御する（Ｓ５８）。第２通信部２１４が第２識別情報を受信していない場合（Ｓ５４のＮ）、あるいは第１識別情報と第２識別情報とが一致していない場合（Ｓ５６のＮ）、処理は終了される。 FIG. 4 is a flowchart showing a control procedure by the control system 200. The first communication unit 212 receives the message and the first identification information (S50). The device 300 to be controlled is not controllable outside the space (N in S52), the second communication unit 214 has received the second identification information (Y in S54), and the first identification information and the second identification information Is identical (Y in S56), the control unit 220 controls the device 300 (S58). When the device 300 to be controlled is controllable outside the space (Y in S52), the control unit 220 controls the device 300 (S58). If the second communication unit 214 has not received the second identification information (N in S54), or if the first identification information and the second identification information do not match (N in S56), the process is terminated. .

次に、変形例を説明する。これまでの操作装置１００は、音声情報と第１識別情報とを送信すると、第２識別情報をブロードキャスト送信している。つまり、メッセージおよび第１識別情報の送信毎に第２識別情報がブロードキャスト送信されている。一方、操作装置１００は、メッセージおよび第１識別情報の送信とは別に第２識別情報をブロードキャスト送信してもよい。つまり、操作装置１００は、例えば、起動の際、あるいはメッセージおよび第１識別情報の送信とは関係なく定期的に、第２識別情報をブロードキャスト送信する。制御システム２００の第２通信部２１４は、ルータ１１０経由で端末装置１５０からの第２識別情報をメッセージとは別に受信する。このような状況下において、制御システム２００の第１通信部２１２が、変換サーバ装置１３０からのメッセージと第１識別情報とを受信した場合、既に受信している第２識別情報を使用しながら、これまでと同様の処理を実行する。 Next, a modified example will be described. When the operation device 100 so far transmits the audio information and the first identification information, the operation device 100 broadcasts the second identification information. That is, the second identification information is broadcasted every time the message and the first identification information are transmitted. On the other hand, the controller device 100 may broadcast the second identification information separately from the transmission of the message and the first identification information. That is, the controller device 100 broadcasts the second identification information at the time of activation or periodically regardless of the transmission of the message and the first identification information. The second communication unit 214 of the control system 200 receives the second identification information from the terminal device 150 via the router 110 separately from the message. Under such circumstances, when the first communication unit 212 of the control system 200 receives the message and the first identification information from the conversion server device 130, while using the already received second identification information, The same processing as before is executed.

図５は、遠隔操作システム１０００による別の制御手順を示すシーケンス図である。操作装置１００は第２識別情報を送信する（Ｓ１００）。操作装置１００は音声を入力する（Ｓ１０２）。操作装置１００は音声情報および第１識別情報を送信する（Ｓ１０４）。音声認識サーバ装置１２０は、音声認識を実行し（Ｓ１０６）、メッセージを生成する（Ｓ１０８）。音声認識サーバ装置１２０はメッセージおよび第１識別情報を送信する（Ｓ１１０）。変換サーバ装置１３０はメッセージを変換する（Ｓ１１２）。変換サーバ装置１３０はメッセージおよび第１識別情報を送信する（Ｓ１１４）。制御システム２００は、メッセージおよび第１識別情報を受信するとともに、第２識別情報を受信すると、判定を実行する（Ｓ１１６）。操作装置１００は指示を出力し（Ｓ１１８）、機器３００を制御する（Ｓ１２０）。 FIG. 5 is a sequence diagram showing another control procedure by the remote operation system 1000. The controller device 100 transmits the second identification information (S100). The operating device 100 inputs voice (S102). The controller device 100 transmits voice information and first identification information (S104). The voice recognition server device 120 executes voice recognition (S106) and generates a message (S108). The voice recognition server device 120 transmits a message and first identification information (S110). The conversion server device 130 converts the message (S112). The conversion server device 130 transmits the message and the first identification information (S114). When receiving the message and the first identification information and receiving the second identification information, the control system 200 executes the determination (S116). The operating device 100 outputs an instruction (S118) and controls the device 300 (S120).

本実施例によれば、操作装置１００から音声認識サーバ装置１２０を介して受信した第１識別情報と、操作装置１００からローカルエリア内を通って受信した第２識別情報とが一致する場合に、機器３００の制御を許可するので、機器３００の制御を実行できる。また、操作装置１００から音声認識サーバ装置１２０を介して受信した第１識別情報と、操作装置１００からローカルエリア内を通って受信した第２識別情報とが一致しない場合に、機器３００の制御を禁止するので、機器３００の制御を制限できる。また、操作装置１００からローカルエリア内を通った第２識別情報を受信しない場合に、機器３００の制御を禁止するので、機器３００の制御を制限できる。また、第１識別情報に加えて第２識別情報を使用するので、機器３００を制御しようとする位置に応じて、機器３００に対する制御を制限するか否かを切りかえることができる。 According to the present embodiment, when the first identification information received from the operation device 100 via the voice recognition server device 120 matches the second identification information received from the operation device 100 through the local area, Since the control of the device 300 is permitted, the control of the device 300 can be executed. In addition, when the first identification information received from the operation device 100 via the voice recognition server device 120 does not match the second identification information received from the operation device 100 through the local area, the control of the device 300 is performed. Since it is prohibited, the control of the device 300 can be restricted. Further, since control of the device 300 is prohibited when the second identification information that has passed through the local area is not received from the controller device 100, control of the device 300 can be limited. Further, since the second identification information is used in addition to the first identification information, it is possible to switch whether or not to restrict the control over the device 300 according to the position where the device 300 is to be controlled.

また、メッセージとともに第１識別情報を受信し、メッセージに合わせて第２識別情報を受信するので、最新の状況に合った第２識別情報を使用できる。また、メッセージとともに第１識別情報を受信し、メッセージとは別に第２識別情報を受信するので、メッセージおよび第１識別情報の送信頻度とは無関係に第２識別情報の送信頻度を設定できる。また、メッセージおよび第１識別情報の送信頻度とは無関係に第２識別情報の送信頻度が設定されるので、第２識別情報の送信頻度を低くできる。 In addition, since the first identification information is received together with the message and the second identification information is received according to the message, the second identification information suitable for the latest situation can be used. Further, since the first identification information is received together with the message and the second identification information is received separately from the message, the transmission frequency of the second identification information can be set regardless of the transmission frequency of the message and the first identification information. Further, since the transmission frequency of the second identification information is set regardless of the transmission frequency of the message and the first identification information, the transmission frequency of the second identification information can be lowered.

本発明の一態様の概要は、次の通りである。本発明のある態様の制御システム２００は、所定スペースに配置される操作装置１００から、所定スペースを含むローカルエリアの外に設置された音声認識サーバ装置１２０を介して、操作装置１００を識別するための第１識別情報を受信する第１通信部２１２と、操作装置１００から、ローカルエリア内を通って、操作装置１００を識別するための第２識別情報を受信する第２通信部２１４と、第２通信部２１４において受信した第２識別情報と、第１通信部２１２において受信した第１識別情報とが一致する場合に、所定スペースに設置された機器３００の制御を許可する制御部２２０とを備える。制御部２２０は、第２通信部２１４において受信した第２識別情報と、第１通信部２１２において受信した第１識別情報とが不一致である場合、あるいは第２通信部２１４が第２識別情報を未受信である場合、機器３００の制御を禁止する。 The outline of one embodiment of the present invention is as follows. The control system 200 according to an aspect of the present invention identifies the operating device 100 from the operating device 100 arranged in the predetermined space via the voice recognition server device 120 installed outside the local area including the predetermined space. A first communication unit 212 that receives the first identification information, a second communication unit 214 that receives second identification information for identifying the operation device 100 from the operation device 100 through the local area, and The control unit 220 that permits control of the device 300 installed in a predetermined space when the second identification information received by the second communication unit 214 matches the first identification information received by the first communication unit 212. Prepare. When the second identification information received by the second communication unit 214 and the first identification information received by the first communication unit 212 do not match, or when the second communication unit 214 receives the second identification information, If not received, control of the device 300 is prohibited.

第１通信部２１２は、操作装置１００に対して発話者が発話した音声を音声認識サーバ装置１２０が音声認識することによって生成されたメッセージであって、かつ機器３００の制御を指示するメッセージとともに、第１識別情報を受信し、第２通信部２１４は、メッセージに合わせて、第２識別情報を受信し、制御部２２０は、第２通信部２１４において受信した第２識別情報と、第１通信部２１２において受信した第１識別情報とが一致する場合に、第１通信部２１２において受信しメッセージに応じた機器３００の制御を許可する。 The first communication unit 212 is a message generated by the voice recognition server apparatus 120 recognizing the voice uttered by the speaker to the operation apparatus 100 and a message for instructing the control of the device 300. The first identification information is received, the second communication unit 214 receives the second identification information in accordance with the message, and the control unit 220 receives the second identification information received by the second communication unit 214 and the first communication. When the first identification information received by the unit 212 matches, control of the device 300 according to the message received by the first communication unit 212 is permitted.

第１通信部２１２は、操作装置１００に対して発話者が発話した音声を音声認識サーバ装置１２０が音声認識することによって生成されたメッセージであって、かつ機器３００の制御を指示するメッセージとともに、第１識別情報を受信し、第２通信部２１４は、メッセージとは別に、第２識別情報を受信し、制御部２２０は、第２通信部２１４において受信した第２識別情報と、第１通信部２１２において受信した第１識別情報とが一致する場合に、第１通信部２１２において受信しメッセージに応じた機器３００の制御を許可する。 The first communication unit 212 is a message generated by the voice recognition server apparatus 120 recognizing the voice uttered by the speaker to the operation apparatus 100 and a message for instructing the control of the device 300. The first identification information is received, the second communication unit 214 receives the second identification information separately from the message, and the control unit 220 receives the second identification information received by the second communication unit 214 and the first communication. When the first identification information received by the unit 212 matches, control of the device 300 according to the message received by the first communication unit 212 is permitted.

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 In the above, this invention was demonstrated based on the Example. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to each of those constituent elements or combinations of processing processes, and such modifications are also within the scope of the present invention. .

１００操作装置、１１０ルータ、１２０音声認識サーバ装置（サーバ装置）、１３０変換サーバ装置、１５０端末装置、２００制御システム、２１０ネットワーク側通信部、２１２第１通信部、２１４第２通信部、２２０制御部、２３０記憶部、２４０機器側通信部、３００機器、１０００遠隔操作システム。 100 operation device, 110 router, 120 voice recognition server device (server device), 130 conversion server device, 150 terminal device, 200 control system, 210 network side communication unit, 212 first communication unit, 214 second communication unit, 220 control Unit, 230 storage unit, 240 device side communication unit, 300 device, 1000 remote operation system.

Claims

A first communication unit that receives first identification information for identifying the operating device from an operating device arranged in a predetermined space via a server device installed outside a local area including the predetermined space;
A second communication unit that receives second identification information for identifying the operating device from the operating device through the local area;
A control unit that permits control of the device installed in the predetermined space when the second identification information received by the second communication unit matches the first identification information received by the first communication unit. And
When the second identification information received by the second communication unit and the first identification information received by the first communication unit do not match, or when the second communication unit is the second If the identification information has not been received, control of the device is prohibited.
Control system.

The first communication unit is a message generated by the server device recognizing the voice uttered by the speaker to the operation device, and together with the message for instructing the control of the device, 1 identification information is received,
The second communication unit receives the second identification information in accordance with the message,
The control unit receives the message received by the first communication unit when the second identification information received by the second communication unit matches the first identification information received by the first communication unit. Permit control of the device according to
The control system according to claim 1.

The first communication unit is a message generated by the server device recognizing the voice uttered by the speaker to the operation device, and together with the message for instructing the control of the device, 1 identification information is received,
The second communication unit receives the second identification information separately from the message,
The control unit receives the message received by the first communication unit when the second identification information received by the second communication unit matches the first identification information received by the first communication unit. Permit control of the device according to
The control system according to claim 1.

Receiving first identification information for identifying the operating device from the operating device arranged in the predetermined space via a server device installed outside a local area including the predetermined space;
Receiving second identification information for identifying the operating device from the operating device through the local area;
Permitting control of a device installed in the predetermined space when the received second identification information and the received first identification information match;
When the received second identification information and the received first identification information do not match, or when the second identification information is not received, the computer is caused to execute a step of prohibiting control of the device. Program for.