JP2009087074A - Equipment control system - Google Patents
Equipment control system Download PDFInfo
- Publication number
- JP2009087074A JP2009087074A JP2007256397A JP2007256397A JP2009087074A JP 2009087074 A JP2009087074 A JP 2009087074A JP 2007256397 A JP2007256397 A JP 2007256397A JP 2007256397 A JP2007256397 A JP 2007256397A JP 2009087074 A JP2009087074 A JP 2009087074A
- Authority
- JP
- Japan
- Prior art keywords
- control
- emotion
- user
- behavior
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Computer And Data Communications (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、住宅に配置した複数の制御対象機器を利用者が指示することなく、利用者の気分や行動に応じて自動的に制御する機器制御システムに関するものである。 The present invention relates to a device control system that automatically controls a plurality of control target devices arranged in a house according to a user's mood and behavior without instructing the user.
一般に、住宅に配置した照明機器、AV機器、空調機器などの機器の制御には利用者の指示を要する。タイムスケジュールに従って制御される機器もあるが、制御内容が単純に時刻に関係付けられているだけであるから、機器の動作が利用者の気分に合わない場合も生じる。たとえば、同じ時刻であっても、リラックスしていて気分にゆとりのある快適な状態と、ストレスが溜まるなどの不快感のある状態とでは、照明の光量や色調を調節することが望ましいが、タイムスケジュールのみで機器を制御しても、この種の機器制御を行うことはできない。 Generally, a user's instruction is required to control devices such as lighting devices, AV devices, and air conditioning devices arranged in a house. Some devices are controlled according to the time schedule, but the control content is simply related to the time, so the operation of the device may not match the user's mood. For example, even at the same time, it is desirable to adjust the light intensity and color tone of the lighting in a relaxed and comfortable state and a state of discomfort such as stress buildup. Even if the device is controlled only by the schedule, this kind of device control cannot be performed.
一方、音楽再生に限定されたものではあるが、利用者の発話音声に含まれるキーワードとプロソディ情報(韻律情報)とに基づいて、精神的状況と肉体的状況との少なくとも一方を推定し、推定結果をあらかじめ設定したカテゴリに分類し、さらにカテゴリに属する音楽データを再生する音楽再生装置が提案されている(たとえば、特許文献1参照)。特許文献1に記載された音楽再生装置では、「眠い」、「疲れた」、「疲れていて眠い」、「イライラする」、「気分が優れない」、「楽しい」、「リラックスしている」などを判断し、その状況に応じた楽曲を自動的に選択して精神的状況や肉体的状況を改善したり、音楽を再生しないようにしたりすることが提案されている。
特許文献1に記載の技術は、音楽の楽曲を選択する目的で、利用者の精神的状況や肉体的状況を推定している。つまり、単一の制御対象機器(音楽再生装置)において、制御内容(楽曲)を選択する目的で用いており、しかも楽曲を選択するだけであるから、利用者の感情の推定のみを行っている。 The technique described in Patent Literature 1 estimates a user's mental state and physical state for the purpose of selecting music pieces. In other words, in a single control target device (music playback device), it is used for the purpose of selecting the control contents (music) and only the music is selected, so only estimation of the user's emotion is performed. .
しかしながら、住宅内において複数種類の制御対象機器が存在する場合には、楽曲の選択に比較して数多くの制御内容があるから、精神的状況や肉体的状況の推定のみでは、制御内容を特定することができない。 However, if there are multiple types of devices to be controlled in the house, there are many control contents compared to the selection of music, so the control contents are specified only by estimating the mental situation and the physical situation. I can't.
たとえば、利用者の存在する場所に応じて制御対象機器を変更することが必要であり、また同じ場所に複数種類の制御対象機器が存在する場合に、どの制御対象機器に制御内容を指示すべきかは、精神的状況や肉体的状況の推定のみでは決定することができない。 For example, it is necessary to change the control target device according to the location where the user exists, and when there are multiple types of control target devices in the same location, which control target device should be instructed to control Cannot be determined solely by estimation of mental and physical conditions.
本発明は上記事由に鑑みて為されたものであり、その目的は、感情の推定に加えて住宅内での利用者の行動を検出することにより各制御対象機器を的確な制御内容で自動的に制御することを可能にした機器制御システムを提供することにある。 The present invention has been made in view of the above-mentioned reasons, and its purpose is to automatically detect each control target device with accurate control contents by detecting a user's behavior in a house in addition to emotion estimation. It is an object of the present invention to provide a device control system that can be controlled.
請求項1の発明は、住宅に配置した複数種類の制御対象機器と、住宅内での利用者の行動を検出する行動検出部と、利用者の感情を推定する感情推定部と、行動検出部の検出結果と感情推定部の推定結果との組合せを各制御対象機器の制御内容と関係付けた制御内容記憶部と、特定の制御対象機器に関して行動検出部の検出結果と感情推定部の推定結果との組合せに関係付けられた制御内容を制御内容記憶部から抽出する判断部と、判断部により抽出された制御内容に応じた制御信号を制御対象機器に対して出力する出力部とを備えることを特徴とする。 The invention of claim 1 includes a plurality of types of control target devices arranged in a house, a behavior detection unit that detects a user's behavior in the home, an emotion estimation unit that estimates a user's emotion, and a behavior detection unit. A control content storage unit that associates the combination of the detection result of the detection and the estimation result of the emotion estimation unit with the control content of each control target device, and the detection result of the behavior detection unit and the estimation result of the emotion estimation unit for a specific control target device A determination unit that extracts the control content related to the combination from the control content storage unit, and an output unit that outputs a control signal corresponding to the control content extracted by the determination unit to the control target device It is characterized by.
なお、感情とは、主として快・不快の感情を意味しており、喜怒哀楽を推定する場合には、喜楽が快適方向の感情に相当し、怒哀が不快方向の感情に相当する。また、行動とは、一つのカテゴリに分類できる一連の動作の全体を意味し、たとえば、食事、入浴、洗面、就寝などを意味する。ただし、一つのカテゴリに分類できないが一連の動作として意味付けできる場合には行動として扱うようにしてもよい。たとえば、寝室→トイレ→玄関→リビングという経路で移動する動作を行動とみなす場合もある。特定の制御対象機器とは、あらかじめ決められた制御対象機器または行動検出部により検出された行動により決められる制御対象機器を意味する。 The emotion mainly means feelings of pleasure / discomfort. When estimating emotions, emotions are equivalent to emotions in the comfort direction, and emotions are equivalent to feelings in the direction of discomfort. Further, the action means the whole series of actions that can be classified into one category, and means, for example, meal, bathing, washing, sleeping. However, if it cannot be classified into one category but can be expressed as a series of actions, it may be treated as an action. For example, there is a case where an action of moving along a route of bedroom → toilet → entrance → living room is regarded as an action. The specific control target device means a control target device that is determined in advance or a control target device that is determined by the behavior detected by the behavior detection unit.
請求項2の発明では、請求項1の発明において、前記感情推定部は、各制御対象機器の影響が及ぶ有効領域内に存在する利用者の感情を推定し、前記特定の制御対象機器は、感情推定部により感情を推定した利用者が有効領域内に存在している制御対象機器であることを特徴とする。 In the invention of claim 2, in the invention of claim 1, the emotion estimation unit estimates a user's emotion existing in an effective area affected by each control target device, and the specific control target device is: The user whose emotion is estimated by the emotion estimation unit is a control target device existing in the effective area.
請求項3の発明では、請求項1または請求項2の発明において、前記感情推定部は、利用者の身体から発する情報を検出する複数個の感情センサ手段と、感情センサ手段の出力パターンを、規定した複数種類の感情のいずれかに分類する感情分類手段とを備え、感情分類手段と前記制御内容記憶部と前記判断部と前記出力部とをコンピュータサーバである宅内サーバに備え、感情センサ手段と前記制御対象機器とは宅内サーバに通信ネットワークを介して接続されていることを特徴とする。 In the invention of claim 3, in the invention of claim 1 or claim 2, the emotion estimation unit includes a plurality of emotion sensor means for detecting information emitted from the user's body, and an output pattern of the emotion sensor means. Emotion classification means for classifying into any of a plurality of prescribed emotions, and emotion classification means, the control content storage unit, the determination unit, and the output unit are provided in a home server that is a computer server, and emotion sensor means And the device to be controlled are connected to a home server via a communication network.
感情センサ手段には、利用者の顔を撮像するTVカメラ、利用者の体温変化を非接触で検出するサーモカメラ、利用者の音声が入力されるマイクロホンなどを用いることができ、感情分類手段は、顔の表情の変化パターンから感情を分類したり、サーモカメラにより検出した体温の変化パターンから感情を検出したり、音声に含まれる音韻情報や韻律情報(プロソディ情報)から感情を分類する。 The emotion sensor means can be a TV camera that captures the user's face, a thermo camera that detects changes in the user's body temperature without contact, a microphone to which the user's voice is input, etc. The emotion is classified from the facial expression change pattern, the emotion is detected from the body temperature change pattern detected by the thermo camera, and the emotion is classified from the phoneme information and prosodic information (prosody information) included in the speech.
請求項4の発明では、請求項3の発明において、前記行動検出部は、前記宅内サーバが前記制御対象機器を制御する際に送信する制御情報を行動情報に用いて利用者の行動を判定する行動判定手段を備えることを特徴とする。 According to a fourth aspect of the present invention, in the third aspect of the invention, the behavior detection unit determines a behavior of a user by using, as behavior information, control information transmitted when the in-home server controls the control target device. It is characterized by comprising an action determination means.
請求項5の発明では、請求項3または請求項4の発明において、前記行動検出部は、住宅内の複数箇所に設置された利用者の位置を検出する行動センサ手段と、前記宅内サーバに設けられ行動センサ手段での検出情報を行動情報に用いて利用者の行動を判定する行動判定手段とを備えることを特徴とする。 According to a fifth aspect of the present invention, in the third or fourth aspect of the present invention, the behavior detection unit is provided in behavior sensor means for detecting the positions of users installed at a plurality of locations in a house, and in the in-home server. And action determination means for determining a user's action using information detected by the action sensor means as action information.
請求項6の発明では、請求項3ないし請求項5のいずれかの発明において、前記行動検出部は、住宅内の規定範囲内に存在する人数を計数する人数検出手段と、前記宅内サーバに設けられ人数検出手段で検出した人数を行動情報に用いて利用者の行動を判定する行動判定手段とを備えることを特徴とする。 According to a sixth aspect of the present invention, in the invention according to any one of the third to fifth aspects, the behavior detecting unit is provided in a number detecting means for counting the number of persons existing within a prescribed range in a house, and in the home server. And a behavior determining means for determining a user's behavior using the number of people detected by the number of people detecting means as behavior information.
請求項7の発明では、請求項3ないし請求項6のいずれかの発明において、前記宅内サーバは、前記判断部により抽出した制御内容を前記制御対象機器に指示する制御期間と、制御対象機器が制御された後の利用者の感情を前記感情推定部で推定し感情の変化方向を判断する評価期間とを有し、評価期間において判断された感情の変化方向が制御期間に対して不快方向であるときに制御期間において指示した制御内容を解除して従前の状態に戻すことを特徴とする。 According to a seventh aspect of the present invention, in the invention according to any one of the third to sixth aspects, the in-home server includes a control period for instructing the control target device about the control content extracted by the determination unit, and the control target device includes: An evaluation period for estimating the emotion of the user after being controlled by the emotion estimation unit and determining the change direction of the emotion, and the change direction of the emotion determined in the evaluation period is an uncomfortable direction with respect to the control period It is characterized in that the control content instructed in the control period is canceled at a certain time to return to the previous state.
請求項8の発明では、請求項7の発明において、前記宅内サーバは、前記評価期間において判断された感情の変化方向が制御期間に対して快適方向であるときに規定点数を加算し感情の変化方向が制御期間に対して不快方向であるときに規定点数を減算することによって得られる感情点数を制御内容に関係付けて記憶する点数記憶部を備え、前記出力部は、前記判断部が新たな制御内容を抽出したときに当該制御内容に対して点数記憶部に記憶されている感情点数が所定点数以下であると当該制御内容に応じた制御信号を前記制御対象機器に対して出力しないことを特徴とする。 In the invention of claim 8, in the invention of claim 7, the in-home server adds a specified score when the change direction of the emotion determined in the evaluation period is a comfortable direction with respect to the control period, and changes the emotion A score storage unit for storing the emotion score obtained by subtracting the specified score when the direction is an uncomfortable direction with respect to the control period in association with the control content, and the output unit includes a new determination unit When the control content is extracted, if the emotion score stored in the score storage unit for the control content is equal to or less than the predetermined score, the control signal corresponding to the control content is not output to the control target device. Features.
請求項9の発明では、請求項7の発明において、前記宅内サーバは、前記評価期間において判断された感情の変化方向が制御期間に対して快適方向であるときに規定点数を加算し感情の変化方向が制御期間に対して不快方向であるときに規定点数を減算することによって得られる感情点数を制御内容に関係付けて記憶する点数記憶部と、前記判断部が新たな制御内容を抽出したときに当該制御内容に対して点数記憶部に記憶されている感情点数が所定点数以下であると制御内容を利用者に提示するとともに制御内容の適否を利用者に選択させる確認手段とを備えることを特徴とする。 In the invention of claim 9, in the invention of claim 7, the in-home server adds a specified score when the change direction of the emotion determined in the evaluation period is a comfortable direction with respect to the control period, thereby changing the emotion. When the direction is an uncomfortable direction with respect to the control period, the score storage unit that stores the emotion score obtained by subtracting the specified score in relation to the control content, and when the determination unit extracts new control content And a confirmation means for presenting the control content to the user and having the user select whether or not the control content is appropriate if the emotion score stored in the score storage unit for the control content is equal to or less than a predetermined score. Features.
請求項10の発明では、請求項9の発明において、前記確認手段は、前記制御内容記憶部から抽出した制御内容に基づいて新たな制御内容を生成して利用者に提示するとともに制御内容の適否を利用者に選択させ、提示した制御内容に対して適正である旨の応答があるときには当該制御内容に応じた制御信号を前記制御対象機器に出力することを特徴とする。 In the invention of claim 10, in the invention of claim 9, the confirmation means generates new control contents based on the control contents extracted from the control contents storage unit and presents them to the user, and whether the control contents are appropriate or not. The control signal corresponding to the control content is output to the control target device when there is a response indicating that the control content is appropriate for the presented control content.
請求項1の発明の構成によれば、利用者の感情と住宅内での利用者の行動との組合せをカテゴリに分類し、分類されたカテゴリに応じた制御内容で制御対象機器を制御するから、利用者の感情だけではなく行動も用いることで制御内容を的確に判断し、利用者の指示を待たずに制御対象機器を自動的にかつ的確に制御することが可能になる。 According to the configuration of the invention of claim 1, the combinations of the user's emotion and the user's behavior in the house are classified into categories, and the control target device is controlled with the control content corresponding to the classified category. By using not only the user's emotion but also the action, it is possible to accurately determine the control content and automatically and accurately control the control target device without waiting for the user's instruction.
請求項2の発明の構成によれば、制御対象機器の影響が及ぶ範囲である有効領域(たとえば、制御対象機器が映像機器であれば表示された映像を視聴できる領域が有効領域であり、制御対象機器が照明器具であれば照明器具により照明される領域が有効領域になる)に存在する利用者の感情を推定して制御対象機器を制御するから、利用者の感情に応じて制御対象機器が制御されたときに、制御対象機器の制御の影響を利用者の感情にただちに反映させることができる。 According to the configuration of the second aspect of the present invention, the effective area that is the range affected by the control target device (for example, if the control target device is a video device, the region where the displayed video can be viewed is the effective region, and the control If the target device is a luminaire, the area illuminated by the luminaire becomes the effective area), and the control target device is controlled according to the user's emotion. When is controlled, the influence of the control of the control target device can be immediately reflected in the emotion of the user.
請求項3の発明の構成によれば、感情センサ手段の出力パターンから感情を分類する感情分類手段と制御内容記憶部と判断部と出力部とを宅内サーバに設け、感情センサ手段と制御対象機器とを宅内サーバに通信ネットワークを介して接続しているから、宅内サーバを宅内の1箇所に配置しながらも、感情センサ手段および制御対象機器を宅内の任意の場所に配置し、種々の制御対象機器を宅内サーバによって集中的に管理制御することが可能になる。 According to the configuration of the invention of claim 3, the emotion classification means for classifying the emotion from the output pattern of the emotion sensor means, the control content storage section, the judgment section and the output section are provided in the home server, and the emotion sensor means and the control target device Are connected to the in-house server via a communication network, and while the in-home server is arranged in one place in the house, the emotion sensor means and the control target device are arranged in any place in the house, and various control objects Devices can be centrally managed and controlled by a home server.
請求項4の発明の構成によれば、宅内サーバが制御対象機器を制御する制御情報を行動情報に用いており、宅内サーバがどの制御対象機器をどのように制御したかという制御情報を、利用者がどこで何をしているかの行動情報と読み替えて用いている。この構成を採用することにより、利用者の行動を検出するためのセンサなどを用いることなく、既存の制御対象機器の動作や制御の内容から利用者の行動を検出することができる。 According to the configuration of the invention of claim 4, the control information that the home server controls the control target device is used as the behavior information, and the control information that indicates which control target device is controlled by the home server is used. It is used interchangeably with action information of where and what the person is doing. By adopting this configuration, it is possible to detect the user's behavior from the operation of the existing control target device and the content of the control without using a sensor or the like for detecting the user's behavior.
請求項5の発明の構成によれば、利用者の行動を検出する行動センサ手段を設けているから、利用者の行動を正確に把握することができる。 According to the configuration of the invention of claim 5, since the behavior sensor means for detecting the user's behavior is provided, the user's behavior can be accurately grasped.
請求項6の発明の構成によれば、人数を計数することによって、利用者の行動を検出するための情報として利用することができる。たとえば、複数人が存在しているときと1人だけが存在している場合とで、利用者が談話したり食事をしたりしているのかなどを区別する際に付加的な情報として用いることができる。 According to the configuration of the invention of claim 6, by counting the number of people, it can be used as information for detecting the user's behavior. For example, it is used as additional information to distinguish whether there are multiple people or only one person, whether the user is talking or eating. Can do.
請求項7の発明の構成によれば、制御対象機器を制御した後に、その制御によって利用者が快適と感じたか不快と感じたかを判断し、不快と感じたときには制御対象機器の制御を従前の状態に戻して不快感を緩和することができる。 According to the configuration of the invention of claim 7, after controlling the control target device, it is determined whether the user feels comfortable or uncomfortable by the control, and when it feels uncomfortable, the control of the control target device is controlled. Returning to the state can alleviate discomfort.
請求項8の発明の構成によれば、感情を数値化して感情点数で表すことにより、制御の信頼性を高めることができる。また、前回の制御時の感情点数を用いるから、過去の制御内容を参考にして利用者にとってより快適になる制御が可能になる。 According to the configuration of the invention of claim 8, the reliability of control can be improved by digitizing emotions and expressing them as emotion scores. Further, since the emotion score at the time of the previous control is used, it becomes possible to perform control that is more comfortable for the user with reference to the past control content.
請求項9の発明の構成によれば、制御対象機器を制御する制御内容が抽出され、その制御内容が過去において利用者が不快と感じた制御内容であった場合に、利用者に制御内容を確認することで利用者に制御内容の可否を選択させるから、利用者にとってはより快適になる制御が可能になる。 According to the configuration of the invention of claim 9, when the control content for controlling the device to be controlled is extracted, and the control content is control content that the user has felt uncomfortable in the past, the control content is given to the user. By confirming, the user is allowed to select whether or not the control content is permitted, so that the user can perform more comfortable control.
請求項10の発明の構成によれば、制御内容記憶部に格納された制御内容から新たな制御内容を生成して利用者に提示し、提示した制御内容の適否を利用者に選択させるとともに、利用者が適正と判断した応答があれば、その制御内容を用いて制御対象機器を制御するから、利用者の要求を取り入れることができ、利用者にとってより快適になる制御が可能になる。 According to the configuration of the invention of claim 10, new control content is generated from the control content stored in the control content storage unit and presented to the user, the user is allowed to select whether the presented control content is appropriate, If there is a response that the user has determined to be appropriate, the control target device is controlled using the control content, so that the user's request can be taken in and control that is more comfortable for the user is possible.
本実施形態は、図2に示すように、住宅Mに配置した複数種類の制御対象機器Ldを通信ネットワークである宅内ネットNTに接続し、コンピュータサーバである宅内サーバSvから宅内ネットNTを通して制御対象機器Ldを制御する構成を採用している。宅内ネットNTには、有線あるいは無線の伝送路を持つLANの技術や電力線搬送通信の技術を用いる。 In the present embodiment, as shown in FIG. 2, a plurality of types of control target devices Ld arranged in a house M are connected to a home network NT that is a communication network, and a control target is transmitted from the home server Sv that is a computer server through the home network NT. A configuration for controlling the device Ld is employed. The home network NT uses LAN technology having a wired or wireless transmission path and power line carrier communication technology.
制御対象機器Ldは、その動作によって利用者の気分に影響する機器類であり、照明機器、AV機器、空調機器、電動ブラインドなどがある。 The control target device Ld is a device that affects the mood of the user by its operation, and includes a lighting device, an AV device, an air conditioning device, an electric blind, and the like.
たとえば、照明機器であれば、明るさ、色味、照明の位置(天井照明、壁照明など)、配光(直接照明、間接照明など)などの違いによって、利用者は神経が弛緩したり緊張したりすることになる。また、AV機器であれば内容・種類、音量、輝度などの違い、空調機器であれば温度や湿度の違いが利用者の感情に影響する。AV機器における内容とは、音楽、語学学習のプログラム、ニュースなどを意味し、種類とは、音楽であれば、クラシックかジャズかポップスか環境音楽かなどを意味する。 For example, in the case of lighting equipment, the user relaxes or becomes nervous due to differences in brightness, color, lighting position (ceiling lighting, wall lighting, etc.), and light distribution (direct lighting, indirect lighting, etc.). Will do. In addition, differences in content / type, volume, brightness, etc., for AV equipment, and differences in temperature and humidity, for air conditioning equipment, affect user emotions. The content in the AV device means music, a language learning program, news, and the like. If the type is music, it means classic, jazz, pop or environmental music.
宅内サーバSvには、宅内ネットNTを介して制御対象機器Ldではない機器を接続してもよく、冷蔵庫や洗濯機のような機器を宅内ネットNTに接続することにより、それらの機器の使用状態を宅内サーバSvが管理したり、宅内サーバSvを介してそれらの機器の遠隔監視制御を行うことが可能である。 Devices that are not controlled devices Ld may be connected to the in-home server Sv via the in-home network NT. By connecting devices such as refrigerators and washing machines to the in-home network NT, the usage state of these devices Can be managed by the in-home server Sv, and remote monitoring control of these devices can be performed via the in-home server Sv.
宅内ネットNTには、行動センサ手段Smと感情センサ手段Seも接続される。行動センサ手段Smには、種々の構成を採用することが可能であるが、ここでは、住宅Mの中の複数箇所に設置された人感センサ、利用者の身体を撮影するTVカメラ、制御対象機器Ldに指示を与える操作部などを含む位置センサを想定する。人感センサ、TVカメラを行動センサ手段Smとして用いるときに、人感センサ、TVカメラ、制御対象機器Ldを設置している位置の情報を宅内サーバSvに登録しておくことにより、利用者の存在する位置(部屋など)を知ることができるから、人感センサ、TVカメラ、制御対象機器Ldの操作部は位置センサとして機能する。行動センサ手段Smの出力は、出力時刻や制御対象機器Ldの操作部の操作量なども含まれる。 The home net NT is also connected with behavior sensor means Sm and emotion sensor means Se. Although various configurations can be adopted for the behavior sensor means Sm, here, human sensors installed at a plurality of locations in the house M, TV cameras for photographing the user's body, control targets Assume a position sensor including an operation unit that gives an instruction to the device Ld. When the human sensor or TV camera is used as the behavior sensor means Sm, by registering information on the location where the human sensor, TV camera, and control target device Ld are installed in the in-home server Sv, the user's Since an existing position (such as a room) can be known, the operation unit of the human sensor, the TV camera, and the control target device Ld functions as a position sensor. The output of the behavior sensor means Sm includes the output time, the operation amount of the operation unit of the control target device Ld, and the like.
感情センサ手段Seには、利用者の音声が入力されるマイクロホン、利用者の顔を撮影するTVカメラ、利用者の体温を検出するサーモカメラなどを想定する。感情センサ手段Seは、住宅Mの中であって各制御対象機器Ldの動作による有効領域が及ぶ範囲に設けられる。また、利用者が装着することを許容する場合には、頭部に装着する脳波センサを感情センサ手段Seに用いてもよい。 The emotion sensor means Se is assumed to be a microphone to which the user's voice is input, a TV camera that captures the user's face, a thermo camera that detects the user's body temperature, and the like. The emotion sensor means Se is provided in the house M in a range that covers the effective area due to the operation of each control target device Ld. When the user is allowed to wear it, an electroencephalogram sensor worn on the head may be used as the emotion sensor means Se.
制御対象機器Ldの動作による影響が及ぶ有効領域とは、制御対象機器Ldが照明機器であれば照明される領域であり、制御対象機器LdがAV機器であれば音を聞いたり映像を見たりすることができる領域であり、制御対象機器Ldが空調機器であれば温度や湿度が調節される領域になる。有効領域は住宅M内の1つの部屋に対応することが多いが、複数の部屋に跨る場合や、部屋以外の場所である場合もある。 The effective region affected by the operation of the control target device Ld is a region that is illuminated if the control target device Ld is a lighting device, and if the control target device Ld is an AV device, listening to sound or watching a video. If the control target device Ld is an air conditioner, the temperature and humidity are adjusted. The effective area often corresponds to one room in the house M, but it may extend over a plurality of rooms or be a place other than a room.
また、利用者の行動および感情により制御される制御対象機器Ldは、当該制御対象機器Ldの有効領域内に利用者が存在していなくてもよい。たとえば、制御対象機器Ldを浴槽に給湯する給湯器とし、利用者がリビングにいるときの感情および行動により給湯する湯温を調節するようにしてもよい。 Further, the control target device Ld controlled by the user's behavior and emotion does not have to be present in the effective area of the control target device Ld. For example, the control target device Ld may be a water heater that supplies hot water to a bathtub, and the temperature of the hot water supplied may be adjusted according to emotions and actions when the user is in the living room.
宅内サーバSvには、図1に示すように、感情センサ手段Seの出力パターン(特徴量の分布や特徴量の時間変化のパターン)を用いて複数種類の感情のいずれかに分類する感情分類手段11が設けられる。つまり、感情センサ手段Seと感情分類手段11とにより感情推定部が構成される。 As shown in FIG. 1, the in-home server Sv includes an emotion classification means for classifying into one of a plurality of types of emotions using the output pattern of the emotion sensor means Se (feature quantity distribution or feature quantity temporal change pattern). 11 is provided. That is, an emotion estimation unit is configured by the emotion sensor means Se and the emotion classification means 11.
感情分類手段11は、感情センサ手段Seにマイクロホンを用いる場合は、音韻情報からキーワード(感情を表す語彙)を抽出し韻律情報(プロソディ情報)を加味して感情を分類する。また、顔を撮像するTVカメラを用いる場合には、顔認識技術により顔の表情(各部位の位置関係および履歴)から感情を分類する。あるいはまた、サーモカメラを用いる場合には、体温の変化と変化した部位とから感情を分類し、脳波センサで検出される脳波の種類から感情を分類する。 When a microphone is used as the emotion sensor means Se, the emotion classification means 11 classifies emotions by extracting a keyword (vocabulary representing emotion) from phonological information and adding prosodic information (prosody information). When a TV camera that captures a face is used, emotions are classified based on facial expressions (positional relationships and history of each part) using face recognition technology. Alternatively, when a thermo camera is used, emotions are classified based on changes in body temperature and changed parts, and emotions are classified based on the type of electroencephalogram detected by the electroencephalogram sensor.
本実施形態では、感情センサ手段Seとしてマイクロホンを用いる場合を例示してあり、感情分類手段11には、マイクロホンの出力から音韻情報を抽出し、あらかじめ辞書登録されたキーワードと照合するキーワード抽出部11aと、マイクロホンの出力から韻律情報を抽出する韻律情報抽出部11bと、キーワード抽出部11aにより抽出したキーワードおよび韻律情報抽出部11bにより抽出した韻律情報とを組み合わせることにより感情を分類する分類部11cとを備える。
In the present embodiment, the case where a microphone is used as the emotion sensor means Se is illustrated, and the emotion classification means 11 extracts phonological information from the output of the microphone and matches a keyword registered in the dictionary in advance with a
キーワード抽出部11aにおいて、各キーワードに感情に関係する属性(喜怒哀楽など)を付与しておき、その属性と韻律情報とを分類部11cに入力すれば、分類部11cにおいてあらかじめ設定された感情のいずれかに分類することができる。分類部11cには、たとえばニューロコンピュータを用いることができる。
In the
ニューロコンピュータは、教師信号付きのものと、教師信号を持たない競合学習型のものとのどちらでも用いることが可能であるが、本実施形態の構成に用いる場合には、競合学習型のものでは学習データの生成がやや面倒であるから、教師信号付きのほうが望ましい。本実施形態では、分類部11cで分類される感情を、快適(満足)・不快(不満足)・普通の3分類にしてある。
The neurocomputer can be used with either a computer with a teacher signal or a competitive learning type without a teacher signal. Since the generation of learning data is somewhat troublesome, it is preferable to have a teacher signal. In this embodiment, the emotions classified by the
行動センサ手段Smの検出出力は、行動判定手段12に入力され利用者の行動が判定される。利用者の行動は、感情と同様に複数種類のカテゴリに分類される。行動は、意味付けされた一連の動作の全体を意味している。したがって、食事、入浴、洗面、就寝などは、それぞれ行動になる。また、寝室→トイレ→玄関→リビングという経路で移動する動作も行動になる。さらに、利用者が居る場所、時間帯、利用者の姿勢、制御対象機器Ldの動作(あるいは宅内サーバSvから制御対象機器Ldへの制御情報)の少なくとも一つの情報を行動情報に用いる場合もある。
The detection output of the behavior sensor unit Sm is input to the
たとえば、場所が台所であり、時間帯が午後4時〜午後6時であれば料理中という行動と判断でき、場所がリビングであり、姿勢は横になるか座っている状態で動かず、テレビが点いていると、リビングでテレビを見ているという行動と判断することができる。 For example, if the place is in the kitchen and the time zone is between 4 pm and 6 pm, it can be determined that the action is cooking, the place is in the living room, the posture is lying down or sitting, and the TV If it is lit, it can be judged as an action of watching TV in the living room.
行動判定手段12は、行動センサ手段Smから得られた行動情報、または制御対象機器Ldに与えた制御情報を行動情報とし、行動情報から上述のように行動を分類して判定する。つまり、行動センサSmと行動判定手段12とにより行動検出部が構成される。行動の判定には、移動経路を判断する場合もあるから、単位期間内の行動履歴を記憶して行動の種類を判定する機能を行動判定手段12に設けてもよい。この場合、単位期間(一定時間)ごとの行動履歴が記憶可能になるように行動判定手段12に設けた行動履歴記憶手段12aの記憶領域を確保しておき、単位期間における行動情報と行動情報の発生時刻との組を行動履歴して登録すればよい。
The
感情分類手段11で推定された感情と行動判定手段12により判定された行動とは判断部13に入力され、感情と行動との組合せが、各制御対象機器Ldの制御内容に関係付けて記憶してある制御内容記憶部14の記憶内容と判断部13において照合される。つまり、制御内容記憶部14では、表1に示すように、感情分類手段11で分類される感情と、行動判定手段12により判定される行動との組を、あらかじめ各制御対象機機Ldの制御内容に関係付けてあり、感情分類手段11で利用者の感情が推定され、行動判定手段12で利用者の行動が検出されると、感情と行動との組合せが判断部13により制御内容記憶部14と照合される。この照合結果として、判断部13では制御内容を取得するから、出力部15に制御内容を与え、制御内容に対応する各制御対象機器Ldへの制御信号を生成する。
The emotion estimated by the
制御対象機器Ldは、その有効領域内において、感情分類手段11により感情の分類がなされた利用者が存在する有効領域内に存在する場合に、出力部15から制御信号が与えられる。表1の例において、テレビ画面に表示する映像はテレビ番組であってもよいが、あらかじめ宅内サーバSvに蓄積されている映像であってもよい。また、宅内サーバSvをインターネットのような広域通信網と接続しているときには、オンデマンドで映像データを取得してもよい。音楽についても同様である。表1の例では、制御対象機器Ldとして、AV機器(テレビおよびオーディオ機器)と照明機器(ヒーリングライト)とを用いている。
The control target device Ld is given a control signal from the
上述の構成により、行動と感情との組合せから各制御対象機器Ldに対して的確な制御信号を与えることができ、利用者が何らかの操作を行うことなく制御対象機器Ldを自動的かつ的確に作動させることが可能になる。 With the above-described configuration, an accurate control signal can be given to each control target device Ld from a combination of action and emotion, and the control target device Ld is automatically and accurately operated without any operation by the user. It becomes possible to make it.
ところで、行動判定手段12において用いる行動情報には、上述したように、制御対象機器Ldを制御する際に宅内サーバSvから送信する制御情報を用いることもできる。表1の例ではテレビを見ているという行動があり、これはテレビを点けているという情報と等しく、つまりは、宅内サーバSvからの制御信号によりテレビを点けた、あるいは利用者がテレビを点けたことを宅内サーバSvが認識しているということである。
By the way, as described above, the control information transmitted from the home server Sv when controlling the control target device Ld can be used as the behavior information used in the
言い換えると、制御対象機器Ldを制御する制御情報は、利用者がどこで何をしているかを示す行動情報として読み替えて用いることができる。あるいは、行動センサ手段Smの個数を削減することができる。しかも、既存の制御対象機器Ldの動作や制御の内容から利用者の行動を検出することができる。このように制御情報を行動情報として用いることにより、人感センサやTVカメラのような行動センサ手段Smを用いずに行動を検出することが可能になる。 In other words, the control information for controlling the control target device Ld can be read and used as behavior information indicating where and what the user is doing. Alternatively, the number of behavior sensor means Sm can be reduced. In addition, the user's behavior can be detected from the operation of the existing control target device Ld and the content of the control. By using the control information as the behavior information in this way, it becomes possible to detect the behavior without using the behavior sensor means Sm such as a human sensor or a TV camera.
ところで、行動履歴を行動履歴記憶手段12aに記憶している場合には、行動情報と行動情報の発生時刻と判定した行動との組を行動イベントとし、新たな行動情報が発生したときに行動履歴記憶手段12aに記憶した過去の行動イベントを参照して利用者の行動を判定することが可能である。行動履歴から行動を判定する場合、行動を行っている時間帯を考慮して、現在の行動を判断することができるから、行動をより正確に検出することができる。
By the way, when the action history is stored in the action
上述の例では行動センサ手段Smにより1人の利用者の行動を検出する場合を想定しているが、行動センサ手段SmにTVカメラのような撮像装置を用いる場合には、コンピュータ画像処理によって利用者の人数を知ることが可能であるから、人数を行動情報に含めてもよい。この場合、コンピュータ画像処理を行う演算処理装置(コンピュータ)は宅内サーバSvに設けておき、この演算処理装置が人数を計数する人数検出手段として機能する。 In the above-mentioned example, it is assumed that the behavior of one user is detected by the behavior sensor means Sm. However, when an imaging device such as a TV camera is used for the behavior sensor means Sm, it is used by computer image processing. Since the number of persons can be known, the number of persons may be included in the behavior information. In this case, an arithmetic processing device (computer) that performs computer image processing is provided in the home server Sv, and this arithmetic processing device functions as a number detection means for counting the number of people.
人数を計数すれば、たとえば、リビングに1人で居る場合であって感情が快適と推定されるときには、語学学習のプログラムのような教育的映像をテレビに表示し、リビングに複数人が居る場合であって感情が快適と推定されるときにはテレビに映画を表示するなどの選択が可能になる。あるいはまた、複数人が存在しているか1人だけが存在しているかの行動情報を、行動情報としての時間帯と組み合わせると、利用者が談話しているか食事をしたりしているのかなどを推定する情報に用いることができる。 If you count the number of people, for example, if you are alone in the living room and your emotions are estimated to be comfortable, an educational video like a language learning program is displayed on the TV, and there are multiple people in your living room When the emotion is estimated to be comfortable, the user can select to display a movie on the television. Or, if you combine the action information of whether there are multiple people or only one person with the time zone as the action information, whether the user is talking or eating It can be used for information to be estimated.
なお、複数人が存在するときには、個々の利用者の感情を評価して合意形成を行う。合意形成には、もっとも単純には感情の変化方向について快適方向と不快方向とのどちらが多いかを多数決で評価すればよい。あるいはまた、各利用者の感情を点数化するとともに利用者に重み付けを行い、重み付き加算の結果を評価することにより合意形成してもよい。この場合には、顔認識技術などを用いて利用者を個別に認識する必要がある。 In addition, when there are a plurality of people, the emotions of individual users are evaluated and consensus is formed. For consensus building, the simplest is to evaluate by majority vote whether the direction of emotion changes is more comfortable or uncomfortable. Alternatively, consensus may be formed by scoring each user's emotion and weighting the user, and evaluating the result of the weighted addition. In this case, it is necessary to individually recognize the user using a face recognition technique or the like.
感情を推定し行動を検知することにより判断部13が取得した制御内容は、制御内容記憶部14にあらかじめ設定された情報であり、その制御を行っても必ずしも利用者が満足するわけではない。もちろん、語学学習のプログラムをテレビに表示するなど、制御内容によっては、利用者が望むか望まないかにかかわらず、強制性をもたせる必要がある制御内容もあるが、多くの場合、利用者の満足しない制御内容が選択されることは不都合である。
The control content acquired by the
判断部13から出力された制御内容が利用者を満足させたか否かを評価するには、制御対象機器Ldの制御前後での利用者の感情の変化を評価すればよい。そのため、宅内サーバSvの動作に、判断部13により抽出した制御内容を制御対象機器Ldに指示する制御期間と、制御対象機器Ldが制御された後の利用者の感情を感情推定部(感情センサ手段Seと感情分水手段11)で推定し感情の変化方向を判断する評価期間とを設ける。
In order to evaluate whether or not the control content output from the
宅内サーバSvには、制御期間において推定された感情を記憶するとともに、評価期間において推定された感情と比較する制御評価部16が設けられており、制御評価部16では、制御期間から評価期間への感情の変化方向が不快方向であるときには、制御期間において指示した制御内容を解除して従前の状態に戻す。たとえば、制御対象機器Ldである空調機器を停止から運転への移行の制御内容が制御期間に選択され評価期間では不快方向と判断されたときに、空調機器を停止させるという制御を行う。
The home server Sv is provided with a
このような動作により、自動的に選択した制御内容によって利用者の感情が不快に変化したときには従前の状態に戻すことができ、利用者が不快に感じないように制御対象機器Ldを制御することが可能になる。なお、制御期間において利用者の感情が快適であったのに対して、評価期間において利用者の感情が普通に変化した場合も変化方向は不快方向であるが、この場合は不快方向とはみなさない。 By such an operation, when the user's emotion changes unpleasantly according to the automatically selected control content, it is possible to return to the previous state and to control the control target device Ld so that the user does not feel uncomfortable. Is possible. Although the user's emotions were comfortable during the control period, the direction of change was also an uncomfortable direction when the user's emotions changed normally during the evaluation period. Absent.
感情の変化方向が快適方向か不快方向かを感情点数として点数化し、感情点数に応じて制御対象機器Ldへの指示を変更してもよい。この場合、制御評価部16では、評価期間において判断された感情の変化方向が快適方向であるときに規定点数(たとえば、1点)を加算し、感情の変化方向が不快方向であるときに規定点数(たとえば、1点)を減算することによって感情点数を求め、判断部13が選択した制御内容に関係付けて点数記憶部17に記憶しておく。出力部15では、判断部13が新たな制御内容を抽出したときにその制御内容に対して点数記憶部17に記憶されている感情点数が所定点数以下(たとえば、負数)であるときには、その制御内容に応じた制御信号を制御対象機器Ldに出力しないようにする。この動作では、前回の制御時の感情点数を用いることになるから、過去の制御内容を参考にして利用者にとってより快適になる制御が可能になる。
The emotion change direction may be scored as an emotion score depending on whether the emotion change direction is a comfortable direction or an uncomfortable direction, and the instruction to the control target device Ld may be changed according to the emotion score. In this case, the
上述の動作例では、感情点数が所定点数以下であるときに制御対象機器Ldへの制御信号を出力しないようにしているが、確認手段(表示器と操作部との組合せをマンマシンインターフェイスに持つ)18を設けておき、感情点数が所定点数以下であるときには、確認手段18によって、制御内容を利用者に提示するとともに制御内容の適否を利用者に選択させるようにしてもよい。利用者に制御内容を確認することで利用者に制御内容の可否を選択させるから、利用者にとってはより快適になる制御が可能になる。 In the above operation example, the control signal to the control target device Ld is not output when the emotion score is equal to or less than the predetermined score, but the confirmation means (a combination of the display and the operation unit is provided in the man-machine interface). ) 18 is provided, and when the emotion score is equal to or less than a predetermined score, the confirmation means 18 may present the control content to the user and allow the user to select whether the control content is appropriate. By making the user confirm the control content, the user can select whether or not the control content is permitted, so that the user can perform more comfortable control.
さらに、確認手段18には、感情点数が所定点数以下であるときに、制御内容記憶部14から選択した制御内容に修正を加えて新たな制御内容を生成し、新たに生成した制御内容を利用者に提示する機能を持たせてもよい。この場合、確認手段18で新たに生成した制御内容の適否を利用者に選択させ、提示した制御内容を承諾する(つまり、制御内容が適正であると認める)選択がなされたときに、制御内容に応じた制御信号を制御対象機器Ldに出力するようにしてもよい。この動作では、利用者の要求を取り入れることができ、利用者にとってより快適になる制御が可能になる。
Further, when the emotion score is equal to or lower than the predetermined score, the confirmation means 18 modifies the control content selected from the control
11 感情分類手段(感情推定部)
12 行動判定手段(行動判定部)
12a 行動履歴記憶手段
13 判断部
14 制御内容記憶部
15 出力部
17 点数記憶部
18 確認手段
M 住宅
NT 通信ネットワーク
Ld 制御対象機器
Se 感情センサ手段(感情推定部)
Sm 行動センサ手段(行動判定部)
Sv 宅内サーバ
11 Emotion classification means (Emotion estimation unit)
12 Behavior determination means (Behavior determination unit)
12a Action history storage means 13
Sm Behavior sensor means (behavior determination unit)
Sv home server
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007256397A JP2009087074A (en) | 2007-09-28 | 2007-09-28 | Equipment control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007256397A JP2009087074A (en) | 2007-09-28 | 2007-09-28 | Equipment control system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009087074A true JP2009087074A (en) | 2009-04-23 |
Family
ID=40660406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007256397A Pending JP2009087074A (en) | 2007-09-28 | 2007-09-28 | Equipment control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009087074A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015079669A1 (en) * | 2013-11-26 | 2015-06-04 | 株式会社デンソー | Control device, control method, and program |
JP2016109897A (en) * | 2014-12-08 | 2016-06-20 | シャープ株式会社 | Electronic equipment, speech production control method and program |
JP2016149078A (en) * | 2015-02-13 | 2016-08-18 | 日本電信電話株式会社 | Equipment control device, method, and program |
JP2017027614A (en) * | 2016-10-05 | 2017-02-02 | ヤフー株式会社 | Model generation device, model generation method, and model generation program |
WO2017175447A1 (en) * | 2016-04-05 | 2017-10-12 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
WO2017195440A1 (en) * | 2016-05-12 | 2017-11-16 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2018194810A (en) * | 2017-05-15 | 2018-12-06 | ネイバー コーポレーションNAVER Corporation | Device controlling method and electronic apparatus |
JP2019536150A (en) * | 2016-11-10 | 2019-12-12 | ワーナー・ブラザース・エンターテイメント・インコーポレイテッドWarner Bros. Entertainment Inc. | Social robot with environmental control function |
JP2020154645A (en) * | 2019-03-19 | 2020-09-24 | ユニ・チャーム株式会社 | Program, content display method, and computer |
WO2021261126A1 (en) * | 2020-06-24 | 2021-12-30 | オムロン株式会社 | Emotion determination device and emotion determination method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH087188A (en) * | 1994-06-22 | 1996-01-12 | Tokyo Gas Co Ltd | Human activity monitoring auxiliary device |
JPH0875216A (en) * | 1994-08-31 | 1996-03-19 | Sharp Corp | Human body detecting method of air-conditioning machine |
JP2006006355A (en) * | 2004-06-22 | 2006-01-12 | Sony Corp | Processor for biological information and video and sound reproducing device |
JP2006338476A (en) * | 2005-06-03 | 2006-12-14 | Casio Comput Co Ltd | Supporting apparatus for improving comfort, and program |
-
2007
- 2007-09-28 JP JP2007256397A patent/JP2009087074A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH087188A (en) * | 1994-06-22 | 1996-01-12 | Tokyo Gas Co Ltd | Human activity monitoring auxiliary device |
JPH0875216A (en) * | 1994-08-31 | 1996-03-19 | Sharp Corp | Human body detecting method of air-conditioning machine |
JP2006006355A (en) * | 2004-06-22 | 2006-01-12 | Sony Corp | Processor for biological information and video and sound reproducing device |
JP2006338476A (en) * | 2005-06-03 | 2006-12-14 | Casio Comput Co Ltd | Supporting apparatus for improving comfort, and program |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015102728A (en) * | 2013-11-26 | 2015-06-04 | 株式会社デンソーアイティーラボラトリ | Control device, control method, and program |
WO2015079669A1 (en) * | 2013-11-26 | 2015-06-04 | 株式会社デンソー | Control device, control method, and program |
JP2016109897A (en) * | 2014-12-08 | 2016-06-20 | シャープ株式会社 | Electronic equipment, speech production control method and program |
JP2016149078A (en) * | 2015-02-13 | 2016-08-18 | 日本電信電話株式会社 | Equipment control device, method, and program |
WO2017175447A1 (en) * | 2016-04-05 | 2017-10-12 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
JP7031578B2 (en) | 2016-05-12 | 2022-03-08 | ソニーグループ株式会社 | Information processing equipment, information processing methods and programs |
WO2017195440A1 (en) * | 2016-05-12 | 2017-11-16 | ソニー株式会社 | Information processing device, information processing method, and program |
JPWO2017195440A1 (en) * | 2016-05-12 | 2019-03-07 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
US11340565B2 (en) | 2016-05-12 | 2022-05-24 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2017027614A (en) * | 2016-10-05 | 2017-02-02 | ヤフー株式会社 | Model generation device, model generation method, and model generation program |
JP2019536150A (en) * | 2016-11-10 | 2019-12-12 | ワーナー・ブラザース・エンターテイメント・インコーポレイテッドWarner Bros. Entertainment Inc. | Social robot with environmental control function |
JP7351745B2 (en) | 2016-11-10 | 2023-09-27 | ワーナー・ブラザース・エンターテイメント・インコーポレイテッド | Social robot with environmental control function |
US12011822B2 (en) | 2016-11-10 | 2024-06-18 | Warner Bros. Entertainment Inc. | Social robot with environmental control feature |
JP2018194810A (en) * | 2017-05-15 | 2018-12-06 | ネイバー コーポレーションNAVER Corporation | Device controlling method and electronic apparatus |
JP2020154645A (en) * | 2019-03-19 | 2020-09-24 | ユニ・チャーム株式会社 | Program, content display method, and computer |
JP7125908B2 (en) | 2019-03-19 | 2022-08-25 | ユニ・チャーム株式会社 | Program, content display method, and computer |
WO2021261126A1 (en) * | 2020-06-24 | 2021-12-30 | オムロン株式会社 | Emotion determination device and emotion determination method |
JP7571399B2 (en) | 2020-06-24 | 2024-10-23 | オムロン株式会社 | Emotion Determination Device and Emotion Determination Method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009087074A (en) | Equipment control system | |
US10224060B2 (en) | Interactive home-appliance system, server device, interactive home appliance, method for allowing home-appliance system to interact, and nonvolatile computer-readable data recording medium encoded with program for allowing computer to implement the method | |
JP6669073B2 (en) | Information processing apparatus, control method, and program | |
TW494308B (en) | Control method | |
KR101978743B1 (en) | Display device, remote controlling device for controlling the display device and method for controlling a display device, server and remote controlling device | |
US20170214962A1 (en) | Information processing apparatus, information processing method, and program | |
WO2019188791A1 (en) | Aroma releasing system | |
US8341109B2 (en) | Method and system using a processor for reasoning optimized service of ubiquitous system using context information and emotion awareness | |
JP2005284492A (en) | Operating device using voice | |
US20190278310A1 (en) | Device, system and method for assessing and improving comfort, health and productivity | |
JP2010091228A (en) | Air conditioner | |
WO2017141530A1 (en) | Information processing device, information processing method and program | |
CN104991464B (en) | A kind of information processing method and control system | |
CN110443988B (en) | Interlayer neighbor data processing device and method for preventing interlayer noise dispute | |
EP3633643B1 (en) | Drowsiness estimating device, awakening-induction control device, and awakening induction system | |
TW202044058A (en) | System and method to view occupant status and manage devices of building | |
JP6559079B2 (en) | Interactive home appliance system and method performed by a computer to output a message based on interaction with a speaker | |
CN109164713A (en) | Intelligent household control method and device | |
CN112074804B (en) | Information processing system, information processing method, and recording medium | |
KR20080006981A (en) | System and method for offering intelligent home service | |
US11687049B2 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
US11657821B2 (en) | Information processing apparatus, information processing system, and information processing method to execute voice response corresponding to a situation of a user | |
JP2018173763A (en) | Behavior support system, and behavior support method | |
KR102519599B1 (en) | Multimodal based interaction robot, and control method for the same | |
WO2023149031A1 (en) | Information notification method, information notification device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100419 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120710 |