JP6149230B2 - Life support device for people with cerebral dysfunction - Google Patents
Life support device for people with cerebral dysfunction Download PDFInfo
- Publication number
- JP6149230B2 JP6149230B2 JP2014171358A JP2014171358A JP6149230B2 JP 6149230 B2 JP6149230 B2 JP 6149230B2 JP 2014171358 A JP2014171358 A JP 2014171358A JP 2014171358 A JP2014171358 A JP 2014171358A JP 6149230 B2 JP6149230 B2 JP 6149230B2
- Authority
- JP
- Japan
- Prior art keywords
- face image
- unit
- animal
- image data
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 208000012902 Nervous system disease Diseases 0.000 title claims description 53
- 241001465754 Metazoa Species 0.000 claims description 87
- 238000013500 data storage Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000013075 data extraction Methods 0.000 claims description 17
- 230000005978 brain dysfunction Effects 0.000 claims description 15
- 230000035945 sensitivity Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 230000003925 brain function Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 9
- 230000008921 facial expression Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 5
- 230000000474 nursing effect Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/26—Devices for calling a subscriber
- H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
- H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Social Psychology (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Nursing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Psychology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
- Telephone Function (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、脳機能障害者生活支援装置に関する。さらに詳しくは、認知症患者などの脳機能障害を有する高齢者(以下、単に脳機能障害高齢者という)に家族と電話を介して会話を楽しませるなどして日常生活を支援する脳機能障害者生活支援装置に関する。 The present invention relates to a life support apparatus for persons with cerebral dysfunction. More specifically, persons with cerebral dysfunction who support daily life by having a senior citizen with a brain dysfunction such as a patient with dementia (hereinafter simply referred to as `` cerebral dysfunction elderly '') enjoy conversation with the family via telephone. The present invention relates to a life support device.
従来より、脳機能障害高齢者の治療の一環として回想法が取り入れられている。この回想法においては、話相手はその高齢者の人生における思い出を共感的な態度で聞くことが必要とされている。かかる脳機能障害高齢者と共感的な態度で話相手になれる相手としては、家族などの近親者が最も相応しい。 Traditionally, reminiscence has been adopted as part of the treatment of elderly people with cerebral dysfunction. In this recollection method, the talker is required to listen to the memories of the elderly in a sympathetic manner. Relatives such as family members are the most suitable as a partner who can talk with such elderly people with cerebral dysfunction.
しかしながら、核家族化が進展している現在、脳機能障害高齢者は、有料介護老人ホームなどの介護施設に入所しているのが一般的であるため、家族が常時、脳機能障害高齢者の話相手となるのは、事実上不可能である。 However, with the progress of nuclear family development, elderly people with cerebral dysfunction are generally in nursing homes such as paid nursing homes, so the family always stays with elderly people with cerebral dysfunction. It is virtually impossible to talk to someone.
かかる状況を改善しようとして、特許文献1には、遠隔対話支援装置および遠隔対話支援方法が提案されている。 In order to improve such a situation, Patent Document 1 proposes a remote dialogue support apparatus and a remote dialogue support method.
しかしながら、特許文献1の提案にかかるものにあっては、設備が複雑であるため、手軽に扱えないという問題がある。 However, the device according to the proposal of Patent Document 1 has a problem that it cannot be easily handled because the equipment is complicated.
本発明はかかる従来技術の課題に鑑みなされたものであって、有料介護老人ホームなどの介護施設で手軽に扱えて脳機能障害者の生活を支援する脳機能障害者生活支援装置を提供することを目的としている。 The present invention has been made in view of the problems of the prior art, and provides a life support apparatus for persons with cerebral dysfunction that can be easily handled in a nursing facility such as a pay nursing home for the elderly and support the life of persons with cerebral dysfunction. It is an object.
本発明の脳機能障害者生活支援装置は、通話機能を有するタブレット端末にモーションポートレート画像を作成するモーションポートレート画像作成手段を構築してなる脳機能障害者の生活を支援する回想法が適用可能な脳機能障害者生活支援装置であって、
前記モーションポートレート画像作成手段は、電話番号格納部と、近親者特定部と、二次元顔画像データ格納部と、二次元顔画像データ抽出部と、想定対話時音声データ格納部と、想定対話時音声データ選択部と、画像演算部と、顔画像蓄積部と、顔画像出力部とを有し、
前記電話番号格納部は、脳機能障害者の近親者の電話番号を格納するものとされ、
前記近親者特定部は、受信した電話番号から当該近親者を特定するものとされ、
前記二次元顔画像データ格納部は、近親者の顔の二次元顔画像データを格納するものとされ、
前記二次元顔画像データ抽出部は、前記近親者特定部が特定した近親者の二次元顔画像データを抽出するものとされ、
前記想定対話時音声データ格納部は、前記脳機能障害者と電話で対話する可能性のある近親者について事前に作成された想定対話時の音声データを当該近親者名およびキーワードを付して格納するものとされ、
前記想定対話時音声データ選択部は、前記近親者特定部が特定した近親者が話す最初の数フレーズからキーワードを抽出し、ついで前記抽出したキーワードに基づいて、前記特定された近親者の想定対話時音声データ群から前記キーワードにマッチした想定対話時音声データを選択するものとされ、
前記画像演算部は、前記想定対話時音声データ選択部が選択した想定対話時音声データに基づいて前記二次元顔画像データ抽出部が抽出した二次元顔画像データを演算処理してモーションポートレート顔画像を逐次作成するものとされ、
前記顔画像蓄積部は、前記画像演算部により作成されたモーションポートレート顔画像を逐次蓄積するものとされ、
前記顔画像出力部は、前記顔画像蓄積部に蓄積された顔画像を通話時に想定対話時音声データが音声として出力されると想定されるタイミングにマッチさせて表示入力部に逐次出力するものとされ、
前記表示入力部は、入力された顔画像を順次表示するものとされてなる
ことを特徴とする。
The life support apparatus for persons with cerebral dysfunction according to the present invention is applied to the reminiscence method for supporting the life of persons with cerebral dysfunction by constructing a motion portrait image creating means for creating a motion portrait image on a tablet terminal having a call function. A cerebral dysfunction life support device,
The motion portrait image creating means includes a telephone number storage unit, a close relative specifying unit, a two-dimensional face image data storage unit, a two-dimensional face image data extraction unit, an assumed dialogue voice data storage unit, and an assumed dialogue A time audio data selection unit, an image calculation unit, a face image storage unit, and a face image output unit,
The telephone number storage unit is configured to store a telephone number of a close relative of a person with a brain dysfunction,
The close relative specifying unit is to specify the close relative from the received telephone number,
The two-dimensional face image data storage unit is configured to store two-dimensional face image data of a close relative's face,
The two-dimensional face image data extraction unit extracts the two-dimensional face image data of the close relative specified by the close relative specifying unit,
The assumed dialogue voice data storage unit stores the assumed dialogue voice data created in advance for a close relative who may have a conversation with the person with cerebral dysfunction by telephone with the name of the relative and a keyword. Is supposed to
The assumed dialogue voice data selection unit extracts a keyword from the first few phrases spoken by the close relative specified by the close relative specifying unit, and then, based on the extracted keyword, the specified close relative assumed interaction It is assumed that voice data at the time of assumed dialogue that matches the keyword is selected from the time voice data group,
The image computing unit computes the two-dimensional face image data extracted by the two-dimensional face image data extraction unit based on the assumed dialogue voice data selected by the assumed dialogue voice data selection unit, and performs a motion portrait face It is supposed to create images sequentially,
The face image storage unit sequentially stores the motion portrait face images created by the image calculation unit,
The face image output unit sequentially outputs the face image stored in the face image storage unit to the display input unit so as to match the timing when the assumed dialogue voice data is output as voice during a call. And
The display input unit is configured to sequentially display input face images .
本発明の脳機能障害者生活支援装置においては、モーションポートレート画像作成手段は、実対話時音声データ格納部を付加して有し、前記実対話時音声データ格納部は、通話相手の音声を選択的に録音し、ついで録音した音声に前記通話相手の近親者名および当該近親者が話す最初の数フレーズから抽出されたキーワードを付与して音声データとして格納するものとされ、前記モーションポートレート画像作成手段は、前記実対話時音声データ格納部が格納した音声データに基づいてモーションポートレート顔画像を作成するものとされてなるのが好ましい。 In the life support apparatus for persons with cerebral dysfunctions according to the present invention, the motion portrait image creating means has an actual voice data storage unit at the time of actual dialogue, and the voice data storage unit at the time of actual dialogue has the voice of the other party. The motion portrait is recorded by selectively recording , then adding the keyword extracted from the name of the caller's close relative and the first few phrases spoken by the close relative to the recorded sound, and storing it as audio data. image forming means, wherein the actual interaction time voice data storage unit, which are intended to create a motion portrait face image based on audio data stored are preferred.
また、本発明の脳機能障害者生活支援装置においては、作成したモーションポートレート顔画像を再生時に再生音声に同期させて表示入力部に表示するようにされてなるのが好ましい。 In the life support apparatus for persons with cerebral dysfunctions according to the present invention, it is preferable that the created motion portrait face image is displayed on the display input unit in synchronization with the reproduced voice during reproduction.
また、本発明の脳機能障害者生活支援装置においては、モーションポートレート画像作成手段は、バックグラウンドミュージック格納部を付加して有し、前記バックグラウンドミュージック格納部は、脳機能障害者が若い頃に好きだった音楽や歌を格納するものとされ、前記格納された音楽や歌は通話時にバックグラウンドミュージックとして出力されてなるのが好ましく、モーションポートレート画像作成手段は、 格納された音楽や歌の再生時にその音楽や歌に合わせてモーションポートレート顔画像を作成するものとされてなるのがさらに好ましい。 In the life support apparatus for persons with cerebral dysfunction according to the present invention, the motion portrait image creating means has a background music storage unit, and the background music storage unit is used when a person with cerebral dysfunction is young. It is intended to store the music and songs liked to, music the stored music and song background is output from becoming as music is rather preferably at the time of the call, motion portrait image creation means, which has been stored More preferably, a motion portrait face image is created in accordance with the music or song when the song is played.
また、本発明の脳機能障害者生活支援装置においては、モーションポートレート画像作成手段は、通話時における近親者の感性度合を自動的に判定する感性制御技術手段を付加して有し、前記モーションポートレート画像作成手段は、前記感性制御技術手段により判定された感性度合に基づいてモーションポートレート顔画像を修正するようにされてなるのが好ましい。 Further, in Brain Dysfunction life support system of the present invention, a motion portrait image creation means has been added automatically determining sensitivity control technology means the sensibility degree relatives during a call, the motion portrait image creation means, become been to modify the motion portrait face image based on the sensibility degree, which is determined by the sensitivity control technical means is preferred.
また、本発明の脳機能障害者生活支援装置においては、モーションポートレート画像作成手段は、動物顔画像作成手段とタッチパネル式表示入力部とを付加して有し、
前記動物顔画像作成手段は、動物顔画像加工指示部と、動物顔画像データ格納部と、動物顔画像データ抽出部と、動物顔画像演算部と、動物顔画像データ蓄積部と、動物顔画像出力部とを有し、
前記動物顔画像加工指示部は、前記タッチパネル式表示入力部に表示されている動物の顔へのタッチに応答して、前記タッチパネル式表示入力部に表示されている動物の顔画像の加工を指示するものとされ、
前記動物顔画像データ格納部は、前記タッチパネル式表示入力部に表示される動物の顔画像を識別番号を付与して格納するものとされ、
前記動物顔画像データ抽出部は、前記動物顔画像データ格納部に格納されている顔画像データから指定された顔画像データを抽出するものとされ、
前記動物顔画像演算部は、前記動物顔画像データ抽出部が抽出した動物の顔画像データに対し、予め規定されている複数の基本表情を任意の割合で混合するという画像処理して動物の顔のモーションポートレート画像を作成するものとされ、
前記動物顔画像データ蓄積部は、前記動物顔画像演算部が作成した動物の顔のモーションポートレート画像を逐次蓄積するものとされ、
前記動物顔画像出力部は、前記動物顔画像データ蓄積部に蓄積された動物の顔のモーションポートレート画像を適宜間隔で前記タッチパネル式表示入力部に出力するものとされてなるのが好ましい。
Further, in the cerebral dysfunction life support device of the present invention, the motion portrait image creation means includes an animal face image creation means and a touch panel display input unit,
The animal face image creation means includes an animal face image processing instruction section, an animal face image data storage section, an animal face image data extraction section, an animal face image calculation section, an animal face image data storage section, and an animal face image. An output unit,
The animal face image processing instruction unit instructs processing of the animal face image displayed on the touch panel display input unit in response to a touch on the animal face displayed on the touch panel display input unit. Is supposed to
The animal face image data storage unit stores an animal face image displayed on the touch panel display input unit with an identification number,
The animal face image data extraction unit extracts the specified face image data from the face image data stored in the animal face image data storage unit;
The animal face image calculation unit performs an image process of mixing a plurality of predefined basic facial expressions at an arbitrary ratio on the animal face image data extracted by the animal face image data extraction unit, and performs animal processing. To create a motion portrait image of
The animal face image data storage unit sequentially stores motion portrait images of animal faces created by the animal face image calculation unit,
Preferably, the animal face image output unit outputs the motion portrait images of the animal face accumulated in the animal face image data accumulation unit to the touch panel display input unit at appropriate intervals .
しかして、本発明の脳機能障害者生活支援装置は、例えばロボットに配設される。 Thus, the life support apparatus for persons with cerebral dysfunction according to the present invention is disposed, for example, in a robot.
その場合、ロボットが走行ロボットとされてなるのが好ましく、またロボットが接触式センサと、該センサからの接触信号に応答して動作する動作部を有してなるのも好ましい。 In that case, it is preferable that the robot is a traveling robot, and it is also preferable that the robot has a contact sensor and an operation unit that operates in response to a contact signal from the sensor.
また、ロボットが表示された動物の顔画像がタッチされると動作する可動体を有してなるのも好ましい。 It is also preferable to have a movable body that operates when the face image of the animal on which the robot is displayed is touched.
本発明は、前記の如く構成されているので、脳機能障害者のベッド上やベッド上のテーブルに載置することができ、脳機能障害者がベッドに居ながらにして近親者との対話を楽しむなどして生活の質を向上できるという優れた効果を奏する。 Since the present invention is configured as described above, it can be placed on a bed or a table on the bed of a person with cerebral dysfunction, and the person with cerebral dysfunction can interact with a close relative while staying in the bed. It has an excellent effect of improving the quality of life by having fun.
以下、添付図面を参照しながら本発明を実施形態に基づいて説明するが、本発明はかかる実施形態のみに限定されるものではない。 Hereinafter, although the present invention is explained based on an embodiment, referring to an accompanying drawing, the present invention is not limited only to this embodiment.
実施形態1
本発明の実施形態1に係る脳機能障害者生活支援装置(以下、単に支援装置という)を図1に概略図で示す。
Embodiment 1
A cerebral dysfunction life support device (hereinafter simply referred to as a support device) according to Embodiment 1 of the present invention is schematically shown in FIG.
支援装置LSは、図1に示すように、通話機能を有するタッチパネル式表示入力部(以下、単に表示入力部という)TPを備えたタブレット端末(以下、単に端末という)に、モーションポートレート画像を作成するモーションポートレート画像作成手段10を構築してなるものとされる。 As illustrated in FIG. 1, the support device LS displays a motion portrait image on a tablet terminal (hereinafter simply referred to as a terminal) having a touch panel display input unit (hereinafter simply referred to as a display input unit) TP having a call function. The motion portrait image creation means 10 to be created is constructed.
ここで、モーションポートレート画像とは、二次元画像データを演算処理して作成される擬似三次元画像をいう。より具体的には、幾つかの基本表情、例えば32の基本表情を任意の割合で混合することにより、様々な表情として作成された擬似三次元画像をいう。 Here, the motion portrait image refers to a pseudo 3D image created by processing 2D image data. More specifically, it refers to a pseudo three-dimensional image created as various facial expressions by mixing several basic facial expressions, for example, 32 basic facial expressions at an arbitrary ratio.
モーションポートレート画像作成手段10は、図2に示すように、脳機能障害高齢者の家族などの近親者(以下、近親者で代表する)の電話番号を格納する電話番号格納部11と、受信した電話番号から当該近親者を特定する近親者特定部12と、近親者の顔の二次元画像データを格納する二次元顔画像データ格納部13と、特定した近親者(以下、特定近親者という)の二次元顔画像データを抽出する二次元顔画像データ抽出部14と、想定対話時音声データ格納部15と、想定対話時音声データ選択部16と、選択された想定対話時音声データに基づいて二次元顔画像データを所定の処理基準により演算処理してモーションポートレート顔画像を作成する画像演算部17と、画像演算部17により作成されたモーションポートレート顔画像を蓄積する顔画像蓄積部18と、顔画像蓄積部18に蓄積された顔画像を所定のタイミングで順次出力する顔画像出力部19と、を有するものとされる。 As shown in FIG. 2, the motion portrait image creating means 10 includes a telephone number storage unit 11 for storing a telephone number of a close relative such as a family member of an elderly person with cerebral dysfunction (hereinafter, represented by a close relative), and a reception A close relative specifying unit 12 that specifies the relative from the telephone number, a two-dimensional face image data storage unit 13 that stores two-dimensional image data of the face of the close relative, and a specified close relative (hereinafter referred to as a specific close relative). ) Based on the two-dimensional face image data extracting unit 14 for extracting the two-dimensional face image data, the assumed dialogue voice data storage unit 15, the assumed dialogue voice data selecting unit 16, and the selected assumed dialogue voice data. The image calculation unit 17 for calculating the two-dimensional face image data according to a predetermined processing standard to create a motion portrait face image, and the motion portrait face image generated by the image calculation unit 17 are stored. The face image storage unit 18 to be stacked and the face image output unit 19 that sequentially outputs the face images stored in the face image storage unit 18 at a predetermined timing are provided.
想定対話時音声データ格納部15に格納される想定対話時音声データは、脳機能障害高齢者と電話で対話する可能性のある全ての近親者について事前に作成される。可能性のある近親者全員について音声データを作成するのは、作成されるモーションポートレート顔画像を対話の状況に応じた顔にできるだけ近づけるためである。 The assumed dialogue voice data stored in the assumed dialogue voice data storage unit 15 is created in advance for all close relatives who may have a conversation with the elderly with a brain dysfunction by telephone. The reason why voice data is created for all possible close relatives is to make the created motion portrait face image as close as possible to the face according to the situation of the conversation.
想定対話には、近況を尋ねるもの、誕生日を祝うもの、病気からの快復を喜ぶものなどが含まれる。また、想定対話に基づいて作成された想定対話時音声データは、想定対話時音声データ選択部16の選択の便宜のために当該近親者名が付されるとともに、適当な検索キーワードが付されて想定対話時音声データ格納部15に格納される。例えば、近況を尋ねるものにあっては、「近況」、誕生日を祝うものにあっては、「誕生日」、病気からの快復を喜ぶものにあっては、「病気」というような検索キーワードが付される。 Assumed dialogues include those that ask about recent conditions, those that celebrate birthdays, and those who are glad to recover from illness. In addition, the assumed dialogue audio data created based on the assumed dialogue is given the name of the close relative and an appropriate search keyword for convenience of selection by the assumed dialogue audio data selection unit 16. It is stored in the assumed dialogue voice data storage unit 15. For example, search terms such as “recent status” for those who ask about the recent status, “birthday” for those celebrating birthdays, and “disease” for items that rejoice recovery from illness. Is attached.
想定対話時音声データ選択部16は、特定近親者名およびキーワードに基づいて特定近親者の想定対話時音声データ群から所望の想定対話時音声データを選択して抽出するものとされる。 The assumed dialog voice data selection unit 16 selects and extracts desired expected dialog voice data from a specific relative's assumed dialog voice data group based on the specific relative name and keyword.
次に、かかる構成とされたモーションポートレート画像作成手段10によるモーションポートレート顔画像の作成について説明する。 Next, creation of a motion portrait face image by the motion portrait image creation means 10 having such a configuration will be described.
処理1:受信した電話番号から通話の主を特定する。すなわち、近親者特定部12は、電話番号格納部11に格納されている電話番号を参照して電話の主を特定する。つまり、電話してきた近親者を特定する。 Process 1: Identify the caller from the received telephone number. That is, the close relative specifying unit 12 specifies the main person of the telephone with reference to the telephone number stored in the telephone number storage unit 11. That is, the close relative who has called is specified.
処理2:特定近親者の顔画像データを抽出する。すなわち、二次元顔画像データ抽出部14は、二次元顔画像データ格納部13に格納されている二次元顔画像データから特定近親者の顔画像データを抽出する。 Process 2: The face image data of the specified close relative is extracted. That is, the two-dimensional face image data extraction unit 14 extracts the face image data of the specific relative from the two-dimensional face image data stored in the two-dimensional face image data storage unit 13.
処理3:特定近親者が話す最初の数フレーズからキーワードを抽出し、ついで抽出したキーワードに基づいて特定近親者の想定対話時音声データ群から該当する音声データを選択して抽出する。すなわち、想定対話時音声データ選択部16は、特定近親者が話す最初の数フレーズをサーチしてその中に含まれるキーワードを抽出し、ついで抽出したキーワードに基づいて想定対話時音声データ格納部15に格納されている特定近親者の想定対話時音声データ群から該当する音声データを選択して抽出する。 Process 3: A keyword is extracted from the first few phrases spoken by the specific relative, and the corresponding voice data is selected and extracted from the voice data group at the time of the assumed dialog of the specific relative based on the extracted keyword. That is, the assumed dialogue voice data selection unit 16 searches for the first few phrases spoken by the specific relative, extracts keywords included therein, and then assumes the assumed dialogue voice data storage unit 15 based on the extracted keywords. The corresponding voice data is selected and extracted from the voice data group at the time of the assumed conversation of the specific close relative stored in.
処理4:抽出した音声データに基づいて抽出した二次元顔画像データに対して所定の演算処理をなしてモーションポートレート顔画像を作成する。すなわち、画像演算部17は、抽出された音声データに基づいて抽出された二次元画像データに対して予め規定されている幾つかの基本表情、例えば32の基本表情を任意の割合で混合するという画像処理をしてモーションポートレート顔画像を逐次作成する。 Process 4: A predetermined portrait process is performed on the extracted two-dimensional face image data based on the extracted voice data to create a motion portrait face image. That is, the image calculation unit 17 mixes some basic facial expressions, for example, 32 basic facial expressions, which are defined in advance with the two-dimensional image data extracted based on the extracted audio data, at an arbitrary ratio. Image processing is performed to sequentially create a motion portrait face image.
処理5:逐次作成されたモーションポートレート顔画像を逐次蓄積する。すなわち、顔画像蓄積部18は、画像演算部17により逐次作成されたモーションポートレート顔画像を作成された順に記憶する。 Process 5: The motion portrait face images created sequentially are sequentially accumulated. That is, the face image storage unit 18 stores the motion portrait face images sequentially created by the image calculation unit 17 in the order of creation.
処理6:蓄積された顔画像を表示入力部TPに作成された順に所定のタイミングで表示させる。すなわち、顔画像出力部19は、顔画像蓄積部18に蓄積されている顔画像を作成された順に表示入力部TPに逐次出力する。この出力は、想定対話時音声データが音声として出力されると想定されるタイミングにマッチさせてなされるものとされる。というのは、そうすることにより、対話内容と表示される顔画像とのずれを少なくすることができるからである。 Process 6: The accumulated face images are displayed at a predetermined timing in the order of creation on the display input unit TP. That is, the face image output unit 19 sequentially outputs the face images stored in the face image storage unit 18 to the display input unit TP in the order of creation. This output is made to match the timing at which it is assumed that the voice data at the assumed dialogue is output as a voice. This is because by doing so, it is possible to reduce the deviation between the dialogue content and the displayed face image.
なお、かかる機能を有するモーションポートレート画像作成手段10は、端末に前記処理を実行できるようプログラムを格納することにより実現される。 The motion portrait image creating means 10 having such a function is realized by storing a program so that the processing can be executed on the terminal.
このように、本実施形態によれば、脳機能障害高齢者と近親者との電話による対話において、表示入力部TPに表示される近親者の顔を対話内容にほぼマッチさせて変化させることができる。そのため、脳機能障害高齢者の脳機能の回復に貢献する度合が大きい。 As described above, according to the present embodiment, in the telephone conversation between the elderly with cerebral dysfunction and the close relative, the face of the close relative displayed on the display input unit TP can be changed to substantially match the content of the interaction. it can. Therefore, the degree of contribution to the recovery of brain function of elderly people with cerebral dysfunction is large.
実施形態2
本発明の実施形態2に係る支援装置LSのモーションポートレート画像作成手段20を図3に機能ブロック図で示す。
Embodiment 2
FIG. 3 is a functional block diagram showing the motion portrait image creating means 20 of the support apparatus LS according to the second embodiment of the present invention.
実施形態2は、実施形態1を改変してなるものであって、実施形態1のモーションポートレート画像作成手段10の機能を拡張して、通話時の近親者の音声を選択的に録音して、当該近親者名およびキーワードを付与して音声データとして格納できるよう実対話時音声データ格納部21を付加して拡張モーションポートレート画像作成手段20としてなるものとされ、格納された実対話時音声データは、後述する再生モードにおけるモーションポートレート顔画像作成時に音声データとして利用するものとされる。 The second embodiment is a modification of the first embodiment. The function of the motion portrait image creating means 10 of the first embodiment is expanded to selectively record the sound of a close relative at the time of a call. The actual dialogue voice data storage unit 21 is added to the voice data storage unit 21 so that it can be stored as voice data with the name of the relative and the keyword, and the stored voice during the real dialogue is stored. The data is used as audio data when creating a motion portrait face image in a playback mode to be described later.
ここで、通話時の近親者の音声を選択的に録音するのは、本発明者らの実験によって、脳機能障害高齢者は録音された通話によっても対話を充分に楽しめることが確認されたことによる。 Here, it was confirmed through experiments by the present inventors that the voices of close relatives at the time of a call were selectively recorded by elderly people with brain dysfunction who were able to fully enjoy the conversation through the recorded call. by.
このように、本実施形態によれば、モーションポートレート顔画像作成時に実際の通話時の音声データを利用しているので、対話内容にモーションポートレート顔画像が完全にマッチするという実施形態1では得られない効果が得られる。
v
Thus, according to the present embodiment, since the voice data at the time of the actual call is used when creating the motion portrait face image, the motion portrait face image perfectly matches the conversation content in the first embodiment. An effect that cannot be obtained is obtained.
v
次に、かかる構成とされた支援装置LSによる脳機能障害高齢者の生活支援について説明する。なお、以下において「直接モード」とは、支援装置LSにより脳機能障害高齢者が近親者と直接対話する態様をいい、「再生モード」とは、支援装置LSに録音した近親者の通話内容を再現して対話する態様をいう。 Next, life support for the elderly with cerebral dysfunction by the support device LS having such a configuration will be described. In the following, “direct mode” refers to an aspect in which an elderly person with cerebral dysfunction directly interacts with a close relative using the support device LS, and “playback mode” refers to the content of the close relative's call recorded in the support device LS. A mode of reproducible dialogue.
事前準備
近親者の顔画像(顔画像データ)、近親者の顔アイコン、近親者の電話番号、および近親者の想定対話時音声データを支援装置LSに格納する。
The face image (face image data) of the preparatory close relative, the face icon of the close relative, the phone number of the close relative, and the voice data during the assumed interaction of the close relative are stored in the support device LS.
直接モードによる場合(実施形態1における使用態様) When using direct mode (use mode in the first embodiment)
手順1:支援装置LSを待つ受け状態とする。すなわち、表示入力部TPに近親者の顔アイコンを表示させる。図4に待ち受け画面の一例を示す。図中、丸で囲まれた符号A,B,Cはそれぞれ近親者A,B,Cを表す。 Procedure 1: It is set as the receiving state which waits for the assistance apparatus LS. That is, a close relative's face icon is displayed on the display input unit TP. FIG. 4 shows an example of the standby screen. In the figure, reference signs A, B, and C surrounded by circles represent relatives A, B, and C, respectively.
手順2:近親者からの着信があると、受信した電話番号から近親者を特定する。 Procedure 2: When there is an incoming call from a close relative, the close relative is specified from the received telephone number.
手順3:着信音を鳴らすとともに、特定近親者の顔アイコンを変化させて特定近親者からの電話であることを知らせる。例えば、顔アイコンをハイライトさせる。 Procedure 3: A ring tone is sounded and the face icon of the specific relative is changed to notify that the call is from the specific relative. For example, highlight a face icon.
手順4:通話が開始されると、特定近親者の顔画像を表示入力部TPに大きく表示する。例えば、特定近親者の顔画像ウインドウを開く。 Procedure 4: When a call is started, the face image of the specific close relative is displayed large on the display input unit TP. For example, a face image window of a specific close relative is opened.
手順5:通話内容からキーワードを検出し、そのキーワードに基づいて想定対話時音声データを選択する。 Procedure 5: A keyword is detected from the content of a call, and speech data for assumed conversation is selected based on the keyword.
手順6:選択された音声データに基づいて表示されている顔画像を変化させる。つまり、その音声データに基づいてモーションポートレート顔画像を作成して表示入力部TPに表示する。 Procedure 6: The face image displayed is changed based on the selected audio data. That is, a motion portrait face image is created based on the audio data and displayed on the display input unit TP.
手順7:通話が終了すると、特定近親者の顔画像ウインドウを閉じて待ち受け画面に戻す。 Procedure 7: When the call ends, the face image window of the specific close relative is closed and the screen is returned to the standby screen.
このように、直接モードによる場合は、近親者は脳機能障害高齢者と直接対話ができるので、脳機能障害高齢者が元気でいることが確認できる。一方、脳機能障害者は、対話時に顔画像が対話の内容にほぼマッチして変化するので、対話時における脳への刺激の増大が図られて症状を改善することができる。 Thus, in the case of the direct mode, since the close relative can directly interact with the elderly person with cerebral dysfunction, it can be confirmed that the elderly person with cerebral dysfunction is well. On the other hand, a person with cerebral dysfunction can improve symptoms by increasing stimulation to the brain at the time of dialogue because the face image changes almost matching the content of the dialogue at the time of dialogue.
再生モードによる場合(実施形態2における使用態様) Case of playback mode (usage in embodiment 2)
手順11:再生モードを起動する。この起動はタイマーを設定しておいて、設定された時刻になされてもよい。 Step 11: Start the playback mode. This activation may be performed at a set time by setting a timer.
手順12:対話させる近親者を選択する。この選択は、例えば、表示されている近親者の顔画像をボタンとし、再生する近親者の顔画像をタッチすることによりなされる。 Step 12: Select a close relative to interact with. This selection is made, for example, by touching the face image of the close relative to be reproduced with the displayed close relative face image as a button.
手順13:選択された近親者の顔画像ウインドウを開く。 Step 13: Open the face image window of the selected close relative.
手順14:選択した近親者の実対話時音声データ群から脳機能障害高齢者の状況にマッチした実対話時音声データを選択する。例えば、病気からの快復を喜ぶ「病気」のキーワードが付与された実対話時音声データを検索して選択する。 Procedure 14: The voice data at the time of actual dialogue matching the situation of the elderly person with brain dysfunction is selected from the voice data at the time of actual dialogue of the selected close relative. For example, the voice data during actual dialogue to which the keyword “disease” that pleases recovery from illness is assigned is searched and selected.
手順15:選択された音声データに基づいて表示されている顔画像を変化させる。つまり、その音声データに基づいてモーションポートレート顔画像を作成して表示入力部TPに表示する。 Procedure 15: The displayed face image is changed based on the selected audio data. That is, a motion portrait face image is created based on the audio data and displayed on the display input unit TP.
手順16:実対話時音声データの再生が終了すると、選択した近親者の顔画像ウインドウを閉じて待ち受け画面に戻す。 Procedure 16: When the reproduction of the voice data during actual dialogue is completed, the face image window of the selected close relative is closed and the screen is returned to the standby screen.
このように、再生モードによる場合、近親者に負担をかけることなく、脳機能障害高齢者は対話により脳機能の活性化を図ることができる。 As described above, in the reproduction mode, an elderly person with cerebral dysfunction can activate brain function through dialogue without imposing a burden on a close relative.
実施形態3
本発明の実施形態3を図5にブロック図で示す。
実施形態3は、実施形態1および実施形態2を改変してなるものであって、モーションポートレート画像作成手段10,20に感性制御技術手段30を付加してなるものとされる。
Embodiment 3
Embodiment 3 of the present invention is shown in a block diagram in FIG.
The third embodiment is obtained by modifying the first and second embodiments, and is obtained by adding the sensitivity control technology means 30 to the motion portrait image creating means 10 and 20.
ここで、感性制御技術とは、韻律情報からロバストな基本周波数を検出し、音声と情動と脳活動との整合性を確認しながら求めるパラメータにより、人の情動を10段階でマグニチュードを検知し、そこから感情レベル(感性度合)を自動的に付与する技術をいう。 Here, Kansei control technology detects a fundamental frequency from prosodic information, detects the magnitude of human emotion in 10 levels, using parameters obtained while confirming the consistency between speech, emotion and brain activity, A technology that automatically assigns an emotion level (sensitivity level) from there.
しかして、本実施形態では、感性制御技術手段30から得られた感性度合に応じてモーションポートレート画像作成の際に、基本画像の混合割合を変化させてモーションポートレート画像を作成するものとされる。 Therefore, in the present embodiment, the motion portrait image is created by changing the mixing ratio of the basic images when creating the motion portrait image according to the sensitivity degree obtained from the sensitivity control technology means 30. The
図6に、通常のモーションポートレート画像を示す。図7に、感性制御技術手段30から得られた喜びの度合を基に、「喜び」を強調して作成されたモーションポートレート画像を対比して示す。 FIG. 6 shows a normal motion portrait image. FIG. 7 shows a comparison of motion portrait images created by emphasizing “joy” based on the degree of pleasure obtained from the sensitivity control technology means 30.
この場合、混合割合を適宜調節することにより、図8に示すように「目の喜び」や、図9に示すように「口の喜び」を強調したモーションポートレート画像とすることもできる。 In this case, by appropriately adjusting the mixing ratio, a motion portrait image in which “joy of the eyes” as shown in FIG. 8 and “joy of the mouth” as shown in FIG. 9 can be emphasized.
このように、本実施形態では、感性制御技術手段30により得られた感性度合により標準的なモーションポートレート画像を修正しているので、作成された顔画像を通話中(録音再生におけるものも含む)の近親者の感情にマッチしたものとすることができる。 As described above, in the present embodiment, the standard motion portrait image is corrected based on the sensitivity degree obtained by the sensitivity control technology means 30, so that the created face image is in a call (including those for recording and playback). ) Can be matched to the feelings of close relatives.
実施形態4
本発明の実施形態4のモーションポートレート画像作成手段10を図10にブロック図で示す。
Embodiment 4
FIG. 10 is a block diagram showing the motion portrait image creating means 10 according to the fourth embodiment of the present invention.
実施形態4は、実施形態1を改変してなるものであって、モーションポートレート画像作成手段10にバックグランドミュージック格納部(以下、BGM格納部という)40を付加してなるものとされる。 The fourth embodiment is a modification of the first embodiment, in which a background music storage unit (hereinafter referred to as a BGM storage unit) 40 is added to the motion portrait image creation means 10.
BGM格納部40は、主として脳機能障害高齢者が若い頃に好きだった曲を格納するものとされ、格納された曲は通話時にバックグランドミュージックとして出力されるものとされる。この場合、通話してきた近親者は、バックグランドミュージックに合わせて歌うこともできる。また、歌に合わせてモーションポートレート顔画像が作成され、作成されたモーションポートレート顔画像は表示入力部TPに表示されるようにされてもよい。 The BGM storage unit 40 mainly stores songs that elderly people with cerebral dysfunction liked when they were young, and the stored songs are output as background music during a call. In this case, a close relative who has made a call can also sing along with the background music. In addition, a motion portrait face image may be created according to the song, and the created motion portrait face image may be displayed on the display input unit TP.
このように、本実施形態によれば、通話してきた近親者は、脳機能障害高齢者が若い頃に好きだったバックグランドミュージックに合わせて歌うことができ、しかもその歌に合わせてモーションポートレート顔画像を作成することができるので、脳機能障害者の脳機能の回復を促進することができる。 As described above, according to the present embodiment, a close relative who has made a call can sing according to the background music that the elderly with cerebral dysfunction liked when he was young, and the motion portrait is matched to the song. Since a face image can be created, recovery of the brain function of a person with a brain dysfunction can be promoted.
実施形態5
本発明の実施形態5を図11にブロック図で示す。
Embodiment 5
Embodiment 5 of the present invention is shown in a block diagram in FIG.
実施形態5は、実施形態2を改変してなるものであって、動物顔画像加工手段50と表示切替手段60とを付加し、支援装置LSにペット的機能を付与してなるものとされる。 The fifth embodiment is a modification of the second embodiment, in which an animal face image processing unit 50 and a display switching unit 60 are added, and a pet function is added to the support device LS. .
動物顔画像加工手段50は、動物の二次元顔画像を画像処理してモーションポートレート顔画像とするものであって、図12に示すように、動物顔加工指示部51と、動物顔画像データ格納部52と、動物顔画像データ抽出部53と、動物顔画像演算部54と、動物顔画像蓄積部55と、動物顔画像出力部56とを含むものとされる。 The animal face image processing means 50 performs image processing on a two-dimensional face image of an animal to obtain a motion portrait face image. As shown in FIG. 12, the animal face processing instruction unit 51 and animal face image data A storage unit 52, an animal face image data extraction unit 53, an animal face image calculation unit 54, an animal face image storage unit 55, and an animal face image output unit 56 are included.
動物顔加工指示部51は、例えば表示入力部TPに表示されている動物の顔へのタッチに応答して、表示入力部TPに表示されている動物の顔画像の加工を指示するものとされる。 The animal face processing instruction unit 51 is, for example, instructed to process the animal face image displayed on the display input unit TP in response to a touch on the animal face displayed on the display input unit TP. The
動物顔画像データ格納部52は、表示入力部TPに表示される動物の顔画像データを格納するものとされる。格納される顔画像データは、例えば脳機能障害高齢者が若い頃に飼っていた動物、例えば猫や犬の顔画像データとされる。また、顔画像データの格納は、動物顔画像データ抽出部53の抽出の便宜を考慮して識別番号を付して格納される。 The animal face image data storage unit 52 stores animal face image data displayed on the display input unit TP. The stored face image data is, for example, face image data of an animal, such as a cat or a dog, that was kept when an elderly person with brain dysfunction was young. The face image data is stored with an identification number in consideration of the convenience of extraction by the animal face image data extraction unit 53.
動物顔画像データ抽出部53は、動物顔画像データ格納部52に格納されている動物の顔画像データから指定された顔画像データを抽出するものとされる。顔画像データの指定は、例えば介護者が識別番号を指定することによりなされる。 The animal face image data extraction unit 53 extracts specified face image data from the animal face image data stored in the animal face image data storage unit 52. The face image data is specified by, for example, a caregiver specifying an identification number.
動物顔画像演算部54は、予め規定されている幾つかの基本表情、例えば16の基本表情を任意の割合で混合するという画像処理をし、動物の顔のモーションポートレート画像を逐次作成する。例えば、猫が笑っているような画像を作成する。 The animal face image calculation unit 54 performs image processing of mixing some basic expressions defined in advance, for example, 16 basic expressions at an arbitrary ratio, and sequentially creates a motion portrait image of the animal face. For example, an image in which a cat is laughing is created.
動物顔画像蓄積部55は、動物顔画像演算部54により逐次作成された動物の顔のモーションポートレート画像を逐次蓄積する。 The animal face image accumulating unit 55 sequentially accumulates the motion portrait images of the animal's face that are sequentially created by the animal face image calculating unit 54.
動物顔画像出力部56は、動物顔画像蓄積部55に蓄積された動物の顔のモーションポートレート画像を適宜間隔で表示入力部TPに出力する。例えば、一定間隔で出力する。 The animal face image output unit 56 outputs the motion portrait images of the animal face accumulated in the animal face image accumulation unit 55 to the display input unit TP at appropriate intervals. For example, output is performed at regular intervals.
表示切替手段60は、入力に応答して、例えば近親者からの電話に応答して、表示入力部TPに表示されている顔画像を近親者の顔画像に切り替えるものとされる。なお、表示入力部TPに切替ボタンを表示しておき、切替ボタンがタッチされることにより、表示画面が切り替えられるようにされてもよい。 In response to the input, the display switching unit 60 switches the face image displayed on the display input unit TP to the face image of the close relative, for example, in response to a call from the close relative. Note that the display screen may be switched by displaying a switching button on the display input unit TP and touching the switching button.
このように、本実施形態では、表示入力部TPに動物、例えば脳機能障害者がかつて飼っていた猫などの顔を表示するとともに、そのモーションポートレート画像を表示するようにされているので、支援装置LSの玩具化、例えばペットおもちゃ化することができ、脳機能障害者の脳機能改善に寄与する効果が大きくなる。 As described above, in this embodiment, the display input unit TP displays the face of an animal, for example, a cat once possessed by a person with a brain dysfunction, and the motion portrait image thereof. The support device LS can be made into a toy, for example, a pet toy, and the effect of contributing to the improvement of the brain function of a person with a brain dysfunction increases.
次に、本実施形態の支援装置LSをロボットに組み込んだ応用例について説明する。 Next, an application example in which the support device LS of this embodiment is incorporated in a robot will be described.
応用例1
本発明の応用例を図13にブロック図で示し、図14に要部を概略図で示す。
Application example 1
An application example of the present invention is shown in a block diagram in FIG. 13, and a main part is schematically shown in FIG.
ロボットRは、図15に示すように、下部RLと上部RUとからなるものとされ、スピーカー140と下部RLに上部RUを傾動させる傾動機構150とが設けられ、上部RUに触覚センサ(接触式センサ)TSと、腕(動作部)102と、その腕102を動作させる腕動作機構160が設けられるとともに、支援装置LSを収納する収納凹部104も設けられてなるものとされる。収納凹部104は、例えば正面中央部に設けられる。ここで、ロボットRの形態は、架空の動物に似せられている。 As shown in FIG. 15, the robot R is composed of a lower RL and an upper RU. A speaker 140 and a tilt mechanism 150 for tilting the upper RU are provided on the lower RL, and a tactile sensor (contact type) is provided on the upper RU. A sensor) TS, an arm (operation unit) 102, an arm operation mechanism 160 that operates the arm 102, and a storage recess 104 that stores the support device LS are also provided. The storage recess 104 is provided, for example, at the center of the front. Here, the form of the robot R resembles a fictitious animal.
スピーカー140は、本応用例ではステレオタイプとされている。 The speaker 140 is a stereotype in this application example.
傾動機構150は、サーボモータ(図示省略)を中心的構成要素として備えてなるものとされ、例えば下部RLの中央に設けられる。傾動機構150は、公知の傾動機構を好適に用いることができ、その構成に特に限定はない。例えば、サーボモータの回転軸に上部RU底部に下部RL側に突出させて設けられた傾動部材を係合することにより、回転軸を回動させて傾動させることができる。 The tilting mechanism 150 includes a servo motor (not shown) as a central component, and is provided, for example, in the center of the lower RL. As the tilting mechanism 150, a known tilting mechanism can be suitably used, and the configuration thereof is not particularly limited. For example, by engaging a tilting member provided on the bottom of the upper RU and projecting to the lower RL side on the rotation shaft of the servo motor, the rotation shaft can be rotated and tilted.
触覚センサTSは、例えば金属ワイヤからなる静電容量式タッチセンサとされ、上部RUの適宜位置、例えば両脇に配設される。 The touch sensor TS is a capacitive touch sensor made of, for example, a metal wire, and is disposed at an appropriate position of the upper RU, for example, on both sides.
腕102は右腕102Rと左腕102Lとを含むものとされる。また、腕動作機構160はサーボモータ(図示省略)を中心的構成要素として備えてなるものとされ、右腕102Rを動作させる右腕動作機構160Rと、左腕102Lを動作させる左腕動作機構160Lとを含む。腕動作機構160による腕102の動作は、本応用例では、腕102を上下に振るような動作とされる。かかる腕102の動作は、例えばサーボモータの回転軸を腕102の基端部と係合させることにより実現される。 The arm 102 includes a right arm 102R and a left arm 102L. The arm operating mechanism 160 includes a servo motor (not shown) as a central component, and includes a right arm operating mechanism 160R that operates the right arm 102R and a left arm operating mechanism 160L that operates the left arm 102L. The operation of the arm 102 by the arm operation mechanism 160 is an operation that swings the arm 102 up and down in this application example. Such an operation of the arm 102 is realized, for example, by engaging the rotation shaft of the servo motor with the proximal end portion of the arm 102.
ロボットコントローラRCは、図16に示すように、入力部171と、メモリ172と、演算処理部173と、出力部174と、電源処理部175とを備えてなるものとされる。ロボットコントローラRCは、具体的には、後述する機能を実現するためのプログラムが格納されたマイコンを中心に構成される。 As shown in FIG. 16, the robot controller RC includes an input unit 171, a memory 172, an arithmetic processing unit 173, an output unit 174, and a power supply processing unit 175. Specifically, the robot controller RC is mainly configured of a microcomputer in which a program for realizing functions to be described later is stored.
入力部171には、支援装置LSからの音声入力信号、触覚センサTSからの検知信号が入力される。 The input unit 171 receives a voice input signal from the support device LS and a detection signal from the touch sensor TS.
メモリ172には、入力部171に入力された音声入力信号、触覚センサTSからの検知信号、演算処理部173の演算処理に必要なデータなどが格納される。 The memory 172 stores a voice input signal input to the input unit 171, a detection signal from the tactile sensor TS, data necessary for arithmetic processing of the arithmetic processing unit 173, and the like.
演算処理部173は、スピーカー制御信号演算処理手段と、サーボモータ制御信号演算処理手段とを含むものとされる。 The arithmetic processing unit 173 includes speaker control signal arithmetic processing means and servo motor control signal arithmetic processing means.
スピーカー制御信号演算処理手段は、音声入力信号に基づいて演算処理をしてスピーカーを制御する制御信号を生成するものとされる。 The speaker control signal calculation processing means performs a calculation process based on the audio input signal and generates a control signal for controlling the speaker.
サーボモータ制御信号演算処理手段は、触覚センサTSからの検知信号に基づいて演算処理をしてサーボモータの制御信号を生成するものとされる。 The servo motor control signal calculation processing means performs calculation processing based on the detection signal from the touch sensor TS and generates a control signal for the servo motor.
例えば、右側の触覚センサTSがタッチされた場合には、右腕102Rを動作させる右腕動作機構160Rのサーボモータに右腕102Rを上下に動かす制御信号を生成し、両方の触覚センサTSがタッチされた場合には、右腕102Rを動作させる右腕動作機構160Rのサーボモータおよび左腕102Lを動作させる左腕動作機構160Lのサーボモータに右腕102Rおよび左腕102Lを同時に上下に動かす制御信号を生成し、左側の触覚センサTSが上方に移動させられた場合には、傾動機構150のサーボモータに上部RUを右側に傾動させる制御信号を生成する。 For example, when the right tactile sensor TS is touched, a control signal for moving the right arm 102R up and down is generated by the servo motor of the right arm operating mechanism 160R that operates the right arm 102R, and both tactile sensors TS are touched. Control signals for simultaneously moving the right arm 102R and the left arm 102L up and down are generated by the servo motor of the right arm operating mechanism 160R that operates the right arm 102R and the servo motor of the left arm operating mechanism 160L that operates the left arm 102L, and the left tactile sensor TS. Is moved upward, a control signal for causing the servomotor of the tilting mechanism 150 to tilt the upper RU to the right is generated.
出力部174は、演算処理部173により生成された制御信号をスピーカー140、サーボモータなどに出力するものとされる。 The output unit 174 outputs the control signal generated by the arithmetic processing unit 173 to the speaker 140, the servo motor, and the like.
電源処理部175は、商用電源からの交流電流を処理してロボットコントローラRC内で必要とされる直流電流、スピーカー用直流電流、サーボモータ駆動電流を生成するものとされる。より具体的には、電源処理部175は、AC/DCコンバータおよびDC/DCコンバータを有していて、100Vの交流電流から12Vの直流電流を生成し、さらに12Vの直流電流(駆動電流)から5Vの直流電流(制御電流)などを生成するものとされる。 The power supply processing unit 175 is configured to process an alternating current from a commercial power supply to generate a direct current, a speaker direct current, and a servo motor drive current required in the robot controller RC. More specifically, the power supply processing unit 175 has an AC / DC converter and a DC / DC converter, generates a 12V DC current from a 100V AC current, and further generates a 12V DC current (drive current). A DC current (control current) of 5 V is generated.
このように、本応用例では支援装置LSをロボットRに組み込んだ上に、ロボットRが脳機能障害高齢者の触覚センサTSへのタッチに応じて反応するので、癒し効果を発生するとともにロボットRがペット的な役割も果たす、という支援装置LS単独では得られない効果も奏する。 As described above, in this application example, the support device LS is incorporated in the robot R, and the robot R reacts according to the touch of the tactile sensor TS of the elderly with cerebral dysfunction. There is also an effect that cannot be obtained by the support device LS alone, which also plays a pet-like role.
応用例2
本発明の応用例2を図17に示す。応用例2は応用例1のロボットRを簡略化してなるものであって、ロボットRを箱状体とし、上辺部に耳状の可動体Eを配設してなるものとされる。
Application example 2
Application Example 2 of the present invention is shown in FIG. The application example 2 is obtained by simplifying the robot R of the application example 1. The robot R is a box-like body, and an ear-shaped movable body E is disposed on the upper side.
耳状の可動体Eは、サーボモータ駆動とされ、ロボットRの正面中央に設けられた収納凹部に収納された支援装置LSからの指令により動作するようにされている。例えば、根本を起点として左右方向に動くようにされている。 The ear-shaped movable body E is driven by a servo motor, and is operated by a command from the support device LS housed in a housing recess provided in the front center of the robot R. For example, it is configured to move left and right starting from the root.
支援装置LSは、例えば実施形態5に係るものとされ、表示入力部TPに表示されている動物の顔がタッチされることにより、耳状の可動体Eに対する動作指令が生成されるようにされている。 The support device LS is, for example, according to the fifth embodiment, and an operation command for the ear-shaped movable body E is generated by touching the animal's face displayed on the display input unit TP. ing.
このように、本応用例では、支援装置LSの表示入力部TPに表示されている動物の顔をタッチすることにより、耳状の可動体Eが左右方向に動くようにされているので、癒し効果が増大する。また、ロボットRが箱状体に簡素化されているので、その取扱いも容易となる。 Thus, in this application example, by touching the animal's face displayed on the display input unit TP of the support device LS, the ear-shaped movable body E is moved in the left-right direction. The effect is increased. Further, since the robot R is simplified to a box-like body, the handling thereof is facilitated.
以上、本発明を実施形態を中心説明してきたが、本発明はかかる実施形態および応用例に限定されるものではなく、種々改変が可能である。 As mentioned above, although this invention was demonstrated centering on embodiment, this invention is not limited to this embodiment and an application example, A various change is possible.
例えば、支援装置LSに脳機能障害高齢者が好きな歌を収録して、モーションポートレート画像作成手段10や拡張モーションポートレート画像作成手段20にフェイスシング(株式会社タカラトミー商品名)を搭載しておき、脳機能障害者が触覚センサTSをタッチすると、近親者が曲に合わせて歌うような仕草をするようにされてもよい。こうすることにより、脳機能障害高齢者の機能回復がより一層促進される。 For example, a favorite song of an elderly person with cerebral dysfunction is recorded in the support device LS, and Faith Thing (TAKARATOMY brand name) is installed in the motion portrait image creation means 10 and the extended motion portrait image creation means 20. In addition, when a person with a brain dysfunction touches the tactile sensor TS, a close relative may perform a gesture such as singing along with a song. By doing so, the functional recovery of the elderly with cerebral dysfunction is further promoted.
また、図18に示すように、支援装置LSは移動ロボット(走行ロボット)MRに搭載されるようにさてもよい。こうすることにより、脳機能障害高齢者の車椅子による移動の際にも近親者と電話による対話を楽しむことができる。 As shown in FIG. 18, the support device LS may be mounted on a mobile robot (running robot) MR. By doing so, it is possible to enjoy telephone conversations with close relatives even when elderly people with cerebral dysfunction are moving in a wheelchair.
本発明は、介護産業やロボット産業に適用できる。 The present invention can be applied to the nursing care industry and the robot industry.
LS 脳機能障害者生活支援装置
R ロボット
E 可動体
RC ロボットコントローラ
RL 下部
RU 上部
MS 移動ロボット、走行ロボット
TP タッチパネル式表示入力部
TS 触覚センサ、接触式センサ
10 モーションポートレート画像作成手段
11 電話番号格納部
12 近親者特定部
13 二次元顔画像データ格納部
14 二次元顔画像データ抽出部
15 想定対話時音声データ格納部
16 想定対話時音声データ選択部
17 画像演算部
18 顔画像蓄積部
19 顔画像出力部
20 拡張モーションポートレート画像作成手段
21 実対話時音声データ格納部
30 感性制御技術手段
40 バックグランドミュージック格納部
50 動物顔画像加工手段
60 表示切替手段
102 腕、動作部
102R 右腕
102L 左腕
104 収納凹部
140 スピーカー
150 傾動機構
160 腕動作機構
160R 右腕動作機構
160L 左腕動作機構
171 入力部
172 メモリ
173 演算処理部
174 出力部
175 電源処理部
LS Brain function disabled life support device R Robot E Mobile RC Robot controller RL Lower RU Upper MS Mobile robot, traveling robot TP Touch panel display input unit TS Tactile sensor, contact sensor 10 Motion portrait image creation means 11 Telephone number storage Unit 12 Relatives Identification Unit 13 Two-dimensional Face Image Data Storage Unit 14 Two-dimensional Face Image Data Extraction Unit 15 Assumed Dialogue Voice Data Storage Unit 16 Assumed Dialogue Voice Data Selection Unit 17 Image Calculation Unit 18 Face Image Accumulation Unit 19 Face Image Output unit 20 Extended motion portrait image creation unit 21 Audio data storage unit 30 during actual dialogue 30 Kansei control technology unit 40 Background music storage unit 50 Animal face image processing unit 60 Display switching unit 102 Arm, action unit 102R Right arm 102L Left arm 104 Storage Recess 140 Speaker 150 Tilt mechanism 160 Arm operation mechanism 160R Right arm operation mechanism 160L Left arm operation mechanism 171 Input unit 172 Memory 173 Operation processing unit 174 Output unit 175 Power supply processing unit
Claims (12)
前記モーションポートレート画像作成手段は、電話番号格納部と、近親者特定部と、二次元顔画像データ格納部と、二次元顔画像データ抽出部と、想定対話時音声データ格納部と、想定対話時音声データ選択部と、画像演算部と、顔画像蓄積部と、顔画像出力部とを有し、
前記電話番号格納部は、脳機能障害者の近親者の電話番号を格納するものとされ、
前記近親者特定部は、受信した電話番号から当該近親者を特定するものとされ、
前記二次元顔画像データ格納部は、近親者の顔の二次元顔画像データを格納するものとされ、
前記二次元顔画像データ抽出部は、前記近親者特定部が特定した近親者の二次元顔画像データを抽出するものとされ、
前記想定対話時音声データ格納部は、前記脳機能障害者と電話で対話する可能性のある近親者について事前に作成された想定対話時の音声データを当該近親者名およびキーワードを付して格納するものとされ、
前記想定対話時音声データ選択部は、前記近親者特定部が特定した近親者が話す最初の数フレーズからキーワードを抽出し、ついで前記抽出したキーワードに基づいて、前記特定された近親者の想定対話時音声データ群から前記キーワードにマッチした想定対話時音声データを選択するものとされ、
前記画像演算部は、前記想定対話時音声データ選択部が選択した想定対話時音声データに基づいて前記二次元顔画像データ抽出部が抽出した二次元顔画像データを演算処理してモーションポートレート顔画像を逐次作成するものとされ、
前記顔画像蓄積部は、前記画像演算部により作成されたモーションポートレート顔画像を逐次蓄積するものとされ、
前記顔画像出力部は、前記顔画像蓄積部に蓄積された顔画像を通話時に想定対話時音声データが音声として出力されると想定されるタイミングにマッチさせて表示入力部に逐次出力するものとされ、
前記表示入力部は、入力された顔画像を順次表示するものとされてなる
ことを特徴とする脳機能障害者生活支援装置。 A life support device for persons with cerebral dysfunction who can apply a reminiscence method to support the lives of people with cerebral dysfunction by constructing motion portrait image creation means for creating motion portrait images on a tablet terminal having a call function. ,
The motion portrait image creating means includes a telephone number storage unit, a close relative specifying unit, a two-dimensional face image data storage unit, a two-dimensional face image data extraction unit, an assumed dialogue voice data storage unit, and an assumed dialogue A time audio data selection unit, an image calculation unit, a face image storage unit, and a face image output unit,
The telephone number storage unit is configured to store a telephone number of a close relative of a person with a brain dysfunction,
The close relative specifying unit is to specify the close relative from the received telephone number,
The two-dimensional face image data storage unit is configured to store two-dimensional face image data of a close relative's face,
The two-dimensional face image data extraction unit extracts the two-dimensional face image data of the close relative specified by the close relative specifying unit,
The assumed dialogue voice data storage unit stores the assumed dialogue voice data created in advance for a close relative who may have a conversation with the person with cerebral dysfunction by telephone with the name of the relative and a keyword. Is supposed to
The assumed dialogue voice data selection unit extracts a keyword from the first few phrases spoken by the close relative specified by the close relative specifying unit, and then, based on the extracted keyword, the specified close relative assumed interaction It is assumed that voice data at the time of assumed dialogue that matches the keyword is selected from the time voice data group,
The image computing unit computes the two-dimensional face image data extracted by the two-dimensional face image data extraction unit based on the assumed dialogue voice data selected by the assumed dialogue voice data selection unit, and performs a motion portrait face It is supposed to create images sequentially,
The face image storage unit sequentially stores the motion portrait face images created by the image calculation unit,
The face image output unit sequentially outputs the face image stored in the face image storage unit to the display input unit so as to match the timing when the assumed dialogue voice data is output as voice during a call. And
The life support apparatus for persons with cerebral dysfunction , wherein the display input unit sequentially displays input face images .
前記実対話時音声データ格納部は、通話相手の音声を選択的に録音し、ついで録音した音声に前記通話相手の近親者名および当該近親者が話す最初の数フレーズから抽出されたキーワードを付与して音声データとして格納するものとされ、
前記モーションポートレート画像作成手段は、前記実対話時音声データ格納部が格納した音声データに基づいてモーションポートレート顔画像を作成するものとされてなることを特徴とする請求項1記載の脳機能障害者生活支援装置。 The motion portrait image creation means has an actual voice data storage unit at the time of actual dialogue,
The voice data storage unit at the time of actual dialogue selectively records the voice of the other party , and then gives the recorded voice a keyword extracted from the name of the relative of the other party and the first few phrases spoken by the relative And stored as audio data,
The motion portrait image creation means, the actual dialogue upon brain function according to claim 1, characterized in that is intended to create a motion portrait face image based on audio sound data data storage unit has stored Person with a disability life support device.
前記バックグラウンドミュージック格納部は、脳機能障害者が若い頃に好きだった音楽や歌を格納するものとされ、
前記格納された音楽や歌は通話時にバックグラウンドミュージックとして出力されてなる
ことを特徴とする請求項1記載の脳機能障害者生活支援装置。 The motion portrait image creation means has a background music storage unit added thereto,
The background music storage unit, is intended to store the music and songs liked by the time brain function disabled people young,
The life support apparatus for persons with cerebral dysfunctions according to claim 1, wherein the stored music or song is output as background music during a call .
前記モーションポートレート画像作成手段は、前記感性制御技術手段により判定された感性度合に基づいてモーションポートレート顔画像を修正するようにされてなることを特徴とする請求項1記載の脳機能障害者生活支援装置。 The motion portrait image creating means is additionally provided with a sensitivity control technology means for automatically determining the sensitivity level of a close relative at the time of a call,
The motion portrait image creation means, the sensibility control technical means by the determined Brain Dysfunction according to claim 1, characterized by being adapted to modify the motion portrait face image based on the sensibility degree Life support device.
前記動物顔画像作成手段は、動物顔画像加工指示部と、動物顔画像データ格納部と、動物顔画像データ抽出部と、動物顔画像演算部と、動物顔画像データ蓄積部と、動物顔画像出力部とを有し、
前記動物顔画像加工指示部は、前記タッチパネル式表示入力部に表示されている動物の顔へのタッチに応答して、前記タッチパネル式表示入力部に表示されている動物の顔画像の加工を指示するものとされ、
前記動物顔画像データ格納部は、前記タッチパネル式表示入力部に表示される動物の顔画像を識別番号を付与して格納するものとされ、
前記動物顔画像データ抽出部は、前記動物顔画像データ格納部に格納されている顔画像データから指定された顔画像データを抽出するものとされ、
前記動物顔画像演算部は、前記動物顔画像データ抽出部が抽出した動物の顔画像データに対し、予め規定されている複数の基本表情を任意の割合で混合するという画像処理して動物の顔のモーションポートレート画像を作成するものとされ、
前記動物顔画像データ蓄積部は、前記動物顔画像演算部が作成した動物の顔のモーションポートレート画像を逐次蓄積するものとされ、
前記動物顔画像出力部は、前記動物顔画像データ蓄積部に蓄積された動物の顔のモーションポートレート画像を適宜間隔で前記タッチパネル式表示入力部に出力するものとされてなる
ことを特徴とする請求項1記載の脳機能障害者生活支援装置。 The motion portrait image creating means includes an animal face image creating means and a touch panel display input unit,
The animal face image creation means includes an animal face image processing instruction section, an animal face image data storage section, an animal face image data extraction section, an animal face image calculation section, an animal face image data storage section, and an animal face image. An output unit,
The animal face image processing instruction unit instructs processing of the animal face image displayed on the touch panel display input unit in response to a touch on the animal face displayed on the touch panel display input unit. Is supposed to
The animal face image data storage unit stores an animal face image displayed on the touch panel display input unit with an identification number,
The animal face image data extraction unit extracts the specified face image data from the face image data stored in the animal face image data storage unit;
The animal face image calculation unit performs an image process of mixing a plurality of predefined basic facial expressions at an arbitrary ratio on the animal face image data extracted by the animal face image data extraction unit, and performs animal processing. To create a motion portrait image of
The animal face image data storage unit sequentially stores motion portrait images of animal faces created by the animal face image calculation unit,
The animal face image output unit outputs motion portrait images of animal faces accumulated in the animal face image data accumulation unit to the touch panel display input unit at appropriate intervals. The life support apparatus for persons with cerebral dysfunction according to claim 1.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014171358A JP6149230B2 (en) | 2014-03-28 | 2014-08-26 | Life support device for people with cerebral dysfunction |
PCT/JP2015/069972 WO2016031405A1 (en) | 2014-08-26 | 2015-07-02 | Device for supporting everyday life of patients with cerebral dysfunction |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014068874 | 2014-03-28 | ||
JP2014068874 | 2014-03-28 | ||
JP2014171358A JP6149230B2 (en) | 2014-03-28 | 2014-08-26 | Life support device for people with cerebral dysfunction |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015192844A JP2015192844A (en) | 2015-11-05 |
JP6149230B2 true JP6149230B2 (en) | 2017-06-21 |
Family
ID=55400939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014171358A Expired - Fee Related JP6149230B2 (en) | 2014-03-28 | 2014-08-26 | Life support device for people with cerebral dysfunction |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6149230B2 (en) |
WO (1) | WO2016031405A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018003196A1 (en) | 2016-06-27 | 2018-01-04 | ソニー株式会社 | Information processing system, storage medium and information processing method |
JP6891897B2 (en) * | 2016-10-07 | 2021-06-18 | ソニーグループ株式会社 | Information processing equipment, information processing methods, and programs |
CN111128400B (en) * | 2019-11-26 | 2023-09-12 | 泰康保险集团股份有限公司 | Medical care data processing method and device, storage medium and electronic equipment |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999067067A1 (en) * | 1998-06-23 | 1999-12-29 | Sony Corporation | Robot and information processing system |
JP2002176632A (en) * | 2000-12-08 | 2002-06-21 | Mitsubishi Electric Corp | Mobile phone and image transmission method |
US7154510B2 (en) * | 2002-11-14 | 2006-12-26 | Eastman Kodak Company | System and method for modifying a portrait image in response to a stimulus |
JP2004214895A (en) * | 2002-12-27 | 2004-07-29 | Toshiba Corp | Auxiliary communication apparatus |
JP4294502B2 (en) * | 2004-01-23 | 2009-07-15 | パナソニック株式会社 | Telephone terminal and image generation method |
US20080165195A1 (en) * | 2007-01-06 | 2008-07-10 | Outland Research, Llc | Method, apparatus, and software for animated self-portraits |
JP4986741B2 (en) * | 2007-06-28 | 2012-07-25 | 三洋電機株式会社 | Electronic device and its menu screen display method |
JP4468418B2 (en) * | 2007-07-24 | 2010-05-26 | 株式会社エヌ・ティ・ティ・ドコモ | Control device and mobile communication system |
JP5407069B2 (en) * | 2009-11-02 | 2014-02-05 | 株式会社国際電気通信基礎技術研究所 | Listening dialog system |
JP5291735B2 (en) * | 2011-02-24 | 2013-09-18 | ソネットエンタテインメント株式会社 | Caricature creation apparatus, arrangement information generation apparatus, arrangement information generation method, and program |
US8761933B2 (en) * | 2011-08-02 | 2014-06-24 | Microsoft Corporation | Finding a called party |
JP2014061042A (en) * | 2012-09-20 | 2014-04-10 | Interlink:Kk | Puzzle game program |
JP6079104B2 (en) * | 2012-09-28 | 2017-02-15 | 日本電気株式会社 | Communications system |
JP6073649B2 (en) * | 2012-11-07 | 2017-02-01 | 株式会社日立システムズ | Automatic voice recognition / conversion system |
-
2014
- 2014-08-26 JP JP2014171358A patent/JP6149230B2/en not_active Expired - Fee Related
-
2015
- 2015-07-02 WO PCT/JP2015/069972 patent/WO2016031405A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2015192844A (en) | 2015-11-05 |
WO2016031405A1 (en) | 2016-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4595436B2 (en) | Robot, control method thereof and control program | |
US20110202842A1 (en) | System and method of creating custom media player interface for speech generation device | |
CN109463004A (en) | Far field extension for digital assistant services | |
CN109262606B (en) | Apparatus, method, recording medium, and robot | |
JP6149230B2 (en) | Life support device for people with cerebral dysfunction | |
CN103430217A (en) | Input support device, input support method, and recording medium | |
JP2009104020A (en) | Voice recognition device | |
JP6158179B2 (en) | Information processing apparatus and information processing method | |
CN110503968A (en) | A kind of audio-frequency processing method, device, equipment and readable storage medium storing program for executing | |
JP5834464B2 (en) | Guidance instruction apparatus, guidance instruction method and program thereof | |
JP2018176383A (en) | Interaction device, interaction method, interaction program, and robot | |
JP2005335053A (en) | Robot, robot control apparatus and robot control method | |
JP6833209B2 (en) | Utterance promotion device | |
US20160125295A1 (en) | User-interaction toy and interaction method of the toy | |
JP2010079103A (en) | Voice interactive apparatus, program for the same, and voice interactive processing method | |
JP2018176384A (en) | Interaction device, interaction method, interaction program, and robot | |
TW201104465A (en) | Voice songs searching method | |
CN110097883A (en) | For accessing the interactive voice of the call function of corollary equipment at main equipment | |
JP6977463B2 (en) | Communication equipment, communication systems and programs | |
JPWO2019235013A1 (en) | Information processing device and information processing method | |
JP6217003B2 (en) | Terminal device, sleep behavior recording method, and sleep behavior recording program | |
JP5876530B2 (en) | Display device, information presentation method, and information presentation program | |
JP2018175627A (en) | Interaction device, interaction method, interaction program, and robot | |
JP5731890B2 (en) | Information presenting apparatus, information presenting method, and information presenting program | |
JP2004017185A (en) | Robot control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6149230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |