Nothing Special   »   [go: up one dir, main page]

CN111568447A - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN111568447A
CN111568447A CN202010099270.8A CN202010099270A CN111568447A CN 111568447 A CN111568447 A CN 111568447A CN 202010099270 A CN202010099270 A CN 202010099270A CN 111568447 A CN111568447 A CN 111568447A
Authority
CN
China
Prior art keywords
information
user
emotion
acquisition unit
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010099270.8A
Other languages
English (en)
Inventor
铃木浩介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111568447A publication Critical patent/CN111568447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

一种信息处理装置和信息处理方法。信息处理装置(12)具有内部摄像头开关信息获取部(74)、使用者图像获取部(76)、车辆信息获取部(78)、使用者信息获取部(80)和情感推定部(88)，其中所述内部摄像头开关信息获取部(74)获取停止对汽车(10)的使用者进行拍摄的关闭信息；所述使用者图像获取部(76)获取拍摄使用者得到的图像；所述车辆信息获取部(78)获取包括汽车(10)的行为的车辆信息；所述使用者信息获取部(80)获取使用者的信息即使用者信息；所述情感推定部(88)至少在获取到关闭信息的情况下根据获取到的车辆信息和使用者信息来推定使用者的情感。据此，即使在对使用者进行的拍摄处于停止状态的情况下也能推定使用者的情感。

Description

信息处理装置和信息处理方法
技术领域
本发明涉及一种推定移动体使用者的情感的信息处理装置和信息处理方法。
背景技术
在日本发明专利公开公报特开2017-138762号中公开一种情感推定装置，该情感推定装置通过车厢内摄像头来检测驾驶员的行为，且按照检测到的驾驶员的行为来推定驾驶员的情感。
发明内容
然而，根据上述日本发明专利公开公报特开2017-138762号所记载的技术，在通过车厢内摄像头对驾驶员(使用者)进行的拍摄处于停止状态的情况下，无法对驾驶员的情感进行推定。
本发明是为了解决上述问题而完成的，其目的在于，提供一种即使在对使用者进行的拍摄处于停止状态的情况下也能推定使用者情感的信息处理装置和信息处理方法。
本发明的第1方式是一种信息处理装置，具有关闭信息获取部、图像获取部、移动体信息获取部、使用者信息获取部和推定部，其中，所述关闭信息获取部获取停止对移动体的使用者进行拍摄的关闭信息；所述图像获取部获取拍摄所述使用者得到的图像；所述移动体信息获取部获取移动体信息，该移动体信息包括所述移动体的行为；所述使用者信息获取部获取所述使用者的信息即使用者信息；所述推定部至少在获取到所述关闭信息的情况下根据获取到的所述移动体信息和所述使用者信息来推定所述使用者的情感。
本发明的第2方式是一种信息处理方法，具有关闭信息获取步骤、图像获取步骤、移动体信息获取步骤、使用者信息获取步骤和推定步骤，其中，在所述关闭信息获取步骤中，获取停止对移动体的使用者进行拍摄的关闭信息；在所述图像获取步骤中，获取拍摄所述使用者得到的图像；在所述移动体信息获取步骤中，获取包括所述移动体的行为的移动体信息；在所述使用者信息获取步骤中，获取所述使用者的信息即使用者信息；在所述推定步骤中，至少在获取到所述关闭信息的情况下根据获取到的所述移动体信息和所述使用者信息来推定所述使用者的情感。
根据本发明的信息处理装置和信息处理方法，即使在对使用者进行的拍摄处于停止状态的情况下也能推定使用者的情感。
根据参照附图对以下实施方式进行的说明，上述的目的、特征和优点应易于被理解。
附图说明
图1是表示信息处理装置的结构的框图。
图2是说明根据机械学习装置的学习结果进行情感推定的概要的图。
图3表示推定为使用者的情感为困倦时虚拟助手(virtual assistant)的建议例的图。
图4是表示推定为使用者的情感为焦躁感时虚拟助手的建议例的图。
图5是表示在机械学习装置中进行的机械学习处理的流程的流程图。
图6是表示在信息处理装置中进行的虚拟助手控制处理的流程的流程图。
图7是表示信息处理装置的结构的框图。
具体实施方式
〔第1实施方式〕
[信息处理装置的结构]
图1是表示搭载于本实施方式的汽车10的信息处理装置12的结构的框图。本实施方式的信息处理装置12被搭载于汽车10，但信息处理装置12也可以搭载于使用者带入汽车10的智能手机、平板或者个人计算机等信息处理设备。另外，信息处理装置12也可以搭载于被设置于汽车10外部的服务器，该服务器能与汽车10进行通信。另外，汽车10相当于本发明的移动体。
信息处理装置12推定乘坐汽车10的使用者的情感，按照推定出的情感，通过后述的虚拟助手112向使用者进行休息、重放音乐等建议。另外，信息处理装置12按照向使用者建议的事项来操作汽车10内的装置。
信息处理装置12从搭载于汽车10的以下输入装置输入信息。汽车10搭载有车体行为获取装置14、操作量获取装置16、周边状况监视装置18、定位装置20、导航装置22、使用者监视装置24、通信装置26、输入系统的人机接口(以下称为HMI)28作为输入装置。
车体行为获取装置14获取汽车10的车体行为信息。汽车10具有车速传感器30、车轮速度传感器32、加速度传感器34和偏航角速率传感器36作为车体行为获取装置14，其中，车速传感器30获取车速，车轮速度传感器32获取车轮速度，加速度传感器34获取汽车10的前后加速度、横向加速度和上下加速度，偏航角速率传感器36获取汽车10的偏航角速率。
操作量获取装置16获取使用者的驾驶操作的操作量信息。汽车10具有加速踏板传感器38、制动踏板传感器40、操舵角传感器42和操舵扭矩传感器44作为操作量获取装置16，其中，加速踏板传感器38获取加速踏板的操作量，制动踏板传感器40获取制动踏板的操作量，操舵角传感器42获取方向盘的操舵角，操舵扭矩传感器44获取施加于方向盘的操舵扭矩。
周边状况监视装置18监视汽车10的周边状况。所谓周边状况表示汽车10周边的其他车辆、建筑物、标识、车道等状况。汽车10具有多个外部摄像头46、多个毫米波雷达48和多个激光雷达(LiDAR)50作为周边状况监视装置18，其中，多个外部摄像头46拍摄汽车10外部，多个毫米波雷达48使用毫米波获取被检测物与汽车10的距离等，多个激光雷达(LiDAR)50使用激光(红外线)获取被检测物与汽车10的距离等。
定位装置20获取汽车10的位置信息。汽车10具有全球定位卫星系统(GNSS)52和惯性测量装置(IMU)54作为定位装置20，其中，全球定位卫星系统(GNSS)52使用从人造卫星发出的信号来测定汽车10的位置，惯性测量装置(IMU)54使用3轴的陀螺仪和3方向的加速度传感器获取汽车10的三维行为。
导航装置22使后述的显示器72显示根据地图数据库56制成的地图，另外，在该地图上显示在定位装置20中获取到的汽车10的位置信息。并且，导航装置22根据使用者对后述的触摸屏64的操作来设定汽车10的目的地，且设定从汽车10的当前位置到目的地的目标路径。导航装置22控制显示器72以根据所设定的目标路径显示路径引导。另外，导航装置22控制后述的扬声器70以根据所设定的目标路径利用语音进行路径引导。地图数据库56的信息、在导航装置22中设定的目标值和目标路径的信息被输入信息处理装置12。另外，地图数据库56也可以不搭载于汽车10，也可以通过后述的通信装置26从设置于外部的服务器来获取地图信息。另外，导航装置22也可以通过通信装置26，从高速公路交通系统(ITS)等获取拥堵信息、施工信息等道路信息，且控制显示器72以在地图上显示道路信息。
使用者监视装置24监视使用者的状态。汽车10具有内部摄像头58和生物体传感器60作为使用者监视装置24，其中，内部摄像头58拍摄乘坐汽车10的使用者，生物体传感器60测量乘坐汽车10的使用者的心跳次数、脉搏、脑电波或者呼吸频率等生物体信息。生物体传感器60可以搭载于方向盘等使用者的手接触的位置，也可以搭载于汽车10的座椅等使用者身体接触的位置，也可以搭载于使用者佩戴在身上的可佩戴式终端。并且，生物体传感器60也可以是向使用者照射电波，根据反射的电波来测量使用者的生物体信息的非接触式传感器。
通信装置26在与未图示的外部设备之间进行无线通信。外部设备例如是发送拥堵信息、施工信息等道路信息的道路信息发布服务器、发布气象信息的气象信息发布服务器等。通信装置26可以是如远程信息处理控制单元(TCU)等那样专门设置于汽车10的装置，也可以将移动电话、智能手机等作为通信装置26使用。
输入系统的HMI28通过被使用者操作而将规定的信号发送给信息处理装置12。本实施方式的汽车10具有内部摄像头开关62和触摸屏64作为输入系统的HMI28。
内部摄像头开关62是在开启状态(接通状态)与关闭状态(断开状态)之间切换的开关，其中，所述开启状态是由前述的内部摄像头58拍摄使用者的状态；所述关闭状态是停止由内部摄像头58拍摄使用者的状态。
触摸屏64是粘贴在后述的显示器72的屏幕上的透明膜状的部件，获取使用者的手指、手写笔等接触的操作位置信息。根据由触摸屏64获取到的操作位置信息与显示于显示器72的图标等的显示位置的关系，向信息处理装置12输入来自使用者的指示。
信息处理装置12向搭载于汽车10的以下输出装置输出信息。作为输出装置，在汽车10上搭载有输出系统的HMI66和视听装置(以下还称为AV装置)68。
输出系统的HMI 66通过声音、语音、音乐、文字和图像等来向使用者进行信息的提供或告知。本实施方式的汽车10具有扬声器70和显示器72作为HMI 66。扬声器70通过声音、语音、音乐等向使用者进行信息的提供或告知。显示器72通过文字、图像等向使用者进行信息的提供或告知。
AV装置68接收广播播放信号、电视播放信号等，且控制扬声器70和显示器72以按照接收到的信号输出声音、语音、音乐、文字和图像等。另外，可以将从扬声器70和显示器72输出的声音、语音、音乐、文字和图像等存储在AV装置68内，也可以将其存储于移动存储介质，也可以将其流传输。
信息处理装置12具有内部摄像头开关信息获取部74、使用者图像获取部76、车辆信息获取部78、使用者信息获取部80、道路信息获取部82、气象信息获取部84、学习结果获取部86、情感推定部88和虚拟助手控制部90。
内部摄像头开关信息获取部74获取内部摄像头开关62的状态(开启或者关闭)。另外，内部摄像头开关信息获取部74相当于本发明的关闭信息获取部。
使用者图像获取部76从内部摄像头58获取使用者的图像。在内部摄像头开关62为关闭状态的情况下，不获取使用者的图像。另外，使用者图像获取部76相当于本发明的图像获取部。
车辆信息获取部78从车体行为获取装置14获取汽车10的车体行为信息作为车辆信息。另外，车辆信息获取部78从定位装置20获取汽车10的位置信息作为车辆信息。另外，车辆信息获取部78相当于本发明的移动体信息获取部。
使用者信息获取部80从操作量获取装置16获取使用者的驾驶操作的操作量信息作为使用者信息。
道路信息获取部82从导航装置22或者通信装置26获取道路信息。
气象信息获取部84从通信装置26获取气象信息。
学习结果获取部86在后述的机械学习装置92中获取按每一使用者来对使用者的情感与车辆信息和使用者信息之间的关联进行机械学习的学习结果。
在内部摄像头开关62的状态为开启的情况下，情感推定部88根据获取到的使用者的图像推定使用者的情感。另外，在内部摄像头开关62的状态为关闭的情况下，情感推定部88根据获取到的车辆信息、使用者信息、道路信息和气象信息推定使用者的情感。情感推定部88可以不使用车辆信息、使用者信息、道路信息和气象信息的全部信息来推定使用者的情感，至少根据车辆信息和使用者信息来推定使用者的情感即可。另外，情感推定部88相当于本发明的推定部。
虚拟助手控制部90根据推定出的使用者的情感，控制后述的虚拟助手112。
并且，在汽车10上搭载有机械学习装置92。机械学习装置92从信息处理装置12获取使用者的图像，且根据获取到的使用者的图像推定使用者的情感。另外，机械学习装置92从信息处理装置12获取车辆信息、使用者信息、道路信息和气象信息。并且，机械学习装置92对推定出的使用者的情感与获取到的车辆信息、使用者信息、道路信息及气象信息的关联进行机械学习，且按每一使用者存储学习结果。
另外，本实施方式的机械学习装置92被搭载于汽车10，但机械学习装置92也可以搭载于使用者带入汽车10的智能手机、平板或者个人计算机等信息处理终端。另外，机械学习装置92也可以搭载于被设置于汽车10外部的服务器，该服务器能与汽车10进行通信。
机械学习装置92具有内部摄像头开关信息获取部94、使用者图像获取部96、车辆信息获取部98、使用者信息获取部100、道路信息获取部102、气象信息获取部104、情感推定部106、学习部108和学习结果存储部110。
内部摄像头开关信息获取部94从信息处理装置12获取内部摄像头开关62的状态(开启或者关闭)。
使用者图像获取部96从信息处理装置12获取使用者的图像。
车辆信息获取部98从信息处理装置12获取车辆信息(汽车10的车体行为信息和位置信息)。
使用者信息获取部100从信息处理装置12获取使用者信息(使用者的驾驶操作的操作量信息)。
道路信息获取部102从信息处理装置12获取道路信息。
气象信息获取部104从信息处理装置12获取气象信息。
情感推定部106根据使用者的图像，推定使用者的情感。
学习部108对推定出的使用者的情感与此时获取到的车辆信息、使用者信息、道路信息及气象信息的关联进行机械学习。
学习结果存储部110按每一使用者存储关于使用者的情感与车辆信息、使用者信息、道路信息及气象信息的关联的学习结果。
[基于学习结果的情感推定的概要]
图2是说明根据机械学习装置92中的机械学习和信息处理装置12中的学习结果来进行情感推定的概要的图。
机械学习装置92的情感推定部106对使用者的图像进行解析，推定使用者的情感。
在推定出的使用者的情感为平静的情况下，学习部108将此时获取到的车辆信息、使用者信息、道路信息和气象信息作为“平静的状态”进行学习。在推定出的使用者的情感为焦躁感的情况下，即，在使用者处于烦躁状态的情况下，学习部108将此时获取到的车辆信息、使用者信息、道路信息和气象信息作为“有焦躁感的状态”进行学习。在推定出的使用者的情感为困倦的情况下，学习部108将此时获取到的车辆信息、使用者信息，道路信息和气象信息作为“困倦的状态”进行学习。本实施方式的机械学习装置92的学习部108学习与平静、焦躁感、困倦这3种使用者的情感对应的车辆信息、使用者信息、道路信息和气象信息，但也可以学习与更多的使用者的情感对应的车辆信息、使用者信息、道路信息和气象信息。
学习结果存储部110分别针对“平静的状态”、“有焦躁感的状态”、“困倦的状态”，来存储车辆信息、使用者信息、道路信息和气象信息作为学习结果。
信息处理装置12的学习结果获取部86获取存储于学习结果存储部110的学习结果。
情感推定部88在学习结果中查询与获取到的车辆信息、使用者信息、道路信息和气象信息对应的使用者的情感，来推定使用者的情感。
[虚拟助手的建议的具体例]
图3是表示推定为使用者的情感为困倦时虚拟助手112的建议例的图。
虚拟助手112被显示于显示器72。另外，从扬声器70发出虚拟助手112的语音。本实施方式的虚拟助手112显示为将人图形化的人物(character)，但也可以显示为将动物、机器人等图形化的人物。另外，也可以显示实际上拍摄人得到的影像。并且，也可以不将虚拟助手112显示于显示器72，而仅从扬声器70发出语音。
在使用者困倦的情况下，虚拟助手112例如进行休息的建议。此时，虚拟助手112向使用者建议“喝杯咖啡休息一下如何？附近有咖啡厅呦”。另外，虚拟助手112使显示器72显示汽车10的周边地图114，使周边地图114上显示汽车10的当前位置116和邻近的咖啡厅118。
图4是表示推定为使用者的情感为焦躁感时虚拟助手112的建议例的图。
在汽车10陷于拥堵状态而使用者感到烦躁的情况下，虚拟助手112例如进行播放音乐的建议。此时，虚拟助手112向使用者建议“拥堵很严重呀，听音乐放松一下如何”。另外，虚拟助手112选择能使使用者的情感稳定的音乐，且使显示器72显示所选择的音乐信息120。
[机械学习处理]
图5是表示在机械学习装置92中进行的机械学习处理的流程的流程图。
在步骤S1中，机械学习装置92判定内部摄像头开关信息获取部94获取到的内部摄像头开关62的状态是否为开启。在内部摄像头开关62的状态为开启的情况下转移到步骤S2，在内部摄像头开关62的状态为关闭的情况下结束机械学习处理。
在步骤S2中，车辆信息获取部98从信息处理装置12获取车辆信息(汽车10的车体行为信息和位置信息)，转移到步骤S3。
在步骤S3中，使用者信息获取部100从信息处理装置12获取使用者信息(使用者的驾驶操作的操作量信息)，转移到步骤S4。
在步骤S4中，道路信息获取部102从信息处理装置12获取道路信息，转移到步骤S5。
在步骤S5中，气象信息获取部104从信息处理装置12获取气象信息，转移到步骤S6。
在步骤S6中，使用者图像获取部96从信息处理装置12获取使用者的图像，转移到步骤S7。
在步骤S7中，情感推定部106根据使用者的图像推定使用者的情感，转移到步骤S8。
在步骤S8中，学习部108判定使用者的情感。在使用者的情感为平静的情况下转移到步骤S9，在使用者的情感为焦躁感的情况下转移到步骤S10，在使用者的情感为困倦的情况下转移到步骤S11。
在步骤S9中，学习部108使学习结果存储部110将获取到的车辆信息、使用者信息、道路信息和气象信息作为“平静时的状态”进行存储，结束机械学习处理。
在步骤S10中，学习部108使学习结果存储部110将获取到的车辆信息、使用者信息、道路信息和气象信息作为“有焦躁感时的状态”进行存储，结束机械学习处理。
在步骤S11中，学习部108使学习结果存储部110将获取到的车辆信息、使用者信息、道路信息和气象信息作为“困倦时的状态”进行存储，结束机械学习处理。
[虚拟助手控制处理]
图6是表示在信息处理装置12中进行的虚拟助手控制处理的流程的流程图。
在步骤S21中，信息处理装置12判定内部摄像头开关信息获取部74获取到的内部摄像头开关62的状态是否为关闭。在内部摄像头开关62的状态为关闭的情况下转移到步骤S22，在内部摄像头开关62的状态为开启的情况下转移到步骤S28。
在步骤S22中，车辆信息获取部78从车体行为获取装置14和定位装置20获取车辆信息(汽车10的车体行为信息和位置信息)，转移到步骤S23。
在步骤S23中，使用者信息获取部80从操作量获取装置16获取使用者信息(使用者的驾驶操作的操作量信息)，转移到步骤S24。
在步骤S24中，道路信息获取部82从导航装置22或者通信装置26获取道路信息，转移到步骤S25。
在步骤S25中，气象信息获取部84从通信装置26获取气象信息，转移到步骤S26。
在步骤S26中，学习结果获取部86获取存储于机械学习装置92的学习结果存储部110的学习结果，转移到步骤S27。
在步骤S27中，情感推定部88在学习结果中查询与获取到的车辆信息、使用者信息、道路信息和气象信息对应的使用者的情感，来推定使用者的情感，转移到步骤S30。
在步骤S21中，在内部摄像头开关62的状态为开启的情况下，转移到步骤S28。在步骤S28中，使用者图像获取部76获取内部摄像头58拍摄到的使用者的图像，转移到步骤S29。
在步骤S29中，情感推定部88根据获取到的使用者的图像推定使用者的情感，转移到步骤S30。
在步骤S30中，虚拟助手控制部90按照推定出的使用者的情感，确定向使用者建议的建议事项，转移到步骤S31。并且，虚拟助手控制部90也可以考虑获取到的车辆信息、使用者信息、道路信息和气象信息来确定建议事项。例如，当使用者的情感为困倦且在汽车10附近有咖啡厅时，虚拟助手控制部90确定在咖啡厅休息作为建议事项。
在步骤S31中，虚拟助手控制部90控制显示器72以显示虚拟助手112。另外，虚拟助手控制部90控制扬声器70以使用语音向使用者建议虚拟助手112所确定的建议事项，转移到步骤S32。
在步骤S32中，虚拟助手112根据所确定的建议事项控制其他装置，结束虚拟助手控制处理。例如，在虚拟助手控制部90确定在咖啡厅休憩作为建议事项的情况下，虚拟助手控制部90控制导航装置22，以在显示器72上显示汽车10的周边地图114，且在周边地图114上显示汽车10的当前位置116和邻近的咖啡厅118。
[作用效果]
现有技术中，提出了根据内部摄像头58拍摄到的使用者的图像来推定使用者的情感的技术。然而，有时不希望由内部摄像头58来拍摄使用者。在该情况下，内部摄像头58的拍摄被停止，在此期间无法根据使用者的图像推定使用者的情感。
因此，本实施方式的信息处理装置12在内部摄像头开关62为关闭的情况下，根据车辆信息和使用者信息推定使用者的情感。据此，即使在内部摄像头58的拍摄处于停止状态的情况下，信息处理装置12也能够推定使用者的情感。
另外，本实施方式的信息处理装置12从机械学习装置92获取学习结果。该学习结果是在机械学习装置92中根据使用者的图像来推定使用者的情感，且按每一使用者对推定出的使用者的情感与获取到的车辆信息和使用者信息之间的关联进行机械学习的结果。然后，信息处理装置12根据获取到的车辆信息和使用者信息、获取到的学习结果推定使用者的情感。据此，即使在内部摄像头58的拍摄处于停止状态的情况下，信息处理装置12也能高精度地推定使用者的情感。
〔变形例〕
在第1实施方式中，机械学习装置92根据内部摄像头58拍摄到的使用者的图像推定使用者的情感。也可以根据生物体传感器60测量到的使用者的生物体信息来推定使用者的情感。
在机械学习装置92中，可以进行基于使用者图像的使用者情感的推定和基于使用者生物体信息的使用者情感的推定双方，也可以进行一方。
与内部摄像头58的拍摄同样，有时使用者不希望由生物体传感器60进行测量。在该情况下，生物体传感器60的测量被停止，在此期间，无法根据使用者的生物体信息推定使用者的情感。因此，有效的方式是：即使在生物体传感器60的测量处于停止状态的情况下，也如第1实施方式的信息处理装置12那样，根据获取到的车辆信息和使用者信息、获取到的学习结果来推定使用者的情感。
下面，对根据生物体传感器60测量到的使用者的生物体信息推定使用者的情感的情况下的信息处理装置12的结构进行说明。信息处理装置12的各处理可以为，将在第1实施方式中使用内部摄像头58拍摄到的使用者的图像进行的处理，设为使用生物体传感器60测量到的使用者的生物体信息进行处理。
图7是表示信息处理装置12的结构的框图。下面，仅说明与第1实施方式不同的结构。
输入系统的HMI28代替第1实施方式的内部摄像头开关62而具有生物体传感器开关63。
生物体传感器开关63是在开启状态与关闭状态之间进行切换的开关，其中，所述开启状态是由生物体传感器60对使用者的生物体信息进行测量的状态；所述关闭状态是停止生物体传感器60对使用者的生物体信息的测量的状态。
信息处理装置12代替第1实施方式的内部摄像头开关信息获取部74而具有生物体传感器开关信息获取部75，代替第1实施方式的使用者图像获取部76而具有生物体信息获取部77。
生物体传感器开关信息获取部75获取生物体传感器开关63的状态(开启或者关闭)。另外，生物体传感器开关信息获取部75相当于本发明的关闭信息获取部。
生物体信息获取部77从生物体传感器60获取使用者的生物体信息。在生物体传感器60为关闭状态的情况下，不获取使用者的生物体信息。另外，所谓关闭状态还包括无法获取来自生物体传感器60的信息的情况。
机械学习装置92代替第1实施方式的内部摄像头开关信息获取部94而具有生物体传感器开关信息获取部95，代替使用者图像获取部96而具有生物体信息获取部97。
〔根据实施方式能得到的技术思想〕
以下记载根据上述实施方式能掌握的技术思想。
信息处理装置(12)具有关闭信息获取部(74)、图像获取部(76)、移动体信息获取部(78)、使用者信息获取部(80)和推定部(88)，其中，所述关闭信息获取部(74)获取停止对移动体(10)的使用者进行拍摄的关闭信息；所述图像获取部(76)获取拍摄所述使用者得到的图像；所述移动体信息获取部(78)获取移动体信息，该移动体信息包括所述移动体的行为；所述使用者信息获取部(80)获取所述使用者的信息即使用者信息；所述推定部(88)至少在获取到所述关闭信息的情况下根据获取到的所述移动体信息和所述使用者信息来推定所述使用者的情感。据此，即使在内部摄像头的拍摄处于停止状态的情况下，信息处理装置也能够推定使用者的情感。
也可以为：在上述的信息处理装置中，所述移动体信息包括所述移动体的位置信息。据此，即使在内部摄像头的拍摄处于停止状态的情况下，信息处理装置也能够高精度地推定使用者的情感。
也可以为：在上述的信息处理装置中，具有学习结果获取部(86)，该学习结果获取部(86)根据获取到的所述图像来推定所述使用者的情感，且获取关于推定出的所述使用者的情感与获取到的所述移动体信息和所述使用者信息之间的关联按每一所述使用者进行机械学习的结果，所述推定部根据获取到的所述移动体信息和所述使用者信息与获取到的所述机械学习的结果，来推定所述使用者的情感。据此，即使在内部摄像头的拍摄处于停止状态的情况下，信息处理装置也能够高精度地推定使用者的情感。
也可以为：在上述的信息处理装置中，所述推定部至少推定出困倦来作为所述使用者的情感。据此，即使在内部摄像头的拍摄处于停止状态的情况下，信息处理装置也能推定出困倦作为使用者的情感。
信息处理方法具有关闭信息获取步骤、图像获取步骤、移动体信息获取步骤、使用者信息获取步骤和推定步骤，在所述关闭信息获取步骤中，获取停止对移动体(10)的使用者进行拍摄的关闭信息；在图像获取步骤中，获取拍摄所述使用者得到的图像；在所述移动体信息获取步骤中，获取包括所述移动体的行为的移动体信息；在所述使用者信息获取步骤中，获取所述使用者的信息即使用者信息；在所述推定步骤中，至少在获取到所述关闭信息的情况下根据获取到的所述移动体信息和所述使用者信息来推定所述使用者的情感。据此，即使在内部摄像头的拍摄处于停止状态的情况下，信息处理装置也能够推定使用者的情感。
信息处理装置(12)具有关闭信息获取部(75)、生物体信息获取部(77)、移动体信息获取部(78)、使用者信息获取部(80)和推定部(88)，其中，所述关闭信息获取部(75)获取停止测量移动体(10)的使用者的生物体信息的关闭信息；所述生物体信息获取部(77)获取测量到的所述使用者的所述生物体信息；所述移动体信息获取部(78)获取包括所述移动体的行为的移动体信息；所述使用者信息获取部(80)获取所述使用者的信息即使用者信息；所述推定部(88)至少在获取到所述关闭信息的情况下根据获取到的所述移动体信息和所述使用者信息来推定所述使用者的情感。据此，即使在由生物体传感器进行的生物体信息的测量处于停止状态的情况下，信息处理装置也能推定使用者的情感。

Claims (5)

1.一种信息处理装置(12)，其特征在于，
具有关闭信息获取部(74)、图像获取部(76)、移动体信息获取部(78)、使用者信息获取部(80)和推定部(88)，其中，
所述关闭信息获取部(74)获取停止对移动体(10)的使用者进行拍摄的关闭信息；
所述图像获取部(76)获取拍摄所述使用者得到的图像；
所述移动体信息获取部(78)获取移动体信息，该移动体信息包括所述移动体的行为；
所述使用者信息获取部(80)获取所述使用者的信息即使用者信息；
所述推定部(88)至少在获取到所述关闭信息的情况下根据获取到的所述移动体信息和所述使用者信息来推定所述使用者的情感。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述移动体信息包括所述移动体的位置信息。
3.根据权利要求1或2所述的信息处理装置，其特征在于，
具有学习结果获取部，该学习结果获取部根据获取到的所述图像来推定所述使用者的情感，且获取关于推定出的所述使用者的情感与获取到的所述移动体信息和所述使用者信息之间的关联按每一所述使用者进行机械学习得到的结果，
所述推定部根据获取到的所述移动体信息和所述使用者信息与获取到的所述机械学习的结果，来推定所述使用者的情感。
4.根据权利要求1或2所述的信息处理装置，其特征在于，
所述推定部至少推定出困倦来作为所述使用者的情感。
5.一种信息处理方法，其特征在于，
具有关闭信息获取步骤、图像获取步骤、移动体信息获取步骤、使用者信息获取步骤和推定步骤，其中，
在所述关闭信息获取步骤中，获取停止对移动体(10)的使用者进行拍摄的关闭信息；
在所述图像获取步骤中，获取拍摄所述使用者得到的图像；
在所述移动体信息获取步骤中，获取包括所述移动体的行为的移动体信息；
在所述使用者信息获取步骤中，获取所述使用者的信息即使用者信息；
在所述推定步骤中，至少在获取到所述关闭信息的情况下根据获取到的所述移动体信息和所述使用者信息来推定所述使用者的情感。
CN202010099270.8A 2019-02-18 2020-02-18 信息处理装置和信息处理方法 Pending CN111568447A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019026460A JP2020130502A (ja) 2019-02-18 2019-02-18 情報処理装置および情報処理方法
JP2019-026460 2019-02-18

Publications (1)

Publication Number Publication Date
CN111568447A true CN111568447A (zh) 2020-08-25

Family

ID=72042610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010099270.8A Pending CN111568447A (zh) 2019-02-18 2020-02-18 信息处理装置和信息处理方法

Country Status (3)

Country Link
US (1) US20200265252A1 (zh)
JP (1) JP2020130502A (zh)
CN (1) CN111568447A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2019006648A (es) * 2019-06-06 2020-12-07 Affect Sense S C Sistema de monitoreo, proceso, analisis y almacenamiento de señales fisiologicas para el reconocimiento de emociones.

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179406A1 (ja) * 2017-03-31 2018-10-04 本田技研工業株式会社 車載装置、情報管理サーバ、情報管理システム、および方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179406A1 (ja) * 2017-03-31 2018-10-04 本田技研工業株式会社 車載装置、情報管理サーバ、情報管理システム、および方法

Also Published As

Publication number Publication date
US20200265252A1 (en) 2020-08-20
JP2020130502A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
EP3655834B1 (en) Vehicle control device and vehicle control method
EP3232289B1 (en) Information presentation control method and autonomous vehicle, and autonomous-vehicle driving support system
CN110023168B (zh) 车辆控制系统、车辆控制方法及车辆控制程序
US7711485B2 (en) Merge support system
US20170343375A1 (en) Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions
US20200377126A1 (en) Information output control device and information output control method
US20190041652A1 (en) Display system, display method, and program
CN109890662B (zh) 车辆控制系统、车辆控制方法及存储介质
CN107428252B (zh) 用于在自主驾驶模式期间操作机动车辆的通信装置的方法，通信装置以及机动车辆
JP2016215658A (ja) 自動運転装置および自動運転システム
JP6033689B2 (ja) クルーズコントロール装置及びその方法、並びに車両特定装置
CN110462702B (zh) 行驶路径提供系统及其控制方法、以及介质
EP3882883A1 (en) Information processing device, information processing method, and program
US11423778B2 (en) Device and method for controlling the output of driver information and for maintaining the attention of a driver of an automated vehicle
CN115349144B (zh) 提示控制装置以及持续性计算机读取介质
JP2020192877A (ja) 制御装置、制御方法、およびプログラム
CN111568447A (zh) 信息处理装置和信息处理方法
JP7176187B2 (ja) 走行支援方法及び走行支援装置
JP2017182418A (ja) 運転支援装置及び運転支援システム
JP2020154375A (ja) 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム
CN116547729A (zh) 关注对象共享装置、关注对象共享方法
JP7151400B2 (ja) 情報処理システム、プログラム、及び制御方法
JP7552556B2 (ja) アンケート装置、評価装置、アンケート方法、プログラム
US20230260335A1 (en) Information processing system, information terminal, information processing method, and recording medium
CN111355925B (zh) 控制装置、车辆、图像显示系统和图像显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825