CN111801667B - 车辆用操作辅助装置和车辆用操作辅助方法 - Google Patents

Abstract

在具有人际关系分析单元(1A)、人际关系存储单元(1B)和辅助信息决定单元(1C)，求适于包含人际关系的乘员结构的推荐信息，提供用于辅助乘员进行的车辆操作的车辆用操作辅助装置(1)中，所述人际关系分析单元获取可能成为所述乘员的多个人的会话语音数据，确定说话者，对确定的每个说话者分析获取的会话语音数据，提取规定的关键字，根据每个说话者的所述关键字确定每个该说话者的措词，根据所述多个人的会话语音数据确定会话内容，从确定的措词和确定的会话内容，分析并量化所述多个人之间的直接的人际关系，所述人际关系存储单元预先积累可能成为所述乘员的多个人的所述直接的人际关系，所述辅助信息决定单元确定在车辆上搭乘的多个乘员，根据所述人际关系存储单元中积累的所述直接的人际关系，决定根据多个所述乘员之间的人际关系应被推荐的确定的车辆操作的辅助信息。

Description

车辆用操作辅助装置和车辆用操作辅助方法

技术领域

本发明涉及求适于包含人际关系的乘员结构的推荐信息，提供用于辅助乘员进行的各种车辆操作的车辆用操作辅助装置。

背景技术

已知以下车载装置，其收集车内的语音并且确定乘员的座席位置，根据收集到的语音和确定的落座位置，估计车内存在的乘员中的说话者，并根据收集到的语音估计会话的内容，根据确定的落座位置、估计出的说话者以及估计出的会话内容，估计乘员的结构，根据估计出的会话内容以及估计出的乘员结构估计乘员的行动目的，根据估计出的乘员结构以及估计出的行动目的，决定要推荐的建议服务(专利文献1)。具体地说，由收集到的语音的声纹图案识别个人，进而对可识别的每个人根据落座位置和乘车频度确定所有者，从收集到的语音，确定与使用会话关键字可识别出的个人的关系，作为说话者图案数据进行注册，使用注册的说话者图案数据估计乘员结构。

现有技术文献

专利文献

专利文献1:日本特开2012－133530号公报

发明内容

发明要解决的课题

但是，在上述以往技术中，为了创建精度高的说话者图案数据，需要收集与其相当次数的数据，存在对乘员提供最佳的建议服务(以下，也称为推荐信息。)之前花费大量的时间的问题。

本发明要解决的课题是，提供在短时间内求适于包含人际关系的乘员结构的推荐信息，对乘员进行的各种车辆操作提供辅助的车辆用操作辅助装置。

用于解决课题的手段

本发明获取通过除了人搭乘车辆的情况以外还能够拾音的终端机检测出的、多个人的会话语音数据，从该会话语音数据中包含的每个说话者的说话内容分析多个人之间的直接的人际关系。然后，如果多人乘车，则从该人和被量化的人际关系，决定应被推荐决定的车辆操作的辅助信息，从而解决上述课题。

发明的效果

按照本发明，由于使用与在乘车前求得的人际关系有关的信息，所以可以在短时间内求适于包含人际关系的乘员结构的推荐信息，适时地提供用于辅助乘员进行的各种车辆操作。

附图说明

图1是表示本发明的车辆用操作辅助装置的一个实施方式的方框图。

图2A是表示由图1的会话组估计单元执行的处理过程的流程图。

图2B是用于说明基于图2A的步骤S22的说话位置的组合提取处理的平面地图。

图2C是用于说明基于图2A的步骤S23的说话期间的组合提取处理的定时图。

图3A是表示由图1的直接的人际关系分析单元执行的处理过程的流程图。

图3B是表示图3A的步骤S33的说话内容的类别的分析处理中使用的类别辞典的一部分的图。

图3C是表示通过图3A的步骤S33的说话内容的类别的分析处理得到的分析结果的一个例子的曲线图。

图3D是表示在图3A的步骤S34的措词的分析处理中使用的措词辞典的一部分的图。

图3E是表示通过图3A的步骤S34的措词的分析处理得到的分析结果的一个例子的曲线图。

图4A是表示由图1的间接的人际关系估计单元执行的处理过程的流程图。

图4B是表示用于说明图4A的步骤S42的直接的人际关系的分析值的统计处理的人际关系的图。

图4C是表示通过图4A的步骤S42的直接的人际关系的分析值的统计处理得到的结果的一个例子的曲线图。

图4D是表示用于说明图4A的步骤S44的间接的人际关系的估计值的计算处理的人际关系的图。

图5是表示由图1的车辆信息学习单元执行的处理过程的流程图。

图6是表示由图1的辅助信息决定单元执行的处理过程的流程图。

具体实施方式

以下，根据附图说明本发明的一实施方式。本实施方式的车辆用操作辅助装置1是求适于包含人际关系的乘员结构的推荐信息，提供用于辅助乘员进行的各种车辆操作的装置。虽然没有特别限定，但是若为了使本申请发明的理解变得容易而举出其一个例子，则为构成车辆VH1的乘员为乘员A和乘员B，两者是钓鱼朋友这样的人际关系的情况，对于车载导航装置，将适于钓鱼场所的目的地作为选项显示或自动地设定为目的地，或者对于车载音频装置，将钓鱼节目的广播电台作为选项显示或自动播放。而且，在构成车辆VH2的乘员为乘员C和乘员D，两者为相同的公司的上司或部下这样的人际关系的情况下，对车载导航装置，出差地或午餐用餐馆等目的地作为选项显示或者自动设定为目的地，或者对于车载音频装置，将经济节目的广播电台作为选项显示或自动播放。

所谓“人际关系”，意味着根据现在或者过去的社会生活中的经验决定的、确定的人和确定的人之间的关系，虽然没有特别限定，但是若为了使本申请发明的理解变得容易而举出其一个例子，则可以分类为：父母、孩子、丈夫、妻子等家人、表兄弟、表姐妹等亲戚、这些家人、亲戚及其他亲戚关系、在公司、学校等组织中上司、部下、同事、同级生、前辈、晚辈等组织内的地位关系、兴趣、娱乐的伙伴、男朋友、女朋友、恋人等其他朋友、以及陌生人等。在本实施方式中，车辆的乘员结构意味着包含这样的人际关系。

“车辆操作”虽然未被特别限定，但是若为了使本申请发明的理解变得容易而举出其一个例子，则包含乘员进行的车辆的行驶操作(油门操作、刹车操作、变速杆操作，方向盘操作等)、导航装置的操作、音频装置的操作、汽车空调的操作、座席位置的调节操作等包含驾驶员的乘员进行的车辆的各种操作。

“适于乘员结构的推荐信息”是，在上述的乘员进行的车辆的操作上，用于实现从乘员的人际关系考虑的、可能性高的或者优选的操作的对于车辆或者车载装置的指示信息。虽然没有被特别限定，若为了使本申请发明的理解变得容易而举出其一个例子，则以上述的例子来说，作为构成乘员的乘员A和乘员B处于钓鱼朋友这样的人际关系的情况的推荐信息，可以例示对于车载导航装置的目的地的设定操作的指示信息、或对于音频装置的选台操作的指示信息等。

在车辆操作的“辅助”中，除了在乘员进行手动操作时将该选项提示给乘员之外，还包含乘员不进行手动操作而车辆用操作辅助装置1自动地进行操作的情况。在车辆用操作辅助装置1根据推荐信息自动地进行了车辆操作的情况下，在乘员对该推荐信息持有好感度时，可以减少乘员应进行的车辆操作。而且，在留下负面印象时，若该乘员对于该自动的车辆操作进行了不同的手动操作，则可以解除自动的车辆操作。

这样，本实施方式的车辆用操作辅助装置1是求适于包含人际关系的乘员结构的推荐信息，提供用于辅助乘员进行的各种车辆操作的装置，但特征是在乘车前，对人际关系进行分析或者估计而预先求出，在乘车后使用该人际关系，在短时间内求出推荐信息，提供用于辅助车辆操作。

因此，如图1所示，本实施方式的车辆用操作辅助装置1包括：人际关系分析单元1A、人际关系存储单元1B、辅助信息决定单元1C、车辆信息学习单元1D、以及操作倾向存储单元1E。并且，人际关系分析单元1A包含语音获取单元11、会话组估计单元12、直接的人际关系分析单元13以及间接的人际关系估计单元14，人际关系存储单元1B包含人际关系数据库15，辅助信息决定单元1C包含辅助信息决定单元16，车辆信息学习单元1D包含车辆信息学习单元17，操作倾向存储单元1E包含操作倾向数据库18。而且，本发明的车辆用操作辅助装置1也可以根据需要，省略车辆信息学习单元1D以及操作倾向存储单元1E，由人际关系分析单元1A、人际关系存储单元1B以及辅助信息决定单元1C构成。

本实施方式的车辆用操作辅助装置1由具有硬件以及软件的计算机构成，由存储了程序的ROM(Read Only Memory，只读存储器)、执行该ROM中存储的程序的CPU(CentralProcessing Unit，中央处理器)、具有作为可访问的存储装置的功能的RAM(Random AccessMemory。随机存取存储器)构成。而且，作为动作电路，也可以取代CPU(Central ProcessingUnit)或者与其一起，使用MPU(Micro Processing Unit，微处理单元)，DSP(DigitalSignal Processor，数字信号处理器)，ASIC(Application Specific IntegratedCircuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)等。因而，上述的人际关系分析单元1A、人际关系存储单元1B、辅助信息决定单元1C、车辆信息学习单元1D、操作倾向存储单元1E通过在ROM中确立的软件实现后述的各功能。

首先，作为本实施方式的车辆用操作辅助装置1的前提，能够成为乘员的多人分别具有日常携带或者使用的终端机TD1，TD2，TD3…(以下，作为总称也可称为TD)。作为这种终端机TD，可以使用智能手机、携带电话机、可拆装的车载设备、车辆的远程控制键(智能键(注册商标)等)、语音识别用户接口(Amazon Echo Dot(注册商标)等)。本实施方式的终端机TD具有计算机功能、用于输入会话语音数据的话筒、用于将输入的会话语音数据发送到本实施方式的车辆用操作辅助装置1的人际关系分析单元1A的通信功能、以及检测终端机TD的当前位置的GPS接收机等的位置检测功能。而且，各终端机TD将自身的ID、当前位置、拾音的会话语音数据经由因特网等无线通信线路网发送到人际关系分析单元1A的语音获取单元11。

如图1所示，人际关系分析单元1A包含语音获取单元11、会话组估计单元12、直接的人际关系分析单元13以及间接的人际关系估计单元14。

语音获取单元11经由因特网等无线通信线路网，执行上述的多个终端机TD和信息的发送接收，特别输入各终端机TD的、ID和当前位置和拾音的会话语音数据(图2A的步骤S21)。

会话组估计单元12根据被输入到语音获取单元11的各终端机TD的、ID和当前位置及拾音的会话语音数据，对于被输入到某个确定的终端机TD的会话语音数据，估计谁和谁在会话、会话的人的组(集团)。这时，还与预先注册的各终端机TD的所有者(或者也可以是确定的人。以下相同。)的声纹数据核对，确定哪个会话语音数据是谁的语音。例如，图2B是用于说明图2A的步骤S22的说话位置的组合提取处理的平面地图(纬度－经度)。如图2B所示，在说话语音数据被终端机TD1拾音的情况下，在车辆用操作辅助装置1的人际关系数据库15中，将各终端机TD的所有者的声纹数据与ID相关联注册，将被终端机TD1拾音的会话语音数据与声纹数据核对，确定是哪个ID的终端机TD的所有者的语音。

在被终端机TD拾音的会话语音数据中，除了在实际地会话的多人的会话语音数据以外，还被输入与会话无关系的人的会话语音数据。因此，会话组估计单元12通过执行基于终端机TD的位置信息的组合提取处理、以及基于说话期间的组合提取处理，估计被输入到该终端机TD的会话语音数据之中实际地进行了会话的组的人。即，终端机TD的基于位置信息的组合提取处理，通过根据被输入到语音获取单元11的各终端机TD、ID和当前位置和拾音的会话语音数据，对被终端机TD相同时刻拾音到的多个会话语音数据，提取被拾音到的位置信息接近阈值以上的组合，执行基于终端机TD的位置信息的虚拟的会话组的估计(图2A的步骤S22)。

例如，如图2B所示，拾音到会话语音数据的终端机TD1位于位置P，存在于距该位置P半径为r以内的终端机TD(在该图中为三个终端机TD2、TD3、TD4)距离较近，因此为会话组的可能性较高，所以将它们估计作为虚拟的会话组。相对于此，由于存在于距拾音到会话语音数据的终端机TD1的位置P半径r的位置的终端机TD(在该图中用4个三角标记表示的终端机)距离较远，所以是会话组的可能性较低，从虚拟的会话组中排除。

基于说话期间的组合提取处理，对于由上述的基于位置信息的组合提取处理(图2A的步骤S22)提取的被估计为属于同一组的1个以上的会话语音数据，提取说话期间(从说话开始至说话结束为止的时间间隔)的重复率或者重复时间为规定的阈值以下的彼此会话语音数据，将它们估计为在实际地进行会话的会话组(图2A的步骤S23)。

例如，图2C是用于说明图2A的步骤S23的基于说话期间的组合提取处理的定时图。如图2C所示，若用实线表示4个终端机TD1、TD2、TD3、TD4的会话语音数据的说话期间，则对于终端机TD1的人的说话期间，终端机TD2的人的说话期间基本上不重复，但是对于终端机TD1的人的说话期间，终端机TD3以及TD4的人的说话期间重复的比例较大。而且，对于终端机TD2的人的说话期间，终端机TD3以及TD4的人的说话期间重复比例也大。这样，在人彼此间进行会话的情况下，说话期间重复的比例较大这样的情况，估计为会话不成立是合理的，所以估计为终端机TD3以及TD4的人与终端机TD1以及TD2的人不构成同一个会话组，另一方面，终端机TD1以及TD2的人的说话期间基本上不重复(规定的阈值以下)，所以将它们估计为同一个会话组。会话组估计单元12确定被这样估计出的同一个会话组的会话语音数据，与终端机TD1，TD2的ID一起输出到直接的人际关系分析单元13。

直接的人际关系分析单元13具有以下功能，即，对于确定的每个说话者分析获取的会话语音数据，提取规定的关键字，根据每个说话者的关键字确定每个该说话者的措词，根据多人的会话语音数据确定会话内容，由确定的措词、确定的会话内容，分析多人之间的直接的人际关系，量化后而求得。该分析根据通过上述的会话组估计单元12估计出的属于同一个会话组的会话语音数据来执行(图3A的步骤S31)。本实施方式的直接的人际关系分析单元13通过关键字提取处理(图3A的步骤S32)、会话内容的类别的分析处理(图3A的步骤S33)、措词的分析处理(图3A的步骤S34)以及结合处理(图3A的步骤S35)来执行。

关键字提取处理是从属于同一个会话组的会话语音数据，通过公知的语音检测处理提取预先注册的多个关键字(规定的单词)的处理，会话内容的类别的分析处理是对于由关键字提取处理提取出的关键字，分类至关键字所属的类别的处理。这些关键字的提取处理和会话内容的类别的分析处理，通过参照人际关系数据库15中存储的类别辞典来进行。图3B表示图3A的步骤S33的说话内容的类别的分析处理中使用的一部分类别辞典的图。如该图所示，对于多个关键字关联一个会话内容的类别，例如在会话语音数据中包含“马拉松”的情况下表示进行分类为“运动”的会话。在会话内容的类别的分析处理中，如图3C所示计算对提取出的关键字关联的会话内容的类别的发生频度。图3C是表示通过图3A的步骤S33的说话内容的类别的分析处理得到的分析结果的一个例子的曲线图。在会话内容的类别的分析处理中，确定该图所示的发生频度较大的会话内容的类别，在图3A的步骤S35的结合处理中使用。

措词的分析处理是对由关键字提取处理提取出的关键字，分类为关键字所属的措词的处理。该处理通过参照人际关系数据库15中存储的措词辞典来进行。图3D是表示在图3A的步骤S34的措词的分析处理中使用的一部分措词辞典的图。通过措词的分析处理提取的关键字在图3A的步骤S32中被提取，但是使用与在步骤S33的会话内容的类别的分析处理中使用的关键字不同的关键字。如该图所示，对多个关键字相关联一个措词的类别，例如在会话语音数据中包含“～先生”的情况下，表示在进行被分类为“敬语或者郑重语”的会话。这里，“措词”是语言的使用方法、说话方式，如图3D所示，例如可以例示敬语或者郑重语、年轻人用语、方言、普通的措词、缩略语等。

在措词的分析处理中，一个人和另一人中措词有可能不同，如图3E所示，将对提取的关键字相关联的措词的类别的发生频度，如一各人(例如该图的左边的曲线图)和另一个人(例如该图的右边的曲线图)那样分别计算。图3E是表示通过图3A的步骤S34的措词的分析处理得到的分析结果的一个例子的曲线图。在措词使用的分析处理中，分别确定该图所示的发生频度较大的措词的类别，用于图3A的步骤S35的结合处理。

结合处理通过将与通过会话内容的类别的分析处理、措词的分析处理算出的发生频度有关的数值组合，将成为对象的人之间的人际关系量化，将其作为直接的人际关系存储在人际关系数据库15中。这里所说的“人际关系”，如已经叙述的那样，意味着通过现在或者过去的社会生活中的经验决定的、确定的人和确定的人的关系，虽然没有被特别限定，但是若为了使本申请发明的理解变得容易而举出其一个例子，则可以分类为：父母、孩子、丈夫、妻子等家人、表兄弟、表姐妹等亲戚、这些家人、亲戚及其他亲戚关系、在公司、学校等组织中上司、部下、同事、同级生、前辈、晚辈等组织内的地位关系、兴趣、娱乐的伙伴、男朋友、女朋友、恋人等其他朋友、以及陌生人等。

这样的直接的人际关系的量化，通过将与由通过会话内容的类别的分析处理、措词的分析处理算出的发生频度有关的数值组合来进行。虽然没有被特别限定，但是例如，会话内容的类别的分析结果如图3C所示那样被分类为“工作”的会话内容的发生频度较高，措词的分析结果如图3E的左右那样，一个人的措词为“普通”的发生频度较高，另一个人的措词为“敬语”的发生频度较高，所以为会社组织中的上司和部下的关系的几率为70％那样，预先根据存储在人际关系数据库15中的人际关系量化地图使用几率值等进行量化。这种被量化后的直接的人际关系被积累在人际关系数据库15中。

间接的人际关系估计单元14根据被量化的直接的人际关系，估计人际关系数据库15中存储的人之间中的、未被分析的人之间的间接的人际关系而进行量化。上述的直接的人际关系因为根据实际地进行的会话语音数据分析量化，所以称为“直接的”人际关系，但相对于此，由间接的人际关系估计单元14估计的是，根据被量化的直接的人际关系的数据估计未实际地进行了会话的人之间的人际关系的量化。从这个意义上说，称为“间接的”人际关系。

在间接的人际关系估计单元14中，执行直接的人际关系的读入处理(图4A的步骤S41)、直接的人际关系的统计处理(图4A的步骤S42)、未分析的人的组合提取处理(图4A的步骤S43)以及间接的人际关系的估计值的计算处理(图4A的步骤S44)，求得的间接的人际关系的估计值被积累在人际关系数据库15中(图4A的步骤S45)。

直接的人际关系的统计处理，通过被直接的人际关系分析单元13进行量化，考察人际关系数据库15中积累的值的相互关系来计算。具体地说，从人际关系数据库15提取直接的人际关系的值已知的3人的组合，在提取出的3人之间的三个人际关系的值中，记录将两个值设为前提的剩下的一个值。通过将该处理对于人际关系数据库15中积累的大量的组合进行统计处理，可以计算在两个人际关系V1、V2的情况下得到剩下的一个人际关系V3的几率值P(V3|V1，V2)，将其记录在人际关系数据库15中。

图4B是表示用于说明图4A的步骤S42的直接的人际关系的分析值的统计处理的人际关系的图，图4C是表示通过图4A的步骤S42的直接的人际关系的分析值的统计处理得到的结果的一个例子的曲线图。如图4B所示，假设2人的人A和人B的直接的人际关系的值V1、2人的人B和人C的直接的人际关系的值V2、2人的人C和人A的直接的人际关系的值V3对于多个3者的组合已被求得，被存储在人际关系数据库15中的值。这时，从这些多个数据，以人A和人B的直接的人际关系的值V1、人B和人C的直接的人际关系的值V2作为前提的情况下，如图4C那样以发生频度分析剩余的人C和人A的直接的人际关系的值V3表示什么样的关系。例如，就图4C所示的例子来说，得到人C和人A的直接的人际关系的值V3为“公司组织的上司和部下”的几率最高的结果。通过确立P(V3|V1，V2)计算该发生频度。该几率意味着，若人A和人B的直接的人际关系的值V1、和人B和人C的直接的人际关系的值V2已知，则可以如图4C那样通过统计的确立算出人C和人A的直接的人际关系的值V3。

如上述那样，未分析的人的组合提取处理提取实际上没有进行直接会话，因此直接的人际关系的量化的值Vn未被存储在人际关系数据库15中的2个人的组合。例如，如图4D所示，设为人Z和人X。图4D是表示用于说明图4A的步骤S44的间接的人际关系的估计值的计算处理的人际关系的图。除此外，将直接的人际关系分别对提取出的2个人Z、X被量化的人作为估计中继者提取1名以上。就图4D所示的例子来说，提取人Y。人Y与人X的直接的人际关系的值V1已知，与人Z的直接的人际关系的值V2也已知。

在间接的人际关系的计算处理中，由人际关系数据库15参照通过未分析的人的组合提取处理提取出的2个人Z、X、与估计中继者之间的直接的人际关系的值V1、V2。然后，计算以被参照的两个人际关系的值V1、V2为前提的情况下的人之间的人际关系的值Vn作为间接的人际关系，计算使通过图4A的步骤S42的统计处理得到的几率值V3成为最大的值作为间接的人际关系。而且，在被提取了多个估计中继者的情况下，也可以由几率值V3的积、或者几率值V3中表示最大几率值的值的多数表决决定。作为间接的人际关系的估计值算出的值Vn被积累在人际关系数据库15中。

人际关系存储单元1B包含人际关系数据库15，如上述那样，在人际关系数据库15中存储：与各终端机TD的所有者的ID相关联的声纹数据、图3B所示的类别辞典、图3D所示的措词辞典、在直接的人际关系分析单元13的直接的人际关系的量化处理中使用的人际关系量化地图、在直接的人际关系分析单元13中被量化的直接的人际关系、在间接的人际关系估计单元14中被统计处理的两个人际关系V1、V2的情况下的剩余一个人际关系V3的几率值P(V3|V1，V2)、在间接的人际关系估计单元14中被估计出的间接的人际关系的估计值等。

车辆信息学习单元1D包含车辆信息学习单元17，在车辆信息学习单元17中，执行乘员信息的获取处理(图5的步骤S51)、人际关系的参照处理(图5的步骤S52)、车辆信息的获取处理(图5的步骤S53)以及结合处理(图5的步骤S54)，基于求得的人际关系的操作倾向信息被积累在操作倾向数据库18中(图5的步骤S55)。

乘员信息的获取处理是获取在车辆中谁在乘车的处理。例如，可以通过将终端机TD与安装在车辆上的任意设备连接来确定乘员，或者通过检测终端机TD的位置信息和车辆的位置信息接近来确定乘员、或者通过对从安装在车辆上的摄像机获取的图像进行面部识别来确定乘员。人际关系的参照处理是对于由乘员信息获取处理获取的乘员，参照人际关系数据库15，获取该乘员之间的人际关系的值的处理。

车辆信息的获取处理是获取车辆的控制信息、车辆的状态其它的车辆信息的处理，例如，获取乘员进行的车辆的行驶操作(油门操作、刹车操作、变速杆操作、方向盘操作等)、通过导航装置设定的目的地、音频装置的操作、汽车空调的操作、车辆的当前位置、车辆的移动轨迹、当前的日期、乘车后的经过时间等车辆信息。

结合处理是，将通过车辆信息的获取处理获取的车辆信息与人际关系的参照处理结合，作为对于人际关系的操作信息存储在操作倾向数据库18中的处理。例如，在人A和人B(直接的人际关系或者间接的人际关系为V1)搭乘车辆的情况下，在通过导航装置设定的目的地为确定的钓鱼场的情况下，将人际关系V1和目的地与其发生频度一起存储在操作倾向数据库18中。而且，除了人际关系还存储人A、人B、人C等。

操作倾向存储单元1E包含操作倾向数据库18，将车辆信息学习单元17求得的人际关系和操作信息相关联积累。

辅助信息决定单元1C包含辅助信息决定单元16，确定搭乘了车辆的多个乘员，根据人际关系数据库15中积累的直接的人际关系以及间接的人际关系，决定根据多个乘员之间的人际关系应被推荐的确定的车辆操作的辅助信息。在辅助信息决定单元16中，执行乘员信息的获取处理(图6的步骤S61)、人际关系的参照处理(图6的步骤S62)、车辆信息的获取处理(图6的步骤S63)、操作倾向信息的参照处理(图6的步骤S64)以及辅助信息的决定/输出处理(图6的步骤S65)。

乘员信息的获取处理是与车辆信息学习单元17的乘员信息的获取处理(图5的步骤S51)同样的处理，即获取谁搭乘在车辆上的处理。例如可以通过将终端机TD与安装在车辆上的任意设备连接来确定乘员，或者通过检测终端机TD的位置信息和车辆的位置信息接近来确定乘员，或者通过对从安装在车辆上的摄像机获取的图像进行面部识别来确定乘员。人际关系的参照处理是与车辆信息学习单元17的人际关系的参照处理(图5的步骤S52)同样的处理，即对通过乘员信息获取处理获取的乘员，参照人际关系数据库15，获取该乘员之间的人际关系的值的处理。

车辆信息的获取处理是与车辆信息学习单元17的车辆信息的获取处理(图5的步骤S53)同样的处理，即为获取车辆的控制信息、车辆的状态及其它的车辆信息的处理，例如获取乘员进行的车辆的行驶操作(油门操作，刹车操作，变速杆操作，方向盘操作等)、通过导航装置设定的目的地、音频装置的操作、汽车空调的操作、车辆的当前位置、车辆的移动轨迹、当前的日期，乘车后的经过时间等车辆信息。

操作倾向的参照处理是，从由车辆信息学习单元17积累的操作倾向数据库18，获取乘员的人际关系的值类似、或者乘员的人际关系的值与到现在为止的车辆信息类似的情况下的、之后进行了的操作信息的处理。例如，在人A和人B(直接的人际关系或者间接的人际关系为V1)搭乘的情况下，在由导航装置设定的目的地为确定的钓鱼场这样的操作倾向信息被了积累在操作倾向数据库18中的情况下，在人际关系为V1或者与其类似的值时，参照将导航装置的目的地设定为确定的钓场这样的操作倾向信息。

辅助信息的决定/输出处理决定根据多个乘员之间的人际关系应被推荐的确定的车辆操作的辅助信息。“适于乘员结构的推荐信息”是，如上述那样，在乘员进行的车辆的操作上，用于实现从乘员的人际关系考虑的、可能性较高的或者优选的操作的对于车辆或者车载装置的指示信息。若举出一个例子，则作为构成乘员的乘员A和乘员B为钓鱼朋友这样的人际关系的情况的推荐信息，可以例示对于车载导航装置的目的地的设定操作的指示信息、或对于音频装置的选台操作的指示信息等。而且，在车辆操作的“辅助”中，除了在乘员进行手动操作时使用显示器或扬声器等对乘员提示该选项之外，还包含在乘员不进行手动操作而车辆用操作辅助装置1自动地进行操作的情况。

接着说明本实施方式的信息处理的流程。

首先，日常情况下，使用可能成为乘员的多人所持的终端机TD1、TD2、TD3、和人际关系分析单元1A，分析确定的人和确定的人的人际关系，将其量化后积累在人际关系数据库15中。具体地说，如图2A所示，语音获取单元11通过因特网等无线通信线路网，执行与多个终端机TD的信息的发送接收，特别是输入各终端机TD的ID、当前位置和拾音的会话语音数据(图2A的步骤S21)。接着，在步骤S2中，会话组估计单元12根据被输入到语音获取单元11的各终端机TD的ID和当前位置和拾音的会话语音数据，对于被输入到某个确定的终端机TD的会话语音数据，估计谁和谁在会话、进行会话的人的组(集团)。这时，会话组估计单元12根据被输入到语音获取单元11的各终端机TD的ID和当前位置和拾音的会话语音数据，通过对由终端机TD同时刻拾音的多个会话语音数据，提取被拾音的位置信息接近阈值以上的组合，执行基于终端机TD的位置信息的虚拟的会话组的估计。

接着，在图2A的步骤S23中，会话组估计单元12对于通过步骤S22自动地基于位置信息的组合提取处理提取出的、被估计为属于同一组的1个以上的会话语音数据，提取说话的期间的重复率或者重复时间为规定的阈值以下的彼此会话语音数据，估计为它们是在实际地进行会话的会话组。然后，在步骤S24中，会话组估计单元12确定这样估计出的同一个会话组的会话语音数据，与终端机TD1、TD2的ID一起输出到直接的人际关系分析单元13。

接着，如图3A所示，在步骤S31～S36中，直接的人际关系分析单元13将获取的同一组的会话语音数据，对确定的每个说话者进行分析，提取规定的关键字，根据每个说话者的关键字确定每个该说话者的措词，根据多人的会话语音数据确定会话内容，从确定的措词和确定的会话内容，分析多人之间的直接的人际关系，将其进行量化并求得。在步骤S36中，该量化后的直接的人际关系被积累在人际关系数据库15中。

通过至步骤S36为止的处理，在人际关系数据库15中积累实际地进行了会话的人之间的人际关系被量化后的值，但是也存在未被分析的人之间的人际关系。因此，间接的人际关系估计单元14在图4A的步骤S41中执行直接的人际关系的读入处理，在步骤S42中执行直接的人际关系的统计处理，在步骤S43中执行未分析的人的组合提取处理，在步骤S44中执行间接的人际关系的估计值的计算处理，在步骤S45中，将求出的间接的人际关系的估计值积累在人际关系数据库15中。

另一方面，车辆信息学习单元1D按照包含人际关系的乘员结构积累被实际地进行哪样的车辆的操作的信息，提供用于决定车辆操作的辅助信息。即，如图5所示，车辆信息学习单元17在步骤S51中执行乘员信息的获取处理，在步骤S52中执行人际关系数据库15中积累的人际关系的参照处理，在步骤S53中执行车辆信息的获取处理，在步骤S54这些结合处理，在步骤S55中，将基于求出的人际关系的操作倾向信息积累在操作倾向数据库18中。

接着，辅助信息决定单元1C确定在车辆中搭乘的多名乘员，根据人际关系数据库15中积累的直接的人际关系以及间接的人际关系，决定根据多名乘员之间的人际关系应被推荐的确定的车辆操作的辅助信息。具体地说，辅助信息决定单元16在图6的步骤S61中执行乘员信息的获取处理，在步骤S62中执行人际关系的参照处理，在步骤S63中执行车辆信息的获取处理，在步骤S64中执行操作倾向信息的参照处理，在步骤S65中执行辅助信息的决定/输出处理。

如以上那样，按照本实施方式的车辆用操作辅助装置1，预先积累可能成为乘员的多个人的所述直接的人际关系，若在车辆上搭乘多人，则确定搭乘的多名乘员，根据人际关系数据库15中积累的直接的人际关系以及间接的人际关系，决定根据多名乘员之间的人际关系应被推荐的确定的车辆操作的辅助信息，所以可以在搭乘后短时间内提供适当的车辆操作的辅助信息。

此外，按照本实施方式的车辆用操作辅助装置1，由实际地进行了会话的人之间的人际关系，量化并估计实际上未会话的人之间的人际关系，所以可以避免由于乘员的组合而遗漏车辆操作的辅助信息的错误。而且，在该间接的人际关系的估计时，对实际地进行了会话的人之间的直接的人际关系的数据进行统计处理并求得，所以可以提高其正确性。

此外，按照本实施方式的车辆用操作辅助装置1，将实际地进行了的车辆操作与此时的人际关系相关联存储，将其反映在车辆操作的辅助信息中，所以可以使根据乘员之间的人际关系被推荐的确定的车辆操作的辅助信息更接近现实的操作。

此外，按照本实施方式的车辆用操作辅助装置1，为了提取同一个会话组，将多个会话语音数据中说话位置为规定距离以下的会话语音数据群的说话者设为会话组，所以会话组的确定、进而人际关系的分析的精度提高。

此外，按照本实施方式的车辆用操作辅助装置1，为了提取同一个会话组，将多个会话语音数据中说话期间不重复规定时间以上的会话语音数据群的说话者估计作为会话组，所以会话组的确定、进而人际关系的分析的精度提高。

此外，按照本实施方式的车辆用操作辅助装置1，除了人搭乘车辆的情况以外还使用可拾音的终端机，检测可能成为乘员的多人的会话语音数据，使用可以在日常地对多人的会话语音数据进行拾音。

再者，在上述的车辆用操作辅助装置1中，构成为在人际关系分析单元1A中包含间接的人际关系估计单元14，但是也可以根据需要而将其省略。而且，在上述的车辆用操作辅助装置1中，构成为包含车辆信息学习单元1D以及操作倾向存储单元1E，在图6的步骤S64～S65中还使用操作倾向信息决定车辆操作的辅助信息，但是也可以根据需要而省略车辆信息学习单元1D以及操作倾向存储单元1E，仅通过人际关系数据库15中积累的人际关系决定车辆操作的辅助信息。

上述语音获取单元11、上述会话组估计单元12、直接的人际关系分析单元13以及间接的人际关系估计单元14相当于本发明的人际关系分析单元，上述人际关系数据库15相当于本发明的人际关系存储单元，上述辅助信息决定单元16相当于本发明的辅助信息决定单元，上述车辆信息学习单元17相当于本发明的车辆信息学习单元，上述操作倾向数据库18相当于本发明的操作倾向存储单元。

标号说明

1…车辆用操作辅助装置

1A…人际关系分析单元

11…语音获取单元

12…会话组估计单元

13…直接的人际关系分析单元

14…间接的人际关系估计单元

1B…人际关系存储单元

15…人际关系数据库

1C…辅助信息决定单元

16…辅助信息决定单元

1D…车辆信息学习单元

17…车辆信息学习单元

1E…操作倾向存储单元

18…操作倾向数据库

TD1，TD2，TD3…终端机

VH1，VH2…车辆

A，B，C，X，Y，Z…人(乘员)

V1，V2，V3…人际关系的分析值

Claims (12)

1.一种车辆用操作辅助装置，具有人际关系分析单元、人际关系存储单元和辅助信息决定单元，

所述人际关系分析单元从可能成为乘员的多个人的会话语音数据中包含的每个说话者的说话内容，获取被分析后的所述多个人之间的直接的人际关系，

所述人际关系存储单元积累可能成为所述乘员的多个人的所述直接的人际关系，

所述辅助信息决定单元确定车辆上搭乘的多个乘员，根据所述人际关系存储单元中积累的所述直接的人际关系，根据所述多个乘员之间的人际关系决定应被推荐的确定的车辆操作的辅助信息，

在所述车辆用操作辅助装置中，可能成为所述乘员的多个人的会话语音数据通过即使所述多个人未搭乘车辆也能够拾音所述多个人的语音的终端机检测出，并被发送到所述人际关系分析单元。

2.如权利要求1所述的车辆用操作辅助装置，

所述人际关系分析单元

获取可能成为所述乘员的多个人的会话语音数据，确定说话者，

对确定的每个说话者分析获取的会话语音数据，提取规定的关键字，

根据每个说话者的所述关键字确定每个该说话者的措词，

根据所述多个人的会话语音数据确定会话内容，

由确定的措词、确定的会话内容，分析并量化所述多个人之间的直接的人际关系。

3.如权利要求2所述的车辆用操作辅助装置，

所述人际关系分析单元根据被量化的所述直接的人际关系，在所述人际关系存储单元中存储的人员之间中，估计并量化未被分析的人员之间的间接的人际关系，

所述人际关系存储单元还积累所述间接的人际关系，

所述辅助信息决定单元根据所述人际关系存储单元中积累的所述直接的人际关系以及所述间接的人际关系，决定根据所述多个乘员之间的人际关系应被推荐的确定的车辆操作的辅助信息。

4.如权利要求3所述的车辆用操作辅助装置，

所述人际关系分析单元根据被量化的所述直接的人际关系，在所述人际关系存储单元中存储的人员之间中，估计并量化未被分析的人员之间的间接的人际关系的情况下，

使用已被量化的第1人和第2人的直接的人际关系V1、已被量化的所述第2人和第3人的直接的人际关系V2、已被量化的所述第3人和所述第1人的直接的人际关系V3，对多个人际关系V1、V2、V3之间的关系进行统计处理，

由已被量化的剩余的人际关系V1、V2和进行了所述统计处理的人际关系V1、V2、V3之间的关系，估计未被分析的人际关系V3′。

5.如权利要求1至4的任意一项所述的车辆用操作辅助装置，还包括：

车辆信息学习单元和操作倾向存储单元，

所述车辆信息学习单元

确定车辆中搭乘的多个乘员，

从所述人际关系存储单元提取与所述多个乘员有关的人际关系，

检测与所述车辆的操作有关的操作信息，

将提取出的人际关系和检测到的操作信息相关联，

所述操作倾向存储单元积累所述被相关联的人际关系以及操作信息，

所述辅助信息决定单元将与所述操作倾向存储单元中积累的人际关系相关联的操作信息，决定作为所述应被推荐的确定的车辆操作的辅助信息。

6.如权利要求1至4的任意一项所述的车辆用操作辅助装置，

所述人际关系分析单元在获取多个人的会话语音数据，确定说话者的情况下，

检测多个会话语音数据的说话位置，

在多个会话语音数据之中，提取所述说话位置为规定距离以下的会话语音数据群，将这些会话语音数据群的说话者设为会话组，确定属于该会话组的说话者。

7.如权利要求1至4的任意一项所述的车辆用操作辅助装置，

所述人际关系分析单元在获取多个人的会话语音数据，确定说话者的情况下，

检测多个有会话语音数据的时间，

在多个会话语音数据中，提取有所述会话语音数据的时间的重复时间为规定时间以下的会话语音数据群，将这些会话语音数据群的说话者作为会话组进行估计，确定属于该会话组的说话者。

8.如权利要求1至4的任意一项所述的车辆用操作辅助装置，

所述终端机将该终端机的ID以及位置信息发送到所述人际关系分析单元。

9.如权利要求8所述的车辆用操作辅助装置，

所述人际关系分析单元根据所述终端机的ID、所述位置信息以及所述会话语音数据，获取被分析的所述多个人之间的直接的人际关系。

10.如权利要求8所述的车辆用操作辅助装置，

所述人际关系分析单元根据所述多个终端机之间的距离，获取被分析的所述多个人之间的直接的人际关系。

11.如权利要求1至4的任意一项所述的车辆用操作辅助装置，

在所述人际关系存储单元中积累的所述直接的人际关系包含规定的人际关系及其几率值。

12.一种车辆用操作辅助方法，使用具有人际关系分析单元、人际关系存储单元和辅助信息决定单元的车辆用操作辅助装置，

通过所述人际关系分析单元从可能成为乘员的多个人的会话语音数据中包含的每个说话者的说话内容，获取被分析后的所述多个人之间的直接的人际关系，

通过所述人际关系存储单元积累可能成为所述乘员的多个人的所述直接的人际关系，

通过所述辅助信息决定单元确定车辆上搭乘的多个乘员，根据所述人际关系存储单元中积累的所述直接的人际关系，根据所述多个乘员之间的人际关系决定应被推荐的确定的车辆操作的辅助信息，

可能成为所述乘员的多个人的会话语音数据通过即使所述多个人未搭乘车辆也能够拾音所述多个人的语音的终端机检测出，并被发送到所述人际关系分析单元。