Nothing Special   »   [go: up one dir, main page]

CN110780707B - 信息处理设备、信息处理方法与计算机可读介质 - Google Patents

信息处理设备、信息处理方法与计算机可读介质 Download PDF

Info

Publication number
CN110780707B
CN110780707B CN201911113504.3A CN201911113504A CN110780707B CN 110780707 B CN110780707 B CN 110780707B CN 201911113504 A CN201911113504 A CN 201911113504A CN 110780707 B CN110780707 B CN 110780707B
Authority
CN
China
Prior art keywords
information
unit
user
recognition
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911113504.3A
Other languages
English (en)
Other versions
CN110780707A (zh
Inventor
村田诚
涩谷直树
高林纯子
泷本裕士
佐藤浩司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201911113504.3A priority Critical patent/CN110780707B/zh
Publication of CN110780707A publication Critical patent/CN110780707A/zh
Application granted granted Critical
Publication of CN110780707B publication Critical patent/CN110780707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及信息处理设备、信息处理方法与计算机可读介质。一种信息处理设备，包括：处理器，被配置为：接收与用户周围的环境相关的用户环境信息；对包括图像信息的用户环境信息执行识别处理；利用机器学习模型，通过参考特征量来输出对图像信息中包括的多个对象的分类；以及基于作为识别处理的结果的对象的分类来生成表示用户环境信息的状况的状况候选信息，其中，机器学习模型根据提前收集的多个图像而构建。

Description

信息处理设备、信息处理方法与计算机可读介质
本申请是申请号为201580023469X，申请日为2015年3月17日，发明创造名称为“信息处理设备、信息处理方法与程序”的发明专利申请的分案申请。
技术领域
本公开涉及一种信息处理设备、信息处理方法与程序。
背景技术
近年来，广泛使用基于互联网的社交网络服务(SNS)等，作为记录个人的自身行动或者向特定或不特定的多数人公开个人的自身行动的工具。
在此处，通过创作由用户自己要投稿的文章(article，记事)，根据需要将图像数据等添附到该文章，并且随后将数据发送给负责管理社交网络服务的管理服务器，进行个人的自身行动到社交网络服务的记录。相应地，用户可能沉浸在它当前从事的行动中，忘记了创作要投稿的文章。
为了缓解这种情况，例如，下面描述的专利文献1公开了以下一种方法，该方法自动识别用户的行动并且基于所获取的识别结果，自动生成有趣的语句。
引用列表
专利文献
专利文献：JP 2008-3655A
发明内容
技术问题
使用在专利文献1中描述的方法，允许获取行动模式，例如，“悠闲地步行”或“不安的动作”，作为按时间顺序排列的数据。然而，由上述方法获得的行动模式主要表示在较短时间内的用户的动作或状态。因此，难以从行动模式的历史中估计如“昨天在酒店餐厅吃饭”或“今天在百货商店购物”的行动的具体内容。此外，形成由在专利文献1中描述的方法获取的行动模式的各个行动本身不由用户刻意执行，因此，向社交网络服务投稿基于获取的行动模式所生成的语句会有助于使得语句在稍后的间言语时似乎有趣，这是不可能的。
另一方面，向社交网络服务投稿(post，发布)的并且依然似乎有趣的文章，是与从用户的各个行动的复杂方式的混乱状态产生的围绕用户的各种状况相关的文章。因此，为了进一步提高相对于向社交网络服务投稿的用户的方便性，可取地的是实现以下一种技术，该技术允许识别围绕用户的状况并且基于状况识别的结果自动生成表示围绕用户的状况的信息。
因此，本公开提出了能够自动生成表示围绕用户的状况的信息的一种信息处理设备、信息处理方法与程序。
解决技术问题的技术方案
根据本公开，提供了一种信息处理设备，包括：识别处理单元，其被配置成基于包括表示用户所在的位置的位置信息、与包围用户的环境相关的图像信息以及与环境相关的音频信息中的至少任一个的用户环境信息，通过预定的时间间隔对包含在用户环境信息内的位置信息、图像信息以及音频信息中的至少任一个执行分析处理，并且使用所获取的与所述用户环境相关的分析结果，识别用户周围的状况；以及状况候选信息生成单元，其被配置成使用由所述识别处理单元执行的状况识别结果，生成表示用户周围的状况(context)的候选的状况候选信息，所述状况候选信息至少包括表示用户周围的状况的信息以及表示在所述状况中的用户的感情的信息。
根据本公开，提供了一种信息处理方法，包括：基于包括表示用户所在的位置的位置信息、与用户周围的环境相关的图像信息以及与环境相关的音频信息中的至少任一个的用户环境信息，通过预定的时间间隔对包含在用户环境信息内的所述位置信息、图像信息以及音频信息中的至少任一个执行分析处理，并且使用所获取的与所述用户环境相关的分析结果，识别用户周围的状况；以及使用由所述识别处理单元执行的状况识别结果，生成表示用户周围的状况的候选的状况候选信息，所述状况候选信息至少包括表示用户周围的状况的信息以及表示在所述状况中的用户的感情的信息。
根据本公开，提供了一种程序，用于促使计算机实现：识别处理功能，用于基于包括表示用户所在的位置的位置信息、与用户周围的环境相关的图像信息以及与环境相关的音频信息中的至少任一个的用户环境信息，通过预定的时间间隔对包含在用户环境信息内的所述位置信息、图像信息以及音频信息中的至少任一个执行分析处理，并且使用所获取的与所述用户环境相关的分析结果，识别用户周围的状况；以及状况候选信息生成功能，用于使用由所述识别处理单元执行的状况识别结果，生成表示用户周围的状况的候选的状况候选信息，所述状况候选信息至少包括表示用户周围的状况的信息以及表示在所述状况中的用户的感情的信息。
根据本公开，使用对相对于用户环境的用户环境信息执行的分析结果，识别用户周围的状况，并且使用获取的状况识别结果，生成表示用户周围的状况的候选的状况候选信息，所述状况候选信息至少包括表示用户周围的状况的信息以及表示在所述状况中的用户的感情的信息。
本发明的有益效果
如上所述，根据本公开，可以自动生成表示用户周围的状况的信息。
注意，上面描述的效果不必具有限制性。在具有以上效果或者以上效果出现的地方，也可以实现在本说明书中描述的任一个效果或者可以从本说明书中理解的其他效果。
附图说明
图1是示出根据本公开的实施方式的信息处理系统的说明图。
图2是示出根据实施方式的信息处理设备的示例性配置的方框图。
图3是示出根据实施方式的包含在信息处理设备内的识别处理单元的示例性配置的方框图。
图4是示出根据实施方式的包含在识别处理单元内的图像分析单元的示例性配置的方框图。
图5是示出根据实施方式的包含在识别处理单元内的音频分析单元的示例性配置的方框图。
图6是示出根据实施方式的包含在识别处理单元内的地点/行动分析单元的示例性配置的方框图。
图7是示出根据实施方式的由识别处理单元执行的地点/行动分析处理的说明图。
图8是示出根据实施方式的由识别处理单元执行的地点/行动分析处理的说明图。
图9是示出根据实施方式的由识别处理单元执行的地点/行动分析处理的说明图。
图10是示出根据实施方式的由识别处理单元执行的状况识别处理的说明图。
图11是示出根据实施方式的由识别处理单元执行的状况识别处理的说明图。
图12A是示出根据实施方式的识别处理单元的识别结果的说明图。
图12B是示出根据实施方式的识别处理单元的识别结果的说明图。
图13是示出根据实施方式的包含在信息处理设备内的状况候选信息生成单元执行的状况候选信息生成处理的说明图。
图14A是示出根据实施方式的状况候选信息生成单元执行的状况候选信息生成处理的说明图。
图14B是示出根据实施方式的状况候选信息生成单元执行的状况候选信息生成处理的说明图。
图15是示出根据实施方式的状况候选信息生成单元执行的状况候选信息生成处理的说明图。
图16是示出根据实施方式的状况候选信息生成单元执行的状况候选信息生成处理的说明图。
图17是示出根据实施方式的包含在信息处理设备内的信息更新单元的示例性配置的方框图。
图18是示出根据实施方式的包含在信息处理设备内的外部装置配合单元的示例性配置的方框图。
图19是示出根据实施方式的外部装置配合单元执行的外部装置配合处理的说明图。
图20A是示出根据实施方式的信息处理设备的示例性变形例的说明图。
图20B是示出根据实施方式的信息处理设备的示例性变形例的说明图。
图21是示出根据实施方式的信息处理设备的示例性显示屏的说明图。
图22A是示出根据实施方式的在信息处理设备内的状况候选信息生成处理的示例性流程的说明图。
图22B是示出根据实施方式的在信息处理设备内的状况候选信息生成处理的示例性流程的说明图。
图23是示出根据实施方式的信息处理方法的示例性流程的流程图。
图24是示出根据本公开的实施方式的信息处理设备的示例性硬件配置的方框图。
具体实施方式
在后文中，将参照附图详细描述本公开的一个或多个优选实施方式。在本说明书和附图中，使用相同的附图标记表示具有大体上相同的功能和结构的结构元件，并且省略这些结构元件的重复说明。
注意，按照以下顺序提供描述。
1、第一实施方式
1.1、信息处理系统
1.2、信息处理设备
1.3、信息处理设备的示例性变形例
1.4、示例性显示屏
1.5、状况候选信息生成处理的示例性流程
1.6、信息处理方法
2、信息处理设备的硬件配置
(第一实施方式)
<信息处理系统>
首先，将参考图1，简单描述根据本公开的第一实施方式的包括信息处理设备的信息处理系统。图1是示意性示出根据本实施方式的信息处理系统的总体配置的说明图。
根据本实施方式的信息处理系统包括连接至各种类型的网络1，例如，互联网、无线通信网络以及移动通信网络的一个或多个信息处理设备10。在图1示出的信息处理系统中，网络1具有与其连接的N个信息处理设备10A到10N(在下面也被统称为“信息处理设备10”)。在文中，不特别限制连接至网络1的信息处理设备10的数量。
根据本实施方式的信息处理系统具有通过网络1与其连接的信息发布服务器3，其管理社交网络系统等的各种信息发布服务。此外，网络1具有与其连接的各种类型的服务提供服务器5，例如，能够获取与位置相关的信息的服务器或者能够获取与天气相关的信息的服务器。例如，具有GPS(全球定位系统)服务器、管理无线通信网络的服务器、管理移动通信网络的服务器，作为能够获取与位置相关的信息的服务器的实例。
根据本实施方式的信息处理设备10能够通过网络1将各种信息发送给信息发布服务器3、服务提供服务器5等并且从中接收各种信息。
在此处，不在类型方面特别限制根据本实施方式的信息处理设备10，并且可以使用已知的装置实现该信息处理设备10。例如，信息处理设备10可以是用户可以随身携带的个人数字助理，例如，移动电话、智能电话、平板型终端、网络PC等。此外，信息处理设备10可以是各种相机，例如，数码相机、便携式摄像机等。此外，信息处理设备10可以是可穿戴式终端，例如，眼镜、腕表或者各种附件。
此外，根据本实施方式的信息处理设备10也能够与信息处理服务器20(例如，各种计算机或服务器)配合执行下面描述的处理。
因此，参考图1，上面简单描述了根据本实施方式的信息处理系统的配置。
<信息处理设备>
接下来，参考图2到图19，详细描述根据本实施方式的信息处理设备10。
首先，将参考图2，描述根据本实施方式的信息处理设备10的配置。图2是示意性示出根据实施方式的信息处理设备10的示例性配置的方框图。
如图2所示，根据本实施方式的信息处理设备10主要包括信息获取单元101、识别处理单元103、状况候选信息生成单元105、显示控制单元107、状况信息发送单元109、信息更新单元111、外部装置配合单元113以及储存单元115。
-信息获取单元101
信息获取单元101例如由CPU(中央处理器)、ROM(只读存储器)、RAM(随机存取存储器)、输入装置、通信装置、传感器等实现。信息获取单元101获取用户环境信息，用户环境信息包括以下中的至少任一个：表示携带信息处理设备10的用户的位置的位置信息；与用户周围的环境相关的图像信息；与用户周围的环境相关的音频信息等。
信息获取单元101通过预定的时间间隔获取各种位置信息、各种图像信息(例如，静止图像或视频图像)、或者获取音频信息。例如，信息获取单元101可以使用GPS服务器、Wi-Fi、小区ID等获取关于用户所在的位置的信息。此外，信息获取单元101可以使用信息处理设备10中设有各种相机获取图像信息，例如，静止图像或视频图像。此外，信息获取单元101可以使用信息处理设备10中设有的各种麦克风获取音频信息。
此外，信息获取单元101可以使用信息处理设备10中设有的各种生物传感器，获取用户发汗的有无、用户的体温和心搏、用户的体表或体内存在的生源物质等，作为用户固有的生物信息。
注意，信息获取单元101可以通过将数据发送给网络1上存在的各种服务提供服务器5以及从中接收数据来获取各种用户环境信息。
必要时，将各种用户环境信息(例如，信息获取单元101获取的那些信息)输出给下面描述的识别处理单元103，并且用于识别处理单元103执行的各种识别处理。此外，在根据下面描述的识别处理单元103执行的识别处理表征用户周围的环境的特征量满足预定的条件时，信息获取单元101在储存单元115等内储存例如所获取的位置信息、图像信息或音频信息，作为用于生成下面描述的状况候选信息的添附数据。
此外，除了下面描述的识别处理单元103和储存单元115以外，信息获取单元101所获取的各种用户环境信息也输出给并且视情况而用于状况候选信息生成单元105、显示控制单元107、状况信息发送单元109、信息更新单元111、外部装置配合单元113等。
-识别处理单元103
识别处理单元103例如由CPU、ROM、RAM、通信单元等实现。识别处理单元103基于信息获取单元101获取的用户环境信息，通过预定的时间间隔对包含在用户环境信息内的位置信息、图像信息以及音频信息中的至少任一个执行分析处理。此外，识别处理单元103使用与所获取的用户环境相关的分析结果，执行识别用户周围的状况的状况识别处理。
如在图3示意性所示，例如，识别处理单元103具有图像分析单元121、音频分析单元123、地点/行动分析单元125以及状况识别单元127。
图像分析单元121例如由CPU、ROM、RAM、通信单元等实现。图像分析单元121分析由信息获取单元101获取的图像信息(即，图像数据)，以识别对应于图像数据的图像内存在的脸(面目)、风景、菜肴以及各种物体，或者将图像场景分类。
如图4所示，图像分析单元121具有脸分析单元131、图像场景分类单元133、风景识别单元135、菜肴识别单元137以及物体识别单元139等。
脸分析单元131例如由CPU、ROM、RAM、通信单元等实现。脸分析单元131是识别在对应于图像数据的图像内是否包括人脸的处理单元。必要时，由脸分析单元131通过分析图像数据来计算表征在图像内是否存在脸的脸检出特征量。此外，在图像内存在脸时，脸分析单元131识别对应于脸的区域，或者识别例如对应于所识别的脸的人是谁。在由脸分析单元131计算的脸检出特征量等于或大于预定阈值时，识别的图像数据储存在储存单元115等内。除了以上以外，脸分析单元131还识别脸的数量、坐标、角度，或者可以计算各种属性，例如，脸检出分数、脸部位置、笑脸的有无、生物、年龄、人种等，作为脸检出特征量。
图像场景分类单元133例如由CPU、ROM、RAM、通信单元等实现。图像场景分类单元133是分类出对应于图像数据的图像是哪种类型的场景的处理单元。必要时由图像场景分类单元133分析图像数据，允许计算表示该图像要分成哪种类型的场景的场景分类特征量。此外，必要时由图像场景分类单元133分析图像数据，允许识别用户所在的场所(例如，工作场所、餐厅等)或状况(驾车、看电视等)。在图像场景分类单元133计算的场景分类特征量等于或大于预定阈值时，识别的图像数据储存在储存单元115等内。
风景识别单元135例如由CPU、ROM、RAM、通信单元等实现。风景识别单元135是识别对应于图像数据的图像是否是捕捉的风景图像的处理单元。必要时，由风景识别单元135分析图像数据，允许计算表征在图像内是否存在风景的风景检出特征量。此外，在图像内存在风景时，风景识别单元135识别对应于风景的区域，或者识别对应于所识别的风景的地点。在由风景识别单元135计算的风景检出特征量等于或大于预定阈值时，识别的图像数据储存在储存单元115等内。此外，风景识别单元135还可以计算表示作为美丽风景的程度的分数，作为风景检出特征量。
菜肴识别单元137例如由CPU、ROM、RAM、通信单元等实现。菜肴识别单元137是识别在对应于图像数据的图像内是否包括对应于菜肴的部分的处理单元。必要时，使用菜肴识别单元137分析图像数据，允许计算表征在图像内是否存在菜肴的菜肴检出特征量。此外，在图像内存在菜肴时，菜肴识别单元137识别对应于菜肴的区域，或者识别所述识别的菜肴的种类(例如，米饭、酱汤、咖哩饭、意大利面、蛋糕等)。在菜肴识别单元137计算的菜肴检出特征量等于或大于预定阈值时，识别的图像数据储存在储存单元115等内。
物体识别单元139例如由CPU、ROM、RAM、通信单元等实现。物体识别单元139是识别在对应于图像数据的图像内存在的各种物体的处理单元。必要时，使用物体识别单元139分析图像数据，允许计算表征在图像内是否存在各种物体的物体检出特征量。此外，在图像内存在物体时，物体识别单元139识别对应于物体的区域，或者识别所述识别的物体的类型。在物体识别单元139计算的物体检出特征量等于或大于预定阈值时，识别的图像数据储存在储存单元115等内。
必要时，将上面描述的各处理单元执行的处理结果输出给信息获取单元101、音频分析单元123、地点/行动分析单元125以及状况识别单元127。
注意，不特别限制由上面描述的各处理单元执行的各种分析/识别处理的详细方法，并且可以使用已知方法，例如，在JP 2010-191934A中公开的方法。此外，图像分析单元121可以使用通过网络1连接的并且被配置成提供图像识别服务的服务提供服务器5执行上述图像识别处理。
再次返回图3，将描述根据实施方式的包含在识别处理单元103内的音频分析单元123。
音频分析单元123例如由CPU、ROM、RAM、通信单元等实现。音频分析单元123分析由信息获取单元101获取的音频信息(即，音频数据)，以将音频数据分类，或者识别音频数据的内容。
如图5所示，音频分析单元123进一步包括音频分类单元141、音频识别单元143等。
音频分类单元141例如由CPU、ROM、RAM、通信单元等实现。音频分类单元141分析由信息获取单元101获取的音频数据并且计算与音频数据相关的特征量。更具体而言，音频分类单元141执行音频数据是否是会话、笑声、欢呼声、爆破音(拟声)，音频数据是否是表达称赞的音频(例如，鼓掌、)、音乐等的分类处理。例如，通过参考预先储存在储存单元115等内的音频分析用的数据库，或者执行用于音频分析等的程序，可以执行这种音频数据的分类处理。
此外，例如，音频分类单元141还可以分析音频数据的音量，并且通过量化的方式输出该音量。此外，在音频数据是源自人类的例如会话或笑声的音频数据的情况下，音频分类单元141可以分析发起音频的人是男性、女性还是儿童。例如，通过参考表示音频的波谱，分析对应的波形的振幅、音频数据的频率等，可以进行该分析。
注意，在与音频分类单元141计算的音频数据相关的各种特征量(会话检出特征量、笑声检出特征量、欢呼声检出特征量、拟声检出特征量、音乐检出特征量)达到或者超过预定阈值时，所识别的音频数据储存在储存单元115等内。
音频识别单元143例如由CPU、ROM、RAM、通信单元等实现。音频识别单元143通过已知的音频识别处理和已知的语音识别处理分析音频数据，将音频数据的内容转换成文本数据，或者识别其音频数据本身的内容。因此，可以识别音频数据的内容和包含在音频数据内的各种字词。
必要时，将上面描述的各处理单元执行的处理结果输出给信息获取单元101、图像分析单元121、地点/行动分析单元125以及状况识别单元127。
注意，不特别限制由上面描述的各处理单元执行的各种分析/识别处理的详细方法，并且可以使用已知方法，例如，在JP 2010-191934A中公开的方法。此外，音频分析单元123可以使用通过网络1连接的并且被配置成提供音频识别服务的服务提供服务器5执行上述音频识别处理。
再次返回图3，将描述根据实施方式的包含在识别处理单元103内的地点/行动分析单元125。
地点/行动分析单元125例如由CPU、ROM、RAM、通信单元等实现。地点/行动分析单元125分析信息获取单元101所获取的位置信息或者从加速度传感器等中输出的信息，以识别用户所在的位置或者由用户执行的行动的内容。
如图6所示，地点/行动分析单元125进一步包括行动识别单元151、地点信息获取单元153、天气信息获取单元155等。
行动识别单元151例如由CPU、ROM、RAM、通信单元等实现。行动识别单元151分析由信息获取单元101所获取的位置信息或者从加速度传感器等中输出的信息，以计算表征用户的行动的特征量。此外，行动识别单元151进一步使用所计算的特征量来识别由用户执行的行动的内容。因此，行动识别单元151可以确定用户是逗留还是移动，或确定用户四处走动所使用的移动手段。结果，行动识别单元151可以把握用户的状态，例如，用户是否在步行、跑、休息、跳、乘坐电梯移动或者乘自动车、火车或骑自行车移动。
参考图7，简单描述行动识别单元151执行的示例性行动识别处理。图7是示意性示出示例性行动分析处理的说明图。
行动识别单元151首先使用运动传感器数据(例如，加速度/陀螺仪)，通过对这种传感器数据执行已知的信号处理，例如计算平均值、方差、滤波器频率响应，来从传感器数据中提取特征量。此外，行动识别单元151可以使用已知的机器学习/模式识别技术，例如，提升方法、神经网络、隐马尔可夫模型(HMM)，识别个人的移动、姿势、车辆等。
此外，如图7所示，行动识别单元151可以使用图像数据和音频数据(或图像分析单元121或音频分析单元123的分析结果)，以便进一步提高识别精度。
不特别限制由上面描述的行动识别单元151执行的上述行动识别处理的细节，并且可以使用已知方法，例如，在JP 2010-198595A中公开的方法。此外，行动识别单元151可以使用通过网络1连接的并且被配置成提供行动识别服务的服务提供服务器5执行上述行动识别处理。
地点信息获取单元153例如由CPU、ROM、RAM、通信单元等实现。地点信息获取单元153分析信息获取单元101所获取的位置信息或者从气压传感器等中输出的信息，以获取表示用户所在的位置的位置信息，根据需要使用提供位置获取服务的服务提供服务器5等。在下面，参考图8和图9，将具体描述地点信息获取单元153执行的地点信息获取处理。图8和图9是示出地点信息获取处理的说明图。
地点信息获取单元153基于由信息获取单元101所获取的位置信息之中的表示维度和经度的信息，搜索储存在储存单元115等(或者存在于网络1上的各种服务器)内的位置数据库。优选地，如图8所示，在位置数据库中，存在储存私人地点(例如，住宅、工作场所和学校等)的私人地点数据库(在下面缩写为“DB”)以及储存公共地点(例如，餐厅、咖啡厅、车站、商店以及公园等)的公共地点DB。
接下来，地点信息获取单元153参考私人地点DB和公共地点DB，在根据维度或经度误差的范围(当前位置的维度和经度+几米到几十米的半径)内生成在图8示出的地点候选列表。如图8所示，表示各个位置的数据具有彼此相关联的位置的名称和类别。
在生成这种地点候选列表时，地点信息获取单元153可以使用气压传感器等的输出，确定高度(更具体而言，建筑物等的楼层)，以缩小地点候选列表。
通过上述方式生成的地点候选列表通常在城市地区不能得到唯一地确定，并且可以包括几个或几十个地点候选，如图8所示。
接下来，如图9所示，地点信息获取单元153使用图像数据和音频数据(或者图像分析单元121和音频分析单元123的分析结果)，以便识别和限定位置。
例如，地点信息获取单元153使用将图像数据的场景分类(例如，使用机器学习从预先大量收集的图像数据中生成判别器)的技术，将餐厅、咖啡厅、车站、商店、公园、住宅、工作场所、学校等的场景分类，并且计算各场景的分数。在这种情况下，除了颜色/亮度以外，图像场景分类还可以将深度信息用作特征量。此外，地点信息获取单元153使用将音频分类(例如，通过机器学习预先收集样本并且生成判别器)的技术，将音频场景(例如，会话、笑声以及音乐)分类。
接下来，地点信息获取单元153将图像场景分类分数和音频场景分类分数输入位置类别判别器中。例如，在“餐厅”的图像场景分类分数和“会话”的音频分类分数都高时，这种位置类别判别器基于预先统计学习的结果判别位置类别为“餐厅”。
注意，地点信息获取单元153可以与执行类似处理的图像分析单元121和音频分析单元123配合，以视情况使用图像分析单元121和音频分析单元123的分析结果，而不执行如上所述使用判别器的处理。
使用如上所述获取的位置类别的判别结果，地点信息获取单元153将生成的地点候选列表排序。在图9示出的实例中，位置的判别结果从“工作场所”变成“XX咖啡厅”。
执行上述处理，允许地点信息获取单元153获取表示用户所在的位置的位置信息。
再次返回图6，简单描述天气信息获取单元155。
天气信息获取单元155例如由CPU、ROM、RAM、通信单元等实现。天气信息获取单元155使用提供天气信息获取服务的服务提供服务器5(例如，天气预报提供服务器)等，获取各种天气信息(气象信息)，例如，天气、最高温、最低温、降水概率、风速、湿度、用户所在的地点的大气压。使用通过这种方式获取的天气信息，地点/行动分析单元125可以提高要执行的分析处理的精度。
必要时，将上面描述的各处理单元执行的处理结果输出给信息获取单元101、图像分析单元121、音频分析单元123以及状况识别单元127。
再次返回图3，将描述根据实施方式的包含在识别处理单元103内的状况识别单元127。
状况识别单元127例如由CPU、ROM、RAM、通信单元等实现。状况识别单元127使用由图像分析单元121、音频分析单元123、地点/行动分析单元125等获取的与用户环境相关的各种分析结果来识别用户周围的状况。
在此处，“用户周围的状况”是指在“时间”、“地点”和“行动”以混合的方式组合的情况下，通过基于与“时间”、“地点”和“行动”相关的分析结果执行进一步识别处理所估计的用户的生活层面的行动。作为这种状况的实例，可以提及吃饭、购物、工作、接待人、旅行、游戏、体育、移动、家务、艺术鉴赏、休息、睡眠等。
具体而言，如图10示意性所示，状况识别单元127使用图像分析、音频分析、时间分析、地点分析以及行动分析的结果，并且应用诸如基于规则的处理、时序模式识别处理等方法，来识别用户周围的状况。此外，每当用户周围的状况改变时，状况识别单元127将表示状况识别的结果的信息输出给下面描述的状况候选信息生成单元105。
在此处，在图10示出的时间分析结果之中的与时间相关的信息，可以通过参考信息处理设备10保持的时间信息来获取。此外，状况识别单元127可以使用这种时间信息和一般的先验知识来确定当前时间的状况是什么样的。例如，当感兴趣的日子是周一到周五时，可以将感兴趣的日子识别为工作日，或者在感兴趣的日子是周六或周日时，可以将感兴趣的日子识别为周末。此外，例如，在讨论中的一天的时间介于6到11点之间时，确定是早上，在讨论中的一天的时间介于12到15点之间时，确定是下午，在讨论中的一天的时间介于16到18点之间时，确定是傍晚，并且在讨论中的一天的时间介于19到第二天的5点之间时，确定是深夜。
而且，状况识别单元127还可以基于用户的行动历史识别用户的惯常行动模式，并且确定一天的该时间的特定于用户的状况。例如，可以基于惯常行动模式，确定周一到周五的8点到9点的时间区间是通勤时间，周一到周五的9点到18点的时间区间是工作时间，并且周六的20点到21点的时间区间是晚餐时间。
此外，在图10示出的图像分析的结果可以使用图像分析单元121执行的分析结果，并且在图10示出的音频分析的结果可以使用音频分析单元123执行的分析结果。此外，在图10示出的地点分析和行动分析的结果可以使用地点/行动分析单元125执行的分析结果。
在此处，在由状况识别单元127执行的状况识别处理之中的基于规则的处理，是将IF-THEN规则应用于与“时间”、“地点”和“行动”相关的各分析结果中，并且确定与满足条件的规则对应的状况是用户周围的状况的处理。例如，可以确定出，根据基于规则的处理，“当用户在工作时间中位于用户的工作场所并且就座时，用户在‘工作中’”、“当用户在中午时分左右在餐厅并且在图像数据中存在菜肴时，用户在‘吃饭’”、“当用户在回家路上的超市中四处走动时，用户在‘购物’”、“当用户在远离其工作场所的地点时，用户在‘旅行’”。
此外，在由状况识别单元127执行的状况识别处理之中的时序模式识别处理是一种机器学习技术，例如，隐马尔可夫模型方法，该技术是适合于时间模式的建模的技术。该处理是以下一种方法，该方法通过使用大量学习数据预先训练表征每个状况的随机模型并且将状况识别单元127的输入数据代入预先构造的随机模型，来识别用户周围的状况。
使用上述方法，例如，如图11所示，在图像场景分类的结果按照“餐厅→菜肴→脸”的顺序过渡并且行动识别的结果按照“静止→静止→静止”的顺序过渡时，状况识别单元127基于随机模型确定用户在“吃饭”。此外，在图像场景分类的结果按照“商店→书→商店”的顺序过渡并且行动识别的结果按照“步行→静止→步行”的顺序过渡时，状况识别单元127基于随机模型确定用户在“购物”。
在图12A和图12B中示出通过上述方法获取的示例性状况识别结果。如图12A和图12B所示，由识别处理单元103获取的各种识别结果包括由图像分析单元121、音频分析单元123以及地点/行动分析单元125执行的各个分析处理的结果以及通过组合分析处理的结果所获取的状况识别的结果(即，高层次状况)。
必要时，将表示在图12A和图12B中示出的状况识别的结果的信息从状况识别单元127中输出给状况候选信息生成单元105。
-状况候选信息生成单元105
再次返回图2，详细描述根据本实施方式的状况候选信息生成单元105。
状况候选信息生成单元105使用由识别处理单元103执行的状况识别的结果来生成表示用户周围的状况的候选的状况候选信息，至少包括表示用户周围的状况的信息以及表示在该状况中用户的感情的信息。在下面，参考图13到图16，具体描述由状况候选信息生成单元105执行的状况候选信息生成处理。
由状况候选信息生成单元105生成的状况候选信息至少包括由表示状况的文本数据形成的文本数据以及表示感情的文本数据，也如图13所示。根据本实施方式的状况候选信息生成单元105通过增加表示感情的表达能够生成表达自然的语句。
此外，状况候选信息还可以包括用于分析的图像数据和音频数据，也如图13所示。此外，除了文本数据、图像数据以及音频数据以外，还可以添附表示用户周围的状况的各种数据。
在此处，由状况候选信息生成单元105自动生成的用于表示状况的文本数据由语句构成，例如，“与‘谁’‘在什么时候’‘在什么地点’以及‘如何’‘做’‘什么’”，如图14A所示。在此处，从时间识别的结果中获取的信息应用于表示状况的文本数据中表示“在什么时候”的部分中，并且将从地点识别的结果中获取的信息应用于表示“在什么地点”的部分中。此外，从脸识别的结果中获取的信息应用于表示状况的文本数据中表示“谁”的部分中，并且将从图像分析的结果中获取的信息应用于表示“什么”的部分中。而且，不仅从行动识别的结果中获取的信息，而且从随后通过混合的方式执行的状况识别的结果中获取的信息应用于表示状况的文本数据中表示“如何”的部分中。
注意，在生成旨在发布到信息发布服务器3中的语句时，对应于“在什么时候”的时间识别的结果通常不是很重要。因此，可以酌情确定在语句中是否应用对应于“在什么时候”的时间识别的结果。然而，可以具有以下情况：聚焦时间识别的结果，允许掌握识别出的时间是在某个行动之前、中间还是之后。在这种情况下，状况候选信息生成单元105可以使用时间识别的结果，以便适当地选择要自动生成的语句的时态(即，现在、过去、未来、完成等)。
还可以出现以下情况：在分析结果以及从信息处理单元103中输出的用户环境的状况识别中，不存在对应于所谓的5W1H(即，“在什么时候”、“什么地方”、“谁”、“什么”以及“如何”)的分析结果。因此，在如图14B所示，未获取一部分分析结果的情况下，状况候选信息生成单元105足以酌情校正要自动生成的语句，以便生成表现自然的语句。
另一方面，通过将用户感觉到的感情简化表达成N种类型并且根据状况切换语句候选，来生成根据本实施方式的表示感情的信息。因此，状况候选信息生成单元105使用在图15示出的感情表达表，生成表示感情的文本数据。在图15示出的感情表达表中，表格的列方向对应于简化成N种类型(在图15中，3种类型)的感情，并且表格的行方向对应于状况识别的结果。
例如，不特别限制简化感情的程度，并且可以酌情设置，如图16所示。图16示出感情程度分成N种类型并且感情类型分成N种类型的情况。
如图16所示，将感情简化成N种类型，允许例如基于最小的用户输入(例如，用户选择N种类型的按钮)或者使用生物传感器(例如，排汗、心搏或温度传感器)感测的感情，适当地生成反应用户当时的感情的语句。
此外，根据状况切换表示感情的语句候选，允许选择适合于状况的最佳表达，使其能够生成自然语句。而且，如图15所示，将多个语句候选分配给单个状况，允许增加语句的变化。增加的语句变化还允许生成期望防止用户厌烦的语句。
这种感情表达表可以由已知的方法预先制备。此外，可以使用用户发布到社交网络服务中的语句或者用户的言语将感情表达表个性化。
使用上述方法，每当用户周围的状况改变时，状况候选信息生成单元105基于状况识别的结果和感情表达表生成状况候选信息。随后，状况候选信息生成单元105将生成的状况候选信息输出给显示控制单元107，用于向用户显示。
-显示控制单元107
再次返回图2，详细描述根据本实施方式的包含在信息处理设备10内的显示控制单元107。
显示控制单元107例如由CPU、ROM、RAM、输出装置、通信单元等实现。当在包含在信息处理设备10内的输出装置(例如，显示器)或在信息处理设备10外面提供的输出装置等上显示包括从状况候选信息生成单元105中输出的状况候选信息的各种处理结果时，显示控制单元107执行显示控制。因此，在经受显示控制单元107的显示控制的显示屏的预定区域上，显示由识别处理单元103执行的识别结果以及由状况候选信息生成单元105生成的状况候选信息。信息处理设备10的用户可以当场把握各种处理结果，例如，由信息处理设备10自动生成的状况候选信息。
-状况信息发送单元109
状况信息发送单元109例如由CPU、ROM、RAM、通信单元等实现。状况信息发送单元109将用户从由状况候选信息生成单元105生成的状况候选信息中选择的信息发送给提供社交网络服务的信息发布服务器3，作为表示用户周围的状况的状况信息。因此，用户期望发布的状况信息仅仅发布到各种社交网络服务中。结果，发布对用户来说变得更容易，无需自己来准备与用户周围的状况相关的信息。
-信息更新单元111
信息更新单元111例如由CPU、ROM、RAM、通信单元等实现。信息更新单元111至少使用以下中的任一个来更新表示包含在感情表达表内的用户的感情的表达：识别处理单元103的与用户环境相关的分析结果；用户提供的言语或语句表达；以及信息处理设备10中设置的传感器的输出。在下面，参考图17，简单描述根据本实施方式的信息更新单元111的示例性配置。图17是示出根据实施方式的包含在信息处理设备内的信息更新单元的示例性配置的方框图。
根据实施方式的信息处理设备10至少使用用户的言语的内容，将由状况候选信息生成单元105用于生成表示感情的文本数据的感情表达表定制成为对各个用户个性化的感情表达表。因此，由状况候选信息生成单元105自动生成的状况候选信息的内容具有真实性，犹如用户自己创建的一样。
上述信息更新单元111至少具有习惯提取单元161和感情表达个性化单元167，并且更优选地，状况确定/状况识别单元163或感情确定/感情识别单元165中的至少任一个，如图17所示。
习惯提取单元161例如由CPU、ROM、RAM、通信单元等实现。习惯提取单元161根据用户提供的言语或语句表达(即，用户的声音或从用户的声音中转换的文本、或由用户创作的语句)，从用户的每日言语中提取用户的习惯，例如，常用的词、常用的短语、方言、叠词等。
在此处，通过在信息处理设备10中设置的麦克风获取的音频数据或打电话进行的会话可以用作用户的声音，以用于习惯提取。此外，用户创建的电子邮件、发布到社交网络服务的内容等可以用作用户提供的语句表达。
不特别限制从上述数据中提取用户的习惯的方法，并且足以酌情使用统计处理、机器学习技术、模式识别技术等。
将与由习惯提取单元161提取的用户的习惯相关的信息输出给感情表达个性化单元167。
状况确定/状况识别单元163例如由CPU、ROM、RAM、通信单元等实现。状况确定/状况识别单元163使用用户提供的言语或语句表达，参考出现各预先登记的状况的辞书来确定状况，或者使用识别处理单元103执行的与用户环境相关的分析结果来识别状况。因此，状况确定/状况识别单元163可以识别其中用户提供了感兴趣的言语或语句表达的状况的类型(例如，吃饭、工作等)。状况确定/状况识别单元163将与获取的状况相关的信息输出给感情表达个性化单元167。因此，除了由习惯提取单元161提取的用户的习惯外，下面描述的感情表达个性化单元167还可以根据状况确定/状况识别单元163获取的状况将感情个性化。
注意，不特别限制确定或识别状况的方法，并且可以使用任何已知的方法，或者可以通过与连接至网络1的服务提供服务器5配合地执行这种确定/识别处理。此外，可以通过与识别处理单元103配合，实现状况确定/状况识别单元163的功能。
感情确定/感情识别单元165例如由CPU、ROM、RAM、通信单元等实现。感情确定/感情识别单元165使用用户提供的言语或语句表达，参考出现各预先登记的感情的辞书来确定感情，或者使用在信息处理设备10中提供的传感器的输出(例如，与排汗、温度、心搏等相关的生物传感器的输出)来识别感情。因此，在提供感兴趣的言语或语句表达时，感情确定/感情识别单元165可以识别感情的类型(例如，快乐、疲倦等)。感情确定/感情识别单元165将与获取的感情相关的信息输出给感情表达个性化单元167。因此，除了由习惯提取单元161提取的用户的习惯外，下面描述的感情表达个性化单元167还可以根据感情确定/感情识别单元165获取的感情将感情个性化。
注意，不特别限制确定或识别感情的方法，并且可以使用任何已知的方法，或者通过与连接至网络1的服务提供服务器5配合，可以执行这种确定/识别处理。
感情表达个性化单元167例如由CPU、ROM、RAM等实现。感情表达个性化单元167进一步使用与从习惯提取单元161中输出的用户习惯相关的信息，优选地与状况和感情相关的信息，来定制储存在与感情表达表相关的数据库内的感情表达表。因此，在仅仅使用与从习惯提取单元161中输出的用户的习惯相关的信息时，例如，可以基于“用户具有在短语的尾部放置措辞‘你知道’的习惯”这一知识，定制在整个感情表达表中的短语。可替换地，在还使用与状况和感情相关的信息时，例如，可以基于“用户在吃得高兴时常使用‘reeeallyyummy’这一表达”这一知识，定制在整个感情表达表中的短语。
-外部装置配合单元113
再次返回图2，详细描述根据本实施方式的包含在信息处理设备10内的外部装置配合单元113。
外部装置配合单元113例如由CPU、ROM、RAM、通信单元等实现。外部装置配合单元113与能够与其进行相互通信的另一个信息处理设备10配合，以便提高由状况候选信息生成单元105执行的状况候选信息的生成结果的精度或者共享所述生成结果。在下面，参考图18和图19，简单描述根据本实施方式的外部装置配合单元113的示例性配置。图18是示出根据本实施方式的包含在信息处理设备内的外部装置配合单元的示例性配置的方框图，并且图19是示出根据本实施方式的外部装置配合单元执行的外部装置配合处理的说明图。
外部装置配合单元113具有分组单元171和配合处理单元173，如图18所示。
分组单元171例如由CPU、ROM、RAM、通信单元等实现。分组单元171使用由识别处理单元103执行的脸识别的结果以及在其内描述了与储存在信息处理设备10的储存单元115内的用户的熟人和朋友相关的各种信息的通讯簿等，来将在信息处理设备10所在的地点共存的其他信息处理设备10分组。携带共享该地点的信息处理设备10的多个用户非常可能共同参与相同的事件(例如，参与聚餐)，因此，将信息处理设备10分组，允许有效地提高由信息处理设备10生成的状况候选信息的生成结果的精度或者共享所述生成结果。
配合处理单元173例如由CPU、ROM、RAM、通信单元等实现。配合处理单元173在由分组单元171分成组的多个信息处理设备10之间提高状况候选信息的精度或者共享所述状况候选信息。
例如，假设四个用户正在吃饭的状况。在这种情况下，假设四个用户携带的信息处理设备10从各方向捕捉相同菜肴内容的图像，因此，通过在分成组的信息处理设备10之间交换信息，能够分享或提高信息的精度。
假设如图19所示，例如，A和B这两人携带的装置生成了他们在“吃乌冬面”的状况识别结果，并且C携带的装置生成了它在“吃‘拉面’”的状况识别结果，而D携带的装置由于某种原因未执行状况识别。在这种情况下，各信息处理设备10的外部装置配合单元113彼此配合，允许基于少数服从多数原则的原理，提高C人的装置执行的识别结果的精度，例如，“在吃乌冬面”，或者给D人的装置提供状况识别的多数结果。
在这种情况下，配合处理单元173可以不仅共享表达状况的文本，而且可以共享图像数据、其他各种元数据等。
-储存单元115
再次返回图2，详细描述根据本实施方式的包含在信息处理设备10内的储存单元115。
储存单元115例如由包含在根据本实施方式的信息处理设备10内的RAM、储存装置等实现。储存单元115储存由信息处理设备10生成的各种内容数据，例如，图像数据、音频数据等。此外，在储存单元115内储存了待要在显示屏上显示的各种对象数据。在此处提及的对象数据包括例如形成图形用户界面(GUI)的任何类型的部分，例如，图标、按钮、缩略图等。
此外，储存单元115根据需要储存了在根据本实施方式的信息处理设备10执行某个处理或者各种数据库和程序等时所必需储存的各处理的各种参数或中间结果。可以自由访问储存单元115，用于信息获取单元101、识别处理单元103、状况候选信息生成单元105、显示控制单元107、状况信息发送单元109、信息更新单元111、外部装置配合单元113等读取和写入数据。
上面描述了根据本实施方式的信息处理设备10的示例性功能。每个上述元件可以使用通用部件或电路配置，或者由每个元件的功能特定的硬件配置。此外，各个元件的所有功能可由CPU等执行。因此，在实现本实施方式时，根据技术水平，要使用的配置可以酌情改变。
注意，可以创建并且在个人电脑等上载入计算机程序，用于实现上述根据本实施方式的信息处理设备的各功能。此外，可以提供储存这种计算机程序的计算机可读储存介质。储存介质可以是例如磁盘、光盘、磁光盘、闪速存储器等。此外，例如，可以通过网络分布上述计算机程序，而不使用储存介质。
<1.3、信息处理设备的示例性变形例>
接下来，参考图20A和图20B，简单描述根据本实施方式的信息处理设备10的示例性变形例。图20A和图20B是示出根据实施方式的信息处理设备的示例性变形例的说明图。注意，图20A和图20B仅仅示出了在图2示出的包含在信息处理设备10内的各处理单元的重要部分。
虽然提供了以上描述，用于在单个外壳内实现根据本实施方式的信息处理设备10的情况，但是根据本实施方式的信息处理设备10的各处理单元可以跨多个装置分布。在这种情况下，通过包括各个处理单元的多个装置的相互配合来作为整个系统实现信息处理设备10的功能。
在图20A示出的实例中，例如，仅仅在信息处理设备10中实现信息获取单元101，而在连接至网络1的信息处理服务器20中，实现识别处理单元103和状况候选信息生成单元105。在图20A示出的实例中，通过网络1将由信息处理设备10的信息获取单元101获取的各种信息传输给信息处理服务器20，并且识别处理单元103和状况候选信息生成单元105的处理由信息处理服务器20来执行。
此外，在图20B示出的实例中，在信息处理设备10内实现了信息获取单元101以及作为识别处理单元103的用于分析用户环境的各处理单元的图像分析单元121、音频分析单元123以及地点/行动分析单元125。此外，在连接至网络1的信息处理服务器20内实现了识别处理单元103的状况识别单元127和状况候选信息生成单元105。在图20B示出的实例中，信息处理设备10的信息获取单元101获取各种信息，并且图像分析单元121、音频分析单元123以及地点/行动分析单元125分析获取的各种信息，以生成表示用户环境的分析结果的信息。将表示用户环境的分析结果的信息传输给信息处理服务器20的状况识别单元127，并且在经受状况识别处理之后，由状况候选信息生成单元105生成状况候选信息。
<示例性显示屏>
接下来，参考图21，具体描述经受根据实施方式的信息处理设备10的显示控制单元107的显示控制的示例性显示屏。图21是示出根据实施方式的信息处理设备的示例性显示屏的说明图。
必要时，显示控制单元107控制的显示屏显示由包含在信息处理设备10内的相机等捕捉的图像。此外，在一部分显示屏上设置在由显示控制单元107控制的用于显示作为识别处理单元103的执行结果而生成的与用户环境相关的特征量分数的区域(特征量分数显示区域)以及用于显示状况识别的结果的区域(识别结果显示区域)。此外，在显示屏上投射的图像内存在脸时，在对应于脸的部分上显示脸检出框，或者在具有菜肴或物体时，显示菜肴/物体检出框。而且，在由状况候选信息生成单元105基于识别处理单元103生成的识别结果生成状况候选信息时，必要时，在状况候选信息显示区域上显示所生成的状况候选信息。
每当用户周围的状况改变时，生成状况候选信息，因此，在状况候选信息显示区域上显示多个生成的状况候选信息。可取地，显示控制单元107将状况候选信息显示区域划分成层或者显示对应于滚动条的物体，如图21所示，以便向用户指示具有多条生成的状况候选信息。
此外，显示控制单元107可以防止用户察觉到特征量分数显示区域和识别结果显示区域。
<状况候选信息生成处理的示例性流程>
接下来，参考图22A和图22B，简单描述根据本实施方式的信息处理设备10执行的状况候选信息生成处理的示例性流程。图22A和图22B是示出根据实施方式的信息处理设备内的状况候选信息生成处理的示例性流程的说明图。
在激活提供根据本实施方式的信息处理设备10内的上述功能的应用程序时，显示在图22A的(a)中示出的显示屏，以确认用户旨在将信息发布到哪个社交网络服务。在用户选择要使用的账户时，基于选择结果进行与提供对应的社交网络服务的信息发布服务器3建立连接的准备。
假设根据本实施方式的信息处理设备10是例如用户佩戴的眼镜型或按钮型配件型穿戴式终端。在用户四处走动时，信息处理设备10保持获取各种图像数据和音频数据。在此处，假设如图22A的(b)中所示，来自信息处理设备10的位置获取传感器的位置信息透露“用户所在的位置是XX车站”。在这种情况下，在显示屏的状况候选信息显示区域内显示表示“现在在XX车站”的状况候选信息，并且还显示发布图标，用于开始到信息发布服务器3的发布过程。在用户选择发布图标时，由状况信息发送单元109将显示的状况候选信息发送给信息发布服务器3，作为状况信息。
假设如图22A的(c)中所示，在下一个时刻，相机捕捉某个人。在这种情况下，识别处理单元103基于所获取的图像信息开始识别处理，并且在识别到人的时间点，显示脸检出框和识别结果，如在图中所示。按照顺序，在状况识别单元127完成状况识别结果时，生成状况候选信息，使文本“现在与A先生在XX车站”与拍摄的人A的图像数据相关联，如图22A的(d)中所示。
此外，在人A从相机的视野中消失时，在状况候选信息显示区域内生成状况候选信息“现在在XX车站”，如图22B的(e)中所示。
假设随后用户进入某个咖啡厅，并且订购蛋糕。在递送订购的蛋糕并且从而在相机的视野中存在蛋糕时，显示状况候选信息“现在在XX车站吃蛋糕”，并且还显示发布图标，用于发起到信息发布服务器3的发布过程，如图22B的(f)中所示。同时，在显示屏上显示感情选择图标，通过该图标，用户选择其当前感情。
在用户操作感情选择图标时，增加作为表达感情的文本的表达“非常美味！”，如图22B的(g)中所示。此外，在咖啡厅的名称由识别处理单元103识别时，先前表示位置“XX车站”的描述改变成更细粒度的“XX蛋糕店”。而且，蛋糕的图像数据与文本数据“现在在XX蛋糕店吃蛋糕，非常美味！”相关联。必要时，状况候选信息自动生成并且累积在这种流内。
此外，显示控制单元107可以在显示屏上显示图形键盘，用于改变识别结果(例如，名称“XX蛋糕店”或者识别物体“蛋糕”的结果)，允许改变识别结果。
<信息处理方法>
接下来，参考图23，简单描述根据本实施方式的信息处理方法的示例性流程。图23是示出根据实施方式的信息处理方法的示例性流程的流程图。
在激活提供在根据本实施方式的信息处理设备10内的上述功能的应用程序时(步骤S101)，必要时，由信息获取单元101获取用户环境信息(例如，位置信息、图像信息、音频信息等)并且将其输出给识别处理单元103。
识别处理单元103分析必要时获取的位置信息、图像信息、音频信息等(步骤S103)，并且基于获取的用户环境的分析结果，执行状况识别处理(步骤S105)。由状况识别单元127生成的状况识别的结果输出给状况候选信息生成单元105。
状况候选信息生成单元105至少使用获取的状况识别结果，生成状况候选信息(步骤S107)。必要时，显示控制单元107在显示屏上显示生成的状况候选信息(步骤S109)。
在此处，信息处理设备10确定用户是否执行发布操作(步骤S111)。在用户不执行发布操作时，信息处理设备10返回步骤S103，并且继续分析必要时获取的用户环境信息。另一方面，在用户执行发布操作时，通过将用户选择的状况候选信息作为状况信息发送给信息发布服务器3，状况信息发送单元109执行发布过程(步骤S113)。
随后，信息处理设备10确定用户是否执行应用程序的终止操作(步骤S115)。在用户不执行终止操作时，信息处理设备10返回步骤S103，并且继续分析必要时获取的用户环境信息。另一方面，在用户执行终止操作时，信息处理设备10终止该过程。
参考图23，上面简单描述了根据本实施方式的信息处理设备10执行的信息处理方法的流程。
(硬件配置)
接下来，参照图24，详细描述根据本公开的实施方式的信息处理设备10的硬件配置。图24是示出根据本公开的实施方式的信息处理设备10的硬件配置的方框图。
信息处理设备10主要包括CPU 901、ROM 903以及RAM 905。而且，信息处理设备10还包括主总线907、桥接器909、外部总线911、接口913、传感器914、输入装置915、输出装置917、储存装置919、驱动器921、连接端口923以及通信装置925。
CPU 901用作算法处理设备和控制装置，并且根据在ROM 903、RAM 905、储存装置919或者可移动的记录介质927内记录的各种程序，控制信息处理设备10的总体操作或一部分操作。ROM 903储存CPU 901使用的程序、运行参数等。RAM 905主要储存CPU 901使用的程序以及在执行程序时适当地改变的参数等。这些通过由内部总线(例如，CPU总线等)配置的主总线907彼此连接。
主总线907通过桥接器909连接至外部总线911(例如，PCI(外部设备互连/接口))。
传感器914是检测装置，例如，被配置成检测用户移动的传感器或被配置成获取表示当前位置的信息的传感器。作为这种传感器的实例，可以提及运动传感器，例如，包括加速度传感器、重力检测传感器、降落检测传感器等的三轴加速度传感器；或包括角速度传感器、摇动校正传感器、地磁传感器等的三轴陀螺仪传感器；或GPS传感器。此外，传感器914可以是检测装置，其被配置成检测用户特定的生物信息或用于获取这种生物信息的各种信息。作为这种检测装置的一个实例，例如，可以提及用于检测用户的排汗的传感器、用于检测用户的体温和心跳的传感器、用于检测存在于用户体表或体内的生源物质的传感器。而且，除了上述以外，传感器914还可以包括各种测量仪器，例如，温度计、光度计、湿度计等。
输入装置915是用户操作的操作装置，例如，鼠标、键盘、触控面板、按钮、开关以及操纵杆。而且，输入单元915可以是使用例如红外光或其他无线电波的遥控装置(所谓的遥控器)，或者可以是外部连接的设备929，例如，符合信息处理设备10的操作的移动电话或PDA。而且，输入单元915基于(例如)用户使用上述操作装置输入的信息而生成输入信号并且被配置成由输入控制电路配置成，用于输出输入信号给CPU 901。信息处理设备10的用户可以给信息处理设备10输入各种数据，并且可以指示信息处理设备10通过操作设备915来执行处理。
输出装置917由能够在视觉或听觉上通知用户所获取的信息的装置配置成。这种装置的实例包括显示装置(例如，CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置以及灯具)、音频输出装置(例如，扬声器和头戴式耳机)、打印机、移动电话、传真机等。例如，输出装置917输出由信息处理设备10执行的各种处理所获得的结果。更具体而言，显示装置通过文本或图像等的形式显示由信息处理设备10执行的各种处理获得的结果。另一方面，音频输出装置将音频信号(例如，再现的音频数据和声音数据)转换成模拟信号，并且输出模拟信号。
储存装置919是用于储存数据的装置，其配置为信息处理设备10的储存单元的一个实例，并且用于储存数据。例如，储存装置919由磁储存装置(例如，HDD(硬盘驱动器))、半导体储存装置、光学储存装置、或磁光储存装置配置。该储存装置919储存由CPU 901执行的程序、各种数据、以及从外面获取的各种数据。
驱动器921是用于记录介质并且嵌入信息处理设备10内或者外部连接至信息处理设备10的读取器/写入器。驱动器921读取在连接的可移动的记录介质927(例如，磁盘、光盘、磁光盘以及半导体存储器)内记录的信息并且将读取信息输出给RAM 905。而且，驱动器921可以在连接的可移动的记录介质927(例如，磁盘、光盘、磁光盘以及半导体存储器)内写入各种信息。例如，可移动的记录介质927是DVD介质、HD DVD介质、或蓝光介质等。可移动的记录介质927可以是压缩闪存(CF；注册商标)、闪存、SD记忆卡(安全数字记忆卡)等。可替换地，例如，可移动的记录介质927可以是安装了非接触式IC芯片的IC卡(集成电路卡)或电子装置。
连接端口923是用于允许装置直接连接至信息处理设备10的端口。连接端口923的实例包括USB(通用串行总线)端口、IEEE 1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的其他实例包括RS-232C端口、光学音频终端、HDMI(高清晰度多媒体接口)端口等。通过连接外部连接的设备929至该连接端口923，信息处理设备10可以直接从外部连接的设备929中获取各种信息，并且给外部连接的设备929提供各种信息。
通信装置925是由连接至(例如)通信网络931的通信装置配置的通信接口。通信装置925是例如有线或无线LAN(局域网)、蓝牙(注册商标)、用于WUSB(无线USB)的通信卡等。可替换地，通信装置925可以是用于光学通信的路由器、用于ADSL(非对称数字用户线路)的路由器、用于各种通信的调制解调器等。例如，该通信装置925可以通过互联网且与其他通信装置根据预定的协议(例如，TCP/IP)传输和接收信号等。连接至通信装置925的通信网络931由通过有线或无线连接的网络等配置，并且可以是(例如)互联网、家庭LAN、红外线通信、无线电波通信、卫星通信等。
迄今，示出了能够实现根据本公开的实施方式的信息处理设备10的功能的硬件配置的实例。上述每个结构部件可以使用通用材料配置，或者可以由专用于每个结构部件的功能的硬件配置。因此，在执行本实施方式时，要使用的硬件配置可以根据技术水平酌情改变。
参照附图，上面详细描述了本公开的一个或多个优选实施方式，然而，本公开不限于以上实例。本领域的技术人员可以发现在所附权利要求的范围内的各种变更和修改，并且应理解的是，这些变更和修改自然落在本公开的技术范围内。
进一步，在本说明书中描述的效果仅仅是说明性或例证的效果，而非限制性。即，在具有以上效果或者以上效果的地方，对于本领域的技术人员显而易见的是，基于本说明书的描述，根据本公开的技术可以实现其他效果。
此外，本技术还可以如下配置。
(1)一种信息处理设备，包括：
识别处理单元，其被配置成基于包括表示用户所在的位置的位置信息、与用户周围的环境相关的图像信息以及与环境相关的音频信息中的至少任一个的用户环境信息，通过预定的时间间隔对包含在用户环境信息内的所述位置信息、图像信息以及音频信息中的至少任一个执行分析处理，并且使用所获取的与所述用户环境相关的分析结果，识别用户周围的状况；以及
状况候选信息生成单元，其被配置成使用由所述识别处理单元执行的状况识别结果，生成表示用户周围的状况的候选的状况候选信息，所述状况候选信息至少包括表示用户周围的状况的信息以及表示在所述状况中的用户的感情的信息。
(2)根据(1)所述的信息处理设备，
其中，每当用户周围的状况改变时，所述识别处理单元将表示状况识别结果的信息输出给所述状况候选信息生成单元。
(3)根据(1)或(2)所述的信息处理设备，
其中，使用针对各个识别的状况预先设置的感情表达表，生成表示用户的感情的信息。
(4)根据(1)到(3)中任一项所述的信息处理设备，
其中，所述状况候选信息生成单元在所述状况候选信息内包括与用户周围的状况相关的图像信息或音频信息中的至少任一个。
(5)根据(1)到(4)中任一项所述的信息处理设备，进一步包括：
显示控制单元，其被配置成在预定显示屏的预定区域内显示由所述识别处理单元执行的识别结果以及由所述状况候选信息生成单元生成的状况候选信息。
(6)根据(1)到(5)中任一项所述的信息处理设备，
其中，所述识别处理单元使用与所述用户环境相关的分析结果，通过基于所述分析结果的时间过程的时序模式识别处理或者基于预定条件处理的基于规则的处理，来识别状况。
(7)根据(1)到(6)中任一项所述的信息处理设备，进一步包括：
信息更新单元，其被配置成使用与由所述识别处理单元执行的用户环境相关的分析结果、由用户提供的言语或语句表达、以及来自设置在所述信息处理设备中的传感器的输出中的至少任一个，更新表示包含在针对各个识别的状况而预先设置的感情表达表内的用户感情的表达。
(8)根据(1)到(7)中任一项所述的信息处理设备，进一步包括：
外部装置配合单元，其被配置成能够与其进行相互通信的另一信息处理设备配合，并且提高由所述状况候选信息生成单元执行的状况候选信息的生成结果的精度或者共享所述生成结果。
(9)根据(1)到(8)中任一项所述的信息处理设备，进一步包括：
状况信息发送单元，其被配置成将用户从由所述状况候选信息生成单元生成的状况候选信息中选择的信息发送给提供社交网络服务的信息发布服务器，作为表示用户周围的状况的状况信息。
(10)根据(1)到(9)中任一项所述的信息处理设备，
其中，所述信息处理设备是用户携带的个人数字助理或用户佩戴的可穿戴式终端。
(11)一种信息处理方法，包括：
基于包括表示用户所在的位置的位置信息、与用户周围的环境相关的图像信息以及与环境相关的音频信息中的至少任一个的用户环境信息，通过预定的时间间隔对包含在用户环境信息内的位置信息、图像信息以及音频信息中的至少任一个执行分析处理，并且使用所获取的与所述用户环境相关的分析结果，识别用户周围的状况；以及
使用由所述识别处理单元执行的状况识别结果，生成表示用户周围的状况的候选的状况候选信息，所述状况候选信息至少包括表示用户周围的状况的信息以及表示在所述状况中的用户的感情的信息。
(12)一种程序，用于促使计算机实现：
识别处理功能，用于基于包括表示用户所在的位置的位置信息、与用户周围的环境相关的图像信息以及与环境相关的音频信息中的至少任一个的用户环境信息，通过预定的时间间隔对包含在用户环境信息内的所述位置信息、图像信息以及音频信息中的至少任一个执行分析处理，并且使用所获取的与所述用户环境相关的分析结果，识别用户周围的状况；以及
状况候选信息生成功能，用于使用由所述识别处理单元执行的状况识别结果，生成表示用户周围的状况的候选的状况候选信息，所述状况候选信息至少包括表示用户周围的状况的信息以及表示在所述状况中的用户的感情的信息。
附图标记列表
1：网络
3：信息发布服务器
5：服务提供服务器
10：信息处理设备
20：信息处理服务器
101：信息获取单元
103：识别处理单元
105：状况候选信息生成单元
107：显示控制单元
109：状况信息发送单元
111：信息更新单元
113：外部装置配合单元
115：储存单元。

Claims (12)

1.一种信息处理设备，包括：
处理器，被配置为：
接收与用户周围的环境相关的用户环境信息；
对包括图像信息的所述用户环境信息执行识别处理，所述识别处理包括行动识别处理，执行所述行动识别处理以计算表征所述用户的行动的特征量；
利用机器学习模型，通过参考特征量来输出对所述图像信息中包括的多个对象的分类；以及
基于作为所述识别处理的结果的所述对象的分类并且基于所述行动识别处理的结果按照时序模式来生成表示所述用户环境信息的状况的状况候选信息，
其中，所述机器学习模型根据提前收集的多个图像而构建。
2.根据权利要求1所述的信息处理设备，还包括相机，所述相机捕获所述用户环境信息。
3.根据权利要求1所述的信息处理设备，其中，所述对象是以下各项中的至少一项：脸、风景和菜肴。
4.根据权利要求3所述的信息处理设备，其中，如果所述对象被识别为所述脸，所述信息处理设备进一步输出以下各项中的至少一项：脸的数量、坐标、角度、笑脸的有无、年龄和人种。
5.根据权利要求1所述的信息处理设备，其中，还输出与所述分类对应的得分，作为图像处理的结果。
6.根据权利要求3所述的信息处理设备，其中，其中，如果所述对象被识别为所述脸，还输出所述脸所属的人的名字。
7.根据权利要求1所述的信息处理设备，还包括向社交网络服务发送从所述状况候选信息中选出的信息。
8.根据权利要求1所述的信息处理设备，其中，每当所述用户周围的所述用户环境信息改变时，生成所述状况候选信息。
9.根据权利要求1所述的信息处理设备，其中，所述状况候选信息显示在状况候选信息区域内。
10.根据权利要求9所述的信息处理设备，其中，多个所述状况候选信息显示在所述状况候选信息区域内。
11.一种经由至少一个处理器执行的信息处理方法，所述方法包括：
接收与用户周围的环境相关的用户环境信息；
对包括图像信息的所述用户环境信息执行识别处理，所述识别包括行动识别，执行所述行动识别以计算表征所述用户的行动的特征量；
利用机器学习模型，通过参考特征量来输出对所述图像信息中包括的多个对象的分类；以及
基于作为所述识别处理的结果的所述对象的分类并且基于所述行动识别的结果按照时序模式来生成表示所述用户环境信息的状况的状况候选信息，
其中，所述机器学习模型根据提前收集的多个图像而构建。
12.一种非暂时性计算机可读介质，其上包含有程序，所述程序在由计算机执行时，使所述计算机执行一方法，所述方法包括：
接收与用户周围的环境相关的用户环境信息；
对包括图像信息的所述用户环境信息执行识别处理，所述识别包括行动识别，执行所述行动识别以计算表征所述用户的行动的特征量；
利用机器学习模型，通过参考特征量来输出对所述图像信息中包括的多个对象的分类；以及
基于作为所述识别处理的结果的所述对象的分类并且基于所述行动识别的结果按照时序模式来生成表示所述用户环境信息的状况的状况候选信息，
其中，所述机器学习模型根据提前收集的多个图像而构建。
CN201911113504.3A 2014-05-22 2015-03-17 信息处理设备、信息处理方法与计算机可读介质 Active CN110780707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911113504.3A CN110780707B (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与计算机可读介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014-106276 2014-05-22
JP2014106276 2014-05-22
CN201580023469.XA CN106462598A (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与程序
CN201911113504.3A CN110780707B (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与计算机可读介质
PCT/JP2015/057861 WO2015178078A1 (ja) 2014-05-22 2015-03-17 情報処理装置、情報処理方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580023469.XA Division CN106462598A (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与程序

Publications (2)

Publication Number Publication Date
CN110780707A CN110780707A (zh) 2020-02-11
CN110780707B true CN110780707B (zh) 2024-05-24

Family

ID=54553755

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910276124.5A Pending CN110083303A (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与计算机可读介质
CN201911113504.3A Active CN110780707B (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与计算机可读介质
CN201580023469.XA Pending CN106462598A (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910276124.5A Pending CN110083303A (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与计算机可读介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580023469.XA Pending CN106462598A (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与程序

Country Status (5)

Country Link
US (4) US10311303B2 (zh)
EP (2) EP3591577A1 (zh)
JP (3) JP6558364B2 (zh)
CN (3) CN110083303A (zh)
WO (1) WO2015178078A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565229B2 (en) 2018-05-24 2020-02-18 People.ai, Inc. Systems and methods for matching electronic activities directly to record objects of systems of record
CN104809116B (zh) * 2014-01-24 2018-10-19 腾讯科技（深圳）有限公司 一种收藏内容的方法、装置及终端
WO2015141251A1 (ja) * 2014-03-19 2015-09-24 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US9760809B2 (en) * 2014-10-20 2017-09-12 Bae Systems Information And Electronic Systems Integration Inc. Systems and methods for multi-factor image recognition
JP6255368B2 (ja) * 2015-06-17 2017-12-27 Ｃｏｃｏｒｏ Ｓｂ株式会社 感情制御システム、システム及びプログラム
KR20170009037A (ko) * 2015-07-15 2017-01-25 삼성전자주식회사 영상 컨텐츠 제공 장치 및 영상 컨텐츠 제공 방법
JP6501404B2 (ja) * 2016-02-05 2019-04-17 Kddi株式会社 他端末からの情報を用いて自端末のユーザ状態を判定する端末、システム、プログラム及び方法
KR20180006137A (ko) * 2016-07-08 2018-01-17 엘지전자 주식회사 단말기 및 그 제어 방법
JP6662746B2 (ja) 2016-10-07 2020-03-11 ファナック株式会社 機械学習部を備えた作業補助システム
US10909371B2 (en) * 2017-01-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for contextual driven intelligence
JP6794872B2 (ja) * 2017-02-21 2020-12-02 沖電気工業株式会社 音声取引システムおよび連携制御装置
KR102651253B1 (ko) * 2017-03-31 2024-03-27 삼성전자주식회사 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
US10671840B2 (en) * 2017-05-04 2020-06-02 Intel Corporation Method and apparatus for person recognition using continuous self-learning
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
US9980100B1 (en) 2017-08-31 2018-05-22 Snap Inc. Device location based on machine learning classifications
EP3567585A4 (en) * 2017-11-15 2020-04-15 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JP6807824B2 (ja) * 2017-11-28 2021-01-06 日本電信電話株式会社 行動セグメント抽出装置及び方法
JP7094486B2 (ja) * 2017-12-27 2022-07-04 トヨタ自動車株式会社 情報提供装置
CN108307043A (zh) * 2017-12-28 2018-07-20 努比亚技术有限公司 语音消息转换方法、移动终端及计算机可读存储介质
EP3745275A4 (en) * 2018-01-23 2020-12-09 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND RECORDING MEDIA
US11330408B2 (en) 2018-03-08 2022-05-10 Sony Corporation Information processing apparatus, terminal device, and information processing method
KR102584459B1 (ko) * 2018-03-22 2023-10-05 삼성전자주식회사 전자 장치 및 이의 인증 방법
US11924297B2 (en) 2018-05-24 2024-03-05 People.ai, Inc. Systems and methods for generating a filtered data set
US11463441B2 (en) 2018-05-24 2022-10-04 People.ai, Inc. Systems and methods for managing the generation or deletion of record objects based on electronic activities and communication policies
CN110188886B (zh) * 2018-08-17 2021-08-20 第四范式（北京）技术有限公司 对机器学习过程的数据处理步骤进行可视化的方法和系统
WO2020071409A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法
EP3785140A1 (en) * 2018-12-20 2021-03-03 Google LLC Map search recommendation system based on image content analysis driven geo-semantic index
US11417236B2 (en) * 2018-12-28 2022-08-16 Intel Corporation Real-time language learning within a smart space
CN111753580A (zh) * 2019-03-27 2020-10-09 北京外号信息技术有限公司 光通信装置的识别方法和相应的电子设备
KR102715161B1 (ko) 2019-11-28 2024-10-08 삼성전자주식회사 영상 복원 방법 및 장치
CN111243742B (zh) * 2020-01-14 2023-08-25 中科海微(北京)科技有限公司 一种能够分析儿童用眼习惯的智能眼镜
JP2021135960A (ja) * 2020-02-28 2021-09-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021240651A1 (ja) * 2020-05-26 2021-12-02 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
KR102451299B1 (ko) * 2020-09-03 2022-10-06 고려대학교 세종산학협력단 동물의 상황인지를 통한 캡션 생성 시스템
US11783573B2 (en) * 2020-12-21 2023-10-10 Halliburton Energy Services, Inc. Contextual information displayable on wearable devices based on images captured during wellsite operations
WO2022149465A1 (ja) * 2021-01-08 2022-07-14 コニカミノルタ株式会社 解析装置、解析システム、解析プログラム、および解析方法
JP7203132B2 (ja) * 2021-03-01 2023-01-12 株式会社Ｎｔｔドコモ 情報処理装置
JP7275175B2 (ja) * 2021-03-01 2023-05-17 株式会社Ｎｔｔドコモ 情報処理装置
WO2023063596A1 (ko) * 2021-10-15 2023-04-20 머지리티 주식회사 사물 기반의 이미지 분석 서비스를 제공하기 위한 장치 및 방법
WO2024062913A1 (ja) * 2022-09-20 2024-03-28 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941752A (zh) * 2005-06-09 2007-04-04 索尼株式会社 信息处理设备和方法以及程序
CN102036163A (zh) * 2009-10-02 2011-04-27 索尼公司 行为模式分析系统、移动终端、行为模式分析方法和程序
CN103729394A (zh) * 2012-10-16 2014-04-16 索尼公司 终端装置、终端控制方法、信息处理装置和方法、程序

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193824A (ja) 2000-04-13 2007-08-02 Fujifilm Corp 画像処理方法
US7921036B1 (en) * 2002-04-30 2011-04-05 Videomining Corporation Method and system for dynamically targeting content based on automatic demographics and behavior analysis
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
JP2006259641A (ja) 2005-03-18 2006-09-28 Univ Waseda 音声認識装置及び音声認識用プログラム
JP5041202B2 (ja) 2006-06-20 2012-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP4891802B2 (ja) * 2007-02-20 2012-03-07 日本電信電話株式会社 コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム
US8223374B2 (en) * 2008-06-27 2012-07-17 Kabushiki Kaisha Toshiba Maintenance system of image forming apparatus and maintenance method of the same
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JP5326910B2 (ja) 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5649808B2 (ja) 2009-01-28 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP5392833B2 (ja) 2009-08-31 2014-01-22 日本電信電話株式会社 ストーリー生成システム、方法、およびプログラム
WO2011152844A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Image clustering using a personal clothing model
US8655889B2 (en) * 2010-12-10 2014-02-18 Microsoft Corporation Autonomous mobile blogging
JP5708278B2 (ja) * 2011-06-08 2015-04-30 ソニー株式会社 情報処理装置および情報処理方法
WO2012176317A1 (ja) * 2011-06-23 2012-12-27 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
US20130038756A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
JP2013101450A (ja) * 2011-11-08 2013-05-23 Sony Corp 情報処理装置及び方法、並びにプログラム
US9087273B2 (en) 2011-11-15 2015-07-21 Facebook, Inc. Facial recognition using social networking information
US20130129142A1 (en) * 2011-11-17 2013-05-23 Microsoft Corporation Automatic tag generation based on image content
JP5579202B2 (ja) 2012-01-16 2014-08-27 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6221107B2 (ja) 2012-02-09 2017-11-01 株式会社ニコン 制御装置及びプログラム
WO2013120851A1 (en) * 2012-02-13 2013-08-22 Mach-3D Sàrl Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
JP2014038429A (ja) 2012-08-14 2014-02-27 Zenrin Datacom Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
US9565149B2 (en) * 2012-11-05 2017-02-07 Phoji, Llc Media messaging methods, systems, and devices
US10402407B2 (en) * 2013-06-17 2019-09-03 Lenovo (Singapore) Pte. Ltd. Contextual smart tags for content retrieval
CN103390336A (zh) * 2013-06-27 2013-11-13 江苏梦兰神彩科技发展有限公司 一种具有自动发布微博的环境数据采集仪器
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
CN103442199A (zh) * 2013-09-25 2013-12-11 上海云视科技有限公司 紧急状态下自动录音录像的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941752A (zh) * 2005-06-09 2007-04-04 索尼株式会社 信息处理设备和方法以及程序
CN102036163A (zh) * 2009-10-02 2011-04-27 索尼公司 行为模式分析系统、移动终端、行为模式分析方法和程序
CN103729394A (zh) * 2012-10-16 2014-04-16 索尼公司 终端装置、终端控制方法、信息处理装置和方法、程序

Also Published As

Publication number Publication date
US10853650B2 (en) 2020-12-01
EP3147798A1 (en) 2017-03-29
JP2019207720A (ja) 2019-12-05
CN110083303A (zh) 2019-08-02
US20190236368A1 (en) 2019-08-01
JPWO2015178078A1 (ja) 2017-04-20
JP6777201B2 (ja) 2020-10-28
US20170032186A1 (en) 2017-02-02
JP6558364B2 (ja) 2019-08-14
US10311303B2 (en) 2019-06-04
EP3147798A4 (en) 2018-01-17
WO2015178078A1 (ja) 2015-11-26
US11244163B2 (en) 2022-02-08
EP3591577A1 (en) 2020-01-08
CN106462598A (zh) 2017-02-22
CN110780707A (zh) 2020-02-11
US20220122355A1 (en) 2022-04-21
US11763580B2 (en) 2023-09-19
US20200074179A1 (en) 2020-03-05
JP2019220194A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
US11763580B2 (en) Information processing apparatus, information processing method, and program
US20210266437A1 (en) Remotely identifying a location of a wearable apparatus
CN105573573B (zh) 基于图像管理用户信息的设备和方法
US20170132821A1 (en) Caption generation for visual media
US20220207872A1 (en) Apparatus and method for processing prompt information
CN107491929A (zh) 数据驱动的自然语言事件检测和分类
CN108093126A (zh) 用于拒绝来电的智能数字助理
CN107491285A (zh) 智能设备仲裁和控制
KR20160054392A (ko) 전자 장치 및 그 동작 방법
TWI680400B (zh) 基於影像管理使用者資訊的裝置與方法
CN108293073B (zh) 沉浸式临场感
CN107533712A (zh) 信息处理装置、信息处理方法和程序
US20230336694A1 (en) Tagging Characteristics of an Interpersonal Encounter Based on Vocal Features
CN105893771A (zh) 一种信息服务方法和装置、一种用于信息服务的装置
US20200090656A1 (en) Sensor Based Semantic Object Generation
US11651280B2 (en) Recording medium, information processing system, and information processing method
US20200301398A1 (en) Information processing device, information processing method, and program
US20220188363A1 (en) Information processing apparatus, information processing method, and program
US9811535B1 (en) Creating social network groups
US20230297611A1 (en) Information search device
JP6063697B2 (ja) 画像表示のための装置、方法及びプログラム
CN117688159A (zh) 信息搜索方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant