CN109783677A

CN109783677A - 回复方法、回复装置、电子设备及计算机可读存储介质

Info

Publication number: CN109783677A
Application number: CN201910052612.8A
Authority: CN
Inventors: 王卓然; 亓超; 马宇驰; 金烁; 陈华荣
Original assignee: Triangle Animal (beijing) Technology Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2019-05-21

Abstract

本发明提供一种回复方法、回复装置、电子设备及计算机可读存储介质，该回复方法包括：语义处理步骤，对用户输入的输入信息进行基于语义理解的处理，以生成输入信息的语义处理结果；以及回复获得步骤，通过对所述语义处理结果进行基于回复图片数据库的检索处理，来获得匹配输入信息的图片，以作为待输出给用户的针对输入信息的回复。本发明基于对输入信息的语义处理结果，从回复图片数据库中检索相关图片，从而解决了在人机交互中无法智能回复图片的问题。

Description

回复方法、回复装置、电子设备及计算机可读存储介质

技术领域

本发明实施例涉及基于文字交互的回复方法、回复装置、电子设备及计算机可读存储介质，具体地，涉及一种在人机交互场景中，基于输入内容智能回复与输入内容匹配的图片的方法。

背景技术

当前在基于文字的人与人的互动中(例如，网络聊天，网上业务咨询)，发图片(尤其是动图，表情图，趣味图等)作为一种提升互动性和趣味性的手段，已经被用户广泛使用。而人机文字交互系统目前已开始在各行各业中广泛使用。当前在人机自动化文字交互中，机器回复的内容都是针对上下文内容所做出的文字回复，或者少量固定的简单表情(如emoji表情)。

目前缺乏一种方法，能够实现在人机自动化文字交互场景下，能根据用户输入的内容回复恰当的图片。

发明内容

鉴于现有技术中的上述问题研发了本发明。本发明旨在提供一种能够在人机自动化交互过程中实现智能回复的方法。

本发明的第一方面提供一种人机交互中的回复方法，所述回复方法包括：语义处理步骤，对用户输入的输入信息进行基于语义理解的处理，以生成输入信息的语义处理结果；以及回复获得步骤，通过对所述语义处理结果进行基于回复图片数据库的检索处理，来获得能够匹配输入信息的图片，以作为待输出给用户的针对输入信息的回复。

优选地，所述回复图片数据库以将图片和反映图片内容的图片描述相关联的方式管理图片。

优选地，所述图片描述是通过人工添加方式和机器学习方式中的任何一种方式来生成的。

优选地，所述回复获得步骤包括：相似度计算步骤，计算所述语义处理结果与各图片描述之间的语义相似度；以及结果返回步骤，将与满足预定条件的语义相似度相关联的图片作为匹配所述输入信息的图片。

优选地，所述回复获得步骤还包括：排序步骤，对计算出的语义相似度进行排序，其中，在所述结果返回步骤中，将与排名前N且满足预定条件的语义相似度相关联的图片作为匹配所述输入信息的图片，所述N为正整数。

优选地，所述回复方法在所述语义处理步骤之前还包括：预处理步骤，对用户输入的输入信息进行预处理，其中，在所述语义处理步骤中，对预处理后的信息进行基于语义理解的处理，以生成输入信息的语义处理结果。

优选地，所述预处理包括标点的去除、无意义符号的去除、乱码的去除、大小写转换以及简体繁体转换中的至少一种。

优选地，所述基于语义理解的处理包括分词、同义词替换、无效词的过滤、情绪分析以及上下文联系中的至少一种。

优选地，所述输入信息为用户输入的文本信息、通过转换用户输入的语音信息而生成的文本信息、以及用户输入的文本信息与将用户语音信息转换成的文本信息组合而成的文本信息中的一种。

本发明的第二方面提供一种人机交互中的回复装置，所述回复装置包括：语义处理单元，对用户输入的输入信息进行基于语义理解的处理，以生成输入信息的语义处理结果；以及回复获得单元，通过对所述语义处理结果进行基于回复图片数据库的检索处理，来获得能够匹配输入信息的图片，以作为待输出给用户的针对输入信息的回复。

优选地，所述回复获得单元包括：相似度计算单元，计算所述语义处理结果与各图片描述之间的语义相似度；以及结果返回单元，将与满足预定条件的语义相似度相关联的图片作为匹配所述输入信息的图片。

优选地，所述回复获得单元还包括：排序单元，对计算出的语义相似度进行排序，其中，所述结果返回单元将与排名前N且满足预定条件的语义相似度相关联的图片作为匹配所述输入信息的图片，所述N为正整数。

优选地，所述回复装置还包括：预处理单元，对用户输入的输入信息进行预处理，其中，所述语义处理单元对预处理后的信息进行基于语义理解的处理，以生成输入信息的语义处理结果。

优选地，所述基于语义的处理包括分词、同义词替换、无效词的过滤、情绪分析以及上下文联系中的至少一种。

本发明的第三方面提供了一种用于人机交互的电子设备，其包括接收用户的输入信息的接收单元、存储回复图片数据库的存储单元、回复装置以及输出单元，所述回复装置包括：语义处理单元，对由接收单元接收到的输入信息进行基于语义理解的处理，以生成输入信息的语义处理结果；以及回复获得单元，通过对所述语义处理结果进行基于回复图片数据库的检索处理，来获得匹配所述输入信息的图片，以作为待输出给用户的针对输入信息的回复，其中，所述输出单元将回复获得单元获得的针对输入信息的回复，输出给用户。

本发明的第四方面提供一种计算机可读存储介质，其存储计算机程序，所述计算机程序在被处理器执行时，实现上述回复方法中包括的步骤。

根据本发明，通过对图片描述的分析，实现了在人机交互过程中的智能回复，可以用来解决无法智能回复图片的问题。另外，本发明也可以实现免去用户在一些交互场景下需要主动去借助搜图工具的繁琐，例如，在聊天中，用户想回复一个图片表情，之前需要查找图片，找到恰当的图再进行回复；而基于本发明，用户可以直接输入想表达的文字，机器会根据文字内容实时提示回复符合的图片。在现有技术中，例如在微信中已下载有一些表情，在输入想要表达的文字时，也会推荐相关的图片。在这方面，本申请与现有技术的不同点在于：本申请中的图片无需用户预先下载；本申请可以通过更新回复图片数据库，来实时地或者在预设时间更新图片。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域或普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是例示本发明中的回复装置的硬件构造的图。

图2是例示根据本发明第一实施例的回复方法的流程图。

图3是例示根据本发明第一实施例的回复方法的回复获得步骤的流程图。

图4是例示根据第一实施例的回复装置的模块结构的框图。

图5是例示根据本发明第二实施例的回复方法的回复获得步骤的流程图。

图6是例示根据第二实施例的回复装置的模块结构的框图。

图7是例示根据本发明第三实施例的回复方法的流程图。

图8是例示根据第三实施例的回复装置的模块结构的框图。

图9A至图9D是例示本发明的回复方法的示例性显示画面。

具体实施方式

在下文中将参照附图详细地描述本发明的实施例。应当理解，下述实施例并不意图限制本发明，并且，关于根据本发明的解决问题的手段，并不一定需要根据下述实施例描述的各方面的全部组合。为简化起见，对相同的结构部分或者步骤，使用了相同的标记或标号，并且省略其说明。

[回复装置的硬件结构]

图1是示出本发明中的回复装置的硬件构造的图。在本实施例中，以智能电话作为回复装置的示例给出描述。但请注意，虽然在本实施例中例示了智能电话作为回复装置1000，但是显然不限于此，本发明的回复装置可以是移动终端(智能手机、智能手表、智能手环、音乐播放设备)、笔记本电脑、平板电脑、PDA(个人数字助理)、传真装置、打印机、或者是具有回复功能的互联网设备(例如数字照相机、电冰箱、电视机等)等各种装置。

首先，参照图1的框图描述回复装置1000(2000、3000)的硬件结构。此外，在本实施例中作为示例描述了以下构造，但是本发明的回复装置不限于图1所示的构造。

回复装置1000包括经由系统总线彼此连接的输入接口101、CPU 102、ROM 103、RAM105、存储装置106、输出接口104、通信单元107和短距离无线通信单元108和显示单元109。输入接口101是用于接收用户所输入的数据以及功能的执行指令的接口，并且是用于经由诸如麦克风、按键、按钮或触摸屏的操作单元(未示出)接收从用户输入的数据和操作指令的接口。请注意，稍后描述的显示单元109和操作单元可以至少部分地集成，并且，例如，可以是在同一画面中进行画面输出和接收用户操作的构造。

CPU 102是系统控制单元，并且总体上全面地控制回复装置1000。此外，例如，CPU102进行回复装置1000的显示单元109的显示控制。ROM 103存储CPU 102执行的诸如数据表和控制程序以及操作系统(OS)程序等的固定数据。在本实施例中，ROM 103中存储的各个控制程序，例如，在ROM 103中存储的OS的管理下，进行诸如调度、任务切换和中断处理等的软件执行控制。

RAM 105例如由需要备用电源的SRAM(静态随机存取存储器)、DRAM等构造。在这种情况下，RAM 105可以以非易失性方式存储诸如程序控制变量等的重要数据。此外，RAM 105用作CPU 102的工作存储器和主存储器。

存储装置106存储预先训练的模型(例如，词纠错模式、实体模型、Rank模型、语义模型等)、用于进行检索的回复图片数据库以及用于执行根据本发明的回复方法的应用程序等。请注意，这里的回复图片数据库也可以存储在诸如服务器的外部装置中。此外，存储装置106存储诸如用于经由通信单元107与通信装置(未示出)进行发送/接收的信息发送/接收控制程序等的各种程序，以及这些程序使用的各种信息。此外，存储装置106还存储回复装置1000的设置信息、回复装置1000的管理数据等。

输出接口104是用于对显示单元109进行控制以显示信息以及应用程序的显示画面的接口。显示单元109例如由LCD(液晶显示器)构造。通过在显示单元109上布置具有诸如数值输入键、模式设置键、决定键、取消键和电源键等的键的软键盘，可以接收经由显示单元109的来自用户的输入。

回复装置100经由通信单元107通过例如Wi-Fi(无线保真)或蓝牙等无线通信方法，与外部装置(未示出)执行数据通信。

此外，回复装置1000也可以经由短距离无线通信单元108，在短距离范围内与外部装置等进行无线连接并执行数据通信。并且短距离无线通信单元108通过与通信单元107不同的通信方法进行通信。例如，可以使用其通信范围比通信单元107的通信方法短的蓝牙低功耗(BLE)作为短距离无线通信单元108的通信方法。此外，作为短距离无线通信单元108的通信方法，例如，还可以使用NFC(近场通信)或Wi-Fi感知(Wi-Fi Aware)。

[第一实施例]

[根据第一实施例的回复方法]

根据本发明的回复方法可以通过回复装置1000的CPU 102读取存储在ROM 103或存储装置106上的控制程序、或者经由通信单元107从通过网络与回复装置1000连接的网络服务器(未示出)而下载的控制程序来实现。

在进行根据本发明的回复方法之前，需要先准备回复图片数据库。具体流程如下：

(1)收集并整理图片素材：可以从公网上爬取、搜集图片素材(包括表情图片、公开的聊天记录图片、网络图片等)。

(2)针对各图片素材生成反映该图片内容的图片描述：各个图片需要有一段对图片内容的简单描述(即，“图片描述”)，能够反映图片所包含的内容和意义。该图片描述可以通过人工添加方式和机器学习方式中的任何一种方式来生成。例如，对于带有文字的图片素材，可利用OCR技术对文字内容进行抽取，从而形成图片描述。此外，基于一批预标注过的图片，可以训练深度神经网络，得到有自动产生文字标注能力的模型，为新的图片添加文字描述(图片描述)。其中，文字描述可以添加在图片中，组合生成新的图片；也可以以关联描述的方式，将图片和图片描述进行关联。

(3)将图片和反映该图片的内容的图片描述以相关联的方式加入回复图片数据库中。

如上所述，回复图片数据库中的图片可以是单独的图片，也可以是带有文字描述的图片。

在另一实现方式中，可以输入一段文本，根据文本从网络上进行搜索以获取与文本对应的图片，并在加入数据库时，将文本和图片关联的加入，这样无需再次针对图片生成反应图片内容的图片描述的步骤。

接下来，结合图2至图4对根据本发明第一实施例的回复方法进行说明。其中，图2是例示根据本发明第一实施例的回复方法的流程图；图3是例示根据第一实施例的回复方法的回复获得步骤的流程图；图4是例示根据第一实施例的回复装置的模块结构的框图。

如图2所示，首先，在语义处理步骤S101中，对用户输入的输入信息进行基于语义理解的处理，以生成输入信息的语义处理结果。这里的基于语义理解的处理包括分词、同义词替换、无效词的过滤、情绪分析以及上下文联系等。这里，分词是指将一句话切分成有语义意义的小的片段，例如，“我今天特别开心”可以被切分成“我”、“今天”、“特别”和“开心”。通过同义词替换，可以用一系列同义词(例如“开心”的同义词“幸福”和“快乐”等)进行替换。无效词过滤是指滤掉一些对判断贡献很小的词，比如上句中的“特别”可以去掉，而留下核心关键词“我”、“今天”和“开心”。情绪分析是指根据文字描述来判断，所表示的情绪是正面还是负面的，例如上句中的情绪是正面的。上下文联系是指在上下文存在的情况下，例如“昨天湖人队赢了”，则“湖人”也可以作为上文关键词，在后续的计算中被考虑。

接下来，在回复获得步骤S102中，通过对所述语义处理结果进行基于回复图片数据库的检索处理，来获得能够匹配输入信息的图片，以作为待输出给用户的针对输入信息的回复。优选地，如图3所示，回复获得步骤S102进一步包括：相似度计算步骤S1021，计算所述语义处理结果与各图片描述之间的语义相似度；以及结果返回步骤S1022，将与满足预定条件的语义相似度相关联的图片作为能够匹配输入信息的待回复用户的图片。

下面，以如下情况为例对上述步骤进行说明。

例如，针对用户的输入信息“我今天特别开心”，通过上述步骤S101中的处理，获得语义处理结果(关键词“我”、“今天”和“开心”)。针对回复图片数据库中的某一图片描述“非常幸福”(关键词为“幸福”)，在相似度计算步骤S1021中，所有关键词都会通过word2vec方法转换为词向量，并根据unigram/bigram/trigram/ngram等特征和词匹配等方法，计算语义相似度，得出一个0到1之间的相似度得分，得分越高则相似度越高。在该示例中，“开心”和“幸福”会配对，并计算词向量相似度，“我”和“今天”这两个词不参与相似度计算。另选地，在计算相似度之前，也可以对该图片描述进行与针对用户输入信息相同的基于语义理解的处理，例如通过预先训练的模型判断用户的输入信息和图片描述的情绪，并仅在情绪相同(例如，同属正面、负面或者中性情绪)的情况下进行相似度计算，例如，在上述示例中，用户的输入信息和图片描述同属于正面情绪。

然后，在结果返回步骤S1022中，将与满足预定条件的语义相似度相关联的图片作为能够匹配输入信息的待回复用户的图片。例如，可以将计算出的语义相似度和预定阈值进行比较，并在该语义相似度大于或等于预定阈值的情况下，将回复图片数据库中与该语义相似度相关联的图片作为能够匹配输入信息的待回复用户的图片(例如，可以通过显示单元109将图片显示给用户)。当大于预定阈值的图片大于等于1个时，可以推荐给用户语义相似度大于等于预定阈值(如0.7)的图片供用户进行选择，为了增加用户的体验，当大于等于预定阈值的图片小于1个时，这时推荐给用户语义相似度较高的图片供用户进行选择。这里，以语义相似度与预定阈值之间的关系作为预定条件的示例，当然，根据实际需要，预定条件还可以采用其他形式。另外，这里的预定阈值是根据模型在训练、验证和测试的情况而预先确定的，以确保准确率更高。

另外，当存在多个满足预定条件(例如大于或等于预定阈值)的结果时，根据具体的使用场景，可以返回相似度最高的结果，或者随机返回其中的一个结果。

另外，用户输入的信息可以为用户输入的文本信息、通过转换用户输入的语音信息而生成的文本信息、以及用户输入的文本信息与将用户语音信息转换成的文本组合而成的文本信息中的一种。

根据本发明第一实施例的回复方法，通过对用户输入的输入信息进行基于语义理解的处理以生成输入信息的语义处理结果，并通过对所述语义处理结果进行基于回复图片数据库的检索处理，来获得能够匹配输入信息的图片，以作为待输出给用户的针对输入信息的回复，可以获得如下技术效果：实现了在人机交互过程中的智能回复，从而解决无法智能回复图片的问题。另外，也可以免去用户在一些交互场景下需要主动去借助搜图工具的繁琐。

[根据第一实施例的回复装置的模块结构]

图4是例示根据第一实施例的回复装置的模块结构的框图。如图4所示，回复装置1000包括语义处理单元1101和回复获得单元1102。

具体地说，语义处理单元1101对用户输入的输入信息进行基于语义理解的处理，以生成输入信息的语义处理结果；回复获得单元1102通过对所述语义处理结果进行基于回复图片数据库的检索处理，来获得能够匹配输入信息的图片，以作为待输出给用户的针对输入信息的回复。所述回复获得单元进一步包括：相似度计算单元11021，计算所述语义处理结果与各图片描述之间的语义相似度；以及结果返回单元11022，将与满足预定条件的语义相似度相关联的图片作为能够匹配输入信息的待回复用户的图片。

[第二实施例]

[根据第二实施例的回复方法]

下面结合图5和图6对根据本发明第二实施例的回复方法进行说明。其中，图5是例示根据本发明第二实施例的回复方法的回复获得步骤的流程图。

如图5所示，根据第二实施例的回复方法与根据第一实施例的回复方法的区别在于，在回复获得步骤中，增加了排序步骤S2023。

具体地说，在排序步骤S2023中，对在步骤S1021中计算出的语义相似度进行排序。接下来，在结果返回步骤S2022中，将与排名靠前(例如排名前N，N为正整数)且满足预定条件的语义相似度相关联的图片作为能够匹配输入信息的待回复用户的图片。

根据本发明第二实施例的回复方法，通过对语义相似度进行排序，并将相似度较高的图片回复给用户，可以获得如下技术效果：使得用户能够获得最优回复结果。

[根据第二实施例的回复装置的模块结构]

图6是例示根据第二实施例的回复装置的模块结构的框图。如图6所示，根据第二实施例的回复装置2000与根据第一实施例的回复装置1000的区别在于，在回复获得单元1102中增加了排序单元12023。

具体地说，排序单元12023对计算出的语义相似度进行排序，并且结果返回单元12022将与排名前N且满足预定条件的语义相似度相关联的图片作为能够匹配输入信息的待回复用户的图片，所述N为正整数。

[第三实施例]

[根据第三实施例的回复方法]

下面结合图7和图8对根据本发明第三实施例的回复方法进行说明。

图7是例示根据本发明第三实施例的回复方法的流程图。

如图7所示，根据第三实施例的回复方法与根据第一实施例的回复方法的区别在于，增加了预处理步骤S300。

具体地说，在预处理步骤S300中，对用户输入的输入信息进行预处理。这里，预处理包括标点的去除、无意义符号的去除、乱码的去除、大小写转换以及简体繁体转换等。

接下来，在语义处理步骤S301中，对预处理后的信息进行基于语义理解的处理，以生成语义处理结果。

根据第三实施例的回复方法通过在进行基于语义理解的处理之前进行预处理，能够对用户输入的信息进行校正，从而提高后续检索的精确度。

[根据第三实施例的回复装置的模块结构]

图8是例示根据第三实施例的回复装置的模块结构的框图。如图8所示，根据第三实施例的回复装置3000与根据第一实施例的回复装置1000的区别在于，增加了预处理单元1300。

具体地说，预处理单元1300对用户输入的输入信息进行预处理，并且语义处理单元1301对预处理后的信息进行基于语义理解的处理，以生成语义处理结果。

另外，图9A-图9D是例示本发明的回复方法的示例性显示画面。例如，如图9A所示，针对用户的输入信息“真好”，从回复图片数据中检索出图片并将其返回给用户，其中，图片下方的文字“我觉得很好”是原图片中自带的文字，图片上方的文字“真心觉得很好”表示在准备回复图片数据库时添加在图片中的文字描述。

此外，本发明还提供了一种用于人机交互的电子设备，其包括接收用户的输入信息的接收单元、存储回复图片数据库的存储单元、上述任一实施例中的回复装置、以及将回复装置获得的针对输入信息的回复输出给用户的输出单元。其中，接收单元可通过图1中的输入接口101实现，存储单元可通过图1中的存储装置106实现，输出单元可通过图1中的输出接口104实现。

以上虽然参照示例性实施例对本发明进行了描述，但是上述实施例只为说明本发明的技术构思及特点，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的任何等效变型或修改，都应涵盖在本发明的保护范围之内。

本发明还提供了：

A1.一种人机交互中的回复方法，所述回复方法包括：

语义处理步骤，对用户输入的输入信息进行基于语义理解的处理，以生成输入信息的语义处理结果；以及

回复获得步骤，通过对所述语义处理结果进行基于回复图片数据库的检索处理，来获得匹配所述输入信息的图片，以作为待输出给用户的针对输入信息的回复。

A2.根据A1所述的回复方法，其中，所述回复图片数据库以将图片和反映图片内容的图片描述相关联的方式管理图片。

A3.根据A2所述的回复方法，其中，所述图片描述是通过人工添加方式和机器学习方式中的任何一种方式来生成的。

A4.根据A2所述的回复方法，其中，所述回复获得步骤包括：

相似度计算步骤，计算所述语义处理结果与各图片描述之间的语义相似度；以及

结果返回步骤，将与满足预定条件的语义相似度相关联的图片作为匹配所述输入信息的图片。

A5.根据A4所述的回复方法，其中，所述回复获得步骤还包括：

排序步骤，对计算出的语义相似度进行排序，

其中，在所述结果返回步骤中，将与排名前N且满足预定条件的语义相似度相关联的图片作为匹配所述输入信息的图片，所述N为正整数。

A6.根据A1所述的回复方法，所述回复方法在所述语义处理步骤之前还包括：

预处理步骤，对用户输入的输入信息进行预处理，

其中，在所述语义处理步骤中，对预处理后的信息进行基于语义理解的处理，以生成输入信息的语义处理结果。

A7.根据A6所述的回复方法，其中，所述预处理包括标点的去除、无意义符号的去除、乱码的去除、大小写转换以及简体繁体转换中的至少一种。

A8.根据A1所述的回复方法，其中，所述基于语义理解的处理包括分词、同义词替换、无效词的过滤、情绪分析以及上下文联系中的至少一种。

A9.根据A1所述的回复方法，所述输入信息为用户输入的文本信息、通过转换用户输入的语音信息而生成的文本信息、以及用户输入的文本信息与将用户语音信息转换成的文本信息组合而成的文本信息中的一种。

B10.一种人机交互中的回复装置，所述回复装置包括：

语义处理单元，对用户输入的输入信息进行基于语义理解的处理，以生成输入信息的语义处理结果；以及

回复获得单元，通过对所述语义处理结果进行基于回复图片数据库的检索处理，来获得匹配所述输入信息的图片，以作为待输出给用户的针对输入信息的回复。

B11.根据B10所述的回复装置，其中，所述回复图片数据库以将图片和反映图片内容的图片描述相关联的方式管理图片。

B12.根据B11所述的回复装置，其中，所述图片描述是通过人工添加方式和机器学习方式中的任何一种方式来生成的。

B13.根据B11所述的回复装置，其中，所述回复获得单元包括：

相似度计算单元，计算所述语义处理结果与各图片描述之间的语义相似度；以及

结果返回单元，将与满足预定条件的语义相似度相关联的图片作为匹配所述输入信息的图片。

B14.根据B13所述的回复装置，其中，所述回复获得单元还包括：

排序单元，对计算出的语义相似度进行排序，

其中，所述结果返回单元将与排名前N且满足预定条件的语义相似度相关联的图片作为匹配所述输入信息的图片，所述N为正整数。

B15.根据B10所述的回复装置，所述回复装置还包括：

预处理单元，对用户输入的输入信息进行预处理，

其中，所述语义处理单元对预处理后的信息进行基于语义理解的处理，以生成输入信息的语义处理结果。

B16.根据B15所述的回复装置，其中，所述预处理包括标点的去除、无意义符号的去除、乱码的去除、大小写转换以及简体繁体转换中的至少一种。

B17.根据B10所述的回复装置，其中，所述基于语义的处理包括分词、同义词替换、无效词的过滤、情绪分析以及上下文联系中的至少一种。

B18.根据B10所述的回复装置，所述输入信息为用户输入的文本信息、通过转换用户输入的语音信息而生成的文本信息、以及用户输入的文本信息与将用户语音信息转换成的文本信息组合而成的文本信息中的一种。

C19.一种用于人机交互的电子设备，其包括接收用户的输入信息的接收单元、存储回复图片数据库的存储单元、回复装置以及输出单元，所述回复装置包括：

语义处理单元，对由接收单元接收到的输入信息进行基于语义理解的处理，以生成输入信息的语义处理结果；以及

回复获得单元，通过对所述语义处理结果进行基于回复图片数据库的检索处理，来获得匹配所述输入信息的图片，以作为待输出给用户的针对输入信息的回复，

其中，所述输出单元将回复获得单元获得的针对输入信息的回复，输出给用户。

D20.一种计算机可读存储介质，其存储计算机程序，所述计算机程序在被处理器执行时，实现根据A1至A9中任一项所述的回复方法中包括的步骤。

Claims

1.一种人机交互中的回复方法，所述回复方法包括：

2.根据权利要求1所述的回复方法，其中，所述回复图片数据库以将图片和反映图片内容的图片描述相关联的方式管理图片。

3.根据权利要求2所述的回复方法，其中，所述图片描述是通过人工添加方式和机器学习方式中的任何一种方式来生成的。

4.根据权利要求2所述的回复方法，其中，所述回复获得步骤包括：

5.根据权利要求4所述的回复方法，其中，所述回复获得步骤还包括：

排序步骤，对计算出的语义相似度进行排序，

6.根据权利要求1所述的回复方法，所述回复方法在所述语义处理步骤之前还包括：

预处理步骤，对用户输入的输入信息进行预处理，

7.根据权利要求6所述的回复方法，其中，所述预处理包括标点的去除、无意义符号的去除、乱码的去除、大小写转换以及简体繁体转换中的至少一种。

8.一种人机交互中的回复装置，所述回复装置包括：

9.一种用于人机交互的电子设备，其包括接收用户的输入信息的接收单元、存储回复图片数据库的存储单元、回复装置以及输出单元，所述回复装置包括：

10.一种计算机可读存储介质，其存储计算机程序，所述计算机程序在被处理器执行时，实现根据权利要求1至7中任一项所述的回复方法中包括的步骤。