CN109766412B - 一种基于图像识别的学习内容获取方法及电子设备 - Google Patents

Abstract

本发明涉及教育技术领域，具体涉及一种基于图像识别的学习内容获取方法及电子设备，包括：根据拍摄指令控制电子设备的摄像头拍摄书本，得到拍摄图像；对拍摄图像进行图像识别，识别出指定物在拍摄图像中的位置，并基于该位置确定待搜索范围以及待搜索范围所包含的第一部分内容；判断第一部分内容是否完整；如果不完整，则根据拍摄图像确定书本对应的电子资源，并根据电子资源确定第二部分内容；利用第二部分内容对第一部分内容进行补全，以得到待搜索内容；获取待搜索内容对应的目标学习内容。实施本发明实施例，能够提高搜索准确率。

Description

一种基于图像识别的学习内容获取方法及电子设备

技术领域

本发明涉及教育技术领域，具体涉及一种基于图像识别的学习内容获取方法及电子设备。

背景技术

目前，大多数家教设备都提供内容搜索功能。当用户想要搜索书本上的某一内容(例如某道题目或者某个知识点)时，可以通过家教机对该书本内容进行拍摄，并利用拍摄得到的图像搜索用户所需要的学习内容(例如某道题目对应的答案或者某个知识点对应的练习题目等)。然而，在某些情况下，用户想要搜索的内容处于书本的跨页区域，家教机无法拍全，因此容易出现内容识别不全的问题，进而导致了搜索准确率降低。

发明内容

本发明实施例公开一种基于图像识别的学习内容获取方法及电子设备，能够提高搜索准确率。

本发明实施例第一方面公开了一种基于图像识别的学习内容获取方法，所述方法包括：

根据拍摄指令控制电子设备的摄像头拍摄书本，得到拍摄图像；

对所述拍摄图像进行图像识别，识别出指定物在所述拍摄图像中的位置，并基于所述位置确定待搜索范围以及所述待搜索范围所包含的第一部分内容；

判断所述第一部分内容是否完整；

如果不完整，则根据所述拍摄图像确定所述书本对应的电子资源，并根据所述电子资源确定第二部分内容；

利用所述第二部分内容对所述第一部分内容进行补全，以得到待搜索内容；

获取所述待搜索内容对应的目标学习内容。

作为一种可选的实施方式，在本发明实施例第一方面中，所述基于所述位置确定待搜索范围以及所述待搜索范围所包含的第一部分内容，包括：

获取所述位置在所述拍摄图像中的坐标点，并以所述坐标点作为基准点确定待搜索范围；其中，所述待搜索范围在预设方向上的范围大于在所述预设方向的反方向上的范围，所述预设方向为手指的指尖所朝向的方向；

识别所述待搜索范围，得到所述待搜索范围所包含的第一部分内容。

作为一种可选的实施方式，在本发明实施例第一方面中，所述判断所述第一部分内容是否完整，包括：

依据预先定义的标志符号对所述第一部分内容进行分句处理，得到至少一个句子；

检测所述至少一个句子中是否存在词性成分不完整的待补全句子；

如果存在所述待补全句子，则确定所述第一部分内容不完整。

作为一种可选的实施方式，在本发明实施例第一方面中，所述获取所述待搜索内容对应的目标学习内容，包括：

检测是否接收到用户输入的搜索条件；

如果接收到所述搜索条件，按照所述搜索条件，获取所述待搜索内容对应的目标学习内容；

如果未接收到所述搜索条件，从习题数据库中查找与所述待搜索内容匹配度最高的习题内容；

通过搜索引擎查找与所述待搜索内容匹配度最高的知识点内容；

根据所述习题内容以及所述知识点内容确定目标学习内容。

作为一种可选的实施方式，在本发明实施例第一方面中，所述获取与所述待搜索内容对应的目标学习内容之后，所述方法还包括：

获取用户的学习行为数据以及用户属性数据；其中，所述学习行为数据至少包括访问页面地址以及页面操作信息；所述用户属性数据至少包括用户的年龄以及用户对内容输出形式的偏好；

根据所述学习行为数据以及所述用户属性数据确定所述目标学习内容的推送策略；

以所述推送策略向用户推送所述目标学习内容。

本发明实施例第二方面公开了一种电子设备，所述电子设备包括：

拍摄单元，用于根据拍摄指令控制电子设备的摄像头拍摄书本，得到拍摄图像；

图像识别单元，用于对所述拍摄图像进行图像识别，识别出指定物在所述拍摄图像中的位置；

第一确定单元，用于基于所述位置确定待搜索范围以及所述待搜索范围所包含的第一部分内容；

判断单元，用于判断所述第一部分内容是否完整；

第二确定单元，用于在所述判断单元判断出所述第一部分内容不完整之后，根据所述拍摄图像确定所述书本对应的电子资源，并根据所述电子资源确定第二部分内容；

补全单元，用于利用所述第二部分内容对所述第一部分内容进行补全，以得到待搜索内容；

第一获取单元，用于获取所述待搜索内容对应的目标学习内容。

作为一种可选的实施方式，在本发明实施例第二方面中，所述第一确定单元，包括：

第一获取子单元，用于获取所述位置在所述拍摄图像中的坐标点；

第一确定子单元，用于以所述坐标点作为基准点确定待搜索范围；其中，所述待搜索范围在预设方向上的范围大于在所述预设方向的反方向上的范围，所述预设方向为手指的指尖所朝向的方向；

识别子单元，用于识别所述待搜索范围，得到所述待搜索范围所包含的第一部分内容。

作为一种可选的实施方式，在本发明实施例第二方面中，所述判断单元，包括：

分句处理子单元，用于依据预先定义的标志符号对所述第一部分内容进行分句处理，得到至少一个句子；

第一检测子单元，用于检测所述至少一个句子中是否存在词性成分不完整的待补全句子；

第二确定子单元，用于在所述第一检测子单元检测出存在所述待补全句子时，确定所述第一部分内容不完整。

作为一种可选的实施方式，在本发明实施例第二方面中，所述第一获取单元，包括：

第二检测子单元，用于检测是否接收到用户输入的搜索条件；

第二获取子单元，用于在所述第二检测子单元检测出接收到所述搜索条件时，按照所述搜索条件，获取所述待搜索内容对应的目标学习内容；

查找子单元，用于在所述第二检测子单元检测出未接收到所述搜索条件时，从习题数据库中查找与所述待搜索内容匹配度最高的习题内容，以及通过搜索引擎查找与所述待搜索内容匹配度最高的知识点内容；

第三确定子单元，用于根据所述习题内容以及所述知识点内容确定目标学习内容。

作为一种可选的实施方式，在本发明实施例第二方面中，所述电子设备还包括：

第二获取单元，用于在所述第一获取单元获取与所述待搜索内容对应的目标学习内容之后，获取用户的学习行为数据以及用户属性数据；其中，所述学习行为数据至少包括访问页面地址以及页面操作信息；所述用户属性数据至少包括用户的年龄以及用户对内容输出形式的偏好；

所述第二确定单元，还用于根据所述学习行为数据以及所述用户属性数据确定所述目标学习内容的推送策略；

推送单元，用于以所述推送策略向用户推送所述目标学习内容。

本发明实施例第三方面公开了另一种电子设备，所述电子设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的任意一种方法中的全部或部分步骤。

本发明实施例第四方面公开了一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的任意一种方法中的全部或部分步骤。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，根据拍摄指令控制电子设备的摄像头拍摄书本，得到拍摄图像；对拍摄图像进行图像识别，识别出指定物在拍摄图像中的位置，并基于该位置确定待搜索范围以及待搜索范围所包含的第一部分内容；判断第一部分内容是否完整；如果不完整，则根据拍摄图像确定书本对应的电子资源，并根据电子资源确定第二部分内容；利用第二部分内容对第一部分内容进行补全，以得到待搜索内容；获取待搜索内容对应的目标学习内容。可见，实施本发明实施例，能够在识别出根据拍摄图像确定的待搜索内容不完整时，利用书本对应的电子资源对用户想要搜索的内容进行补全，进而提高了搜索准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于图像识别的学习内容获取方法的流程示意图；

图2是本发明实施例公开的另一种基于图像识别的学习内容获取方法的流程示意图；

图3是本发明实施例公开的又一种基于图像识别的学习内容获取方法的流程示意图；

图4是本发明实施例公开的一种电子设备的结构示意图；

图5是本发明实施例公开的另一种电子设备的结构示意图；

图6是本发明实施例公开的又一种电子设备的结构示意图；

图7是本发明实施例公开的又一种电子设备的部分结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开一种基于图像识别的学习内容获取方法及电子设备，能够提高搜索准确率。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于图像识别的学习内容获取方法的流程示意图。其中，如图1所示，该基于图像识别的学习内容获取方法可以包括以下步骤：

101、电子设备根据拍摄指令控制电子设备的摄像头拍摄书本，得到拍摄图像。

本发明实施例中，电子设备可以包括但不限于学习平板、家教机、学习手机以及学习机等；拍摄指令可以是用户在利用电子设备对书本进行拍摄时按下该电子设备的显示界面上的虚拟拍摄按键的一个动作指令；也可以是电子设备在通过语音识别出用户存在拍摄意图之后生成的控制指令，具体来说，电子设备可以采集周围环境的声音信号，提取该声音信号的声纹特征，并判断该声纹特征是否与预先存储在电子设备的合法声纹特征相匹配，如果匹配，对该声音信号进行识别，从而得到拍摄指令。

作为一种可选的实施方式，电子设备根据拍摄指令控制电子设备的摄像头拍摄书本，得到拍摄图像，可以包括：

根据拍摄指令控制电子设备的摄像头在预设的拍摄模式下拍摄书本，得到至少两张原始拍摄图像；

对上述至少两张原始拍摄图像进行合成处理，得到拍摄图像。

其中，预设的拍摄模式(例如曝光模式)可以是电子设备默认设置的，也可以是用户手动设置的，本发明实施例不做限定。可见，本发明实施例，能够通过对多张连续拍摄的图像进行合成，提高了拍摄图像的质量。

102、电子设备对拍摄图像进行图像识别，识别出指定物在拍摄图像中的位置，并基于该位置确定待搜索范围以及待搜索范围所包含的第一部分内容。

本发明实施例中，指定物在拍摄图像中的位置可以确定为用户指定拍摄的区域；其中，指定物可以是用户的手指，也可以是用户使用的触控笔，还可以是激光笔投射到书本的光亮点，本发明实施例不做限定。

作为一种可选的实施方式，电子设备基于上述位置确定待搜索范围以及待搜索范围所包含的第一部分内容，可以包括：

获取上述位置在拍摄图像中的坐标点，并以坐标点作为基准点确定待搜索范围；其中，该待搜索范围在预设方向上的范围大于在预设方向的反方向上的范围，该预设方向为手指的指尖所朝向的方向；

识别待搜索范围，得到待搜索范围所包含的第一部分内容。

本发明实施例中，可选的，电子设备可以通过分析识别拍摄图像，识别出指定物在书本的覆盖区域，将覆盖区域的中心位置确定为指定物在拍摄图像中的位置，并进一步确定出该位置的坐标点，以该坐标点作为基准点确定待搜索范围；其中，待搜索范围对应的区域形状可以包括但不限于矩形、圆形或椭圆形等等。此外，当指定物为用户的手指时，预设方向可以为手指的指尖所朝向的方向；当指定物为触控笔或者激光笔投射的光亮点时，预设方向可以是任意方向，本发明实施例不做限定。

103、电子设备判断第一部分内容是否完整，如果不完整，则触发执行步骤104；如果完整，结束本流程。

作为一种可选的实施方式，如果判断出上述第一部分内容完整，电子设备还可以将第一部分内容确定为待搜索内容，并获取待搜索内容对应的目标学习内容。

作为另一种可选的实施方式，电子设备判断第一部分内容是否完整，可以包括：

依据预先定义的标志符号对第一部分内容进行分句处理，得到至少一个句子；

检测至少一个句子中是否存在词性成分不完整的待补全句子；

如果存在待补全句子，则确定第一部分内容不完整。

本发明实施例中，在依据预先定义的标志符号对第一部分内容进行分句处理，得到至少一个句子之前，电子设备还可以检测该第一部分内容中是否包含预先定义的任意一个标志符号，如果包含，则执行上述的依据预先定义的标志符号对第一部分内容进行分句处理，得到至少一个句子；如果未包含，则对该第一部分内容进行语义分析，以判断该第一部分内容的语义是否完整，如果不完整，则确定该第一部分内容不完整；其中，预先定义的标志符号可以是句号、问号、感叹号等句子的终止符号，本发明不做限定。例如，用户想要搜索的书本内容是：“一列慢车和一列快车分别从A、B两站相对开出,快车和慢车速度的比是5:4,慢车先从A站开出27千米,快车才从B站开出。相遇时快车和B站的距离比慢车和A站的距离多32千米，A、B两站相距多少千米？”，而电子设备通过对拍摄图像进行识别得到的第一部分内容为：“一列慢车和一列快车分别从A、B两站相对开出,快车和慢车速度的比是5:4,慢车先从A站开出27千米,快车才从B站开出。相遇时快车和B站的距离比慢车和A站的距离”，进一步检测该第一部分内容中是否包含预先定义的任意一个标志符号，容易知道该第一部分内容包含了预先定义的标志符号，因此依据预先定义的标志符号对第一部分内容进行分句处理，得到“一列慢车和一列快车分别从A、B两站相对开出,快车和慢车速度的比是5:4,慢车先从A站开出27千米,快车才从B站开出。”以及“相遇时快车和B站的距离比慢车和A站的距离”两个分句，分别识别这两个分句是否词性成分不完整，可知“相遇时快车和B站的距离比慢车和A站的距离”这一分句的词性成分不完整，因此，确定第一部分内容不完整。又例如，用户想要搜索的书本内容是“琴瑟和谐”这一成语，而电子设备通过对拍摄图像进行识别得到的第一部分内容为：“琴瑟和谐”，电子设备可以检测出该第一部分内容不包含预先定义的任意一个标志符号，进一步地，对“琴瑟和谐“进行语义分析，判断出其语义完整，因此，可以确定出第一部分内容完整。

104、电子设备根据拍摄图像确定书本对应的电子资源，并根据该电子资源确定第二部分内容。

本发明实施例中，上述电子资源也可以称为电子书或电子文本，是上述被拍摄书本所包含的文字、图片等讯息内容数字化的出版物，因此，与书本对应的电子资源与该书本的内容完全相同，进一步可选的，该电子资源还可以与上述被拍摄的书本的排版也相同。

本发明实施例中，电子设备可以通过识别拍摄图像，得到拍摄图像对应的文本内容，并根据该文本内容确定出书本对应的电子资源，进一步地，还可以通过识别拍摄图像，识别出拍摄到的书本页面中特定位置(如页眉、页脚或者其他位置)的页码，从书本对应的电子资源中获取该页码的相邻页码(上一页或者下一页)的内容，并将该页码的相邻页码所包括的页面内容确定为第二部分内容。

105、电子设备利用第二部分内容对第一部分内容进行补全，以得到待搜索内容。

本发明实施例中，举例来说，当用户想要搜索的内容处于跨页区域时，第一部分内容为：“与恶、美与丑时，正确抉择；守住底线，方能奠定坚实的人生基础，步入更高的境界。中学生在作业考试、运动竞技、娱乐休闲、社团活动、结交朋友等方面都应明辨是非，坚守底线。请以“底线”为题写一篇作文。”，而第二部分内容至少可以包括：“……人生底线，是做人的基石，是处世最起码的准绳。守住底线，才能让你在面对真与假、善”，因此，利用第二部分内容对第一部分内容进行补全，得到的待搜索内容为：“人生底线，是做人的基石，是处世最起码的准绳。守住底线，才能让你在面对真与假、善与恶、美与丑时，正确抉择；守住底线，方能奠定坚实的人生基础，步入更高的境界。中学生在作业考试、运动竞技、娱乐休闲、社团活动、结交朋友等方面都应明辨是非，坚守底线。请以“底线”为题写一篇作文。”。

106、电子设备获取待搜索内容对应的目标学习内容。

本发明实施例中，待搜索内容可以是某一知识点也可以是某一道题目，那么，当待搜索内容是某一知识点时，其对应的目标学习内容可以是该知识点对应的练习题目；当待搜索内容是某一道题目时，其对应的目标学习内容可以是该题目所包含的知识点和/或与该题目具有相同知识点的其他练习题目，本发明实施例不做限定。

可见，通过图1所描述的方法，能够在识别出根据拍摄图像确定的待搜索内容不完整时，利用书本对应的电子资源对用户想要搜索的内容进行补全，进而提高了搜索准确率；此外，通过对多张连续拍摄的图像进行合成，提高了拍摄图像的质量。

实施例二

请参阅图2，图2是本发明实施例公开的另一种基于图像识别的学习内容获取方法的流程示意图。其中，如图2所示，该基于图像识别的学习内容获取方法可以包括以下步骤：

本发明实施例中，该基于图像识别的学习内容获取方法包括步骤201～205，针对步骤201～205的描述，请参照实施例一中针对步骤101～105的详细描述，本发明实施例不再赘述。

206、电子设备检测是否接收到用户输入的搜索条件，如果接收到搜索条件，触发执行207；如果未接收到搜索条件，触发执行208～210。

本发明实施例中，用户输入搜索条件的方式可以是语音输入，即电子设备可以在得到待搜索内容之后，将待搜索内容输出至电子设备的显示界面供用户查看，并采集用户发出的语音信息，识别该语音信息得到用户输入的搜索条件；用户输入搜索条件的方式还可以是文字输入，即电子设备可以在得到待搜索内容之后，将待搜索内容输出至电子设备的显示界面供用户查看，并获取用户在该显示界面的预设的输入框输入的文字信息，将该文字信息确定为用户输入的搜索条件。此外，搜索条件可以是一个或者多个关键词，其类型可以是科目类型和/或内容格式(如图片、音频、文本或者动画等)，本发明实施例不做限定。

207、电子设备按照搜索条件，获取待搜索内容对应的目标学习内容。

本发明实施例中，举例来说，待搜索内容为“鸡兔同笼”这一词语，搜索条件的类型为数学，那么，电子设备可以按照科目类型为数学在数学学科领域搜索鸡兔同笼这一词语，得到相应的目标学习内容。可见，本发明实施例，能够利用搜索条件进一步明确待搜索内容的搜索范围，提高了待搜索内容对应的目标学习内容的搜索速度以及搜索的准确率。

208、电子设备从习题数据库中查找与待搜索内容匹配度最高的习题内容。

209、电子设备通过搜索引擎查找与待搜索内容匹配度最高的知识点内容。

210、电子设备根据习题内容以及知识点内容确定目标学习内容。

可见，通过图2所描述的方法，能够在识别出根据拍摄图像确定的待搜索内容不完整时，利用书本对应的电子资源对用户想要搜索的内容进行补全，进而提高了搜索准确率；以及，能够通过对多张连续拍摄的图像进行合成，提高了拍摄图像的质量；此外，能够利用搜索条件进一步明确待搜索内容的搜索范围，提高了待搜索内容对应的目标学习内容的搜索速度以及搜索的准确率。

实施例三

请参阅图3，图3是本发明实施例公开的又一种基于图像识别的学习内容获取方法的流程示意图。其中，如图3所示，该基于图像识别的学习内容获取方法可以包括以下步骤：

本发明实施例中，该基于图像识别的学习内容获取方法包括步骤301～310，针对步骤301～310的描述，请参照实施例二中针对步骤201～210的详细描述，本发明实施例不再赘述。

311、电子设备获取用户的学习行为数据以及用户属性数据；其中，该学习行为数据至少包括访问页面地址以及页面操作信息；该用户属性数据至少包括用户的年龄以及用户对内容输出形式的偏好。

本发明实施例中，学习行为数据可以包括访问页面地址、页面操作信息、每个页面的访问起止时间等；用户属性数据可以包括用户的客观属性数据以及用户的主观属性数据，其中，客观属性数据可以包括用户的年龄、性别以及用户所处年龄段对应的考试大纲等，主观属性数据可以包括用户对学习内容的偏好、用户对内容输出形式的偏好、用户对内容输出时间段的偏好以及用户对内容输出时长的偏好等。

312、电子设备根据学习行为数据以及用户属性数据确定目标学习内容的推送策略。

本发明实施例中，可选的，学习行为数据以及用户属性数据可以是电子设备在确定推送策略之前采集的历史数据；电子设备可以对学习行为数据以及用户属性数据进行预处理，将数据预处理之后的学习行为数据以及用户属性数据输入预先训练好的用户分类模型，基于该用户分类模型的输出结果确定用户所属的目标用户类型，并推荐该目标用户类型对应的目标学习内容的推送策略，该推送策略用于指示该电子设备针对目标学习内容进行推送的推送形式、推送频率等；其中，该用户分类模型可以为深度神经网络模型，可以利用大量用户样本对应的学习行为数据以及用户样本对应的用户属性数据作为训练数据，对该深度神经网络模型进行训练。

可见，本发明实施例，能够利用深度神经网络以及用户以往的学习行为数据以及用户属性数据对用户的学习习惯(例如何时学习、以什么形式进行学习等等)进行预测，利用深度神经网络提高了预测结果的准确性；并根据预测得到的用户的学习习惯向电子设备推荐符合用户学习习惯的目标学习内容的推送策略，有效改善用户的学习效果。

313、电子设备以上述推送策略向用户推送目标学习内容。

本发明实施例中，举例来说，目标学习内容的推送策略可以是从早上九点开始按照间隔六小时的频率以语音的输出形式向用户推送目标学习内容，并且每次推送的时长为半个小时。那么，电子设备可以按照推送策略依次在早上九点、下午三点以及晚上九点以语音的输出形式向用户推送时长为半小时的目标学习内容。

可见，通过图3所描述的方法，能够在识别出根据拍摄图像确定的待搜索内容不完整时，利用书本对应的电子资源对用户想要搜索的内容进行补全，进而提高了搜索准确率；以及，能够通过对多张连续拍摄的图像进行合成，提高了拍摄图像的质量；以及，能够利用搜索条件进一步明确待搜索内容的搜索范围，提高了待搜索内容对应的目标学习内容的搜索速度以及搜索的准确率；此外，利用深度神经网络提高了预测结果的准确性；并根据预测得到的用户的学习习惯向电子设备推荐符合用户学习习惯的目标学习内容的推送策略，有效改善用户的学习效果。

实施例四

请参阅图4，图4是本发明实施例公开的一种电子设备的结构示意图。如图4所示，该电子设备可以包括：

拍摄单元401，用于根据拍摄指令控制电子设备的摄像头拍摄书本，得到拍摄图像，并将拍摄图像提供给图像识别单元402。

作为一种可选的实施方式，拍摄单元401根据拍摄指令控制电子设备的摄像头拍摄书本，得到拍摄图像的方式具体可以为：

根据拍摄指令控制电子设备的摄像头在预设的拍摄模式下拍摄书本，得到至少两张原始拍摄图像；

对上述至少两张原始拍摄图像进行合成处理，得到拍摄图像。

其中，预设的拍摄模式(例如曝光模式)可以是电子设备默认设置的，也可以是用户手动设置的，本发明实施例不做限定。可见，本发明实施例，能够通过对多张连续拍摄的图像进行合成，提高了拍摄图像的质量。

图像识别单元402，用于对拍摄图像进行图像识别，识别出指定物在拍摄图像中的位置，并提供给第一确定单元403。

本发明实施例中，指定物在拍摄图像中的位置可以确定为用户指定拍摄的区域；其中，指定物可以是用户的手指，也可以是用户使用的触控笔，还可以是激光笔投射到书本的光亮点，本发明实施例不做限定。

第一确定单元403，用于基于上述位置确定待搜索范围以及待搜索范围所包含的第一部分内容，并将第一部分内容提供给判断单元404。

判断单元404，用于判断第一部分内容是否完整，并将判断结果提供给第二确定单元405。

第二确定单元405，用于在上述判断单元404判断出第一部分内容不完整之后，根据拍摄图像确定书本对应的电子资源，并根据电子资源确定第二部分内容，并将第二部分内容提供给补全单元406。

补全单元406，用于利用第二部分内容对第一部分内容进行补全，以得到待搜索内容，并将该待搜索内容提供给第一获取单元407。

第一获取单元407，用于获取待搜索内容对应的目标学习内容。

本发明实施例中，待搜索内容可以是某一知识点也可以是某一道题目，那么，当待搜索内容是某一知识点时，其对应的目标学习内容可以是该知识点对应的练习题目；当待搜索内容是某一道题目时，其对应的目标学习内容可以是该题目所包含的知识点和/或与该题目具有相同知识点的其他练习题目，本发明实施例不做限定。

可见，通过图4所描述的电子设备，能够在识别出根据拍摄图像确定的待搜索内容不完整时，利用书本对应的电子资源对用户想要搜索的内容进行补全，进而提高了搜索准确率；此外，通过对多张连续拍摄的图像进行合成，提高了拍摄图像的质量。

实施例五

请参阅图5，图5是本发明实施例提供的另一种电子设备的结构示意图，其中，图5所示的电子设备是由图4所示的电子设备进一步进行优化得到的。与图4所示的电子设备相比较，在图5所示的电子设备中，上述第一确定单元403，包括：

第一获取子单元4031，用于获取位置在拍摄图像中的坐标点，并将该坐标点提供给第一确定子单元4032。

第一确定子单元4032，用于以上述坐标点作为基准点确定待搜索范围，并提供给识别子单元4033；其中，该待搜索范围在预设方向上的范围大于在预设方向的反方向上的范围，该预设方向可以为手指的指尖所朝向的方向。

本发明实施例中，当指定物为用户的手指时，预设方向可以为手指的指尖所朝向的方向；当指定物为触控笔或者激光笔投射的光亮点时，预设方向可以是任意方向，本发明实施例不做限定。

识别子单元4033，用于识别待搜索范围，得到待搜索范围所包含的第一部分内容。

可见，通过图5所描述的电子设备，能够在识别出根据拍摄图像确定的待搜索内容不完整时，利用书本对应的电子资源对用户想要搜索的内容进行补全，进而提高了搜索准确率；以及，能够通过对多张连续拍摄的图像进行合成，提高了拍摄图像的质量；此外，能够利用搜索条件进一步明确待搜索内容的搜索范围，提高了待搜索内容对应的目标学习内容的搜索速度以及搜索的准确率。

实施例六

请参阅图6，图6是本发明实施例提供的又一种电子设备的结构示意图，其中，图6所示的电子设备是由图5所示的电子设备进一步进行优化得到的。与图5所示的电子设备相比较，在图6所示的电子设备中，上述判断单元404可以包括：

分句处理子单元4041，用于依据预先定义的标志符号对第一部分内容进行分句处理，得到至少一个句子，并提供给第一检测子单元4042。

第一检测子单元4042，用于检测至少一个句子中是否存在词性成分不完整的待补全句子，并将检测结果提供给第二确定子单元4043。

第二确定子单元4043，用于在上述第一检测子单元4042检测出存在待补全句子时，确定第一部分内容不完整。

作为一种可选的实施方式，如图6所示，上述第一获取单元407，可以包括：

第二检测子单元4071，用于检测是否接收到用户输入的搜索条件，并将检测结果提供给第二获取子单元4072以及查找子单元4073。

第二获取子单元4072，用于在上述第二检测子单元4071检测出接收到搜索条件时，按照搜索条件，获取待搜索内容对应的目标学习内容。

本发明实施例中，举例来说，待搜索内容为“鸡兔同笼”这一词语，搜索条件的类型为数学，那么，第二获取子单元4072可以按照科目类型为数学在数学学科领域搜索鸡兔同笼这一词语，得到相应的目标学习内容。可见，本发明实施例，能够利用搜索条件进一步明确待搜索内容的搜索范围，提高了待搜索内容对应的目标学习内容的搜索速度以及搜索的准确率。

查找子单元4073，用于在上述第二检测子单元4071检测出未接收到搜索条件时，从习题数据库中查找与待搜索内容匹配度最高的习题内容，以及通过搜索引擎查找与待搜索内容匹配度最高的知识点内容，将习题内容以及知识点内容提供给第三确定子单元4074。

第三确定子单元4074，用于根据习题内容以及知识点内容确定目标学习内容。

作为另一种可选的实施方式，如图6所示，上述电子设备还可以包括：

第二获取单元408，用于在上述第一获取单元407获取与待搜索内容对应的目标学习内容之后，获取用户的学习行为数据以及用户属性数据，并将该学习行为数据以及用户属性数据提供给第二确定单元405；其中，该学习行为数据至少包括访问页面地址以及页面操作信息；该用户属性数据至少包括用户的年龄以及用户对内容输出形式的偏好。

本发明实施例中，学习行为数据可以包括访问页面地址、页面操作信息、每个页面的访问起止时间等；用户属性数据可以包括用户的客观属性数据以及用户的主观属性数据，其中，客观属性数据可以包括用户的年龄、性别以及用户所处年龄段对应的考试大纲等，主观属性数据可以包括用户对学习内容的偏好、用户对内容输出形式的偏好、用户对内容输出时间段的偏好以及用户对内容输出时长的偏好等。

上述第二确定单元405，还用于根据学习行为数据以及用户属性数据确定目标学习内容的推送策略，并将该推送策略提供给推送单元409。

本发明实施例中，可选的，学习行为数据以及用户属性数据可以是第二确定单元405在确定推送策略之前采集的历史数据；第二确定单元405可以对学习行为数据以及用户属性数据进行预处理，将数据预处理之后的学习行为数据以及用户属性数据输入预先训练好的用户分类模型，基于该用户分类模型的输出结果确定用户所属的目标用户类型，并推荐该目标用户类型对应的目标学习内容的推送策略，该推送策略用于指示该电子设备针对目标学习内容进行推送的推送形式、推送频率等；其中，该用户分类模型可以为深度神经网络模型，可以利用大量用户样本对应的学习行为数据以及用户样本对应的用户属性数据作为训练数据，对该深度神经网络模型进行训练。

可见，本发明实施例，能够利用深度神经网络以及用户以往的学习行为数据以及用户属性数据对用户的学习习惯(例如何时学习、以什么形式进行学习等等)进行预测，利用深度神经网络提高了预测结果的准确性；并根据预测得到的用户的学习习惯向电子设备推荐符合用户学习习惯的目标学习内容的推送策略，有效改善用户的学习效果。

推送单元409，用于以推送策略向用户推送目标学习内容。

可见，通过图6所描述的电子设备，能够在识别出根据拍摄图像确定的待搜索内容不完整时，利用书本对应的电子资源对用户想要搜索的内容进行补全，进而提高了搜索准确率；以及，能够通过对多张连续拍摄的图像进行合成，提高了拍摄图像的质量；以及，能够利用搜索条件进一步明确待搜索内容的搜索范围，提高了待搜索内容对应的目标学习内容的搜索速度以及搜索的准确率；此外，利用深度神经网络提高了预测结果的准确性；并根据预测得到的用户的学习习惯向电子设备推荐符合用户学习习惯的目标学习内容的推送策略，有效改善用户的学习效果。

请参阅图7，图7是本发明实施例公开的又一种电子设备的结构示意图。如图7所示，该电子设备可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行图1～图3任意一种基于图像识别的学习内容获取方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1～图3任意一种基于图像识别的学习内容获取方法。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明的各种实施例中，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于图像识别的学习内容获取方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种基于图像识别的学习内容获取方法，其特征在于，所述方法包括：

根据拍摄指令控制电子设备的摄像头拍摄书本，得到拍摄图像；

对所述拍摄图像进行图像识别，识别出指定物在所述拍摄图像中的位置，并获取所述位置在所述拍摄图像中的坐标点，并以所述坐标点作为基准点确定待搜索范围；其中，所述待搜索范围在预设方向上的范围大于在所述预设方向的反方向上的范围，所述预设方向为手指的指尖所朝向的方向；识别所述待搜索范围，得到所述待搜索范围所包含的第一部分内容；

判断所述第一部分内容是否完整；

如果不完整，则根据所述拍摄图像确定所述书本对应的电子资源，并根据所述电子资源确定第二部分内容；

利用所述第二部分内容对所述第一部分内容进行补全，以得到待搜索内容；

获取所述待搜索内容对应的目标学习内容。

2.根据权利要求1所述的方法，其特征在于，所述判断所述第一部分内容是否完整，包括：

依据预先定义的标志符号对所述第一部分内容进行分句处理，得到至少一个句子；

检测所述至少一个句子中是否存在词性成分不完整的待补全句子；

如果存在所述待补全句子，则确定所述第一部分内容不完整。

3.根据权利要求1～2任一项所述的方法，其特征在于，所述获取所述待搜索内容对应的目标学习内容，包括：

检测是否接收到用户输入的搜索条件；

如果接收到所述搜索条件，按照所述搜索条件，获取所述待搜索内容对应的目标学习内容；

如果未接收到所述搜索条件，从习题数据库中查找与所述待搜索内容匹配度最高的习题内容；

通过搜索引擎查找与所述待搜索内容匹配度最高的知识点内容；

根据所述习题内容以及所述知识点内容确定目标学习内容。

4.根据权利要求3所述的方法，其特征在于，所述获取与所述待搜索内容对应的目标学习内容之后，所述方法还包括：

获取用户的学习行为数据以及用户属性数据；其中，所述学习行为数据至少包括访问页面地址以及页面操作信息；所述用户属性数据至少包括用户的年龄以及用户对内容输出形式的偏好；

根据所述学习行为数据以及所述用户属性数据确定所述目标学习内容的推送策略；

以所述推送策略向用户推送所述目标学习内容。

5.根据权利要求1或2所述的方法，其特征在于，所述获取与所述待搜索内容对应的目标学习内容之后，所述方法还包括：

获取用户的学习行为数据以及用户属性数据；其中，所述学习行为数据至少包括访问页面地址以及页面操作信息；所述用户属性数据至少包括用户的年龄以及用户对内容输出形式的偏好；

根据所述学习行为数据以及所述用户属性数据确定所述目标学习内容的推送策略；

以所述推送策略向用户推送所述目标学习内容。

6.一种电子设备，其特征在于，所述电子设备包括：

拍摄单元，用于根据拍摄指令控制电子设备的摄像头拍摄书本，得到拍摄图像；

图像识别单元，用于对所述拍摄图像进行图像识别，识别出指定物在所述拍摄图像中的位置；

第一确定单元，用于获取所述位置在所述拍摄图像中的坐标点，并以所述坐标点作为基准点确定待搜索范围；其中，所述待搜索范围在预设方向上的范围大于在所述预设方向的反方向上的范围，所述预设方向为手指的指尖所朝向的方向；识别所述待搜索范围，得到所述待搜索范围所包含的第一部分内容；

判断单元，用于判断所述第一部分内容是否完整；

第二确定单元，用于在所述判断单元判断出所述第一部分内容不完整之后，根据所述拍摄图像确定所述书本对应的电子资源，并根据所述电子资源确定第二部分内容；

补全单元，用于利用所述第二部分内容对所述第一部分内容进行补全，以得到待搜索内容；

第一获取单元，用于获取所述待搜索内容对应的目标学习内容。

7.根据权利要求6所述的电子设备，其特征在于，所述判断单元，包括：

分句处理子单元，用于依据预先定义的标志符号对所述第一部分内容进行分句处理，得到至少一个句子；

第一检测子单元，用于检测所述至少一个句子中是否存在词性成分不完整的待补全句子；

第二确定子单元，用于在所述第一检测子单元检测出存在所述待补全句子时，确定所述第一部分内容不完整。

8.根据权利要求6～7任一项所述的电子设备，其特征在于，所述第一获取单元，包括：

第二检测子单元，用于检测是否接收到用户输入的搜索条件；

第二获取子单元，用于在所述第二检测子单元检测出接收到所述搜索条件时，按照所述搜索条件，获取所述待搜索内容对应的目标学习内容；

查找子单元，用于在所述第二检测子单元检测出未接收到所述搜索条件时，从习题数据库中查找与所述待搜索内容匹配度最高的习题内容，以及通过搜索引擎查找与所述待搜索内容匹配度最高的知识点内容；

第三确定子单元，用于根据所述习题内容以及所述知识点内容确定目标学习内容。

9.根据权利要求8所述的电子设备，其特征在于，所述电子设备还包括：

第二获取单元，用于在所述第一获取单元获取与所述待搜索内容对应的目标学习内容之后，获取用户的学习行为数据以及用户属性数据；其中，所述学习行为数据至少包括访问页面地址以及页面操作信息；所述用户属性数据至少包括用户的年龄以及用户对内容输出形式的偏好；

所述第二确定单元，还用于根据所述学习行为数据以及所述用户属性数据确定所述目标学习内容的推送策略；

推送单元，用于以所述推送策略向用户推送所述目标学习内容。

10.根据权利要求6～7任一项所述的电子设备，其特征在于，所述电子设备还包括：

第二获取单元，用于在所述第一获取单元获取与所述待搜索内容对应的目标学习内容之后，获取用户的学习行为数据以及用户属性数据；其中，所述学习行为数据至少包括访问页面地址以及页面操作信息；所述用户属性数据至少包括用户的年龄以及用户对内容输出形式的偏好；

所述第二确定单元，还用于根据所述学习行为数据以及所述用户属性数据确定所述目标学习内容的推送策略；

推送单元，用于以所述推送策略向用户推送所述目标学习内容。

11.一种电子设备，其特征在于，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1～5任一项所述的基于图像识别的学习内容获取方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1～5任一项所述的基于图像识别的学习内容获取方法。

Images