CN109726685A - 一种检测食材投放状态的方法、装置及烹饪设备 - Google Patents

Abstract

本发明公开了一种检测食材投放状态的方法、装置及烹饪设备，用于实现对食材投放状态的准确检测，进而提高食材投放的准确性。所述方法包括：确定目标食材的目标食材投放区域；获得目标食材投放区域的目标图像特征变化信息；根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与目标图像特征变化信息对应的目标食材投放状态。

Description

一种检测食材投放状态的方法、装置及烹饪设备

技术领域

本发明涉及电子技术领域，尤其涉及一种检测食材投放状态的方法、装置及烹饪设备。

背景技术

随着科技的不断发展和生活节奏的加快，厨房逐渐成为人们关注的重点。与传统的用户自己动手炒菜的手工式厨房相比，能够自动或者半自动进行烹饪的智慧厨房设备可以为用户带来较大的生活便利，例如人们可以不用再考虑烹煮时间、烹煮方式、投放食材顺序等问题，烹饪设备能够自动进行烹饪，从而更好的让人们享受美味。

随着烹饪设备的便利，但在实际使用过程中也可能出现一些异常而导致烹饪失败，例如，在投放食材的时候，例如是在将食物投放到烹饪工具(例如炒锅中)时，可能会出现忘投放食材或误确认后但仍然继续烹饪的情形，这可能导致烹饪设备干烧，进而导致烹饪失败，甚至设备损坏。

发明内容

本发明实施例提供一种检测食材投放状态的方法、装置及烹饪设备，用于实现对食材投放状态的准确检测，进而提高食材投放的准确性。

第一方面，提供一种检测食材投放状态的方法，所述方法包括：

确定目标食材的目标食材投放区域；

获得所述目标食材投放区域的目标图像特征变化信息；

根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与所述目标图像特征变化信息对应的目标食材投放状态。

可选的，所述确定目标食材的目标食材投放区域，包括：

确定所述目标食材；

根据预存的食材与食材投放区域之间的匹配关系，将与所述目标食材对应的食材投放区域确定为所述目标食材投放区域。

可选的，所述确定所述目标食材，包括：

获得烹饪菜单信息，所述烹饪菜单信息包括烹饪食材种类信息及食材投放顺序信息；

根据所述烹饪食材种类信息，确定需要烹饪的所有食材；

根据所述食材投放顺序信息和已经投放的食材，从所述所有食材中确定所述目标食材。

可选的，所述根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与所述目标图像特征变化信息对应的目标食材投放状态，包括：

获得所述目标食材投放区域的初始图像信息，其中，所述初始图像信息为所述目标食材投放区域未投放任何食材时的图像信息；

获得所述目标食材投放区域的当前图像信息；

若所述当前图像信息与所述初始图像信息之间的图像差异满足预定图像特征变化条件，则确定所述目标食材处于正在投放状态。

可选的，所述若所述当前图像信息与所述初始图像信息之间的图像差异满足预定图像特征变化条件，则确定所述目标食材处于正在投放状态，包括：

获得所述初始图像信息中每个像素点的初始灰度值，以及获得所述当前图像信息中每个像素点的当前灰度值；

将所述当前图像信息与所述初始图像信息对应的像素点进行灰度值比较，以确定灰度值差值大于预定灰度值的像素点的数量；

若灰度值差值大于所述预定灰度值的像素点的数量达到预定数量，则确定所述目标食材处于正在投放状态。

可选的，所述若所述当前图像信息与所述初始图像信息之间的图像差异满足预定图像特征变化条件，则确定所述目标食材处于正在投放状态，包括：

分别对所述初始图像信息和所述当前图像信息进行边缘检测；

若所述当前图像信息的边缘检测结果与所述初始图像信息的边缘检测结果之间的差异程度达到预定程度，则确定所述目标食材处于正在投放状态。

可选的，所述获得所述目标食材投放区域的当前图像信息，包括：

采集目标食材投放区域所在环境的当前环境图像信息，其中，所述当前环境图像信息包括多个分区区域的图像信息；

根据所述目标食材投放区域处于环境中的位置，确定所述目标食材投放区域对应的目标分区区域；

将所述目标分区区域对应的图像信息确定为所述当前图像信息。

可选的，所述方法还包括：

在确定所述目标食材处于正在投放状态后，获得所述目标食材的食材投放时间；

将所述食材投放时间与预计投放时间进行比较，以确定所述食材投放时间是否准确。

可选的，所述方法还包括：

若所述食材投放时间不准确，则输出提示信息，其中，所述提示信息用于提示用户所述食材投放时间出错。

可选的，在所述确定所述目标食材处于正在投放状态之后，所述方法还包括：

若所述目标食材投放区域的任一图像信息与其前一时刻的图像信息之间的图像差异不满足所述预定图像特征变化条件，则确定所述目标食材已经投放完毕。

可选的，在所述确定与所述目标图像特征变化信息对应的目标食材投放状态之后，所述方法还包括：

根据所述目标食材投放状态，确定下一个烹饪步骤；

在确定所述目标食材投放状态后的预定时长到达时，执行所述下一个烹饪步骤。

第二方面，提供一种检测食材投放状态的装置，所述装置包括：

第一确定模块，用于确定目标食材的目标食材投放区域；

获得模块，用于获得所述目标食材投放区域的目标图像特征变化信息；

第二确定模块，用于根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与所述目标图像特征变化信息对应的目标食材投放状态。

可选的，所述第一确定模块用于：

确定所述目标食材；

根据预存的食材与食材投放区域之间的匹配关系，将与所述目标食材对应的食材投放区域确定为所述目标食材投放区域。

可选的，所述第一确定模块用于：

获得烹饪菜单信息，所述烹饪菜单信息包括烹饪食材种类信息及食材投放顺序信息；

根据所述烹饪食材种类信息，确定需要烹饪的所有食材；

根据所述食材投放顺序信息和已经投放的食材，从所述所有食材中确定所述目标食材。

可选的，所述第二确定模块用于：

获得所述目标食材投放区域的初始图像信息，其中，所述初始图像信息为所述目标食材投放区域未投放任何食材时的图像信息；

获得所述目标食材投放区域的当前图像信息；

若所述当前图像信息与所述初始图像信息之间的图像差异满足预定图像特征变化条件，则确定所述目标食材处于正在投放状态。

可选的，所述第二确定模块用于：

获得所述初始图像信息中每个像素点的初始灰度值，以及获得所述当前图像信息中每个像素点的当前灰度值；

将所述当前图像信息与所述初始图像信息对应的像素点进行灰度值比较，以确定灰度值差值大于预定灰度值的像素点的数量；

若灰度值差值大于所述预定灰度值的像素点的数量达到预定数量，则确定所述目标食材处于正在投放状态。

可选的，所述第二确定模块用于：

分别对所述初始图像信息和所述当前图像信息进行边缘检测；

若所述当前图像信息的边缘检测结果与所述初始图像信息的边缘检测结果之间的差异程度达到预定程度，则确定所述目标食材处于正在投放状态。

可选的，所述获得模块用于：

采集目标食材投放区域所在环境的当前环境图像信息，其中，所述当前环境图像信息包括多个分区区域的图像信息；

根据所述目标食材投放区域处于环境中的位置，确定所述目标食材投放区域对应的目标分区区域；

将所述目标分区区域对应的图像信息确定为所述当前图像信息。

可选的，所述装置还包括第一处理模块，用于：

在确定所述目标食材处于正在投放状态后，获得所述目标食材的食材投放时间；

将所述食材投放时间与预计投放时间进行比较，以确定所述食材投放时间是否准确。

可选的，所述装置还包括输出模块，用于：

若所述食材投放时间不准确，则输出提示信息，其中，所述提示信息用于提示用户所述食材投放时间出错。

可选的，所述第二确定模块，还用于：

若所述目标食材投放区域的任一图像信息与其前一时刻的图像信息之间的图像差异不满足所述预定图像特征变化条件，则确定所述目标食材已经投放完毕。

可选的，所述装置还包括第二处理模块，用于：

根据所述目标食材投放状态，确定下一个烹饪步骤；

在确定所述目标食材投放状态后的预定时长到达时，执行所述下一个烹饪步骤。

第三方面，提供一种烹饪设备，所述烹饪设备包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中的任一方法包括的步骤。

第四方面，提供一种存储介质，该存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行第一方面中的任一方法包括的步骤。

本发明实施例中，在确定需要烹饪的某种食材(例如称作目标食材)之后，可以确定出用于投放该目标食材的目标食材投放区域，进一步地可以获得该目标食材投放区域的目标图像特征变化信息，进而再根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与该目标图像特征变化信息对应的目标食材投放状态，由于目标食材投放区域的目标图像特征变化信息能够反映目标食材投放区域的状态的动态变化，而目标食材投放区域的状态的动态变化一般是由于食材的投放状态的变化而引起的，所以通过目标图像特征变化信息能够准确地确定出目标食材的食材投放状态，进而可以通过目标图像特征变化信息实现对食材投放状态的准确检测，提高食材投放的准确性和有效性，进而可以尽量避免出现食材投放时间出错、食材投放确认失误等问题，减少烹饪出错的可能，提高烹饪的准确性，增强用户使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本发明实施例提供的烹饪设备的结构示意图；

图2为本发明实施例中的检测食材投放状态的方法的流程图；

图3为本发明实施例中的一种确定目标食材的食材投放状态的流程图；

图4为本发明实施例中的另一种确定目标食材的食材投放状态的流程图；

图5为本发明实施例中的检测食材投放状态的装置的结构框图；

图6为本发明实施例中的烹饪设备的另一结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例中，“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

下面结合说明书附图介绍本发明实施例提供的技术方案。

本发明实施例提供的检测食材投放状态的方法可以应用于烹饪设备，该烹饪设备例如可以是全自动烹饪设备或半自动烹饪设备，还可以是全自动烹饪装置或半自动烹饪装置，该烹饪设备能够获取烹饪菜单(或者菜谱)信息，并且可以根据获得的烹饪菜单信息自动进行烹饪，也就是说，本发明实施例中的烹饪设备可以自动按照预设的烹饪时间和烹饪方式烹制菜品，例如可以烹饪番茄炒饭、土豆烧排骨、麻婆豆腐等菜品。请参见图1所示，本发明实施例中的烹饪设备例如可以包括烹饪模块、处理模块、原料模块和投放模块等功能模块。其中，处理模块可以包含有菜单信息储存部分和用户操作部分，具体的，菜单信息储存部分可以储存有烹饪菜单步骤信息，例如烹饪时间、烹饪方式、食材投放顺序和烹饪参数信息，等等，烹饪参数信息例如可以包括每个菜单对应需要使用的食材、烹饪设备的参数信息。烹饪设备可以通过处理模块以选择需要使用的菜单，控制原料模块输送烹饪食材至投放模块，进一步地，投放模块可以将烹饪食材投放至烹饪模块后进行烹饪。具体的，原料模块和投放模块的操作，也可以由人工操作完成，例如人工准备食材和投放食材，而烹饪设备再进行烹煮，以通过人和烹饪设备的协作实现半自动的烹饪方式。另外，本发明实施例中的烹饪设备还可以具有图像采集功能，例如配置有摄像头，通过摄像头可以采集烹饪环境的相关图像信息，例如可以采集投放模块所处区域的图像信息，以及还可以采集烹饪模块所处区域的图像信息，等等。

请参见图2，本发明实施例提供了一种检测食材投放状态的方法，该方法可以由前述的烹饪设备执行，例如可以由图1所示的烹饪设备执行。本发明实施例中的检测食材投放状态的方法的具体流程描述如下。

步骤201：确定目标食材的目标食材投放区域。

本发明实施例中的检测方案，可应用于家庭厨房、学校食堂、企业食堂、饭馆等可以使用烹饪设备的应用场景，即本发明实施例的技术方案可以应用于能够使用烹饪设备的任一智慧厨房场景，更具体的来说，在使用烹饪设备烹制菜品的过程中，可以对烹饪食材的投放状态进行有效检测，需要说明的是，烹饪食材的投放状态至少可以包括未投放、正在投放和投放完毕三种状态。

为实现对烹饪食材的投放状态的检测，可以先确定烹制菜品需要使用的所有烹饪食材，所以可以先获得烹制菜品对应的烹饪菜单信息，具体的，烹饪设备中可以包含有多个菜单信息，可以通过由用户手动选择或者烹饪设备自定义选择的方式来选择需要使用的烹饪菜单，在其它的实施方式中，还可以通过操作与该烹饪设备连接的其他终端设备来选择需要使用的烹饪菜单，进而得到对应的烹饪菜单信息，其中，烹饪菜单信息可以包括烹饪食材种类信息、烹饪步骤信息、烹饪时间信息、食材投放顺序信息等信息，例如，选择的烹饪菜单是西红柿炒鸡蛋，通过对应的烹饪菜单信息可以知晓所需的食材包括西红柿、鸡蛋和盐，并且例如还可以知晓需要先投放西红柿，在投放西红柿烹炒1分钟30秒之后再投放鸡蛋，然后混合烹炒2分钟后再加入盐，加入盐后20秒即可关火出锅。

在本发明实施例中，在获得烹饪菜单信息之后，根据获得的烹饪食材种类信息可以确定出烹制菜品所需的所有烹饪食材，为了便于描述，本发明实施例中将根据当前烹饪菜品所需的烹饪菜单信息确定出的所有烹饪食材称作目标食材，可以理解的是，目标食材的种类可以是一种或者多种，具体是根据需要烹制的菜品而定。在具体的实践过程中，确定出烹饪所需的食材可以包括两种方式，一种方式是根据烹饪菜单信息中的烹饪食材种类信息从不同的食材种类原料区确定出烹饪所需的食材，例如原料区分为蔬菜区和肉类区，则可以分别从蔬菜区和肉类区中确定出烹饪所需的食材；另一种方式是根据烹饪菜单信息直接确定出烹饪所需的食材，不同的方式可以对应不同的原料区存储方式，本发明实施例中不做限制。

例如，若烹饪设备应用于需要小炒的应用场景，则可以使用将食材分开放置的原料放置区，尽量保证食材的原汁原味，例如某些小炒饭店。进一步的，若烹饪设备应用于需要大量烹饪食物的应用场景，则可以将食材一起放置在统一的原料放置区，例如校园食堂等，这样的方法是可以保证需要的烹饪食材能够更快速的确定出来。

本发明实施例中，可以为所有的烹饪食材设置统一的食材投放区域，即无论烹制何种菜品，需要何种烹饪食材，所有的烹饪食材都是通过统一的食材投放区域进行投放，例如可以将该统一的食材投放区域设置在烹饪工具的右侧方。

在另一种实施例方式中，为了便于对各种烹饪食材进行分类和管理，还可以配置有多个食材投放区域，例如可以将肉类食材通过左侧的食材投放区域投放，以及将蔬菜类食材通过右侧的食材投放区域投放，也就是说，可以按照食材的种类属性配置不同的食材投放区域，在另一种方式中，例如还可以按照菜品的不同来配置食材投放区域，例如，若是制作煎炒类的菜品，则煎炒类菜品所需的所有烹饪食材通过左侧的食材投放区域投放，若是制作油炸类的菜品，则油炸类菜品所需的所有烹饪食材通过右侧的食材投放区域投放，等等。

例如，若烹饪菜品为青椒香肠炒蛋，那么对应的烹饪菜单信息中的烹饪食材则包括青椒、香肠、鸡蛋这三种食材，这三种食材可以对应具有三个不同的食材投放区域，例如烹饪设备的食材投放区域为5个，分别为食材投放区域一、食材投放区域二、食材投放区域三、食材投放区域四、食材投放区域五，且青椒配置的是食材投放区域二、香肠配置的是食材投放区域三、鸡蛋配置的是食材投放区域四，那么在烹饪青椒香肠炒蛋时，确定出的用于投放烹饪食材的目标食材投放区域则可以包括食材投放区域二、食材投放区域三、食材投放区域四。

无论是采用哪种食材投放区域配置方式，针对某一种烹饪食材而言，其均具有一个对应配置的食材投放区域，通过食材与食材投放区域的匹配关系设置，可以提高对多种烹饪食材的分区管理，进而便于提高食材投放的效率。

虽然一个菜品可以包括多个目标食材，为了便于理解，本文以一个目标食材为例来介绍本发明实施例中的检测方案，并且，对应于该目标食材，通过前面所介绍的食材投放区域的配置关系，可以将与该目标食材对应的食材投放区域称作目标食材投放区域。

步骤202：获得目标食材投放区域的目标图像特征变化信息。

步骤203：根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与目标图像特征变化信息对应的目标食材投放状态。

对于目标食材投放区域，是配置用于投放烹饪所需的目标食材的投放区域，例如将未投放目标食材时的目标食材投放区域的状态称作初始状态，那么当正在投放目标食材时，该目标食材投放区域的状态就会由于包括了目标食材而发生变化，换言之，当通过目标食材投放区域投放目标食材时，目标食材投放区域处的物理环境是会发生动态变化的，即是从不包括目标食材到包括了目标食材的状态变化，考虑到这种状态变化，本发明实施例通过图像的方式将这种变化的状态记录下来，进而可以获得图像特征变化信息，然后通过预存的图像特征变化信息与食材投放状态之间的对应关系来确定出目标食材投放区域的状态变化，所以，当确定目标食材投放区域的图像存在图像特征变化时，根据预存的图像特征变化信息与食材投放状态之间的对应关系，可以确定目标食材投放区域的状态发生了变化，那么说明食材投放状态也就对应发生了变化，所以，进一步地，可以根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与目标图像变化信息对应的目标食材投放状态，而该目标食材投放状态例如是未投放、正在投放或者是投放完毕，等等。

本发明实施例中，由于目标食材投放区域的图像特征变化信息能够反映目标食材投放区域的状态的动态变化，而目标食材投放区域的状态的动态变化一般是由于食材的投放状态的变化而引起的，所以通过图像特征变化信息能够准确地确定出目标食材的食材投放状态，进而可以通过图像特征变化信息实现对食材投放状态的准确检测，提高食材投放的准确性和有效性。

在本发明实施例中，例如可以按照以下方式来根据图像特征变化信息确定目标食材的食材投放状态。

获得目标食材投放区域的初始图像信息和目标食材投放区域的当前图像信息，如前所述，烹饪设备可以具备图像采集能力，例如可以通过配置的摄像头来采集目标食材投放区域的图像信息，例如可以采集目标食材投放区域的初始图像信息，以及可以采集目标食材投放区域当前任一时刻的当前图像信息。其中，初始图像信息为目标食材投放区域未投放目标食材时的图像信息，当前图像信息为当前某个时刻时目标食材投放区域对应的即时图像信息。

在具体实施过程中，可以通过摄像头采集目标食材投放区域所在环境的当前环境图像信息，其中，当前环境图像信息包括多个分区区域的图像信息，例如，目标食材投放区域所在环境为厨房，多个分区区域包括洗菜区域、切菜区域、用户位置区域、烹饪厨具(例如炒锅)区域、抽油烟机区域、食材投放区域，等等，通过烹饪设备中设置的摄像头采集的当前环境图像信息则可以包括放置洗菜区域、切菜区域、用户位置区域、烹饪厨具(例如炒锅)区域、抽油烟机区域、食材投放区域等这些区域的总的图像信息，进一步地，根据目标食材投放区域处于环境中的位置，再从采集的当前环境图像信息中确定出目标食材投放区域对应的目标分区区域，进而将目标分区区域对应的图像信息作为为目标食材投放区域的当前图像信息。另外需要说明的是，也可以通过例如厨房中其它具有图像采集能力的设备采集当前环境图像信息之后，再将采集到的当前环境图像信息发送给烹饪设备，而其它具有图像采集能力的设备例如是具有图像采集功能的抽油烟机，或者可以是设置于较高位置的摄像机，等等。

类似地，在获得目标食材投放区域的初始图像信息时，可以采用上述介绍的获得目标食材投放区域的当前图像信息的方式进行处理，在此不再赘述。

进一步地，烹饪设备可以判断当前图像信息与初始图像信息之间的图像差异是否满足预定图像特征变化条件，并在两者之间的图像差异满足预定图像特征变化条件时，确定目标食材处于正在投放状态。

如前所述，当在目标食材投放区域处投放目标食材时，目标食材投放区域处的状态会发生变化，所以若在某个时刻时的目标食材投放区域的图像信息与未投放目标食材时的图像信息之间具有一定的图像差异时，则可以在很大程度上表明在目标食材投放区域处正在投放目标食材，为了减少一些误判，本发明实施例通过预定图像特征变化条件来提高对食材投放状态判断的准确性。

为了便于理解，以下列举两种具体的确定方式，当然以下举例只是说明，并不构成对本发明实施例的限定，在具体实施过程中还可以采用其它检测方式，本发明实施例并不穷举。

第一种确定方式，如图3所示的流程图所示，具体的实施过程如下。

步骤301：获得初始图像信息中每个像素点的初始灰度值，以及获得当前图像信息中每个像素点的当前灰度值；

步骤302：将当前图像信息与初始图像信息对应的像素点进行灰度值比较，以确定灰度值差值大于预定灰度值的像素点的数量；

步骤303：若灰度值差值大于预定灰度值的像素点的数量达到预定数量，则确定目标食材处于正在投放状态。

在第一种确定方式中，在确定出目标食材的目标食材投放区域之后，获得初始图像信息和当前图像信息之后，对初始图像信息和当前图像信息进行处理，具体的，是对初始图像信息和当前图像的每个像素点的灰度值进行计算，从而获得初始图像信息中每个像素点的初始灰度值，以及获得当前图像信息中每个像素点的当前灰度值，然后将当前图像信息与初始图像信息对应的像素点进行灰度值比较，以确定灰度值差值大于预定灰度值的像素点的数量，进一步的，若灰度值差值大于预定灰度值的像素点的数量达到预定数量，则确定目标食材处于正在投放状态。需要说明的是，前面提到的“对应的像素点”可以设置坐标位置相同的像素点，这样可以使得初始图像信息与当前图像信息的像素点的比对是具有比对价值的，确保比对的准确性。

第一种确定方式中，通过对初始图像信息和当前图像的每个像素点的灰度值进行计算，确定当前图像信息与初始图像信息之间的图像差异满足预定图像特征变化条件，进而确定目标食材处于正在投放状态，可以更准确的判断目标食材的投放状态。

第二种确定方式，如图4示的流程图所示，具体的实施过程如下。

步骤401：分别对初始图像信息和当前图像信息进行边缘检测；

步骤402：若当前图像信息的边缘检测结果与初始图像信息的边缘检测结果之间的差异程度达到预定程度，则确定目标食材处于正在投放状态。

在第二种确定方式中，在确定出目标食材的目标投放区域，获得初始图像信息和当前图像信息之后，分别对初始图像信息和当前图像信息进行边缘检测，具体的，边缘检测是图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点，图像属性中的显著变化通常反映了属性的重要事件和变化，现有的边缘检测的算子有罗伯特交叉(Roberts Cross)算子、索贝尔(Sobel)算子、Canny算子等等，具体使用哪种边缘检测算子对获得的初始图像信息和当前图像信息进行边缘检测，本发明实施例不做限制。

在具体的实践过程中，若当前图像信息的边缘检测结果与初始图像信息的边缘检测结果之间的差异程度达到预定程度，则确定目标食材处于正在投放状态。例如，以目标食材为胡萝卜块为例，那么烹饪设备获得的初始图像信息中未出现目标食材胡萝卜块，则对初始图像信息进行边缘检测获得的边缘检测结果为投放框或者空白，进一步的，烹饪设备获得的当前图像信息中出现了目标食材胡萝卜块，则对当前图像信息进行边缘检测获得的边缘检测结果为投放框中包含有目标食材胡萝卜块的不规则的轮廓或者只有目标食材胡萝卜块的不规则的轮廓，即边缘检测结果之间的差异程度达到预定程度，然后确定出目标食材处于正在投放状态。

本发明实施例中，在确定出目标食材处于正在投放状态时，还可以判断目标食材的食材投放时间是否准确，从而为用户烹饪美味的菜品。具体来说，可以在确定目标食材处于正在投放状态时，获得目标食材的食材投放时间，再将食材投放时间与预计投放时间进行比较，以判断食材投放时间是否准确，若食材投放时间不准确，则可以输出提示信息，以提示用户食材投放时间出错，通过提示的方式可以尽量及时地将烹饪出错告知用户，以便于进一步地补救，另外，如果确定投放时间准确的话，则可以进行下一个烹饪流程。

进一步地，在确定出目标食材处于正在投放状态之后，还可以进一步地采集目标食材投放区域的图像信息，若在目标食材正在投放之后的某一时刻获得的目标食材投放区域的图像信息与其前一时刻的图像信息之间的图像差异不满足预定图像特征变化条件，则可以确定目标食材已经投放完毕，即处于投放完毕状态。

在具体的实施过程中，在确定了目标食材的目标食材投放状态之后，可以确定下一个烹饪步骤，进一步地，在确定目标食材投放状态后的预定时长到达时，则可以执行该下一个烹饪步骤。例如，在确定目标食材处于正在投放状态时，确定下一个烹饪步骤即获取目标食材的预定烹饪时长和烹饪方式，若投放时长达到目标食材的预定投放时长时，执行下一个烹饪步骤即获得目标食材的预定烹饪时长和烹饪方式。例如，预定投放时长为5秒，若从当前确定出目标食材处于正在投放状态时间起，计时时长达到5秒，则获取目标食材的预定烹饪时长以及烹饪方式。进一步地，例如确定目标食材处于投放完毕状态之后，确定出下一烹饪步骤为投放下一目标食材或关闭烹饪设备。当确定目标食材的烹饪时长达到目标食材的预定烹饪时长时，执行下一烹饪步骤即投放下一目标食材或关闭烹饪设备。

本发明实施例中，在烹饪菜品的过程中，烹饪设备可以先获得需要烹制菜品的烹饪菜单信息，再根据烹饪菜单信息包括的烹饪食材种类信息，确定出需要烹饪的所有食材，进而根据食材投放顺序信息和已经投放的食材，确定出烹饪所需的目标食材，再根据目标食材与食材投放区域之间的匹配关系确定出用于投放目标食材的目标食材投放区域，进一步地根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与目标图像特征变化信息对应的目标食材投放状态，由于目标食材投放区域的图像特征变化信息能够反映目标食材投放区域的状态的动态变化，而目标食材投放区域的状态的动态变化一般是由于食材的投放状态的变化而引起的，所以通过图像特征变化信息能够准确地确定出目标食材的食材投放状态，进而可以通过图像特征变化信息实现对食材投放状态的准确检测，提高食材投放的准确性和有效性，进而可以尽量避免出现食材投放时间出错、食材投放确认失误等问题，减少烹饪出错的可能，提高烹饪的准确性，增强用户使用体验。

基于同一发明构思，本发明实施例提供了一种检测食材投放状态的装置，该检测食材投放状态装置可以是前述的全自动烹饪装置或半自动烹饪装置，该检测食材投放状态装置能够实现前述的检测食材投放状态的方法对应的功能。该检测食材投放状态的装置可以是硬件结构、软件模块、或硬件结构加软件模块。该检测食材投放状态的装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图5所示，该检测食材投放状态的装置包括第一确定模块501、获得模块502、第二确定模块503。其中：

第一确定模块501，用于确定目标食材的目标食材投放区域；

获得模块502，用于获得目标食材投放区域的目标图像特征变化信息；

第二确定模块503，用于根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与目标图像特征变化信息对应的目标食材投放状态。

在一种可能的实施方式中，第一确定模块501用于确定目标食材；根据预存的食材与食材投放区域之间的匹配关系，将与目标食材对应的食材投放区域确定为目标食材投放区域。

在一种可能的实施方式中，第一确定模块501用于获得烹饪菜单信息，烹饪菜单信息包括烹饪食材种类信息及食材投放顺序信息；根据烹饪食材种类信息，确定需要烹饪的所有食材；以及根据食材投放顺序信息和已经投放的食材，从所有食材中确定目标食材。

在一种可能的实施方式中，第二确定模块503用于获得目标食材投放区域的初始图像信息，其中，初始图像信息为目标食材投放区域未投放任何食材时的图像信息；获得目标食材投放区域的当前图像信息；以及若当前图像信息与初始图像信息之间的图像差异满足预定图像特征变化条件，则确定目标食材处于正在投放状态。

在一种可能的实施方式中，第二确定模块503用于获得初始图像信息中每个像素点的初始灰度值，以及获得当前图像信息中每个像素点的当前灰度值；将当前图像信息与初始图像信息对应的像素点进行灰度值比较，以确定灰度值差值大于预定灰度值的像素点的数量；若灰度值差值大于预定灰度值的像素点的数量达到预定数量，则确定目标食材处于正在投放状态。

在一种可能的实施方式中，第二确定模块503用于分别对初始图像信息和当前图像信息进行边缘检测；若当前图像信息的边缘检测结果与初始图像信息的边缘检测结果之间的差异程度达到预定程度，则确定目标食材处于正在投放状态。

在一种可能的实施方式中，获得模块502用于采集目标食材投放区域所在环境的当前环境图像信息，其中，当前环境图像信息包括多个分区区域的图像信息；根据目标食材投放区域处于环境中的位置，确定目标食材投放区域对应的目标分区区域；将目标分区区域对应的图像信息确定为当前图像信息。

在一种可能的实施方式中，本发明实施例中的检测食材投放状态的装置还包括第一处理模块，用于在确定目标食材处于正在投放状态后，获得目标食材的食材投放时间；以及将食材投放时间与预计投放时间进行比较，以确定食材投放时间是否准确。

在一种可能的实施方式中，本发明实施例中的检测食材投放状态的装置还包括输出模块，用于若食材投放时间不准确，则输出提示信息，其中，提示信息用于提示用户食材投放时间出错。

在一种可能的实施方式中，第二确定模块503还用于若目标食材投放区域的任一图像信息与其前一时刻的图像信息之间的图像差异不满足预定图像特征变化条件，则确定目标食材已经投放完毕。

在一种可能的实施方式中，本发明实施例中的检测食材投放状态的装置还包括第二处理模块，用于根据目标食材投放状态，确定下一个烹饪步骤；以及在确定目标食材投放状态后的预定时长到达时，执行下一个烹饪步骤。

前述的检测食材投放状态的方法的实施例涉及的各步骤的所有相关内容均可以援引到本发明实施例中的检测食材投放状态的装置所对应的功能模块的功能描述，在此不再赘述。

本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

基于同一发明构思，本发明实施例提供一种烹饪设备，该检测食材投放状态设备可以是前述的全自动烹饪设备或半自动烹饪设备。请参见图6所示，该烹饪设备包括至少一个处理器601，以及与至少一个处理器连接的存储器602，本发明实施例中不限定处理器601与存储器602之间的具体连接介质，图6中是以处理器601和存储器602之间通过总线600连接为例，总线600在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线600可以分为地址总线、数据总线、控制总线等，为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本发明实施例中，存储器602存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储器602存储的指令，可以执行前述的检测食材投放状态的方法中所包括的步骤。

可选的，处理器601可包括一个或多个处理单元，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。在一些实施例中，处理器601和存储器602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器601可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本发明实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通过对处理器601进行设计编程，可以将前述实施例中介绍的检测食材投放状态的方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的检测食材投放状态的方法的步骤，如何对处理器601进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

基于同一发明构思，本发明实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的检测食材投放状态的方法的步骤。

在一些可能的实施方式中，本发明提供的检测食材投放状态的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在烹饪设备上运行时，所述程序代码用于使该烹饪设备执行本说明书上述描述的根据本发明各种示例性实施方式的检测食材投放状态的方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种检测食材投放状态的方法，其特征在于，所述方法包括：

确定目标食材的目标食材投放区域；

获得所述目标食材投放区域的目标图像特征变化信息；

根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与所述目标图像特征变化信息对应的目标食材投放状态。

2.如权利要求1所述的方法，其特征在于，所述确定目标食材的目标食材投放区域，包括：

确定所述目标食材；

根据预存的食材与食材投放区域之间的匹配关系，将与所述目标食材对应的食材投放区域确定为所述目标食材投放区域。

3.如权利要求2所述的方法，其特征在于，所述确定所述目标食材，包括：

获得烹饪菜单信息，所述烹饪菜单信息包括烹饪食材种类信息及食材投放顺序信息；

根据所述烹饪食材种类信息，确定需要烹饪的所有食材；

根据所述食材投放顺序信息和已经投放的食材，从所述所有食材中确定所述目标食材。

4.如权利要求1所述的方法，其特征在于，所述根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与所述目标图像特征变化信息对应的目标食材投放状态，包括：

获得所述目标食材投放区域的初始图像信息，其中，所述初始图像信息为所述目标食材投放区域未投放任何食材时的图像信息；

获得所述目标食材投放区域的当前图像信息；

若所述当前图像信息与所述初始图像信息之间的图像差异满足预定图像特征变化条件，则确定所述目标食材处于正在投放状态。

5.如权利要求4所述的方法，其特征在于，所述若所述当前图像信息与所述初始图像信息之间的图像差异满足预定图像特征变化条件，则确定所述目标食材处于正在投放状态，包括：

获得所述初始图像信息中每个像素点的初始灰度值，以及获得所述当前图像信息中每个像素点的当前灰度值；

将所述当前图像信息与所述初始图像信息对应的像素点进行灰度值比较，以确定灰度值差值大于预定灰度值的像素点的数量；

若灰度值差值大于所述预定灰度值的像素点的数量达到预定数量，则确定所述目标食材处于正在投放状态。

6.如权利要求4所述的方法，其特征在于，所述若所述当前图像信息与所述初始图像信息之间的图像差异满足预定图像特征变化条件，则确定所述目标食材处于正在投放状态，包括：

分别对所述初始图像信息和所述当前图像信息进行边缘检测；

若所述当前图像信息的边缘检测结果与所述初始图像信息的边缘检测结果之间的差异程度达到预定程度，则确定所述目标食材处于正在投放状态。

7.如权利要求4所述的方法，其特征在于，所述获得所述目标食材投放区域的当前图像信息，包括：

采集目标食材投放区域所在环境的当前环境图像信息，其中，所述当前环境图像信息包括多个分区区域的图像信息；

根据所述目标食材投放区域处于环境中的位置，确定所述目标食材投放区域对应的目标分区区域；

将所述目标分区区域对应的图像信息确定为所述当前图像信息。

8.如权利要求4-7任一所述的方法，其特征在于，所述方法还包括：

在确定所述目标食材处于正在投放状态后，获得所述目标食材的食材投放时间；

将所述食材投放时间与预计投放时间进行比较，以确定所述食材投放时间是否准确。

9.如权利要求8所述的方法，其特征在于，所述方法还包括：

若所述食材投放时间不准确，则输出提示信息，其中，所述提示信息用于提示用户所述食材投放时间出错。

10.如权利要求4-7任一所述的方法，其特征在于，在所述确定所述目标食材处于正在投放状态之后，所述方法还包括：

若所述目标食材投放区域的任一图像信息与其前一时刻的图像信息之间的图像差异不满足所述预定图像特征变化条件，则确定所述目标食材已经投放完毕。

11.如权利要求1-7任一所述的方法，其特征在于，在所述确定与所述目标图像特征变化信息对应的目标食材投放状态之后，所述方法还包括：

根据所述目标食材投放状态，确定下一个烹饪步骤；

在确定所述目标食材投放状态后的预定时长到达时，执行所述下一个烹饪步骤。

12.一种检测食材投放状态的装置，其特征在于，所述装置包括：

第一确定模块，用于确定目标食材的目标食材投放区域；

获得模块，用于获得所述目标食材投放区域的目标图像特征变化信息；

第二确定模块，用于根据预存的图像特征变化信息与食材投放状态之间的对应关系，确定与所述目标图像特征变化信息对应的目标食材投放状态。

13.一种烹饪设备，其特征在于，所述烹饪设备包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-11任一所述的方法包括的步骤。

14.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-11任一所述的方法包括的步骤。