CN109955248A - 一种机器人及其人脸跟随方法 - Google Patents
一种机器人及其人脸跟随方法 Download PDFInfo
- Publication number
- CN109955248A CN109955248A CN201711439896.3A CN201711439896A CN109955248A CN 109955248 A CN109955248 A CN 109955248A CN 201711439896 A CN201711439896 A CN 201711439896A CN 109955248 A CN109955248 A CN 109955248A
- Authority
- CN
- China
- Prior art keywords
- face
- robot
- robot head
- angle
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006870 function Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 15
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1684—Tracking a line or surface by means of sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种机器人及其人脸跟随方法,该方法包括:机器人周期性或以事件触发形式主动采集画面图像,并对画面图像进行检测,判断画面图像是否存在人脸;如果判断画面图像存在人脸,则获取人脸相对于机器人头部指定点或朝向方位的位置信息;判断位置信息是否在预设范围内,若不在预设范围内,则确定机器人头部转动至预设范围所需要的转动信息;驱动机器人头部使其按照转动信息进行转动,以对所述人脸进行跟随。通过上述方式,本申请能够使机器人头部跟随人脸的移动变化实时进行调整,使得机器人头部始终朝向人脸,可使机器人在与用户交互时更加生动形象,更为智能。
Description
技术领域
本申请涉及机器人技术领域,特别是涉及一种机器人及其人脸跟随方法。
背景技术
随着科技的发展,人们的生活越来越智能化,机器人在生活中的应用也越来越广泛。
现有的机器人在和用户进行交互时,普遍支持人脸识别和语音定位。但是,当机器人第一次语音定位和人脸识别完后,如果人脸进行移动,机器人往往还是保持原来的姿势和位置,没有随人脸的移动而做跟随变化,因此无法与用户进行有效的交互。
发明内容
本申请主要解决的技术问题是提供一种机器人及其人脸跟随方法,能够使机器人在与用户交互时更加生动形象,更为智能。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种人脸跟随方法,该方法包括:机器人周期性或以事件触发形式主动采集画面图像,并对画面图像进行检测,判断画面图像是否存在人脸;如果判断画面图像存在人脸,则获取人脸相对于机器人头部指定点或朝向方位的位置信息;判断位置信息是否在预设范围内,若不在预设范围内,则确定机器人头部转动至预设范围所需要的转动信息;驱动机器人头部使其按照转动信息进行转动。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种机器人的人脸跟随装置,该装置包括处理器、存储器和通信电路,处理器耦接存储器和通信电路,处理器在工作时执行指令,配合存储器和通信电路实现上述的机器人人脸跟随方法。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种具有存储功能的装置,该装置存储有程序,该程序被执行时实现上述的机器人人脸跟随方法。
本申请的有益效果是:区别于现有技术的情况,本申请通过机器人周期性或以事件触发形式主动采集画面图像,能够及时检测出画面图像中的人脸,与用户进行交互,且能继续关注人脸的移动变化,进而获取人脸相对于机器人头部指定点或朝向方位的位置信息,在位置信息不在预设范围内时确定机器人头部转动至预设范围所需要的转动信息,并驱动机器人头部使其按照转动信息进行转动,以对人脸进行跟随,能够实时判断人脸是否移动,使机器人头部跟随人脸的移动变化实时进行转动,使得机器人头部始终朝向人脸,可使机器人在与用户交互时更加生动形象,更为智能。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请人脸跟随方法第一实施例的流程示意图;
图2是本申请机器人与人脸相对位置的三维空间示意图;
图3是本申请人脸跟随方法第二实施例的流程示意图;
图4是本申请机器人与人脸相对位置的二维空间示意图;
图5是本申请人脸跟随方法第三实施例的流程示意图;
图6是本申请机器人的人脸跟随装置第一实施例的结构示意图;
图7是应用本申请人脸跟随装置的机器人的结构示意图;
图8是本申请具有存储功能的装置第一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1是本申请人脸跟随方法第一实施例的流程示意图,该方法包括:
步骤S101:机器人周期性或以事件触发形式主动采集画面图像,并对画面图像进行检测,判断画面图像是否存在人脸。
机器人拍摄设备(如:摄像头、视觉传感器等)以5~30Hz的频率周期性主动采集画面图像,即机器人每秒主动采集画面图像5~30次。以事件触发形式触发采集信息包括:也可以通过声音传感器对人的声音进行识别,识别到人的声音时触发机器人拍摄设备主动采集画面图像,还可以通过红外线和体温监测等多种触发方式感知用户并主动采集画面图像。
通过机器人周期性或以事件触发形式主动采集画面图像,能够及时检测出画面图像中的人脸,与用户进行交互,且能继续关注人脸的移动变化,对人脸进行跟随。
通过对画面图像进行检测,判断画面图像是否存在人脸,可以采用模板对比法,首先设计出标准人脸的模板,通过对机器人拍摄设备采集到的画面图像进行检测,计算采集到的画面图像中的样本与标准人脸模板之间的匹配程度,判断该匹配程度是否超过阈值,如果超过,则判断采集到的画面图像中存在人脸。检测画面图像是否存在人脸还可以采用基于特征的人脸检测法,如:整体轮廓法、肤色检测法、器官分布法等,在此不作限定。
步骤S102:如果判断画面图像存在人脸,则获取人脸相对于机器人头部指定点或朝向方位的位置信息。
其中,人脸相对于机器人头部指定点或朝向方位的位置信息包括人脸相对于机器人头部指定点的具体方位,如:正上方、左下方等;以及人脸与机器人头部指定点之间的距离,该距离包括在水平方向、垂直方向的偏移量;以及人脸相对于机器人头部朝向方位的夹角,如:人脸与机器人头部指定点的连线与机器人头部朝向方位之间的夹角,该夹角包括人脸与机器人头部指定点的连线与水平方向、垂直方向的夹角。
步骤S103:判断位置信息是否在预设范围内,若不在预设范围内,则确定机器人头部转动至预设范围所需要的转动信息。
机器人跟随人脸,即控制机器人头部跟随人脸的移动而做跟随变化,使得机器人头部基本正对人脸,也就是使得机器人头部朝向方位与人脸的偏差在误差角度内,此时人脸与机器人头部指定点之间的距离在水平方向、垂直方向的偏移量均在预设的误差距离内。
判断位置信息是否在预设范围内,该预设范围为预设的误差角度或预设的误差距离,当判断结果为是时,机器人头部的朝向方位与人脸基本正对,则机器人头部不需要转动;当判断结果为否时,则确定当前机器人头部转动至基本正对人脸所需要的转动信息,如:机器人头部应该向上下左右哪个方向转动,转动的具体角度等。
步骤S104:驱动机器人头部使其按照转动信息进行转动,以对所述人脸进行跟随。
其中,驱动机器人头部使其按照转动信息进行转动,直至机器人头部基本正对人脸。
区别于现有技术,本实施例通过机器人周期性或以事件触发形式主动采集画面图像,能够及时检测出画面图像中的人脸,与用户进行交互,且能继续关注人脸的移动变化,进而获取人脸相对于机器人头部指定点或朝向方位的位置信息,在位置信息不在预设范围内时确定机器人头部转动至预设范围所需要的转动信息,并驱动机器人头部使其按照转动信息进行转动,以对人脸进行跟随,能够实时判断人脸是否移动,使机器人头部跟随人脸的移动变化实时进行转动,使得机器人头部始终朝向人脸,可使机器人在与用户交互时更加生动形象,更为智能。
在一实施例中,步骤S103可包括以下步骤:判断人脸中心点与机器人头部指定点的连线与机器人头部朝向方位之间的夹角α是否小于或等于预设的合适角度β;计算机器人头部转动到合适角度的转动角度γ。
具体地,请参阅图2,图2是本申请机器人与人脸相对位置的三维空间示意图。在三维空间中,机器人头部指定点记为O,人脸中心点A在机器人的右侧前方上方,机器人头部朝向方位记为则夹角α即为∠AOB。通过预设一个合适角度β,判断夹角α是否小于或等于预设的合适角度β,若α≤β,则位置信息在预设范围内;若α>β,则位置信息不在预设范围内。预设的合适角度β为0~15°中任一角度。机器人头部转动到合适角度,也就是说转动后机器人头部朝向方位与机器人指定点与人脸中心点的连线的夹角α小于或等于预设的合适角度β,此时机器人头部基本正对人脸。
计算机器人头部转动到合适角度的转动角度γ,当机器人头部朝向方位为时,此时机器人头部朝向方位转至恰好正对人脸。当机器人头部朝向方位为至之间时,此时∠AOM=β、∠AON=β,机器人头部朝向方位转至基本正对人脸,即机器人朝人脸所在位置旋转∠BOM至∠BON中任一角度,机器人头部朝向方位转至基本正对人脸。因此,机器人头部转动到合适角度的转动角度γ为α-β至α+β中任一角度。
参阅图3,图3是本申请人脸跟随方法第二实施例的流程示意图,该方法包括:
步骤S301:机器人周期性主动采集画面图像,并对画面图像进行检测,判断画面图像是否存在人脸。
如果判断画面图像存在人脸,则执行步骤S302;如果判断画面图像不存在人脸,则执行步骤S303。
步骤S302:判断识别到的人脸数量是否为1。
如果判断识别到的人脸数量不为1,则执行步骤S304;如果判断识别到的人脸数量为1,则执行步骤S305。
在其他实施例中,也可以在确定好机器人头部的转动信息之后再判断识别到的人脸数量是否为1。
步骤S303:机器人头部不进行转动,结束本次流程。
步骤S304:识别与预设特征条件相匹配的人脸。
在判断画面图像存在人脸时,进一步分析人脸的特征,计算预设特征的特征值,识别出与预设特征条件相匹配的人脸。可预设该特征为人脸的大小、清晰度、五官完整度中的至少一个特征。例如预设该特征为人脸的大小,计算画面图像中的每个人脸所对应的矩形框的面积,则人脸所对应的矩形框的面积即为预设特征的特征值,可预设该特征条件为面积最大,则机器人识别出面积最大的人脸,对其进行跟随。也可以预设该特征为人脸的清晰度,求出每个人脸的清晰度,预设该特征条件为清晰度最高,则机器人识别出清晰度最高的人脸,将其作为跟随对象。还可以预设该特征为人脸的大小和五官完整度,分别求出每个人脸的面积、五官完整度,预设该特征条件为五官完整度超过80%的人脸中面积最大的人脸,则机器人识别出与该条件相匹配的人脸,将其作为跟随对象。在其他实施例中,当识别到的人脸数量不为1时,机器人头部也可以不进行转动,结束本次流程。
步骤S305:获取人脸相对于机器人头部指定点的位置信息。
无论机器人与人脸在前后方向的距离远近,只要机器人头部在水平方向、垂直方向均转动到合适角度,那么机器人头部就基本正对人脸,因此本实施例中不考虑机器人和人脸在前后方向的距离差,仅考虑人脸相对于机器人头部在水平方向、垂直方向上的偏转。
请参阅图4,图4是本申请机器人与人脸相对位置的二维空间示意图,以机器人头部指定点为原点建立平面直角坐标系xOy。其中,机器人头部指定点可以为机器人摄像头中心点,对于有屏幕的机器人,该指定点也可以为屏幕中心点。记机器人屏幕中心点为原点O,以机器人水平向右方向为平面直角坐标系xOy的x轴正方向,垂直向上方向为平面直角坐标系xOy的y轴正方向。此时人脸中心点A在原点的右上方,获取人脸中心点A在平面直角坐标系xOy中的坐标(a,b),计算出OA与x轴的夹角∠AOB、与y轴的夹角∠AOC。
步骤S306:判断人脸中心点相对于机器人头部指定点在水平方向、垂直方向的偏移量是否小于或等于预设的阈值。
判断人脸中心点A相对于机器人头部指定点在水平方向、垂直方向的偏移量|a|、|b|是否分别小于预设的阈值DeltaX、DeltaY。预设人脸中心点相对于机器人头部指定点在水平方向、垂直方向的合适角度为β,β为0~15°中任一角度。机器人头部在垂直方向上向上转动,直至人脸相对于原点在垂直方向上的偏转角∠AOH等于预设的合适角度β,此时,平面直角坐标系为x’Oy’,人脸中心点相对于原点在y’轴方向的偏移量AH为OA·sinβ,即为DeltaY。同理可得,DeltaX为OA·sinβ。计算出人脸中心点A与原点O的距离OA、阈值DeltaX及DeltaY,如果|a|≤DeltaX,且|b|≤DeltaY,此时人脸中心点相对于机器人头部指定点在水平、垂直方向上的偏转角均小于或等于预设的合适角度β,位置信息在预设范围内,则判断机器人头部基本正对人脸,机器人头部不进行转动,结束本次流程。如果|a|>DeltaX或者|b|>DeltaY,则位置信息不在预设范围内,进一步确定机器人头部转动至预设范围所需要的转动信息。
在其他实施例中,用户还可以自定义设置阈值DeltaX、DeltaY,具体阈值根据用户需要及机器人周围环境而设定。
步骤S307:确定机器人头部转动至预设范围所需要的转动信息。
确定机器人头部的转动方向、转动角度、转动角速度。其中,机器人头部的转动方向包括水平转动方向和垂直转动方向,分别由人脸中心点A的横、纵坐标进行确定。
机器人头部的转动角度包括机器人头部进行上下转动的垂直转动角度、进行左右转动的水平转动角度,分别由OA与x轴、y轴的夹角进行确定。当机器人头部在垂直转动方向上转动的夹角为∠AOB时,在垂直方向上机器人头部完全正对人脸,因此,机器人头部按垂直转动方向转动∠AOB-β至∠AOB+β中任一角度,在垂直方向上机器人头部基本正对人脸。同理可得,机器人头部按水平转动方向转动∠AOC-β至∠AOC+β中任一角度,在水平方向上机器人头部基本正对人脸。
转动角速度根据人脸中心点A的移动速度实时调整,人脸移动速度快则机器人头部转动快,人脸移动速度慢则机器人头部转动慢。例如:若人脸在1秒移动1米,则实时提高转动角速度,机器人头部跟随人脸进行快速转动;若人脸在1分钟移动1米,则实时降低转动角速度,机器人头部跟随人脸进行缓慢转动。
步骤S308:驱动机器人头部使其按照转动信息进行转动。
步骤S309:判断人脸中心点是否与机器人头部指定点基本重合。
也就是判断人脸中心点A是否与原点O基本重合,即判断人脸中心点A在x轴方向上的偏移量|a|是否小于或等于预设的阈值DeltaX,且在y轴方向上的偏移量|b|是否小于或等于预设的阈值DeltaY。如果|a|≤DeltaX,且|b|≤DeltaY,则点A与原点O基本重合,机器人头部已经转动至基本正对人脸,则判断是否要退出人脸自动跟随应用。如果|a|>DeltaX或者|b|>DeltaY,则人脸中心点与机器人头部指定点间的偏差较大,机器人头部需要继续调整,重新确定转动信息。因此,机器人能实时关注人脸的移动变化,如果人脸移远了,机器人能同步对人脸进行跟随;或者虽然人脸移近了,但机器人头部仍未调整至基本正对人脸,则机器人头部跟随人脸继续调整,直至基本正对人脸。
步骤S310:判断是否退出人脸自动跟随应用。
可以通过判断预定时间内是否检测到人脸、人的声音或人的体温来判断是否要退出人脸自动跟随应用。一段时间内检测不到人脸、人的声音或人的体温,或者接收到退出指令,则判断机器人需要退出机器人人脸自动跟随应用;如果在一段时间内检测到人脸、人的声音或人的体温,则判断机器人不需要退出机器人人脸自动跟随应用,执行步骤S302。
也可以计算在预定时间内调整机器人头部转动的频率,判断该频率是否大于或等于预定值,如果是,则判断机器人需要退出机器人人脸自动跟随应用。如果否,则判断机器人不需要退出机器人人脸自动跟随应用,执行步骤S302。可设定该预定时间为3~10分钟,该预定值为70~100%中任一比例。在一应用场景中,设定该预定时间为5分钟,该预定值为75%,统计机器人头部处于转动状态的时间,若为4分钟,则调整机器人头部转动的频率为80%,80%>75%,说明5分钟内,80%的时间人脸都在不断移动位置,机器人的头部在进行转动跟随,则用户可能并不关注机器人,判断机器人需要退出机器人人脸自动跟随应用;如果计算出的频率小于75%,判断机器人不需要退出机器人人脸自动跟随应用。通过该判定方法,在用户不关注机器人时退出机器人人脸自动跟随应用,可避免机器人时刻跟随用户,引起用户的紧张和反感。
参阅图5,图5是本申请人脸跟随方法第三实施例的流程示意图,该方法包括:
启动机器人人脸自动跟随应用,并确认机器人是否启动初始化,若未启动初始化则启动初始化,初始化结束后机器人周期性或以事件触发形式主动采集画面图像,判断是否存在人脸,如果判断画面图像不存在人脸,则执行步骤S505,判断声音传感器采集到的声音是否为人的语音信息,如果否,则执行步骤S506,机器人头部不进行转动,结束本次流程;如果是,则执行步骤S507,通过声音传感器确定人脸所在方位,机器人头部朝人脸所在方位进行转动,直至画面图像存在人脸,执行步骤S508,获取人脸相对于机器人头部指定点的位置信息。
在本实施例中,机器人先周期性或以事件触发形式主动采集画面图像,再判断是否采集到语音信息。在其他实施例中,也可以先通过声音传感器主动采集声音,判断采集到的声音是否为语音信息,如果采集到的声音是语音信息,机器人头部朝语音所在方位进行转动,并采集画面图像,判断画面图像是否存在人脸,在画面图像存在人脸时,执行步骤S508,获取人脸相对于机器人头部指定点的位置信息。
获取到人脸相对于机器人头部指定点的位置信息后,位置信息不在预设范围内确定转动信息,在人脸数量为1时,执行步骤S512:驱动机器人头部使其按照转动信息进行转动,判断机器人底盘是否需要转动。机器人头部在水平方向上左右转动时,判断机器人头部向左或向右转动的角度是否大于或等于预设角度,如果是,则判断机器人底盘需要进行转动;如果否,则判断机器人底盘不需要转动。可设定该预设角度为机器人头部左右活动总范围的25%至50%之间的任一角度。在一应用场景中,机器人头部左右活动总范围为180°,设定预设角度为机器人头部左右活动总范围的三分之一,则该预设角度为60°,即判断机器人头部向左或向右转动的角度是否超过60°,如果机器人头部已经向左转动60°或大于60°,判断机器人底盘需要向左转动,则执行步骤S513,驱动机器人底盘按机器人头部水平转动方向转动指定角度,并对机器人头部进行回调。可设定该指定角度为40°至80°,例如:设定该指定角度为60°,如果判断机器人底盘需要向左转动,则驱动机器人底盘向左转动60°,对机器人头部进行回调,直至机器人头部基本正对人脸。
另外,本申请机器人人脸跟随方法第三实施例的其他工作过程请参考机器人人脸跟随方法第二实施例中的相关描述,在本领域技术人员容易结合理解的范围内,不作赘述。
请参阅图6,图6是本申请机器人的人脸跟随装置第一实施例的结构示意图。本申请还提供一种机器人人脸跟随装置,该装置可执行上述机器人的人脸跟随方法,以使机器人实现对人脸的跟随。该装置包括处理器601、存储器602及通信电路603。处理器601耦接存储器602和通信电路603,处理器601在工作时执行指令,以配合存储器602和通信电路603实现上述机器人人脸跟随方法,具体工作过程与上述方法实施例中一致,故在此不再赘述,详细请参阅以上对应方法步骤的说明。其中,该机器人人脸跟随装置可以是独立于机器人之外的装置,例如可以是跟机器人匹配的适配器,通过这种方式可以单一控制更灵活;也可以是服务器、控制计算机等,通过这种方式,可以同时控制多个机器人。使用独立于机器人之外的装置,可以减少机器人自身处理器占有率,使机器人更灵活。该机器人人脸跟随装置也可以设置于机器人身上,或者可以是直接利用机器人自身的处理器、存储器、通信电路实现上述方法等。
将上述机器人的人脸跟随装置应用于机器人中,使机器人对人脸进行跟踪时,需要机器人至少具有拍摄设备和驱动机构;其中拍摄设备用于采集画面图像,并将拍摄到的画面图像通过通信电路603传送给处理器601,以供处理器601执行上述方法实施例中的判断过程,然后根据判断结果输出转动指令,以供机器人控制驱动机构驱动机器人转动。其中,驱动机构包括转动舵机,用于驱动机器人进行转动。
具体地,该机器人可以是人形机器人,至少包括机器人头部701、机器人躯体702、机器人底盘703、拍摄设备704以及驱动机构,具体请参阅图7。其中,驱动机构包括机器人头部驱动机构705、机器人底盘驱动机构706。机器人头部驱动机构705包括头左右转动舵机、头上下转动舵机,用于驱动机器人头部701相对于机器人躯体702进行转动。机器人底盘驱动机构706包括底盘轮子,用于驱动机器人底盘703进行转动。
请参阅图8,图8是本申请具有存储功能的装置第一实施例的结构示意图。本实施例中存储装置80存储有程序801,程序801被执行时实现上述机器人人脸跟随方法。具体工作过程与上述方法实施例中一致,故在此不再赘述,详细请参阅以上对应方法步骤的说明。其中具有存储功能的装置可以是便携式存储介质如U盘、光盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟等各种可以存储程序代码的介质,也可以是终端、服务器等。
综上所述,本申请通过机器人周期性或以事件触发形式主动采集画面图像,能够及时检测出画面图像中的人脸,与用户进行交互,且能继续关注人脸的移动变化,进而获取人脸相对于机器人头部指定点或朝向方位的位置信息,在位置信息不在预设范围内时确定机器人头部转动至预设范围所需要的转动信息,并驱动机器人头部使其按照转动信息进行转动,以对人脸进行跟随,能够实时判断人脸是否移动,使机器人头部跟随人脸的移动变化实时进行转动,使得机器人头部始终朝向人脸,可使机器人在与用户交互时更加生动形象,更为智能。
在本申请所提供的几个实施方式中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种机器人的人脸跟随方法,其特征在于,所述方法包括:
机器人周期性或以事件触发形式主动采集画面图像,并对所述画面图像进行检测,判断所述画面图像是否存在人脸;
如果判断所述画面图像存在所述人脸,则获取所述人脸相对于机器人头部指定点或朝向方位的位置信息;
判断所述位置信息是否在预设范围内,若不在所述预设范围内,则确定机器人头部转动至所述预设范围所需要的转动信息;
驱动所述机器人头部使其按照所述转动信息进行转动,以对所述人脸进行跟随。
2.根据权利要求1所述的机器人的人脸跟随方法,其特征在于,
所述确定机器人头部转动至所述预设范围所需要的转动信息包括:获得所述人脸中心点相对于所述机器人头部指定点的当前夹角;计算所述机器人头部转动到合适角度的转动角度,所述合适角度是所述人脸中心点相对于所述机器人头部指定点的合适角度。
3.根据权利要求2所述的机器人的人脸跟随方法,其特征在于,
以所述指定点为原点建立平面直角坐标系xOy,其中,所述指定点为机器人摄像头中心点或屏幕中心点,以机器人水平向右方向为所述平面直角坐标系的x轴正方向,垂直向上方向为所述平面直角坐标系的y轴正方向,
所述人脸相对于所述机器人头部指定点的位置信息为所述人脸中心点在所述平面直角坐标系中的坐标,根据所述坐标确定机器人头部的转动方向,所述转动方向包括水平转动方向、垂直转动方向;
所述获得所述人脸中心点相对于所述机器人头部指定点的当前夹角为计算所述人脸中心点与所述原点的连线与x轴、y轴的夹角;
所述计算所述机器人头部转动到合适角度的转动角度为根据所述人脸中心点与所述原点的连线与x轴、y轴的夹角确定所述机器人头部转动到合适角度的水平转动角度、垂直转动角度,使得转动后所述人脸中心点相对于机器人头部指定点的偏移量小于或等于预设的阈值,所述偏移量为所述人脸中心点到x轴、y轴的距离。
4.根据权利要求3所述的机器人的人脸跟随方法,其特征在于,
所述转动信息还包括转动角速度,所述转动角速度根据人脸移动速度实时进行调整,所述人脸移动速度由获取到的所述人脸中心点相对于所述原点的位置信息确定。
5.根据权利要求4所述的机器人的人脸跟随方法,其特征在于,
判断所述机器人头部在所述水平转动方向上转动的角度是否超过预设角度,如果是,则驱动机器人底盘按所述水平转动方向转动指定角度,并在水平方向上对所述机器人头部进行回调。
6.根据权利要求1~5中任一项所述的机器人的人脸跟随方法,其特征在于,所述判断所述画面图像是否存在人脸之后还包括:
如果判断所述画面图像不存在所述人脸,则所述机器人头部不进行转动;
如果判断所述画面图像存在所述人脸,则进一步判断所述人脸数量是否为1;
如果所述人脸数量为1,则获取所述人脸相对于机器人头部指定点或朝向方位的位置信息;
如果所述人脸数量大于1,则获取画面图像中人脸的预设特征,计算预设特征的特征值,并将与预设特征条件相匹配的人脸作为跟随对象,获取其相对于机器人头部指定点或朝向方位的位置信息,或所述机器人头部不进行转动。
7.根据权利要求1所述的机器人的人脸跟随方法,其特征在于,所述机器人周期性或以事件触发形式主动采集画面图像,并对所述画面图像进行检测,判断所述画面图像是否存在人脸还包括:
机器人主动采集声音,判断所述声音是否为语音信息,如果是,则确定所述语音信息所在方位为所述人脸的方位,驱动机器人头部朝所述人脸的方位进行转动。
8.根据权利要求1所述的机器人的人脸跟随方法,其特征在于,所述方法还包括:
计算在预定时间内调整所述机器人头部转动的频率,判断所述频率是否大于或等于预定值,如果是,则所述机器人头部不再对所述人脸进行跟随。
9.一种机器人的人脸跟随装置,其特征在于,所述装置包括处理器、存储器和通信电路,所述处理器耦接所述存储器和通信电路,所述处理器在工作时执行指令,配合所述存储器和通信电路实现权利要求1至8任一项所述的机器人的人脸跟随方法。
10.一种具有存储功能的装置,其特征在于,所述装置存储有程序,所述程序被执行时实现权利要求1至8任一项所述的机器人的人脸跟随方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711439896.3A CN109955248A (zh) | 2017-12-26 | 2017-12-26 | 一种机器人及其人脸跟随方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711439896.3A CN109955248A (zh) | 2017-12-26 | 2017-12-26 | 一种机器人及其人脸跟随方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109955248A true CN109955248A (zh) | 2019-07-02 |
Family
ID=67022810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711439896.3A Pending CN109955248A (zh) | 2017-12-26 | 2017-12-26 | 一种机器人及其人脸跟随方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109955248A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555507A (zh) * | 2019-10-22 | 2019-12-10 | 深圳追一科技有限公司 | 虚拟机器人的交互方法、装置、电子设备及存储介质 |
CN110928415A (zh) * | 2019-12-04 | 2020-03-27 | 北京镭特医疗科技有限公司 | 一种基于面部动作的机器人交互方法 |
CN111241922A (zh) * | 2019-12-28 | 2020-06-05 | 深圳市优必选科技股份有限公司 | 一种机器人及其控制方法、计算机可读存储介质 |
CN111639515A (zh) * | 2020-01-16 | 2020-09-08 | 上海黑眸智能科技有限责任公司 | 目标丢失再跟踪方法、装置、系统、电子终端及存储介质 |
CN112132865A (zh) * | 2020-09-21 | 2020-12-25 | 德鲁动力科技(海南)有限公司 | 人员识别方法及系统 |
CN113008380A (zh) * | 2021-03-10 | 2021-06-22 | 五邑大学 | 一种智慧ai体温预警方法、系统及存储介质 |
CN113997285A (zh) * | 2021-10-28 | 2022-02-01 | 国汽朴津智能科技(合肥)有限公司 | 机器人头部控制方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015132955A (ja) * | 2014-01-10 | 2015-07-23 | 富士ソフト株式会社 | ロボット、顔検出方法、およびコンピュータプログラム |
CN105116994A (zh) * | 2015-07-07 | 2015-12-02 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人追踪方法和追踪装置 |
CN105116920A (zh) * | 2015-07-07 | 2015-12-02 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人追踪方法、装置及智能机器人 |
CN106228112A (zh) * | 2016-07-08 | 2016-12-14 | 深圳市优必选科技有限公司 | 人脸检测跟踪方法及机器人头部转动控制方法和机器人 |
CN106407882A (zh) * | 2016-07-26 | 2017-02-15 | 河源市勇艺达科技股份有限公司 | 机器人通过人脸检测实现头部转动的方法及装置 |
-
2017
- 2017-12-26 CN CN201711439896.3A patent/CN109955248A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015132955A (ja) * | 2014-01-10 | 2015-07-23 | 富士ソフト株式会社 | ロボット、顔検出方法、およびコンピュータプログラム |
CN105116994A (zh) * | 2015-07-07 | 2015-12-02 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人追踪方法和追踪装置 |
CN105116920A (zh) * | 2015-07-07 | 2015-12-02 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人追踪方法、装置及智能机器人 |
CN106228112A (zh) * | 2016-07-08 | 2016-12-14 | 深圳市优必选科技有限公司 | 人脸检测跟踪方法及机器人头部转动控制方法和机器人 |
CN106407882A (zh) * | 2016-07-26 | 2017-02-15 | 河源市勇艺达科技股份有限公司 | 机器人通过人脸检测实现头部转动的方法及装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555507A (zh) * | 2019-10-22 | 2019-12-10 | 深圳追一科技有限公司 | 虚拟机器人的交互方法、装置、电子设备及存储介质 |
CN110555507B (zh) * | 2019-10-22 | 2021-03-23 | 深圳追一科技有限公司 | 虚拟机器人的交互方法、装置、电子设备及存储介质 |
CN110928415A (zh) * | 2019-12-04 | 2020-03-27 | 北京镭特医疗科技有限公司 | 一种基于面部动作的机器人交互方法 |
CN111241922A (zh) * | 2019-12-28 | 2020-06-05 | 深圳市优必选科技股份有限公司 | 一种机器人及其控制方法、计算机可读存储介质 |
CN111241922B (zh) * | 2019-12-28 | 2024-04-26 | 深圳市优必选科技股份有限公司 | 一种机器人及其控制方法、计算机可读存储介质 |
CN111639515A (zh) * | 2020-01-16 | 2020-09-08 | 上海黑眸智能科技有限责任公司 | 目标丢失再跟踪方法、装置、系统、电子终端及存储介质 |
CN112132865A (zh) * | 2020-09-21 | 2020-12-25 | 德鲁动力科技(海南)有限公司 | 人员识别方法及系统 |
CN113008380A (zh) * | 2021-03-10 | 2021-06-22 | 五邑大学 | 一种智慧ai体温预警方法、系统及存储介质 |
CN113997285A (zh) * | 2021-10-28 | 2022-02-01 | 国汽朴津智能科技(合肥)有限公司 | 机器人头部控制方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109955248A (zh) | 一种机器人及其人脸跟随方法 | |
CN105787478B (zh) | 基于神经网络和灵敏度参数的人脸转向识别方法 | |
CN103109244B (zh) | 用于物体跟踪和识别的方法和装置 | |
CN105930775B (zh) | 基于灵敏度参数的人脸朝向识别方法 | |
JP6301159B2 (ja) | 三次元指先トラッキング | |
CN104240606B (zh) | 显示装置及显示装置观看角度的调节方法 | |
CN110502104A (zh) | 利用深度传感器进行无接触操作的装置 | |
CN106054895A (zh) | 智能营业厅机器人及其室内行走偏航自动校正方法 | |
JP2004230166A5 (zh) | ||
CN103412647A (zh) | 一种人脸识别的页面显示控制方法及移动终端 | |
CN107103309A (zh) | 一种基于图像识别的学生坐姿检测与纠正系统 | |
CN107788989B (zh) | 一种基于加速度传感器的写字姿态监测系统和方法 | |
CN101976330A (zh) | 手势识别方法和系统 | |
CN107168515A (zh) | 一种vr一体机中手柄的定位方法和装置 | |
CN103713739A (zh) | 一种运动数据的采集处理方法及系统 | |
WO2018094919A1 (zh) | 一种远程同步书写显示的方法与装置 | |
CN109739358A (zh) | 基于裸眼3d的手势碰撞检测方法及设备 | |
CN111160165B (zh) | 一种自适应式姿态纠错检测方法及装置 | |
CN106444753A (zh) | 基于人工神经网络的人体态势判断智能跟随方法 | |
CN205942440U (zh) | 智能营业厅机器人 | |
CN111650874A (zh) | 一种基于物联网的过山车超速保护监测系统及方法 | |
CN107168689A (zh) | 一种信息处理方法、操作设备和电子设备 | |
CN108108709B (zh) | 一种识别方法及装置、计算机存储介质 | |
CN103927012B (zh) | 一种通过操作系统实现用户姿态检测的移动终端和方法 | |
CN105856201A (zh) | 一种三自由度的机器人视觉伺服平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190702 |