Nothing Special   »   [go: up one dir, main page]

CN110276292A - 智能车运动控制方法及装置、设备和存储介质 - Google Patents

智能车运动控制方法及装置、设备和存储介质 Download PDF

Info

Publication number
CN110276292A
CN110276292A CN201910533908.1A CN201910533908A CN110276292A CN 110276292 A CN110276292 A CN 110276292A CN 201910533908 A CN201910533908 A CN 201910533908A CN 110276292 A CN110276292 A CN 110276292A
Authority
CN
China
Prior art keywords
image
gesture
processed
candidate frame
intelligent vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910533908.1A
Other languages
English (en)
Other versions
CN110276292B (zh
Inventor
张军伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201910533908.1A priority Critical patent/CN110276292B/zh
Publication of CN110276292A publication Critical patent/CN110276292A/zh
Priority to JP2021526765A priority patent/JP2022507635A/ja
Priority to KR1020217014612A priority patent/KR20210076962A/ko
Priority to SG11202106683YA priority patent/SG11202106683YA/en
Priority to PCT/CN2020/092161 priority patent/WO2020253475A1/zh
Priority to TW109120374A priority patent/TWI759767B/zh
Priority to US17/351,445 priority patent/US20210311469A1/en
Application granted granted Critical
Publication of CN110276292B publication Critical patent/CN110276292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electromagnetism (AREA)

Abstract

本申请实施例提供一种智能车运动控制方法及装置、设备和存储介质，其中，所述方法包括：获取待处理图像；对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息；根据所述姿态信息，控制智能车的运动状态。

Description

智能车运动控制方法及装置、设备和存储介质
技术领域
本申请涉及设备自动行驶技术领域，涉及但不限于智能车运动控制方法及装置、设备和存储介质。
背景技术
相关技术中，大多基于臂环或者腕带、触摸屏感应和手势图片实现通过不同的手势控制无线遥控车的运行。比如，通过采集触摸屏上用户的手势操作，然后通过相关操作确定手势坐标，从而确定手势类型，在此基础上实现相关控制。这样虽然可以实现基础手势分类，但是手势分类对硬件依赖较大，且识别准确性有待提高。
发明内容
有鉴于此，本申请实施例提供一种智能车运动控制方法及装置、设备和存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种智能车运动控制方法，所述方法包括：
获取待处理图像；
对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息；
根据所述姿态信息，控制智能车的运动状态。
在上述方法中，在对所述待处理图像进行特征提取之前，所述方法还包括：对所述待处理图像进行预处理；
所述对待处理图像进行预处理包括：
对所述待处理图像的尺寸进行归一化处理，得到满足预设尺寸的归一化图像；
将所述归一化图像转换为灰度图像；
对所述灰度图像的像素进行限制，得到像素均值为零的正则图像。
在上述方法中，所述对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息，包括：
基于手势识别神经网络对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息。
在上述方法中，所述基于手势识别神经网络对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息，包括：
将所述待处理图像输入至所述手势识别神经网络，检测到目标候选框；
通过所述手势识别网络中对所述目标候选框进行分类，以确定所述目标候选框中的手势、所述手势的方向以及所述手势的类别；
根据所述目标候选框的位置确定所述手势的位置信息；
根据所述手势的位置信息、所述手势的方向以及所述手势的类别确定所述待处理图像中手势的姿态信息。
在上述方法中，所述目标候选框的位置，包括：
在所述待处理图像的中心为原点的情况下，将所述目标候选框的两个对角在所述待处理图像中的坐标作为所述目标候选框的位置。
在上述方法中，所述根据所述姿态信息，控制智能车的运动状态，包括：
根据接收到的所述姿态信息获取所述手势对应的指令，并根据所述指令控制所述智能车的运动状态。
在上述方法中，在所述根据所述姿态信息，控制智能车的运动状态之前，所述方法还包括：
根据所述目标候选框的位置和所手势的类别，调整与所述智能车相连的摄像头，以使采集到的待处理图像中包含手势。
在上述方法中，所述根据所述目标候选框的位置和所手势的类别，调整与所述智能车相连的摄像头，包括：
根据所述手势的目标候选框的位置，确定所述目标候选框的中心与所述待处理图像的中心之间的第一距离；
根据所述第一距离的负相关值，调整所述摄像头的图像采集焦点与所述待处理图像的中心之间的距离，以使调整后的摄像头采集到的待处理图像中包含手势。
在上述方法中，所述根据所述目标候选框的位置和所述手势的类别，调整与所述智能车相连的摄像头，包括：
根据所述手势的类别和所述手势的方向，确定所述智能车的当前运动方向；其中，所述手势的类别和所述手势的方向与所述智能车的运动方向一一对应；
根据所述当前运动方向和预设的对应关系表，调整所述摄像头的采集方向，以使调整后的摄像头采集到的待处理图像中包含手势；其中，所述预设的对应关系表包括所述当前运动方向和所述采集方向的对应关系。
在上述方法中，在所述根据所述手势的类别和所述手势的方向，确定所述智能车的当前运动方向之后，所述方法还包括：
确定所述目标候选框的尺寸与预设候选框的尺寸的比例；
根据所述比例，分别对所述第一距离和所述当前运动方向进行更新；
根据更新的第一距离的负相关值，调整所述摄像头的焦点与所述待处理图像的中心的距离；
根据更新的当前运动方向和所述预设的对应关系表，调整所述摄像头的采集方向，以使调整后的摄像头采集到的待处理图像中包含手势。
在上述方法中，所述根据所述比例，分别对所述第一距离和所述当前运动方向进行更新，包括：
根据所述比例，确定所述第一距离和所述当前运动方向分别对应的第一权值和第二权值；
根据所述第一权值对所述第一距离进行更新，得到更新的第一距离；
根据所述第二权值对所述当前运动方向进行更新，得到更新的当前运动方向。
在上述方法中，在所述根据所述更新的当前运动方向和所述预设的对应关系表，调整所述摄像头的采集方向之后，所述方法还包括：
确定当调整采集方向之后所述摄像头的预采集图像；
确定第二距离，所述第二距离为所述预采集图像中目标候选框的中心与所述预采集的图像中心之间的距离，所述目标候选框中包含手势；
根据所述第二距离调整所述摄像头的采集方向，以使所述目标候选框处于所述预采集图像的中心区域，使得调整后的摄像头采集到的待处理图像中包含手势。
本申请实施例提供一种智能车运动控制装置，所述装置包括：
第一获取模块，用于获取待处理图像；
第一识别模块，用于对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息；
第一控制模块，用于根据所述姿态信息，控制智能车的运动状态。
在上述装置中，所述装置还包括：第一预处理模块，用于对所述待处理图像进行预处理；
所述第一预处理模块包括：
第一处理子模块，用于对所述待处理图像的尺寸进行归一化处理，得到满足预设尺寸的归一化图像；
第一转换子模块，用于将所述归一化图像转换为灰度图像；
第一正则子模块，用于对所述灰度图像的像素进行限制，得到像素均值为零的正则图像。
在上述装置中，所述第一识别模块，包括：
第一识别子模块，用于基于手势识别神经网络对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息。
在上述装置中，所述第一识别子模块，包括：
第一检测单元，用于将所述待处理图像输入至所述手势识别神经网络，检测到目标候选框；
第一分类单元，用于通过所述手势识别网络中对所述目标候选框进行分类，以确定所述目标候选框中的手势、所述手势的方向以及所述手势的类别；
第一确定单元，用于根据所述目标候选框的位置确定所述手势的位置信息；
第二确定单元，用于根据所述手势的位置信息、所述手势的方向以及所述手势的类别确定所述待处理图像中手势的姿态信息。
在上述装置中，所述目标候选框的位置，包括：
在所述待处理图像的中心为原点的情况下，将所述目标候选框的两个对角在所述待处理图像中的坐标作为所述目标候选框的位置。
在上述装置中，所述第一控制模块，包括：
第一控制子模块，用于根据接收到的所述姿态信息获取所述手势对应的指令，并根据所述指令控制所述智能车的运动状态。
在上述装置中，所述装置还包括：
第一调整模块，用于根据所述目标候选框的位置和所手势的类别，调整与所述智能车相连的摄像头，以使采集到的待处理图像中包含手势。
在上述装置中，所述第一调整模块，包括：
第一确定子模块，用于根据所述手势的目标候选框的位置，确定所述目标候选框的中心与所述待处理图像的中心之间的第一距离；
第一调整子模块，用于根据所述第一距离的负相关值，调整所述摄像头的图像采集焦点与所述待处理图像的中心之间的距离，以使调整后的摄像头采集到的待处理图像中包含手势。
在上述装置中，所述第一调整模块，包括：
第二确定子模块，用于根据所述手势的类别和所述手势的方向，确定所述智能车的当前运动方向；其中，所述手势的类别和所述手势的方向与所述智能车的运动方向一一对应；
第二调整子模块，用于根据所述当前运动方向和预设的对应关系表，调整所述摄像头的采集方向，以使调整后的摄像头采集到的待处理图像中包含手势；其中，所述预设的对应关系表包括所述当前运动方向和所述采集方向的对应关系。
在上述装置中，所述装置还包括：
第一确定模块，用于确定所述目标候选框的尺寸与预设候选框的尺寸的比例；
第一更新模块，用于根据所述比例，分别对所述第一距离和所述当前运动方向进行更新；
第二调整模块，用于根据更新的第一距离的负相关值，调整所述摄像头的焦点与所述待处理图像的中心的距离；
第三调整模块，用于根据所述更新的当前运动方向和所述预设的对应关系表，调整所述摄像头的采集方向，以使调整后的摄像头采集到的待处理图像中包含手势。
在上述装置中，所述第一更新模块，包括：
第三确定子模块，用于根据所述比例，确定所述第一距离和所述当前运动方向分别对应的第一权值和第二权值；
第一更新子模块，用于根据所述第一权值对所述第一距离进行更新，得到更新的第一距离；
第二更新子模块，用于根据所述第二权值对所述当前运动方向进行更新，得到更新的当前运动方向。
在上述装置中，所述装置还包括：
第二确定模块，用于确定当调整采集方向之后所述摄像头的预采集图像；
第三确定模块，用于确定第二距离，所述第二距离为所述预采集图像中目标候选框的中心与所述预采集的图像中心之间的距离，所述目标候选框中包含手势；
第四调整模块，用于根据所述第二距离调整所述摄像头的采集方向，以使所述目标候选框处于所述预采集图像的中心区域，使得调整后的摄像头采集到的待处理图像中包含手势。
对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的智能车运动控制方法中的步骤。
本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现本申请实施例提供的智能车运动控制方法中的步骤。
本申请实施例提供一种智能车运动控制方法及装置、设备和存储介质，通过对待处理的图像进行特征提取，从而能够有效地对图像中的手势进行识别，进而能够准确的利用手势对智能车的状态进行控制，即提高了待处理图像中对手势的识别准确度，还保证了基于手势对智能车状态进行控制的精准度。
附图说明
图1为本申请实施例智能车运动控制方法的实现流程示意图；
图2A为本申请实施例智能车运动控制方法的又一实现流程示意图；
图2B为本申请实施例智能车运动控制方法的又一实现流程示意图；
图3为本申请实施例智能车运动控制方法的实现流程示意图；
图4为本申请实施例图像预处理过程的实现流程示意图；
图5为本申请实施例识别预处理后的图像的实现流程示意图；
图6为本申请实施例手势类别的场景示意图；
图7为本申请实施例封装状态信息的结构示意图；
图8为本申请实施例调整智能车采集方向的实现流程示意图；
图9为本申请实施例智能车运动控制装置的组成结构示意图；
图10为本申请实施例计算机设备的组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
本申请实施例先提供一种控制智能车运动的应用系统，该系统包括智能车、树莓派、摄像头和智能教育机器人，其中，树莓派和摄像头可以是集成于智能车上，还可以是独立于智能车，智能教育机器人如EV3等。在本申请实施例中，首先，树莓派对摄像头采集的图像进行手势分类，并定位手势所在区域；然后，树莓派将分类结果发送至智能教育机器人；智能教育机器人根据手势的分类结果获得控制指令，并根据控制指令控制智能车的运动。
本申请实施例提供一种智能车运动控制方法，图1为本申请实施例智能车运动控制方法的实现流程示意图，结合如图1所示方法进行说明。
步骤S101，获取待处理图像。
在一些实施例中，所述步骤S101可以是利用智能车连接的采集装置(比如，摄像头)采集待处理图像，还可以是在智能车中安装树莓派，利用树莓派控制采集装置进行图像采集，还可以是接收其他设备发送的待处理图像；所述待处理图像中可能包含手势也可能不包含手势。所述待处理图像可以是，采集到的视频序列中的一帧图像。
步骤S102，对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息。
在一些实施例中，将待处理图像输入到神经网络中，通过该神经网络对待处理图像进行特征提取，得到图像特征。手势的姿态信息包括：手势的位置信息、手势的方向和手势所属的类别。首先，基于图像特征，确定包含手势的概率大于一定概率阈值的目标候选框，并确定该候选框在待处理图像中的第一坐标，将该第一坐标作为手势的位置信息；然后，将目标候选框输入到分类网络中，以确定该目标候选框中是否包含手势；如果目标候选框中包含手势，确定该手势所属的类别。
步骤S103，根据所述姿态信息，控制智能车的运动状态。
在一些实施例中，所述智能车可以是智能玩具车、各样功能的车辆、各种轮数的车辆等或机器人等。发送与所述姿态信息对应的指令到智能车，以调整所述智能车的运动状态。所述智能车的运动状态包括：静止、转向、后退或直行等等；所述步骤S103可以这样实现：发送与手势所属的类别对应的指令到该智能车的控制器，以控制该智能车的运动方向；还可以是，树莓派根据姿态信息，生成控制指令，控制该智能车的运动方向。所述控制器可以是智能车内部的控制器，也可以是独立于所述智能车，且用于控制所述智能车运动方向的乐高第三代智能机器人(EV3)。
在本申请实施例中，基于神经网络对待处理的图像进行特征提取，精确地得到图像特征，从而确定手势的类别，根据手势的类别确定控制指令进而有效地控制智能车的运动方向。
本申请实施例提供一种智能车运动控制方法，图2A为本申请实施例智能车运动控制方法的又一实现流程示意图，结合如图2A所示方法进行说明：
步骤S201，获取待处理图像。
步骤S202，对所述待处理图像的尺寸进行归一化处理，得到满足预设尺寸的归一化图像。
在一些实施例中，如果待处理图像是一段视频序列中的多帧图像，需要根据该视频序列的帧率将该视频序列分解为多张图像。然后，对于多张图像中的每一张图像的尺寸进行归一化，使得这多张图像的尺寸一致，从而保证了将待处理图像输入神经网络后，输出的特征图是一致的。
步骤S203，将所述归一化图像转换为灰度图像。
在一些实施例中，将归一化图像的彩色特征忽略掉，从而将归一化图像转换为灰度图像。
步骤S204，对所述灰度图像的像素进行限制，得到像素均值为零的正则图像。
在一些实施例中，对灰度图像的像素进行去中心化，即让图像中每个位置的像素均值为0，使得像素值范围变为[-128，127]，以0为中心。因为当每个位置的像素的正负数量“差不多”时，那么梯度的变化方向就会不确定，这样就能加速了权重的收敛。
上述步骤S202至步骤S204给出了一种对待处理图像进行预处理的实现方式，在该方式中，首先，将待处理图像进行归一化处理，然后进行色彩转换，最后对该图像进行正则化处理，得到像素均值为0的正则图像，从而有利于续的特征提取和对手势的分类。
步骤S205，将所述待处理图像输入至所述手势识别神经网络，检测到目标候选框。
在一些实施例中，首先，将待处理图像输入到神经网络，进行特征提取；然后，基于提取的图像特征，确定包含手势的概率大于预设概率阈值的目标候选框。
步骤S206，通过所述手势识别网络中对所述目标候选框进行分类，以确定所述目标候选框中的手势、所述手势的方向以及所述手势的类别。
在一些其他的实现方式中，确定手势所属的类别和方向，还可以是，从预设的手势类别库中查找与所述目标候选框中的图像特征的相似度大于预设相似度阈值的目标手势，将所述目标手势所属的类别和方向确定为所述手势所属的类别和方向；如图6(c)所示，手势方向向上，且手势类别为竖起大拇指。
步骤S207，根据所述目标候选框的位置确定所述手势的位置信息。
在一些实施例中，响应于目标候选框中包含手势，基于该目标候选框确定手势的位置信息。比如，在所述待处理图像的中心为原点的情况下，将所述目标候选框的两个对角在所述待处理图像中的坐标作为所述目标候选框的位置。在一些具体的例子中，可以是将目标候选框的左上角和右下角在所述待处理图像中的坐标确定为目标候选框的坐标，进而确定手势的位置信息。响应于所述待处理图像中不包含手势，采用预设的标识字段对所述待识别图像进行标识，这样避免对于不包含手势的图像进行重复的识别，浪费资源。
步骤S208，根据所述手势的位置信息、所述手势的方向以及所述手势的类别确定所述待处理图像中手势的姿态信息。
在上述步骤S205和步骤S208中给出了一种“确定手势的姿态信息”的实现方式，在该方式中，姿态信息包括手势的位置信息、手势的类别和方向，而且通过神经网络确定位置信息和手势的种类，从而能够更加精确的识别出手势所属的类别，进而有效的控制智能车的运动。
步骤S209，根据所述目标候选框的位置和所手势的类别，调整与所述智能车相连的摄像头，以使采集到的待处理图像中包含手势。
在一些实施例中，所述调整智能车的采集方式可以是，通过调整智能车中采集装置的支撑部件的运动方向，以改变采集装置的采集方向，比如，调整支撑采集装置的云台的运动方向。
所述步骤S209可以通过以下过程实现，首先，根据所述手势的目标候选框的位置，确定所述目标候选框的中心与所述待处理图像的中心之间的第一距离。然后，根据所述第一距离的负相关值，调整所述摄像头的图像采集焦点与所述待处理图像的中心之间的距离，以使调整后的摄像头采集到的待处理图像中包含手势。比如，根据所述目标候选框的位置，调整智能车的焦距到待处理图像的中心的偏差，以使智能车采集到的待处理图像中手势居于中心。这样，调整智能车的图像采集焦点之后，使得智能车采集的待处理图像中包含手势。然后，根据所述手势的类别和所述手势的方向，确定所述智能车的当前运动方向；其中，所述手势的类别和方向与智能车的运动方向一一对应；并根据所述当前运动方向和预设的对应关系表，调整所述智能车连接的摄像头的采集方向；其中，所述预设的对应关系表包括所述当前运动方向和所述采集方向的对应关系。这样，即使智能车是实时运动的，那么仍然能够保证摄像头采集的待处理图像中包含手势，且手势居于中间位置。
步骤S210，根据所述姿态信息，控制智能车的运动状态。
在本申请实施例中，采用神经网络对待处理图像进行分析，精确的识别出手势的类别，而且通过实时调整摄像头的采集方向，从而保证了智能车采集到的待处理图像中手势处于中间位置，进而明显提升检测效果，有效的控制智能车的运动状态。
本申请实施例提供一种智能车运动控制方法，图2B为本申请实施例智能车运动控制方法的又一实现流程示意图，结合如图2B所示方法进行说明：
步骤S211，获取待处理图像。
步骤S212，基于手势识别神经网络对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息。
在一些实施例中，手势的姿态信息包括手势的类别和方向。
步骤S213，在所述待处理图像的中心为原点的情况下，将所述目标候选框的两个对角在所述待处理图像中的坐标作为所述目标候选框的位置。
在一些实施例中，由于目标候选框中包含手势，所以目标候选框的位置确定之后，手势的位置信息也就确定了。
步骤S214，根据所述手势的目标候选框的位置，确定所述目标候选框的中心与所述待处理图像的中心之间的第一距离。
在一些实施例中，根据目标候选框的左上角和右下角的坐标，可确定目标候选框的中心的坐标，基于该目标候选框的中心的坐标确定该目标候选框的中心的与待处理图像的中心之间的距离，即第一距离。
步骤S215，根据所述手势的类别和所述手势的方向，确定所述智能车的当前运动方向。
在一些实施例中，所述手势的类别与智能车的运动方向一一对应，如表2所示，比如，手势为胜利(Victory)手势，且手势方向为向上，对应的，智能车的运动方向为直行。
步骤S216，确定所述目标候选框的尺寸与预设候选框的尺寸的比例。
在一些实施例中，用户可自定义预设候选框的尺寸，可通过神经网络对目标候选框的边缘进行检测，以确定目标候选框的尺寸，然后确定目标候选框的尺寸与预设候选框的尺寸的比例。
步骤S217，根据所述比例，分别对所述第一距离和所述当前运动方向进行更新。
在一些实施例中，所述步骤S217可以通过以下过程实现：首先，根据所述比例，确定所述第一距离和所述当前运动方向分别对应的第一权值和第二权值；在一些具体的例子中，首先，确定所述比例对应的预设比例区间，基于该比例落入的预设比例区间和用于表明比例区间和权值的对应关系的映射表(如表1所示)，确定所述第一距离和所述当前运动方向分别对应的第一权值和第二权值；由于对第一距离决定了目标候选框的中心是否处于待处理图像的中心，所以可以将第一权值设置为固定值，比如设置为1；对于第二权值，当比例增大时，相应地增大第二权值，如表1所示，比如，目标候选框的尺寸与预设候选框的尺寸的比例小于0.8，那么第一距离对应的第一权值为1，当前运动方向对应的第二权值为0.5；目标候选框的尺寸与预设候选框的尺寸的比例大于0.8小于1.2，，当前运动方向对应的第二权值为0.6；然后，根据所述第一权值对所述第一距离进行更新，得到更新的第一距离；比如，用第一权值与第一距离相乘，得到更新的第一距离；最后，根据所述第二权值对所述当前运动方向进行更新，得到更新的当前运动方向；比如，智能车中通过采集装置对待处理图像进行采集，用第二权值左右当前运动速度的大小，从而控制智能车的采集装置的运动速度，实现对采集装置的采集方向的调整。
步骤S218，根据更新的第一距离的负相关值，调整所述摄像头的焦点与所述待处理图像的中心的距离。
在一些实施例中，调整所述智能车的图像采集焦点与所述待处理图像的中心的距离，以与更新的第一距离负相关。基于更新的第一距离，以非线性负相关的方式，调整智能车的焦点与所述待处理图像的中心的距离；如果更新的第一距离较大，说明目标候选框的中心偏离待处理图像的中心，即智能车的焦点偏离待处理图像的中心，这样的情况下，调整所述智能车的焦点到所述待处理图像的中心之间的距离，以与所述第一距离呈非线性负相关。
步骤S219，根据更新的当前运动方向和所述预设的对应关系表，调整所述摄像头的采集方向，以使调整后的摄像头采集到的待处理图像中包含手势。
在一些实施例中，所述预设的对应关系表用于表明所述当前运动方向和所述采集方向的对应关系；即每一运动方向对应一个摄像头的采集方向；所述步骤S219可以理解为，首先，在预设的对应关系表中，查找与该更新的当前运动方向相同的目标运动方向，该目标运动方向在预设的对应关系表中摄像头的采集方向的调整方式；然后，利用该调整方式对摄像头的采集方式进行调整。比如，当前运动方向为前进时，减小摄像头竖直方向上升量。当前运动方向后退时，增大摄像头竖直方向上升量；从而可以灵活调整采集装置位置，更好捕捉包含手势的图像。
上述步骤S216至步骤S219给出了一种实现“根据所述目标候选框的位置和所述手势所属的类别和方向，调整与所述智能车相连的摄像头”的方式，在该方式中，通过确定预设候选框和目标候选框的比例，从而确定对摄像头的采集方向进行调整的两个参数(即第一距离和智能车的当前运动方向)的权重值，并对这两个参数进行更新，进而能够实时的调整智能车的采集装置的采集方向。
步骤S220，确定当调整采集方向之后所述摄像头的预采集图像。
在一些实施例中，对智能车连接的摄像头的采集方向进行调整之后，可能预采集的图像中手势仍然没有处于图像的中心，这种情况下，需要将预采集的图像中手势与图像的中心之间的差距作为反馈结果，从而基于该反馈结果继续对摄像头的采集方向进行调整。比如，执行步骤S219之前，目标候选框的中心与所述待处理图像的中心之间的第一距离为10毫米，执行步骤S219之后，预采集的图像中手势与图像的中心之间的差距为3毫米，那么将差距3毫米作为二次反馈，告知控制器，仍然需要对涉嫌头的采集方向进行调整。
步骤S221，确定第二距离。
在一些实施例中，所述第二距离为所述预采集图像中目标候选框的中心与所述预采集的图像中心之间的距离，所述目标候选框中包含手势。
步骤S222，根据所述第二距离调整所述摄像头的采集方向，以使所述目标候选框处于所述预采集图像的中心区域，使得调整后的摄像头采集到的待处理图像中包含手势。
步骤S223，采用调整后的摄像头采集新的待处理图像。
步骤S224，对所述新的待处理图像进行手势识别，得到所述新的待处理图像中手势的姿态信息。
步骤S225，根据所述新的待处理图像中手势的姿态信息，控制智能车的运动状态。
在一些实施例中，基于第二次反馈的预采集的图像中的手势的目标候选框的中心与预采集的图像中心之间差距，继续调整摄像头的采集方向，以保证手势的目标候选框的中心处于预采集的图像的中心区域，从而使得采集到的待处理图像中手势居于图像中心，有利于提高手势识别的准确度。
在本申请实施例中，在基于位置信息、手势的类别和方向对摄像头的采集方向进行调整之后，如果手势的目标候选框仍然未处于待处理图像的中心，那么将二者之间的差距作为二次反馈，基于该二次反馈，继续对摄像头的采集方向进行调整，以保证手势居于待处理图像的中心位置，从而能够更加准确的利用手势控制智能车的运动。
本申请实施例提供一种手势识别方法，图3为本申请实施例智能车运动控制方法的实现流程示意图，结合如图3所示方法进行说明：
步骤S301，树莓派通过采集装置采集图像，并进行预处理和识别。
在一些实施例中，树莓派对采集图像进行的预处理过程，包括：首先，对所述待处理图像的尺寸进行归一化处理，得到满足预设尺寸的归一化图像；然后，将所述归一化图像转换为灰度图像；最后，对所述灰度图像的像素进行限制，得到像素均值为零的正则图像。树莓派可以理解为是智能车中的控制器，用于采集待处理图像，并对待处理图像进行预处理和图像识别。为了可以采集得到效果更好图像，搭建采集装置云台，可以自由调整采集装置位置，得到更好的手势图像。同时，为了保证送入到网络模型中图像的一致性，需要首先对采集得到图像进行预处理，预处理流程如4所示，图像预处理流程包括以下四个步骤：
步骤S401，根据采集到的视频帧率，将该视频分解为与所述视频帧率相匹配数量的图像，得到图像集合。
例如，首先进行视频分解时，需要考虑原始视频数据帧率，根据视频的帧率决定分解图像的数量。比如，帧率为30，即一秒的视频中有30张图像，那么将这一秒的视频分解为30张图像。
步骤S402，对图像集合中的每一图像的尺寸进行归一化处理，得到尺寸一致的图像集合。
这样，将图像集合中图像的大小归一化，保证了输入神经网络中图像的特征图的一致性。
步骤S403，将每一图像的色彩转换为灰度，得到灰度图像。
比如，忽略每一图像的色彩特征，从而将彩色图像装换为灰度图像。
步骤S404，对得到的每一灰度图像进行正则化处理，得到像素均值为0的正则图像。
这样，对每一灰度图像进行正则化处理，保证了图像的零均值特性，加速了权重的收敛。
在一些实施例中，在树莓派侧，手势分类通过深度神经网络模型实现，网络输入是经过预处理后的图像，输出结果包括两部分，手势所在位置区域和手势具体种类。本申请实施例中手势识别集成了手势跟踪功能，手势分类的总体过程主要分为三阶段：手势检测、手势跟踪和手势识别。
第一阶段：手势检测是手势识别系统的第一个过程，通过判断存在手势目标后，对图像进行跟踪和识别等。在相关技术中基于图像中颜色、轮廓和运动的信息等判断手势是否存在，但是这种方式容易收到光照等因素影响，差异性较大。基于此本申请实施例采用神经网络方式来自动提取图像特征，然后完成手势分类，过程如图5所示，包括以下步骤：
步骤S501，获取进行预处理后的图像。
步骤S502，采用神经网络，生成手势的目标候选框。
在一些实施例中，神经网络首先提取预处理后的图像特征，基于该图像特征搭建分类器网络，然后，针对每一个候选框进行分类，判断该候选框中是否存在手势。
步骤S503，判断目标候选框中是否存在手势。
在一些实施例中，如果目标候选框中存在手势，进入步骤S504；如果目标候选框中不存在手势，则进入步骤S505。
步骤S504，对目标候选框中的手势进行跟踪，并确定手势的类别。
第二阶段：手势跟踪是手势识别系统的第二个过程，在一些实施例中，在本申请实施例的视频流视频序列中，由于采集到的图像集合中手势的连续性，并不需要对每一帧图像均进行处理和分析，只要抽帧对图像进行分析，在所选图像中检测手势，并确定手势的位置信息，这样提取手势的轨迹，强化了连续帧图像之间联系，实现了准确性和实时性的折衷，而且能够实现鲁棒性跟踪。
第三阶段：手势识别是手势识别系统的第三个过程，该过程下主要实现对手势位置、姿势和手势动作表达信息的描述，本申请实施例对上述过程提取得到的特征进行检测跟踪，处理跟踪轨迹信息。但是由于背景变化复杂性，通过实时调整采集装置云台位置，保证采集手势图像效果最佳。
步骤S302，基于深度学习实现手势分类，并定位手势所在区域。
步骤S303，通过串口方式将检测结果发送至EV3。
在一些实施例中，通过深度神经网络对手势进行分类之后，首先，将手势类别、目标候选框的左上角坐标和右下角坐标，利用十个字节空间进行存储。在存在多个目标候选框的情况下，依次存放该多个目标候选框；在待处理图像中不存在手势的情况下，用255作为标志进行标识。然后，再根据自定义的通信协议规范，将状态信息封装到的数据字段中，封装数据包格式如图7所示，在状态信息601两侧分别封装模式标志位602和CRC校验位603；接着封装作为报文头部的可选字段604、重传阈值605和控制字段606该协议数据包兼容TCP/IP协议。封装数据结束后，通过串口完成数据发送，发送中需要定义数据包的字节长度、停止位和波特率等参数。
步骤S304，根据手势位置坐标，EV3调整采集装置云台位置，保证手势位于图像中心。
在一些实施例中，EV3接收并解析从树莓派侧发送的数据包，从数据包数据字段得到手势种类信息和手势位置。然后根据手势位置信息，利用自适应反馈的方式，整合当前智能车的运动状态和手势位置信息，灵活调整云台位置，保证采集到的图像效果最佳，该调整流程如图8所示，包括以下步骤：
步骤S701，根据手势的位置信息，确定候选框的中心与待处理图像的中心之间的第一距离。
在一些实施例中，将第一距离作为云台调整的参数标准。
步骤S702，根据手势所属的类别，判断智能车当时的运动方向。
步骤S703，根据智能车当时的运动方向和第一距离，对云台的运动方向进行一级调整。
在一些实施例中，将智能车当时的运动方向和第一距离作为对云台的运动方向进行一级调整的参数；利用模糊逻辑整合运动方向调整和手势调整，作为云台一级调整指标。例如，运动方向前进时，减小云台竖直方向上升量。运动方向后退时，增大云台竖直方向上升量。
确定目标候选框的尺寸与参考候选框的尺寸的比例，基于该比例对运动方向和第一距离进行更新，基于更新的运动方向和第一距离，对云台的运动方向进行调整。
设定参考手势目标框大小，根据目标候选框大小与参考目标框的比例，设定权重大小，调整运动方向和第一距离的大小，具体参数见表1。
步骤S704，将一级调整后的采集装置的预采集图像中的候选框中心与待处理图像的中心之间的距离，作为反馈指标。
在一些实施例中，对云台进行一级调整后，能够减小候选框的中心与待处理图像的中心之间的第一距离，但是候选框的中心与待处理图像的中心之间仍然有差距，将这一差距作为第二距离，进行二次反馈，从而能够基于该差距，对云台的运动方向继续调整，以继续调整采集装置的采集方向。
步骤S705，基于二级反馈指标，对云台的运动方向继续调整，以使采集到的图像中手势处于中心位置。
在本申请实施例中，重复上述过程，即可实现云台自适应调整过程。
针对于分解视频序列，通过以下步骤调整云台位置，保证采集装置始终采集的得到手势位置。考虑到由于车体处于实时运动中，所以需要将当时运动方向作为调整参数。
表1坐标调整及方向调整参数表
步骤S305，EV3手势名称，并根据手势完成相应指令。
EV3可以通过手势种类完成相应运动，包括直行、后退、直角左转、直角右转、弧形左转、弧形右转和停止，共计7种运动模式。具体手势种类和运动模式对应关系如表2所示。乐高智能车采用差速转向机制，在直角转弯时通过单一轮胎旋转实现，弧形转弯时通过控制左右两轮不同的转速和旋转角度实现，由于转弯的角度和速度固定，所以弧形旋转轨迹固定。
表2手势类别及运动模式对应表
在本申请实施例中，为了实现最佳检测效果，搭建采集装置云台，并设定云台旋转角度和区域，保证云台工作稳定性，而且设计调整采集装置角度自适应算法，该算法配合云台一起使用，根据手势位置实时调整云台，可以明显提升检测效果，将深度学习技术应用到无线遥控领域，可以使用在大多数遥控设备和嵌入式设备中，兼容性强，迁移成本低。
本申请实施例提供一种智能车运动控制装置，图9为本申请实施例智能车运动控制装置的组成结构示意图，如图9所示，所述装置900包括：
第一获取模块901，用于获取待处理图像；
第一识别模块902，用于对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息；
第一控制模块903，用于根据所述姿态信息，控制智能车的运动状态。
在上述装置中，所述装置还包括：第一预处理模块，用于对所述待处理图像进行预处理；
所述第一预处理模块包括：
第一处理子模块，用于对所述待处理图像的尺寸进行归一化处理，得到满足预设尺寸的归一化图像；
第一转换子模块，用于将所述归一化图像转换为灰度图像；
第一正则子模块，用于对所述灰度图像的像素进行限制，得到像素均值为零的正则图像。
在上述装置中，所述第一识别模块902，包括：
第一识别子模块，用于基于手势识别神经网络对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息。
在上述装置中，所述第一识别子模块，包括：
第一检测单元，用于将所述待处理图像输入至所述手势识别神经网络，检测到目标候选框；
第一分类单元，用于通过所述手势识别网络中对所述目标候选框进行分类，以确定所述目标候选框中的手势、所述手势的方向以及所述手势的类别；
第一确定单元，用于根据所述目标候选框的位置确定所述手势的位置信息；
第二确定单元，用于根据所述手势的位置信息、所述手势的方向以及所述手势的类别确定所述待处理图像中手势的姿态信息。
在上述装置中，所述目标候选框的位置，包括：
在所述待处理图像的中心为原点的情况下，将所述目标候选框的两个对角在所述待处理图像中的坐标作为所述目标候选框的位置。
在上述装置中，所述第一控制模块903，包括：
第一控制子模块，用于根据接收到的所述姿态信息获取所述手势对应的指令，并根据所述指令控制所述智能车的运动状态。
在上述装置中，所述装置还包括：
第一调整模块，用于根据所述目标候选框的位置和所手势的类别，调整与所述智能车相连的摄像头，以使采集到的待处理图像中包含手势。
在上述装置中，所述第一调整模块，包括：
第一确定子模块，用于根据所述手势的目标候选框的位置，确定所述目标候选框的中心与所述待处理图像的中心之间的第一距离；
第一调整子模块，用于根据所述第一距离的负相关值，调整所述摄像头的图像采集焦点与所述待处理图像的中心之间的距离，以使调整后的摄像头采集到的待处理图像中包含手势。
在上述装置中，所述第一调整模块，包括：
第二确定子模块，用于根据所述手势的类别和所述手势的方向，确定所述智能车的当前运动方向；其中，所述手势的类别和所述手势的方向与所述智能车的运动方向一一对应；
第二调整子模块，用于根据所述当前运动方向和预设的对应关系表，调整所述摄像头的采集方向，以使调整后的摄像头采集到的待处理图像中包含手势；其中，所述预设的对应关系表包括所述当前运动方向和所述采集方向的对应关系。
在上述装置中，所述装置还包括：
第一确定模块，用于确定所述目标候选框的尺寸与预设候选框的尺寸的比例；
第一更新模块，用于根据所述比例，分别对所述第一距离和所述当前运动方向进行更新；
第二调整模块，用于根据更新的第一距离的负相关值，调整所述摄像头的焦点与所述待处理图像的中心的距离；
第三调整模块，用于根据所述更新的当前运动方向和所述预设的对应关系表，调整所述摄像头的采集方向，以使调整后的摄像头采集到的待处理图像中包含手势。
在上述装置中，所述第一更新模块，包括：
第三确定子模块，用于根据所述比例，确定所述第一距离和所述当前运动方向分别对应的第一权值和第二权值；
第一更新子模块，用于根据所述第一权值对所述第一距离进行更新，得到更新的第一距离；
第二更新子模块，用于根据所述第二权值对所述当前运动方向进行更新，得到更新的当前运动方向。
在上述装置中，所述装置还包括：
第二确定模块，用于确定当调整采集方向之后所述摄像头的预采集图像；
第三确定模块，用于确定第二距离，所述第二距离为所述预采集图像中目标候选框的中心与所述预采集的图像中心之间的距离，所述目标候选框中包含手势；
第四调整模块，用于根据所述第二距离调整所述摄像头的采集方向，以使所述目标候选框处于所述预采集图像的中心区域，使得调整后的摄像头采集到的待处理图像中包含手势。
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的智能车运动控制方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台即时通讯设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的智能车运动控制方法中的步骤。
相应地，本申请实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的智能车运动控制方法的步骤。
相应地，本申请实施例提供一种计算机设备，图10为本申请实施例计算机设备的组成结构示意图，如图10所示，所述设备1000包括：一个处理器1001、至少一个通信总线1002、用户接口1003、至少一个外部通信接口1004和存储器1005。其中，通信总线1002配置为实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏，外部通信接口1004可以包括标准的有线接口和无线接口。其中所述处理器1001，配置为执行存储器中存储的图像处理程序，以实现上述实施例提供的智能车运动控制方法的步骤。
以上即时计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请即时通讯设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种智能车运动控制方法，其特征在于，所述方法包括：
获取待处理图像；
对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息；
根据所述姿态信息，控制智能车的运动状态。
2.根据权利要求1中所述的方法，其特征在于，在对所述待处理图像进行特征提取之前，所述方法还包括：对所述待处理图像进行预处理；
所述对待处理图像进行预处理包括：
对所述待处理图像的尺寸进行归一化处理，得到满足预设尺寸的归一化图像；
将所述归一化图像转换为灰度图像；
对所述灰度图像的像素进行限制，得到像素均值为零的正则图像。
3.根据权利要求1中所述的方法，其特征在于，所述对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息，包括：
基于手势识别神经网络对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息。
4.根据权利要求3中所述的方法，其特征在于，所述基于手势识别神经网络对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息，包括：
将所述待处理图像输入至所述手势识别神经网络，检测到目标候选框；
通过所述手势识别网络中对所述目标候选框进行分类，以确定所述目标候选框中的手势、所述手势的方向以及所述手势的类别；
根据所述目标候选框的位置确定所述手势的位置信息；
根据所述手势的位置信息、所述手势的方向以及所述手势的类别确定所述待处理图像中手势的姿态信息。
5.根据权利要求4中所述的方法，其特征在于，所述目标候选框的位置，包括：
在所述待处理图像的中心为原点的情况下，将所述目标候选框的两个对角在所述待处理图像中的坐标作为所述目标候选框的位置。
6.根据权利要求1中所述的方法，其特征在于，所述根据所述姿态信息，控制智能车的运动状态，包括：
根据接收到的所述姿态信息获取所述手势对应的指令，并根据所述指令控制所述智能车的运动状态。
7.根据权利要求1至6任一项中所述的方法，其特征在于，在所述根据所述姿态信息，控制智能车的运动状态之前，所述方法还包括：
根据所述目标候选框的位置和所手势的类别，调整与所述智能车相连的摄像头，以使采集到的待处理图像中包含手势。
8.一种智能车运动控制装置，其特征在于，所述装置包括：
第一获取模块，用于获取待处理图像；
第一识别模块，用于对所述待处理图像进行手势识别，得到所述待处理图像中手势的姿态信息；
第一控制模块，用于根据所述姿态信息，控制智能车的运动状态。
9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，所述计算机可执行指令被执行后，能够实现权利要求1至7任一项所述的方法。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至7任一项所述的方法。
CN201910533908.1A 2019-06-19 2019-06-19 智能车运动控制方法及装置、设备和存储介质 Active CN110276292B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910533908.1A CN110276292B (zh) 2019-06-19 2019-06-19 智能车运动控制方法及装置、设备和存储介质
JP2021526765A JP2022507635A (ja) 2019-06-19 2020-05-25 インテリジェント車両の運動制御方法および装置、機器並びに記憶媒体
KR1020217014612A KR20210076962A (ko) 2019-06-19 2020-05-25 스마트카 모션 제어 방법 및 장치, 기기 및 저장 매체
SG11202106683YA SG11202106683YA (en) 2019-06-19 2020-05-25 Intelligent vehicle motion control method and apparatus, device and storage medium
PCT/CN2020/092161 WO2020253475A1 (zh) 2019-06-19 2020-05-25 智能车运动控制方法及装置、设备和存储介质
TW109120374A TWI759767B (zh) 2019-06-19 2020-06-17 智慧車運動控制方法、設備和儲存介質
US17/351,445 US20210311469A1 (en) 2019-06-19 2021-06-18 Intelligent vehicle motion control method and apparatus, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910533908.1A CN110276292B (zh) 2019-06-19 2019-06-19 智能车运动控制方法及装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110276292A true CN110276292A (zh) 2019-09-24
CN110276292B CN110276292B (zh) 2021-09-10

Family

ID=67961399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910533908.1A Active CN110276292B (zh) 2019-06-19 2019-06-19 智能车运动控制方法及装置、设备和存储介质

Country Status (7)

Country Link
US (1) US20210311469A1 (zh)
JP (1) JP2022507635A (zh)
KR (1) KR20210076962A (zh)
CN (1) CN110276292B (zh)
SG (1) SG11202106683YA (zh)
TW (1) TWI759767B (zh)
WO (1) WO2020253475A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253475A1 (zh) * 2019-06-19 2020-12-24 上海商汤智能科技有限公司 智能车运动控制方法及装置、设备和存储介质
WO2021130549A1 (en) * 2019-12-23 2021-07-01 Sensetime International Pte. Ltd. Target tracking method and apparatus, electronic device, and storage medium
WO2021130548A1 (en) * 2019-12-23 2021-07-01 Sensetime International Pte. Ltd. Gesture recognition method and apparatus, electronic device, and storage medium
WO2023040080A1 (zh) * 2021-09-15 2023-03-23 湖南星邦智能装备股份有限公司 一种剪叉式高空作业平台及其控制系统及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128339A (zh) * 2021-03-15 2021-07-16 同济大学 一种基于行为识别的智能车辆运行控制系统和方法
CN117857911A (zh) * 2022-09-30 2024-04-09 北京小米移动软件有限公司 拍摄方法、装置、电子设备及存储介质
CN118097793B (zh) * 2024-04-18 2024-07-02 广州炫视智能科技有限公司 一种自适应界面手势操作控制系统及其控制方法
CN118553022B (zh) * 2024-07-29 2024-10-22 杭州锐见智行科技有限公司 一种车辆内手势识别方法、手势控制方法及系统

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102216957A (zh) * 2008-10-09 2011-10-12 埃西斯创新有限公司 图像中对象的视觉跟踪以及图像分割
CN102339379A (zh) * 2011-04-28 2012-02-01 重庆邮电大学 手势识别方法及基于手势识别控制的智能轮椅人机系统
CN103376890A (zh) * 2012-04-16 2013-10-30 富士通株式会社 基于视觉的手势遥控系统
CN103488294A (zh) * 2013-09-12 2014-01-01 华南理工大学 一种基于用户交互习惯的非接触手势控制映射调整方法
CN104298354A (zh) * 2014-10-11 2015-01-21 河海大学 一种人机交互的手势识别方法
US20150181209A1 (en) * 2013-12-23 2015-06-25 James M. Holland Modular motion estimation and mode decision engine
CN105358085A (zh) * 2013-03-15 2016-02-24 特拉科手术公司 工具承载的追踪系统以及计算机辅助手术方法
CN105550655A (zh) * 2015-12-16 2016-05-04 Tcl集团股份有限公司 一种手势图像获取设备及其手势图像获取方法
CN105643590A (zh) * 2016-03-31 2016-06-08 河北工业大学 一种手势控制的轮式移动机器人及其操作方法
CN205594506U (zh) * 2016-04-12 2016-09-21 精效新软新技术（北京）有限公司 一种智能工作系统中的人机交互装置
CN105989365A (zh) * 2015-01-30 2016-10-05 深圳市思路飞扬信息技术有限责任公司 助视装置、助视系统及助视方法
CN106331438A (zh) * 2015-06-24 2017-01-11 小米科技有限责任公司 镜头对焦方法、装置及移动设备
CN106686429A (zh) * 2015-11-06 2017-05-17 天津三星电子有限公司 一种智能电视手势检测方法及系统
CN107688779A (zh) * 2017-08-18 2018-02-13 北京航空航天大学 一种基于rgbd摄像头深度图像的机器人手势交互方法和装置
CN108197580A (zh) * 2018-01-09 2018-06-22 吉林大学 一种基于3d卷积神经网络的手势识别方法
CN108229277A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 手势识别、控制及神经网络训练方法、装置及电子设备
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质
CN108563995A (zh) * 2018-03-15 2018-09-21 西安理工大学 基于深度学习的人机协作系统手势识别控制方法
CN208084321U (zh) * 2017-12-29 2018-11-13 同方威视技术股份有限公司 跟随式机器人
JP2018206073A (ja) * 2017-06-05 2018-12-27 株式会社東海理化電機製作所 遠隔操作システム
CN109117742A (zh) * 2018-07-20 2019-01-01 百度在线网络技术（北京）有限公司 手势检测模型处理方法、装置、设备及存储介质
CN109613930A (zh) * 2018-12-21 2019-04-12 中国科学院自动化研究所南京人工智能芯片创新研究院 无人飞行器的控制方法、装置、无人飞行器及存储介质
CN109618131A (zh) * 2018-11-22 2019-04-12 亮风台（上海）信息科技有限公司 一种用于呈现决策辅助信息的方法与设备
CN109849016A (zh) * 2019-03-28 2019-06-07 合肥工业大学 一种具有行走和搬运功能的家用服务机器人

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606411B2 (en) * 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system
WO2009155465A1 (en) * 2008-06-18 2009-12-23 Oblong Industries, Inc. Gesture-based control system for vehicle interfaces
DE102008052928A1 (de) * 2008-10-23 2010-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts
CN103365404B (zh) * 2012-04-01 2016-07-06 联想(北京)有限公司 一种人机交互的方法和装置
JP6155786B2 (ja) * 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
EP3090382B1 (en) * 2014-01-05 2023-08-30 ManoMotion AB Real-time 3d gesture recognition and tracking system for mobile devices
CN103903011A (zh) * 2014-04-02 2014-07-02 重庆邮电大学 基于图像深度信息的智能轮椅手势识别控制方法
KR20160036242A (ko) * 2014-09-25 2016-04-04 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
CN105357442A (zh) * 2015-11-27 2016-02-24 小米科技有限责任公司 摄像头拍摄角度调整方法及装置
CN107885317A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
CN107741781A (zh) * 2017-09-01 2018-02-27 中国科学院深圳先进技术研究院 无人机的飞行控制方法、装置、无人机及存储介质
CN109697407A (zh) * 2018-11-13 2019-04-30 北京物灵智能科技有限公司 一种图像处理方法及装置
CN110276292B (zh) * 2019-06-19 2021-09-10 上海商汤智能科技有限公司 智能车运动控制方法及装置、设备和存储介质

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102216957A (zh) * 2008-10-09 2011-10-12 埃西斯创新有限公司 图像中对象的视觉跟踪以及图像分割
CN102339379A (zh) * 2011-04-28 2012-02-01 重庆邮电大学 手势识别方法及基于手势识别控制的智能轮椅人机系统
CN103376890A (zh) * 2012-04-16 2013-10-30 富士通株式会社 基于视觉的手势遥控系统
CN105358085A (zh) * 2013-03-15 2016-02-24 特拉科手术公司 工具承载的追踪系统以及计算机辅助手术方法
CN103488294A (zh) * 2013-09-12 2014-01-01 华南理工大学 一种基于用户交互习惯的非接触手势控制映射调整方法
US20150181209A1 (en) * 2013-12-23 2015-06-25 James M. Holland Modular motion estimation and mode decision engine
CN104298354A (zh) * 2014-10-11 2015-01-21 河海大学 一种人机交互的手势识别方法
CN105989365A (zh) * 2015-01-30 2016-10-05 深圳市思路飞扬信息技术有限责任公司 助视装置、助视系统及助视方法
CN106331438A (zh) * 2015-06-24 2017-01-11 小米科技有限责任公司 镜头对焦方法、装置及移动设备
CN106686429A (zh) * 2015-11-06 2017-05-17 天津三星电子有限公司 一种智能电视手势检测方法及系统
CN105550655A (zh) * 2015-12-16 2016-05-04 Tcl集团股份有限公司 一种手势图像获取设备及其手势图像获取方法
CN105643590A (zh) * 2016-03-31 2016-06-08 河北工业大学 一种手势控制的轮式移动机器人及其操作方法
CN205594506U (zh) * 2016-04-12 2016-09-21 精效新软新技术（北京）有限公司 一种智能工作系统中的人机交互装置
CN108229277A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 手势识别、控制及神经网络训练方法、装置及电子设备
JP2018206073A (ja) * 2017-06-05 2018-12-27 株式会社東海理化電機製作所 遠隔操作システム
CN107688779A (zh) * 2017-08-18 2018-02-13 北京航空航天大学 一种基于rgbd摄像头深度图像的机器人手势交互方法和装置
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质
CN208084321U (zh) * 2017-12-29 2018-11-13 同方威视技术股份有限公司 跟随式机器人
CN108197580A (zh) * 2018-01-09 2018-06-22 吉林大学 一种基于3d卷积神经网络的手势识别方法
CN108563995A (zh) * 2018-03-15 2018-09-21 西安理工大学 基于深度学习的人机协作系统手势识别控制方法
CN109117742A (zh) * 2018-07-20 2019-01-01 百度在线网络技术（北京）有限公司 手势检测模型处理方法、装置、设备及存储介质
CN109618131A (zh) * 2018-11-22 2019-04-12 亮风台（上海）信息科技有限公司 一种用于呈现决策辅助信息的方法与设备
CN109613930A (zh) * 2018-12-21 2019-04-12 中国科学院自动化研究所南京人工智能芯片创新研究院 无人飞行器的控制方法、装置、无人飞行器及存储介质
CN109849016A (zh) * 2019-03-28 2019-06-07 合肥工业大学 一种具有行走和搬运功能的家用服务机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONG CHENG等: "Image-to-Class Dynamic Time Warping for 3D hand gesture recognition", 《2013 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO(ICME)》 *
张毅等: "一种改进的 TLD 动态手势跟踪算法", 《机器人ROBOT》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253475A1 (zh) * 2019-06-19 2020-12-24 上海商汤智能科技有限公司 智能车运动控制方法及装置、设备和存储介质
WO2021130549A1 (en) * 2019-12-23 2021-07-01 Sensetime International Pte. Ltd. Target tracking method and apparatus, electronic device, and storage medium
WO2021130548A1 (en) * 2019-12-23 2021-07-01 Sensetime International Pte. Ltd. Gesture recognition method and apparatus, electronic device, and storage medium
US11244154B2 (en) 2019-12-23 2022-02-08 Sensetime International Pte. Ltd. Target hand tracking method and apparatus, electronic device, and storage medium
US11307668B2 (en) 2019-12-23 2022-04-19 Sensetime International Pte. Ltd. Gesture recognition method and apparatus, electronic device, and storage medium
WO2023040080A1 (zh) * 2021-09-15 2023-03-23 湖南星邦智能装备股份有限公司 一种剪叉式高空作业平台及其控制系统及方法

Also Published As

Publication number Publication date
KR20210076962A (ko) 2021-06-24
CN110276292B (zh) 2021-09-10
US20210311469A1 (en) 2021-10-07
SG11202106683YA (en) 2021-07-29
JP2022507635A (ja) 2022-01-18
TWI759767B (zh) 2022-04-01
TW202101168A (zh) 2021-01-01
WO2020253475A1 (zh) 2020-12-24

Similar Documents

Publication Publication Date Title
CN110276292A (zh) 智能车运动控制方法及装置、设备和存储介质
Rao et al. Deep convolutional neural networks for sign language recognition
Mariappan et al. Real-time recognition of Indian sign language
Natarajan et al. Hand gesture controlled drones: An open source library
Bilal et al. Hidden Markov model for human to computer interaction: a study on human hand gesture recognition
Sajanraj et al. Indian sign language numeral recognition using region of interest convolutional neural network
Yasir et al. Two-handed hand gesture recognition for Bangla sign language using LDA and ANN
Misra et al. Development of a hierarchical dynamic keyboard character recognition system using trajectory features and scale-invariant holistic modeling of characters
Jebali et al. Vision-based continuous sign language recognition using multimodal sensor fusion
CN111125403B (zh) 一种基于人工智能的辅助设计绘图方法及系统
CN106874825A (zh) 人脸检测的训练方法、检测方法和装置
Ravi et al. Sign language recognition with multi feature fusion and ANN classifier
Zahedi et al. Appearance-based recognition of words in american sign language
Jiang et al. independent hand gesture recognition with Kinect
Hachaj et al. Real-time recognition of selected karate techniques using GDL approach
Naidoo et al. Vision-based static hand gesture recognition using support vector machines
Yang et al. Extracting gestural motion trajectories
Sultana et al. Vision based gesture recognition for alphabetical hand gestures using the SVM classifier
Harshitha et al. HCI using hand gesture recognition for digital sand model
Burger et al. Cued speech hand gestures recognition tool
Oikonomopoulos et al. Kernel-based recognition of human actions using spatiotemporal salient points
Gangrade et al. Real time sign language recognition using depth sensor
Hikawa et al. Study on gesture recognition system using posture classifier and Jordan recurrent neural network
Mocialov et al. Classification of phonological parameters in sign languages
Prasad et al. Fuzzy classifier for continuous sign language recognition from tracking and shape features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant