Nothing Special   »   [go: up one dir, main page]

CN114245102A - 车载摄像头抖动识别方法、装置及计算机可读存储介质 - Google Patents

车载摄像头抖动识别方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN114245102A
CN114245102A CN202111424049.6A CN202111424049A CN114245102A CN 114245102 A CN114245102 A CN 114245102A CN 202111424049 A CN202111424049 A CN 202111424049A CN 114245102 A CN114245102 A CN 114245102A
Authority
CN
China
Prior art keywords
vehicle
frame
image frame
motion
current image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111424049.6A
Other languages
English (en)
Inventor
罗小平
童文超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Original Assignee
Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Longhorn Automotive Electronic Equipment Co Ltd filed Critical Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Priority to CN202111424049.6A priority Critical patent/CN114245102A/zh
Publication of CN114245102A publication Critical patent/CN114245102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种车载摄像头抖动识别方法、装置及计算机可读存储介质，所述方法包括从车载摄像头拍摄的原始视频影像中获取实时的图像帧，采用预先训练好的语义分割模型对图像帧实现对机动车周围地面的检测，再对语义分割结果进行俯视投影和对地面运动的尺度实现归一化而生成俯视投影图；基于机动车轮速脉冲和机动车转向角计算当前图像帧的运动矩阵初始值，再基于地面的重投影误差最小化优化，计算当前图像帧的精确运动矩阵；基于精确运动矩阵生成当前图像帧的运动补偿图像帧；计算当前图像帧与运动补偿图像帧的帧差信息熵；结合帧差信息熵和帧差信息熵自适应阈值判断车载摄像头当前的抖动状态。本实施例能准确识别出车载摄像头的抖动。

Description

车载摄像头抖动识别方法、装置及计算机可读存储介质
技术领域
本发明实施例涉及车载图像处理技术领域，尤其涉及一种车载摄像头抖动识别方法、装置及计算机可读存储介质。
背景技术
目前，当机动车行驶过程中发生颠簸时，经常会引起车载摄像头的抖动，而车载摄像图的抖动幅度过大时会造成其拍摄的图像鲁棒性差、精确度降低，甚至造成依托于车载摄像头拍摄的视频影像进行工作的导航系统、定位系统等报错，因此，在机动车行驶过程中，对车载摄像头抖动检测和识别尤为重要。
现有的一种摄像头抖动识别方法主要基于特征点匹配模型或者光流算法模型计算摄像头所拍摄的视频场景的运动矢量，进一步通过评价运动矢量的幅度和相位确定摄像头的抖动幅度。
但是，上述摄像头抖动识别方法通常仅适用于摄像头相对固定的应用场景(例如：安防监控场景)，当上述方法应用在车载摄像头的抖动检测时，检测过程中对图像的弱纹理背景的检测效果较差，无法准确计算出车载摄像头所拍摄的运动视频场景的运动矢量，最终导致车载摄像头的抖动识别失败。
发明内容
本发明实施例要解决的技术问题在于，提供一种车载摄像头抖动识别方法，能准确识别出车载摄像头的抖动。
本发明实施例进一步要解决的技术问题在于，提供一种车载摄像头抖动识别装置，能准确识别出车载摄像头的抖动。
本发明实施例进一步要解决的技术问题在于，提供一种计算机可读存储介质，以存储能准确识别出车载摄像头的抖动的计算机程序。
为了解决上述技术问题，本发明实施例提供以下技术方案：一种车载摄像头抖动识别方法，包括以下步骤：
从车载摄像头拍摄的原始视频影像中获取实时的图像帧，采用预先训练好的语义分割模型对所述图像帧实现对机动车周围地面的检测，再对语义分割结果进行俯视投影和对地面运动的尺度实现归一化而生成俯视投影图；
基于机动车轮速脉冲和机动车转向角计算当前图像帧的运动矩阵初始值，再基于地面的重投影误差最小化优化，计算当前图像帧的精确运动矩阵；
基于所述精确运动矩阵生成当前图像帧的运动补偿图像帧；
计算当前图像帧与所述运动补偿图像帧的帧差信息熵；以及
结合所述帧差信息熵和预设的帧差信息熵自适应阈值判断车载摄像头当前的抖动状态。
进一步的，对语义分割结果进行俯视投影和对地面运动的尺度实现归一化而生成俯视投影图后，还从俯视投影图中截取预定尺寸的地面感兴趣区域，所述运动补偿图像帧为与当前图像帧的地面感兴趣区域对应的补偿区域，所述帧差信息熵为所述运动补偿图像帧的补偿区域与当前图像帧的地面感兴趣区域的帧差信息熵。
进一步的，所述计算当前图像帧与所述运动补偿图像帧的帧差信息熵具体包括：
计算当前图像帧的地面感兴趣区域与所述补偿区域的帧差；以及
基于所述帧差计算所述当前图像帧的地面感兴趣区域与所述补偿区域的帧差信息熵H1。
进一步的，所述结合所述帧差信息熵和预设的帧差信息熵自适应阈值判断车载摄像头当前的抖动状态具体包括：
计算当前图像帧的地面感兴趣区域的信息熵H2；
计算车载摄像头当前的抖动幅度H0＝|H1-H2|/H2；以及
比较所述抖动幅度H0与所述帧差信息熵自适应阈值，当所述抖动幅度H0大于所述帧差信息熵自适应阈值时判定车载摄像头当前存在抖动。
进一步的，所述基于机动车轮速脉冲和机动车转向角计算当前图像帧的运动矩阵初始值具体包括：
基于机动车轮速脉冲和机动车转向角计算在帧差时长内机动车的三维运动参数；以及
结合所述三维运动参数和所述车载摄像头的标定参数计算获得当前图像帧的运动矩阵初始值。
进一步的，所述基于地面的重投影误差最小化优化，计算当前图像帧的精确运动矩阵具体包括：
基于所述运动矩阵初始值计算当前图像帧的前一帧的地面感兴趣区域在当前图像帧中的投影误差；
基于所述投影误差和非线性优化原理计算出当前图像帧的最佳帧间运动矢量；
根据所述原始视频影像中最新预定帧数的图像帧的最佳帧间运动矢量基于机动车运动的平滑假设和多项式拟合原理预测当前图像帧的精确运动矢量；以及
基于当前图像帧的精确运动矢量生成当前图像帧的精确运动矩阵。
进一步的，所述根据所述原始视频影像中最新预定帧数的图像帧的最佳帧间运动矢量基于机动车运动的平滑假设和多项式拟合原理预测当前图像帧的精确运动矩阵具体包括：比较所述原始视频影像中的图像帧的总帧数N与预定帧数T；
当所述总帧数N小于预定帧数T时，采用所述原始视频影像中每一帧图像帧的最佳帧间运动矢量并基于机动车运动的平滑假设和多项式拟合原理预测获得当前图像帧的精确运动矢量；以及
当所述总帧数N大于或等于预定帧数T时，采用所述原始视频影像中最新的T帧图像帧的最佳帧间运动矢量并基于机动车运动的平滑假设和多项式拟合原理预测获得当前图像帧的精确运动矢量。
进一步的，所述基于所述精确运动矩阵生成当前图像帧的运动补偿图像帧具体包括：基于所述精确运动矩阵计算补偿区域中与当前图像帧的地面感兴趣区域的像素点坐标对应的补偿像素点坐标；以及
根据所述补偿像素点坐标和当前图像帧的地面感兴趣区域的像素尺寸进行计算获得所述补偿区域。
另一方面，为了解决进一步的上述技术问题，本发明实施例提供以下技术方案：一种车载摄像头抖动识别装置，分别与用于拍摄机动车周围视频影像并提供原始视频影像的车载摄像头、用于检测机动车的运动状态并提供机动车轮速脉冲和机动车转向角的机动车运动传感器以及用于在所述车载摄像头存在抖动时对抖动进行处理的抖动处理装置相连，所述车载摄像头抖动识别装置包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述的车载摄像头抖动识别方法。
再一方面，为了解决进一步的上述技术问题，本发明实施例提供以下技术方案：一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述所述的车载摄像头抖动识别方法。
采用上述技术方案后，本发明实施例至少具有如下有益效果：本发明实施例通过从由车载摄像头采集和提供的原始视频影像中逐帧提取出图像帧后，对图像帧依次进行语义分割、俯视投影最终获得俯视投影图，进一步基于机动车轮速脉冲和机动车转向角计算当前图像帧的运动矩阵初始值，并结合地面约束的重投影误差最小化优化，计算出当前图像帧的精确运动矩阵，可实现快速鲁棒的车身运动估计；通过计算当前图像帧与所述运动补偿图像帧的帧差信息熵，最后结合所述帧差信息熵和预设的帧差信息熵自适应阈值判断车载摄像头当前的抖动状态，无需计算图像的特征角点，克服了弱纹理无特征显著角点的影响，而且采用信息熵的自适应阈值充分适配车载摄像头动态多变的成像背景，能准确识别车载摄像头的抖动。
附图说明
图1为本发明车载摄像头抖动识别方法一个可选实施例的步骤流程图。
图2为本发明车载摄像头抖动识别方法一个可选实施例的语义分割结果的实际示意图。
图3为本发明车载摄像头抖动识别方法一个可选实施例的俯视投影图。
图4为本发明车载摄像头抖动识别方法一个可选实施例步骤S4具体的流程图。
图5为本发明车载摄像头抖动识别方法一个可选实施例步骤S5具体的流程图。
图6为本发明车载摄像头抖动识别方法一个可选实施例计算当前图像帧的运动矩阵初始值具体的流程图。
图7为本发明车载摄像头抖动识别方法一个可选实施例计算当前图像帧的精确运动矩阵具体的流程图。
图8为本发明车载摄像头抖动识别方法一个可选实施例步骤S25具体的流程图。
图9为本发明车载摄像头抖动识别方法一个可选实施例步骤S3具体的流程图。
图10为本发明车载摄像头抖动识别装置一个可选实施例原理框图。
图11为本发明车载摄像头抖动识别装置一个可选实施例功能模块图。
具体实施方式
下面结合附图和具体实施例对本申请作进一步详细说明。应当理解，以下的示意性实施例及说明仅用来解释本发明，并不作为对本发明的限定，而且，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
如图1所示，本发明一个可选实施例提供一种车载摄像头抖动识别方法，包括以下步骤：
S1：从车载摄像头1拍摄的原始视频影像中获取实时的图像帧，采用预先训练好的语义分割模型对所述图像帧实现对机动车周围地面的检测，再对语义分割结果(如图2所示)进行俯视投影和对地面运动的尺度实现归一化而生成俯视投影图(如图3所示)；
S2：基于机动车轮速脉冲和机动车转向角计算当前图像帧的运动矩阵初始值，再基于地面的重投影误差最小化优化，计算当前图像帧的精确运动矩阵；
S3：基于所述精确运动矩阵生成当前图像帧的运动补偿图像帧；
S4：计算当前图像帧与所述运动补偿图像帧的帧差信息熵；以及
S5：结合所述帧差信息熵和预设的帧差信息熵自适应阈值判断车载摄像头1当前的抖动状态。
本发明实施例通过从由车载摄像头1采集和提供的原始视频影像中逐帧提取出图像帧后，对图像帧依次进行语义分割、俯视投影最终获得俯视投影图，进一步基于机动车轮速脉冲和机动车转向角计算当前图像帧的运动矩阵初始值，并结合地面约束的重投影误差最小化优化，计算出当前图像帧的精确运动矩阵，可实现快速鲁棒的车身运动估计；通过计算当前图像帧与所述运动补偿图像帧的帧差信息熵，最后结合所述帧差信息熵和预设的帧差信息熵自适应阈值判断车载摄像头当前的抖动状态，无需计算图像的特征角点，克服了弱纹理无特征显著角点的影响，而且采用信息熵的自适应阈值充分适配车载摄像头1动态多变的成像背景，能准确识别车载摄像头1的抖动。
在本发明一个可选实施例中，对语义分割结果进行俯视投影和对地面运动的尺度实现归一化而生成俯视投影图后，还从俯视投影图中截取预定尺寸的地面感兴趣区域，所述运动补偿图像帧为与当前图像帧的地面感兴趣区域对应的补偿区域，所述帧差信息熵为所述运动补偿图像帧的补偿区域与当前图像帧的地面感兴趣区域的帧差信息熵。本实施例中，还通过从俯视投影图中截取预定尺寸的地面感兴趣区域，无需对整张俯视投影图进行后续的图像计算和处理，能有效的提高数据的处理效率。在具体实施时，由于机动车在不断运动，原始视频影像中的图像帧对应的地面的俯视投影图随时存在变化，因此，其中的地面感兴趣区域，可根据图像帧中的地面区域进行实际识别和调整。
在本发明再一个可选实施例中，如图4所示，所述步骤S4具体包括：
S41：计算当前图像帧的地面感兴趣区域与所述补偿区域的帧差；以及
S42：基于所述帧差计算所述当前图像帧的地面感兴趣区域与所述补偿区域的帧差信息熵H1。
本实施例中，通过先计算当前图像帧的地面感兴趣区域与所述补偿区域的帧差，然后在根据帧差计算帧差信息熵H1，计算过程相对简单，有效提高数据处理效率。
在本发明又一个可选实施例中，如图5所示，所述步骤S5具体包括：
S51：计算当前图像帧的地面感兴趣区域的信息熵H2；
S52：计算车载摄像头1当前的抖动幅度H0＝|H1-H2|/H2；以及
S53：比较所述抖动幅度H0与所述帧差信息熵自适应阈值，当所述抖动幅度H0大于所述帧差信息熵自适应阈值时判定车载摄像头1当前存在抖动。
本实施例中，通过再计算当前图像帧的地面感兴趣区域的信息熵H2，通过将当前图像帧的地面感兴趣区域与所述补偿区域的帧差信息熵H1与当前图像帧的地面感兴趣区域的信息熵H2的差值再与前图像帧的地面感兴趣区域的信息熵H2的比值作为车载摄像头1当前的抖动幅度H0，并与帧差信息熵自适应阈值进行比较，能准确的判断出车载摄像头1当前是否存在抖动。
在本发明另一个可选实施例中，如图6所示，所述基于机动车轮速脉冲和机动车转向角计算当前图像帧的运动矩阵初始值具体包括：
S21：基于机动车轮速脉冲和机动车转向角计算在帧差时长内机动车的三维运动参数；以及
S22：结合所述三维运动参数和所述车载摄像头1的标定参数计算获得当前图像帧的运动矩阵初始值。
本实施例中，通过先采用机动车轮速脉冲和机动车转向角计算在帧差时长内机动车的三维运动参数，然后再根据三维运动参数和所述车载摄像头的标定参数计算获得当前图像帧的运动矩阵初始值，计算过程简单，数据处理效率高。
在本发明再一个可选实施例中，如图7所示，所述基于地面的重投影误差最小化优化，计算当前图像帧的精确运动矩阵具体包括：
S23：基于所述运动矩阵初始值计算当前图像帧的前一帧的地面感兴趣区域在当前图像帧中的投影误差；
S24：基于所述投影误差和非线性优化原理计算出当前图像帧的最佳帧间运动矢量；
S25：根据所述原始视频影像中最新预定帧数的图像帧的最佳帧间运动矢量基于机动车运动的平滑假设和多项式拟合原理预测当前图像帧的精确运动矢量；以及
S26：基于当前图像帧的精确运动矢量生成当前图像帧的精确运动矩阵。
本实施例中，首先通过根据运动矩阵初始值计算当前图像帧的前一帧的地面感兴趣区域在当前图像帧中的投影误差，然后结合投影误差和非线性优化原理即可计算出当前图像帧的最佳帧间运动矢量，由于仅通过两帧图像帧计算出的运动矢量的误差较大，因此，通过采用最新预定帧数的图像帧的最佳帧间运动矢量基于机动车运动的平滑假设和多项式拟合原理预测当前图像帧的精确运动矢量，从而降低误差，提高运动矢量的精确度，最后根据精确运动矢量生成当前图像帧的精确运动矩阵，可以有效的提高运动矩阵的计算精确度。
在本发明又一个可选实施例中，如图8所示，所述步骤S25具体包括：
S251：比较所述原始视频影像中的图像帧的总帧数N与预定帧数T；
S252：当所述总帧数N小于预定帧数T时，采用所述原始视频影像中每一帧图像帧的最佳帧间运动矢量并基于机动车运动的平滑假设和多项式拟合原理预测获得当前图像帧的精确运动矢量；以及
S253：当所述总帧数N大于或等于预定帧数T时，采用所述原始视频影像中最新的T帧图像帧的最佳帧间运动矢量并基于机动车运动的平滑假设和多项式拟合原理预测获得当前图像帧的精确运动矢量。
本实施例中，由于原始视频影像为相应的视频流数据，因此，当原始视频影像中的图像帧的总帧数N相对较少而不满足预定帧数T时，则将原始视频影像中的图像帧所有的最佳帧间运动矢量均作为预测的原始数据集，进行预测当前图像帧的目标帧间运动矢量；而当原始视频影像在逐渐累积过程中总帧数N大于或等于预定帧数T时，则采用所述原始视频影像中最新的T帧图像帧的最佳帧间运动矢量作为原始数据集，进行预测当前图像帧的目标帧间运动矢量，可提高数据处理效率，也保证预测的精确度；另外，采用基于车身运动的平滑假设和多项式拟合原理进行预测，经过具体实验测得，预测的效率相对较高，准确度也更高。例如：当所述原始视频影像中的图像帧的总帧数N＝3时，而预定帧数T＝4，此时N小于T，此时则将采用所述原始视频影像中每一帧(第2～3帧)图像帧的最佳帧间运动矢量，其中，可以理解的是，由于原始视频影像中的第1帧为初始帧，不存在最佳帧间运动矢量，故默认不采用；当所述原始视频影像中的图像帧的总帧数N＝7时，此时N大于T，此时则将所述原始视频影像中的最新的4帧(第4～7帧)图像帧的最佳帧间运动矢量。
在本发明另一个可选实施例中，如图9所示，所述步骤S3具体包括：
S31：基于所述精确运动矩阵计算补偿区域中与当前图像帧的地面感兴趣区域的像素点坐标对应的补偿像素点坐标；以及
S32：根据所述补偿像素点坐标和当前图像帧的地面感兴趣区域的像素尺寸进行计算获得所述补偿区域。
本实施例中，首先根据精确运动矩阵计算出补偿区域中与当前图像帧的地面感兴趣区域的像素点坐标对应的补偿像素点坐标，实现坐标点的一一对应，然后根据补偿像素点坐标和当前图像帧的地面感兴趣区域的像素尺寸进行点对点的一一运动补偿，从而可快速的获得补偿区域。
在具体实施时，所述语义分割模型为基于深度学习的语义分割模型。本实施例中，语义分割模型采用基于深度学习，经过大量的模板图像进行学习训练生成，进行实际语义分割时，语义分割效果好，有利于提高抖动判断的准确度。在具体实施时，可以采用基于U-net网络为核心的语义分割神经网络，其具体学习训练过程在此不详细赘述。
在具体实施时，在步骤S21中，可以理解的是，依据机动车轮速脉冲和机动车转向角可以获得机动车的水平位移u0、垂直位移v0和旋转角度θ0。
在步骤S22中，依据前述机动车的三维运动参数，基于预先标定的车载摄像头1的内外参数，获得空间坐标与图像坐标的转换关系T，依据转换关系T即可将机动车的水平位移u0、垂直位移v0和旋转角度θ0从物理空间转换到图像空间，即可获得以下转换公式：
(u0camera,v0camera,θ0camera)＝T(u0,v0,θ0) (公式1)；
由上述公式(1)可获得所述当前图像帧的运动矩阵初始值M表示为：
Figure BDA0003377602950000081
在步骤S23中，依据公式(2)计算当前图像帧的前一帧的地面感兴趣区域在当前图像帧的投影误差Sdif表示为：
Figure BDA0003377602950000082
其中，
Figure BDA0003377602950000083
i和j表示当前图像帧的前一帧的地面感兴趣区域的各个像素点坐标，i′和j′表示图像帧中根据运动矩阵初始值M计算出的与前一帧的地面感兴趣区域相对应区域的各个像素点坐标，m和n表示当前图像帧的前一帧的地面感兴趣区域的长度和宽度尺寸，
Figure BDA0003377602950000084
表示当前图像帧的前一帧的地面感兴趣区域。
在步骤S24中，结合上述运动矩阵初始值M和投影误差Sdif并基于非线性优化原理估计计算出当前图像帧的最佳帧间运动矢量，其具体可以表示为：
min(Sdif(ucamera,vcamera,θcamera))＝Sdif(uobj,vobj,θobj)公式(4)。
在步骤S25中，根据原始视频影像中的总帧数N与预定帧数T的大小关系，判定用于确定当前图像帧的精确运动矢量所采用数据集，基于机动车运动的平滑假设和多项式拟合原理从而可以将当前图像帧的精确运动矢量表示：(u_iobj,v_iobj,θ_iobj)，其中，i的取值依次为采用的帧数。
在步骤S26中，基于当前图像帧的精确运动矢量生成当前图像帧的精确运动矩阵M_cur，其具体表示为：
Figure BDA0003377602950000085
在步骤S3中，计算出当前图像帧的精确运动矩阵M_cur后，即可通过精确运动矩阵M_cur求解出当前图像帧中的地面感兴趣区域I_roi_pre(其尺寸为m0*n0)相对应的补偿区域I_roi_obj，具体求解过程包括：通过当前图像帧的地面感兴趣区域的像素点参考坐标为(i，j)，求解补偿区域I_roi_obj的像素点坐标(i′，j′)，求解公式为：
Figure BDA0003377602950000091
I_roi_obj(i,j)＝I_semantic_brid_cur(i′,j′) (公式7)；
其中，I_semantic_brid_cur表示当前图像帧对应的俯视投影图；最后依次令i等于1～m0，令j等于1～n0，双重循环即可求解获得补偿区域I_roi_obj。
在步骤S41中，当前图像帧的地面感兴趣区域I_roi_pre与所述补偿区域I_roi_obj的帧差Idif表示为：
Idif＝|I_roi_obj-I_roi_pre| (公式8)。
在步骤S42中，当前图像帧的地面感兴趣区域I_roi_pre与所述补偿区域I_roi_obj的帧差信息熵H1表示为：
Figure BDA0003377602950000092
其中，p(i,j)_dif为目标帧差I_dif在像素点坐标(i，j)处的灰度出现概率。
在步骤S51中，当前图像帧的地面感兴趣区域I_roi_pre的信息熵H2可以表示为：
Figure BDA0003377602950000093
其中，p(i,j)为当前图像帧的前一帧中的地面感兴趣区域I_roi_pre在像素点坐标(i，j)处的灰度出现概率。
在步骤S52中，车载摄像头1当前的抖动幅度H0即可表示为H0＝|H2-H1|/H1。
最后，在步骤S53中，通过比较抖动幅度H0与帧差信息熵自适应阈值的大小关系，即可确定车载摄像头1是否存在抖动，其中，帧差信息熵自适应阈值为归一化的阈值，其取值范围在0～1之间。
另一方面，如图9所示，本发明实施例提供一种车载摄像头抖动识别装置3，分别与用于拍摄机动车周围视频影像并提供原始视频影像的车载摄像头1、用于检测机动车的运动状态并提供机动车轮速脉冲和机动车转向角的机动车运动传感器5以及用于在所述车载摄像头1存在抖动时对抖动进行处理的抖动处理装置7相连，所述车载摄像头抖动识别装置3包括处理器30、存储器32以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例所述的车载摄像头抖动识别方法。在具体实施时，可以理解的是，所述机动车运动传感器5可以由机动车轮速脉冲传感器和机动车电子助力转向系统的转向传感器组成。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器32中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述车载摄像头抖动识别装置3中的执行过程。例如，所述计算机程序可以被分割成图10所述的车载摄像头抖动识别装置3中的功能模块，其中，图像提取模块41、运动矩阵计算模块42、补偿帧生成模块43、信息熵计算模块44以及抖动判断模块45分别对应执行以上的步骤S1-步骤S5。
所述车载摄像头抖动识别装置3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述车载摄像头抖动识别装置3可包括，但不仅限于，处理器30、存储器32。本领域技术人员可以理解，所述示意图仅仅是车载摄像头抖动识别装置1的示例，并不构成对车载摄像头抖动识别装置3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车载摄像头抖动识别装置1还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器30是所述车载摄像头抖动识别装置3的控制中心，利用各种接口和线路连接整个车载摄像头抖动识别装置3的各个部分。
所述存储器32可用于存储所述计算机程序和/或模块，所述处理器30通过运行或执行存储在所述存储器32内的计算机程序和/或模块，以及调用存储在存储器32内的数据，实现所述车载摄像头抖动识别装置3的各种功能。所述存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图形识别功能、图形层叠功能等)等；存储数据区可存储根据识别装置的使用所创建的数据(比如图形数据等)等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明实施例所述的功能如果以软件功能模块或单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器30执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
再一方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述所述的车载摄像头抖动识别方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。

Claims (10)

1.一种车载摄像头抖动识别方法，其特征在于，所述方法包括以下步骤：
从车载摄像头拍摄的原始视频影像中获取实时的图像帧，采用预先训练好的语义分割模型对所述图像帧实现对机动车周围地面的检测，再对语义分割结果进行俯视投影和对地面运动的尺度实现归一化而生成俯视投影图；
基于机动车轮速脉冲和机动车转向角计算当前图像帧的运动矩阵初始值，再基于地面的重投影误差最小化优化，计算当前图像帧的精确运动矩阵；
基于所述精确运动矩阵生成当前图像帧的运动补偿图像帧；
计算当前图像帧与所述运动补偿图像帧的帧差信息熵；以及
结合所述帧差信息熵和预设的帧差信息熵自适应阈值判断车载摄像头当前的抖动状态。
2.如权利要求1所述的车载摄像头抖动识别方法，其特征在于，对语义分割结果进行俯视投影和对地面运动的尺度实现归一化而生成俯视投影图后，还从俯视投影图中截取预定尺寸的地面感兴趣区域，所述运动补偿图像帧为与当前图像帧的地面感兴趣区域对应的补偿区域，所述帧差信息熵为所述运动补偿图像帧的补偿区域与当前图像帧的地面感兴趣区域的帧差信息熵。
3.如权利要求2所述的车载摄像头抖动识别方法，其特征在于，所述计算当前图像帧与所述运动补偿图像帧的帧差信息熵具体包括：
计算当前图像帧的地面感兴趣区域与所述补偿区域的帧差；以及
基于所述帧差计算所述当前图像帧的地面感兴趣区域与所述补偿区域的帧差信息熵H1。
4.如权利要求3所述的车载摄像头抖动识别方法，其特征在于，所述结合所述帧差信息熵和预设的帧差信息熵自适应阈值判断车载摄像头当前的抖动状态具体包括：
计算当前图像帧的地面感兴趣区域的信息熵H2；
计算车载摄像头当前的抖动幅度H0＝|H1-H2|/H2；以及
比较所述抖动幅度H0与所述帧差信息熵自适应阈值，当所述抖动幅度H0大于所述帧差信息熵自适应阈值时判定车载摄像头当前存在抖动。
5.如权利要求1所述的车载摄像头抖动识别方法，其特征在于，所述基于机动车轮速脉冲和机动车转向角计算当前图像帧的运动矩阵初始值具体包括：
基于机动车轮速脉冲和机动车转向角计算在帧差时长内机动车的三维运动参数；以及
结合所述三维运动参数和所述车载摄像头的标定参数计算获得当前图像帧的运动矩阵初始值。
6.如权利要求2所述的车载摄像头抖动识别方法，其特征在于，所述基于地面的重投影误差最小化优化，计算当前图像帧的精确运动矩阵具体包括：
基于所述运动矩阵初始值计算当前图像帧的前一帧的地面感兴趣区域在当前图像帧中的投影误差；
基于所述投影误差和非线性优化原理计算出当前图像帧的最佳帧间运动矢量；
根据所述原始视频影像中最新预定帧数的图像帧的最佳帧间运动矢量基于机动车运动的平滑假设和多项式拟合原理预测当前图像帧的精确运动矢量；以及
基于当前图像帧的精确运动矢量生成当前图像帧的精确运动矩阵。
7.如权利要求6所述的车载摄像头抖动识别方法，其特征在于，所述根据所述原始视频影像中最新预定帧数的图像帧的最佳帧间运动矢量基于机动车运动的平滑假设和多项式拟合原理预测当前图像帧的精确运动矩阵具体包括：
比较所述原始视频影像中的图像帧的总帧数N与预定帧数T；
当所述总帧数N小于预定帧数T时，采用所述原始视频影像中每一帧图像帧的最佳帧间运动矢量并基于机动车运动的平滑假设和多项式拟合原理预测获得当前图像帧的精确运动矢量；以及
当所述总帧数N大于或等于预定帧数T时，采用所述原始视频影像中最新的T帧图像帧的最佳帧间运动矢量并基于机动车运动的平滑假设和多项式拟合原理预测获得当前图像帧的精确运动矢量。
8.如权利要求2所述的车载摄像头抖动识别方法，其特征在于，所述基于所述精确运动矩阵生成当前图像帧的运动补偿图像帧具体包括：
基于所述精确运动矩阵计算补偿区域中与当前图像帧的地面感兴趣区域的像素点坐标对应的补偿像素点坐标；以及
根据所述补偿像素点坐标和当前图像帧的地面感兴趣区域的像素尺寸进行计算获得所述补偿区域。
9.一种车载摄像头抖动识别装置，分别与用于拍摄机动车周围视频影像并提供原始视频影像的车载摄像头、用于检测机动车的运动状态并提供机动车轮速脉冲和机动车转向角的机动车运动传感器以及用于在所述车载摄像头存在抖动时对抖动进行处理的抖动处理装置相连，其特征在于，所述车载摄像头抖动识别装置包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的车载摄像头抖动识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至8中任意一项所述的车载摄像头抖动识别方法。
CN202111424049.6A 2021-11-26 2021-11-26 车载摄像头抖动识别方法、装置及计算机可读存储介质 Pending CN114245102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111424049.6A CN114245102A (zh) 2021-11-26 2021-11-26 车载摄像头抖动识别方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111424049.6A CN114245102A (zh) 2021-11-26 2021-11-26 车载摄像头抖动识别方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114245102A true CN114245102A (zh) 2022-03-25

Family

ID=80751456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111424049.6A Pending CN114245102A (zh) 2021-11-26 2021-11-26 车载摄像头抖动识别方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114245102A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055762A1 (zh) * 2022-09-14 2024-03-21 支付宝(杭州)信息技术有限公司 一种视频抖动检测方法、装置以及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014026608A (ja) * 2012-07-30 2014-02-06 Clarion Co Ltd 車載環境認識装置
CN108737726A (zh) * 2017-04-18 2018-11-02 佳能株式会社 图像处理设备和方法、摄像设备和计算机可读存储介质
CN111477013A (zh) * 2020-04-01 2020-07-31 清华大学苏州汽车研究院（吴江） 一种基于地图影像的车辆测量方法
CN113364983A (zh) * 2015-09-18 2021-09-07 索尼公司 图像处理设备、图像处理方法、程序和摄像系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014026608A (ja) * 2012-07-30 2014-02-06 Clarion Co Ltd 車載環境認識装置
CN113364983A (zh) * 2015-09-18 2021-09-07 索尼公司 图像处理设备、图像处理方法、程序和摄像系统
CN108737726A (zh) * 2017-04-18 2018-11-02 佳能株式会社 图像处理设备和方法、摄像设备和计算机可读存储介质
CN111477013A (zh) * 2020-04-01 2020-07-31 清华大学苏州汽车研究院（吴江） 一种基于地图影像的车辆测量方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055762A1 (zh) * 2022-09-14 2024-03-21 支付宝(杭州)信息技术有限公司 一种视频抖动检测方法、装置以及设备

Similar Documents

Publication Publication Date Title
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN109711304B (zh) 一种人脸特征点定位方法及装置
US20150279021A1 (en) Video object tracking in traffic monitoring
KR20180056685A (ko) 비 장애물 영역 검출을 위한 시스템 및 방법
JP7151488B2 (ja) 移動物体検出装置、移動物体検出方法及びプログラム
CN108876758B (zh) 人脸识别方法、装置及系统
CN113988112B (zh) 车道线的检测方法、装置、设备及存储介质
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
Wong et al. A smart moving vehicle detection system using motion vectors and generic line features
CN112966654B (zh) 唇动检测方法、装置、终端设备及计算机可读存储介质
CN114245102A (zh) 车载摄像头抖动识别方法、装置及计算机可读存储介质
CN116309719A (zh) 目标跟踪方法、装置、计算机设备和存储介质
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
KR101851492B1 (ko) 번호판 인식 방법 및 번호판 인식 장치
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
CN111126101B (zh) 关键点位置的确定方法、装置、电子设备和存储介质
CN117333686A (zh) 目标定位方法、装置、设备及介质
Satzoda et al. Vision-based front and rear surround understanding using embedded processors
CN112529943B (zh) 一种物体检测方法、物体检测装置及智能设备
CN115362481A (zh) 运动模糊鲁棒图像特征描述符
CN115210758A (zh) 运动模糊稳健的图像特征匹配
Akolkar et al. See before you see: Real-time high speed motion prediction using fast aperture-robust event-driven visual flow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination