CN118450224A - 一种cms加热摄像头模组及后视镜处理系统 - Google Patents
一种cms加热摄像头模组及后视镜处理系统 Download PDFInfo
- Publication number
- CN118450224A CN118450224A CN202410698280.1A CN202410698280A CN118450224A CN 118450224 A CN118450224 A CN 118450224A CN 202410698280 A CN202410698280 A CN 202410698280A CN 118450224 A CN118450224 A CN 118450224A
- Authority
- CN
- China
- Prior art keywords
- unit
- video information
- point cloud
- camera
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 238000010438 heat treatment Methods 0.000 title claims abstract description 47
- 238000004891 communication Methods 0.000 claims abstract description 24
- 230000001133 acceleration Effects 0.000 claims description 39
- 230000033001 locomotion Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 15
- 241001465754 Metazoa Species 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种CMS加热摄像头模组及后视镜处理系统,属于摄像头与图像处理技术领域,包括传感器单元,设置于摄像头单元的周围,与摄像头单元通过电路板连接,用于将进入摄像头单元的光线转换为电信号;防抖动单元,通过无线通信与摄像头单元连接,用于调整摄像头位置以抵消抖动的影响;加热单元,用于接收控制信号并执行加热操作;主控单元,用于接收传感器单元、防抖动单元和加热单元的信号;雷达单元,独立于摄像头单元,通过无线通信与主控单元连接;以及LED警示灯,用于根据主控单元的控制指令开启或关闭闪烁模式;行车警示装置通过LED警示灯进行提示。本发明提供的摄影头提供了成像质量和安全,为驾驶员提供了更加全面的辅助驾驶信息。
Description
技术领域
本发明涉及摄像头与图像处理技术领域,具体涉及一种CMS加热摄像头模组及后视镜处理系统。
背景技术
CMS加热摄像头模组及后视镜处理系统是一种先进的驾驶辅助系统,为驾驶员提供了更加全面和智能的驾驶辅助。摄像头通常安装在车辆的后视镜位置,用于采集车辆周围和侧后方的图像,通过无线通信将数据传输至后视镜处理系统。后视镜处理系统接收到图像数据后,对其进行处理、分析和识别,以对图像进行增强、检测障碍物等操作,并根据分析结果提供相应的提示和预警。
现有的CMS加热摄像头模组及后视镜处理系统中,通常将摄像头、加热器和其他组件分开安装,导致整体结构复杂,占用空间较大,不够紧凑,不仅增加了制造成本,还影响了系统的美观性和集成度。在某些情况下,加热器无法均匀地加热摄像头,导致摄像头部分区域过热或过冷,影响其正常工作。传统的后视镜处理系统通常进行简单的图像调整和增强,如色彩校正、对比度调整等,不能处理更高级的图像识别和分析功能(如障碍物检测等),缺乏智能化分析和预警功能。例如,系统无法自动识别车后方危险情况,不能为用户提供智能化的驾驶辅助。并且,无线通信数据传输不稳定或出现延迟。
综上所述,现有的CMS加热摄像头模组及后视镜处理系统在集成度、加热效果、图像处理能力、无线通信稳定性、智能化功能和安全性能等方面仍存在一定的缺陷和局限性。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述全部或至少一部分问题的数据处理的CMS加热摄像头模组及后视镜处理系统。
根据本发明的一个方面,提供了一种CMS加热摄像头模组,包括:
传感器单元,设置于摄像头单元的周围,与所述摄像头单元通过电路板连接,用于将进入所述摄像头单元的光线转换为电信号;
防抖动单元,通过无线通信与所述摄像头单元连接,用于调整摄像头位置以抵消抖动的影响;
加热单元,用于接收控制信号并执行加热操作;
主控单元,用于接收所述传感器单元、所述防抖动单元和所述加热单元的信号;
雷达单元,独立于所述摄像头单元,通过无线通信与所述主控单元连接;
以及LED警示灯,用于根据所述主控单元的控制指令开启或关闭闪烁模式。
根据本发明提供的方案,包括:传感器单元,设置于摄像头单元的周围,与所述摄像头单元通过电路板连接,用于将进入所述摄像头单元的光线转换为电信号;防抖动单元,通过无线通信与所述摄像头单元连接,用于调整摄像头位置以抵消抖动的影响;加热单元,用于接收控制信号并执行加热操作;主控单元,用于接收所述传感器单元、所述防抖动单元和所述加热单元的信号;雷达单元,独立于所述摄像头单元,通过无线通信与所述主控单元连接;以及LED警示灯,用于根据所述主控单元的控制指令开启或关闭闪烁模式。本发明提高了对光线变化的适应性,从而在各种光照条件下都能提供清晰的图像。通过调整摄像头位置抵消抖动的影响,降低因车辆震动或手抖等原因引起的图像失真,为驾驶员提供更加准确的视觉信息。根据环境温度和控制信号执行加热操作,确保摄像头在各种温度条件下都能正常工作。雷达单元独立于摄像头单元,通过无线通信与主控单元连接,降低了整体成本和复杂性。主控单元负责接收和处理来自各单元的信号,实现了设备的集中化管理,提高了系统的集成度和智能化水平。LED警示灯根据主控单元的控制指令开启或关闭闪烁模式,增强了设备在特定情况下的安全警示作用,减少事故发生的可能性。
根据本发明的另一个方面,提供了一种基于上述CMS加热摄像头模组的后视镜处理系统,包括:
数据处理装置,用于对所述摄像头单元采集的视频信息和所述雷达单元的3D点云信息进行增强处理,并将增强的视频信息通过显示器进行显示;
行车警示装置,用于根据所述视频信息和所述3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行识别,若所述相对运动轨迹存在异常则通过所述LED警示灯进行提示。
更进一步地,所述对所述摄像头单元采集的视频信息和所述雷达单元的3D点云信息进行增强处理进一步包括:
对所述视频信息进行超分辨率重建与色彩增强处理,对所述3D点云信息进行滤波增强处理;
将经过增强处理的视频信息和点云信息进行融合,得到融合增强视频信息。
更进一步地,所述将经过增强处理的视频信息和点云信息进行融合,得到融合增强视频信息进一步包括:
根据对齐方法将所述视频信息和3D点云信息在空间和时间上进行对齐;
根据所述视频信息和3D点云信息调整融合权重,以捕捉动态场景中的关键信息。
更进一步地,所述根据对齐方法将所述视频信息和3D点云信息在空间和时间上进行对齐进一步包括:
通过三维变换矩阵对所述3D点云数据进行空间变换,通过无监督对齐算法使其与所述视频信息的帧空间进行对齐;
根据所述视频信息和所述3D点云数据的帧率确定时间基准,使用时间同步算法确保所述视频信息和所述3D点云数据在时间上同步。
更进一步地,所述根据所述视频信息和所述3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行识别进一步包括:
利用障碍物分类模型对所述视频信息和所述3D点云信息进行分类,得到障碍物的种类;
利用运动模型对所述障碍物的相对速度、方向以及加速度进行分析,判断所述障碍物是否属于安全行驶范围内。
更进一步地,所述障碍物分类模型包括并行膨胀模块、前后帧动态关联模块以及强化浅层对抗模块;
经过所述并行膨胀模块处理后的数据分为两路,一路进入所述前后帧动态关联模块,另一路进入所述强化浅层对抗模块。
更进一步地,所述障碍物分类模型的损失函数为:
其中,ytrue为真实类别,ypred为预测类别,xreal为真数据,xfake为假数据,D(xreal)为判别器判断为真数据的概率,G(xfake)为生成器生产假数据的概率,xi,yi为第i个样本的横坐标与纵坐标,xi-1,yi-1为第i-1个样本的横坐标与纵坐标,λ为正则化系数。
更进一步地,所述利用运动模型对所述障碍物的相对速度、方向以及加速度进行分析,判断所述障碍物是否属于安全行驶范围内进一步包括:
如果并且|θrel|≤αθ(t)并且|arel|≤αa(t),则属于安全行驶范围内;
其中,vrel为障碍物的相对速度,vmax为预设的最大相对速度阈值,θrel为与障碍物的方向,arel为障碍物的加速度,αv(t)、αθ(t)、αa(t)分别是随时间t动态调整的相对速度、方向和加速度的阈值因子,所述阈值因子表达式为i为v、θ或a,k2为时间衰减系数。
更进一步地,所述利用运动模型对所述障碍物的相对速度、方向以及加速度进行分析进一步包括:
根据所述相对速度、方向以及加速度的导数检测拐点,并记录得到拐点的位置和时间;
根据所述拐点的位置和时间计算拐点的速度和加速度,根据所述拐点的速度和加速度预测所述障碍物的位置,所述障碍物的位置的计算公式为:
其中,Px为未来的位置,Pc为当前的位置,Vc为当前拐点的速度,Ac为当前拐点的加速度,Δt为时间增量。
根据本发明提供的方案,包括:数据处理装置,用于对所述摄像头单元采集的视频信息和所述雷达单元的3D点云信息进行增强处理,并将增强的视频信息通过显示器进行显示;行车警示装置,用于根据所述视频信息和所述3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行识别,若所述相对运动轨迹存在异常则通过所述LED警示灯进行提示。本发明通过对摄像头单元采集的视频信息和雷达单元的3D点云信息进行增强处理,提高了图像和数据的清晰度和识别率,并实时生成增强的视频信息,为驾驶员提供更加准确和实时的视觉信息。根据视频信息和3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行高精度识别,有助于及时发现潜在的安全风险,进一步提高了驾驶安全性。在检测到相对运动轨迹异常时,通过LED警示灯进行实时提示,能够迅速引起驾驶员的注意,帮助驾驶员做出及时反应,进一步降低事故发生的可能性。
有益效果
(1)提高了对光线变化的适应性,从而在各种光照条件下都能提供清晰的图像。通过调整摄像头位置抵消抖动的影响,降低因车辆震动或手抖等原因引起的图像失真,为驾驶员提供更加准确的视觉信息。根据环境温度和控制信号执行加热操作,确保摄像头在各种温度条件下都能正常工作。雷达单元独立于摄像头单元,通过无线通信与主控单元连接,降低了整体成本和复杂性。主控单元负责接收和处理来自各单元的信号,实现了设备的集中化管理,提高了系统的集成度和智能化水平。
(2)通过对摄像头单元采集的视频信息和雷达单元的3D点云信息进行增强处理,提高了图像和数据的清晰度和识别率,并实时生成增强的视频信息,为驾驶员提供更加准确和实时的视觉信息。根据视频信息和3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行高精度识别,有助于及时发现潜在的安全风险,进一步提高了驾驶安全性。在检测到相对运动轨迹异常时,通过LED警示灯进行实时提示,能够迅速引起驾驶员的注意,帮助驾驶员做出及时反应,进一步降低事故发生的可能性。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例的CMS加热摄像头模组的结构示意图;
图2示出了本发明实施例的CMS加热摄像头模组的摄影头示意图;
图3示出了本发明实施例的CMS加热摄像头模组的部分示意图一;
图4示出了本发明实施例的CMS加热摄像头模组的部分示意图二。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例的CMS加热摄像头模组的结构示意图。本发明实施例的CMS加热摄像头模组包括:
传感器单元,设置于摄像头单元的周围,与所述摄像头单元通过电路板连接,用于将进入所述摄像头单元的光线转换为电信号。例如,选择具有1080p或更高分辨率的CMOS传感器作为传感器单元的核心元件,能够提供高清晰度的图像,并具有较好的抗干扰能力。通过与主控单元的通信接口,传感器单元将处理后的图像数据传输给主控单元,供后续的图像增强和识别处理使用。
防抖动单元,通过无线通信与所述摄像头单元连接,用于调整摄像头位置以抵消抖动的影响。在防抖动单元中集成陀螺仪或加速度计等传感器,用于检测摄像头的抖动程度和方向。使用可靠的无线通信协议,如Wi-Fi或蓝牙,确保数据传输的稳定性和实时性。
加热单元,用于接收控制信号并执行加热操作。本实施例中,采用PTC陶瓷加热器,能够满足CMS加热摄像头模组的加热需求。通过与主控单元的通信接口,加热单元接收来自主控单元的控制信号,并启动或调节加热功率。同时,通过温度传感器实时监测加热元件的工作温度,并将数据发送给主控单元。主控单元根据接收到的数据对温度进行控制和调节,确保摄像头在适宜的温度下工作。
主控单元,用于接收所述传感器单元、所述防抖动单元和所述加热单元的信号。主控单元是CMS加热摄像头模组的核心组成部分,负责接收来自传感器单元、防抖动单元和加热单元的信号,并对这些信号进行处理和协调。本实施例中,选用专用集成电路(ASIC)为数据处理和信号控制提供硬件支持。采用实时操作系统(RTOS)确保多任务处理的实时性和稳定性。并配备UART通信接口实现与各单元的高速数据传输。集成Flash内存存储程序代码、数据缓存和临时文件。
雷达单元,独立于所述摄像头单元,通过无线通信与所述主控单元连接。本实施例中,采用毫米波雷达通过与无线通信连接,可以灵活地与主控单元进行数据传输,减少线缆的束缚和布线难度。由于毫米波雷达具备高精度测距和测速能力,能够提供准确的距离和速度信息,为车辆安全行驶提供重要保障。
以及LED警示灯,用于根据所述主控单元的控制指令开启或关闭闪烁模式。可以采用红色高亮度LED作为LED警示灯。通过与主控单元的通信接口,LED警示灯接收控制指令,实现开启、关闭和闪烁模式的控制。
根据本发明提供的方案,包括:传感器单元,设置于摄像头单元的周围,与所述摄像头单元通过电路板连接,用于将进入所述摄像头单元的光线转换为电信号;防抖动单元,通过无线通信与所述摄像头单元连接,用于调整摄像头位置以抵消抖动的影响;加热单元,用于接收控制信号并执行加热操作;主控单元,用于接收所述传感器单元、所述防抖动单元和所述加热单元的信号;雷达单元,独立于所述摄像头单元,通过无线通信与所述主控单元连接;以及LED警示灯,用于根据所述主控单元的控制指令开启或关闭闪烁模式。本发明提高了对光线变化的适应性,从而在各种光照条件下都能提供清晰的图像。通过调整摄像头位置抵消抖动的影响,降低因车辆震动或手抖等原因引起的图像失真,为驾驶员提供更加准确的视觉信息。根据环境温度和控制信号执行加热操作,确保摄像头在各种温度条件下都能正常工作。雷达单元独立于摄像头单元,通过无线通信与主控单元连接,降低了整体成本和复杂性。主控单元负责接收和处理来自各单元的信号,实现了设备的集中化管理,提高了系统的集成度和智能化水平。LED警示灯根据主控单元的控制指令开启或关闭闪烁模式,增强了设备在特定情况下的安全警示作用,减少事故发生的可能性。
根据本发明的另一个方面,提供了一种基于上述CMS加热摄像头模组的后视镜处理系统,包括:
数据处理装置,用于对所述摄像头单元采集的视频信息和所述雷达单元的3D点云信息进行增强处理,并将增强的视频信息通过显示器进行显示;
行车警示装置,用于根据所述视频信息和所述3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行识别,若所述相对运动轨迹存在异常则通过所述LED警示灯进行提示。
本实施例中,数据处理装置采用独立的专用集成电路(ASIC)对摄像头采集的视频信息进行增强处理。同时,接收雷达单元的3D点云信息,并将其与视频信息融合,生成更加丰富和准确的场景模型。增强的视频信息可以通过现有的显示器进行显示。行车警示装置通过分析视频信息和3D点云信息,实时识别车后方行人和动物的相对运动轨迹。当检测到异常运动轨迹时,立即触发LED警示灯进行提示,并发出闪烁或声音警报。
更进一步地,所述对所述摄像头单元采集的视频信息和所述雷达单元的3D点云信息进行增强处理进一步包括:
对所述视频信息进行超分辨率重建与色彩增强处理,对所述3D点云信息进行滤波增强处理;
将经过增强处理的视频信息和点云信息进行融合,得到融合增强视频信息。
对摄像头采集的视频信息进行超分辨率重建,可以将低分辨率的视频转换为高分辨率,同时色彩增强处理可以改善视频的色彩表现,使画面更加饱满。对3D点云信息进行滤波增强处理,可以通过滤波算法去除噪声,提取出有用的点云数据,提高数据质量。采用图像配准、特征匹配等技术将经过增强处理的视频信息和点云信息进行融合,生成更丰富、更准确的场景模型。
更进一步地,所述将经过增强处理的视频信息和点云信息进行融合,得到融合增强视频信息进一步包括:
根据对齐方法将所述视频信息和3D点云信息在空间和时间上进行对齐;
根据所述视频信息和3D点云信息调整融合权重,以捕捉动态场景中的关键信息。
通过对齐方法,视频信息和3D点云信息可以在空间和时间上精确匹配,提高了信息融合的准确性和可靠性。根据视频信息和3D点云信息调整融合权重,可以更好地适应动态场景,捕捉场景中的关键变化,提供更准确的场景模型。具体地,通过坐标变换、特征匹配等技术将摄像头采集的视频信息和雷达扫描得到的3D点云信息在空间上对齐,确保两者在同一坐标系下。根据摄像头和雷达的采样率,对视频信息和3D点云信息进行时间对齐,确保两者在相同的时间点上。根据视频信息和3D点云信息分析场景的动态特性,如运动物体的速度、方向等。根据动态场景分析的结果,调整视频信息和3D点云信息的融合权重。
更进一步地,所述根据对齐方法将所述视频信息和3D点云信息在空间和时间上进行对齐进一步包括:
通过三维变换矩阵对所述3D点云数据进行空间变换,通过无监督对齐算法使其与所述视频信息的帧空间进行对齐;
根据所述视频信息和所述3D点云数据的帧率确定时间基准,使用时间同步算法确保所述视频信息和所述3D点云数据在时间上同步。
通过三维变换矩阵和无监督对齐算法,可以实现视频信息和3D点云数据的高精度空间对齐。根据视频信息和3D点云数据的帧率确定时间基准,并使用时间同步算法确保两者在时间上同步,可以提供更准确、更一致的场景模型。由于对齐和同步处理在后视镜处理系统中进行,实时性强,能够为驾驶员提供实时的、准确的增强后视镜画面。通过如自编码器或深度聚类算法等无监督对齐算法将输入的数据自动进行对齐,不需要事先标记或训练数据,具有较强的自适应性。如果视频信息和3D点云数据的帧率不一致,可以采用双缓冲技术或时间拉伸技术进行时间同步处理。
更进一步地,所述根据所述视频信息和所述3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行识别进一步包括:
利用障碍物分类模型对所述视频信息和所述3D点云信息进行分类,得到障碍物的种类;
利用运动模型对所述障碍物的相对速度、方向以及加速度进行分析,判断所述障碍物是否属于安全行驶范围内。
障碍物分类模型可以利用现有的深度学习框架(如TensorFlow或PyTorch)构建。运动模型可以采用基于卡尔曼滤波或粒子滤波的方法进行实现。通过障碍物分类模型识别出车辆、行人、动物等不同类型的障碍物;通过运动模型判断障碍物的速度、方向和加速度,以及是否在安全行驶范围内。
更进一步地,所述障碍物分类模型包括并行膨胀模块、前后帧动态关联模块以及强化浅层对抗模块;
经过所述并行膨胀模块处理后的数据分为两路,一路进入所述前后帧动态关联模块,另一路进入所述强化浅层对抗模块。
通过将数据分别送入前后帧动态关联模块和强化浅层对抗模块,可以同时处理更多的数据,提高处理速度和效率。具体地,并行膨胀模块接收输入数据,将处理后的数据分为两路。前后帧动态关联模块接收一路数据,利用时间序列分析、帧间差分等方法分析数据中前后帧之间的关联关系,以提取动态特征。强化浅层对抗模块接收另一路数据,通过生成对抗样本等方式强化数据的表征能力,提高模型的泛化性能。
更进一步地,所述障碍物分类模型的损失函数为:
其中,ytrue为真实类别,ypred为预测类别,xreal为真数据,xfake为假数据,D(xreal)为判别器判断为真数据的概率,G(xfake)为生成器生产假数据的概率,xi,yi为第i个样本的横坐标与纵坐标,xi-1,yi-1为第i-1个样本的横坐标与纵坐标,λ为正则化系数。
该损失函数不仅关注分类的准确性,还同时考虑了真实数据和生成器生成的假数据,提高模型的鲁棒性。以及,通过引入前一个样本的位置信息,增强了空间连续性,能更好地理解障碍物的空间分布。
更进一步地,所述利用运动模型对所述障碍物的相对速度、方向以及加速度进行分析,判断所述障碍物是否属于安全行驶范围内进一步包括:
如果并且|θrel|≤αθ(t)并且|arel|≤αa(t),则属于安全行驶范围内;
其中,vrel为障碍物的相对速度,vmax为预设的最大相对速度阈值,θrel为与障碍物的方向,arel为障碍物的加速度,αv(t)、αθ(t)、αa(t)分别是随时间t动态调整的相对速度、方向和加速度的阈值因子,所述阈值因子表达式为i为v、θ或a,k2为时间衰减系数。
由于阈值因子是随时间动态调整的,因此可以更好地适应不同时间段和驾驶环境的变化。该判断条件同时考虑了障碍物的速度、方向和加速度,以及与车辆的相对关系。具体地,初始化所有相关的阈值因子、时间衰减系数等参数,并根据历史数据或预设值进行设置。在车辆行驶过程中,实时监测障碍物的速度、方向和加速度,以及与车辆的相对关系。根据时间衰减系数和当前时间,计算动态调整的相对速度、方向和加速度的阈值因子。将实时监测到的障碍物速度、方向和加速度与相应的阈值进行比较,如果满足条件,则认为车辆在安全行驶范围内。例如,对于正在道路上行驶的车辆,实时监测后方的障碍物。根据当前的时间和历史数据计算出动态的阈值因子。然后,将障碍物的速度、方向和加速度与这些阈值进行比较。如果障碍物的速度、方向或加速度超过了相应的阈值,系统会发出警告,提醒驾驶员注意安全或采取相应的避障措施。提高了驾驶的安全性。
更进一步地,所述利用运动模型对所述障碍物的相对速度、方向以及加速度进行分析进一步包括:
根据所述相对速度、方向以及加速度的导数检测拐点,并记录得到拐点的位置和时间;
根据所述拐点的位置和时间计算拐点的速度和加速度,根据所述拐点的速度和加速度预测所述障碍物的位置,所述障碍物的位置的计算公式为:
其中,Px为未来的位置,Pc为当前的位置,Vc为当前拐点的速度,Ac为当前拐点的加速度,Δt为时间增量。
通过使用拐点的速度和加速度来预测障碍物的位置,由于考虑了速度和加速度的变化,从而更准确地预测障碍物的运动轨迹,并且能够适应不同的障碍物运动模式和轨迹变化。具体地,根据相对速度、方向以及加速度的导数检测拐点,记录得到拐点的位置和时间。根据拐点的位置和时间,计算拐点的速度和加速度。根据拐点的速度和加速度,以及给定的时间增量,使用上述公式预测障碍物的未来位置。
根据本发明提供的方案,包括:数据处理装置,用于对所述摄像头单元采集的视频信息和所述雷达单元的3D点云信息进行增强处理,并将增强的视频信息通过显示器进行显示;行车警示装置,用于根据所述视频信息和所述3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行识别,若所述相对运动轨迹存在异常则通过所述LED警示灯进行提示。本发明通过对摄像头单元采集的视频信息和雷达单元的3D点云信息进行增强处理,提高了图像和数据的清晰度和识别率,并实时生成增强的视频信息,为驾驶员提供更加准确和实时的视觉信息。根据视频信息和3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行高精度识别,有助于及时发现潜在的安全风险,进一步提高了驾驶安全性。在检测到相对运动轨迹异常时,通过LED警示灯进行实时提示,能够迅速引起驾驶员的注意,帮助驾驶员做出及时反应,进一步降低事故发生的可能性。
Claims (10)
1.一种CMS加热摄像头模组,其特征在于,包括:
传感器单元,设置于摄像头单元的周围,与所述摄像头单元通过电路板连接,用于将进入所述摄像头单元的光线转换为电信号;
防抖动单元,通过无线通信与所述摄像头单元连接,用于调整摄像头位置以抵消抖动的影响;
加热单元,用于接收控制信号并执行加热操作;
主控单元,用于接收所述传感器单元、所述防抖动单元和所述加热单元的信号;
雷达单元,独立于所述摄像头单元,通过无线通信与所述主控单元连接;
以及LED警示灯,用于根据所述主控单元的控制指令开启或关闭闪烁模式。
2.一种基于权利要求1所述的CMS加热摄像头模组的后视镜处理系统,其特征在于,包括:
数据处理装置,用于对所述摄像头单元采集的视频信息和所述雷达单元的3D点云信息进行增强处理,并将增强的视频信息通过显示器进行显示;
行车警示装置,用于根据所述视频信息和所述3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行识别,若所述相对运动轨迹存在异常则通过所述LED警示灯进行提示。
3.根据权利要求2所述的后视镜处理系统,其特征在于,所述对所述摄像头单元采集的视频信息和所述雷达单元的3D点云信息进行增强处理进一步包括:
对所述视频信息进行超分辨率重建与色彩增强处理,对所述3D点云信息进行滤波增强处理;
将经过增强处理的视频信息和点云信息进行融合,得到融合增强视频信息。
4.根据权利要求3所述的后视镜处理系统,其特征在于,所述将经过增强处理的视频信息和点云信息进行融合,得到融合增强视频信息进一步包括:
根据对齐方法将所述视频信息和3D点云信息在空间和时间上进行对齐;
根据所述视频信息和3D点云信息调整融合权重,以捕捉动态场景中的关键信息。
5.根据权利要求4所述的后视镜处理系统,其特征在于,所述根据对齐方法将所述视频信息和3D点云信息在空间和时间上进行对齐进一步包括:
通过三维变换矩阵对所述3D点云数据进行空间变换,通过无监督对齐算法使其与所述视频信息的帧空间进行对齐;
根据所述视频信息和所述3D点云数据的帧率确定时间基准,使用时间同步算法确保所述视频信息和所述3D点云数据在时间上同步。
6.根据权利要求2所述的后视镜处理系统,其特征在于,所述根据所述视频信息和所述3D点云信息对车后方的行人、车辆以及动物的相对运动轨迹进行识别进一步包括:
利用障碍物分类模型对所述视频信息和所述3D点云信息进行分类,得到障碍物的种类;
利用运动模型对所述障碍物的相对速度、方向以及加速度进行分析,判断所述障碍物是否属于安全行驶范围内。
7.根据权利要求6所述的后视镜处理系统,其特征在于,所述障碍物分类模型包括并行膨胀模块、前后帧动态关联模块以及强化浅层对抗模块;
经过所述并行膨胀模块处理后的数据分为两路,一路进入所述前后帧动态关联模块,另一路进入所述强化浅层对抗模块。
8.根据权利要求7所述的后视镜处理系统,其特征在于,所述障碍物分类模型的损失函数为:
其中,ytrue为真实类别,ypred为预测类别,xreal为真数据,xfake为假数据,D(xreal)为判别器判断为真数据的概率,G(xfake)为生成器生产假数据的概率,xi,yi为第i个样本的横坐标与纵坐标,xi-1,yi-1为第i-1个样本的横坐标与纵坐标,λ为正则化系数。
9.根据权利要求6所述的后视镜处理系统,其特征在于,所述利用运动模型对所述障碍物的相对速度、方向以及加速度进行分析,判断所述障碍物是否属于安全行驶范围内进一步包括:
如果并且|θrel|≤αθ(t)以及|arel|≤αa(t),则属于安全行驶范围内;
其中,vrel为障碍物的相对速度,vmax为预设的最大相对速度阈值,θrel为与障碍物的方向,arel为障碍物的加速度,αv(t)、αθ(t)、αa(t)分别是随时间t动态调整的相对速度、方向和加速度的阈值因子,所述阈值因子表达式为i为v、θ或a,k2为时间衰减系数。
10.根据权利要求6所述的后视镜处理系统,其特征在于,所述利用运动模型对所述障碍物的相对速度、方向以及加速度进行分析进一步包括:
根据所述相对速度、方向以及加速度的导数检测拐点,并记录得到拐点的位置和时间;
根据所述拐点的位置和时间计算拐点的速度和加速度,根据所述拐点的速度和加速度预测所述障碍物的位置,所述障碍物的位置的计算公式为:
其中,Px为未来的位置,Pc为当前的位置,Vc为当前拐点的速度,Ac为当前拐点的加速度,Δt为时间增量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410698280.1A CN118450224A (zh) | 2024-05-31 | 2024-05-31 | 一种cms加热摄像头模组及后视镜处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410698280.1A CN118450224A (zh) | 2024-05-31 | 2024-05-31 | 一种cms加热摄像头模组及后视镜处理系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118450224A true CN118450224A (zh) | 2024-08-06 |
Family
ID=92309089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410698280.1A Pending CN118450224A (zh) | 2024-05-31 | 2024-05-31 | 一种cms加热摄像头模组及后视镜处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118450224A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109177876A (zh) * | 2018-08-13 | 2019-01-11 | 吉利汽车研究院(宁波)有限公司 | 一种移动物体检测报警系统及方法 |
WO2019136375A1 (en) * | 2018-01-07 | 2019-07-11 | Nvidia Corporation | Guiding vehicles through vehicle maneuvers using machine learning models |
CN113276769A (zh) * | 2021-04-29 | 2021-08-20 | 深圳技术大学 | 车辆盲区防撞预警系统及方法 |
CN113784482A (zh) * | 2021-09-18 | 2021-12-10 | 合肥工业大学 | 一种车辆智能前照灯系统 |
CN114228491A (zh) * | 2021-12-29 | 2022-03-25 | 重庆长安汽车股份有限公司 | 具有夜视增强虚拟现实抬头显示系统及方法 |
CN218750547U (zh) * | 2022-12-13 | 2023-03-28 | 合肥疆程技术有限公司 | 一种后视镜系统和汽车 |
CN219382322U (zh) * | 2022-11-07 | 2023-07-21 | 鑫润数字创新(深圳)有限公司 | 汽车电子外后视镜及汽车电子外后视镜系统 |
-
2024
- 2024-05-31 CN CN202410698280.1A patent/CN118450224A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019136375A1 (en) * | 2018-01-07 | 2019-07-11 | Nvidia Corporation | Guiding vehicles through vehicle maneuvers using machine learning models |
CN109177876A (zh) * | 2018-08-13 | 2019-01-11 | 吉利汽车研究院(宁波)有限公司 | 一种移动物体检测报警系统及方法 |
CN113276769A (zh) * | 2021-04-29 | 2021-08-20 | 深圳技术大学 | 车辆盲区防撞预警系统及方法 |
CN113784482A (zh) * | 2021-09-18 | 2021-12-10 | 合肥工业大学 | 一种车辆智能前照灯系统 |
CN114228491A (zh) * | 2021-12-29 | 2022-03-25 | 重庆长安汽车股份有限公司 | 具有夜视增强虚拟现实抬头显示系统及方法 |
CN219382322U (zh) * | 2022-11-07 | 2023-07-21 | 鑫润数字创新(深圳)有限公司 | 汽车电子外后视镜及汽车电子外后视镜系统 |
CN218750547U (zh) * | 2022-12-13 | 2023-03-28 | 合肥疆程技术有限公司 | 一种后视镜系统和汽车 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4984915B2 (ja) | 撮像装置、撮像システム及び撮像方法 | |
US8081794B2 (en) | Method for imaging the surrounding of a vehicle | |
US7366325B2 (en) | Moving object detection using low illumination depth capable computer vision | |
EP1030188B1 (en) | Situation awareness system | |
US11205068B2 (en) | Surveillance camera system looking at passing cars | |
EP3367361B1 (en) | Method, device and system for processing startup of front vehicle | |
KR101999993B1 (ko) | 레이더 및 카메라를 이용한 무인 단속시스템 | |
Huang et al. | Driver's view and vehicle surround estimation using omnidirectional video stream | |
JPWO2018051809A1 (ja) | 撮像装置、及び、電子機器 | |
KR101625538B1 (ko) | 도시방범이 가능한 다차선 자동차 번호판 인식시스템 | |
JP2001216519A (ja) | 交通監視装置 | |
KR101492473B1 (ko) | 사용자 기반 상황 인지형 씨씨티비 통합관제시스템 | |
CN110070058A (zh) | 一种车载手势识别装置及系统 | |
CN101349562A (zh) | 车辆行驶偏向的警报方法及装置 | |
CN110580808A (zh) | 一种信息处理方法、装置、电子设备及智能交通系统 | |
CN111086451B (zh) | 一种平视显示系统、显示方法和汽车 | |
Baris et al. | Classification and tracking of traffic scene objects with hybrid camera systems | |
KR20150058881A (ko) | 영상 인식을 기반으로 하는 차량의 공기순환 제어방법 | |
CN118450224A (zh) | 一种cms加热摄像头模组及后视镜处理系统 | |
JP2002199382A (ja) | 動画像処理カメラ及びこれを用いた画像処理システム | |
CN115641724B (zh) | 一种路内泊位管理的巡检识别方法、系统及计算机介质 | |
CN114954756B (zh) | 一种基于ar-hmd的智能头盔盲区检测系统和方法 | |
CN117197779A (zh) | 一种基于双目视觉的轨道交通异物检测方法、装置及系统 | |
CN112406700B (zh) | 一种基于上下双目视觉分析测距的盲区预警系统 | |
WO2022004412A1 (ja) | 情報処理装置、情報処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |