Nothing Special   »   [go: up one dir, main page]

CN110557527B - 一种摄像机及抓拍图片融合方法 - Google Patents

一种摄像机及抓拍图片融合方法 Download PDF

Info

Publication number
CN110557527B
CN110557527B CN201810563691.4A CN201810563691A CN110557527B CN 110557527 B CN110557527 B CN 110557527B CN 201810563691 A CN201810563691 A CN 201810563691A CN 110557527 B CN110557527 B CN 110557527B
Authority
CN
China
Prior art keywords
picture
snapshot
image sensor
processing chip
main processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810563691.4A
Other languages
English (en)
Other versions
CN110557527A (zh
Inventor
赵国辉
李转强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810563691.4A priority Critical patent/CN110557527B/zh
Priority to EP18921360.6A priority patent/EP3806444A4/en
Priority to US15/734,835 priority patent/US11477369B2/en
Priority to PCT/CN2018/105225 priority patent/WO2019232969A1/zh
Publication of CN110557527A publication Critical patent/CN110557527A/zh
Application granted granted Critical
Publication of CN110557527B publication Critical patent/CN110557527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种摄像机及抓拍图片融合方法，该摄像机包括：镜头、分光模块、第一图像传感器、第二图像传感器以及主处理芯片。主处理芯片，还用于当接收到抓拍信号和同步命令时，将抓拍信号和同步命令分别传输给第一图像传感器和第二图像传感器；第一图像传感器，还用于当接收到抓拍信号和同步命令时，按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给主处理芯片；第二图像传感器，还用于当接收到抓拍信号和同步命令时，按照第二快门和增益进行图片抓拍，并将红外光抓拍图片传输给主处理芯片；主处理芯片，还用于输出融合后的抓拍图片。该方案可以实现视频采集过程中的打断抓拍，提高抓拍图片的效果。

Description

一种摄像机及抓拍图片融合方法
技术领域
本申请涉及视频监控技术，尤其涉及一种摄像机及抓拍图片融合方法。
背景技术
目前，智能交通行业的摄像机主要是通过单个sensor(传感器)的红外爆闪抓拍机或者单个sensor的白光爆闪抓拍机进行抓拍，红外爆闪抓拍机得到的成像是偏色或者是黑白的，白光爆闪抓拍机能够抓拍彩色图片但是需要配备白光爆闪灯进行补光，而白光爆闪灯会存在较严重的光污染，在夜晚道路上突然的白光爆闪会造成开车人员的暂时性失明可能导致危险，并且对周边居民有较严重的光污染。
发明内容
有鉴于此，本申请提供一种摄像机及抓拍图片融合方法。
具体地，本申请是通过如下技术方案实现的：
根据本申请实施例的第一方面，提供一种摄像机，应用于视频监控系统，所述摄像机包括：镜头、分光模块、第一图像传感器、第二图像传感器以及主处理芯片；所述分光模块用于将通过所述镜头进入所述摄像机的入射光拆分为可见光和红外光，并分别输出给所述第一图像传感器和第二图像传感器，由所述第一图像传感器和第二图像传感器分别按照第一快门和增益进行可见光视频图像采集和红外光图像采集，以使所述主处理芯片输出融合后的视频图像，其中：
所述主处理芯片，还用于当接收到抓拍信号和同步命令时，将所述抓拍信号和同步命令分别传输给所述第一图像传感器和所述第二图像传感器，以使所述第一图像传感器和所述第二图像传感器进行同步抓拍；
所述第一图像传感器，还用于当接收到抓拍信号和同步命令时，按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给所述主处理芯片；
所述第二图像传感器，还用于当接收到抓拍信号和同步命令时，按照第二快门和增益进行图片抓拍，并将红外光抓拍图片传输给所述主处理芯片；
所述主处理芯片，还用于输出融合后的抓拍图片。
可选的，所述第一图像传感器，具体用于当接收到抓拍信号和同步命令时，中断视频图像采集，按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给所述主处理芯片；
所述第二图像传感器，具体用于当接收到抓拍信号和同步命令时，中断视频图像采集，按照第二快门和增益进行图片抓拍，并将红外光抓拍图片传输给所述主处理芯片。
可选地，所述第一图像传感器，具体用于当接收到抓拍信号和同步命令时，按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将可见光视频图像和可见光抓拍图片传输给所述主处理芯片；
所述第二图像传感器，具体用于当接收到抓拍信号和同步命令时，按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将红外光视频图像和红外光抓拍图片传输给所述主处理芯片。
可选的，所述摄像机还包括：同步处理模块；其中：
所述同步处理模块，用于接收所述主处理芯片传输的抓拍信号和同步命令，并将所述抓拍信号和同步命令分别传输给所述第一图像传感器和所述第二图像传感器；
所述同步处理模块，还用于接收所述第一图像传感器传输的可见光抓拍图片，以及所述第二图像传感器传输的红外光抓拍图片，并将所述可见光抓拍图片和红外光抓拍图片传输给所述主处理芯片。
可选的，所述同步处理模块，具体用于将同步抓拍的可见光抓拍图片和红外光抓拍图片拼接为一帧图片，并传输给所述主处理芯片。
可选的，所述主处理芯片，具体用于对所述可见光抓拍图片和所述红外光抓拍图片进行融合，并进行图像信号处理ISP处理、编码以及压缩后输出。
可选的，所述摄像机还包括从处理芯片；其中：
所述主处理芯片，具体用于将所述可见光抓拍图片和所述红外光抓拍图片传输给所述从处理芯片；
所述从处理芯片，用于对所述可见光抓拍图片和所述红外光抓拍图片进行融合，并将融合后的图片传输给所述主处理芯片；
所述主处理芯片，还具体用于对融合后的图片进行ISP处理、编码以及压缩后输出。
可选的，所述从处理芯片，还用于将融合后的图片传输给所述主处理芯片之前，对融合后的图片进行ISP处理。
可选的，所述从处理芯片，还用于基于深度学习算法对融合后的图片进行车辆特征识别，并将识别结果传输给所述主处理芯片。
根据本申请实施例的第二方面，提供一种抓拍图片融合方法，应用于视频监控系统中的摄像机，所述摄像机包括：镜头、分光模块、第一图像传感器、第二图像传感器以及主处理芯片，所述分光模块用于将通过所述镜头进入所述摄像机的入射光拆分为可见光和红外光，并分别输出给所述第一图像传感器和第二图像传感器，由所述第一图像传感器和第二图像传感器分别按照第一快门和增益进行可见光视频图像采集和红外光图像采集，以使所述主处理芯片输出融合后的视频图像，所述方法包括：
当所述主处理芯片接收到抓拍信号和同步命令时，将所述抓拍信号和同步命令分别传输给所述第一图像传感器和所述第二图像传感器；
所述第一图像传感器按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给所述主处理芯片；所述第二图像传感器按照第二快门和增益进行图片抓拍，并将红外光抓拍图片传输给所述主处理芯片；
所述主处理芯片输出融合后的抓拍图片。
可选的，所述第一图像传感器进行图片抓拍，并将可见光抓拍图片传输给所述主处理芯片；所述第二图像传感器进行图片抓拍，并将红外光抓拍图片传输给所述主处理芯片，包括：
所述第一图像传感器中断视频图像采集，按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给所述主处理芯片；所述第二图像传感器中断视频图像采集，按照第二快门和增益进行图片抓拍，并将红外光抓拍图片传输给所述主处理芯片。
可选的，所述第一图像传感器进行图片抓拍，并将可见光抓拍图片传输给所述主处理芯片；所述第二图像传感器进行图片抓拍，并将红外光抓拍图片传输给所述主处理芯片，包括：
所述第一图像传感器按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将可见光视频图像和可见光抓拍图片传输给所述主处理芯片；所述第二图像传感器按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将红外光视频图像和红外光抓拍图片传输给所述主处理芯片。
可选的，所述摄像机还包括：同步处理模块；
所述将所述抓拍信号和同步命令分别传输给所述第一图像传感器和所述第二图像传感器，包括：
所述主处理芯片将所述抓拍信号和同步命令传输给所述同步处理模块；
所述同步处理模块将所述抓拍信号和同步命令分别传输给所述第一图像传感器和所述第二图像传感器；
所述第一图像传感器将可见光抓拍图片传输给所述主处理芯片，所述第二图像传感器将红外光抓拍图片传输给所述主处理芯片，包括：
所述第一图像传感器将可见光抓拍图片传输给所述同步处理模块，所述第二图像传感器将红外光抓拍图片传输给所述同步处理模块；
所述同步处理模块将所述可见光抓拍图片和红外光抓拍图片传输给所述主处理芯片。
可选的，所述同步处理模块将所述可见光抓拍图片和红外光抓拍图片传输给所述主处理芯片，包括：
所述同步处理模块将同步抓拍的可见光抓拍图片和红外光抓拍图片拼接为一帧图片，并传输给所述主处理芯片。
可选的，所述摄像机还包括：从处理芯片；
所述主处理芯片输出融合后的抓拍图片，包括：
所述主处理芯片将所述可见光抓拍图片和所述红外光抓拍图片传输给所述从处理芯片；
所述从处理芯片对所述可见光抓拍图片和所述红外光抓拍图片进行融合，并将融合后的图片传输给所述主处理芯片；
所述主处理芯片对融合后的图片进行图像信号处理ISP处理、编码以及压缩后输出。
可选的，所述将融合后的图片传输给所述主处理芯片之前，还包括：
对融合后的图片进行ISP处理。
可选的，所述对所述可见光抓拍图片和所述红外光抓拍图片进行融合之后，还包括：
基于深度学习算法对融合后的图片进行车辆特征识别，并将识别结果传输给所述主处理芯片。
本申请实施例的摄像机，当第一图像传感器和第二图像传感器在按照第一快门和增益进行视频图像采集过程中接收到抓拍信号和同步命令时，可以按照第二快门和增益进行图片抓拍，并分别将抓拍到的可见光抓拍图片和红外光抓拍图片传输给主处理芯片，由主处理芯片输出融合后的抓拍图片，即摄像机支持视频图像采集过程中的图片抓拍，且图片抓拍可以具有独立的快门和增益，通过调节图片抓拍时的快门和增益，可以保证图片抓拍时车牌以及车辆细节信息的清晰度，防止车辆以及车牌过曝，并且可以保证车辆较快通过时通过比较短的快门进行抓拍，确保车辆不拖尾。
附图说明
图1是本申请一示例性实施例示出的一种摄像机的结构示意图；
图2是本申请又一示例性实施例示出的一种摄像机的结构示意图；
图3是本申请又一示例性实施例示出的一种摄像机的结构示意图；
图4是本申请一示例性实施例示出的一种摄像机的结构示意图；
图5是本申请一示例性实施例示出的一种抓拍图片融合方法的流程示意图；
图6是本申请又一示例性实施例示出的一种抓拍图片融合方法的流程示意图；
图7是本申请又一示例性实施例示出的一种抓拍图片融合方法的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1，为本申请实施例提供的一种摄像机的结构示意图，如图1所示，该摄像机可以包括：镜头110、分光模块120、第一图像传感器131和第二图像传感器132以及主处理芯片(下文中称为主芯片)140。其中：
分光模块120，可以用于将通过镜头110进入摄像机的入射光拆分为可见光和红外光，并分别输出给第一图像传感器131和第二图像传感器132；
第一图像传感器131，可以用于按照第一快门和增益进行可见光视频图像采集，并将所采集的可见光视频图像传输给主芯片140；
第二图像传感器132，可以用于按照第一快门和增益进行红外光视频图像采集，并将所采集的红外光视频图像传输给主芯片140；
主芯片140，用于输出融合后的视频图像。
本申请实施例中，通过在摄像机中部署分光模块120，对于通过镜头进入摄像机的入射光，通过分光模块120将其拆分为两束光：可见光和红外光，进而，通过在摄像机中部署分别对应分光模块的可见光输出方向和红外光输出方向的两个图像传感器(本文中称为第一图像传感器131和第二图像传感器132)，第一图像传感器131根据分光模块120输出的可见光按照第一快门和增益进行可见光视频图像采集，第二图像传感器132根据分光模块120输出的红外光按照第一快门和增益进行红外光视频图像采集，进而主芯片140可以对第一图像传感器131采集的可见光视频图像和第二图像传感器132采集的红外光视频图像进行融合输出，以得到预览码流。
其中，为了进一步优化视频图像显示效果，并降低视频传输所需带宽，主芯片140对可见光视频图像和红外光视频图像融合之后，还可以进行ISP(Image SignalProcessing，图像信号处理)处理、编码压缩等处理，其具体实现在此不做赘述。
可见，在图1所示摄像机中，通过在摄像机部署分光模块用以将入射光拆分为可见光和红外光，并部署分别对应分光模块的可见光输出方向和红外光输出方向的第一图像传感器和第二图像传感器用以采集可见光视频图像和红外光视频图像，进而由主芯片对可见光视频图像和红外光视频图像进行融合，既保证了视频图像的色彩，又保证了视频图像的细节和亮度，优化了视频图像的显示效果。
进一步地，在本申请实施例中，考虑到摄像机进行视频图像采集时，通常会使用较大的快门和增益以保证画面的亮度，而在某些特殊场景，摄像机可能会需要进行图片抓拍，而由于图片抓拍时通常会有闪光灯补光，因此，当增益较大时，可能会导致图片过曝且噪点较多，进而可能导致图片细节不清；此外，当进行车辆等抓拍时，如车辆速度过快，较大的快门容易导致画面中出现车辆拖尾的情况，此时，基于视频图像进行车辆特征识别的准确率较差。
为了提高车辆特征识别的准确率，本申请实施例提供的摄像机在采集视频图像的过程中还可以按照独立的快门和增益进行图片抓拍，即当在视频图像采集过程中需要进行抓拍时，使用与视频图像采集的快门和增益相独立的快门和增益进行图片抓拍。
相应地，在本申请实施例中，主芯片140，还可以用于当接收到抓拍信号和同步命令时，将抓拍信号和同步命令分别传输给第一图像传感器131和第二图像传感器132，以使第一图像传感器131和第二图像传感器132进行同步抓拍；
第一图像传感器131，还可以用于当接收到抓拍信号和同步命令时，按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给主芯片140；
第二图像传感器132，还可以用于当接收到抓拍信号和同步命令时，按照第二快门和增益进行图片抓拍，并将红外光抓拍图片传输给主芯片140；
主芯片140，还可以用于输出融合后的抓拍图片。
本申请实施例中，抓拍信号和同步命令(包括但不限于闪光灯同步和图像传感器(第一图像传感器131和第二图像传感器132)快门和增益同步命令)可以由算法或外部信号触发。当主芯片140接收到抓拍信号和同步命令时，主芯片140可以将该抓拍信号和同步命令分别传输给第一图像传感器131和第二图像传感器132，以控制第一图像传感器131和第二图像传感器132进行图片抓拍。
第一图像传感器131和第二图像传感器132接收到抓拍信号和同步命令时，可以按照第二快门和增益同步进行图片(可见光图片和红外光图片)抓拍，并分别将可见光抓拍图片和红外光抓拍图片传输给主芯片140，由主芯片140进行融合处理。
其中，主芯片140接收到可见光抓拍图片和红外光抓拍图片时，可以对接收到的可见光抓拍图片和红外光抓拍图片进行融合，并对融合后的图片进行ISP处理、编码以及压缩等处理。
优选地，第二快门和增益小于第一快门和增益。
在一个示例中，第一图像传感器131，可以具体用于当接收到抓拍信号和同步命令时，中断视频图像采集，按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给主芯片140；
第二图像传感器132，可以具体用于当接收到抓拍信号和同步命令时，中断视频图像采集，按照第二快门和增益进行图片抓拍，并将红外光抓拍图片传输给主芯片140。
在该示例中，第一图像传感器131和第二图像传感器132在视频图像采集过程中接收到抓拍信号和同步命令时，可以中断视频图像采集并进行图片抓拍，从而，图像传感器(第一图像传感器131和第二图像传感器132)可以将全部资源用于视频图像采集或图片抓拍，从而，可以提高视频图像或抓拍图片的质量。
在该示例中，第一图像传感器131和第二图像传感器132完成图片抓拍之后，可以继续进行视频图像采集，其具体实现可以参见上述方法实施例中的相关描述，本申请实施例在此不做赘述。
在另一示例中，第一图像传感器131，可以具体用于当接收到抓拍信号和同步命令时，按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将可见光视频图像和可见光抓拍图片传输给主芯片140；
第二图像传感器132，具体用于当接收到抓拍信号和同步命令时，按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将红外光视频图像和红外光抓拍图片传输给主芯片140。
在该示例中，图像传感器(包括第一图像传感器131和第二图像传感器132)可以同时进行视频图像采集和图片抓拍，进而避免视频图像采集被打断，即图像传感器可以利用一部分资源进行视频图像采集，利用另一部分资源进行图片抓拍(当不需要进行图片抓拍时，该部分资源空闲，即图像传感器预留一部分资源用于图片抓拍)，以保证视频图像采集和图片抓拍相互独立进行。
需要说明的是，在本申请实施例中，当第一图像传感器131和第二图像传感器132接收到抓拍信号和同步命令时，可以直接通过复制所采集的视频图像的方式实现抓拍，即直接复制接收到抓拍信号和同步命令时采集的视频图像作为抓拍图片，并按照上述方式进行后续的抓拍图片处理，其具体实现在此不做赘述。
此外，对可见光视频图像和红外光视频图像的融合，以及对可见光抓拍图片和红外光抓拍图片的融合的具体实现可以参见现有相关方案中的相关描述，本申请实施例对此不做赘述。
可见，在图1所示摄像机中，摄像机支持视频图像采集过程中的图片抓拍，图片抓拍具有独立(相对于视频图像采集)的快门和增益，可以通过调节图片抓拍时的快门和增益，以保证图片抓拍时车牌以及车辆细节信息的清晰度，防止车辆以及车牌过曝，并且能够保证车辆较快通过时通过比较短的快门进行抓拍，确保车辆不拖尾。
进一步地，如图2所示，在本申请其中一个实施例中，上述摄像机还可以包括：同步处理模块150；其中：
同步处理模块150，可以用于接收处理芯片140传输的抓拍信号和同步命令，并将该抓拍信号和同步命令分别传输给第一图像传感器131和第二图像传感器132；
同步处理模块150，还可以用于接收第一图像传感器131传输的可见光抓拍图片，以及第二图像传感器132传输的红外光抓拍图片，并将可见光抓拍图片和红外光抓拍图片同步传输给主芯片140。
在该实施例中，为了降低主芯片140的工作负荷，简化主芯片140的实现，摄像机中还可以部署同步处理模块150，该同步处理模块150可以部署在图像传感器(包括第一图像传感器131和第二图像传感器132)与主芯片140之间。
其中，同步处理模块150可以包括但不限于FPGA(Field-Programmable GateArray，现场可编程门阵列)芯片或支持两路传感器数据接收的其它芯片。
在该实施例中，当主芯片140接收到抓拍信号和同步命令时，主芯片140可以将抓拍信号和同步命令传输给同步处理模块150，由同步处理模块150分别传输给第一图像传感器131和第二图像传感器132。
第一图像传感器131和第二图像传感器132完成图片抓拍之后，可以将抓拍图片传输给同步处理模块150。
同步处理模块150接收到第一图像传感器131和第二图像传感器132传输的抓拍图片(包括可见光抓拍图片和红外光抓拍图片)时，可以将可见光抓拍图片和红外光抓拍图片传输给主芯片140，由主芯片140输出融合后的抓拍图片。
在一个示例中，同步处理模块150向主芯片140传输可见光抓拍图片和红外光抓拍图片时，可以对可见光抓拍图片和红外光抓拍图片进行拼接，将一帧可见光抓拍图片和一帧红外光抓拍图片拼接为一帧图片，并传输给主芯片140，以提高抓拍图片传输给主芯片140的效率。
其中，主芯片140接收到同步处理模块150传输的拼接图片时，可以将该拼接图片拆分为两帧独立的抓拍图片(可见光抓拍图片和红外光抓拍图片)，并对该两帧图片进行融合处理，提取可见光抓拍图片的颜色信息，并提取红外光抓拍图片的细节和亮度信息，融合为一帧彩色图片。
在另一个示例中，当同步处理模块150与主芯片140之间的带宽较小时，同步处理模块150可以分别将可见光抓拍图片和红外光抓拍图片传输给主芯片140，由主芯片140进行融合处理。
进一步地，请参见图3，在本申请其中一个实施例中，上述摄像机还可以包括从处理芯片(下文中称为从芯片)160；其中：
主芯片140，可以具体用于将可见光抓拍图片和红外光抓拍图片传输给从芯片160；
从芯片160，可以用于对可见光抓拍图片和红外光抓拍图片进行融合，并将融合后的图片传输给主芯片140；
主芯片140，还可以具体用于对融合后的处理图片进行ISP处理、编码以及压缩后输出。
在该实施例中，为了降低主芯片140的工作负荷，简化主芯片140的实现，摄像机中还可以部署从芯片160，该从芯片160可以与主芯片140相连，并与主芯片140进行数据交互。
在该实施例中，当主芯片140接收到可见光抓拍图片和红外光抓拍图片时，可以将可见光抓拍图片和红外光抓拍图片传输给从芯片160。
从芯片160接收到可见光抓拍图片和红外光抓拍图片时，可以对该可见光抓拍图片和红外光抓拍图片进行融合处理，并将融合后的图片再次传输给主芯片140，由主芯片140对融合后的图片进行ISP处理、编码以及压缩(如JPEG(Joint Photographic ExpertsGroup，联合图像专家小组)压缩)等处理。
在一个示例中，为了进一步优化图片显示效果，从芯片160将融合后的图片传输给主芯片140之前，还可以对融合后的图片进行ISP处理，并将处理后的图片传输给主芯片140；主芯片140接收到从芯片160传输的图片时，可以对其进行二次ISP处理，并进行编码和压缩等处理。
需要说明的是，在该实施例中，主芯片140传输给从芯片160的可见光抓拍图片和红外光抓拍图片可以为拼接图片(由主芯片140进行拼接或由同步处理模块150(若摄像机中部署有同步处理模块150)进行拼接)或独立的两帧抓拍图片。其中，从芯片160接收到的为拼接图片时，可以将其拆分为独立的两帧图片后进行融合处理。
进一步地，在本申请实施例中，摄像机获取到融合后的抓拍图片之后，还可以根据对融合后的抓拍图片进行车辆特征识别，以得到车辆特征信息，如车身颜色、车型、车窗人脸识别、车辆主品牌、子品牌识别等信息中的一个或多个。
相应地，在本申请其中一个实施例中，当摄像机还设置有从芯片160时，从芯片160还可以用于基于深度学习算法对融合后的图片进行车辆特征识别，并将识别结果传输给所述主处理芯片。
在该实施例中，可以在从芯片160中集成深度学习算法，当从芯片160根据主芯片140传输的可见光抓拍图片和红外光抓拍图片完成图片融合之后，还可以基于深度学习算法对融合后的图片进行车辆特征识别，并将识别结果(即车身颜色、车型、车窗人脸识别、车辆主品牌、子品牌识别等信息中的一个或多个)传输给主芯片140，由主芯片140根据接收到的识别结果进行相应处理。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的摄像机的工作原理(以打断抓拍为例)进行简单说明。
请参见图4，为本申请实施例提供的一种摄像机的结构示意图，如图4所示，在该实施例中，摄像机包括镜头、分光模块、第一图像传感器、第二图像传感器(该实施例中图像传感器采用全局曝光图像传感器，如全局曝光CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)图像传感器)、FPGA芯片(该实施例中以同步处理模块为FPGA芯片为例)、主芯片以及从芯片(集成有GPU(Graphics Processing Unit，图形处理单元)和深度学习算法)。
在该实施例中，通过摄像机的镜头进入摄像机的入射光源经过分光模块分成两束光源(可见光光源和红外光光源)。
其中，分光模块可以通过棱镜实现，入射光中的可见光部分进入棱镜之后，透射而出；红外光部分进入棱镜之后，经过一次反射之后射出。
在该实施例中，第一图像传感器和第二图像传感器分别部署在分光模块的两束光源的出射位置；其中，第一图像传感器部署在分光模块的可见光光源的出射位置，第二图像传感器部署在分光模块的红外光光源的出射位置。
第一图像传感器和第二图像传感器可以分别按照第一快门和增益采集可见光视频图像和红外光视频图像，并汇入FPGA芯片；FPGA芯片对可见光视频图像和红外光视频图像进行融合后，将融合后的视频图像输出给主芯片；主芯片对融合后的视频图像进行ISP处理、算法分析以及编码压缩等处理后，输出预览码流。
其中，主芯片得到融合后的视频图像之后，还可以将融合后的视频图像传输给从芯片，由从芯片基于深度学习算法对融合后的视频图像进行目标分析，例如，目标检测、目标跟踪以及目标分类等处理中的一个或多个。
在该实施例中，当主芯片接收到抓拍信号和同步命令(包括闪光灯同步和图像传感器快门和增益同步)时，主芯片将抓拍信号和同步命令传输给FPGA芯片，由FPGA芯片将该抓拍信号和同步命令分别传输给第一图像传感器和第二图像传感器。
其中，主芯片接收到的抓拍信号和同步命令可以由算法或外部信号触发。
在该实施例中，第一图像传感器和第二图像传感器接收到抓拍信号和同步命令时，可以中断视频图像采集，并按照第二快门和增益进行图片抓拍；其中，第一图像传感器进行可见光图片抓拍；第二图像传感器进行红外光图片抓拍。
第一图像传感器和第二图像传感器分别将可见光抓拍图片和红外光抓拍图片传输给FPGA芯片，由FPGA芯片对可见光抓拍图片和红外光抓拍图片进行拼接(一帧可见光抓拍图片和一帧红外光抓拍图片拼接为一帧拼接图片)，并将拼接图片输出给主芯片。
主芯片接收到FPGA芯片传输的拼接图片时，将其拆分为独立的两帧抓拍图片(可见光抓拍图片和红外光抓拍图片)，并传输给从芯片。
从芯片接收到主芯片传输的可见光抓拍图片和红外光抓拍图片时，对可见光抓拍图片和红外光抓拍图片进行像素级别的融合，提取可见光抓拍图片的色彩信息，提取红外光抓拍图片的细节和亮度信息，融合成一帧彩色图片，并进行ISP处理后，一方面，将处理后的图片传输给主芯片；另一方面，对处理后的图片进行车辆特征识别，以得到识别结果，例如，车型、车身颜色、车辆品牌(包括主品牌和子品牌)、车窗人脸、是否存在打电话行为、是否系安全带等中的一个或多个，并将识别结果传输给主芯片。
其中，主芯片与从芯片之间可以通过USB(Universal Serial Bus，通用串行总线)通讯方式或PCIE(Peripheral Component Interconnect Express，高速串行计算机扩展总线标准)通讯方式或网络通讯方式进行交互。
可见，在该实施例中，摄像机可以支持打断(视频图像采集)抓拍技术，摄像机可以采用不同的快门和增益进行视频图像采集和图片抓拍。对于视频图像采集，可以调节较大的快门和增益以保证预览画面的亮度；对于图片抓拍，可以按照保证车牌和车辆细节(如车型、品牌等)清晰度的原则调节快门和增益(小于视频图像采集的快门和增益)，防止车辆以及车牌过曝，保证车辆以较快速度通过时能以较短的快门进行抓拍，确保车辆不拖尾。
请参见图5，为本申请实施例提供的一种抓拍图片融合方法的流程示意图，其中，该抓拍图片融合方法可以应用于图1～图3任一所示的摄像机，如图5所示，该抓拍图片融合方法可以包括：
步骤S500、当主处理芯片接收到抓拍信号和同步命令时，将该抓拍信号和同步命令传输给第一图像传感器和第二图像传感器。
本申请实施例中，抓拍信号和同步命令(包括但不限于闪光灯同步和图像传感器快门和增益同步命令)可以由算法或外部信号触发。当主芯片接收到抓拍信号和同步命令时，主芯片可以将该抓拍信号和同步命令分别传输给第一图像传感器和第二图像传感器，以实现打断抓拍，即中断视频图像采集，并进行图片抓拍。
步骤S510、第一图像传感器按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给主处理芯片；第二图像传感器按照第二快门和增益进行图片抓拍，并将红外光抓拍图片传输给主处理芯片。
本申请实施例中，第一图像传感器和第二图像传感器接收到抓拍信号和同步命令时，可以按照第二快门和增益同步进行图片(可见光图片和红外光图片)抓拍，并分别将可见光抓拍图片和红外光抓拍图片传输给主芯片140，由主芯片140进行融合处理。
步骤S520、主处理芯片输出融合后的抓拍图片。
本申请实施例中，主芯片接收到可见光抓拍图片和红外光抓拍图片时，可以对接收到的可见光抓拍图片和红外光抓拍图片进行融合，并对融合后的图片进行ISP处理、编码以及压缩等处理。
在本申请其中一个实施例中，上述第一图像传感器进行图片抓拍，并将可见光抓拍图片传输给主处理芯片；第二图像传感器进行图片抓拍，并将红外光抓拍图片传输给主处理芯片，可以包括：
第一图像传感器中断视频图像采集，按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给主处理芯片；第二图像传感器中断视频图像采集，按照第二快门和增益进行图片抓拍，并将红外光抓拍图片传输给主处理芯片。
在该实施例中，第一图像传感器和第二图像传感器在视频图像采集过程中接收到抓拍信号和同步命令时，可以中断视频图像采集并进行图片抓拍，从而，图像传感器可以将全部资源用于视频图像采集或图片抓拍，从而，可以提高视频图像或抓拍图片的质量。
在本申请另一个实施例中，上述第一图像传感器进行图片抓拍，并将可见光抓拍图片传输给主处理芯片；第二图像传感器进行图片抓拍，并将红外光抓拍图片传输给主处理芯片，可以包括：
第一图像传感器按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将可见光视频图像和可见光抓拍图片传输给主处理芯片；第二图像传感器按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将红外光视频图像和红外光抓拍图片传输给主处理芯片。
在该实施例中，图像传感器(包括第一图像传感器和第二图像传感器)可以同时进行视频图像采集和图片抓拍，进而避免视频图像采集被打断，即图像传感器可以利用一部分资源进行视频图像采集，利用另一部分资源进行图片抓拍(当不需要进行图片抓拍时，该部分资源空闲，即图像传感器预留一部分资源用于图片抓拍)，以保证视频图像采集和图片抓拍相互独立进行。
进一步地，在本申请其中一个实施例中，上述摄像机还可以包括：同步处理模块；
相应地，请参见图6，上述步骤S500中，将抓拍信号和同步命令分别传输给第一图像传感器和第二图像传感器，可以包括以下步骤：
步骤S501、主处理芯片将抓拍信号和同步命令传输给同步处理模块。
步骤S502、同步处理模块将抓拍信号和同步命令分别传输给第一图像传感器和第二图像传感器。
上述步骤S510中，第一图像传感器将可见光抓拍图片传输给主处理芯片，第二图像传感器将红外光抓拍图片传输给主处理芯片，可以包括以下步骤：
步骤S511、第一图像传感器将可见光抓拍图片传输给同步处理模块，第二图像传感器将红外光抓拍图片传输给同步处理模块。
步骤S512、同步处理模块将可见光抓拍图片和红外光抓拍图片传输给主处理芯片。
在该实施例中，为了降低主芯片的工作负荷，简化主芯片的实现，摄像机中还可以部署同步处理模块，该同步处理模块可以部署在图像传感器(包括第一图像传感器和第二图像传感器)与主芯片之间。
在该实施例中，当主芯片接收到抓拍信号和同步命令时，主芯片可以将抓拍信号和同步命令传输给同步处理模块，由同步处理模块分别传输给第一图像传感器和第二图像传感器。
第一图像传感器和第二图像传感器完成图片抓拍之后，可以将抓拍图片传输给同步处理模块。
同步处理模块接收到第一图像传感器和第二图像传感器传输的抓拍图片(包括可见光抓拍图片和红外光抓拍图片)时，可以将可见光抓拍图片和红外光抓拍图片传输给主芯片，由主芯片输出融合后的抓拍图片。
在一个示例中，同步处理模块向主芯片传输可见光抓拍图片和红外光抓拍图片时，可以对可见光抓拍图片和红外光抓拍图片进行拼接，将一帧可见光抓拍图片和一帧红外光抓拍图片拼接为一帧图片，并传输给主处理芯片，以提高抓拍图片传输给主芯片的效率。
其中，主芯片接收到同步处理模块传输的拼接图片时，可以将该拼接图片拆分为两帧独立的抓拍图片(可见光抓拍图片和红外光抓拍图片)，并对该两帧图片进行融合处理，提取可见光抓拍图片的颜色信息，并提取红外光抓拍图片的细节和亮度信息，融合为一帧彩色图片。
进一步地，在本申请其中一个实施例中，上述摄像机还可以包括：从处理芯片；
相应地，请一并参见图7，上述步骤S520中，主处理芯片输出融合后的抓拍图片，可以包括以下步骤：
步骤S521、主处理芯片将可见光抓拍图片和红外光抓拍图片传输给从处理芯片。
步骤S522、从处理芯片对可见光抓拍图片和所述红外光抓拍图片进行融合，并将融合后的图片传输给主处理芯片。
步骤S523、主处理芯片对融合后的图片进行ISP处理、编码以及压缩后输出。
在该实施例中，为了降低主芯片的工作负荷，简化主芯片的实现，摄像机中还可以部署从芯片，该从芯片可以与主芯片相连，并与主芯片进行数据交互。
在该实施例中，当主芯片接收到可见光抓拍图片和红外光抓拍图片时，可以将可见光抓拍图片和红外光抓拍图片传输给从芯片。
从芯片接收到可见光抓拍图片和红外光抓拍图片时，可以对该可见光抓拍图片和红外光抓拍图片进行融合处理，并将融合后的图片再次传输给主芯片，由主芯片对融合后的图片进行ISP处理、编码以及压缩(如JPEG压缩)等处理。
在一个示例中，为了进一步优化图片显示效果，从芯片将融合后的图片传输给主芯片之前，还可以对融合后的图片进行ISP处理，并将处理后的图片传输给主芯片；主芯片接收到从芯片传输的图片时，可以对其进行二次ISP处理，并进行编码和压缩等处理。
进一步地，在本申请实施例中，摄像机获取到融合后的抓拍图片之后，还可以根据对融合后的抓拍图片进行车辆特征识别，以得到车辆特征信息，如车身颜色、车型、车窗人脸识别、车辆主品牌、子品牌识别等信息中的一个或多个。
相应地，在本申请其中一个实施例中，当摄像机还设置有从芯片时，从芯片还可以用于基于深度学习算法对融合后的图片进行车辆特征识别，并将识别结果传输给所述主处理芯片。
在该实施例中，可以在从芯片中集成深度学习算法，当从芯片根据主芯片传输的可见光抓拍图片和红外光抓拍图片完成图片融合之后，还可以基于深度学习算法对融合后的图片进行车辆特征识别，并将识别结果(即车身颜色、车型、车窗人脸识别、车辆主品牌、子品牌识别等信息中的一个或多个)传输给主芯片，由主芯片根据接收到的识别结果进行相应处理。
本申请实施例中，当第一图像传感器和第二图像传感器在按照第一快门和增益进行视频图像采集过程中接收到抓拍信号和同步命令时，可以按照第二快门和增益进行图片抓拍，并分别将抓拍到的可见光抓拍图片和红外光抓拍图片传输给主处理芯片，由主处理芯片输出融合后的抓拍图片，即摄像机支持视频图像采集过程中的图片抓拍，且图片抓拍可以具有独立的快门和增益，通过调节图片抓拍时的快门和增益，可以保证图片抓拍时车牌以及车辆细节信息的清晰度，防止车辆以及车牌过曝，并且可以保证车辆较快通过时通过比较短的快门进行抓拍，确保车辆不拖尾。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (13)

1.一种摄像机，应用于视频监控系统，其特征在于，所述摄像机包括：镜头、分光模块、第一图像传感器、第二图像传感器以及主处理芯片；所述分光模块用于将通过所述镜头进入所述摄像机的入射光拆分为可见光和红外光，并分别输出给所述第一图像传感器和第二图像传感器，由所述第一图像传感器和第二图像传感器分别按照第一快门和增益进行可见光视频图像采集和红外光图像采集，以使所述主处理芯片输出融合后的视频图像，其中：
所述主处理芯片，还用于当接收到抓拍信号和同步命令时，将所述抓拍信号和同步命令分别传输给所述第一图像传感器和所述第二图像传感器，以使所述第一图像传感器和所述第二图像传感器进行同步抓拍；
所述第一图像传感器，还用于当接收到抓拍信号和同步命令时，按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给所述主处理芯片；其中，图片抓拍相对于视频图像采集具有独立的快门和增益，第二快门和增益小于第一快门和增益；
所述第二图像传感器，还用于当接收到抓拍信号和同步命令时，按照第二快门和增益，进行图片抓拍，并将红外光抓拍图片传输给所述主处理芯片；
所述主处理芯片，还用于输出融合后的抓拍图片；
其中，所述第一图像传感器，具体用于当接收到抓拍信号和同步命令时，按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将可见光视频图像和可见光抓拍图片传输给所述主处理芯片；
所述第二图像传感器，具体用于当接收到抓拍信号和同步命令时，按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将红外光视频图像和红外光抓拍图片传输给所述主处理芯片；
其中，包括所述第一图像传感器和所述第二图像传感器的图像传感器利用一部分资源进行视频图像采集，利用另一部分资源进行图片抓拍；其中，所述图像传感器预留一部分资源用于图片抓拍，当不需要进行图片抓拍时，该部分资源空闲。
2.根据权利要求1所述的摄像机，其特征在于，所述摄像机还包括：同步处理模块；其中：
所述同步处理模块，用于接收所述主处理芯片传输的抓拍信号和同步命令，并将所述抓拍信号和同步命令分别传输给所述第一图像传感器和所述第二图像传感器；
所述同步处理模块，还用于接收所述第一图像传感器传输的可见光抓拍图片，以及所述第二图像传感器传输的红外光抓拍图片，并将所述可见光抓拍图片和红外光抓拍图片传输给所述主处理芯片。
3.根据权利要求2所述的摄像机，其特征在于，
所述同步处理模块，具体用于将同步抓拍的可见光抓拍图片和红外光抓拍图片拼接为一帧图片，并传输给所述主处理芯片。
4.根据权利要求1所述的摄像机，其特征在于，
所述主处理芯片，具体用于对所述可见光抓拍图片和所述红外光抓拍图片进行融合，并进行图像信号处理ISP处理、编码以及压缩后输出。
5.根据权利要求1所述的摄像机，其特征在于，所述摄像机还包括从处理芯片；其中：
所述主处理芯片，具体用于将所述可见光抓拍图片和所述红外光抓拍图片传输给所述从处理芯片；
所述从处理芯片，用于对所述可见光抓拍图片和所述红外光抓拍图片进行融合，并将融合后的图片传输给所述主处理芯片；
所述主处理芯片，还具体用于对融合后的图片进行ISP处理、编码以及压缩后输出。
6.根据权利要求5所述的摄像机，其特征在于，
所述从处理芯片，还用于将融合后的图片传输给所述主处理芯片之前，对融合后的图片进行ISP处理。
7.根据权利要求5所述的摄像机，其特征在于，
所述从处理芯片，还用于基于深度学习算法对融合后的图片进行车辆特征识别，并将识别结果传输给所述主处理芯片。
8.一种抓拍图片融合方法，应用于视频监控系统中的摄像机，其特征在于，所述摄像机包括：镜头、分光模块、第一图像传感器、第二图像传感器以及主处理芯片，所述分光模块用于将通过所述镜头进入所述摄像机的入射光拆分为可见光和红外光，并分别输出给所述第一图像传感器和第二图像传感器，由所述第一图像传感器和第二图像传感器分别按照第一快门和增益进行可见光视频图像采集和红外光图像采集，以使所述主处理芯片输出融合后的视频图像，所述方法包括：
当所述主处理芯片接收到抓拍信号和同步命令时，将所述抓拍信号和同步命令分别传输给所述第一图像传感器和所述第二图像传感器；
所述第一图像传感器按照第二快门和增益进行图片抓拍，并将可见光抓拍图片传输给所述主处理芯片；所述第二图像传感器按照第二快门和增益进行图片抓拍，并将红外光抓拍图片传输给所述主处理芯片；其中，图片抓拍相对于视频图像采集具有独立的快门和增益，第二快门和增益小于第一快门和增益；
所述主处理芯片输出融合后的抓拍图片；
其中，所述第一图像传感器进行图片抓拍，并将可见光抓拍图片传输给所述主处理芯片；所述第二图像传感器进行图片抓拍，并将红外光抓拍图片传输给所述主处理芯片，包括：
所述第一图像传感器按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将可见光视频图像和可见光抓拍图片传输给所述主处理芯片；所述第二图像传感器按照第一快门和增益进行视频图像采集，按照第二快门和增益进行图片抓拍，并分别将红外光视频图像和红外光抓拍图片传输给所述主处理芯片；
其中，包括所述第一图像传感器和所述第二图像传感器的图像传感器利用一部分资源进行视频图像采集，利用另一部分资源进行图片抓拍；其中，所述图像传感器预留一部分资源用于图片抓拍，当不需要进行图片抓拍时，该部分资源空闲。
9.根据权利要求8所述的方法，其特征在于，所述摄像机还包括：同步处理模块；
所述将所述抓拍信号和同步命令分别传输给所述第一图像传感器和所述第二图像传感器，包括：
所述主处理芯片将所述抓拍信号和同步命令传输给所述同步处理模块；
所述同步处理模块将所述抓拍信号和同步命令分别传输给所述第一图像传感器和所述第二图像传感器；
所述第一图像传感器将可见光抓拍图片传输给所述主处理芯片，所述第二图像传感器将红外光抓拍图片传输给所述主处理芯片，包括：
所述第一图像传感器将可见光抓拍图片传输给所述同步处理模块，所述第二图像传感器将红外光抓拍图片传输给所述同步处理模块；
所述同步处理模块将所述可见光抓拍图片和红外光抓拍图片传输给所述主处理芯片。
10.根据权利要求9所述的方法，其特征在于，所述同步处理模块将所述可见光抓拍图片和红外光抓拍图片传输给所述主处理芯片，包括：
所述同步处理模块将同步抓拍的可见光抓拍图片和红外光抓拍图片拼接为一帧图片，并传输给所述主处理芯片。
11.根据权利要求8所述的方法，其特征在于，所述摄像机还包括：从处理芯片；
所述主处理芯片输出融合后的抓拍图片，包括：
所述主处理芯片将所述可见光抓拍图片和所述红外光抓拍图片传输给所述从处理芯片；
所述从处理芯片对所述可见光抓拍图片和所述红外光抓拍图片进行融合，并将融合后的图片传输给所述主处理芯片；
所述主处理芯片对融合后的图片进行图像信号处理ISP处理、编码以及压缩后输出。
12.根据权利要求11所述的方法，其特征在于，所述将融合后的图片传输给所述主处理芯片之前，还包括：
对融合后的图片进行ISP处理。
13.根据权利要求11所述的方法，其特征在于，所述对所述可见光抓拍图片和所述红外光抓拍图片进行融合之后，还包括：
基于深度学习算法对融合后的图片进行车辆特征识别，并将识别结果传输给所述主处理芯片。
CN201810563691.4A 2018-06-04 2018-06-04 一种摄像机及抓拍图片融合方法 Active CN110557527B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810563691.4A CN110557527B (zh) 2018-06-04 2018-06-04 一种摄像机及抓拍图片融合方法
EP18921360.6A EP3806444A4 (en) 2018-06-04 2018-09-12 CAMERA AND PROCESS FOR MERGING CAPTURED IMAGES
US15/734,835 US11477369B2 (en) 2018-06-04 2018-09-12 Camera and method for fusing snapped images
PCT/CN2018/105225 WO2019232969A1 (zh) 2018-06-04 2018-09-12 一种摄像机及抓拍图片融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810563691.4A CN110557527B (zh) 2018-06-04 2018-06-04 一种摄像机及抓拍图片融合方法

Publications (2)

Publication Number Publication Date
CN110557527A CN110557527A (zh) 2019-12-10
CN110557527B true CN110557527B (zh) 2021-03-23

Family

ID=68735764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810563691.4A Active CN110557527B (zh) 2018-06-04 2018-06-04 一种摄像机及抓拍图片融合方法

Country Status (4)

Country Link
US (1) US11477369B2 (zh)
EP (1) EP3806444A4 (zh)
CN (1) CN110557527B (zh)
WO (1) WO2019232969A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958830B2 (en) * 2018-05-24 2021-03-23 Magna Electronics Inc. Vehicle vision system with infrared LED synchronization
CN111523401B (zh) * 2020-03-31 2022-10-04 河北工业大学 一种识别车型的方法
CN112258592B (zh) * 2020-09-17 2024-11-01 深圳市捷顺科技实业股份有限公司 一种人脸可见光图的生成方法及相关装置
CN112270639B (zh) * 2020-09-21 2024-04-19 浙江大华技术股份有限公司 一种图像处理方法、图像处理装置以及存储介质
CN112529973B (zh) * 2020-10-13 2023-06-02 重庆英卡电子有限公司 野外自供能动物抓拍图片动物识别方法
CN112995515B (zh) * 2021-03-05 2023-04-07 浙江大华技术股份有限公司 数据处理方法及装置、存储介质、电子装置
CN113596395A (zh) * 2021-07-26 2021-11-02 浙江大华技术股份有限公司 一种图像获取的方法及监控设备
CN114463792B (zh) * 2022-02-10 2023-04-07 厦门熵基科技有限公司 一种多光谱识别方法、装置、设备及可读存储介质
CN114972009A (zh) * 2022-03-28 2022-08-30 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114966733B (zh) * 2022-04-21 2023-04-18 北京福通互联科技集团有限公司 基于激光阵列和单目摄像机的肉牛立体深度图像采集系统
CN115484409A (zh) * 2022-09-09 2022-12-16 成都微光集电科技有限公司 多图像传感器协同工作方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893804A (zh) * 2010-05-13 2010-11-24 杭州海康威视软件有限公司 曝光控制方法及装置
CN106060364A (zh) * 2016-07-28 2016-10-26 浙江宇视科技有限公司 光学透雾彩色图像采集方法及摄像机

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994006247A1 (en) * 1992-09-08 1994-03-17 Paul Howard Mayeaux Machine vision camera and video preprocessing system
US6781127B1 (en) * 2000-06-08 2004-08-24 Equinox Corporation Common aperture fused reflective/thermal emitted sensor and system
US20110102616A1 (en) * 2009-08-28 2011-05-05 Nikon Corporation Data structure for still image file, image file generation device, image reproduction device, and electronic camera
KR101012691B1 (ko) * 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
US9930316B2 (en) * 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
JP5820120B2 (ja) * 2011-01-28 2015-11-24 キヤノン株式会社 撮像装置およびその制御方法
KR101774591B1 (ko) 2011-09-29 2017-09-05 삼성전자주식회사 디지털 영상 촬영 방법 및 장치
CN103856764B (zh) * 2012-11-30 2016-07-06 浙江大华技术股份有限公司 一种利用双快门进行监控的装置
KR101858646B1 (ko) * 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
KR102035355B1 (ko) 2013-07-22 2019-11-18 현대모비스 주식회사 영상 처리 방법 및 이를 위한 위한 장치
CN203632765U (zh) * 2013-12-17 2014-06-04 天津鑫彤科技有限公司 多源图像信息采集融合系统
CN104270570B (zh) * 2014-10-17 2018-05-11 北京明泰智软件技术发展有限公司 双目摄像机及其图像处理方法
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
CN106385530B (zh) 2015-07-28 2022-12-13 杭州海康微影传感科技有限公司 一种双光谱摄像机
CN204948210U (zh) * 2015-09-24 2016-01-06 广州市巽腾信息科技有限公司 一种图像信息采集装置
CN205249392U (zh) * 2015-12-10 2016-05-18 莱阳市百盛科技有限公司 一种辅助驾驶设备的视频采集系统
CN105678727A (zh) 2016-01-12 2016-06-15 四川大学 基于异构多核构架的红外光与可见光图像实时融合系统
CN111028188B (zh) * 2016-09-19 2023-05-02 杭州海康威视数字技术股份有限公司 分光融合的图像采集设备
JP2018170656A (ja) * 2017-03-30 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法
US20180309919A1 (en) * 2017-04-19 2018-10-25 Qualcomm Incorporated Methods and apparatus for controlling exposure and synchronization of image sensors
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
US20200329195A1 (en) * 2019-04-11 2020-10-15 Qualcomm Incorporated Synchronizing application of settings for one or more cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893804A (zh) * 2010-05-13 2010-11-24 杭州海康威视软件有限公司 曝光控制方法及装置
CN106060364A (zh) * 2016-07-28 2016-10-26 浙江宇视科技有限公司 光学透雾彩色图像采集方法及摄像机

Also Published As

Publication number Publication date
EP3806444A1 (en) 2021-04-14
WO2019232969A1 (zh) 2019-12-12
US20210235011A1 (en) 2021-07-29
CN110557527A (zh) 2019-12-10
US11477369B2 (en) 2022-10-18
EP3806444A4 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
CN110557527B (zh) 一种摄像机及抓拍图片融合方法
JP2022111151A (ja) 撮像装置及び撮像装置の制御方法
CN103856764B (zh) 一种利用双快门进行监控的装置
JP2012138077A (ja) 車両識別装置
KR101625538B1 (ko) 도시방범이 가능한 다차선 자동차 번호판 인식시스템
JP7428360B2 (ja) 車両監視システムおよび車両監視方法
CN110580808B (zh) 一种信息处理方法、装置、电子设备及智能交通系统
KR101760020B1 (ko) 차량 번호 인식 장치 및 그 방법
WO2019233129A1 (zh) 图像采集
KR101723401B1 (ko) 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
EP3280128A1 (en) Image pickup device
US20190145768A1 (en) Object Distance Detection Device
JP2020191508A (ja) 車両監視システムおよび車両監視方法
US11420570B2 (en) Wireless camera mounting system
US10999488B2 (en) Control device, imaging device, and control method
KR20200095758A (ko) 비동일 카메라 기반 영상 처리 장치
JP2007096684A (ja) 車外環境認識装置
WO2019058755A1 (ja) 物体距離検出装置
JP2003162796A (ja) 車両監視方法及びシステム
JP4797441B2 (ja) 車両用画像処理装置
CN107948620B (zh) 基于高级驾驶辅助系统的双目摄像头调试方法
JP2008306373A (ja) 車両撮像装置
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
JP5017921B2 (ja) 車両用画像処理装置
CN110493490B (zh) 摄像装置及摄像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant