Nothing Special   »   [go: up one dir, main page]

CN106471567A - 色彩校正系统和方法 - Google Patents

色彩校正系统和方法 Download PDF

Info

Publication number
CN106471567A
CN106471567A CN201580029947.8A CN201580029947A CN106471567A CN 106471567 A CN106471567 A CN 106471567A CN 201580029947 A CN201580029947 A CN 201580029947A CN 106471567 A CN106471567 A CN 106471567A
Authority
CN
China
Prior art keywords
noise
color
psnr
correction
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580029947.8A
Other languages
English (en)
Other versions
CN106471567B (zh
Inventor
陈玮
曹子晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Priority to CN201910240349.5A priority Critical patent/CN109963133B/zh
Publication of CN106471567A publication Critical patent/CN106471567A/zh
Application granted granted Critical
Publication of CN106471567B publication Critical patent/CN106471567B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明公开了一种用于针对色彩校正来标定数字成像装置的系统和方法。所述方法包括获得多个颜色参考中的每一个的输入颜色值和参考颜色值以及用于评价降噪的具有颜色噪声的噪声评价图像，所述输入颜色值和所述参考颜色值位于非线性色彩空间中。确定基于在所述非线性色彩空间中评价适应度函数而优化的多个色彩校正参数。所述非线性色彩空间可以是CIE L*a*b*色彩空间。所述适应度函数可以包括色彩校正误差和噪声放大度量以便降低色彩校正期间的噪声放大。

Description

色彩校正系统和方法
技术领域
所公开的实施方式总体涉及数字图像处理，并且更具体地涉及但不排他地涉及用于数字图像的色彩校正的系统和方法。
背景技术
由于数字成像装置获取色彩的方式不同于人眼感知色彩的方式，因此数字成像装置所获取的图像通常受益于色彩校正。然而，色彩校正过程可能容易引入和/或放大不同类型的噪声。这是本发明的实施方式旨在解决的总体领域。
发明内容
本文描述了可以针对色彩校正来标定数字成像装置的系统和方法。所述方法包括获得多个颜色参考中的每一个的输入颜色值和参考颜色值，以及用于评价降噪的具有颜色噪声的噪声评价图像，所述输入颜色值和参考颜色值位于非线性色彩空间中。确定基于在所述非线性色彩空间中评价适应度函数而优化的多个色彩校正参数。所述非线性色彩空间可以是CIE L*a*b*色彩空间。所述适应度函数可以包括色彩校正误差和噪声放大度量以便在色彩校正期间降低噪声放大。
根据本文的第一方面，公开了一种用于针对色彩校正来标定数字成像装置的方法，所述方法包括：获得多个颜色参考中的每一个的输入颜色值和参考颜色值以及用于评价降噪的具有颜色噪声的噪声评价图像，所述输入颜色值和参考颜色值位于非线性色彩空间中；以及确定基于在所述非线性色彩空间中评价适应度函数而优化的多个色彩校正参数。
在一些实施方式中，所述非线性色彩空间是CIE L*a*b*色彩空间。
在一些实施方式中，确定所述多个色彩校正参数包括基于所述输入颜色值和参考颜色值以及所述噪声评价图像来调整所述色彩校正参数。
在一些实施方式中，所述适应度函数包括色彩校正误差和噪声放大度量。
在一些实施方式中，调整所述多个色彩校正参数包括通过对所述输入颜色值进行色彩校正并且将经校正的输入颜色值与所述参考颜色值进行比较来确定所述色彩校正误差。
在一些实施方式中，调整所述多个色彩校正参数包括通过使用所述参数对所述噪声评价图像进行色彩校正并且将经校正的噪声评价图像与所述校正前噪声评价图像进行比较来确定所述噪声放大度量。
在一些实施方式中，确定所述噪声放大度量包括使用峰值信噪比(PSNR)来确定所述噪声放大度量。
在一些实施方式中，使用PSNR来确定所述噪声放大度量包括求出PSNR差，所述PSNR差为所述校正前噪声评价图像的PSNR与所述经校正噪声评价图像的PSNR之间的差。
在一些实施方式中，使用PSNR来确定所述噪声放大度量包括确定下采样PSNR差。
在一些实施方式中，确定下采样PSNR差包括：对所述校正前噪声评价图像进行下采样以获得下采样校正前噪声评价图像；对所述经校正噪声评价图像进行下采样以获得下采样经校正噪声评价图像；以及求出作为所述下采样校正前噪声评价图像的PSNR与所述下采样经校正噪声评价图像的PSNR之间的差的下采样PSNR差。
在一些实施方式中，确定所述噪声放大度量包括确定所述PSNR差和至少一个下采样PSNR差的加权平均值。
在一些实施方式中，使用PSNR来确定所述噪声放大度量包括确定多个连续下采样PSNR差以及将所述噪声放大度量确定为所述
PSNR差和所述多个连续下采样PSNR差的加权平均值。
在一些实施方式中，确定所述噪声放大度量包括利用相应的权重对所述PSNR差和所述多个连续下采样PSNR差中的每一个进行加权，并且所述权重中的至少一个不为零。
在一些实施方式中，确定所述噪声放大度量包括基于颜色方差来确定所述噪声放大度量。
在一些实施方式中，调整所述多个色彩校正参数包括通过将经色彩校正的噪声评价图像转换到YUV色彩空间中来确定所述噪声放大度量。
在一些实施方式中，所述噪声评价图像包括多个色块，并且其中所述噪声放大度量被确定为所述色块中的每一个的噪声放大水平的加权和。
在一些实施方式中，根据人类对每个色块的平均感知敏感度来对所述色块进行加权。
在一些实施方式中，调整所述色彩校正参数包括通过使所述色彩校正误差和所述噪声放大度量的加权和最小化来优化所述适应度函数。
在一些实施方式中，调整所述色彩校正参数包括使用遗传过程来调整所述参数。一些实施方式包括使用直接搜索法来进一步调整所述色彩校正参数。
在一些实施方式中，获得所述色彩标定图像的输入颜色值包括对包括多个色块的一个或多个颜色参考进行成像。
在一些实施方式中，所述色彩校正参数呈矩阵的形式。
在一些实施方式中，所述色彩校正参数呈查找表的形式。
在一些实施方式中，调整所述色彩校正参数包括在所述查找表中进行的查找操作和插值操作。
在一些实施方式中，所述插值操作包括谢泼德插值(Shepard interpolation)。
在一些实施方式中，所述噪声评价图像是虚拟噪声评价图像。
在一些实施方式中，所述虚拟噪声评价图像包括添加到虚拟无噪声图像的噪声。
在本文的另一方面，公开了一种被配置用于基于各自具有参考颜色的多个颜色参考的图像针对色彩校正而进行标定的色彩校正设备，所述设备包括：存储器，所述存储器用于储存多个色彩校正参数；以及处理器，所述处理器用于执行数字图像的色彩校正，其中所述处理器被配置用于：获得所述颜色参考中的每一个的输入颜色值和参考颜色值以及用于评价降噪的具有颜色噪声的噪声评价图像，所述输入颜色值和参考颜色值位于非线性色彩空间中；并且确定基于在所述非线性色彩空间中评价适应度函数而优化的多个色彩校正参数。
在一些实施方式中，所述非线性色彩空间是CIE L*a*b*色彩空间。
在一些实施方式中，所述处理器被配置用于通过基于所述输入颜色值和参考颜色值以及所述噪声评价图像调整所述色彩校正参数来确定所述多个色彩校正参数。
在一些实施方式中，所述适应度函数包括色彩校正误差和噪声放大度量。
在一些实施方式中，所述处理器被配置用于通过对所述输入颜色值进行色彩校正并且将经校正的输入颜色值与所述参考颜色值进行比较来调整所述多个色彩校正参数。
在一些实施方式中，所述处理器被配置用于通过使用所述参数对所述噪声评价图像进行色彩校正并且将经校正的噪声评价图像与所述校正前噪声评价图像进行比较来调整所述多个色彩校正参数。
在一些实施方式中，所述处理器被配置用于使用峰值信噪比(PSNR)来确定所述噪声放大度量。
在一些实施方式中，所述处理器被配置用于通过求出作为所述校正前噪声评价图像的PSNR与所述经校正噪声评价图像的PSNR之间的差的PSNR差而使用PSNR来确定所述噪声放大度量。
在一些实施方式中，所述处理器被配置用于通过确定下采样PSNR差而使用PSNR来确定所述噪声放大度量。
在一些实施方式中，所述处理器被配置用于通过以下方式来确定所述下采样PSNR差：对所述校正前噪声评价图像进行下采样以获得下采样校正前噪声评价图像；对所述经校正噪声评价图像进行下采样以获得下采样经校正噪声评价图像；以及求出作为所述下采样校正前噪声评价图像的PSNR与所述下采样经校正噪声评价图像的PSNR之间的差的下采样PSNR差。
在一些实施方式中，所述处理器被配置用于通过确定所述PSNR差和至少一个下采样PSNR差的加权平均值来确定所述噪声放大度量。
在一些实施方式中，所述处理器被配置用于确定多个连续下采样PSNR差并且将所述噪声放大度量确定为所述PSNR差和所述多个连续下采样PSNR差的加权平均值。
在一些实施方式中，所述处理器被配置用于通过利用相应的权重对所述PSNR差和所述多个连续下采样PSNR差中的每一个进行加权来确定所述噪声放大度量，并且所述权重中的至少一个不为零。
在一些实施方式中，所述处理器被配置用于基于颜色方差来确定所述噪声放大度量。
在一些实施方式中，所述处理器被配置用于通过将经色彩校正的噪声评价图像转换到YUV色彩空间中来确定所述噪声放大度量。
在一些实施方式中，所述噪声评价图像包括多个色块，并且其中所述噪声放大度量被确定为所述色块中的每一个的噪声放大水平的加权和。
在一些实施方式中，根据人类对所述色块的平均感知敏感度来对每一个色块进行加权。
在一些实施方式中，所述处理器被配置用于通过使所述色彩校正误差和所述噪声放大度量的加权和最小化来优化所述适应度函数。
在一些实施方式中，所述处理器被配置用于使用遗传过程来调整所述色彩校正参数。
在一些实施方式中，所述处理器被配置用于使用直接搜索法来进一步调整所述色彩校正参数。
在一些实施方式中，所述处理器被配置用于通过对包括多个色块的一个或多个颜色参考进行成像来获得所述色彩标定图像的输入颜色值。
在一些实施方式中，所述色彩校正参数呈矩阵的形式。
在一些实施方式中，所述色彩校正参数呈查找表的形式。
在一些实施方式中，所述处理器被配置用于通过在所述查找表中进行的查找操作和插值操作来调整所述色彩校正参数。
在一些实施方式中，所述插值操作包括谢泼德插值。
在一些实施方式中，所述噪声评价图像是虚拟噪声评价图像。
在一些实施方式中，所述虚拟噪声评价图像包括添加到虚拟无噪声图像的噪声。
在一些实施方式中，所述色彩校正设备安装在移动平台上。
在一些实施方式中，所述移动平台是无人飞行器(UAV)。
在本文的另一方面，公开了一种数字成像装置，该装置包括：图像传感器，其用于对多个颜色参考进行成像；以及处理器，其用于执行数字图像的色彩校正，其中所述处理器被配置用于：获得所述颜色参考中的每一个的输入颜色值和参考颜色值以及用于评价降噪的具有颜色噪声的噪声评价图像，所述输入颜色值和参考颜色值位于非线性色彩空间中；并且确定基于在所述非线性色彩空间中评价适应度函数而优化的多个色彩校正参数。
在一些实施方式中，所述非线性色彩空间是CIE L*a*b*色彩空间。
在一些实施方式中，所述处理器被配置用于通过基于所述输入颜色值和参考颜色值以及所述噪声评价图像调整所述色彩校正参数来确定所述多个色彩校正参数。
在一些实施方式中，所述适应度函数包括色彩校正误差和噪声放大度量。
在一些实施方式中，所述处理器被配置用于通过对所述输入颜色值进行色彩校正并且将经校正的输入颜色值与所述参考颜色值进行比较来调整所述多个色彩校正参数。
在一些实施方式中，所述处理器被配置用于通过使用所述参数对所述噪声评价图像进行色彩校正并且将经校正的噪声评价图像与所述校正前噪声评价图像进行比较来调整所述多个色彩校正参数。
在一些实施方式中，所述处理器被配置用于使用峰值信噪比(PSNR)来确定所述噪声放大度量。
在一些实施方式中，所述处理器被配置用于通过求出作为所述校正前噪声评价图像的PSNR与所述经校正噪声评价图像的PSNR之间的差的PSNR差而使用PSNR来确定所述噪声放大度量。
在一些实施方式中，所述处理器被配置用于通过确定下采样PSNR差而使用PSNR来确定所述噪声放大度量。
在一些实施方式中，所述处理器被配置用于通过以下方式来确定所述下采样PSNR差：对所述校正前噪声评价图像进行下采样以获得下采样校正前噪声评价图像；对所述经校正噪声评价图像进行下采样以获得下采样的经校正噪声评价图像；以及求出作为所述下采样校正前噪声评价图像的PSNR与所述下采样经校正噪声评价图像的PSNR之间的差的下采样PSNR差。
在一些实施方式中，所述处理器被配置用于通过确定所述PSNR差和至少一个下采样PSNR差的加权平均值来确定所述噪声放大度量。
在一些实施方式中，所述处理器被配置用于确定多个连续下采样PSNR差并且将所述噪声放大度量确定为所述PSNR差和所述多个连续下采样PSNR差的加权平均值。
在一些实施方式中，所述处理器被配置用于通过利用相应的权重对所述PSNR差和所述多个连续下采样PSNR差中的每一个进行加权来确定所述噪声放大度量，并且所述权重中的至少一个不为零。
在一些实施方式中，所述处理器被配置用于基于颜色方差来确定所述噪声放大度量。
在一些实施方式中，所述处理器被配置用于通过将经色彩校正的噪声评价图像转换到YUV色彩空间中来确定所述噪声放大度量。
在一些实施方式中，所述噪声评价图像包括多个色块，并且其中所述噪声放大度量被确定为所述色块中每一个的噪声放大水平的加权和。
在一些实施方式中，根据人类对所述色块的平均感知敏感度来对每一个色块进行加权。
在一些实施方式中，所述处理器被配置用于通过使所述色彩校正误差和所述噪声放大度量的加权和最小化来优化所述适应度函数。
在一些实施方式中，所述处理器被配置用于使用遗传过程来调整所述色彩校正参数。
在一些实施方式中，所述处理器被配置用于使用直接搜索法来进一步调整所述色彩校正参数。
在一些实施方式中，所述处理器被配置用于通过对包括多个色块的一个或多个颜色参考进行成像来获得所述色彩标定图像的输入颜色值。
在一些实施方式中，所述色彩校正参数呈矩阵的形式。
在一些实施方式中，所述色彩校正参数呈查找表的形式。
在一些实施方式中，所述处理器被配置用于通过在所述查找表中进行的查找操作和插值操作来调整所述色彩校正参数。
在一些实施方式中，所述插值操作包括谢泼德插值。
在一些实施方式中，所述噪声评价图像是虚拟噪声评价图像。
在一些实施方式中，所述虚拟噪声评价图像包括添加到虚拟无噪声图像的噪声。
在一些实施方式中，所述色彩校正设备安装在移动平台上。
在一些实施方式中，所述移动平台是无人飞行器(UAV)。
在本文的另一方面，公开了一种储存用于针对色彩校正而标定数字成像装置的指令的非暂时性可读介质，其中所述指令包括用于以下各项的指令：获得多个颜色参考中的每一个的输入颜色值和参考颜色值以及用于评价降噪的具有颜色噪声的噪声评价图像，所述输入颜色值和参考颜色值位于非线性色彩空间中；以及确定基于在所述非线性色彩空间中评价适应度函数而优化的多个色彩校正参数。
在一些实施方式中，所述非线性色彩空间是CIE L*a*b*色彩空间。
在一些实施方式中，所述确定所述多个色彩校正参数包括基于所述输入颜色值和参考颜色值以及所述噪声评价图像来调整所述色彩校正参数。
在一些实施方式中，所述适应度函数包括色彩校正误差和噪声放大度量。
在一些实施方式中，所述调整所述多个色彩校正参数包括通过对所述输入颜色值进行色彩校正并且将经校正的输入颜色值与所述参考颜色值进行比较来确定所述色彩校正误差。
在一些实施方式中，所述调整所述多个色彩校正参数包括通过使用所述参数对所述噪声评价图像进行色彩校正并且将经校正的噪声评价图像与所述校正前噪声评价图像进行比较来确定所述噪声放大度量。
在一些实施方式中，所述确定所述噪声放大度量包括使用峰值信噪比(PSNR)来确定所述噪声放大度量。
在一些实施方式中，所述使用PSNR来确定噪声放大度量包括求出作为所述校正前噪声评价图像的PSNR与所述经校正噪声评价图像的PSNR之间的差的PSNR差。
在一些实施方式中，所述使用PSNR来确定所述噪声放大度量包括确定下采样PSNR差。
在一些实施方式中，所述确定下采样PSNR差包括：对所述校正前噪声评价图像进行下采样以获得下采样校正前噪声评价图像；对所述经校正噪声评价图像进行下采样以获得下采样经校正噪声评价图像；以及求出作为所述下采样校正前噪声评价图像的PSNR与所述下采样经校正噪声评价图像的PSNR之间的差的下采样PSNR差。
在一些实施方式中，所述确定所述噪声放大度量包括确定所述PSNR差和至少一个下采样PSNR差的加权平均值。
在一些实施方式中，所述使用PSNR来确定所述噪声放大度量包括确定多个连续下采样PSNR差并且将所述噪声放大度量确定为所述PSNR差和所述多个连续下采样PSNR差的加权平均值。
在一些实施方式中，所述确定所述噪声放大度量包括利用相应的权重对所述PSNR差和所述多个连续下采样PSNR差中的每一个进行加权，并且所述权重中的至少一个不为零。
在一些实施方式中，所述确定所述噪声放大度量包括基于颜色方差来确定所述噪声放大度量。
在一些实施方式中，所述调整所述多个色彩校正参数包括通过将经色彩校正的噪声评价图像转换到YUV色彩空间中来确定所述噪声放大度量。
在一些实施方式中，所述噪声评价图像包括多个色块，并且其中所述噪声放大度量被确定为所述色块中的每一个的噪声放大水平的加权和。
在一些实施方式中，根据人类对所述色块的平均感知敏感度来对每一个色块进行加权。
在一些实施方式中，所述调整所述色彩校正参数包括通过使所述色彩校正误差和所述噪声放大度量的加权和最小化来优化所述适应度函数。
在一些实施方式中，所述调整所述色彩校正参数包括使用遗传过程来调整所述参数。
一些实施方式包括使用直接搜索法来进一步调整所述色彩校正参数。
在一些实施方式中，所述获得所述色彩标定图像的输入颜色值包括对包括多个色块的一个或多个颜色参考进行成像。
在一些实施方式中，所述色彩校正参数呈矩阵的形式。
在一些实施方式中，所述色彩校正参数呈查找表的形式。
在一些实施方式中，所述调整所述色彩校正参数包括在所述查找表中进行的查找操作和插值操作。
在一些实施方式中，所述插值操作包括谢泼德插值。
在一些实施方式中，所述噪声评价图像是虚拟噪声评价图像。
在一些实施方式中，所述虚拟噪声评价图像包括添加到虚拟无噪声图像的噪声。
附图说明
图1是图示用于对数字图像进行色彩校正的色彩校正设备的实施方式的示例性顶层框图。
图2是图示包括图1的色彩校正设备的成像系统的实施方式的示例性示图，其中所述成像系统被示出为使用图像传感器来对颜色参考进行成像。
图3是图示图2的成像系统的备选实施方式的示例性示图，其中所述色彩校正设备被示出为获取用于对色彩校正参数进行标定的各个颜色值。
图4是图示用于标定数字成像装置的方法的实施方式的示例性顶层流程图。
图5是图示图4的方法的备选实施方式的示例性流程图，其中对色彩校正参数进行优化以用于标定数字成像装置。
图6是图示图5的方法的备选实施方式的示例性流程图，其中所述方法包括两步优化方法。
图7是图示图5的方法的另一备选实施方式的示例性流程图，其中所述方法包括遗传过程。
图8是图示图5的方法的实施方式的示例性示图，其中所述方法包括在不同的空间频率下进行采样以确定噪声放大度量。
图9是图示利用空间下采样的图8的方法的实施方式的示例性示图。
图10是图示图5的方法的实施方式的示例性流程图，其中所述方法包括在不同的空间频率下进行采样以确定噪声放大度量。
图11是图示安装在无人飞行器(UAV)上的成像系统的实施方式的示例性示图。
图12是图示色度图的示例性示图，所述色度图示出了测试在有噪声调节的情况下优化色彩校正参数的功效的第一实验的颜色误差。
图13是图示图9的实验的噪声值的示例性示图，所述实验测试在有噪声调节的情况下优化色彩校正参数的功效。
图14是图示色度图的示例性示图，所述色度图示出了测试在无噪声调节的情况下优化色彩校正参数的功效的第二实验的颜色误差。
图15是图示图11的实验的噪声值的示例性示图，所述实验测试在无噪声调节的情况下优化色彩校正参数的功效。
图16是图示用于在有噪声调节的情况下优化色彩校正参数的两步方法的示例性示图。
应当注意，附图未按比例绘制，并且相似结构或功能的元素在所有附图中出于示例说明目的而一般由相似的参考标号表示。还应当注意，附图仅仅旨在便利于描述优选实施方式。附图并未图示所描述实施方式的每个方面，并且不限制本公开的范围。
具体实施方式
在附图的所有图中，通过示例而非通过限制的方式图示了本发明，其中相似参考标记指示相似元件。应当注意，本公开中提及的“一种”或“一个”或“一些”实施方式并不一定是指同一实施方式，并且这类提及意指至少一个。
色彩校正是将数字成像装置的光传感器所获取的信号变换成看起来逼真的色彩的过程。色彩校正是由一组色彩校正参数定义的变换。这些参数通常针对每个单独的数字成像装置而标定以找到准确地反映单独装置的颜色响应特性的定制参数值。
色彩校正参数的标定需要优化过程，在优化过程中将成像装置所获取的颜色值与已知参考颜色值进行比较。通常，优化过程期间的目标是使所获取的色彩校正后的颜色与已知参考值之间的差异最小化。然而这种方法的缺点在于，仅将色彩校正准确性纳入考虑往往可能导致过度放大噪声的参数。图像噪声可包括图像中的颜色和亮度变化。这些变化不是所成像的原始对象的特征，而是可归因于对图像的获取和处理所引入的伪影。噪声源包括例如量子曝光噪声、暗电流噪声、热噪声、读出噪声等。由于图像噪声与成像装置的大小成反比，因此噪声的问题对于较小的成像装置而言尤为突出。当在移动平台诸如无人飞行器(UAV)上执行图像获取时，图像噪声问题尤为突出，这既是因为移动平台上所使用的较小的相机，又是因为移动平台的移动所引入的噪声。鉴于以上所述，需要增加色彩校正准确性同时限制噪声放大的改进的色彩校正系统和方法。
本公开阐述了用于数字图像的色彩校正的系统和方法，所述系统和方法通过增加色彩校正准确性同时限制噪声放大来克服现有色彩校正技术的缺点。基于颜色参考图像来标定色彩校正参数以增加色彩校正准确性同时限制噪声放大。标定可以在CIE L*a*b*色彩空间中执行，以更接近地反映人类对色彩之间的距离的感知。标定可以参考可在不同空间频率下进行采样的虚拟有噪声图像来执行。在每个空间频率下，可以使用峰值信噪比(PSNR)来评价色彩校正所引入的噪声量。色彩校正参数可以通过使用遗传过程来优化。可以使用两步参数优化方法，其避免了优化过程陷于局部最优。有利地，本发明系统和方法适合由例如无人飞行器(UAV)和其他移动平台使用。
现在转到图1，图中将示例性色彩校正设备100示出为包括处理器110和存储器120。处理器110可以包括任何类型的处理系统。示例性处理器110可以包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。在某些实施方式中，处理器110可以包括图像处理引擎或媒体处理单元，所述图像处理引擎或媒体处理单元可以包括用于增强针对图像捕捉、图像滤波和图像处理的某些操作的速度和效率的专用硬件。这类操作包括例如拜耳变换(Bayer transformation)、去马赛克操作、白平衡操作、色彩校正操作、降噪操作、和/或图像锐化/柔化操作。在某些实施方式中，处理器110可以包括用于执行本文所描述的各种色彩校正参数标定功能和操作的专用硬件和/或软件。专用硬件可以包括但不限于专用并行处理器、高速缓冲存储器、高速总线等。
存储器120可以包括任何类型的存储器，并且可以是例如随机存取存储器(RAM)、静态RAM、动态RAM、只读存储器(ROM)、可编程ROM、可擦除可编程ROM、电可擦除可编程ROM、闪速存储器、安全数字(SD)卡等。优选地，存储器120具有适应本文所描述的色彩校正参数标定功能和操作的需要的存储容量。存储器120可以具有适合在图像处理应用中使用的任何可商购存储器容量，并且优选地具有至少512MB、1GB、2GB、4GB、16GB、32GB、64GB或更大的存储容量。在一些实施方式中，存储器120可以是能够储存用于执行本文所描述的任何过程的指令的非暂时性存储介质。
色彩校正设备100还可以包括执行本文所描述的各种色彩校正参数标定功能和操作所需的任何硬件和/或软件。例如，色彩校正设备100可以包括一个或多个输入/输出接口(未示出)。示例性接口包括但不限于通用串行总线(USB)、数字视觉接口(DVI)、显示端口、串行ATA(SATA)、IEEE 1394接口(又称为FireWire)、串行、视频图形阵列(VGA)、超级视频图形阵列(SVGA)、小型计算机系统接口(SCSI)、高清多媒体接口(HDMI)、音频端口、和/或专有输入/输出接口。作为另一示例，色彩校正设备100可以包括一个或多个输入/输出装置(未示出)，例如按钮、键盘、小键盘、轨迹球、显示器和/或监视器。作为又一示例，色彩校正设备100可以包括用于色彩校正设备100的部件之间(例如，处理器110与存储器120之间)的通信的硬件。
现在转到图2，图中将成像系统200的示例性实施方式示出为包括色彩校正设备100、图像传感器130和滤色器140。色彩校正设备100能够以上文参考图1更详细讨论的方式来提供。色彩校正设备100的存储器120被示出为在本文所描述的各个色彩校正参数标定功能和操作期间产生的储存色彩校正参数125、噪声生成参数126、校正前和校正后图像数据127以及中间值128。图像传感器130可以执行对光进行感测并将所感测的光转换成电信号的功能，所述电信号可以作为图像呈现。各种图像传感器130适合用于所公开的系统和方法，包括但不限于可商购相机和摄像机中所使用的图像传感器130。合适的图像传感器130可以包括模拟图像传感器(例如，摄像管)和/或数字图像传感器(例如，电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)图像传感器以及其混合体/变体)。数字图像传感器可以包括例如光传感器元件的二维阵列，所述光传感器元件可以各自捕捉图像信息的一个像素。图像传感器130的分辨率可由光传感器元件的数目确定。图像传感器130可以支持任何可商购图像分辨率，并且优选地具有至少10万像素、50万像素、1百万像素、2百万像素、5百万像素、1千万像素或者甚至更大数目像素的分辨率。图像传感器130可以具有用于诸如热成像、多谱图像创建、红外检测、伽马检测、X射线检测等各种应用的专业功能。图像传感器130可以包括例如光电传感器、热/红外传感器、彩色或单色传感器、多谱成像传感器、分光光度计、分光仪、温度计、和/或亮度计。
在图2中将滤色器140示出为基于颜色而分离和/或过滤入射光并且将光引导至图像传感器130的适当的光传感器元件上。例如，滤色器140可以包括滤色器阵列，所述滤色器阵列将红光、绿光或蓝光传到选定像素传感器以形成彩色马赛克(color mosaic)(未示出)。彩色马赛克上不同颜色的布局能够以任何方便的方式(包括拜耳图案)来布置。一旦形成了彩色马赛克，就可以使用各种去马赛克方法中的任何方法来对每个像素的颜色值进行插值，所述去马赛克方法使用相邻像素的颜色值对每个像素处的缺失颜色值进行插值。作为对过滤和去马赛克的替代，图像传感器130可以包括分层像素光传感器元件的阵列，所述阵列基于光传感器元件的性质来分离不同波长的光。在任一情况下，图像都可以由图像传感器130作为每个像素处的多个色彩通道中的每一个中的强度值来获取。
在图2中还将成像系统200示出为获取颜色参考150的图像以执行色彩校正参数125的标定。颜色参考150优选地具有已知参考颜色值Cref，所述参考颜色值是已知的或者能够以其他方式事先确定，从而使得颜色参考150适合用作颜色标准。换句话说，参考颜色值Cref是颜色参考150的、与颜色参考150如何被成像无关的性质。参考颜色值Cref可以基于对颜色参考150的平均人类感知来指定。参考颜色值Cref因而可以充当可以如何对图像传感器130所成像的颜色进行校正以便匹配平均人类感知的客观度量。
颜色参考150优选地但不一定是颜色均匀的。颜色参考150的平坦性是优选的，以避免可归因于差分光散射的变化，但这不是必需的。颜色参考150的光学性质对于执行色彩校正的目的而言无需是理想的，只要所述光学性质不干扰对颜色参考150进行成像即可。颜色参考150可以由多种材料诸如塑料、纸、金属、木材、泡沫、其复合物以及其他材料中的一种或多种制成。此外，颜色参考150的颜色、反射率和/或其他光学性质可以有利地根据需要使用适当的涂料或其他涂层来标定。在一些实施方式中，颜色参考150可以有利地包括多个色块151，其中的每个色块具有不同的参考颜色值Cref。这个实施方式使得多个颜色参考150能够同时被成像，从而减少用于色彩校正的图像捕捉操作的数目。这个实施方式在要对大量颜色参考150进行成像以便更加准确地标定色彩校正参数125时特别适合。可商购颜色参考150包括例如MacBeth ColorChecker、MacBeth ColorChecker SG等。
尽管上文仅出于示例说明目的而在RGB(红、绿和蓝)色彩空间中描述了图像传感器130所获取的图像，但所述图像亦可在其他色彩空间中获取。在其中获取图像的色彩空间一般取决于图像传感器130和任何滤色器140的性质。此外，在其中获取图像的色彩空间不必是三维的，而是可以根据捕捉图像光谱成分的需要具有任何数目的维度。维度的数目可取决于图像传感器130的色彩通道的数目。所获取图像的色彩空间可以是一维的、二维的、三维的、四维的、五维的或更多维的。
一旦图像传感器130获取图像，就可以根据需要在色彩空间之间对图像进行转换以用于处理和/或标定。例如，从具有坐标(RsRGB,GsRGB,BsRGB)的sRGB色彩空间到具有坐标(X,Y,Z)的CIE 1931XYZ色彩空间的转换需要线性转换，所述线性转换可由以下三维矩阵表示：
在一些实施方式中，可能期望在非线性色彩空间中表达图像的颜色。用于成像应用的一种合适的非线性色彩空间是由国际照明委员会(International Commission onIllumination)定义的CIE L*a*b*色彩空间(例如，CIE 1976L*a*b*色彩空间)。图像在CIEL*a*b*色彩空间中的颜色可以使用以下非线性变换、从所述图像在CIE 1931XYZ色彩空间中的颜色计算得出：
其中
在以上公式(2)-(5)中，Xn、Yn和Zn是参考白点处的颜色的CIE XYZ值。CIE L*a*b*色彩空间被设计用于模仿人类感知的颜色响应。从CIE XYZ色彩空间到CIE L*a*b*色彩空间的变换的非线性反映了人类感知的非线性。在CIE L*a*b*色彩空间中表示颜色具有以下优势：CIE L*a*b*色彩空间对于人类而言在感知上是均匀的，这意味着颜色值的给定量的变化将会产生视觉显著性的成比例变化。因此，色彩校正参数125的标定可以有利地在将输入颜色和参考颜色转换成CIE L*a*b*色彩空间表示之后执行。
在一些实施方式中，可能期望在YUV色彩空间(例如，Y’UV色彩空间)中表达图像的颜色。YUV色彩空间由表示图像亮度的一个亮度分量Y和表示图像颜色的两个色度分量U和V表示。从具有坐标(R,G,B)的RGB色彩空间到具有坐标(Y,U,V)的YUV色彩空间的转换需要线性转换，所述线性转换可由以下三维矩阵表示：
尽管仅出于示例说明目的而示出并描述了特定色彩空间之间的转换，但图像亦可根据需要而从任何第一预定色彩空间转换到任何其他第二预定色彩空间。
现在转到图3，图中示出了成像系统200的备选实施方式。图3的成像系统200包括色彩校正设备100，所述色彩校正设备100被示出为获取若干输入以用于色彩校正参数125的标定。图像传感器130被示出为但不限于获取颜色参考150的图像。继而将所述图像传递给色彩校正设备100，所述色彩校正设备100可以获得所述图像的输入颜色值Cin。输入颜色值Cin表示反映图像传感器130的图像获取性质、图像滤波器140的滤波性质以及成像系统200的任何其他光学性质的色彩校正前的值。在一个实施方式中，可以将输入颜色值Cin从颜色参考图像的色彩空间变换到非线性色彩空间—例如，CIE L*a*b*色彩空间。所述变换可以例如通过首先使用从RGB色彩空间到中间CIE XYZ色彩空间的线性变换来执行，所述线性变换使用以上所示的公式(1)。中间CIE XYZ色彩空间中的颜色值可以非线性地变换到CIEL*a*b*色彩空间，如上述公式(2)-(5)中所示。这类变换可以在色彩校正设备100的处理器110(图1中所示)上执行。
类似地，色彩校正设备100可以获得与颜色参考150的输入颜色值Cin相对应的参考颜色值Cref。如果需要，可以将参考颜色值Cref变换到非线性色彩空间中—例如，CIE L*a*b*色彩空间中。在一些实施方式中，可以有利地将参考颜色值Cref在CIE L*a*b*色彩空间中直接输入到色彩校正设备100中，从而使得变换步骤是不必要的。
在图3中，还将色彩校正设备100示出为从噪声评价图像160获得噪声评价颜色值Cnoise。噪声评价图像160可以是任何含噪声的图像。由于色彩校正往往会放大噪声，因此噪声评价图像160可以用来标定色彩校正参数125以便限制噪声放大。换句话说，噪声评价图像160可以用来评价噪声在一组给定色彩校正参数125(图2中所示)下如何放大，并从而选择伴有减小的噪声放大的一组色彩校正参数125。在一个实施方式中，如下文参考图7进一步描述的，可以将噪声评价颜色值Cnoise变换到YUV色彩空间中。所述变换可以例如使用以上在公式(6)中示出的从RGB色彩空间到YUV色彩空间的线性变换来执行。这个变换可以使用色彩校正设备100的处理器110来执行。
在一个实施方式中，噪声评价图像160可以是由图像传感器130在经过或不经过滤色器140滤光的情况下获取的图像。在这个实施方式中，噪声评价图像160优选地是颜色参考150的图像。对颜色参考150进行成像有利地允许同时确定输入颜色值Cin和噪声评价颜色值Cnoise。
备选地和/或附加地，噪声评价图像160可以是虚拟噪声评价图像160A。虚拟噪声评价图像160A可以由色彩校正设备100使用一组预定噪声生成参数126(图2中所示)来生成。噪声生成参数126可以例如反映虚拟生成的噪声的分布(例如，泊松噪声或高斯噪声)。特定的噪声生成参数126能够反映可预期成像系统200在使用中遇到的噪声的类型。由于对噪声放大的评价不需要关于被成像的基础对象的颜色的信息，因此可以使用虚拟噪声评价图像160A。替代地，可以针对任意含噪声的图像的噪声在一组给定色彩校正参数125下将会如何得到放大来对所述图像进行评价。例如，虚拟噪声评价图像160A的噪声评价颜色值Cnoise可以如下表示：
Cnoise＝Cnoise_free+n 公式(7)
其中Cnoise_free表示在添加噪声之前的虚拟噪声评价图像160A的颜色，而n表示所添加的噪声。
一旦色彩校正设备100获得用于色彩校正参数标定的输入(例如，输入颜色值Cin、参考颜色值Cref以及噪声评价颜色值Cnoise)，就可以储存这些输入以供随后由色彩校正设备100使用(例如，储存在如图1中所示的存储器120中)。例如，作为新的成像装置200在使用之前的初始化过程的一部分，可以获得用于色彩校正参数标定的输入。可以将用于色彩校正参数标定的输入储存在存储器120中，并且根据需要(例如，当成像装置200的图像响应特性在磨损后发生改变时)而定期地对其加以调用以便重新标定色彩校正参数125。可以但不必针对每次新的色彩校正参数标定而重新获得用于色彩校正参数标定的输入。
现在转到图4，图中示出了对色彩校正参数125进行标定的示例性顶层方法400。方法400可以有利地应用于为数字成像装置200标定色彩校正参数125(图2和3中所示)。在401处，针对多个颜色参考150(图2和3中所示)中的每一个获得输入颜色值Cin和参考颜色值Cref。优选地，获得输入颜色值Cin和参考颜色值Cref或将其变换到非线性色彩空间中—例如，CIE L*a*b*色彩空间中—如上文参考图3所描述的。另外，获得用于评价降噪的具有颜色噪声的噪声评价图像160。
在402处，调整多个色彩校正参数125以便优化适应度函数J。在一些实施方式中，适应度函数J可以包括基于输入颜色值Cin、参考颜色值Cref和噪声评价图像160的色彩校正误差ecolor和/或噪声放大度量Dnoise。下文关于图5更详细地描述所述调整的示例性实施方式。
现在转到图5，图中示出了为数字成像装置200(图2和3中所示)标定色彩校正参数125(图2中所示)的示例性方法500。在501处，使用色彩校正参数125的当前值对颜色参考150的输入颜色(或校正前)值Cin进行色彩校正，以获得校正后的输入颜色值这个操作可以表示为：
在以上公式(8)中，CC表示色彩校正操作。色彩校正操作CC的具体实现方式取决于色彩校正参数125的基础形式。在一个实施方式中，色彩校正参数125可以采取具有n x m维的矩阵的形式，其中m是校正前颜色值的维度而n是校正后颜色值的维度。在这个实施方式中，色彩校正操作CC将会采取将m维颜色值矢量变换为n维颜色值矢量的矩阵乘法的形式。优选地，校正前颜色值和校正后颜色值具有相同的维度，在这种情况下，CC将会采取方矩阵的形式。优选地，校正前颜色值和校正后颜色值各自是三维的(例如，对于RGB、CIE XYZ、CIEL*a*b*和LUV色彩空间中的颜色值)，在这种情况下，CC将会采取3×3矩阵的形式。使用矩阵的优点在于矩阵可以使用仅n×m个校正参数125来描述色彩校正操作CC，从而允许减少存储器使用。然而，使用矩阵的线性色彩校正可能不适合于一些应用。
在另一实施方式中，色彩校正参数125可以采取在m维中索引的查找表(LUT)的形式，所述查找表包含有序的m-元组(a1,a2,…,am)，每个元组映射到一个n-维矢量，其中m是校正前颜色值的维度而n是校正后颜色值的维度。优选地，查找表是三维的，即，在三个维度中索引。使用查找表来实现色彩校正参数125的优点在于查找表可以将校正前颜色值与校正后颜色值之间的非线性关系纳入考虑。此外，由于查找表中的条目是离散的，因此在校正前颜色值落在离散的条目之间时，可以执行插值操作。这类插值操作可以包括寻找与校正前颜色值具有最近距离(例如，欧几里得距离)的查找表条目，并且使用所述最近的查找表条目对经校正的颜色值进行插值。例如，可以针对一维查找表执行线性插值，并且可以针对更高维度的查找表执行多线性插值。在这个实施方式中，色彩校正操作CC将会采取以下形式：在查找表中进行的查找操作，之后是插值操作，如果需要的话。色彩校正参数125能够以多种方式同时实现；例如，可以使用矩阵与查找表的组合来实现。
在一个实施方式中，可以使用谢泼德插值来执行色彩校正，其中色彩校正参数125采取查找表(LUT)的形式。在一个实施方式中，可以如下求出给定颜色p的色彩校正值：
在以上公式(9)中，i是对不同的输入颜色值Cin及其对应参考颜色值Cref的索引，ci表示输入颜色值Cin的第i个值，表示参考颜色值Cref的第i个值，(‖p-ci‖)表示给定颜色p与ci之间的距离(例如，欧几里得距离)，并且wi表示第i个输入颜色值Cin的权重。
在502处，将校正后输入颜色值与参考颜色值Cref进行比较，并且基于所述比较来计算色彩校正误差ecolor。例如，在校正后输入颜色值和参考颜色值Cref是在CIE L*a*b*色彩空间中表示的情况下，色彩校正误差ecolor可以表达为：
在以上公式(10)中，Cin_j和分别表示参考颜色值Cref和校正后输入颜色值的第j个分量。换句话说，色彩校正误差ecolor是校正后输入颜色值与参考颜色值Cref之间在在其中表示颜色值的色彩空间中的欧几里得距离。在要对多个颜色参考150(或者，等效地，对给定颜色参考150的多个色块151)确定色彩校正误差ecolor的情况下，可以将色彩校正误差ecolor取为色块151的加权平均值和/或未加权平均值。
在503处，使用色彩校正参数125的当前值来对噪声评价颜色值Cnoise进行颜色校正，以获得校正后噪声评价颜色值这个操作可以表示为：
在以上公式(11)中，CC表示如上文参考501所描述的色彩校正操作。具体的色彩校正操作CC取决于色彩校正参数125的实现方式，并且如上文参考501所描述的，可以采取矩阵或查找表的形式，其中每种形式具有相应的优点。
在504处，将校正后噪声评价颜色值与校正前噪声评价颜色值Cnoise进行比较，并且基于所述比较来求出噪声放大度量Dnoise。噪声放大度量Dnoise可以是校正后噪声评价颜色值与校正前噪声评价颜色值Cnoise之间的距离的任何量度。也就是说，噪声放大度量Dnoise的值越大，在施加色彩校正后被放大的噪声就越多。
在要对多个颜色参考150(或者，等效地，对给定颜色参考150的多个色块151)确定噪声放大度量Dnoise的情况下，可以将噪声放大度量Dnoise取为色块151的加权平均值和/或未加权平均值。在一个实施方式中，可以将噪声放大度量Dnoise取为色块151的加权平均值。
在以上公式(12)中，i是对色块151的索引，N是色块151的总数，并且ωi是色块i的非负权重。权重ωi可以根据人类对每个色块151的颜色的平均感知敏感度来设定。例如，可以给予具有较大人类感知敏感度的颜色较大的权重ωi。
在505处，可以确定适应度函数J。在一些实施方式中，可以将适应度函数J求出为色彩校正误差ecolor与噪声放大度量Dnoise的加权和以及/或者未加权和。例如，未加权适应度函数J可以表示为以下和：
J＝ecolor+Dnoise 公式(13)
在一些实施方式中，加权适应度函数J可以用来有利地给予色彩校正误差ecolor高于噪声放大度量Dnoise的权重，或者反之亦然。适应度函数J的加权量可以通过例如针对不同的权重重复色彩校正参数标定并且取给出适应度函数J的最佳(例如，最低)值的权重来确定。备选地和/或附加地，适应度函数J的加权量可以基于先前的色彩校正参数标定(例如，使用不同的成像装置)来确定。
现在转到图6，图中将用于标定色彩校正参数125(图2中所示)的示例性方法600示出为包括两个步骤。在601处，应用第一优化过程，以获得色彩校正参数125的初始值CC0。第一优化优选地对可能的色彩校正参数值的空间进行宽泛采样以便避免陷于局部最优。在601处的第一优化中可以使用各种优化过程中的任何过程，包括遗传过程、模拟退火法和其他避免局部最优的非穷尽方法。在602处，使用初始值CC0作为起始点来应用第二优化过程，以获得色彩校正参数125的进一步优化值CCopt。在602处的第二优化处，目标是求出局部最优值。因此，直接优化法适合于在602处的第二优化。示例性直接优化法包括但不限于梯度下降法。
现在转到图7，图中示出了用于标定色彩校正参数125(图2中所示)的示例性遗传过程700。遗传过程是大致地基于生物学中的进化原理的一种优化方法，其中将问题的可能解生成为“种群(population)”的成员，并且基于适应度函数经过多个选择轮次来选择成员。遗传过程700可以用来求得选择一组色彩校正参数125以优化(例如，最小化)包括色彩校正误差ecolor和噪声放大度量Dnoise的适应度函数J这一问题的最优解。在701处，选择候选色彩校正参数125A的初始组的预定数目N作为解的初始“种群”。预定数目N可以包括任何合适数目的初始组，并且例如可以是至少10、50、100、500、1000或更多。N组候选色彩校正参数125A的初始种群可以例如通过以指定间隔对可能的参数的空间进行采样来选择。备选地和/或附加地，所述采样可以随机进行。
在702处，针对“种群”的成员，即，针对N组候选色彩校正参数125A中的每一组，来评价适应度函数J。从候选色彩校正参数125A的N个初始组当中，选择具有适应度函数J的最佳值(例如，如果适应度函数J要最小化，则为最小值)的初始组。在703处，如果最佳值越过预定阈值，则遗传过程在704处停止。备选地和/或附加地，在705处，如果满足一定条件(例如，遗传过程已经运行超过一定数目的轮次，或者遗传过程自前一轮次开始对适应度函数J所产生的改进未超过特定量)，则遗传过程在704处停止。在遗传过程在704处停止之后，将给出适应度函数J的最佳值的候选色彩校正参数125A宣称为“赢家”，并且可以输出和/或使用这些候选色彩校正参数125A作为进一步优化的起始点。
如果在703处“最佳”候选校正参数125未越过预定阈值和/或未满足用于使遗传过程停止的一定条件，则在706处，遗传过程通过丢弃并替换具有适应度函数J的最低值的候选色彩校正参数125A而继续进行。在一个实施方式中，可以丢弃给定百分位数的具有最低适应度函数J的候选色彩校正参数125A，并用新的候选色彩校正参数125A来替换。所述新的候选色彩校正参数125A可以例如通过与初始候选色彩校正参数125A相同的方式来生成。在一些实施方式中，可以丢弃至少10％、20％、30％、40％、50％或更多的得分最低的适应度函数J。
在707处，可以对候选色彩校正参数125A施加“突变”操作，模拟在连续世代的个体之间染色体的生物学突变。这里，每组候选色彩校正参数125A在概念上可以视作也经受突变的“染色体”。候选色彩校正参数125A的突变包括例如随机改变个体参数的“点突变”和/或两组候选色彩校正参数125A之间的“交叉”突变。例如，在候选色彩校正参数125A采取矩阵的形式的情况下，可以通过在两个候选矩阵之间调换对应的行和/或列或其部分来执行交叉。在候选色彩校正参数125A采取查找表的形式的情况下，可以通过调换查找表中的一个或多个对应条目来执行交叉。一旦将突变施加于候选色彩校正参数125A，方法700就可以返回至702以针对遗传过程的新轮次来评价适应度函数J。
噪声放大度量Dnoise可以使用任何合适的途径来确定，包括但不限于使用峰值信噪比(PSNR)和/或颜色方差。
现在转到图8，图中示出了使用峰值信噪比(PSNR)来求出噪声放大度量Dnoise的示例性示图。如公式(7)中所描述的，可以从无噪声颜色值Cnoise_free开始，通过添加噪声n求出噪声评价颜色值Cnoise。可以分别向无噪声颜色值Cnoise_free和噪声评价颜色值Cnoise施加色彩校正CC，以求出无噪声颜色值的对应校正后值和噪声评价颜色值的对应校正后值例如，公式(11)和以下的公式(14)中示出了色彩校正：
基于参数Cnoise_free、Cnoise、和可以通过确定均方误差(MSE)来求出一对PSNR值PSNR和如公式(15)至公式(18)中所示：
在以上公式(15)-(16)中，S(即，∑jSj)是像素的数目，而MAXI是Cnoise和Cnoise_free中的最大值，并且j是对虚拟色块间的索引。
在以上公式(17)-(18)中，S(即，∑jSj)是像素的数目，而MAXI是和中的最大值，并且j是对虚拟色块间的索引。
在一些实施方式中，确定噪声放大度量Dnoise可以包括求出PSNR差，所述PSNR差是校正前噪声评价图像的PSNR与经校正的噪声评价图像的之间的差。
在一些实施方式中，可以通过下采样来确定噪声放大度量Dnoise。例如，如图9中所示，下采样可以是空间下采样。具体地，图9图示了下采样的实施方式，其中在第一下采样中每隔一个像素对图像(例如，具有校正前噪声评价颜色值Cnoise或校正前无噪声颜色值Cnoise_free的图像)进行采样。在一些实施方式中，可以对经下采样的图像再次进行下采样，并且下采样过程可以根据需要而重复进行多达M次迭代。尽管图9中未示出，但是可以对已经进行过色彩校正的图像(例如，具有校正后噪声评价颜色值或校正后无噪声颜色值的图像)执行类似的下采样过程。如图8-图9中所示，由于下采样可以是迭代过程，因此用与所述迭代相对应的从0到M的下标来标记这特定迭代的颜色值和PSNR值。
在每轮下采样之后，可以使用经下采样的图像来确定一个或多个下采样PSNR以及下采样PSNR差。返回到图8，可以使用已经经历过一轮下采样的校正前无噪声颜色值和校正前噪声评价颜色值来求出对应的下采样PSNR1。同样地，可以使用已经经历过一轮下采样的校正后无噪声颜色值和校正后噪声评价颜色值来求出对应的下采样在M轮下采样之后，将会获得一组PSNR值PSNRi和其中i的范围是从0到M。这组PSNR值可以用来求出针对范围是从0到M的i值的对应PSNR差，其中i＝0对应于尚未进行下采样的PSNR差，而i＝m对应于已经下采样过m次的PSNR差。
在一些实施方式中，可以通过取PSNR差和至少一个下采样
PSNR差的加权平均值来获得噪声放大度量Dnoise。在一些实施方式中，可以通过取PSNR差和多个连续下采样PSNR差的加权平均值来获得噪声放大度量Dnoise。可以将施加于每个PSNR差和/或下采样PSNR差的权重表示为wi，其中i的范围是从0到M。求出噪声放大度量Dnoise的示例性方法在公式(19)中示出如下，这在图8中重现：
其中M是下采样迭代的总数，而wi是给予每次下采样迭代i的权重。
在一些实施方式中，权重wi中的至少一个是非零的。换句话说，可以给予一次或更多次迭代i时的PSNR差零权重，以便有效地忽略这个PSNR差，只要不忽略所有的权重即可。
现在转到图10，图中示出了用于求出噪声放大度量Dnoise的示例性方法1000，其以连续的下采样频率定位和比较峰值信噪比(PSNR)。在1001a处，可以使用校正前噪声评价颜色值和校正前无噪声颜色值求出校正前PSNR的初始值PSNR0，如上文参考图8和图9所描述的。在1002a处，可以对和中的每一个进行下采样以分别获得Cnoise1和在1003a处，可以由和求出下采样PSNR1。可选地，在1004a处，下采样和求出对应的下采样PSNR的过程可以根据需要而重复M次迭代。
类似地，可以针对经色彩校正的图像重复迭代下采样过程。在1001b处，可以使用校正后噪声评价颜色值和校正后无噪声颜色值求出校正后PSNR的初始值如上文参考图8和图9所描述的。在1002b处，可以对和中的每一个进行下采样以分别获得和在1003b处，可以由和求出下采样可选地，在1004b处，下采样和求出对应的下采样的过程可以根据需要而重复M次迭代。
最终，在1005处，可以使用在0至M次迭代时所求出的一组PSNR值和经色彩校正PSNR值来求出噪声放大度量Dnoise—例如，如上文公式(19)中所示。
在另一实施方式中，可以基于校正前噪声评价颜色值和校正后噪声评价颜色值的Y、U和V分量的方差来获得噪声放大度量Dnoise。在示例性实施方式中，可以使用公式(20)来获得噪声放大度量Dnoise：
其中表示校正前噪声评价颜色值的Y分量的方差，而表示校正后噪声评价颜色值的Y分量的方差，且对于U和V分量是同样的，并且wi是给予每次下采样迭代i的权重，其中wi≥0。
现在转到图11，图中示出了成像系统200的示例性实施方式，其中将成像系统200示出为安装在无人飞行器(UAV)1100上。UAV1100俗称“无人机(drone)”，是无人类飞行员搭载并且其飞行受到自主控制和/或由远程飞行员控制的飞机。成像系统200适合于安装在各种类型的UAV 1100中的任何一种之上，所述各种类型的UAV 1100包括但不限于旋翼飞机、固定翼飞机及其混合体。合适的旋翼飞机包括例如单旋翼、双旋翼、三旋翼、四旋翼(四轴飞行器)、六旋翼和八旋翼的旋翼飞机。成像系统200可以安装在UAV 1100的各个部分上。例如，成像系统200可以安装在UAV 1100的机身1110内。或者，成像系统200可以安装到UAV1100的外表面1020上(例如，底面1025上)。此外，成像系统200的各个部件可以安装在UAV1100的相同部分上和/或不同部分上。例如，图像传感器130可以安装在外表面1120上以便于图像获取；同时，色彩校正设备100可以有利地安装在机身1110内以保护免受磨损。同样地，色彩校正设备100的各个部件可以安装在UAV 1100的相同部分上和/或不同部分上。尽管仅出于示例说明目的而关于UAV 1100进行了图示和描述，但成像系统200可包括任何类型的移动平台或安装在其上。示例性的合适的移动平台包括但不限于自行车、汽车、卡车、船舶、小舟、火车、直升机、飞机、其各种混合体等。
示例1
执行以下色彩校正参数标定实验以确定具有噪声调节的标定方法相比于没有噪声调节的方法的功效。首先，使用输入图像，通过按上文所描述的方式使用包括噪声放大度量的适应度函数来标定色彩校正参数。图12示出了在CIE L*a*b*色彩空间(示出了a*和b*维度中的横截面)中所得的颜色误差的色度图，其示出了平均色彩校正误差为16.8，并且最大色彩校正误差为29.7。图13示出了来自同一实验的所得噪声水平的曲线图，其示出了平均Y(亮度)噪声为0.83％；而R、G和B分量中的平均色度噪声分别为1.38％、1.31％和1.63％。
与此相反，使用同一输入图像，通过使用不包括噪声放大度量的适应度函数来标定色彩校正参数。图14示出了在CIE L*a*b*色彩空间中所得的颜色误差的色度图，其示出了平均色彩校正误差为17.7，并且最大色彩校正误差为35，这两者都显著大于在有噪声调节的情况下所获得的对应误差。图15示出了所述实验的对应噪声水平的曲线图，其示出了平均Y(亮度)噪声为0.86％；而R、G和B分量中的平均色度噪声分别为1.56％、1.31％和1.66％，它们显著大于在有噪声调节的情况下的标定所获得的噪声。因此，从这个实验可以看出，具有噪声调节的色彩校正参数标定是优于没有噪声调节的色彩校正参数标定的改进。
示例2
执行以下色彩校正参数标定实验以确定在转换至CIE L*a*b*色彩空间的情况下进行标定的方法相比于在CIE XYZ色彩空间中进行标定的方法的功效。首先，在将输入图像的输入颜色和参考颜色转换至CIE L*a*b*之后，使用所述输入图像来标定色彩校正参数。优化产生了以下色彩校正参数矩阵：
具有为2.412169304的优化ec。
接下来，在将同一输入图像的输入颜色和参考颜色转换至CIE XYZ之后，使用所述输入图像来标定色彩校正参数。优化产生了以下色彩校正参数矩阵：
具有为3.0107447的优化ec。这个比较表明，使用非线性色彩空间—这里，CIE L*a*b*色彩空间—与使用CIE XYZ色彩空间相比产生了改进的结果。
示例3
以下示例示出了使用图6的两步方法来优化一组色彩校正参数的过程。在两步方法的第一步中，使用遗传过程来求出一组初始参数，以便避免陷于局部最优。在图16中的上半部分示出了经过600代的遗传过程的参数的适应度值，其示出了适应度值在600代之后达到为335.134的最佳值。在两步方法的第二步中，从第一步结束时产生的初始参数开始，使用直接优化过程。在第二步中，在另一600代之后，直接优化法缩小了经校正的输入颜色与对应的参考颜色之间的平均距离，如图15中的下半部分所示。这个示例表明，使用两步优化方法是有利的。
所公开的实施方式易于有各种修改和替代形式，并且其具体示例已在附图中通过举例的方式示出并在本文中进行了详细描述。然而应当理解，所公开的实施方式并不限于所公开的特定形式或方法，而是相反，所公开的实施方式将覆盖所有修改、等效项和替代方案。

Claims (112)

1.一种用于针对色彩校正来标定数字成像装置的方法，所述方法包括：
获得多个颜色参考中的每一个的输入颜色值和参考颜色值以及用于评价降噪的具有颜色噪声的噪声评价图像，所述输入颜色值和所述参考颜色值位于非线性色彩空间中；以及
确定多个色彩校正参数，所述多个色彩校正参数是基于在所述非线性色彩空间中评价适应度函数而优化的。
2.如权利要求1所述的方法，其中所述非线性色彩空间是CIEL*a*b*色彩空间。
3.如权利要求1或2所述的方法，其中所述确定所述多个色彩校正参数包括基于所述输入颜色值和所述参考颜色值以及所述噪声评价图像来调整所述色彩校正参数。
4.如权利要求3所述的方法，其中所述适应度函数包括色彩校正误差和噪声放大度量。
5.如权利要求4所述的方法，其中所述调整所述多个色彩校正参数包括通过对所述输入颜色值进行色彩校正并且将所述经校正输入颜色值与所述参考颜色值进行比较来确定所述色彩校正误差。
6.如权利要求4或5所述的方法，其中所述调整所述多个色彩校正参数包括通过使用所述参数对所述噪声评价图像进行色彩校正并且将所述经校正的噪声评价图像与所述校正前噪声评价图像进行比较来确定所述噪声放大度量。
7.如权利要求6所述的方法，其中所述确定所述噪声放大度量包括使用峰值信噪比(PSNR)来确定所述噪声放大度量。
8.如权利要求7所述的方法，其中所述使用PSNR来确定所述噪声放大度量包括求出PSNR差，所述PSNR差是所述校正前噪声评价图像的PSNR与所述经校正噪声评价图像的PSNR之间的差。
9.如权利要求7或8所述的方法，其中所述使用PSNR来确定所述噪声放大度量包括确定下采样PSNR差。
10.如权利要求9所述的方法，其中所述确定所述下采样PSNR差包括：
对所述校正前噪声评价图像进行下采样以获得下采样校正前噪声评价图像；
对所述经校正噪声评价图像进行下采样以获得下采样的经校正噪声评价图像；以及
求出所述下采样PSNR差，所述所述下采样PSNR差是针对所述下采样的校正前噪声评价图像的PSNR与所述下采样的经校正噪声评价图像的PSNR之间的差。
11.如权利要求9或10所述的方法，其中所述确定所述噪声放大度量包括确定所述PSNR差和所述至少一个下采样PSNR差的加权平均值。
12.如权利要求11所述的方法，其中所述使用PSNR来确定所述噪声放大度量包括确定多个连续下采样PSNR差并且将所述噪声放大度量确定为所述PSNR差和所述多个连续下采样PSNR差的加权平均值。
13.如权利要求12所述的方法，其中所述确定所述噪声放大度量包括以相应权重对所述PSNR差和所述多个连续下采样PSNR差中的每一个进行加权，并且所述权重中的至少一个不为零。
14.如权利要求6所述的方法，其中所述确定所述噪声放大度量包括基于颜色方差来确定所述噪声放大度量。
15.如权利要求6-14中任一项所述的方法，其中所述调整所述多个色彩校正参数包括通过将所述经色彩校正的噪声评价图像转换到YUV色彩空间中来确定所述噪声放大度量。
16.如权利要求4-15中任一项所述的方法，其中所述噪声评价图像包括多个色块，并且其中将所述噪声放大度量确定为所述色块中的每一个的噪声放大水平的加权和。
17.如权利要求16所述的方法，其中根据人类对所述色块的平均感知敏感度来对每一个色块进行加权。
18.如权利要求4-17中任一项所述的方法，其中所述调整所述色彩校正参数包括通过使所述色彩校正误差和所述噪声放大度量的加权和最小化来优化所述适应度函数。
19.根据上述权利要求中任一项所述的方法，其中所述调整所述色彩校正参数包括使用遗传过程来调整所述参数。
20.如权利要求19所述的方法，包括使用直接搜索法来进一步调整所述色彩校正参数。
21.根据上述权利要求中任一项所述的方法，其中所述获得所述色彩标定图像的所述输入颜色值包括对包括多个色块的一个或多个颜色参考进行成像。
22.根据上述权利要求中任一项所述的方法，其中所述色彩校正参数呈矩阵的形式。
23.根据上述权利要求中任一项所述的方法，其中所述色彩校正参数呈查找表的形式。
24.如权利要求23所述的方法，其中所述调整所述色彩校正参数包括在所述查找表中进行的查找操作和插值操作。
25.如权利要求24所述的方法，其中所述插值操作包括谢泼德插值。
26.根据上述权利要求中任一项所述的方法，其中所述噪声评价图像是虚拟噪声评价图像。
27.如权利要求26所述的方法，其中所述虚拟噪声评价图像包括添加到虚拟无噪声图像的噪声。
28.一种色彩校正设备，其被配置用于基于各自具有参考颜色的多个颜色参考的图像而针对色彩校正进行标定，该色彩校正设备包括：
存储器，其用于储存多个色彩校正参数；以及
处理器，其用于执行数字图像的色彩校正，
其中所述处理器被配置用于：
获得所述颜色参考中的每一个的输入颜色值和参考颜色值以及用于评价降噪的具有颜色噪声的噪声评价图像，所述输入颜色值和所述参考颜色值位于非线性色彩空间中，并且
确定基于在所述非线性色彩空间中评价适应度函数而优化的多个色彩校正参数。
29.如权利要求28所述的色彩校正设备，其中所述非线性色彩空间是CIE L*a*b*色彩空间。
30.如权利要求28或29所述的色彩校正设备，其中所述处理器被配置用于通过基于所述输入颜色值和所述参考颜色值以及所述噪声评价图像调整所述色彩校正参数来确定所述多个色彩校正参数。
31.如权利要求30所述的色彩校正设备，其中所述适应度函数包括色彩校正误差和噪声放大度量。
32.如权利要求31所述的色彩校正设备，其中所述处理器被配置用于通过对所述输入颜色值进行色彩校正并且将所述经校正的输入颜色值与所述参考颜色值进行比较来调整所述多个色彩校正参数。
33.如权利要求31或32所述的色彩校正设备，其中所述处理器被配置用于通过使用所述参数对所述噪声评价图像进行色彩校正并且将所述经校正的噪声评价图像与所述校正前噪声评价图像进行比较来调整所述多个色彩校正参数。
34.如权利要求33所述的色彩校正设备，其中所述处理器被配置用于使用峰值信噪比(PSNR)来确定所述噪声放大度量。
35.如权利要求34所述的色彩校正设备，其中所述处理器被配置用于通过求出PSNR差而使用PSNR来确定所述噪声放大度量，所述PSNR差是所述校正前噪声评价图像的PSNR与所述经校正噪声评价图像的PSNR之间的差。
36.如权利要求34或35所述的色彩校正设备，其中所述处理器被配置用于通过确定下采样PSNR差而使用PSNR来确定所述噪声放大度量。
37.如权利要求36所述的色彩校正设备，其中所述处理器被配置用于通过以下方式来确定所述下采样PSNR差：
对所述校正前噪声评价图像进行下采样以获得下采样的校正前噪声评价图像；
对所述经校正噪声评价图像进行下采样以获得下采样的经校正噪声评价图像；以及
求出作为所述下采样的校正前噪声评价图像的PSNR与所述下采样的经校正噪声评价图像的PSNR之间的差的所述下采样PSNR差。
38.如权利要求36或37所述的色彩校正设备，其中所述处理器被配置用于通过确定所述PSNR差和所述至少一个下采样PSNR差的加权平均值来确定所述噪声放大度量。
39.如权利要求38所述的色彩校正设备，其中所述处理器被配置用于确定多个连续下采样PSNR差，并且将所述噪声放大度量确定为所述PSNR差和所述多个连续下采样PSNR差的加权平均值。
40.如权利要求39所述的色彩校正设备，其中所述处理器被配置用于通过以相应权重对所述PSNR差和所述多个连续下采样PSNR差中的每一个进行加权来确定所述噪声放大度量，并且所述权重中的至少一个不为零。
41.如权利要求33所述的色彩校正设备，其中所述处理器被配置用于基于颜色方差来确定所述噪声放大度量。
42.如权利要求33-41中任一项所述的色彩校正设备，其中所述处理器被配置用于通过将所述经色彩校正的噪声评价图像转换到YUV色彩空间中来确定所述噪声放大度量。
43.如权利要求31-42中任一项所述的色彩校正设备，其中所述噪声评价图像包括多个色块，并且其中将所述噪声放大度量确定为所述色块中的每一个的噪声放大水平的加权和。
44.如权利要求43所述的色彩校正设备，其中根据人类对所述色块的平均感知敏感度来对每一个色块进行加权。
45.如权利要求31-44中任一项所述的色彩校正设备，其中所述处理器被配置用于通过使所述色彩校正误差和所述噪声放大度量的加权和最小化来优化所述适应度函数。
46.如权利要求28-45中任一项所述的色彩校正设备，其中所述处理器被配置用于使用遗传过程来调整所述色彩校正参数。
47.如权利要求46所述的色彩校正设备，其中所述处理器被配置用于使用直接搜索法来进一步调整所述色彩校正参数。
48.如权利要求28-47中任一项所述的色彩校正设备，其中所述处理器被配置用于通过对包括多个色块的一个或多个颜色参考进行成像来获得所述色彩标定图像的所述输入颜色值。
49.如权利要求28-48中任一项所述的色彩校正设备，其中所述色彩校正参数呈矩阵的形式。
50.如权利要求28-49中任一项所述的色彩校正设备，其中所述色彩校正参数呈查找表的形式。
51.如权利要求50所述的色彩校正设备，其中所述处理器被配置用于通过在所述查找表中进行的查找操作和插值操作来调整所述色彩校正参数。
52.如权利要求51所述的色彩校正设备，其中所述插值操作包括谢泼德插值。
53.如权利要求28-52中任一项所述的色彩校正设备，其中所述噪声评价图像是虚拟噪声评价图像。
54.如权利要求53所述的色彩校正设备，其中所述虚拟噪声评价图像包括添加到虚拟无噪声图像的噪声。
55.如权利要求28-54中任一项所述的色彩校正设备，其中所述色彩校正设备安装在移动平台上。
56.如权利要求55所述的色彩校正设备，其中所述移动平台是无人飞行器(UAV)。
57.一种数字成像装置，包括：
图像传感器，其用于对多个颜色参考进行成像；以及
处理器，其用于执行数字图像的色彩校正，
其中所述处理器被配置用于：
获得所述颜色参考中的每一个的输入颜色值和参考颜色值以及用于评价降噪的具有颜色噪声的噪声评价图像，所述输入颜色值和所述参考颜色值位于非线性色彩空间中，并且
确定基于在所述非线性色彩空间中评价适应度函数而优化的多个色彩校正参数。
58.如权利要求57所述的数字成像装置，其中所述非线性色彩空间是CIE L*a*b*色彩空间。
59.如权利要求57或58所述的数字成像装置，其中所述处理器被配置用于通过基于所述输入颜色值和所述参考颜色值以及所述噪声评价图像调整所述色彩校正参数来确定所述多个色彩校正参数。
60.如权利要求59所述的数字成像装置，其中所述适应度函数包括色彩校正误差和噪声放大度量。
61.如权利要求60所述的数字成像装置，其中所述处理器被配置用于通过对所述输入颜色值进行色彩校正并且将所述经校正的输入颜色值与所述参考颜色值进行比较来调整所述多个色彩校正参数。
62.如权利要求60或61所述的数字成像装置，其中所述处理器被配置用于通过使用所述参数对所述噪声评价图像进行色彩校正并且将所述经校正的噪声评价图像与所述校正前噪声评价图像进行比较来调整所述多个色彩校正参数。
63.如权利要求62所述的数字成像装置，其中所述处理器被配置用于使用峰值信噪比(PSNR)来确定所述噪声放大度量。
64.如权利要求63所述的数字成像装置，其中所述处理器被配置用于通过求出PSNR差而使用PSNR来确定所述噪声放大度量，所述PSNR差是所述校正前噪声评价图像的PSNR与所述经校正噪声评价图像的PSNR之间的差。
65.如权利要求63或64所述的数字成像装置，其中所述处理器被配置用于通过确定下采样PSNR差而使用PSNR来确定所述噪声放大度量。
66.如权利要求65所述的数字成像装置，其中所述处理器被配置用于通过以下方式来确定所述下采样PSNR差：
对所述校正前噪声评价图像进行下采样以获得下采样的校正前噪声评价图像；
对所述经校正噪声评价图像进行下采样以获得下采样的经校正噪声评价图像；以及
求出所述下采样校正前噪声评价图像的PSNR与所述下采样的经校正噪声评价图像的PSNR之间的差的所述下采样PSNR差。
67.如权利要求65或66所述的数字成像装置，其中所述处理器被配置用于通过确定所述PSNR差和所述至少一个下采样PSNR差的加权平均值来确定所述噪声放大度量。
68.如权利要求67所述的数字成像装置，其中所述处理器被配置用于确定多个连续下采样PSNR差，并且将所述噪声放大度量确定为所述PSNR差和所述多个连续下采样PSNR差的加权平均值。
69.如权利要求68所述的数字成像装置，其中所述处理器被配置用于通过以相应权重对所述PSNR差和所述多个连续下采样PSNR差中的每一个进行加权来确定所述噪声放大度量，并且所述权重中的至少一个不为零。
70.如权利要求62所述的数字成像装置，其中所述处理器被配置用于基于颜色方差来确定所述噪声放大度量。
71.如权利要求62-70中任一项所述的数字成像装置，其中所述处理器被配置用于通过将所述经色彩校正的噪声评价图像转换到YUV色彩空间中来确定所述噪声放大度量。
72.如权利要求60-71中任一项所述的数字成像装置，其中所述噪声评价图像包括多个色块，并且其中将所述噪声放大度量确定为所述色块中的每一个的噪声放大水平的加权和。
73.如权利要求72所述的数字成像装置，其中根据人类对所述色块的平均感知敏感度来对每一个色块进行加权。
74.如权利要求60-73中任一项所述的数字成像装置，其中所述处理器被配置用于通过使所述色彩校正误差和所述噪声放大度量的加权和最小化来优化所述适应度函数。
75.如权利要求57-74中任一项所述的数字成像装置，其中所述处理器被配置用于使用遗传过程来调整所述色彩校正参数。
76.如权利要求75所述的数字成像装置，其中所述处理器被配置用于使用直接搜索法来进一步调整所述色彩校正参数。
77.如权利要求57-76中任一项所述的数字成像装置，其中所述处理器被配置用于通过对包括多个色块的一个或多个颜色参考进行成像来获得所述色彩标定图像的所述输入颜色值。
78.如权利要求57-77中任一项所述的数字成像装置，其中所述色彩校正参数呈矩阵的形式。
79.如权利要求57-78中任一项所述的数字成像装置，其中所述色彩校正参数呈查找表的形式。
80.如权利要求79所述的数字成像装置，其中所述处理器被配置用于通过在所述查找表中进行的查找操作和插值操作来调整所述色彩校正参数。
81.如权利要求80所述的数字成像装置，其中所述插值操作包括谢泼德插值。
82.如权利要求57-81中任一项所述的数字成像装置，其中所述噪声评价图像是虚拟噪声评价图像。
83.如权利要求82所述的数字成像装置，其中所述虚拟噪声评价图像包括添加到虚拟无噪声图像的噪声。
84.如权利要求57-83中任一项所述的数字成像装置，其中所述色彩校正设备安装在移动平台上。
85.如权利要求84所述的数字成像装置，其中所述移动平台是无人飞行器(UAV)。
86.一种储存用于针对色彩校正来标定数字成像装置的指令的非暂时性可读介质，其中所述指令包括用于以下各项的指令：
获得多个颜色参考中的每一个的输入颜色值和参考颜色值以及用于评价降噪的具有颜色噪声的噪声评价图像，所述输入颜色值和所述参考颜色值位于非线性色彩空间中；以及
确定基于在所述非线性色彩空间中评价适应度函数而优化的多个色彩校正参数。
87.如权利要求86所述的非暂时性可读介质，其中所述非线性色彩空间是CIE L*a*b*色彩空间。
88.如权利要求86或87所述的非暂时性可读介质，其中所述确定所述多个色彩校正参数包括基于所述输入颜色值和所述参考颜色值以及所述噪声评价图像来调整所述色彩校正参数。
89.如权利要求88所述的非暂时性可读介质，其中所述适应度函数包括色彩校正误差和噪声放大度量。
90.如权利要求89所述的非暂时性可读介质，其中所述调整所述多个色彩校正参数包括通过对所述输入颜色值进行色彩校正并且将所述经校正的输入颜色值与所述参考颜色值进行比较来确定所述色彩校正误差。
91.如权利要求89或90所述的非暂时性可读介质，其中所述调整所述多个色彩校正参数包括通过使用所述参数对所述噪声评价图像进行色彩校正并且将所述经校正的噪声评价图像与所述校正前噪声评价图像进行比较来确定所述噪声放大度量。
92.如权利要求91所述的非暂时性可读介质，其中所述确定所述噪声放大度量包括使用峰值信噪比(PSNR)来确定所述噪声放大度量。
93.如权利要求92所述的非暂时性可读介质，其中所述使用PSNR来确定噪声放大度量包括求出PSNR差，所述PSNR差是所述校正前噪声评价图像的PSNR与所述经校正噪声评价图像的PSNR之间的差。
94.如权利要求92或93所述的非暂时性可读介质，其中所述使用PSNR来确定所述噪声放大度量包括确定下采样PSNR差。
95.如权利要求94所述的非暂时性可读介质，其中所述确定所述下采样PSNR差包括：
对所述校正前噪声评价图像进行下采样以获得下采样校正前噪声评价图像；
对所述经校正噪声评价图像进行下采样以获得下采样的经校正噪声评价图像；以及
求出作为所述下采样的校正前噪声评价图像的PSNR与所述下采样的经校正噪声评价图像的PSNR之间的差的所述下采样PSNR差。
96.如权利要求94或95所述的非暂时性可读介质，其中所述确定所述噪声放大度量包括确定所述PSNR差和所述至少一个下采样PSNR差的加权平均值。
97.如权利要求96所述的非暂时性可读介质，其中所述使用PSNR来确定所述噪声放大度量包括确定多个连续下采样PSNR差并且将所述噪声放大度量确定为所述PSNR差和所述多个连续下采样PSNR差的加权平均值。
98.如权利要求97所述的非暂时性可读介质，其中所述确定所述噪声放大度量包括以相应权重对所述PSNR差和所述多个连续下采样PSNR差中的每一个进行加权，并且所述权重中的至少一个不为零。
99.如权利要求98所述的非暂时性可读介质，其中所述确定所述噪声放大度量包括基于颜色方差来确定所述噪声放大度量。
100.如权利要求91-99中任一项所述的非暂时性可读介质，其中所述调整所述多个色彩校正参数包括通过将所述经色彩校正的噪声评价图像转换到YUV色彩空间中来确定所述噪声放大度量。
101.如权利要求89-100中任一项所述的非暂时性可读介质，其中所述噪声评价图像包括多个色块，并且其中将所述噪声放大度量确定为所述色块中的每一个的噪声放大水平的加权和。
102.如权利要求101所述的非暂时性可读介质，其中根据人类对所述色块的平均感知敏感度来对每一个色块进行加权。
103.如权利要求89-102中任一项所述的非暂时性可读介质，其中所述调整所述色彩校正参数包括通过使所述色彩校正误差和所述噪声放大度量的加权和最小化来优化所述适应度函数。
104.如权利要求86-103中任一项所述的非暂时性可读介质，其中所述调整所述色彩校正参数包括使用遗传过程来调整所述参数。
105.如权利要求104所述的非暂时性可读介质，包括使用直接搜索法来进一步调整所述色彩校正参数。
106.如权利要求86-105中任一项所述的非暂时性可读介质，其中所述获得所述色彩标定图像的所述输入颜色值包括对包括多个色块的一个或多个颜色参考进行成像。
107.如权利要求86-106中任一项所述的非暂时性可读介质，其中所述色彩校正参数呈矩阵的形式。
108.如权利要求86-107中任一项所述的非暂时性可读介质，其中所述色彩校正参数呈查找表的形式。
109.如权利要求108所述的非暂时性可读介质，其中所述调整所述色彩校正参数包括在所述查找表中进行的查找操作和插值操作。
110.如权利要求109所述的非暂时性可读介质，其中所述插值操作包括谢泼德插值。
111.如权利要求86-110中任一项所述的非暂时性可读介质，其中所述噪声评价图像是虚拟噪声评价图像。
112.如权利要求111所述的非暂时性可读介质，其中所述虚拟噪声评价图像包括添加到虚拟无噪声图像的噪声。
CN201580029947.8A 2015-05-15 2015-05-15 色彩校正系统和方法 Expired - Fee Related CN106471567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910240349.5A CN109963133B (zh) 2015-05-15 2015-05-15 色彩校正系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/079094 WO2016183744A1 (en) 2015-05-15 2015-05-15 Color correction system and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910240349.5A Division CN109963133B (zh) 2015-05-15 2015-05-15 色彩校正系统和方法

Publications (2)

Publication Number Publication Date
CN106471567A true CN106471567A (zh) 2017-03-01
CN106471567B CN106471567B (zh) 2019-04-26

Family

ID=57319197

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580029947.8A Expired - Fee Related CN106471567B (zh) 2015-05-15 2015-05-15 色彩校正系统和方法
CN201910240349.5A Expired - Fee Related CN109963133B (zh) 2015-05-15 2015-05-15 色彩校正系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910240349.5A Expired - Fee Related CN109963133B (zh) 2015-05-15 2015-05-15 色彩校正系统和方法

Country Status (4)

Country Link
US (5) US9742960B2 (zh)
EP (1) EP3202131A1 (zh)
CN (2) CN106471567B (zh)
WO (1) WO2016183744A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111785220A (zh) * 2019-04-03 2020-10-16 名硕电脑(苏州)有限公司 显示器校正方法与系统
CN113284473A (zh) * 2021-05-27 2021-08-20 深圳市华星光电半导体显示技术有限公司 显示面板的白点校正方法及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017207306A1 (de) * 2016-05-20 2017-11-23 Heidelberger Druckmaschinen Ag Verfahren zur Überwachung eines Färbungsstandards in einer Druckmaschine
FR3059804B1 (fr) * 2016-12-07 2019-08-02 Idemia Identity And Security Systeme de traitement d'images
USD825381S1 (en) 2017-07-13 2018-08-14 Fat Shark Technology SEZC Unmanned aerial vehicle
USD848383S1 (en) 2017-07-13 2019-05-14 Fat Shark Technology SEZC Printed circuit board
US10179647B1 (en) 2017-07-13 2019-01-15 Fat Shark Technology SEZC Unmanned aerial vehicle
CN107358926A (zh) * 2017-07-24 2017-11-17 惠科股份有限公司 显示面板的驱动方法、驱动装置及显示装置
US11120725B2 (en) 2018-04-24 2021-09-14 Advanced Micro Devices, Inc. Method and apparatus for color gamut mapping color gradient preservation
US11115563B2 (en) * 2018-06-29 2021-09-07 Ati Technologies Ulc Method and apparatus for nonlinear interpolation color conversion using look up tables
TWI737125B (zh) * 2020-01-14 2021-08-21 佳世達科技股份有限公司 校色器
US11729371B2 (en) 2020-10-14 2023-08-15 Ford Global Technologies, Llc Systems and methods for improved camera color calibration
KR102661114B1 (ko) 2020-11-10 2024-04-25 삼성전자주식회사 카메라 모듈 검사 장치, 카메라 모듈 검사 방법 및 이미지 생성 장치
US11700458B2 (en) 2021-08-06 2023-07-11 Ford Global Technologies, Llc White balance and color correction for interior vehicle camera
CN115837520B (zh) * 2021-09-18 2024-09-17 中控技术股份有限公司 一种自适应打标工件表面属性的激光打标控制方法及系统
CN117041531B (zh) * 2023-09-04 2024-03-15 无锡维凯科技有限公司 一种基于图像质量评估的手机摄像头聚焦检测方法和系统
CN117934353B (zh) * 2024-03-20 2024-07-30 上海玄戒技术有限公司 一种图像处理方法、装置、设备、存储介质及芯片

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1622135A (zh) * 2004-12-13 2005-06-01 中国科学院长春光学精密机械与物理研究所 数字图像颜色的校正方法
JP2008099069A (ja) * 2006-10-13 2008-04-24 Mitsubishi Electric Corp ノイズ低減装置および方法
KR20100079479A (ko) * 2008-12-31 2010-07-08 엠텍비젼 주식회사 이미지 신호 처리 장치, 이미지 신호 처리 장치의 색 노이즈 저감 방법 및 색 노이즈 저감 방법이 기록된 기록 매체
US20130016082A1 (en) * 2003-09-30 2013-01-17 International Business Machines Corporation On demand calibration of imaging displays
US20140043627A1 (en) * 2012-08-09 2014-02-13 Konica Minolta, Inc. Color correcting system and image forming apparatus including same
CN104023218A (zh) * 2013-02-28 2014-09-03 株式会社日立制作所 摄像装置以及图像信号处理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471324A (en) * 1994-04-05 1995-11-28 Xerox Corporation Color printer calibration with improved color mapping linearity
JP3305495B2 (ja) * 1994-04-28 2002-07-22 キヤノン株式会社 画像処理装置および画像処理方法
CA2309002A1 (en) * 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
JP2002204374A (ja) * 2000-10-23 2002-07-19 Seiko Epson Corp 色補正テーブル生成方法、画像処理装置、画像処理方法および記録媒体
JP2005110176A (ja) * 2003-10-02 2005-04-21 Nikon Corp ノイズ除去方法、ノイズ除去処理プログラム、およびノイズ除去装置
JP5248010B2 (ja) * 2006-02-17 2013-07-31 株式会社東芝 データ補正装置、データ補正方法、磁気共鳴イメージング装置およびｘ線ｃｔ装置
US7800698B2 (en) * 2006-04-27 2010-09-21 Qualcomm Incorporated Weight adjustment in color correction
US8581981B2 (en) * 2006-04-28 2013-11-12 Southwest Research Institute Optical imaging system for unmanned aerial vehicle
JP2008099089A (ja) 2006-10-13 2008-04-24 Konica Minolta Business Technologies Inc カラー画像処理方法、カラー画像処理装置及びカラー画像処理プログラム
CN101193314B (zh) * 2006-11-30 2012-06-27 北京思比科微电子技术有限公司 图像传感器的图像处理装置和方法
US9830691B2 (en) * 2007-08-03 2017-11-28 The University Of Akron Method for real-time implementable local tone mapping for high dynamic range images
US9041822B2 (en) * 2011-02-11 2015-05-26 Canadian Space Agency Method and system of increasing spatial resolution of multi-dimensional optical imagery using sensor's intrinsic keystone
US9049334B1 (en) * 2011-02-24 2015-06-02 Foveon, Inc. Denoising images with a color matrix pyramid
WO2013084414A1 (ja) * 2011-12-08 2013-06-13 パナソニック株式会社 デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ
US10098569B2 (en) * 2012-03-29 2018-10-16 The University Of Queensland Method and apparatus for processing patient sounds
JP5939962B2 (ja) * 2012-11-19 2016-06-29 株式会社Pfu 画像処理装置、画像処理方法及びコンピュータプログラム
JP2015097382A (ja) * 2013-10-08 2015-05-21 キヤノン株式会社 情報処理装置、撮像システム、情報処理方法、及びプログラム
JP6013382B2 (ja) * 2014-02-27 2016-10-25 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016082A1 (en) * 2003-09-30 2013-01-17 International Business Machines Corporation On demand calibration of imaging displays
CN1622135A (zh) * 2004-12-13 2005-06-01 中国科学院长春光学精密机械与物理研究所 数字图像颜色的校正方法
JP2008099069A (ja) * 2006-10-13 2008-04-24 Mitsubishi Electric Corp ノイズ低減装置および方法
KR20100079479A (ko) * 2008-12-31 2010-07-08 엠텍비젼 주식회사 이미지 신호 처리 장치, 이미지 신호 처리 장치의 색 노이즈 저감 방법 및 색 노이즈 저감 방법이 기록된 기록 매체
US20140043627A1 (en) * 2012-08-09 2014-02-13 Konica Minolta, Inc. Color correcting system and image forming apparatus including same
CN104023218A (zh) * 2013-02-28 2014-09-03 株式会社日立制作所 摄像装置以及图像信号处理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111785220A (zh) * 2019-04-03 2020-10-16 名硕电脑(苏州)有限公司 显示器校正方法与系统
CN111785220B (zh) * 2019-04-03 2022-02-08 名硕电脑(苏州)有限公司 显示器校正方法与系统
CN113284473A (zh) * 2021-05-27 2021-08-20 深圳市华星光电半导体显示技术有限公司 显示面板的白点校正方法及装置

Also Published As

Publication number Publication date
CN109963133B (zh) 2021-07-30
EP3202131A4 (en) 2017-08-09
CN106471567B (zh) 2019-04-26
US20170041507A1 (en) 2017-02-09
EP3202131A1 (en) 2017-08-09
US9998632B2 (en) 2018-06-12
CN109963133A (zh) 2019-07-02
US20200228681A1 (en) 2020-07-16
WO2016183744A1 (en) 2016-11-24
US20190215418A1 (en) 2019-07-11
US9742960B2 (en) 2017-08-22
US20170318194A1 (en) 2017-11-02
US20180262650A1 (en) 2018-09-13
US10560607B2 (en) 2020-02-11
US10244146B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
CN106471567B (zh) 色彩校正系统和方法
CN105209869B (zh) 由光谱仪辅助的特殊设计的图案闭环校准的高精度成像色度计
Shrestha et al. Multispectral imaging using a stereo camera: Concept, design and assessment
CN103954362B (zh) 一种基于成像设备的数字测色方法
CN103428404A (zh) 颜色处理装置及颜色处理方法
CN104052979B (zh) 用于图像处理的装置和技术
CN113676639B (zh) 图像处理方法、处理装置、电子设备及介质
CN102415099B (zh) 空间变化的光谱响应校准数据
JP2016105079A (ja) 測色計の較正
Liang et al. Research on filter selection method for broadband spectral imaging system based on ancient murals
KR101705818B1 (ko) 색도 및 휘도 측정 장치, 시스템 및 측정방법
US20220131998A1 (en) Color prediction
CN107534758A (zh) 图像处理装置、图像处理方法和图像处理程序
CN113628135A (zh) 图像颜色校正方法、装置、计算机装置及存储介质
Zhbanova FEATURES OF DIGITAL COLOURIMETRY APPLICATION IN MODERN SCIENTIFIC RESEARCH.
US9036030B2 (en) Color calibration of an image capture device in a way that is adaptive to the scene to be captured
US9521297B2 (en) Reference color selection device, color correction device, and reference color selection method
JP6088826B2 (ja) オプティマル・メタマーに関する分光パラメータ演算装置、分光パラメータ演算方法及びプログラム
US11058282B2 (en) Colour reference for calibrating a dental colour camera
CN107340296A (zh) 变化程度导出设备、变化程度导出系统和已知颜色体
Shrestha Multispectral imaging: Fast acquisition, capability extension, and quality evaluation
CN118571895B (zh) 多光谱模组
Liu et al. An improved spectral estimation method based on color perception features of mobile phone camera
WO2015021307A2 (en) Method and apparatus for evaluating color in an image
US20240080576A1 (en) Method of deriving color response characteristics of image acquisition device and image acquisition device therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190426