Nothing Special   »   [go: up one dir, main page]

KR101918761B1 - Method and apparatus for processing defect pixel in infrared thermal detector - Google Patents

Method and apparatus for processing defect pixel in infrared thermal detector Download PDF

Info

Publication number
KR101918761B1
KR101918761B1 KR1020180049328A KR20180049328A KR101918761B1 KR 101918761 B1 KR101918761 B1 KR 101918761B1 KR 1020180049328 A KR1020180049328 A KR 1020180049328A KR 20180049328 A KR20180049328 A KR 20180049328A KR 101918761 B1 KR101918761 B1 KR 101918761B1
Authority
KR
South Korea
Prior art keywords
pixel
data
defective
infrared
reactivity
Prior art date
Application number
KR1020180049328A
Other languages
Korean (ko)
Inventor
방민석
용초식
이용운
김길영
Original Assignee
(주)이오시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이오시스템 filed Critical (주)이오시스템
Priority to KR1020180049328A priority Critical patent/KR101918761B1/en
Application granted granted Critical
Publication of KR101918761B1 publication Critical patent/KR101918761B1/en
Priority to PCT/KR2019/004954 priority patent/WO2019209025A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radiation Pyrometers (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Provided are a method and an apparatus for processing a defect pixel of an infrared thermal detector. The method comprises: acquiring reference temperature thermal data for each of pixels corresponding to detection elements constituting an infrared thermal detector; acquiring additional temperature thermal data for each pixel; calculating reactivity for each pixel based on the acquired reference temperature thermal data and additional temperature thermal data; and extracting a defect pixel based on the reactivity for each pixel.

Description

적외선 열상 검출기의 불량 화소 처리 방법 및 장치{Method and apparatus for processing defect pixel in infrared thermal detector}TECHNICAL FIELD The present invention relates to a method and apparatus for processing defective pixels in an infrared thermal image detector,

본 발명은 적외선 열상 검출기에 관한 것으로, 더욱 상세하게 말하자면, 적외선 열상 검출기의 불량 화소를 처리하는 방법 및 장치에 관한 것이다. The present invention relates to an infrared luminescence detector, and more particularly, to a method and apparatus for processing defective pixels in an infrared luminescence detector.

열상 장비(thermal imaging system)는 물체와 배경이 방출하는 고유한 복사에너지 차이(온도 차이)를 검출하여 전기적 신호 처리를 하여 영상화하는 장치이다. 물체가 복사하는 전자파의 에너지 파장 대역은 대부분 적외선 영역이므로, 열을 가진 물체에서 방사하는 적외선을 전기적인 신호로 변환하는 적외선 열상 검출기가 이용된다. 적외선 열상 검출기로 이미지 센서와 같이 수많은 검출 소자가 2차원 배열로 연결된 구조인 ROIC(Read-Out Integrated Circuit) 형태의 검출기가 일반적으로 이용된다.The thermal imaging system detects the difference in radiant energy (temperature difference) between the object and the background, and performs electrical signal processing for imaging. Since the energy band of the electromagnetic wave radiated by the object is mostly in the infrared region, an infrared luminescence detector for converting the infrared ray emitted from the object having the heat into an electric signal is used. A detector of the ROIC (Read-Out Integrated Circuit) type, in which a large number of detection elements are connected in a two-dimensional array like an image sensor, is generally used as an infrared ray detector.

적외선 열상 검출기는 빛이 전혀 없는 상태에서도 영상 획득이 용이하여 군용 감시 장비(야간 투시경, 관측경 등)나 사격 통제 장치(조준경 등), 야간 감시, 작동 중인 전자 시스템의 비파괴검사 혹은 의료 진단 등 다양한 용도로 이용되고 있다. The infrared thermal detector is easy to acquire images even in the absence of light and can be used for a variety of applications such as military surveillance equipment (night vision, observation light), fire control equipment (sights), night surveillance, .

한편, 적외선 열상 검출기는 제조 공정상의 문제로 정상적으로 동작하지 않는 불량 화소(defect pixel)가 부분적으로 존재할 수 있으나, 이것을 불량품으로 취급하면 제조 단가가 높아질 수 있기 때문에 검출기 제조사에서는 일반적으로 불량 화소의 분포에 따라 검출기의 등급을 구분하여 공급한다.On the other hand, in the infrared ray detector, defective pixels that do not normally operate due to a manufacturing process problem may partially exist. However, if the defective pixels are treated as defective products, the manufacturing cost may be increased. Therefore, Therefore, the class of the detector is supplied separately.

불량 화소는 화면상에 점의 형태로 나타나기 때문에 열 영상의 시인성을 직접적으로 저하시킨다. 특히, 일반적인 적외선 검출기는 고해상도가 아니기 때문에 불량 화소가 존재한다면 그것이 소수일지라도 열 영상의 화질에는 큰 영향을 미칠 수 있다. 따라서 적외선 열상 검출기를 이용하는 데에 있어서 불량 화소의 위치를 정확하게 판단하고 주변의 정상 화소를 이용하여 불량 화소의 값을 대체하는 신호처리 기술이 필요하다.Bad pixels directly appear in the form of dots on the screen, thus directly reducing the visibility of the thermal image. In particular, since a general infrared detector is not high resolution, if a defective pixel exists, it may have a large influence on the image quality of a thermal image even if it is a prime number. Therefore, there is a need for a signal processing technique for accurately determining the position of a defective pixel and replacing the value of a defective pixel using surrounding normal pixels in the use of an infrared thermal detector.

운용 환경에서 불량 화소를 보정하기 위해 영상처리 기법을 이용하는 방법이 있다. 그 중 하나로 메디안 필터링을 이용하는 방법이 있으며, 이는 불량 화소를 효과적으로 처리할 수 있으나 영상이 전체적으로 흐릿해지는 단점이 있다. 또 다른 방법으로 입력으로 들어오는 영상에서 특징 정보를 추출하여 불량 화소를 판단하는 방법이 있으나, 이는 프로세싱이 복잡하고 정상적인 화소를 불량 화소로 잘못 판단하여 거짓긍정(false positive)의 문제를 초래할 수 있다. 이것은 전시 상황에서는 큰 문제를 야기할 수 있기 때문에 정확하게 불량 화소를 추출하는 방법이 필요하다.There is a method of using image processing technique to correct defective pixels in the operating environment. One of them is a method of using median filtering, which can effectively process defective pixels, but has the disadvantage that the image is totally blurred. Another method is to extract the feature information from the input image to determine the defective pixel. However, this may cause false positives because the processing is complicated and a normal pixel is mistakenly determined to be a defective pixel. This can lead to a large problem in the display situation, so a method of accurately extracting defective pixels is necessary.

관련 선행 기술로는 대한민국 등록 특허 제1007405호에 개시된 "열상 검출기의 화소 보정 장치 및 방법" 등이 있다. Related prior arts include "a device and method for correcting a pixel of a thermal image detector " disclosed in Korean Patent No. 1007405, and the like.

본 발명이 해결하고자 하는 과제는, 별도의 장비를 이용하지 않고도 적외선 열상 검출기에서 불량 화소를 정확하게 검출하여 처리할 수 있는 방법 및 장치를 제공하는 것이다. A problem to be solved by the present invention is to provide a method and an apparatus which can accurately detect and process defective pixels in an infrared ray thermal detector without using any additional equipment.

본 발명의 특징에 따른 방법은, 적외선 열상 검출기의 불량 화소를 처리하는 방법으로서, 장치가, 상기 적외선 열상 검출기를 구성하는 검출 소자들에 대응하는 화소별로, 기준 온도원 열상 데이터를 획득하는 단계; 상기 장치가, 상기 화소별로 부가 온도원 열상 데이터를 획득하는 단계; 상기 장치가, 상기 화소별로 획득된 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 토대로 화소별 반응도를 계산하는 단계; 및 상기 장치가, 상기 화소별 반응도를 토대로 불량 화소를 추출하는 단계를 포함한다. A method according to a feature of the present invention is a method for processing a defective pixel of an infrared luminescence detector, the apparatus comprising: acquiring reference temperature luminescence data for each pixel corresponding to the detecting elements constituting the infrared luminescence detector; The apparatus comprising: acquiring additional temperature circle liner data for each pixel; Calculating a pixel-by-pixel reactivity based on the reference temperature circle heat data and the additional temperature circle heat data obtained for each pixel; And extracting a defective pixel based on the pixel-by-pixel reactivity.

상기 화소별 반응도를 계산하는 단계는, 상기 기준 온도원 열상 데이터와 상기 부가 온도원 열상 데이터의 화소별 차이의 절대값을 토대로 상기 반응도를 계산하는 단계를 포함할 수 있다. The step of calculating the pixel-by-pixel reactivity may include the step of calculating the reactivity based on the absolute value of the pixel-by-pixel difference between the reference temperature circle thermal image data and the addition temperature circle thermal image data.

상기 기준 온도원 열상 데이터는, 상기 적외선 열상 검출기를 손바닥이나 셔터를 포함하는 차단 부재로 가린 상태에서 상기 적외선 열상 검출기를 통해 획득되는 열상 데이터이고, 상기 부가 온도원 열상 데이터는, 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터일 수 있다. Wherein the reference temperature circle lunar phase data is obtained by the infrared lunar phase detector in a state where the infrared lunar phase detector is shielded by a blocking member including a palm or a shutter, And may be lumped data obtained through the infrared luminescence detector.

한편, 상기 기준 온도원 열상 데이터는, 제1 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터이고, 상기 부가 온도원 열상 데이터는, 상기 제1 배경과 다른 제2 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터일 수 있다. On the other hand, the reference temperature circle lunar phase data is lunar phase data obtained through the infrared lunar phase detector with the first background as a detection target, and the additional temperature circle lunar phase data includes a second background different from the first background, And may be lacquered data obtained through the infrared lacquer detector.

상기 기준 온도원 열상 데이터와 상기 부가 온도원 열상 데이터 중 적어도 하나는 시간적으로 누적 처리된 열상 데이터일 수 있다. At least one of the reference temperature circle lunar data and the additional temperature circle lunar data may be lumped data processed in a temporal manner.

상기 시간적으로 누적 처리된 열상 데이터는,

Figure 112018042285857-pat00001
의 조건을 토대로 획득될 수 있으며, I(n;x,y)는 각 화소(x,y)에 대한 출력을 n개의 프레임 동안 누적한 열상 데이터이고, 상기 V는 화소의 출력을 나타내며, a는 가중치를 나타낸다. The lag data accumulated in the time-
Figure 112018042285857-pat00001
(N, x, y) is the lattice data accumulated for n frames of the output for each pixel (x, y), V represents the output of the pixel, and a is Weight.

한편, 상기 불량 화소를 추출하는 단계는, 불량 화소인지를 판단하기 위한 현재 화소의 반응도와 주변 화소의 반응도의 차이의 절대값을 계산하는 단계; 상기 절대값과 미리 설정된 임계치를 비교하는 단계; 및 상기 절대값이 상기 임계치보다 큰 경우에 상기 현재 화소가 불량 화소인 것으로 판단하는 단계를 포함할 수 있다. The step of extracting the defective pixel may include calculating an absolute value of a difference between a degree of reactivity of a current pixel and a degree of a degree of reactivity of a surrounding pixel to determine whether the defective pixel is a defective pixel; Comparing the absolute value with a preset threshold value; And determining that the current pixel is a bad pixel if the absolute value is greater than the threshold value.

상기 임계치는, 화소별 기준 온도원 열상 데이터들의 평균값과, 화소별 부가 온도원 열상 데이터들의 평균값의 차이를 토대로 설정될 수 있다. The threshold value may be set based on the difference between the average value of the reference temperature circle thermal data for each pixel and the average value of the pixel-by-pixel additional temperature circle thermal data.

상기 불량 화소를 추출하는 단계는, 불량 화소인지를 판단하기 위한 현재 화소의 주변 화소들에 대한 반응도의 평균을 획득하는 단계; 상기 현재 화소의 반응도와 상기 주변 화소들의 반응도의 평균의 차이의 절대값을 계산하는 단계; 상기 절대값과 미리 설정된 설정값을 비교하는 단계; 및 상기 절대값이 상기 설정값보다 큰 경우에 상기 현재 화소가 불량 화소인 것으로 판단하는 단계를 포함할 수 있다. The step of extracting the defective pixel may include: obtaining an average of the degree of reactivity to neighboring pixels of the current pixel to determine whether the defective pixel is a defective pixel; Calculating an absolute value of a difference between the reactivity of the current pixel and an average of the reactivity of the surrounding pixels; Comparing the absolute value with a predetermined set value; And determining that the current pixel is a bad pixel if the absolute value is greater than the set value.

상기 설정값은 상기 주변 화소들의 반응도의 표준편차와 불량 화소 판단의 민감도를 조절하기 위한 상수를 토대로 설정된 값일 수 있다. The set value may be a value that is set based on a constant for adjusting the standard deviation of the reactivity of the surrounding pixels and the sensitivity of the defective pixel determination.

상기 방법은, 상기 불량 화소를 추출하는 단계 이후에, 주변의 정상 화소를 이용하여 상기 불량 화소를 대체하는 단계를 더 포함할 수 있다. The method may further include the step of replacing the defective pixel using the surrounding normal pixels after the step of extracting the defective pixel.

상기 기준 온도원 열상 데이터를 획득하는 단계와 상기 부가 온도원 열상 데이터를 획득하는 단계는, 상기 적외선 열상 검출기가 적용되는 장비가 움직이는 상태에서 상기 기준 온도원 열상 데이터 및 상기 부가 온도원 열상 데이터를 각각 획득할 수 있다. Wherein the step of obtaining the reference temperature source lunar phase data and the step of acquiring the additive temperature source lunar phase data further comprise the steps of obtaining the reference temperature source lunar phase data and the additional temperature source lunar phase data in a state in which the equipment to which the infrared lunar phase detector is applied moves Can be obtained.

상기 화소별 반응도를 계산하는 단계 및 상기 불량 화소를 추출하는 단계는, 상기 획득되는 기준 온도원 열상 데이터의 평균값과, 상기 부가 온도원 열상 데이터의 평균값의 차이가 미리 설정된 값 이상일 경우에, 수행될 수 있다. The step of calculating the pixel-by-pixel reactivity and the step of extracting the defective pixel may be performed when the difference between the average value of the acquired reference temperature circle heat data and the average value of the added temperature circle heat data is a predetermined value or more .

본 발명의 다른 특징에 따른 장치는, 적외선 열상 검출기의 불량 화소를 처리하는 장치로서, 상기 적외선 열상 검출기를 구성하는 검출 소자들에 대응하는 화소별로 획득되는 데이터를 입력받도록 구성된 입출력부; 및 상기 입출력부와 연결되고, 상기 입력되는 데이터를 토대로 상기 적외선 열상 검출기의 불량 화소를 처리하도록 구성된 프로세서를 포함하며, 상기 프로세서는 상기 입력되는 데이터를 토대로 상기 화소별로 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 획득하며, 상기 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 토대로 화소별 반응도를 계산하고, 상기 화소별 반응도를 토대로 불량 화소를 추출하도록 구성된다. According to another aspect of the present invention, there is provided an apparatus for processing a defective pixel of an infrared thermal image detector, the apparatus comprising: an input / output unit configured to receive data acquired for each pixel corresponding to detection elements constituting the infrared thermal image detector; And a processor connected to the input / output unit and configured to process defective pixels of the infrared ray detector on the basis of the input data, wherein the processor is configured to calculate, based on the input data, Calculates the reactivity for each pixel on the basis of the reference temperature circle heat image data and the additive temperature circle heat image data, and extracts defective pixels based on the reaction degree for each pixel.

상기 프로세서는, 상기 기준 온도원 열상 데이터와 상기 부가 온도원 열상 데이터의 차이의 절대값을 토대로 상기 반응도를 계산하도록 구성될 수 있다. The processor may be configured to calculate the reactivity based on an absolute value of a difference between the reference temperature circle heat data and the addition temperature circle heat data.

상기 기준 온도원 열상 데이터는, 상기 적외선 열상 검출기를 손바닥이나 셔터로 가린 상태에서 상기 적외선 열상 검출기를 통해 획득되는 열상 데이터이고, 상기 부가 온도원 열상 데이터는, 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터이거나, 상기 기준 온도원 열상 데이터는, 제1 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터이며, 상기 부가 온도원 열상 데이터는, 상기 제1 배경과 다른 제2 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터일 수 있다. Wherein the reference temperature circle lunar phase data is lunar phase data obtained through the infrared lunar phase detector while the infrared lunar phase detector is covered with a palm or a shutter, Or the reference temperature source lunar phase data is the lunar phase data obtained through the infrared lunar phase detector using the first background as the detection target and the additional temperature source lunar phase data is different from the first background And the lattice data obtained through the infrared luminescence detector with the second background as the detection target.

상기 기준 온도원 열상 데이터와 상기 부가 온도원 열상 데이터 중 적어도 하나는 시간적으로 누적 처리된 열상 데이터일 수 있으며, 상기 시간적으로 누적 처리된 열상 데이터는,

Figure 112018042285857-pat00002
의 조건을 토대로 획득되며, I(n;x,y)는 각 화소(x,y)에 대한 출력을 n개의 프레임 동안 누적한 열상 데이터이고, 상기 V는 화소의 출력을 나타내며, a는 가중치를 나타낸다. At least one of the reference temperature source lunar data and the additional temperature source lunar data may be lumped data processed in a temporally cumulative manner,
Figure 112018042285857-pat00002
(N, x, y) is the lag data accumulated for n frames of the output for each pixel (x, y), V is the output of the pixel, a is the weight .

상기 프로세서는, 불량 화소인지를 판단하기 위한 현재 화소의 반응도와 주변 화소의 반응도의 차이의 절대값이, 미리 설정된 임계치보다 큰 경우에 상기 현재 화소가 불량 화소인 것으로 판단하는 제1 방법, 그리고 상기 불량 화소인지를 판단하기 위한 현재 화소의 주변 화소들의 반응도의 평균과 상기 현재 화소의 반응도의 차이의 절대값이, 미리 설정된 설정값보다 큰 경우에 상기 현재 화소가 불량 화소인 것으로 판단하는 제2 방법 중 하나의 방법을 토대로 불량 화소를 추출하도록 구성될 수 있다. A first method for determining that the current pixel is a defective pixel when an absolute value of a difference between a reactivity of a current pixel and a reactivity of a neighboring pixel for determining whether the pixel is a defective pixel is greater than a preset threshold value, A second method for determining that the current pixel is a defective pixel when the absolute value of the difference between the average of the reactivity of the surrounding pixels of the current pixel and the reactivity of the current pixel is greater than a predetermined set value The defective pixel may be extracted based on one of the methods.

상기 장치는, 상기 프로세서에 의한 불량 화소 추출 결과를 화소별로 저장하는 메모리를 더 포함할 수 있다. 이 경우, 상기 프로세서는 상기 메모리에 저장된 추출 결과를 토대로, 불량 화소로 추출된 화소의 주변의 정상 화소를 이용하여 상기 불량 화소를 대체하도록 구성될 수 있다. The apparatus may further include a memory for storing a result of the defective pixel extraction by the processor for each pixel. In this case, the processor can be configured to replace the defective pixel by using the normal pixel around the pixel extracted as the defective pixel based on the extraction result stored in the memory.

본 발명의 실시 예에 따르면, 열상 장비 등에 사용되는 적외선 열상 검출기의 불량 화소를 흑체(black body) 등의 별도의 장비를 사용하지 않고도 용이하게 검출할 수 있다. 특히, 적외선 열상 검출기가 운용되는 환경에서 용이하게 불량 화소를 검출하고, 검출된 불량 화소를 보정할 수 있다. According to the embodiments of the present invention, it is possible to easily detect defective pixels of an infrared ray thermal detector used in thermal equipment or the like without using a separate device such as a black body. Particularly, it is possible to easily detect defective pixels and correct defective pixels detected in an environment in which the infrared ray thermal detector is operated.

도 1은 본 발명의 실시 예에서, 기준 온도원과 부가 온도원을 이용하여 계산한 반응도를 영상화한 것을 나타낸 예시도이다.
도 2는 본 발명의 실시 예에 따른 불량 화소와 그 주변 화소를 나타낸 예시도이다.
도 3은 본 발명의 실시 예에 따른 불량 화소와 그 주변 화소를 나타낸 다른 예시도이다.
도 4는 본 발명의 실시 예에 따른 불량 화소 처리 방법의 흐름도이다.
도 5는 본 발명의 실시 예에 따른 불량 화소 처리 장치의 구조도이다.
FIG. 1 is an exemplary diagram showing a reaction diagram calculated using a reference temperature source and an additional temperature source in an embodiment of the present invention. FIG.
2 is an exemplary view showing a defective pixel and its peripheral pixels according to an embodiment of the present invention.
FIG. 3 is another example of a defective pixel and its peripheral pixels according to an embodiment of the present invention.
4 is a flowchart of a defective pixel processing method according to an embodiment of the present invention.
5 is a structural diagram of a defective pixel processing apparatus according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 적외선 열상 검출기의 불량 화소 처리 방법 및 장치에 대하여 설명한다. Hereinafter, a faulty pixel processing method and apparatus for an infrared ray thermal detector according to an embodiment of the present invention will be described with reference to the drawings.

열상 장비에 이용되는 적외선 열상 검출기는 이미지 센서와 같이 다수의 검출 소자가 2차원 배열로 연결된 구조로 이루어지며, 검출 소자는 입력되는 적외선을 포함하는 광 신호를 전기적인 신호로 변환하여 출력한다. 이러한 적외선 열상 검출기의 출력은 적외선의 세기, 즉 물체에서 방사하는 온도에 따라 달라진다. 각 검출 소자에 의해 획득되는 신호를 "열상 데이터"라고 명명할 수 있다. An infrared luminescence detector used in a thermal imaging apparatus has a structure in which a plurality of detecting elements are connected in a two-dimensional array like an image sensor, and a detecting element converts an optical signal including input infrared rays into an electric signal and outputs the electric signal. The output of such an infrared lacquer detector depends on the intensity of the infrared rays, that is, the temperature radiated from the object. The signal obtained by each detecting element can be called "thermal data ".

불량 화소의 여부를 판단하기 위해, 적외선 열상 검출기에 대한 반응도

Figure 112018042285857-pat00003
가 이용될 수 있으며, 반응도
Figure 112018042285857-pat00004
는 다음과 같이 나타낼 수 있다. To determine whether a pixel is bad, the response to the infrared luminescence detector
Figure 112018042285857-pat00003
Can be used, and the reactivity
Figure 112018042285857-pat00004
Can be expressed as follows.

Figure 112018042285857-pat00005
Figure 112018042285857-pat00005

여기서, (x, y)는 각 화소(검출 소자)의 위치를 나타내며, V는 각 화소의 출력을 나타내며, t는 온도를 나타낸다. 특히, VH는 고온(H)에서의 출력을 나타내고, VC는 저온(C)에서의 출력을 나타낸다.Here, (x, y) represents the position of each pixel (detection element), V represents the output of each pixel, and t represents the temperature. In particular, V H represents the output at the high temperature (H) and V C represents the output at the low temperature (C).

위와 같은 수학식 1을 토대로 계산되는, 적외선 열상 검출기의 임의 화소의 반응도

Figure 112018042285857-pat00006
을 토대로 해당 화소가 불량 화소인지의 여부를 판단할 수 있다. The response of an arbitrary pixel of an infrared luminescence detector, which is calculated on the basis of Equation (1)
Figure 112018042285857-pat00006
It is possible to determine whether the pixel is a defective pixel or not.

예를 들어,

Figure 112018042285857-pat00007
인 경우에는 화소가 단선으로 인해 불량 화소가 된 것으로 판단한다. 또한, 화소의 반응도가 기준치(T)보다 현저하게 작은 경우(
Figure 112018042285857-pat00008
) 또는, 화소의 반응도가 기준치보다 현저하게 큰 경우(
Figure 112018042285857-pat00009
)에, 해당 검출 소자가 불량 화소인 것으로 판단한다. E.g,
Figure 112018042285857-pat00007
, It is determined that the pixel has become a defective pixel due to disconnection. Further, when the degree of reactivity of the pixel is significantly smaller than the reference value T
Figure 112018042285857-pat00008
) Or when the degree of reactivity of the pixel is significantly larger than the reference value
Figure 112018042285857-pat00009
), It is determined that the corresponding detection element is a defective pixel.

각 화소의 반응도를 구하기 위해서는 고온(H)과 저온(C)을 낼 수 있는 온도원이 필요하며, 일반적으로 흑체를 이용한다. 흑체는 원하는 온도원을 생성할 수 있는 특수 장비로 적외선 열상 검출기를 보정하는 데에 활용될 수 있지만, 휴대가 불편하여 열상 장비를 제조하는 공정 과정에서만 이용된다. To obtain the reactivity of each pixel, a temperature source capable of emitting a high temperature (H) and a low temperature (C) is required, and generally a black body is used. The blackbody can be used to calibrate the infrared thermal detector with special equipment that can generate the desired temperature source, but it is used only in the process of manufacturing thermal equipment because it is inconvenient to carry.

그러나 군에서 이용하는 조준경이나 휴대용 관측경과 같이 외부로부터 충격을 받을 수 있는 장비들은 제조 공정에서 불량 화소를 추출했다 하더라도 장비 운용 중 외부의 충격으로 인해 추가적인 불량 화소가 발생할 수 있다. 따라서 운용 환경에서 특수 장비를 이용하지 않고도 이용자가 불량 화소를 보정할 수 있도록 하는 기능이 필요하다.However, equipment that can be impacted from the outside, such as a sneaker or portable observation system used in the military, may cause additional defective pixels due to an external impact during the operation of the apparatus even if defective pixels are extracted in the manufacturing process. Therefore, there is a need for a function that allows the user to correct defective pixels without using special equipment in the operating environment.

불량 화소가 발생하는 주된 원인은 온도 변화에 따른 적외선 열상 검출기의 반응이 불규칙한 데에 있기 때문에, 불량 화소를 효과적으로 추출하기 위해서는 적외선 열상 검출기의 반응도를 이용해야 한다. The main reason for the occurrence of defective pixels is that the reaction of the infrared ray detector is irregular due to the temperature change. Therefore, in order to effectively extract defective pixels, the reactivity of the infrared ray detector must be utilized.

본 발명의 실시 예에서는 이용자가 열상 장비를 운용하는 환경에서 특수적인 장비 없이 적외선 열상 검출기의 반응도를 계산하여 정확하게 불량 화소를 검출하고 보정한다. In the embodiment of the present invention, in the environment where the user operates the thermal equipment, the degree of reactivity of the infrared ray detector is calculated without any special equipment, and the defective pixels are accurately detected and corrected.

이를 위해, 본 발명의 실시 예에서는 적외선 열상 검출기의 반응도를 계산하는데 있어서, 2개의 온도원 즉, 기준 온도원과 부가 온도원을 이용하고, 기준 온도원에 대한 열상 데이터(설명의 편의상 "기준 온도원 열상 데이터"라고 명명함)와 부가 온도원에 대한 열상 데이터(설명의 편의상 "부가 온도원 열상 데이터"라고 명명함)를 이용하여 반응도를 계산한다. For this purpose, in the embodiment of the present invention, two temperature sources, that is, a reference temperature source and an additional temperature source, are used to calculate the reactivity of the infrared ray thermal detector, and thermal data for a reference temperature source Quot; column thermal data ") and the thermal data for the additional temperature source (referred to as" additional temperature thermal thermal data "for convenience of explanation).

적외선 열상 검출기는 주변의 온도 변화에 따라 각 화소의 응답이 달라져 적외선 열상 검출기의 출력이 고르지 않을 수 있기 때문에, 화질이 열화될 때마다 이용자가 불균일 보정 기능을 수행하여 적외선 열상 검출기의 출력을 균일하게 보정한다. 불균일 보정을 수행하기 위해 적외선 열상 검출기 앞에 균일한 온도원을 공급해야 한다. 이를 위해 적외선 열상 검출기가 적용된 조준경이나 관측경 등의 휴대용 열상 장비에서는 렌즈 앞부분을 손바닥으로 덮거나 열상 장비에 내장된 셔터를 이용한다. 불균일 보정에 이용될 수 있는 인간의 손바닥은 체온에 의해 일정한 온도를 지니고 있다. 또한, 셔터는 열상 장비가 구동하면서 내부에서 발생되는 열의 전도에 의해 일정한 온도를 지니고 있다. 따라서 불균일 보정을 수행하기 위해 이용되는 온도원(인간의 손바닥 또는 셔터 등)을, 적외선 열상 검출기의 반응도를 계산하는 데에 필요한 하나의 온도원으로 이용할 수 있다. Since the response of each pixel varies depending on the ambient temperature, the output of the infrared ray thermal detector may not be uniform. Therefore, whenever the image quality deteriorates, the user performs the nonuniformity correction function to uniformly output the infrared ray thermal detector output . In order to perform the non-uniformity correction, a uniform temperature source must be supplied in front of the infrared thermal detector. For this purpose, the front of the lens is covered with the palm of the hand or the shutter built in the thermal equipment is used for the portable thermal equipment such as the sneaker or the observation light to which the infrared ray detector is applied. The human hand, which can be used for nonuniformity correction, has a constant temperature depending on body temperature. Further, the shutter has a constant temperature due to conduction of heat generated in the inside while the thermal equipment is driven. Therefore, a temperature source (such as a human's palm or a shutter) used to perform the non-uniformity correction can be used as one temperature source necessary for calculating the reactivity of the infrared luminescence detector.

본 발명의 실시 예에서는 불균일 보정을 수행하기 위해 이용되는 온도원을 기준 온도원으로 이용하는데, 반드시 이에 한정되는 것은 아니다. 불균일 보정을 수행하기 위해 이용되는 온도원인 인간의 손바닥이나 셔터를 이용하여 적외선 열상 검출기를 가린 상태에서 적외선 열상 검출기를 통하여 획득한 균일한 열상 데이터(불균일 보정에 이용된 열상 데이터일 수 있음)가, 기준 온도원 열상 데이터로 사용된다. 적외선 열상 검출기를 가리는 수단을 차단 부재라고 명명할 수 있으며, 차단 부재는 손바닥이나 셔터 이외에도, 다른 수단을 포함할 수 있다. In the embodiment of the present invention, the temperature source used for performing the non-uniformity correction is used as the reference temperature source, but the present invention is not limited thereto. Uniform thermal image data (which may be thermal image data used for nonuniformity correction) obtained through an infrared thermal image detector in a state in which the infrared thermal image detector is hidden by using a human's palm or a shutter serving as a temperature cause used for performing nonuniformity correction, It is used as reference temperature circle heat data. The means for covering the infrared luminescence detector may be referred to as a blocking member, which may include other means besides a palm or a shutter.

적외선 열상 검출기가 적용된 열상 장비가 운용되는 환경 온도는 인간의 체온이나 열상 장비의 내부 온도와 차이가 있기 때문에, 배경(scene)에는 기준 온도원과 다른 온도원을 포함하고 있다. 본 발명의 실시 예에서는 배경 정보에 포함된 열상 데이터를 부가 온도원으로 이용한다. 적외선 열상 검출기를 손바닥이나 셔터 등으로 가리지 않은 상태에서 배경을 검출 대상으로 하여 적외선 열상 검출기를 통하여 획득되는 열상 데이터가, 부가 온도원 열상 데이터로 사용된다. Since the environmental temperature at which the infrared thermal detector is applied is different from the human body temperature or the internal temperature of the thermal equipment, the background includes a temperature source different from the reference temperature source. In the embodiment of the present invention, the thermal data included in the background information is used as an additional temperature source. The thermal image data obtained through the infrared thermal image detector with the background as a detection target in a state in which the infrared thermal image detector is not covered by a palm or a shutter is used as additional temperature circular thermal image data.

본 발명의 실시 예에서는 설정 시간 동안 누적된 열상 데이터를 이용하여 반응도를 계산하기 위한 열상 데이터를 획득한다. In the embodiment of the present invention, lunar data for calculating the reactivity is obtained by using the accumulated lunar data during the set time.

열상 데이터를 시간적으로 누적하기 위한 수식은 다음과 같다. The formula for temporally accumulating the lumped data is as follows.

Figure 112018042285857-pat00010
Figure 112018042285857-pat00010

여기서, I(n;x,y)는 각 화소(x,y)에 대한 출력을 n개의 프레임 동안 누적한 결과를 나타내며, V는 화소의 출력으로 현재 입력으로 들어오는 열상 데이터를 나타낸다. 또한, a는 입력에 대한 가중치를 나타내며, 이는 불필요한 입력을 억제하기 위한 계수이다. 한편, 기준 온도원 열상 데이터 획득시에도, 위의 수학식 2를 토대로 설정 프레임 동안 누적된 결과를 이용할 수 있다. Here, I (n; x, y) represents the result of accumulating the output for each pixel (x, y) over n frames, and V represents the output of the pixel to the current input. Also, a represents a weight for the input, which is a coefficient for suppressing unnecessary input. On the other hand, at the time of acquiring the reference temperature circle heat data, the accumulated result during the setting frame can be used based on Equation (2).

이러한 수학식 2를 토대로, 배경을 검출 대상으로 하여 적외선 열상 검출기를 통하여 획득되는 열상 데이터를 시간적으로 누적하여, 부가 온도원 열상 데이터를 획득할 수 있다. Based on Equation (2), it is possible to accumulate the thermal image data acquired through the infrared thermal image detector with the background as the detection target, thereby obtaining the additional temperature source thermal image data.

본 발명의 실시 예에서 기준 온도원 열상 데이터는 선택적으로 수학식 2를 토대로, 인간의 손바닥이나 셔터를 이용하여 적외선 열상 검출기를 가린 상태에서 적외선 열상 검출기를 통하여 획득한 열상 데이터를 시간적으로 누적한 데이터를 기준 온도원 열상 데이터로 사용할 수도 있다. In the embodiment of the present invention, the reference temperature circle lattice data is obtained by temporally accumulating the lattice data acquired through the infrared ray lattice detector in a state in which the infrared lattice phase detector is obscured using a human's palm or a shutter, May be used as the reference temperature circle heat data.

본 발명의 실시 예에서는 각 화소별로 획득한 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 이용하여, 각 화소의 반응도를 구한다. 본 발명의 실시 예에서 불량 화소 판단을 위해 사용되는, 적외선 열상 검출기의 각 화소의 반응도는 다음과 같은 수식에 따라 계산될 수 있다. In the embodiment of the present invention, the degree of reactivity of each pixel is obtained by using the reference temperature circle heat data and the additional temperature circle heat data acquired for each pixel. In the embodiment of the present invention, the reactivity of each pixel of the infrared luminescence detector, which is used for bad pixel determination, can be calculated according to the following equation.

Figure 112018042285857-pat00011
Figure 112018042285857-pat00011

여기서, I R은 기준 온도원 열상 데이터를 나타내며, I S는 부가 온도원 열상 데이터를 나타낸다.Here, I R represents reference temperature circle heat data, and I S represents addition temperature circle heat data.

본 발명의 실시 예에 따른 임의 화소(x, y)에 대한 반응도 R(x, y)은 해당 화소에 대한 기준 온도원 열상 데이터(I R(x, y))와 부가 온도원 열상 데이터(I S(x, y))의 차이를 토대로 계산된다. 계산 결과에 절대값을 취했기 때문에, 반응도 계산시 기준 온도원 열상 데이터와 부가 온도원 열상 데이터가 입력되는 순서는 큰 의미가 없다.Response for any pixel (x, y) in accordance with an embodiment of the invention R (x, y) is the reference temperature source the thermal data for the pixel (I R (x, y)) and the additional temperature source thermal data (I S (x, y)). Since the absolute value is taken in the calculation result, the order in which the reference temperature circle lunar data and the additional temperature circle lunar data are inputted in the calculation of the response is not significant.

한편, 배경 정보는 다양한 온도원을 포함하기 때문에 기준 온도원과 유사한 온도원이 포함될 경우 이후 불량 화소 판단시 문제가 발생할 수 있다. 반응도가 주변 화소와 급격한 차이가 있는 화소를 불량 화소로 판단하기 때문에, 움직임이 없는 배경 정보를 이용할 경우 에지(edge)나 거친 텍스처(texture)를 갖는 부분에서 정상 화소를 불량 화소로 오판할 수 있다. 이에 따라, 본 발명의 실시 예에서는 다양한 온도원이 고르게 혼합될 수 있도록 열상 장비를 움직이는 상태에서 열상 데이터를 획득한다. 그러나, 본 발명은 반드시 이에 한정되는 것은 아니다. On the other hand, since the background information includes various temperature sources, if a temperature source similar to the reference temperature source is included, a problem may arise after the determination of a defective pixel. Since a pixel having a sudden difference in response to peripheral pixels is regarded as a bad pixel, it is possible to misjudge a normal pixel as a bad pixel in a portion having an edge or a rough texture when background information without motion is used . Accordingly, in the embodiment of the present invention, thermal image data is acquired while moving the thermal imaging apparatus so that various temperature sources can be mixed evenly. However, the present invention is not limited thereto.

도 1은 본 발명의 실시 예에서, 기준 온도원과 부가 온도원을 이용하여 계산한 반응도를 영상화한 것을 나타낸 예시도이다. FIG. 1 is an exemplary diagram showing a reaction diagram calculated using a reference temperature source and an additional temperature source in an embodiment of the present invention. FIG.

구체적으로, 도 1은 손바닥을 이용하여 얻은 기준 온도원 열상 데이터와 실외를 배경으로 획득한 열상 데이터(시간적으로 누적한 열상 데이터)인 부가 온도원 영상 데이터를 이용하여 계산한 반응도를 영상화한 것이다. Specifically, FIG. 1 is an image of the reaction rate calculated using the reference temperature raw thermal image data obtained by using the palm and the additional temperature original image data obtained by taking the outdoor background as background data (temporally accumulated thermal data).

첨부한 도 1의 (a)에서와 같이, 열상 장비의 움직임이 없는 경우에 다양한 물체들에 의해 강한 에지 성분들이 발생되는 반면, 도 1의 (b)에서와 같이 열상 장비의 움직임이 있는 경우에 열상 데이터는 에지 부분이 흐릿하게 되어 불량 화소 검출에 용이한 정보가 될 수 있다.As shown in FIG. 1 (a), strong edge components are generated by various objects when there is no motion of the thermal imaging apparatus, whereas when there is motion of the thermal imaging apparatus as shown in FIG. 1 (b) The edge portion of the thermal image becomes blurred and can be information that is easy to detect defective pixels.

따라서, 본 발명의 실시 예에서는 열상 장비를 움직이는 상태에서 부가 온도원 열상 데이터를 획득한다. 이를 위해, 열상 장비에 별도의 버튼을 두어 컨트롤하는 방법을 이용하거나, 움직임 센서나 영상내 움직임 판단 알고리즘 등을 이용할 수 있다. 예를 들어, 별도의 버튼이 동작하는 경우에 부가 온도원 열상 데이터를 획득하거나, 또는 움직임 감지 센서나 움직임 판단 알고리즘을 이용하여, 열상 장비가 움직이는 것으로 판단되는 경우에, 부가 온도원 열상 데이터를 획득할 수 있다. Therefore, in the embodiment of the present invention, the additional temperature circle lunar phase data is acquired while the thermal equipment is moving. For this purpose, it is possible to use a method of controlling by placing a separate button on the thermal equipment, a motion sensor, an intra-image motion judgment algorithm, or the like. For example, in the case where a separate button is operated, additional temperature circle lunar phase data is acquired, or when it is judged that the thermal equipment is moving by using a motion detection sensor or a motion judgment algorithm, can do.

한편, 본 발명의 실시 예에서는 불균일 보정을 수행하기 위해 이용되는 온도원을 기준 온도원으로 이용하여 기준 온도원 열상 데이터를 획득하였으나, 불균일 보정을 수행하기 위한 온도원(예를 들어, 손바닥이나 셔터 등)을 이용할 수 없는 경우, 배경 정보를 이용하여 기준 온도원 열상 데이터를 획득할 수 있다. 이때, 획득한 배경 정보는 부가 온도원의 배경 정보와 다른 온도원을 가져야 한다. 예를 들어, 제1 배경(예를 들어, 실내)를 검출 대상으로 하여 적외선 열상 검출기를 통하여 획득되는 열상 데이터를 기준 온도원 열상 데이터로 사용하고, 제2 배경(예를 들어, 실외)를 검출 대상으로 하여 적외선 열상 검출기를 통하여 획득되는 열상 데이터를 부가 온도원 열상 데이터로 사용한다. 이러한 경우, 부가 온도원 열상 데이터와 마찬가지로 기준 온도원 열상 데이터도 열상 장비를 움직이며 획득할 수 있다. Meanwhile, in the embodiment of the present invention, the reference temperature source lunar phase data is obtained by using the temperature source used for performing the nonuniformity correction as the reference temperature source, but it is also possible to use a temperature source (for example, Etc.) can not be used, the background temperature information can be used to obtain the reference temperature circle heat data. At this time, the acquired background information should have a temperature source different from the background information of the additional temperature source. For example, it is possible to use the lunar phase data obtained through the infrared lunar phase detector with the first background (for example, the room) as the detection target as the reference temperature lunar phase data, and detect the second background (for example, As the target, the thermal data obtained through the infrared thermal detector is used as the additional temperature circle thermal data. In this case, similar to the additive temperature circle thermal data, the reference temperature circle thermal data can also be acquired by moving the thermal equipment.

또한, 본 발명의 실시 예에서는 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 분석하여, 그 온도차가 임계치 이상인 경우에 불량 화소를 추출할 수도 있다. In addition, in the embodiment of the present invention, it is also possible to analyze the reference temperature source heat image data and the additional temperature source heat image data, and to extract defective pixels when the temperature difference is equal to or higher than the threshold value.

본 발명의 실시 예에서는 위에 기술된 바와 같이, 다양한 방법을 통하여 획득되는 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 토대로 계산된 반응도를 이용하여 불량 화소를 추출한다. 예를 들어, 화소별 기준 온도원 열상 데이터의 평균값과, 화소별 부가 온도원 열상 데이터의 평균값의 차이가 설정된 값 이상일 경우에, 본 발명의 실시 예에 따른 불량 화소 처리 방법이 수행될 수 있다. In the embodiment of the present invention, as described above, defective pixels are extracted using the calculated degrees of reactivity based on the reference temperature circle heat data and the additional temperature circle heat data obtained through various methods. For example, the defective pixel processing method according to the embodiment of the present invention can be performed when the difference between the average value of the pixel-by-pixel reference temperature circle thermal data and the average value of the pixel-by-pixel additional temperature source heat data is a set value or more.

한편, 기존에 흑체를 이용한 방법은 균일한 출력을 갖는 온도원을 이용했기 때문에 전체 화소에 대한 반응도의 분포를 이용하여 특수한 반응을 보이는 화소를 추출하는 방식이었다. On the other hand, since the method using the black body has used a temperature source having a uniform output, a method of extracting a pixel having a specific reaction using the distribution of the reactivity to all the pixels was used.

본 발명의 실시 예에서는 배경 정보를 이용하기 때문에, 도 1에 예시된 바와 같이, 균일하지 않은 열상 데이터를 입력으로 받을 수 있다. 따라서 전체 화소에 대한 분포로 불량 화소의 존재유무를 판단하기 어렵기 때문에 주변 화소를 이용하여 불량 화소를 판단한다.Since the background information is used in the embodiment of the present invention, non-uniform heat data can be received as input as illustrated in FIG. Therefore, it is difficult to determine the presence or absence of a defective pixel due to the distribution of all the pixels, so that the defective pixel is determined using peripheral pixels.

도 2는 본 발명의 실시 예에 따른 불량 화소와 그 주변 화소를 나타낸 예시도이다. 2 is an exemplary view showing a defective pixel and its peripheral pixels according to an embodiment of the present invention.

불량 화소 주변의 빗금친 화소가 불량 화소 추출에 이용되는 주변 화소이다. 주변 화소는 도 2에 예시된 바와 같은 범위에 한정되지 않는다. 본 발명의 실시 예에서는 계산량이 증가를 고려하여, 임의 화소를 중심으로 상하 좌우에 위치한 화소들을 주변 화소로 이용하는 것을 예로 들어서 설명한다. The hatched pixels around the defective pixels are peripheral pixels used for defective pixel extraction. The peripheral pixels are not limited to the range illustrated in Fig. In the embodiment of the present invention, considering the increase in the amount of calculation, pixels located at upper, lower, right and left sides around arbitrary pixels are used as peripheral pixels.

본 발명의 실시 예에서는 임의 화소의 반응도와 주변 화소의 반응도의 차이의 절대값이 미리 설정된 임계치를 초과하는지의 여부를 토대로, 해당 임의 화소가 불량 화소인지의 여부를 판단한다. 이를 위하여, 다음과 같은 수식을 이용할 수 있다. In the embodiment of the present invention, it is determined whether or not the arbitrary pixel is a defective pixel, based on whether the absolute value of the difference between the reactivity of the arbitrary pixel and the reactivity of the surrounding pixels exceeds a preset threshold value. For this, the following equation can be used.

Figure 112018042285857-pat00012
Figure 112018042285857-pat00012

여기서, p는 불량 화소 판단을 위한 현재 화소의 반응도를 나타내며, p'는 주변 화소의 반응도를 나타낸다. 반응도는 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 토대로 수학식 3을 토대로 계산된 반응도이다. Here, p represents the reactivity of the current pixel for the defective pixel determination, and p 'represents the reactivity of the neighboring pixels. The degree of reaction is a calculated reaction based on Equation (3) based on the reference temperature circle heat image data and the additional temperature circle heat image data.

map(x,y)는 불량 화소의 유무를 기록하기 위한 배열이며, 불량 화소이면 1을, 정상 화소이면 0을 표시하도록 지정할 수 있다. 수학식 4를 토대로, 현재의 화소의 반응도와 주변 화소의 반응도의 차이의 절대값이 미리 설정된 임계치(T)보다 큰 경우 현재 화소가 불량 화소로 판단되어 map(x,y)는 "1"의 값을 가진다. 현재의 화소의 반응도와 주변 화소의 반응도의 차이의 절대값이 미리 설정된 임계치(T)보다 작거나 같은 경우 현재 화소가 정상 화소로 판단되어 map(x,y)는 "0"의 값을 가진다. map (x, y) is an array for recording the presence or absence of bad pixels, and can designate 1 for bad pixels and 0 for normal pixels. If the absolute value of the difference between the reactivity of the current pixel and the reactivity of the surrounding pixels is larger than the preset threshold value T, the current pixel is determined as a defective pixel, and map (x, y) Value. If the absolute value of the difference between the reactivity of the current pixel and the reactivity of the surrounding pixels is less than or equal to the predetermined threshold value T, the current pixel is determined to be a normal pixel, and map (x, y) has a value of "0".

여기서, 임계치(T)는 고정된 값일 수 있으며, 또는 적응적으로 가변되는 값일 수 있다. 예를 들어, 화소별 기준 온도원 열상 데이터들의 평균값과, 화소별 부가 온도원 열상 데이터들의 평균값의 차이를 임계치(T)로 설정할 수 있다. 이 경우, 운용 환경에 따라 임계치가 적응적으로 설정될 수 있다. Here, the threshold value T may be a fixed value or may be an adaptively variable value. For example, the threshold value T may be set to a difference between an average value of pixel-by-pixel reference temperature column image data and an average value of pixel-by-pixel add-on temperature column image data. In this case, the threshold value may be adaptively set according to the operating environment.

또 다른 예로써, 주변 화소에 대한 평균과 표준편차를 이용하여 불량 화소를판단할 수 있다. As another example, it is possible to determine a defective pixel by using an average and standard deviation of neighboring pixels.

여기서, 주변 화소는 도 3과 같은 화소들일 수 있다. Here, the peripheral pixels may be pixels as shown in FIG.

도 3은 본 발명의 실시 예에 따른 불량 화소와 그 주변 화소를 나타낸 다른 예시도이다. FIG. 3 is another example of a defective pixel and its peripheral pixels according to an embodiment of the present invention.

불량 화소를 판단하기 위하여, 다음과 같은 수식을 사용할 수 있다. In order to determine the defective pixel, the following equation can be used.

Figure 112018042285857-pat00013
Figure 112018042285857-pat00013

여기서 m은 주변 화소들의 반응도의 평균을 나타내며, σ는 주변 화소들의 반응도의 표준편차를 나타낸다. α는 불량 화소 판단의 민감도를 조절하기 위한 상수를 나타낸다. 설명의 편의상 "

Figure 112018042285857-pat00014
"를 표준 편차를 토대로 한 설정값이라고 명명한다. Where m represents the average of the reactivity of the surrounding pixels, and? Represents the standard deviation of the reactivity of the surrounding pixels. represents a constant for adjusting the sensitivity of the bad pixel determination. For convenience of explanation,
Figure 112018042285857-pat00014
Quot; is called a set value based on the standard deviation.

수학식 5를 토대로, 현재의 화소의 반응도와 주변 화소들의 반응도의 평균의 차이의 절대값이, 주변 화소들의 반응도의 표준편차를 토대로 한 설정값(

Figure 112018042285857-pat00015
)보다 큰 경우 현재 화소가 불량 화소로 판단되어 map(x,y)는 "1"의 값을 가진다. 현재의 화소의 반응도와 주변 화소들의 반응도의 평균의 차이의 절대값이, 주변 화소들의 반응도의 표준편차를 토대로 한 설정값(
Figure 112018042285857-pat00016
)보다 작거나 같은 경우 현재 화소가 정상 화소로 판단되어 map(x,y)는 "0"의 값을 가진다. Based on Equation (5), the absolute value of the difference between the reactivity of the current pixel and the average of the reactivity of the surrounding pixels is the set value (
Figure 112018042285857-pat00015
), The current pixel is determined to be a defective pixel, and map (x, y) has a value of "1 ". The absolute value of the difference between the reactivity of the current pixel and the average of the reactivity of the surrounding pixels is smaller than the set value (
Figure 112018042285857-pat00016
), The current pixel is determined to be a normal pixel, and map (x, y) has a value of "0 ".

여기서 주변 화소는 도 3에 예시된 바와 같이, 순차적으로 데이터를 처리하는 실시간 처리 시스템에서 현재 화소에 앞서서 들어온 화소들을 나타내지만, 이에 한정되지 않으며, 도 2에 예시된 바와 같이, 임의 화소를 중심으로 상하 좌우에 위치한 화소들일 수 있다. Here, the surrounding pixels represent pixels that precede the current pixel in a real-time processing system that sequentially processes data, as illustrated in FIG. 3. However, the present invention is not limited to this, and as exemplified in FIG. 2, Right, and left pixels.

위에 기술된 바와 같이, 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 토대로 계산된 반응도를 이용하여 불량 화소를 추출한다. As described above, defective pixels are extracted using the calculated degree of reactivity based on the reference temperature circle heat image data and the additional temperature circle heat image data.

불량 화소 추출이 완료되면 불량 화소의 위치를 메모리에 저장하고, 이후 들어오는 입력 데이터에 대해서는 주변의 정상 화소를 이용하여 불량 화소를 대체할 수 있다. 불량 화소 대체는 일반적으로 주변 정상화소의 평균을 이용하거나 주변의 대표값을 그대로 복사하는 방법 등이 이용된다.When the defective pixel extraction is completed, the position of the defective pixel is stored in the memory, and the defective pixel can be replaced with the input normal data of surrounding input data. The defective pixel replacement is generally performed by using the average of surrounding normal pixels or by copying the representative values of the surrounding pixels.

도 4는 본 발명의 실시 예에 따른 불량 화소 처리 방법의 흐름도이다. 4 is a flowchart of a defective pixel processing method according to an embodiment of the present invention.

첨부한 도 4에서와 같이, 본 발명의 실시 예에서는 적외선 열상 검출기를 구성하는 검출 소자들에 대응하는 화소별로, 기준 온도원에 대한 열상 데이터를 획득하고, 부가 온도원에 대한 열상 데이터를 획득한다(S100, S110). 위에 기술된 바와 같이, 예를 들어, 적외선 열상 검출기를 손바닥이나 셔터로 가린 상태에서 적외선 열상 검출기로 입력되는 열상 데이터를 처리하여, 기준 온도원 열상 데이터를 획득한다. 그리고 배경을 검출대상으로 하여 적외선 열상 검출기를 통하여 획득되는 열상 데이터를 시간적으로 누적 처리하여, 부가 온도원 열상 데이터를 획득한다. As shown in FIG. 4, in the embodiment of the present invention, the thermal image data for the reference temperature source is obtained for each pixel corresponding to the detection elements constituting the infrared thermal image detector, and the thermal image data for the additional temperature source is obtained (S100, S110). As described above, for example, thermal image data input to the infrared luminescence detector in the state where the infrared luminescence detector is covered with a palm or a shutter is processed to obtain reference temperature luminescence data. Then, the background image is acquired and accumulated through the infrared thermal image detector, and the additional temperature source thermal image data is acquired.

다음, 화소별로 획득된 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 토대로 화소별 반응도를 계산한다(S120). 화소별 반응도는 수학식 3을 토대로, 기준 온도원 열상 데이터와 부가 온도원 열상 데이터의 차이의 절대값이다. Next, the pixel-by-pixel reactivity is calculated based on the reference temperature circle heat data and the additional temperature circle heat data obtained for each pixel (S120). The pixel-by-pixel reactivity is the absolute value of the difference between the reference temperature circle heat image data and the additional temperature circle heat image data, based on Equation (3).

화소별 반응도를 이용하여 불량 화소를 추출한다(S130). 불량 화소 추출시, 제1 판단 방법에 따라, 불량 화소인지를 판단하기 위한 현재 화소의 반응도와 주변 화소의 반응도의 차이의 절대값과 임계치를 비교하고, 차이의 절대값이 임계치보다 큰 경우에 현재 화소가 불량 화소인 것으로 판단한다. 또는, 제2 판단 방법에 따라, 현재 화소의 반응도와 주변 화소들의 반응도의 평균의 차이의 절대값이, 주변 화소들의 반응도의 표준편차를 토대로 한 설정값(

Figure 112018042285857-pat00017
)과 비교하고, 차이의 절대값이 주변 화소들의 반응도의 표준편차를 토대로 한 설정값(
Figure 112018042285857-pat00018
)보다 큰 경우에 현재 화소가 불량 화소인것으로 판단한다. The defective pixels are extracted using the pixel-by-pixel reactivity (S130). When the absolute value of the difference is larger than the threshold value, the absolute value of the difference between the reactivity of the current pixel and the reactivity of the surrounding pixels is compared with the threshold value, It is determined that the pixel is a defective pixel. Alternatively, according to the second determination method, the absolute value of the difference between the reactivity of the current pixel and the average of the reactivity of the surrounding pixels is set to a set value (
Figure 112018042285857-pat00017
), And the absolute value of the difference is compared with a setting value based on the standard deviation of the reactivity of peripheral pixels
Figure 112018042285857-pat00018
), It is determined that the current pixel is a defective pixel.

불량 화소로 판단된 화소에 대한 처리를 수행한다(S140). 예를 들어, 이후 적외선 열상 검출기를 통해 들어오는 데이터에 대해서는 주변의 정상 화소를 이용하여 불량 화소를 대체할 수 있다. 예를 들어, 불량 화소의 값을, 불량 화소의 주변에 있는 정상 화소들의 평균값으로 대체하거나, 주변의 정상 화소의 대표값으로 대체할 수 있다. Processing for a pixel determined as a defective pixel is performed (S140). For example, in the case of data coming in through an infrared thermal image detector, a defective pixel can be replaced with a surrounding normal pixel. For example, the value of the defective pixel can be replaced with the average value of the normal pixels around the defective pixel, or replaced with the representative value of the surrounding normal pixel.

도 5는 본 발명의 실시 예에 따른 불량 화소 처리 장치의 구조도이다. 5 is a structural diagram of a defective pixel processing apparatus according to an embodiment of the present invention.

첨부한 도 5에 도시되어 있듯이, 본 발명의 실시 예에 따른 불량 화소 처리 장치(100)는, 프로세서(110), 메모리(120) 및 입출력부(130)를 포함한다. 5, the defective pixel processing apparatus 100 according to the embodiment of the present invention includes a processor 110, a memory 120, and an input / output unit 130.

프로세서(110)는 위의 도 1 내지 도 4를 토대로 설명한 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(110)는 적외선 열상 검출기를 구성하는 검출 소자들에 대응하는 화소별로, 기준 온도원에 대한 열상 데이터를 획득하고, 부가 온도원에 대한 열상 데이터를 획득하도록 구성된 열상 데이터 획득 처리부, 화소별로 획득된 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 토대로 화소별 반응도를 계산하도록 구성된 반응도 계산 처리부, 화소별 반응도를 이용하여 불량 화소를 추출하도록 구성된 불량 화소 추출 처리부, 불량 화소로 판단된 화소에 대한 처리를 수행하도록 구성된 불량 화소 처리부를 포함할 수 있다. The processor 110 may be configured to implement the methods described above based on FIGS. 1-4. For example, the processor 110 may be configured to acquire longevity data for a reference temperature circle, for each pixel corresponding to the detection elements constituting the infrared luminescence detector, and to obtain lunation data for an additional temperature circle, , A reaction calculation processing unit configured to calculate a pixel-by-pixel reactivity based on the reference temperature circle heat data and the additional temperature circle heat data obtained for each pixel, a defective pixel extraction processing unit configured to extract defective pixels using the per- And a defective pixel processing unit configured to perform processing on the pixels that have been subjected to the defective pixel processing.

메모리(120)는 프로세서(110)와 연결되고 프로세서(110)의 동작과 관련한 다양한 정보를 저장한다. 메모리(120)는 프로세서(110)에서 수행하기 위한 명령어(instructions)를 저장하고 있거나 저장 장치(도시하지 않음)로부터 명령어를 로드하여 일시 저장할 수 있다. 프로세서(110)는 메모리(120)에 저장되어 있거나 로드된 명령어를 실행할 수 있다. 프로세서(110)와 메모리(120)는 버스(도시하지 않음)를 통해 서로 연결되어 있으며, 버스에는 입출력 인터페이스(도시하지 않음)도 연결되어 있을 수 있다. 또한 메모리(120)는 화소별 불량 화소 여부를 판단한 결과(예를 들어, map(x,y))를 저장하도록 구성될 수 있다. The memory 120 is coupled to the processor 110 and stores various information related to the operation of the processor 110. [ The memory 120 stores instructions to be executed by the processor 110, or may temporarily store an instruction loaded from a storage device (not shown). The processor 110 may execute instructions that are stored or loaded into the memory 120. The processor 110 and the memory 120 are connected to each other via a bus (not shown), and an input / output interface (not shown) may be connected to the bus. Also, the memory 120 may be configured to store a result (e.g., map (x, y)) of determining whether a pixel is a defective pixel.

입출력부(130)는 적외선 열상 검출기로부터 출력되는 데이터를 프로세서(110)로 제공하도록 구성되고, 또한 프로세서(110)의 처리 결과를 출력하도록 구성된다. 입출력부(130)는 적외선 열상 검출기로부터 출력되는 아날로그 신호를 처리하여 대응하는 디지털 신호인 데이터를 프로세서(110)로 제공하도록 구성될 수 있다. The input / output unit 130 is configured to provide data output from the infrared ray thermal detector to the processor 110, and is also configured to output a processing result of the processor 110. [ The input / output unit 130 may be configured to process the analog signal output from the infrared ray detector and provide data to the processor 110 as a corresponding digital signal.

또한, 입출력부(130)는 본 발명의 실시 예에 따른 불량 화소 처리 장치가 적용되는 열상 장비에 설치된 별도의 버튼의 동작에 따라 입력되는 신호를 프로세서(110)로 제공하도록 구성될 수 있다. 또한, 입출력부(130)는 움직임 센서를 포함하거나 움직임 센서로부터의 신호를 프로세서(110)로 제공하도록 구성될 수 있다. 이 경우, 프로세서(110)는 입출력부(130)를 통해 제공되는 버튼의 동작에 따른 신호나 움직임 센서로부터의 신호가 입력되면, 해당 신호를 토대로 적외선 열상 검출기가 적용된 장치가 움직임이 있는 것으로 판단하고, 위에 기술된 바와 같은 불량 화소 추출 및 처리를 수행하도록 구성될 수 있다. The input / output unit 130 may be configured to provide a signal to the processor 110 according to the operation of a separate button provided on the thermal equipment to which the defective pixel processing apparatus according to an embodiment of the present invention is applied. In addition, the input / output unit 130 may include a motion sensor or be configured to provide a signal from the motion sensor to the processor 110. In this case, when a signal according to the operation of the button provided through the input / output unit 130 or a signal from the motion sensor is input, the processor 110 determines that the apparatus to which the infrared ray detector is applied based on the signal is moving , And to perform defective pixel extraction and processing as described above.

이상에서 설명한 본 발명의 실시 예는 장치(물건) 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예에 따른 방법의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. The embodiments of the present invention described above are not necessarily implemented by apparatuses and methods but may be implemented by a program capable of executing functions corresponding to the configuration of the method according to the embodiment of the present invention or a computer And the present invention can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (19)

적외선 열상 검출기의 불량 화소를 처리하는 방법으로서,
불량 화소 처리 장치가, 상기 적외선 열상 검출기를 구성하는 검출 소자들에 대응하는 화소별로, 기준 온도원 열상 데이터를 획득하는 단계;
상기 불량 화소 처리 장치가, 상기 화소별로 부가 온도원 열상 데이터를 획득하는 단계;
상기 불량 화소 처리 장치가, 상기 화소별로 획득된 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 토대로 화소별 반응도를 계산하는 단계; 및
상기 불량 화소 처리 장치가, 상기 화소별 반응도를 토대로 불량 화소를 추출하는 단계
를 포함하고,
상기 화소별 반응도를 계산하는 단계는,
상기 기준 온도원 열상 데이터와 상기 부가 온도원 열상 데이터의 화소별 차이의 절대값을 토대로 상기 반응도를 계산하는 단계를 포함하고,
상기 기준 온도원 열상 데이터는, 상기 적외선 열상 검출기의 불균일 보정 수행시 획득되는 데이터로서, 상기 적외선 열상 검출기를 손바닥이나 셔터를 포함하는 차단 부재로 가린 상태에서 상기 적외선 열상 검출기를 통해 획득되는 열상 데이터이며,
상기 부가 온도원 열상 데이터는, 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터인, 처리 방법.
A method of processing bad pixels in an infrared luminescence detector,
The defective pixel processing apparatus comprising: acquiring reference temperature circular liner data for each pixel corresponding to the detection elements constituting the infrared luminescence detector;
The bad pixel processing apparatus comprising: obtaining additional temperature circle liner data for each pixel;
Wherein the defective pixel processing apparatus comprises: a step of calculating a pixel-by-pixel reactivity based on the reference temperature circle thermal data and the additional temperature circle thermal data acquired for each pixel; And
The defective pixel processing apparatus includes a step of extracting a defective pixel based on the pixel-
Lt; / RTI >
The step of calculating the pixel-
Calculating the reactivity based on an absolute value of a difference between pixels of the reference temperature circle heat image data and the addition temperature circle heat image data,
The reference temperature circle lunar phase data is data obtained in performing the nonuniform correction of the infrared lunar phase detector and is lunar phase data acquired through the infrared lunar phase detector in a state where the infrared lunar phase detector is shielded by a blocking member including a palm or a shutter ,
Wherein said additional temperature source lunar phase data is lunar phase data obtained through said infrared lunar phase detector with a background as a detection target.
삭제delete 삭제delete 적외선 열상 검출기의 불량 화소를 처리하는 방법으로서,
불량 화소 처리 장치가, 상기 적외선 열상 검출기를 구성하는 검출 소자들에 대응하는 화소별로, 기준 온도원 열상 데이터를 획득하는 단계;
상기 불량 화소 처리 장치가, 상기 화소별로 부가 온도원 열상 데이터를 획득하는 단계;
상기 불량 화소 처리 장치가, 상기 화소별로 획득된 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 토대로 화소별 반응도를 계산하는 단계; 및
상기 불량 화소 처리 장치가, 상기 화소별 반응도를 토대로 불량 화소를 추출하는 단계
를 포함하고,
상기 기준 온도원 열상 데이터는, 제1 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터이며,
상기 부가 온도원 열상 데이터는, 상기 제1 배경과 다른 제2 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터인, 처리 방법.
A method of processing bad pixels in an infrared luminescence detector,
The defective pixel processing apparatus comprising: acquiring reference temperature circular liner data for each pixel corresponding to the detection elements constituting the infrared luminescence detector;
The bad pixel processing apparatus comprising: obtaining additional temperature circle liner data for each pixel;
Wherein the defective pixel processing apparatus comprises: a step of calculating a pixel-by-pixel reactivity based on the reference temperature circle thermal data and the additional temperature circle thermal data acquired for each pixel; And
The defective pixel processing apparatus includes a step of extracting a defective pixel based on the pixel-
Lt; / RTI >
Wherein the reference temperature circle lunar phase data is lunar phase data obtained through the infrared lunar phase detector using the first background as a detection target,
Wherein the additional temperature circle lunar phase data is lunar phase data obtained through the infrared lunar phase detector using a second background different from the first background as a detection target.
제1항 또는 제4항에 있어서,
상기 기준 온도원 열상 데이터와 상기 부가 온도원 열상 데이터 중 적어도 하나는 시간적으로 누적 처리된 열상 데이터인, 처리 방법.
The method according to claim 1 or 4,
Wherein at least one of the reference temperature circular lunar data and the additional temperature circle lunar data is lumped data which is cumulatively processed temporally.
제5항에 있어서,
상기 시간적으로 누적 처리된 열상 데이터는,
Figure 112018042285857-pat00019
의 조건을 토대로 획득되며, I(n;x,y)는 각 화소(x,y)에 대한 출력을 n개의 프레임 동안 누적한 열상 데이터이고, 상기 V는 화소의 출력을 나타내며, a는 가중치를 나타내는, 처리 방법.
6. The method of claim 5,
The lag data accumulated in the time-
Figure 112018042285857-pat00019
(N, x, y) is the lag data accumulated for n frames of the output for each pixel (x, y), V is the output of the pixel, a is the weight .
제1항 또는 제4항에 있어서,
상기 불량 화소를 추출하는 단계는,
불량 화소인지를 판단하기 위한 현재 화소의 반응도와 주변 화소의 반응도의 차이의 절대값을 계산하는 단계;
상기 절대값과 미리 설정된 임계치를 비교하는 단계; 및
상기 절대값이 상기 임계치보다 큰 경우에 상기 현재 화소가 불량 화소인 것으로 판단하는 단계
를 포함하는, 처리 방법.
The method according to claim 1 or 4,
The step of extracting the defective pixel includes:
Calculating an absolute value of a difference between a reactivity of a current pixel and a reactivity of a neighboring pixel to determine whether the pixel is a defective pixel;
Comparing the absolute value with a preset threshold value; And
Determining that the current pixel is a bad pixel if the absolute value is greater than the threshold value
≪ / RTI >
제7항에 있어서,
상기 임계치는, 화소별 기준 온도원 열상 데이터들의 평균값과, 화소별 부가 온도원 열상 데이터들의 평균값의 차이를 토대로 설정되는, 처리 방법.
8. The method of claim 7,
Wherein the threshold value is set based on a difference between an average value of the reference temperature circle thermal data for each pixel and an average value of the pixel-by-pixel additional temperature circle thermal data.
제1항 또는 제4항에 있어서,
상기 불량 화소를 추출하는 단계는,
불량 화소인지를 판단하기 위한 현재 화소의 주변 화소들에 대한 반응도의 평균을 획득하는 단계;
상기 현재 화소의 반응도와 상기 주변 화소들의 반응도의 평균의 차이의 절대값을 계산하는 단계;
상기 절대값과 미리 설정된 설정값을 비교하는 단계; 및
상기 절대값이 상기 설정값보다 큰 경우에 상기 현재 화소가 불량 화소인 것으로 판단하는 단계
를 포함하는, 처리 방법.
The method according to claim 1 or 4,
The step of extracting the defective pixel includes:
Obtaining an average of the degree of reactivity to neighboring pixels of the current pixel to determine whether the pixel is a defective pixel;
Calculating an absolute value of a difference between the reactivity of the current pixel and an average of the reactivity of the surrounding pixels;
Comparing the absolute value with a predetermined set value; And
Determining that the current pixel is a bad pixel if the absolute value is greater than the set value
≪ / RTI >
제9항에 있어서,
상기 설정값은 상기 주변 화소들의 반응도의 표준편차와 불량 화소 판단의 민감도를 조절하기 위한 상수를 토대로 설정된 값인, 처리 방법.
10. The method of claim 9,
Wherein the set value is a value set based on a constant for adjusting the standard deviation of the reactivity of the surrounding pixels and the sensitivity of the defective pixel determination.
제1항 또는 제4항에 있어서,
상기 불량 화소를 추출하는 단계 이후에,
주변의 정상 화소를 이용하여 상기 불량 화소를 대체하는 단계
를 더 포함하는 처리 방법.
The method according to claim 1 or 4,
After the step of extracting the defective pixel,
Replacing the defective pixel by using surrounding normal pixels
≪ / RTI >
제1항 또는 제4항에 있어서,
상기 기준 온도원 열상 데이터를 획득하는 단계와 상기 부가 온도원 열상 데이터를 획득하는 단계는, 상기 적외선 열상 검출기가 적용되는 장비가 움직이는 상태에서 상기 기준 온도원 열상 데이터 및 상기 부가 온도원 열상 데이터를 각각 획득하는, 처리 방법.
The method according to claim 1 or 4,
Wherein the step of obtaining the reference temperature source lunar phase data and the step of acquiring the additive temperature source lunar phase data further comprise the steps of obtaining the reference temperature source lunar phase data and the additional temperature source lunar phase data in a state in which the equipment to which the infrared lunar phase detector is applied moves Acquire, process.
제1항 또는 제4항에 있어서,
상기 화소별 반응도를 계산하는 단계 및 상기 불량 화소를 추출하는 단계는, 상기 획득되는 기준 온도원 열상 데이터의 평균값과, 상기 부가 온도원 열상 데이터의 평균값의 차이가 미리 설정된 값 이상일 경우에, 수행되는, 처리 방법.
The method according to claim 1 or 4,
The step of calculating the pixel-by-pixel reactivity and the step of extracting the defective pixel are performed when the difference between the average value of the acquired reference temperature circle heat data and the average value of the add-on temperature source heat data is equal to or larger than a predetermined value , Processing method.
적외선 열상 검출기의 불량 화소를 처리하는 장치로서,
상기 적외선 열상 검출기를 구성하는 검출 소자들에 대응하는 화소별로 획득되는 데이터를 입력받도록 구성된 입출력부; 및
상기 입출력부와 연결되고, 상기 입력되는 데이터를 토대로 상기 적외선 열상 검출기의 불량 화소를 처리하도록 구성된 프로세서
를 포함하며,
상기 프로세서는 상기 입력되는 데이터를 토대로 상기 화소별로 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 획득하며, 상기 기준 온도원 열상 데이터와 부가 온도원 열상 데이터를 토대로 화소별 반응도를 계산하고, 상기 화소별 반응도를 토대로 불량 화소를 추출하도록 구성되며,
상기 기준 온도원 열상 데이터는, 상기 적외선 열상 검출기를 손바닥이나 셔터로 가린 상태에서 상기 적외선 열상 검출기를 통해 획득되는 열상 데이터이고, 상기 부가 온도원 열상 데이터는, 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터이거나,
상기 기준 온도원 열상 데이터는, 제1 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터이며, 상기 부가 온도원 열상 데이터는, 상기 제1 배경과 다른 제2 배경을 검출대상으로 하여 상기 적외선 열상 검출기를 통하여 획득되는 열상 데이터인, 처리 장치.
An apparatus for processing defective pixels in an infrared thermal detector,
An input / output unit configured to receive data acquired for each pixel corresponding to the detection elements constituting the infrared thermal detector; And
A processor coupled to the input / output unit and configured to process defective pixels of the infrared thermal detector based on the input data,
/ RTI >
The processor obtains the reference temperature circle lumens data and the additional temperature circle lumen data for each pixel on the basis of the input data, calculates the degree of reaction for each pixel based on the reference temperature circle lumen data and the additional temperature circle lumen data, And extracting defective pixels based on the degree of star reaction,
Wherein the reference temperature circle lunar phase data is lunar phase data obtained through the infrared lunar phase detector while the infrared lunar phase detector is covered with a palm or a shutter, Or < RTI ID = 0.0 >
Wherein the reference temperature circle lunar phase data is lunar phase data obtained through the infrared lunar phase detector with a first background as an object of detection and the additional temperature circular lunar phase data includes a second background different from the first background And the thermal image data obtained through the infrared thermal image detector.
제14항에 있어서,
상기 프로세서는, 상기 기준 온도원 열상 데이터와 상기 부가 온도원 열상 데이터의 차이의 절대값을 토대로 상기 반응도를 계산하도록 구성되는, 처리 장치.
15. The method of claim 14,
Wherein the processor is configured to calculate the reactivity based on an absolute value of a difference between the reference temperature circle heat data and the addition temperature circle heat data.
삭제delete 제14항에 있어서,
상기 기준 온도원 열상 데이터와 상기 부가 온도원 열상 데이터 중 적어도 하나는 시간적으로 누적 처리된 열상 데이터이며,
상기 시간적으로 누적 처리된 열상 데이터는,
Figure 112018075935316-pat00020
의 조건을 토대로 획득되며, I(n;x,y)는 각 화소(x,y)에 대한 출력을 n개의 프레임 동안 누적한 열상 데이터이고, 상기 V는 화소의 출력을 나타내며, a는 가중치를 나타내는, 처리 장치.
15. The method of claim 14,
At least one of the reference temperature source heat image data and the additional temperature source heat image data is lattice data accumulated in time,
The lag data accumulated in the time-
Figure 112018075935316-pat00020
(N, x, y) is the lag data accumulated for n frames of the output for each pixel (x, y), V is the output of the pixel, a is the weight .
제14항에 있어서,
상기 프로세서는,
불량 화소인지를 판단하기 위한 현재 화소의 반응도와 주변 화소의 반응도의 차이의 절대값이, 미리 설정된 임계치보다 큰 경우에 상기 현재 화소가 불량 화소인 것으로 판단하는 제1 방법, 그리고
상기 불량 화소인지를 판단하기 위한 현재 화소의 주변 화소들의 반응도의 평균과 상기 현재 화소의 반응도의 차이의 절대값이, 미리 설정된 설정값보다 큰 경우에 상기 현재 화소가 불량 화소인 것으로 판단하는 제2 방법
중 하나의 방법을 토대로 불량 화소를 추출하도록 구성되는, 처리 장치.
15. The method of claim 14,
The processor comprising:
A first method of determining that the current pixel is a defective pixel when the absolute value of the difference between the reactivity of the current pixel for determining whether the pixel is a defective pixel and the reactivity of the surrounding pixels is greater than a preset threshold value,
When the absolute value of the difference between the average of the reactivity of the surrounding pixels of the current pixel and the reactivity of the current pixel for determining whether the pixel is the defective pixel is greater than a predetermined set value, Way
And to extract defective pixels based on one of the methods.
제14항에 있어서,
상기 프로세서에 의한 불량 화소 추출 결과를 화소별로 저장하는 메모리를 더 포함하고,
상기 프로세서는 상기 메모리에 저장된 추출 결과를 토대로, 불량 화소로 추출된 화소의 주변의 정상 화소를 이용하여 상기 불량 화소를 대체하도록 구성되는, 처리 장치.
15. The method of claim 14,
Further comprising: a memory for storing a result of the defective pixel extraction by the processor for each pixel,
Wherein the processor is configured to replace the defective pixel by using a normal pixel around the pixel extracted as a defective pixel based on extraction results stored in the memory.
KR1020180049328A 2018-04-27 2018-04-27 Method and apparatus for processing defect pixel in infrared thermal detector KR101918761B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180049328A KR101918761B1 (en) 2018-04-27 2018-04-27 Method and apparatus for processing defect pixel in infrared thermal detector
PCT/KR2019/004954 WO2019209025A1 (en) 2018-04-27 2019-04-24 Method and apparatus for processing defective pixels in infrared thermal detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180049328A KR101918761B1 (en) 2018-04-27 2018-04-27 Method and apparatus for processing defect pixel in infrared thermal detector

Publications (1)

Publication Number Publication Date
KR101918761B1 true KR101918761B1 (en) 2018-11-15

Family

ID=64363380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180049328A KR101918761B1 (en) 2018-04-27 2018-04-27 Method and apparatus for processing defect pixel in infrared thermal detector

Country Status (2)

Country Link
KR (1) KR101918761B1 (en)
WO (1) WO2019209025A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186391A (en) 2000-11-10 2001-07-06 Mitsubishi Electric Corp Infrared camera
JP2004282299A (en) * 2003-03-14 2004-10-07 Mitsubishi Electric Corp Infrared camera
JP2005011759A (en) 2003-06-20 2005-01-13 Nippon Electric Glass Co Ltd Glass funnel for cathode-ray tube

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656173B1 (en) * 2014-02-20 2016-09-08 주식회사 콕스 Method and apparatus for detecting faulty pixel in thermal camera
FR3038194B1 (en) * 2015-06-26 2017-08-11 Ulis CORRECTION OF PIXEL PARASITES IN AN INFRARED IMAGE SENSOR
KR101705063B1 (en) * 2016-09-26 2017-02-09 (주)큐브이미징시스템즈 Defective pixel detection method and device using memorized position of thermal imaging camera
KR101840837B1 (en) * 2017-12-06 2018-03-21 엘아이지넥스원 주식회사 Apparatus and method for detecting dead pixel according to external infrared detector

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186391A (en) 2000-11-10 2001-07-06 Mitsubishi Electric Corp Infrared camera
JP2004282299A (en) * 2003-03-14 2004-10-07 Mitsubishi Electric Corp Infrared camera
JP2005011759A (en) 2003-06-20 2005-01-13 Nippon Electric Glass Co Ltd Glass funnel for cathode-ray tube

Also Published As

Publication number Publication date
WO2019209025A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
US10462388B2 (en) Method of shutterless non-uniformity correction for infrared imagers
EP3621850B1 (en) Shutterless far infrared (fir) camera for automotive safety and driving systems
EP3343911B1 (en) Image signal processing method and system
CN107431771B (en) System and method for anomalous pixel detection
US9082168B2 (en) Radiation imaging apparatus, radiation image processing apparatus, and image processing method
US10232237B2 (en) Thermal-assisted golf rangefinder systems and methods
US20200099825A1 (en) Error smoothing through global source non-uniformity correction
US9317910B2 (en) Defogging system and defogging method
US10803595B2 (en) Thermal-image based object detection and heat map generation systems and methods
US20140002618A1 (en) Image processing device and image processing method having function for reconstructing multi-aspect images, and recording medium
US10230912B2 (en) Fixed pattern noise mitigation for a thermal imaging system
US9654668B2 (en) Image composition apparatus and image composition method
US10536626B2 (en) Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program
US20200296301A1 (en) Image processing arrangement
US20110235866A1 (en) Motion detection apparatus and method
US10735680B2 (en) Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program
KR101918761B1 (en) Method and apparatus for processing defect pixel in infrared thermal detector
US11514598B2 (en) Image processing apparatus, image processing method, and mobile device
KR102602846B1 (en) Detection of parasitic pixels in infrared image capture devices
JP2018191049A (en) Imaging apparatus and adjustment method thereof
JP2007266787A (en) Imaging apparatus provided with process for making excessive-noise pixel usable
KR102108537B1 (en) Method for adjusting contrast of thermal image and apparatus for using the same
KR101450258B1 (en) Method for correcting time variant defect of infrared detector
JP2013186560A (en) Image processing apparatus
KR101637637B1 (en) Method and apparatus for local auto exposure in video sensor systems

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant