Nothing Special   »   [go: up one dir, main page]

KR20200081191A - Apparatus for detecting soft defective pixels in infrared camera for detection of acquired bad pixels - Google Patents

Apparatus for detecting soft defective pixels in infrared camera for detection of acquired bad pixels Download PDF

Info

Publication number
KR20200081191A
KR20200081191A KR1020190076863A KR20190076863A KR20200081191A KR 20200081191 A KR20200081191 A KR 20200081191A KR 1020190076863 A KR1020190076863 A KR 1020190076863A KR 20190076863 A KR20190076863 A KR 20190076863A KR 20200081191 A KR20200081191 A KR 20200081191A
Authority
KR
South Korea
Prior art keywords
pixel
bad
module
pixels
detecting
Prior art date
Application number
KR1020190076863A
Other languages
Korean (ko)
Other versions
KR102193913B1 (en
Inventor
윤주현
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020190076863A priority Critical patent/KR102193913B1/en
Publication of KR20200081191A publication Critical patent/KR20200081191A/en
Application granted granted Critical
Publication of KR102193913B1 publication Critical patent/KR102193913B1/en

Links

Images

Classifications

    • H04N5/367
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H04N25/21Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • H04N5/3651

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

Disclosed is a soft defective pixel detecting device of a thermal camera comprising: a median value filter module for outputting a representative pixel by performing median value filtering on a pixel of a predetermined area of an image of a thermal camera; and a defective pixel detecting module for detecting a defective pixel of the image by using the representative pixel outputted from the median value filter module. According to the present invention, the contrast of a pixel is improved to a level of visual identification to calculate a median value with the median value filter module, and a defective pixel is detected by comparing pixels through a comparator module, thereby detecting an acquired defective pixel due to aging of the thermal camera, and corresponding even to a statistically determined error, wherein an original defective pixel is determined as a normal pixel. Also, a separate reference image is not required to be inputted for each thermal camera like an existing method but detects and compensates for a defective pixel by itself, thereby being convenient and greatly increasing the accuracy of detecting the defective pixel of the aged thermal camera compared to that of the conventional invention.

Description

후천적 불량 픽셀의 검출을 위한 열상 카메라의 소프트 불량 픽셀 검출 장치{APPARATUS FOR DETECTING SOFT DEFECTIVE PIXELS IN INFRARED CAMERA FOR DETECTION OF ACQUIRED BAD PIXELS}A thermal imaging camera's soft defective pixel detection device for detection of acquired bad pixels {APPARATUS FOR DETECTING SOFT DEFECTIVE PIXELS IN INFRARED CAMERA FOR DETECTION OF ACQUIRED BAD PIXELS}

본 발명은 열상 카메라에 관한 것으로서, 구체적으로는 열상 카메라의 소프트 불량 픽셀 검출 장치에 관한 것이며, 더 구체적으로는 열상 카메라의 소프트 불량 픽셀 검출 및 보상 장치에 관한 것이다.The present invention relates to a thermal imaging camera, specifically, to a soft defective pixel detection device of a thermal camera, and more specifically to a soft defective pixel detection and compensation device of a thermal imaging camera.

열상 카메라는 공장 출하 과정에서 각 픽셀이 기본적으로 특성 차이를 가지게 된다.In the thermal imaging camera, each pixel basically has a characteristic difference during the factory shipment process.

열상 카메라는 공장 출하 시부터 불량 픽셀을 포함하게 되며, 이러한 불량 픽셀에 대해서는 차후 사용 과정에서 불균일 보정(non-formality correction)을 통해 픽셀 보상을 하게 된다.Thermal imaging cameras contain defective pixels from the factory, and pixel defects are compensated through non-formality correction in the subsequent use process.

한편, 열상 카메라는 공장 출하 시 정상 픽셀이 장기간 사용에 의해 불량 픽셀로 변경될 수 있다. 원천적 불량 픽셀에 대해서는 기존의 방식대로 쉽게 보상을 하여 사용할 수 있지만, 장기간 사용에 따른 후천적 불량 픽셀에 대해서는 오류 보상을 하는 적절한 수단이 없다.On the other hand, in a thermal camera, a normal pixel may be changed to a defective pixel by long-term use when shipped from the factory. The original defective pixel can be easily compensated and used in the conventional manner, but there is no proper means for error compensation for the acquired defective pixel caused by long-term use.

또한, 공장 출하 시에는 양불 판단을 할 때 통계적으로 정상으로 더 많이 판단된 경우에는 정상 픽셀로 규정지어 출하한다. 이러한 경우 불량 픽셀이 정상 픽셀로 판단되는 통계적 판단 오류가 발생하기도 한다. Also, when it is judged to be good or bad at the time of factory shipment, if it is judged to be more statistically normal, it is specified and shipped as a normal pixel. In this case, a statistical judgment error in which a bad pixel is determined to be a normal pixel may occur.

이처럼 원천적 불량 픽셀의 통계적 판단 오류와 후천적 불량 픽셀을 검출하여 보상할 수 있는 방안이 요구된다.As such, there is a need for a method for detecting and compensating for a statistical error of the original bad pixel and an acquired bad pixel.

10-041505110-0415051 10-165617310-1656173

본 발명의 목적은 열상 카메라의 소프트 불량 픽셀 검출 장치를 제공하는 데 있다.An object of the present invention is to provide an apparatus for detecting soft defective pixels of a thermal imaging camera.

상술한 본 발명의 목적에 따른 열상 카메라의 소프트 불량 픽셀 검출 장치는, 열상 카메라의 영상의 소정 영역의 픽셀(pixel)에 대한 중간값 필터링을 수행하여 대표 픽셀을 출력하는 중간값 필터 모듈; 상기 중간값 필터 모듈에서 출력된 대표 픽셀을 이용하여 상기 영상의 불량 픽셀을 검출하는 불량 픽셀 검출 모듈을 포함하도록 구성될 수 있다.An apparatus for detecting soft defective pixels of a thermal imaging camera according to the object of the present invention described above includes: a median filter module for outputting a representative pixel by performing median filtering on pixels in a predetermined area of an image of the thermal imaging camera; It may be configured to include a bad pixel detection module for detecting a bad pixel of the image by using a representative pixel output from the median filter module.

여기서, 상기 불량 픽셀 검출 모듈에서 검출된 불량 픽셀에 대해 보간을 수행하는 불량 픽셀 보간 모듈을 더 포함하도록 구성될 수 있다.Here, it may be configured to further include a bad pixel interpolation module that performs interpolation on the bad pixels detected by the bad pixel detection module.

그리고 상기 중간값 필터 모듈은, 상기 영상의 3X3 영역의 픽셀에 대한 중간값 필터링을 수행하도록 구성될 수 있다.In addition, the median filter module may be configured to perform median filtering on pixels in a 3X3 region of the image.

상술한 본 발명의 목적에 따른 열상 카메라의 소프트 불량 픽셀 검출 장치는, 열상 카메라의 영상의 3X3 영역의 픽셀(pixel)에 대해 순차적으로 중간값 필터링을 수행하여 대표 픽셀을 출력하는 중간값 필터 모듈; 상기 중간값 필터 모듈에서 출력된 대표 픽셀을 이용하여 상기 영상의 불량 픽셀을 검출하는 불량 픽셀 검출 모듈을 포함하도록 구성될 수 있다.An apparatus for detecting soft defective pixels of a thermal imaging camera according to the object of the present invention described above includes: a median filter module that sequentially outputs a representative pixel by sequentially performing median filtering on pixels in a 3X3 region of an image of the thermal imaging camera; It may be configured to include a bad pixel detection module for detecting a bad pixel of the image by using a representative pixel output from the median filter module.

여기서, 상기 불량 픽셀 검출 모듈에서 검출된 불량 픽셀에 대해 선형 보간을 수행하는 불량 픽셀 보간 모듈을 더 포함하도록 구성될 수 있다.Here, it may be configured to further include a bad pixel interpolation module that performs linear interpolation on the bad pixels detected by the bad pixel detection module.

그리고 상기 중간값 필터 모듈은, 저주파 통과 필터로 구성될 수 있다.In addition, the intermediate filter module may be configured as a low-pass filter.

상술한 본 발명의 목적에 따른 열상 카메라의 소프트 불량 픽셀 검출 장치는, 열상 카메라의 영상에 대해 nXn 영역의 픽셀(pixel)에 대해 순차적으로 중간값 필터링을 수행하여 대표 픽셀을 출력하는 중간값 필터 모듈; 상기 중간값 필터 모듈에서 출력된 대표 픽셀을 이용하여 상기 영상의 불량 픽셀을 검출하는 불량 픽셀 검출 모듈; 상기 불량 픽셀 검출 모듈에서 검출된 불량 픽셀에 대해 선형 보간을 수행하는 불량 픽셀 보간 모듈을 포함하도록 구성될 수 있다.The above-described apparatus for detecting a soft defective pixel of a thermal imaging camera according to the object of the present invention performs an intermediate value filtering on pixels of an nXn region sequentially on an image of the thermal imaging camera to output a representative pixel. ; A bad pixel detection module for detecting bad pixels of the image by using the representative pixels output from the median filter module; And a bad pixel interpolation module that performs linear interpolation on the bad pixels detected by the bad pixel detection module.

여기서, 상기 불량 픽셀 보간 모듈은, 상기 불량 픽셀 검출 모듈에서 검출된 불량 픽셀에 대해 양방향 선형 보간을 수행하도록 구성될 수 있다.Here, the bad pixel interpolation module may be configured to perform bidirectional linear interpolation on the bad pixels detected by the bad pixel detection module.

그리고 상기 중간값 필터 모듈은, 저주파 통과 필터로 구성될 수 있다.In addition, the intermediate filter module may be configured as a low-pass filter.

상술한 본 발명의 목적에 따른 열상 카메라의 소프트 불량 픽셀 검출 장치는, 열상 카메라의 영상에 대해 3X3 영역의 중심 픽셀(pixel)을 제외한 주변 픽셀 8개에 대한 중간값 필터링을 수행하여 대표 픽셀을 출력하는 중간값 필터 모듈; 상기 중간값 필터 모듈에서 출력된 대표 픽셀을 이용하여 상기 중심 픽셀의 불량 여부를 검출하는 불량 픽셀 검출 모듈; 상기 불량 픽셀 검출 모듈에서 정상 픽셀로 검출되는 경우 검출된 정상 픽셀을 바이패스(bypass)하고 상기 불량 픽셀 검출 모듈에서 불량 픽셀로 검출되는 경우 검출된 불량 픽셀을 보간하는 불량 픽셀 보간 모듈을 포함하도록 구성될 수 있다.The apparatus for detecting a soft defective pixel of a thermal imaging camera according to the object of the present invention described above outputs a representative pixel by performing an intermediate value filtering on 8 peripheral pixels excluding the central pixel of the 3X3 region on the image of the thermal imaging camera A median filter module; A defective pixel detection module that detects whether the central pixel is defective by using a representative pixel output from the median filter module; And configured to include a bad pixel interpolation module that bypasses the detected normal pixel when it is detected as the normal pixel in the bad pixel detection module and interpolates the detected bad pixel when it is detected as the bad pixel in the bad pixel detection module. Can be.

여기서, 상기 불량 픽셀 검출 모듈은, 상기 불량 픽셀 검출 모듈에서 검출된 불량 픽셀에 대해 양방향 선형 보간을 수행하도록 구성될 수 있다.Here, the bad pixel detection module may be configured to perform bidirectional linear interpolation on the bad pixels detected by the bad pixel detection module.

그리고 상기 중간값 필터 모듈은, 저주파 통과 필터로서 임펄스 노이즈(impuse noise)에 강건한 특성을 갖도록 구성될 수 있다.In addition, the intermediate filter module may be configured to have robust characteristics against impulse noise as a low-pass filter.

상술한 본 발명의 목적에 따른 열상 카메라의 소프트 불량 픽셀 검출 장치는, 열상 카메라의 에이징(aging) 직후의 영상에 대해 nXn 영역의 중심 픽셀(pixel)을 제외한 주변 픽셀 8개에 대한 중간값 필터링을 수행하여 대표 픽셀을 출력하는 중간값 필터 모듈; 상기 중간값 필터 모듈에서 출력된 대표 픽셀을 이용하여 상기 중심 픽셀의 불량 여부를 검출하는 불량 픽셀 검출 모듈; 상기 불량 픽셀 검출 모듈에서 검출된 불량 픽셀을 선형 보간하는 불량 픽셀 보간 모듈을 포함하도록 구성될 수 있다.The apparatus for detecting soft bad pixels of a thermal imaging camera according to the object of the present invention described above performs median filtering on eight peripheral pixels except for the center pixel of the nXn region for an image immediately after aging of the thermal imaging camera. An intermediate value filter module to perform and output a representative pixel; A defective pixel detection module that detects whether the central pixel is defective by using a representative pixel output from the median filter module; And a bad pixel interpolation module that linearly interpolates bad pixels detected by the bad pixel detection module.

여기서, 상기 불량 픽셀 보간 모듈은, 상기 불량 픽셀 검출 모듈에서 정상 픽셀로 검출되는 경우 검출된 정상 픽셀을 바이패스(bypass)하고 상기 불량 픽셀 검출 모듈에서 불량 픽셀로 검출되는 경우 검출된 불량 픽셀을 양방향 선형 보간하도록 구성될 수 있다.Here, the bad pixel interpolation module bypasses the detected normal pixel when it is detected as the normal pixel in the bad pixel detection module and bidirectionally detects the detected bad pixel when it is detected as the bad pixel in the bad pixel detection module. It can be configured to perform linear interpolation.

그리고 상기 nXn에서, n은 홀수이다.And in the above nXn, n is odd.

상술한 열상 카메라의 소프트 불량 픽셀 검출 장치에 의하면, 중간값 필터 모듈과 주변 픽셀의 중간값을 계산하고 비교기 모듈을 통해 픽셀 별로 대비하여 불량 픽셀을 검출하도록 구성됨으로써, 열상 카메라의 노후화에 따른 후천적 불량 픽셀의 검출이 가능하고 원천적 불량 픽셀을 정상 픽셀로 판단하는 통계적 판단 오류에 대해서도 대응이 가능한 효과가 있다. 즉, 열상 카메라의 에이징(aging) 이후에도 검출되지 않는 불량 픽셀을 찾아낼 수 있는 효과가 있다.According to the above-described apparatus for detecting a soft defective pixel of the thermal camera, the intermediate value of the intermediate filter module and surrounding pixels is calculated and configured to detect the defective pixel for each pixel through the comparator module, and thus acquired defects due to the aging of the thermal camera. There is an effect capable of detecting a pixel and responding to a statistical judgment error that determines the original bad pixel as a normal pixel. That is, there is an effect of finding a defective pixel that is not detected even after aging of the thermal imaging camera.

기존 방식처럼 열상 카메라 별로 별도의 기준 영상을 입력할 필요하지 않고 자체적으로 불량 픽셀을 검출하여 보상함으로써, 편리할 뿐만 아니라 노후화된 열상 카메라의 불량 픽셀 검출의 정확도가 기존에 비해 매우 높아지는 효과가 있다.As in the conventional method, it is not necessary to input a separate reference image for each thermal camera, and it detects and compensates for defective pixels by itself, which is convenient and has an effect that the accuracy of detection of defective pixels of an aging thermal camera is very high compared to the previous one.

아울러 픽셀의 콘트라스트(contrast)를 육안 식별 수준으로 개선하여 불량 픽셀을 검출하도록 구성됨으로써, 영역 별로 명암차를 쉽게 구분할 수 있게 해주는 효과가 있으며, 육안 식별 수준에서 불량 픽셀을 찾아주는 효과가 있다.In addition, it is configured to detect defective pixels by improving the contrast of the pixels to the level of visual identification, and thus has an effect of easily distinguishing the contrast difference for each area, and has the effect of finding the defective pixels at the level of visual identification.

도 1은 본 발명의 일 실시예에 따른 열상 카메라의 소프트 불량 픽셀 검출 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 열상 카메라의 소프트 불량 픽셀 검출 구성의 모식도이다.
1 is a block diagram of a soft defective pixel detection device of a thermal imaging camera according to an embodiment of the present invention.
2 is a schematic diagram of a configuration of detecting a soft defective pixel of a thermal imaging camera according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.The present invention can be applied to various changes and can have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in detail for carrying out the invention. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals are used for similar components.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B can be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component. The term and/or includes a combination of a plurality of related described items or any one of a plurality of related described items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is said to be "connected" or "connected" to another component, it is understood that other components may be directly connected to or connected to the other component, but there may be other components in between. It should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, terms such as “include” or “have” are intended to indicate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, and that one or more other features are present. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms, such as those defined in a commonly used dictionary, should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 열상 카메라의 소프트 불량 픽셀 검출 장치의 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 열상 카메라의 소프트 불량 픽셀 검출 구성의 모식도이다.1 is a block diagram of a soft defective pixel detection apparatus of a thermal imaging camera according to an embodiment of the present invention, and FIG. 2 is a schematic diagram of a soft defective pixel detection configuration of a thermal imaging camera according to an embodiment of the present invention.

도 1을 먼저 참조하면, 본 발명의 일 실시예에 따른 열상 카메라의 소프트 불량 픽셀 검출 장치(100)는 콘트라스트 개선 모듈(110), 중간값 필터 모듈(120), 비교기 모듈(130), 양방향 선형 보간 모듈(140)을 포함하도록 구성될 수 있다.Referring first to FIG. 1, the apparatus 100 for detecting soft defective pixels of a thermal imaging camera according to an embodiment of the present invention includes a contrast improvement module 110, a median filter module 120, a comparator module 130, and a bidirectional linear It may be configured to include an interpolation module 140.

열상 카메라의 소프트 불량 픽셀 검출 장치(100)는 기준 영상을 대비하여 기존의 원천적 불량 픽셀을 검출하여 보상하는 것과 달리 자체적으로 중간값 필터링과 중심 픽셀과 주변 픽셀 간의 비교를 통해 불량 픽셀을 검출하도록 구성된다.In contrast to the detection and compensation of the existing original defective pixel in preparation for the reference image, the soft defective pixel detection apparatus 100 of the thermal imaging camera is configured to detect the defective pixel through its own median filtering and comparison between the center pixel and surrounding pixels. do.

열상 카메라의 소프트 불량 픽셀 검출 장치(100)는 열상 카메라의 노후화에 따른 후천적 불량 픽셀의 검출이 가능하고 공장 출하 과정에서 원천적 불량 픽셀을 정상 픽셀로 판단하는 통계적 판단 오류에 대해서도 대응이 가능하다. 즉, 열상 카메라의 에이징(aging) 이후에 남아 있는 불량 픽셀을 찾아낼 수 있다.The soft defective pixel detection apparatus 100 of the thermal imaging camera is capable of detecting acquired defective pixels according to the aging of the thermal imaging camera, and can also respond to statistical judgment errors that determine the original defective pixels as normal pixels during the factory shipment process. That is, it is possible to find defective pixels remaining after aging of the thermal imaging camera.

공장 출하 시 생성한 기준 영상을 이용하지 않으므로 노후화된 열상 카메라의 불량 픽셀에 대해 그 검출 정확도가 높아진다.Since the reference image generated at the time of shipment from the factory is not used, the detection accuracy of the defective pixel of an aging thermal imaging camera is increased.

한편, 픽셀의 콘트라스트(contrast)를 육안 식별 수준으로 개선하여 불량 픽셀을 검출하도록 구성되어 육안 식별 수준에서 불량 픽셀을 찾아주는 장점이 있다.On the other hand, it is configured to detect a defective pixel by improving the contrast of the pixel to the level of visual identification, which has the advantage of finding a defective pixel at the level of visual identification.

이하, 세부적인 구성에 대하여 설명한다.Hereinafter, a detailed configuration will be described.

콘트라스트 개선 모듈(110)은 열상 카메라의 픽셀 스트림(pixel stream)을 입력받아 콘트라스트를 개선하도록 구성될 수 있다.The contrast improvement module 110 may be configured to receive a pixel stream of a thermal imaging camera and improve contrast.

콘트라스트 개선 모듈(110)은 픽셀 스트림을 사람의 눈으로 인식할 수 있는 대역의 콘트라스트로 이동화여 평활화하도록 구성될 수 있다.The contrast enhancement module 110 may be configured to move the pixel stream to a contrast of a band recognizable by the human eye to smooth it.

콘트라스트 개선 모듈(110)은 영상의 영역별로 명암차를 쉽게 구분할 수 있게 하는 장점이 있다.The contrast improvement module 110 has an advantage of easily distinguishing contrast differences for each region of the image.

중간값 필터 모듈(120)은 열상 카메라의 영상에 대해 nXn 영역의 중심 픽셀을 제외한 주변 픽셀들에 대해 중간값 필터링을 수행하도록 구성될 수 있다. 중간값 필터링에 의해 주변 픽셀의 대표 픽셀값을 찾아낼 수 있다.The median filter module 120 may be configured to perform median filtering on neighboring pixels except for the center pixel of the nXn region for the image of the thermal imaging camera. The representative pixel value of the surrounding pixels can be found by median filtering.

여기서, n은 홀수이며, nXn은 3X3, 5X5, 7X7 등이 될 수 있다.Here, n is an odd number, and nXn may be 3X3, 5X5, 7X7, or the like.

중간값 필터 모듈(120)은 저주파 통과 필터로서 임펄스 노이즈(impuse noise)에 강건한 특성을 갖도록 구성될 수 있다.The median filter module 120 is a low-pass filter, and may be configured to have robust characteristics against impulse noise.

도 2의 예를 들면, 중심 픽셀의 값은 12이며, 주변 픽셀 8개의 중간값 즉, 대표 픽셀값은 11이 된다.In the example of FIG. 2, the center pixel has a value of 12, and the median value of eight peripheral pixels, that is, the representative pixel value is 11.

중간값 필터 모듈(120)은 픽셀 스트림의 각 픽셀들을 중심 픽셀로 하여 순차적으로 중간값 필터링을 수행할 수 있다.The median filter module 120 may sequentially perform median filtering using each pixel of the pixel stream as a center pixel.

불량 픽셀 검출 모듈(130)은 중간값 필터 모듈(120)에서 출력된 대표 픽셀을 이용하여 중심 픽셀의 불량 여부를 검출하도록 구성될 수 있다.The bad pixel detection module 130 may be configured to detect whether the center pixel is defective using a representative pixel output from the median filter module 120.

불량 픽셀 검출 모듈(130)은 비교기(comparator) 모듈(130)로 구성될 수 있다. 불량 픽셀 검출 모듈(130)에는 중간값 필터 모듈(120)에서 중간값 필터링을 수행한 중간값 즉, 주변 픽셀의 대표 픽셀에 대해서 필요에 따라 소정의 상수값이 가산되거나 차감되어 입력될 수 있다.The bad pixel detection module 130 may be configured as a comparator module 130. The bad pixel detection module 130 may be input with a predetermined constant value added or subtracted as needed for a median value of median filtering performed by the median filter module 120, that is, a representative pixel of neighboring pixels.

또한, 비교기 모듈(130)에는 콘트라스트 개선 모듈(110)에 의해 콘트라스트가 개선된 중심 픽셀의 값이 입력될 수 있다.Further, the value of the center pixel in which the contrast is improved may be input to the comparator module 130 by the contrast enhancement module 110.

한편, 도 2에서 보듯이 비교기 모듈(130)은 대표 픽셀과 중심 픽셀의 차이를 산출하고 산출된 차이를 소정의 임계값과 대비햐여 대소를 판단하도록 구성될 수 있다.Meanwhile, as shown in FIG. 2, the comparator module 130 may be configured to calculate a difference between a representative pixel and a central pixel, and compare the calculated difference with a predetermined threshold to determine size.

비교기 모듈(130)은 대표 픽셀과 중심 픽셀의 차이가 임계값 보다 작으면 해당 중심 픽셀은 정상 픽셀로 판단하고 대표 픽셀과 중심 픽셀의 차이가 임계값 보다 크면 해당 중심 픽셀은 불량 픽셀로 판단하도록 구성될 수 있다. 중심 픽셀이 주변 픽셀의 대표값 대비하여 소정 임계값 이상의 레벨 차를 가진다면 불량 픽셀로 판단된다.The comparator module 130 is configured to determine that the center pixel is a normal pixel when the difference between the representative pixel and the center pixel is less than the threshold, and determine that the center pixel is a bad pixel when the difference between the representative pixel and the center pixel is greater than the threshold. Can be. If the center pixel has a level difference greater than or equal to a predetermined threshold value compared to a representative value of surrounding pixels, it is determined as a bad pixel.

비교기 모듈(130)은 픽셀 스트림의 각 픽셀에 대해 순차적으로 양불 판단을 하도록 구성될 수 있다.The comparator module 130 may be configured to sequentially determine whether a pixel is good or bad for each pixel in the pixel stream.

여기서, 임계값은 가변적으로 설정될 수 있다.Here, the threshold may be variably set.

임계값은 다음의 수학식 1, 2, 3과 같이 설정될 수 있다.The threshold may be set as in Equations 1, 2, and 3 below.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

Figure pat00003
Figure pat00003

임계값

Figure pat00004
가 산정되기 위한 시간은 열상 카메라 운용 초기화 이후 1분 이상 이어야 한다. 여기서,
Figure pat00005
는 충분히 작은 값을 취하기 위한 조건으로서, 최대 픽셀값의 10 %로 설정될 수 있다.Threshold
Figure pat00004
The time to be calculated should be at least 1 minute after initializing the operation of the thermal imaging camera. here,
Figure pat00005
Is a condition for taking a sufficiently small value, and can be set to 10% of the maximum pixel value.

그리고 수학식 2에서와 같이 오산정을 막기 위해 임계값

Figure pat00006
의 최소값 및 최대값 제한을 걸어줄 수 있다.And as in Equation 2, the threshold value is used to prevent miscalculation.
Figure pat00006
You can limit the minimum and maximum values of.

불량 픽셀 보간 모듈(140)은 불량 픽셀 검출 모듈(130)에서 정상 픽셀로 검출되는 경우 검출된 정상 픽셀을 바이패스(bypass)하고 불량 픽셀 검출 모듈(130)에서 불량 픽셀로 검출되는 경우 그 검출된 불량 픽셀을 보간하도록 구성될 수 있다.The bad pixel interpolation module 140 bypasses the detected normal pixel when the bad pixel detection module 130 detects it as a normal pixel, and detects the bad pixel interpolation module 130 when it detects as a bad pixel. It can be configured to interpolate bad pixels.

불량 픽셀 보간 모듈(140)은 양방향 선형 보간 모듈(140)이 될 수 있다.The bad pixel interpolation module 140 may be a bidirectional linear interpolation module 140.

양방향 선형 보간 모듈(140)은 양방향 선형 보간을 통해 불량 픽셀을 정상 픽셀로 변경할 수 있다.The bidirectional linear interpolation module 140 may change a defective pixel into a normal pixel through bidirectional linear interpolation.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although it has been described with reference to the above embodiment, those skilled in the art can understand that the present invention can be variously modified and changed within the scope not departing from the spirit and scope of the present invention described in the following claims. There will be.

110: 콘트라스트 개선 모듈
120: 중간값 필터 모듈
130: 불량 픽셀 검출 모듈(비교기 모듈)
140: 불량 픽셀 보간 모듈(양방향 선형 보간 모듈)
110: contrast enhancement module
120: median filter module
130: bad pixel detection module (comparator module)
140: bad pixel interpolation module (bidirectional linear interpolation module)

Claims (1)

열상 카메라의 픽셀 스트림(pixel stream)을 입력받아 콘트라스트(contrast)를 개선하는 콘트라스트 개선 모듈;
상기 열상 카메라의 영상의 소정 영역의 픽셀(pixel)에 대한 중간값 필터링을 수행하여 대표 픽셀을 출력하는 중간값 필터 모듈;
상기 중간값 필터 모듈에서 출력된 대표 픽셀을 이용하여 상기 영상의 불량 픽셀을 검출하는 불량 픽셀 검출 모듈;
상기 불량 픽셀 검출 모듈에서 검출된 불량 픽셀에 대해 선형 보간을 수행하는 불량 픽셀 보간 모듈을 포함하고,
상기 중간값 필터 모듈은,
상기 영상의 3X3 영역의 픽셀에 대한 중간값 필터링을 수행하도록 구성되며,
상기 콘트라스트 개선 모듈은,
상기 픽셀 스트림을 육안으로 식별할 수 있는 대역의 콘트라스트로 이동하여 평활화하도록 구성되며,
상기 불량 픽셀 검출 모듈은,
비교기(comparator)를 포함하도록 구성되며, 상기 중간값 필터 모듈에서 중간값 필터링을 수행한 중간값인 대표 픽셀에 대하여 소정의 상수값이 가산되거나 차감되어 입력되도록 구성되며,
상기 불량 픽셀 검출 모듈은,
상기 비교기를 이용하여 대표 픽셀과 중심 픽셀의 차이를 산출하고, 산출된 차이를 소정의 임계값과 대비하여 대소를 판단하도록 구성되며, 대표 픽셀과 중심 픽셀의 차이가 임계값보다 작으면 해당 중심 픽셀을 정상 픽셀로 판단하고, 대표 픽셀과 중심 픽셀의 차이가 임계값보다 크면 해당 중심 픽셀을 불량 픽셀로 판단하도록 구성되며,
상기 불량 픽셀 보간 모듈은,
상기 불량 픽셀 검출 모듈에서 정상 픽셀로 검출되는 경우 검출된 정상 픽셀을 바이패스(bypass)하고, 상기 불량 픽셀 검출 모듈에서 불량 픽셀로 검출되는 경우 불량 픽셀을 양방향 선형 보간하도록 구성되는 것을 특징으로 하는 후천적 불량 픽셀의 검출을 위한 열상 카메라의 소프트 불량 픽셀 검출 장치.
A contrast improvement module that receives a pixel stream of a thermal imaging camera and improves contrast;
A median filter module that outputs a representative pixel by performing median filtering on pixels in a predetermined area of the image of the thermal imaging camera;
A bad pixel detection module for detecting bad pixels of the image by using a representative pixel output from the median filter module;
And a bad pixel interpolation module that performs linear interpolation on the bad pixels detected by the bad pixel detection module.
The median filter module,
Configured to perform median filtering on pixels in the 3X3 region of the image,
The contrast improvement module,
It is configured to move the pixel stream to the contrast of the band that can be visually identified, and to smooth it.
The bad pixel detection module,
It is configured to include a comparator, and a predetermined constant value is added to or subtracted from a representative pixel that is an intermediate value that has been subjected to median filtering in the median filter module.
The bad pixel detection module,
The difference between the representative pixel and the center pixel is calculated using the comparator, and the difference between the representative pixel and the center pixel is smaller than the threshold value by comparing the calculated difference with a predetermined threshold value. Is determined as a normal pixel, and if the difference between the representative pixel and the central pixel is greater than a threshold value, the corresponding central pixel is determined as a bad pixel.
The bad pixel interpolation module,
When the bad pixel detection module is detected as a normal pixel, the detected normal pixel is bypassed, and when the bad pixel detection module is detected as a bad pixel, the bad pixel is configured to perform bidirectional linear interpolation. A device for detecting soft defective pixels in a thermal imaging camera for detecting defective pixels.
KR1020190076863A 2019-06-27 2019-06-27 Apparatus for detecting soft defective pixels in infrared camera for detection of acquired bad pixels KR102193913B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190076863A KR102193913B1 (en) 2019-06-27 2019-06-27 Apparatus for detecting soft defective pixels in infrared camera for detection of acquired bad pixels

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190076863A KR102193913B1 (en) 2019-06-27 2019-06-27 Apparatus for detecting soft defective pixels in infrared camera for detection of acquired bad pixels

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180170696A Division KR102025236B1 (en) 2018-12-27 2018-12-27 Apparatus for detecting soft defective pixels in infrared camera

Publications (2)

Publication Number Publication Date
KR20200081191A true KR20200081191A (en) 2020-07-07
KR102193913B1 KR102193913B1 (en) 2020-12-22

Family

ID=71603043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190076863A KR102193913B1 (en) 2019-06-27 2019-06-27 Apparatus for detecting soft defective pixels in infrared camera for detection of acquired bad pixels

Country Status (1)

Country Link
KR (1) KR102193913B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002033964A (en) * 2000-05-24 2002-01-31 Hewlett Packard Co <Hp> Defective pixel correction method of digital image
KR100415051B1 (en) 1998-12-30 2004-03-20 국방과학연구소 Infrared Thermal Imaging Device with 2D Array Detection
KR100683415B1 (en) * 2005-12-29 2007-02-22 엠텍비젼 주식회사 Method for processing dead pixel
KR101213670B1 (en) * 2012-05-07 2012-12-18 삼성탈레스 주식회사 Apparatus and method for non uniformity correction using pixel median value
KR20140045856A (en) * 2012-10-09 2014-04-17 에스케이텔레콤 주식회사 Contrast enhancement method and device based on image noise level for thermal imaging camera
KR101656173B1 (en) 2014-02-20 2016-09-08 주식회사 콕스 Method and apparatus for detecting faulty pixel in thermal camera
KR102025236B1 (en) * 2018-12-27 2019-09-25 한화시스템 주식회사 Apparatus for detecting soft defective pixels in infrared camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100415051B1 (en) 1998-12-30 2004-03-20 국방과학연구소 Infrared Thermal Imaging Device with 2D Array Detection
JP2002033964A (en) * 2000-05-24 2002-01-31 Hewlett Packard Co <Hp> Defective pixel correction method of digital image
KR100683415B1 (en) * 2005-12-29 2007-02-22 엠텍비젼 주식회사 Method for processing dead pixel
KR101213670B1 (en) * 2012-05-07 2012-12-18 삼성탈레스 주식회사 Apparatus and method for non uniformity correction using pixel median value
KR20140045856A (en) * 2012-10-09 2014-04-17 에스케이텔레콤 주식회사 Contrast enhancement method and device based on image noise level for thermal imaging camera
KR101656173B1 (en) 2014-02-20 2016-09-08 주식회사 콕스 Method and apparatus for detecting faulty pixel in thermal camera
KR102025236B1 (en) * 2018-12-27 2019-09-25 한화시스템 주식회사 Apparatus for detecting soft defective pixels in infrared camera

Also Published As

Publication number Publication date
KR102193913B1 (en) 2020-12-22

Similar Documents

Publication Publication Date Title
US6381357B1 (en) Hi-speed deterministic approach in detecting defective pixels within an image sensor
US8682068B2 (en) Image processing apparatus, image processing method, and program
EP1798957B1 (en) Image data processing circuit and image data processing method
US20090040343A1 (en) Methods and apparatuses for defective pixel detection and correction
US9582868B2 (en) Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium
JP2015136470A5 (en)
KR100906606B1 (en) Method and apparatus for processing dead pixel
US20120328193A1 (en) Method for enhancing image edge
EP2134076A2 (en) Defective pixel processing device and defective pixel processing method
JP6731645B2 (en) Image monitoring device, image monitoring method, and image monitoring program
KR102025236B1 (en) Apparatus for detecting soft defective pixels in infrared camera
JP2017038139A (en) Imaging apparatus, imaging apparatus control method, and program
KR102193913B1 (en) Apparatus for detecting soft defective pixels in infrared camera for detection of acquired bad pixels
KR102104321B1 (en) Method for detecting soft defective pixels in infrared camera
KR102198748B1 (en) Method for detecting soft defective pixels in infrared camera for detection of acquired bad pixels
US8102444B2 (en) Method and apparatus for post noise reduction black level correction
US11039096B2 (en) Image processing device, image processing method and storage medium
KR101797080B1 (en) Camera module and method for correcting lens shading thereof
US8508613B2 (en) Image capturing apparatus
US11272172B2 (en) Image processing apparatus, failure detection method performed by image processing apparatus, and non-transitory recording medium
US20100079629A1 (en) Apparatus and method for correcting defective pixel
JP2014158165A (en) Image processing device, image processing method, and program
US9007491B2 (en) Image processing apparatus and control method thereof
JP2016509432A (en) Method and apparatus for gain correction and level correction of a multi-tap CCD camera
JP4287356B2 (en) Image processing method and apparatus

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant