Nothing Special   »   [go: up one dir, main page]

KR102287944B1 - 영상 출력 장치 및 영상 출력 방법 - Google Patents

영상 출력 장치 및 영상 출력 방법 Download PDF

Info

Publication number
KR102287944B1
KR102287944B1 KR1020150184078A KR20150184078A KR102287944B1 KR 102287944 B1 KR102287944 B1 KR 102287944B1 KR 1020150184078 A KR1020150184078 A KR 1020150184078A KR 20150184078 A KR20150184078 A KR 20150184078A KR 102287944 B1 KR102287944 B1 KR 102287944B1
Authority
KR
South Korea
Prior art keywords
image signal
signal
image
channel
visible region
Prior art date
Application number
KR1020150184078A
Other languages
English (en)
Other versions
KR20170074602A (ko
Inventor
원광현
김찬열
전병우
꿕 칸 딩
O 칸 딩
박영현
심혁재
이선일
Original Assignee
삼성전자주식회사
성균관대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 성균관대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020150184078A priority Critical patent/KR102287944B1/ko
Priority to US15/204,355 priority patent/US10027933B2/en
Priority to CN201610919829.0A priority patent/CN106911876B/zh
Publication of KR20170074602A publication Critical patent/KR20170074602A/ko
Application granted granted Critical
Publication of KR102287944B1 publication Critical patent/KR102287944B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40012—Conversion of colour to monochrome
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12—Visible light, infrared or ultraviolet radiation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12—Visible light, infrared or ultraviolet radiation
    • G07D7/121—Apparatus characterised by sensor details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/332—
    • H04N5/35545—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H04N9/3114—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources by using a sequential colour filter producing one colour at a time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H04N9/3117—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources by using a sequential colour filter producing two or more colours simultaneously, e.g. by creating scrolling colour bands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

일 개시에 의하여, 컬러필터배열 센서(Color Filter Array, CFA)를 이용한 영상 출력 방법을 제공하며, 본 방법은 컬러필터배열 센서를 통해 4채널 혼합 영상 신호를 수신하는 단계, 4채널 컬러 데이터를 3채널 컬러 데이터로 변환하기 위해 결정된 컬러 계수 및 근적외선 영역신호로 이루어진 4채널 신호를 기초로 결정된 가중치 계수를 포함하는 신호 분리 계수에 기초하여, 상기 수신된 4채널 혼합 영상신호를 가시영역 영상신호 및 근적외선 영상신호로 분리하는 단계, 및 분리된 가시영역 영상신호 및 근적외선 영상신호를 출력하는 단계를 포함할 수 있다.

Description

영상 출력 장치 및 영상 출력 방법{Apparatus for outputting image and method thereof}
본 개시는 가시영역 영상신호 및 근적외선 영상신호로 분리함으로써 가시영역 영상 및 근적외선 영상을 출력하는 영상 출력 장치 및 영상 출력 방법에 관한 것이다.
가시광선 대역의 영상과 근적외선 대역의 영상은 서로 상이한 파장의 대역대의 신호를 포함하고 있다. 가시광선 대역의 영상과 근적외선 대역의 영상은 용도 및 목적에 따라 다르게 활용되기 때문에, 각각의 대역대에서 선명한 영상을 얻기 위한 많은 노력이 존재하였다. 예를 들어, 선명한 가시광선 대역의 영상을 획득하기 위하여, 영상 출력 장치들은 렌즈와 이미지 센서 사이에 적외선 차광 필터를 삽입하여, 근적외선 대역의 신호를 차단하였다.
또한, 종래의 경우, 가시광선 대역의 영상 및 근적외선 대역의 영상을 동시에 획득하기 위하여, 두 개의 독립적인 센서 및 프리즘이 필요하였다. 따라서, 기존의 장치들을 사용하여 선명한 가시광선 대역의 영상 및 근적외선 대역의 영상을 획득하고자 하는 사용자들의 요구가 증대되었다.
일 실시예에 의하여, 가시광선 대역의 영상 신호 및 근적외선 대역의 영상 신호가 혼합된 영상 신호로부터, 가시영역 영상신호 및 근적외선 영상신호를 분리해서 출력할 수 있는 영상 출력 장치 및 영상 출력 방법이 제공될 수 있다.
일 실시예에 의하여, 컬러필터배열 센서(Color Filter Array, CFA)를 이용한 영상 출력 방법을 제공하며, 본 방법은 컬러필터배열 센서를 통해 4채널 혼합 영상 신호를 수신하는 단계, 4채널 컬러 데이터를 3채널 컬러 데이터로 변환하기 위해 결정된 컬러 계수 및 근적외선 영역신호로 이루어진 4채널 신호를 기초로 결정된 가중치 계수를 포함하는 신호 분리 계수에 기초하여, 4채널 혼합 영상 신호를 가시영역 영상신호 및 근적외선 영상신호로 분리하는 단계, 및 가시영역 영상신호 및 근적외선 영상신호를 출력하는 단계를 포함할 수 있다.
여기서, 수신한 4채널 혼합 영상 신호는, 4채널의 가시영역 영상신호 및 1채널의 근적외선 영상신호가 혼합된 4채널 혼합 영상 신호일 수 있다.
또한, 컬러 계수는, 복수의 4채널 컬러 데이터들을 복수의 3채널 컬러 데이터들로 변환하기 위해 파라미터 예측 알고리즘을 적용함으로써 결정된 값을 의미할 수 있다.
여기서, 파라미터 예측 알고리즘은 적어도 1회 이상의 최소 제곱법(Least Square Estimation)을 적용함으로써 결정된 알고리즘일 수 있다.
또한, 가중치 계수는, 근적외선 영역신호로만 이루어진 복수의 4채널 신호에서 선택된 제 1채널 신호를 기준으로 각 채널의 비율을 산출함으로써 결정된 가중치 값을 의미할 수 있다.
또한, 4채널 혼합 영상 신호를 독립된 가시광선 신호를 포함하는 4개의 영상 신호로 보간하는 단계를 더 포함할 수 있다.
또한, 가시영역 영상을 출력하는 단계는 근적외선 영상신호로부터 근적외선 영상을 출력하는 단계를 포함할 수 있다.
또한, 가시영역 영상에 화이트 밸런싱을 수행하는 단계를 더 포함할 수 있다.
또한, 가시영역 영상을 출력하는 단계는, 가시영역 영상의 밝기 정보를 포함하는 휘도 영상을 산출하는 단계, 산출된 휘도 영상의 휘도 평균값을 구하는 단계, 및 휘도 평균값 및 미리 결정된 기준 휘도 평균값을 비교함으로써 가시영역 영상의 밝기를 보정하는 단계를 포함할 수 있다.
또한, 가시영역 영상을 출력하는 단계는, 근적외선 영상신호를 가시영역 영상신호에 융합함으로써 가시영역 영상을 보정하는 단계를 더 포함할 수 있다.
일 실시예에 의하여, 컬러필터배열 센서(Color Filter Array, CFA)를 이용한 영상 출력 장치를 제공하며, 본 장치는 컬러필터배열 센서를 통해 4채널 혼합 영상 신호를 수신하는 수신부, 4채널 컬러 데이터를 3채널 컬러 데이터로 변환하기 위해 결정된 컬러 계수 및 근적외선 영역신호로 이루어진 4채널 신호를 기초로 결정된 가중치 계수를 포함하는 신호 분리 계수에 기초하여, 4채널 혼합 영상 신호를 가시영역 영상신호 및 근적외선 영상신호로 분리하는 신호 분리부, 및 분리된 가시영역 영상신호 및 근적외선 영상신호를 출력하는 영상 출력부를 포함할 수 있다.
여기서, 수신한 4채널 혼합 영상 신호는, 4채널의 가시영역 영상신호 및 1채널의 근적외선 영상신호가 혼합된 4채널 혼합 영상 신호일 수 있다.
또한, 컬러 계수는, 복수의 4채널 컬러 데이터들을 복수의 3채널 컬러 데이터들로 변환하기 위해 파라미터 예측 알고리즘을 적용함으로써 결정된 값을 의미할 수 있다.
여기서, 파라미터 예측 알고리즘은 적어도 1회 이상의 최소 제곱법(Least Square Estimation)을 적용함으로써 결정된 알고리즘일 수 있다.
또한, 가중치 계수는, 근적외선 영역신호로만 이루어진 복수의 4채널 신호에서 선택된 제 1채널 신호를 기준으로 각 채널의 비율을 산출함으로써 결정된 가중치 값을 의미할 수 있다.
또한, 4채널 혼합 영상 신호를 독립된 가시광선 신호를 포함하는 4개의 영상 신호로 보간하는 영상 보간부를 더 포함할 수 있다.
또한, 영상 출력부는, 근적외선 영상신호로부터 근적외선 영상을 출력할 수 있다.
또한, 가시영역 영상에 화이트 밸런싱을 수행하는 화이트 밸런싱부를 더 포함할 수 있다.
또한, 가시영역 영상의 밝기 정보를 포함하는 휘도 영상을 산출하고, 산출된 휘도 영상의 휘도 평균값을 구하고, 휘도 평균값 및 미리 결정된 기준 휘도 평균값을 비교함으로써 가시영역 영상의 밝기를 보정하는 밝기 보정부를 포함할 수 있다.
또한, 근적외선 영상신호를 가시영역 영상신호에 융합함으로써 가시영역 영상을 보정하는 영상 보정부를 더 포함할 수 있다.
일 실시예에 의하여 제시되는 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
일 실시예에 의하여, 하나의 센서를 통해 입력된 혼합된 영상신호를 스프트웨어적으로 분리함으로써, 하드웨어의 소형화 및 그에 따른 단가절감 효과를 창출할 수 있다.
일 실시예에 의하여, 분리된 가시영역 영상신호의 밝기 및 컬러를 보정함으로써, 보다 선명한 가시영역 영상신호를 출력할 수 있다.
일 실시예에 의하여, 분리된 가시영역 영상신호와 근적외선 영상신호를 융합함으로써, 안개나 연기 등으로 인한 저조도 상황에서 근적외선 영상신호성분으로 인해 보다 명확한 가시영역 영상을 확보할 수 있다.
일 실시예에 의하여, 기존 장치들을 이용하여 근적외선 영상을 손쉽게 확보할 수 있으므로, 식품의 부패 진단, 위험물 감지 등의 근적외선 영상을 이용할 수 있는 분야가 확대될 수 있다.
도 1은 일 실시예에 의한, 4채널 혼합 영상 신호로부터 가시영역 영상 및 근적외선 영상을 각각 출력하는 영상 출력 장치를 개략적으로 설명하기 위한 도면이다.
도 2는 일 실시예에 의한 영상 출력 장치가 가시영역 영상 및 근적외선 영상을 출력하는 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 의하여, 가시영역 신호 및 근적외선 영역 신호를 동시에 수신하는 컬러필터배열(CFA)을 나타내는 도면이다.
도 4는 일 실시예에 의하여 영상 출력 장치에서 수신하는 4채널 혼합 영상 신호를 나타내는 것이다.
도 5는 일 실시예에 의하여 4채널 혼합 영상을 신호 보간부를 통하여 독립된 색상신호를 포함하는 4채널 혼합 영상 신호를 생성하는 과정을 나타내는 도면이다.
도 6은 일 실시예에 의하여 4채널 혼합 영상 신호를 보간 처리함으로써 색상 분리 혼합영상신호를 생성하는 과정을 나타내는 도면이다.
도 7은 일 실시예에 의하여 가시영역 영상신호에 화이트 밸런싱을 수행하는 과정을 나타내는 도면이다.
도 8및 도 9는 일 실시예에 의하여 가시영역 영상신호에 밝기 조정을 수행하는 과정을 나타내는 도면이다.
도 10은 일 실시예에 의하여 가시영역 영상신호에 색상 보정을 수행하는 과정을 나타내는 도면이다.
도 11은 일 실시예에 의하여, 가시영역 영상신호와 근적외선 영상신호를 융합하여 가시광선 영상을 출력하는 것을 나타내는 도면이다.
도 12는 일 실시예에 의한, 영상 출력 장치의 구성을 기능적으로 나타낸 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 일 실시예에 의한, 4채널 혼합 영상 신호로부터 가시영역 영상 및 근적외선 영상을 각각 출력하는 영상 출력 장치(100)를 개략적으로 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 영상 출력 장치(100)는 4채널 혼합 영상 신호를 수신할 수 있다.
일 실시예에 의하여, 영상 출력 장치(100)는 컬러필터배열(Color Filter Array, CFA) 센서를 이용하여 영상을 출력하는 장치의 예시로서, 컴퓨터, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 스마트 폰, 태블릿, TV, 스마트 TV, 카메라, 비디오 캠코더 및 모바일 디바이스 등을 포함할 수 있다. 이에 한정되는 것은 아니다.
컬러 필터(color filter)는 배면광원에서 나오는 백색광에서 화소 단위로 색을 추출하여 액정 디스플레이에서 컬러를 구현할 수 있도록 하는 필터를 의미할 수 있다.
일 실시예에 의하여, 컬러필터배열 센서는 가시광선 대역의 광 성분을 투과시키는 컬러 필터와 비 가시대역 중 근적외선 영역의 광 성분을 투과시키는 근적외선 필터를 포함할 수 있다. 여기서 컬러필터배열 센서는 4채널 컬러채널을 포함할 수 있다.
컬러필터배열 센서는 광학 영상을 전기적 신호로 변환시키는 반도체 장치를 의미할 수 있다. 컬러필터배열 센서는 CMOS 센서 또는 CCD 센서에 포함될 수 있으며, 이에 한정되는 것은 아니다. 일 실시예에 의하여, 컬러필터배열 센서는 일반적으로 영상 출력 장치(100)에서 사용되는 센서를 의미할 수 있다.
CMOS 센서는 제어회로(control circuit) 및 신호처리회로(signal processing circuit)를 주변회로로 사용하는 CMOS 기술을 이용하여 화소(pixel) 수 만큼 MOS 트랜지스터를 만들고 이를 이용하여 순차적으로 출력을 검출하는 스위칭 방식을 채용하는 센서를 의미할 수 있다.
전하결합소자(Charge Coupled Device, CCD)는 개개의 MOS(Metal Oxide Silicon) 캐패시터가 서로 근접한 위치에 있으면서 전하 캐리어가 캐패시터에 저장되고 이송되는 소자를 의미할 수 있다.
일 실시예에 의하여 컬러필터배열센서는 4채널의 컬러필터배열을 포함할 수 있다. 일 실시예에 의하여, 4채널의 컬러필터배열은 보색 필터 방식을 의미할 수 있다. 예를 들어, 4채널의 컬러필터배열은 CMYG 색상 필터를 포함할 수 있다. 여기서 CMYG는 Cyan(물색), Magenta(적자), Yellow(노랑), Green(초록)의 4색을 의미할 수 있다. Cyan는 Green와 Blue, Magenta는 Red와 Blue, Yellow는 Red와 Green, 각각의 3 원색이 포함될 수 있다. 4채널의 색상은 이에 한정되는 것은 아니다.
영상 출력 장치(100)가 수신하는 수신한 4채널 혼합 영상 신호는, 4채널의 가시영역 영상신호 및 1채널의 근적외선 영상신호가 혼합된 4채널 혼합 영상 신호를 포함할 수 있다. 또한, 혼합된 4채널 영상 신호는 컬러채널 필터를 통해 영상 출력 장치(100)로 수신된 신호를 포함할 수 있다. 혼합된 4채널 영상 신호는 4채널의 컬러 신호와 근적외선 신호가 혼합된 신호를 포함할 수 있다.
가시광선 신호는 눈으로 지각되는 파장 범위를 가진 빛. 물리적인 빛은 눈에 색채로서 지각되는 범위의 파장 한계 내에 있는 스펙트럼이며, 대략 380~780nm(nanometer) 범위의 파장을 가진 전자파를 의미할 수 있다. 즉, 가시광선 신호는 사람의 눈을 통해 지각될 수 있는 파장 영역을 의미할 수 있다.
햇빛이나 발열체로부터 방출되는 빛을 스펙트럼으로 분산시켰을 때 적색 스펙트럼의 끝보다 바깥쪽에 있는 것이 적외선이며, 그 중에서 파장이 0.75~3㎛인 것을 근적외선(Near Infrared Ray)이라 칭한다. 적외선은 일반적으로 가시광선이나 자외선에 비해 강한 열작용을 지니고 있어 공업용이나 의료용으로 이용될 수 있다. 또한, 근적외선은 전자스펙트럼을 포함하여 열작용 외에 사진작용, 광전작용, 형광작용을 나타내므로, 근적외선의 검출을 위해 사진 간판, 광전지, 광전관 및 열전대 등이 사용될 수 있다.
일 실시예에 의하여 영상 출력 장치(100)는 IR필터를 포함하지 않을 수 있다. IR 필터는 적외선 대역의 신호를 차단하는 필터를 의미할 수 있다. 사람의 눈은 전자기파의 특정 영역인 파장 380∼770㎚사이의 가시광선만을 인식할 수 있다. 또한, 사람의 눈에는 각각 파랑, 녹색, 빨강에 민감한 3가지의 빛 수용체 세포가 있어 많은 색을 구분할 수 있다. 그러나, CCD 센서는 사람의 눈보다 넓은 영역의 파장을 빛으로 인식할 수 있다. 따라서 사람이 볼 수 없는 770㎚ 이상의 적외선 영역을 여전히 빛으로 인식하여, 영상 출력 장치(100)에서 감광된 장면을 그대로 내보낸다면 사람이 인식한 장면과는 상이한 장면이 출력될 수 있다. 따라서, 영상 출력 장치(100)에서 사람이 인식할 수 있는 장면을 실제와 같이 만들기 위하여 적외선 대역의 신호를 차단하는 IR 필터를 포함할 수 있다. 반면, 일 실시예에 의하여 영상 출력 장치(100)는 컬러필터배열 센서를 통해 수신한 혼합 영상 신호를 전적으로 제어하는 바, IR 필터를 포함하지 않을 수 있다.
영상 출력 장치(100)는 IR필터를 제거한 한 개의 컬러필터배열 센서를 이용하여 4채널 혼합 영상 신호를 수신할 수 있다. 영상 출력 장치(100)는 가시영역의 영상 및 근적외선 영상을 각각 출력할 수 있다. 영상 출력 장치(100)는 영상 분리 과정을 수행함으로써 파장이 상이한 두 개의 독립된 영상을 동시에 획득할 수 있다.
도 2는 일 실시예에 의한 영상 출력 장치가 가시영역 영상 및 근적외선 영상을 출력하는 방법을 나타내는 흐름도이다.
도 2에 도시된 바에 따르면, 영상 출력 장치(100)는 4채널 혼합 영상 신호를 수신하고, 4채널 혼합 영상 신호를 가시광선 신호 및 근적외선 신호로 분리할 수 있다.
S210 단계에서, 영상 출력 장치(100)는 컬러필터배열 센서를 통하여 4채널 혼합 영상 신호를 수신할 수 있다.
여기서, 컬러필터배열 센서는 일반적인 영상 촬영 장치에서 사용되는 센서를 의미할 수 있다. 일 실시예에 의하여, 컬러필터배열 센서는 CMYG 보색 컬러필터를 포함할 수 있다.
여기서, 4채널 혼합 영상 신호는 4개의 가시광선 색상 신호 및 적외선 신호를 포함하는 영상 신호를 의미할 수 있다. 4개의 가시광선 색상 신호는 CMYG 색상 신호를 포함할 수 있으며, 이에 한정되는 것은 아니다.
일 실시예에 의하여, 영상 출력 장치(100)는 적외선 영역의 신호를 차단하기 위한 IR 필터를 포함하지 않을 수 있다. 또한, 적외선 영역의 신호를 물리적으로 분리하기 위하여 사용되는 프리즘(Beam-splitter prism)을 포함하지 않을 수 있다. 따라서, 영상 출력 장치(100)의 소형화 및 단가 절감이 가능할 수 있다.
S220 단계에서, 일 실시예에 의하여 영상 출력 장치(100)는 4채널 컬러 데이터를 3채널 컬러 데이터로 변환하기 위해 결정된 컬러 계수 및 근적외선 영역신호로 이루어진 4채널 신호를 기초로 결정된 가중치 계수를 포함하는 신호 분리 계수에 기초하여 가시영역 영상신호 및 근적외선 영상신호로 분리할 수 있다.
일 실시예에 의하여, 신호 분리 계수는 12개의 컬러 계수 및 4개의 가중치 계수를 포함하는 신호 분리 행렬을 의미할 수 있다. 아래 수학식 1은, 신호 분리 계수를 통해 가시영역 영상신호 및 근적외선 영상신호를 분리하는 것을 나타내는 일 실시예이다.
Figure 112015125963130-pat00001
일 실시예에 의하여 C(i,j), M(i,j), Y(i,j) 및 G(i,j)는 (i ,j)의 화소에 해당하는 색상 분리 혼합영상신호를 의미할 수 있다. 예를 들어, C(i,j)는 근적외선 신호와 Cyan 색상의 신호가 보간 처리된 데이터를 의미할 수 있다.
여기서 색상 분리 혼합영상신호는, 영상 출력 장치(100)가 4채널 혼합 영상신호를 수신한 뒤 영상 신호 보간 단계를 거쳐 4개의 색으로 분리된 영상 신호를 의미할 수 있다. 색상 분리 혼합영상신호는 각각의 색상 신호(G,M,Y,C)에 근적외선 신호가 혼합된 신호를 의미할 수 있으며, 이에 대하여는 도 6에서 설명하도록 한다.
일 실시예에 의하여, α11 내지 α43은 컬러 계수를 의미할 수 있다. 또한, ω1 내지 ω4는 가중치 계수를 의미할 수 있다. 일 실시예에 의하여 신호 분리 계수는 4×4 행렬식을 의미할 수 있다.
일 실시예에 의하여, R(i,j), G(i,j), B(i,j)는 영상 출력 장치(100)에 의하여 4채널 혼합 영상신호로부터 분리된 가시영역 영상신호로서, (i,j)번째 가시영역 영상신호를 의미할 수 있다.
일 실시예에 의하여 NIR(i,j)는 영상 출력 장치(100)에 의하여 4채널 혼합 영상신호로부터 분리된 근적외선 영상신호로서, (i,j)번째 근적외선 영상신호를 의미할 수 있다.
아래 수학식 2는 4채널 혼합 영상신호로부터 가시영역 영상신호 및 근적외선 영상신호를 분리하는 연산식을 의미한다.
Figure 112015125963130-pat00002
수학식 2에 나타난 바와 같이, 가시영역 영상신호 및 근적외선 영상신호는 신호 분리 계수의 역행렬과 색상 분리 혼합영상신호 간의 곱을 통해 분리될 수 있다. 정리하면, 영상 출력 장치(100)는 수학식 2를 통해 가시광선 영역의 신호와 근적외선 영역의 신호가 혼합된 색상 분리 혼합영상신호로부터 가시영역 영상신호 및 근적외선 영상신호를 각각 분리할 수 있다.
일 실시예에 의하여 수학식 2의 연산을 통해, 근적외선 신호를 포함하는 4채널 혼합 영상신호로부터 근적외선 신호를 포함하지 않는 가시광선 신호를 분리할 수 있다. 또한, 오직 근적외선 신호로만 이루어지진 근적외선 영상신호를 분리할 수 있다.
수학식 3은 신호 분리 계수 행렬 안에 포함되는 컬러 계수(B)를 구하기 위한 수학식을 나타내는 것이다. 수학식 4는 샘플 가시광선 데이터 행렬들로부터 컬러계수를 산출하기 위한 수학식을 나타내는 것이다.
Figure 112015125963130-pat00003
Figure 112015125963130-pat00004
컬러 계수(B)는 복수의 샘플 4채널 데이터를 복수의 샘플 3채널 데이터들로 변환하기 위한 계수이다. 컬러 계수(B)는 4채널 혼합 영상신호로부터 가시영역 영상신호를 분리하기 위하여 사용되는 계수이다.
여기서, 컬러 계수(B)는 복수의 4채널 컬러 데이터들(A)을 복수의 3채널 컬러 데이터들(C)로 변환하기 위해 파라미터 예측 알고리즘을 적용함으로써 결정된 값일 수 있다.
파라미터 예측 알고리즘은 컬러 계수를 획득하기 위하여, 복수의 실험 및 복수의 실험 데이터 계산을 통해 결정될 수 있다. 파라미터 예측 알고리즘은 복수의 4채널 컬러 데이터 실험값들로부터 복수의 3채널 컬러 데이터들을 획득하기 위한 파라미터를 획득하기 위한 알고리즘을 의미할 수 있다.
여기서, 파라미터 예측 알고리즘은 적어도 1회 이상의 최소 제곱법(Least Square Estimation)을 적용함으로써 결정된 값을 포함할 수 있다. 이에 한정되는 것은 아니다.최소 제곱법은 측정값과 설계값과의 차의 합이 최소가 되도록 매개변수를 정하는 방법을 의미할 수 있다. 보다 구체적으로, 최소 제곱법은 과거의 데이터를 정리해서 장래에 여러가지 행동을 취하고자 할 때를 예측하기 위하여 사용될 수 있다. 최소 제곱법은 데이터와 방정식으로부터 주어진 수치의 오차 제곱의 합이 최소가 되도록 계산됨을 의미할 수 있다.
수학식 3에 기초하면, 샘플 4채널 가시광선 신호 데이터들(A)은 컬러계수(B)와 샘플 3채널 가시광선 데이터들(C)간의 행렬의 곱으로 이루어진 것을 확인할 수 있다.
수학식 4에 의하여, 컬러계수(B)는 가시광선 신호 데이터들(A)에 샘플 3채널 가시광선 데이터들(C)의 역행렬의 행과 열을 바꾸고 난 후, 켤레 복소수를 취한 값을 곱함으로써 얻을 수 있다.
일 실시예에 의하여, 샘플 4채널 가시광선 신호 데이터들(A)은 미리 산출된 샘플 4채널 데이터들을 의미할 수 있다. 또한 샘플 3채널 가시광선 데이터들(C)은 미리 산출된 샘플 3채널 데이트들을 의미할 수 있다. 컬러계수(B)는 미리 산출된 샘플 4채널 데이터들을 미리 산출된 샘플 3채널로 변환하기 위한 계수이다.
일 실시예에 의하여, CMYG 컬러 공간을 RGB 컬러 공간으로 변환시키는 예를 들었지만, 이에 한정되는 것은 아니다. 일 실시예에 의하여, 4채널 컬러 채널 및 3채널 컬러 채널의 종류를 제한하지 않는다. 예를 들어, XYZ, YCbCr공간 변환도 동일하게 수행할 수 있다.
수학식 5 및 수학식 6은 가중치 계수를 산출하는 연산식을 나타내는 수학식이다.
Figure 112015125963130-pat00005
Figure 112015125963130-pat00006
일 실시예에 의하여, 근적외선 가중치 계수를 산출하기 위하여 사용되는 4채널 신호는 CMYG 컬러필터어레이를 사용하여 수신하는 것을 예로 들기로 한다. 이에 한정되는 것은 아니다,
수학식 5 및 수학식 6에서 사용되는 C,M,Y,및 G 신호 값은 근적외선 영역만 존재하는 신호값일 수 있다. 보다 구체적으로, C,M,Y,및 G 신호 값은 가시광선 영역의 신호 없이 근적외선 영역의 신호만으로 이루어진 4채널 영상신호일 수 있다. 예를 들어, C,M,Y,및 G 신호 값은 850nm 근적외선 LED 광원만을 컬러필터어레이에 투영시켜 얻은 신호 값일 수 있다. 또한, C,M,Y,및 G 신호 값은 신호 보강 단계를 거친 후, 각각 보강된 NIR 신호를 포함하는 값일 수 있다.
수학식 5에 의하면, 한 개의 채널값을 기준으로 각 채널 별 비율을 산출할 수 있다. 예를 들어, G신호 값을 기준으로 나머지 C,M,Y 채널 별 비율을 산출할 수 있다. 일 실시예에 의하여,
Figure 112015125963130-pat00007
값은 C 신호 값에 대한 G 신호 값의 평균을 구함으로서 구할 수 있다. 또한,
Figure 112015125963130-pat00008
값은 M 신호 값에 대한 G 신호 값의 평균을 구하고,
Figure 112015125963130-pat00009
값은 Y 신호 값에 대한 G 신호 값의 평균을 구하여 산출할 수 있다.
일 실시예에 의하여, 수학식 6에 기초하여 가중치 계수들
Figure 112015125963130-pat00010
내지
Figure 112015125963130-pat00011
을 구할 수 있다. 일 실시예에 의하여, 가중치 계수들은 어느 하나의 가중치 계수를 기준으로 나머지 계수들을 구할 수 있다. 근적외선 가중치 계수는 근적외선 영역의 영상의 밝기를 정하기 위하여 사용될 수 있다.
일 실시예에 의하여, 가중치 계수는 어느 하나의 가중치 값을 기준으로 나머지 값의 가중치 계수를 결정하는 것인바,
Figure 112015125963130-pat00012
내지
Figure 112015125963130-pat00013
중 어느 하나를 가중치 기준값으로 설정할 수 있다.
일 실시예에 의하여, 영상 출력 장치(100)에서는
Figure 112015125963130-pat00014
를 가중치 기준값으로 설정할 수 있다. 예를 들어,
Figure 112015125963130-pat00015
는 1로 설정될 수 있다. 이에 한정되는 것은 아니다.
S230 단계에서, 영상 출력 장치(100)는 분리된 가시영역 영상신호 및 근적외선 영상신호를 출력할 수 있다. 또한, 분리된 가시영역 영상신호로부터 가시영역 영상을, 근적외선 영상신호로부터 근적외선 영상을 출력할 수 있다.
영상 출력 장치(100)는 근적외선 영상신호로부터 근적외선 영상을 출력함으로써, 음식물의 부패를 판별한다거나, 식물의 특정 부분을 식별하기 위하여 사용할 수 있다. 영상 출력 장치(100)는 근적외선 영상을 분리하는 물리적 장치 없이 연산식을 이용하여 근적외선 영상을 분리할 수 있으므로 저렴한 비용으로 근적외선 영상을 출력할 수 있다.
영상 출력 장치(100)는 가시영역 영상 및 근적외선 영상을 동시에 출력할 수 있다. 영상 출력 장치(100)는 4채널 혼합 영상 신호로부터 동시에 가시영역 영상 및 근적외선 영상을 출력함으로써, 촬영각도 및 시간차에 따른 두 영상간의 차이를 보정해야 하는 문제를 해결할 수 있다.
도 3은 일 실시예에 의하여, 가시영역 신호 및 근적외선 영역 신호를 동시에 수신하는 컬러필터배열(CFA)을 나타내는 도면이다.
일 실시예에 의해, 영상 출력 장치(100)는 적외선 영역의 신호를 차단하기 위해 사용되는 IR 필터, half-mirror, IR통과 필터를 포함하는 독립적인 센서를 포함하지 않을 수 있다.
일 실시예에 의하여, 영상 출력 장치(100)는 컬러필터배열(CFA)을 통해서 근적외선 영역의 신호 및 가시영역 신호가 포함된 혼합 영상 신호를 수신할 수 있다.
일 실시예에 의하여, 영상 출력 장치(100)에서 사용하는 컬러필터배열은 일반적인 영상 출력 장치(100)에서 사용하는 CMOS 센서 또는 CCD 센서에 포함된 것일 수 있다. 이에 한정되는 것은 아니다.
일 실시예에 의하여, 영상 출력 장치(100)에서 사용하는 컬러필터배열은 평면 형태일 수 있다.
일 실시예에 의하여, 영상 출력 장치(100)는 널리 사용되는 CMOS 센서 또는 CCD 센서를 이용하는 바, 장치의 소형화가 가능하고, 비용이 절감될 수 있다.
예를 들어, 영상 출력 장치(100)는 CMOS 센서 또는 CCD 센서와 CMYG 보색 필터를 포함할 수 있다. 이에 한정되는 것은 아니다.
도 4는 일 실시예에 의하여 영상 출력 장치에서 수신하는 4채널 혼합 영상 신호를 나타내는 것이다.
일 실시예에 의하여, 영상 출력 장치(100)는 근적외선영역 신호 및 가시영역 신호가 모두 포함된 4채널 혼합 영상 신호를 수신할 수 있다. 예를 들어, 영상 출력 장치(100)는 4채널 컬러필터배열을 가진 CMOS 센서 또는 CCD 센서를 통해 근적외선영역 영상신호 및 가시영역 영상신호가 모두 포함된 4채널 혼합 영상 신호를 수신할 수 있다.
일 실시예에 의하여, 영상 출력 장치(100)는 CMYG 보색 필터를 이용하여, 4채널 혼합 영상 신호를 수신할 수 있다. 영상 출력 장치(100)는 적외선 차단 필터를 사용하지 않기 때문에, 4채널 혼합 영상 신호는 근적외선영역 신호 및 가시영역 신호를 모두 포함할 수 있다.
도 4에 도시된 바와 같이, 4채널 혼합 영상 신호는 2×2 크기의 4개의 컬러 채널을 포함하는 컬러필터배열을 통해 수신된 신호일 수 있다.
일 실시예에 의하여, 4채널 혼합 영상 신호는 C,M,Y,G 채널에 근적외선 신호(NIR)가 혼합된 신호를 의미할 수 있다. 영상 출력 장치(100)는, 가시광선 영역신호와 근적외선 영역신호가 혼합된 4채널 혼합 영상 신호를 수신하여, 그로부터 가시영역 영상신호 및 근적외선 영상신호를 분리할 수 있다.
도 5는 일 실시예에 의하여 4채널 혼합 영상을 신호 보간부를 통하여 독립된 색상신호를 포함하는 4채널 혼합 영상 신호를 생성하는 과정을 나타내는 도면이다.
도 6은 일 실시예에 의하여 4채널 혼합 영상 신호를 보간 처리함으로써 색상 분리 혼합영상신호를 생성하는 과정을 나타내는 도면이다.
이하에서 도 5 및 도 6을 통해 4채널 혼합 영상 신호를 보간 처리하는 과정을 설명하도록 한다. 보간 방법이 본 설명에 국한되는 것은 아니다.
영상 출력 장치(100)의 신호 보간부(120)는 4채널 혼합 영상 신호를 입력받아, 보간 과정을 통해 각각 4개의 독립된 혼합 영상을 갖는 색상 분리 혼합 영상신호를 출력할 수 있다.
일 실시예에 의하여, 영상 출력 장치(100)는 CMYG 보색 컬러 필터를 포함하는 컬러필터배열을 사용할 수 있다. 여기서, 영상 출력 장치(100)는 컬러필터배열을 통과한 각각의 화소에서 투과되지 않은 빛의 색은 인식할 수 없기 때문에 컬러필터배열을 통과한 4채널 혼합 영상 신호에 보간 처리를 할 수 있다. 여기서, 신호 보간부(120)에 의한 보간 처리는 신호를 분리하기 전, 즉, 신호 분리부(130)에 4채널 혼합 영상이 입력되기 전 단계에서 수행될 수 있다.
일 실시예에 의하여, 도 6의 (1)은 컬러필터배열을 통과한 4채널 혼합 영상 신호를 나타내는 것이며, 도 6의 (2)는 4채널 혼합 영상 신호에 보간 처리 하기 위한 중간단계를 나타내는 것이며, 도 6의 (3)은 보간 처리가 완료된 색상 분리 혼합 영상 신호를 나타내는 것이다.
도 6의 (1)에서의 4채널 혼합 영상 신호는 G+NIR, M+NIR, Y+NIR 및 C+NIR의 채널을 한꺼번에 포함할 수 있다.
보간 처리를 통해, 도 6의 (2)에서 보여지다시피, 영상 출력 장치(100)는 G+NIR, M+NIR, Y+NIR 및 C+NIR를 각각 독립적인 신호로 분리할 수 있다. 예를 들어, G+NIR의 신호를 살피면, 4채널의 혼합된 영상 신호 중 NIR 신호를 포함하는 G 색상신호 만을 독립적으로 분리할 수 있다.
영상 출력 장치(100)는 분리된 독립적인 신호들을 사용하여 색상 분리 혼합 영상신호를 생성할 수 있다. 일 실시예에 의하여, 영상 출력 장치(100)는 각각의 G+NIR, M+NIR, Y+NIR 및 C+NIR신호에 대하여 보간 처리를 생성할 수 있다. 예를 들어, 영상 출력 장치(100)는 독립하여 분리된 G+NIR에서 G 컬러가 투과되지 않은 화소들에 대하여 G 컬러가 투과된 화소와 다른 화소와의 광량 평균치를 결정함으로써, G 컬러가 투과되지 않은 화소들을 채울 수 있다. 이러한 보간 처리를 거친 후에, 도 6의 (3)에서와 같이 독립된 색상신호를 포함하는 색상 분리 혼합 영상신호들을 얻을 수 있다.
영상 출력 장치(100)에서 수행되는 보간 방법은, 예를 들어, 바일리니어(Bilinear) 보간법을 포함할 수 있다. 바일리니어 보간법은 컬러가 투과된 화소와 주위의 광량값과의 관계를 이용하여 색상 보간을 수행하는 방법이다. 바일리니어 보간법을 수행시 해상도가 낮아지는 단점을 개선한 보간법을 사용할 수 도 있다.
일 실시예에 의하여, 영상 출력 장치(100)는 모든 화소에 대하여 G, M, Y, C의 4개의 컬러에 대한 광량을 산출할 수 있다면, 어떠한 방식의 보간법이든 수행할 수 있다.
영상 출력 장치(100)는 보간된 색상 분리 혼합 영상 신호들에 대하여 컬러 계수 및 가중치 계수를 포함하는 신호 분리 계수와의 연산을 통하여, 가시영역 영상신호 및 근적외선 영상신호를 분리할 수 있다.
도 7은 일 실시예에 의하여 가시영역 영상신호에 화이트 밸런싱을 수행하는 과정을 나타내는 도면이다.
도 7에 도시된 바와 같이, 4채널 혼합 영상 신호는 신호 분리부(130)를 거쳐 가시영역 영상신호 및 근적외선 영상신호로 분리되어 출력될 수 있다. 신호 분리부(130)는 4채널 혼합 영상 신호로부터 3채널의 가시광선 영역신호 및 1채널의 근적외선 영역신호를 출력할 수 있다.
이 때, 가시영역 영상신호는 근적외선 영상신호가 혼합된 상태에서 분리되었기 때문에, 가시영역의 영상이 다소 붉게 출력될 수 있다. 보다 구체적으로, 영상 출력 장치(100)는 근적외선을 차단하기 위한 IR 필터 또는 hot-mirror를 포함하지 않기 때문에, 근적외선 신호의 영향을 받아 가시영역의 영상이 붉게 출력될 수 있다.
이때, 화이트 밸런싱부(141)는 가시영역 영상신호에 화이트 밸런싱 처리를 함으로써 붉게 보이는 현상이 개선된 가시영역 영상을 출력할 수 있다. 이때, 화이트 밸런싱을 처리하는 방법은 기존의 방법들을 사용할 수 있으며, 이에 한정되는 것은 아니다.
예를 들어, 화이트 밸런싱부(141)는 아래 수학식 7과 같이, grey world 알고리즘을 이용하여 화이트 밸런스를 수행할 수 있으며, 이에 한정되지 않는다.
Figure 112015125963130-pat00016
수학식 7에서, R(i, j), G(i, j), B(i, j)는 신호 분리부(130)로부터 분리된 가시영역 영상신호들을 의미하는 것으로서, 화이트 밸런싱부(141)에 입력되는 신호들을 의미할 수 있다. 정리하면, R(i, j), G(i, j), B(i, j)는 화이트 밸런싱 처리를 하지 않은 가시영역 영상신호들을 의미할 수 있다.
Figure 112015125963130-pat00017
,
Figure 112015125963130-pat00018
,
Figure 112015125963130-pat00019
는 R(i, j), G(i, j), B(i, j)가 화이트 밸런싱 처리된 이후의 가시영역 영상신호들을 의미할 수 있다.
화이트 밸런싱부(141)는 어떠한 광원 아래에서 백색의 물체를 카메라로 촬영하였을 경우 태양광 아래에서 촬영한 것과 같은 백색과 일치하도록 컬러 밸런스를 조정하는 기능을 수행할 수 있다.
도 8및 도 9는 일 실시예에 의하여 가시영역 영상신호에 밝기 조정을 수행하는 과정을 나타내는 도면이다.
도 7에 도시된 바와 같이, 4채널 혼합 영상 신호는 신호 분리부(130)를 거쳐 가시영역 영상신호 및 근적외선 영상신호로 분리되어 출력될 수 있다. 신호 분리부(130)는 4채널 혼합 영상 신호로부터 3채널의 가시광선 영역신호 및 1채널의 근적외선 영상신호를 출력할 수 있다.
영상 출력 장치(100)는 3채널의 가시광선 영역신호로부터 가시영역 영상을, 1채널의 근적외선 영상신호로부터 근적외선 영상을 출력할 수 있다. 이때, 가시영역 영상은 미리 설정된 기준보다 낮은 밝기로 출력될 수 있다.
밝기 조정부(142)는 가시영역 영상을 입력받아 미리 설정된 밝기로 변경할 수 있다. 영상 출력 장치(100)는 가시영역 영상신호로부터 휘도를 산출하고, 휘도의 평균값을 산출하여 미리 결정된 휘도의 평균값과 비교하고 밝기를 보정함으로써, 보다 자연스러운 영상을 출력할 수 있다.
일 실시예에 의하여, 밝기 조정부(142)로 입력되는 영상신호는 화이트 밸런싱 처리가 된 가시영역 영상신호를 포함할 수 있다.
일 실시예에 의하여, 밝기 조정부(142)는 휘도 산출부(143), 휘도 평균 산출부(144) 및 밝기 보정부(145)를 포함할 수 있다.
휘도 산출부(142)는 가시영역 영상신호로부터 영상의 밝기 정보를 포함하는 휘도 영상을 산출할 수 있다. 휘도 영상을 산출하는 방법으로는 YCbCr산출 방법을 사용할 수 있으며, 이에 한정되는 것은 아니다.
여기서 휘도(Luminance)는 일정한 범위를 가진 광원의 광도를 그 광원의 면적으로 나눈 양을 말하는 것으로서, 광원의 밝기를 나타내는 양으로 쓰일 수 있다. 휘도는 파장에 따라 달라지는 바, 사람의 눈의 감도가 가미된 양일 수 있다.
휘도 평균 산출부(144)는 휘도 산출부로부터 산출된 휘도 영상의 평균값을 산출할 수 있다.
밝기 보정부(145)는 산출된 휘도 영상 평균값과 미리 결정된 휘도 영상 평균값을 비교함으로써, 가시영역 영상의 밝기를 보정하여 출력할 수 있다. 밝기 보정부(145)는 미리 결정된 휘도 영상의 평균값과 휘도 평균 산출부(144)로부터 산출된 휘도 영상의 평균값의 비율을 통해 가시영역 영상의 밝기를 변경할 수 있다.
일 실시예에 의하여, 영상 출력 장치(100)는 밝기 조정부(142)로부터 출력된 가시영역 영상의 암부 컬러를 개선할 수 있다.
영상 출력 장치(100)는 밝기가 조정된 가시영역 영상에 대하여, 밝기 개선이 힘든 화소에 대하여 노이즈를 줄이고 컬러 정보를 향상시키는 과정을 수행할 수 있다.
일 실시예에 의하여, 영상 출력 장치(100)는 밝기가 조정된 가시영역 영상에 포함된 R(i, j), G(i, j), B(i, j) 신호 각각에 대하여 i, j번째 화소의 주변화소에 대한 블록 평균값을 산출할 수 있다.
보다 구체적으로, 영상 출력 장치(100)는 산출된 블록 평균값이 미리 설정된 블록 평균값보다 큰 경우, 산출된 블록 평균값을 화소 값으로 결정함으로써 영상을 화질을 개선할 수 있다. 영상 출력 장치(100)는 산출된 블록 평균값이 미리 설정된 블록 평균값보다 작은 경우, 모든 블록 중에서 상대적으로 높은 화소 값을 가지는 k개의 블록을 결정할 수 있다. 영상 출력 장치(100)는 k개의 블록의 평균값을 화소 값으로 결정함으로써 영상의 화질을 개선할 수 있다.
도 10은 일 실시예에 의하여 가시영역 영상신호에 색상 보정을 수행하는 과정을 나타내는 도면이다.
도 10에 도시된 바와 같이, 4채널 혼합 영상 신호는 신호 분리부(130)를 거쳐 가시영역 영상신호 및 근적외선 영상신호로 분리되어 출력될 수 있다. 신호 분리부(130)는 4채널 혼합 영상 신호로부터 3채널의 가시광선 영역신호 및 1채널의 근적외선 영역신호를 출력할 수 있다.
일 실시예에 의하여, 색상 보정부(146)로 입력되는 영상신호는 화이트 밸런싱 처리가 된 가시영역 영상신호를 포함할 수 있다. 일 실시예에 의하여, 색상 보정부(146)에 입력되는 영상신호는 밝기 조정 처리가 된 가시영역 영상신호를 포함할 수 있다.
색상 보정부(146)는 가시영역 영상신호를 초기의 4채널 혼합 영상 신호와 비교함으로써 가시영역 영상의 색상 및 밝기를 보정할 수 있다.
보다 구체적으로, 색상 보정부(146)는 4채널 혼합 영상 신호를 입력 받아, 4채널 혼합 영상 신호의 휘도와 색차 영상을 산출할 수 있다. 또한, 색상 보정부(146)는 가시영역 영상신호를 입력 받아, 가시영역 영상신호 휘도와 색차 영상을 산출할 수 있다.
여기서, 색차 산출 및 휘도 산출은 YCbCr 표정 산출 방법에 의하여 산출될 수 있으며, 이에 한정되는 것은 아니다.
또한, 색상 보정부(146)는 4채널 혼합 영상 신호의 휘도와 가시영역 영상신호 휘도를 비교함으로써, 가시영역 영상신호의 밝기를 보정할 수 있다.
또한, 색상 보정부(146)는 4채널 혼합 영상 신호의 색차 영상의 평균 및 가시영역 영상신호 색차 영상의 평균을 비교함으로써 가시영역 영상신호의 컬러를 보정할 수 있다. 이에 따라, 영상 출력 장치(100)는 색차 및 밝기가 개선된 가시영역 영상을 출력할 수 있다.
도 11은 일 실시예에 의하여, 가시영역 영상신호와 근적외선 영상신호를 융합하여 가시광선 영상을 출력하는 것을 나타내는 도면이다.
영상 출력 장치(100)는 조도가 어두운 때에 입력된 4채널 혼합 영상 신호로부터 보다 선명한 가시영역 영상을 출력하기 위하여, 근적외선 영상신호를 가시영역 영상신호에 융합할 수 있다.
일 실시예에 의하여, 영상 출력 장치(100)는 4채널 혼합 영상 신호로부터 분리된 가시영역 영상신호(R, G, B)에 각각 근적외선 영상신호(NIR)를 더함으로써 영상을 융합할 수 있다. 일 실시예에 의하여, 영상 출력 장치(100)는 R, G, B 픽셀에 동일한 크기의 NIR 신호를 합하여 영상을 융합할 수 있다. 영상 융합 방법은 제한되지 않는다.
이‹š, 가시영역 영상신호(R, G, B)와 근적외선 영상신호(NIR)를 일률적으로 융합하는 경우, 원래의 가시영역 영상신호인 R, G, B 사이의 픽셀의 차이가 상대적으로 적어져 가시영역 영상의 채도가 떨어질 수 있다.
이에 따라, R, G 및 B 각 픽셀의 크기 비율을 반영하여 NIR 픽셀을 더함으로써 가시영역 영상신호를 출력할 수 있다.
일 실시예에 의하여 수학식 8과 같이 RGB 영상과 NIR 영상을 융합할 수 있다.
Figure 112015125963130-pat00020
수학식 8에서 K는 아래와 같다.
Figure 112015125963130-pat00021
일 실시예에서, 수학식 8와 같이 RGB 영상과 NIR 영상을 융합하면, 융합된 영상의 밝기 I'(Intensity)는 수학식 9와 같다.
Figure 112015125963130-pat00022
수학식 9에서 I 는 RGB 영상의 밝기로 I=(R+G+B)/3 이고, N은 NIR 영상의 밝기를 의미할 수 있다.
일 실시예에 따라, 수학식 8에 따른 방식으로 RGB 영상과 NIR 영상을 융합하면 기존의 방식으로 융합한 영상의 밝기와 동일한 밝기를 유지하면서도, 원 영상의 채도를 그대로 유지할 수 있는 이점이 있다.
실시예에 따라, RGB 영상과 NIR 영상 융합시 영상의 특성이나 영상을 적용할 분야에 따라 밝기 및 색감을 조절하도록 구현이 가능할 수 있다.
본 발명의 또 다른 바람직한 일 실시예에서는, 수학식 5와 같이 RGB 영상과 NIR 영상을 융합할 수 있다.
Figure 112015125963130-pat00023
일 실시예에 의하여, 수학식 10은 주간모드일 때에는 α값을 작게하여 R, G,B에 해당하는 화소의 값을 많이 이용하여 영상을 출력하고, 야간모드일 때에는 α값을 크게 하여 NIR에 해당하는 화소 정보를 많이 이용하여 흑백영상을 출력함으로써 가시영역 영상의 감도를 향상시킬 수 있다.
이 외에도, 4채널 혼합 영상 영상의 지역적 또는 전역적 특성을 분석하여 α값을 조절함으로써 영상의 색감이나 밝기를 조절하도록 구현이 가능할 수 있다.
여기서, α값은 가시영역 영상 내의 특정 영역의 밝기 통계값에 기초하여 설정하거나 또는 상수값 등으로 설정할 수 있다. 또한, 사용자가 자신이 원하는 가시영역 영상의 조건에 따라 α값을 설정할 수 있다. 예를 들어 NIR 영상 정보가 많이 필요한 경우에는 α값을 크게 설정하고, RGB 영상 정보가 많이 요구되는 경우에는 α값을 작게 설정할 수 있다.
영상 출력 장치(100)는 α값에 따라 수학식 10과 같은 방식으로 RGB 영상 및 NIR 영상을 융합하여 최종 가시영역 영상을 출력할 수 있다. 수학식 10에 개시된 것은 가시영역 영상신호(RGB 영상신호) 및 근적외선 영상신호(NIR 영상신호)를 영상 특성에 따라 융합 비율을 조절할 수 있는 개념의 일 예를 개시한 것으로 이와 동일하거나 유사하게 변형이 가능함을 유의하여야 한다.
도 12는 일 실시예에 의한, 영상 출력 장치의 구성을 기능적으로 나타낸 블록도이다.
도 12에 의하면, 영상 출력 장치(100)는 신호 수신부(110), 신호 보간부(120), 신호 분리부(130), 영상 보정부(140), 영상 출력부(150) 및 저장부(160)를 포함할 수 있다.
신호 수신부(110)는 가시영역 신호 및 근적외선 신호가 혼합된 4채널 혼합 영상 신호를 수신할 수 있다. 신호 수신부(110)는 컬러필터배열이 포함된 CMOS 센서 또는 CCD 센서를 포함할 수 있다. 신호 수신부(110)는 4채널의 컬러 신호를 수신하기 위한 센서를 포함할 수 있다. 예를 들어, 신호 수신부(110)는 4채널의 컬러 신호를 수신하기 위하여 CMOS 센서 또는 CCD 센서와 CMYG 보색 컬러 필터를 포함할 수 있다. 이에 한정되는 것은 아니다.
신호 수신부(110)는 적외선 영역의 신호를 차단하기 위한 IR 필터를 포함하지 않을 수 있다. 또한, 신호 수신부(110)적외선 영역의 신호를 물리적으로 분리하기 위하여 사용되는 프리즘(Beam-splitter prism)을 포함하지 않을 수 있다. 따라서, 영상 출력 장치(100)의 소형화 및 단가 절감이 가능할 수 있다.
신호 보간부(120)는 영상 수신부(110)를 통해 수신된 신호에서 빛이 투과되지 않은 화소에 대하여 보간 처리를 수행할 수 있다. 보간 처리를 드 모자이싱(de-mosaicing)처리라고도 한다. 보간 방법은 4채널 혼합 영상 신호가 입력되는 경우, 각 컬러 채널에 대한 정보를 독립된 영상 신호로서 분리하고, 나머지 빈 화소 공간을 채우는 것을 의미할 수 있다. 예를 들어, 보간 방법은 바일리니아(Bilinear) 보간 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다.
신호 보간부(120)는 보간 과정을 통해 4채널 혼합 영상 신호를 색상 분리 4채널 혼합 영상 신호로 변환시킬 수 있다.
신호 분리부(130)는 신호 보간부(120)를 통해 색상 분리 4채널 혼합 영상 신호로 변환된 신호를 수신할 수 있다. 신호 분리부(130)는 색상 분리 4채널 혼합 영상 신호를 4채널의 가시영역 영상신호 및 1채널의 근적외선 영상신호로 분리할 수 있다.
신호 분리부(130)는 채널 컬러 데이터를 3채널 컬러 데이터로 변환하기 위해 결정된 컬러 계수 및 근적외선 영역신호로 이루어진 4채널 신호를 기초로 결정된 가중치 계수를 포함하는 신호 분리 계수에 기초하여 가시영역 영상신호 및 근적외선 영상신호로 분리할 수 있다.
일 실시예에 의하여, 신호 분리 계수는 12개의 컬러 계수 및 4개의 가중치 계수를 포함하는 신호 분리 행렬을 의미할 수 있다.
영상 분리부(130)는 가시영역 영상신호 및 근적외선 영상신호를 신호 분리 계수의 역행렬과 색상 분리 혼합영상신호 간의 곱을 통해 분리할 수 있다.
영상 보정부(140)는 분리된 가시영역 영상신호 및 근적외선 영상신호의 영상을 보정할 수 있다. 보다 구체적으로, 영상 보정부(140)는 가시영역 영상 신호의 화이트 밸런싱, 밝기 보정, 색차 보정, 휘도 산출, 근적외선 영상신호와의 융합을 통해 개선된 가시영역 영상이 출력되도록 할 수 있다.
영상 보정부(140)는 기존의 영상을 보정하는 방법들을 통해 영상을 보정할 수 있다. 또한, 영상 보정방법이 한정되는 것은 아니다.
영상 보정부(140)는 화이트 밸런싱부(141), 밝기 조정부(142), 색상 보정부(146)를 포함할 수 있다.
또한, 영상 보정부(140)는 저조도에서 입력되어 분리된 가시영역 영상신호를 보정하기 위하여 근적외선 영상신호를 융합할 수 있다. 영상 보정부(140)는 장치는 4채널 혼합 영상 신호로부터 분리된 가시영역 영상신호(R, G, B)에 각각 근적외선 영상신호(NIR)를 더함으로써 영상을 융합할 수 있다. 일 실시예에 의하여, 영상 보정부(140)는 R, G, B 픽셀에 동일한 크기의 NIR 신호를 합하여 영상을 융합할 수 있다. 영상 융합 방법은 제한되지 않는다.
영상 출력부(150)는 분리된 가시광선 영상 및 근적외선 영상을 출력할 수 있다. 영상 출력부(150)는 가시광선 영상 및 근적외선 영상을 동시에 출력할 수 있다.
저장부(160)는 입력된 4채널 혼합 영상 신호, 분리된 가시광선 영상 및 근적외선 영상을 저장할 수 있다. 저장부(160)는 일 실시예에서 영상 출력 장치(100)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함할 수 있다. 또한, 저장부(160)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
본 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 컬러필터배열 센서(Color Filter Array, CFA)를 이용한 영상 출력 방법에 있어서,
    상기 컬러필터배열 센서를 통해 4채널 혼합 영상 신호를 수신하는 단계;
    4채널 컬러 데이터를 3채널 컬러 데이터로 변환하기 위해 결정된 컬러 계수 및 근적외선 영역신호로 이루어진 4채널 신호를 기초로 결정된 가중치 계수를 포함하는 신호 분리 계수에 기초하여, 상기 수신된 4채널 혼합 영상 신호를 가시영역 영상신호 및 근적외선 영상신호로 분리하는 단계; 및
    상기 분리된 가시영역 영상신호 및 근적외선 영상신호를 출력하는 단계를 포함하며,
    상기 컬러 계수는,
    복수의 4채널 컬러 데이터들을 복수의 3채널 컬러 데이터들로 변환하기 위해 파라미터 예측 알고리즘을 적용함으로써 결정된 값인, 영상 출력 방법.
  2. 제 1항에 있어서,
    상기 수신한 4채널 혼합 영상 신호는,
    4채널의 가시영역 영상신호 및 1채널의 근적외선 영상신호가 혼합된 4채널 혼합 영상 신호인, 영상 출력 방법.
  3. 삭제
  4. 제 1항에 있어서,
    상기 파라미터 예측 알고리즘은 적어도 1회 이상의 최소 제곱법(Least Square Estimation)을 적용함으로써 결정된 알고리즘을 포함하는, 영상 출력 방법.
  5. 제 1항에 있어서,
    상기 가중치 계수는,
    근적외선 영역신호로만 이루어진 복수의 4채널 신호에서 선택된 제 1채널 신호를 기준으로 각 채널의 비율을 산출함으로써 결정된 가중치 값인, 영상 출력 방법.
  6. 제 1항에 있어서,
    상기 4채널 혼합 영상 신호를 독립된 색상 신호를 포함하는 4개의 색상 분리 혼합 영상 신호로 보간하는 단계;
    를 더 포함하는, 영상 출력 방법.
  7. 제 1항에 있어서,
    상기 분리된 가시영역 영상신호 및 근적외선 영상신호를 출력하는 단계는,
    상기 가시영역 영상신호로부터 가시영역 영상을 출력하고, 동시에 상기 근적외선 영상신호로부터 근적외선 영상을 출력하는 단계;
    를 포함하는, 영상 출력 방법.
  8. 제 1항에 있어서,
    상기 분리된 가시영역 영상신호 및 근적외선 영상신호를 출력하는 단계는,
    상기 가시영역 영상신호에 화이트 밸런싱을 수행하는 단계;
    를 포함하는, 영상 출력 방법.
  9. 제 1항에 있어서,
    상기 분리된 가시영역 영상신호 및 근적외선 영상신호를 출력하는 단계는,
    상기 가시영역 영상신호의 밝기 정보를 포함하는 휘도 영상신호를 산출하는 단계;
    상기 산출된 휘도 영상신호의 휘도 평균값을 구하는 단계;
    상기 휘도 평균값 및 미리 결정된 기준 휘도 평균값을 비교함으로써 상기 가시영역 영상신호의 밝기를 보정하는 단계;및
    상기 밝기가 보정된 가시영역 영상신호로부터 가시영역 영상을 출력하는 단계;
    를 포함하는, 영상 출력 방법.
  10. 제 1항에 있어서,
    상기 분리된 가시영역 영상신호 및 근적외선 영상신호를 출력하는 단계는,
    상기 근적외선 영상신호를 상기 가시영역 영상신호에 융합함으로써 상기 출력되는 가시영역 영상신호를 보정하는 단계;
    를 포함하는, 영상 출력 방법.
  11. 컬러필터배열 센서(Color Filter Array, CFA)를 이용한 영상 출력 장치에 있어서,
    상기 컬러필터배열 센서를 통해 4채널 혼합 영상 신호를 수신하는 수신부;
    4채널 컬러 데이터를 3채널 컬러 데이터로 변환하기 위해 결정된 컬러 계수 및 근적외선 영역신호로 이루어진 4채널 신호를 기초로 결정된 가중치 계수를 포함하는 신호 분리 계수에 기초하여, 상기 수신된 4채널 혼합 영상 신호를 가시영역 영상신호 및 근적외선 영상신호로 분리하는 신호 분리부; 및
    상기 분리된 가시영역 영상신호 및 근적외선 영상신호를 출력하는 영상 출력부;
    를 포함하며,
    상기 컬러 계수는,
    복수의 4채널 컬러 데이터들을 복수의 3채널 컬러 데이터들로 변환하기 위해 파라미터 예측 알고리즘을 적용함으로써 결정된 값인, 영상 출력 장치.
  12. 제 11항에 있어서,
    상기 수신한 4채널 혼합 영상 신호는,
    4채널의 가시영역 영상신호 및 1채널의 근적외선 영상신호가 혼합된 4채널 혼합 영상 신호인, 영상 출력 장치.
  13. 삭제
  14. 제 11항에 있어서,
    상기 가중치 계수는,
    근적외선 영역신호로만 이루어진 복수의 4채널 신호에서 선택된 제 1채널 신호를 기준으로 각 채널의 비율을 산출함으로써 결정된 가중치 값인, 영상 출력 장치.
  15. 제 11항에 있어서,
    상기 4채널 혼합 영상 신호를 독립된 가시광선 신호를 포함하는 4개의 영상 신호로 보간하는 영상 보간부;
    를 더 포함하는, 영상 출력 장치.
  16. 제 11항에 있어서,
    상기 영상 출력부는, 상기 가시영역 영상신호로부터 가시영역 영상을, 상기 근적외선 영상신호로부터 근적외선 영상을 출력하는, 영상 출력 장치.
  17. 제 11항에 있어서,
    상기 가시영역 영상신호에 화이트 밸런싱을 수행하는 화이트 밸런싱부;
    를 더 포함하는, 영상 출력 장치.
  18. 제 11항에 있어서,
    상기 가시영역 영상신호의 밝기 정보를 포함하는 휘도 영상신호를 산출하고, 상기 산출된 휘도 영상신호의 휘도 평균값을 구하고, 상기 휘도 평균값 및 미리 결정된 기준 휘도 평균값을 비교함으로써 상기 가시영역 영상신호의 밝기를 보정하는 밝기 보정부;
    를 더 포함하는, 영상 출력 장치.
  19. 제 11항에 있어서,
    상기 근적외선 영상신호를 상기 가시영역 영상신호에 융합함으로써 상기 출력되는 가시영역 영상신호를 보정하는 영상 보정부;
    를 더 포함하는, 영상 출력 장치.
  20. 제 1항, 제 2항, 제 4항 내지 제 10항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150184078A 2015-12-22 2015-12-22 영상 출력 장치 및 영상 출력 방법 KR102287944B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150184078A KR102287944B1 (ko) 2015-12-22 2015-12-22 영상 출력 장치 및 영상 출력 방법
US15/204,355 US10027933B2 (en) 2015-12-22 2016-07-07 Method and apparatus for outputting images
CN201610919829.0A CN106911876B (zh) 2015-12-22 2016-10-21 用于输出图像的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150184078A KR102287944B1 (ko) 2015-12-22 2015-12-22 영상 출력 장치 및 영상 출력 방법

Publications (2)

Publication Number Publication Date
KR20170074602A KR20170074602A (ko) 2017-06-30
KR102287944B1 true KR102287944B1 (ko) 2021-08-09

Family

ID=59065255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150184078A KR102287944B1 (ko) 2015-12-22 2015-12-22 영상 출력 장치 및 영상 출력 방법

Country Status (3)

Country Link
US (1) US10027933B2 (ko)
KR (1) KR102287944B1 (ko)
CN (1) CN106911876B (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701244B2 (en) * 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
JP2019106588A (ja) * 2017-12-11 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及び撮像装置
CN108111784B (zh) * 2017-12-22 2020-06-26 成都先锋材料有限公司 一种生物活体影像监控系统
CN108184076B (zh) * 2018-02-01 2020-07-31 天津天地伟业信息系统集成有限公司 一种基于颜色统计的亮度计算方法
CN109040720B (zh) * 2018-07-24 2019-11-19 浙江大华技术股份有限公司 一种生成rgb图像的方法及装置
CN110493583B (zh) * 2018-08-03 2021-12-17 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
JP7155737B2 (ja) * 2018-08-10 2022-10-19 株式会社リコー 画像処理装置、画像処理システム、プログラムおよび画像処理方法
GB2577735B (en) * 2018-10-05 2021-09-22 Innovative Tech Ltd Banknote imaging
CN111968039B (zh) * 2019-05-20 2023-08-22 北京航空航天大学 基于硅传感器相机的昼夜通用图像处理方法、装置及设备
CN111968067B (zh) * 2019-05-20 2023-08-22 北京航空航天大学 基于硅传感器相机的短波红外图像处理方法、装置及设备
GB201908517D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd 3D digital imagenoise reduction system and method
CN110611779B (zh) * 2019-09-27 2021-11-26 华南师范大学 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法
CN111667446B (zh) * 2020-06-01 2023-09-01 上海富瀚微电子股份有限公司 图像处理方法
WO2022102583A1 (ja) * 2020-11-16 2022-05-19 グローリー株式会社 光学センサ、紙葉類識別装置、紙葉類処理装置及び光検出方法
KR102577350B1 (ko) * 2022-05-10 2023-09-12 스페이스워크 주식회사 작물 생육 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070153335A1 (en) 2005-12-22 2007-07-05 Hajime Hosaka Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
JP2015053578A (ja) 2013-09-06 2015-03-19 パナソニック株式会社 カラー撮像装置及びカラー撮像方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100555755B1 (ko) * 2004-05-04 2006-03-03 삼성전자주식회사 휘도 히스토그램을 이용한 영상 자동 보정 장치
US8446470B2 (en) 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
CN104079908B (zh) * 2014-07-11 2015-12-02 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070153335A1 (en) 2005-12-22 2007-07-05 Hajime Hosaka Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
JP2015053578A (ja) 2013-09-06 2015-03-19 パナソニック株式会社 カラー撮像装置及びカラー撮像方法

Also Published As

Publication number Publication date
CN106911876B (zh) 2020-03-27
US10027933B2 (en) 2018-07-17
US20170180683A1 (en) 2017-06-22
KR20170074602A (ko) 2017-06-30
CN106911876A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
KR102287944B1 (ko) 영상 출력 장치 및 영상 출력 방법
JP6725613B2 (ja) 撮像装置および撮像処理方法
CN103971351B (zh) 使用多光谱滤光器阵列传感器的图像融合方法和设备
JP4930109B2 (ja) 固体撮像装置、撮像装置
US8666153B2 (en) Image input apparatus
CN103430551B (zh) 使用具有纵色像差的透镜单元的成像系统及其操作方法
CN104350744B (zh) 具有多光谱滤光器阵列的相机系统及其图像处理方法
US8467088B2 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
US20130002936A1 (en) Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
JP2023548748A (ja) フレーム処理および／またはキャプチャ命令システムおよび技法
US8988591B2 (en) Solid-state imaging device, camera module, and focus adjustment method of camera module
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
US20180330529A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
WO2016098641A1 (ja) 撮像装置、撮像方法、およびプログラム
JP2007074635A (ja) 画像入力装置および固体撮像素子
CN101473658A (zh) 摄像系统和摄像程序
JP6640555B2 (ja) カメラシステム
JP2015211347A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151222

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200420

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151222

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201203

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210517

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210803

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210804

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240730

Start annual number: 4

End annual number: 4