Nothing Special   »   [go: up one dir, main page]

KR101378337B1 - 카메라의 영상 처리 장치 및 방법 - Google Patents

카메라의 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101378337B1
KR101378337B1 KR1020120121536A KR20120121536A KR101378337B1 KR 101378337 B1 KR101378337 B1 KR 101378337B1 KR 1020120121536 A KR1020120121536 A KR 1020120121536A KR 20120121536 A KR20120121536 A KR 20120121536A KR 101378337 B1 KR101378337 B1 KR 101378337B1
Authority
KR
South Korea
Prior art keywords
camera
image
camera image
vehicle
previous
Prior art date
Application number
KR1020120121536A
Other languages
English (en)
Inventor
한영인
김동균
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Priority to KR1020120121536A priority Critical patent/KR101378337B1/ko
Application granted granted Critical
Publication of KR101378337B1 publication Critical patent/KR101378337B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라의 영상 처리 장치 및 방법에 관한 것으로, 본 발명에 따른 방법은 자동차에 설치된 적어도 하나의 카메라가 임의의 시점에서 촬영한 카메라 이미지를 생성하는 단계, 자동차의 이동성 모델을 이용하여 카메라가 임의의 시점 전에 촬영한 이전 카메라 이미지를 어파인(affine) 변환하는 단계 및 카메라 이미지와 이전 카메라 이미지를 합성하는 단계를 포함한다. 본 발명에 의하면, 자동차 주변의 사각 지대를 없애고 운전자가 자동차 주변 상황을 정확하게 인식하게 할 수 있다.

Description

카메라의 영상 처리 장치 및 방법{Apparatus and Method for Processing Image of Camera}
본 발명은 카메라의 영상 처리 장치 및 방법에 관한 것으로, 보다 자세하게는 자동차에 설치된 카메라를 통해 자동차 주변 환경의 영상을 촬영하여 표시할 수 있는 카메라의 영상 처리 장치 및 방법에 관한 것이다.
일반적으로 운전자의 편의를 위하여 자동차의 주변 환경을 촬영하여 표시함으로써 운전자가 자동차의 주변 환경을 육안을 통해 편리하게 확인할 수 있는 카메라 영상 시스템이 보편적으로 사용되고 있다.
이러한 카메라 영상 시스템은 자동차의 전방, 후방, 좌우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 주변 환경의 영상을 합성하여 표시함으로써 운전자가 자동차의 주변 상황을 정확하게 인식할 수 있도록 하고, 사이드 미러(side mirror)나 백 미러(back mirror)를 보지 않고도 편리하게 주차할 수 있도록 한다.
그러나, 자동차의 구조, 카메라가 설치된 위치나 자세에 따라 장애물이 보이지 않게 되는 사각 지대가 존재하기 때문에 종래의 카메라 영상 시스템은 사각 지대에 위치한 장애물에 대해서는 운전자에게 제공하지 못하는 문제점이 있었다.
이에 따라, 자동차를 주차하고자 하는 운전자의 경우, 주변에 있는 장애물을 발견하지 못하여 장애물과 충돌할 수 있는 사고의 위험성이 있으며, 운전에 익숙한 운전자라 할지라도 운전자가 고개를 들어 주변 환경을 직접 살피면서 장애물을 피하여야 주차할 수 있지만 부분적인 시야 확보만 가능하기 때문에 주차에 어려움이 발생하는 문제점이 있었다.
한국공개특허 제1997-0038091호(공개일: 1997. 07. 24)
본 발명이 해결하고자 하는 과제는 카메라가 각기 다른 시간에 촬영한 복수개의 카메라 이미지를 실시간으로 합성하여 운전자에게 제공함으로써 자동차 주변의 사각 지대를 없애고 운전자가 자동차 주변 상황을 정확하게 인식하게 할 수 있는 카메라의 영상 처리 장치 및 방법을 제공함에 있다.
이러한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 카메라의 영상 처리 방법은 자동차에 설치된 적어도 하나의 카메라가 임의의 시점에서 촬영한 카메라 이미지를 생성하는 단계; 상기 자동차의 이동성 모델을 이용하여 상기 카메라가 임의의 시점 전에 촬영한 이전 카메라 이미지를 어파인(affine) 변환하는 단계; 상기 카메라 이미지와 상기 이전 카메라 이미지를 합성하는 단계를 포함한다.
상기 카메라 이미지 합성 단계 이후에, 상기 합성된 카메라 이미지에 자동차 이미지를 합성하여 출력하는 단계를 더 포함할 수 있다.
상기 카메라 이미지 생성 단계는 상기 카메라가 임의의 시점에서 촬영한 원 영상 이미지를 입력받는 단계; 상기 원 영상 이미지를 뷰(view) 모드로 변환하여 상기 카메라 이미지를 생성하는 단계를 포함할 수 있다.
상기 카메라가 임의의 시점 전에 촬영한 이전 카메라 이미지를 어파인(affine) 변환하는 단계는 상기 자동차의 이동량에 기초한 상기 자동차의 이동성 모델을 이용하여 상기 카메라 이미지에 대응한 상기 이전 카메라 이미지의 어파인 변환을 수행할 수 있다.
상기 자동차의 이동량은 상기 자동차의 속도 정보 및 조향각 정보를 포함할 수 있다.
상기 카메라 이미지와 상기 이전 카메라 이미지를 합성하는 단계는 상기 카메라 이미지와 상기 이전 카메라 이미지를 스티칭(stitching) 방식으로 합성할 수 있다.
상기 자동차 이미지는 윤곽선 또는 반투명으로 출력될 수 있다.
한편, 본 발명의 일 실시예에 따른 카메라의 영상 처리 장치는 자동차에 설치된 적어도 하나의 카메라가 임의의 시점에서 촬영한 카메라 이미지를 생성하는 생성부; 상기 자동차의 이동성 모델을 이용하여 상기 카메라가 임의의 시점 전에 촬영한 이전 카메라 이미지를 어파인(affine) 변환하는 변환부; 상기 카메라 이미지와 상기 이전 카메라 이미지를 합성하는 합성부를 포함한다.
상기 합성부는 상기 합성된 카메라 이미지에 자동차 이미지를 합성하여 출력할 수 있다.
상기 생성부는 상기 카메라가 임의의 시점에서 촬영한 원 영상 이미지를 입력받고, 상기 원 영상 이미지를 뷰(view) 모드로 변환하여 상기 카메라 이미지를 생성할 수 있다.
상기 변환부는 상기 자동차의 이동량에 기초한 상기 자동차의 이동성 모델을 이용하여 상기 카메라 이미지에 대응한 상기 이전 카메라 이미지의 어파인 변환을 수행할 수 있다.
상기 합성부는 상기 카메라 이미지와 상기 이전 카메라 이미지를 스티칭(stitching) 방식으로 합성할 수 있다.
상기 자동차 이미지는 윤곽선 또는 반투명으로 출력될 수 있다.
이와 같이 본 발명의 실시예에 따른 카메라의 영상 처리 장치 및 방법에 따르면, 카메라가 각기 다른 시간에 촬영한 복수의 카메라 이미지를 실시간으로 합성하여 운전자에게 제공함으로써 자동차 주변의 사각 지대를 없애고 운전자가 자동차 주변 상황을 정확하게 인식하게 할 수 있는 장점이 있다.
보다 구체적으로는, 현재 시점에서 촬영한 카메라 이미지와 과거 시점에서 촬영한 카메라 이미지를 합성하여 출력함으로써 사각 지대에 위치한 장애물에 대한 정보를 운전자에게 보다 용이하게 제공할 수 있는 장점이 있다.
또한, 자동차의 속도 및 조향각을 통한 자동차의 이동성 모델을 이용하여 과거 시점에서 촬영한 카메라 이미지를 어파인 변환함으로써 현재 시점에서 촬영한 카메라 이미지와 과거 시점에서 촬영한 카메라 이미지를 보다 자연스럽게 합성할 수 있는 장점이 있다.
그리고, 카메라 이미지와 자동차 이미지를 합성할 경우, 자동차 이미지를 윤곽선 또는 반투명으로 표시함으로써 자동차의 하부에 위치한 장애물과 방향 안내 정보를 운전자가 보다 용이하게 인식하게 할 수 있는 장점이 있다.
이에 따라, 운전자의 시야 확보가 어려운 사각 지대를 보다 용이하게 확인할 수 있어서 운전자의 안전한 주행 환경 제공과 안전한 주차 환경을 제공할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 카메라의 영상 처리 장치의 구성도이다.
도 2는 복수 개의 카메라에서 각각 촬영된 원 영상 이미지의 예시도들이다.
도 3은 도 2에 도시한 원 영상 이미지를 뷰 모드로 변환한 카메라 이미지의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 자동차의 이동성 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 과거 시점의 카메라 이미지(A1), 변환된 과거 시점의 카메라 이미지(A1') 및 현재 시점의 카메라 이미지(B1)와, 이들을 합성한 카메라 이미지(D1)의 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 과거 시점의 제1 및 제2 카메라 이미지(A2)(A3), 현재 시점의 제1 및 제2 카메라 이미지(B2)(B3) 및 현재 시점의 제1 및 제2 후방 영상 이미지(E2)(E3)의 예시도이다.
도 7은 본 발명의 일 실시예에 따른 카메라의 영상 처리 과정을 보여주는 동작 흐름도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 카메라의 영상 처리 장치의 구성도를 나타낸다.
도 1에 도시한 바와 같이, 카메라의 영상 처리 장치(100)는 카메라(110), 생성부(120), 저장부(130), 변환부(140), 합성부(150) 및 출력부(160)를 포함하여 구성된다.
카메라(110)는 적어도 하나로 구성되며, 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영하는 기능을 수행한다. 만약, 카메라가 2개일 경우, 자동차의 전방 및 후방(또는 좌측 및 우측)에 각각 설치될 수 있으며, 카메라가 4개일 경우, 자동차의 전방, 후방, 좌측 및 우측에 각각 설치될 수 있다.
상기와 같은 카메라(110)가 설치되는 위치에 대하여 보다 상세하게 설명하면, 전방에 설치된 카메라는 자동차의 본넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라는 각각 자동차의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한, 후방에 설치된 카메라는 후방 범퍼 위쪽의 중앙에 설치될 수 있으며, 전방 및 후방에 설치된 카메라는 지면 방향의 수직선을 기준으로 170도 이상이 촬영되도록 설치될 수 있다.
또한, 카메라(110)에는 광각 렌즈(wide angle lens)나 어안 렌즈(fish eye lens) 등과 같이 화각이 큰 렌즈가 구비될 수 있으며, CMOS(Complementary Metal-Oxide Semiconductor) 타입의 영상 센서나 CCD(Charge Coupled Device) 타입의 영상 센서 등으로 구성될 수 있다.
도 2는 복수 개의 카메라에서 각각 촬영된 원 영상 이미지의 예시도들이고, 도 3은 도 2에 도시한 원 영상 이미지를 뷰 모드로 변환한 카메라 이미지의 예시도를 나타낸다.
생성부(120)는 도 2에 도시한 바와 같이, 카메라(110)가 임의의 시점(이하, 현재 시점이라고 함)에서 촬영한 원 영상 이미지를 입력받을 수 있는데, 카메라가 4대로 구성된 경우, 생성부(120)는 4대의 카메라(110a, 110b, 110c, 110d)에서 각각 촬영된 4개의 원 영상 이미지(D1, D2, D3, D4)를 각각의 채널을 통해 입력받을 수 있다.
또한, 생성부(120)는 입력된 원 영상 이미지를 뷰(view) 모드로 변환하여 카메라 이미지를 생성할 수 있다. 보다 구체적으로 설명하면, 생성부(120)는 도 3에 도시한 바와 같이, 4개의 원 영상 이미지를 어라운드 뷰 모니터(Around View Monitor: AVM) 모드, 탑 뷰(Top View) 모드나 특정한 뷰 모드로 변환하여 4개의 원 영상 이미지가 조합된 카메라 이미지(D11)를 생성할 수 있다. 이때, 뷰 모드는 사용자에 의해 설정되거나 미리 설정되어 저장될 수 있다.
한편, 본 발명의 일 실시예에서는 자동차의 전방, 후방, 좌측 및 우측의 이미지를 촬영하는 4대의 카메라를 예로 들어 설명하고 있으나, 차량의 전방 및 후방(또는 좌측 및 우측)의 이미지를 촬영하는 2대의 카메라의 경우에도 본 발명의 기술적 특징은 동일하게 적용될 수 있다.
저장부(130)는 생성부(120)에서 생성된 카메라 이미지가 저장되며, 카메라(110)를 통해 일정한 시간 간격(예를 들어, 1초)으로 촬영된 복수 개의 카메라 이미지가 저장될 수 있다.
예를 들어, 카메라(110)가 오전 11시 07분 00초에 촬영한 제1 카메라 이미지, 카메라(110)가 오전 11시 07분 01초에 촬영한 제2 카메라 이미지 및 카메라(110)가 오전 11시 07분 02초에 촬영한 제3 카메라 이미지 등이 순차적으로 생성되어 저장부(130)에 저장될 수 있다.
변환부(140)는 자동차의 이동성 모델(Kinematic vehicle model)을 이용하여 카메라(110)가 임의의 시점 전(이하, 과거 시점이라고 함)에 촬영한 이전 카메라 이미지를 어파인 변환(affine transformation)할 수 있다.
보다 구체적으로 설명하면, 변환부(140)는 자동차의 이동성 모델을 이용하여 과거 시점에 촬영한 이전 카메라 이미지가 현재 시점에서 촬영한 카메라 이미지(이하, 현재 카메라 이미지라고 함)에 대응하도록 즉, 이전 카메라 이미지를 현재 카메라 이미지의 공간 상으로 대응시키는 어파인 변환을 수행할 수 있다.
여기서, 자동차의 이동성 모델이란 자동차의 속도 및 조향각을 포함한 자동차의 이동량에 근거하여 자동차가 이동하는 양상을 예측하는 모델이며, 어파인 변환이란 한 벡터 공간을 다른 벡터 공간으로 대응시키는 변환으로, 선형 변환과 평행 이동 변환의 합성으로 이루어질 수 있다.
도 4는 본 발명의 일 실시예에 따른 자동차의 이동성 모델을 설명하기 위한 도면으로서, 도 4를 참조하면, 변환부(140)에서 어파인 변환을 수행하기 위해서는 자동차의 이동성 모델을 이용하여 이전 카메라 이미지가 현재 카메라 이미지에 대응하도록 이전 카메라 이미지를 단위 픽셀 수만큼 이동시켜줘야 한다. 이를 위해 자동차의 속도 센서(172) 및 조향각 센서(174)에서 감지한 자동차의 속도(υ) 및 조향각(δ)과, 자동차의 길이(b)를 하기의 (수식 1)에 대입하여 이전 카메라 이미지의 이동량(x, y, ψ(틀어짐))을 연산할 수 있고, 이러한 연산 과정을 통해 어파인 변환을 수행할 수 있다.
(수식 1)
Figure 112012088979008-pat00001
만약, 과거 시점에서 촬영한 이전 카메라 이미지가 각기 다른 과거 시점에서 촬영한 복수 개의 이전 카메라 이미지로 구성된 경우, 변환부(140)는 복수 개의 이전 카메라 이미지를 현재 시점의 카메라 이미지에 대응하도록 각각 어파인 변환을 수행할 수 있다.
합성부(150)는 현재 카메라 이미지와 이전 카메라 이미지를 합성할 수 있으며, 보다 구체적으로는 스티칭(stitching) 방식을 통해 카메라 이미지와 이전 카메라 이미지의 크기 등을 조절하여 합성할 수 있다.
또한, 합성부(150)는 과거 시점에서 촬영한 이전 카메라 이미지가 각기 다른 과거 시점에서 촬영한 복수 개의 이전 카메라 이미지로 구성된 경우, 복수 개의 이전 카메라 이미지와 현재 시점의 카메라 이미지를 한 개의 카메라 이미지로 합성할 수 있다.
그리고, 합성부(150)는 카메라 이미지를 합성할 때, 픽셀 값에 대한 가중치를 다르게 적용할 수 있다. 예컨대, 이전 카메라 이미지의 밝기는 4로 적용하고, 현재 시점의 카메라 이미지의 밝기는 5로 적용하여 카메라 이미지가 합성되었을 때 운전자가 현재 시점과 과거 시점을 구분하여 인식하게 할 수 있다.
도 5는 본 발명의 일 실시예에 따른 과거 시점의 카메라 이미지(A1), 변환된 과거 시점의 카메라 이미지(A1') 및 현재 시점의 카메라 이미지(B1)와, 이들을 합성한 카메라 이미지(D1)의 예시도를 나타낸다.
도 5를 참조하여 예를 들어 설명하면, 카메라가 과거 시점에서 촬영한 카메라 이미지(A1) 상에 있는 장애물(a)은 현재 시점의 카메라 이미지(B1) 상에서는 b1에서와 같이, 사각 지대에 존재하여 카메라 이미지 상에 표시되지 않기 때문에 본 발명의 일 실시예에서는 현재 시점의 카메라 이미지에 대응하도록 과거 시점의 카메라 이미지(A1)를 어파인 변환을 수행하여 변환된 과거 시점의 카메라 이미지(A1')를 생성하고, 변환된 과거 시점의 카메라 이미지(A1')와 현재 카메라 이미지(B1)를 합성하여 장애물(a)이 합성된 카메라 이미지(D1)를 생성할 수 있다.
또한, 합성부(150)는 합성된 카메라 이미지에 자동차 이미지를 조합하여 출력할 수 있으며, 보다 구체적으로는 합성된 카메라 이미지와 자동차 이미지를 오버레이(overlay) 방식으로 합성하여 출력할 수 있다. 즉, 합성부(150)는 과거 시점에서 촬영한 카메라 이미지와 현재 시점에서 촬영한 카메라 이미지를 합성한 카메라 이미지에 자동차의 현재 위치가 나타나도록 가상의 카메라 이미지를 정합시켜 출력할 수 있다.
이와 같이, 합성부(150)에서 합성된 카메라 이미지에 차량의 현재 위치를 표시하는 가상의 자동차 이미지를 정합시켜 출력함으로써 운전자는 현재 과속 방지턱이 설치된 구간을 통과하고 있음을 인식할 수 있게 되고, 자동차 이미지를 중심으로 사각 지대를 용이하게 확인할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 과거 시점의 제1 및 제2 카메라 이미지(A2)(A3), 현재 시점의 제1 및 제2 카메라 이미지(B2)(B3) 및 현재 시점의 제1 및 제2 후방 영상 이미지(E2)(E3)의 예시도를 나타낸다.
도 6에서 현재 시점의 제1 카메라 이미지(B2)는 자동차의 후방에 설치된 카메라로 촬영한 제1 후방 영상 이미지(E2)를 탑 뷰(Top View) 모드로 변환하여 생성된 이미지이며, 현재 시점의 제2 카메라 이미지(B3)는 제1 후방 영상 이미지(E2)가 촬영된 시점에서 일정 시간이 경과한 후에 촬영한 제2 후방 영상 이미지(E3)를 탑 뷰 모드로 변환하여 생성된 이미지로, 현재 시점의 제1 카메라 이미지(B2) 중에서 P 영역에 해당하는 제1 카메라 이미지는 일정 시간이 경과한 후, R 영역에 해당하는 제2 카메라 이미지로 변환되어 과거 시점의 제1 카메라 이미지(A2)와 합성됨으로써 과거 시점의 제2 카메라 이미지(A3)로 사용될 수 있다.
이와 같이, 임의의 시점(과거 시점)에 해당하는 제2 카메라 이미지(A3)는 임의의 시점 이전에 촬영된 카메라 이미지(R 영역)와 임의의 시점 이전보다 더 이전에 촬영된 카메라 이미지(S 영역)가 조합되어 생성될 수 있다.
또한, 합성부(150)는 자동차 이미지를 윤곽선 또는 반투명으로 표시하여 자동차에 의해 가려진 사각 지대를 표시할 수 있으며, 자동차에 의해 가려진 사각 지대는 자동차의 하부를 포함할 수 있다. 즉, 합성부(150)는 자동차 이미지를 윤곽선 또는 반투명으로 표시함으로써 자동차의 주변 환경에 위치한 장애물과 방향 안내 정보를 운전자가 인식할 수 있게 된다.
출력부(160)는 과거 시점의 카메라 이미지, 현재 시점의 카메라 이미지 및 자동차 이미지가 합성된 카메라 이미지를 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Diode, OLED) 등의 표시 모듈에 표시한다.
지금까지 기술한 내용에 대하여 예를 들어 정리하여 설명하면, 카메라가 장애물이 설치된 곳의 이미지를 촬영하고 이후, 자동차가 계속 주행하여 1초 후 현재 위치에서 카메라가 이미지를 촬영한 경우, 장애물이 설치된 곳은 사각 지대에 위치할 수 있다.
이에 본 실시예에 의한 카메라의 영상 처리 장치(100)는 사각 지대에 위치한 장애물에 대한 정보를 운전자가 인식할 수 있도록 현재 시점에서 촬영한 카메라 이미지에 1초 전에 촬영한 과거 시점의 이전 카메라 이미지를 합성하여 장애물이 설치된 곳을 운전자가 인식할 수 있도록 하고, 합성된 카메라 이미지에 자동차 이미지를 합성함으로써 현재 자동차의 위치를 인식할 수 있게 한다.
또한, 카메라 이미지와 이전 카메라 이미지를 합성할 때 자동차의 이동성 모델을 이용하여 이전 카메라 이미지를 어파인 변환하여 합성함으로써 보다 자연스럽게 카메라 이미지가 합성되도록 제어한다.
이하에서는 본 발명의 일 실시예에 따른 카메라의 영상 처리 과정에 대하여 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 카메라의 영상 처리 과정을 보여주는 동작 흐름도를 나타낸다.
도 7에 도시한 바와 같이, 자동차에 설치된 적어도 하나의 카메라가 임의의 시점에서 촬영한 카메라 이미지를 생성한다(S710).
보다 구체적으로 설명하면, 카메라 이미지를 생성하기 위해 카메라(110)가 임의의 시점(이하, 현재 시점이라고 함)에서 촬영한 원 영상 이미지를 입력받을 수 있으며, 카메라가 4대로 구성된 경우, 생성부(120)는 4대의 카메라(110a, 110b, 110c, 110d)에서 각각 촬영된 4개의 원 영상 이미지(D1, D2, D3, D4)를 각각의 채널을 통해 입력받을 수 있다.
그런 다음에, 입력된 원 영상 이미지를 뷰(view) 모드로 변환하여 카메라 이미지를 생성할 수 있다. 보다 구체적으로 설명하면, 4개의 원 영상 이미지를 어라운드 뷰 모니터(Around View Monitor: AVM) 모드나 특정한 뷰 모드로 변환하여 4개의 원 영상 이미지가 조합된 카메라 이미지(D11)를 생성할 수 있다.
다음으로, 자동차의 이동성 모델을 이용하여 카메라가 임의의 시점 전에 촬영한 이전 카메라 이미지를 어파인(affine) 변환한다(S720).
보다 구체적으로 설명하면, 자동차의 이동성 모델을 이용하여 과거 시점에 촬영한 이전 카메라 이미지가 현재 시점에 촬영한 카메라 이미지(이하, 현재 카메라 이미지라고 함)에 대응하도록 즉, 이전 카메라 이미지를 현재 카메라 이미지의 공간 상으로 대응시키는 어파인 변환을 수행할 수 있다.
그 다음, 카메라 이미지와 이전 카메라 이미지를 합성한다(S730). 이때, 합성된 카메라 이미지와 자동차 이미지를 오버레이(overlay) 방식으로 합성하여 출력할 수 있다.
그리고, 합성된 카메라 이미지에 자동차 이미지를 합성하여 출력한다(S740).
이와 같이, 합성된 카메라 이미지에 차량의 현재 위치를 표시하는 가상의 자동차 이미지를 정합시켜 출력함으로써 운전자는 현재 과속 방지턱이 설치된 구간을 통과하고 있음을 인식할 수 있게 되고, 자동차 이미지를 중심으로 사각 지대를 용이하게 확인할 수 있다.
또한, 자동차 이미지를 윤곽선 또는 반투명으로 표시하여 자동차에 의해 가려진 사각 지대를 표시할 수 있으며, 자동차에 의해 가려진 사각 지대는 자동차의 하부를 포함할 수 있다. 즉, 합성부(150)는 자동차 이미지를 윤곽선 또는 반투명으로 표시함으로써 자동차의 주변 환경에 위치한 장애물과 방향 안내 정보를 운전자가 인식할 수 있게 한다.
본 발명의 일 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 카메라의 영상 처리 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내고 설명하는 것에 불과하며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉, 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시예들은 본 발명을 실시하는데 있어 최선의 상태를 설명하기 위한 것이며, 본 발명과 같은 다른 발명을 이용하는데 당업계에 알려진 다른 상태로의 실시, 그리고 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서, 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
100: 카메라의 영상 처리 장치
110: 카메라 120: 생성부
130: 저장부 140: 변환부
150: 합성부 160: 출력부

Claims (13)

  1. 자동차에 설치된 적어도 하나의 카메라가 임의의 시점에서 촬영한 카메라 이미지를 생성하는 단계;
    상기 자동차의 이동성 모델을 이용하여 상기 카메라가 임의의 시점 전에 촬영한 이전 카메라 이미지를 어파인(affine) 변환하는 단계;
    상기 카메라 이미지와 상기 이전 카메라 이미지를 합성하는 단계를 포함하고,
    상기 카메라 이미지 생성 단계는,
    상기 카메라가 임의의 시점에서 촬영한 원 영상 이미지를 입력받는 단계;
    상기 원 영상 이미지를 탑뷰(Top View) 모드로 변환하여 상기 카메라 이미지를 생성하는 단계를 포함하는 카메라의 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 카메라 이미지 합성 단계 이후에, 상기 합성된 카메라 이미지에 자동차 이미지를 합성하여 출력하는 단계를 더 포함하는 카메라의 영상 처리 방법.
  3. 제 1 항에 있어서,
    상기 카메라 이미지와 상기 이전 카메라 이미지의 밝기를 다르게 적용하여 합성하는 카메라의 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 카메라가 임의의 시점 전에 촬영한 이전 카메라 이미지를 어파인(affine) 변환하는 단계는,
    상기 자동차의 이동량에 기초한 상기 자동차의 이동성 모델을 이용하여 상기 카메라 이미지에 대응한 상기 이전 카메라 이미지의 어파인 변환을 수행하는 카메라의 영상 처리 방법.
  5. 제 4 항에 있어서,
    상기 자동차의 이동량은,
    상기 자동차의 속도 정보 및 조향각 정보를 포함하는 카메라의 영상 처리 방법.
  6. 제 1 항에 있어서,
    상기 카메라 이미지와 상기 이전 카메라 이미지를 합성하는 단계는,
    상기 카메라 이미지와 상기 이전 카메라 이미지를 스티칭(stitching) 방식으로 합성하는 카메라의 영상 처리 방법.
  7. 제 2 항에 있어서,
    상기 자동차 이미지는,
    윤곽선 또는 반투명으로 출력되는 카메라의 영상 처리 방법.
  8. 자동차에 설치된 적어도 하나의 카메라가 임의의 시점에서 촬영한 카메라 이미지를 생성하는 생성부;
    상기 자동차의 이동성 모델을 이용하여 상기 카메라가 임의의 시점 전에 촬영한 이전 카메라 이미지를 어파인(affine) 변환하는 변환부;
    상기 카메라 이미지와 상기 이전 카메라 이미지를 합성하는 합성부를 포함하고,
    상기 생성부는,
    상기 카메라가 임의의 시점에서 촬영한 원 영상 이미지를 입력받고, 상기 원 영상 이미지를 탑뷰(Top View) 모드로 변환하여 상기 카메라 이미지를 생성하는 카메라의 영상 처리 장치.
  9. 제 8 항에 있어서,
    상기 합성부는,
    상기 합성된 카메라 이미지에 자동차 이미지를 합성하여 출력하는 카메라의 영상 처리 장치.
  10. 제 8 항에 있어서,
    상기 합성부는,
    상기 카메라 이미지와 상기 이전 카메라 이미지의 밝기를 다르게 적용하여 합성하는 카메라의 영상 처리 장치.
  11. 제 8 항에 있어서,
    상기 변환부는,
    상기 자동차의 이동량에 기초한 상기 자동차의 이동성 모델을 이용하여 상기 카메라 이미지에 대응한 상기 이전 카메라 이미지의 어파인 변환을 수행하는 카메라의 영상 처리 장치.
  12. 제 8 항에 있어서,
    상기 합성부는,
    상기 카메라 이미지와 상기 이전 카메라 이미지를 스티칭(stitching) 방식으로 합성하는 카메라의 영상 처리 장치.
  13. 제 9 항에 있어서,
    상기 자동차 이미지는,
    윤곽선 또는 반투명으로 출력되어 상기 자동차에 의해 가려진 사각 지대를 표시하는 카메라의 영상 처리 장치.
KR1020120121536A 2012-10-30 2012-10-30 카메라의 영상 처리 장치 및 방법 KR101378337B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120121536A KR101378337B1 (ko) 2012-10-30 2012-10-30 카메라의 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120121536A KR101378337B1 (ko) 2012-10-30 2012-10-30 카메라의 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101378337B1 true KR101378337B1 (ko) 2014-03-27

Family

ID=50649576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120121536A KR101378337B1 (ko) 2012-10-30 2012-10-30 카메라의 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101378337B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018030651A1 (ko) * 2016-08-09 2018-02-15 삼성전자 주식회사 카메라를 구비한 무인 비행체 및 무인 비행체의 영상 처리 방법
KR101853652B1 (ko) 2015-12-29 2018-05-03 전자부품연구원 어라운드뷰 생성 방법 및 이를 수행하는 장치
KR101868549B1 (ko) * 2015-12-24 2018-06-19 전자부품연구원 어라운드뷰 생성방법과 이를 수행하는 장치
CN113808013A (zh) * 2020-06-17 2021-12-17 威达斯高级驾驶辅助设备有限公司 生成鸟瞰视点图像的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297808A (ja) 2003-03-25 2004-10-21 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2006123670A (ja) 2004-10-28 2006-05-18 Aisin Seiki Co Ltd 移動体周辺監視装置
KR20090109437A (ko) * 2008-04-15 2009-10-20 주식회사 만도 차량주행중 영상정합 방법 및 그 시스템
KR101097063B1 (ko) 2010-12-30 2011-12-22 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297808A (ja) 2003-03-25 2004-10-21 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2006123670A (ja) 2004-10-28 2006-05-18 Aisin Seiki Co Ltd 移動体周辺監視装置
KR20090109437A (ko) * 2008-04-15 2009-10-20 주식회사 만도 차량주행중 영상정합 방법 및 그 시스템
KR101097063B1 (ko) 2010-12-30 2011-12-22 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101868549B1 (ko) * 2015-12-24 2018-06-19 전자부품연구원 어라운드뷰 생성방법과 이를 수행하는 장치
KR101853652B1 (ko) 2015-12-29 2018-05-03 전자부품연구원 어라운드뷰 생성 방법 및 이를 수행하는 장치
WO2018030651A1 (ko) * 2016-08-09 2018-02-15 삼성전자 주식회사 카메라를 구비한 무인 비행체 및 무인 비행체의 영상 처리 방법
KR20180017537A (ko) * 2016-08-09 2018-02-21 삼성전자주식회사 카메라를 구비한 무인 비행체
US11254427B2 (en) 2016-08-09 2022-02-22 Samsung Electronics Co., Ltd. Unmanned aerial vehicle having camera, and method for unmanned aerial vehicle to process image
KR102548228B1 (ko) * 2016-08-09 2023-06-28 삼성전자주식회사 카메라를 구비한 무인 비행체
CN113808013A (zh) * 2020-06-17 2021-12-17 威达斯高级驾驶辅助设备有限公司 生成鸟瞰视点图像的方法及装置
KR20210156360A (ko) * 2020-06-17 2021-12-27 ㈜베이다스 조감 시점 영상을 생성하는 방법 및 장치
KR102366944B1 (ko) * 2020-06-17 2022-02-28 (주)베이다스 조감 시점 영상을 생성하는 방법 및 장치

Similar Documents

Publication Publication Date Title
JP6937443B2 (ja) 撮像装置及び撮像装置の制御方法
US7554461B2 (en) Recording medium, parking support apparatus and parking support screen
CN108139807B (zh) 具有头戴式显示器hmd设备的系统及在该系统中的方法
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
US20110063444A1 (en) Vehicle surroundings monitoring device and vehicle surroundings monitoring method
US20110175752A1 (en) Methods and Apparatuses for Informing an Occupant of a Vehicle of Surroundings of the Vehicle
JP3663801B2 (ja) 車両後方視界支援装置
KR101378337B1 (ko) 카메라의 영상 처리 장치 및 방법
KR20160046480A (ko) 차량 외부 영상 출력 제어 장치 및 방법
US20220277496A1 (en) Park Assistance System for a Motor Vehicle
JP2008048094A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2011155651A (ja) 車両周辺画像表示装置および車両周辺画像表示方法
KR20220052172A (ko) 서라운드뷰 모니터링 시스템 및 그 제공 방법
JPWO2018180856A1 (ja) ヘッドアップディスプレイ装置
KR20170142363A (ko) 차량 운전 보조 장치 및 방법
JP2017212633A (ja) 撮像装置、撮像表示方法および撮像表示プログラム
KR101633501B1 (ko) 사이드 간격 정보를 제공하는 avm 시스템 및 방법
KR20170020666A (ko) Avm 시스템 및 사각지대 영상 합성 방법
JP6861840B2 (ja) 表示制御装置および表示制御方法
JP2012004693A (ja) 運転支援装置
JP7301476B2 (ja) 画像処理装置
CN118822847A (zh) 基于数字摄像头的超分辨率图像处理方法及装置
KR101949961B1 (ko) 운전 보조 장치 및 방법
JP2016131362A (ja) 表示制御装置、投影装置、表示制御方法、表示制御プログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170306

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 7