Nothing Special   »   [go: up one dir, main page]

KR20160146567A - 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치 - Google Patents

가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치 Download PDF

Info

Publication number
KR20160146567A
KR20160146567A KR1020160072323A KR20160072323A KR20160146567A KR 20160146567 A KR20160146567 A KR 20160146567A KR 1020160072323 A KR1020160072323 A KR 1020160072323A KR 20160072323 A KR20160072323 A KR 20160072323A KR 20160146567 A KR20160146567 A KR 20160146567A
Authority
KR
South Korea
Prior art keywords
dimensional
coordinate
image
matrix
fixed area
Prior art date
Application number
KR1020160072323A
Other languages
English (en)
Inventor
신동한
Original Assignee
신동한
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 신동한 filed Critical 신동한
Publication of KR20160146567A publication Critical patent/KR20160146567A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체를 검출하는 방법 및 장치에 관한 것으로서, 상세하게는 일정 영역에서 가변적으로 빠르게 움직이는 객체에 대한 3차원 좌표정보를 산출할 수 있는 객체 검출 방법 및 장치에 관한 것이다. 이를 위하여, 본 발명에 따른 객체 검출 방법은 카메라를 이용하여 움직이지 않는 고정영역에서 가변적으로 빠르게 움직이는 객체를 검출하는 방법에 있어서, 상기 고정영역에서 가변적으로 빠르게 움직이는 객체를 카메라로 촬영하여 획득한 현재 영상 프레임에서 고정영역과 배경을 분리하여 고정영역 영상을 추출하는 고정영역 추출 단계와, 상기 추출한 고정영역 영상에서 고정영역과 객체를 분리하여 객체 영상을 추출하고, 상기 추출한 객체 영상으로부터 객체의 위치에 대응하는 2차원 영상좌표(객체 위치좌표)를 획득하는 객체 2차원 좌표 획득 단계와, 상기 추출한 고정영역 영상으로부터 고정영역의 3차원 월드좌표를 획득하는 고정영역 3차원 좌표 획득 단계와, 상기 고정영역 3차원 좌표 획득 단계에서 얻은 Z좌표와 상기 객체 2차원 좌표 획득 단계에서 얻은 X좌표 및 Y좌표를 결합하여 상기 가변적으로 빠르게 움직이는 객체의 3차원 월드좌표를 획득하는 객체 3차원 좌표 획득 단계를 포함한다.

Description

가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치 {Method and device for detecting variable and fast moving object}
본 발명은 객체를 검출하는 방법 및 장치에 관한 것으로서, 상세하게는 일정 영역에서 가변적으로 빠르게 움직이는 객체에 대한 3차원 좌표정보를 산출할 수 있는 객체 검출 방법 및 장치에 관한 것이다.
증강현실(AR: Augmented Reality)은 실사화면에 3차원 가상 물체(이미지)를 중첩하여 보여주는 기술을 말한다. 증강현실을 구현하기 위해서는 실사화면에서 가상 이미지가 중첩되는 부분의 객체를 정확히 인식하여 검출하는 과정이 필요하다.
객체 검출은 객체의 3차원 좌표(월드좌표)를 구하는 것인데 구체적으로는 카메라로 촬영한 영상으로부터 월드좌표계에서 객체의 3차원 좌표를 구하는 것이다. 이러한 객체의 3차원 좌표는 객체(타겟)의 형태(외곽선)가 정확히 검출되고 그 검출된 형태가 일정하게 유지되어야 구할 수 있다.
따라서 정지된 객체나 천천히 움직이는 객체에 대해서는 그 객체의 형태가 지속적으로 인식될 수 있어서 3차원 좌표를 구하기 쉬우나, 가변적으로 빠르게 움직이는 객체에 대해서는 그 객체의 형태를 지속적으로 인식할 수 없어서 3차원 좌표를 구하기는 어렵다.
물론 고가의 고정밀도 카메라를 사용하여 빠르게 움직이는 객체의 형태를 인식할 수도 있으나, 현재의 증강현실은 퍼스널컴퓨터나 스마트폰과 같이 소형 또는 휴대기기에서 구현되고 있어서 증강현실에 사용되는 카메라도 PC 캠이나 일반 보급형 소형 카메라 센서에 불과하여 객체 검출은 정지된 객체 또는 천천히 움직이는 객체에 대해서만 가능한 실정이다.
공개특허 10-2010-0124571
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 가변적으로 빠르게 움직이는 객체를 정확히 검출할 수 있는 객체 검출 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 일반 카메라를 사용함으로써 가변적으로 빠르게 움직이는 객체의 형태를 지속적으로 인식하지 못하더라도 그 객체의 3차원 좌표를 정확히 구할 수 있는 객체 검출 방법 및 장치를 제공하는 것이다.
이를 위하여, 본 발명에 따른 객체 검출 방법은 카메라를 이용하여 움직이지 않는 고정영역에서 가변적으로 빠르게 움직이는 객체를 검출하는 방법에 있어서, 상기 고정영역에서 가변적으로 빠르게 움직이는 객체를 카메라로 촬영하여 획득한 현재 영상 프레임에서 고정영역과 배경을 분리하여 고정영역 영상을 추출하는 고정영역 추출 단계와, 상기 추출한 고정영역 영상에서 고정영역과 객체를 분리하여 객체 영상을 추출하고, 상기 추출한 객체 영상으로부터 객체의 위치에 대응하는 2차원 영상좌표(객체 위치좌표)를 획득하는 객체 2차원 좌표 획득 단계와, 상기 추출한 고정영역 영상으로부터 고정영역의 3차원 월드좌표를 획득하는 고정영역 3차원 좌표 획득 단계와, 상기 고정영역 3차원 좌표 획득 단계에서 얻은 Z좌표와 상기 객체 2차원 좌표 획득 단계에서 얻은 X좌표 및 Y좌표를 결합하여 상기 가변적으로 빠르게 움직이는 객체의 3차원 월드좌표를 획득하는 객체 3차원 좌표 획득 단계를 포함한다.
본 발명에 따른 객체 검출 장치는 카메라를 이용하여 움직이지 않는 고정영역에서 가변적으로 빠르게 움직이는 객체를 검출하는 장치에 있어서, 상기 카메라로부터 입력받은 현재 영상 프레임에서 고정영역과 배경을 분리하여 고정영역 영상을 추출하는 고정영역 추출부와, 상기 추출한 고정영역 영상에서 고정영역과 객체를 분리하여 객체 영상을 추출하고 상기 추출한 객체 영상으로부터 객체의 위치에 대응하는 2차원 영상좌표(객체 위치좌표)를 획득하는 객체 추출부와, 상기 추출한 고정영역 영상으로부터 상기 고정영역의 위치에 대응하는 2차원 영상좌표(고정영역 위치좌표) 및 상기 고정영역의 마커에 대응하는 2차원 영상좌표(마커 위치좌표)를 획득 고정영역 2차원 좌표 획득부와, 상기 마커 위치좌표와 상기 마커 위치좌표에 대응하는 3차원 월드좌표의 매칭 쌍으로부터 산출된 3차원 변환 행렬을 이용하여 고정영역의 3차원 월드좌표를 획득하고, 상기 고정영역의 3차원 월드좌표에서의 Z 좌표와 상기 객체 위치좌표에서의 X 좌표 및 Y 좌표를 결합하여 상기 가변적으로 빠르게 움직이는 객체의 3차원 월드좌표를 획득하는 3차원 좌표 획득부를 포함한다.
상술한 바와 같이, 본 발명에 따르면 일반 카메라를 사용하더라도 가변적으로 빠르게 움직이는 객체의 3차원 좌표를 정확히 구할 수 있는 효과가 있다.
즉, 일반 카메라로 촬영된 영상에서는 가변적으로 빠르게 움직이는 객체의 형태를 정확히 검출할 수 없고 검출하더라도 그 형태를 계속하여 인식할 수 없기 때문에 객체의 3차원 좌표를 구할 수 없으나, 본 발명은 촬영된 영상에서 빠르게 움직이는 객체로부터 2차원 좌표를 얻고 움직이지 않는 영역으로부터 3차원 좌표를 얻어 객체의 2차원 좌표와 움직이지 않는 영역의 Z좌표의 결합을 통해 가변적으로 빠르게 움직이는 객체의 3차원 좌표를 구할 수 있다.
도 1은 본 발명에 따라 객체가 검출되는 대상물을 나타낸 도면.
도 2는 본 발명에 따른 객체 검출 장치의 내부 구성도.
도 3은 본 발명에 따른 객체 검출 방법의 순서도.
도 4는 본 발명에 따른 고정영역의 3차원 좌표 획득 과정을 나타낸 순서도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1은 본 발명의 실시예에 따라 객체가 검출되는 대상물을 나타낸 것이다.
도 1에 도시된 바와 같이, 객체가 검출되는 대상물은 고정된 고정영역(1)과 고정영역(1) 내를 움직이는 객체(2)로 이루어져 있다.
본 발명의 실시예에서 고정영역(1)은 경기장 형태를 가지며 객체(2)는 팽이 형태를 가진다. 경기장(1)은 고정되어 있으며, 한 개 이상의 팽이(2)가 회전하면서 경기장(1) 안을 빠르게 이동한다.
본 발명의 실시예에서는 경기장(1)에서 회전하면서 빠르게 움직이는 팽이(2)를 예로 들고 있으나, 이에 한정되는 것은 아니며 다양한 형태의 고정영역(1)과 객체(2)가 가능할 수 있다.
이와 같이 본 발명에 따르면, 카메라(미도시)가 경기장(1) 안에서 회전하면서 빠르게 움직이는 팽이의 모습을 촬영하면, 객체 검출 장치가 카메라에 의해 촬영된 실사 화면에서 가변적으로 빠르게 움직이는 팽이(2)의 3차원 좌표를 검출하고, 검출된 팽이의 3차원 좌표에 해당하는 부분에 가상 이미지가 중첩 표시됨으로써 증강현실이 구현된다.
이처럼 카메라에 의해 촬영된 영상에서 팽이와 같이 가변적으로 빠르게 움직이는 객체의 3차원 좌표가 어떻게 산출될 수 있는지 도 2 및 3을 참조하여 상세히 설명한다.
도 2는 본 발명에 따른 객체 검출 장치의 내부 구성을 나타낸 것이다.
도 2에 도시된 바와 같이, 객체 검출 장치는 고정영역 추출부(10), 객체 추출부(20), 고정영역 2차원 좌표 획득부(30), 3차원 좌표 획득부(40), 이미지 합성부(50) 등을 포함한다.
객체 검출 장치는 퍼스널 컴퓨터(PC)를 비롯하여 스마트폰, 태블릿 PC, 노트북 등의 단말장치로 구현되거나 증강현실 전용 단말기로도 구현될 수 있다. 또한 객체 검출 장치를 구성하는 각 요소는 모두 소프트웨어로 구현되거나 일부는 소프트웨어 일부는 하드웨어로 구현될 수 있다. 본 발명에 따른 객체 검출 장치는 고속 카메라가 아닌 일반 카메라를 구비한다. 일반 카메라는 초당 30프레임 정도의 프레임 속도를 가지며 주변 조도 환경에 따라 초당 프레임은 더 낮아질 수 있다.
고정영역 추출부(10)는 일반 카메라로부터 입력받은 현재의 영상 프레임에서 배경을 분리하여 고정영역 영상을 추출한다. 즉, 고정영역 추출부(10)는 기 설정된 고정영역의 모양 및 크기에 근거하여 영상 프레임에서 고정영역 외의 배경 부분을 버림으로써 고정영역 영상을 추출한다.
즉, 카메라로부터 입력받은 RGB 영상을 2진화시킨 후 경기장의 특성을 나타내는 영역을 경기장으로 인식하여 고정영역 영상을 추출한다. 경기장의 특성을 나타내는 영역이란 사전에 설정된 경기장의 모양 및 크기를 나타내는 부분을 말한다. 경기장은 이미 만들어져 있는 제품이므로 그 모양과 크기를 설정해 놓을 수 있다.
객체 추출부(20)는 고정영역 추출부(10)에서 추출된 고정영역 영상에서 고정영역과 객체를 분리하여 객체 영상을 추출한다. 즉, 객체 추출부(20)는 기 설정된 객체의 모양 및 크기에 근거하여 고정영역 영상에서 객체 외의 나머지 부분을 버림으로써 객체 영상을 추출한다.
마찬가지로 추출된 고정영역 영상을 2진화시킨 후 객체의 특성을 나타내는 영역을 객체로 인식하여 객체 영상을 추출한다. 객체의 특성을 나타내는 영역이란 사전에 설정된 팽이의 모양 및 크기를 나타내는 부분을 말한다. 팽이는 이미 만들어져 있는 제품이므로 그 모양과 크기를 설정해 놓을 수 있다.
구체적으로 객체 추출부(20)는 객체추출모듈(22), 객체비교모듈(24), 객체추적모듈(26) 등을 포함하여 고정영역 영상에서 객체를 추출하고 그 객체의 이동을 추적(트래킹)하면서 객체의 2차원 영상좌표(객체 위치좌표)를 획득한다.
객체추출모듈(22)은 고정영역 추출부(10)로부터 추출된 고정영역 영상을 입력받고 그 추출된 고정영역 영상에서 기 설정된 객체의 모양 및 크기로부터 객체 영상을 추출한다.
객체비교모듈(24)은 객체추출모듈(22)에서 추출한 객체 영상으로부터 객체의 위치 및 색상 히스토그램을 구하고 이를 이전 영상 프레임에서 추출한 객체 영상의 위치 및 색상 히스토그램과 비교한다.
객체추적모듈(26)은 현재 영상 프레임과 이전 영상 프레임의 객체 영상의 위치 및 색상 히스토그램이 상호 유사하면 동일한 객체가 이동한 것으로 인식하고, 그 객체 영상의 위치 또는 색상 히스토그램이 상호 다르면 새로운 객체가 출현한 것으로 인식하여 객체의 이동을 추적하면서 객체의 위치에 대응하는 2차원 영상좌표(객체 위치좌표)를 획득한다.
고정영역 2차원 좌표 획득부(30)는 고정영역 추출부(10)에서 추출된 고정영역 영상으로부터 고정영역의 위치에 대응하는 2차원 영상좌표(고정영역 위치좌표)를 획득하는 동시에 고정영역(1)에 부착된 마커(3)를 인식하여 마커에 대응하는 2차원 영상좌표(마커 위치좌표)를 획득한다. 여기서, 마커 위치좌표는 고정영역 위치좌표의 하나로서 고정영역 위치좌표에 포함될 수 있으나, 설명의 편의를 위해 구분하여 나타낸다. 즉, 고정영역 2차원 좌표 획득부(30)는 고정영역 영상으로부터 고정영역 위치좌표 및 마커 위치좌표를 획득한다.
3차원 좌표 획득부(40)는 고정영역 2차원 좌표 획득부(30)로부터 입력받은 고정영역 위치좌표, 마커 위치좌표 및 객체 추출부(20)로부터 입력받은 객체 위치좌표를 이용하여 객체의 3차원 좌표를 획득한다. 즉, 3차원 좌표 획득부(40)는 고정영역 위치좌표를 3차원 변환 행렬을 이용하여 고정영역의 3차원 월드좌표를 획득하고, 고정영역의 3차원 월드좌표에서의 Z 좌표와 객체 위치좌표에서의 X 좌표 및 Y 좌표를 결합하여 가변적으로 빠르게 움직이는 객체의 3차원 월드좌표를 획득한다.
구체적으로 3차원 좌표 획득부(40)는 3차원 변환 행렬 산출 모듈(42), 고정영역 3차원 좌표 변환 모듈(44), 객체 3차원 좌표 산출 모듈(46) 등을 포함한다.
3차원 변환 행렬 산출 모듈(42)은 카메라의 내부 파라미터(intrinsic parameter) 및 외부 파라미터(extrinsic parameter)를 이용하여 3차원 변환 행렬을 산출한다. 3차원 변환 행렬은 카메라 행렬(camera matrix)과 회전/평행이동 행렬의 행렬 곱으로 구성되어, 카메라 행렬은 내부 파라미터를 이용하여 구하고 회전/평행이동 행렬은 외부 파라미터를 이용하여 구한다.
카메라의 내부 파라미터는 카메라 자체의 내부 값으로서 초점거리(focal length), 주점(principal point) 등이 있다. 카메라의 내부 파라미터는 일반적으로 주어진 값이거나 캘리브레이션 툴(calibration tool)을 이용하여 구할 수 있다.
카메라의 외부 파라미터는 카메라 영상좌표계와 월드 좌표계 사이의 변환 관계를 설명하는 파라미터로서 두 좌표계 사이의 회전(rotation) 및 평행이동(translation) 변환으로 표현될 수 있다. 즉, 카메라의 외부 파라미터는 카메라의 위치 및 자세를 의미하며 회전/평행이동 행렬로 정의된다.
3차원 변환 행렬 산출 모듈(42)은 두 가지 방식으로 회전/평행이동 행렬을 구할 수 있다.
첫 번째, 고정영역 2차원 좌표 획득부(30)를 통해 얻은 고정영역 마커의 2차원 영상좌표(마커 위치좌표)와 마커의 위치좌표에 대응하는 3차원 월드좌표의 매칭 쌍을 이용하여 외부 파라미터를 구할 수 있다.
두 번째, 회전 행렬은 카메라의 틸트(tilt)/롤(roll)/팬(pan) 각도를 이용하여 구하고, 평행이동 행렬은 상기 매칭 쌍(고정영역의 마커 위치좌표와 마커 위치좌표에 대응하는 3차원 월드좌표의 매칭 쌍)을 이용하여 구하되 Z좌표를 0으로 놓고 구할 수 있다. 이와 같이 카메라의 기울기 정보를 이용하여 외부 파라미터를 계산하는 경우, 구해야 하는 미지수의 개수가 첫 번째 방식보다 적어 연산량을 줄일 수 있다. 두 번째 방식의 경우, 일반 PC용 웹 캠 등에서는 기울기 정보를 알 수 없으므로 휴대폰 등의 모바일 디바이스 카메라에 한정하여 적용될 수 있다.
고정영역 3차원 좌표 변환 모듈(44)은 고정영역 2차원 좌표 획득부(30)로부터 입력된 고정영역 위치좌표를 3차원 변환 행렬 산출 모듈(42)에서 계산한 3차원 변환 행렬을 이용하여 3차원 월드좌표로 변환한다.
객체 3차원 좌표 산출 모듈(46)은 고정영역 3차원 좌표 변환 모듈(44)로부터 입력된 Z좌표와 객체 추출부(20)로부터 입력된 객체의 X좌표 및 Y좌표를 결합하여 가변적으로 빠르게 움직이는 객체의 3차원 월드좌표를 산출한다.
이미지 합성부(50)는 현재 영상 프레임에서 객체의 3차원 월드좌표에 해당하는 부분에 가상 이미지를 중첩하여 표시한다. 즉, 이미지 합성부(50)는 3차원 좌표 획득부(40)로부터 객체의 3차원 월드좌표정보를 입력받고 메모리(미도시)로부터 객체에 대응하는 가상 이미지를 읽어 들여 3차원 월드좌표에 해당하는 부분에 가상 이미지를 중첩(superimpose)함으로써 증강현실을 구현한다.
도 3은 본 발명에 따른 객체 검출 방법의 순서도를 나타낸 것이다.
도 3에 도시된 객체 검출 과정은 카메라가 구비되며 증강현실 서비스가 구현된 퍼스널컴퓨터(PC), 스마트폰, 태블릿 PC, 노트북 등의 단말장치에서 처리될 수 있다. 구체적으로 이러한 객체 검출 과정은 단말장치의 마이크로프로세서가 객체 검출 소프트웨어를 실행하여 모두 소프트웨어적으로 처리되거나, 일부 과정은 마이크로프로세서의 소프트웨어 실행에 의해 처리되고 일부 과정은 전용 칩 등의 하드웨어에 의해 처리될 수 있다.
도 3을 참조하면, 먼저 카메라가 고정영역에서 가변적으로 빠르게 움직이는 객체를 촬영하면 매 프레임마다(예를 들어, 초당 30 프레임) 영상이 생성된다. 그러면 카메라로부터 획득한 현재 영상 프레임에서 기 설정된 고정영역의 모양 및 크기에 따라 고정영역과 배경을 분리하여 고정영역 영상을 추출한다(S10).
다음, 추출한 고정영역 영상에서 기 설정된 객체의 모양 및 크기에 따라 고정영역과 객체를 분리하여 객체 영상을 추출한다(S20).
고정영역 영상에서 객체 영상이 추출되면 객체 영상으로부터 객체의 2차원 좌표를 획득한다(S30). 객체의 2차원 좌표는 객체의 위치에 대응하는 2차원 영상좌표 즉, 객체 위치좌표를 말한다. 2차원 영상좌표는 카메라 영상좌표계에 투영되는 객체 영상으로부터 얻을 수 있는데, 객체 영상 추출, 추출한 객체 영상 비교 및 추적 과정을 통해 최종 획득하게 된다.
그리고 기 추출한 고정영역 영상으로부터 고정영역의 3차원 좌표를 획득한다(S40). 고정영역의 3차원 좌표는 월드좌표계에서의 3차원 좌표 즉, 월드좌표로서 이를 획득하는 과정은 도 4를 참조하여 구체적으로 설명한다.
먼저, 기 추출한 고정영역 영상으로부터 고정영역의 2차원 좌표 및 고정영역 마커의 2차원 좌표를 획득한다(S100). 고정영역의 2차원 좌표는 고정영역의 위치에 대응하는 2차원 영상좌표 즉, 고정영역 위치좌표이고, 고정영역 마커의 2차원 좌표는 고정영역에 부착된 마커에 대응하는 2차원 영상좌표 즉, 마커 위치좌표이다.
다음, 3차원 변환 행렬을 산출한다(S102). 3차원 변환 행렬은 수학식 1로 표현된다.
Figure pat00001
여기서, s는 상수로서 스케일(scale), A는 카메라 행렬, [R|t]는 회전/평행이동 행렬, (x, y)은 2차원 좌표, (X, Y, Z)는 3차원 좌표이다. 3차원 변환 행렬에서 스케일(s)이란 영상좌표계와 월드좌표계 간 좌표 크기의 축척(비율)을 말한다.
카메라 행렬(A)은 주어진 내부 파라미터를 이용하여 구할 수 있다. 내부 파라미터는 초점거리(fx, fy) 및 주점(cx, cy)을 포함한다.
회전/평행이동 행렬(R|t)은 외부 파라미터를 이용하여 두 가지 방법으로 구할 수 있다. 외부 파라미터는 각 축에 대한 회전(Rx, Ry, Rz) 및 평행이동(tx, ty, tz)을 포함한다.
방법 1
카메라 영상 좌표계의 2차원 좌표와 월드 좌표계의 3차원 좌표를 매칭시키고 RANSAC/LMEDS 알고리즘을 이용하여 회전/평행이동 행렬을 구한다. 즉, 샘플로 뽑은 매칭 쌍(마커 위치좌표와 마커 위치좌표에 대응하는 3차원 월드좌표 쌍)을 수학식 1에 적용하여 회전/평행이동 행렬을 구한다. 회전/평행이동 행렬을 구하기 위해 필요한 매칭 쌍은 다음과 같이 얻을 수 있다.
즉, 고정영역인 경기장의 모서리 부분에 마커(3)를 부착하고(도 1 참조) 마커의 월드좌표를 설정하면 된다. 그리고 카메라로 경기장의 영상을 획득했을 때 마커에 대한 영상좌표 즉, 마커 위치좌표를 구한 후, 마커에 대응하여 설정한 월드좌표와 마커 위치좌표의 매칭 쌍을 수학식 1에 넣으면 회전/평행이동 행렬을 구할 수 있다. 이것은 카메라의 위치 및 자세 정보를 획득하는 것과 동일하다.
방법 2
회전 행렬(R)은 카메라의 틸트/롤/팬 각도를 이용하여 구하고, 평행이동 행렬(t)은 카메라 영상 좌표계의 2차원 좌표와 월드 좌표계의 3차원 좌표를 매칭시켜 구하되 매칭 쌍의 Z좌표를 0으로 놓고 즉, tz=0으로 설정하여 구한다. 이는 경기장에 부착된 마커의 월드좌표에서 z축을 0으로 놓고 계산하면 된다.
이처럼 tz를 0으로 놓고 계산할 때, 고정영역에서 움직이는 객체가 월드 좌표계의 Z축에서 항상 0인 지점에 존재하며 이동한다는 가정을 전제로 한다.
회전 행렬(R)은 수학식 2와 같으며, 카메라의 틸트/롤/팬 각도를 이용하여 각 축의 회전 행렬(Rx, Ry, Rz)을 구한 다음, 각 축의 회전 행렬을 곱하여 최종적인 회전 행렬을 산출한다.
Figure pat00002
여기서, Rx, Ry, Rz은 각각 x축에 대한 회전(tilt), y축에 대한 회전(roll), z축에 대한 회전(pan)으로서, 수학식 3 내지 5와 같이 표현된다.
Figure pat00003
Figure pat00004
Figure pat00005
이와 같이, 방법 1 또는 2를 이용하여 3차원 변환 행렬이 산출되면, 상기 수학식 1에 고정영역의 2차원 영상좌표(고정영역 위치좌표)를 대입하여 고정영역의 3차원 좌표를 획득한다(S104).
상술한 바와 같이, 객체의 2차원 좌표(위치좌표) 및 고정영역의 3차원 좌표가 구해지면 마지막으로 객체의 3차원 좌표를 획득한다(S50). 즉, 객체의 위치에 대응하는 2차원 영상좌표의 X좌표 및 Y좌표와 고정영역의 3차원 월드좌표의 Z좌표를 결합하여 객체의 3차원 월드좌표를 구할 수 있다.
객체의 3차원 월드좌표가 구해지면 현재 영상 프레임에서 객체의 3차원 월드좌표에 해당하는 부분에 가상 이미지를 중첩 표시하는 이미지 합성 과정을 통해 실감 있는 증강현실을 구현할 수 있다.
이와 같이 3차원 변환 행렬을 구하기 위해서는 객체의 마커나 특징점의 월드좌표와 영상좌표 매칭이 필요하며 반드시 마커나 특징점의 영상좌표를 검출해야 한다. 그런데 객체가 가변적으로 빠르게 움직이게 되면 일반 카메라로는 마커나 특징점의 영상좌표를 검출할 수 없다. 왜냐하면, 마커의 경우 객체가 빠르게 움직이면 마커의 모양이 사라지게 되고, 특징점의 경우 꼭짓점이나 외곽선이 정확하게 검출되지 않고 그 형태가 검출되더라도 일정한 형태를 유지하고 있지 않기 때문이다.
이러한 이유로 가변적으로 빠르게 움직이는 객체는 월드좌표와 영상좌표 매칭을 할 수 없으며 이에 따라 실시간으로 3차원 변환행렬을 구할 수 없어서 3차원 좌표정보를 얻을 수 없다.
그러나 본 발명에 따른 방법에 의하면, 가변적으로 빠르게 움직이는 객체가 고정영역에서 이동하는 환경 하에서, 카메라로 객체를 촬영할 때 가변적으로 빠르게 움직이는 객체의 영상이 뭉개져 객체 영상에서는 매칭 쌍의 영상좌표는 검출할 수 없더라도 객체의 위치에 대응하는 2차원 영상좌표는 구할 수 있다는 것과 고정영역이 고정되어 있어서 고정영역의 3차원 월드좌표를 구할 수 있다는 것으로부터 객체의 2차원 영상좌표 (x, y) 좌표와 고정영역의 3차원 월드좌표에서의 z 좌표를 결합하여 가변적으로 빠르게 움직이는 객체의 3차원 좌표정보를 구할 수 있게 된다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.
따라서 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
1: 고정영역 2: 객체
10: 고정영역 추출부 20: 객체 추출부
22: 객체추출모듈 24: 객체비교모듈
26: 객체추적모듈 30: 고정영역 2차원 좌표 획득부
40: 3차원 좌표 획득부 42: 3차원 변환행렬 산출모듈
44: 고정영역 3차원 좌표 변환모듈 46: 객체 3차원 좌표 산출모듈
50: 이미지 합성부

Claims (11)

  1. 카메라를 이용하여 움직이지 않는 고정영역에서 가변적으로 빠르게 움직이는 객체를 검출하는 방법에 있어서,
    상기 고정영역에서 가변적으로 빠르게 움직이는 객체를 카메라로 촬영하여 획득한 현재 영상 프레임에서 고정영역과 배경을 분리하여 고정영역 영상을 추출하는 고정영역 추출 단계와,
    상기 추출한 고정영역 영상에서 고정영역과 객체를 분리하여 객체 영상을 추출하고, 상기 추출한 객체 영상으로부터 객체의 위치에 대응하는 2차원 영상좌표(객체 위치좌표)를 획득하는 객체 2차원 좌표 획득 단계와,
    상기 추출한 고정영역 영상으로부터 고정영역의 3차원 월드좌표를 획득하는 고정영역 3차원 좌표 획득 단계와,
    상기 고정영역 3차원 좌표 획득 단계에서 얻은 Z좌표와 상기 객체 2차원 좌표 획득 단계에서 얻은 X좌표 및 Y좌표를 결합하여 상기 가변적으로 빠르게 움직이는 객체의 3차원 월드좌표를 획득하는 객체 3차원 좌표 획득 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 고정영역 3차원 좌표 획득 단계는 상기 추출한 고정영역 영상으로부터 상기 고정영역의 위치에 대응하는 2차원 영상좌표(고정영역 위치좌표) 및 상기 고정영역의 마커에 대응하는 2차원 영상좌표(마커 위치좌표)를 획득하는 과정과,
    카메라의 내부 파라미터 및 외부 파라미터를 이용하여 3차원 변환 행렬을 산출하는 과정과,
    상기 3차원 변환 행렬을 이용하여 상기 고정영역 위치좌표를 3차원 월드좌표로 변환하는 과정을 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 3차원 변환 행렬을 산출하는 과정에서 3차원 변환 행렬은 카메라 행렬과 회전/평행이동 행렬의 행렬 곱으로 구성되어,
    상기 카메라 행렬은 내부 파라미터를 이용하여 구하고 상기 회전/평행이동 행렬은 외부 파라미터를 이용하여 구하되,
    상기 회전 행렬은 카메라의 틸트(tilt)/롤(roll)/팬(pan) 각도를 이용하여 구하고, 상기 평행이동 행렬은 기 설정된 매칭 쌍(상기 마커 위치좌표와 상기 마커 위치좌표에 대응하는 3차원 월드좌표의 매칭 쌍)을 이용하여 구하되 Z 좌표를 0으로 놓고 구하는 것을 특징으로 하는 방법.
  4. 제2항에 있어서,
    상기 3차원 변환 행렬을 산출하는 과정에서 3차원 변환 행렬은 카메라 행렬과 회전/평행이동 행렬의 행렬 곱으로 구성되어,
    상기 카메라 행렬은 내부 파라미터를 이용하여 구하고 상기 회전/평행이동 행렬은 외부 파라미터를 이용하여 구하되,
    상기 회전/평형이동 행렬은 기 설정된 매칭 쌍(상기 마커 위치좌표와 상기 마커 위치좌표에 대응하는 3차원 월드좌표의 매칭 쌍)을 이용하여 구하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 현재 영상 프레임에서 상기 객체의 3차원 월드좌표에 해당하는 부분에 가상 이미지를 중첩하여 표시하는 이미지 합성 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 카메라를 이용하여 움직이지 않는 고정영역에서 가변적으로 빠르게 움직이는 객체를 검출하는 장치에 있어서,
    상기 카메라로부터 입력받은 현재 영상 프레임에서 고정영역과 배경을 분리하여 고정영역 영상을 추출하는 고정영역 추출부와,
    상기 추출한 고정영역 영상에서 고정영역과 객체를 분리하여 객체 영상을 추출하고 상기 추출한 객체 영상으로부터 객체의 위치에 대응하는 2차원 영상좌표(객체 위치좌표)를 획득하는 객체 추출부와,
    상기 추출한 고정영역 영상으로부터 상기 고정영역의 위치에 대응하는 2차원 영상좌표(고정영역 위치좌표) 및 상기 고정영역의 마커에 대응하는 2차원 영상좌표(마커 위치좌표)를 획득하는 고정영역 2차원 좌표 획득부와,
    상기 마커 위치좌표와 상기 마커 위치좌표에 대응하는 3차원 월드좌표의 매칭 쌍으로부터 산출된 3차원 변환 행렬을 이용하여 고정영역의 3차원 월드좌표를 획득하고, 상기 고정영역의 3차원 월드좌표에서의 Z 좌표와 상기 객체 위치좌표에서의 X 좌표 및 Y 좌표를 결합하여 상기 가변적으로 빠르게 움직이는 객체의 3차원 월드좌표를 획득하는 3차원 좌표 획득부를 포함하는 장치.
  7. 제6항에 있어서,
    상기 객체 추출부는 상기 추출한 고정영역 영상에서 기 설정된 객체의 모양 및 크기로부터 객체 영상을 추출하는 객체 추출 모듈과,
    상기 추출한 객체 영상으로부터 객체의 위치 및 색상 히스토그램을 구하고 이를 이전 영상 프레임에서 추출한 객체 영상의 위치 및 색상 히스토그램과 비교하는 객체 비교 모듈과,
    현재 영상 프레임과 이전 영상 프레임의 객체 영상의 위치 및 색상 히스토그램이 상호 유사하면 동일한 객체가 이동한 것으로 인식하고, 그 객체 영상의 위치 또는 색상 히스토그램이 상호 다르면 새로운 객체가 출현한 것으로 인식하여 객체의 이동을 추적하면서 객체의 위치에 대응하는 2차원 영상좌표(객체 위치좌표)를 획득하는 객체 추적 모듈을 포함하는 장치.
  8. 제6항에 있어서,
    상기 3차원 좌표 획득부는 카메라의 내부 파라미터 및 외부 파라미터를 이용하여 3차원 변환 행렬을 산출하는 3차원 변환 행렬 산출 모듈과,
    상기 고정영역 2차원 좌표 획득부로부터 입력된 상기 고정영역 위치좌표를 상기 3차원 변환 행렬을 통해 3차원 월드좌표로 변환하는 고정영역 3차원 좌표 변환 모듈과,
    상기 고정영역 3차원 좌표 변환 모듈로부터 입력된 Z 좌표와 상기 객체 추출부로부터 입력된 상기 객체의 X 좌표 및 Y 좌표를 결합하여 상기 가변적으로 빠르게 움직이는 객체의 3차원 월드좌표를 산출하는 객체 3차원 좌표 산출 모듈을 포함하는 것을 특징으로 하는 장치.
  9. 제8항에 있어서,
    상기 3차원 변환 행렬은 카메라 행렬과 회전/평행이동 행렬의 행렬 곱으로 구성되어, 상기 3차원 변환 행렬 산출 모듈은 내부 파라미터를 이용하여 카메라 행렬을 구하고 외부 파라미터를 이용하여 회전/평행이동 행렬을 구하는 것으로,
    상기 회전 행렬은 카메라의 틸트(tilt)/롤(roll)/팬(pan) 각도를 이용하여 구하고, 상기 평행이동 행렬은 기설정된 매칭 쌍(상기 마커 위치좌표와 상기 마커 위치좌표에 대응하는 3차원 월드좌표의 매칭 쌍)을 이용하여 구하되 Z 좌표를 0으로 놓고 구하는 것을 특징으로 하는 장치.
  10. 제8항에 있어서,
    상기 3차원 변환 행렬은 카메라 행렬과 회전/평행이동 행렬의 행렬 곱으로 구성되어, 상기 3차원 변환 행렬 산출 모듈은 내부 파라미터를 이용하여 카메라 행렬을 구하고 외부 파라미터를 이용하여 회전/평행이동 행렬을 구하는 것으로,
    상기 회전/평행이동 행렬은 기설정된 매칭 쌍(상기 마커 위치좌표와 상기 마커 위치좌표에 대응하는 3차원 월드좌표의 매칭 쌍)을 이용하여 구하는 것을 특징으로 하는 장치.
  11. 제6항에 있어서,
    상기 현재 프레임 영상에서 상기 객체의 3차원 월드좌표에 해당하는 부분에 가상 이미지를 중첩하여 표시하는 이미지 합성부를 더 포함하는 것을 특징으로 하는 장치.
KR1020160072323A 2015-06-12 2016-06-10 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치 KR20160146567A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150083393 2015-06-12
KR20150083393 2015-06-12

Publications (1)

Publication Number Publication Date
KR20160146567A true KR20160146567A (ko) 2016-12-21

Family

ID=57734696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160072323A KR20160146567A (ko) 2015-06-12 2016-06-10 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20160146567A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029850B1 (ko) * 2019-03-28 2019-10-08 세종대학교 산학협력단 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
KR102041320B1 (ko) * 2019-10-01 2019-11-06 주식회사 아이디어캐슬 정밀 위치 기반의 최적화 3d 지도 제공 시스템
WO2021167365A3 (ko) * 2020-02-21 2021-10-14 삼성전자 주식회사 객체의 움직임을 추적하는 전자 장치 및 방법
CN113923420A (zh) * 2021-11-18 2022-01-11 京东方科技集团股份有限公司 区域调整方法和装置、摄像头和存储介质
WO2022197036A1 (ko) * 2021-03-15 2022-09-22 삼성전자 주식회사 Ar을 이용한 측정 방법 및 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100124571A (ko) 2009-05-19 2010-11-29 한양대학교 산학협력단 증강 현실을 이용한 정보 안내 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100124571A (ko) 2009-05-19 2010-11-29 한양대학교 산학협력단 증강 현실을 이용한 정보 안내 장치 및 그 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029850B1 (ko) * 2019-03-28 2019-10-08 세종대학교 산학협력단 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
KR102041320B1 (ko) * 2019-10-01 2019-11-06 주식회사 아이디어캐슬 정밀 위치 기반의 최적화 3d 지도 제공 시스템
WO2021167365A3 (ko) * 2020-02-21 2021-10-14 삼성전자 주식회사 객체의 움직임을 추적하는 전자 장치 및 방법
WO2022197036A1 (ko) * 2021-03-15 2022-09-22 삼성전자 주식회사 Ar을 이용한 측정 방법 및 전자 장치
CN113923420A (zh) * 2021-11-18 2022-01-11 京东方科技集团股份有限公司 区域调整方法和装置、摄像头和存储介质
CN113923420B (zh) * 2021-11-18 2024-05-28 京东方科技集团股份有限公司 区域调整方法和装置、摄像头和存储介质

Similar Documents

Publication Publication Date Title
US11393173B2 (en) Mobile augmented reality system
US11164001B2 (en) Method, apparatus, and system for automatically annotating a target object in images
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US9576183B2 (en) Fast initialization for monocular visual SLAM
JP4750859B2 (ja) データ処理装置、方法、記録媒体
WO2017041731A1 (en) Markerless multi-user multi-object augmented reality on mobile devices
KR102124617B1 (ko) 이미지 합성 방법 및 그 전자 장치
JP6491517B2 (ja) 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
JP2016218905A (ja) 情報処理装置、情報処理方法、及びプログラム
KR102398478B1 (ko) 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리
KR20160146567A (ko) 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치
WO2020237565A1 (zh) 一种目标追踪方法、装置、可移动平台及存储介质
US20190073796A1 (en) Method and Image Processing System for Determining Parameters of a Camera
CN104156998A (zh) 一种基于图片虚拟内容融合真实场景的实现方法及系统
WO2016025328A1 (en) Systems and methods for depth enhanced and content aware video stabilization
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
US10540809B2 (en) Methods and apparatus for tracking a light source in an environment surrounding a device
CN112073640A (zh) 全景信息采集位姿获取方法及装置、系统
KR101509105B1 (ko) 증강현실 제공 장치 및 그 방법
CN112258435A (zh) 图像处理方法和相关产品
KR101307014B1 (ko) 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application