WO2011149159A1 - 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템 및 그 방법 - Google Patents

Abstract

증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템 및 그 방법이 개시된다. 본 발명의 실시예에 따른 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템은, 객체의 영상으로부터 특징점을 추출하는 특징점 추출부; 추출된 특징점을 기설정된 3차원의 위치정보에 대응하는 참조영상의 특징점과 정합하는 정합부; 및 정합부에 의해 정합된 결과에 기초하여 회전 및 이동정보를 추적하는 회전 및 이동정보 추적부를 포함하는 것을 특징으로 한다.

Description

증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템 및 그 방법

본 발명의 실시예는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템 및 그 방법에 관한 것이다. 보다 상세하게는, 2차원 평면 즉, 동일 평면상의 특징점들의 추적에 한정되지 않고 3차원 객체에 대한 특징점을 추출하여 실시간으로 추적할 수 있는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템 및 그 방법에 관한 것이다.

가상현실은 게임처럼 공간을 새롭게 창조하지만 증강현실은 실사 현실의 기반 위에 가상의 사물을 결합하여 부가적인 정보들을 제공할 수 있다. 이러한 장점 때문에 가상현실과 달리 현실에 다양한 응용이 가능하다. 증강현실을 구현하기 위해서는 카메라 및 센서, 컴퓨터 그래픽, 정합(Registration)기술, 디스플레이 기기 등 요소기술이 필요하다. 이러한 요소기술들은 주변 정보 및 사용자의 시선, 자세, 동작 등을 파악하고, 가상정보를 생성하며, 가상과 현실을 일치시켜 사용자에 전달한다.

실제 영상에 가상물체를 생성하기 위해 가상물체와 실제 영상 간의 매개체가 요구되며, 이러한 매개체를 지속적으로 추적 인식하여 기준이 되는 좌표계를 설정한다. 추적 및 인식을 위해 기계, 자기, 광학 등이 이용되지만 현재 광학이 가장 높은 정밀도를 보인다. 따라서 마커(Marker)를 이용한 광학 트랙킹(Optical tracking)이 주류를 이루고 있다. 광학 기반의 트랙킹 방법은 조명에 영향을 많이 받게 되므로 이를 극복하기 위해서 IR(infrared) 타깃을 사용하는 방법이 사용되기도 한다.

최근에는 번거롭게 마커를 필요로 하지 않고도 트랙킹이 가능한 마커리스 트랙킹(Markerless tracking) 기법이 연구되고 있다. 이는 인공적으로 프린트한 인쇄물로서의 마커가 아니라 현실세계 속에서의 객체들의 특징점을 추출해 이를 트랙킹 한다. 이때 추출되는 특징점이 동일한 평면상에 있는 것이 아니라 3차원 공간상의 객체에 대해 대응해야 한다. 대표적인 예로 PTAM(Parallel Tracking and Mapping for Small AR Workspaces)이 있으며 작은 AR(Augmented Reality) 공간을 생성하여 추적 및 맵핑을 한다.

일반적으로 객체의 한 면 즉 동일 평면에서 특징점을 추출하여 호모그라피(Homography)를 이용하여 객체 면의 회전과 이동을 알아낸다. 따라서 객체는 일정한 평면을 가져야만 하는 문제점이 있다.

본 발명의 실시예는 상기의 문제점을 개선하기 위하여 창안된 것으로서, 동일 평면상에 한정되지 않고 3차원 객체의 특징점을 이용하여 객체의 이동과 회전을 구하고, 사용자가 불편함을 느끼지 않도록 가상정보와 현실정보를 실시간으로 일치시켜 특징점을 추출하며, 추출된 3차원 객체의 특징점을 이용하여 객체를 표현하고 트랙킹하는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템의 일 실시예는, 객체의 영상으로부터 특징점을 추출하는 특징점 추출부; 추출된 특징점을 기설정된 3차원의 위치정보에 대응하는 참조영상의 특징점과 정합하는 정합부; 및 정합부에 의해 정합된 결과에 기초하여 회전 및 이동정보를 추적하는 회전 및 이동정보 추적부를 포함하는 것을 특징으로 한다.

여기서, 특징점 추출부는, SURF(Speed Up Robust Features)를 이용하여 특징점을 추출할 수 있다.

또한, 특징점 추출부는 적분영상과 사각필터를 이용한 근사화된 가우시안 2차 미분 9x9 필터를 이용하여 특징점을 추출할 수 있다.

바람직하게는, 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템은, 특징점 추출부에 의해 추출된 특징점에 기초하여 특징벡터의 표현자를 생성하는 표현자 생성부를 더 포함한다. 이 경우, 정합부는 표현자 생성부에 의해 생성된 표현자를 참조영상의 특징점과 정합한다.

또한, 표현자 생성부는, Haar 웨이블릿 특징에 기초하여 객체의 정규화된 부분영상을 이용하여 4개의 특징벡터를 생성할 수 있다.

바람직하게는, 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템은, 참조영상의 특징점 데이터를 저장하는 참조영상 데이터 저장부를 더 포함한다.

또한, 참조영상 데이터 저장부는, 객체의 정면, 좌우 측면, 상하 측면 중 적어도 하나에 대한 특징점 데이터를 저장할 수 있다.

또한, 회전 및 이동정보 추적부는, POSIT(Pose Object System for Iteration) 알고리즘에 기초하여 회전 및 이동정보를 추적할 수 있다.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템의 다른 실시예는, 객체의 영상으로부터 SURF를 이용하여 특징점을 추출하는 특징점 추출부; 추출된 특징점을 정면, 좌우 측면, 상하 측면 중 적어도 하나의 참조영상의 특징점과 정합하는 정합부; 및 정합부에 의해 정합된 결과에 대해 POSIT 알고리즘에 기초하여 회전 및 이동정보를 추적하는 회전 및 이동정보 추적부를 포함할 수 있다.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 증강현실을 위한 실시간 마커리스 3차원 객체 추적방법의 일 실시예는, 객체의 영상으로부터 특징점을 추출하는 단계; 추출된 특징점을 기설정된 3차원의 위치정보에 대응하는 참조영상의 특징점과 정합하는 단계; 및 정합된 결과에 기초하여 회전 및 이동정보를 추적하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 추출된 특징점에 기초하여 특징벡터의 표현자를 생성하는 단계를 더 포함할 수 있다. 이 경우, 정합단계는 생성된 표현자를 참조영상의 특징점과 정합한다.

또한, 정합단계는, 객체의 정면, 좌우 측면, 상하 측면 중 적어도 하나를 포함하는 참조영상의 특징점 데이터와 추출된 특징점을 정합할 수 있다.

또한, 특징점 추출단계는, SURF를 이용하여 특징점을 추출할 수 있다.

또한, 회전 및 이동정보 추적단계는, POSIT 알고리즘에 기초하여 회전 및 이동정보를 추적할 수 있다.

본 발명의 실시예에 따르면, 2차원 평면 즉, 동일 평면상에 한정되지 않고 3차원 객체의 특징점을 이용하여 객체의 회전 및 이동정보를 추적함으로써, 사용자가 불편함을 느끼지 않도록 가상정보와 현실정보를 실시간으로 일치시켜 특징점을 추출하며, 추출된 3차원 객체의 특징점을 이용하여 객체를 표현하는 것이 가능하게 된다.

도 1은 본 발명의 실시예에 따른 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템을 개략적으로 도시한 도면이다.

도 2는 도 1의 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템에 의한 실시간 마커리스 3차원 객체 추적방법을 나타낸 흐름도이다.

도 3은 적분영상의 예를 나타낸 도면이다.

도 4는 근사화된 가우시안 사각필터의 예를 나타낸 도면이다.

도 5는 Haar 웨이블릿 특징을 가지는 지역적 특징의 예를 나타낸 도면이다.

도 6은 피라미드 옵티칼 플로우 추정의 예를 나타낸 도면이다.

도 7은 POSIT 알고리즘의 회전과 이동의 추정에 대한 객체와 카메라의 상관도를 나타낸 도면이다.

도 8은 프레임별 트래킹 시간의 예를 나타낸 도면이다.

도 9는 본 발명에 따른 증강현실을 위한 실시간 마커리스 3차원 객체추적에 의한 결과 영상의 예를 나타낸 도면이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 실시예에 따른 증강현실을 위한 실시간 마커리스 3차원 객체 추적 시스템의 일 실시예를 개략적으로 도시한 도면이다. 도면을 참조하면, 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템(100)은 특징점 추출부(110), 표현자 생성부(120), 참조영상 데이터 저장부(130), 정합부(140) 및 회전 및 이동정보 추적부(150)를 구비할 수 있다.

특징점 추출부(110)는 객체의 영상으로부터 특징점을 추출한다. 객체의 전체적인 특징들을 인식 요소로 사용하지 않더라도 객체의 부분적인 특징점들을 객체 인식의 요소로 사용할 수 있는데, 그 중 코너점은 객체 모양에 대한 정보를 가장 많이 가지고 있으므로 객체 표현, 해석, 인식에 가장 중요한 특징점으로 사용될 수 있다. 그러나, 특징점 추출부(110)에 의해 추출 가능한 특징점은 코너점에 한정되는 것은 아니다.

표현자 생성부(120)는 특징점 추출부(110)에 의해 추출된 특징점에 기초하여 특징벡터의 표현자를 생성한다.

참조영상 데이터 저장부(130)는 참조영상의 특징점 데이터를 저장한다. 이때, 참조영상은 객체에 대한 정면, 좌우 측면, 상하 측면 중 적어도 하나에 대한 특징점 데이터를 포함할 수 있다.

정합부(140)는 특징점 추출부(110)에 의해 추출된 특징점을 기설정된 3차원의 위치정보에 대응하는 참조영상의 특징점과 정합한다. 즉, 객체의 포즈(Pose)를 알기 위해서는 입력 영상에서 최소한 4개의 점들과 그에 대응하는 3D 알고 있어야 할 필요가 있으며, 그에 따라 정합부(140)는 추출된 특징점을 대응되는 참조영상의 특징점과 정합한다.

회전 및 이동정보 추적부(150)는 정합부(130)에 의해 정합된 결과에 기초하여 회전 및 이동정보를 추적(tracking)한다. 이때, 회전 및 이동정보의 추적을 위하여 POSIT(Pose Object System for Iteration) 알고리즘이 사용될 수 있다.

도 2는 도 1의 증강현실을 위한 실시간 마커리스 3차원 객체 추적 시스템에 의한 실시간 마커리스 3차원 객체 추적방법을 나타낸 흐름도이다. 도 1 및 도 2를 참조하여 본 발명의 실시예에 따른 증강현실을 위한 실시간 마커리스 3차원 객체 추적 시스템의 기능 및 동작을 상세하게 설명한다.

3차원 실시간 트랙킹 시스템은 전처리과정과 실시간처리과정으로 나눠지며, 초기화를 위한 전처리과정에서는 특징점 추출부(110)에 의해 SURF(Speed Up Robust Features)를 이용하여 객체의 특징점들 위치가 추출되며, 또한 표현자 생성부(120)는 특징점 추출부(110)에 의해 추출된 특징점에 기초하여 특징벡터의 표현자를 생성한다(S203). 이때, 정합부(140)는 객체의 영상으로부터 추출된 2D에서의 특징점의 위치와 이미 알고 있는 객체의 3D 위치 정보를 정합하며(S205), 정합된 정보, 표현자(descriptor), 객체의 3D 모델을 카메라에서 들어오는 입력영상과 매칭시켜 트랙킹에 필요한 특징점들을 추출한다. 추출된 특징점들이 일정 수 이하이면 다시 매칭을 하며(S207), 그 이상이 되면 3D 위치정보를 POSIT(Pose from Orthography and Scaling with Iteration)에 적용하여 객체의 회전과 이동 정보를 얻어내고 3D 모델을 화면에 표현한다(S209).

SURF는 특징점 추출 과정과 표현자 생성 과정으로 이루어지며, 특징점 추출 과정은 영상에서 강건한 특징점 위치를 찾는 것이며, 두 번째 과정은 환경 변화에 불변하고 강건한 특징점을 설명하는 표현자를 생성한다. 도 3에 적분영상의 개념을 보인다.

적분영상과 사각필터를 이용한 근사화된 가우시안 2차 미분 9X9 필터를 이용한 헤이시안 검출기로 특징점을 추출한다.

[수학식 1]

수학식 1에서

은 점 x에서 x방향으로 영상 I의 2차 가우시안 미분 컨벌루션이고,

과

는 xy방향으로의 미분 그리고 y방향으로의 2차 가우시안 미분 컨벌루션을 의미한다. 도 4는 본 발명에 따른 실시예에서 사용된 근사화 된 가우시안 사각필터이다.

특징벡터를 표현하기 위해 Haar 웨이블릿 특징을 사용하는데 정규화된 부분영상을 이용하여 4개의 특징벡터를 만든다. 도 5는 웨이블릿 특징 조합을 이용하여 지역적 특징 벡터를 만드는 과정을 보여준다.

루카스-카나데 알고리즘(Lucas-Kanade Algorithm)은 다음의 이미지 밝기 제약 방정식을 가진다.

[수학식 2]

[수학식 3]

수학식 3에서 ∇I는 공간 밝기 변화율이고, I_t는 시간 밝기변화율이며, 위 식의 해를 구하기 위해 국부 평탄화를 가정하여 구한다. 그러나 루카스-카나데 알고리즘은 작은 윈도우를 사용하기 때문에 큰 움직임이 있을 경우 움직임을 계산하지 못한다. 따라서 이를 해결하기 위해서 일단 원본 영상에서 영상을 피라미드로 구성하고 상위부터 하위로 추적하여 큰 움직임을 찾아낼 수 있다.

루카스-카나데 알고리즘은 밝기 항상성, 시간 지속성, 공간 일관성의 3가지 가정을 기초로 한다. 밝기 항상성은 추적할 영역의 내부는 시간이 지나도 그 값이 일정함을 나타내며, 시간지속성은 프레임간의 움직임이 작아서 그 변화가 매우 적다는 것이다. 또한 공간 일관성은 공간적으로 인접한 점들은 동일한 객체일 가능성이 많다는 것을 나타낸다.

도 6에서 보면 루카스-카나데 옵티칼 플로우와 업샘플링과 와핑을 반복하여 움직임을 추정한다. 피라미드 루카스-카나데 옵티칼 플로우는 최상위 계층부터 옵티컬 플로우를 계산하여 시간 지속성과 공간일관성의 가정들로부터 나오는 작고 일관된 움직임이 야기하는 문제점들을 해결한다. 이전 계층의 움직임 정보는 다음 계층의 움직임 추정시 시작점으로 사용한다. 이러한 연산을 최하위 계층까지 반복수행하여 빠르고 큰 움직임에 강건하게 추적할 수 있다.

도 7은 카메라에 따른 객체의 회전 및 이동과 객체의 2차원 평면 투영을 나타낸다. 객체의 회전과 이동정보 즉 객체의 포즈에 따라 2차원 평면에 투영되는 객체의 윤곽 및 특징점들의 위치가 다름을 알 수 있다. 본 발명에 따른 실시예에서는 3차원 객체의 포즈를 알아내는 방법으로 POSIT을 사용하였으며 포즈(Pose)는 위치값 3개와 회전값 3개로 표현할 수 있다.

객체의 포즈를 알기 위해서는 입력영상에서 최소한 4개의 점들과 그에 대응하는 3D 점들을 알고 있어야 한다. POS(Pose from Orthography and Scaling) 방법은 객체의 점들이 카메라로부터 충분히 멀리 있어서 실제 점들 사이의 깊이를 무시할 수 있다는 것을 가정하며 상수로 사용한다. 따라서 구해진 회전행렬과 이동벡터는 내부 파라미터 행렬로부터 구할 수 있다. 또한, 크기 변화는 오로지 객체와 카메라 사이의 거리에 따라 이루어지며, 객체의 3D pose에 대한 폐쇄형 해(closed-form solution)가 존재하게 된다. 이렇게 해서 얻어진 새로운 점들을 POS의 입력점들로 다시 반복하여 수행하면 그 점들이 수렴한다.

본 발명에 따른 실시예에서는 Intel Core i5 CPU 750 2.67 GHz 프로세서와 램 4 GB을 가진 시스템을 이용하였으며, 3차원 객체로는 높이 26 cm 가로 20 cm 세로 18 cm의 모형집을 사용하였다. 또한, 정면 좌우 측면의 영상들을 참조영상으로 삼아 SURF를 통하여 특징점들을 추출한다. 이로부터 표현자와 이에 대응하는 3차원 위치정보를 초기 정보로 생성하고, 피라미드 옵티칼 플로우를 통해 추적된 객체의 특징점들을 POSIT을 통해 회전과 이동정보를 얻는다. 이를 객체의 외곽 윤곽에 대해 회전과 이동을 적용하여 와이어프레임으로 표현한다.

표 1에서는 트랙킹 처리 시간을 보인다. 초기화에 51.66 ms의 시간이 소요되며, 이는 참조영상들의 특징점들로부터 적절한 점을 선택하기 위한 처리시간이며, 트랙킹은 평균 6.22 ms이 걸렸다. POSIT을 포함한 전체 트랙킹 시간은 58.22 ms 이다.

표 1

도 8은 프레임별 트랙킹 시간을 나타낸다. 재매칭 실험을 위해 빈번히 카메라를 객체로부터 벗어나게 하였으며, 재매칭에 평균 465 ms의 시간이 필요로 하였다. 트랙킹은 재매칭 시간에 비해 극히 작은 시간이 소요되었다. 트랙킹 실패시 참조영상과 다시 매칭을 통해 트랙킹에 적합한 특징점들을 찾을 때까지의 시간을 보여주며, 매칭되는 특징점의 수가 5개 이상일 경우에 추적을 시작하였다. 트랙킹에 필요한 적절한 특징점들의 개수들을 설정함에 따라 느려지고 빨라질 수 있으나 정확한 매칭에 중점을 두었으며, 매칭되는 각각의 특징들 상대적인 위치변위가 특정범위를 벗어나지 않게 지정하여 정확도를 높였다.

도 9의 (a) 및 (b)에서 왼쪽은 참조영상과 현재 영상간의 특징점 매칭을 보여주며, 오른쪽은 회전과 이동정보를 이용하여 와이어 프레임으로 표현하였다. 여기서, 점선으로 표시된 부분은 매칭된 특징점들을 나타낸다. 또한 객체의 회전과 이동에 대해서 매칭된 특징점들이 정확하게 추적되고, 그 결과를 와이어 프레임으로 실제 객체와 일치함을 볼 수 있다.

본 발명에 따른 실시예에서는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템 및 그 추적방법을 제안하였다. SURF를 이용하여 특징점을 추출하고 이를 POSIT 알고리즘으로 3차원 객체의 회전과 이동정보를 얻고 이를 실시간으로 추적하였다. 추적 실패시 실시간으로 재추적이 가능하도록 빠른 특징점 추출과 매칭을 통하여 트랙킹에 적합한 특징점을 선택하여 객체의 위치와 회전 정보를 얻을 수 있었으며, 실험을 통하여 실시간 트랙킹이 가능함을 확인할 수 있었다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

CROSS-REFERENCE TO RELATED APPLICATION

본 특허출원은 2010년 05월 27일 한국에 출원한 특허출원번호 제 10-2010-0049891 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (14)

1. 객체의 영상으로부터 특징점을 추출하는 특징점 추출부;

   추출된 상기 특징점을 기설정된 3차원의 위치정보에 대응하는 참조영상의 특징점과 정합하는 정합부; 및

   상기 정합부에 의해 정합된 결과에 기초하여 회전 및 이동정보를 추적하는 회전 및 이동정보 추적부

   를 포함하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템.
2. 제 1항에 있어서,

   상기 특징점 추출부는,

   SURF(Speed Up Robust Features)를 이용하여 상기 특징점을 추출하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템.
3. 제 2항에 있어서,

   상기 특징점 추출부는 적분영상과 사각필터를 이용한 근사화된 가우시안 2차 미분 9x9 필터를 이용하여 상기 특징점을 추출하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템.
4. 제 1항에 있어서,

   상기 특징점 추출부에 의해 추출된 특징점에 기초하여 특징벡터의 표현자를 생성하는 표현자 생성부

   를 더 포함하며,

   상기 정합부는 상기 표현자 생성부에 의해 생성된 표현자를 상기 참조영상의 특징점과 정합하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템.
5. 제 4항에 있어서

   상기 표현자 생성부는,

   Haar 웨이블릿 특징에 기초하여 상기 객체의 정규화된 부분영상을 이용하여 4개의 특징벡터를 생성하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템.
6. 제 1항에 있어서,

   상기 참조영상의 특징점 데이터를 저장하는 참조영상 데이터 저장부

   를 더 포함하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템.
7. 제 6항에 있어서,

   상기 참조영상 데이터 저장부는,

   상기 객체의 정면, 좌우 측면, 상하 측면 중 적어도 하나에 대한 특징점 데이터를 저장하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템.
8. 제 1항에 있어서,

   상기 회전 및 이동정보 추적부는,

   POSIT(Pose Object System for Iteration) 알고리즘에 기초하여 상기 회전 및 이동정보를 추적하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템.
9. 객체의 영상으로부터 SURF를 이용하여 특징점을 추출하는 특징점 추출부;

   추출된 상기 특징점을 정면, 좌우 측면, 상하 측면 중 적어도 하나의 참조영상의 특징점과 정합하는 정합부; 및

   상기 정합부에 의해 정합된 결과에 대해 POSIT 알고리즘에 기초하여 회전 및 이동정보를 추적하는 회전 및 이동정보 추적부

   를 포함하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템.
10. 객체의 영상으로부터 특징점을 추출하는 단계;

    추출된 상기 특징점을 기설정된 3차원의 위치정보에 대응하는 참조영상의 특징점과 정합하는 단계; 및

    정합된 결과에 기초하여 회전 및 이동정보를 추적하는 단계

    를 포함하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체 추적방법.
11. 제 10항에 있어서,

    추출된 상기 특징점에 기초하여 특징벡터의 표현자를 생성하는 단계

    를 더 포함하며,

    상기 정합단계는 생성된 상기 표현자를 상기 참조영상의 특징점과 정합하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체 추적방법.
12. 제 10항에 있어서,

    상기 정합단계는,

    상기 객체의 정면, 좌우 측면, 상하 측면 중 적어도 하나를 포함하는 참조영상의 특징점 데이터와 추출된 상기 특징점을 정합하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체 추적방법.
13. 제 10항에 있어서,

    상기 특징점 추출단계는,

    SURF를 이용하여 상기 특징점을 추출하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체 추적방법.
14. 제 10항에 있어서,

    상기 회전 및 이동정보 추적단계는,

    POSIT 알고리즘에 기초하여 상기 회전 및 이동정보를 추적하는 것을 특징으로 하는 증강현실을 위한 실시간 마커리스 3차원 객체 추적방법.

Images