KR101869605B1 - 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법 - Google Patents

Abstract

평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법이 제공된다. 본 발명의 실시예에 따른 3차원 공간 모델링 방법은, 컬러 영상과 깊이 영상을 획득하고, 깊이 영상을 이용하여 평면을 추정한 후, 컬러 영상, 깊이 영상 및 평면 정보를 이용하여 3차원 공간 정보를 생성한다. 이에 의해, 평면의 구조정보를 활용하여 공간 복원 에러를 최소화 하므로, 대규모 3차원 공간 복원 기술이 핵심인 건물의 실내 3차원 공간정보 구축이 가능하다.

Description

평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법{Three-Dimensional Space Modeling and Data Lightening Method using the Plane Information}

본 발명은 3차원 영상 기술에 관한 것으로, 더욱 상세하게는 3차원 공간을 모델링 하고 데이터를 경량화 하는 방법 및 시스템에 관한 것이다.

건물의 대형화/고층화로 인한 복잡도가 증가함에 따라 실내 위치정보의 중요성이 증가하고 있으며, 구난/구재, 방범 등의 목적으로 이동 객체에 대한 위치추적, CCTV 확산 등 기존의 텍스트 기반 또는 2차원 도면 기반의 지리정보로는 복잡한 위치정보의 표현이 어려운 만큼 이를 보완할 수 있는 실내외의 3차원 공간정보 구축이 중요하다.

기존에는 주로 항공사진이나 항공라이다 데이터를 활용하여 지형과 건물의 외형을 3차원 모델링 하였다면, 최근에는 건물 외형뿐만 아니라 3차원 실내 모델링이 중요하다. 3차원 공간정보 구축을 위해서는 깊이정보 센서(라이다, ToF, 구조광, 스테레오) 데이터를 이용한 3차원 공간 모델링이 핵심 기술인데, 다음과 같은 문제점들이 있다.

1. 누적에러 문제

정확한 3차원 공간 복원을 위해서는 데이터를 획득하는 센서의 자세를 정확하게 추정하는 것이 매우 중요하다. 하지만, 기존의 SLAM(Simultaneously Localization and Mapping) 방식과 마찬가지로 센서 자세를 추정하는 순간마다 작은 에러가 발생하고 해당 에러는 시간이 지날수록 누적이 되게 된다.

이런 이유로 하나의 밀폐된 공간을 복원하더라도 도 1 처럼 공간이 어긋나는 일이 발생한다. 이런 문제를 해결하기 위해 전역최적화 방법인 Bundle Adjustment 기법을 적용하지만 도 2에 보여지듯이 누적에러를 최소화 하는데 한계가 있다.

2. 공간 객체화 문제

3차원 모델링에서 평면정보를 활용하거나 3차원 모델의 경량화를 위해서는 공간정보를 객체화 하는 것이 가장 중요하다. 대부분의 이전 방법들은 하나의 장면이나 제한된 영역에 대해서 구조를 자동객체화 하거나 사용자가 영상마다 입력하여 객체화 하는 방법을 주로 활용하였다. 도 3은 사용자 입력 기반 공간 객체화 결과이다.

하지만, 하나의 장면이나 제한된 영역은 대규모 공간의 3차원 공간복원 기술에 적용하기 어려우며 사용자입력 방식은 시간과 인력이 비효율적으로 소모된다는 단점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 공간의 평면정보를 활용하여 깊이센서(라이다, ToF, 구조광 등) 기반 실내외 3차원 모델링에서 발생하는 센서자세 추정 오차와 복원 누적 오차를 최소화 하며, 3차원 공간을 구성하는 포인트클라우드 (point cloud) 데이터 용량을 경량화 하는 평면정보 기반의 3차원 공간 모델링 방법 및 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 3차원 공간 모델링 방법은, 컬러 영상과 깊이 영상을 획득하는 단계; 깊이 영상을 이용하여 평면을 추정하는 단계; 및 컬러 영상, 깊이 영상 및 평면 정보를 이용하여, 3차원 공간 정보를 생성하는 단계;를 포함한다.

그리고, 평면 추정단계는, 깊이 영상으로부터 생성된 노멀벡터(normal vector)값을 이용하여, 평면을 추정할 수 있다.

또한, 본 발명의 일 실시예에 따른 3차원 공간 모델링 방법은, 각 프레임에서 독립적으로 추정된 평면들 중 유사 평면들을 융합하는 단계;를 더 포함하고, 3차원 공간 정보 생성단계는, 융합된 평면 정보를 이용하여, 3차원 공간 정보를 생성할 수 있다.

그리고, 유사 평면들은, 평면 간 각도차, 평면 간 거리차 및 평면 간의 겹치는 영역의 유무 중 적어도 하나를 참조하여 결정할 수 있다.

또한, 융합된 평면의 노멀벡터는 융합된 평면들의 노멀벡터의 평균일 수 있다.

그리고, 본 발명의 일 실시예에 따른 3차원 공간 모델링 방법은, 깊이 영상으로부터 영상을 획득하는 센서의 자세를 추정하여, 서로 다른 시점에서 획득한 깊이 영상들을 정렬하는 단계;를 더 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 3차원 공간 모델링 방법은, 정렬된 깊이 영상들에서 특징점을 추출하여 서술자를 계산하고, 계산된 서술자를 비교하여 유사 장면들을 파악하는 단계;를 더 포함할 수 있다.

그리고, 융합 단계는, 센서의 자세 정보 및 유사 장면 정보 중 적어도 하나를 참조하여, 유사 평면들을 융합할 수 있다.

또한, 본 발명의 일 실시예에 따른 3차원 공간 모델링 방법은, 각도 차가 특정 범위 이내인 평면들이 직교하도록, 3차원 공간 정보를 보정하는 단계;를 더 포함할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 3차원 공간 모델링 시스템은, 컬러 영상과 깊이 영상을 획득하는 입력부; 및 깊이 영상을 이용하여 평면을 추정하고, 컬러 영상, 깊이 영상 및 평면 정보를 이용하여 3차원 공간 정보를 생성하는 프로세서;를 포함한다.

한편, 본 발명의 다른 실시예에 따른, 3차원 공간 모델링 방법은, 컬러 영상과 깊이 영상을 프레임 단위로 획득하는 단계; 깊이 영상을 비교하여 유사 장면을 파악하는 단계; 깊이 영상을 이용하여 평면을 추정하는 단계; 유사 장면 정보를 참조하여, 각 프레임에서 독립적으로 추정된 평면들 중 유사 평면들을 융합하는 단계; 및 컬러 영상, 깊이 영상 및 융합된 평면 정보를 이용하여, 3차원 공간 정보를 생성하는 단계;를 포함한다.

한편, 본 발명의 다른 실시예에 따른, 3차원 공간 모델링 시스템은, 컬러 영상과 깊이 영상을 프레임 단위로 획득하는 입력부; 및 깊이 영상을 비교하여 유사 장면을 파악하고, 깊이 영상을 이용하여 평면을 추정하며, 유사 장면 정보를 참조하여 각 프레임에서 독립적으로 추정된 평면들 중 유사 평면들을 융합하고, 컬러 영상, 깊이 영상 및 융합된 평면 정보를 이용하여 3차원 공간 정보를 생성하는 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 평면의 구조정보를 활용하여 공간 복원 에러를 최소화 하므로, 대규모 3차원 공간 복원 기술이 핵심인 건물의 실내 3차원 공간정보 구축이 가능하다.

또한, 본 발명의 실시예들에 따르면, 사용자 입력 없이 자동적으로 평면 구조를 추정 및 관리가 가능하여 비효율적인 인력소모와 시간소모를 감소시킬 수 있게 된다.

아울러, 본 발명의 실시예들에 따르면, 공간의 객체화 정보 기반의 polygon 생성 기술을 활용하여 3차원 공간 모델의 데이터양을 획기적으로 줄일 수 있게 된다.

도 1은 모바일 3차원 공간 복원 결과,
도 2는 Bundle Adjustment 방법을 이용한 3차원 공간 최적화 결과,
도 3은 사용자 입력 기반 공간 객체화 결과,
도 4는 본 발명의 일 실시예에 따른 3차원 공간 모델링 및 데이터 경량화 방법의 설명에 제공되는 흐름도,
도 5는 깊이데이터 기반 센서 자세 추정을 나타낸 도면,
도 6은 장면인식 개념도,
도 7은 노멀벡터 및 노멀 영상을 나타낸 도면,
도 8은 평면 확장 조건을 나타낸 도면,
도 9는 장면인식 기반 평면 확장을 나타낸 도면,
도 10은 평면 구조 기반 3차원 공간 복원 결과, 그리고,
도 11은 본 발명의 다른 실시예에 따른 3차원 공간 모델링 및 데이터 경량화 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

1. 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법

도 4는 본 발명의 일 실시예에 따른 3차원 공간 모델링 및 데이터 경량화 방법의 설명에 제공되는 흐름도이다. 본 발명의 실시예에 따른 3차원 공간 모델링 및 데이터 경량화 방법은 크게 6가지 단계를 포함한다.

1) 센서자세추정(S110): 시퀀스로 획득하는 깊이영상을 활용하여 센서의 자세를 추정

2) 장면인식(S120): 각 프레임의 센서 자세에서 촬영된 영상의 유사성을 비교하여 유사 장면 획득

3) 평면추정(S130): 깊이 정보로부터 생성된 노멀벡터(normal vector)값을 이용하여 평면 추정

4) 평면융합(S140): 센서자세정보, 장면인식정보, 평면정보를 활용하여 평면을 3차원 공간에서 융합

5) 평면 구조 기반 3차원 공간 모델링(S150): 융합된 평면정보, 센서자세정보, 컬러 영상과 깊이 영상을 활용하여 전역최적화 방법을 수행하여 3차원 공간 복원 에러 최소화

6) 3차원 공간 모델 보정 및 경량화(S160): 복원된 3차원 공간을 평명정보를 이용하여 포인트클라우드(point cloud)를 단순한 폴리곤(polygon) 데이터로 경량화

이하에서 각 단계들에 대해, 하나씩 상세히 설명한다.

2. 센서자세추정(S110)

시퀀스로 획득한 깊이영상 정보(S100)를 활용하여 센서의 자세를 추정한다. 추정된 센서의 자세는 도 5에 나타난 바와 같이, 서로 다른 시점에서 획득한 깊이영상을 같은 위치로 정렬시키게 된다.

3. 장면인식(S120)

시점 및 조명 변화에 대한 강인성을 확보함과 동시에 계산의 효율성을 보장할 수 있는 장면 인식 기법을 제시한다.

이를 위해 데이터베이스 영상으로부터 특징점을 추출하고 이를 서술하기 위해서 임의의 3개의 영역으로부터 서술자[descriptor(예를 들어 SIFT, SURF, ORB 활용 가능)]를 계산한다. 이때 빠른 서술자 계산을 위해서 적분영상 (integral image)을 이용한다.

많은 수의 데이터베이스 영상들과의 정합을 위해서 서술자들을 나무 (tree) 형태로 재배열한다. 그러므로 인식 단계에서 서술자들을 모두 비교하는 것이 아니라 나무 구조에서 각 단계별로 계층적으로 비교한다. 도 6은 장면 인식 기술에 대한 개념도를 보여준다.

4. 평면추정(S130)

본 발명의 실시예에서 평면은 노멀벡터(normal vector)로 표현한다. 각 픽셀에 해당하는 노멀벡터는 도 7에 나타난 바와 같이 템플릿내의 깊이 정보를 비교하여 생성하며 유사한 노멀을 갖는 픽셀들이 하나로 그룹핑하여 하나의 평면이라 가정한다.

각 픽셀들을 그룹핑하기 위해서 잘 알려진 region growing 알고리즘을 적용하였으며 픽셀간의 노멀벡터가 일정각도 이상 차이 나거나 픽셀간의 깊이가 일정거리 이상 차이 나는 경우 다른 평면 혹은 다른 객체라 가정하여 영역이 확장되는 것을 멈춘다.

5. 평면융합(S140)

카메라 자세 추정 시 에러가 지속적으로 쌓이게 되어 3차원 공간의 구조가 어긋나게 된다. 만약에 어긋나는 부분의 평면들이 같은 평면이라면 어긋난 두 명면은 실제 3차원 좌표계에서 반드시 하나의 평면으로 추정되어야 한다.

평면 구조를 하나의 제약정보로 활용하기 위해서는 각 프레임에서 독립적으로 생성된 평면을 3차원 좌표계로 옮긴 후 유사 평면들을 융합하는 라벨링 단계가 필요하다. 유사평면간의 융합을 위해서 본 과제에서는 3가지 측정값을 활용하였다(도 8 참고).

I) 노멀벡터(normal vector)를 이용한 평면간의 각도 차이,

II) 평면간의 거리 차이,

III) 평면간의 겹치는 영역의 유무.

융합한 평면의 노멀벡터는 두 노멀벡터를 평균값을 이용한다. 각 프레임의 평면 정보를 3차원 좌표계로 옮기기 위해서 센서의 자세 정보를 이용한다. 하지만, 센서의 자세 추정 시 발생하는 누적에러 문제로 같은 평면간의 위치차이가 클 수 있다. 이런 경우 도 9와 같이 장면이식 정보를 활용하여 같은 평면임을 판단한다.

6. 평면 구조 기반 3차원 공간 모델링(S150)

본 발명의 실시예에서는, 같은 라벨을 갖는 평면들이 3차원 위치에서 같은 위치에 존재한다는 가정을 추가 오차 함수로 적용하여 같은 라벨의 평면이 갖은 위치와 같은 노멀을 갖게 만드는 방향으로 센서의 자세를 최적화 한다.

7. 3차원 공간 모델 보정 및 경량화(S160)

평면정보를 이용하여 3차원 공간을 최적화 하더라도 깊이영상의 에러로 인하여 평면내의 포인트들이 반듯하게 보이지 않고 일정 노이즈에 의해 흩어져 보이게 된다.

이를 해결하기 위해 평면 확장에서 추정하였던 각 평면의 노멀벡터를 이용하여 평면 노이즈를 최소화 한다. 또한, 모든 평면들끼리 서로 특정 각도 범위 이내(이를 테면, 80°~ 100°)로 차이 나는 경우 두 평면은 직교한다고 가정하여 추정된 평면들을 보정한다.

도 10은 모바일 3차원 공간 복원 결과부터 최종 결과인 3차원 공간 축정렬 예시 결과를 보여준다. 데이터 경량화를 위한 평면의 폴리곤(polygon)은 각 평면의 노멀축을 제외한 평면내 축에 위치하는 최대값과 최소값을 획득하여 4점으로 구성한다.

8. 3차원 공간 모델링 및 데이터 경량화 시스템

도 11은 본 발명의 다른 실시예에 따른 3차원 공간 모델링 및 데이터 경량화 시스템의 블럭도이다. 본 발명의 실시예에 따른 3차원 공간 모델링 및 데이터 경량화 시스템은, 도 11에 도시된 바와 같이, 영상 입력부(210), 프로세서(220), 저장부(230) 및 출력부(240)를 포함한다.

영상 입력부(210)는 카메라[RGB 카메라 + Z 카메라]로부터 컬러 영상과 깊이을 실시간으로 입력받고, 입력되는 영상을 프로세서(220)에 인가한다.

영상 입력부(210)에 입력되는 영상은 실시간 영상이 아니어도 무방하다. 즉, 외부 기기/네트워크에 저장된 컬러/깊이 영상이 영상 입력부(210)에 입력되어 프로세서(220)에 인가되는 경우도, 본 발명의 기술적 사상이 적용될 수 있다.

프로세서(220)는 위에서 설명한 3차원 공간 모델링 및 데이터 경량화 방법을 실행하기 위한 GPU와 CPU를 포함한다. 저장부(230)는 프로세서(220)가 3차원 공간 모델링 및 데이터 경량화를 수행함에 있어 필요한 저장 공간을 제공한다.

출력부(240)는 프로세서(220)에 의해 수행된 3차원 공간 정보를 표시하기 위한 디스플레이와 외부 기기/네트워크로 전달하기 위한 통신 인터페이스를 포함한다.

9. 변형예

본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.

210 : 영상 입력부
220 : 프로세서
230 : 저장부
240 : 출력부

Claims (12)

1. 3차원 공간 모델링 시스템이, 컬러 영상과 깊이 영상을 획득하는 단계;
   3차원 공간 모델링 시스템이, 깊이 영상을 이용하여 평면을 추정하는 단계;
   3차원 공간 모델링 시스템이, 컬러 영상, 깊이 영상 및 평면 정보를 이용하여, 3차원 공간 정보를 생성하는 단계; 및
   3차원 공간 모델링 시스템이, 각도 차가 특정 범위 이내인 평면들이 직교하도록, 3차원 공간 정보를 보정하는 단계;를 포함하는 것을 특징으로 하는 3차원 공간 모델링 방법.
   
2. 청구항 1에 있어서,
   평면 추정단계는,
   깊이 영상으로부터 생성된 노멀벡터(normal vector)값을 이용하여, 평면을 추정하는 것을 특징으로 하는 3차원 공간 모델링 방법.
   
3. 청구항 1에 있어서,
   3차원 공간 모델링 시스템이, 각 프레임에서 독립적으로 추정된 평면들 중 유사 평면들을 융합하는 단계;를 더 포함하고,
   3차원 공간 정보 생성단계는,
   융합된 평면 정보를 이용하여, 3차원 공간 정보를 생성하는 것을 특징으로 하는 3차원 공간 모델링 방법.
   
4. 청구항 3에 있어서,
   유사 평면들은,
   평면 간 각도차, 평면 간 거리차 및 평면 간의 겹치는 영역의 유무 중 적어도 하나를 참조하여 결정하는 것을 특징으로 하는 3차원 공간 모델링 방법.
   
5. 청구항 4에 있어서,
   융합된 평면의 노멀벡터는 융합된 평면들의 노멀벡터의 평균인 것을 특징으로 하는 3차원 공간 모델링 방법.
   
6. 청구항 3에 있어서,
   3차원 공간 모델링 시스템이, 깊이 영상으로부터 영상을 획득하는 센서의 자세를 추정하여, 서로 다른 시점에서 획득한 깊이 영상들을 정렬하는 단계;를 더 포함하는 것을 특징으로 하는 3차원 공간 모델링 방법.
   
7. 청구항 6에 있어서,
   3차원 공간 모델링 시스템이, 정렬된 깊이 영상들에서 특징점을 추출하여 서술자를 계산하고, 계산된 서술자를 비교하여 유사 장면들을 파악하는 단계;를 더 포함하는 것을 특징으로 하는 3차원 공간 모델링 방법.
   
8. 청구항 7에 있어서,
   융합 단계는,
   센서의 자세 정보 및 유사 장면 정보 중 적어도 하나를 참조하여, 유사 평면들을 융합하는 것을 특징으로 하는 3차원 공간 모델링 방법.
   
9. 삭제
10. 컬러 영상과 깊이 영상을 획득하는 입력부;
    깊이 영상을 이용하여 평면을 추정하고, 컬러 영상, 깊이 영상 및 평면 정보를 이용하여 3차원 공간 정보를 생성하는 프로세서;를 포함하고,
    프로세서는,
    각도 차가 특정 범위 이내인 평면들이 직교하도록, 3차원 공간 정보를 보정하는 것을 특징으로 하는 3차원 공간 모델링 시스템.
    
11. 3차원 공간 모델링 시스템이, 컬러 영상과 깊이 영상을 프레임 단위로 획득하는 단계;
    3차원 공간 모델링 시스템이, 깊이 영상을 비교하여 유사 장면을 파악하는 단계;
    3차원 공간 모델링 시스템이, 깊이 영상을 이용하여 평면을 추정하는 단계;
    3차원 공간 모델링 시스템이, 유사 장면 정보를 참조하여, 각 프레임에서 독립적으로 추정된 평면들 중 유사 평면들을 융합하는 단계;
    3차원 공간 모델링 시스템이, 컬러 영상, 깊이 영상 및 융합된 평면 정보를 이용하여, 3차원 공간 정보를 생성하는 단계; 및
    3차원 공간 모델링 시스템이, 각도 차가 특정 범위 이내인 평면들이 직교하도록, 3차원 공간 정보를 보정하는 단계;를 포함하는 것을 특징으로 하는 3차원 공간 모델링 방법.
    
12. 컬러 영상과 깊이 영상을 프레임 단위로 획득하는 입력부; 및
    깊이 영상을 비교하여 유사 장면을 파악하고, 깊이 영상을 이용하여 평면을 추정하며, 유사 장면 정보를 참조하여 각 프레임에서 독립적으로 추정된 평면들 중 유사 평면들을 융합하고, 컬러 영상, 깊이 영상 및 융합된 평면 정보를 이용하여 3차원 공간 정보를 생성하는 프로세서;를 포함하고,
    프로세서는,
    각도 차가 특정 범위 이내인 평면들이 직교하도록, 3차원 공간 정보를 보정하는 것을 특징으로 하는 3차원 공간 모델링 시스템.
    

Images