KR20050042369A - 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법 - Google Patents

Abstract

본 발명은 3차원 얼굴 인식을 위한 새로운 얼굴 포즈 추정 방식을 제안한다. 먼저 3차원 영역(range) 영상이 입력될 때 얼굴 곡선에 기반한 자동 얼굴 특징점 추출 기법을 적용한다. 추출된 특징점을 바탕으로 오류 보상 특이치 분해를 적용한 새로운 3차원 얼굴 포즈 추정 방식을 제안한다. 특이치 분해를 이용하여 초기 회전각을 획득한 후 존재하는 오류를 보다 세밀하게 보상한다. 제안 알고리즘은 정규화된 3차원 얼굴 공간에서 추출된 특징점의 기하학적 위치를 이용하여 수행된다. 또한 3차원 얼굴 인식을 위하여 3차원 유사 후보(nearest neighbor) 분류기를 이용한 데이터베이스내에서 후보 얼굴을 선택하는 방식을 제안한다. 또한 실험 결과를 통해 다양한 얼굴 포즈에 대하여 제안 알고리즘의 효율성과 타당성을 검증하였다.

Description

3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법{Method of Error Compensated Singular Value Decomposition Based Head Pose Estimation for 3D Face Recognition}

본 발명은 얼굴 인식 시스템에 관한 것으로서, 보다 상세하게는 3차원 얼굴 곡선에 기반한 자동 얼굴 특징점 추출 기법을 적용하고, 추출된 특징점을 바탕으로 오류 보상 특이치 분해를 이용하여 초기 회전각을 획득한 후 존재하는 오류를 보다 세밀하게 보상하도록 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법에 관한 것이다.

얼굴 인식 기술은 2차원 영상을 기반으로 연구되어 왔고, 신원 확인, 출입 통제, 감독, 데이터베이스 검색등 다양한 분야에 활용되고 있다. 또한 통제된 환경으로부터 통제되지 않은 환경까지, 다양한 내·외적 환경 변화(조명, 포즈, 표정등)에 강인한 얼굴 인식 기술 개발을 위하여 많은 연구가 진행되고 있다. 그러나, 표정과 조명과 같은 환경 변화에 대해서는 상당히 인식률을 향상시킨 반면, 다양한 얼굴 위치 및 포즈 변화가 심하게 발생하였을 경우에 대해서는 실제 시스템 적용에 여전히 큰 문제점으로 남아있다. 기존의 2차원 얼굴인식에서는 정면으로부터 약 10∼15% 정도 회전이 되었을 경우, 인식률이 20% 이상 급격히 저하되는 결과를 나타내고 있다. 따라서, 포즈 변화에 강인한 얼굴 인식 시스템을 위해서는 얼굴 포즈 추정 알고리즘의 개발은 필수적이다.

현재까지는 2차원 영상 혹은 동영상을 기반으로 얼굴 포즈 추정에 대한 많은 연구가 진행되어 왔다. 그러나 근본적으로 3차원 얼굴 포즈 변화에 대한 2차원적인 해석에 한계가 있으므로 포즈 변화에 강인한 2차원 얼굴 인식 시스템 구현을 위해서는 아직 해결되어야 할 문제점이 많다. 이러한 문제점을 극복하기 위하여 최근 3차원 얼굴 모델을 기반으로 얼굴 포즈 추정 기법에 대한 연구가 진행되고 있다. 대표적으로 칼라 정보를 이용하여 머리와 피부 영역을 선택하여 그 영역으로부터 얼굴 특징점을 추출한고 난 후 3차원 얼굴 포즈 추정을 하는 연구가 제안되었다. 그러나 이 기법은 머리 스타일 변형과 색상 정보를 이용하기 때문에 조명 변화에 매우 민감하다는 단점이 있다. 또한, 2차원 영상과 영역(range) 영상을 동시에 이용하여 대칭 평면을 기반으로 3차원 얼굴의 포즈를 추정하는 알고리즘을 제안하였다. 그러나 이 방식은 각 축으로 20도 이상 회전 시 오류가 증가하는 단점이 있다.

3차원 얼굴 인식은 스테레오 및 다시점 영상을 이용한 기법과 3차원 영역 영상을 이용한 기법으로 분류할 수 있다. 스테레오 및 다시점 영상을 이용한 기법은 여러장의 2차원 영상을 기반으로 3차원 얼굴 모델링을 통하여 원하는 포즈 및 시점에 대해서 얼굴 모델을 회전한 후 다시 2차원 영상으로 투영하여 최종적으로 인식하는 것이다. 이 방법은 2차원 영상을 기반으로 3차원 모델로 변환시킴으로써 다양한 포즈 변화에 강인한 장점을 지닌다. 반면에 정확한 깊이 추정 기법과 3차원 모델링 기술을 동반하여야 함으로 많은 시간이 소요되고, 인종, 성별, 나이등에 대한 일반 얼굴 모델의 기준이 모호하다는 단점이 있다.

반면에 3차원 영역 얼굴 영상을 이용한 얼굴 인식 기법에 대해서는 아직 연구가 미비한 상태이다. 기존에는 3차원 얼굴 인식을 얼굴의 강체 표면 곡률 계산을 적용하는 기법을 수행하였다. 또한 다양한 얼굴 표정 및 포즈 변화에 대한 인식을 위하여 포인트 서명(Point Signature)을 이용한 기법이 제안되었다. 그러나 이러한 기존 3차원 얼굴 인식 기법에서는 얼굴 포즈 추정 기법이 고려되지 않았다. 이에 정확한 3차원 얼굴 인식을 위해서는 입력 데이터의 효율적인 정규화 과정과 3차원 얼굴 포즈 추정 기법이 고려되어야 한다.

따라서, 본 발명은 상기한 종래의 제반 문제점을 해결하기 위한 것으로, 3차원 얼굴 곡선에 기반한 자동 얼굴 특징점 추출 기법을 적용하고, 추출된 특징점을 바탕으로 오류 보상 특이치 분해를 이용하여 초기 회전각을 획득한 후 존재하는 오류를 보다 세밀하게 보상하도록 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법을 제공함에 그 목적이 있다.

상기한 목적을 달성하기 위한 본 발명에 따른 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법은 통상의 얼굴 인식 시스템에 있어서, 입력된 기하학적 얼굴 특징 구조를 기반으로 3차원 얼굴 특징점을 추출하고, 추출된 3차원 얼굴 특징점을 이용하여 오류 보상 특이치 분해 기법을 적용하여 입력 영상에 대한 3차원 얼굴 포즈 추정을 수행하되, 정규화된 3차원 얼굴 공간에서의 오류 보상 특이치 분해 방식을 수행하기 위하여 3차원 얼굴 입력 데이터와 3차원 얼굴 데이터베이스를 기반으로 얼굴 포즈 추정 및 인식 과정과; 효율적인 얼굴 인식을 위하여 데이터베이스에서의 입력에 대하여 가장 유사한 N개의 3차원 후보 얼굴을 선택하는 3차원 유사 후보 분류 과정과; 후보 얼굴 선택과 다양한 포즈에 대한 추정 결과를 통하여 후보 얼굴 포즈를 조정하는 과정과; 정규화된 3차원 얼굴 공간을 정의하고 모든 얼굴 입력 영상을 동일 공간으로 정규화하여, 스케일 변화를 보상시킬 수 있는 과정을 포함하는 것을 특징으로 한다.

상기 3차원 얼굴 영상 입력 시 얼굴의 기하학적 위치 정보를 이용하여 얼굴의 특징점을 추출하되, 깊이정보를 이용하여 가장 최대점을 갖는 코 끝점을 추출한 후, 이 점과 Y축을 포함하는 YZ평면으로 얼굴을 수직으로 나누면 얼굴은 거의 대칭이 되도록 하고, 이를 통해서 얻어진 얼굴 분할 곡선의 특징을 이용하여 미간점, 코의 최저점, 그리고 입술에서 윗입술, 중간점, 아랫입술의 점의 5개의 얼굴 특징점을 얻는 것을 다른 특징으로 한다.

상기 특이치 분해 기반으로 초기 얼굴 포즈를 추정함에 있어, 이를 통해서 얻어진 회전각을 통하여 보다 정확한 얼굴 포즈 추정값을 얻기 위하여 정규화된 3차원 얼굴 공간에서 오류 보상 과정을 수행하여 포즈 변화 추정을 보다 정확하게 수행할 수 있도록 하는 것을 또 다른 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 1은 본 발명에 따른 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법의 알고리즘 블록도이다.

도시된 바와 같이, 먼저 기하학적 얼굴 특징 구조를 기반으로 3차원 얼굴 특징점을 추출하고, 추출된 3차원 얼굴 특징점을 이용하여 본 발명에서 제안하는 오류 보상 특이치 분해(Error Compensated Singular Value Decomposition) 기법을 적용하여 입력 영상에 대한 3차원 얼굴 포즈 추정을 수행한다. 특이치 분해 기법은 오류 최소화 과정으로써 입력과 데이터베이스와의 특징간의 유클리디안 거리를 최소화시키는 값을 나타내는 회전각을 얻을 수 있다. 그러나 이 기법에서는 아직 보상되어야 할 오류가 존재하고, 이러한 오류가 인식률에 큰 영향을 줄 수 있다. 따라서 본 발명에서는 정규화된 3차원 얼굴 공간에서의 오류 보상 특이치 분해 방식을 제안한다. 제안 알고리즘을 통해 획득한 얼굴 포즈 추정값을 바탕으로 포즈 변화에 강인한 얼굴 인식이 가능하다. 이를 위해 본 발명에서는 3차원 얼굴 입력 데이터와 3차원 얼굴 데이터베이스를 기반으로 얼굴 포즈 추정 및 인식 과정을 수행한다.

3차원 얼굴 특징 추출 과정을 살펴보면, 기존의 얼굴 인식 알고리즘은 대부분 2차원 영상을 기반으로 발전해 왔다. 반면에 최근 2차원 영상을 이용한 기법의 한계를 극복하기 위하여 3차원 얼굴 데이터를 이용한 접근 방법이 연구되고 있다. 얼굴 데이터베이스는 모형(shape)과 텍스쳐 정보를 포함하는 3차원 레이저 스캔 방식으로 획득한 데이터이고 입력 영상으로 3차원 영역 영상을 적용한다. 3차원 영역 영상은 최근 2차원 영상에 비하여 색 성분의 변화 및 빛의 반사등에 대해서도 얼굴의 정확한 모형이 유지되는 장점으로 인하여, 얼굴 인식 분야에 최근 각광받고 있다. 현재 보유하고 있는 얼굴 데이터베이스는 3차원 꼭지점 좌표와 이에 해당되는 텍스쳐 영상으로 구성되어 있다. 각 X, Y, Z축에 대해서 -90도에서+90도까지 다양한 각도의 포즈 발생이 가능하다.

3차원 얼굴 포즈 추정 및 인식 기법은 입력 데이터와 3차원 얼굴 데이터 베이스가 동일한 공간상에서 수행되어야 한다. 입력 데이터는 데이터 베이스와는 다른 크기와 스케일로 표현될 수 있다. 즉, 일반적으로 입력 영상은 X, Y, Z축으로 회전 혹은 이동되어 있고, 이러한 입력에 대해서 데이터베이스 영상과의 효율적인 비교를 위해서는 동일한 좌표 공간에서 정합이 이루어져야 한다. 따라서, 본 발명에서는 정규화된 3차원 얼굴 공간을 정의하고 모든 얼굴 입력 영상을 동일 공간으로 정규화하여, 스케일 변화를 보상시킬 수 있는 과정을 제안한다.

입력 데이터 가 주어졌을 때, X, Y, Z축의 범위는 다양하게 변화되므로, 입력 데이터를 각 축으로 정해진 범위 내로 정규화시키는 과정이 필요하다. 이렇게 설정된 공간을 본 발명에서는 이렇게 설정된 공간을 정규화된 3차원 얼굴 공간이라 정의한다. 정규화된 3차원 얼굴 공간에 대한 예를 도 2에 나타내었다. 먼저 깊이 정보를 정해진 범위 내로 정규화시킨 후 비례적으로 X와 Y축에 대해서 정규화 과정을 수행한다. 각 축에 대한 제한된 범위 로써 다음 수학식(1)로부터 얻을 수 있다.

[수학식 1]

여기서 는 입력 데이터의 공간 좌표이다.

본 발명에서는 3차원 얼굴 영상 입력 시 얼굴의 기하학적 위치 정보를 이용하여 얼굴의 특징점을 추출하는 기법을 적용하였다. 먼저, 깊이정보를 이용하여 가장 최대점을 갖는 코 끝점(Nose Peak Point)을 추출한다. 이 점과 Y축을 포함하는 YZ평면으로 얼굴을 수직으로 나누면 얼굴은 거의 대칭이 된다. 이를 통해서 얻어진 얼굴 분할 곡선의 특징을 이용하여 5개의 얼굴 특징점을 얻는다. 이점들은 미간점, 코의 최저점, 그리고 입술에서 윗입술, 중간점, 아랫입술의 점이다. 도 3a 내지 3d에서 보는 바와 같이 기하학적 위치에 대한 정보를 이용하여 6개의 얼굴 특징점들을 자동으로 추출하였다.

대부분의 얼굴 인식에서 얼굴은 정면을 가정하는 반면 포즈 변화로 인한 효과는 고려하지 않고 있다. 심지어 3차원 얼굴인식 연구에서도 얼굴 포즈 추정과 3차원 공간 정규화 과정이 필수적인 반면, 포즈 변화의 효과는 고려되지 않고 있다. 이러한 정확한 얼굴 포즈 추정은 포즈 변화에 강인한 인식을 가능하게 할 뿐만 아니라 얼굴 인식 시스템 성능에 큰 영향을 준다. 따라서 포즈 변화에 강인한 얼굴 인식 기술을 위해서는 포즈 추정 알고리즘 개발이 필수적이다.

본 발명에서는 먼저 특이치 분해 기반으로 초기 얼굴 포즈 추정한다. 이를 통해서 얻어진 회전각을 통하여 보다 정확한 얼굴 포즈 추정값을 얻기 위하여 정규화된 3차원 얼굴 공간에서 오류 보상 과정을 수행하여 포즈 변화 추정을 보다 정확하게 수행할 수 있다. 특이치 분해 과정을 통한 회전각 추정은 다음과 같이 수행된다. 먼저 입력영상의 6개의 얼굴 특징점 의 3차원 좌표를 얻은 후, 데이터베이스의 3차원 기준 얼굴의 특징점을 라고 하면, 다음과 같은 관계를 얻을 수 있다.

[수학식 2]

여기서 는 특이치 분해를 통하여 얻은 회전 행렬이고 는 전이 벡터이다. 와 를 얻기 위해서는 특이치 분해 기법을 통하여 다음의 최소 자승 문제를 해결함으로써 가능하다.

[수학식 3]

는 3×3 회전행렬로서, 의 성질을 갖는다. 또한, 얼굴 중심을 원점으로 옮김으로써 전이 벡터는 추후 보상될 수 있다.

[수학식 4]

여기서 와 는 얼굴 특징점 집합 {}와 {}의 중심점이다. 따라서 입력 특징점과 데이터베이스의 특징점과의 공분산 행렬 을 구하기 위해 다음과 같은 과정을 수행한다.

[수학식 5]

[수학식 6]

수학식(6)으로부터 얻어진 공분산 행렬 으로부터 회전 행렬 는 다음과 같은 식을 만족해야 한다.

[수학식 7]

여기서, 행렬 에 대하여 특이치 분해 과정을 수행하면 다음과 같은 식을 얻는다.

[수학식 8]

윗 식에서 와 는 각각 고유값과 고유 벡터를 나타낸다. 따라서 행렬 에 대한 역 자승근은 다음과 같다.

[수학식 9]

여기서 이다. 따라서 수학식(9)를 수학식(7)에 대입하면 를 구할 수 있다.

여기에서는 특이치 분해를 통하여 얻어진 회전각을 기반으로 오류를 보상하는 방식을 제안한다. 제안 알고리즘은 도 4와 같이 각 축마다 발생되는 오류를 얼굴의 특징점과 정규화된 3차원 얼굴 공간을 이용하여 오류를 보상한다. 이 과정을 위해서 새로운 컴플릿 로테이션 매트릭스(complete rotation matrix) 을 정의하며, 특이치 분해로부터 얻은 결과를 포함하여 수학식(10)과 같은 새로운 식으로 전개될 수 있다.

[수학식 10]

여기서, 이며, 그리고 는 각 축으로 보상되어야 할 회전 행렬을 나타낸다. 따라서 컴플릿 로테이션 매트릭스 을 이용하면 수학식(2)는 다음과 같은 식으로 전개된다.

[수학식 11]

여기서 회전된 입력 영상에서의 특징점이고, 는 정면 영상일 경우의 얼굴의 특징점을 나타낸다. 결국 전이 벡터 도 얼굴 중심을 원점으로 이동함으로써 보상될 수 있다. 따라서 다음의 수식을 통하여 회전 행렬을 구한다.

[수학식 12]

수학식(12)에서 볼 수 있듯이 3차원 정규화 얼굴 공간에서 X, Y, Z축의 순서로 포즈 오류 보상을 독립적으로 계산한다. 따라서 다음 절에는 각 축에 대한 오류 보상 과정을 상세히 기술하고자 한다.

먼저, X축에 대한 얼굴 포즈 보상 과정은 다음과 같다. 특이치 분해 과정으로부터 얻은 각도만큼 회전한 후, X축에 존재하는 오류 를 보상하기 위해서 X축 회전 행렬만을 고려한다. 본 발명에서는 적용한 중요한 얼굴의 특징은 코끝점이다. 데이터베이스 얼굴들을 포함한 입력 얼굴의 코끝점은 정면에서 고정점 로 정규화된다. 본 발명에서 사용한 정규화된 깊이 값은 100이다. 따라서, 코끝점은 본 발명에서 정의하고 있는 정규화된 3차원 얼굴 공간에서 X축으로 역회전시 XZ 평면상의 점 에 존재해야 된다. 이는 입력 영상의 코끝점을 라고 하면 다음과 같은 수식을 통해서 구할 수 있다.

[수학식 13]

회전행렬의 성질에서 역행렬은 전치 행렬과 동일하다. 따라서 X축에 대한 회전 행렬은 다음과 같이 표현할 수 있다.

[수학식 14]

[수학식 15]

수학식(14)의 성질을 이용하여 수학식(15)을 풀면 를 얻을 수 있다.

[수학식 16]

X축에 대한 오류를 보상하고 난 후 를 보상하기 위해서, 코끝점이 X축으로의 보상으로 인해 XZ평면의 점 에 있다고 가정할 경우, Y축 회전에 의해서는 코끝점이 Z축 선상의 점 에 놓여야 한다. 따라서 다음과 같은 식이 성립된다.

[수학식 17]

[수학식 18]

수학식(18)을 풀면 다음과 같은 에 대한 결과를 얻는다.

[수학식 19]

Z축에 대한 오류를 보상하기 위해서는 더 이상 코끝점을 사용할 수 없다. 이는 이미 코끝점이 Z축선상에 존재하기 때문에 Z축에 대한 회전 행렬에 영향을 받지 않기 때문이다. 따라서 제안 알고리즘에서는 얼굴 특징의 정규 벡터를 이용하여 Y축과의 이루어진 각을 얻음으로써 오류를 보상할 수 있다. 이를 위해서 코끝의 최저점과 미간점을 이은 벡터와 Y축과 이루는 각도를 구한다. 얼굴 특징점을 연결하는 벡터를 라고 하면 정규화된 벡터는 다음과 같이 표현된다.

[수학식 20]

[수학식 21]

여기서 이다. 따라서 는 다음과 같은 식으로부터 얻을 수 있다.

[수학식 22]

[수학식 23]

여기에서는 3차원 얼굴인식을 위해서 데이터베이스와 입력에 대하여 가장 유사한 N개의 얼굴을 선택하는 알고리즘을 제안한다. 3차원 데이터베이스는 많은 데이터량으로 인하여 모든 얼굴과 동시에 비교하는 것은 많은 계산량이 요구된다. 따라서 본 발명에서는 추출된 얼굴 특징점으로부터 3차원 유사 후보(nearest neighbor) 분류기를 제안하여 입력 얼굴과 가장 유사한 N개의 얼굴들을 선택한다. 제안하는 분류기를 통하여 데이터베이스내의 모든 얼굴에 대한 인식 알고리즘을 적용하는 대신 가장 유사한 후보 얼굴에 대해서만 추후 템플릿 정합 과정을 수행할 수 있다. 이 과정은 유사한 후보 얼굴을 선택하여 방대한 계산량을 줄이고 효율성을 증가시킬 수 있다.

입력 얼굴과 데이터베이스 얼굴과의 유클리디안 거리를 비교하여 임계값 이내에 있는 얼굴들만을 선택하여 도 1과 같이 인식과 포즈 추정 알고리즘을 동시에 수행한다. 본 발명에서 적용한 특징간의 거리는 도 5에서 볼 수 있듯이 미간점, 코끝의 최저점, 그리고 코끝점이다. 유클리디안 거리는 다음과 같이 계산한다.

[수학식 24]

여기서 는 각각 미간점, 코끝의 최저점, 그리고 코끝점을 나타낸다. 본 발명에서는 다음과 같이 설정된 임계값 이내의 후보얼굴들을 입력 영상과 가장 유사한 얼굴로 결정한다.

[수학식 25]

여기서 는 후보 얼굴 선택을 위한 임계값이다. N개의 후보 얼굴이 선택되면, 최종 인식 단계인 템플릿 기반 정합 기법을 수행한다.

본 발명에서는 제안 알고리즘을 검증하기 위하여 3차원 얼굴 영역 영상과 3차원 데이터베이스를 이용하였다. 데이터베이스는 5명의 3D 얼굴 영상과 동일 기기에서 획득한 9명의 일반 3차원 얼굴을 사용하였다. 또한, 이러한 얼굴들에 대해서 다양한 포즈 변화를 통하여 입력 영상을 만들어 사용했다. 3차원 데이터베이스는 각각의 얼굴이 대략 70,000∼200,000개 정도의 공간 좌표를 갖고 있으며 이에 해당하는 텍스쳐 영상으로 구성된다.

먼저 얼굴 특징 추출 기법을 적용한 실험은 다양한 포즈 변화에 대해서 수행하였다. 도 6에 다양한 포즈 변화에 대해서 본 발명에서 적용한 얼굴의 기하학적 위치 정보를 이용하여 자동 추출한 특징점을 나타내었다. 추출된 얼굴 특징점은 6개의 점으로써 미간점, 코의 최저점, 코끝점, 윗입술점, 입술의 중심점, 아랫입술점이다. 도 6을 통하여 회전 각도를 각 축(-30도, -15도, 0도, +l5도, +30도)으로 다양하게 변화시켜도 특징점들의 추출이 잘 이루어지고 있음을 볼 수 있다. 또한 이러한 얼굴의 기하학적 위치 정보를 이용한 자동 특징 추출기법을 통하여 얼굴의 포즈 변화 추정과 인식 알고리즘에 동시에 적용시킬 수 있는 장점이 있다.

본 발명에서 제안하는 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방식은 포즈 변화된 3차원 영역 영상 입력 시 정확한 포즈 추정을 위하여 정규화된 3차원 공간에서 수행되었다. 3차원 영역 영상은 도 7에서 보는 바와 같이 X축으로 ±20도 간격으로, Y 및 Z축으로는 ±15도로 포즈를 발생시켜서 23개의 포즈에 대해서 실험을 수행하였다.

아래의 표 1에서 나타낸 특이치 분해 기법과 제안 알고리즘을 비교해 보면, 특이치 분해 기법에서 발생하는 오류는 제안 알고리즘을 통해서 매우 정확하게 보상되고 있음을 알 수 있다. 제안 알고리즘은 각 축에서 발행하는 오류를 최대 0.2도 이내의 오차로 줄임으로써 매우 정확한 포즈 추정 결과값을 얻을 수 있다. 따라서 제안 알고리즘을 통하여 포즈 변화에 강인한 얼굴 인식 알고리즘이 가능함을 실험결과를 통하여 확인하였다.

[표 1]

3차원 얼굴 인식을 위한 후보 얼굴 선택 알고리즘을 수행한 결과를 아래의 표 2에 나타내었다. 결과에서 볼 수 있듯이 추출된 특징간의 거리를 기반으로 한 3차원 유사 후보 분류기에 의하여 데이터베이스 내부에서 가장 유사한 N개의 후보 얼굴들만을 선택한다. 후보 얼굴 선택을 위하여 임계값 값을 4로 정하고 정해진 임계값 이내에 있는 얼굴만을 선택하는 알고리즘을 수행하였다. 선택된 후보 얼굴중에서 정합이 잘 되는 얼굴이 가장 최소값을 갖는 결과를 얻었다. 즉, 정합되어야 할 얼굴과의 특징 거리는 최대 6×10^-6으로써 포즈 변화에 강인한 인식 알고리즘 적용이 가능하다. 이는 포즈 추정과 특징간의 거리를 동시에 사용함으로써 포즈 변화에 강인한 최종 인식을 위해 매우 적합한 결과이다. 궁극적으로 3차원 유사 후보 분류기를 이용함으로써 데이터베이스가 방대해질 경우 후보 얼굴을 선택하는 것은 템플릿 정합과정 시 계산상의 이득을 볼 수 있다.

[표 2]

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 또한 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 기재된 청구범위 내에 있게 된다.

이상에서 설명한 바와 같이 본 발명에 따른 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법에 의하면, 본 발명에서는 포즈 변화에 강인한 3차원 얼굴 인식을 위하여 얼굴 특징점을 추출하여 오류 보상 특이치 분해를 기반으로 한 얼굴 포즈 추정 방식을 제안하였다. 얼굴의 기하학적 위치정보를 이용하여 다양한 포즈에 대해서 미간점, 코의 최저점, 코끝점, 윗입술점, 입술의 중심점, 아랫입술점을 자동 추출하였다. 또한 추출된 특징점을 이용하여 3차원 얼굴 포즈 추정을 수행하였고, 템플릿 정합 인식 알고리즘 적용시 계산상의 이득을 위한 N개의 후보 얼굴 선택할 수 있는 3차원 유사 후보(nearest neghibor) 분류기에 적용하였다. 실험 결과에서도 알 수 있듯이 포즈 변화된 영상 입력시 얼굴의 기하학적 위치를 기반으로 특징점을 추출하여 포즈 추정과 인식 알고리즘에 동시에 적용시킨다. 이러한 추출 기법은 조명 변화에 강인한 추출기법으로도 적용될 수 있다. 또한, 본 발명에서 제안하는 오류 보상 특이치 기반 얼굴 포즈 추정 기법을 통하여 오류 각도가 각 축에 대해서 평균 0.2도내로 매우 정확한 결과값을 얻었다. 즉, 제안 알고리즘은 포즈 추정 오류로 인한 인식률 저하를 최소화시킴을 확인하였다. 3차원 유사 후보 분류기는 데이터베이스내에서 가장 유사한 후보 얼굴을 선택함으로써 템플릿 정합 시 정합시키는 대상의 개수를 줄일 수 있다. 따라서, 데이터베이스가 방대할 경우 계산상의 이득을 얻을 수 있고 궁극적으로 포즈 변화에 강인한 3차원 얼굴 인식 알고리즘으로 확대·적용될 수 있다. 현재 보유하고 있는 데이터의 개수가 한정되어 있기 때문에 보다 많은 데이터 획득 후 템플릿 정합 알고리즘에 대한 연구와 함께 조명 변화에 강인한 3차원 얼굴 인식 기술에 대한 연구가 병행되어야 한다.

도 1은 본 발명에 따른 3차원 얼굴 인식을 위한 오류 보상 특이치 분해기반 얼굴 포즈 추정 방법의 알고리즘 블록도.

도 2는 정규화된 3차원 얼굴 공간을 나타낸 도면.

도 3a 내지 3d는 3차원 얼굴 특징 추출을 나타낸 도면.

도 4는 오류 보상 특이치 분해 과정을 나타낸 도면.

도 5는 3차원 특징 거리 측정을 나타낸 도면.

도 6은 다양한 포즈에서의 3차원 얼굴 특징 추출을 나타낸 도면.

도 7은 다양한 포즈 변화를 위한 실험 영상을 나타낸 도면.

Claims (10)

1. 통상의 얼굴 인식 시스템에 있어서,

   입력된 기하학적 얼굴 특징 구조를 기반으로 3차원 얼굴 특징점을 추출하고,

   추출된 3차원 얼굴 특징점을 이용하여 오류 보상 특이치 분해 기법을 적용하여 입력 영상에 대한 3차원 얼굴 포즈 추정을 수행하되,

   정규화된 3차원 얼굴 공간에서의 오류 보상 특이치 분해 방식을 수행하기 위하여 3차원 얼굴 입력 데이터와 3차원 얼굴 데이터베이스를 기반으로 얼굴 포즈 추정 및 인식 과정을 수행하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
2. 제 1항에 있어서,

   효율적인 얼굴 인식을 위하여 데이터베이스에서의 입력에 대하여 가장 유사한 N개의 3차원 후보 얼굴을 선택하는 3차원 유사 후보 분류 과정을 더 포함하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
3. 제 1항에 있어서,

   후보 얼굴 선택과 다양한 포즈에 대한 추정 결과를 통하여 후보 얼굴 포즈를 조정하는 과정을 더 포함하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
4. 제 1항에 있어서,

   정규화된 3차원 얼굴 공간을 정의하고 모든 얼굴 입력 영상을 동일 공간으로 정규화하여, 스케일 변화를 보상시킬 수 있는 과정을 더 포함하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
5. 제 1항에 있어서,

   3차원 얼굴 영상 입력 시 얼굴의 기하학적 위치 정보를 이용하여 얼굴의 특징점을 추출하되, 깊이정보를 이용하여 가장 최대점을 갖는 코끝점을 추출한 후, 이 점과 Y축을 포함하는 YZ평면으로 얼굴을 수직으로 나누면 얼굴은 거의 대칭이 되도록 하고, 이를 통해서 얻어진 얼굴 분할 곡선의 특징을 이용하여 미간점, 코의 최저점, 그리고 입술에서 윗입술, 중간점, 아랫입술의 점의 5개의 얼굴 특징점을 얻는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
6. 제 1항에 있어서,

   상기 특이치 분해 기반으로 초기 얼굴 포즈를 추정함에 있어, 이를 통해서 얻어진 회전각을 통하여 보다 정확한 얼굴 포즈 추정값을 얻기 위하여 정규화된 3차원 얼굴 공간에서 오류 보상 과정을 수행하여 포즈 변화 추정을 보다 정확하게 수행할 수 있도록 하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
7. 제 1항에 있어서,

   상기 특이치 분해를 통하여 얻어진 회전각을 기반으로 오류를 보상하는 방식에 있어, 각 축마다 발생되는 오류를 얼굴의 특징점과 정규화된 3차원 얼굴공간을 이용하여 오류를 보상하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
8. 제 1항에 있어서,

   상기 추출된 얼굴 특징점으로부터 3차원 유사 후보 분류기를 제안하여 입력 얼굴과 가장 유사한 N개의 얼굴들을 선택하되, 입력 얼굴과 데이터베이스 얼굴과의 유클리디안 거리를 비교하여 임계값 이내에 있는 얼굴들만을 선택하여 인식과 포즈 추정 알고리즘을 동시에 수행하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
9. 통상의 얼굴 인식 시스템에 있어서,

   입력된 기하학적 얼굴 특징 구조를 기반으로 3차원 얼굴 특징점을 추출하고, 추출된 3차원 얼굴 특징점을 이용하여 오류 보상 특이치 분해 기법을 적용하여 입력 영상에 대한 3차원 얼굴 포즈 추정을 수행하되, 정규화된 3차원 얼굴 공간에서의 오류 보상 특이치 분해 방식을 수행하기 위하여 3차원 얼굴 입력 데이터와 3차원 얼굴 데이터베이스를 기반으로 얼굴 포즈 추정 및 인식 과정과;

   효율적인 얼굴 인식을 위하여 데이터베이스에서의 입력에 대하여 가장 유사한 N개의 3차원 후보 얼굴을 선택하는 3차원 유사 후보 분류 과정과;

   후보 얼굴 선택과 다양한 포즈에 대한 추정 결과를 통하여 후보 얼굴 포즈를 조정하는 과정과;

   정규화된 3차원 얼굴 공간을 정의하고 모든 얼굴 입력 영상을 동일 공간으로 정규화하여, 스케일 변화를 보상시킬 수 있는 과정을 포함하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
10. 제 9항에 있어서,

    3차원 얼굴 영상 입력 시 얼굴의 기하학적 위치 정보를 이용하여 얼굴의 특징점을 추출하되, 깊이정보를 이용하여 가장 최대점을 갖는 코끝점을 추출한 후, 이 점과 Y축을 포함하는 YZ평면으로 얼굴을 수직으로 나누면 얼굴은 거의 대칭이 되도록 하고, 이를 통해서 얻어진 얼굴 분할 곡선의 특징을 이용하여 미간점, 코의 최저점, 그리고 입술에서 윗입술, 중간점, 아랫입술의 점의 5개의 얼굴 특징점을 얻는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.