KR100955255B1 - 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법 - Google Patents
얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법 Download PDFInfo
- Publication number
- KR100955255B1 KR100955255B1 KR1020080033056A KR20080033056A KR100955255B1 KR 100955255 B1 KR100955255 B1 KR 100955255B1 KR 1020080033056 A KR1020080033056 A KR 1020080033056A KR 20080033056 A KR20080033056 A KR 20080033056A KR 100955255 B1 KR100955255 B1 KR 100955255B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- internal
- change
- degree
- dimensional
- Prior art date
Links
- 230000007613 environmental effect Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims description 24
- 238000012937 correction Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 입력 영상으로 사용자의 2차원 얼굴 영상, 보정을 위한 DB 내 데이터로 3차원 얼굴 데이터를 사용해 내외적 환경 변화 변수(예: 포즈 및 조명 변화)를 추정하고, 추정시에는 실제 사용 환경에 적합한 학습 기반의 추정 알고리즘으로 실시간으로 동시 추정하여, 사용자 편의성 측면이라는 얼굴 인식 기술의 장점을 그대로 유지하면서 인식 성능(본인과 타인의 구별력)을 높인다.
얼굴, 포즈, 조명, 추정, 3차원
Description
본 발명은 얼굴 인식 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 얼굴의 내외적 환경 변화(예: 포즈 변화, 조명 변화) 정도를 추정하여 보정한 얼굴의 생체 정보를 이용한 얼굴 인식 장치 및 그 방법에 관한 것이다.
일반적으로, 얼굴의 생체 정보를 이용한 개인 인증 기술은 다른 생체 정보(예: 지문, 홍체, 망막 등)를 이용한 개인 인증 기술에 비해, 생체 정보 획득이 비교적 용이하고, 사용자 편의성이라는 측면에서 가장 적합한 기술이다.
이러한 기술이 사용된 통상의 도 1의 2차원 얼굴 인식 장치는 입력 2차원 얼굴 영상에서 추출한 사람의 얼굴 영역을 이용하여 내외적 환경 변화(예; 포즈, 주변 조명, 표정, 장신구 등)가 추정, 보상된 영상에서 얻은 특징 정보와, DB 내 해당 사용자의 2차원 얼굴 정보 간 비교로 최종 인식 결과를 얻게 된다.
하지만, 내외적 환경 변화에 민감한 편이어서 강인한 알고리즘만이 실제 사용 환경에 적용 가능하다.
한편, 3차원 얼굴 인식 기술은 최근 많은 연구가 진행되고 있는데, 기존의 2차원 얼굴 인식 기술에 비해 많은 장점들이 있으며, 특히, 얼굴의 내외적 환경이 변화하는 환경에서도 뛰어난 성능을 보인다.
하지만, 3차원 데이터 획득 장비의 작동 방법과 그 가격으로 인해서 아직까지 실제 응용 분야에 적용하기는 힘든 편이며, 3차원 데이터 획득을 위해서는 동작시간과 사용자의 특정 행동과 같은 사용자의 협조 등을 필요로 하는 번거로움이 있다.
그래서, 2차원 얼굴 인식 기술과는 달리 사용자 편의성이라는 얼굴 인식 기술의 최대 이점을 퇴색시킨다.
본 발명은 상기한 문제점을 해결하기 위해 개발된 것으로, 사용자 편의성 측면이라는 얼굴 인식 기술의 장점을 그대로 유지하면서, 종래 2차원 얼굴 인식 기술에서의 내외적 환경 변화 변수 추정 방법보다는 간단하면서도 좋은 결과(예: 인식 성능 향상)를 얻을 수 있는, 얼굴 인식 장치 및 그 방법을 제공하는데 목적이 있다.
그리고, 다른 목적은 실제 사용 환경에 적합한 학습 기반의 얼굴의 내외적 환경 변화 정도 추정 방법을 제공하는데 있다.
상기 목적에 따른 본 발명의 얼굴 인식 장치는
입력 2차원 영상에서 얼굴 영역을 검출하는 얼굴 검출부, 상기 얼굴 영역에서 특징 정보를 추출하는 특징 추출부, 상기 특징 정보를 사용해 정규화한 얼굴 영역에서 얼굴의 내외적 환경 변화 변수를 구하는 환경 변화 변수 산출부, 상기 환경 변화 변수와, DB 내 해당 사용자의 3차원 얼굴 데이터를 사용해 추정한 환경 변화 정도를 해당 사용자의 3차원 얼굴 데이터에 보정하는 얼굴 보정부, 상기 보정으로 나온 얼굴 정보와, 상기 특징 추출부가 추출한 특징 정보 간 비교로 인식 결과를 구하는 특징 비교부를 포함하여 이루어진 것을 특징으로 한다.
상기 목적에 따른 본 발명의 얼굴 인식 방법은
입력 2차원 영상 내의 얼굴 영역에서 특징 정보를 추출하는 단계, 상기 특징 정보를 사용해 정규화한 얼굴 영역에서 구한 내외적 환경 변화 변수와, DB 내 해당 사용자의 3차원 얼굴 데이터를 사용해 얼굴의 내외적 환경 변화 정도를 추정하는 단계, 상기 얼굴의 내외적 환경 변화 정도를 해당 사용자의 3차원 얼굴 데이터에 보정하여 나온 얼굴 정보와, 상기 특징 정보 간 비교로 인식 결과를 구하는 단계를 포함하여 이루어진 것을 특징으로 한다.
상기 얼굴의 내외적 환경 변화 정도를 추정하는 단계는 상기 내외적 환경 변화 변수를 DB 내 해당 사용자의 3차원 얼굴 데이터에 적용하여 생성한 다양하게 환경 변화된 여러 장의 2차원 얼굴 영상들을 환경 변수별로 분류하여 나온 영상을 사용해 구한 고유 얼굴에서 내외적 환경 변화 정도를 추정하는 것을 특징으로 한다.
상기 얼굴의 내외적 환경 변화 정도를 환경 변수별로 변화 정도를 구분한 클래스 형식으로 추정하는 것을 특징으로 한다.
상기 목적에 따른 본 발명의 얼굴의 내외적 환경 변화 정도 추정 방법은
입력 2차원 영상 내의 얼굴 영역에서 추출한 특징 정보를 사용해 정규화한 얼굴 영역에서 구한 내외적 환경 변화 변수를 DB 내 해당 사용자의 3차원 얼굴 데이터에 적용해 다양하게 환경 변화된 여러 장의 2차원 얼굴 영상들을 생성하는 단계, 상기 여러 장의 2차원 얼굴 영상들을 환경 변수별로 분류하여 나온 2차원 영상을 사용해 구한 해당 사용자의 고유 얼굴에서 환경 변화 정도를 추정하는 단계를 포함하여 이루어진 것을 특징으로 한다.
상기 얼굴의 내외적 환경 변화 정도를 환경 변수별로 변화 정도를 구분한 클래스 형식으로 추정하는 것을 특징으로 한다.
상기 환경 변수는 얼굴 포즈, 주변 조명인 것을 특징으로 한다.
본 발명은 입력 영상으로 2차원 얼굴 영상, 보정을 위한 DB 내 데이터로 3차원 얼굴 데이터를 사용해 얼굴의 내외적 환경 변화 변수를 추정함으로써, 사용자 편의성 측면이라는 얼굴 인식 기술의 장점을 그대로 유지하면서, 환경 변화에는 강인해져 인식 성능(본인과 타인의 구별력)을 높인다.
아울러, 내외적 환경 변화(예: 포즈 및 조명 변화)를 실시간으로 동시에 추정함으로써, 실제 환경에 적합한 추정이 이루어지게 한다.
이하, 첨부된 도면을 참조하여 본 발명을 설명한다.
도 2의 본 발명의 얼굴 인식 장치는 입력 영상으로 2차원 얼굴 영상, 보정을 위한 데이터로 3차원 얼굴 데이터를 사용하는 얼굴 인식 장치이다.
구체적으론, 입력 2차원 영상에서 얼굴 영역을 검출하는 얼굴 검출부(200), 상기 얼굴 영역에서 특징 정보를 추출하는 특징 추출부(201), 특징 정보를 사용해 정규화한 얼굴 영역에서 얼굴의 내외적 환경 변화 변수를 구하는 환경 변화 변수 산출부(202), 상기 환경 변화 변수와, DB 내 해당 사용자의 3차원 얼굴 데이터를 사용해 추정한 환경 변화 정도를 해당 사용자의 3차원 얼굴 데이터에 보정하는 얼굴 보정부(203), 그 보정으로 나온 얼굴 정보와, 상기 특징 추출부가 추출한 특징 정보 간 비교로 인식 결과를 구하는 특징 비교부(204)로 된 것이다.
이러한 장치의 동작은 다음과 같다.
먼저, 특징 추출부(201)는 얼굴 검출부(200)가 추출한 입력 2차원 영상 내의 얼굴 영역에서 특징 정보를 직접 추출한다.
즉, 종래와 같이 내외적 환경 변화가 보상된 얼굴 영역에서 특징 정보를 추출하지 않고, 보상되지 전의 얼굴 영역에서 특징 정보를 직접 추출한다.
다음, 추출한 특징 정보를 사용해 환경 변화 변수 산출부(202)가 얼굴 영역을 정규화한다.
그런 후, 정규화하여 나온 얼굴 영역에서 내외적 환경(예: 얼굴 포즈, 주변 조명) 변화 변수를 산출한다.
이어, 산출한 환경 변화 변수를 얼굴 보정부(203)가 DB 내 해당 사용자의 3차원 얼굴 데이터에 적용하여, 내외적 환경 변화 정도를 추정한다.
구체적으론 다음과 같다.
먼저, 산출한 환경 변화 변수를 DB 내 해당 사용자의 3차원 얼굴 데이터에 적용하여, 다양하게 환경 변화(예: 얼굴 포즈 변화, 주변 조명 변화)된 여러 장의 2차원 얼굴 영상들을 생성한다.
이어, 여러 장의 2차원 얼굴 영상들을 환경 변수(예: 얼굴 포즈, 주변 조명) 별로 분류한다.
다음, 분류된 2차원 영상에서 주성분 분석 (Principle Components Analysis, PCA)을 통해 해당 사용자의 고유 얼굴을 구한다.
그런 후, 해당 사용자의 고유 얼굴에서 환경(예: 얼굴 포즈, 주변 조명 등) 변화 정도를 추정한다.
특히, 클래스 형식으로 추정한다.
예컨대, "얼굴 포즈 변화 3번째 클래스" 형식으로 추정한다.
여기서, "3번째 클래스"는 『 10°~ 15° 포즈 변화, 좌측 측면 조명 형식 』등으로 특정 범위를 표현한 것이다.
상기 클래스는 환경 변수별로 변화 정도를 구분한 것이며, 1번째 클래스, 2번째 클래스, 3번째 클래스, ... 등으로 구성된다.
예컨대, 포즈 변화는 좌측 45°~ 우측 45°를 15°간격으로 나누어 1번째 클래스, 2번째 클래스, 3번째 클래스, ... 등으로 구성될 수 있다.
그리고, 조명 변화는 좌측, 정면, 우측 3개의 클래스로 구성될 수 있다
다음, 이렇게 추정된 환경 변화(예: 포즈 변화, 조명 변화) 정도를 DB 내 해당 사용자의 3차원 얼굴 데이터에 보정한다.
그런 후, 그 보정으로 나온 얼굴 정보와, 입력된 2차원 영상 내 얼굴 영역에서 직접 추출한 해당 사용자의 얼굴 특징 정보를 특징 비교부(204)가 비교한다.
그래서, 그 비교한 결과를 통해 얼굴 인식 결과를 얻게 된다.
도 2의 본 발명의 얼굴 특징 추출 과정은 내외적 환경 변화 보상이 종래와 같은 입력 영상이 아닌 데이터베이스(DB)에서 이루어져, 한 번만 수행하면 된다.
참고로, 종래는 얼굴 정규화를 위한 특징 추출과, 얼굴 비교를 위한 특징 추출을 수행해야 한다. 얼굴 정규화를 위한 특징 추출은 내외적 환경 변화가 보상되지 않은 영상에서, 얼굴 비교를 위한 특징 추출은 내외적 환경 변화가 보상된 영상에서 수행된다.
도 2의 본 발명의 얼굴의 내외적 환경(예: 얼굴 포즈, 주변 조명, 표정, 화장, 장신구 등) 변화 보상은 3차원 얼굴 데이터를 이용하기 때문에, 보상 과정에서 오류 영역이 발생하지 않는다.
참고로, 2차원 영상으로 내외적 환경 변화를 보상을 수행할 경우 오류 영역이 발생할 수 있다. 특히, 3차원 객체가 2차원 영상으로 사용될 때 얼굴의 구조적 정보를 대부분 잃어버리기 때문에 얼굴의 포즈 변화를 보상하여 정면 영상을 생성해야 할 경우 오류 영역이 발생할 확률이 높다.
도 3은 본 발명에 따른 얼굴의 내외적 환경 변화 구체적으론, 얼굴 포즈 변화와 주변 조명 변화를 실시간으로 동시 추정하는 학습 기반의 추정 알고리즘을 모식화한 것이다.
상기 학습 기반의 추정 알고리즘은 학습 부분과 추정 부분으로 구성된다.
먼저, 학습 부분에서는 입력 영상에서 얻은 얼굴의 내외적 환경 변화 변수를 DB 내 해당 사용자의 3차원 얼굴 데이터에 적용한다. 다음, 그 결과로 나온 다양하게 포즈 및 조명 변화된 여러 장의 2차원 얼굴 영상들을 포즈 클래스 또는 조명 클래스로 분류하고, 분류된 영상들을 사용해 2차원 - 3차원 포즈 및 조명 추정 분류기(예: 다중 계층 분류기(Multi-Layer Perceptron, MLP))를 학습시킨다.
추정 부분에서는 학습 부분에서 학습시켜 나온 얼굴 영상에서 포즈 및 조명 변화 정도를 클래스 형식으로 추정한다. 예컨대, "얼굴 포즈 및 조명 변화 3번째 클래스" 형식으로 포즈 및 조명 변화를 추정한다.
참고로, 종래는 얼굴 포즈 변화 13°, 조명 방향 좌상 17°" 형식이다.
종래와의 차이점은 포즈 및 조명 변화 정도를 클래스 형식으로 추정한다는 것이다.
이러한 추정은 정확도는 저하되나, 분석적 방법이 아닌 학습적 방법으로 이루어지므로 인해, 포즈 및 조명 변화를 실시간으로 동시에 추정 가능하게 한다.
도 4의 3차원 얼굴 데이터는 본 발명에 따른 3차원 얼굴 데이터의 예이다.
3차원 레이저 스캐너를 이용하여 획득한 BERC(Biometrics Engineering Research Center) DB로 된 것으로, 얼굴의 구조적 정보와 광학적 정보를 모두 가지고 있다.
도 5의 3차원 얼굴 데이터는 본 발명에 따른 3차원 얼굴 데이터의 다른 예로, 3차원 레이저 스캐너로 획득한 얼굴의 구조적 정보와 광학적 정보를 모두 포함 하는 FRGC(Face Recognition Grand Challenge) DB로 된 것이다.
도 6의 2차원 얼굴 영상은 BERC(Biometrics Engineering Research Center) 영상의 여러 예로, 좌 45°~ 우 45°까지 15°간격으로 포즈 변화를 가질 수 있으며, 안경을 착용하는 사람의 경우, 안경을 착용한 경우와 착용하지 않은 경우 각각에 대한 포즈 변화를 가질 수 있다.
도 7의 2차원 얼굴 영상은 FRGC(Face Recognition Grand Challenge) 영상의 여러 예로, 제어된 환경에서 고해상도 카메라 또는, 일반 환경에서 저해상도 카메라로 입력될 수 있다.
도 8의 얼굴 인식 방법은 내외적 환경 변화 변수로 얼굴 포즈 변화와 주변 조명 변화가 고려된 본 발명의 얼굴 인식 방법의 예이다.
구체적으론, 입력 2차원 영상 내의 얼굴 영역에서 직접 추출한 특징 정보를 사용해 정규화한 얼굴 영역에서 산출한 얼굴 포즈, 주변 조명 변화 변수와(S100 ~ S103), DB 내 해당 사용자의 3차원 얼굴 데이터를 사용해 클래스 형식으로 추정한 얼굴 포즈 및 주변 조명 변화 정도를(S104 ~ S106) 해당 사용자의 3차원 얼굴 데이터에 보정하고(S107), 그 보정으로 나온 얼굴 정보와, 입력 영상에서 직접 추출한 특징 정보 간 비교로 인식 결과를 얻게 된다(S108).
종래와의 차이점은 내외적 환경 변화 보상이 입력 영상이 아니고, 데이터베이스에서 이루어진다는 것이다.
즉, 내외적 환경 변화가 보상되기 전의 입력 2차원 얼굴 영상에서 직접 추출한 특징 정보를 이용해 얻은 내외적 환경 변화 변수를 데이터베이스에 반영해 생성한 입력 영상과 동일한 환경의 데이터베이스에서 이루어진다는 것이다.
* 실험 결과 및 분석
(참조 논문: 제20회 영상처리 및 이해에 관한 워크샵 2008.2.20-2.22. 포즈 및 조명 변화에 강인한 얼굴인식 시스템 양욱일, 손광훈 연세대학교 전기전자공학과 생체인식연구센터)
본 발명의 얼굴 인식 시스템에 대한 실험 및 분석 과정은 다음과 같다.
본 실험에서는 BERC 데이터베이스를 이용하였다.
먼저, BERC 3차원 얼굴 데이터와 openGL 프로그램밍으로 좌 45°~ 우 45°범위에서 1°간격으로 포즈 변화된 2차원 얼굴 영상을 생성하며, 각 영상은 좌측, 정면, 우측 3가지 조명 효과 가운데 하나의 조명 효과를 가진다.
다음, 이렇게 생성된 2차원 얼굴 영상을 적절한 클래스로 구분하고, 주성분 분석(Principle Components Analysis, PCA)을 통해 고유 얼굴을 구한다.
그런 후, 그 고유 얼굴을 이용하여 얼굴 영상을 특징 벡터로 변환하고, 각 포즈 간의 벡터 거리를 계산한 후, 이를 이용하여 포즈 간 평균 벡터 거리를 계산 한다.
[표 1]은 각 포즈 간 평균 벡터 거리의 예이다.
| ID 001 | 정면° | 좌 5° | 좌 10° | 좌 15° | .. |
| 정면 | 0 | ||||
| 좌 5° | 372.63 | 0 | |||
| 좌 10° | 1103.82 | 468.37 | 0 | ||
| 좌 15° | 2598.77 | 1273.40 | 668.31 | 0 | |
| .. |
[표 2]는 포즈 간 평균 벡터 거리를 이용하여 구한 포즈 클래스 분류 결과로, 좌 45°~ 우 45° 범위의 포즈 변화가 총 13개의 클래스로 구분된다. 조명 변화의 경우 좌, 정면, 우 3개의 클래스로 구분된다.
| 클래스 | 범위 | 대표값 | 클래스 | 범위 | 대표값 |
| 정면 | 좌 8° ~ 우 8° | ||||
| 좌 1 | ~ 좌 20° | 14° | 우 1 | ~우 20° | 14° |
| 좌 2 | ~ 좌 26° | 23° | 우 2 | ~우 26° | 23° |
| 좌 3 | ~ 좌 31° | 29° | 우 3 | ~우 31° | 29° |
| 좌 4 | ~ 좌 36° | 33° | 우 4 | ~우 36° | 33° |
| 좌 5 | ~ 좌 41° | 39° | 우 5 | ~우 41° | 39° |
| 좌 6 | ~ 좌 45° | 43° | 우 6 | ~우 45° | 43° |
참고로, 각 클래스의 대표 벡터와 경계 벡터 사이의 벡터 거리가 일정 임계치 이하가 되게 클래스를 구분하였다. 임계치를 증가시킬 경우 포즈 클래스 수가 감소하고, 임계치를 감소시킬 경우 포즈 클래스 수가 증가한다. 우측 포즈 변화의 경우 좌측 결과와 대칭성을 이루게 한 것이다.
다음, [표 2]의 클래스 구분에 따라 포즈 분류기, 조명 분류기를 각각 학습한다. 학습 결과 평가를 위해 한 실험 결과는 [표 3]과 [표 4]에 나타나 있다. [표 3]은 포즈 추정, [표 4]는 조명 추정 실험 결과이다.
| 실험 1 | 실험 2 | |
| 학습데이터 | BERC 200명 (임의선택) x 91 포즈 변화 x 3 조명 변화 | BERC 300명 x 91 포즈 변화 x 3 조명 변화 |
| 테스트 데이터 | BERC 100명 (나머지) x 91 포즈 변화 x 3 조명 변화 | BERC 스테레오 300명 x 7 포즈 변화 |
| 정확도 | 91.0% (100회 반복 결과) | 96.38% (4048 / 4200) |
| 실험 1 | 실험 2 | |
| 학습데이터 | BERC 200명 (임의선택) x 91 포즈 변화 x 3 조명 변화 | BERC 300명 x 91 포즈 변화 x 3 조명 변화 |
| 테스트 데이터 | BERC 100명 (나머지) x 91 포즈 변화 x 3 조명 변화 | FRGC 2차원 데이터 |
| 정확도 | 99.3% (100회 반복 결과) | 98.79% (11197 / 11334) |
[표 5]는 추정된 포즈 변화 및 조명 변화 변수를 기반으로 3차원 얼굴 데이터와 openGL 프로그래밍을 이용하여 환경 변화 정도가 적용된 3차원 얼굴 데이터를 생성하고, 이 생성된 3차원 얼굴 데이터와 입력 영상을 비교하여 나온 최종 인식 결과인 것이다.
| 실험 1 | 실험 2 | |
| 학습데이터 | BERC 3D 300명 | FRGC 3D 285명 x 3 데이터 |
| 테스트 데이터 | BERC 스테레오 300명 x 7 포즈 변화 | FRGC 2차원 데이터 |
| 정확도 | 95.67% (2009/2100) | 92.39% (10472 / 11334) |
도 1은 종래 2차원 얼굴 인식 장치 블록구성도
도 2는 본 발명의 얼굴 인식 장치 블록구성도
도 3은 본 발명의 얼굴의 내외적 환경 변화 정도 추정 방법 모식도
도 4는 본 발명의 BERC(Biometrics Engineering Research Center) DB로 된 3차원 얼굴 데이터 예시도
도 5는 본 발명의 FRGC(Face Recognition Grand Challenge) DB로 된 3차원 얼굴 데이터 예시도
도 6은 본 발명의 BERC DB로 된 2차원 얼굴 영상 예시도
도 7은 본 발명의 FRGC DB로 된 2차원 얼굴 영상 예시도
도 8은 본 발명의 얼굴 인식 방법 플로우 챠트
* 도면의 주요 부분에 대한 부호의 설명 *
200 : 얼굴 검출부 201 : 특징 추출부
202 : 환경 변화 변수 산출부 203 : 얼굴 보정부
204 : 특징 비교부
Claims (7)
- 입력 2차원 영상에서 얼굴 영역을 검출하는 얼굴 검출부;상기 얼굴 영역에서 특징 정보를 추출하는 특징 추출부;상기 특징 정보를 사용해 정규화한 얼굴 영역에서 얼굴의 내외적 환경 변화 변수를 구하는 환경 변화 변수 산출부;상기 얼굴의 내외적 환경 변화 변수와, DB 내 해당 사용자의 3차원 얼굴 데이터를 사용해 추정한 환경 변화 정도를 해당 사용자의 3차원 얼굴 데이터에 보정하는 얼굴 보정부;상기 보정으로 나온 얼굴 정보와, 상기 특징 추출부가 추출한 특징 정보 간 비교로 인식 결과를 구하는 특징 비교부를 포함하여 이루어진 얼굴 인식 장치.
- 입력 2차원 영상 내의 얼굴 영역에서 특징 정보를 추출하는 단계;상기 특징 정보를 사용해 정규화한 얼굴 영역에서 구한 내외적 환경 변화 변수와, DB 내 해당 사용자의 3차원 얼굴 데이터를 사용해 얼굴의 내외적 환경 변화 정도를 추정하는 단계;상기 얼굴의 내외적 환경 변화 정도를 해당 사용자의 3차원 얼굴 데이터에 보정하여 나온 얼굴 정보와, 상기 특징 정보 간 비교로 인식 결과를 구하는 단계를 포함하여 이루어진 얼굴 인식 방법.
- 제 2 항에 있어서,상기 얼굴의 내외적 환경 변화 정도를 추정하는 단계는상기 내외적 환경 변화 변수를 DB 내 해당 사용자의 3차원 얼굴 데이터에 적용하여 생성한 다양하게 환경 변화된 여러 장의 2차원 얼굴 영상들을 환경 변수별로 분류하여 나온 영상을 사용해 구한 고유 얼굴에서 내외적 환경 변화 정도를 추정하는 얼굴 인식 방법.
- 제 3 항에 있어서,상기 얼굴의 내외적 환경 변화 정도를환경 변수별로 변화 정도를 구분한 클래스 형식으로 추정하는 얼굴 인식 방법.
- 입력 2차원 영상 내의 얼굴 영역에서 추출한 특징 정보를 사용해 정규화한 얼굴 영역에서 구한 내외적 환경 변화 변수를 DB 내 해당 사용자의 3차원 얼굴 데이터에 적용해 다양하게 환경 변화된 여러 장의 2차원 얼굴 영상들을 생성하는 단계;상기 여러 장의 2차원 얼굴 영상들을 환경 변수별로 분류하여 나온 2차원 영상을 사용해 구한 해당 사용자의 고유 얼굴에서 환경 변화 정도를 추정하는 단계를 포함하여 이루어진 얼굴의 내외적 환경 변화 정도 추정 방법.
- 제 5 항에 있어서,상기 여러 장의 2차원 얼굴 영상들을 환경 변수별로 분류하여 나온 2차원 영상을 사용해 구한 해당 사용자의 고유 얼굴에서 환경 변화 정도를 추정하는 단계에서는환경 변수별로 변화 정도를 구분한 클래스 형식으로 해당 사용자의 고유 얼굴에서 환경 변화 정도를 추정하는 얼굴의 내외적 환경 변화 정도 추정 방법.
- 제 6 항에 있어서,상기 환경 변수는얼굴 포즈, 주변 조명인 얼굴의 내외적 환경 변화 정도 추정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080033056A KR100955255B1 (ko) | 2008-04-10 | 2008-04-10 | 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080033056A KR100955255B1 (ko) | 2008-04-10 | 2008-04-10 | 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090107666A KR20090107666A (ko) | 2009-10-14 |
| KR100955255B1 true KR100955255B1 (ko) | 2010-04-30 |
Family
ID=41551135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080033056A KR100955255B1 (ko) | 2008-04-10 | 2008-04-10 | 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100955255B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10331941B2 (en) | 2015-06-24 | 2019-06-25 | Samsung Electronics Co., Ltd. | Face recognition method and apparatus |
| US10733422B2 (en) | 2015-06-24 | 2020-08-04 | Samsung Electronics Co., Ltd. | Face recognition method and apparatus |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101276204B1 (ko) * | 2010-05-11 | 2013-06-20 | 한국전자통신연구원 | 멀티모달 융합을 위한 환경변수 측정방법 |
| KR101538935B1 (ko) * | 2013-05-28 | 2015-07-24 | 주식회사 포디컬쳐 | 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005084815A (ja) | 2003-09-05 | 2005-03-31 | Toshiba Corp | 顔認識装置、顔認識方法および通行制御装置 |
| KR20050042369A (ko) * | 2003-11-01 | 2005-05-09 | 학교법인연세대학교 | 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법 |
| JP2005316888A (ja) | 2004-04-30 | 2005-11-10 | Japan Science & Technology Agency | 顔認識システム |
-
2008
- 2008-04-10 KR KR1020080033056A patent/KR100955255B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005084815A (ja) | 2003-09-05 | 2005-03-31 | Toshiba Corp | 顔認識装置、顔認識方法および通行制御装置 |
| KR20050042369A (ko) * | 2003-11-01 | 2005-05-09 | 학교법인연세대학교 | 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법 |
| JP2005316888A (ja) | 2004-04-30 | 2005-11-10 | Japan Science & Technology Agency | 顔認識システム |
Non-Patent Citations (1)
| Title |
|---|
| 논문:전자공학회지 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10331941B2 (en) | 2015-06-24 | 2019-06-25 | Samsung Electronics Co., Ltd. | Face recognition method and apparatus |
| US10733422B2 (en) | 2015-06-24 | 2020-08-04 | Samsung Electronics Co., Ltd. | Face recognition method and apparatus |
| US11386701B2 (en) | 2015-06-24 | 2022-07-12 | Samsung Electronics Co., Ltd. | Face recognition method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090107666A (ko) | 2009-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kusakunniran et al. | Recognizing gaits across views through correlated motion co-clustering | |
| US20070053590A1 (en) | Image recognition apparatus and its method | |
| Shermina | Illumination invariant face recognition using discrete cosine transform and principal component analysis | |
| Nigam et al. | Designing an accurate hand biometric based authentication system fusing finger knuckleprint and palmprint | |
| CN103530599A (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
| Choi et al. | Shadow compensation in 2D images for face recognition | |
| CN114270417A (zh) | 能够更新注册人脸模板的人脸识别系统及方法 | |
| Ruprah | Face Recognition Based on PCA Algorithm | |
| KR20080067793A (ko) | 부분공간과 선형벡터양자화 분류기에 기반한 실시간 얼굴인식 | |
| Hongtao et al. | Face recognition using multi-feature and radial basis function network | |
| KR100955255B1 (ko) | 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법 | |
| Said et al. | Fast and efficient 3D face recognition using wavelet networks | |
| Mohamed et al. | Automated face recogntion system: Multi-input databases | |
| Xu et al. | Robust shape-feature-vector-based face recognition system | |
| Sun et al. | Using backpropagation neural network for face recognition with 2D+ 3D hybrid information | |
| KR100723417B1 (ko) | 얼굴 인식 방법, 그 장치, 이를 위한 얼굴 영상에서 특징추출 방법 및 그 장치 | |
| Singh et al. | Face liveness detection through face structure analysis | |
| Sharma et al. | Face recognition using face alignment and PCA techniques: a literature survey | |
| Das | Comparative analysis of PCA and 2DPCA in face recognition | |
| Makwana et al. | Comparison of different algorithm for face recognition | |
| Bhanushree et al. | Feature Based Face Recognition using Machine Learning Technniques | |
| CN114373091A (zh) | 基于深度学习融合svm的步态识别方法 | |
| KR20070097636A (ko) | 조명 변화에 강인한 얼굴 검출 방법 | |
| Bicalho et al. | Solving the face growth problem in the biometrie face recognition using photo-anthropometric ratios by iris normalization | |
| Upraity et al. | Efficient face recognition using morphological operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20080410 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20091026 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20100408 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20100421 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20100422 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20130122 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20130122 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20140219 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20140219 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20160425 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160425 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20170417 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170417 Start annual number: 8 End annual number: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20180416 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180416 Start annual number: 9 End annual number: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20190415 Year of fee payment: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190415 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200513 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220419 Start annual number: 13 End annual number: 13 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20250202 |