KR101653278B1

KR101653278B1 - Face tracking system using colar-based face detection method

Info

Publication number: KR101653278B1
Application number: KR1020160039961A
Authority: KR
Inventors: 오성권; 김진율
Original assignee: 수원대학교산학협력단
Priority date: 2016-04-01
Filing date: 2016-04-01
Publication date: 2016-09-01

Abstract

본 발명은 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에 관한 것으로서, 보다 구체적으로는 입력 영상으로부터 HCbCr 색 공간의 피부색 정보를 이용하여 얼굴을 검출하는 얼굴 검출 모듈(100), 상기 얼굴 검출 모듈(100)을 통해 검출된 얼굴이 추적 대상인지를 인식하는 얼굴 인식 모듈(200), 및 상기 얼굴 인식 모듈(200)로부터 인식된 얼굴이 추적 대상일 경우, 상기 얼굴을 추적하는 얼굴 추적 모듈(300)을 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에 따르면, HOG 특징 벡터 및 SVM 분류기를 이용하여 입력되는 영상으로부터 객체의 상반신을 검출하고, 검출된 객체의 상반신에서 조명 변화에 대해 민감하지 않고, 색 분포의 밀집도가 높아 피부색을 잘 검출하는 HCbCr 색 공간의 피부색 정보 및 haar-like 특징을 통해 얼굴을 검출함으로써, 조명 변화에 영향을 덜 받고, 입력 영상 내에서 얼굴을 보다 정확하게 검출할 수 있다.
또한, 본 발명에 따르면, PCA 및 (2D)²PCA를 이용하여 패턴 분류기에 입력될 데이터의 차원을 축소하여 불필요한 높은 차원에 의한 연산량을 줄임으로써, 입력 영상에서 검출된 얼굴이 추적 대상인지 여부를 보다 빠르고 정확하게 인식할 수 있다.More particularly, the present invention relates to a face detection module (100) for detecting a face using skin color information of an HCbCr color space from an input image, a face detection module And a face tracking module 300 for tracking the face when the face recognized by the face recognition module 200 is a tracking object, And includes the constitutional features thereof.
According to the real-time face tracking system using the color-based face detection proposed in the present invention, the upper body of the object is detected from the input image using the HOG feature vector and the SVM classifier, and the upper body of the detected object is sensitive The face is detected through the skin color information and the haar-like feature of the HCbCr color space which detects the skin color well because the density of the color distribution is high. Thus, the face is more accurately detected in the input image, .
Also, according to the present invention, by reducing the dimension of data to be input to the pattern classifier using PCA and (2D) ² PCA, it is possible to reduce the amount of computation by unnecessarily high dimension, It is possible to recognize it more quickly and accurately.

Description

Technical Field [0001] The present invention relates to a face tracking system,

본 발명은 실시간 얼굴 추적 시스템에 관한 것으로서, 보다 구체적으로는 색상 기반 얼굴 영역 검출을 통한 실시간 얼굴 추적 시스템에 관한 것이다.The present invention relates to a real time face tracking system, and more particularly, to a real time face tracking system using color based face region detection.

최근 감시와 보안을 목적으로 많은 CCTV(Closed Circuit Television)시스템을 설치하고 운영하게 되면서, 감시 영상의 수집, 유출, 오용 및 남용으로부터 야기되는 개인정보 혹은 개인 사생활이 침해되는 사례가 급증하고 있으며, 이에 따라, 컴퓨터 비전을 이용하여 지능형 영상분석을 통한 지능형 영상 감시 시스템의 수요 또한 증가하고 있다.
Recently, as many CCTV (Closed Circuit Television) systems have been installed and operated for the purpose of monitoring and security, personal information or personal privacy caused by the collection, leakage, misuse and abuse of surveillance images has been increasingly infringed. , And the demand for intelligent video surveillance system using intelligent image analysis using computer vision is also increasing.

지능형 영상 감시 시스템은 객체 검출과 객체 인식 기술의 결합으로 추적 및 안전 감시 등에서 광범위하게 응용되고 있는데, 객체를 추적하기 위해서는 필수조건으로 객체 검출과 인식이 올바르게 수행되어야 한다. 하지만 기존의 객체를 검출하기 위해 사용된 영상 간 차분 방법 및 특징 기반 검출 방법 등은, 영상 내 객체의 형태와 조명의 변화 그리고 장애물에 의한 가려짐 등으로 정확한 객체 검출이 어렵다는 한계가 있었다.
Intelligent video surveillance system is widely used in tracking and safety surveillance by combination of object detection and object recognition technology. In order to track an object, object detection and recognition must be performed correctly. However, there is a limitation in detecting accurate objects due to changes in the shape of objects in an image, illumination changes, obstacles, and the like, which are used to detect existing objects.

이와 같은 영상에서 객체를 검출하는 기술과 관련하여, 공개특허공보 제10-2012-0050342호(발명의 명칭: 영상 객체 검출 장치 및 방법, 공개일자: 2012년 05월 18일) 등이 개시된 바 있다.With regard to a technique for detecting an object in such a video, Japanese Patent Laid-Open Publication No. 10-2012-0050342 (entitled: Video Object Detection Apparatus and Method, Published on May 18, 2012) has been disclosed .

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, HOG(Histogram of Oriented Gradient) 특징 벡터 및 SVM(Support Vector Machine) 분류기를 이용하여 입력되는 영상으로부터 객체의 상반신을 검출하고, 검출된 객체의 상반신에서 조명 변화에 대해 민감하지 않고, 색 분포의 밀집도가 높아 피부색을 잘 검출하는 HCbCr 색 공간의 피부색 정보 및 haar-like 특징을 통해 얼굴을 검출함으로써, 조명 변화에 영향을 덜 받고, 입력 영상 내에서 얼굴을 보다 정확하게 검출할 수 있는, 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. The present invention detects an upper body of an object from an input image using a Histogram of Oriented Gradient (HOG) feature vector and SVM (Support Vector Machine) And detects the face through skin color information and haar-like feature of HCbCr color space which is not sensitive to illumination change in the upper half of detected object and has high density of color distribution and detects skin color well. And real time face tracking system based on color-based face detection that can detect a face more accurately in an input image.

또한, 본 발명은, 주성분 분석법(Principal Componet Analysis, 이하 ‘PCA’라 함) 및 (2D)²PCA를 이용하여 패턴 분류기에 입력될 데이터의 차원을 축소하여 불필요한 높은 차원에 의한 연산량을 줄임으로써, 입력 영상에서 검출된 얼굴이 추적 대상인지 여부를 보다 빠르고 정확하게 인식할 수 있는, 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템을 제공하는 것을 다른 목적으로 한다.In addition, the present invention reduces the amount of data to be input to the pattern classifier using Principal Component Analysis (PCA) and (2D) ² PCA to reduce the amount of computation by unnecessarily high dimension, It is another object of the present invention to provide a real-time face tracking system through color-based face detection, which can more quickly and accurately recognize whether a face detected in an input image is a tracking object.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템은,According to an aspect of the present invention, there is provided a real-time face tracking system using color-based face detection,

실시간 얼굴 추적 시스템으로서,As a real time face tracking system,

입력 영상으로부터 HCbCr 색 공간의 피부색 정보를 이용하여 얼굴을 검출하는 얼굴 검출 모듈;A face detection module for detecting a face using skin color information of an HCbCr color space from an input image;

상기 얼굴 검출 모듈을 통해 검출된 얼굴이 추적 대상인지를 인식하는 얼굴 인식 모듈; 및A face recognition module for recognizing whether a face detected through the face detection module is a tracking object; And

상기 얼굴 인식 모듈로부터 인식된 얼굴이 추적 대상일 경우, 상기 얼굴을 추적하는 얼굴 추적 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
And a face tracking module for tracking the face when the face recognized by the face recognition module is a tracking object.

바람직하게는, 상기 얼굴 검출 모듈은,Preferably, the face detection module includes:

상기 입력 영상으로부터 객체의 HOG 특징 벡터를 추출하는 HOG 특징 벡터 추출부;A HOG feature vector extractor for extracting a HOG feature vector of the object from the input image;

상기 HOG 특징 벡터 추출부로부터 추출된 HOG 특징 벡터를 바탕으로, 상기 입력 영상에 있는 객체의 상반신을 검출하는 SVM 분류기; 및An SVM classifier for detecting an upper body of an object in the input image based on the HOG feature vector extracted from the HOG feature vector extracting unit; And

상기 SVM 분류기를 통해 검출된 객체의 상반신에서 HCbCr 색 공간의 피부색 정보를 이용하여 피부 영역을 검출하는 피부 영역 검출부를 포함하되,And a skin region detection unit for detecting a skin region using skin color information of an HCbCr color space in an upper half of an object detected through the SVM classifier,

상기 피부 영역 검출부로부터 검출된 피부 영역 내에서 Haar-like 특징을 이용하여, 눈을 검출하고, 상기 검출된 두 눈 사이의 거리를 바탕으로 얼굴을 검출할 수 있다.
It is possible to detect the eye using the Haar-like feature in the skin region detected by the skin region detecting unit and detect the face based on the distance between the two eyes.

바람직하게는, 상기 얼굴 인식 모듈은,Preferably, the face recognition module includes:

PCA 및 (2D)²PCA를 이용하여, 상기 얼굴 검출 모듈로부터 검출된 얼굴의 데이터의 차원을 축소하는 전처리부를 포함할 수 있다.
And a preprocessing unit for reducing the dimension of the face data detected from the face detection module by using PCA and (2D) ² PCA.

바람직하게는, 얼굴 인식 모듈은,Preferably, the face recognition module comprises:

학습 영상 데이터베이스를 바탕으로 학습된 FCM(Fuzzy C-means) 기반 RBF 뉴럴네트워크(Radical Basis Function Neural Network) 패턴 분류기를 이용하여, 상기 얼굴 검출 모듈로부터 검출된 얼굴이 추적 대상인지를 인식하되,Recognizing whether a face detected from the face detection module is to be tracked using a learned fuzzy C-means (FCM) based RBF neural network pattern classifier based on a learning image database,

상기 FCM 기반 RBF 뉴럴네트워크 패턴 분류기는,Wherein the FCM-based RBF neural network pattern classifier comprises:

상기 학습 영상 데이터베이스 중 입력되는 학습 영상으로부터, HOG 특징 벡터 추출부 및 SVM 분류기를 통해 상기 학습 영상에 있는 객체의 상반신을 검출하고, 상기 검출된 객체의 상반신에서 HCbCr 색 공간의 피부색 정보 및 haar-like 특징을 이용하여 얼굴을 검출하며, 상기 검출된 얼굴의 데이터를 PCA 및 (2D)²PCA를 이용하여 전처리한 후, 상기 전처리된 데이터를 입력받아, 각각의 학습 영상을 학습할 수 있다.
Detecting an upper half of an object in the learning image through a HOG feature vector extracting unit and an SVM classifier from a learning image input from the learning image database, and extracting skin color information of the HCbCr color space and haar- Feature, and the detected face data is preprocessed using PCA and (2D) ² PCA, and the preprocessed data is input, and each learning image can be learned.

바람직하게는,Preferably,

상기 얼굴 인식 모듈로부터 인식된 얼굴이 추적 대상일 경우, 상기 추적 모듈은 Mean-shift 알고리즘 및 히스토그램 역투영 기법을 결합하여 상기 얼굴을 추적하고,If the face recognized by the face recognition module is a tracking object, the tracking module tracks the face by combining a mean-shift algorithm and a histogram inversion method,

상기 얼굴 인식 모듈로부터 인식된 얼굴이 추적 대상이 아닌 경우, 다음 프레임 입력으로 이동하여, 얼굴을 검출하고 인식하는 것을 수행할 수 있다.If the face recognized by the face recognition module is not the object to be traced, it may be moved to the next frame input to detect and recognize the face.

본 발명에서 제안하고 있는 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에 따르면, HOG 특징 벡터 및 SVM 분류기를 이용하여 입력되는 영상으로부터 객체의 상반신을 검출하고, 검출된 객체의 상반신에서 조명 변화에 대해 민감하지 않고, 색 분포의 밀집도가 높아 피부색을 잘 검출하는 HCbCr 색 공간의 피부색 정보 및 haar-like 특징 통해 얼굴을 검출함으로써, 조명 변화에 영향을 덜 받고, 입력 영상 내에서 얼굴을 보다 정확하게 검출할 수 있다.
According to the real-time face tracking system using the color-based face detection proposed in the present invention, the upper body of the object is detected from the input image using the HOG feature vector and the SVM classifier, and the upper body of the detected object is sensitive The face is detected through the skin color information and the haar-like feature of the HCbCr color space which detects the skin color with high density of the color distribution. Thus, the face can be detected more accurately in the input image have.

또한, 본 발명에 따르면, PCA 및 (2D)²PCA를 이용하여 패턴 분류기에 입력될 데이터의 차원을 축소하여 불필요한 높은 차원에 의한 연산량을 줄임으로써, 입력 영상에서 검출된 얼굴이 추적 대상인지 여부를 보다 빠르고 정확하게 인식할 수 있다.Also, according to the present invention, by reducing the dimension of data to be input to the pattern classifier using PCA and (2D) ² PCA, it is possible to reduce the amount of computation by unnecessarily high dimension, It is possible to recognize it more quickly and accurately.

도 1은 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, 얼굴 검출 모듈의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, HOG 특징 벡터 추출부 및 SVM 분류기의 학습 과정을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, 학습된 HOG 특징 벡터 추출부 및 SVM 분류기를 통해 입력영상에서 객체의 상반신을 검출한 모습을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, 검출된 상반신에서 HCbCr 색 공간의 피부색 정보를 이용하여 피부 영역을 검출하는 과정을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, 검출된 피부 영역 내에서 haar-like 특징을 이용하여 눈을 검출하고, 검출된 두 눈 사이의 거리를 바탕으로 얼굴을 검출하는 과정을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, Mean-shift 알고리즘 및 히스토그램 역투영 알고리즘을 결합하여 실시간으로 얼굴을 추적하는 과정을 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a real-time face tracking system based on color-based face detection according to an embodiment of the present invention. FIG.
2 is a diagram illustrating a configuration of a face detection module in a real-time face tracking system through color-based face detection according to an embodiment of the present invention.
3 is a diagram illustrating a learning process of a HOG feature vector extracting unit and an SVM classifier in a real-time face tracking system using color-based face detection according to an exemplary embodiment of the present invention.
4 is a diagram showing a state in which an upper body of an object is detected in an input image through a learned HOG feature vector extracting unit and an SVM classifier in a real time face tracking system through color-based face detection according to an embodiment of the present invention.
FIG. 5 illustrates a process of detecting a skin region using skin color information of an HCbCr color space in a detected upper half body in a real time face tracking system using color-based face detection according to an exemplary embodiment of the present invention.
6 is a flowchart illustrating a method of detecting a face using a haar-like feature in a detected skin region in a real-time face tracking system using color-based face detection according to an exemplary embodiment of the present invention, FIG. 2 is a diagram illustrating a process of detecting a face with a face;
FIG. 7 is a diagram illustrating a process of tracking a face in real time by combining a mean-shift algorithm and a histogram reverse projection algorithm in a real-time face tracking system using color-based face detection according to an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템(10)은, 얼굴 검출 모듈(100), 얼굴 인식 모듈(200) 및 얼굴 추적 모듈(300)을 포함하여 구성될 수 있다. 이하에서는, 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템(10)의 각각의 구성에 대해 도면을 참조하여 상세히 설명하기로 한다.
FIG. 1 is a block diagram of a real-time face tracking system based on color-based face detection according to an embodiment of the present invention. 1, a real-time face tracking system 10 using color-based face detection according to an exemplary embodiment of the present invention includes a face detection module 100, a face recognition module 200, and a face tracking module 300 ). &Lt; / RTI > Hereinafter, each configuration of the real-time face tracking system 10 through color-based face detection according to an embodiment of the present invention will be described in detail with reference to the drawings.

얼굴 검출 모듈(100)은 입력 영상으로부터 HCbCr 색 공간의 피부색 정보를 이용하여 얼굴을 검출하는 역할을 한다. 얼굴 검출 모듈(100)의 각각의 구성에 대해서는 도 2를 참조하여 설명하기로 한다.
The face detection module 100 detects the face using the skin color information of the HCbCr color space from the input image. Each configuration of the face detection module 100 will be described with reference to FIG.

도 2는 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, 얼굴 검출 모듈의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 얼굴 검출 모듈(100)은 HOG 특징 벡터 추출부(110), SVM 분류기(120) 및 피부 영역 검출부(130)를 포함하여 구성될 수 있다.
FIG. 2 is a diagram illustrating a configuration of a face detection module in a real-time face tracking system based on color-based face detection according to an embodiment of the present invention. 2, the face detection module 100 may include a HOG feature vector extraction unit 110, an SVM classifier 120, and a skin region detection unit 130. [

HOG 특징 벡터 추출부(110)는 입력 영상으로부터 객체의 HOG 특징 벡터를 추출하는 역할을 하고, SVM 분류기(120)는 HOG 특징 벡터 추출부(110)로부터 추출된 HOG 특징 벡터를 바탕으로 입력 영상에 있는 객체의 상반신을 검출하는 역할을 한다. 도 3은 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, HOG 특징 벡터 추출부 및 SVM 분류기의 학습 과정을 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, 학습된 HOG 특징 벡터 추출부 및 SVM 분류기를 통해 입력영상에서 객체의 상반신을 검출한 모습을 도시한 도면이다. 도 3에 도시된 바와 같이, HOG 특징 벡터 추출부(110)는 다량의 상반신 이미지 및 비상반신 이미지(배경 이미지)로부터 HOG 특징 벡터를 추출하고, SVM 분류기(120)는 HOG 특징 벡터 추출부(110)로부터 추출된 HOG 특징 벡터를 바탕으로 입력되는 이미지를 상반신 이미지와 비상반신 이미지(배경 이미지)로 분류하여, 입력되는 이미지에서 상반신 이미지를 검출할 수 있도록 학습될 수 있다. 또한, 실시예에 따라, 학습된 HOG 특징 추출부(110) 및 SVM 분류기(120)는, 도 4에 도시된 바와 같이, 입력영상에서 객체의 상반신을 검출할 수 있다.
The HOG feature vector extraction unit 110 extracts the HOG feature vector of the object from the input image and the SVM classifier 120 extracts the HOG feature vector extracted from the HOG feature vector extraction unit 110, It detects the upper body of the object. FIG. 3 is a diagram illustrating a learning process of a HOG feature vector extracting unit and an SVM classifier in a real-time face tracking system using color-based face detection according to an embodiment of the present invention. FIG. 4 is a diagram showing a state in which an upper body of an object is detected in an input image through a learned HOG feature vector extraction unit and an SVM classifier in a real-time face tracking system based on color-based face detection. 3, the HOG feature vector extraction unit 110 extracts a HOG feature vector from a large amount of upper body image and non-upper body image (background image), and the SVM classifier 120 extracts a HOG feature vector extraction unit 110 ) Is classified into an upper half image and a non-upper half image (background image), and the upper half image can be detected from the input image. Also, according to the embodiment, the learned HOG feature extraction unit 110 and the SVM classifier 120 can detect the upper half of the object in the input image, as shown in FIG.

피부 영역 검출부(130)는 SVM 분류기(120)를 통해 검출된 객체의 상반신에서 HCbCr 색 공간의 피부색 정보를 이용하여 피부 영역을 검출하는 역할을 한다. 여기서 HCbCr 색 공간은 조명 변화에 민감하지 않고, 피부색 검출의 정확도를 높이기 위하여 HSV 색 공간과 YCbCr 색 공간으로부터 각각 H 요소와 CbCr 요소를 추출하여 결합한 것이다. 이하에서는, 도 5를 참조하여, 피부 영역 검출부(130)가 SVM 분류기(120)를 통해 검출된 상반신에서 HCbCr 색 공간의 피부색 정보를 이용하여 피부 영역을 검출하는 과정에 대해 설명하기로 한다.
The skin region detection unit 130 detects the skin region using the skin color information of the HCbCr color space in the upper half of the object detected through the SVM classifier 120. The HCbCr color space is extracted from the HSV color space and the YCbCr color space by extracting the H and CbCr elements, respectively, in order to increase the accuracy of the skin color detection. Hereinafter, with reference to FIG. 5, a description will be made of a process of detecting a skin region using skin color information of the HCbCr color space in the upper half of the body detected by the skin region detection unit 130 through the SVM classifier 120.

도 5는 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, 검출된 상반신에서 HCbCr 색 공간의 피부색 정보를 이용하여 피부 영역을 검출하는 과정을 도시한 도면이다. 피부 영역 검출부(130)는, SVM 분류기(120)를 통해 입력영상으로부터 검출된 객체의 상반신에서, 도 5(b)에 도시된 바와 같이, HCbCr 색 공간의 피부색 정보를 이용하고, 도 5(c)에 도시된 바와 같이, 모폴리지 연상 중 하나인 열림 연산을 수행해서 잡음을 제거하여, 도 5(d)에 도시된 바와 같이 피부 영역을 검출할 수 있다.
FIG. 5 is a diagram illustrating a process of detecting a skin region using skin color information of an HCbCr color space in a detected upper half body in a real time face tracking system based on color-based face detection according to an embodiment of the present invention. 5 (b), the skin area detection unit 130 uses the skin color information of the HCbCr color space in the upper half of the object detected from the input image through the SVM classifier 120, , It is possible to detect the skin region as shown in FIG. 5 (d) by removing the noise by performing an open operation, which is one of the parent association associations.

하지만, SVM 분류기(120)를 통해 검출된 상반신에서, 피부 영역 검출부(130)를 통해 HCbCr 색 공간의 피부색 정보를 바탕으로 검출된 피부 영역은, 얼굴 이외에도 얼굴의 피부색과 유사한 목 또는 손 등도 같이 검출될 수 있기 때문에, 보다 정확한 얼굴 검출을 위해, 얼굴 검출 모듈(100)은, 피부 영역 검출부(130)를 통해 검출된 피부 영역 내에서 Haar-like 특징을 이용하여 눈을 검출하고, 검출된 두 눈 사이의 거리를 바탕으로 보다 정확하게 얼굴을 검출할 수 있다. 이하에서는, 도 6을 참조하여, 피부 영역 검출부(130)를 통해 검출된 피부 영역 내에서 Haar-like 특징을 이용하여 눈을 검출하고, 검출된 두 눈 사이의 거리를 바탕으로 얼굴을 검출하는 과정에 대해 설명하기로 한다.
However, in the upper half of the body detected through the SVM classifier 120, the skin region detected based on the skin color information of the HCbCr color space through the skin region detecting unit 130 is detected as a face or a hand similar to the skin color of the face The face detection module 100 detects the eyes using the Haar-like feature in the skin region detected through the skin region detection unit 130, and detects the eyes of the two eyes It is possible to more accurately detect the face based on the distance between the face and the face. Hereinafter, referring to FIG. 6, a method of detecting an eye using a Haar-like feature in the skin region detected through the skin region detecting unit 130 and detecting a face based on the distance between the detected two eyes Will be described.

도 6은 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, 검출된 피부 영역 내에서 haar-like 특징을 이용하여 눈을 검출하고, 검출된 두 눈 사이의 거리를 바탕으로 얼굴을 검출하는 과정을 도시한 도면이다. 피부 영역 검출부(130)를 통해 검출된 피부 영역은 얼굴 이외에도 얼굴의 피부색과 유사한 목 또는 손 등도 같이 검출될 수 있기 때문에, 도 6에 도시된 바와 같이, 얼굴 이외에도 얼굴의 피부색과 유사한 목이 같이 검출된 피부 영역 내에서, Haar-like 특징을 이용하여 눈을 검출하고, 검출된 두 눈 사이의 거리를 바탕으로 얼굴을 검출할 수 있다.
6 is a flowchart illustrating a method of detecting a face using a haar-like feature in a detected skin region in a real-time face tracking system using color-based face detection according to an exemplary embodiment of the present invention, FIG. 2 is a diagram illustrating a process of detecting a face. Since the skin region detected through the skin region detecting unit 130 can be detected as a neck or a hand similar to the skin color of the face other than the face as well as the face, as shown in Fig. 6, Within the skin region, the eye can be detected using the Haar-like feature, and the face can be detected based on the distance between the detected two eyes.

얼굴 인식 모듈(200)은 얼굴 검출 모듈(100)을 통해 검출된 얼굴이 추적 대상인지를 인식하는 역할을 한다. 여기서, 얼굴 인식 모듈(200)은 다량의 학습 영상 데이터베이스를 바탕으로 학습된 FCM 기반 RBF 뉴럴네트워크 패턴 분류기를 이용하여 설계될 수 있으며, 얼굴 검출 모듈(100)로부터 검출된 얼굴이 추적 대상인지 여부를 인식할 수 있다. 좀 더 구체적으로, FCM 기반 RBF 뉴럴네트워크 패턴 분류기는, HOG 특징 벡터 추출부(110) 및 SVM 분류기(120)를 통해, 입력되는 다량의 학습 영상으로부터 객체의 상반신을 검출하고, 검출된 객체의 상반신에서 HCbCr 색 공간의 피부색 정보 및 Haar-like 특징을 이용하여 얼굴을 검출하며, 검출된 얼굴의 데이터를 PCA 및 (2D)²PCA를 이용하여 전처리한 데이터를 입력받아, 각각의 학습 영상을 학습할 수 있고, 학습된 정보를 바탕으로 얼굴 검출부(100)로부터 검출된 얼굴이 추적 대상인지 여부를 인식할 수 있다. 또한, 상술한 학습 과정을 통해, FCM 기반 RBF 뉴럴네트워크 패턴 분류기의 퍼지화 계수, 연결 가중치의 다항식 형태 및 노드의 수 등을 포함하는 최적의 파라미터들을 결정할 수 있다.
The face recognition module 200 recognizes whether the face detected through the face detection module 100 is a tracking object. Here, the face recognition module 200 can be designed using a learned FCM-based RBF neural network pattern classifier based on a large number of learning image databases, and can determine whether faces detected from the face detection module 100 are tracking objects Can be recognized. More specifically, the FCM-based RBF neural network pattern classifier detects an upper half of an object from a large amount of learning images input through the HOG feature vector extracting unit 110 and the SVM classifier 120, in using the color information and the Haar-like feature of HCbCr color space to detect the face, and receiving the data of the detected face pretreatment using a PCA and (2D) ² PCA data, the learning of each learning image Based on the learned information, it is possible to recognize whether or not the face detected by the face detecting unit 100 is a tracking object. In addition, through the learning process described above, it is possible to determine optimal parameters including the fuzzification coefficient of the FCM-based RBF neural network pattern classifier, the polynomial form of the connection weight, and the number of nodes.

본 발명과 같은 실시간 얼굴 추적에서 중요한 요소는 높은 얼굴 검출률과 빠른 얼굴 인식 속도이다. 하지만, 본 발명과 같이 피부색을 이용한 얼굴 검출방법으로 검출된 얼굴은 이미지의 명암도 값을 분류기의 입력 값으로 사용하기 때문에, 분류기에 입력되는 이미지의 크기에 따라 분류기의 학습 속도 및 인식 성능에 영향이 있을 수 있다. 실시예에 따라, 얼굴 검출 모듈(100)에서 HCbCr 색 공간의 피부색 정보와 Haar-like 특징을 이용한 눈 검출을 통해 얼굴을 검출할 때, 이미지의 크기를 90x90으로 변환하여 얼굴을 검출한 경우, 얼굴 검출 모듈(100)을 통해 검출된 얼굴의 데이터는 8100차원으로 생성될 수 있는데, 이와 같은 고차원의 데이터가 분류기에 입력 값으로 이용되면 분류기의 학습 속도 및 인식 성능에 영향을 줄 수 있다. 이러한 문제를 해결하기 위해 본 발명에서의 얼굴 인식 모듈(200)은, PCA 및 (2D)²PCA를 이용하여, 얼굴 검출 모듈(100)로부터 검출된 얼굴의 데이터의 차원을 축소하는 전처리부(210)를 포함할 수 있다. 여기서 PCA는 대표적인 선형변환 특징추출 방법으로서, 데이터의 공분산 행렬을 이용하여 구한 특징데이터에서 입력 데이터의 차원의 수보다 적은 수의 차원을 이용함으로써, 실제 입력보다 작은 양의 특징을 사용하는 방법이며, (2D)²PCA는 기존의 PCA 방법을 확장한 것으로, 기존의 PCA는 2차원을 1차원으로 축소하였으나 (2D)²PCA는 1차원으로 변환하지 않고 2차원 이미지의 정보를 유지하며 차원을 축소하는 방법이다.
An important factor in real time face tracking such as the present invention is high face detection rate and fast face recognition speed. However, since the face detected by the face detection method using the skin color according to the present invention uses the intensity value of the image as the input value of the classifier, it influences the learning speed and the recognition performance of the classifier according to the size of the image input to the classifier Can be. According to the embodiment, when a face is detected through eye detection using the skin color information and the Haar-like feature of the HCbCr color space in the face detection module 100, when a face is detected by converting the image size to 90x90, The face data detected through the detection module 100 can be generated in 8100 dimensions. If such high dimensional data is used as an input value to the classifier, the learning speed and the recognition performance of the classifier may be affected. In order to solve such a problem, the face recognition module 200 of the present invention includes a preprocessing unit 210 for reducing the dimension of the face data detected from the face detection module 100 by using PCA and (2D) ² PCA ). PCA is a typical linear transformation feature extraction method that uses a smaller number of features than the actual input by using a smaller number of dimensions than the number of dimensions of the input data in the feature data obtained by using the covariance matrix of data, (2D) ^{2 The} PCA is an extension of the existing PCA method. The existing PCA reduces the two dimensions to one dimension (2D). ^{2 The} PCA does not convert the one-dimensional image but maintains the information of the two- .

추적 모듈(300)은 얼굴 인식 모듈(200)로부터 인식된 얼굴이 추적 대상일 경우, Mean-shift 알고리즘 및 히스토그램 역투영 기법을 결합하여 해당 얼굴을 추적하는 역할을 한다.
The tracking module 300 combines a mean-shift algorithm and a histogram reverse projection method to track a face when the face recognized from the face recognition module 200 is a tracking object.

일반적으로, Mean-shift 알고리즘은 두 가지 확률 밀도 함수를 이용하여 객체를 탐색하고 추적하는 방법이며, 두 가지 확률 밀도 함수는 목표 모델 확률과 목표 후보 확률이다. 구체적으로는, 두 확률 밀도 함수의 유사도가 계산되고, 유사도(바테챠리야 계수)가 높은 방향으로 벡터가 생성되게 되는데, 반복 연산을 수행하며 유사도가 높은 방향으로 생성되는 벡터를 쫓아 이동하면서 추적 대상을 추적할 수 있다.
In general, the mean-shift algorithm is a method of searching and tracking an object using two probability density functions. The two probability density functions are the target model probability and the target probability. Specifically, the similarity of two probability density functions is calculated, and a vector is generated in a direction in which the degree of similarity (Batcheria's coefficient) is high. By performing repetitive calculation and moving along a vector generated in a direction of high similarity, . &Lt; / RTI >

또한, 히스토그램 역투영 기법은 현재 입력 영상에 있는 픽셀 색상 값이 추적 하고자 하는 대상에 얼마나 많이 포함되어 있는 색인지를 수치화 하는 과정으로, 추적 대상의 히스토그램을 Hm, 입력 이미지 I의 픽셀 x에서의 색상 값을 I(x)라 하면, 히스토그램 역투영 값인 W(x)는 수학식 1을 통해 구할 수 있으며, 계산된 W(x), 즉 입력 영상에 있는 픽셀 색상 값이 추적 대상에 얼마나 포함되어 있는지를 나타낸 확률 값의 분포에 대해 Mean- shift 알고리즘을 적용하여 추적 대상을 추적할 수 있다.In addition, the histogram reverse projection technique is a process of digitizing how many pixel color values included in the current input image are included in the object to be traced. The histogram of the object to be traced is Hm, the color value (X), the histogram reverse projection value W (x) can be obtained by Equation (1), and the calculated W (x), that is, how much the pixel color value in the input image is included in the tracking object The mean-shift algorithm can be applied to the distribution of the probability values to track the target.

여기서, H_m은 추적 대상의 히스토그램, I(x)는 입력 이미지 I의 픽셀 x에서의 색상 값을 나타낸다.
Here, H _m represents a histogram of the tracking object, and I (x) represents a color value at a pixel x of the input image I.

좀 더 구체적으로, 이전 영상 프레임에서의 객체의 위치를 초기 위치로 하고, 수학식 1을 통해 계산된 W(x)를 가중치로 이용하여 현재 탐색 윈도우 내에 있는 픽셀 좌표들의 가중평균 위치를 수학식 2를 통해 구하고, 수학식 2를 통해 구한 X_new가 새로운 탐색 윈도우의 중심이 되도록 탐색 윈도우를 이동시키며, 수렴할 때까지 이 과정을 반복함으로써 추적 대상을 추적할 수 있다.More specifically, the weighted average position of the pixel coordinates in the current search window is calculated using Equation (2) by using W (x) calculated from Equation 1 as a weight, with the position of the object in the previous image frame as an initial position, And moving the search window such that X _new obtained from Equation 2 becomes the center of the new search window and repeating this process until convergence can be tracked.

여기서, K는 커널함수, r_i는 현재 탐색 윈도우에서 x_i까지의 거리를 나타낸다.
Where K is the kernel function and r _i is the distance from the current search window to x _i .

이하에서는, 도 7을 참조하여, Mean-shift 알고리즘 및 히스토그램 역투영 기법을 결합하여 얼굴을 추적하는 과정에 대해 설명하기로 한다.
Hereinafter, a process of tracking a face by combining a mean-shift algorithm and a histogram inversion method will be described with reference to FIG.

도 7은 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에서, Mean-shift 알고리즘 및 히스토그램 역투영 기법을 결합하여 실시간으로 얼굴을 추적하는 과정을 도시한 도면이다. 실시예에 따라, 입력 영상에서 추적해야하는 목표 대상이 정해지면, 도 7에 도시된 바와 같이, 목표 대상의 히스토그램을 목표 모델로 저장한 후, 입력 영상에 대해서 히스토그램 역투영 기법을 이용해, 입력 영상에 있는 픽셀 색상 값이 추적해야하는 목표 모델에 얼마나 포함되어 있는지를 나타내는 확률 값 W(x)를 구하고, 확률 값 W(x)를 바탕으로 유사도를 계산하며, 유사도(바테챠리아 계수)가 높은 방향으로 생성되는 벡터를 쫓아 이동하면서 추적해야하는 목표 대상을 추적할 수 있다.
FIG. 7 is a diagram illustrating a process of tracking a face in real time by combining a mean-shift algorithm and a histogram reverse projection technique in a real-time face tracking system using color-based face detection according to an embodiment of the present invention. According to the embodiment, when the target object to be tracked in the input image is determined, as shown in FIG. 7, the histogram of the target object is stored as the target model, and then the histogram reverse projection method is used for the input image, (X), which indicates how much the pixel color value is included in the target model to be tracked, calculates the similarity based on the probability value W (x), and calculates the degree of similarity (Batateria coefficient) It is possible to trace the target object that should be tracked while moving along the generated vector.

또한, 실시예에 따라, 얼굴 인식 모듈(200)로부터 인식된 얼굴이 추적 대상이 아닌 경우, 다음 프레임 입력으로 이동하여, 얼굴 검출 모듈(100)을 통해 얼굴을 검출하고, 얼굴 인식 모듈(200)을 통해 검출된 얼굴이 추적 대상인지를 인식하며, 인식된 얼굴이 추적 대상이면 해당 얼굴을 추적하고, 추적 대상이 아니면 다시 다음 프레임으로 이동할 수 있다.
According to the embodiment, when the face recognized by the face recognition module 200 is not the object to be tracked, the face is detected by the face detection module 100 by moving to the next frame input, Recognizes whether the detected face is a tracking object, tracks the face if the recognized face is a tracking object, and moves to the next frame if it is not a tracking object.

추적 모듈(300)에서 추적의 성공 여부는 유킬리디안 거리의 오차를 기반으로 판단할 수 있는데, 미리 설정된 오차 임계값 이하일 경우에는 추적을 지속 수행하며, 미리 설정된 오차 임계값 이상일 경우에는 추적에 실패했다고 판단하고 다음 프레임으로 이동하여 얼굴을 검출하는 과정부터 다시 수행할 수 있다.
The success or failure of the tracking in the tracking module 300 can be determined based on the error of the yukilidian distance. If the tracking error is equal to or less than the preset error threshold value, the tracking is continued. If the error is equal to or greater than the predetermined error threshold value, And then move to the next frame to detect the face.

이상 설명한 바와 같이, 본 발명에서 제안하고 있는 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템에 따르면, HOG 특징 벡터 및 SVM 분류기를 이용하여 입력되는 영상으로부터 객체의 상반신을 검출하고, 검출된 객체의 상반신에서 조명 변화에 대해 민감하지 않고, 색 분포의 밀집도가 높아 피부색을 잘 검출하는 HCbCr 색 공간의 피부색 정보 및 haar-like 특징을 통해 얼굴을 검출함으로써, 조명 변화에 영향을 덜 받고, 입력 영상 내에서 얼굴을 보다 정확하게 검출할 수 있다.
As described above, according to the real-time face tracking system using the color-based face detection proposed in the present invention, the upper body of the object is detected from the input image using the HOG feature vector and the SVM classifier, By detecting faces through skin color information and haar-like features of the HCbCr color space, which is not sensitive to illumination changes and has a high density of color distribution, it is less affected by illumination changes, Can be detected more accurately.

또한, 본 발명에 따르면, PCA 및 (2D)²PCA를 이용하여 패턴 분류기에 입력될 데이터의 차원을 축소하여 불필요한 높은 차원에 의한 연산량을 줄임으로써, 입력 영상에서 검출된 얼굴이 추적 대상인지 여부를 보다 빠르고 정확하게 인식할 수 있다.
Also, according to the present invention, by reducing the dimension of data to be input to the pattern classifier using PCA and (2D) ² PCA, it is possible to reduce the amount of computation by unnecessarily high dimension, It is possible to recognize it more quickly and accurately.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.

10: 본 발명의 일실시예에 따른 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
100: 얼굴 검출 모듈 110: HOG 특징 벡터 추출부
120: SVM 분류기 130: 피부 영역 검출부
200: 얼굴 인식 모듈 300: 얼굴 추적 모듈10: Real-time face tracking system based on color-based face detection according to an embodiment of the present invention
100: Face detection module 110: HOG feature vector extraction unit
120: SVM classifier 130: skin area detection unit
200: face recognition module 300: face tracking module

Claims

As a real time face tracking system,
A face detection module (100) for detecting a face using skin color information of an HCbCr color space from an input image;
A face recognition module (200) for recognizing whether a face detected through the face detection module (100) is an object to be tracked; And
And a face tracking module (300) for tracking the face when the face recognized by the face recognition module (200) is to be tracked,
The face detection module (100)
A HOG feature vector extraction unit 110 for extracting a Histogram of Oriented Gradient (hereinafter referred to as 'HOG') feature vector of the object from the input image;
A Support Vector Machine (hereinafter referred to as SVM) classifier 120 for detecting an upper body of an object in the input image based on the HOG feature vector extracted from the HOG feature vector extraction unit 110; And
And a skin region detection unit 130 for detecting a skin region using skin color information of the HCbCr color space in the upper half of the object detected through the SVM classifier 120,
Eye is detected using the Haar-like feature in the skin region detected by the skin region detecting unit 130, a face is detected based on the distance between the detected two eyes,
The HOG feature vector extraction unit 110 is learned to extract a HOG feature vector from a large amount of upper body image and non-upper body image (background image)
The SVM classifier 120 classifies an image input based on the HOG feature vector extracted by the HOG feature vector extractor 110 into an upper body image and a non-upper body image (background image)
The face recognition module 200,
It is possible to recognize whether the face detected from the face detection module 100 is a target of tracking by using a learned fuzzy C-means (FCM) based RBF neural network pattern classifier ,
Wherein the FCM-based RBF neural network pattern classifier comprises:
The upper body of the object in the learning image is detected from the learning image input from the learning image database through the HOG feature vector extraction unit 110 and the SVM classifier 120, and the upper half of the HCbCr color space after the color information, and using the Haar-like feature detection face, and pre-processing the data of the detected face, using PCA and (2D) ² PCA, receiving the said pre-processing the data, the learning of each learning image (10), characterized in that it comprises:

delete

The method of claim 1, wherein the face recognition module (200)
(210) for reducing the dimension of the face data detected from the face detection module (100) using Principal Component Analysis (PCA) and (2D) ² PCA (10), characterized in that it comprises:

delete

The method according to claim 1,
When the face recognized by the face recognition module 200 is a tracking object, the tracking module 300 tracks the face by combining a mean-shift algorithm and a histogram back projection method,
Based face detection system according to the present invention is characterized in that when the face recognized by the face recognition module 200 is not the object to be tracked, ).