KR102059686B1 - Method, terminal and system for face authentication using multiple camera - Google Patents
Method, terminal and system for face authentication using multiple camera Download PDFInfo
- Publication number
- KR102059686B1 KR102059686B1 KR1020190067151A KR20190067151A KR102059686B1 KR 102059686 B1 KR102059686 B1 KR 102059686B1 KR 1020190067151 A KR1020190067151 A KR 1020190067151A KR 20190067151 A KR20190067151 A KR 20190067151A KR 102059686 B1 KR102059686 B1 KR 102059686B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- image
- user
- cameras
- terminal
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G06K9/00201—
-
- G06K9/00228—
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
개시된 기술은 복수의 서로 다른 카메라를 이용하여 사용자의 얼굴을 인증하는 방법, 단말기 및 시스템에 관한 것이다.The disclosed technology relates to a method, a terminal and a system for authenticating a face of a user using a plurality of different cameras.
얼굴이미지를 이용하여 사람의 신분을 확인하거나 특정 절차를 위한 인증을 수행하는 기술이 이용되고 있다. 대표적으로 공항에서 사용자의 얼굴을 카메라로 촬영하여 얼굴이미지의 특징정보와 기 등록된 여권으로부터 추출된 특징정보를 비교함으로써 신분을 확인하는 기술이 이용되고 있다.Techniques for verifying a person's identity using a face image or performing authentication for a specific procedure have been used. Representatively, a technology of confirming identity is used by photographing a user's face with a camera at an airport and comparing feature information of a face image with feature information extracted from a registered passport.
해마다 공항을 통해 외국으로 나가거나 들어오는 사용자의 수가 늘어감에 따라 공항 출입국 심사도 점차 무인시스템이 자동으로 출입국 심사를 처리하여 소요되는 시간을 단축하기 위해 변화하고 있다. 이러한 흐름에 따르면 곧 최소한의 정보인식 행위를 기반으로 출입국 게이트를 개폐하는 방향으로 출입국절차가 수행될 것으로 예상된다.As the number of users going out and coming in through the airport increases each year, airport immigration is gradually changing to shorten the time required by the unmanned system to automatically process immigration. According to this trend, immigration procedures are expected to be performed in the direction of opening and closing the immigration gate based on minimal information recognition.
한편, 우리나라 인천공항의 자동 출입국 심사 시스템에 따르면 사용자가 자신의 여권을 스캔하여 게이트를 통과하고 지문스캔과 얼굴이미지 촬영을 수행하여 출입국 절차를 수행하고 있다. 그러나 이러한 출입국 시스템은 사용자가 한명씩 차례대로 입장하는 것을 전제 하에 동작하고 있는 것이어서 얼굴인증만으로는 정확한 출입국 처리가 어렵기 때문에 여관과 지문정보를 함께 이용하고 있다. 따라서, 한명의 사용자가 게이트를 통과하기 위해서 수행해야 하는 정보인식 행위가 다수여서 출입국 프로세스가 번거로운 문제점이 있으며, 사용자가 자신의 신체 일부를 접촉하여 인증을 수행해야 하므로 불쾌함이나 오염이 발생하는 문제점도 가지고 있었다. 또한, 한번에 다수의 사용자가 촬영되는 경우 어떤 사용자가 게이트에 먼저 진입하는지 확인할 수 없어서 출입국 처리에 오류가 발생하는 문제점도 가지고 있었다.On the other hand, according to the automatic immigration screening system of Incheon International Airport, the user scans his passport, passes through the gate, performs fingerprint scan and face image, and performs immigration procedures. However, these immigration systems are operated under the premise that users enter one by one, so it is difficult to accurately process immigration only by face authentication. Therefore, there is a problem that the immigration process is cumbersome because there is a lot of information recognition actions that one user must perform to pass through the gate, and the user has to perform authentication by contacting a part of his / her body. I had. In addition, when a plurality of users are photographed at a time, there is a problem that an error occurs in the immigration process because it is not possible to check which user enters the gate first.
한편, 한국 공개특허 10-2016-0017000호(발명의 명칭 : 얼굴 검출 장치 및 방법)을 참조하면 스테레오 카메라를 이용하여 획득된 거리 차 영상을 토대로 얼굴의 위치를 검출하는 기술이 개시되어 있다. 그러나 이러한 기술은 대상의 위치를 파악하는 것은 가능하나 대상이 구체적으로 누구인지 판단하지는 못하는 문제점이 있었다.Meanwhile, referring to Korean Patent Laid-Open Publication No. 10-2016-0017000 (name of the invention: a face detection apparatus and method), a technique of detecting a position of a face based on a distance difference image obtained using a stereo camera is disclosed. However, this technique has a problem that it is possible to determine the location of the target, but not determine who the target is specifically.
개시된 기술은 복수의 서로 다른 카메라를 이용하여 획득된 깊이영상과 2D 영상을 토대로 특정 위치의 사용자에 대한 얼굴영역을 검출하여 인증을 수행하는 방법, 단말기 및 시스템을 제공하는데 있다.The disclosed technology provides a method, a terminal, and a system for performing authentication by detecting a face region of a user at a specific location based on a depth image and a 2D image obtained using a plurality of different cameras.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 얼굴인증 단말기가 3D 깊이 카메라를 이용하여 일정 거리 이내로 진입한 적어도 하나의 사용자에 대한 깊이영상을 촬영하고 상기 적어도 하나의 사용자에 대한 거리정보를 획득하는 단계, 상기 얼굴인증 단말기가 상기 거리정보에 따라 상기 게이트로부터 특정 위치에 있는 사용자의 영역을 검출하는 단계 및 상기 얼굴인증 단말기가 2D 카메라를 이용하여 상기 적어도 하나의 사용자에 대한 2D 영상을 촬영하고 상기 깊이영상 및 상기 2D 영상을 오버레이(Overlay)하여 상기 특정 위치에 있는 사용자의 영역과 중복되는 위치의 사용자에 대한 얼굴영역을 검출하는 단계를 포함하는 복수의 카메라를 이용한 얼굴인증 방법을 제공하는데 있다.In order to achieve the above technical problem, a first aspect of the disclosed technology captures a depth image of at least one user entered by a face authentication terminal within a predetermined distance using a 3D depth camera and displays distance information of the at least one user. Acquiring; detecting, by the face authentication terminal, an area of a user at a specific position from the gate according to the distance information; and capturing a 2D image of the at least one user by using the 2D camera by the face authentication terminal; And overlaying the depth image and the 2D image and detecting a face region for the user at a position overlapping with the region of the user at the specific position, to provide a face authentication method using a plurality of cameras. have.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 게이트의 정면 또는 측면에 구비되고 상기 게이트에 일정 거리 이내로 진입한 복수의 사용자들에 대한 깊이영상 및 얼굴영상을 촬영하는 복수개의 카메라, 상기 깊이영상을 이용하여 상기 복수개의 사용자들 중 특정 위치에 있는 사용자의 영역을 검출하고 상기 얼굴영상을 이용하여 상기 사용자 영역과 중복되는 위치의 얼굴영역을 검출하는 프로세서 및 상기 프로세서의 제어신호에 따라 상기 검출된 얼굴영역에 대한 이미지를 미리 설정된 주기에 따라 출입국 서버에 전송하는 통신모듈을 포함하는 복수의 카메라를 이용한 얼굴인증 단말기를 제공하는데 있다.In order to achieve the above technical problem, a second side of the disclosed technology is provided on a front side or side of a gate, and includes a plurality of cameras for photographing depth images and face images of a plurality of users who enter the gate within a predetermined distance, the depth A processor for detecting a region of a user at a specific position among the plurality of users using an image and a face region at a position overlapping with the user region using the face image and the detection according to a control signal of the processor The present invention provides a face authentication terminal using a plurality of cameras including a communication module for transmitting an image of a face region to an immigration server according to a predetermined period.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 3 측면은 서로 다른 복수의 카메라를 이용하여 게이트에 일정 거리 이내로 진입한 복수의 사용자들에 대한 깊이영상 및 2D 영상을 촬영하고 상기 깊이영상 및 상기 2D 영상을 오버레이하여 상기 복수의 사용자들에 대한 거리정보 및 얼굴영역을 검출하고 상기 게이트로부터 특정 위치에 있는 사용자의 얼굴영역을 검출하는 얼굴인증 단말기 및 상기 특정 위치에 있는 사용자의 얼굴영역에 대한 이미지를 수신하고 기 저장된 복수개의 사용자정보들 중 상기 얼굴영역에 대한 이미지에 매칭되는 특정 사용자정보를 검색하는 출입국 서버를 포함하는 복수의 카메라를 이용한 얼굴인증 시스템을 제공하는데 있다.In order to achieve the above technical problem, a third aspect of the disclosed technology captures a depth image and a 2D image of a plurality of users who enter a gate within a predetermined distance by using a plurality of different cameras, and the depth image and the 2D image. Overlay to detect distance information and face area for the plurality of users and receive a face authentication terminal for detecting a face area of the user at a specific location from the gate and an image of the face area of the user at the specific location The present invention provides a face authentication system using a plurality of cameras including an immigration server that searches for specific user information matching an image of the face area among a plurality of stored user information.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 4 측면은 게이트 정면의 특정 높이에 구비되고 복수개의 서로 다른 카메라를 이용하여 복수의 사용자들에 대한 제 1 깊이영상 및 제 1 2D 영상을 촬영하고 상기 제 1 깊이영상 및 상기 제 1 2D 영상을 이용하여 상기 게이트의 특정 위치에 있는 사용자의 얼굴영역을 검출하는 제 1 단말기, 상기 게이트의 일 측면에 구비되고 상기 복수개의 서로 다른 카메라와 동일한 종류의 카메라를 이용하여 상기 복수의 사용자들에 대한 제 2 깊이영상 및 제 2 2D 영상을 촬영하고 상기 제 2 깊이영상 및 상기 제 2 2D 영상을 이용하여 상기 특정 위치에 있는 사용자의 얼굴영역을 검출하는 제 2 단말기 및 상기 제 1 단말기 및 상기 제 2 단말기 중 적어도 하나로부터 수신된 상기 얼굴영역의 이미지를 토대로 기 등록된 사용자정보들 중 매칭되는 특정 사용자정보를 검색하는 출입국 서버를 포함하는 복수의 카메라를 이용한 얼굴인증 시스템을 제공하는데 있다.In order to achieve the above technical problem, a fourth aspect of the disclosed technology is provided at a specific height in front of a gate, and captures a first depth image and a first 2D image of a plurality of users using a plurality of different cameras. A first terminal for detecting a face region of a user at a specific position of the gate by using a first depth image and the first 2D image, and a camera provided on one side of the gate and of the same type as the plurality of different cameras A second terminal for capturing a second depth image and a second 2D image of the plurality of users using the second depth image and the second 2D image, and detecting a face region of the user at the specific location; And a registered company based on an image of the face area received from at least one of the first terminal and the second terminal. To provide a plurality of face authentication system using the camera, including the immigration server to retrieve specific user information that matches one of the party information.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다. Embodiments of the disclosed technology may have effects including the following advantages. However, since the embodiments of the disclosed technology are not meant to include all of them, the scope of the disclosed technology should not be understood as being limited thereto.
개시된 기술의 일 실시예에 따르면 복수의 카메라를 이용한 얼굴인증 방법, 단말기 및 시스템은 얼굴인증 만으로 출입국 게이트를 개폐하여 사용자의 출입국 처리를 효율적으로 처리하는 효과가 있다.According to an embodiment of the disclosed technology, a face authentication method, a terminal, and a system using a plurality of cameras have an effect of efficiently handling a user's immigration process by opening and closing an entry / exit gate only by face authentication.
또한, 서로 다른 복수의 카메라를 이용하여 특정 사용자의 진입순서를 파악함으로써 인증오류를 방지하는 효과가 있다.In addition, there is an effect of preventing the authentication error by identifying the entry order of a specific user using a plurality of different cameras.
또한, 복수의 사용자들이 한 영상에 촬영되어도 각 사용자별 인증순서를 파악하는 효과가 있다.In addition, even if a plurality of users are photographed in one image, it is effective to grasp the authentication order for each user.
도 1은 개시된 기술의 일 실시예에 따른 복수의 카메라를 이용한 얼굴인증 방법에 대한 순서도이다.
도 2는 개시된 기술의 일 실시예에 따른 복수의 카메라를 이용한 얼굴인증 단말기에 대한 블록도이다.
도 3은 개시된 기술의 일 실시예에 따른 복수의 카메라를 이용한 얼굴인증 시스템에 대한 블록도이다.
도 4는 게이트에 구비되는 출입인증 단말기를 나타낸 도면이다.
도 5는 3D 깊이 카메라를 이용하여 촬영된 깊이영상을 나타낸 도면이다.
도 6은 2D 카메라를 이용하여 촬영된 2D 영상을 나타낸 도면이다.
도 7은 깊이영상과 2D 영상을 오버레이하는 것을 나타낸 도면이다.1 is a flowchart illustrating a face authentication method using a plurality of cameras according to an embodiment of the disclosed technology.
2 is a block diagram of a face authentication terminal using a plurality of cameras according to an embodiment of the disclosed technology.
3 is a block diagram of a face authentication system using a plurality of cameras according to an embodiment of the disclosed technology.
4 is a view showing an access authentication terminal provided in a gate.
5 is a diagram illustrating a depth image photographed using a 3D depth camera.
6 is a diagram illustrating a 2D image photographed using a 2D camera.
7 is a diagram illustrating overlaying a depth image and a 2D image.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various components, but the components are not limited by the terms, but merely for distinguishing one component from other components. Only used as For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular forms "a", "an" and "the" are to be understood as including plural forms unless the context clearly dictates otherwise. And the term " comprises, " and the like, means that there is a feature, number, step, action, component, part, or combination thereof described, and one or more other features or numbers, step action component, part, etc. Or it does not exclude the presence or the possibility of adding them.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. Prior to the detailed description of the drawings, it is to be clear that the division of the components in the present specification is only divided by the main function of each component. That is, two or more components to be described below may be combined into one component, or one component may be provided divided into two or more for each function.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.Each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions of the components, and some of the main functions of each of the components are different. Of course, it may be carried out exclusively by. Therefore, the presence or absence of each component described through this specification should be functionally interpreted.
도 1은 개시된 기술의 일 실시예에 따른 복수의 카메라를 이용한 얼굴인증 방법에 대한 순서도이다. 도 1을 참조하면 복수의 카메라를 이용한 얼굴인증 방법은 이하의 단계들을 포함한다.1 is a flowchart illustrating a face authentication method using a plurality of cameras according to an embodiment of the disclosed technology. Referring to FIG. 1, a face authentication method using a plurality of cameras includes the following steps.
110 단계에서 얼굴인증 단말기는 3D 깊이 카메라를 이용하여 일정 거리 이내로 진입한 적어도 하나의 사용자에 대한 깊이영상을 촬영한다. 여기에서 일정 거리 이내라는 의미는 얼굴인증 단말기가 설치된 위치를 기점으로 사용자를 촬영할 수 있는 거리 이내를 의미한다. 가령, 얼굴인증 단말기가 출입국 게이트에 구비되어 있다면 출입국 게이트 전방의 몇 미터까지의 거리를 일정 거리 이내로 판단할 수 있다. 또는 얼굴인증 단말기가 출퇴근용 근태관리 테이블에 구비되어 있다면 테이블 주변의 몇 미터까지의 거리를 일정 거리 이내라고 판단할 수도 있다.In
얼굴인증 단말기는 게이트의 정면 또는 측면의 일정 높이에 구비된다. 그리고 단말기의 일 면에 구비된 광이 되돌아오는 딜레이에 따라 깊이값을 판단할 수 있는 3D 깊이 카메라를 이용하여 깊이영상을 촬영할 수 있다. 그리고 깊이영상에 촬영된 적어도 하나의 사용자에 대한 거리정보를 획득하는 것이 가능하다.The face authentication terminal is provided at a predetermined height of the front or side of the gate. The depth image may be captured using a 3D depth camera capable of determining a depth value according to a delay in which light provided on one surface of the terminal returns. In addition, it is possible to obtain distance information of at least one user captured in the depth image.
일 실시예로, 얼굴인증 단말기가 게이트의 정면에 있는 것을 예로 설명하면 게이트 정면을 기준점으로 하여 3D 깊이 카메라가 대상을 인지할 수 있는 전방 20미터까지의 범위에 들어온 사용자에 대한 깊이영상을 촬영할 수 있다. 이때 3D 깊이 카메라는 적게는 한명, 많게는 다수의 사용자들에 대한 깊이영상을 촬영할 수 있다.As an example, when the face authentication terminal is located at the front of the gate as an example, a depth image of a user who is within a range of 20 meters in front of the 3D depth camera that can recognize an object may be photographed using the front of the gate as a reference point. have. In this case, the 3D depth camera may capture depth images of at least one user and many users.
한편, 얼굴인증 단말기는 이와 같이 촬영된 깊이영상을 이용하여 적어도 하나의 사용자에 대한 거리정보를 획득한다. 즉, 깊이영상을 이용하여 획득된 거리정보를 이용하여 촬영된 사용자들이 각각 게이트로부터 얼마나 가까운지 또는 미리 설정된 특정한 지점에 얼마나 인접한지를 파악할 수 있다.Meanwhile, the face authentication terminal obtains distance information of at least one user by using the depth image photographed as described above. That is, by using the distance information acquired using the depth image, it is possible to determine how close each user is photographed from the gate or how close to a predetermined specific point.
120 단계에서 얼굴인증 단말기는 거리정보에 따라 게이트로부터 특정 위치에 있는 사용자의 영역을 검출한다. 여기에서 특정 위치라 함은 상술한 바와 같이 사용자의 얼굴을 인식하기 위해서 미리 정해둔 게이트 전방의 특정 위치를 의미한다. 예컨대, 게이트 전방에 표시된 가이드라인의 위치일 수 있다. 얼굴인증 단말기는 여러 사용자들 중에서 이러한 가이드라인에 가장 인접한 것으로 판단되는 특정 사용자의 영역을 검출한다. 또는 복수의 사용자가 영상에 촬영된 경우에는 거리정보를 이용하여 가장 가까이에 있는 사용자의 영역을 검출할 수도 있다.In
130 단계에서 얼굴인증 단말기는 2D 카메라를 이용하여 적어도 하나의 사용자에 대한 2D 영상을 촬영한다. 2D 카메라는 일반적으로 널리 이용되는 광학카메라일 수 있다. 얼굴인증 단말기는 두 카메라를 비슷한 위치에 구비하며 두 카메라로부터 촬영된 영상을 오버레이할 때 오차값의 발생을 줄이기 위해서 동시에 촬영하도록 제어할 수 있다.In
한편, 130 단계에서 얼굴인증 단말기는 깊이영상과 2D 영상을 오버레이하여 특정 위치에 있는 사용자의 영역과 중복되는 위치의 사용자에 대한 얼굴영역을 검출한다. 즉, 깊이영상을 이용하여 1차적으로 어떤 사용자를 검출한 것인지 범위를 줄이고, 그 다음 검출대상의 얼굴영역을 검출하여 얼굴인증을 위한 준비과정을 수행한다.In
한편 130 단계에서 얼굴인증 단말기는 검출된 얼굴영역의 이미지를 추출하여 출입국 서버에 전송하는 단계를 포함한다. 즉, 여러 사용자들 중에서 검출대상을 한정하고 해당 사용자의 얼굴영역을 검출하면 이에 대한 이미지를 출입국 서버에 전송함으로써 해당 사용자의 얼굴인증을 수행할 수 있다. In
얼굴인증 단말기는 출입국 서버와 연결되어 있으며 연결경로를 이용하여 이미지를 출입국 서버로 전송할 수 있다. 단말기와 서버의 연결경로를 전용선을 통한 유선 경로를 이용할 수 있으며 필요에 따라 무선으로도 이미지를 전송할 수 있다. 얼굴인증 단말기는 출입국 서버를 통해 수행된 얼굴인증 결과에 따라 게이트를 개폐한다.The face authentication terminal is connected to the immigration server and can transmit an image to the immigration server using the connection path. The connection path between the terminal and the server can use a wired path through a dedicated line, and images can be transmitted wirelessly as needed. The face authentication terminal opens and closes the gate according to the face authentication result performed through the immigration server.
한편, 얼굴인증 단말기는 출입국 서버와의 연결된 루트를 이용하여 출입국 서버의 데이터베이스와 동기화된 데이터베이스를 구비할 수 있다. 즉, 검출된 얼굴영역의 이미지를 서버에 전송하지 않고도 서버와 동기화된 데이터베이스를 이용하여 게이트 개폐를 수행할 수 있다. 예컨대, 검출된 얼굴영역의 이미지를 데이터베이스에 저장된 복수개의 얼굴이미지에 매칭시키고 매칭되는 얼굴이미지가 데이터베이스에 존재하면 게이트를 열고, 매칭되는 얼굴이미지가 데이터베이스에 존재하지 않으면 게이트를 열지 않도록 동작할 수 있다. 이와 같은 동작 결과는 연결된 출입국 서버로 전송되어 출입국 서버의 데이터베이스를 업데이트함으로써 두 데이터베이스가 동기화 상태를 유지하는 것이 가능하다.Meanwhile, the face authentication terminal may have a database synchronized with the database of the immigration server using a route connected to the immigration server. That is, the gate opening and closing may be performed using a database synchronized with the server without transmitting the image of the detected face region to the server. For example, the image of the detected face region may be matched to a plurality of face images stored in the database, and the gate may be opened when the matching face image exists in the database, and the gate may not be opened when the matching face image does not exist in the database. . The operation result is transmitted to the connected immigration server to update the immigration server's database so that the two databases can be synchronized.
한편, 얼굴인증 단말기는 IR 센서를 포함한다. 종래 IR 센서와 마찬가지로 단말기에 포함된 IR 센서 또한 일정 거리 내 사람이 존재하는지를 감지한다. 얼굴인증 단말기는 IR 센서를 이용하여 일정 거리 이내에 사용자가 감지되지 않으면 3D 깊이 카메라 및 2D 카메라를 슬립 모드(Sleep Mode)로 대기시킬 수 있다. 만약 IR 센서가 사용자를 감지하면 3D 깊이 카메라 및 2D 카메라를 활성 모드(Active Mode)로 전환할 수 있다.Meanwhile, the facial authentication terminal includes an IR sensor. Like the conventional IR sensor, the IR sensor included in the terminal also detects the presence of a person within a certain distance. The face authentication terminal may wait for the 3D depth camera and the 2D camera in the sleep mode if the user is not detected within a certain distance using the IR sensor. If the IR sensor detects a user, the 3D depth camera and the 2D camera can be switched to the active mode.
한편, 얼굴인증 단말기에 구비된 두 종의 카메라는 게이트로 진입하는 사용자를 오류 없이 연속으로 촬영하기 위하여 소정의 대기시간이 설정된다. 예컨대, 3D 깊이 카메라는 기 설정된 대기시간 이후에 다음 깊이영상을 촬영하고 2D 카메라도 동일한 대기시간 이후에 특정 위치에 진입한 타 사용자의 얼굴영역을 포함하는 2D 영상을 촬영할 수 있다. On the other hand, two types of cameras provided in the face authentication terminal have a predetermined waiting time to continuously photograph the user entering the gate without error. For example, the 3D depth camera may capture a next depth image after a preset waiting time, and the 2D camera may also capture a 2D image including a face region of another user who enters a specific location after the same waiting time.
여기에서 두 카메라가 동일한 대기시간을 갖는 이유는 상술한 바와 같이 두 카메라로부터 획득된 영상을 오버레이할 시 오류발생 가능성을 최대한 낮추고 중복되는 영역의 사용자 얼굴을 정확하게 검출하기 위함이다.The reason why the two cameras have the same waiting time is to minimize the possibility of error when overlaying the images acquired from the two cameras as described above, and to accurately detect the user's face in the overlapping area.
한편, 여기에서 언급되는 게이트는 예컨대 공항과 같이 출입국 절차를 수행하기 위해서 이용하는 게이트일 수 있다. 즉, 좌우 2개의 게이트가 회동하면서 개폐되는 게이트일 수 있다. 게이트는 얼굴인증 단말기 또는 출입국 서버에서 전송되는 제어신호에 따라 개폐되며 게이트에 구비된 얼굴인증 단말기는 게이트의 개폐상태에 따라 다음 사용자를 촬영하기 위한 동작을 취할 수 있다. 예컨대, 2개의 게이트가 회동하면 현재 사용자의 얼굴인증이 성공한 것으로 판단하고 다음 사용자를 촬영하기 위해서 두 카메라를 초기화할 수 있다.Meanwhile, the gate mentioned herein may be a gate used to perform an immigration procedure, such as an airport. That is, the left and right gates may be gates that are opened and closed while rotating. The gate is opened and closed according to a control signal transmitted from the face authentication terminal or the immigration server, and the face authentication terminal provided in the gate may take an operation for photographing the next user according to the open / closed state of the gate. For example, when the two gates rotate, it may be determined that the face authentication of the current user is successful, and the two cameras may be initialized to photograph the next user.
한편, 상술한 바와 같이 얼굴인증 단말기는 기본적으로는 하나의 사용자를 검출하기 위해서 깊이영상과 2D 영상을 오버레이한다. 그러나 영상 오버레이를 동일하게 수행하되 다수의 사용자에 대한 얼굴영역을 검출하는 것도 가능하다. 가령, 깊이영상에 복수의 사용자가 촬영되면 거리정보에 따라 각 사용자에 대한 인증순서를 부여할 수 있다. 그리고, 각 사용자 별로 얼굴영역을 검출할 수 있다. 여기에서 인증순서라고 함은 게이트 통과를 위한 순번을 의미하여 당연히 게이트에 가까운 순서에 따라 부여되는 것이 바람직하다. Meanwhile, as described above, the face authentication terminal basically overlays the depth image and the 2D image to detect one user. However, it is also possible to perform the same image overlay but detect face regions for a plurality of users. For example, when a plurality of users are photographed in the depth image, an authentication sequence for each user may be given according to distance information. In addition, a face area may be detected for each user. Here, the authentication order means the order for passing the gate, and it is preferable that the authentication order is given in the order close to the gate.
종래의 경우 하나의 카메라를 이용하여 사용자 얼굴을 인식하게 되는데 이 경우 특정 사용자의 얼굴영역이 타 사용자보다 크게 촬영될 수 있다. 일반적으로는 얼굴이 크게 찍힌 사람이 가까이에 있는 것으로 인식하게 되지만 실제로는 인종이나 성별, 체형 등에 따라 멀리 있는 사람의 얼굴이 앞에 있는 사람보다 큰 경우가 존재한다. 따라서 개시된 기술에서는 단순히 얼굴의 크기만으로 거리를 판단하지 않고 깊이영상을 토대로 각 사용자들의 거리정보를 파악하고 매칭되는 얼굴에 거리정보를 반영하여 각 사용자별로 게이트 통과를 위한 얼굴인증을 수행할 순서를 결정할 수 있다.Conventionally, a user's face is recognized by using one camera. In this case, a face area of a specific user may be larger than another user. In general, a person with a large face is recognized as being near, but in reality, a face of a far person is larger than a person in front of a person depending on race, sex, and body type. Therefore, in the disclosed technology, the distance information of each user is determined based on the depth image without determining the distance by simply the size of the face, and the distance information is reflected on the matching face to determine the order of performing the face authentication for the gate passing for each user. Can be.
한편, 얼굴인증 단말기는 각 사용자 별로 검출된 얼굴영역의 이미지를 추출하고 인증순서에 따라 얼굴영역의 이미지를 출입국 서버에 순차적으로 전송한다. 즉, 한 번의 영상 오버레이를 통해 복수의 사용자들에 대한 얼굴인증을 순차적으로 처리하여 보다 빨리 얼굴인증을 수행할 수도 있다.Meanwhile, the face authentication terminal extracts an image of the face area detected for each user and sequentially transmits the image of the face area to the immigration server according to the authentication procedure. That is, face authentication may be performed faster by sequentially processing face authentication for a plurality of users through a single image overlay.
도 2는 개시된 기술의 일 실시예에 따른 복수의 카메라를 이용한 얼굴인증 단말기에 대한 블록도이다. 도 2를 참조하면 얼굴인증 단말기(200)는 복수개의 카메라(210a, 210b), 프로세서(220) 및 통신모듈(230)을 포함한다.2 is a block diagram of a face authentication terminal using a plurality of cameras according to an embodiment of the disclosed technology. Referring to FIG. 2, the face authentication terminal 200 includes a plurality of
복수개의 카메라(210a, 210b)는 게이트의 정면 또는 측면에 구비된다. 예컨대, 게이트 정면에는 얼굴인증을 위한 메인단말기가 구비될 수 있고 게이트 측면에는 메인단말기는 보조하는 서브단말기가 구비될 수 있다. 복수개의 카메라(210a, 210b)는 두 단말기에 각각 동일한 종류의 카메라를 구비할 수 있다. 가령, 210a가 3D 깊이 카메라이고, 210b가 2D 카메라라면 메인단말기와 서브단말기가 각각 3D 깊이 카메라와 2D 카메라를 구비할 수 있다.The plurality of
한편, 상술한 바와 같이 복수개의 카메라(210a, 210b)는 3D 깊이 카메라 및 2D 카메라를 포함한다. 그리고 3D 깊이 카메라는 복수의 사용자들에 대한 깊이영상을 촬영하고 2D 카메라는 복수의 사용자들에 대한 얼굴영상을 촬영한다.Meanwhile, as described above, the plurality of
프로세서(220)는 복수의 카메라(210a, 210b)가 각각 촬영한 깊이영상을 이용하여 복수개의 사용자들 중 특정 위치에 있는 사용자의 영역을 검출한다. 그리고 얼굴영상을 이용하여 사용자 영역과 중복되는 위치의 얼굴영역을 검출한다. 프로세서(220)는 복수의 카메라(210a, 210b)가 각각 촬영한 깊이영상과 얼굴영상을 오버레이하여 깊이영상을 통해서 검출한 특정 위치에 있는 사용자의 영역에 매칭되는 위치의 얼굴영역을 검출할 수 있다. The processor 220 detects an area of a user located at a specific position among the plurality of users by using depth images captured by the plurality of
복수의 카메라(210a, 210b)는 거의 동일한 위치에서 동시에 사용자를 촬영하기 때문에 영상을 오버레이했을 시 윤곽이 중복되는 것을 통해서 사용자 영역을 검출하고 그 중 특정 위치의 사용자에 대한 얼굴영역을 검출하는 것이 가능하다.Since the plurality of
통신모듈(230)은 프로세서(220)의 제어신호에 따라 검출된 얼굴영역에 대한 이미지를 미리 설정된 주기에 따라 출입국 서버에 전송한다. 프로세서(220)는 특정 위치의 사용자에 대한 얼굴영역을 검출하면 해당 사용자의 얼굴영역에 대한 이미지를 생성한다. 그리고 이미지 전송을 위해 통신모듈(230)에 제어신호를 전송할 수 있다. 통신모듈(230)은 이러한 제어신호에 따라 전달받은 이미지를 출입국 서버에 전송할 수 있다.The communication module 230 transmits an image of the face region detected according to a control signal of the processor 220 to the immigration server according to a preset period. When the processor 220 detects a face region of the user at a specific position, the processor 220 generates an image of the face region of the user. The control signal may be transmitted to the communication module 230 for image transmission. The communication module 230 may transmit the received image to the immigration server according to the control signal.
한편, 도 1을 통해 설명한 바와 같이 얼굴인증 단말기(200)는 IR 센서를 포함하고, IR 센서를 이용하여 일정 거리 이내에 사용자가 감지되면 복수개의 카메라(210a, 210b)를 구동할 수 있다. 여기에서 복수의 카메라(210a, 210b)는 서로 다른 종류의 카메라로, 즉 하나는 3D 깊이 카메라, 다른 하나는 2D 카메라일 수 있다. 얼굴인증 단말기(200)는 두 종의 카메라를 동시에 구동하여 영상을 촬영할 수 있다.Meanwhile, as described with reference to FIG. 1, the facial authentication terminal 200 may include an IR sensor, and may drive the plurality of
한편, 프로세서(220)는 복수의 사용자 별 거리정보에 따라 각 사용자에 대한 게이트 진입순서를 부여하는 것이 가능하다. 일 실시예로, 게이트 진입순서는 게이트에 가까운 위치에 따라 부여할 수 있다. 즉, 가장 가까운 위치의 사용자가 1번, 그 다음으로 가까운 사용자가 2번, 그 다음으로 가까운 사용자에게는 3번을 부여할 수 있다. 프로세서(220)는 이와 같이 부여된 순서에 따라 각 사용자 별로 얼굴영역을 검출할 수 있다. The processor 220 may assign a gate entry order to each user according to a plurality of user distance information. In one embodiment, the gate entry order may be given according to a position close to the gate. That is, the user at the nearest location can be assigned once, the next closest user twice, and the next closest user 3 times. The processor 220 may detect the face region for each user in the order given in this manner.
도 3은 개시된 기술의 일 실시예에 따른 복수의 카메라를 이용한 얼굴인증 시스템에 대한 블록도이다. 도 3을 참조하면 얼굴인증 시스템(300)은 얼굴인증 단말기(200) 및 출입국 서버(310)를 포함한다. 3 is a block diagram of a face authentication system using a plurality of cameras according to an embodiment of the disclosed technology. Referring to FIG. 3, the face authentication system 300 includes a face authentication terminal 200 and an immigration server 310.
얼굴인증 단말기(200)는 서로 다른 복수의 카메라(210a, 210b)를 이용하여 게이트에 일정 거리 이내로 진입한 복수의 사용자들에 대한 깊이영상 및 2D 영상을 촬영한다. 그리고 깊이영상 및 2D 영상을 오버레이하여 복수의 사용자들에 대한 거리정보 및 얼굴영역을 검출하고 게이트로부터 특정 위치에 있는 사용자의 얼굴영역을 검출한다. The face authentication terminal 200 captures depth images and 2D images of a plurality of users who enter a gate within a predetermined distance using a plurality of
얼굴인증 단말기(200)는 앞서 도 2를 통해 설명한 바와 같이 복수의 사용자들에 대한 깊이영상 및 2D 영상을 촬영하고 이를 오버레이하여 특정 위치에 있는 사용자의 얼굴영역을 검출한다. 얼굴인증 단말기(200)에 대해서는 앞서 도 1 및 2를 통해 설명하였으므로 생략한다.As described above with reference to FIG. 2, the face authentication terminal 200 captures depth images and 2D images of a plurality of users and overlays them to detect a face region of a user at a specific location. Since the face authentication terminal 200 has been described above with reference to FIGS. 1 and 2, it will be omitted.
한편, 출입국 서버(310)는 특정 위치에 있는 사용자의 얼굴영역에 대한 이미지를 수신한다. 출입국 서버(310)는 공항 출입국 심사대 시스템과 연계될 수 있으며 복수의 사용자정보를 저장하고 있다. Meanwhile, the immigration server 310 receives an image of a face region of a user at a specific location. The immigration server 310 may be associated with an airport immigration desk system and stores a plurality of user information.
여기에서 사용자정보라 함은 자동으로 게이트를 통과하기 위해서 사전에 여권과 같은 수단을 이용하여 미리 등록된 각 사용자들에 대한 신원확인 정보를 의미한다. 가령, 여권의 사진을 통해서 추출된 얼굴 이미지, 여권에 기재된 이름, 주민등록번호 등을 포함할 수 있다. 출입국 서버(310)는 얼굴영역에 대한 이미지를 수신하기 위해서 얼굴인증 단말기와 통신하는 통신모듈(310a)을 포함한다.Here, the user information means identification information for each user registered in advance by means such as a passport in order to automatically pass through the gate. For example, the image may include a face image extracted through a photograph of the passport, a name described in the passport, a social security number, and the like. The immigration server 310 includes a communication module 310a which communicates with the face authentication terminal to receive an image of the face area.
한편, 출입국 서버(310)는 이러한 복수개의 사용자정보들을 저장하는 데이터베이스(310c)를 포함한다. 그리고 데이터베이스(310c)를 이용하여 단말기(200)로부터 수신한 얼굴영역의 이미지에 매칭되는 특정 사용자정보를 검색할 수 있다. 만약, 얼굴영역에 대한 이미지에 매칭되는 특정 사용자데이터가 검색되면 얼굴인증 단말기(200)에 출입국 게이트를 개폐하기 위한 제어신호를 전송할 수 있다. 이러한 동작을 수행하기 위해서 출입국 서버(310)는 통신모듈(310a)과 데이터베이스(310c)를 제어하고 소정의 연산을 수행할 수 있는 프로세서(310b)가 구비된다. On the other hand, the immigration server 310 includes a
한편, 다시 도 2를 참조하면 얼굴인증 단말기(200)는 출입국 서버(310)의 데이터베이스(310c)와 동기화된 데이터베이스(240)를 구비할 수 있다. 일 실시예로 얼굴인증 단말기(200)는 얼굴영역에 대한 이미지에 매칭되는 특정 사용자데이터를 데이터베이스(240)에서 검색할 수 있다. 즉, 서버를 통해 매칭결과를 수신하지 않고 자체적으로 얼굴영역에 대한 이미지를 매칭할 수 있다. 물론 단말기(200)가 자체적으로 이미지 매칭을 수행한다면 출입국 서버(310)의 데이터베이스(310c)에도 최신의 데이터가 저장될 수 있도록 매칭결과를 전송할 수 있다. 따라서 단말기(200)의 데이터베이스(240)와 서버(310)의 데이터베이스(310c)가 동기화될 수 있다.Meanwhile, referring back to FIG. 2, the face authentication terminal 200 may include a
도 4는 게이트에 구비된 출입인증 단말기를 나타낸 도면이다. 도 4를 참조하면 시스템은 게이트(400)에 구비된 2개의 얼굴인증 단말기(401, 402)를 이용하여 인증을 수행할 수 있다. 일 실시예로, 시스템은 제 1 단말기(401), 제 2 단말기(402) 및 서버를 포함하고 적어도 하나의 단말기를 이용하여 얼굴인증을 수행할 수 있다.4 is a view showing an access authentication terminal provided in a gate. Referring to FIG. 4, the system may perform authentication using two
제 1 단말기(401) 및 제 2 단말기(402)는 앞서 설명한 얼굴인증 단말기(200)와 동일한 구성을 포함한다. 다만 게이트에 배치되는 위치에 있어서 약간의 차이가 있다. 가령 제 1 단말기(401)는 도 4에 도시된 바와 같이 회동하는 게이트(400)의 정면에 배치될 수 있다. 그리고 제 2 단말기(402)는 게이트(400)의 측면에 배치될 수 있다. The
얼굴인증 시스템의 효율적인 동작과 얼굴인증의 정확도 향상을 위해서 두 단말기(401, 402)는 각각 메인단말기와 서브단말기로 구분할 수 있으며 서브단말기를 통해 얼굴인증을 위한 프로세스를 수행한 결과와 메인단말기를 통해 얼굴인증을 의한 프로세스를 수행한 결과를 비교하는 것이 가능하다.In order to effectively operate the face authentication system and improve the accuracy of face authentication, the two
일 실시예로, 제 1 단말기(401)에서 촬영된 이미지를 제 1 깊이영상과 제 1 2D 영상이라 하고, 제 2 단말기(402)에서 촬영된 이미지를 제 2 깊이영상과 제 2 2D 영상이라고 한다면, 각 단말기는 앞서 설명한 프로세스에 따라 각자 촬영한 영상을 오버레이하여 특정 위치의 사용자에 대한 얼굴영역을 검출할 수 있다.As an example, if the image photographed by the
한편, 출입국 서버(310)는 두 단말기 중 적어도 하나로부터 수신된 얼굴영역의 이미지를 토대로 기 등록된 사용자정보들 중 매칭되는 특정 사용자정보를 검색한다. 즉, 서버(310)는 제 1 단말기(401)로부터 얼굴영역의 이미지를 수신하여 특정 사용자정보를 검색하거나 제 2 단말기(402)로부터 얼굴영역의 이미지를 수신하여 특정 사용자정보를 검색할 수 있다. Meanwhile, the immigration server 310 searches for matching specific user information among pre-registered user information based on the image of the face area received from at least one of the two terminals. That is, the server 310 may search for specific user information by receiving an image of the face area from the
그리고 두 단말기 모두에게서 얼굴영역의 이미지를 수신하고 이를 종합하여 특정 사용자 정보를 검색할 수도 있다. 가령, 두 단말기로부터 수신한 얼굴영역의 이미지 간의 유사도를 검출하여 얼굴을 정확하게 인식하기 용이한 어느 한쪽의 얼굴영역 이미지를 선택할 수 있다. 또는 두 이미지를 한번 더 오버레이하여 평균값을 산출한 결과이미지를 이용하여 특정 사용자정보를 검색할 수도 있다.In addition, both terminals may receive an image of the face region and may aggregate the same to search for specific user information. For example, by detecting similarity between the images of the face regions received from the two terminals, one of the face region images that can easily recognize the face may be selected. Alternatively, specific user information may be searched for using the resultant image obtained by overlaying the two images once again and calculating the average value.
도 5는 3D 깊이 카메라를 이용하여 촬영된 깊이영상을 나타낸 도면이다. 도 5를 참조하면 깊이영상에 촬영된 복수의 사용자는 서로 다른 색상으로 표시된다. 여기에서 색상의 차이는 곧 사용자의 거리정보를 의미한다. 가령 색상이 밝을수록 더 가까운 것으로 판단할 수 있다. 또는 색상이 더 진할수록 더 가까운 것으로 볼 수도 있다. 5 is a diagram illustrating a depth image photographed using a 3D depth camera. Referring to FIG. 5, a plurality of users captured in the depth image are displayed in different colors. Herein, the color difference means distance information of the user. For example, the brighter the color, the closer it can be determined. Or the darker the color, the closer it can be seen.
일반적으로 얼굴이 크게 촬영된 사용자가 가까이 위치한 것으로 인식할 수 있으나 개시된 기술에 따르면 사용자 영역의 크기는 고려하지 않고 거리정보를 토대로 어느 사용자가 게이트에서 더 가까운지 판단한다. 또는 얼굴인증을 수행하기 위해서 사용자가 위치해야할 특정 위치에 가장 인접한 사용자가 어느 사용자인지를 판단한다.In general, it may be recognized that a user with a large face photographed is located close, but according to the disclosed technology, it is determined which user is closer to the gate based on distance information without considering the size of the user area. Alternatively, it is determined which user is the user closest to a specific location where the user should be located in order to perform face authentication.
도 6은 2D 카메라를 이용하여 촬영된 2D 영상을 나타낸 도면이다. 도 6을 참조하면 2D 카메라가 촬영하는 영상은 사용자의 얼굴을 포함한다. 즉 단말기가 정면 또는 측면에서 촬영한 영상을 토대로 각 사용자의 얼굴이미지를 추출할 수 있다. 시스템의 관리자는 2D 카메라의 화각을 고려하여 얼굴인증을 수행하는데 최적의 지점을 특정 위치로 결정하여 해당 위치에 사용자가 정확히 설 수 있도록 마크를 표시할 수 있다.6 is a diagram illustrating a 2D image photographed using a 2D camera. Referring to FIG. 6, an image captured by the 2D camera includes a face of a user. That is, the terminal may extract the face image of each user based on the image photographed from the front or the side. The administrator of the system can determine the optimal point for the face authentication in consideration of the angle of view of the 2D camera as a specific position and display a mark so that the user can stand exactly at that position.
한편, 윤곽선 추출 기법을 이용하여 어느 사용자가 타 사용자보다 앞선 위치에 있는 판단할 수도 있다. 그러나 이러한 방법은 윤곽선 추출 시 노이즈가 발생하면 거리 판단의 결과에 대한 정확도가 현저히 떨어지기 때문에 거리정보를 포함하는 깊이영상과 각 사용자들의 얼굴영역을 촬영한 2D 영상을 중첩시켜서 특정 사용자의 거리정보를 판단하는 것이 바람직하다.On the other hand, it is possible to determine which user is ahead of other users by using the contour extraction technique. However, in this method, when noise occurs during contour extraction, the accuracy of the result of distance determination is significantly lowered. Therefore, a depth image including distance information and a 2D image of each user's face region are superimposed so that the distance information of a specific user is overlapped. It is desirable to judge.
도 7은 깊이영상과 정면영상을 오버레이하는 것을 나타낸 도면이다. 도 7을 참조하면 2개의 영상을 오버레이하여 각 사용자의 얼굴이미지 별 진입순서를 파악하는 것이 가능하다. 가령, 거리정보를 갖는 깊이영상을 베이스로 하고, 영상에 촬영된 사용자의 이미지 중 얼굴에 대응되는 영역을 특정하고, 여기에 정면영상에서 추출된 얼굴이미지를 병합하는 것으로 오버레이를 수행할 수 있다.7 is a diagram illustrating overlaying a depth image and a front image. Referring to FIG. 7, it is possible to determine the entry order for each user's face image by overlaying two images. For example, an overlay may be performed by using a depth image having distance information as a base, specifying a region corresponding to a face among the images of the user captured in the image, and merging the face image extracted from the front image.
한편, 이와 같이 오버레이된 영상을 이용하면 각 사용자별로 처리된 얼굴이미지들 중 가장 먼저 게이트에 진입하는 위치에 있는 특정 사용자의 얼굴이미지가 어떤 것인지 특정하는 것이 가능하다. 가령, 상술한 바와 같이 얼굴이미지를 병합한 이후에 가장 짧은 거리정보를 갖는 사용자가 누구인지 또는 특정 위치에 가장 가까이 위치한 사용자가 누구인지 판단하고 해당 사용자의 얼굴이미지를 서버로 전송할 수 있다.On the other hand, using the overlaid image, it is possible to specify which face image of a specific user is located at the first position of entering the gate among the face images processed for each user. For example, after merging the face images as described above, it is possible to determine who is the user having the shortest distance information or who is closest to the specific location, and transmit the face image of the user to the server.
개시된 기술의 일 실시예에 따른 복수의 카메라를 이용한 얼굴인증 방법, 단말기 및 시스템은 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.Face authentication method using a plurality of cameras, a terminal and a system according to an embodiment of the disclosed technology has been described with reference to the embodiment shown in the drawings for clarity, but this is merely illustrative, and common knowledge in the art Those skilled in the art will appreciate that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the disclosed technology should be defined by the appended claims.
110 : 깊이영상을 이용하여 거리정보 획득
120 : 특정 위치 사용자 영역 검출
130 : 사용자의 얼굴영역 검출
200 : 얼굴인증 단말기 210a, 210b : 카메라
220 : 프로세서 230 : 통신모듈
240 : 데이터베이스 330 : 얼굴인증 시스템
310 : 출입국 서버 310a : 통신모듈
310b : 프로세서 310c : 데이터베이스110: acquisition of distance information using depth image
120: specific location user area detection
130: user's face area detection
200:
220: processor 230: communication module
240: database 330: facial authentication system
310: immigration server 310a: communication module
310b:
Claims (19)
상기 얼굴인증 단말기가 상기 거리정보에 따라 상기 얼굴인증 단말기로부터 특정 위치에 있는 사용자의 영역을 검출하는 단계; 및
상기 얼굴인증 단말기가 2D 카메라를 이용하여 상기 적어도 하나의 사용자에 대한 2D 영상을 촬영하고 상기 깊이영상 및 상기 2D 영상을 오버레이(Overlay)하여 상기 특정 위치에 있는 사용자의 영역과 중복되는 위치의 사용자에 대한 얼굴영역을 검출하는 단계;를 포함하는 복수의 카메라를 이용한 얼굴인증 방법.Photographing, by a facial authentication terminal, a depth image of at least one user who has entered within a predetermined distance by using a 3D depth camera and obtaining distance information of the at least one user;
Detecting, by the face authentication terminal, an area of a user at a specific position from the face authentication terminal according to the distance information; And
The face authentication terminal captures a 2D image of the at least one user by using a 2D camera and overlays the depth image and the 2D image to a user at a position overlapping with an area of the user at the specific position. Detecting a face area for a face authentication method using a plurality of cameras comprising a.
상기 얼굴영역을 검출하는 단계는 상기 얼굴인증 단말기가 상기 검출된 얼굴영역의 이미지를 추출하여 출입국 서버에 전송하는 단계;를 포함하는 복수의 카메라를 이용한 얼굴인증 방법.The method of claim 1,
The detecting of the face area may include extracting, by the face authentication terminal, an image of the detected face area and transmitting the extracted image to an immigration server.
상기 얼굴인증 단말기는 상기 출입국 서버와 동기화된 복수개의 얼굴이미지를 저장하는 데이터베이스를 포함하고 상기 검출된 얼굴영역의 이미지를 상기 복수개의 얼굴이미지에 매칭시키는 복수의 카메라를 이용한 얼굴인증 방법.The method of claim 2,
The face authentication terminal includes a database for storing a plurality of face images synchronized with the immigration server and the face authentication method using a plurality of cameras to match the image of the detected face area with the plurality of face images.
상기 얼굴인증 단말기는 IR 센서를 포함하고, 상기 IR 센서를 이용하여 상기 일정 거리 이내에 사용자가 감지되지 않으면 상기 3D 깊이 카메라 및 상기 2D 카메라를 슬립 모드(Sleep Mode)로 대기시키고 사용자가 감지되면 상기 3D 깊이 카메라 및 상기 2D 카메라를 활성 모드(Active Mode)로 전환하는 복수의 카메라를 이용한 얼굴인증 방법.The method of claim 1,
The face authentication terminal includes an IR sensor, and if the user is not detected within the predetermined distance by using the IR sensor, the 3D depth camera and the 2D camera are placed in a sleep mode and when the user is detected, the 3D Face authentication method using a plurality of cameras to switch the depth camera and the 2D camera to the active mode (Active Mode).
상기 3D 깊이 카메라는 기 설정된 대기시간 이후에 다음 깊이영상을 촬영하고 상기 2D 카메라는 상기 대기시간 이후에 상기 특정 위치에 진입한 타 사용자의 얼굴영역을 포함하는 2D 영상을 촬영하는 복수의 카메라를 이용한 얼굴인증 방법.The method of claim 1,
The 3D depth camera captures a next depth image after a preset waiting time, and the 2D camera uses a plurality of cameras to capture a 2D image including a face area of another user who has entered the specific location after the waiting time. Facial authentication method.
상기 얼굴인증 단말기는 상기 깊이영상에 복수의 사용자가 촬영되면 상기 거리정보에 따라 각 사용자에 대한 인증순서를 부여하고, 상기 각 사용자 별로 얼굴영역을 검출하는 복수의 카메라를 이용한 얼굴인증 방법. The method of claim 1,
When the plurality of users are photographed in the depth image, the face authentication terminal assigns an authentication order to each user according to the distance information, and detects a face area for each user.
상기 얼굴인증 단말기는 상기 각 사용자 별로 검출된 얼굴영역의 이미지를 추출하고 상기 인증순서에 따라 상기 얼굴영역의 이미지를 출입국 서버에 순차적으로 전송하는 복수의 카메라를 이용한 얼굴인증 방법. The method of claim 6,
The face authentication terminal extracts an image of a face area detected for each user and sequentially transfers the image of the face area to an immigration server according to the authentication sequence.
상기 깊이영상을 이용하여 상기 복수개의 사용자들 중 특정 위치에 있는 사용자의 영역을 검출하고 상기 얼굴영상을 이용하여 상기 사용자의 영역과 중복되는 위치의 얼굴영역을 검출하는 프로세서; 및
상기 프로세서의 제어신호에 따라 상기 검출된 얼굴영역에 대한 이미지를 미리 설정된 주기에 따라 출입국 서버에 전송하는 통신모듈;을 포함하는 복수의 카메라를 이용한 얼굴인증 단말기.A plurality of cameras for photographing depth images and face images of a plurality of users who have entered within a distance from which photographing is possible;
A processor for detecting a region of a user at a specific position among the plurality of users using the depth image and a face region at a position overlapping with the region of the user using the face image; And
And a communication module configured to transmit an image of the detected face region to an immigration server according to a control signal of the processor at a predetermined period.
상기 복수개의 카메라는 적어도 하나의 3D 깊이 카메라 및 2D 카메라를 포함하는 복수의 카메라를 이용한 얼굴인증 단말기.The method of claim 8,
The plurality of cameras face authentication terminal using a plurality of cameras including at least one 3D depth camera and a 2D camera.
상기 얼굴인증 단말기는 IR 센서를 포함하고, 상기 IR 센서를 이용하여 일정 거리 이내에 사용자가 감지되면 상기 복수개의 카메라를 구동하는 복수의 카메라를 이용한 얼굴인증 단말기.The method of claim 8,
The face authentication terminal includes an IR sensor, and the face authentication terminal using a plurality of cameras to drive the plurality of cameras when a user is detected within a predetermined distance by using the IR sensor.
상기 프로세서는 상기 복수의 사용자 별 거리정보에 따라 각 사용자에 대한 게이트 진입순서를 부여하고, 상기 각 사용자 별로 얼굴영역을 검출하는 복수의 카메라를 이용한 얼굴인증 단말기.The method of claim 8,
The processor may provide a gate entry order for each user according to the plurality of user distance information, and detect a face region for each user.
상기 특정 위치에 있는 사용자의 얼굴영역에 대한 이미지를 수신하고 기 저장된 복수개의 사용자정보들 중 상기 얼굴영역에 대한 이미지에 매칭되는 특정 사용자정보를 검색하는 출입국 서버;를 포함하는 복수의 카메라를 이용한 얼굴인증 시스템.Using a plurality of different cameras to take a depth image and a 2D image of a plurality of users entering a gate within a certain distance, and overlay the depth image and the 2D image distance information and face for the plurality of users A face authentication terminal detecting a region and detecting a face region of a user at a specific position from the gate; And
An immigration server that receives an image of a face area of a user at the specific location and searches for specific user information that matches the image of the face area among a plurality of prestored user information; Authentication system.
상기 얼굴인증 단말기는 적어도 하나의 3D 깊이 카메라를 이용하여 상기 깊이영상을 촬영하고 적어도 하나의 2D 카메라를 이용하여 상기 2D 영상을 촬영하는 복수의 카메라를 이용한 얼굴인증 시스템.The method of claim 12,
The face authentication terminal is a face authentication system using a plurality of cameras to take the depth image using at least one 3D depth camera and to take the 2D image using at least one 2D camera.
상기 얼굴인증 단말기는 IR 센서를 포함하고, 상기 IR 센서를 이용하여 상기 일정 거리 이내에 사용자가 감지되면 상기 복수개의 카메라를 구동하는 복수의 카메라를 이용한 얼굴인증 시스템.The method of claim 12,
The face authentication terminal includes an IR sensor, and the face authentication system using a plurality of cameras to drive the plurality of cameras when a user is detected within the predetermined distance using the IR sensor.
상기 출입국 서버는 상기 복수의 사용자데이터를 저장하는 데이터베이스를 포함하고 상기 얼굴영역에 대한 이미지에 매칭되는 특정 사용자데이터가 검색되면 상기 얼굴인증 단말기에 상기 게이트를 개폐하기 위한 제어신호를 전송하는 복수의 카메라를 이용한 얼굴인증 시스템.The method of claim 12,
The immigration server includes a database storing the plurality of user data, and when a specific user data matching the image of the face area is found, the plurality of cameras transmits a control signal for opening and closing the gate to the face authentication terminal. Facial authentication system using.
상기 얼굴인증 단말기는 상기 출입국 서버와 동기화된 데이터베이스를 포함하고 상기 동기화된 데이터베이스를 이용하여 상기 얼굴영역에 대한 이미지에 매칭되는 특정 사용자정보를 검색하는 복수의 카메라를 이용한 얼굴인증 시스템.The method of claim 12,
The face authentication terminal includes a database synchronized with the immigration server, and uses the synchronized database to search for a specific user information matching the image for the face area using a plurality of cameras.
상기 얼굴인증 단말기는 상기 복수의 사용자 별로 검출된 얼굴영역의 이미지를 추출하고 상기 거리정보에 따라 각 얼굴영역의 이미지 별로 인증순서를 부여하고 상기 인증순서에 따라 순차적으로 상기 얼굴영역의 이미지를 상기 출입국 서버에 전송하는 복수의 카메라를 이용한 얼굴인증 시스템. The method of claim 12,
The face authentication terminal extracts an image of a face region detected for each of the plurality of users, assigns an authentication sequence to each face region image according to the distance information, and sequentially displays images of the face regions according to the authentication sequence. Face authentication system using a plurality of cameras to send to the server.
상기 게이트의 일 측면에 구비되고 상기 복수개의 서로 다른 카메라와 동일한 종류의 카메라를 이용하여 상기 복수의 사용자들에 대한 제 2 깊이영상 및 제 2 2D 영상을 촬영하고 상기 제 2 깊이영상 및 상기 제 2 2D 영상을 이용하여 상기 특정 위치에 있는 사용자의 얼굴영역을 검출하는 제 2 단말기; 및
상기 제 1 단말기 및 상기 제 2 단말기 중 적어도 하나로부터 수신된 상기 얼굴영역의 이미지를 토대로 기 등록된 사용자정보들 중 매칭되는 특정 사용자정보를 검색하는 출입국 서버;를 포함하는 복수의 카메라를 이용한 얼굴인증 시스템.A first depth image and a first 2D image of a plurality of users are photographed using a plurality of different cameras at a specific height in front of the gate, and the gate is formed using the first depth image and the first 2D image. A first terminal detecting a face area of a user at a specific position of the first terminal;
A second depth image and a second 2D image of the plurality of users are photographed using a camera provided on one side of the gate and the same type of camera as the plurality of different cameras, and the second depth image and the second depth image are captured. A second terminal detecting a face area of a user at the specific location by using a 2D image; And
Facial authentication using a plurality of cameras, including; an immigration server for searching for matching specific user information among the pre-registered user information based on the image of the face area received from at least one of the first terminal and the second terminal system.
상기 출입국 서버는 상기 제 1 단말기로부터 수신한 얼굴영역의 이미지와 상기 제 2 단말기로부터 수신한 얼굴영역의 이미지 간의 유사도를 검출하는 복수의 카메라를 이용한 얼굴인증 시스템.The method of claim 18,
The immigration server is a face authentication system using a plurality of cameras for detecting the similarity between the image of the face area received from the first terminal and the image of the face area received from the second terminal.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190067151A KR102059686B1 (en) | 2019-06-07 | 2019-06-07 | Method, terminal and system for face authentication using multiple camera |
PCT/KR2019/007178 WO2020246651A1 (en) | 2019-06-07 | 2019-06-14 | Method, terminal, and system for authenticating face by using multiple cameras |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190067151A KR102059686B1 (en) | 2019-06-07 | 2019-06-07 | Method, terminal and system for face authentication using multiple camera |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102059686B1 true KR102059686B1 (en) | 2019-12-26 |
Family
ID=69103610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190067151A KR102059686B1 (en) | 2019-06-07 | 2019-06-07 | Method, terminal and system for face authentication using multiple camera |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102059686B1 (en) |
WO (1) | WO2020246651A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101297736B1 (en) | 2013-05-07 | 2013-08-23 | 주식회사 파이브지티 | Face recognition method and system |
KR101724971B1 (en) | 2015-12-14 | 2017-04-10 | 이우균 | System for recognizing face using wide angle camera and method for recognizing face thereof |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100436453B1 (en) * | 2002-05-27 | 2004-06-22 | 주식회사 케이디엔스마텍 | System for automatically controlling exit form and entry into a country using biorecognition passport |
KR100705164B1 (en) * | 2005-08-25 | 2007-04-09 | 엘지전자 주식회사 | System and method for user registration using portable device |
KR20170077366A (en) * | 2015-12-28 | 2017-07-06 | 삼성에스디에스 주식회사 | System and method for face recognition |
-
2019
- 2019-06-07 KR KR1020190067151A patent/KR102059686B1/en active IP Right Grant
- 2019-06-14 WO PCT/KR2019/007178 patent/WO2020246651A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101297736B1 (en) | 2013-05-07 | 2013-08-23 | 주식회사 파이브지티 | Face recognition method and system |
KR101724971B1 (en) | 2015-12-14 | 2017-04-10 | 이우균 | System for recognizing face using wide angle camera and method for recognizing face thereof |
Also Published As
Publication number | Publication date |
---|---|
WO2020246651A1 (en) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5956122A (en) | Iris recognition apparatus and method | |
US5991429A (en) | Facial recognition system for security access and identification | |
JP4241763B2 (en) | Person recognition apparatus and method | |
US20100158319A1 (en) | Method and apparatus for fake-face detection using range information | |
WO2019071664A1 (en) | Human face recognition method and apparatus combined with depth information, and storage medium | |
JP6769626B2 (en) | Multi-faceted stereoscopic imaging device that authenticates fingerprints and finger veins at the same time | |
US11714889B2 (en) | Method for authentication or identification of an individual | |
WO2005057472A1 (en) | A face recognition method and system of getting face images | |
JP2006236244A (en) | Face authenticating device, and entering and leaving managing device | |
US20190340344A1 (en) | Input/output integration module for simultaneously linking biological information algorithms | |
KR101626837B1 (en) | Method and apparatus for convergence biometric authentication based on finger joint and finger vein | |
US20210256244A1 (en) | Method for authentication or identification of an individual | |
US20170308763A1 (en) | Multi-modality biometric identification | |
US20240054819A1 (en) | Authentication control device, authentication system, authentication control method and non-transitory computer readable medium | |
JP4521086B2 (en) | Face image recognition apparatus and face image recognition method | |
CN108764053A (en) | Image processing method, device, computer readable storage medium and electronic equipment | |
JP2004038305A (en) | Individual identification device | |
JP2002123824A (en) | Image comparing device, image comparing method, image comparing center device, and image comparing system | |
KR100347058B1 (en) | Method for photographing and recognizing a face | |
US11048915B2 (en) | Method and a device for detecting fraud by examination using two different focal lengths during automatic face recognition | |
KR102080252B1 (en) | Method and system for gate control using face recognition | |
JP2007249298A (en) | Face authentication apparatus and face authentication method | |
KR102031946B1 (en) | System and method for surveillance of underside of vehicles | |
KR102059686B1 (en) | Method, terminal and system for face authentication using multiple camera | |
US11188749B2 (en) | Method for biometric recognition from irises |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |