Nothing Special   »   [go: up one dir, main page]

KR20220106399A - Apparatus and Method for Recognizing Liveness of Image - Google Patents

Apparatus and Method for Recognizing Liveness of Image Download PDF

Info

Publication number
KR20220106399A
KR20220106399A KR1020210009274A KR20210009274A KR20220106399A KR 20220106399 A KR20220106399 A KR 20220106399A KR 1020210009274 A KR1020210009274 A KR 1020210009274A KR 20210009274 A KR20210009274 A KR 20210009274A KR 20220106399 A KR20220106399 A KR 20220106399A
Authority
KR
South Korea
Prior art keywords
image
user
recognizing
liveness
behavior pattern
Prior art date
Application number
KR1020210009274A
Other languages
Korean (ko)
Inventor
윤호섭
김재홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210009274A priority Critical patent/KR20220106399A/en
Publication of KR20220106399A publication Critical patent/KR20220106399A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Collating Specific Patterns (AREA)

Abstract

A device and method for recognizing the liveness of an image are disclosed. According to an embodiment of the present invention, the device for recognizing the liveness of an image comprises: a memory in which at least one program is recorded; and a processor executing the program, wherein the program may comprise the steps of: randomly selecting and displaying a first behavior pattern to be performed by a user as a first image of the user is input; recognizing a second behavior pattern of the user included in a second image as the second image of the user is received; and determining the liveness of an image received from the user according to whether the recognized second behavior pattern matches the first behavior pattern. An objective of the present invention is to overcome the limitation of recognizing the liveness of an image only by recognizing a face of a user in an input image.

Description

영상의 라이브니스 인식 장치 및 방법{Apparatus and Method for Recognizing Liveness of Image} Apparatus and Method for Recognizing Liveness of Image

기재된 실시예는 영상의 라이브 여부를 판별하는 기술에 관한 것이다. The described embodiment relates to a technique for determining whether an image is live.

정보 통신 기술이 비약적으로 발전하면서, 사용자의 얼굴을 직접 대면하지 않는 비 대면(In Non-facing) 방식의 다양한 서비스들이 제공되고 있다. 그런데, 이러한 비대면 방식의 서비스를 제공하기 위한 실명확인을 하는 사용자 인증(User authentication)이 수반되어야 한다. 즉, 사용자 인식 시스템에서 컴퓨팅 장치는 사용자에 의해 제공되는 인증 정보에 기초하여 해당 컴퓨팅 장치에 대한 액세스를 허용할지 여부를 결정할 수 있다. With the rapid development of information and communication technology, various services of a non-facing method that do not directly face the user's face are being provided. However, user authentication for real-name verification must be accompanied to provide such a non-face-to-face service. That is, in the user recognition system, the computing device may determine whether to allow access to the computing device based on authentication information provided by the user.

최근, 사용자 인식 시스템을 위한 보안 방법으로서, 얼굴 스푸핑 방지(face anti-spoofing) 기술에 대한 관심이 증가하고 있다. 얼굴 스푸핑 방지는 컴퓨팅 장치에 입력된 사용자의 얼굴이 위조 얼굴(fake face)인지 아니면 진짜 얼굴(genuine face)인지 여부를 구별한다. Recently, as a security method for a user recognition system, interest in face anti-spoofing technology is increasing. Face spoofing prevention distinguishes whether a user's face entered into a computing device is a fake face or a genuine face.

이러한 얼굴 스푸빙 방지 기술로 입력되는 영상의 라이브니스를 인식하는 기술이 있는데, 종래의 라이브니스를 인지하는 방식은 사용자로 하여금 특정 얼굴 행동 및 음성 등을 제시하고, 이를 검증하는 방식이다. 즉, 눈의 깜박임, 고개 끄떡임, 입 움직, 감정표현 등을 순차적으로 랜덤하게 제시하고 사용자가 이를 정확하게 수행하는지 인식하여, 입력된 얼굴 영상이 라이브 인지를 판별하는 것이다. There is a technology for recognizing the liveness of an input image by such a face spoofing prevention technology. The conventional method of recognizing the liveness is a method of presenting a specific facial action and voice to the user and verifying it. That is, blinking of eyes, nodding of head, mouth movement, emotional expression, etc. are presented sequentially and randomly, and whether the user performs them correctly is recognized to determine whether the input face image is live.

그런데, 이러한 기존의 라이브니스 검증 기술은 인공 지능을 이용하여 2차원에서 3차원으로 변환된 얼굴 아바타 자동 생성 및 합성 기술의 발달로 얼굴 모션을 자연스럽게 모사하기가 용이하다는 단점이 있다. However, this existing liveness verification technique has a disadvantage in that it is easy to naturally simulate facial motion due to the development of a technology for automatically generating and synthesizing a face avatar converted from 2D to 3D using artificial intelligence.

기재된 실시예는 입력된 영상에서 사용자의 얼굴 인식만으로 라이브니스를 인식하는데 따르는 한계를 극복하는데 그 목적이 있다.An object of the described embodiment is to overcome the limitation of recognizing liveness only by recognizing a user's face in an input image.

실시예에 따른 영상의 라이브니스 인식 장치는, 적어도 하나의 프로그램이 기록된 메모리 및 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 사용자를 촬영한 제1 영상이 입력됨에 따라 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하는 단계, 사용자를 촬영한 제2 영상이 수신됨에 따라 제2 영상에 포함된 사용자의 제2 행위 패턴을 인식하는 단계 및 인식된 제2 행위 패턴이 제1 행위 패턴과 일치하는지의 여부에 따라 사용자로부터 수신되는 영상의 라이브니스 여부를 판단하는 단계를 수행할 수 있다. An apparatus for recognizing liveness of an image according to an embodiment includes a memory in which at least one program is recorded and a processor executing the program, wherein the program is a first program to be performed by the user when a first image photographed by the user is input. The steps of randomly selecting and displaying a behavior pattern, recognizing the user's second behavior pattern included in the second image as a second image photographed by the user is received, and the recognized second behavior pattern is the first behavior pattern A step of determining whether the liveness of the image received from the user may be performed according to whether the image matches the .

이때, 디스플레이하는 단계는, 사용자를 촬영한 제1 영상의 얼굴 영역 내에서의 소정 움직임 변화를 기반으로 사용자의 사칭 여부를 판단하는 단계를 더 포함하고, 사용자가 사칭하지 않은 것으로 판단될 경우, 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이할 수 있다. In this case, the displaying may further include determining whether the user is impersonating the user based on a predetermined movement change in the face region of the first image captured by the user, and when it is determined that the user is not impersonating, the user The first behavior pattern to be performed may be randomly selected and displayed.

이때, 제1 행위 패턴은, 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 적어도 하나가 무작위로 선별된 것일 수 있다. In this case, the first behavior pattern may be one in which at least one of a plurality of preset hand shape patterns and hand motion patterns is randomly selected.

이때, 디스플레이하는 단계는, 제1 행위 패턴으로 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 무작위로 선별된 둘 이상을 소정 순서로 디스플레하고, 판단하는 단계는, 제1 행위 패턴 및 제2 행위 패턴의 순서가 일치하는지의 여부를 판단할 수 있다. In this case, the displaying includes displaying two or more randomly selected among a plurality of hand-shaped patterns and hand operation patterns preset as the first behavior pattern in a predetermined order, and the determining includes: 2 It can be determined whether the order of the behavior patterns matches.

이때, 손 모양 패턴은, 문자 또는 숫자를 모방한 것일 수 있다. In this case, the hand pattern may imitate letters or numbers.

이때, 손 모양 패턴은, 앞면 또는 뒷면으로 구분되는 것일 수 있다. In this case, the hand pattern may be divided into a front side or a back side.

이때, 손 동작 패턴은, 소정 도형일 수 있다. In this case, the hand motion pattern may be a predetermined figure.

실시예에 따른 영상의 라이브니스 인식 방법은, 사용자를 촬영한 제1 영상이 입력됨에 따라 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하는 단계, 사용자를 촬영한 제2 영상이 수신됨에 따라 제2 영상에 포함된 사용자의 제2 행위 패턴을 인식하는 단계 및 인식된 제2 행위 패턴이 제1 행위 패턴과 일치하는지의 여부에 따라 사용자로부터 수신되는 영상의 라이브니스 여부를 판단하는 단계를 포함할 수 있다. The method for recognizing the liveness of an image according to an embodiment includes the steps of randomly selecting and displaying a first action pattern to be performed by the user as a first image photographed by the user is input, and receiving a second image photographed by the user according to the steps of recognizing the user's second behavior pattern included in the second image and determining whether the liveness of the image received from the user is based on whether the recognized second behavior pattern matches the first behavior pattern may include

이때, 디스플레이하는 단계는, 사용자를 촬영한 제1 영상의 얼굴 영역 내에서의 소정 움직임 변화를 기반으로 사용자의 사칭 여부를 판단하는 단계를 더 포함하고, 사용자가 사칭하지 않은 것으로 판단될 경우, 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이할 수 있다. In this case, the displaying may further include determining whether the user is impersonating the user based on a predetermined movement change in the face region of the first image captured by the user, and when it is determined that the user is not impersonating, the user The first behavior pattern to be performed may be randomly selected and displayed.

이때, 제1 행위 패턴은, 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 적어도 하나가 무작위로 선별된 것일 수 있다.In this case, the first behavior pattern may be one in which at least one of a plurality of preset hand shape patterns and hand motion patterns is randomly selected.

이때, 디스플레이하는 단계는, 제1 행위 패턴으로 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 무작위로 선별된 둘 이상을 소정 순서로 디스플레하고, 판단하는 단계는, 제1 행위 패턴 및 제2 행위 패턴의 순서가 일치하는지의 여부를 판단할 수 있다. In this case, the displaying includes displaying two or more randomly selected among a plurality of hand-shaped patterns and hand operation patterns preset as the first behavior pattern in a predetermined order, and the determining includes: 2 It can be determined whether the order of the behavior patterns matches.

이때, 손 모양 패턴은, 문자 또는 숫자를 모방한 것일 수 있다. In this case, the hand pattern may imitate letters or numbers.

이때, 손 모양 패턴은, 앞면 또는 뒷면으로 구분되는 것일 수 있다. In this case, the hand pattern may be divided into a front side or a back side.

이때, 손 동작 패턴은, 소정 도형일 수 있다. In this case, the hand motion pattern may be a predetermined figure.

실시예에 따른 영상의 라이브니스 인식 장치는, 적어도 하나의 프로그램이 기록된 메모리 및 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 사용자를 촬영한 제1 영상이 입력됨에 따라, 제1 영상의 얼굴 영역 내에서의 소정 움직임 변화를 기반으로 사용자의 사칭 여부를 판단하는 단계, 사용자가 사칭하지 않은 것으로 판단될 경우, 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하는 단계, 사용자를 촬영한 제2 영상이 수신됨에 따라 제2 영상에 포함된 사용자의 제2 행위 패턴을 인식하는 단계 및 인식된 제2 행위 패턴이 제1 행위 패턴과 일치하는지의 여부에 따라 사용자로부터 수신되는 영상의 라이브니스 여부를 판단하는 단계를 수행할 수 있다. An apparatus for recognizing liveness of an image according to an embodiment includes a memory in which at least one program is recorded and a processor for executing the program, wherein the program includes a first image photographed by a user is input, the face of the first image Determining whether or not the user is impersonating based on a change in a predetermined movement within the area, if it is determined that the user is not impersonating, randomly selecting and displaying a first action pattern to be performed by the user; Recognizing the user's second behavior pattern included in the second image as the second image is received, and the liveness of the image received from the user according to whether the recognized second behavior pattern matches the first behavior pattern Steps to determine whether or not can be performed.

이때, 제1 행위 패턴은, 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 적어도 하나가 무작위로 선별된 것일 수 있다. In this case, the first behavior pattern may be one in which at least one of a plurality of preset hand shape patterns and hand motion patterns is randomly selected.

이때, 디스플레이하는 단계는, 제1 행위 패턴으로 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 무작위로 선별된 둘 이상을 소정 순서로 디스플레하고, 판단하는 단계는, 제1 행위 패턴 및 제2 행위 패턴의 순서가 일치하는지의 여부를 판단할 수 있다. In this case, the displaying includes displaying two or more randomly selected among a plurality of hand-shaped patterns and hand operation patterns preset as the first behavior pattern in a predetermined order, and the determining includes: 2 It can be determined whether the order of the behavior patterns matches.

이때, 손 모양 패턴은, 문자 또는 숫자를 모방한 것일 수 있다. In this case, the hand pattern may imitate letters or numbers.

이때, 손 모양 패턴은, 앞면 또는 뒷면으로 구분되는 것일 수 있다. In this case, the hand pattern may be divided into a front side or a back side.

이때, 손 동작 패턴은, 소정 도형일 수 있다. In this case, the hand motion pattern may be a predetermined figure.

실시예에 따라, 입력된 영상에서 사용자의 얼굴 인식만으로 위조 여부를 구별하는데 따르는 한계를 극복할 수 있다. 즉, 얼굴 인식과 아울러 사용자의 행위 패턴을 인식을 융합하여 영상의 라이브니스 검증 성능을 향상시킬 수 있다. According to an embodiment, it is possible to overcome the limitation of discriminating whether a forgery exists only by recognizing a user's face in an input image. That is, it is possible to improve the liveness verification performance of an image by fusing the recognition of the user's behavior pattern with the face recognition.

도 1은 실시예에 따른 라이브니스 인식 장치를 포함하는 시스템의 개략적인 블록 구성도이다.
도 2는 실시예에 따른 영상의 라이브니스 인식 방법을 설명하기 위한 순서도이다.
도 3 및 도 4는 실시예에 따른 손 모양들의 예시도이다.
도 5는 실시예에 따른 손 모션 패턴 예시도이다.
도 6은 실시예에 따라 무작위로 선별된 손 모양 및 행위 순서 예시도이다.
도 7는 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.
1 is a schematic block diagram of a system including a liveness recognition apparatus according to an embodiment.
2 is a flowchart illustrating a method for recognizing liveness of an image according to an embodiment.
3 and 4 are exemplary views of hand shapes according to an embodiment.
5 is a diagram illustrating a hand motion pattern according to an embodiment.
6 is an exemplary diagram of a hand shape and an action sequence randomly selected according to an embodiment.
7 is a diagram showing the configuration of a computer system according to an embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.Although "first" or "second" is used to describe various elements, these elements are not limited by the above terms. Such terms may only be used to distinguish one component from another. Accordingly, the first component mentioned below may be the second component within the spirit of the present invention.

본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.The terminology used herein is for the purpose of describing the embodiment and is not intended to limit the present invention. In this specification, the singular also includes the plural, unless specifically stated otherwise in the phrase. As used herein, “comprises” or “comprising” implies that the stated component or step does not exclude the presence or addition of one or more other components or steps.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms used herein may be interpreted with meanings commonly understood by those of ordinary skill in the art to which the present invention pertains. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly specifically defined.

이하에서는, 도 1 내지 도 7을 참조하여 실시예에 따른 영상의 라이브니스 인식 장치 및 방법이 상세히 설명된다.Hereinafter, an apparatus and method for recognizing liveness of an image according to an embodiment will be described in detail with reference to FIGS. 1 to 7 .

도 1은 실시예에 따른 영상 라이브니스 인식 장치를 포함하는 시스템의 개략적인 블록 구성도이다. 1 is a schematic block diagram of a system including an image liveness recognition apparatus according to an embodiment.

도 1을 참조하면, 영상의 라이브니스 인식 장치(100)는, 카메라(10)에 의해 사용자(1)를 촬영된 영상의 라이브니스 검사를 수행한다. Referring to FIG. 1 , the apparatus 100 for recognizing the liveness of an image performs a liveness check of an image captured by the user 1 by the camera 10 .

이러한 실시예에 따른 영상의 라이브니스 인식 장치(100)는, 사용자 로그인, 모바일 결제 또는 출입 통제 등에서 수행되는 사용자 인증과 관련하여 인증 대상의 라이브니스를 검사하는 모든 서비스를 위해 이용될 수 있다. The apparatus 100 for recognizing the liveness of an image according to this embodiment may be used for all services that check the liveness of an authentication target in relation to user authentication performed such as user login, mobile payment, or access control.

이때, 라이브니스 검사는 검사 대상인 객체가 라이브(live)한지 여부를 검사하는 것으로, 예를 들어 카메라(10)를 통해 촬영된 얼굴이 진짜 얼굴인지 아니면 위조 얼굴인지 여부를 검사하는 것이다. "라이브니스"의 용어는 생명이 없는 객체(예를 들어, 위조에 사용된 사진, 영상 및 모형)와 살아있는 사람 사이를 구별하기 위한 용어로서 이용될 수 있다. 라이브니스 검사는 사진, 동영상, 마스크 또는 모형과 같은 대체물을 이용한 인증 시도(스푸핑 공격)를 걸러내어 오인증(erroneous authentication)을 방지하는 역할을 한다.In this case, the liveness check is to check whether the object to be tested is live, for example, whether the face photographed through the camera 10 is a real face or a fake face. The term "liveness" can be used as a term to distinguish between inanimate objects (eg, photos, videos, and models used for forgery) and living people. Liveness checks prevent erroneous authentication by filtering out authentication attempts (spoofing attacks) using substitutes such as photos, videos, masks or models.

이때, 카메라(10)는, 라이브니스 인식 장치(100)에 설치된 것일 수 있다. In this case, the camera 10 may be installed in the liveness recognition apparatus 100 .

또한, 카메라(10)는, 사용자(1)가 소지한 별도의 단말에 설치된 것일 수도 있다. 이럴 경우, 카메라(10)에 의해 획득된 영상이 유/무선 통신망(미도시)을 통해 영상의 라이브니스 인식 장치(100)로 전달될 수 있다. In addition, the camera 10 may be installed in a separate terminal possessed by the user 1 . In this case, the image acquired by the camera 10 may be transmitted to the apparatus 100 for recognizing the liveness of the image through a wired/wireless communication network (not shown).

이러한 라이브니스 인식 장치(100)는, 상세하게는 얼굴 검출부(110), 사칭자 판단부(120) 및 라이브 여부 판단부(130)를 포함할 수 있다. 즉, 라이브니스 인식 장치(100)는, 2차에 걸쳐 수신되는 영상의 라이브니스 여부를 판단하여, 라이브니스 검증 성능을 향상시킬 수 있다. In detail, the liveness recognition apparatus 100 may include a face detection unit 110 , an impersonator determination unit 120 , and a liveness determination unit 130 . That is, the liveness recognizing apparatus 100 may improve the liveness verification performance by determining whether the received image has liveness in the second stage.

이때, 얼굴 검출부(110)는, 사용자를 촬영한 제1 영상이 입력됨에 따라, 제1 영상으로부터 사용자의 얼굴을 검출한다.In this case, the face detection unit 110 detects the user's face from the first image as the first image of the user is input.

사칭자 판단부(120)는, 사용자를 촬영한 제1 영상의 얼굴 영역 내에서의 소정 움직임 변화를 기반으로 사용자의 사칭 여부를 판단한다. The impersonator determination unit 120 determines whether the user is impersonated based on a predetermined movement change in the face region of the first image captured by the user.

이는 사칭자가 악의적인 목적으로 본인이 아니라 타인의 얼굴이 촬영된 영상을 입력하는 것을 방지하기 위함이다. 예컨대, 사칭자가 타인의 얼굴 사진으로 제작된 가면을 쓰고 촬영한 영상을 입력할 경우, 사람의 육안이 아닌 기계적으로 이를 판별하지 못할 수도 있다. 따라서, 실시예에 따라, 사칭자 판단부(120)는, 이러한 사칭 여부를 판별하기 위해, 얼굴 영역 내에서의 소정 움직임을 야기하는 동작을 수행하도록 요청할 수 있다. 예컨대, 울거나, 웃는 등의 소정 감정을 표현하거나, 특정 단어를 발성하도록 요청할 수 있다. 그러면, 사칭자 판단부(120)는, 요청한 동작을 수행한 사용자를 촬영한 제3 영상에서 검출한 얼굴 영역에서의 움직임이 요청된 동작에 상응하는 움직임과 일치하는지의 여부에 따라 사칭 여부를 판단할 수 있다. 즉, 사용자의 시선 방향, 머리 움직임, 입술 움직임, 표정에 따른 이목구비 움직임 등을 인식하여 사칭 여부를 판단할 수 있다. This is to prevent an impersonator from entering an image of another person's face instead of himself/herself for malicious purposes. For example, when an impersonator wears a mask made of a picture of another person's face and inputs an image taken, it may not be determined mechanically, not with the human eye. Accordingly, according to an embodiment, the impersonator determination unit 120 may request to perform an operation causing a predetermined movement in the face region in order to determine whether such impersonation has been performed. For example, it is possible to express a certain emotion, such as crying or smiling, or to request to utter a specific word. Then, the impersonator determining unit 120 determines whether to impersonate the user according to whether the movement in the face region detected from the third image of the user who has performed the requested operation coincides with the movement corresponding to the requested operation. can do. That is, it is possible to determine whether impersonation is performed by recognizing the user's gaze direction, head movement, lip movement, facial feature movement, and the like.

그런데, 전술한 바와 같은 사칭자 판별도 최근 인공 지능 기술이 급격히 발달함에 따라, 기존의 2D 기반의 얼굴 영상을 기반으로 3D 아바타를 생성하고, 이 생성된 아바타를 실시간으로 합성해서 표정과 입술 움직임을 생성하면 사칭자를 판별하기 어려울 수 있다. 즉, 종래와 같이 하나의 실마리 만을 검증하는 방식은 범죄자가 이를 모사하기 용이하고, 보안의 중요성에 따라 전술한 바와 같이 다양한 행동을 사용자에게 요구함으로써 사용자의 불편을 야기할 수도 있다. However, with the rapid development of artificial intelligence technology in the identification of impersonators as described above, a 3D avatar is created based on the existing 2D-based face image, and the generated avatar is synthesized in real time to analyze facial expressions and lip movements. When created, it can be difficult to identify impersonators. That is, in the conventional method of verifying only one clue, it is easy for criminals to imitate this, and according to the importance of security, various actions are required from the user as described above, thereby causing inconvenience to the user.

따라서, 실시예에 따른 라이브 여부 판단부(130)는, 사용자를 촬영한 제1 영상이 입력됨에 따라 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하고, 사용자를 촬영한 제2 영상이 수신됨에 따라 제2 영상에 포함된 사용자의 제2 행위 패턴을 인식하고, 인식된 제2 행위 패턴이 제1 행위 패턴과 일치하는지의 여부에 따라 사용자로부터 수신되는 영상의 라이브니스 여부를 판단할 있다. Accordingly, the live or not determining unit 130 according to the embodiment randomly selects and displays a first behavior pattern to be performed by the user as the first image photographed by the user is input, and the second image photographed by the user is displayed. As it is received, the user's second behavior pattern included in the second image is recognized, and the liveness of the image received from the user is determined according to whether the recognized second behavior pattern matches the first behavior pattern. .

즉, 실시예에 따라, 라이브 여부 판단부(130)는, 현재 카메라(10)에 입력되는 영상이 라이브인지, 사진 혹은 녹화된 영상인지를 판별하는 것을 사용자에게 랜덤한 손 모양 및 동작을 따라하도록 요청하여 영상이 라이브인지를 확인하고자 한다. 이러한 실시예에 따라, 사칭자가 비디오를 이용해 랜덤으로 발생되는 특정 손 모양과 손 행동을 실시간으로 모사하는 것이 불가능에 가까우므로 매우 높은 보안성을 갖게 된다. That is, according to an embodiment, the live determination unit 130 allows the user to imitate a random hand gesture and motion to determine whether an image currently input to the camera 10 is a live image, a photo, or a recorded image. You want to make sure the video is live by requesting it. According to this embodiment, since it is almost impossible for an impersonator to imitate a specific hand shape and hand action that are randomly generated in real time using a video, very high security is obtained.

이러한 라이브 여부 판단부(130)의 상세 동작에 대해서는 이하 도 2 내지 도 6을 참조하여 후술하기로 한다. A detailed operation of the live determination unit 130 will be described later with reference to FIGS. 2 to 6 .

도 2는 실시예에 따른 영상의 라이브니스 인식 방법을 설명하기 위한 순서도이고, 도 3 및 도 4는 실시예에 따른 손 모양들의 예시도이고, 도 5는 실시예에 따른 손 모션 패턴 예시도이고, 도 6은 실시예에 따라 무작위로 선별된 손 모양 및 행위 순서 예시도이다. 2 is a flowchart for explaining a method for recognizing the liveness of an image according to an embodiment, FIGS. 3 and 4 are exemplary hand shapes according to the embodiment, and FIG. 5 is an exemplary hand motion pattern according to the embodiment , FIG. 6 is an exemplary diagram of a hand shape and an action sequence randomly selected according to an embodiment.

도 2를 참조하면, 실시예에 따른 영상의 라이브니스 인식 방법은 사용자를 촬영한 제1 영상이 입력됨에 따라 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하는 단계(S210~240), 사용자를 촬영한 제2 영상이 수신됨에 따라 제2 영상에 포함된 사용자의 제2 행위 패턴을 인식하는 단계(S251~S260) 및 인식된 제2 행위 패턴이 제1 행위 패턴과 일치하는지의 여부에 따라 사용자로부터 수신되는 영상의 라이브니스 여부를 판단하는 단계(S270~S275)를 수행할 수 있다. Referring to FIG. 2 , the method for recognizing the liveness of an image according to an embodiment includes the steps of randomly selecting and displaying a first behavior pattern to be performed by the user as a first image photographed by the user is input (S210 to 240); As the second image of the user is received, the step of recognizing the user's second behavior pattern included in the second image (S251 to S260) and whether the recognized second behavior pattern matches the first behavior pattern Accordingly, the steps ( S270 to S275 ) of determining whether the image received from the user are live may be performed.

이때, 실시예에 따른 디스플레이하는 단계(S210~240)에서, 장치(100)는 사용자를 촬영한 제1 영상이 입력됨(S210)에 따라, 제1 영상으로부터 사용자의 얼굴을 검출한다(S220). At this time, in the displaying step (S210 to 240) according to the embodiment, the device 100 detects the user's face from the first image as the first image photographed by the user is input (S210) (S220) .

이때, 장치(100)는, 제1 행위 패턴을 기반으로 하는 영상의 라이브니스 여부를 체크하기 이전에, 사용자를 촬영한 제1 영상의 얼굴 영역 내에서의 소정 움직임 변화를 기반으로 사용자의 사칭 여부를 판단하는 단계(S230)를 더 수행할 수 있다. In this case, before checking whether the image based on the first behavior pattern is lively, the device 100 determines whether the user is impersonated based on a predetermined movement change in the face region of the first image captured by the user. The step of determining ( S230 ) may be further performed.

이는 사칭자가 악의적인 목적으로 본인이 아니라 타인의 얼굴이 촬영된 영상을 입력하는 것을 방지하기 위함이다. 예컨대, 사칭자가 타인의 얼굴 사진으로 제작된 가면을 쓰고 촬영한 영상을 입력할 경우, 사람의 육안이 아닌 기계적으로 이를 판별하지 못할 수도 있다. This is to prevent an impersonator from entering an image of another person's face instead of himself/herself for malicious purposes. For example, when an impersonator wears a mask made of a picture of another person's face and inputs an image taken, it may not be determined mechanically, not with the human eye.

따라서, 실시예에 따라, 장치(100)는, 이러한 사칭 여부를 판별하기 위해, 얼굴 영역 내에서의 소정 움직임을 야기하는 동작을 수행하도록 요청할 수 있다. 예컨대, 울거나, 웃는 등의 소정 감정을 표현하거나, 특정 단어를 발성하도록 요청할 수 있다. Accordingly, according to an embodiment, the device 100 may request to perform an operation causing a predetermined movement in the face region to determine whether such impersonation is used. For example, it is possible to express a certain emotion, such as crying or smiling, or to request to utter a specific word.

그러면, 장치(100)는, 요청한 동작을 수행한 사용자를 촬영한 제3 영상에서 검출한 얼굴 영역에서의 움직임이 요청된 동작에 상응하는 움직임과 일치하는지의 여부에 따라 사칭 여부를 판단할 수 있다. 즉, 사용자의 시선 방향, 머리 움직임, 입술 움직임, 표정에 따른 이목구비 움직임 등을 인식하여 사칭 여부를 판단할 수 있다. Then, the device 100 may determine whether to impersonate the user according to whether the movement in the face region detected from the third image of the user performing the requested operation coincides with the movement corresponding to the requested operation. . That is, by recognizing the user's gaze direction, head movement, lip movement, facial feature movement, etc., it is possible to determine whether the impersonation is impersonated.

S230의 판단 결과 사칭자로 판단될 경우, 장치(100)는 S210으로 진행하여 다시 얼굴 영상을 입력받거나, 본인 확인 불가 메시지를 출력할 수도 있다. If it is determined as a result of the determination in S230 that the impersonator is an impersonator, the device 100 may proceed to S210 to receive a face image again or to output an identity verification impossible message.

그런데, 전술한 바와 같은 사칭자 판별도 최근 인공 지능 기술이 급격히 발달함에 따라, 기존의 2D 기반의 얼굴 영상을 기반으로 3D 아바타를 생성하고, 이 생성된 아바타를 실시간으로 합성해서 표정과 입술 움직임을 생성하면 사칭자를 판별하기 어려울 수 있다. 즉, 종래와 같이 하나의 실마리 만을 검증하는 방식은 범죄자가 이를 모사하기 용이하고, 보안의 중요성에 따라 전술한 바와 같이 다양한 행동을 사용자에게 요구함으로써 사용자의 불편을 야기할 수도 있다. However, with the rapid development of artificial intelligence technology in the identification of impersonators as described above, a 3D avatar is created based on the existing 2D-based face image, and the generated avatar is synthesized in real time to analyze facial expressions and lip movements. When created, it can be difficult to identify impersonators. That is, in the conventional method of verifying only one clue, it is easy for criminals to imitate this, and according to the importance of security, various actions are required from the user as described above, thereby causing inconvenience to the user.

따라서, 실시예에 따라, 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하여, 사용자로 하여금 디스플레이된 제1 행위 패턴을 따라하도록 요청할 수 있다. Accordingly, according to an embodiment, the first behavior pattern to be performed by the user may be randomly selected and displayed to request the user to follow the displayed first behavior pattern.

즉, S230의 판단 결과 사칭자가 아닐 경우, 장치(100)는 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이할 수 있다(S240). That is, if it is determined in S230 that the impersonator is not an impersonator, the device 100 may randomly select and display the first behavior pattern to be performed by the user ( S240 ).

이때, 제1 행위 패턴은 그래픽으로 미리 제작되어 있을 수 있다. In this case, the first behavior pattern may be prepared in advance as a graphic.

이때, 제1 행위 패턴은, 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 적어도 하나가 무작위로 선별된 것일 수 있다. In this case, the first behavior pattern may be one in which at least one of a plurality of preset hand shape patterns and hand motion patterns is randomly selected.

이때, 손 모양 패턴은, 문자 또는 숫자를 모방한 것일 수 있다. In this case, the hand pattern may imitate letters or numbers.

예컨대, 도 3에 도시된 바와 같이, 손 모양 패턴은 알파벳을 모방한 것일 수 있다. 그러나, 손 모양 패턴은 알파벳이 아닌 다른 문자, 예컨대 한글 문자를 모방한 것일 수도 있다. For example, as shown in FIG. 3 , the hand pattern may imitate an alphabet. However, the hand pattern may imitate other non-alphabetic characters, for example, Hangul characters.

또한, 도 4에 도시된 바와 같이, 손 모양 패턴은 손가락의 개수를 사용하여 숫자를 표현한 것일 수 있다. 이 경우에는 숫자는 앞면, 알파벳은 뒷면 손모양을 보여주는 것으로 구분할 수 있다.Also, as shown in FIG. 4 , the hand pattern may be a number expressing a number using the number of fingers. In this case, the numbers can be distinguished by showing the front side and the alphabet by showing the back hand shape.

또한, 도 5에 도시된 바와 같이, 손 동작 패턴은, 소정 도형일 수 있다. 즉, 좌우로 흔드는 동작, 원, 삼각형 및 사각형과 같은 형상을 따라한 손 동작을 촬영하여 입력하도록 요청할 수 있다. Also, as shown in FIG. 5 , the hand motion pattern may be a predetermined figure. That is, it may be requested to record and input a motion of waving left and right, a motion of a hand that follows a shape such as a circle, a triangle, and a rectangle.

또한, 디스플레이하는 단계(S240)는, 제1 행위 패턴으로 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 무작위로 선별된 둘 이상을 소정 순서로 디스플레할 수 있다. 이처럼, 손 모양 패턴 및 손 동작 패턴을 혼합하여 활용한다면 보다 향상된 라이브니스 검증 성능을 기대할 수 있다. In addition, in the displaying ( S240 ), two or more randomly selected among a plurality of hand shape patterns and hand motion patterns preset as the first action pattern may be displayed in a predetermined order. As such, if a hand shape pattern and a hand motion pattern are mixed and used, more improved liveness verification performance can be expected.

예컨대, 도 6을 참조하면, 복수의 손 모양 패턴들, 즉, 숫자 '3', 알파벳 'A' 및 숫자 '5'를 나타내는 순서대로 손 모양 패턴들을 디스플레이할 수 있다. For example, referring to FIG. 6 , a plurality of hand patterns may be displayed in an order of indicating the number '3', the alphabet 'A', and the number '5'.

또한, 도면에는 도시되어 있지 않지만, 도 3 및 4에 도시된 손 모양 패턴들 중 적어도 하나 및 도 5에 도시된 손 동작 패턴 중 적어도 하나를 선별하여 소정 순서대로 디스플레이할 수 있다. Also, although not shown in the drawings, at least one of the hand patterns shown in FIGS. 3 and 4 and at least one of the hand motion patterns shown in FIG. 5 may be selected and displayed in a predetermined order.

그러면, 사용자는 도 3에서 보여지는 손 모양을 순서대로 따라해서 현재 동영상이 아님을 증명하면 된다.Then, the user only needs to prove that it is not the current video by following the hand gestures shown in FIG. 3 in order.

그러면, 카메라는 사용자가 손으로 디스플레이된 제1 행위 패턴을 모방하는 모습을 촬영한 제2 영상을 획득한다. Then, the camera acquires a second image in which the user imitates the first behavior pattern displayed by hand.

그러면, 장치(100)는, 사용자를 촬영한 제2 영상이 수신됨에 따라 제2 영상에 포함된 사용자의 제2 행위 패턴을 인식한다(S251, S252). Then, as the second image of the user is received, the device 100 recognizes the user's second behavior pattern included in the second image ( S251 and S252 ).

즉, 장치(100)는, 제2 영상으로부터 손 모양을 인식(S251) 및 손 동작을 인식(S252)할 수 있다. That is, the device 100 may recognize a hand shape ( S251 ) and recognize a hand gesture ( S252 ) from the second image.

실시예에 따라, S240에서 제1 행위 패턴으로 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 무작위로 선별된 둘 이상을 소정 순서로 디스플레하였으므로, 장치(100)는, 복수의 손 모양 패턴들 및 손 동작 패턴들을 인식하는 동작을 반복 수행한다(S260). According to an embodiment, since two or more randomly selected among a plurality of hand patterns and hand action patterns preset as the first action pattern in S240 are displayed in a predetermined order, the device 100 displays the plurality of hand patterns The operation of recognizing the field and hand motion patterns is repeatedly performed (S260).

S260의 판단 결과 사용자의 손 모양 및 손 동작이 종료됨에 따라, 장치(100)는 인식된 제2 행위 패턴을 분석(S270)하여 제1 행위 패턴과 일치하는지의 여부를 판단한다(S280). 이때, 제1 행위 패턴 및 제2 행위 패턴의 모양 뿐만 아니라, 제1 행위 패턴 및 제2 행위 패턴의 순서가 일치하는지의 여부를 판단할 수 있다. As a result of the determination at S260, the user's hand shape and hand motion are terminated, and the device 100 analyzes the recognized second action pattern (S270) to determine whether it matches the first action pattern (S280). In this case, it may be determined whether the order of the first behavior pattern and the second behavior pattern as well as the shapes of the first behavior pattern and the second behavior pattern match.

이때, 라이브니스를 검사하는데 있어, 뉴럴 네트워크(neural network) 기반의 라이브니스 검사 모델을 이용할 수 있다. 즉, 라이브니스 검사 모델은 입력된 정보에 기초하여 객체의 라이브니스를 결정하기 위한 기준 값을 제공하는 모델로서, 학습 데이터(training data)에 기초하여 미리 학습될 수 있다. In this case, in examining the liveness, a neural network-based liveness testing model may be used. That is, the liveness check model is a model that provides a reference value for determining the liveness of an object based on input information, and may be pre-trained based on training data.

S280의 판단 결과 제1 행위 패턴과 제2 행위 패턴이 일치할 경우, 장치(100)는 촬영되는 영상을 라이브 영상으로 판단할 수 있다(S290). If it is determined in S280 that the first behavior pattern and the second behavior pattern match, the device 100 may determine the captured image as a live image (S290).

반면, S280의 판단 결과 제1 행위 패턴과 제2 행위 패턴이 일치하지 않을 경우, 장치(100)는 촬영되는 영상이 라이브 영상이 아닌 녹화된 영상으로 판단할 수 있다(S295). On the other hand, if it is determined in S280 that the first behavior pattern and the second behavior pattern do not match, the device 100 may determine that the captured image is a recorded image rather than a live image ( S295 ).

도 7는 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.7 is a diagram showing the configuration of a computer system according to an embodiment.

실시예에 따른 영상 라이브니스 인식 장치(100)는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.The image liveness recognition apparatus 100 according to the embodiment may be implemented in the computer system 1000 such as a computer-readable recording medium.

컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.Computer system 1000 may include one or more processors 1010 , memory 1030 , user interface input device 1040 , user interface output device 1050 , and storage 1060 that communicate with each other via bus 1020 . can In addition, computer system 1000 may further include a network interface 1070 coupled to network 1080 . The processor 1010 may be a central processing unit or a semiconductor device that executes programs or processing instructions stored in the memory 1030 or storage 1060 . The memory 1030 and the storage 1060 may be a storage medium including at least one of a volatile medium, a non-volatile medium, a removable medium, a non-removable medium, a communication medium, and an information delivery medium. For example, the memory 1030 may include a ROM 1031 or a RAM 1032 .

이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can implement the present invention in other specific forms without changing its technical spirit or essential features. You will understand that there is Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

10 : 카메라 20 : 디스플레이부
100 : 영상의 라이브니스 인식 장치
110 : 얼굴 검출부 120 : 사칭자 판단부
130 : 라이브 여부 판단부
10: camera 20: display unit
100: image liveness recognition device
110: face detection unit 120: impersonator determination unit
130: live determination unit

Claims (20)

적어도 하나의 프로그램이 기록된 메모리; 및
프로그램을 실행하는 프로세서를 포함하며,
프로그램은,
사용자를 촬영한 제1 영상이 입력됨에 따라 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하는 단계;
사용자를 촬영한 제2 영상이 수신됨에 따라 제2 영상에 포함된 사용자의 제2 행위 패턴을 인식하는 단계; 및
인식된 제2 행위 패턴이 제1 행위 패턴과 일치하는지의 여부에 따라 사용자로부터 수신되는 영상의 라이브니스 여부를 판단하는 단계를 수행하는, 영상의 라이브니스 인식 장치.
a memory in which at least one program is recorded; and
a processor for executing a program;
program,
randomly selecting and displaying a first behavior pattern to be performed by the user in response to a first image photographed by the user being input;
recognizing a user's second behavior pattern included in the second image as a second image of the user is received; and
An apparatus for recognizing the liveness of an image, comprising determining whether an image received from the user is live according to whether the recognized second behavior pattern matches the first behavior pattern.
제1 항에 있어서, 디스플레이하는 단계는,
사용자를 촬영한 제1 영상의 얼굴 영역 내에서의 소정 움직임 변화를 기반으로 사용자의 사칭 여부를 판단하는 단계를 더 포함하고,
사용자가 사칭하지 않은 것으로 판단될 경우, 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하는, 영상의 라이브니스 인식 장치.
The method of claim 1, wherein the displaying comprises:
Further comprising the step of determining whether the user is impersonated based on a change in a predetermined movement within the face region of the first image captured by the user,
When it is determined that the user is not impersonating, the apparatus for recognizing the liveness of an image, which randomly selects and displays a first behavior pattern to be performed by the user.
제1 항에 있어서, 제1 행위 패턴은,
미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 적어도 하나가 무작위로 선별된 것인, 영상의 라이브니스 인식 장치.
According to claim 1, wherein the first behavior pattern,
The apparatus for recognizing the liveness of an image, wherein at least one of a plurality of preset hand shape patterns and hand motion patterns is randomly selected.
제3 항에 있어서, 디스플레이하는 단계는,
제1 행위 패턴으로 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 무작위로 선별된 둘 이상을 소정 순서로 디스플레하고,
판단하는 단계는,
제1 행위 패턴 및 제2 행위 패턴의 순서가 일치하는지의 여부를 판단하는, 영상의 라이브니스 인식 장치.
The method of claim 3, wherein the displaying comprises:
Displaying two or more randomly selected from among a plurality of hand-shaped patterns and hand movement patterns preset as the first action pattern in a predetermined order,
The judging step is
An apparatus for recognizing the liveness of an image, which determines whether the order of the first behavior pattern and the second behavior pattern match.
제3 항에 있어서, 손 모양 패턴은,
문자 또는 숫자를 모방한 것인, 영상의 라이브니스 인식 장치.
The method of claim 3, wherein the hand pattern,
A device for recognizing the liveness of an image, which imitates letters or numbers.
제5 항에 있어서, 손 모양 패턴은,
앞면 또는 뒷면으로 구분되는, 영상의 라이브니스 인식 장치.
The method of claim 5, wherein the hand pattern,
A device for recognizing the liveness of an image, which is divided into front or back.
제3 항에 있어서, 손 동작 패턴은,
소정 도형인, 영상의 라이브니스 인식 장치.
The method of claim 3, wherein the hand motion pattern is
An apparatus for recognizing the liveness of an image, which is a predetermined figure.
사용자를 촬영한 제1 영상이 입력됨에 따라 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하는 단계;
사용자를 촬영한 제2 영상이 수신됨에 따라 제2 영상에 포함된 사용자의 제2 행위 패턴을 인식하는 단계; 및
인식된 제2 행위 패턴이 제1 행위 패턴과 일치하는지의 여부에 따라 사용자로부터 수신되는 영상의 라이브니스 여부를 판단하는 단계를 포함하는, 영상의 라이브니스 인식 방법.
randomly selecting and displaying a first behavior pattern to be performed by the user in response to a first image photographed by the user being input;
recognizing a user's second behavior pattern included in the second image as a second image of the user is received; and
A method for recognizing the liveness of an image, comprising: determining whether an image received from a user is live according to whether the recognized second behavior pattern matches the first behavior pattern.
제8 항에 있어서, 디스플레이하는 단계는,
사용자를 촬영한 제1 영상의 얼굴 영역 내에서의 소정 움직임 변화를 기반으로 사용자의 사칭 여부를 판단하는 단계를 더 포함하고,
사용자가 사칭하지 않은 것으로 판단될 경우, 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하는, 영상의 라이브니스 인식 방법.
The method of claim 8, wherein the displaying comprises:
Further comprising the step of determining whether the user is impersonated based on a change in a predetermined movement within the face region of the first image captured by the user,
When it is determined that the user is not impersonating, a method for recognizing the liveness of an image, wherein a first behavior pattern to be performed by the user is randomly selected and displayed.
제8 항에 있어서, 제1 행위 패턴은,
미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 적어도 하나가 무작위로 선별된 것인, 영상의 라이브니스 인식 방법.
The method of claim 8, wherein the first behavior pattern is:
The method for recognizing the liveness of an image, wherein at least one of a plurality of preset hand shape patterns and hand motion patterns is randomly selected.
제8 항에 있어서, 디스플레이하는 단계는,
제1 행위 패턴으로 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 무작위로 선별된 둘 이상을 소정 순서로 디스플레하고,
판단하는 단계는,
제1 행위 패턴 및 제2 행위 패턴의 순서가 일치하는지의 여부를 판단하는, 영상의 라이브니스 인식 방법.
The method of claim 8, wherein the displaying comprises:
Displaying two or more randomly selected from among a plurality of hand-shaped patterns and hand movement patterns preset as the first action pattern in a predetermined order,
The judging step is
A method for recognizing the liveness of an image, for determining whether the order of the first behavior pattern and the second behavior pattern match.
제10 항에 있어서, 손 모양 패턴은,
문자 또는 숫자를 모방한 것인, 영상의 라이브니스 인식 방법.
11. The method of claim 10, wherein the hand pattern,
A method for recognizing the liveness of an image, which imitates letters or numbers.
제12 항에 있어서, 손 모양 패턴은,
앞면 또는 뒷면으로 구분되는, 영상의 라이브니스 인식 방법.
The method of claim 12, wherein the hand pattern,
A method of recognizing the liveness of an image, divided into front or back.
제10 항에 있어서, 손 동작 패턴은,
소정 도형인, 영상의 라이브니스 인식 방법.
The method of claim 10, wherein the hand motion pattern comprises:
A method for recognizing the liveness of an image, which is a predetermined figure.
적어도 하나의 프로그램이 기록된 메모리; 및
프로그램을 실행하는 프로세서를 포함하며,
프로그램은,
사용자를 촬영한 제1 영상이 입력됨에 따라, 제1 영상의 얼굴 영역 내에서의 소정 움직임 변화를 기반으로 사용자의 사칭 여부를 판단하는 단계;
사용자가 사칭하지 않은 것으로 판단될 경우, 사용자가 수행할 제1 행위 패턴을 무작위로 선별하여 디스플레이하는 단계;
사용자를 촬영한 제2 영상이 수신됨에 따라 제2 영상에 포함된 사용자의 제2 행위 패턴을 인식하는 단계; 및
인식된 제2 행위 패턴이 제1 행위 패턴과 일치하는지의 여부에 따라 사용자로부터 수신되는 영상의 라이브니스 여부를 판단하는 단계를 수행하는, 영상의 라이브니스 인식 장치.
a memory in which at least one program is recorded; and
a processor for executing a program;
program,
determining whether a user is impersonated based on a change in a predetermined movement within a face region of the first image as a first image of the user is input;
when it is determined that the user is not impersonating, randomly selecting and displaying a first behavior pattern to be performed by the user;
recognizing a user's second behavior pattern included in the second image as a second image of the user is received; and
An apparatus for recognizing the liveness of an image, comprising determining whether an image received from the user is live according to whether the recognized second behavior pattern matches the first behavior pattern.
제15 항에 있어서, 제1 행위 패턴은,
미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 적어도 하나가 무작위로 선별된 것인, 영상의 라이브니스 인식 장치.
The method of claim 15, wherein the first behavior pattern is:
The apparatus for recognizing the liveness of an image, wherein at least one of a plurality of preset hand shape patterns and hand motion patterns is randomly selected.
제16 항에 있어서, 디스플레이하는 단계는,
제1 행위 패턴으로 미리 설정된 복수의 손 모양 패턴들 및 손 동작 패턴들 중 무작위로 선별된 둘 이상을 소정 순서로 디스플레하고,
판단하는 단계는,
제1 행위 패턴 및 제2 행위 패턴의 순서가 일치하는지의 여부를 판단하는, 영상의 라이브니스 인식 장치.
The method of claim 16, wherein the displaying comprises:
Displaying two or more randomly selected from among a plurality of hand-shaped patterns and hand movement patterns preset as the first action pattern in a predetermined order,
The judging step is
An apparatus for recognizing the liveness of an image, which determines whether the order of the first behavior pattern and the second behavior pattern match.
제17 항에 있어서, 손 모양 패턴은,
문자 또는 숫자를 모방한 것인, 영상의 라이브니스 인식 장치.
The method of claim 17, wherein the hand pattern comprises:
A device for recognizing the liveness of an image, which imitates letters or numbers.
제18 항에 있어서, 손 모양 패턴은,
앞면 또는 뒷면으로 구분되는, 영상의 라이브니스 인식 장치.
The method of claim 18, wherein the hand pattern,
A device for recognizing the liveness of an image, which is divided into front or back.
제17 항에 있어서, 손 동작 패턴은,
소정 도형인, 영상의 라이브니스 인식 장치.
The method of claim 17, wherein the hand motion pattern comprises:
An apparatus for recognizing the liveness of an image, which is a predetermined figure.
KR1020210009274A 2021-01-22 2021-01-22 Apparatus and Method for Recognizing Liveness of Image KR20220106399A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210009274A KR20220106399A (en) 2021-01-22 2021-01-22 Apparatus and Method for Recognizing Liveness of Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210009274A KR20220106399A (en) 2021-01-22 2021-01-22 Apparatus and Method for Recognizing Liveness of Image

Publications (1)

Publication Number Publication Date
KR20220106399A true KR20220106399A (en) 2022-07-29

Family

ID=82606773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210009274A KR20220106399A (en) 2021-01-22 2021-01-22 Apparatus and Method for Recognizing Liveness of Image

Country Status (1)

Country Link
KR (1) KR20220106399A (en)

Similar Documents

Publication Publication Date Title
TWI751161B (en) Terminal equipment, smart phone, authentication method and system based on face recognition
CN108182409B (en) Living body detection method, living body detection device, living body detection equipment and storage medium
US20180239955A1 (en) Liveness detection
WO2020103700A1 (en) Image recognition method based on micro facial expressions, apparatus and related device
WO2016172872A1 (en) Method and device for verifying real human face, and computer program product
TW201907330A (en) Method, device, device and data processing method for identity authentication
CN108470169A (en) Face identification system and method
CN107911643B (en) Method and device for showing scene special effect in video communication
US11961329B2 (en) Iris authentication device, iris authentication method and recording medium
KR20200105446A (en) Apparatus and method for recognizing emotions
US10242253B2 (en) Detection apparatus, detection method, and computer program product
KR20210155303A (en) Online Test System using face contour recognition AI to prevent the cheating behaviour and method thereof
CN109389098A (en) A kind of verification method and system based on lip reading identification
US20230306792A1 (en) Spoof Detection Based on Challenge Response Analysis
KR102581415B1 (en) UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof
WO2023192531A1 (en) Facial emotion recognition system
WO2023024734A1 (en) Face-based living body detection method and apparatus
KR20210136771A (en) UBT system using face contour recognition AI and method thereof
KR20220106399A (en) Apparatus and Method for Recognizing Liveness of Image
RU2316051C2 (en) Method and system for automatically checking presence of a living human face in biometric safety systems
JP7272510B2 (en) Verification device, verification method, program
KR102630872B1 (en) Apparatus and method for learning facial expression recognition
JPWO2020066776A1 (en) Information providing device, information providing method, and program
KR102578583B1 (en) Electronic device for using face recognition and method for operating the same
Dixit et al. SIFRS: Spoof Invariant Facial Recognition System (A Helping Hand for Visual Impaired People)