Nothing Special   »   [go: up one dir, main page]

KR20220006995A - Non-face-to-face personal authentication customer verification device and method - Google Patents

Non-face-to-face personal authentication customer verification device and method Download PDF

Info

Publication number
KR20220006995A
KR20220006995A KR1020207025650A KR20207025650A KR20220006995A KR 20220006995 A KR20220006995 A KR 20220006995A KR 1020207025650 A KR1020207025650 A KR 1020207025650A KR 20207025650 A KR20207025650 A KR 20207025650A KR 20220006995 A KR20220006995 A KR 20220006995A
Authority
KR
South Korea
Prior art keywords
face
customer
copy
selfie
card
Prior art date
Application number
KR1020207025650A
Other languages
Korean (ko)
Other versions
KR102594998B1 (en
Inventor
황희준
김성수
이명훈
Original Assignee
주식회사 유스비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유스비 filed Critical 주식회사 유스비
Publication of KR20220006995A publication Critical patent/KR20220006995A/en
Application granted granted Critical
Publication of KR102594998B1 publication Critical patent/KR102594998B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Technology Law (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Collating Specific Patterns (AREA)

Abstract

실시간 촬영된 신분증 사진 및 셀피 사진을 이용한 인공지능 얼굴 인식 기반의 비대면 본인인증 고객 확인 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치는: 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 신분증 촬영 제어부; 본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공하는 셀피 촬영 제어부; 및 상기 셀피 촬영 인터페이스를 통해 고객이 단말기를 이용하여 얼굴을 촬영하여 셀피 사진이 생성되면, 인공 지능에 의해 상기 셀피 사진과 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출하고, 산출된 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하고, 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행하는 인증부를 포함한다.Disclosed are an apparatus and method for non-face-to-face identity authentication customer verification based on artificial intelligence facial recognition using real-time ID photos and selfie photos. Non-face-to-face self-authentication customer confirmation device according to an embodiment of the present invention includes: an ID card photographing control unit that provides an ID card photographing interface for photographing an identification card to a terminal of a customer who needs self-authentication customer verification; a selfie-taking control unit that provides a selfie-taking interface for photographing a face to a customer's terminal requiring self-authentication; and when a selfie photo is generated by the customer taking a face using the terminal through the selfie shooting interface, the self-image is compared with the face image of the ID copy by artificial intelligence to calculate the degree of matching, and based on the calculated degree of matching It includes an authentication unit that determines forgery or falsification of the ID copy taken through the ID card photographing interface, and performs identity authentication according to the match calculated by artificial intelligence and the ID copy copy forgery or falsification determination result.

Description

비대면 본인인증 고객확인 장치 및 그 방법Non-face-to-face personal authentication customer verification device and method

본 발명은 비대면 본인인증 고객확인 장치 및 그 방법에 관한 것으로, 보다 상세하게는 실시간 촬영된 신분증 사진 및 실시간 촬영된 셀피 사진을 이용하여 인공지능의 얼굴 인식을 기반으로 비대면 본인인증 고객확인 서비스를 제공하는 비대면 본인인증 고객 확인 장치 및 그 방법에 관한 것이다.The present invention relates to a non-face-to-face identity authentication customer confirmation device and method, and more particularly, to a non-face-to-face identity authentication customer confirmation service based on artificial intelligence facial recognition using real-time photographed ID photos and real-time selfie photos It relates to a non-face-to-face identity authentication customer verification device and method for providing

일반적으로, 은행, 증권사, 보험사, 핀테크 관련 업체 등의 금융 관련 업체에서는 금융서비스를 요청한 고객의 신원 확인을 위해 대면 방식의 본인인증을 수행하고 있다. 그러나 이러한 대면 방식의 본인인증 방식은 고객이 금융 관련 업체에 방문해야 하는 불편함이 있으며, 해당 금융 관련 업체의 영업 시간이 아닌 경우에는 금융서비스 절차를 이용하지 못하는 문제가 있다.In general, financial-related companies such as banks, securities companies, insurance companies, and fintech-related companies perform face-to-face personal authentication to verify the identity of customers who have requested financial services. However, this face-to-face authentication method is inconvenient for customers to visit a financial-related company, and there is a problem in that it is not possible to use the financial service procedure outside the business hours of the financial-related company.

또한, 대면 방식의 본인인증 방식은 금융 관련 업체의 고객 확인 업무 부담을 가중시키는 문제가 있다. 뿐만 아니라, 대면 방식의 본인인증 방식은 바이러스 등의 감염 질병이 유행하는 경우 감염 질병을 확산시키는 요인이 되며, 이로 인해 고객이 방문을 꺼리게 되는 한계가 있다.In addition, the face-to-face identity authentication method has a problem in that the burden of customer confirmation tasks for financial companies is increased. In addition, the face-to-face authentication method becomes a factor in spreading infectious diseases when an infectious disease such as a virus is prevalent, and this has a limit in which customers are reluctant to visit.

이에 최근에 비대면 방식의 본인인증 방식이 각광받고 있다. 도 1 및 도 2는 종래의 비대면 본인인증 방법을 나타낸 개념도이다. 종래의 비대면 본인인증 방법은 1) 실명확인증표 사본 또는 신분증 사본 촬영, 2) 고객과 영상 통화를 통해 신분증표와 사진 대조, 3) 접근 매체 전달시 확인(현금카드, 보안카드, OTP 전달), 4) 기존 계좌 활용(1원 인증), 5) 타기관 인증서 기타 이에 준하는 방법을 포함하는 다양한 인증 요건 중 2 이상의 인증 요건을 통해 고객의 신원을 확인하고 있다.For this reason, recently, a non-face-to-face authentication method has been in the spotlight. 1 and 2 are conceptual views illustrating a conventional non-face-to-face user authentication method. Conventional non-face-to-face authentication methods include: 1) taking a copy of the real name verification card or ID card, 2) comparing the ID card with the photo through a video call with the customer, 3) checking when delivering the access medium (delivery of cash card, security card, OTP) The identity of the customer is verified through two or more authentication requirements among various authentication requirements, including , 4) using an existing account (one-way authentication), 5) certificates from other organizations and other similar methods.

이러한 종래의 비대면 본인인증 방법은 고객과 영상 통화를 하거나, 현금카드, 보안카드 또는 OTP 전달을 해야 하거나, 기존 계좌에 입금 내역을 확인하고 비밀번호를 입력하여 1원 인증을 수행하거나, 타기관 인증서를 준비해야 하는 등 고객의 계좌 개설을 위한 절차가 복잡하며, 금융 관련 업체에서 1원 인증을 위한 비용이 소요되는 단점이 있었다.Such a conventional non-face-to-face authentication method requires a video call with a customer, a cash card, security card, or OTP delivery, checking the deposit details in an existing account and entering a password to perform one-way authentication, or a certificate from another institution The procedure for opening a customer's account is complicated, such as having to prepare

또한, 종래의 비대면 본인인증 방식은 대면 방식에 비해 신원 확인의 검증 정확도가 낮은 문제가 있으며, 신원 확인을 위해 필요한 정보 이상의 불필요한 개인 정보 노출을 꺼리는 고객이 주민번호 뒷자리를 메모지 등으로 가려야 하는 번거로움이 있다. 또한, 종래의 비대면 본인인증 방식은 고객이 제출한 사진의 실시간성 확보가 어렵고, 고객이 신분증을 위,변조하여 금융 서비스를 부당하게 이용하려는 경우 대면 방식에 비해 이를 적발하기 어려운 문제가 있다.In addition, the conventional non-face-to-face personal authentication method has a problem in that the verification accuracy of identification is lower than that of the face-to-face method, and customers who are reluctant to expose unnecessary personal information beyond the information required for identification have to cover the back digit of their resident number with a memo pad, etc. there is rom In addition, in the conventional non-face-to-face authentication method, it is difficult to secure the real-time of the photo submitted by the customer, and when the customer tries to use financial services unfairly by forgery or falsification of the ID, it is difficult to detect it compared to the face-to-face method.

본 발명은 광학 글자 인식 기술(OCR), 모션 탐지(Motion Detection), 인공지능을 활용한 얼굴 인식(Face Recognition) 및 얼굴 매칭(Face Matching) 기술을 기반으로 고객이 실시간으로 신분증을 촬영한 사진과 얼굴을 촬영한 셀피 사진을 기반으로 간편하고 정확하게 본인 인증을 수행할 수 있는 비대면 본인인증 고객확인 장치 및 그 방법을 제공하기 위한 것이다.The present invention is based on optical character recognition technology (OCR), motion detection (Motion Detection), face recognition using artificial intelligence, and face matching (Face Matching) technology. An object of the present invention is to provide a non-face-to-face identity authentication customer confirmation device and method that can perform identity authentication simply and accurately based on a selfie photo taken with a face.

또한, 본 발명은 타인의 사진이나 동영상을 이용하여 허위로 본인인증을 하는 것을 방지할 수 있고, 고객의 비대면 계좌 개설 단계를 간소화할 수 있으며, 영상 통화 인증 수단을 대체하여 24시간 서비스 이용이 가능하여 고객 편의를 증대할 수 있고, 1원 인증에 사용되는 서비스 비용을 절감할 수 있으며, 계좌가 없는 외국인, 청소년 등의 간편한 본인 인증 또한 가능한 비대면 본인인증 고객확인 장치 및 그 방법을 제공하기 위한 것이다.In addition, the present invention can prevent false self-authentication using another person's photo or video, simplify the customer's non-face-to-face account opening step, and replace the video call authentication means to enable 24-hour service use To provide a non-face-to-face personal authentication customer verification device and method that can increase customer convenience, reduce service costs used for one-way authentication, and enable simple identity authentication for foreigners and youth without an account it is for

또한, 본 발명은 악의적인 사용자가 타인의 신분증을 입수하여 해당 신분증의 사진을 자신의 사진으로 변조하고 인증을 진행하거나, 악의적인 사용자가 자신의 신분증 정보를 타인의 정보로 변조하여 인증을 진행하는 등 다양한 유형의 신분증 위,변조 행위를 판단하여 부정한 인증 행위를 방지할 수 있는 비대면 본인인증 고객확인 장치 및 그 방법을 제공하기 위한 것이다.In addition, the present invention provides a method in which a malicious user obtains another person's ID card and modifies the photo of the ID card into his/her own photo and performs authentication, or a malicious user modifies his/her ID information into someone else's information to perform authentication This is to provide a non-face-to-face identity authentication customer verification device and method that can prevent fraudulent authentication by judging various types of identification forgery and forgery.

본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치는: 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 신분증 촬영 제어부; 본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공하는 셀피 촬영 제어부; 및 상기 셀피 촬영 인터페이스를 통해 고객이 단말기를 이용하여 얼굴을 촬영하여 셀피 사진이 생성되면, 인공 지능에 의해 상기 셀피 사진과 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출하고, 산출된 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하고, 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행하는 인증부를 포함한다.Non-face-to-face self-authentication customer confirmation device according to an embodiment of the present invention includes: an ID card photographing control unit that provides an ID card photographing interface for photographing an identification card to a terminal of a customer who needs self-authentication customer verification; a selfie-taking control unit that provides a selfie-taking interface for photographing a face to a customer's terminal requiring self-authentication; and when a selfie photo is generated by the customer taking a face using the terminal through the selfie shooting interface, the self-image is compared with the face image of the ID copy by artificial intelligence to calculate the degree of matching, and based on the calculated degree of matching It includes an authentication unit that determines forgery or falsification of the ID copy taken through the ID card photographing interface, and performs identity authentication according to the match calculated by artificial intelligence and the ID copy copy forgery or falsification determination result.

상기 신분증 촬영 제어부는: 신분증 촬영 모드에서 고객 단말기의 화면의 영상에 고객이 선택한 신분증에 해당하는 사각 형태로 신분증 가이드 오브젝트를 표시하고, 상기 신분증이 상기 신분증 가이드 오브젝트와 일치된 상태에서 고객이 촬영 버튼을 조작하여 신분증을 촬영하는지를 판단하여 신분증 사본 이미지를 생성할 수 있다.The ID photographing control unit: displays an identification guide object in a rectangular shape corresponding to the identification selected by the customer on the image on the screen of the customer terminal in the identification photographing mode, and when the identification is matched with the identification guide object, the customer clicks the photographing button can be manipulated to determine whether an ID is being photographed, and a copy image of the ID can be created.

본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치는: 초해상도(Super Resolution) 처리를 수행하여 신분증 사본 이미지의 해상도를 조절하고, 초해상도 처리된 신분증 사본을 광학 글자 인식 처리하여 개인 정보를 확인하고, 신분증 별로 설정된 하나 이상의 개인 정보 항목을 가려 개인 정보 보호된 신분증 사본을 생성하고 고객사 서버에 저장하는 신분증 위변조 판단부를 더 포함할 수 있다.The non-face-to-face identity authentication customer confirmation device according to an embodiment of the present invention: performs super resolution processing to adjust the resolution of the ID copy image, and optically recognizes the super-resolution processed ID copy to process personal information It may further include an identification forgery determination unit that checks, creates a copy of the personal information-protected identification card by masking one or more personal information items set for each identification card, and stores it in the customer server.

상기 셀피 촬영 제어부는 고객의 얼굴에 해당하는 얼굴 가이드 오브젝트를 제공하고, 고객의 얼굴이 상기 얼굴 가이드 오브젝트 내에 위치하는 상태에서 촬영 버튼이 조작되는지를 판단하여 고객의 셀피 사진을 획득할 수 있다.The selfie taking control unit may provide a face guide object corresponding to the customer's face, determine whether a photographing button is operated in a state where the customer's face is located in the face guide object, and obtain a selfie photo of the customer.

상기 인증부는 인공 지능 모델에 의해 상기 셀피 사진과 상기 신분증 사본의 얼굴 이미지에서 각각 특징점들을 추출하고, 대응되는 특징점들을 비교하여 신분증의 사진과 고객의 셀피 사진의 얼굴 일치도를 산출할 수 있다.The authenticator extracts feature points from the face images of the selfie photo and the copy of the ID card by an artificial intelligence model, respectively, and compares the corresponding feature points to calculate the face matching between the photo of the ID and the selfie photo of the customer.

상기 인증부는: 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 얼굴 이미지로부터 제1 특징점들을 추출하고, 금융 데이터베이스에 저장된 고객의 신분증 사본의 얼굴 이미지로부터 추출된 제2 특징점들을 금융 데이터베이스로부터 전송받고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 금융 데이터베이스로부터 전송받은 제2 특징점들의 매칭율을 기반으로 제1 일치도를 산출하는 제1 일치도 산출부; 상기 셀피 촬영 인터페이스를 통해 고객이 실시간 촬영한 셀피 사진의 얼굴 이미지로부터 제3 특징점들을 추출하고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 고객이 실시간 촬영한 셀피 사진의 얼굴 이미지로부터 추출된 제3 특징점들의 매칭율을 기반으로 제2 일치도를 산출하는 제2 일치도 산출부; 상기 제1 일치도와 상기 제2 일치도를 비교하는 일치도 비교부; 및 상기 제1 일치도와 상기 제2 일치도의 비교 결과를 기반으로 신분증의 위,변조를 판정하는 위변조 판정부를 포함할 수 있다.The authentication unit: extracts first feature points from the face image of the copy of the ID photographed through the ID photographing interface, receives second feature points extracted from the face image of the copy of the ID of the customer stored in the financial database, from the financial database, a first matching degree calculator for calculating a first degree of matching based on a matching rate between the first feature points extracted from the face image of the copy of the ID card photographed in real time and the second feature points received from the financial database; The third feature points are extracted from the face image of the selfie photo taken by the customer in real time through the selfie shooting interface, the first feature points extracted from the face image of the ID copy taken by the customer in real time, and the selfie photo taken by the customer in real time a second degree of agreement calculator that calculates a second degree of agreement based on the matching rate of the third feature points extracted from the face image of ; a degree of agreement comparison unit comparing the first degree of agreement with the second degree of agreement; and a forgery determination unit for determining forgery or falsification of an identification card based on a comparison result of the first degree of agreement with the second degree of agreement.

상기 위변조 판정부는: 상기 제1 일치도가 상기 제2 일치도 이상이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조되지 않은 정상 신분증 사본인 것으로 판단하고; 그리고 상기 제1 일치도가 상기 제2 일치도 미만이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조된 비정상 신분증 사본인 것으로 판단할 수 있다.The forgery determination unit: if the first degree of matching is equal to or greater than the second degree of matching, it is determined that the copy of the ID photographed through the ID photographing interface is a copy of a normal ID that has not been forged or falsified; In addition, if the first degree of matching is less than the second degree of matching, it may be determined that the copy of the ID photographed through the ID photographing interface is a forged or forged copy of the abnormal ID.

본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치는: 고객에 의해 고객의 얼굴 정면에 대해 셀피 사진이 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피 사진이 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 상기 셀피 사진이 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단하는 모션 탐지부를 더 포함할 수 있다.The non-face-to-face identity authentication customer confirmation device according to an embodiment of the present invention includes: a first time point when a selfie picture is taken for the front of the customer's face by a customer, and a second time point when a selfie picture is taken for the customer's face side Detects the customer's facial movement, and when the customer's facial movement is detected, may further include a motion detector for determining that the selfie photo was taken by the actual customer, not a pre-prepared photo or video.

상기 모션 탐지부는: 고객이 얼굴을 움직이는 모션을 하는 동안 고객 단말기에서 발생되는 광의 출력을 제1 광 출력 상태에서 제2 광 출력 상태로 변화시키는 광 출력 조절 처리를 실행하는 광 출력 조절부; 상기 제1 광 출력 상태에서 촬영된 제1 셀피 사진의 얼굴 영역 별로 제1 밝기를 산출하여 제1 밝기 분포를 산출하는 제1 밝기 분포 산출부; 상기 제2 광 출력 상태에서 촬영된 제2 셀피 사진의 얼굴 영역 별로 제2 밝기를 산출하여 제2 밝기 분포를 산출하는 제2 밝기 분포 산출부; 상기 제1 밝기 분포 및 상기 제2 밝기 분포를 기반으로 고객의 얼굴 영역 별로 밝기 변화를 분석하는 밝기 변화 분석부; 및 상기 고객의 얼굴 영역 별로 분석된 밝기 변화를 기반으로, 사용자가 다른 단말기를 통해 동영상을 실행하여 모션 탐지 인증을 통과하려고 하는 부정 행위를 판단하는 부정 행위 판단부를 포함할 수 있다.The motion detection unit may include: a light output control unit that executes a light output control process for changing the light output from the customer terminal from the first light output state to the second light output state while the customer moves the face; a first brightness distribution calculator configured to calculate a first brightness distribution by calculating a first brightness for each face region of a first selfie photo taken in the first light output state; a second brightness distribution calculator configured to calculate a second brightness distribution by calculating a second brightness for each face region of a second selfie picture taken in the second light output state; a brightness change analyzer for analyzing a brightness change for each face region of a customer based on the first brightness distribution and the second brightness distribution; and a fraudulent action determination unit configured to determine a fraudulent act in which the user attempts to pass motion detection authentication by executing a video through another terminal based on the brightness change analyzed for each face region of the customer.

상기 신분증 위변조 판단부는: 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하는 제1 영역에 대해 제1 선명도 패턴을 검출하는 제1 선명도 패턴 검출부; 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하지 않는 제2 영역에 대해 제2 선명도 패턴을 검출하는 제2 선명도 패턴 검출부; 및 상기 제1 선명도 패턴과 상기 제2 선명도 패턴을 비교하여 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정하는 위조사진 판정부를 포함할 수 있다.The identification forgery determination unit may include: a first sharpness pattern detection unit configured to detect a first sharpness pattern in a first area corresponding to a face image area of a copy of the ID card photographed in real time; a second sharpness pattern detection unit configured to detect a second sharpness pattern in a second region that does not correspond to the face image region of the real-time photographed ID copy; and a counterfeit photo determining unit that compares the first sharpness pattern with the second sharpness pattern to determine whether a photo of a copy of the ID card photographed in real time is forged.

상기 신분증 위변조 판단부는: 실시간 촬영된 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역을 검출하는 홀로그램 영역 검출부; 실시간 촬영된 신분증 사본의 얼굴 이미지 중 빛 반사에 의해 발생된 빛반사 영역을 검출하는 빛반사 영역 검출부; 상기 홀로그램 영역 및 상기 빛반사 영역에 대해 상기 홀로그램에 해당하는 홀로그래 정보 및 상기 빛 반사에 해당하는 빛반사 정보를 경감하기 위한 제1 이미지 처리를 수행하는 제1 이미지 처리부; 및 상기 제1 이미지 처리가 수행된 상기 신분증 사본의 얼굴 이미지에 대해 초해상도(Super Resolution) 처리에 해당하는 제2 이미지 처리를 수행하는 제2 이미지 처리부를 포함할 수 있다.The identification forgery determination unit includes: a hologram area detection unit that detects a hologram area corresponding to a hologram from a face image of a copy of an ID photographed in real time; a light reflection area detection unit that detects a light reflection area generated by light reflection in the face image of a copy of the ID card photographed in real time; a first image processing unit for performing first image processing for reducing the holographic information corresponding to the hologram and the light reflection information corresponding to the light reflection with respect to the hologram area and the light reflection area; and a second image processing unit that performs second image processing corresponding to super resolution processing on the face image of the copy of the ID card on which the first image processing has been performed.

본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법은: 신분증 촬영 제어부에 의해, 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 단계; 셀피 촬영 제어부에 의해, 본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공하는 단계; 인증부에 의해, 인공 지능에 의해 상기 셀피 사진과 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출하는 단계; 상기 인증부에 의해, 상기 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하는 단계; 및 상기 인증부에 의해, 상기 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행하는 단계를 포함한다.The non-face-to-face identity authentication customer confirmation method according to an embodiment of the present invention comprises: providing, by an identity card photographing control unit, an identity card photographing interface for photographing an identity card to a terminal of a customer requiring identity authentication customer confirmation; providing, by the selfie-taking controller, a selfie-taking interface for photographing a face to a terminal of a customer who needs self-authentication customer confirmation; Comparing, by the authenticator, the face image of the selfie photo and the ID copy by artificial intelligence, calculating a degree of agreement; determining, by the authenticator, forgery or falsification of a copy of an ID photographed through an ID photographing interface based on the degree of matching; and performing, by the authenticator, the identity authentication according to the match calculated by the artificial intelligence and the forgery/falsification determination result of the ID copy.

상기 신분증 사본의 위,변조를 판단하는 단계는: 제1 일치도 산출부에 의해, 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 얼굴 이미지로부터 제1 특징점들을 추출하고, 금융 데이터베이스에 저장된 고객의 신분증 사본의 얼굴 이미지로부터 추출된 제2 특징점들을 금융 데이터베이스로부터 전송받고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 금융 데이터베이스로부터 전송받은 제2 특징점들의 매칭율을 기반으로 제1 일치도를 산출하는 단계; 제2 일치도 산출부에 의해, 상기 셀피 촬영 인터페이스를 통해 고객이 실시간 촬영한 셀피 사진의 얼굴 이미지로부터 제3 특징점들을 추출하고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 고객이 실시간 촬영한 셀피 사진의 얼굴 이미지로부터 추출된 제3 특징점들의 매칭율을 기반으로 제2 일치도를 산출하는 단계; 일치도 비교부에 의해, 상기 제1 일치도와 상기 제2 일치도를 비교하는 단계; 및 위변조 판정부에 의해, 상기 제1 일치도와 상기 제2 일치도의 비교 결과를 기반으로 신분증의 위,변조를 판정하는 단계를 포함할 수 있다.The step of determining forgery or falsification of the ID copy may include: extracting first feature points from the face image of the ID copy photographed through the ID photographing interface by a first coincidence calculation unit, and a copy of the ID card of the customer stored in the financial database The second feature points extracted from the face image of 1 calculating a degree of agreement; By the second coincidence calculator, third feature points are extracted from the face image of the selfie photo taken by the customer in real time through the selfie shooting interface, and the first feature points extracted from the face image of the ID copy taken by the customer in real time and , calculating a second degree of matching based on a matching rate of third feature points extracted from a face image of a selfie taken by a customer in real time; comparing the first degree of agreement with the second degree of agreement by a degree of agreement comparison unit; and determining, by the forgery determination unit, forgery or falsification of the identification card based on a comparison result of the first degree of agreement and the second degree of agreement.

본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법은: 모션 탐지부에 의해, 고객에 의해 고객의 얼굴 정면에 대해 셀피 사진이 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피 사진이 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 상기 셀피 사진이 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단하는 단계를 더 포함할 수 있다.The non-face-to-face identity authentication customer confirmation method according to an embodiment of the present invention includes: by the motion detection unit, a first point in time when a selfie photo is taken for the front of the customer's face, and a selfie photo for the customer's face side The method may further include detecting the customer's facial movement between the second time points in which the customer's facial movement is detected, and determining that the selfie photo was taken by the actual customer rather than a pre-prepared photo or video.

상기 신분증 사본의 위,변조를 판단하는 단계는: 제1 선명도 패턴 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하는 제1 영역에 대해 제1 선명도 패턴을 검출하는 단계; 제2 선명도 패턴 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하지 않는 제2 영역에 대해 제2 선명도 패턴을 검출하는 단계; 및 위조사진 판정부에 의해, 상기 제1 선명도 패턴과 상기 제2 선명도 패턴을 비교하여 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정하는 단계를 포함할 수 있다.The step of determining forgery or falsification of the ID copy may include: detecting, by a first sharpness pattern detection unit, a first sharpness pattern in a first area corresponding to a face image area of the ID copy photographed in real time; detecting, by the second sharpness pattern detection unit, a second sharpness pattern for a second area that does not correspond to the face image area of the real-time photographed ID copy; and comparing the first sharpness pattern with the second sharpness pattern, by the forged photo determining unit, to determine whether or not a photo of a copy of the ID card photographed in real time is forged.

상기 신분증 사본의 위,변조를 판단하는 단계는: 홀로그램 영역 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역을 검출하는 단계; 빛반사 영역 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 중 빛 반사에 의해 발생된 빛반사 영역을 검출하는 단계; 제1 이미지 처리부에 의해, 상기 홀로그램 영역 및 상기 빛반사 영역에 대해 상기 홀로그램에 해당하는 홀로그래 정보 및 상기 빛 반사에 해당하는 빛반사 정보를 경감하기 위한 제1 이미지 처리를 수행하는 단계; 및 제2 이미지 처리부에 의해, 상기 제1 이미지 처리가 수행된 상기 신분증 사본의 얼굴 이미지에 대해 초해상도(Super Resolution) 처리에 해당하는 제2 이미지 처리를 수행하는 단계를 포함할 수 있다.The step of determining forgery or falsification of the ID copy may include: detecting, by a hologram zone detection unit, a hologram zone corresponding to a hologram in a face image of the ID copy photographed in real time; detecting, by a light reflection area detection unit, a light reflection area generated by light reflection in a face image of a copy of an ID photographed in real time; performing, by a first image processing unit, first image processing for reducing holographic information corresponding to the hologram and light reflection information corresponding to the light reflection with respect to the hologram area and the light reflection area; and performing, by a second image processing unit, a second image processing corresponding to super resolution processing on the face image of the copy of the ID card on which the first image processing has been performed.

본 발명의 실시예에 따르면, 상기 비대면 본인인증 고객확인 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공된다.According to an embodiment of the present invention, there is provided a computer-readable recording medium in which a program for executing the non-face-to-face user authentication method is recorded.

본 발명의 실시예에 의하면, 광학 글자 인식 기술(OCR), 모션 탐지(Motion Detection), 인공지능을 활용한 얼굴 인식(Face Recognition) 및 얼굴 매칭(Face Matching) 기술을 기반으로 고객이 실시간으로 신분증을 촬영한 사진과 얼굴을 촬영한 셀피 사진을 기반으로 간편하고 정확하게 본인 인증을 수행할 수 있는 비대면 본인인증 고객확인 장치 및 방법이 제공된다.According to an embodiment of the present invention, based on optical character recognition technology (OCR), motion detection (Motion Detection), face recognition using artificial intelligence, and face matching (Face Matching) technology, a customer can obtain an identification card in real time A non-face-to-face identity authentication customer verification device and method are provided that can perform simple and accurate self-authentication based on a photo taken of a person and a selfie photo of a face.

또한, 본 발명의 실시예에 의하면, 타인의 사진이나 동영상을 이용하여 허위로 본인인증을 하는 것을 방지할 수 있고, 고객의 비대면 계좌 개설 단계를 간소화할 수 있으며, 영상 통화 인증 수단을 대체하여 24시간 서비스 이용이 가능하여 고객 편의를 증대할 수 있고, 1원 인증에 사용되는 서비스 비용을 절감할 수 있으며, 계좌가 없는 외국인, 청소년 등의 간편한 본인 인증 또한 가능한 비대면 본인인증 고객확인 장치 및 그 방법이 제공된다.In addition, according to an embodiment of the present invention, it is possible to prevent false identity authentication using another person's photo or video, simplify the customer's non-face-to-face account opening step, and replace the video call authentication means. Non-face-to-face personal authentication customer verification device that can be used 24 hours a day to increase customer convenience, reduce the service cost used for one-won authentication, and provide easy identification for foreigners and teenagers who do not have an account The method is provided.

또한, 본 발명의 실시예에 의하면, 악의적인 사용자가 타인의 신분증을 입수하여 해당 신분증의 사진을 자신의 사진으로 변조하고 인증을 진행하거나, 악의적인 사용자가 자신의 신분증 정보를 타인의 정보로 변조하여 인증을 진행하는 등 다양한 유형의 신분증 위,변조 행위를 판단하여 부정한 인증 행위를 방지할 수 있는 비대면 본인인증 고객확인 장치 및 그 방법이 제공된다.In addition, according to an embodiment of the present invention, a malicious user obtains another person's ID card and modifies the photo of the ID card into his/her own photo and performs authentication, or a malicious user modifies his/her ID information into another person's information A non-face-to-face identity authentication customer verification device and method are provided that can prevent fraudulent authentication by judging various types of identification forgery and falsification, such as performing authentication.

도 1 및 도 2는 종래의 비대면 본인인증 방법을 나타낸 개념도이다.
도 3 및 도 4는 본 발명의 다양한 응용예에 따른 비대면 본인인증 고객확인 시스템의 구성도이다.
도 5는 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법에 따라 비대면 본인인증을 수행하는 과정을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치의 구성도이다.
도 7은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법의 순서도이다.
도 8 내지 도 11은 도 7의 단계 S110에 따라 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 방법을 설명하기 위한 고객 단말기의 화면 예시도이다.
도 12는 도 7의 단계 S140을 설명하기 위한 예시도이다.
도 13은 도 7의 단계 S180을 설명하기 위한 예시도이다.
도 14 및 도 15는 도 7의 단계 S150을 설명하기 위한 예시도이다.
도 16은 본 발명의 실시예에 따라 비대면 본인인증 고객확인 정보를 관리하는 관리자 단말기의 관리자 화면 예시도이다.
도 17은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 인증부의 구성도이다.
도 18은 도 7의 단계 S160 및 단계 S170의 예시적인 순서도이다.
도 19는 본 발명의 일 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 신분증 위변조 판단부의 구성도이다.
도 20은 도 7의 단계 S120의 일 예에 따른 순서도이다.
도 21은 도 20의 실시예를 설명하기 위한 예시도이다.
도 22는 정상 신분증의 사진 경계 부분의 화소값 변화를 나타낸 예시도이다.
도 23은 위조 사진을 붙인 신분증의 사진 경계 부분의 화소값 변화를 나타낸 예시도이다.
도 24는 본 발명의 다른 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 신분증 위변조 판단부의 구성도이다.
도 25는 도 7의 단계 S120의 다른 예에 따른 순서도이다.
도 26 및 도 27은 도 25의 실시예를 설명하기 위한 예시도이다.
도 28은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 모션 탐지부의 구성도이다.
도 29는 도 7의 단계 S150의 예시적인 순서도이다.
도 30은 도 29에 따른 실시예를 설명하기 위한 예시도이다.
1 and 2 are conceptual views illustrating a conventional non-face-to-face user authentication method.
3 and 4 are block diagrams of a non-face-to-face personal authentication customer confirmation system according to various application examples of the present invention.
5 is a flowchart illustrating a process of performing non-face-to-face personal authentication according to the non-face-to-face identity authentication customer confirmation method according to an embodiment of the present invention.
6 is a block diagram of a non-face-to-face personal authentication customer confirmation device according to an embodiment of the present invention.
7 is a flowchart of a non-face-to-face personal authentication customer confirmation method according to an embodiment of the present invention.
8 to 11 are exemplary screen views of a customer terminal for explaining a method of providing an identification card photographing interface for photographing an identification card to the customer's terminal according to step S110 of FIG. 7 .
12 is an exemplary diagram for explaining step S140 of FIG. 7 .
13 is an exemplary diagram for explaining step S180 of FIG. 7 .
14 and 15 are exemplary views for explaining step S150 of FIG. 7 .
16 is an exemplary view of a manager screen of a manager terminal that manages non-face-to-face personal authentication customer identification information according to an embodiment of the present invention.
17 is a configuration diagram of an authentication unit constituting a non-face-to-face self-authentication customer confirmation device according to an embodiment of the present invention.
18 is an exemplary flowchart of steps S160 and S170 of FIG. 7 .
19 is a block diagram of an identification card forgery determination unit constituting a non-face-to-face personal authentication customer confirmation device according to an embodiment of the present invention.
20 is a flowchart according to an example of step S120 of FIG. 7 .
21 is an exemplary diagram for explaining the embodiment of FIG. 20 .
22 is an exemplary diagram illustrating a change in pixel values of a photo boundary portion of a normal ID.
23 is an exemplary diagram illustrating a change in pixel values of a photo boundary portion of an identification card to which a forged photo is attached.
24 is a block diagram of an identification card forgery determination unit constituting a non-face-to-face personal authentication customer confirmation device according to another embodiment of the present invention.
25 is a flowchart according to another example of step S120 of FIG. 7 .
26 and 27 are exemplary views for explaining the embodiment of FIG. 25 .
28 is a block diagram of a motion detection unit constituting a non-face-to-face self-authentication customer confirmation device according to an embodiment of the present invention.
29 is an exemplary flowchart of step S150 of FIG. 7 .
30 is an exemplary diagram for explaining the embodiment according to FIG. 29 .

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부, ~모듈'은 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부, ~모듈'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부, ~모듈'은 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.In the present specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. As used herein, '~ unit, ~ module' is a unit that processes at least one function or operation, and may refer to, for example, software, FPGA, or hardware component. The functions provided by '~ unit, ~ module' may be performed separately by a plurality of components, or may be integrated with other additional components. 'Part, ~ module' in this specification is not necessarily limited to software or hardware, and may be configured to be in an addressable storage medium, or may be configured to reproduce one or more processors. Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법은 예를 들어 금융 서비스를 위한 비대면 본인인증 고객확인(KYC; Know Your Customer) 솔루션에 활용될 수 있다. 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법은 광학 글자 인식 기술(OCR), 모션 탐지(Motion Detection), 인공 지능을 활용한 얼굴 인식(Face Recognition) 및 얼굴 매칭(Face Matching) 기술을 기반으로 고객이 실시간으로 신분증을 촬영한 사진과 얼굴을 촬영한 셀피 사진을 기반으로 간편하고 정확하게 본인 인증을 수행하여, 실시간 촬영된 신분증 사진 및 셀피 사진을 기반으로 비대면 본인인증 고객확인 솔루션을 제공할 수 있다.The non-face-to-face identity authentication customer confirmation apparatus and method according to an embodiment of the present invention may be utilized, for example, in a non-face-to-face identity authentication customer confirmation (KYC; Know Your Customer) solution for financial services. Non-face-to-face identity authentication customer confirmation device and method according to an embodiment of the present invention is optical character recognition technology (OCR), motion detection (Motion Detection), face recognition using artificial intelligence (Face Recognition) and face matching (Face Matching) Based on technology, a customer verification solution for non-face-to-face identity authentication based on real-time ID photos and selfie photos by simply and accurately performing identity authentication based on a photo of a customer taking an ID photo and a selfie photo of their face in real time can provide

본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법은 예를 들어, 핀테크 업체의 앱 서비스 이용, 블록체인 거래소의 전자지갑 개설, 은행의 온라인 뱅킹 계좌 개설, 증권사의 증권 거래 앱 계좌 개설, 보험사에 관한 온라인 보험 신청 등의 금융 서비스를 위한 비대면 본인인증 고객확인을 위해 활용될 수 있다.Non-face-to-face identity authentication customer verification device and method according to an embodiment of the present invention, for example, use of an app service of a fintech company, opening an electronic wallet of a block chain exchange, opening an online banking account of a bank, and a securities trading app account of a securities company It can be used for non-face-to-face customer verification for financial services such as opening and online insurance application for insurance companies.

도 3 및 도 4는 본 발명의 다양한 응용예에 따른 비대면 본인인증 고객확인 시스템의 구성도이다. 도 3, 및 도 4를 참조하면, 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법은 예를 들어 비대면 본인인증 고객확인 서비스를 제공하는 API(Application Program Interface) 서버(10)에 의해 수행될 수 있다.3 and 4 are block diagrams of a non-face-to-face personal authentication customer confirmation system according to various application examples of the present invention. 3 and 4, the non-face-to-face identity authentication customer confirmation device and method according to an embodiment of the present invention is, for example, an API (Application Program Interface) server 10 that provides a non-face-to-face identity authentication customer confirmation service can be performed by

본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법은 도 3에 도시된 바와 같이, 인증 앱(20)을 통한 API 형태 서비스로 제공되거나, 도 4에 도시된 바와 같이, 고객사 앱(40)에 통합된 인증 모듈(20')을 기반으로 고객사 내부 솔루션 형태 서비스로 제공될 수 있다.Non-face-to-face identity authentication customer confirmation device and method according to an embodiment of the present invention is provided as an API type service through the authentication app 20, as shown in FIG. 3, or as shown in FIG. 4, the customer app ( Based on the authentication module 20' integrated in 40), it may be provided as a service in the form of an internal solution to the customer.

비대면 본인인증 고객 확인 후, 고객이 본인인증을 위해 촬영한 신분증 및 고객 얼굴 사진(셀피 사진)은 고객사 서버(30)를 통해 고객사 DB(50)에 저장되며, API 서버(10)는 고객이 촬영한 신분증 사진 자료 및 얼굴 사진(셀피 사진)을 폐기할 수 있다. 따라서 고객의 개인 정보가 고객사 DB(50) 외의 API 서버(10)에 저장되지 않으므로, 고객의 개인 정보 유출을 방지할 수 있다.After confirming the non-face-to-face self-authentication customer, the ID and customer face photo (selfie photo) taken by the customer for self-authentication are stored in the customer DB 50 through the customer server 30, and the API server 10 is ID photo materials and face photos (selfie photos) taken may be discarded. Therefore, since the customer's personal information is not stored in the API server 10 other than the customer DB 50, leakage of the customer's personal information can be prevented.

도 5는 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법에 따라 비대면 본인인증을 수행하는 과정을 나타낸 순서도이다. 도 6은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치의 구성도이다. 도 7은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법의 순서도이다.5 is a flowchart illustrating a process of performing non-face-to-face personal authentication according to the non-face-to-face identity authentication customer confirmation method according to an embodiment of the present invention. 6 is a block diagram of a non-face-to-face personal authentication customer confirmation device according to an embodiment of the present invention. 7 is a flowchart of a non-face-to-face personal authentication customer confirmation method according to an embodiment of the present invention.

도 5 내지 도 7을 참조하면, 본 발명의 실시예에 따른 비대면 본인인증 고객확인 방법은 고객이 신분증 사본을 실시간 촬영하는 단계(S10), 고객이 실시간 얼굴을 촬영하여 셀피 사진을 생성하는 단계(S20), 실시간 촬영된 신분증 사본과 셀피 사진을 이용한 간단한 비대면 본인인증 고객확인을 통해 계좌 개설 등의 금융 서비스를 제공하는 단계(S30)를 포함할 수 있다.5 to 7 , the non-face-to-face identity authentication customer verification method according to an embodiment of the present invention includes the steps of: the customer taking a copy of the ID card in real time (S10), the customer taking a real-time face to create a selfie picture (S20), a step (S30) of providing financial services such as account opening through simple non-face-to-face personal authentication customer confirmation using a copy of an ID and a selfie taken in real time (S30).

본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치(100)는 신분증 촬영 제어부(110), 신분증 위변조 판단부(120), 셀피 촬영 제어부(130), 모션 탐지부(140), 인증부(150) 및 인증 결과 제공부(160)를 포함할 수 있다.The non-face-to-face identity authentication customer confirmation device 100 according to an embodiment of the present invention includes an identification card photographing control unit 110, an identification card forgery determination unit 120, a selfie photographing control unit 130, a motion detection unit 140, an authentication unit ( 150 ) and an authentication result providing unit 160 .

신분증 촬영 제어부(110)는 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공한다(S110). 신분증 촬영 제어부(110)는 신분증 촬영 모드에서 고객 단말기의 화면의 영상에 고객이 선택한 신분증에 해당하는 사각 형태로 신분증 가이드 오브젝트를 표시할 수 있다. 신분증 촬영 제어부(110)는 신분증이 신분증 가이드 오브젝트와 일치된 상태에서 고객이 촬영 버튼을 조작하여 신분증을 촬영하는지를 판단하여 신분증 사본 이미지를 생성할 수 있다.The identification card photographing control unit 110 provides an identification photographing interface for photographing an identification card to the terminal of the customer who needs to verify the identity of the customer (S110). The identification card photographing control unit 110 may display the identification guide object in the form of a rectangle corresponding to the identification selected by the customer on the image of the screen of the customer terminal in the identification photographing mode. The identification card photographing control unit 110 may generate an identification copy image by determining whether the customer operates the photographing button to photograph the identification card in a state in which the identification card matches the identification guide object.

도 8 내지 도 11은 도 7의 단계 S110에 따라 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 방법을 설명하기 위한 고객 단말기의 화면 예시도이다. 신분증 촬영 제어부(110)는 자동으로 신분증 부분만 촬영하는 크롭핑(Cropping) 기능, 광학 문자 인식 기술(OCR), 민감한 개인 정보를 자동으로 가리는 기능, 신분증 진위 여부를 확인하는 기능을 구비할 수 있다.8 to 11 are exemplary screen views of a customer terminal for explaining a method of providing an identification card photographing interface for photographing an identification card to the customer's terminal according to step S110 of FIG. 7 . The identification card photographing control unit 110 may include a cropping function for automatically photographing only a portion of the identification card, an optical character recognition technology (OCR), a function to automatically cover sensitive personal information, and a function to check the authenticity of the identification card. .

사용자는 신분증 촬영 제어부의 기능을 이용하여 간편 신분증 사본 제출 앱 서비스를 통해 주민등록증, 운전면허증, 여권(외국인) 등의 신분증을 휴대폰으로 촬영만 하면 신분증 관련 정보를 자동으로 입력할 수 있다. 금융서비스를 이용하기 위해 고객이 고객 단말기의 앱을 실행하면, 도 8에 도시된 바와 같이 고객 단말기의 화면에 고객이 비대면 인증을 위해 주민등록증 또는 운전면허증과 같은 신분증을 준비하도록 안내 화면이 생성될 수 있다.The user can automatically enter ID information by simply taking an ID card such as a resident registration card, driver's license, or passport (foreigner) with a mobile phone through the simple ID copy submission app service using the function of the ID card shooting control unit. When the customer runs the app on the customer's terminal to use the financial service, as shown in FIG. 8, a guidance screen will be generated on the screen of the customer's terminal so that the customer prepares an identification card such as a resident registration card or driver's license for non-face-to-face authentication. can

신분증 촬영 인터페이스는 안내 화면과 함께 고객이 신분증(예를 들어, 주민등록증, 운전면허증, 여권 등)을 선택할 수 있는 선택 항목과, 고객이 선택한 신분증이 준비된 후 고객 단말기의 카메라에 의해 신분증을 실시간 촬영하도록 하는 촬영 개시 항목을 포함할 수 있다. 예를 들어, 고객이 도 8에 도시된 단말기 화면에서 "신분증 촬영"을 선택(예를 들어, 터치 입력)하면, 고객 단말기의 카메라가 활성화되고, 도 9에 도시된 바와 같이, 신분증을 촬영할 수 있는 신분증 촬영 모드로 자동 전환된다.The ID card capture interface provides a selection screen for the customer to select an identification card (eg, resident registration card, driver's license, passport, etc.) along with a guide screen, and allows the customer to take a picture of the identification card in real time by the camera of the customer terminal after the ID card selected by the customer is prepared. It may include a shooting start item. For example, when a customer selects (for example, a touch input) "taking ID card" on the terminal screen shown in FIG. 8, the camera of the customer terminal is activated, and as shown in FIG. It automatically switches to ID photo shooting mode.

신분증 촬영 모드에서 고객 단말기의 화면의 영상에는 고객이 선택한 신분증에 해당하는 사각 형태로 신분증 가이드 오브젝트(G01)가 표시된다. 고객이 신분증 가이드 오브젝트(G01)에 일치되도록 고객 단말기의 카메라와 신분증 간의 거리 및 카메라 방향 등을 조정하여 신분증이 신분증 가이드 오브젝트(G01)와 일치된 상태에서 고객이 촬영 버튼을 조작하여 신분증을 촬영하면, 신분증 사본 이미지가 생성된다.In the ID card photographing mode, the ID guide object G01 is displayed in the form of a rectangle corresponding to the ID selected by the customer on the image on the screen of the customer terminal. When the customer operates the shooting button to photograph the ID while the ID is aligned with the ID guide object (G01) by adjusting the distance and camera direction between the camera and the ID card of the customer terminal so that the customer matches the ID guide object (G01) , a copy image of the ID is created.

신분증 촬영 인터페이스를 통해 고객이 단말기를 이용하여 신분증을 촬영하면, 초해상도(Super Resolution) 처리를 통해 신분증 사본 이미지의 해상도를 높인 후, 초해상도 처리된 신분증 사본을 OCR(광학 글자 인식) 처리하여 개인 정보를 확인하는 단계(S120)가 수행될 수 있다.When a customer takes a photo of an ID card using a terminal through the ID card shooting interface, the resolution of the ID copy image is increased through super resolution processing A step (S120) of confirming the information may be performed.

신분증 위변조 판단부(120)는 초해상도(Super Resolution) 처리를 수행하여 신분증 사본 이미지의 해상도를 조절하고, 초해상도 처리된 신분증 사본을 광학 글자 인식 처리하여 개인 정보를 확인할 수 있다. 신분증 위변조 판단부(120)는 촬영된 신분증 사본 중 신분증(예를 들어, 주민등록증, 운전면허증) 별로 설정된 하나 이상의 개인 정보 항목(예를 들어, 주민번호 뒷자리 6개 숫자)을 가려 개인 정보 보호된 신분증 사본을 생성하고, 이를 고객사 서버를 통해 고객사 DB에 저장할 수 있다(S130).The ID card forgery determination unit 120 performs super resolution processing to adjust the resolution of the ID copy image, and optical character recognition processing for the super-resolution ID card copy to confirm personal information. The ID card forgery determination unit 120 hides one or more personal information items (eg, the last 6 digits of the resident number) set for each identification card (eg, resident registration card, driver's license) among the photographed copies of the identification card to protect personal information A copy may be created and stored in the customer DB through the customer server (S130).

도 10은 본 발명의 실시예에 따라 신분증 사본 이미지를 OCR 처리하여 고객의 개인 정보를 추출한 것을 나타낸 예시도이다. 고객은 신분증 사본에서 추출한 문자정보가 실제 신분증 정보와 일치하지 않을 경우 재촬영 버튼을 조작하여 신분증을 재촬영할 수도 있다. 신분증 사본에서 추출된 문자정보가 실제 신분증 정보와 일치하여 고객이 확인 버튼을 조작하면, 추출된 문자정보와 신분증 사본 이미지를 기반으로 본인인증이 수행된다.10 is an exemplary view illustrating extraction of personal information of a customer by OCR processing of an ID copy image according to an embodiment of the present invention. If the text information extracted from the copy of the ID does not match the actual ID information, the customer may operate the retake button to retake the ID. If the text information extracted from the copy of the ID matches the actual ID information and the customer operates the confirmation button, identity authentication is performed based on the extracted text information and the ID copy image.

도 11은 촬영된 신분증 사본 중 설정된 개인 정보 항목을 가려 개인 정보 보호된 신분증 사본을 생성하고 고객사 서버에 저장하는 단계를 설명하기 위한 고객 단말기 화면의 예시도이다. 도 11에 도시된 바와 같이, 신분증이 신분증 가이드 오브젝트(GO1)와 일치된 상태에서 신분증을 촬영하면, 해당 신분증 별로 설정된 하나 이상의 개인 정보 항목(예를 들어, 주민번호 뒷자리)에 대해 개인 정보 항목을 가려 개인 정보 보호된 신분증 사본을 생성할 수 있다. 따라서 고객이 메모지 등을 이용하여 주민번호 뒷자리를 가리는 등의 수고를 하지 않아도 되므로 고객의 불편함 없이 본인 인증에 필요하지 않은 불필요한 개인 정보의 유출을 방지할 수 있다.11 is an exemplary view of a customer terminal screen for explaining the step of generating a personal information-protected copy of the ID card by masking the set personal information items among the photographed copies of the ID card and storing the ID copy in the customer server. As shown in FIG. 11 , when an identification card is photographed in a state in which the identification card matches the identification guide object GO1, the personal information item is displayed for one or more personal information items (eg, the last digit of the resident number) set for each identification card. You can create a masked, privacy-protected copy of your ID. Therefore, since the customer does not have to use a memo pad to cover the back digit of the resident registration number, it is possible to prevent the leakage of unnecessary personal information that is not necessary for identity authentication without inconvenience to the customer.

도 12는 도 7의 단계 S140을 설명하기 위한 예시도이다. 도 6, 도 7 및 도 12를 참조하면, 셀피 촬영 제어부(130)는 본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공한다(S140). 셀피 촬영 인터페이스는 고객 단말기의 카메라를 실행하여 고객이 자신의 얼굴을 실시간 촬영하도록 하는 인터페이스를 제공할 수 있다.12 is an exemplary diagram for explaining step S140 of FIG. 7 . 6, 7, and 12 , the selfie taking control unit 130 provides a selfie taking interface for taking a face to the customer's terminal that requires self-authentication customer confirmation ( S140 ). The selfie taking interface may provide an interface that enables the customer to take a picture of their own face in real time by running the camera of the customer terminal.

셀피 촬영 제어부(130)는 고객의 얼굴에 해당하는 얼굴 가이드 오브젝트(GO2)를 제공할 수 있다. 얼굴 가이드 오브젝트(GO2)는 고객의 얼굴에 해당하는 크기를 가지는 사각 또는 원, 타원 등의 형상으로 제공될 수 있다. 셀피 촬영 제어부(130)는 고객의 얼굴이 얼굴 가이드 오브젝트(GO2) 내에 위치하는 상태에서 촬영 버튼이 조작되는지를 판단하여 고객의 셀피 사진을 획득할 수 있다. 즉, 고객이 자신의 얼굴을 얼굴 가이드 오브젝트(GO2) 내에 위치하도록 고객 단말기의 카메라 위치 및 방향을 조정한 상태에서 촬영 버튼을 조작하면, 본인인증을 위한 고객의 실시간 셀피 사진이 획득될 수 있다.The selfie capturing controller 130 may provide a face guide object GO2 corresponding to the customer's face. The face guide object GO2 may be provided in a shape such as a square, a circle, or an ellipse having a size corresponding to the customer's face. The selfie taking control unit 130 may acquire the customer's selfie photo by determining whether the photographing button is operated while the customer's face is located in the face guide object GO2. That is, if the customer manipulates the photographing button while adjusting the camera position and direction of the customer terminal so that his or her face is located within the face guide object GO2, a real-time selfie photo of the customer for self authentication can be obtained.

모션 탐지부(140)는 셀피 촬영 인터페이스를 통해 생성된 셀피 사진이 실제 고객이 촬영한 사진인지 허위 사진인지 판단할 수 있다(S150). 모션 탐지부(140)는 고객에 의해 고객의 얼굴 정면에 대해 셀피 사진이 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피 사진이 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 셀피 사진이 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단할 수 있다.The motion detector 140 may determine whether the selfie photo generated through the selfie taking interface is a photo taken by a real customer or a fake photo (S150). The motion detection unit 140 detects the movement of the customer's face between the first time point when the selfie picture is taken for the front of the customer's face by the customer, and the second time point when the selfie picture is taken for the side of the customer's face, When a customer's facial movement is detected, it can be determined that the selfie photo was taken by the actual customer, not a pre-prepared photo or video.

인증부(150)는 셀피 촬영 인터페이스를 통해 고객이 단말기를 이용하여 얼굴을 촬영하여 셀피 사진이 생성되면, 신분증 사진과 셀피 사진 대조를 통한 인증 서비스를 제공하는 인공 지능에 의해 셀피 사진과 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출한다(S160).When a selfie photo is generated by the customer taking a face using the terminal through the selfie shooting interface, the authentication unit 150 performs the authentication service between the ID photo and the selfie photo by artificial intelligence that provides an authentication service between the photo and the ID copy. A degree of agreement is calculated by comparing the face images (S160).

인증부(150)는 인공 지능 모델에 의해 셀피 사진과 신분증 사본의 얼굴 이미지에서 각각 특징점들을 추출하고, 대응되는 특징점들을 비교하여 신분증의 사진과 고객의 셀피 사진의 얼굴 일치도를 산출할 수 있다. 즉, 인증부(150)는 AI 안면인식(Face Recognition)을 통해 고객이 제출한 신분증과 실제 소지자의 얼굴을 비교하여 고객확인을 수행할 수 있다.The authenticator 150 extracts feature points from the face images of the selfie photo and the ID copy by the artificial intelligence model, respectively, and compares the corresponding feature points to calculate the face matching between the ID photo and the customer's selfie photo. That is, the authenticator 150 may perform customer verification by comparing the ID submitted by the customer with the face of the actual holder through AI face recognition.

인공 지능 모델은 실시간 셀피 사진과 실시간 신분증 사본의 얼굴 이미지에서 각각 특징점들을 추출하고, 대응되는 특징점들을 비교하여 신분증의 사진과 고객의 셀피 사진의 얼굴 일치도를 산출할 수 있다. 인증부(150)는 산출된 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하고, 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행할 수 있다(S170, S180).The artificial intelligence model extracts feature points from the face images of the real-time selfie photo and the real-time ID copy, respectively, and compares the corresponding feature points to calculate the face matching between the ID photo and the customer's selfie photo. The authentication unit 150 determines forgery or falsification of the ID copy photographed through the ID card photographing interface based on the calculated matching degree, and authenticates the person according to the matching degree calculated by artificial intelligence and the forgery/falsification determination result of the ID copy copy can be performed (S170, S180).

인증부(150)는 예를 들어, 인공 지능에 의해 산출된 일치도를 설정되거나 산출된 기준 일치도(예를 들어, 90% 등의 설정된 기준 일치도 또는, 실시간 촬영된 신분증 사진과 금융 DB 상의 신분증 사진 간의 일치율에 따라 산출되는 기준 일치도)와 비교하여 본인 인증을 수행할 수 있다.The authentication unit 150, for example, sets the degree of matching calculated by artificial intelligence or sets the calculated standard of agreement (eg, 90%, etc., or between the ID picture taken in real time and the ID picture on the financial DB) The user authentication can be performed by comparing it with the standard matching rate calculated according to the matching rate).

도 13은 도 7의 단계 S180을 설명하기 위한 예시도이다. 인증 결과 제공부(160)는 인증부(150)에 의해 신분증 사본(102)의 얼굴 이미지와 셀피 사진(104)의 얼굴 이미지를 비교하여 수행된 본인 인증 결과(106)를 제공할 수 있다. 본 발명의 실시예에 의하면 사진 파일이나 동영상이 아닌 앱상에서 찍은 사진으로 인증이 가능하며, 사진 실시간성 확보를 통해 사진 위,변조를 방지할 수 있다. 신분증 사본 이미지는 초해상도(Super Resolution) 처리를 통해 이미지 복원된 상태이므로, 고객 단말기의 고해상도 촬영 장치에 의해 획득된 셀피 사진과의 비교를 통해 얼굴 일치도를 정확하게 판정할 수 있다.13 is an exemplary diagram for explaining step S180 of FIG. 7 . The authentication result providing unit 160 may provide the identification result 106 performed by the authenticator 150 by comparing the face image of the copy of the ID card 102 with the face image of the selfie photo 104 . According to an embodiment of the present invention, authentication is possible with a photo taken on an app rather than a photo file or video, and photo forgery or falsification can be prevented by securing real-time photo quality. Since the ID copy image is in a state of being restored through super-resolution processing, it is possible to accurately determine the degree of facial matching through comparison with the selfie photo obtained by the high-resolution photographing device of the customer terminal.

인공 지능에 의해 얼굴 일치도를 산출하는 단계에 앞서, 셀피 촬영 인터페이스를 통해 생성된 셀피 사진이 실제 고객이 촬영한 사진인지 허위 사진인지 판단하는 단계(S150)가 수행될 수 있다. 도 14 및 도 15는 도 7의 단계 S150을 설명하기 위한 예시도이다.Prior to the step of calculating the face match by the artificial intelligence, a step ( S150 ) of determining whether the selfie photo generated through the selfie shooting interface is a photo taken by a real customer or a fake photo may be performed. 14 and 15 are exemplary views for explaining step S150 of FIG. 7 .

모션 탐지부(140)는 고객에 의해 고객의 얼굴 정면에 대해 셀피 사진이 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피 사진이 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 상기 셀피 사진이 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단할 수 있다. 따라서 실제 고객이 얼굴을 움직였는지를 판단하여 인증을 함으로써, 고객이 타인의 얼굴 정면 사진과 얼굴 측면 사진을 이용하여 허위로 인증을 하는 행위를 방지할 수 있다.The motion detection unit 140 detects the movement of the customer's face between the first time point when the selfie picture is taken for the front of the customer's face by the customer, and the second time point when the selfie picture is taken for the side of the customer's face, When the customer's face movement is detected, it may be determined that the selfie photo was taken by the actual customer, not a pre-prepared photo or video. Therefore, it is possible to prevent the customer from performing false authentication by using the frontal face and side face photos of others by determining whether the actual customer has moved his or her face and performing authentication.

모션 탐지부(140)는 고객이 얼굴 정면을 촬영하도록 안내 문구를 표시하거나 음성 등으로 출력하고, 이후 고객이 얼굴 정면을 촬영한 후 고객으로 하여금 얼굴을 정해진 방향(예를 들어, 왼쪽 또는 오른쪽 방향)으로 움직이도록 요청하는 안내 문구를 표시하거나 음성 등으로 출력할 수 있다. 이후 고객이 안내 문구에 따라 얼굴을 움직이면 고객의 얼굴 측면을 촬영할 수 있다.The motion detection unit 140 displays a guide phrase for the customer to take a picture of the front of the face or outputs a voice, etc., and then, after the customer takes a picture of the front of the face, makes the customer move the face in a predetermined direction (eg, left or right direction) ) can be displayed or output by voice or the like. After that, if the customer moves their face according to the guide, the side of the customer's face can be photographed.

모션 탐지부(140)는 임의의 방향으로 랜덤으로 얼굴 이동 방향을 지시하는 안내 문구를 생성하고, 이후 고객이 랜덤으로 지시된 얼굴 이동 방향에 따라 얼굴을 움직이는 모션이 탐지되면 고객이 실제로 얼굴을 움직인 행위인 것으로 판단할 수 있다. 이에 따라 얼굴을 움직이는 행위를 하는 타인의 동영상을 미리 준비하여 단말기로 디스플레이하여 해당 타인의 움직임인 것으로 속여 본인 인증을 하는 것을 보다 효과적으로 방지할 수 있다.The motion detection unit 140 generates a guide phrase instructing the face movement direction at random in a random direction, and then when a motion of the customer moving the face according to the face movement direction is detected at random, the customer actually moves the face It can be judged as a human act. Accordingly, it is possible to more effectively prevent self-authentication by preparing a video of another person performing an action of moving the face in advance and displaying it on the terminal by deceiving the person as the movement of the other person.

도 16은 본 발명의 실시예에 따라 비대면 본인인증 고객확인 정보를 관리하는 관리자 단말기의 관리자 화면 예시도이다. 고객의 얼굴 움직임이 탐지되면, 해당 셀피 사진은 사진이나 다른 단말기의 동영상이 아닌, 실제 고객에 의해 촬영된 것으로 판단될 수 있으며, 이후 셀피 사진과 신분증 사진의 비교를 통해 인공 지능에 의해 도 16에 도시된 바와 같이 신분증 사본의 특징점들(FP1)과 셀피 사진의 특징점들(FP2) 간의 매칭율을 기반으로 얼굴 일치도가 산출될 수 있다.16 is an exemplary view of a manager screen of a manager terminal that manages non-face-to-face personal authentication customer identification information according to an embodiment of the present invention. When the customer's face movement is detected, the corresponding selfie photo may be determined to be taken by the actual customer, not a photo or a video of another terminal, and is then shown in FIG. 16 by artificial intelligence by comparing the selfie photo with the ID photo. As illustrated, the degree of face matching may be calculated based on a matching rate between the feature points FP1 of the copy of the ID card and the feature points FP2 of the selfie photo.

인공 지능에 의해 얼굴 일치도가 산출되면, 얼굴 일치도에 따라 선택적으로 관리자에 의해 수동 검증이 수행될 수 있다. 예를 들어, 셀피 사진과 신분증 이미지의 얼굴 일치도가 90% 혹은 그 이하의 값으로 산출되면, 관리자에 수동 검증을 요청할 수 있다. 이와 달리 셀피 사진과 신분증 이미지의 얼굴 일치도가 90% 또는 그 이상의 높은 값으로 산출되면, 관리자에 의한 수동 검증을 생략할 수도 있다.When the face matching degree is calculated by artificial intelligence, manual verification may be selectively performed by an administrator according to the face matching degree. For example, if the face match between the selfie photo and the ID image is calculated to be 90% or less, you can request manual verification from the administrator. Contrary to this, if the face match between the selfie photo and the ID image is calculated to be 90% or higher, manual verification by the administrator may be omitted.

도 17은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 인증부의 구성도이다. 도 18은 도 7의 단계 S160 및 단계 S170의 예시적인 순서도이다. 도 17 및 도 18을 참조하면, 인증부(150)는 제1 일치도 산출부(152), 제2 일치도 산출부(154), 일치도 비교부(156) 및 위변조 판정부(158)를 포함할 수 있다.17 is a configuration diagram of an authentication unit constituting a non-face-to-face self-authentication customer confirmation device according to an embodiment of the present invention. 18 is an exemplary flowchart of steps S160 and S170 of FIG. 7 . 17 and 18 , the authenticator 150 may include a first matching unit 152 , a second agreement calculating unit 154 , a matching comparison unit 156 , and a forgery determination unit 158 . have.

제1 일치도 산출부(152)는 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 얼굴 이미지로부터 제1 특징점들을 추출할 수 있다(S162). 제1 일치도 산출부(152)는 금융 데이터베이스(60)에 저장된 고객의 신분증 사본의 얼굴 이미지로부터 추출된 제2 특징점들을 금융 데이터베이스(60)로부터 전송받을 수 있다(S164).The first coincidence calculator 152 may extract first feature points from the face image of the copy of the ID photographed through the ID photographing interface (S162). The first coincidence calculator 152 may receive the second feature points extracted from the face image of the copy of the customer's ID stored in the financial database 60 from the financial database 60 (S164).

금융 데이터베이스(60)는 예를 들어 공인된 금융 기관 또는 개인 정보 관리 기관 등에서 운용하는 데이터베이스일 수 있다. 인증부(150)는 금융 데이터베이스(60)로부터 신분증 사진을 직접 전송받지 않고 신분증 사진으로부터 추출된 제2 특징점들을 전송받기 때문에 신분증 사진이 금융 데이터베이스(60) 외부로 전송되어 활용되는 것을 방지할 수 있다.The financial database 60 may be, for example, a database operated by an authorized financial institution or personal information management institution. Since the authentication unit 150 receives the second feature points extracted from the ID photo without directly receiving the ID photo from the financial database 60, it is possible to prevent the ID photo from being transmitted to the outside of the financial database 60 and utilized. .

제1 일치도 산출부(152)는 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 금융 데이터베이스(60)로부터 전송받은 제2 특징점들의 매칭율을 기반으로 제1 일치도를 산출할 수 있다(S166).The first degree of matching calculator 152 calculates the first degree of matching based on the matching rate of the first feature points extracted from the face image of the ID copy photographed by the customer in real time and the second feature points transmitted from the financial database 60 . It can be done (S166).

제2 일치도 산출부(154)는 셀피 촬영 인터페이스를 통해 고객이 실시간 촬영한 셀피 사진의 얼굴 이미지로부터 제3 특징점들을 추출할 수 있다. 제2 일치도 산출부(154)는 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 고객이 실시간 촬영한 셀피 사진의 얼굴 이미지로부터 추출된 제3 특징점들의 매칭율을 기반으로 제2 일치도를 산출할 수 있다(S168).The second coincidence calculator 154 may extract the third feature points from the face image of the selfie picture taken by the customer in real time through the selfie shooting interface. The second match calculation unit 154 is based on the matching rate of the first feature points extracted from the face image of the ID copy taken by the customer in real time and the third feature points extracted from the face image of the selfie photo taken by the customer in real time. A second degree of agreement may be calculated (S168).

일치도 비교부(156)는 제1 일치도 산출부(152)에 의해 산출된 제1 일치도와 제2 일치도 산출부(154)에 의해 산출된 제2 일치도를 비교할 수 있다(S172). 위변조 판정부(158)는 제1 일치도(고객이 실시간 촬영한 신분증의 얼굴 이미지와 금융 데이터베이스에 저장된 신분증의 얼굴 이미지 간의 특징 유사도)와 제2 일치도(고객이 실시간 촬영한 신분증의 얼굴 이미지와 고객이 실시간 촬영한 셀피 사진 간의 특징 유사도)의 비교 결과를 기반으로 신분증의 위,변조를 판정할 수 있다(S174, S176).The degree of agreement comparison unit 156 may compare the first degree of agreement calculated by the first degree of agreement calculator 152 with the second degree of agreement calculated by the second degree of agreement calculator 154 ( S172 ). The forgery and falsification determination unit 158 determines the first degree of matching (the degree of similarity between the facial image of the ID photographed in real time by the customer and the facial image of the ID stored in the financial database) and the second degree of matching (the facial image of the ID photographed in real time by the customer and the customer) Based on the comparison result of the feature similarity between selfie photos taken in real time), it is possible to determine forgery or falsification of the ID card (S174, S176).

위변조 판정부(158)는 제1 일치도가 제2 일치도 이상이면 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조되지 않은 정상 신분증 사본인 것으로 판단할 수 있다(S174). 위변조 판정부(158)는 제1 일치도가 제2 일치도 미만이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조된 비정상 신분증 사본인 것으로 판단할 수 있다(S176).The forgery determination unit 158 may determine that the copy of the ID photographed through the ID photographing interface is a copy of the normal ID that has not been forged or altered if the first degree of matching is equal to or greater than the second degree of matching (S174). The forgery determination unit 158 may determine that, if the first degree of matching is less than the second degree of matching, the copy of the ID photographed through the ID photographing interface is a copy of the forged or forged abnormal ID (S176).

제1 일치도 및/또는 제2 일치도를 각각 설정된 기준 값과 비교하여 판단하는 경우 기준 값의 설정에 따라 신분증의 위,변조 판정 정확도가 좌우될 수 있으나, 제1 일치도와 제2 일치도 상호 간의 비교 결과에 따라 신분증의 위,변조를 판정함으로써 신분증의 위,변조 판정 정확도를 높일 수 있다.When the first degree of agreement and/or the second degree of agreement are compared with each set reference value, the accuracy of determining forgery or falsification of the identification card may depend on the setting of the reference value, but the result of comparison between the first degree of agreement and the second degree of agreement By judging forgery or falsification of ID cards, the accuracy of identification can be improved.

예를 들어, 신분증의 사진을 위,변조한 경우 제1 일치도(예를 들어, 0~40% 일치율)가 낮아져 신분증이 위,변조된 것으로 판정할 수 있다. 또한, 신분증 위,변조시 제2 일치도가 실시간 촬영된 신분증과 금융 DB에 저장된 신분증 간의 제1 일치도 보다 높게 나오게 되어 비정상인 것으로 판정하고 신분증 위,변조 행위를 한 것으로 판단할 수 있다.For example, if the photo of the ID card is forged or forged, the first degree of matching (eg, 0-40% matching rate) may be lowered, so that it may be determined that the ID card has been forged or forged. In addition, in case of forgery or falsification of the ID, the second degree of matching is higher than the first degree of matching between the ID card photographed in real time and the ID stored in the financial DB, so it can be determined that the ID is forged or forged.

도 17 및 도 18의 실시예에 의하면, 악의적인 사용자가 타인의 신분증을 입수하여 해당 신분증의 사진을 자신의 사진으로 변조하고 인증을 진행하거나, 악의적인 사용자가 자신의 신분증 정보를 타인의 정보로 변조하여 인증을 진행하는 등 다양한 유형의 신분증 위,변조 행위를 판단하여 부정한 인증 행위를 방지할 수 있다.According to the embodiment of FIGS. 17 and 18 , a malicious user obtains another person's ID card, modifies the picture of the ID card into his or her own picture, and performs authentication, or a malicious user converts his or her ID information into another person's information It is possible to prevent fraudulent authentication by judging various types of identification forgery and falsification, such as performing authentication by falsification.

도 19는 본 발명의 일 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 신분증 위변조 판단부의 구성도이다. 도 20은 도 7의 단계 S120의 일 예에 따른 순서도이다. 도 21은 도 20의 실시예를 설명하기 위한 예시도이다. 도 19 내지 도 21을 참조하면, 신분증 위변조 판단부(120)는 제1 선명도 패턴 검출부(111), 제2 선명도 패턴 검출부(112) 및 위조사진 판정부(113)를 포함할 수 있다.19 is a block diagram of an identification card forgery determination unit constituting a non-face-to-face personal authentication customer confirmation device according to an embodiment of the present invention. 20 is a flowchart according to an example of step S120 of FIG. 7 . 21 is an exemplary diagram for explaining the embodiment of FIG. 20 . 19 to 21 , the identification forgery determination unit 120 may include a first sharpness pattern detection unit 111 , a second sharpness pattern detection unit 112 , and a forgery photo determination unit 113 .

제1 선명도 패턴 검출부(111)는 실시간 촬영된 신분증 사본의 얼굴 이미지 영역(AR0)에 해당하는 제1 영역(AR1)에 대해 제1 선명도 패턴을 검출할 수 있다(S121). 제1 선명도 패턴은 고객의 신분증 사용 습관이나 소지 습관 등에 의해 신분증의 얼굴 이미지 영역(AR0)에 해당하는 제1 영역(AR1)에 나타나는 손상, 노후 패턴에 관한 정보를 포함할 수 있다.The first sharpness pattern detection unit 111 may detect the first sharpness pattern with respect to the first area AR1 corresponding to the face image area AR0 of the copy of the ID photographed in real time (S121). The first sharpness pattern may include information on damage and aging patterns appearing in the first area AR1 corresponding to the face image area AR0 of the ID card due to the customer's ID card usage habit or possession habit.

제2 선명도 패턴 검출부(112)는 실시간 촬영된 신분증 사본의 얼굴 이미지 영역(AR0)에 해당하지 않는 제2 영역(AR2)에 대해 제2 선명도 패턴을 검출할 수 있다(S122). 제2 선명도 패턴은 고객의 신분증 사용 습관이나 소지 습관 등에 의해 신분증의 얼굴 이미지 영역(AR0)에 해당하지 않는 제2 영역(AR2)에 나타나는 손상, 노후 패턴에 관한 정보를 포함할 수 있다.The second sharpness pattern detection unit 112 may detect the second sharpness pattern for the second region AR2 that does not correspond to the face image region AR0 of the real-time photographed ID copy (S122). The second sharpness pattern may include information on damage and aging patterns appearing in the second area AR2 that does not correspond to the face image area AR0 of the ID card due to the customer's ID card usage habit or possession habit.

위조사진 판정부(113)는 제1 선명도 패턴과 제2 선명도 패턴을 비교하여 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정할 수 있다(S123). 위조사진 판정부(113)는 선명도 패턴 비교부(1132)와, 사진 위조확률 산출부(1134)를 포함할 수 있다. 선명도 패턴 비교부(1132)는 제1 선명도 패턴과 제2 선명도 패턴을 비교할 수 있다. 사진 위조확률 산출부(1134)는 제1 선명도 패턴과 제2 선명도 패턴의 비교 결과에 따라 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정할 수 있다. 실시예에서, 사진 위조된 신분증의 사진 경계 주위 영역의 화소값들의 패턴을 기반으로 선명도 패턴 변화를 인공 지능에 의해 학습하여 인공 지능 모델을 생성할 수 있으며, 학습된 인공 지능 모델을 이용하여 제1 및 제2 선명도 패턴을 기반으로 사진 위조 여부를 판정할 수 있다.The forged photo determining unit 113 may determine whether a photo forgery of a copy of the ID card photographed in real time by comparing the first sharpness pattern and the second sharpness pattern (S123). The forged photo determination unit 113 may include a sharpness pattern comparison unit 1132 and a photo forgery probability calculation unit 1134 . The sharpness pattern comparison unit 1132 may compare the first sharpness pattern with the second sharpness pattern. The photo forgery probability calculator 1134 may determine whether the photo forgery of the copy of the ID card photographed in real time according to the comparison result of the first sharpness pattern and the second sharpness pattern. In an embodiment, an artificial intelligence model may be generated by learning the sharpness pattern change by artificial intelligence based on the pattern of pixel values in the area around the border of the photo of the forged photo ID, and using the learned artificial intelligence model, the first and whether the photo is forged based on the second sharpness pattern may be determined.

도 22는 정상 신분증의 사진 경계 부분의 화소값 변화를 나타낸 예시도이다. 도 23은 위조 사진을 붙인 신분증의 사진 경계 부분의 화소값 변화를 나타낸 예시도이다. 정상 신분증의 경우 도 22에 도시된 바와 같이, 신분증 사진 경계 부분에서 선명도 패턴의 변화가 크지 않게 나타나지만, 위조 사진을 붙인 신분증의 경우 신분증 사진 경계 부분에서 선명도 패턴의 변화가 크게 나타날 수 있다.22 is an exemplary diagram illustrating a change in pixel values of a photo boundary portion of a normal ID. 23 is an exemplary diagram illustrating a change in pixel values of a photo boundary portion of an identification card to which a forged photo is attached. In the case of a normal ID, as shown in FIG. 22 , the change in the sharpness pattern at the boundary of the ID photo does not appear to be large, but in the case of an ID with a forged photo, the change in the sharpness pattern at the boundary of the ID photo may appear significantly.

즉, 사용자가 타인의 신분증 사진을 사용자 본인의 사진으로 교체하여 신분증을 위,변조하는 경우, 신분증의 사진 영역의 제1 선명도 패턴은 신분증의 사진 영역이 아닌 영역의 제2 선명도 패턴과 상이한 패턴을 가지게 된다. 따라서 제1 선명도 패턴과 제2 선명도 패턴이 상이한 경우, 사용자가 신분증 사진을 위,변조한 것으로 판단할 수 있다.That is, when the user replaces another person's ID photo with the user's own photo to forge or falsify the ID, the first sharpness pattern of the photo area of the ID is different from the second sharpness pattern of the area other than the photo area of the ID. will have Therefore, when the first sharpness pattern and the second sharpness pattern are different, it can be determined that the user has forged or forged the ID photo.

제1 선명도 패턴이 추출된 제1 영역과 제2 선명도 패턴이 추출된 제2 영역이 근접할수록, 제1 선명도 패턴과 제2 선명도 패턴 간의 비교 결과에 따른 신분증 사진의 위,변조 판정 정확도를 높일 수 있다. 따라서 제1 영역은 신분증 사진의 모서리 영역으로 설정되고, 제2 영역은 신분증 사진의 모서리 영역을 둘러싸는 영역으로 설정될 수 있다.As the first region from which the first sharpness pattern is extracted and the second region from which the second sharpness pattern is extracted are closer, the accuracy of forgery/falsification determination of the ID photo according to the comparison result between the first sharpness pattern and the second sharpness pattern can be increased. have. Accordingly, the first area may be set as a corner area of the ID photo, and the second area may be set as an area surrounding the corner area of the ID photo.

도 24는 본 발명의 다른 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 신분증 위변조 판단부의 구성도이다. 도 25는 도 7의 단계 S120의 다른 예에 따른 순서도이다. 도 26 및 도 27은 도 25의 실시예를 설명하기 위한 예시도이다. 도 24 내지 도 27을 참조하면, 신분증 위변조 판단부(120)는 홀로그램 영역 검출부(124), 빛반사 영역 검출부(124'), 제1 이미지 처리부(125) 및 제2 이미지 처리부(126)를 포함할 수 있다.24 is a block diagram of an identification card forgery determination unit constituting a non-face-to-face personal authentication customer confirmation device according to another embodiment of the present invention. 25 is a flowchart according to another example of step S120 of FIG. 7 . 26 and 27 are exemplary views for explaining the embodiment of FIG. 25 . 24 to 27 , the identification forgery determination unit 120 includes a hologram area detection unit 124 , a light reflection area detection unit 124 ′, a first image processing unit 125 and a second image processing unit 126 . can do.

홀로그램 영역 검출부(124)는 실시간 촬영된 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역을 검출할 수 있다(S124). 빛반사 영역 검출부(124')는 실시간 촬영된 신분증 사본의 얼굴 이미지 중 빛 반사에 의해 발생된 빛반사 영역을 검출할 수 있다(S124).The hologram area detection unit 124 may detect a hologram area corresponding to the hologram among the face images of the copy of the ID photographed in real time (S124). The light reflection area detection unit 124' may detect a light reflection area generated by light reflection among the face images of the copy of the ID card photographed in real time (S124).

빛반사 영역은 예를 들어, 실내/외의 조명광과 같은 인공광 혹은 태양광이 신분증에 반사되어 카메라로 입사됨에 따라 발생될 수 있다. 실시예에서, 신분증 사본 이미지의 홀로그램 영역과 빛반사 영역은 인공 지능에 의해 홀로그램 영역과 빛반사 영역에서 각각 나타나는 화소값들의 패턴을 학습하여 생성된 인공 지능 모델을 기반으로 검출될 수 있다.The light reflection region may be generated as, for example, artificial light such as indoor/outdoor illumination light or sunlight is reflected on the ID card and is incident on the camera. In an embodiment, the hologram area and the light reflection area of the ID copy image may be detected based on an artificial intelligence model generated by learning patterns of pixel values respectively appearing in the hologram area and the light reflection area by artificial intelligence.

제1 이미지 처리부(125)는 홀로그램 영역에 대해 제1 이미지 처리를 수행할 수 있다(S125). 제1 이미지 처리는 홀로그램 영역에 포함된 홀로그램 정보 및/또는 빛반사 영역에 포함된 빛반사 정보를 제거하거나 경감하기 위한 이미지 처리일 수 있다. 제1 이미지 처리부(125)는 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역 및/또는 빛반사 영역의 화소들 중 화소값 증가량이 기준값을 초과하는 영역(HG1, HG2)에 대해 평활화 처리를 함으로써 홀로그램 정보가 제거 또는 경감된 화소 정보(HG3, HG4)로 변환된 제1 이미지 데이터(D1)를 생성할 수 있다.The first image processing unit 125 may perform a first image processing on the hologram area (S125). The first image processing may be image processing for removing or reducing hologram information included in the hologram region and/or light reflection information included in the light reflection region. The first image processing unit 125 smoothes the areas HG1 and HG2 in which the pixel value increase exceeds the reference value among pixels in the hologram area and/or light reflection area corresponding to the hologram in the face image of the copy of the ID card. The first image data D1 converted into the pixel information HG3 and HG4 from which the hologram information has been removed or reduced may be generated.

제2 이미지 처리부(126)는 홀로그램 정보 및/또는 빛반사 정보가 제거 또는 경감된 제1 이미지 데이터(D1)로부터 신분증 사본의 얼굴 이미지에 대해 제2 이미지 처리를 수행하여 제1 이미지 데이터(D1) 보다 높은 해상도를 가지는 제2 이미지 데이터(D2)를 생성할 수 있다(S126). 제2 이미지 처리는 초해상도(Super Resolution) 알고리즘에 의해 신분증 사본의 얼굴 이미지의 해상도를 향상시키는 이미지 처리일 수 있다.The second image processing unit 126 performs second image processing on the face image of the copy of the ID card from the first image data D1 in which the hologram information and/or light reflection information are removed or reduced to obtain the first image data D1 The second image data D2 having a higher resolution may be generated ( S126 ). The second image processing may be image processing for improving the resolution of the face image of the ID copy by a Super Resolution algorithm.

도 28은 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치를 구성하는 모션 탐지부의 구성도이다. 도 29는 도 7의 단계 S150의 예시적인 순서도이다. 도 30은 도 29에 따른 실시예를 설명하기 위한 예시도이다. 도 28 내지 도 30을 참조하면, 모션 탐지부(140)는 광 출력 조절부(142), 밝기 분포 산출부(144), 밝기 변화 분석부(146) 및 부정 행위 판단부(148)를 포함할 수 있다.28 is a block diagram of a motion detection unit constituting a non-face-to-face self-authentication customer confirmation device according to an embodiment of the present invention. 29 is an exemplary flowchart of step S150 of FIG. 7 . 30 is an exemplary diagram for explaining the embodiment according to FIG. 29 . 28 to 30 , the motion detection unit 140 may include a light output control unit 142 , a brightness distribution calculation unit 144 , a brightness change analysis unit 146 , and a fraudulent activity determination unit 148 . can

광 출력 조절부(142)는 고객이 얼굴을 움직이는 모션을 하는 동안 고객 단말기에서 발생되는 광의 출력을 제1 광 출력 상태에서 제2 광 출력 상태로 변화시키는 광 출력 조절 처리를 실행할 수 있다(S151). 광 출력 조절부(142)는 예를 들어 고객이 얼굴을 움직이는 모션을 하는 동안 고객 단말기에서 발생되는 조명을 변화시키거나 플래시를 발생시키는 등의 광 출력 조절 처리를 실행할 수 있다.The light output control unit 142 may execute a light output control process of changing the light output generated from the customer terminal from the first light output state to the second light output state while the customer moves the face (S151) . The light output adjusting unit 142 may execute light output adjusting processing such as changing the lighting generated by the customer terminal or generating a flash while the customer makes a motion of moving his or her face.

밝기 분포 산출부(144)는 제1 밝기 분포 산출부(1442) 및 제2 밝기 분포 산출부(1444)를 포함할 수 있다. 제1 밝기 분포 산출부(1442)는 제1 광 출력 상태(예를 들어, 낮은 광 출력 모드)에서 촬영된 제1 셀피 사진의 얼굴 영역(P1~P5) 별로 제1 밝기를 산출하여 제1 밝기 분포를 산출할 수 있다(S152). 제2 밝기 분포 산출부(1444)는 제2 광 출력 상태(예를 들어, 높은 광 출력 모드)에서 촬영된 제2 셀피 사진의 얼굴 영역(P1~P5) 별로 제2 밝기를 산출하여 제2 밝기 분포를 산출할 수 있다(S153).The brightness distribution calculator 144 may include a first brightness distribution calculator 1442 and a second brightness distribution calculator 1444 . The first brightness distribution calculator 1442 calculates the first brightness for each face region P1 to P5 of the first selfie picture taken in the first light output state (eg, in the low light output mode) to calculate the first brightness A distribution can be calculated (S152). The second brightness distribution calculator 1444 calculates a second brightness for each face region P1 to P5 of the second selfie picture taken in the second light output state (eg, high light output mode) to calculate the second brightness A distribution can be calculated (S153).

밝기 변화 분석부(146)는 제1 밝기 분포 및 제2 밝기 분포를 기반으로 고객의 얼굴 영역(P1~P5) 별로 밝기 변화를 분석할 수 있다(S154). 부정 행위 판단부(148)는 고객의 얼굴 영역 별로 분석된 밝기 변화를 기반으로, 사용자가 다른 단말기를 통해 동영상을 실행하여 모션 탐지 인증을 통과하려고 하는 부정 행위를 판단할 수 있다(S155).The brightness change analyzer 146 may analyze the brightness change for each face region P1 to P5 of the customer based on the first brightness distribution and the second brightness distribution ( S154 ). The fraudulent action determination unit 148 may determine the fraudulent action in which the user attempts to pass the motion detection authentication by executing a video through another terminal based on the brightness change analyzed for each face region of the customer (S155).

즉, 인증부(150)는 얼굴 영역(P1~P5) 별로 상기 제1 밝기 분포를 상기 제2 밝기 분포와 비교한 결과를 기반으로, 실제 사용자가 얼굴을 움직이는 행위를 하는 것인지, 사용자가 다른 단말기를 통해 동영상을 실행하여 모션 탐지 인증을 통과하려고 하는 것인지를 구별할 수 있다.That is, based on the result of comparing the first brightness distribution with the second brightness distribution for each face region P1 to P5, the authenticator 150 determines whether the actual user is moving the face, or whether the user is using another terminal. You can distinguish whether you are trying to pass motion detection authentication by running a video through .

실제 사용자가 얼굴을 움직이는 행위를 하는 경우, 광 출력 밝기에 따라 사용자의 얼굴 영역 별 굴곡(경사)에 따라 밝기 변화가 다르게 나타나지만, 동영상을 실행하여 모션 탐지 인증을 통과하려는 경우 동영상에 비춰지는 빛의 변화가 얼굴 전체에 균일하게 작용하여 얼굴 영역 별로 밝기 변화가 비교적 일정하게 나타나게 된다.When an actual user moves his or her face, the brightness change appears differently depending on the curvature (inclination) of each face area according to the light output brightness. The change acts uniformly on the entire face, so that the brightness change for each face area is relatively constant.

따라서 사용자의 얼굴 부위(예를 들어, 코끝, 미간, 입술, 광대뼈 등)에 따라 제1 셀피 사진과 제2 셀피 사진 간의 빛의 변화 비율이 다르게 나타나는 것으로 판단되는 경우, 실제 사용자의 정상적 모션인 것으로 판단하고, 제1 셀피 사진과 제2 셀피 사진 간의 빛의 변화 비율이 얼굴 부위 별로 비교적 일정하게 나타나는 것으로 판단되는 경우, 단말기에 동영상을 실행하여 모션 탐지 인증을 부정한 방법으로 통과하는 것으로 판정할 수 있다. 따라서 도 28 및 도 29의 실시예에 의하면, 제3자가 타인의 얼굴 움직임을 촬영한 동영상을 다른 단말기를 통해 실행하는 부정한 방법으로 모션 탐지 인증을 통과하는 행위를 방지할 수 있다.Therefore, if it is determined that the rate of change of light between the first selfie picture and the second selfie picture is different depending on the user's face part (for example, the tip of the nose, the forehead, the lips, the cheekbones, etc.), it is assumed that the actual motion of the user is normal. If it is determined that the rate of change of light between the first selfie photo and the second selfie photo is relatively constant for each face part, it can be determined that the motion detection authentication is passed in an illegal way by executing a video on the terminal. . Therefore, according to the embodiment of FIGS. 28 and 29 , it is possible to prevent an act of passing the motion detection authentication by a third party using an illegal method of executing a video of another person's facial movement through another terminal.

상술한 바와 같이, 본 발명의 실시예에 따른 비대면 본인인증 고객확인 장치 및 방법에 의하면, 광학 글자 인식 기술(OCR), 모션 탐지(Motion Detection), 인공지능을 활용한 얼굴 인식(Face Recognition) 및 얼굴 매칭(Face Matching) 기술을 기반으로 고객이 실시간으로 신분증을 촬영한 사진과 얼굴을 촬영한 셀피 사진을 기반으로 간편하고 정확하게 본인 인증을 수행하는 실시간 촬영된 신분증 사진 및 셀피 사진을 이용한 인공지능 얼굴 인식 기반의 비대면 본인인증 고객확인 장치 및 방법이 제공된다.As described above, according to the non-face-to-face identity authentication customer confirmation device and method according to an embodiment of the present invention, optical character recognition technology (OCR), motion detection (Motion Detection), face recognition using artificial intelligence (Face Recognition) And artificial intelligence using real-time ID photos and selfie photos that perform simple and accurate self-authentication based on customer’s real-time ID photos and face selfie photos based on Face Matching technology A face recognition-based non-face-to-face identity authentication customer verification device and method are provided.

또한 본 발명의 실시예에 의하면, 타인의 사진이나 동영상을 이용하여 허위로 본인인증을 하는 것을 방지할 수 있다. 또한, 고객의 비대면 계좌 개설 단계를 간소화할 수 있고 영상 통화 인증 수단을 대체하여 24시간 서비스 이용이 가능하여 고객 편의를 증대할 수 있고, 1원 인증에 사용되는 서비스사 비용을 절감할 수 있다. 또한, 계좌가 없는 외국인, 청소년 등의 간편한 본인 인증 또한 가능하다.In addition, according to an embodiment of the present invention, it is possible to prevent false identity authentication using another person's photo or video. In addition, it is possible to simplify the customer's non-face-to-face account opening step, to replace the video call authentication method and to use the service 24 hours a day, so customer convenience can be increased, and the cost of the service company used for one-way authentication can be reduced. . In addition, simple identity verification for foreigners and teenagers who do not have an account is also possible.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/ 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.The embodiments described above may be implemented by a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the apparatus, method, and component described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). Array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers.

처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.The processing device may run an operating system and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, a processing device is sometimes described as being used, but a person of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It will be understood that this may include

예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a Parallel Processor. The software may include a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.

소프트웨어 및/ 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and ROM, RAM, and flash memory. Hardware devices specially configured to store and execute program instructions, such as, etc. are included. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (17)

본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 신분증 촬영 제어부;
본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공하는 셀피 촬영 제어부; 및
상기 셀피 촬영 인터페이스를 통해 고객이 단말기를 이용하여 얼굴을 촬영하여 셀피 사진이 생성되면, 인공 지능에 의해 상기 셀피 사진과 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출하고, 산출된 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하고, 상기 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행하는 인증부를 포함하는, 비대면 본인인증 고객확인 장치.
ID card photographing control unit that provides an identification card photographing interface for photographing identification to a customer's terminal requiring identification of the customer;
Self-verification control unit that provides a selfie-taking interface for photographing a face to a customer's terminal requiring customer confirmation; and
When a selfie photo is generated by a customer taking a face using a terminal through the selfie shooting interface, artificial intelligence compares the selfie photo with the face image of a copy of the ID card to calculate the degree of matching, and based on the calculated degree of matching, the ID card Non-face-to-face self-certification customer, including an authenticator that judges forgery or falsification of a copy of ID card photographed through a shooting interface, and performs self-certification according to the match calculated by the artificial intelligence and forgery/falsification determination result of ID copy verification device.
제1항에 있어서,
상기 신분증 촬영 제어부는:
신분증 촬영 모드에서 고객 단말기의 화면의 영상에 고객이 선택한 신분증에 해당하는 사각 형태로 신분증 가이드 오브젝트를 표시하고, 상기 신분증이 상기 신분증 가이드 오브젝트와 일치된 상태에서 고객이 촬영 버튼을 조작하여 신분증을 촬영하는지를 판단하여 신분증 사본 이미지를 생성하는, 비대면 본인인증 고객확인 장치.
According to claim 1,
The ID photographing control unit is:
In the ID card shooting mode, the ID guide object is displayed in the form of a rectangle corresponding to the ID selected by the customer on the image on the screen of the customer terminal, and the ID is captured by the customer by operating the shooting button while the ID matches the ID guide object A non-face-to-face personal authentication customer verification device that generates a copy image of an ID by judging whether it is.
제1항에 있어서,
초해상도(Super Resolution) 처리를 수행하여 신분증 사본 이미지의 해상도를 조절하고, 초해상도 처리된 신분증 사본을 광학 글자 인식 처리하여 개인 정보를 확인하고, 신분증 별로 설정된 하나 이상의 개인 정보 항목을 가려 개인 정보 보호된 신분증 사본을 생성하고 고객사 서버에 저장하는 신분증 위변조 판단부를 더 포함하는, 비대면 본인인증 고객확인 장치.
According to claim 1,
Super-resolution processing to adjust the resolution of the ID copy image, optical character recognition processing for the super-resolution ID copy to confirm personal information, and to protect personal information by hiding one or more personal information items set for each ID Non-face-to-face personal authentication customer verification device, further comprising an identification forgery determination unit that generates a copy of the ID card and stores it in the customer server.
제1항에 있어서,
상기 셀피 촬영 제어부는: 고객의 얼굴에 해당하는 얼굴 가이드 오브젝트를 제공하고, 고객의 얼굴이 상기 얼굴 가이드 오브젝트 내에 위치하는 상태에서 촬영 버튼이 조작되는지를 판단하여 고객의 셀피 사진을 획득하는, 비대면 본인인증 고객확인 장치.
According to claim 1,
The selfie shooting control unit: provides a face guide object corresponding to the customer's face, and determines whether the shooting button is operated in a state where the customer's face is located in the face guide object to obtain a customer's selfie picture, non-face-to-face Identity verification customer verification device.
제1항에 있어서,
상기 인증부는: 인공 지능 모델에 의해 상기 셀피 사진과 상기 신분증 사본의 얼굴 이미지에서 각각 특징점들을 추출하고, 대응되는 특징점들을 비교하여 신분증의 사진과 고객의 셀피 사진의 얼굴 일치도를 산출하는, 비대면 본인인증 고객확인 장치.
According to claim 1,
The authenticator: extracting feature points from the face images of the selfie photo and the ID copy by an artificial intelligence model, and comparing the corresponding feature points to calculate the facial match between the ID photo and the customer's selfie photo, non-face-to-face person Authenticated Customer Identification Device.
제1항에 있어서,
상기 인증부는:
상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 얼굴 이미지로부터 제1 특징점들을 추출하고, 금융 데이터베이스에 저장된 고객의 신분증 사본의 얼굴 이미지로부터 추출된 제2 특징점들을 금융 데이터베이스로부터 전송받고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 금융 데이터베이스로부터 전송받은 제2 특징점들의 매칭율을 기반으로 제1 일치도를 산출하는 제1 일치도 산출부;
상기 셀피 촬영 인터페이스를 통해 고객이 실시간 촬영한 셀피 사진의 얼굴 이미지로부터 제3 특징점들을 추출하고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 고객이 실시간 촬영한 셀피 사진의 얼굴 이미지로부터 추출된 제3 특징점들의 매칭율을 기반으로 제2 일치도를 산출하는 제2 일치도 산출부;
상기 제1 일치도와 상기 제2 일치도를 비교하는 일치도 비교부; 및
상기 제1 일치도와 상기 제2 일치도의 비교 결과를 기반으로 신분증의 위,변조를 판정하는 위변조 판정부를 포함하는, 비대면 본인인증 고객확인 장치.
According to claim 1,
The authentication unit:
The first feature points are extracted from the face image of the copy of the ID photographed through the ID photographing interface, the second feature points extracted from the face image of the copy of the ID of the customer stored in the financial database are transmitted from the financial database, and the a first coincidence calculator that calculates a first degree of matching based on a matching rate between the first feature points extracted from the face image of the copy of the ID card and the second feature points transmitted from the financial database;
The third feature points are extracted from the face image of the selfie photo taken by the customer in real time through the selfie shooting interface, the first feature points extracted from the face image of the ID copy taken by the customer in real time, and the selfie photo taken by the customer in real time a second degree of agreement calculator for calculating a second degree of agreement based on the matching rate of the third feature points extracted from the face image of ;
a degree of agreement comparison unit comparing the first degree of agreement with the second degree of agreement; and
A non-face-to-face identity authentication customer confirmation device comprising a forgery determination unit for determining forgery or falsification of an identification card based on a comparison result of the first degree of agreement and the second degree of agreement.
제6항에 있어서,
상기 위변조 판정부는:
상기 제1 일치도가 상기 제2 일치도 이상이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조되지 않은 정상 신분증 사본인 것으로 판단하고; 그리고
상기 제1 일치도가 상기 제2 일치도 미만이면 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본이 위,변조된 비정상 신분증 사본인 것으로 판단하는, 비대면 본인인증 고객확인 장치.
7. The method of claim 6,
The forgery determination unit:
if the first degree of matching is equal to or greater than the second degree of matching, it is determined that the copy of the ID photographed through the ID photographing interface is a copy of a normal ID that has not been forged or altered; and
If the first degree of agreement is less than the second degree of agreement, it is determined that the copy of the ID photographed through the ID photographing interface is a forged or forged copy of the abnormal ID.
제1항에 있어서,
고객에 의해 고객의 얼굴 정면에 대해 셀피 사진이 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피 사진이 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 상기 셀피 사진이 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단하는 모션 탐지부를 더 포함하는, 비대면 본인인증 고객확인 장치.
According to claim 1,
Detects the customer's face movement between a first time point when a selfie picture is taken for the front of the customer's face by the customer and a second time point when a selfie picture is taken for the customer's face side, and when the customer's face movement is detected Non-face-to-face identity authentication customer verification device further comprising a motion detection unit for determining that the selfie photo was taken by a real customer rather than a pre-prepared photo or video.
제8항에 있어서,
상기 모션 탐지부는:
고객이 얼굴을 움직이는 모션을 하는 동안 고객 단말기에서 발생되는 광의 출력을 제1 광 출력 상태에서 제2 광 출력 상태로 변화시키는 광 출력 조절 처리를 실행하는 광 출력 조절부;
상기 제1 광 출력 상태에서 촬영된 제1 셀피 사진의 얼굴 영역 별로 제1 밝기를 산출하여 제1 밝기 분포를 산출하는 제1 밝기 분포 산출부;
상기 제2 광 출력 상태에서 촬영된 제2 셀피 사진의 얼굴 영역 별로 제2 밝기를 산출하여 제2 밝기 분포를 산출하는 제2 밝기 분포 산출부;
상기 제1 밝기 분포 및 상기 제2 밝기 분포를 기반으로 고객의 얼굴 영역 별로 밝기 변화를 분석하는 밝기 변화 분석부; 및
상기 고객의 얼굴 영역 별로 분석된 밝기 변화를 기반으로, 사용자가 다른 단말기를 통해 동영상을 실행하여 모션 탐지 인증을 통과하려고 하는 부정 행위를 판단하는 부정 행위 판단부를 포함하는, 비대면 본인인증 고객확인 장치.
9. The method of claim 8,
The motion detection unit:
a light output adjusting unit that executes a light output adjusting process for changing the output of light generated from the customer terminal from the first light output state to the second light output state while the customer moves the face;
a first brightness distribution calculator configured to calculate a first brightness distribution by calculating a first brightness for each face region of a first selfie photo taken in the first light output state;
a second brightness distribution calculator configured to calculate a second brightness distribution by calculating a second brightness for each face region of a second selfie picture taken in the second light output state;
a brightness change analyzer for analyzing a brightness change for each face region of a customer based on the first brightness distribution and the second brightness distribution; and
Non-face-to-face identity authentication customer verification device, comprising a fraudulent determination unit that determines a fraudulent act in which the user attempts to pass motion detection authentication by executing a video through another terminal based on the brightness change analyzed for each face region of the customer .
제1항에 있어서,
상기 신분증 위변조 판단부는:
실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하는 제1 영역에 대해 제1 선명도 패턴을 검출하는 제1 선명도 패턴 검출부;
실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하지 않는 제2 영역에 대해 제2 선명도 패턴을 검출하는 제2 선명도 패턴 검출부; 및
상기 제1 선명도 패턴과 상기 제2 선명도 패턴을 비교하여 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정하는 위조사진 판정부를 포함하는, 비대면 본인인증 고객확인 장치.
According to claim 1,
The identification forgery determination unit:
a first sharpness pattern detector configured to detect a first sharpness pattern in a first region corresponding to a face image region of a copy of the ID card photographed in real time;
a second sharpness pattern detection unit configured to detect a second sharpness pattern in a second region that does not correspond to the face image region of the real-time photographed ID copy; and
and a counterfeit photo determining unit that compares the first sharpness pattern with the second sharpness pattern to determine whether a photo of a copy of the ID card photographed in real time is forged.
제1항에 있어서,
상기 신분증 위변조 판단부는:
실시간 촬영된 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역을 검출하는 홀로그램 영역 검출부;
실시간 촬영된 신분증 사본의 얼굴 이미지 중 빛 반사에 의해 발생된 빛반사 영역을 검출하는 빛반사 영역 검출부;
상기 홀로그램 영역 및 상기 빛반사 영역에 대해 상기 홀로그램에 해당하는 홀로그래 정보 및 상기 빛 반사에 해당하는 빛반사 정보를 경감하기 위한 제1 이미지 처리를 수행하는 제1 이미지 처리부; 및
상기 제1 이미지 처리가 수행된 상기 신분증 사본의 얼굴 이미지에 대해 초해상도(Super Resolution) 처리에 해당하는 제2 이미지 처리를 수행하는 제2 이미지 처리부를 포함하는, 비대면 본인인증 고객확인 장치.
According to claim 1,
The identification forgery determination unit:
a hologram area detection unit that detects a hologram area corresponding to a hologram among the face images of the copy of the ID card photographed in real time;
a light reflection area detection unit that detects a light reflection area generated by light reflection in the face image of a copy of the ID card photographed in real time;
a first image processing unit for performing first image processing for reducing the holographic information corresponding to the hologram and the light reflection information corresponding to the light reflection with respect to the hologram area and the light reflection area; and
Non-face-to-face personal authentication customer confirmation device comprising a second image processing unit for performing a second image processing corresponding to a super-resolution (Super Resolution) processing on the face image of the copy of the ID card on which the first image processing has been performed.
신분증 촬영 제어부에 의해, 본인인증 고객 확인이 필요한 고객의 단말기에 신분증 촬영을 위한 신분증 촬영 인터페이스를 제공하는 단계;
셀피 촬영 제어부에 의해, 본인인증 고객 확인이 필요한 고객의 단말기에 얼굴 촬영을 위한 셀피 촬영 인터페이스를 제공하는 단계;
인증부에 의해, 인공 지능에 의해 상기 셀피 사진과 신분증 사본의 얼굴 이미지를 비교하여 일치도를 산출하는 단계;
상기 인증부에 의해, 상기 일치도를 기반으로 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 위,변조를 판단하는 단계; 및
상기 인증부에 의해, 상기 인공 지능에 의해 산출된 일치도 및 신분증 사본의 위,변조 판정 결과에 따라 본인 인증을 수행하는 단계를 포함하는, 비대면 본인인증 고객확인 방법.
providing, by the identification photographing control unit, an identification photographing interface for photographing identification to a terminal of a customer requiring identification of the customer;
providing, by the selfie-taking controller, a selfie-taking interface for photographing a face to a terminal of a customer who needs self-authentication customer confirmation;
Comparing, by the authenticator, the face image of the selfie photo and the ID copy by artificial intelligence, calculating a degree of agreement;
determining, by the authenticator, forgery or falsification of a copy of an ID photographed through an ID photographing interface based on the degree of matching; and
A non-face-to-face identity authentication customer confirmation method comprising, by the authentication unit, performing identity authentication according to the matching result calculated by the artificial intelligence and the forgery or falsification determination result of the ID copy.
제12항에 있어서,
상기 신분증 사본의 위,변조를 판단하는 단계는:
제1 일치도 산출부에 의해, 상기 신분증 촬영 인터페이스를 통해 촬영된 신분증 사본의 얼굴 이미지로부터 제1 특징점들을 추출하고, 금융 데이터베이스에 저장된 고객의 신분증 사본의 얼굴 이미지로부터 추출된 제2 특징점들을 금융 데이터베이스로부터 전송받고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 금융 데이터베이스로부터 전송받은 제2 특징점들의 매칭율을 기반으로 제1 일치도를 산출하는 단계;
제2 일치도 산출부에 의해, 상기 셀피 촬영 인터페이스를 통해 고객이 실시간 촬영한 셀피 사진의 얼굴 이미지로부터 제3 특징점들을 추출하고, 고객이 실시간 촬영한 신분증 사본의 얼굴 이미지로부터 추출된 제1 특징점들과, 고객이 실시간 촬영한 셀피 사진의 얼굴 이미지로부터 추출된 제3 특징점들의 매칭율을 기반으로 제2 일치도를 산출하는 단계;
일치도 비교부에 의해, 상기 제1 일치도와 상기 제2 일치도를 비교하는 단계; 및
위변조 판정부에 의해, 상기 제1 일치도와 상기 제2 일치도의 비교 결과를 기반으로 신분증의 위,변조를 판정하는 단계를 포함하는, 비대면 본인인증 고객확인 방법.
13. The method of claim 12,
The step of determining forgery or falsification of the copy of the identification card is:
By the first coincidence calculation unit, first feature points are extracted from the face image of the ID copy photographed through the ID card photographing interface, and second feature points extracted from the face image of the ID copy copy of the customer stored in the financial database are extracted from the financial database. calculating a first degree of matching based on a matching rate between first feature points received and extracted from the face image of a copy of an ID photographed by the customer in real time and second feature points received from a financial database;
By the second coincidence calculator, third feature points are extracted from the face image of the selfie photo taken by the customer in real time through the selfie shooting interface, and the first feature points extracted from the face image of the ID copy taken by the customer in real time and , calculating a second degree of matching based on a matching rate of third feature points extracted from a face image of a selfie taken by a customer in real time;
comparing the first degree of agreement with the second degree of agreement by a degree of agreement comparison unit; and
Non-face-to-face self-authentication customer verification method comprising, by a forgery determination unit, determining forgery or falsification of an identification card based on a comparison result of the first degree of agreement and the second degree of agreement.
제12항에 있어서,
모션 탐지부에 의해, 고객에 의해 고객의 얼굴 정면에 대해 셀피 사진이 촬영된 제1 시점과, 고객의 얼굴 측면에 대해 셀피 사진이 촬영된 제2 시점 사이에 고객의 얼굴 움직임을 탐지하고, 고객의 얼굴 움직임이 탐지되면 상기 셀피 사진이 미리 준비된 사진이나 동영상이 아닌 실제 고객에 의해 촬영된 것으로 판단하는 단계를 더 포함하는, 비대면 본인인증 고객확인 방법.
13. The method of claim 12,
Detect, by the motion detector, a movement of the customer's face between a first time point at which a selfie picture is taken for the front of the customer's face by the customer and a second time point at which a selfie picture is taken with respect to the side of the customer's face, Further comprising the step of determining that the selfie photo was taken by an actual customer rather than a pre-prepared photo or video when the facial movement of
제12항에 있어서,
상기 신분증 사본의 위,변조를 판단하는 단계는:
제1 선명도 패턴 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하는 제1 영역에 대해 제1 선명도 패턴을 검출하는 단계;
제2 선명도 패턴 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 영역에 해당하지 않는 제2 영역에 대해 제2 선명도 패턴을 검출하는 단계; 및
위조사진 판정부에 의해, 상기 제1 선명도 패턴과 상기 제2 선명도 패턴을 비교하여 실시간 촬영된 신분증 사본의 사진 위조 여부를 판정하는 단계를 포함하는, 비대면 본인인증 고객확인 방법.
13. The method of claim 12,
The step of determining forgery or falsification of the copy of the ID is:
detecting, by the first sharpness pattern detection unit, a first sharpness pattern for a first area corresponding to a face image area of a copy of the ID card photographed in real time;
detecting, by the second sharpness pattern detection unit, a second sharpness pattern for a second area that does not correspond to the face image area of the real-time photographed ID copy; and
Comprising the step of comparing, by a forged photo determining unit, the first sharpness pattern and the second sharpness pattern, to determine whether a photo of a copy of the ID card photographed in real time is forged or not, the non-face-to-face identity authentication customer confirmation method.
제12항에 있어서,
상기 신분증 사본의 위,변조를 판단하는 단계는:
홀로그램 영역 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 중 홀로그램에 해당하는 홀로그램 영역을 검출하는 단계;
빛반사 영역 검출부에 의해, 실시간 촬영된 신분증 사본의 얼굴 이미지 중 빛 반사에 의해 발생된 빛반사 영역을 검출하는 단계;
제1 이미지 처리부에 의해, 상기 홀로그램 영역 및 상기 빛반사 영역에 대해 상기 홀로그램에 해당하는 홀로그래 정보 및 상기 빛 반사에 해당하는 빛반사 정보를 경감하기 위한 제1 이미지 처리를 수행하는 단계; 및
제2 이미지 처리부에 의해, 상기 제1 이미지 처리가 수행된 상기 신분증 사본의 얼굴 이미지에 대해 초해상도(Super Resolution) 처리에 해당하는 제2 이미지 처리를 수행하는 단계를 포함하는, 비대면 본인인증 고객확인 방법.
13. The method of claim 12,
The step of determining forgery or falsification of the copy of the identification card is:
detecting, by a hologram area detection unit, a hologram area corresponding to a hologram in a face image of a copy of an ID photographed in real time;
detecting, by a light reflection area detection unit, a light reflection area generated by light reflection in a face image of a copy of an ID photographed in real time;
performing, by a first image processing unit, first image processing for reducing holographic information corresponding to the hologram and light reflection information corresponding to the light reflection with respect to the hologram area and the light reflection area; and
Non-face-to-face identity authentication customer, comprising the step of performing, by a second image processing unit, a second image processing corresponding to Super Resolution processing on the face image of the copy of the ID card on which the first image processing has been performed checking way.
제12항의 비대면 본인인증 고객확인 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.A computer-readable recording medium in which a program for executing the non-face-to-face personal authentication customer verification method of claim 12 is recorded.
KR1020207025650A 2020-07-06 2020-07-31 Non-face-to-face identity authentication customer verification device and method KR102594998B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20200082806 2020-07-06
KR1020200082806 2020-07-06
PCT/KR2020/010159 WO2022010022A1 (en) 2020-07-06 2020-07-31 Non-contact personal authentication customer identification apparatus and method therefor

Publications (2)

Publication Number Publication Date
KR20220006995A true KR20220006995A (en) 2022-01-18
KR102594998B1 KR102594998B1 (en) 2023-10-27

Family

ID=79553286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207025650A KR102594998B1 (en) 2020-07-06 2020-07-31 Non-face-to-face identity authentication customer verification device and method

Country Status (2)

Country Link
KR (1) KR102594998B1 (en)
WO (1) WO2022010022A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12045333B1 (en) 2023-11-03 2024-07-23 Aapoon, Inc. Method and a device for user verification

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040048753A (en) * 2002-12-04 2004-06-10 삼성전자주식회사 Apparatus and method for distinguishing photograph in face recognition system
KR20050061256A (en) * 2003-12-18 2005-06-22 (주)엘리트 커뮤니케이션즈 System for identification in the financial business
KR20090028789A (en) * 2006-06-29 2009-03-19 구글 인코포레이티드 Recognizing text in images
KR20100125985A (en) * 2009-05-22 2010-12-01 한국인식산업(주) Method and camera device for determination of photograph cheating using controllable ir light
KR20170049887A (en) * 2015-10-29 2017-05-11 한국정보통신주식회사 A terminal for providing banking services, a method for operating the terminal, a server for providing banking services and a method for operatin the server
KR20180092775A (en) * 2017-02-10 2018-08-20 주식회사 코스콤 Method and apparatus for authenticating user
KR102125379B1 (en) * 2020-02-14 2020-06-22 주식회사 카카오뱅크 Apparatus and method for verifying identification based on deep learning

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030091345A (en) * 2002-05-27 2003-12-03 (주)워치비젼 Method and system for facial liveness test
KR102050590B1 (en) * 2015-12-24 2019-12-03 주식회사 씽크풀 Method for digital image judging and system tereof, application system, and authentication system thereof
KR102539533B1 (en) * 2017-09-04 2023-06-05 한국전자통신연구원 Method and apparatus for preventing other people from photographing identification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040048753A (en) * 2002-12-04 2004-06-10 삼성전자주식회사 Apparatus and method for distinguishing photograph in face recognition system
KR20050061256A (en) * 2003-12-18 2005-06-22 (주)엘리트 커뮤니케이션즈 System for identification in the financial business
KR20090028789A (en) * 2006-06-29 2009-03-19 구글 인코포레이티드 Recognizing text in images
KR20100125985A (en) * 2009-05-22 2010-12-01 한국인식산업(주) Method and camera device for determination of photograph cheating using controllable ir light
KR20170049887A (en) * 2015-10-29 2017-05-11 한국정보통신주식회사 A terminal for providing banking services, a method for operating the terminal, a server for providing banking services and a method for operatin the server
KR20180092775A (en) * 2017-02-10 2018-08-20 주식회사 코스콤 Method and apparatus for authenticating user
KR102125379B1 (en) * 2020-02-14 2020-06-22 주식회사 카카오뱅크 Apparatus and method for verifying identification based on deep learning

Also Published As

Publication number Publication date
WO2022010022A1 (en) 2022-01-13
KR102594998B1 (en) 2023-10-27

Similar Documents

Publication Publication Date Title
US10509951B1 (en) Access control through multi-factor image authentication
US11256943B2 (en) Method and apparatus for verifying identity document, electronic device, and storage medium
US10810451B2 (en) ATM with biometric security
CN112819475B (en) Information processing method, device, electronic equipment, server and medium
US10346675B1 (en) Access control through multi-factor image authentication
BR112017016942B1 (en) SYSTEMS AND METHODS FOR PERFORMING USER AUTHENTICATION BASED ON FINGERPRINTS WITH THE USE OF IMAGE COLLECTIONS CAPTURED USING MOBILE DEVICES
KR20200118842A (en) Identity authentication method and device, electronic device and storage medium
KR102079952B1 (en) Method of managing access using face recognition and apparatus using the same
US11348370B2 (en) Iris authentication device, iris authentication method, and recording medium
US20220277311A1 (en) A transaction processing system and a transaction method based on facial recognition
JP6792986B2 (en) Biometric device
KR102594999B1 (en) System and method for non-face-to-face identification kyc solution having excellent security
KR20180057167A (en) An Unmanned Financial Transactions System and A Financial Transactions Method Using The Same
TWI687872B (en) Transaction system based on face recognitioin for verification and method thereof
KR102594998B1 (en) Non-face-to-face identity authentication customer verification device and method
WO2018179723A1 (en) Facial authentication processing apparatus, facial authentication processing method, and facial authentication processing system
KR101372365B1 (en) Illegal access detecting device for atm
CN117853103A (en) Payment system activation method based on intelligent bracelet
US11527087B1 (en) Mobile application for automatic identification enrollment using information synthesis and biometric liveness detection
JP7559827B2 (en) Information processing device, information processing method, and program
KR101742064B1 (en) A terminal for providing banking services, a method for operating the terminal, a server for providing banking services and a method for operatin the server
CN112434727A (en) Identity document authentication method and system
CN114067383B (en) Passive three-dimensional facial imaging based on macrostructure and microstructure image dimensions
KR102579610B1 (en) Apparatus for Detecting ATM Abnormal Behavior and Driving Method Thereof
Karuppasamy et al. Face Detection OpenCV Based ATM Security System

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant