Nothing Special   »   [go: up one dir, main page]

WO2021181715A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2021181715A1
WO2021181715A1 PCT/JP2020/027518 JP2020027518W WO2021181715A1 WO 2021181715 A1 WO2021181715 A1 WO 2021181715A1 JP 2020027518 W JP2020027518 W JP 2020027518W WO 2021181715 A1 WO2021181715 A1 WO 2021181715A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
face image
authentication
range
image
Prior art date
Application number
PCT/JP2020/027518
Other languages
English (en)
French (fr)
Inventor
達人 佐藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202080098010.7A priority Critical patent/CN115244572A/zh
Priority to EP20923937.5A priority patent/EP4120184A4/en
Priority to JP2022505740A priority patent/JP7548293B2/ja
Priority to KR1020227028689A priority patent/KR20220151165A/ko
Priority to US17/795,393 priority patent/US20230103555A1/en
Publication of WO2021181715A1 publication Critical patent/WO2021181715A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • This technology relates to information processing devices, information processing methods and programs.
  • the shielded area of the input face image is estimated by comparing the standard face image and the input face image, and the face is identified in the area excluding the shield to identify even if there is a shielded area. It is proposed to do.
  • Patent Document 1 since the process of simply excluding the shielded area is performed regardless of the size of the shielded area, as the shielded area becomes larger, the information that can be acquired from the face image decreases, and the accuracy of face identification decreases. There is a problem that it will end up.
  • the purpose of this technique is to provide an information processing method, an information processing device, and a program that can improve the accuracy of face recognition even if there is a shielded area.
  • the information processing apparatus includes a determination unit and a generation unit.
  • the determination unit determines the face range and resolution to be cut out from the input face image for authentication based on the masked area of the face in the input face image for authentication.
  • the generation unit generates an authentication face image with the face range to be cut out and the resolution determined by the determination unit.
  • the determination unit may determine the face range to be cut out and the resolution to be used for generating the face image for authentication from a plurality of predetermined combinations of the face range to be cut out and the resolution.
  • a face part detection unit that detects a plurality of face part points from the input face image for authentication and calculates the reliability of each face part point.
  • a shielding area detection unit for detecting the shielding part points related to the shielding area from the plurality of face part points based on the reliability is further provided. Evaluation values are associated with each of the above combinations. The determination unit selects the combination having the highest evaluation value from the plurality of combinations whose face range to be cut out does not overlap with the shielding part points, and determines the combination to be used for generating the authentication face image. You may.
  • a scored face image generator that generates a scored face image showing the degree of effectiveness in face identification
  • a shielding area detection unit for detecting the shielding pixels related to the shielding area is further provided based on the pixel information constituting the scored face image. Evaluation values are associated with each of the above combinations.
  • the determination unit selects the combination having the highest evaluation value from the plurality of combinations whose face range to be cut out does not overlap with the shielding pixels, and determines the combination to be used for generating the authentication face image. May be good.
  • the resolution may be set so that an authentication face image cut out in the cut-out face range is generated with a certain amount of calculation for each of the above combinations.
  • a feature amount extraction unit for extracting the feature amount of the above-mentioned face image for authentication is further provided.
  • the calculation amount may be calculated by using the total number of pixels in the face range to be cut out or the number of product-sum operations at the time of feature amount extraction by the feature amount extraction unit.
  • a feature amount extraction unit that extracts the feature amount of the above-mentioned face image for authentication, The degree of similarity between the authentication face image and the registration face image is calculated from the feature amount of the authentication face image extracted by the feature amount extraction unit and the feature amount of the registration face image prepared in advance.
  • a similarity calculation unit may be further provided.
  • the feature amount of the registration face image is the feature amount extracted by the feature amount extraction unit in each of the plurality of registration face images generated according to the plurality of above combinations using the input face image for registration prepared in advance. There may be.
  • the information processing method determines the face range and resolution to be cut out from the input face image for authentication based on the face shielding area in the input face image for authentication. , A face image for authentication is generated with the determined face range to be cut out and the above resolution.
  • the program according to one embodiment of the present technology includes a step of determining the face range and resolution to be cut out from the input face image for authentication based on the face shielding area in the input face image for authentication.
  • the information processing apparatus is made to execute the step of generating the face image for authentication with the determined face range to be cut out and the resolution.
  • FIGS. 14 and 15 are schematic views for explaining the outline of the face recognition method of the embodiment according to the present technology.
  • the left side of the double-headed arrow shows the input face image 21 for registration and the face image 24 for registration.
  • the right side of the double-headed arrow shows the input face image 31 for authentication and the face image 34 for authentication.
  • the registration face image 24 is an image cut out from the registration input face image 21.
  • the authentication face image 34 is an image cut out from the authentication input face image 31.
  • the input face image 21 for registration in FIG. 14 is an image of a person 40 who does not wear a shield such as a mask or a hat that shields the face.
  • the input face image 21 for registration in FIG. 15 is an image of a person 40 who does not wear a shield such as a mask or a hat that shields the face.
  • the input face image 31 for authentication in FIG. 15 is an image of a person 40B wearing a hat 18 in addition to the mask 17, and is designated by reference numeral 31B here.
  • the authentication face image 34 is generated with a more appropriate cut-out face range and resolution based on the information of the shielded area such as the mask 17 and the hat 18 in the input face images 31A and 31B for authentication. ..
  • the information of the face image 34 for authentication generated in this way with the information of the face image 24 for registration registered in advance, it can be determined whether or not the person to be authenticated is a person registered in advance. It is judged.
  • the first and second embodiments will be described.
  • the information of the face image for registration to be compared at the time of face authentication is prepared in advance, and the information of the face image for registration and the information of the face image for authentication are compared to perform face authentication. ..
  • the face range to be cut out and the resolution to be used for generating the face image for authentication are determined by using the face part points and the reliability of the face part points.
  • face information registration and face recognition will be described in this order.
  • the information processing device 10 used at the time of registering face information will be described with reference to FIG.
  • the information processing apparatus 10 includes an image acquisition unit 2, a face detection unit 3, a face part detection unit 4, a generation unit 5, a face feature amount extraction unit 6, and a face range / resolution list. It has a face feature amount extractor 8 and a registered face feature amount database (DB) 9.
  • DB registered face feature amount database
  • the image acquisition unit 2 acquires a face image of a person to be registered (referred to as an input face image for registration) captured by a camera or the like (not shown).
  • the face detection unit 3 detects the face portion from the input input face image for registration acquired by the image acquisition unit 2.
  • the face part detection unit 4 detects a face part point from the face part detected by the face detection unit 3.
  • Face part points are a plurality of points that define the shape of each part such as eyebrows, eyes, nose, mouth, ears, and hairline, which are components of the face.
  • An existing method can be used as the face part point detection algorithm.
  • the face part points are represented by small circles with reference numerals 36.
  • the generation unit 5 generates a plurality of registration face images.
  • the generation unit 5 is based on a combination of a plurality of different face ranges (hereinafter, may be referred to as face ranges) and resolutions, which are listed in the face range / resolution list 7 prepared in advance.
  • face ranges a plurality of different face ranges
  • resolutions which are listed in the face range / resolution list 7 prepared in advance.
  • a plurality of registration face images are generated for each combination of.
  • the face range / resolution list 7 has information on the face range to be cut out, the resolution, and the evaluation value, which are associated with each other. The details of the face range / resolution list 7 will be described later.
  • the face feature amount extraction unit 6 extracts the face feature amount in each of the plurality of registration face images generated by the generation unit 5 by using the face feature amount extractor 8.
  • the registered face feature amount DB 9 stores information on each of the plurality of registered face images. For example, as the information of the face image for registration, the face image for registration, the information of the face range and resolution used when generating the face image for registration, and the face feature amount extracted by the face feature amount extraction unit 6 And the input face image for registration used are linked to each other.
  • FIG. 2 is a schematic diagram illustrating the flow of the face information registration process.
  • the image acquisition unit 2 acquires the input face image 21 for registration of the person 40 to be registered.
  • face detection and face part point detection are performed.
  • the input face image 21 for registration is normalized so that the virtual line connecting the left and right eyes is horizontal based on the face part point detection result.
  • reference numeral 22 is attached to the normalized face image.
  • the generation unit 5 resizes and cuts out based on the face range and resolution of each combination listed in the face range / resolution list 7, and a plurality of registration face images 24 are generated.
  • the feature amount extraction unit 6 extracts the feature amount from each of the plurality of registered face images 24 by using the face feature amount extractor 8.
  • the extracted feature amount is stored in the registered face feature amount DB9. In this way, the face information of the person is registered.
  • processing is performed in the order of normalization, resizing, and cutting, but the present invention is not limited to this.
  • the processing may be performed in the order of resizing, normalization, and cutting, or the processing may be performed in the order of normalization, cutting, and resizing.
  • the face range / resolution list 7 will be described. As shown in FIG. 2, the face range / resolution list 7 includes information on a combination of a plurality of face ranges 71 to be cut out and the resolution 72 of the face range 71. Further, in the face range / resolution list 7, evaluation values 73 are associated and set for each combination of the face range 71 and the resolution 72. The evaluation value 73 is a fixed value and is calculated and obtained in advance for each combination. The evaluation value 73 indicates the evaluation for the combination. The evaluation value 73 in the face range / resolution list 7 is used for face recognition described later. The higher the evaluation value 73, the higher the face recognition accuracy in the face image for authentication generated by the corresponding combination.
  • FIG. 9 is a diagram illustrating a combination example included in the face range / resolution list 7. As shown in FIG. 9, for example, the face range / resolution list 7 has 11 combinations of face range and resolution C1 to C11. The number of combinations, face range, and resolution values are not limited to those listed here.
  • the combination of the face range and the resolution is set so that the face image for authentication is generated with a certain amount of calculation.
  • the resolution is set so that the face image for authentication is generated with a certain amount of calculation in the face range to be cut out for each combination.
  • the calculation amount can be calculated by using the total number of pixels in the face range to be cut out or the number of product-sum operations at the time of feature amount extraction by the face feature amount extraction unit 6. As a result, the process of generating the face image for authentication can always be completed in a fixed time.
  • the image generated based on the combination C1 in the face range / resolution list 7 is a face image of the face range detected by the face detection unit 3 and is an original image.
  • the resolution (number of pixels) 72 of this original image is, for example, 96 ⁇ 96. That is, in the combination C1 in the face range / resolution list 7, the face range 71 to be cut out is the entire face range, and the resolution is 96 ⁇ 96.
  • the generation unit 5 generates an original image having a size of 96 ⁇ 96 in which the face range to be cut out is the entire face range, based on the combination C1.
  • the face range 71 to be cut out is a region including both eyes and a part of the hairline cut out from the image obtained by resizing the original image to 144 ⁇ 144.
  • the resolution (number of pixels) 72 of the face range 71 to be cut out is 144 ⁇ 60.
  • the original image is resized to 144 ⁇ 144 by the generation unit 5 based on the combination C2, and then the area including both eyes and a part of the hairline is 144 ⁇ 60 as the face range 71.
  • a face image for registration is generated by cutting out at a resolution of 72.
  • the face range 71 to be cut out is a region including both eyes and a part of the hairline cut out from the image obtained by resizing the original image to 144 ⁇ 144.
  • the resolution (number of pixels) 72 of the face range 71 to be cut out is 144 ⁇ 72.
  • the original image is resized to 144 ⁇ 144 by the generation unit 5 based on the combination C3, and then the area including both eyes and a part of the hairline is 144 ⁇ 72 as the face range 71.
  • a face image for registration is generated by cutting out at a resolution of 72.
  • the registration face image generated by the combination C3 has a wider range of hairline than the registration face image generated by the combination C2.
  • the face range 71 to be cut out is a region including both eyes and a part of the hairline cut out from the image obtained by resizing the original image to 168 ⁇ 168.
  • the resolution (number of pixels) 72 of the face range 71 to be cut out is 144 ⁇ 60.
  • the area including both eyes and a part of the hairline is 144 ⁇ 60 as the face range 71.
  • a face image for registration is generated by cutting out at a resolution of 72.
  • the face range 71 to be cut out is an area including both eyes and a part of the hairline cut out from the image obtained by resizing the original image to 168 ⁇ 168, and the face range 71 to be cut out.
  • the resolution (number of pixels) 72 is 144 ⁇ 72.
  • the original image is resized to 168 ⁇ 168 by the generation unit 5 based on the combination C5, and then the area including both eyes and a part of the hairline is 144 ⁇ 72 as the face range 71.
  • a face image for registration is generated by cutting out at a resolution of 72.
  • the registration face image generated by the combination C5 has a wider hairline area than the registration face image generated by the combination C4. Further, the registration face image generated by the combination C5 has the same range in the width direction of the face as the registration face image generated by the combination C4.
  • the face range 71 to be cut out is an area including both eyes cut out from the image obtained by resizing the original image to 168 ⁇ 168, and the resolution (number of pixels) 72 of the face range 71 to be cut out is It is 168 ⁇ 48.
  • the area including both eyes is cut out as the face range 71 with a resolution 72 of 168 ⁇ 48.
  • a face image for registration is generated.
  • the registration face image generated in combination C6 does not include the hairline region. Further, the registration face image generated by the combination C6 has a larger range in the width direction of the face than the registration face image generated by the combinations C4 and C5.
  • the face range 71 to be cut out is an area including both eyes and a part of the hairline cut out from the image obtained by resizing the original image to 168 ⁇ 168, and is the face range 71 to be cut out.
  • the resolution (number of pixels) 72 is 144 ⁇ 60.
  • the area including both eyes and a part of the hairline is 144 ⁇ 60 as the face range 71.
  • a face image for registration is generated by cutting out at a resolution of 72.
  • the face range 71 to be cut out is an area including both eyes and a part of the hairline cut out from the image obtained by resizing the original image to 168 ⁇ 168, and the face range 71 to be cut out.
  • the resolution (number of pixels) 72 is 168 ⁇ 72.
  • the original image is resized to 168 ⁇ 168 by the generation unit 5 based on the combination C8, and then the area including both eyes and a part of the hairline is 168 ⁇ 72 as the face range 71.
  • a face image for registration is generated by cutting out at a resolution of 72.
  • the registration face image generated by the combination C8 has a wider hairline area than the registration face image generated by the combination C7. Further, the registration face image generated by the combination C8 has the same range in the width direction of the face as the registration face image generated by the combinations C6 and C7.
  • the face range 71 to be cut out is an area including both eyes cut out from the image obtained by resizing the original image to 192 ⁇ 192, and the resolution (number of pixels) 72 of the face range 71 to be cut out is It is 168 x 48.
  • the original image was resized to 192 ⁇ 192 by the generation unit 5 based on the combination C9, and then the area including both eyes was cut out as the face range 71 with a resolution 72 of 168 ⁇ 48.
  • a face image for registration is generated.
  • the registration face image generated in combination C9 does not include the hairline region.
  • the face range 71 to be cut out is an area including both eyes and a small part of the hairline cut out from the image obtained by resizing the original image to 192 ⁇ 192, and the face range 71 to be cut out is The resolution (number of pixels) 72 of is 168 ⁇ 60.
  • the area including both eyes and a small part of the hairline is 168 ⁇ 60 as the face range 71.
  • a face image for registration is generated by cutting out at a resolution of 72.
  • the registration face image generated by the combination C10 has the same range in the width direction of the face as compared with the registration face image generated by the combination C9, and has a wider range in the height direction orthogonal to the width direction. ..
  • the face range 71 to be cut out is an area including both eyes cut out from the image obtained by resizing the original image to 192 ⁇ 192, and the resolution (number of pixels) 72 of the face range 71 to be cut out is It is 192 x 48.
  • the original image is resized to 192 ⁇ 192 by the generation unit 5 based on the combination C11, and then the area including both eyes is cut out as the face range 71 with a resolution 72 of 192 ⁇ 48.
  • a face image for registration is generated.
  • the registration face image generated by the combination C11 has a wider range in the width direction of the face and the same range in the height direction as compared with the registration face image generated by the combination C9.
  • the image acquisition unit 2 acquires an input face image for registration (step 1 (hereinafter, step is abbreviated as S)).
  • the face detection unit 3 detects a face region from the input face image for registration (S2).
  • the face part detection unit 4 detects a plurality of face part points in the detected face area (S3).
  • the generation unit 5 is based on a plurality of different combinations of the face range and the resolution listed in the face range / resolution list 7 prepared in advance. Therefore, a plurality of registration face images are generated for each combination (S4).
  • the face feature amount extraction unit 6 extracts the feature amount from each of the generated face images for registration (S5).
  • the feature amounts extracted for each registration face image include the corresponding registration face image, the face range and resolution information used when generating the registration face image, and the input face for registration. It is linked to the image and stored in the registered face feature amount DB9. In this way, the face information of the person is registered.
  • the information processing device 1 used for face recognition will be described with reference to FIG.
  • the same reference numerals may be given to the configurations having the same functions as those of the information processing apparatus 1 described above, and the description thereof may be omitted.
  • the information processing device 1 includes an image acquisition unit 2, a face detection unit 3, a face part detection unit 44, a generation unit 5, a face feature amount extraction unit 6, and a face range / resolution list. 7, face feature amount extractor 8, registered face feature amount DB9, shielding area detection unit 11, determination unit 12, face similarity calculation unit 13, determination unit 14, shielding area detector 15, and so on. It has a storage unit 16.
  • the image acquisition unit 2 acquires a face image (referred to as an input face image for authentication) of a person to be authenticated captured by a camera or the like (not shown).
  • the face detection unit 3 detects the face portion from the input face image for authentication acquired by the image acquisition unit 2.
  • the face part detection unit 44 detects a plurality of face part points from the face part detected by the face detection unit 3 and calculates the reliability of each face part point.
  • the generation unit 5 generates an authentication face image based on the combination of the face range and the resolution determined by the determination unit 12 described later. Details will be described later.
  • the face feature amount extraction unit 6 extracts the face feature amount in the authentication face image generated by the generation unit 5 by using the face feature amount extractor 8.
  • the face range / resolution list 7 is as described above.
  • the registered face feature amount DB 9 stores in advance the face information of the registered person such as the feature amount of the face image for registration generated by the information processing related to the registration of the face information described above.
  • the shielded area detection unit 11 detects the shielded area using the shielded area detector 15 based on the plurality of face part points detected by the face part detection unit 44 and the calculated reliability of each face part point.
  • the shielding area is an area where a part of the face is hidden by a shield such as a mask, a hat, sunglasses, or a shadow or a hand.
  • the shielded area detection unit 11 performs threshold processing using the shielded area detector 15 based on the detected plurality of face part points and the reliability of each face part point, and determines the shielded part points related to the shielded area. To detect. Face part points whose reliability is equal to or higher than the threshold value are defined as non-shielding part points.
  • a non-shielding part point is a point that is regarded as a face part point on which no shield is superimposed.
  • FIG. 5 showing an image of a person 40A to be authenticated wearing a mask 17 as a shield
  • a plurality of small circles shown by solid lines or broken lines are face part points 36 detected by the face part detection unit 44.
  • a solid small circle indicates a non-shielding part point 36A which is a face part point whose calculated reliability is equal to or higher than a threshold value
  • a broken line small circle indicates a face whose calculated reliability is less than the threshold value.
  • the shielding part point 36B which is a part point is shown. When there is no particular distinction such as non-shielding part point 36A and shielding part point 36B, it is referred to as face part point 36.
  • the determination unit 12 selects a face for authentication from a plurality of combinations of face ranges and resolutions listed in the face range / resolution list 7 based on the information of the shielding part points detected by the shielding area detection unit 11. Determine the combination used to generate the image.
  • the determination unit 12 determines the combination having the highest evaluation value that does not overlap with the detected shielding part points as the combination for generating the face image for authentication. More specifically, the determination unit 12 selects one face range of the combination associated with the highest evaluation value from the face range / resolution list 7.
  • the determination unit 12 determines whether or not the selected face range and the detected shielding part points overlap. If they do not overlap, the determination unit 12 decides to adopt the combination including the face range as the combination for generating the face image for authentication.
  • the determination unit 12 selects one face range of the combination associated with the next highest evaluation value from the face range / resolution list 7.
  • the determination unit 12 determines whether or not the selected face range and the shielding part point overlap. In this way, the face ranges listed in the face range / resolution list 7 are verified in order from the highest evaluation value until the result is that the selected face range and the shielding part points do not overlap. In this way, the determination unit 12 selects the combination having the highest evaluation value that does not overlap with the detected shielding part points.
  • the generation unit 5 generates the authentication face image with the combination determined by the determination unit 12.
  • the face similarity calculation unit 13 as the similarity calculation unit includes the feature amount of the face image for authentication extracted by the face feature amount extraction unit 6 and the feature amount of the registered face image stored in the registered face feature amount DB9. And, the similarity between the face image for authentication and the face image for registration is calculated.
  • the determination unit 14 determines whether or not the person to be authenticated displayed on the face image for authentication is a person whose face information is registered in advance based on the similarity calculated by the face similarity calculation unit 13. To judge. As a specific example, when the similarity is equal to or more than a predetermined value determined in advance, it is determined that the person to be authenticated is a person registered in advance. On the other hand, if the similarity is less than a predetermined value, it is determined that the person to be authenticated is an unregistered person.
  • the storage unit 16 is a memory device such as a RAM, a disk device, or the like, and stores a program related to execution of face recognition.
  • the program determines the face range and resolution to be cut out from the input face image for authentication based on the face shielding area in the input face image for authentication, and the face image for authentication with the determined face range and resolution to be cut out.
  • the information processing device 1 is made to execute the step of generating the above.
  • FIG. 6 is a schematic diagram illustrating the flow of face recognition.
  • FIG. 7 is a processing flow diagram of face recognition in the information processing device 1.
  • FIG. 8 is a detailed flow in step 13 in the processing flow of FIG. 7, and is a flow chart of a process of determining a combination of a face range and a resolution used for generating an authentication face image.
  • description will be made with reference to FIG. 6 as necessary according to the flow charts of FIGS. 7 and 8.
  • the image acquisition unit 2 acquires an input face image for authentication (S11).
  • S11 an input face image for authentication
  • FIG. 6 it is assumed that the image of the person 40A to be authenticated wearing the mask 17 is acquired as the input face image 31A for authentication.
  • the face detection unit 3 detects a face region from the input face image for authentication (S12).
  • the determination unit 12 determines the combination of the face range and the resolution to be adopted for generating the face image for authentication (S13).
  • the face part detection unit 44 detects a plurality of face part points in the detected face area, and further calculates the reliability of each of the plurality of face part points (S131).
  • the shielding area detection unit 11 performs threshold processing based on the detected plurality of face part points and the reliability calculated for each of the face part points, and detects the shielding part points (S132). .. For example, as shown in FIG. 6, the shielding part point 36B indicated by the broken line small circle is detected.
  • the determination unit 12 selects one face range of the combination associated with the highest evaluation value from the face range / resolution list 7 (S133).
  • the determination unit 12 determines whether or not the selected face range and the detected shielding part points overlap (S134). When it is determined in step 134 that there is no overlap (NO), the determination unit 12 determines the combination including the selected face range as the combination used to generate the face image for authentication (S135). If it is determined in step 134 that they overlap (YES), the process returns to step 133 and the process is repeated.
  • the determination unit 12 selects one combination of face ranges associated with the next highest evaluation value from the face range / resolution list 7.
  • the determination unit 12 determines whether or not the selected face range and the shielding part point overlap.
  • the face range listed in the face range / resolution list 7 is verified by the determination unit 12 in order from the highest evaluation value until the result is that the selected face range and the shielding part point do not overlap.
  • the combination having the highest evaluation value that does not overlap with the detected shielding part points is selected from the plurality of combinations.
  • the generation unit 5 generates an authentication face image based on the combination of the face range and the resolution determined by the determination unit 12 (S14).
  • the face feature amount extraction unit 6 extracts the feature amount from each of the generated face images for authentication (S15).
  • the face image for authentication is used.
  • the degree of similarity with the registered face image are calculated (S16).
  • the registered face image to be compared is an image generated with the same combination of face range and resolution used when generating the face image for authentication.
  • the determination unit 14 performs face authentication based on the calculated similarity, and determines whether or not the person to be authenticated is a registered person (S17).
  • the face parts points of the eyes, nose, and mouth which are most effective for face recognition, should have as high a resolution as possible. It is possible to generate a cut-out face image for authentication.
  • the face part points of the hairline which are not often used in normal face recognition, are authenticated.
  • the range of the face to be cut out can be expanded so as to be included in the face image. Then, the face image for authentication can be generated with a resolution as large as the calculation resource allows within this face range.
  • the face area is set to cut out the area around the eyes such as the eyes and eyebrows, and the resolution is as large as the calculation resource allows in this face area.
  • a face image for authentication can be generated.
  • the face image for authentication is generated with a more suitable face range and resolution based on the information of the shielded area. That is, even if the face image to be authenticated has a shielded area, the face image for authentication is generated with the face range and resolution most suitable for face authentication within the face information and limited calculation resources in the non-shielded area. ..
  • the face range and resolution to be cut out to be used for generating the face image for authentication are determined by using the detected face part points and the reliability of the face part points, but the present invention is not limited to this. .. For example, it may be determined using a face image with a score showing the degree of effectiveness in face identification.
  • a second embodiment will be described. Also in the second embodiment, as in the first embodiment, information related to the face image for registration is prepared in advance. Then, the face authentication is performed by comparing the information related to the registered face image with the information related to the authentication face image. Since the registration of face information is the same as that of the first embodiment, the description thereof will be omitted.
  • face recognition using a face image with a score will be mainly described. The same components as those in the first embodiment are designated by the same reference numerals, and the description thereof may be omitted.
  • the information processing apparatus 100 includes an image acquisition unit 2, a face detection unit 3, a face image generation unit 104 with a score, a generation unit 5, a face feature amount extraction unit 6, and a face range.
  • the image acquisition unit 2 acquires a face image of a person to be authenticated (hereinafter, referred to as an input face image for authentication) captured by a camera or the like (not shown).
  • the face detection unit 3 detects the face portion from the input face image for authentication acquired by the image acquisition unit 2.
  • the scored face image generation unit 104 generates a scored face image in the detected face portion.
  • a face image with a score is an image in which the degree of effectiveness in face identification is, for example, color-coded.
  • ABN Application Branch Network
  • ABN is a method used for identification while visualizing a feature map showing a region of interest of a CNN (Convolutional Neural Network) in image recognition.
  • the scored face image generated by the scored face image generation unit 104 can be said to be a map of characteristic parts that can be easily distinguished from others.
  • 13 (A) to 13 (F) show examples of facial images with scores.
  • the left side is the image 131 of the face portion
  • the right side is the scored face image generated by the scored face image generation unit 104 using the image 131 of the face portion.
  • 132 is shown.
  • the difference in color indicating the degree of effectiveness in face identification is expressed by the difference in dot density. The denser the dots, the more effective the area for face identification.
  • 13 (A) and 13 (B) are examples of facial images of a person without a shield that shields the face.
  • the scored face image 132 in both figures shows that the hairline is an effective region for face identification. Further, the scored face image 132 in FIG.
  • FIG. 13B shows that the eyebrows are also an effective region for face identification.
  • FIG. 13C is a facial image of a person wearing glasses. This figure shows, for example, that the hairline is an effective region for face identification.
  • FIG. 13 (D) is an example of a face image of a person wearing a hat which is a shield. The scored face image 132 in this figure shows that the hairline, which is not shielded by the hat, is an effective region for face identification.
  • FIG. 13 (E) is an example of a face image of a person wearing sunglasses which is a shield. The scored face image 132 in this figure shows that the hairline and eyebrows are effective regions for face identification.
  • FIG. 13 (F) is an example of a face image of a person wearing a mask which is a shield.
  • the scored face image 132 in this figure shows that the hairline and eyebrows are effective regions for face identification.
  • the scored face image generation unit 104 generates a map in which characteristic parts effective for face identification are emphasized. If there is a shield, the area where the shield is present is avoided, and the remaining area produces a map that emphasizes more characteristic areas that are effective for face identification.
  • the map refers to a face image with a score.
  • the generation unit 5 generates an authentication face image based on the combination of the face range and the resolution determined by the determination unit 112, which will be described later. Details will be described later.
  • the face feature amount extraction unit 6 extracts the face feature amount in the authentication face image generated by the generation unit 5 by using the face feature amount extractor 8.
  • the face range / resolution list 7 is as described above.
  • the registered face feature amount DB 9 stores in advance face information related to the registered person such as the feature amount of the registration face image generated by the information processing related to the registration described in the first embodiment described above.
  • the shielded area detection unit 111 detects the shielded area using the shielded area detector 115 based on the scored face image generated by the scored face image generation unit 104. Specifically, based on the pixel information constituting the scored face image, threshold processing is performed on a pixel-by-pixel basis to detect the shielded pixels related to the shielded region. Pixels whose score is equal to or higher than the threshold value are defined as shield pixels. For example, a group of a plurality of adjacent shielding pixels constitutes a shielding area. Pixels below the threshold are defined as unshielded pixels. The region consisting of a group of a plurality of non-shielding pixels in close proximity is a non-shielding region on which a shield is not superimposed.
  • the region where the dots are coarse is the shield region. It should be noted that the region where the dots are coarse includes the region where the dots do not exist.
  • the determination unit 112 is for authentication from among a plurality of combinations of face range and resolution listed in the face range / resolution list 7 based on the shielding pixels related to the shielding area detected by the shielding area detection unit 111. Determine the combination used to generate the facial image.
  • the determination unit 112 determines the combination having the highest evaluation value that does not overlap with the detected shielding pixels as a combination for generating an authentication face image. More specifically, the determination unit 112 selects one face range of the combination associated with the highest evaluation value from the face range / resolution list 7.
  • the determination unit 112 determines whether or not the selected face range and the detected shielding pixel overlap. If they do not overlap, the determination unit 112 decides to adopt the combination including the face range as the combination used to generate the face image for authentication.
  • the determination unit 112 selects one face range of the combination associated with the next highest evaluation value from the face range / resolution list 7.
  • the determination unit 112 determines whether or not the selected face range and the shielding pixel overlap. In this way, until the result that the selected face range and the shielding pixel do not overlap, the face range of the combination listed in the face range / resolution list 7 is verified in order from the highest evaluation value. In this way, the determination unit 112 selects the combination having the highest evaluation value that does not overlap with the detected shielding pixels.
  • the generation unit 5 generates the authentication face image with the combination determined by the determination unit 112.
  • the face similarity calculation unit 13 includes the face feature amount extracted by the face feature amount extraction unit 6 from the face image for authentication generated by the generation unit 5 and the registered face feature amount information stored in the registered face feature amount DB 9. And, the similarity between the face image for authentication and the face image for registration is calculated.
  • the determination unit 14 determines whether or not the person to be authenticated displayed on the face image for authentication is a person who has registered the face image in advance based on the similarity calculated by the face similarity calculation unit 13. To judge. As a specific example, when the similarity is equal to or more than a predetermined value determined in advance, it is determined that the person to be authenticated is a person registered in advance. On the other hand, if the similarity is less than a predetermined value, it is determined that the person to be authenticated is an unregistered person.
  • the storage unit 116 is a memory device such as RAM, a disk device, or the like, and stores a program related to execution of face authentication.
  • the program determines the face range and resolution to be cut out from the input face image for authentication based on the face shielding area in the input face image for authentication, and the face image for authentication with the determined face range and resolution to be cut out.
  • the information processing apparatus 100 is made to execute the step of generating the above.
  • FIG. 11 is a processing flow diagram of face recognition in the information processing device 100.
  • FIG. 12 is a detailed flow of step 23 in the processing flow of FIG. 11, and is a flow diagram of a process of determining a combination of the face range and the resolution.
  • description will be given according to the flow charts of FIGS. 11 and 12.
  • the image acquisition unit 2 acquires an input face image for authentication (S21).
  • the face detection unit 3 detects a face region from the input face image for authentication (S22).
  • the determination unit 112 determines the combination of the face range and the resolution to be adopted for generating the face image for authentication (S23).
  • the scored face image generation unit 104 generates a scored face image (S231).
  • the shielded area detection unit 111 performs threshold processing based on the scored face image, and the shielded pixels are detected (S232).
  • the determination unit 112 selects one face range of the combination associated with the highest evaluation value from the face range / resolution list 7 (S233).
  • the determination unit 112 determines whether or not the selected face range and the detected shielding pixel overlap (S234).
  • step 234 determines the combination including the selected face range as the combination used to generate the face image for authentication (S235). If it is determined in step 234 that they overlap (YES), the process returns to step 233 and the process is repeated.
  • step 233 the determination unit 112 selects one combination of face ranges associated with the next highest evaluation value from the face range / resolution list 7.
  • step 234 the determination unit 112 determines whether or not the selected face range and the shielding pixel overlap. In this way, the face ranges listed in the face range / resolution list 7 are verified in order from the highest evaluation value by the determination unit 112 until the result is that the selected face range and the shielding pixel do not overlap. go. As a result, the combination having the highest evaluation value that does not overlap with the detected shielding pixels is selected from the plurality of combinations.
  • the generation unit 5 generates an authentication face image based on the combination of the face range and the resolution determined by the determination unit 112 (S24).
  • the face feature amount extraction unit 6 extracts the feature amount from each of the generated face images for authentication (S25).
  • the face image for authentication is used.
  • the degree of similarity with the registered face image are calculated (S26).
  • the registered face image to be compared is an image generated with the same combination of face range and resolution used when generating the face image for authentication.
  • the determination unit 14 performs face authentication based on the calculated similarity, and determines whether or not the person to be authenticated is a registered person (S27).
  • the face image for authentication is generated with a more suitable face range and resolution based on the information of the shielded area. As a result, it is possible to improve the authentication accuracy not only in face recognition with a face image when there is no shielded area, but also in face recognition with a face image having a shielded area.
  • the present technology can have the following configurations.
  • a determination unit that determines the face range and resolution to be cut out from the input face image for authentication based on the masked area of the face in the input face image for authentication.
  • An information processing device including the cut-out face range determined by the determination unit and a generation unit that generates an authentication face image with the resolution.
  • the determination unit is an information processing device that determines the cut-out face range and the resolution used to generate the authentication face image from a plurality of predetermined combinations of the cut-out face range and the resolution.
  • a face part detection unit that detects a plurality of face part points from the input face image for authentication and calculates the reliability of each face part point.
  • a shielding area detection unit for detecting the shielding part points related to the shielding area from the plurality of face part points based on the reliability is further provided. Evaluation values are associated with each of the above combinations. The determination unit selects the combination having the highest evaluation value from the plurality of combinations whose face range to be cut out does not overlap with the shielding part points, and determines the combination to be used for generating the authentication face image.
  • a scored face image generator that generates a scored face image showing the degree of effectiveness in face identification
  • a shielding area detection unit for detecting the shielding pixels related to the shielding area is further provided based on the pixel information constituting the scored face image. Evaluation values are associated with each of the above combinations.
  • the determination unit selects the combination having the highest evaluation value from the plurality of combinations whose face range to be cut out does not overlap with the shielding pixels, and determines the combination to be used for generating the authentication face image. Processing equipment.
  • the information processing device is an information processing device that is set so that an authentication face image cut out in the cut-out face range is generated with a certain amount of calculation for each of the above combinations.
  • a feature amount extraction unit for extracting the feature amount of the above-mentioned face image for authentication is further provided.
  • the calculation amount is an information processing device calculated by using the total number of pixels in the face range to be cut out or the number of product-sum operations at the time of feature amount extraction by the feature amount extraction unit.
  • a feature amount extraction unit that extracts the feature amount of the above-mentioned face image for authentication, The degree of similarity between the authentication face image and the registration face image is calculated from the feature amount of the authentication face image extracted by the feature amount extraction unit and the feature amount of the registration face image prepared in advance.
  • An information processing device further comprising a similarity calculation unit.
  • the information processing device is the feature amount extracted by the feature amount extraction unit in each of the plurality of registration face images generated according to the plurality of above combinations using the input face image for registration prepared in advance.
  • An information processing device is the feature amount extracted by the feature amount extraction unit in each of the plurality of registration face images generated according to the plurality of above combinations using the input face image for registration prepared in advance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】遮蔽領域があっても顔認証の精度を向上させることができる情報処理方法、情報処理装置及びプログラムを提供する。 【解決手段】情報処理装置は、決定部と、生成部とを具備する。上記決定部は、認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定する。上記生成部は、上記決定部により決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する。

Description

情報処理装置、情報処理方法及びプログラム
　本技術は、情報処理装置、情報処理方法及びプログラムに関する。
　特許文献１では、標準顔画像と入力顔画像を比較することで入力顔画像の遮蔽領域を推定し、遮蔽を除いた領域で顔の識別を行うことで、遮蔽領域がある場合にも識別を行うことが提案されている。
特開２０１６－８１２１２号公報
　特許文献１では、遮蔽領域の大きさに係らず単純に遮蔽領域を除外する処理しか行わないため、遮蔽領域が大きくなっていくと、顔画像から取得できる情報が減り、顔識別の精度が下がってしまうという課題がある。
　以上のような事情に鑑み、本技術の目的は、遮蔽領域があっても顔認証の精度を向上させることができる情報処理方法、情報処理装置及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、決定部と、生成部とを具備する。
　上記決定部は、認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定する。
　上記生成部は、上記決定部により決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する。
　上記決定部は、予め定められた複数の、切り出す顔範囲と解像度との組み合わせの中から、上記認証用顔画像を生成するのに用いる上記切り出す顔範囲と上記解像度を決定してもよい。
　上記認証用の入力顔画像から複数の顔パーツ点を検出し、上記顔パーツ点毎の信頼度を算出する顔パーツ検出部と、
　複数の上記顔パーツ点から、上記信頼度を基に、上記遮蔽領域に係る遮蔽パーツ点を検出する遮蔽領域検出部
　を更に具備し、
　複数の上記組み合わせ毎に評価値が対応づけられ、
　上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽パーツ点と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定してもよい。
　顔識別における有効性の度合いを示すスコア付き顔画像を生成するスコア付き顔画像生成部と、
　上記スコア付き顔画像を構成する画素情報を基に、上記遮蔽領域に係る遮蔽画素を検出する遮蔽領域検出部
　を更に具備し、
　複数の上記組み合わせ毎に評価値が対応づけられ、
　上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽画素と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定してもよい。
　上記解像度は、上記組み合わせ毎に、上記切り出す顔範囲で切り出される認証用顔画像が一定の計算量で生成されるように設定されてもよい。
　上記認証用顔画像の特徴量を抽出する特徴量抽出部を更に具備し、
　上記計算量は、切り出される顔範囲の総画素数又は上記特徴量抽出部による特徴量抽出時の積和演算回数を用いて算出されてもよい。
　上記認証用顔画像の特徴量を抽出する特徴量抽出部と、
　上記特徴量抽出部により抽出された上記認証用顔画像の特徴量と、予め用意された登録用顔画像の特徴量とから、上記認証用顔画像と上記登録用顔画像との類似度を計算する類似度計算部を更に具備してもよい。
　上記登録用顔画像の特徴量は、予め用意された登録用の入力顔画像を用いて複数の上記組み合わせに従って生成した複数の登録用顔画像それぞれにおいて、上記特徴量抽出部によって抽出した特徴量であってもよい。
　上記目的を達成するため、本技術の一形態に係る情報処理方法は、認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定し、決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する。
　上記目的を達成するため、本技術の一形態に係るプログラムは、認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成するステップを情報処理装置に実行させる。
実施形態に係る顔情報登録に用いる情報処理装置の機能ブロック図である。 顔情報登録の流れを説明する模式図である。 図１の情報処理装置を用いた顔情報登録の処理フロー図である。 第１の実施形態に係る顔認証に用いる情報処理装置の機能ブロック図である。 顔パーツ点を説明する図である。 顔認証の流れを説明する模式図である。 図４の情報処理装置における顔認証の処理フロー図である。 図７の処理フロー中の、採用する切り出す顔範囲、解像度の決定処理の詳細なフロー図である。 顔範囲・解像度リストに挙げられている、切り出す顔範囲と解像度の組み合わせの例を説明する図である。 第２の実施形態に係る顔認証に用いる情報処理装置の機能ブロック図である。 図１０の情報処理装置を用いた顔認証の処理フロー図である。 図１１の処理フロー中の、採用する切り出す顔範囲、解像度の決定処理の詳細なフロー図である。 第２の実施形態におけるスコア付き顔画像を説明する図である。 顔認証を説明する模式図である。 顔認証を説明する模式図である。
　以下、本技術に係る情報処理装置について、図面を参照して説明する。
　＜概略説明＞
　本実施形態では、顔認証時に用いられる認証用顔画像の比較対象となる登録用顔画像の情報が予め用意される。そして、当該登録用顔画像の情報と認証対象である認証用顔画像の情報とが比較されて、認証対象の人物が予め登録されている人物であるか否かが判定される。
　図１４及び１５は、本技術に係る実施形態の顔認証方法の概略を説明するための模式図である。
　図１４及び１５において、両矢印の左側は、登録用の入力顔画像２１と、登録用顔画像２４を示す。両矢印の右側は、認証用の入力顔画像３１と、認証用顔画像３４を示す。登録用顔画像２４は、登録用の入力顔画像２１から切り出された画像である。認証用顔画像３４は、認証用の入力顔画像３１から切り出された画像である。
　図１４における登録用の入力顔画像２１はマスクや帽子等の顔を遮蔽する遮蔽物を着用していない人物４０の画像である。図１４における認証用の入力顔画像３１は、マスク１７を着用している人物４０Ａの画像であり、ここでは符号３１Ａを付す。
　図１５における登録用の入力顔画像２１はマスクや帽子等の顔を遮蔽する遮蔽物を着用していない人物４０の画像である。図１５における認証用の入力顔画像３１は、マスク１７に加えて帽子１８を着用している人物４０Ｂの画像であり、ここでは符号３１Ｂを付す。
　本実施形態では、認証用の入力顔画像３１Ａ、３１Ｂにおけるマスク１７や帽子１８といった遮蔽物による遮蔽領域の情報に基づいて、より適切な切り出す顔範囲及び解像度で認証用顔画像３４が生成される。このように生成された認証用顔画像３４の情報と予め登録されている登録用顔画像２４の情報が比較されることによって、認証対象の人物が予め登録されている人物であるか否かが判定される。
　以下、第１及び第２の実施形態をあげて説明する。
＜第１の実施形態＞
　上述したように、顔認証時の比較対象となる登録用顔画像の情報は予め用意されており、登録用顔画像の情報と認証用顔画像の情報とが比較されて、顔認証が行われる。
　第１の実施形態では、認証用顔画像の生成に用いる、切り出す顔範囲及び解像度の決定を、顔パーツ点及び当該顔パーツ点の信頼度を用いて、行っている。以下、詳細に説明する。
　第１の実施形態に係る説明では、顔情報登録、顔認証の順に説明する。
［顔情報登録について］
　（情報処理装置の構成）
　図１を用いて顔情報の登録時に用いる情報処理装置１０について説明する。
　図１に示すように、情報処理装置１０は、画像取得部２と、顔検出部３と、顔パーツ検出部４と、生成部５と、顔特徴量抽出部６と、顔範囲・解像度リスト７と、顔特徴量抽出器８と、登録顔特徴量データベース（ＤＢ）９を有する。
　画像取得部２は、図示しないカメラ等で撮像された登録対象の人物の顔画像（登録用の入力顔画像という。）を取得する。
　顔検出部３は、画像取得部２で取得された登録用の入力顔画像から顔部分を検出する。
　顔パーツ検出部４は、顔検出部３で検出された顔部分から顔パーツ点を検出する。顔パーツ点は、顔の構成要素である眉、眼、鼻、口、耳、髪の生え際といったパーツそれぞれの形状を規定する複数の点である。顔のパーツ点検出アルゴリズムとしては既存の方法を用いることができる。例えば、図５に示すマスク１７を着用している人物４０Ａの登録用の入力顔画像３１において、顔パーツ点を、符号３６を付した小円で表している。
　生成部５は、複数の登録用顔画像を生成する。生成部５は、予め用意された顔範囲・解像度リスト７に挙げられている、互いに異なる複数の、切り出す顔範囲（以下、顔範囲というときがある。）と解像度との組み合わせに基づいて、それぞれの組み合わせ毎に複数の登録用顔画像を生成する。顔範囲・解像度リスト７は、互いに対応づけられた、切り出す顔範囲と、解像度と、評価値の情報を有する。顔範囲・解像度リスト７の詳細については後述する。
　顔特徴量抽出部６は、生成部５で生成された複数の登録用顔画像それぞれにおける顔特徴量を、顔特徴量抽出器８を用いて抽出する。
　登録顔特徴量ＤＢ９には、複数の登録用顔画像それぞれの情報が格納される。例えば、登録用顔画像の情報として、登録用顔画像と、当該登録用顔画像を生成する際に用いられた顔範囲と解像度の情報と、顔特徴量抽出部６で抽出された顔特徴量と、用いた登録用の入力顔画像とが、互いに紐づけられている。
　図２は、顔情報登録処理の流れを説明する模式図である。
　図２に示すように、画像取得部２により登録対象の人物４０の登録用の入力顔画像２１が取得される。登録用の入力顔画像２１において、顔検出及び顔のパーツ点検出が行われる。登録用の入力顔画像２１は、顔パーツ点検出結果に基づき、左右の目それぞれを結んだ仮想線が水平となるように正規化される。図２において、正規化された顔画像に符号２２を付す。その後、顔範囲・解像度リスト７に挙げられている各組み合わせの顔範囲と解像度に基づいて、生成部５により、リサイズ、切り出しが行われ、複数の登録用顔画像２４が生成される。次に、特徴量抽出部６により、顔特徴量抽出器８を用いて、複数の登録用顔画像２４それぞれから特徴量が抽出される。抽出された特徴量は、登録顔特徴量ＤＢ９に格納される。このように、人物の顔情報が登録される。
　尚、ここでは、正規化、リサイズ、切り出しの順で処理が行われる例をあげたが、これに限定されない。例えば、リサイズ、正規化、切り出しの順で処理が行われてもよいし、正規化、切り出し、リサイズの順で処理が行われてもよい。
　顔範囲・解像度リスト７について説明する。
　図２に示すように、顔範囲・解像度リスト７には、複数の、切り出す顔範囲７１と、当該顔範囲７１の解像度７２との組み合わせの情報が含まれる。更に、顔範囲・解像度リスト７には、複数の、顔範囲７１と解像度７２の組み合わせ毎に、評価値７３が対応づけられて設定されている。評価値７３は、固定値であり、組み合わせ毎に予め計算されて求められている。評価値７３は、組み合わせに対する評価を示すものである。顔範囲・解像度リスト７にある評価値７３は、後述する顔認証の際に用いられる。評価値７３が高いほど、対応する組み合わせにより生成される認証用顔画像における顔認証精度が高いことを示す。
　図２及び９を用いて、顔範囲・解像度リスト７の詳細について説明する。図９は、顔範囲・解像度リスト７に含まれる組み合わせ例を説明する図である。図９に示すように、例えば顔範囲・解像度リスト７は、１１個の、顔範囲と解像度の組み合わせＣ１～Ｃ１１を有する。尚、組み合わせの数、顔範囲、解像度の数値はここに挙げるものに限定されない。
　顔範囲・解像度リスト７に挙げられる各組み合わせにおいて、認証用顔画像が一定の計算量で生成されるように、顔範囲と解像度の組み合わせが設定される。換言すると、解像度は、組み合わせ毎に、切り出される顔範囲で認証用顔画像が一定の計算量で生成されるように設定される。当該計算量は、切り出される顔範囲の総画素数、又は、顔特徴量抽出部６による特徴量抽出時の積和演算回数を用いて算出することができる。
　これにより、認証用顔画像の生成処理を常に一定の時間で終えることができる。
　図９に示すように、顔範囲・解像度リスト７にある組み合わせＣ１に基づいて生成される画像は、顔検出部３で検出された顔範囲の顔画像であり、元画像である。この元画像の解像度（画素数）７２は例えば９６×９６である。すなわち、顔範囲・解像度リスト７にある組み合わせＣ１において、切り出す顔範囲７１は顔全範囲であり、解像度は９６×９６である。
　顔情報登録処理の際、組み合わせＣ１に基づいて、生成部５により、切り出す顔範囲が顔全範囲の、９６×９６のサイズの元画像が生成される。
　顔範囲・解像度リスト７にある組み合わせＣ２において、切り出す顔範囲７１は、元画像を１４４×１４４にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域である。切り出す顔範囲７１の解像度（画素数）７２は１４４×６０である。
　顔情報登録処理の際、組み合わせＣ２に基づいて、生成部５により、元画像が１４４×１４４にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×６０の解像度７２で切り出されて、登録用顔画像が生成される。
　顔範囲・解像度リスト７にある組み合わせＣ３において、切り出す顔範囲７１は、元画像を１４４×１４４にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域である。切り出す顔範囲７１の解像度（画素数）７２は１４４×７２である。
　顔情報登録処理の際、組み合わせＣ３に基づいて、生成部５により、元画像が１４４×１４４にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×７２の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ３で生成された登録用顔画像は、組み合わせＣ２で生成された登録用顔画像よりも、髪の生え際の範囲がより広い。
　顔範囲・解像度リスト７にある組み合わせＣ４において、切り出す顔範囲７１は、元画像を１６８×１６８にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域である。切り出す顔範囲７１の解像度（画素数）７２は１４４×６０である。
　顔情報登録処理の際、組み合わせＣ４に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×６０の解像度７２で切り出されて、登録用顔画像が生成される。
　顔範囲・解像度リスト７にある組み合わせＣ５において、切り出す顔範囲７１は、元画像を１６８×１６８にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１４４×７２である。
　顔情報登録処理の際、組み合わせＣ５に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×７２の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ５で生成された登録用顔画像は、組み合わせＣ４で生成された登録用顔画像よりも、髪の生え際の領域がより広い。また、組み合わせＣ５で生成された登録用顔画像は、組み合わせＣ４で生成された登録用顔画像と顔の幅方向の範囲が同じである。
　顔範囲・解像度リスト７にある組み合わせＣ６において、切り出す顔範囲７１は、元画像を１６８×１６８にリサイズした画像から切り出した両目を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１６８×４８である。
　顔情報登録処理の際、組み合わせＣ６に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目を含む領域が１６８×４８の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ６で生成された登録用顔画像は、髪の生え際の領域が含まれていない。また、組み合わせＣ６で生成された登録用顔画像は、組み合わせＣ４やＣ５で生成された登録用顔画像と比べて、顔の幅方向の範囲が大きい。
　顔範囲・解像度リスト７にある組み合わせＣ７において、切り出す顔範囲７１は、元画像を１６８×１６８にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１４４×６０である。
　顔情報登録処理の際、組み合わせＣ７に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×６０の解像度７２で切り出されて、登録用顔画像が生成される。
　顔範囲・解像度リスト７にある組み合わせＣ８において、切り出す顔範囲７１は、元画像を１６８×１６８にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１６８×７２である。
　顔情報登録処理の際、組み合わせＣ８に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１６８×７２の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ８で生成された登録用顔画像は、組み合わせＣ７で生成された登録用顔画像よりも、髪の生え際の領域がより広い。また、組み合わせＣ８で生成された登録用顔画像は、組み合わせＣ６及びＣ７で生成された登録用顔画像と顔の幅方向の範囲が同じである。
　顔範囲・解像度リスト７にある組み合わせＣ９において、切り出す顔範囲７１は、元画像を１９２×１９２にリサイズした画像から切り出した両目を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１６８×４８である。
　顔情報登録処理の際、組み合わせＣ９に基づいて、生成部５により、元画像が１９２×１９２にリサイズされた後、顔範囲７１として両目を含む領域が１６８×４８の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ９で生成された登録用顔画像には、髪の生え際の領域が含まれていない。
　顔範囲・解像度リスト７にある組み合わせＣ１０において、切り出す顔範囲７１は、元画像を１９２×１９２にリサイズした画像から切り出した両目と髪の生え際のごく一部を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１６８×６０である。
　顔情報登録処理の際、組み合わせＣ１０に基づいて、生成部５により、元画像が１９２×１９２にリサイズされた後、顔範囲７１として両目と髪の生え際のごく一部を含む領域が１６８×６０の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ１０で生成された登録用顔画像は、組み合わせＣ９で生成された登録用顔画像と比較して、顔の幅方向の範囲は同じであり、幅方向と直交する高さ方向の範囲が広い。
　顔範囲・解像度リスト７にある組み合わせＣ１１において、切り出す顔範囲７１は、元画像を１９２×１９２にリサイズした画像から切り出した両目を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１９２×４８である。
　顔情報登録処理の際、組み合わせＣ１１に基づいて、生成部５により、元画像が１９２×１９２にリサイズされた後、顔範囲７１として両目を含む領域が１９２×４８の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ１１で生成された登録用顔画像は、組み合わせＣ９で生成された登録用顔画像と比較して、顔の幅方向の範囲が広く、高さ方向の範囲は同じである。
　（顔情報の登録に係る情報処理方法）
　図３を用いて情報処理装置１０を用いた顔情報の登録に係る情報処理方法について説明する。
　図３に示すように、画像取得部２により登録用の入力顔画像が取得される（ステップ１（以下、ステップをＳと略す））。
　次に、顔検出部３により、登録用の入力顔画像から顔領域が検出される（Ｓ２）。
　次に、顔パーツ検出部４により、検出された顔領域における複数の顔パーツ点が検出される（Ｓ３）。
　次に、上述で図２を用いて説明したように、生成部５により、予め用意された顔範囲・解像度リスト７に挙げられている、互いに異なる複数の、顔範囲と解像度との組み合わせに基づいて、それぞれの組み合わせ毎に複数の登録用顔画像が生成される（Ｓ４）。
　次に、顔特徴量抽出部６により、生成された登録用顔画像それぞれから特徴量が抽出される（Ｓ５）。
　次に、登録用顔画像毎に抽出された特徴量は、対応する登録用顔画像と、当該登録用顔画像を生成する際に用いられた顔範囲、解像度の情報と、登録用の入力顔画像に紐づけられて、登録顔特徴量ＤＢ９に格納される。このように人物の顔情報の登録が行われる。
［顔認証について］
　（情報処理装置の構成）
　図４を用いて顔認証で用いる情報処理装置１について説明する。上述の情報処理装置１と同様の機能を有する構成については同様の符号を付し、説明を省略する場合がある。
　図４に示すように、情報処理装置１は、画像取得部２と、顔検出部３と、顔パーツ検出部４４と、生成部５と、顔特徴量抽出部６と、顔範囲・解像度リスト７と、顔特徴量抽出器８と、登録顔特徴量ＤＢ９と、遮蔽領域検出部１１と、決定部１２と、顔類似度計算部１３と、判定部１４と、遮蔽領域検出器１５と、記憶部１６を有する。
　画像取得部２は、図示しないカメラ等で撮像された認証対象の人物の顔画像（認証用の入力顔画像という。）を取得する。
　顔検出部３は、画像取得部２で取得された認証用の入力顔画像から顔部分を検出する。
　顔パーツ検出部４４は、顔検出部３で検出された顔部分から複数の顔パーツ点を検出するとともに当該顔パーツ点毎の信頼度を算出する。
　生成部５は、後述する決定部１２で決定された、顔範囲と解像度との組み合わせに基づいて、認証用顔画像を生成する。詳細については後述する。
　顔特徴量抽出部６は、生成部５で生成された認証用顔画像における顔特徴量を、顔特徴量抽出器８を用いて抽出する。
　顔範囲・解像度リスト７は、上述で説明した通りである。
　登録顔特徴量ＤＢ９は、上述した顔情報の登録に係る情報処理によって生成された、登録用顔画像の特徴量といった登録人物の顔情報を、予め格納している。
　遮蔽領域検出部１１は、顔パーツ検出部４４で検出された複数の顔パーツ点及び算出された顔パーツ点毎の信頼度に基づいて、遮蔽領域検出器１５を用いて遮蔽領域を検出する。
　遮蔽領域とは、マスク、帽子、サングラス等の遮蔽物や、影や手等によって、顔の一部が隠れる領域をいう。
　遮蔽領域検出部１１は、検出された複数の顔パーツ点及び当該顔パーツ点毎の信頼度に基づいて、遮蔽領域検出器１５を用いて、閾値処理を行い、遮蔽領域に係る遮蔽パーツ点を検出する。信頼度が閾値以上の顔パーツ点を非遮蔽パーツ点とする。閾値未満の顔パーツ点を遮蔽パーツ点とする。非遮蔽パーツ点は、遮蔽物が重畳されていない顔パーツ点とみなされた点である。例えば、遮蔽物としてマスク１７を着用した認証対象の人物４０Ａの画像を示す図５において、実線又は破線で示す複数の小円は顔パーツ検出部４４で検出された顔パーツ点３６である。複数の顔パーツ点３６において、実線の小円は算出された信頼度が閾値以上の顔パーツ点である非遮蔽パーツ点３６Ａを示し、破線の小円は算出された信頼度が閾値未満の顔パーツ点である遮蔽パーツ点３６Ｂを示す。非遮蔽パーツ点３６Ａ、遮蔽パーツ点３６Ｂというように特に区別しない場合、顔パーツ点３６という。
　決定部１２は、遮蔽領域検出部１１で検出された遮蔽パーツ点の情報に基づいて、顔範囲・解像度リスト７に挙げられている、複数の顔範囲と解像度の組み合わせの中から、認証用顔画像を生成するために用いる組み合わせを決定する。
　決定部１２は、検出された遮蔽パーツ点と重複しない最も評価値の高い組み合わせを、認証用顔画像を生成するための組み合わせとして、決定する。
　より具体的には、決定部１２は、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１２は、選択した顔範囲と、検出された遮蔽パーツ点が重複するか否かを判定する。
　重複しない場合、決定部１２は、当該顔範囲を含む組み合わせを、認証用顔画像を生成するための組み合わせとして採用することを決定する。
　重複する場合、決定部１２は、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１２は、選択した顔範囲と、遮蔽パーツ点が重複するか否かを判定する。
　このように、選択した顔範囲と遮蔽パーツ点が重複しないという結果となるまで、顔範囲・解像度リスト７に挙げられている顔範囲を、評価値の高い順から順に検証していく。このようにして、決定部１２は、検出された遮蔽パーツ点と重複しない最も評価値の高い組み合わせを選出する。
　上述したように、決定部１２で決定された組み合わせで、生成部５により認証用顔画像が生成される。
　類似度計算部としての顔類似度計算部１３は、顔特徴量抽出部６により抽出された認証用顔画像の特徴量と、登録顔特徴量ＤＢ９に格納されている登録用顔画像の特徴量とを用いて、認証用顔画像と登録用顔画像との類似度を計算する。
　判定部１４は、顔類似度計算部１３で計算された類似度に基づいて、認証用顔画像に映し出されている認証対象の人物が、予め顔情報を登録している人物であるか否かを判定する。具体例として、類似度が、予め決められた所定の値以上の場合、認証対象の人物が予め登録されている人物であると判定する。一方、類似度が、所定の値未満の場合、認証対象の人物は登録されていない人物であると判定する。
　記憶部１６は、ＲＡＭ等のメモリデバイスやディスクデバイス等であり、顔認証の実行に係るプログラムを格納する。
　当該プログラムは、認証用の入力顔画像における顔の遮蔽領域に基づいて、認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、決定された切り出す顔範囲と解像度で認証用顔画像を生成するステップを情報処理装置１に実行させる。
（顔認証に係る情報処理方法）
　情報処理装置１を用いた顔認証に係る情報処理方法について説明する。図６は顔認証の流れを説明する模式図である。図７は情報処理装置１における顔認証の処理フロー図である。図８は、図７の処理フロー中のステップ１３における詳細なフローであり、認証用顔画像の生成に用いる顔範囲と解像度の組み合わせの決定処理のフロー図である。以下、図７及び８のフロー図に従って、必要に応じて図６を用いて説明する。
　画像取得部２により認証用の入力顔画像が取得される（Ｓ１１）。ここでは、図６に示すように、マスク１７を着用した認証対象の人物４０Ａの画像が、認証用の入力顔画像３１Ａとして取得されたとする。
　次に、顔検出部３により、認証用の入力顔画像から顔領域が検出される（Ｓ１２）。
　次に、決定部１２により、認証用顔画像を生成するために採用する顔範囲と解像度の組み合わせが決定される（Ｓ１３）。ステップ１３での処理の詳細について説明する。
　図８に示すように、顔パーツ検出部４４により、検出された顔領域における複数の顔パーツ点が検出され、更に、複数の顔パーツ点毎の信頼度が算出される（Ｓ１３１）。
　次に、遮蔽領域検出部１１により、検出された複数の顔パーツ点及び当該顔パーツ点毎に算出された信頼度に基づいて、閾値処理が行われ、遮蔽パーツ点が検出される（Ｓ１３２）。例えば、図６に示すように、破線の小円で示される遮蔽パーツ点３６Ｂが検出される。
　次に、決定部１２により、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される（Ｓ１３３）。
　次に、決定部１２により、選択された顔範囲と検出された遮蔽パーツ点が重複するか否かが判定される（Ｓ１３４）。
　ステップ１３４で重複しないと判定された場合（ＮＯ）、決定部１２により、選択した顔範囲を含む組み合わせが、認証用顔画像を生成するために用いる組み合わせとして、決定される（Ｓ１３５）。
　ステップ１３４で重複すると判定された場合（ＹＥＳ）、ステップ１３３に戻り処理が繰り返される。ステップ１３３では、決定部１２により、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される。ステップ１３４では、決定部１２により、選択された顔範囲と、遮蔽パーツ点が重複するか否かが決定される。
　このように、選択した顔範囲と遮蔽パーツ点が重複しないという結果となるまで、決定部１２により、顔範囲・解像度リスト７に挙げられている顔範囲が、評価値の高い順から順に検証されていく。これにより、複数の組み合わせの中から、検出された遮蔽パーツ点と重複しない、最も評価値の高い組み合わせが、選出される。
　図７に戻る。次に、生成部５により、決定部１２で決定された顔範囲と解像度との組み合わせに基づいて認証用顔画像が生成される（Ｓ１４）。
　次に、顔特徴量抽出部６により、生成された認証用顔画像それぞれから特徴量が抽出される（Ｓ１５）。
　次に、顔類似度計算部１３により、抽出された認証用顔画像の特徴量と、登録顔特徴量ＤＢ９に予め格納されている登録用顔画像の特徴量とを用いて、認証用顔画像と登録用顔画像との類似度が計算される（Ｓ１６）。比較される登録用顔画像は、認証用顔画像を生成する際に用いた顔範囲と解像度の組み合わせと同じ組み合わせで生成された画像である。
　次に、判定部１４により、計算された類似度に基づいて、顔認証が行われ、認証対象の人物が登録されている人物であるか否かが判定される（Ｓ１７）。
　本実施形態では、実用上、使用できる計算リソースが決まっているため、顔に遮蔽領域がない場合、顔認証的に最も有効な目、鼻、口の顔パーツ点がなるべく高解像度になるように切り出した認証用顔画像を生成することができる。
　一方、図１４に示す例のようにマスク１７による遮蔽領域がある場合では、目や眉毛の顔パーツ点に加えて、通常の顔認証時ではあまり用いられない髪の生え際の顔パーツ点が認証用顔画像に含まれるように切り出す顔範囲を拡張することができる。そして、この顔範囲の中で計算リソースが許す限り大きな解像度で認証用顔画像を生成することができる。
　また、図１５に示す例のようにマスク１７及び帽子１８による遮蔽領域がある場合では、目や眉毛といった目領域周辺を切り出す顔範囲とし、この顔範囲の中で計算リソースが許す限り大きな解像度で認証用顔画像を生成することができる。
　このように、本実施形態では、遮蔽領域の情報に基づいて、より適した顔範囲と解像度で認証用顔画像が生成される。すなわち、認証対象の顔画像に遮蔽領域があっても、非遮蔽領域における顔情報と限られた計算リソースの中で、顔認証に最も適した顔範囲と解像度で認証用顔画像が生成される。これにより、遮蔽領域がない場合の顔画像での顔認証はもちろんのこと、遮蔽領域がある顔画像での顔認証においても、認証精度を向上させることができる。
　ここで、遮蔽領域の大きさに係らず、顔画像に単純に遮蔽領域を除外する処理をして顔認証を行う場合では、遮蔽領域が大きくなっていくと顔から取得できる情報が減り、認証精度が下がってしまう。
　これに対し、本実施形態では、上述の通り、遮蔽領域の情報に基づいて、より適した顔範囲及び解像度で生成された認証用顔画像を用いて顔認証が行なわれるので、認証精度を向上させることができる。
＜第２の実施形態＞
　上述の第１の実施形態においては、認証用顔画像生成に採用する切り出す顔範囲と解像度を、検出された顔パーツ点及び当該顔パーツ点の信頼度を用いて決定したが、これに限定されない。例えば、顔識別においての有効性の度合いを示すスコア付き顔画像を用いて決定してもよい。以下、第２の実施形態として説明する。
　第２の実施形態においても、第１の実施形態と同様に、登録用顔画像に係る情報が予め用意されている。そして、登録用顔画像に係る情報と認証用顔画像に係る情報とを比較して、顔認証が行われる。顔情報の登録は、第１の実施形態と同様のため説明を省略する。本実施形態では、スコア付き顔画像を用いた顔認証について主に説明する。第１の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
　（情報処理装置の構成）
　図１０を用いて顔認証に用いる情報処理装置１００について説明する。
　図１０に示すように、情報処理装置１００は、画像取得部２と、顔検出部３と、スコア付き顔画像生成部１０４と、生成部５と、顔特徴量抽出部６と、顔範囲・解像度リスト７と、顔特徴量抽出器８と、登録顔特徴量ＤＢ９と、遮蔽領域検出部１１１と、決定部１１２と、顔類似度計算部１３と、判定部１４と、遮蔽領域検出器１１５と、記憶部１１６を有する。
　画像取得部２は、図示しないカメラ等で撮像された認証対象の人物の顔画像（以下、認証用の入力顔画像という。）を取得する。
　顔検出部３は、画像取得部２で取得された認証用の入力顔画像から顔部分を検出する。
　スコア付き顔画像生成部１０４は、検出された顔部分におけるスコア付き顔画像を生成する。スコア付き顔画像は、顔識別においての有効性の度合いが例えば色分けされた画像である。スコア付き顔画像の生成には、例えばＡＢＮ（Attention Branch Network）を用いることができる。ＡＢＮは、画像認識においてＣＮＮ（Convolutional Neural Network）が着目している領域を示す特徴マップを可視化しつつ、識別に利用する手法である。スコア付き顔画像生成部１０４で生成されるスコア付き顔画像は、他人と見分けやすい特徴的な部位のマップといえる。
　図１３（Ａ）～（Ｆ）にスコア付き顔画像例を示す。図１３（Ａ）～（Ｆ）の各図において、左側は顔部分の画像１３１であり、右側は当該顔部分の画像１３１を用いてスコア付き顔画像生成部１０４により生成されたスコア付き顔画像１３２を示す。図１３では、スコア付き顔画像において、顔識別における有効性の度合いを示す色の違いをドットの密度の違いで表現している。ドットが密な領域ほど顔識別に有効な領域であることを示す。
　図１３（Ａ）及び（Ｂ）はいずれも顔を遮蔽する遮蔽物のない人物の顔画像例である。両図におけるスコア付き顔画像１３２は、髪の生え際が、顔識別に有効な領域であることを示している。更に、図１３（Ｂ）におけるスコア付き顔画像１３２では、眉毛も顔識別に有効な領域であることを示している。
　図１３（Ｃ）は眼鏡をかけた人物の顔画像である。この図は、例えば、髪の生え際が、顔識別に有効な領域であることを示している。
　図１３（Ｄ）は、遮蔽物である帽子を着用している人物の顔画像例である。この図におけるスコア付き顔画像１３２は、帽子により遮蔽されていない髪の生え際が、顔識別に有効な領域であることを示している。
　図１３（Ｅ）は、遮蔽物であるサングラスを着用している人物の顔画像例である。この図におけるスコア付き顔画像１３２は、髪の生え際や眉毛が、顔識別に有効な領域であることを示している。
　図１３（Ｆ）は、遮蔽物であるマスクを着用している人物の顔画像例である。この図におけるスコア付き顔画像１３２は、髪の生え際や眉毛が、顔識別に有効な領域であることを示している。
　このように、スコア付き顔画像生成部１０４では、顔識別に有効な特徴的な部位が強調されるマップが生成される。遮蔽物がある場合は、この遮蔽物が存在する領域を避け、残りの領域から、顔識別に有効なより特徴的な部位が強調されるマップが生成される。尚、マップとはスコア付き顔画像を指す。
　生成部５は、後述する決定部１１２で決定された、顔範囲と解像度との組み合わせに基づいて、認証用顔画像を生成する。詳細については後述する。
　顔特徴量抽出部６は、生成部５で生成された認証用顔画像における顔特徴量を、顔特徴量抽出器８を用いて抽出する。
　顔範囲・解像度リスト７は、上述で説明した通りである。
　登録顔特徴量ＤＢ９は、上述の第１の実施形態で説明した登録時に係る情報処理によって生成された、登録用顔画像の特徴量といった登録人物に係る顔情報を、予め格納している。
　遮蔽領域検出部１１１は、スコア付き顔画像生成部１０４で生成されたスコア付き顔画像に基づいて、遮蔽領域検出器１１５を用いて遮蔽領域を検出する。具体的には、スコア付き顔画像を構成する画素情報を基に、画素単位で閾値処理を行い、遮蔽領域に係る遮蔽画素を検出する。スコアが閾値以上の画素を遮蔽画素とする。例えば近接した複数の遮蔽画素の集まりが遮蔽領域を構成する。閾値未満の画素を非遮蔽画素とする。近接した複数の非遮蔽画素の集まりからなる領域は、遮蔽物が重畳されていない非遮蔽領域である。図１３（Ｆ）を例にあげると、遮蔽物としてマスク１７を着用した認証対象の人物のスコア付き顔画像１３２において、ドットが粗な領域が遮蔽領域である。尚、ドットが粗な領域は、ドットが存在しない領域を含むものとする。
　決定部１１２は、遮蔽領域検出部１１１で検出された遮蔽領域に係る遮蔽画素に基づいて、顔範囲・解像度リスト７に挙げられている、複数の顔範囲と解像度の組み合わせの中から、認証用顔画像を生成するために用いる組み合わせを決定する。
　決定部１１２は、検出された遮蔽画素と重複しない最も評価値の高い組み合わせを、認証用顔画像を生成するための組み合わせとして、決定する。
　より具体的には、決定部１１２は、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１１２は、選択した顔範囲と、検出された遮蔽画素が重複するか否かを判定する。
　重複しない場合、決定部１１２は、当該顔範囲を含む組み合わせを、認証用顔画像を生成するために用いる組み合わせとして採用することを決定する。
　重複する場合、決定部１１２は、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１１２は、選択した顔範囲と、遮蔽画素が重複するか否かを判定する。
　このように、選択した顔範囲と遮蔽画素が重複しないという結果となるまで、顔範囲・解像度リスト７に挙げられている組み合わせの顔範囲を、評価値の高い順から順に検証していく。このようにして、決定部１１２は、検出された遮蔽画素と重複しない最も評価値の高い組み合わせを選出する。
　上述したように、決定部１１２で決定された組み合わせで、生成部５により認証用顔画像が生成される。
　顔類似度計算部１３は、生成部５で生成された認証用顔画像から顔特徴量抽出部６により抽出された顔特徴量と、登録顔特徴量ＤＢ９に格納されている登録顔特徴量情報とを用いて、認証用顔画像と登録用顔画像との類似度を計算する。
　判定部１４は、顔類似度計算部１３で計算された類似度に基づいて、認証用顔画像に映し出されている認証対象の人物が、予め顔画像を登録している人物であるか否かを判定する。具体例として、類似度が、予め決められた所定の値以上の場合、認証対象の人物が予め登録されている人物であると判定する。一方、類似度が、所定の値未満の場合、認証対象の人物は登録されていない人物であると判定する。
　記憶部１１６は、ＲＡＭ等のメモリデバイスやディスクデバイス等であり、顔認証の実行に係るプログラムを格納する。当該プログラムは、認証用の入力顔画像における顔の遮蔽領域に基づいて、認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、決定された切り出す顔範囲と解像度で認証用顔画像を生成するステップを情報処理装置１００に実行させる。
（顔認証に係る情報処理方法）
　情報処理装置１００を用いた顔認証に係る情報処理方法について説明する。図１１は情報処理装置１００における顔認証の処理フロー図である。図１２は、図１１の処理フロー中のステップ２３の詳細なフローであり、顔範囲と解像度の組み合わせの決定処理のフロー図である。以下、図１１及び１２のフロー図に従って説明する。
　画像取得部２により認証用の入力顔画像が取得される（Ｓ２１）。
　次に、顔検出部３により、認証用の入力顔画像から顔領域が検出される（Ｓ２２）。
　次に、決定部１１２により、認証用顔画像を生成するために採用する顔範囲と解像度の組み合わせが決定される（Ｓ２３）。ステップ２３での処理の詳細について説明する。
　図１２に示すように、スコア付き顔画像生成部１０４により、スコア付き顔画像が生成される（Ｓ２３１）。
　次に、遮蔽領域検出部１１１により、スコア付き顔画像に基づいて、閾値処理が行われ、遮蔽画素が検出される（Ｓ２３２）。
　次に、決定部１１２により、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される（Ｓ２３３）。
　次に、決定部１１２により、選択された顔範囲と検出された遮蔽画素が重複するか否かが判定される（Ｓ２３４）。
　ステップ２３４で重複しないと判定された場合（ＮＯ）、決定部１１２により、選択した顔範囲を含む組み合わせが、認証用顔画像を生成するために用いる組み合わせとして、決定される（Ｓ２３５）。
　ステップ２３４で重複すると判定された場合（ＹＥＳ）、ステップ２３３に戻り処理が繰り返される。ステップ２３３では、決定部１１２により、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される。ステップ２３４では、決定部１１２により、選択された顔範囲と遮蔽画素が重複するか否かが決定される。
　このように、選択した顔範囲と遮蔽画素が重複しないという結果となるまで、決定部１１２により、顔範囲・解像度リスト７に挙げられている顔範囲が、評価値の高い順から順に検証されていく。これにより、複数の組み合わせの中から、検出された遮蔽画素と重複しない、最も評価値の高い組み合わせが、選出される。
　図１１に戻る。次に、生成部５により、決定部１１２で決定された顔範囲と解像度との組み合わせに基づいて認証用顔画像が生成される（Ｓ２４）。
　次に、顔特徴量抽出部６により、生成された認証用顔画像それぞれから特徴量が抽出される（Ｓ２５）。
　次に、顔類似度計算部１３により、抽出された認証用顔画像の特徴量と、登録顔特徴量ＤＢ９に予め格納されている登録用顔画像の特徴量とを用いて、認証用顔画像と登録用顔画像との類似度が計算される（Ｓ２６）。比較される登録用顔画像は、認証用顔画像を生成する際に用いた顔範囲と解像度の組み合わせと同じ組み合わせで生成された画像である。
　次に、判定部１４により、計算された類似度に基づいて、顔認証が行われ、認証対象の人物が登録されている人物であるか否かが判定される（Ｓ２７）。
　以上のように、本実施形態においても、第１の実施形態と同様に、遮蔽領域の情報に基づいて、より適した顔範囲と解像度で認証用顔画像が生成される。これにより、遮蔽領域がない場合の顔画像での顔認証はもちろんのこと、遮蔽領域がある顔画像での顔認証においても、認証精度を向上させることができる。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成もとることができる。
　（１）
　認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定する決定部と、
　上記決定部により決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する生成部と
　を具備する情報処理装置。
　（２）
　上記（１）に記載の情報処理装置であって、
　上記決定部は、予め定められた複数の、切り出す顔範囲と解像度との組み合わせの中から、上記認証用顔画像を生成するのに用いる上記切り出す顔範囲と上記解像度を決定する
　情報処理装置。
　（３）
　上記（２）に記載の情報処理装置であって、
　上記認証用の入力顔画像から複数の顔パーツ点を検出し、上記顔パーツ点毎の信頼度を算出する顔パーツ検出部と、
　複数の上記顔パーツ点から、上記信頼度を基に、上記遮蔽領域に係る遮蔽パーツ点を検出する遮蔽領域検出部
　を更に具備し、
　複数の上記組み合わせ毎に評価値が対応づけられ、
　上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽パーツ点と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定する
　情報処理装置。
　（４）
　上記（２）に記載の情報処理装置であって、
　顔識別における有効性の度合いを示すスコア付き顔画像を生成するスコア付き顔画像生成部と、
　上記スコア付き顔画像を構成する画素情報を基に、上記遮蔽領域に係る遮蔽画素を検出する遮蔽領域検出部
　を更に具備し、
　複数の上記組み合わせ毎に評価値が対応づけられ、
　上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽画素と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定する
　情報処理装置。
　（５）
　上記（２）～（４）のいずれか１つに記載の情報処理装置であって、
　上記解像度は、上記組み合わせ毎に、上記切り出す顔範囲で切り出される認証用顔画像が一定の計算量で生成されるように設定される
　情報処理装置。
　（６）
　上記（５）に記載の情報処理装置であって、
　上記認証用顔画像の特徴量を抽出する特徴量抽出部を更に具備し、
　上記計算量は、切り出される顔範囲の総画素数又は上記特徴量抽出部による特徴量抽出時の積和演算回数を用いて算出される
　情報処理装置。
　（７）
　上記（１）～（６）のいずれか１つに記載の情報処理装置であって、
　上記認証用顔画像の特徴量を抽出する特徴量抽出部と、
　上記特徴量抽出部により抽出された上記認証用顔画像の特徴量と、予め用意された登録用顔画像の特徴量とから、上記認証用顔画像と上記登録用顔画像との類似度を計算する類似度計算部を更に具備する
　情報処理装置。
　（８）
　上記（７）に記載の情報処理装置であって、
　上記登録用顔画像の特徴量は、予め用意された登録用の入力顔画像を用いて複数の上記組み合わせに従って生成した複数の登録用顔画像それぞれにおいて、上記特徴量抽出部によって抽出した特徴量である
　情報処理装置。
　（９）
　認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定し、
　決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する
　情報処理方法。
　（１０）
　認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、
　決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成するステップ
　を情報処理装置に実行させるプログラム。
　１、１００…情報処理装置
　５…生成部
　６…顔特徴量抽出部（特徴量抽出部）
　１１、１１１…遮蔽領域検出部
　１２、１１２…決定部
　１３…顔類似度計算部（類似度計算部）
　２１…登録用の入力顔画像
　２４…登録用顔画像
　３１…認証用の入力顔画像
　３４…認証用顔画像
　３６…顔パーツ点
　３６Ｂ…遮蔽パーツ点
　４４…顔パーツ検出部
　７１…切り出す顔範囲
　７２…解像度
　７３…評価値
　１０４…スコア付き顔画像生成部
　１３２…スコア付き顔画像

Claims (10)

  1. 　認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定する決定部と、
    　上記決定部により決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する生成部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　上記決定部は、予め定められた複数の、切り出す顔範囲と解像度との組み合わせの中から、上記認証用顔画像を生成するのに用いる上記切り出す顔範囲と上記解像度を決定する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　上記認証用の入力顔画像から複数の顔パーツ点を検出し、上記顔パーツ点毎の信頼度を算出する顔パーツ検出部と、
    　複数の上記顔パーツ点から、上記信頼度を基に、上記遮蔽領域に係る遮蔽パーツ点を検出する遮蔽領域検出部
    　を更に具備し、
    　複数の上記組み合わせ毎に評価値が対応づけられ、
    　上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽パーツ点と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定する
    　情報処理装置。
  4. 　請求項２に記載の情報処理装置であって、
    　顔識別における有効性の度合いを示すスコア付き顔画像を生成するスコア付き顔画像生成部と、
    　上記スコア付き顔画像を構成する画素情報を基に、上記遮蔽領域に係る遮蔽画素を検出する遮蔽領域検出部
    　を更に具備し、
    　複数の上記組み合わせ毎に評価値が対応づけられ、
    　上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽画素と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定する
    　情報処理装置。
  5. 　請求項２に記載の情報処理装置であって、
    　上記解像度は、上記組み合わせ毎に、上記切り出す顔範囲で切り出される認証用顔画像が一定の計算量で生成されるように設定される
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　上記認証用顔画像の特徴量を抽出する特徴量抽出部を更に具備し、
    　上記計算量は、切り出される顔範囲の総画素数又は上記特徴量抽出部による特徴量抽出時の積和演算回数を用いて算出される
    　情報処理装置。
  7. 　請求項２に記載の情報処理装置であって、
    　上記認証用顔画像の特徴量を抽出する特徴量抽出部と、
    　上記特徴量抽出部により抽出された上記認証用顔画像の特徴量と、予め用意された登録用顔画像の特徴量とから、上記認証用顔画像と上記登録用顔画像との類似度を計算する類似度計算部を更に具備する
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　上記登録用顔画像の特徴量は、予め用意された登録用の入力顔画像を用いて複数の上記組み合わせに従って生成した複数の登録用顔画像それぞれにおいて、上記特徴量抽出部によって抽出した特徴量である
    　情報処理装置。
  9. 　認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定し、
    　決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する
    　情報処理方法。
  10. 　認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、
    　決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成するステップ
    　を情報処理装置に実行させるプログラム。
PCT/JP2020/027518 2020-03-09 2020-07-15 情報処理装置、情報処理方法及びプログラム WO2021181715A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202080098010.7A CN115244572A (zh) 2020-03-09 2020-07-15 信息处理装置、信息处理方法和程序
EP20923937.5A EP4120184A4 (en) 2020-03-09 2020-07-15 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM
JP2022505740A JP7548293B2 (ja) 2020-03-09 2020-07-15 情報処理装置、情報処理方法及びプログラム
KR1020227028689A KR20220151165A (ko) 2020-03-09 2020-07-15 정보 처리 장치, 정보 처리 방법 및 프로그램
US17/795,393 US20230103555A1 (en) 2020-03-09 2020-07-15 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062987057P 2020-03-09 2020-03-09
US62/987,057 2020-03-09

Publications (1)

Publication Number Publication Date
WO2021181715A1 true WO2021181715A1 (ja) 2021-09-16

Family

ID=77671516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027518 WO2021181715A1 (ja) 2020-03-09 2020-07-15 情報処理装置、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US20230103555A1 (ja)
EP (1) EP4120184A4 (ja)
JP (1) JP7548293B2 (ja)
KR (1) KR20220151165A (ja)
CN (1) CN115244572A (ja)
WO (1) WO2021181715A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102493322B1 (ko) * 2021-03-16 2023-01-31 한국과학기술연구원 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217609A (ja) * 2008-03-11 2009-09-24 Seiko Epson Corp 顔領域に基づき設定された画像領域を対象とした補正処理
US20120230545A1 (en) * 2009-11-30 2012-09-13 Tong Zhang Face Recognition Apparatus and Methods
JP2013196034A (ja) * 2012-03-15 2013-09-30 Toshiba Corp 人物画像処理装置、及び人物画像処理方法
JP2016081212A (ja) 2014-10-15 2016-05-16 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム
WO2017061106A1 (ja) * 2015-10-07 2017-04-13 日本電気株式会社 情報処理装置、画像処理システム、画像処理方法及びプログラム記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102359558B1 (ko) * 2017-03-28 2022-02-09 삼성전자주식회사 얼굴 인증 방법 및 장치
KR102299847B1 (ko) * 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217609A (ja) * 2008-03-11 2009-09-24 Seiko Epson Corp 顔領域に基づき設定された画像領域を対象とした補正処理
US20120230545A1 (en) * 2009-11-30 2012-09-13 Tong Zhang Face Recognition Apparatus and Methods
JP2013196034A (ja) * 2012-03-15 2013-09-30 Toshiba Corp 人物画像処理装置、及び人物画像処理方法
JP2016081212A (ja) 2014-10-15 2016-05-16 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム
WO2017061106A1 (ja) * 2015-10-07 2017-04-13 日本電気株式会社 情報処理装置、画像処理システム、画像処理方法及びプログラム記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4120184A4

Also Published As

Publication number Publication date
KR20220151165A (ko) 2022-11-14
JP7548293B2 (ja) 2024-09-10
EP4120184A4 (en) 2023-09-06
JPWO2021181715A1 (ja) 2021-09-16
US20230103555A1 (en) 2023-04-06
EP4120184A1 (en) 2023-01-18
CN115244572A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
US20220172348A1 (en) Information processing device, information processing method, and storage medium
CN113011385B (zh) 人脸静默活体检测方法、装置、计算机设备及存储介质
JP7113657B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9235751B2 (en) Method and apparatus for image detection and correction
US6697503B2 (en) Device and method for face image extraction, and recording medium having recorded program for the method
CN105205480B (zh) 一种复杂场景中人眼定位方法及系统
KR101362631B1 (ko) 머리 인식 방법
JP2001216515A (ja) 人物の顔の検出方法およびその装置
KR20040059313A (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
US11908157B2 (en) Image processing device, image processing method, and recording medium in which program is stored
JP6784261B2 (ja) 情報処理装置、画像処理システム、画像処理方法及びプログラム
CN112507772A (zh) 一种人脸识别安防系统及可疑人员检测与预警方法
WO2021181715A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR101350882B1 (ko) 영상 분석 서버
Pflug et al. Ear detection in 3D profile images based on surface curvature
KR101473991B1 (ko) 얼굴 검출 방법 및 그 장치
JP7535934B2 (ja) 不良箇所検出装置、不良箇所検出方法、およびコンピュータプログラム
JP2009059165A (ja) 輪郭検出装置、それを用いた視線検出装置、偽の輪郭データの除去をコンピュータに実行させるためのプログラム、視線方向の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN115578781A (zh) 去遮挡的虹膜检测方法、虹膜识别方法及可读存储介质
KR101031369B1 (ko) 얼굴 인식 장치 및 그 방법
JP5593884B2 (ja) 特徴点判定装置、特徴点判定方法および特徴点判定プログラム
JP5924991B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP3122290B2 (ja) ジェスチャ動画像認識方法
JP2003173436A (ja) 画像処理装置、画像処理方法及びそのプログラムをコンピュータ読み取り可能に記録した記録媒体
KR101607569B1 (ko) 인물 검출 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20923937

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022505740

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020923937

Country of ref document: EP

Effective date: 20221010