Nothing Special   »   [go: up one dir, main page]

CN112136129B - 用于识别用户的电子设备及其控制方法 - Google Patents

用于识别用户的电子设备及其控制方法 Download PDF

Info

Publication number
CN112136129B
CN112136129B CN201980033576.9A CN201980033576A CN112136129B CN 112136129 B CN112136129 B CN 112136129B CN 201980033576 A CN201980033576 A CN 201980033576A CN 112136129 B CN112136129 B CN 112136129B
Authority
CN
China
Prior art keywords
user
shape
images
electronic device
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980033576.9A
Other languages
English (en)
Other versions
CN112136129A (zh
Inventor
刘容周
金容煜
李东奎
权起莹
金智民
金铁贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112136129A publication Critical patent/CN112136129A/zh
Application granted granted Critical
Publication of CN112136129B publication Critical patent/CN112136129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/001—Alarm cancelling procedures or alarm forwarding decisions, e.g. based on absence of alarm confirmation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了一种用于识别用户的电子设备及其方法。所述电子设备包括通信接口、动态视觉传感器(DVS)、包括存储有一个或更多个图像的数据库的存储器以及至少一个处理器。所述至少一个处理器被配置为：基于通过所述DVS检测到的事件，生成其中包括对象的形状的图像，控制所述存储器在所述数据库中存储在指定条件下生成的多个图像，确认存储在所述数据库中的所述多个图像中的每一个图像中所包括的用户的形状，以及基于确认出的形状生成用于识别用户的形状信息。所述多个图像可以包括用户的形状。

Description

用于识别用户的电子设备及其控制方法
技术领域
本公开涉及用户识别技术。
背景技术
作为通过使用注册的用户信息来识别用户的技术，用户识别技术可以广泛地用于需要安全性的监视和访问控制系统以及用于向用户提供定制服务的智能装置。用户识别装置可以通过诸如识别卡、钥匙或智能卡之类的装置来识别用户，或者可以通过使用指纹、虹膜等的生物特征识别来识别用户。
基于图像的用户识别装置可以获得图像中包括的用户的面部、手、动作等的信息，并且可以使用获得的信息在被捕获以识别用户的图像上识别用户。
发明内容
技术问题
基于图像的用户识别装置可以使用通过基于帧的视觉传感器获得的红、绿、蓝(RGB)图像来识别用户。用户识别装置可以提取包括在RGB图像的整个区域或特定区域中的多个层的特征，以识别特定用户。当使用RGB图像识别用户时，通过提取诸如用户的面部、身体等身体特征，可能会侵犯用户的隐私。当将包括用户的RGB图像发送到服务器以进行准确识别时，可能侵犯隐私。同时，当用户识别装置通过使用经由基于事件的视觉传感器获得的对象的形状(或轮廓)的图像来识别用户时，可以解决隐私问题，但是可能难以准确地识别用户。
本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的一个方面是提供根据本公开的各种实施例的用户识别装置，该用户识别装置可以生成包括对象形状的图像，以训练所生成图像的用户的形状，并且因此可以准确地识别用户。
问题的解决方案
根据本公开的一个方面，提供了一种电子设备。所述电子设备包括通信接口、动态视觉传感器(DVS)、包括存储有一个或更多个图像的数据库的存储器，以及基于通过所述DVS检测到的事件生成其中包括对象的形状图像的至少一个处理器。所述至少一个处理器可以被配置为：将在指定条件下生成的多个图像存储在所述数据库中；确认存储在所述数据库中的所述多个图像中的每一个图像中所包括的用户的形状；以及基于确认出的形状生成用于识别用户的形状信息。所述多个图像可以包括用户的形状。
根据本公开的另一方面，提供了一种电子设备的控制方法。所述控制方法包括：经由DVS生成其中包括对象的形状的图像；将在指定条件下生成的多个图像存储在数据库中；确认存储在所述数据库中的所述多个图像中的每一个图像中所包括的用户的形状；以及基于确认出的形状生成用于识别用户的形状信息。所述多个图像可以包括用户的形状。
发明的有益效果
根据本公开的各种实施例，用户识别装置可以使用仅包括对象形状的图像来训练指定用户的形状，可以基于训练的信息来生成用于识别指定用户的形状信息，并且可以基于生成的形状信息来识别指定用户，从而正确地识别指定用户而没有任何隐私问题。
此外，可以提供通过本公开直接或间接理解的各种效果。
附图说明
图1是示出根据本公开的实施例的用户识别系统的视图；
图2是示出根据本公开的实施例的用户识别装置的配置的框图；
图3是示出根据本公开的实施例的用户识别装置的用户识别方法的流程图；
图4是示出根据本公开的实施例的用户识别装置如何使用从外部装置接收的用户的标识信息来识别用户的视图；
图5是示出根据本公开的实施例的使用从外部装置接收的用户的标识信息来训练图像中包括的用户的形状的方法的流程图；
图6是示出根据本公开的实施例的用户识别装置如何基于在指定空间中检测到的事件来识别用户的视图；
图7是示出根据本公开的实施例的显示从用户识别装置接收的图像以接收反馈信息的用户终端的视图；
图8是示出根据本公开的实施例的基于在指定空间中检测到的事件来训练用户的形状的方法的流程图；
图9是示出根据本公开的实施例的用户识别装置如何根据所识别的用户来控制物联网(IoT)的视图；以及
图10示出了根据本公开实施例的网络环境中的电子装置的框图。
在所有附图中，应当注意，相同的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
参考附图的以下描述被提供来帮助全面理解由权利要求及其等同形式所定义的本公开的各种实施例。其包括各种具体细节以帮助该理解，但这些仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对这里描述的各种实施例进行各种改变和修改。此外，为了清楚和简明起见，可以省略对众所周知的功能和构造的描述。
图1是示出根据本公开实施例的用户识别系统的视图。
参考图1，用户识别装置(或电子设备)100可以在指定位置(例如，家)10识别用户1，并且可以依据识别出的用户来提供指定的服务。
根据实施例，用户识别装置100可以通过视觉传感器识别用户1。根据实施例，用户识别装置100可以经由视觉传感器检测用户1，并且可以生成其中包括检测到的用户1的图像3。根据实施例，用户识别装置100可以使用所生成的图像来识别用户1。
根据实施例，当识别出用户时，用户识别装置100可以提供与识别出的用户相对应的服务。例如，用户识别装置100可以控制物联网(IoT)装置200具有由被识别出的用户设置的状态，或者可以控制IoT装置200执行指定的功能。例如，IoT装置200可以是安装在用户识别装置100所处的位置(例如，家庭)10的装置。
根据实施例，用户识别装置100可以经由云服务器20提供指定的服务。例如，用户识别装置100可以通过云服务器20(例如，IOT云服务器)控制IOT装置200。用户识别装置100可以向云服务器20发送用于控制IOT装置200的信息(或控制信息)。例如，控制信息可以包括与识别出的用户相对应的状态信息或操作信息。云服务器20可以接收控制信息，并且可以根据接收到的控制信息向IoT装置200发送命令。
根据实施例，用户识别装置100可以在包括视觉传感器的各种电子装置中实现。例如，用户识别装置100可以是包括视觉传感器的智能手机、平板个人计算机(PC)、台式计算机、电视(TV)、可穿戴装置等。根据实施例，用户识别装置100可以包括在安全系统或智能家庭系统中。
当用户识别装置100使用经由基于帧的视觉传感器获得的RGB图像来识别用户1时，用户识别装置100可以准确地识别用户1，但是通过提取用户的面部、身体和其他身体的特征可能会侵犯用户1的隐私。当包括用户的RGB图像被传输到服务器时，隐私可能被侵犯。此外，当用户识别装置100通过使用经由基于事件的视觉传感器获得的对象的形状(或轮廓)的图像来识别用户1时，可以解决隐私问题，但是可能难以准确识别用户。
根据本公开的各种实施例的用户识别装置100可以生成包括对象形状的图像，以训练所生成图像的用户的形状，因此可以准确地识别用户。
图2是示出根据本公开的实施例的用户识别装置的配置的框图。
参考图2，用户识别装置100可以包括通信接口110(例如，收发器)、存储器120、动态视觉感测(DVS)模块130和处理器(或至少一个处理器)140。
根据实施例，通信接口110可以连接到外部装置以发送或接收数据。例如，通信接口110可以连接到云服务器(例如，图1的云服务器20)以接收数据。作为另一个示例，通信接口110可以连接到用户终端以发送或接收数据。根据实施例，通信接口110可以包括无线接口和有线接口中的至少一个。例如，无线接口可以包括蓝牙、近场通信(NFC)、无线保真(Wi-Fi)等。有线接口可以包括局域网(LAN)、广域网(WAN)、电力线通信和普通老式电话服务(POTS)。
根据实施例，存储器120可以包括至少一个能够存储数据的数据库。例如，存储器120可以包括存储由用户识别装置100生成的图像的数据库。例如，数据库可以是存储用于训练指定用户的形状的图像的数据库。根据实施例，存储器120可以包括用于存储数据的非易失性存储器。例如，存储器120可以包括只读存储器(ROM)、闪存、硬盘驱动器(HDD)等。
根据实施例，DVS模块130可以基于生成的事件输出事件信号。例如，DVS模块130可以感测对象(例如，用户)的运动以输出事件信号。根据实施例，DVS模块130可以包括透镜131和DVS 132。
根据实施例，透镜131可以将对象反射的光传输到DVS 132。例如，透镜131可以通过使得光进入用户识别装置100的内部来传输由对象反射的光。
根据实施例，DVS 132可以检测通过透镜131的入射光，以输出事件信号。根据实施例，DVS 132可以包括多个感测元件。多个感测元件中的每一个可以感测入射光以输出事件信号。根据实施例，DVS 132可以从其中光被改变的感测元件输出事件信号。例如，DVS 132的多个感测元件中光强增加的感测元件可以输出事件开启(on-event)信号，光强减小的感测元件可以输出事件关闭(off-event)信号。根据实施例，通过DVS 132检测到的光的变化可以由对象的运动引起。这样，DVS 132可以检测对象的运动以输出事件信号。
根据实施例，处理器140可以接收从DVS模块130输出的事件信号，并且可以基于接收的事件信号输出图像。
根据实施例，处理器140可以基于接收到的事件信号在事件地图中存储关于光改变时的时间点的信息。例如，事件地图可以包括对应于DVS 132的多个感测元件的多个地图元素。处理器140可以基于事件信号将时间信息存储在与光被改变的元件对应的地图元素中。根据实施例，处理器140可以将关于光最近被改变的时间点的信息存储在事件地图(例如，二维事件地图)中。此外，处理器140不仅可以在事件地图(例如，三维事件地图)中存储关于光最近被改变的时间点的信息，还可以存储关于过去光被改变的时间点的信息。
根据实施例，处理器140可以基于事件地图生成图像。例如，处理器140可以基于存储在事件地图中的时间信息生成图像。处理器140可以通过在与存储时间信息的地图元素对应的像素中显示指定值来生成图像。根据实施例，处理器140可以基于存储在事件地图中的时间信息中的指定时间范围内的时间信息来生成图像。例如，处理器140可以基于从现在起指定时间内的时间信息生成图像。
根据实施例，处理器140可以将生成的图像存储在存储器120的数据库中。例如，处理器140可以将在指定条件下生成的图像存储在数据库中，以训练指定用户(或特定用户)的形状。
根据实施例，当经由通信接口110从外部电子设备接收用于区分用户的标识信息时，处理器140可以将生成的图像存储在数据库中。例如，外部电子装置可以从包括射频集成电路(RFIC)的钥匙、用户终端或信标接收标识信息，以执行指定操作。指定操作可以是设置或禁用安全性的操作。这将参照图4进行详细描述。
根据另一实施例，处理器140可以将基于在指定空间中检测到的事件生成的图像存储在数据库中。处理器140可以基于用户的反馈信息将生成的图像存储在数据库中。这将参照图6进行详细描述。
根据实施例，处理器140可以训练存储在存储器120的数据库中的多个图像的每一个中包括的指定用户的形状。例如，处理器140可以确认包括在存储在数据库中的多个图像的每一个中的指定用户的形状，并且可以基于确认出的形状生成用于识别指定用户的形状信息。
根据实施例，处理器140可以确认图像中包括的用户的形状。例如，处理器140可以使用诸如区域卷积神经网络(RCNN)、快速区域卷积神经网络(FRCNN)等方法来确认用户的形状。
根据实施例，处理器140可以提取图像的特征来确认用户的形状。根据实施例，处理器140可以确定基于提取的特征所生成的图像的建议区域，并且可以细化能够包括所确定的建议区域的用户的形状的感兴趣区域(ROI)。根据实施例，处理器140可以使用能够识别用户的分类模型来确认ROI中包括的用户的形状。例如，处理器140可以使用支持向量机(SVM)分类器来确认用户的形状。根据实施例，处理器140可以跟踪包括在多个图像中的用户的形状。
根据实施例，处理器140可以基于确认出的用户的形状信息来生成用于识别指定用户的形状信息。例如，处理器140可以提取识别出的形状的特征，并且可以基于所提取的特征来生成用于识别指定用户的形状信息。
根据实施例，处理器140可以使用生成的形状信息来识别指定的用户。例如，处理器140可以使用生成的形状信息来识别图像中包括的指定用户。例如，图像可以是基于通过DVS模块130检测到的事件生成的图像。
根据另一实施例，处理器140可以通过云服务器(或外部服务器)生成用于识别指定用户的形状信息。处理器140可以通过通信接口110将生成的图像发送到云服务器，并且可以接收从云服务器生成的形状信息。例如，云服务器可以类似地执行处理器140生成形状信息的操作。云服务器可以通过训练在指定条件下生成的图像中包括的用户的形状来生成用于识别用户的形状信息。因为用户识别装置100在训练用户的形状方面有限制，所以用户识别装置100可以通过云服务器生成更准确的形状信息。
根据实施例，处理器140可以提供与所识别的用户对应的服务。例如，处理器140可以基于所识别的用户来控制至少一个IoT装置(例如，图1的IoT装置200)。例如，处理器140可以基于所识别的用户来控制至少一个IoT装置具有指定状态或执行指定操作。根据实施例，处理器140可以通过云服务器(例如，图1的云服务器20)控制至少一个IoT装置。
这样，用户识别装置100可以使用仅包括对象形状的图像来训练指定用户的形状，可以生成用于识别指定用户的形状信息，并且可以基于所生成的形状信息来识别指定用户，从而正确地识别指定用户，而没有任何隐私问题。
图3是示出根据本公开的实施例的用户识别装置的用户识别方法的流程图。
参考图3，用户识别装置100可以使用基于通过DVS模块130检测到的事件生成的图像来识别指定的用户。
根据实施例，在操作310中，用户识别装置100(例如，处理器140)可以从DVS模块130接收事件信号。DVS模块130可以通过检测对象运动引起的光的变化来生成事件信号。
根据实施例，在操作320中，用户识别装置100可以基于接收到的事件信号生成多个图像。例如，多个图像可以包括移动对象的形状。
根据实施例，在操作330中，用户识别装置100可以将在指定条件下生成的图像存储在数据库中。例如，指定条件可以是从外部电子装置(例如，安全设置设备)接收用于区分用户的标识信息的情况，或者在指定空间中检测到事件的情况。
根据实施例，在操作340中，用户识别装置100可以确认包括在多个图像的每一个中的指定用户的形状。例如，用户识别装置100可以提取多个图像的特征，并且可以识别包括在基于提取的特征确定的ROI中的用户的形状。
根据实施例，在操作350中，用户识别装置100可以基于确认出的形状生成用于识别指定用户的形状信息。根据实施例，用户识别装置100可以通过训练包括在多个图像中的指定用户的形状来生成用于识别指定用户的形状信息。
根据实施例，在操作360中，用户识别装置100可以使用形状信息来识别指定的用户。例如，用户识别装置100可以使用生成的形状信息来识别图像中包括的指定用户。例如，图像可以是基于通过DVS模块130检测到的事件生成的图像。
根据实施例，在操作370中，用户识别装置100可以依据识别出的用户来控制至少一个IoT装置。例如，用户识别装置100可以通过云服务器控制至少一个IOT装置。
图4是示出根据本公开的实施例的用户识别装置如何使用从外部装置接收的用户的标识信息来识别用户的视图。
参考图4，用户识别装置100可以使用从外部电子设备30接收的用户1的标识信息(例如，身份(ID))来训练指定用户1的形状。
根据实施例，外部电子设备30可以接收用户标识信息以执行指定操作。例如，指定操作可以是用于在指定位置(例如，家庭)10设置或禁用安全性的操作。外部电子设备30可以是包括在安全系统中的用户识别装置。根据实施例，外部电子设备30可以从包括RFIC的密钥、用户终端、信标等接收用户1的标识信息。例如，外部电子设备30可以通过用户1的标记操作接收标识信息。
根据实施例，用户识别装置100可以从外部电子设备30接收用于区分用户1的标识信息。例如，当接收到用于执行指定操作(例如，设置或禁用安全性)的用户输入时，外部电子设备30可以向用户识别装置100发送包括在用户输入中的标识信息。
根据实施例，用户识别装置100可以将在用户识别装置100从外部电子设备30接收标识信息的时间点生成的图像3存储在数据库中。例如，用户识别装置100可以在数据库中存储从用户识别装置100接收到标识信息的时间点起在指定时间内生成的多个图像3。例如，可以基于经由DVS模块(例如，图2的DVS模块130)检测到的事件来生成多个图像3。
根据实施例，用户识别装置100可以区分并存储依据接收到的标识信息生成的图像3。换句话说，用户识别装置100可以存储对应于标识信息生成的图像3。这样，用户识别装置100可以区分和训练能够在指定地点被识别的多个用户中的每一个。
根据实施例，当生成的图像3中仅包括单个用户的形状时，用户识别装置100可以将生成的图像3存储在数据库中。当生成的图像3包括多个用户的形状时，用户识别装置100可能难以区分与接收到的标识信息对应的用户的形状，因此用户识别装置100可以在数据库中存储仅包括单个用户的形状的图像。
这样，用户识别装置100可以在数据库中存储包括指定用户(或特定用户)的形状的图像3。
根据实施例，用户识别装置100可以训练包括在存储在数据库中的多个图像的每一个中的指定用户1的形状。根据实施例，用户识别装置100可以基于训练的信息(或数据)生成能够识别指定用户1的形状信息。这样，用户识别装置100可以使用生成的形状信息以高概率识别指定的用户1。
图5是示出根据本公开的实施例的使用从外部装置接收的用户的标识信息来训练图像中包括的用户的形状的方法的流程图。
根据实施例，在操作510中，用户识别装置100可以从外部电子设备30接收用户1的标识信息。
根据实施例，在操作520中，用户识别装置100可以在从用户识别装置100接收到标识信息的时间点起的指定时间内生成多个图像3。
根据实施例，在操作530中，用户识别装置100可以确定所生成的多个图像3中的每一个是否包括单个用户的形状。根据实施例，当多个图像3的每一个中包括用户的两个或更多个形状时(否)，在操作510中，用户识别装置100可以准备接收用户1的标识信息。
根据实施例，当用户的单一形状被包括在多个图像3的每一个中时(是)，在操作540中，用户识别装置100可以将多个图像3存储在数据库中。
这样，用户识别装置100可以通过训练存储在数据库中的图像中包括的用户的形状来生成用于识别指定用户1的形状信息。用户识别装置100可以使用形状信息来识别指定的用户1。
图6是示出根据本公开的实施例的用户识别装置如何基于在指定空间中检测到的事件来识别用户的视图。
参考图6，用户识别装置100可以基于在指定空间中检测到的事件来生成图像3，并且可以使用生成的图像3来训练指定用户的形状。
根据实施例，用户识别装置100可以检测在特定空间(或特定空间)中发生的事件。例如，可以在指定空间中检测在指定用户(或特定用户)出现的高频率空间中发生的事件。例如，用户识别装置100可以检测房屋40的第二房间40a中发生的事件。房屋40的第二房间40a可以对应于指定用户的个人空间。因为房屋40的其他空间(例如，客厅、厨房或车库)可以对应于多个用户的共享空间，所以用户识别装置100可能难以生成仅包括指定用户的形状的图像。
根据实施例，用户识别装置100可以基于在指定空间中发生的事件生成多个图像3。
根据实施例，用户识别装置100可以将生成的多个图像3发送到用户终端5。例如，当用户1的形状被包括在多个图像3中超过指定次数时，用户识别装置100可以将多个图像3发送到用户终端5。
根据实施例，用户终端5可以接收用于确定指定用户(例如，用户终端5的用户)1的形状是否包括在接收的多个图像3中的反馈。根据实施例，用户终端5可以向用户识别装置100发送关于接收到的反馈的信息(或反馈信息)。
根据实施例，用户识别装置100可以基于接收到的反馈信息将多个图像3存储在数据库中。例如，当接收到用于确定多个图像3包括指定用户(例如，用户终端5的用户)1的反馈信息时，用户识别装置100可以将多个图像3存储在数据库中。
这样，用户识别装置100可以在数据库中存储包括指定用户(或特定用户)的形状的图像3。
根据实施例，用户识别装置100可以训练包括在存储在数据库中的多个图像中的指定用户1的形状。根据实施例，用户识别装置100可以基于训练的信息(或数据)生成能够识别指定用户1的形状信息。这样，用户识别装置100可以使用生成的形状信息以高概率识别指定的用户1。
图7是示出根据本公开的实施例的显示从用户识别装置接收的图像以接收反馈信息的用户终端的视图。
参考图7，用户终端5可以向用户提供从用户识别装置100接收的多个图像711，并且可以接收用于确定用户的形状是否包括在多个图像711中的反馈信息。
根据实施例，用户终端5可以执行用于接收用户的反馈输入的应用程序。根据实施例，用户终端5可以在显示器700中显示用于接收用户输入的用户界面(UI)710。用户终端5可以经由UI 710显示接收到的多个图像711，并且可以经由对象(例如，虚拟按钮)713接收用户的反馈信息。
图8是示出根据本公开的实施例的基于在指定空间中检测到的事件来训练用户的形状的方法的流程图。
参考图8，在操作810中，用户识别装置100可以检测在指定空间中发生的事件。
根据实施例，在操作820中，用户识别装置100可以基于在指定空间中检测到的事件生成多个图像3。
根据实施例，在操作830中，用户识别装置100可以确定用户的形状被包括在多个图像3中的次数是否多于指定次数。根据实施例，当用户的形状被包括在多个图像3中少于指定次数(否)时，在操作810中，用户识别装置100可以准备检测在用户1的指定空间中发生的事件。
根据实施例，当用户的形状被包括在多个图像3中超过指定次数时(是)，在操作840中，用户识别装置100可以将多个图像3发送到用户终端5。
根据实施例，在操作850中，用户识别装置100可以从用户终端5接收用于确定指定用户1的形状是否包括在多个图像3中的反馈信息。例如，指定用户1可以是用户终端5的用户。
根据实施例，在操作860中，用户识别装置100可以基于接收到的反馈信息将多个图像3存储在数据库中。
这样，用户识别装置100可以通过训练存储在数据库中的图像中包括的用户1的形状来生成用于识别指定用户1的形状信息。用户识别装置100可以使用形状信息来识别指定的用户1。
图9是示出根据本公开的实施例的用户识别装置如何根据所识别的用户来控制IoT的视图。
参考图9，当识别指定组中的用户1时，用户识别装置100可以根据识别的用户1不同地控制IoT装置200。
根据实施例，用户识别装置100可以被配置为针对指定组中的相应用户1不同地控制IoT装置200。例如，指定组可以是能够在指定空间中被识别的用户组(例如，家庭(用户A至D))。根据实施例，用户定义的规则可以存储在用户识别装置100(例如，存储器120)中，以针对各个用户1不同地控制IoT装置200。例如，用户定义的规则不仅可以控制IoT装置200的电源(开/关(ON/OFF))，还可以存储用于在指定状态下操作的设置值(例如，设置温度、播放音乐流派等)。
根据实施例，用户1可以经由用户终端30将用户定义的规则存储在用户识别装置100中。例如，用户终端30可以在显示器上显示用于设置IoT装置200的状态的UI，并且可以接收用于设置控制IoT装置200的规则的用户输入(例如，触摸输入)。
根据实施例，对于每个识别出的用户，用户识别装置100可以根据为相应用户1定义的规则(用户定义的规则)来控制IoT装置200。例如，当识别出用户A时，取决于第一用户定义的规则，用户识别装置100可以使得空调在空调被设置为24℃的状态下操作，可以使得特定空间中的灯关闭，并且可以使得扬声器播放爵士乐。当识别出用户B时，取决于第二用户定义的规则，用户识别装置100可以使得关闭空调，可以使得打开指定空间中的灯，并且可以使得扬声器播放经典音乐。例如，当识别出用户C时，取决于第三用户定义的规则，用户识别装置100可以使得空调在该空调被设置为22℃的状态下操作，可以使得指定空间中的灯打开，并且可以使得扬声器关闭。当识别出用户D时，取决于第四用户定义的规则，用户识别装置100可以使得关闭空调，可以使得关闭指定空间中的灯，并且可以使得扬声器播放随机音乐。
这样，用户识别装置100可以通过根据指定组中的用户1控制IoT装置200来提供适合用户偏好的服务。
图10是根据本公开的实施例的网络环境中的电子装置的框图。
参照图10，网络环境1000中的电子装置1001可经由第一网络1098(例如，短距离无线通信网络)与电子装置1002进行通信，或者经由第二网络1099(例如，长距离无线通信网络)与电子装置1004或服务器1008进行通信。根据实施例，电子装置1001可经由服务器1008与电子装置1004进行通信。根据实施例，电子装置1001可包括处理器1020、存储器1030、输入装置1050、声音输出装置1055、显示装置1060、音频模块1070、传感器模块1076、接口1077、触觉模块1079、相机模块1080、电力管理模块1088、电池1089、通信模块1090、用户识别模块1096和天线模块1097。在一些实施例中，可以省略电子装置1001的部件中的至少一个(例如，显示装置1060或相机模块1080)，或者可将其他部件添加到电子装置1001。根据一些实施例，一些部件可以被集成并实现为嵌入在显示装置1060(例如，显示器)中的传感器模块1076(例如，指纹传感器、虹膜传感器或照度传感器)的情况。
处理器1020可运行例如软件(例如，程序1040)来控制电子装置1001的与处理器1020连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。处理器1020可以将从其他部件(例如，传感器模块1076或通信模块1090)接收的命令集或数据加载到易失性存储器1032中，可以处理加载的命令或数据，并且可以将结果数据存储到非易失性存储器1034中。根据实施例，处理器1020可以包括主处理器1021(例如，中央处理单元或应用处理器)和辅助处理器1023(例如，图形处理设备、图像信号处理器、传感器中枢处理器或通信处理器)，辅助处理器1023独立于主处理器1021操作，附加地或替代地使用比主处理器1021更少的电力，或者被指定为指定功能。在此情况下，辅助处理器1023可以与主处理器1021分离地操作或者被嵌入地操作。
在主处理器1021处于未激活(例如，睡眠)状态时，辅助处理器1023可控制与电子装置1001(而非主处理器1021)的部件之中的至少一个部件(例如，显示装置1060、传感器模块1076或通信模块1090)相关的功能或状态中的至少一些，或者在主处理器1021处于激活状态(例如，运行应用)时，辅助处理器1023可与主处理器1021一起来控制与电子装置1001的部件之中的至少一个部件(例如，显示装置1060、传感器模块1076或通信模块1090)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器1023(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器1023相关的另一部件(例如，相机模块1080或通信模块1090)的部分。存储器1030可存储由电子装置1001的至少一个部件(例如，处理器1020或传感器模块1076)使用的各种数据。所述各种数据可包括例如软件(例如，程序1040)以及针对与其相关的命令的输入数据或输出数据。存储器1030可以包括易失性存储器1032或非易失性存储器1034。
可将程序1040作为软件存储在存储器1030中，并且程序1040可包括例如操作系统1042、中间件1044或应用1046。
输入装置1050可从电子装置1001的外部(例如，用户)接收将由电子装置1001的其它部件(例如，处理器1020)使用的命令或数据。输入装置1050可包括例如麦克风、鼠标或键盘。
声音输出装置1055可将声音信号输出到电子装置1001的外部。声音输出装置1055可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，接收器和扬声器可以整体地或分离地实现。
显示装置1060可向电子装置1001的外部(例如，用户)视觉地提供信息。显示装置1060可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置1060可以包括触摸电路或压力传感器，用于测量触摸上的压力强度。
音频模块1070可以双向转换声音和电信号。根据实施例，音频模块1070可以通过输入装置1050获得声音，或者可以通过有线或无线连接到声音输出装置1055或电子装置1001的外部电子装置(例如，电子装置1002(例如，扬声器或耳机))输出声音。
传感器模块1076可以产生对应于电子装置1001内部的操作状态(例如，功率或温度)或外部的环境状态的电信号或数据值。传感器模块1076可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口1077可以支持有线或无线连接到外部电子装置(例如，电子装置1002)的指定协议。根据实施例，接口1077可以包括例如HDMI(高清晰度多媒体接口)、USB(通用串行总线)接口、SD卡接口或音频接口。
连接端1078可以包括将电子装置1001物理连接到外部电子装置(例如，电子装置1002)的连接器，例如，HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块1079可以将电信号转换成机械刺激(例如，振动或运动)或由用户通过触觉或动觉感知的电刺激。触觉模块1079可以包括例如电机、压电元件或电刺激器。
相机模块1080可以拍摄静止图像或视频图像。根据实施例，相机模块1080可以包括例如至少一个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块1088可以是用于管理对电子装置1001供电的模块，并且可以充当为电力管理集成电路(PMIC)的至少部分。
电池1089可以是用于向电子装置1001的至少一个部件供电的装置，并且可以包括例如不可充电(原)电池、可充电(次级)电池或燃料电池。
通信模块1090可以在电子装置1001与外部电子装置(例如，电子装置1002、电子装置1004或服务器1008)之间建立有线或无线通信信道，并支持通过所建立的通信信道的通信执行。通信模块1090可以包括至少一个独立于处理器1020(例如，应用处理器)操作并支持有线通信或无线通信的通信处理器。根据实施例，通信模块1090可以包括无线通信模块1092(例如，蜂窝通信模块、短程无线通信模块或GNSS(全球导航卫星系统)通信模块)或有线通信模块1094(例如，局域网(LAN)通信模块或电力线通信模块)，并且可以通过第一网络1098(例如，诸如蓝牙、WiFi直接或IrDA(红外数据协会)的短距离通信网络)或第二网络1099(例如，诸如蜂窝网络、互联网或计算机网络(例如，LAN或WAN)的长距离无线通信网络利用)利用无线通信模块1092和有线通信模块1094中的相应通信模块来与外部电子装置进行通信。上述各种通信模块1090可以分别实现在一个芯片或分离的芯片中。
根据实施例，无线通信模块1092可以使用存储在通信网络中的用户识别模块1096中的用户信息来识别和认证电子装置1001。
天线模块1097可以包括一个或更多个天线，以向外部源发送信号或电力或者从外部源接收信号或电力。根据实施例，通信模块1090(例如，无线通信模块1092)可以通过适合于通信方法的天线向外部电子装置发送信号或者从外部电子装置接收信号。
这些部件中的一些部件可以通过外围装置之间用来相互交换信号(例如，命令或数据)的通信方法(例如，总线、通用输入/输出(GPIO)、串行外围接口(SPI)或MIPI(移动工业处理器接口))相互连接。
根据实施例，可以通过连接到第二网络1099的服务器1008在电子装置1001与外部电子装置1004之间发送或接收命令或数据。电子装置1002和1004中的每一个可以是与电子装置1001相同或不同的类型。根据实施例，由电子装置1001执行的所有或一些操作可以由另一个电子装置或多个外部电子装置来执行。当电子装置1001自动或通过请求执行一些功能或服务时，除了自身执行功能或服务之外或代替自身执行功能或服务，电子装置1001可以请求外部电子装置执行与功能或服务相关的至少一些功能。接收请求的外部电子装置可以执行所请求的功能或附加功能，并将结果发送到电子装置1001。电子装置1001可以基于所接收的结果提供所请求的功能或服务，如同或者在额外处理所接收的结果之后。为此，例如，可以使用云计算、分布式计算或客户机-服务器计算技术。
根据本公开中公开的各种实施例的电子装置可以是各种类型的装置。电子装置可以包括例如便携式通信装置(例如，智能手机)、计算机装置、便携式多媒体装置、移动医疗设备、相机、可穿戴装置或家用设备中的至少一个。根据本公开实施例的电子装置不应局限于上述装置。
应当理解，本公开的各种实施例和实施例中使用的术语并不旨在将本公开中公开的技术限制为这里公开的特定形式。相反，本公开应该被解释为覆盖本公开的实施例的各种修改、等同物和/或替代物。关于附图的描述，相似的部件可以被赋予相似的参考数字。如这里所使用的，单数形式也可以包括复数形式，除非上下文清楚地另有说明。在本文公开的本公开中，本文使用的表述“A或B”、“A或/和B中的至少一个”、“A、B或C”或“A、B或/和C中的一个或多个”等可以包括一个或多个相关联的所列项目的任何和所有组合。本文中使用的表述“第1”、“第2”、“第一”或“第二”可以指各种部件，而不管顺序和/或重要性如何，但不限制相应的部件。上述表述仅用于将一个部件与其他部件区分开来。应当理解，当部件(例如，第一部件)被称为(可操作地或通信地)“连接”或“耦合”到另一部件(例如，第二部件)时，其可以直接连接或直接耦合到另一部件，或者任何其他部件(例如，第三部件)可以介于它们之间。
这里使用的术语“模块”可以表示例如包括硬件、软件和固件的一种或多种组合的单元。术语“模块”可以与术语“逻辑”、“逻辑块”、“部分”和“电路”互换使用。“模块”可以是集成部件的最小单元，也可以是其一部分。“模块”可以是用于执行一个或更多个功能或其一部分的最小单元。例如，“模块”可以包括专用集成电路(ASIC)。
本公开的各种实施例可以由软件(例如，程序1040)实现，该软件包括存储在机器(例如，计算机)可读的机器可读存储介质(例如，内部存储器1036或外部存储器1038)中的指令。机器可以是从机器可读存储介质调用指令并根据所调用的指令进行操作的装置，并且可以包括电子装置(例如，电子装置1001)。当指令由处理器(例如，处理器1020)执行时，处理器可以在处理器的控制下直接或使用其他部件来执行对应于指令的功能。该指令可以包括由编译器或解释器生成或执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，这里使用的术语“非暂时性”是对介质本身(即，有形的，不是信号)的限制，而不是对数据存储持久性的限制。
根据实施例，根据本公开中公开的各种实施例的方法可以作为计算机程序产品的一部分来提供。计算机程序产品可以作为产品在卖方与买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者可以仅通过应用商店(例如，播放商店)分发。在在线分发的情况下，计算机程序产品的至少一部分可以临时存储或生成在存储介质中，例如制造商的服务器、应用商店的服务器或中继服务器的存储器。
根据各种实施例的每个部件(例如，模块或程序)可以包括上述部件中的至少一个，并且可以省略上述子部件的一部分，或者可以进一步包括附加的其他子部件。替代地或附加地，一些部件(例如，模块或程序)可以集成在一个部件中，并且可以执行在集成之前由每个相应部件执行的相同或相似的功能。根据本公开的各种实施例，由模块、程序或其他部件执行的操作可以顺序地、并行地、重复地或以启发式方法来执行。此外，至少一些操作可以以不同的顺序执行、省略或添加其他操作。

Claims (15)

1.一种电子设备，所述电子设备包括：
通信接口；
动态视觉传感器(DVS)，所述DVS包括多个感测元件，其中，所述DVS在所述多个感测元件中的感测元件检测到光的改变时输出事件信号；
存储器，所述存储器包括存储有一个或更多个图像的数据库；以及
至少一个处理器，所述至少一个处理器被配置为：
基于所述DVS输出的所述事件信号，将关于光改变时的时间点的信息作为时间信息存储在事件地图中，其中，所述事件地图包括与所述多个感测元件对应的多个地图元素，
基于存储在所述事件地图中的时间信息，通过在与地图元素对应的像素中显示指定值来生成多个图像，
当在指定条件下生成的多个图像中的每一个图像包括单个用户的形状时，将所述多个图像存储在所述数据库中，
确认存储在所述数据库中的所述多个图像中的每一个图像中所包括的用户的形状，以及
基于确认出的用户的形状生成用于识别用户的形状信息。
2.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
提取确认出的用户的形状的特征；以及
基于所提取的形状的特征来生成所述形状信息。
3.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
经由所述通信接口从外部电子装置接收用于区分用户的标识信息；以及
将从接收到所述标识信息的时间点起在指定时间内生成的多个图像存储在所述数据库中。
4.根据权利要求3所述的电子设备，其中，所述至少一个处理器还被配置为：
当在所述多个图像的每一个图像中仅包括单个用户的形状时，将所述多个图像存储在所述数据库中。
5.根据权利要求4所述的电子设备，其中，所述外部电子装置从包括射频集成电路(RFIC)的钥匙、用户终端或信标接收所述标识信息，并且响应于所接收的标识信息来执行指定操作。
6.根据权利要求5所述的电子设备，其中，所述指定操作是设置或禁用安全性的操作。
7.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
基于经由所述DVS在指定空间中检测到的事件来生成所述多个图像；
经由所述通信接口向用户终端发送所述多个图像；
经由所述通信接口从所述用户终端接收用于确定用户的形状是否存储在所述多个图像中的反馈信息；以及
基于所述反馈信息将所述多个图像存储在所述数据库中。
8.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
当用户的形状被存储在所述多个图像中超过指定次数时，将所述多个图像发送到用户终端。
9.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
通过确认所生成的图像中包括的用户的形状，基于所生成的形状信息，经由所述DVS来识别用户。
10.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
提供与所识别用户相对应的服务。
11.根据权利要求10所述的电子设备，其中，所述至少一个处理器还被配置为：
根据所识别的用户来控制至少一个物联网(IoT)装置。
12.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
经由外部服务器处理所述多个图像以获得所述形状信息。
13.一种电子设备的控制方法，所述方法包括：
在动态视觉传感器(DVS)中包括的多个感测元件中的感测元件检测到光的改变时输出事件信号；
基于所述DVS输出的所述事件信号，将关于光改变时的时间点的信息作为时间信息存储在事件地图中，其中，所述事件地图包括与所述多个感测元件对应的多个地图元素；
基于存储在所述事件地图中的时间信息，通过在与地图元素对应的像素中显示指定值来生成多个图像；
当在指定条件下生成的多个图像中的每一个图像包括单个用户的形状时，将所述多个图像存储在数据库中；
确认存储在所述数据库中的所述多个图像中的每一个图像中所包括的用户的形状；以及
基于确认出的用户的形状生成用于识别用户的形状信息。
14.根据权利要求13所述的方法，其中，所述形状信息的生成包括：
提取确认出的用户的形状的特征；以及
基于所提取的形状的特征来生成所述形状信息。
15.根据权利要求13所述的方法，所述方法还包括：
经由通信接口从外部电子装置接收用于区分用户的标识信息，
其中将所述多个图像存储在所述数据库中包括：
将从接收到所述标识信息的时间点起在指定时间内生成的多个图像存储在所述数据库中。
CN201980033576.9A 2018-07-03 2019-06-19 用于识别用户的电子设备及其控制方法 Active CN112136129B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0076875 2018-07-03
KR1020180076875A KR102539947B1 (ko) 2018-07-03 2018-07-03 사용자를 인식하는 전자 장치 및 그 전자 장치를 제어하는 방법
PCT/KR2019/007386 WO2020009353A1 (en) 2018-07-03 2019-06-19 Electronic apparatus for recognizing user and controlling method thereof

Publications (2)

Publication Number Publication Date
CN112136129A CN112136129A (zh) 2020-12-25
CN112136129B true CN112136129B (zh) 2024-07-19

Family

ID=69060412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033576.9A Active CN112136129B (zh) 2018-07-03 2019-06-19 用于识别用户的电子设备及其控制方法

Country Status (6)

Country Link
US (1) US11144791B2 (zh)
EP (1) EP3776292A4 (zh)
JP (1) JP7410659B2 (zh)
KR (1) KR102539947B1 (zh)
CN (1) CN112136129B (zh)
WO (1) WO2020009353A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763430A (zh) * 2013-12-18 2014-04-30 深圳市金立通信设备有限公司 一种事件提醒方法、装置以及终端设备
CN106154858A (zh) * 2016-08-15 2016-11-23 上海了物网络科技有限公司 基于物联网的智能沙发及智能家居控制系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775397B1 (en) * 2000-02-24 2004-08-10 Nokia Corporation Method and apparatus for user recognition using CCD cameras
US7069259B2 (en) 2002-06-28 2006-06-27 Microsoft Corporation Multi-attribute specification of preferences about people, priorities and privacy for guiding messaging and communications
US20080130958A1 (en) 2006-11-30 2008-06-05 Motorola, Inc. Method and system for vision-based parameter adjustment
JP2009032116A (ja) * 2007-07-27 2009-02-12 Toshiba Corp 顔認証装置、顔認証方法および入退場管理装置
KR20120072009A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 다중 사용자의 인터렉션 인식 장치 및 방법
KR101909082B1 (ko) * 2012-01-31 2018-10-18 삼성전자주식회사 사용자 인터랙션을 이용하여 이동 단말을 제어하는 장치 및 방법
KR101460902B1 (ko) * 2013-07-03 2014-11-20 한국과학기술원 차량 주변의 도난 징후 감지를 위한 지능형 블랙박스 시스템 및 그 동작 방법
JP6255207B2 (ja) * 2013-10-17 2017-12-27 日立ジョンソンコントロールズ空調株式会社 空気調和機の室内機及びこれを用いた空気調和機
KR101541384B1 (ko) * 2013-12-24 2015-08-03 전남대학교산학협력단 영상 인식 장치 및 방법
JP6096161B2 (ja) * 2014-10-15 2017-03-15 ソニー株式会社 情報処理装置および情報処理方法
US10127439B2 (en) * 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
US9866507B2 (en) 2015-04-27 2018-01-09 Agt International Gmbh Method of monitoring well-being of semi-independent persons and system thereof
KR102433931B1 (ko) * 2015-07-30 2022-08-19 삼성전자주식회사 움직임 인식 방법 및 움직임 인식 장치
KR102376700B1 (ko) * 2015-08-12 2022-03-22 삼성전자주식회사 비디오 컨텐츠 생성 방법 및 그 장치
KR102457724B1 (ko) * 2015-09-22 2022-10-24 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
CN108073929B (zh) * 2016-11-15 2023-11-24 北京三星通信技术研究有限公司 基于动态视觉传感器的物体检测方法及设备
US10614332B2 (en) * 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10885396B2 (en) * 2017-05-24 2021-01-05 Amazon Technologies, Inc. Generating composite images using audio/video recording and communication devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763430A (zh) * 2013-12-18 2014-04-30 深圳市金立通信设备有限公司 一种事件提醒方法、装置以及终端设备
CN106154858A (zh) * 2016-08-15 2016-11-23 上海了物网络科技有限公司 基于物联网的智能沙发及智能家居控制系统

Also Published As

Publication number Publication date
JP7410659B2 (ja) 2024-01-10
US11144791B2 (en) 2021-10-12
JP2020009443A (ja) 2020-01-16
WO2020009353A1 (en) 2020-01-09
KR20200003992A (ko) 2020-01-13
US20200012901A1 (en) 2020-01-09
CN112136129A (zh) 2020-12-25
EP3776292A4 (en) 2021-04-28
EP3776292A1 (en) 2021-02-17
KR102539947B1 (ko) 2023-06-07

Similar Documents

Publication Publication Date Title
KR102708782B1 (ko) 허브를 통해 복수의 전자 장치를 서버에 연결시키는 방법 및 이를 수행하는 전자 장치
CN113330392B (zh) 用于确定包括多个动作的任务的电子装置和方法
KR102458479B1 (ko) 전자 장치 및 전자 장치의 제어 방법
US10769475B2 (en) Method of identifying objects based on region of interest and electronic device supporting the same
KR102706928B1 (ko) 단어 추천 방법 및 그 전자 장치
US20190272459A1 (en) Electronic device and method for controlling external electronic device based on use pattern information corresponding to user
US20210192924A1 (en) Sensing device for sensing open-or-closed state of door and method for controlling the same
US11455833B2 (en) Electronic device for tracking user activity and method of operating the same
CN111902246B (zh) 用于控制外部电子装置的电子装置和方法
US11128713B2 (en) Method of controlling external electronic device and electronic device for supporting same
US11363189B2 (en) Apparatus and method for recognizing voice and face on basis of change in camera driving method
KR102607787B1 (ko) 전자 장치 및 전자 장치의 제어 방법
KR102606041B1 (ko) 상태 정보에 기반하여 식별 정보를 변경하는 전자 장치 및 상기 식별 정보를 확인할 수 있는 다른 전자 장치
US12019723B2 (en) Method for authenticating user and electronic device assisting same
CN112136129B (zh) 用于识别用户的电子设备及其控制方法
EP3900270B1 (en) System for processing user data and controlling method thereof
US11768233B2 (en) Method for identifying external device by registering features of EM signal and electronic device applying said method
KR20210122541A (ko) 데이터의 제공 방법 및 이를 지원하는 전자 장치
US11443135B2 (en) Method for monitoring object and electronic device for supporting the same
US11841958B2 (en) Method and electronic device for connection to external device
KR20210085159A (ko) 서버 장치와 데이터를 송수신하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant