Nothing Special   »   [go: up one dir, main page]

WO2018133666A1 - 视频目标跟踪方法和装置 - Google Patents

视频目标跟踪方法和装置 Download PDF

Info

Publication number
WO2018133666A1
WO2018133666A1 PCT/CN2018/070090 CN2018070090W WO2018133666A1 WO 2018133666 A1 WO2018133666 A1 WO 2018133666A1 CN 2018070090 W CN2018070090 W CN 2018070090W WO 2018133666 A1 WO2018133666 A1 WO 2018133666A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
feature
tracked
face
current
Prior art date
Application number
PCT/CN2018/070090
Other languages
English (en)
French (fr)
Inventor
余三思
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2018133666A1 publication Critical patent/WO2018133666A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present application relates to the field of computer technologies, and in particular, to a video object tracking method and apparatus.
  • Target tracking technology has always been a hotspot in the field of computer vision and image processing, and is widely used in the fields of intelligent monitoring, intelligent transportation, visual navigation, human-computer interaction, and defense reconnaissance.
  • Target tracking algorithms typically use one or several simple traditional feature matching algorithms to distinguish targets, such as using the color, shape, and other characteristics of the image itself.
  • the embodiment of the present application provides a video object tracking method and apparatus, which can improve the continuity and robustness of tracking.
  • the embodiment of the present application provides a method for video target tracking, which is applied to a terminal or a server, and the method includes:
  • the second face feature and the feature library perform feature matching on the current to-be-tracked target and the first to-be-tracked target to track the first to-be-tracked target from the first video frame, in the tracking process
  • the feature library is updated according to the extracted updated face features.
  • the embodiment of the present application further provides a video object tracking device, where the device includes:
  • machine readable instruction module executable by the processor;
  • a detecting module configured to acquire a video stream, and identify a face region according to a face detection algorithm, to obtain a first to-be-tracked target corresponding to the first video frame;
  • a face feature extraction module configured to obtain a first face feature by using a depth neural network based face feature extraction on the first to-be-tracked target, and storing the first face feature into the first to-be-tracked a feature library corresponding to the target;
  • the detecting module is further configured to: identify a face area according to a face detection algorithm in the current video frame, and obtain a current target to be tracked corresponding to the current video frame;
  • the face feature extraction module is further configured to obtain a second face feature by using a depth neural network based face feature extraction on the current target to be tracked;
  • a tracking module configured to perform feature matching between the current to-be-tracked target and the first to-be-tracked target according to the second facial feature and the feature library, to track the first to-be-being from the first video frame Track the target;
  • a learning module configured to update the feature library according to the extracted updated facial features during the tracking process.
  • the embodiment of the present application further provides a non-transitory computer readable storage medium storing machine readable instructions, the machine readable instructions being executable by a processor to perform the following operations:
  • the second face feature and the feature library perform feature matching on the current to-be-tracked target and the first to-be-tracked target to track the first to-be-tracked target from the first video frame, in the tracking process
  • the feature library is updated according to the extracted updated face features.
  • FIG. 1 is an application environment diagram of a video object tracking method according to an embodiment of the present application
  • FIG. 2 is an internal structural diagram of a terminal in FIG. 1 according to an embodiment of the present application
  • FIG. 3 is an internal structural diagram of the server in FIG. 1 in an embodiment of the present application;
  • FIG. 4 is a flowchart of a video object tracking method according to an embodiment of the present application.
  • FIG. 5 is a flowchart of obtaining an object to be tracked in an embodiment of the present application.
  • FIG. 6 is a flowchart of updating a feature library in an embodiment of the present application.
  • FIG. 7 is a schematic diagram showing matching comparison between a video target tracking algorithm and a template matching algorithm according to an embodiment of the present application.
  • FIG. 8 is another flowchart of obtaining a current target to be tracked in an embodiment of the present application.
  • FIG. 9 is a schematic diagram of a target tracking system corresponding to a video object tracking method according to an embodiment of the present application.
  • FIG. 10 is a schematic diagram of video tracking results obtained by a video target tracking algorithm according to an embodiment of the present application.
  • FIG. 11 is a schematic diagram showing video tracking results obtained by a TLD tracking algorithm according to an embodiment of the present application.
  • FIG. 12 is a schematic structural diagram of a video object tracking apparatus according to an embodiment of the present application.
  • FIG. 13 is another schematic structural diagram of a video object tracking apparatus according to an embodiment of the present application.
  • FIG. 14 is another schematic structural diagram of a video object tracking apparatus according to an embodiment of the present application.
  • FIG. 15 is another schematic structural diagram of a video object tracking apparatus according to an embodiment of the present application.
  • FIG. 16 is another schematic structural diagram of a video object tracking apparatus according to an embodiment of the present application.
  • FIG. 1 is an application environment diagram of a video target tracking method in an embodiment of the present application.
  • the application environment includes a terminal 110, a server 120, and a video capture device 130.
  • the terminal 110, the server 120, and the video capture device 130 communicate through the network 140.
  • the terminal 110 may be a smart phone, a tablet computer, a notebook computer, a desktop computer, etc., but is not limited thereto.
  • the video capture device 130 can be a camera disposed at a location such as an entrance to a building.
  • Network 140 can be a wired network or a wireless network.
  • the video capture device 130 may send the collected video stream to the terminal 110 or the server 120, and the terminal 110 or the server 120 may perform target tracking on the video stream.
  • the video capture device 130 may directly perform target tracking on the video stream, and send the tracking result to the terminal 110 for display.
  • the internal structure of the terminal 110 in FIG. 1 is as shown in FIG. 2, and the terminal 110 includes a processor 1102, a graphics processing unit 1103, a storage medium 1104, a memory 1105, and a network connected through a system bus 1101. Interface 1106, display screen 1107, and input device 1108.
  • the storage medium 1104 of the terminal 110 stores an operating system 11041 and a first video object tracking device 11042.
  • the device 11042 is configured to implement a video object tracking method suitable for the terminal 110.
  • the processor 1102 is configured to provide computing and control capabilities to support operation of the entire terminal 110.
  • the graphics processing unit 1103 in the terminal 110 is operative to provide at least the rendering capabilities of the display interface.
  • Memory 1105 provides an environment for operation of first video target tracking device 11042 in storage medium 1104.
  • the network interface 1106 is configured to perform network communication with the video capture device 130, such as receiving a video stream collected by the video capture device 130.
  • the display screen 1107 is for displaying a tracking result and the like.
  • the input device 1108 is configured to receive commands or data input by the user, and the like.
  • display screen 1107 and input device 1108 can be touch screens.
  • the structure shown in FIG. 2 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation of the terminal 110 to which the solution of the present application is applied.
  • the specific terminal 110 may include the same as shown in FIG. More or fewer parts, or some parts, or different parts.
  • the server 120 includes a processor 1202, a storage medium 1203, a memory 1204, and a network interface 1205 connected through a system bus 1201.
  • the storage medium 1203 of the server 120 stores an operating system 12031, a database 12032, and a second video target tracking device 12033.
  • Database 12032 is used to store data.
  • the second video object tracking device 12033 is configured to implement a video object tracking method suitable for the server 120.
  • the processor 1202 of the server 120 is used to provide computing and control capabilities to support the operation of the entire server 120.
  • the memory 1204 of the server 120 provides an environment for the operation of the second video object tracking device 12033 in the storage medium 1203.
  • the network interface 1205 of the server 120 is configured to communicate with the external video capture device 130 via a network connection, such as receiving a video stream sent by the video capture device 130.
  • a video object tracking method is provided, which is applied to the terminal 110, the server 120, or the video collection device 130 in the application environment, and the method may be implemented by any of the applications.
  • the video target tracking device provided by the example performs the following steps:
  • Step S210 Acquire a video stream, and identify a face region according to the face detection algorithm to obtain a first to-be-tracked target corresponding to the first video frame.
  • the video stream can be acquired by a video capture device distributed at the entrance of the building. If the video target tracking method is applied to a video capture device, the video stream can be obtained directly from the memory of the video capture device. If the video target tracking method is applied to a terminal or a server, the video capture device can transmit the collected video stream to the terminal or server in real time.
  • Face detection refers to searching for a given image with a certain strategy to determine whether it contains a face, and if so, returning the position, size and posture of the face.
  • the face area (such as the rectangular frame shown in FIG. 10) may be displayed by a recommendation box to obtain a first target to be tracked corresponding to the first video frame.
  • the face area is determined as the first target to be tracked. Since multiple faces may be detected in one frame, there may be multiple first to-be-tracked targets. If there are multiple first to-be-tracked targets, different face areas may be identified by different identification information, such as different face areas by different recommended frames.
  • the face detection algorithm can be customized according to needs, such as using NPD (Normalized Pixel Difference) face detection algorithm, or combining NPD face detection algorithm with other algorithms to improve the accuracy of determining the target to be tracked. Sex.
  • NPD Normalized Pixel Difference
  • Step S220 The first face feature is obtained by the face feature extraction based on the depth neural network for the first target to be tracked, and the first face feature is stored in the feature library corresponding to the first target to be tracked.
  • deep neural network is a machine learning model under deep learning.
  • Deep learning is a branch of machine learning. It is an algorithm that uses high-level abstraction of data using multiple processing layers consisting of complex structures or multiple nonlinear transforms.
  • the deep neural network can adopt the VGG (Visual Geometry Group) network structure, and the recall rate and accuracy of the VGG network structure are better than the target matching algorithm.
  • VGG Visual Geometry Group
  • a target identifier may be assigned to each of the first to-be-tracked targets, and a feature database is established, and an association relationship is established for each of the first to-be-tracked targets and their corresponding first facial features.
  • the association relationship and the first facial feature are stored to a feature library corresponding to the first to-be-tracked target.
  • Step S230 the current video frame is identified according to the face detection algorithm, and the current target to be tracked corresponding to the current video frame is obtained, and the second face feature is obtained by extracting the face feature based on the depth neural network for the current target to be tracked.
  • the second facial features are matched with the first facial features corresponding to the first target to be tracked in the feature database.
  • the specific algorithm of feature matching can be customized, for example, the Euclidean distance of the vector corresponding to the face feature can be directly calculated, and whether the match can be successfully determined according to the Euclidean distance. If the second facial feature matches the first facial feature successfully, it is determined that the current target to be tracked is the continuous moving target of the first target to be tracked. If there are multiple targets to be tracked, each current target to be tracked constitutes a current target group to be tracked, and the second face features corresponding to each current target to be tracked in the current target group to be tracked are respectively associated with each history in the feature library. The face features corresponding to the target to be tracked are matched. If the matching is successful, the target identifier of the historical target to be tracked is used as the target identifier of the current target to be tracked, and the current target to be tracked is the position after the historical target to be tracked.
  • the feature library may be updated according to the extracted updated facial features during the tracking process, such as when the illumination continuously changes or the side face, the updated face of the first target to be tracked in other frames is obtained.
  • a feature if the updated facial feature is different from the first facial feature, the updated facial feature having the difference may be added to the feature database corresponding to the first to-be-tracked target, and the updated facial feature is the first Correlating the target identifier of the target to be tracked, and storing the association relationship in the feature library, so that when the first target to be tracked has a larger angle of side face or a light intensity change of a larger light intensity in other frames,
  • the second face feature corresponding to the current target to be tracked may be matched with the updated face feature of the first target to be tracked, and the difference between the feature matching directly with the first face feature is smaller, thereby increasing feature matching.
  • the probability of success reduces the sensitivity of the target tracking process to tracking changes, tilting, occlusion, and illumination changes, and improves tracking continuity and robustness.
  • the feature library can save a large number of face features corresponding to the first target to be tracked in different frames, and in the case that the first target to be tracked disappears, the feature library corresponding to the first target to be tracked can be saved previously.
  • the face features before the disappearance of the first target to be tracked are feature-matched, so that a good tracking effect is achieved for the intermittently occurring target.
  • the update signature database updates a positive and negative sample library by tracking and detection, which is equivalent to a semi-online tracking algorithm. Compared with the full offline tracking algorithm, it has a better recall rate, compared to the fully online tracking algorithm. Shows a higher accuracy rate.
  • the video stream is obtained, the face region is identified according to the face detection algorithm, and the first target to be tracked corresponding to the first video frame is obtained, and the face feature based on the depth neural network is adopted for the first target to be tracked.
  • Extracting the first facial feature adding the first facial feature to the feature database, and identifying the face region according to the face detection algorithm in the current video frame, and obtaining the current target to be tracked corresponding to the current video frame, and the current target to be tracked
  • the second facial feature is obtained by the face feature extraction based on the deep neural network, and the current target to be tracked is matched with the first target to be tracked according to the second facial feature and the feature library to start from the first video frame.
  • the target tracking algorithm can be solved because the face is not well utilized Features, frequent occurrences of mistakes, deviations, and misses can not re-follow the correct tracking target, thus saving Resources, client or server device, to enhance the processing speed of a processor or a terminal server.
  • the feature library is continuously updated during the tracking process, which can save different face features corresponding to the target to be tracked in different states, thereby improving the success rate of face feature matching, reducing the change, tilt, and tracking of the target tracking process.
  • the sensitivity of occlusion and illumination changes improves tracking continuity and robustness, which in turn increases the processing speed of the processor of the terminal or server.
  • the method further includes: identifying a face identity information corresponding to each target to be tracked by a face recognition algorithm according to a face state of each target to be tracked, and obtaining a face by using an image feature extraction algorithm.
  • the target feature corresponding to the identity information.
  • the face state refers to the state of the deflection angle of the face.
  • the corresponding face identity information can be identified by the face recognition algorithm.
  • the face identity information is used to describe the identity of the face.
  • the face recognition refers to searching and matching the feature data of the extracted face image with a feature template stored in the database, such as a face feature template, and determining the face identity information according to the degree of similarity. For example, when performing face recognition on an employee entering the enterprise, a feature template of each employee in the enterprise, such as a face feature template, is stored in advance in the database, thereby storing the feature data of the currently extracted face image and the database. The face feature template is compared to get the employee's face identity information.
  • the specific content of the face identity information can be customized according to needs, such as employee name, job number, and department.
  • the image feature extraction algorithm extracts feature data according to characteristics of the image itself, such as a color feature, a texture feature, a shape feature, a spatial relationship feature, and the like, to obtain a target feature, wherein the target feature is a set of all the feature data extracted.
  • the relationship between the target feature and the face identity information such as clothing color, clothes texture, human body shape, height ratio, etc., is stored in the database. In this way, when the face is deflected and covered, the identification of the identity and the determination of the face area can be performed by other target features.
  • the step of identifying the face area according to the face detection algorithm in the current video frame in step S230, and obtaining the current target to be tracked corresponding to the current video frame includes:
  • Step S231 determining whether the current video frame recognizes the face region according to the face detection algorithm, and if the face region is not recognized, acquiring the current image feature corresponding to the current video frame according to the image feature extraction algorithm.
  • the detection may fail due to the face bias.
  • the current image feature corresponding to the current video frame needs to be acquired according to the image feature extraction algorithm.
  • Step S232 comparing the current image feature with the target feature to obtain the matched target face identity information, and obtaining the current target to be tracked corresponding to the current video frame according to the target face identity information.
  • the current image feature can be compared with the target feature to calculate the similarity. If the similarity exceeds the threshold, the matching is successful, and the matching target feature can be obtained.
  • the target face identity information so that the current target to be tracked corresponding to the current video frame is obtained according to the target face identity information. Then, the current target to be tracked is matched with the first target to be tracked by the face identity information, thereby implementing tracking of the first target to be tracked.
  • the face identity information is introduced into the target tracking, and the face feature is combined with the image feature, and the face detection algorithm can also track the target when the face detection algorithm cannot recognize the face region, thereby further improving the continuity of the tracking. And robustness.
  • step S220 may include: acquiring first face identity information corresponding to the first target to be tracked, establishing a first face feature set corresponding to the first face identity information, and using the first face feature Adding the first facial feature set and storing the first facial feature set to a feature library corresponding to the first target to be tracked.
  • the first to-be-tracked target may be subjected to face recognition to obtain first face identity information corresponding to the first target to be tracked.
  • the first facial feature set is used to store the first facial features of the first target to be tracked in different states during the motion, and the different states include different angles, different illuminations, different coverage ranges, and the like. Adding a first facial feature obtained by extracting the facial features to the first facial feature set, and establishing an association relationship between the first facial feature set and the first facial identity information, and the associated relationship and the first The set of face features is stored to a feature library corresponding to the first target to be tracked.
  • the step of updating the feature library according to the extracted updated facial features in the tracking process in step S230 may include:
  • Step S233 Acquire current face identity information corresponding to the current target to be tracked, and obtain a first face feature set corresponding to the current face identity information from the feature database.
  • the current face identity information corresponding to the current target to be tracked may be obtained by performing face recognition on the current target to be tracked.
  • the current image feature corresponding to the current target to be tracked may be obtained by applying an image feature extraction algorithm to the current target to be tracked, and then the current image feature is matched with the target feature, and the matching target feature is matched.
  • the face identity information is used as the current face identity information, so that the current face identity information can also be obtained when the current target to be tracked cannot recognize the face region.
  • the first face feature set corresponding to the current face identity information is obtained, indicating that the current target to be tracked and the first target to be tracked are the same target.
  • Step S234 calculating a difference between the first facial feature and the second facial feature in the first facial feature set, and if the difference exceeds a preset threshold, adding a second facial feature in the first facial feature set .
  • the custom algorithm calculates a difference amount of the second facial feature and the first facial feature in the first facial feature set. If the first face feature in the first face feature set is plural, the difference amount between the second face feature and each first face feature is separately calculated, and a plurality of difference amounts are obtained. The difference amount indicates the difference between the second face feature and the face feature of the same tracking target that has been saved in the feature database. The larger the difference, the larger the face state change of the tracking target. If the difference amount exceeds the preset threshold, the second face feature is added to the first face feature set, and the added second face feature is available for subsequent feature matching. The more face features stored in the face feature set, the more it can characterize the same track target in different states.
  • the current target to be tracked is considered to be the first target.
  • the matching of the target to be tracked is successful, thereby increasing the probability of successful matching, reducing the sensitivity of the target tracking process to the change, tilt, occlusion, and illumination changes of the tracking target, and improving the continuity and robustness of the tracking.
  • step S220 may include: performing facial feature extraction on the first to-be-tracked target through the depth neural network to obtain the first feature vector.
  • the first feature vector is obtained, and the dimension of the first feature vector is determined by the face feature extraction model.
  • Step S230 includes: performing a facial feature extraction on the current target to be tracked to obtain a second feature vector, and calculating an Euclidean distance between the first feature vector and the second feature vector. If the Euclidean distance is less than a preset threshold, determining The first to-be-tracked target is successfully matched with the current target feature to be tracked.
  • the pixel value corresponding to the current target to be tracked is input to the face feature extraction model, and the second feature vector is obtained.
  • the Euclidean distance of the first feature vector and the second feature vector represents the similarity between the current target to be tracked and the first target to be tracked. If the Euclidean distance is less than the preset threshold, it is determined that the current target to be tracked and the first target to be tracked are successfully matched, indicating that the current target to be tracked is the same target as the first target to be tracked, and the tracking target is achieved.
  • the network structure of the deep neural network may be an 11-layer network layer, including a stacked convolutional product network and a fully connected layer, and the stacked convolutional product network is composed of multiple convolution layers and
  • the maxpool layer is composed of specific network structures:
  • conv3 represents a convolutional layer with a radius of 3
  • LRN represents the LRN layer
  • max pool represents the maxpool layer
  • FC represents a fully connected layer.
  • the network structure is a simplified deep neural network VGG network structure, wherein 64*2 represents two 64 groups, the LRN layer is a parameter-free layer for training, and the FC2048 represents a fully connected layer with a 2048 dimension vector.
  • the output of the last fully connected layer FC1024 is the face feature obtained by feature extraction, which is a 1024-dimensional vector.
  • the optimized face features obtained by the simplified VGG network structure perform much better than the matching modules in the TLD (Tracking-Learning-Detection). The efficiency of face feature extraction is greatly improved, and the real-time performance required by the tracking algorithm is achieved.
  • the resolution of the target to be tracked can be controlled to be 112*112 pixels to reduce computational complexity.
  • FIG. 7 is a schematic diagram of matching matching of the face feature extraction algorithm VGG-S corresponding to the VGG network structure and the template matching algorithm match template. As shown in Fig. 7, the abscissa represents the recall rate and the ordinate represents the accuracy. It can be seen that the face feature extraction algorithm corresponding to the VGG network structure has better accuracy in feature matching and improves the correct rate of target tracking.
  • step S230 the step of identifying the face region according to the face detection algorithm in the current video frame, and obtaining the current target to be tracked corresponding to the current video frame may include: normalizing the pixel difference feature and the human body
  • the half body identification algorithm identifies the face area in the current video frame, and obtains the current target to be tracked corresponding to the current video frame.
  • the face detection is performed based on the normalized Pixel Difference (NPD), and the obtained return value is used as a face region recommendation frame.
  • NPD normalized Pixel Difference
  • the AdaBoost structure strong classifier can be used to identify and distinguish based on the NPD feature.
  • human face The human body half-length recognition algorithm can be defined according to needs, and can perform upper body detection. According to the upper body detection, the face area recommendation box can be screened, and the partial recognition frame of the face area can be filtered out, which greatly improves the recall rate and accuracy of the face area detection. The rate improves the overall performance of the target tracking.
  • the step of identifying the face area according to the face detection algorithm in the current video frame in step S230, and obtaining the current to-be-tracked target corresponding to the current video frame may include:
  • Step S235 identifying a face region based on the normalized pixel difference feature, and obtaining a first recommended region in the current video frame.
  • Step S236, calculating, according to the optical flow analysis algorithm, that the first target to be tracked is in the second recommended area corresponding to the current video frame.
  • the optical flow analysis algorithm assumes that a pixel I(x, y, t) is at the light intensity of the first frame, and it moves the distance of (dx, dy) to the next frame, using the dt time. Since the pixels are the same, the light intensity does not change.
  • the vector velocity model corresponding to the first target to be tracked is calculated by using the optical flow analysis principle, and the current video frame and the previous frame of the current video frame and the first target to be tracked are input to the vector velocity model.
  • the second recommended area corresponding to the current video frame of the first to-be-tracked target may be obtained, that is, the position where the first to-be-tracked target may appear in the current video frame.
  • Step S237 obtaining a current target to be tracked according to the first recommended area and the second recommended area.
  • the second recommended area according to the optical flow analysis algorithm is an area that the first to-be-tracked target may move based on the historical moving speed, and the distance between the second recommended area and the second recommended area may be excluded according to the position of the second recommended area.
  • the first recommended area and the second recommended area may all be used as the current target to be tracked. If the first target to be tracked is multiple, each of the first to-be-tracked targets has a corresponding second recommended area.
  • the normalized pixel difference feature is combined with the optical flow analysis algorithm to obtain the current target to be tracked, because the addition of a priori information improves the accuracy of subsequent feature matching.
  • step S237 may include: performing motion prediction according to inter-frame correlation to obtain an expected motion range, and screening the first recommended area and the second recommended area according to the expected motion range to obtain a current target to be tracked.
  • the inter-frame correlation uses the historical position information and the motion trajectory to predict the position of the target in the next frame or frames, which is equivalent to using the prior information to adjust the credibility of the NPD algorithm.
  • the first recommended area and the second recommended area outside the expected motion range are filtered out to obtain the current target to be tracked, which reduces the matching number of subsequent calculated feature matching, and improves the matching efficiency and accuracy.
  • the video target tracking method may complete video target tracking by using three modules as shown in FIG. 9, including a tracking module 310, a detecting module 320, and a learning module 330.
  • the video stream is obtained, and the face region is identified according to the face detection algorithm, and the first to-be-tracked target corresponding to the first video frame is obtained, and the tracking is started from the video frame where the first to-be-tracked target is located, and the tracking module 310
  • the tracking target obtains the first facial feature by facial feature extraction based on the depth neural network, and adds the first facial feature to the feature library, and the learning module 330 updates the feature database according to the tracking condition, and the detecting module 320 continuously obtains the current video frame.
  • the tracking module 310 matches the current target to be tracked with the first target to be tracked according to the updated feature database to track the first target to be tracked.
  • the schematic diagram of the tracking area obtained by using the video target tracking method described above may be as shown in FIG. 10, and the tracking area obtained by using the TLD tracking algorithm may be as shown in FIG. 11.
  • the tracking area of the video object tracking method proposed by the embodiment of the present application is more accurate than the tracking area of the TLD tracking algorithm, and the TLD tracking algorithm may fail to track when the face is completely deflected.
  • the video target tracking method proposed in the embodiment of the present application can still track success when the face is completely deflected.
  • the correct rate and recall rate are improved compared to the TLD tracking algorithm.
  • the specific data is as follows:
  • Unmanned head detection version The accuracy rate is increased by about 5 percentage points, the error rate is reduced by 100%, and the target tracking loss rate is reduced by 25%.
  • the header detection version the accuracy rate is increased by about 1%, the error rate is reduced by 100%, and the target tracking loss rate is reduced by 15%.
  • a 3.5G CPU and an Nvidia Geforce Gtx 775m machine have a single frame processing time of about 40ms and a frame rate of 25FPS or more.
  • the above video target tracking method is more accurate than the traditional method, which provides the possibility and convenience for subsequent personnel flow statistics, identification and behavior analysis requirements, and the performance performance also satisfies the requirements of online processing, and improves the monitoring and analysis system. Accuracy, scalability and applicability, which in turn increases the processing speed of the hardware processor and improves the processing performance of the processor.
  • a video object tracking device is provided, and the device may include:
  • the detecting module 410 is configured to acquire a video stream, and identify a face region according to the face detection algorithm to obtain a first to-be-tracked target corresponding to the first video frame.
  • the facial feature extraction module 420 is configured to obtain the first facial feature by using the facial feature extraction based on the depth neural network for the first to-be-tracked target, and store the first facial feature into the first Track the feature library corresponding to the target.
  • the detecting module 410 is further configured to: in the current video frame, identify the face region according to the face detection algorithm, and obtain the current target to be tracked corresponding to the current video frame.
  • the facial feature extraction module 420 is further configured to obtain a second facial feature by using a depth neural network based facial feature extraction on the current target to be tracked.
  • the tracking module 430 is configured to perform feature matching between the current target to be tracked and the first target to be tracked according to the second face feature and the feature library to track the first target to be tracked from the first video frame.
  • the learning module 440 is configured to update the feature library according to the extracted updated facial features during the tracking process.
  • the device further includes:
  • the feature identity processing module 450 is configured to identify, according to the face state of the target to be tracked, the corresponding face identity information by using a face recognition algorithm, and obtain the target feature corresponding to the face identity information according to the image feature extraction algorithm, and serve the target Feature and face identity information are related.
  • the detecting module 410 can include:
  • the image feature extraction unit 411 is configured to determine whether the current video frame recognizes the face region according to the face detection algorithm. If the face region is not recognized, the current image feature corresponding to the current video frame is acquired according to the image feature extraction algorithm.
  • the identity matching unit 412 is configured to compare the current image feature with the target feature to obtain matching target facial identity information based on the association relationship.
  • the first tracking target determining unit 413 is configured to obtain a current target to be tracked corresponding to the current video frame according to the target facial identity information.
  • the facial feature extraction module 420 is further configured to acquire first facial identity information corresponding to the first target to be tracked, and establish a first facial feature set corresponding to the first facial identity information, A face feature is added to the first face feature set and the first face feature set is stored to the feature library.
  • the learning module 440 is further configured to acquire current face identity information corresponding to the current target to be tracked, obtain a first face feature set corresponding to the current face identity information from the feature database, and calculate a first face in the first face feature set. The amount of difference between the feature and the second face feature, if the amount of difference exceeds a preset threshold, adding a second face feature to the first face feature set.
  • the detecting module 410 is further configured to identify a face region in the current video frame based on the normalized pixel difference feature and the human body half body recognition algorithm, to obtain a current target to be tracked corresponding to the current video frame.
  • the detecting module 410 may include:
  • the first recommending unit 414 is configured to identify the face region based on the normalized pixel difference feature, and obtain the first recommended region in the current video frame.
  • the second recommending unit 415 calculates, according to the optical flow analysis algorithm, that the first target to be tracked is in the second recommended area corresponding to the current video frame.
  • the second tracking target determining unit 416 is configured to obtain the current target to be tracked according to the first recommended area and the second recommended area.
  • the second tracking target determining unit 416 is further configured to perform motion prediction according to the inter-frame correlation to obtain an expected motion range, and filter the first recommended area and the second recommended area according to the expected motion range to obtain the current target to be tracked. .
  • the network structure of the deep neural network is an 11-layer network layer, including a stacked convolutional product network and a fully connected layer, and the stacked convolutional product network consists of multiple convolution layers and maxpool.
  • Layer composition the specific network structure is:
  • conv3 represents a convolutional layer with a radius of 3
  • LRN represents the LRN layer
  • max pool represents the maxpool layer
  • FC represents the fully connected layer.
  • the facial feature extraction module 420 is further configured to perform facial feature extraction on the first to-be-tracked target through the depth neural network to obtain a first feature vector, and perform a face on the current target to be tracked through the deep neural network. Feature extraction yields a second feature vector.
  • the tracking module 430 is further configured to calculate an Euclidean distance between the first feature vector and the second feature vector, and if the Euclidean distance is less than a preset threshold, determine that the first to-be-tracked target matches the current target feature to be tracked successfully.
  • FIG. 15 is another schematic structural diagram of a video object tracking apparatus according to an embodiment of the present application.
  • the video object tracking device includes a processor 510, a memory 520 coupled to the processor 510, and a port 530 for transmitting and receiving data.
  • the memory 520 stores a machine readable instruction module executable by the processor 510, the machine readable instruction module comprising:
  • the detecting module 521 is configured to acquire a video stream, and identify a face region according to the face detection algorithm to obtain a first to-be-tracked target corresponding to the first video frame.
  • the facial feature extraction module 522 is configured to obtain the first facial feature by using the facial feature extraction based on the depth neural network for the first to-be-tracked target, and store the first facial feature into the first Track the feature library corresponding to the target.
  • the detecting module 521 is further configured to identify the face area according to the face detection algorithm in the current video frame, and obtain the current target to be tracked corresponding to the current video frame.
  • the facial feature extraction module 522 is further configured to obtain a second facial feature by using a depth neural network based facial feature extraction on the current target to be tracked.
  • the tracking module 523 is configured to perform feature matching between the current target to be tracked and the first target to be tracked according to the second face feature and the feature library to track the first target to be tracked from the first video frame.
  • the learning module 524 is configured to update the feature library according to the extracted updated facial features during the tracking process.
  • the machine readable instruction module may further include:
  • the feature identity processing module 525 is configured to identify the corresponding face identity information by using a face recognition algorithm according to the face state of the target to be tracked, and obtain the target feature corresponding to the face identity information according to the image feature extraction algorithm, and serve the target Feature and face identity information are related.
  • the specific functions and implementation manners of the foregoing detection module 521, the face feature extraction module 522, the tracking module 523, the learning module 524, and the feature identity processing module 525 may refer to the related descriptions of the foregoing modules 410 to 450. I will not repeat them here.
  • the program can be stored in a non-volatile computer readable storage medium.
  • the program may be stored in a storage medium of the computer system and executed by at least one processor in the computer system to implement a flow including an embodiment of the methods as described above.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).
  • the embodiments of the present application can be implemented by means of software plus a necessary general hardware platform, that is, the machine hardware readable instructions are used to instruct related hardware.
  • hardware can also be used, but in many cases the former is a better implementation.
  • the technical solution of the embodiments of the present application may be embodied in the form of a software product in essence or in the form of a software product stored in a storage medium, including a plurality of instructions.
  • a terminal device (which may be a cell phone, a personal computer, a server, or a network device, etc.) is caused to perform the methods described in the various embodiments of the present application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种视频目标跟踪的方法和装置，该方法可应用于终端或服务器，包括：获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标(S210)；对第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，将所述第一人脸特征存入第一待跟踪目标对应的特征库(S220)；在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据第二人脸特征和所述特征库将当前待跟踪目标与第一待跟踪目标进行特征匹配，以从第一视频帧开始跟踪第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新特征库(S230)。

Description

视频目标跟踪方法和装置
本申请要求于2017年1月17日提交中国专利局、申请号为201710032132.6，发明名称为“视频目标跟踪的方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，特别是涉及一种视频目标跟踪方法和装置。
背景技术
目标跟踪技术一直以来都是计算机视觉和图像处理领域的热点，被广泛应用在智能监控、智能交通、视觉导航、人机交互、国防侦察等领域。
目标跟踪算法通常使用一种或数种简单的传统特征匹配算法来区分目标，如利用图像本身的颜色、形状等特征。
发明内容
本申请实施例提供一种视频目标跟踪方法和装置，能够提高跟踪的连续性和鲁棒性。
本申请实施例提供一种视频目标跟踪的方法，应用于终端或服务器，所述方法包括：
获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标；
对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库；
在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对所述当前待跟踪目标通过基于深度神经网络的 人脸特征提取得到第二人脸特征，根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新所述特征库。
本申请实施例还提供一种视频目标跟踪装置，所述装置包括：
处理器以及与所述处理器相连接的存储器，所述存储器中存储有可由所述处理器执行的机器可读指令模块；所述机器可读指令模块包括：
检测模块，用于获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标；
人脸特征提取模块，用于对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库；
所述检测模块还用于在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标；
所述人脸特征提取模块还用于对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征；
跟踪模块，用于根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标；
学习模块，用于在跟踪过程中根据提取的更新的人脸特征更新所述特征库。
本申请实施例还提供一种非易失性计算机可读存储介质，所述存储介质中存储有机器可读指令，所述机器可读指令可以由处理器执行以完成以下操作：
获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对 应的第一待跟踪目标；
对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库；
在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新所述特征库。
附图说明
图1为本申请一个实施例中视频目标跟踪方法的应用环境图；
图2为本申请一个实施例中图1中终端的内部结构图；
图3为本申请一个实施例中图1中服务器的内部结构图；
图4为本申请一个实施例中视频目标跟踪方法的流程图；
图5为本申请一个实施例中得到当前待跟踪目标的流程图；
图6为本申请一个实施例中更新特征库的流程图；
图7为本申请一个实施例中视频目标跟踪算法与模板匹配算法匹配对比示意图；
图8为本申请一个实施例中得到当前待跟踪目标的另一流程图；
图9为本申请一个实施例中视频目标跟踪方法对应的目标跟踪系统示意图；
图10为本申请一个实施例中视频目标跟踪算法得到的视频跟踪结果示意图；
图11为本申请一个实施例中TLD跟踪算法得到的视频跟踪结果示 意图；
图12为本申请一个实施例中视频目标跟踪装置的结构示意图；
图13为本申请一个实施例中视频目标跟踪装置的另一结构示意图；
图14为本申请一个实施例中视频目标跟踪装置的另一结构示意图；
图15为本申请一个实施例中视频目标跟踪装置的另一结构示意图；
图16为本申请一个实施例中视频目标跟踪装置的另一结构示意图。
具体实施方式
图1为本申请一个实施例中视频目标跟踪方法运行的应用环境图。如图1所示，该应用环境包括终端110、服务器120、以及视频采集装置130，其中，终端110、服务器120、视频采集装置130通过网络140进行通信。
在本申请一些实施例中，终端110可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。视频采集装置130可为摄像头，布置在建筑物入口处等位置。网络140可以是有线网络也可以是无线网络。在本申请一些实施例中，视频采集装置130可将采集的视频流发送至终端110或服务器120，终端110或服务器120可对视频流进行目标跟踪。在本申请另一些实施例中，视频采集装置130也可直接对视频流进行目标跟踪，并将跟踪结果发送至终端110进行显示。
在本申请一个实施例中，图1中的终端110的内部结构如图2所示，该终端110包括通过系统总线1101连接的处理器1102、图形处理单元1103、存储介质1104、内存1105、网络接口1106、显示屏幕1107和输入设备1108。其中，终端110的存储介质1104存储有操作系统11041以及第一视频目标跟踪装置11042，该装置11042用于实现一种适用于终端110的视频目标跟踪方法。处理器1102用于提供计算和控制能力，支撑整个终端110的运行。终端110中的图形处理单元1103用于至少提 供显示界面的绘制能力。内存1105为存储介质1104中的第一视频目标跟踪装置11042的运行提供环境。网络接口1106用于与视频采集装置130进行网络通信，如接收视频采集装置130采集的视频流等。显示屏幕1107用于显示跟踪结果等。输入设备1108用于接收用户输入的命令或数据等。对于带触摸屏的终端110，显示屏幕1107和输入设备1108可为触摸屏。图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端110的限定，具体的终端110可以包括比图2中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本申请一个实施例中，图1中服务器120的内部结构如图3所示，该服务器120包括通过系统总线1201连接的处理器1202、存储介质1203、内存1204和网络接口1205。其中，该服务器120的存储介质1203存储有操作系统12031、数据库12032、第二视频目标跟踪装置12033。数据库12032用于存储数据。第二视频目标跟踪装置12033用于实现一种适用于服务器120的视频目标跟踪方法。该服务器120的处理器1202用于提供计算和控制能力，支撑整个服务器120的运行。该服务器120的内存1204为存储介质1203中的第二视频目标跟踪装置12033的运行提供环境。该服务器120的网络接口1205用于与外部的视频采集装置130通过网络连接通信，比如接收视频采集装置130发送的视频流等。
如图4所示，在本申请一个实施例中，提供了一种视频目标跟踪方法，其应用于上述应用环境中的终端110、服务器120或视频采集装置130，该方法可由本申请任一实施例提供的视频目标跟踪装置执行，包括如下步骤：
步骤S210，获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标。
具体的，视频流可由分布在建筑物入口处的视频采集装置采集得到。 如果视频目标跟踪方法应用于视频采集装置，则可直接从视频采集装置的存储器中获得到视频流。如果视频目标跟踪方法应用于终端或服务器，则视频采集装置可实时将采集到的视频流发送至终端或服务器。
人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是，则返回人脸的位置、大小和姿态。在本申请一些实施例中，可通过推荐框的方式显示人脸区域(如图10中所示的矩形框)，得到第一视频帧对应的第一待跟踪目标。通过不断地对视频流进行人脸检测，直到检测到有人脸出现，将人脸区域确定为第一待跟踪目标。由于一帧中可能检测到多个人脸，故第一待跟踪目标可能为多个。如果有多个第一待跟踪目标，则可通过不同的标识信息标识不同的人脸区域，如通过不同颜色的推荐框标识不同的人脸区域。人脸检测算法可根据需要自定义，如采用NPD(Normalized Pixel Difference，归一化的像素差异特征)人脸检测算法，或将NPD人脸检测算法与其它算法结合以提高确定待跟踪目标的准确性。
步骤S220，对第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入第一待跟踪目标对应的特征库。
具体的，深度神经网络是一种深度学习下的机器学习模型。深度学习是机器学习的分支，是使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度神经网络可采用VGG(Visual Geometry Group)网络结构，通过VGG网络结构比通过特征匹配算法进行区分目标的召回率和准确率高。
为第一待跟踪目标分配一个目标标识并建立特征库，为所述目标标识和特征库建立关联关系并保存所述关联关系。当第一待跟踪目标为多个时，可为每个第一待跟踪目标分配目标标识并建立特征库，为每个第一待跟踪目标和其对应的第一人脸特征建立关联关系，将所述关联关系 以及第一人脸特征存储至该第一待跟踪目标对应的特征库。通过引用人脸特征进行特征匹配，可解决目标跟踪算法由于没有较好地利用人脸特征，故而频繁出现跟错、跟偏和跟丢后无法重新正确找回跟踪目标的问题。
步骤S230，在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据第二人脸特征和特征库将当前待跟踪目标与第一待跟踪目标进行特征匹配，以从第一视频帧开始跟踪第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新特征库。
具体的，将第二人脸特征与特征库中第一待跟踪目标对应的各个第一人脸特征进行特征匹配。特征匹配的具体算法可自定义，如可直接计算人脸特征对应的矢量的欧式距离，根据欧式距离判断是否能匹配成功。如果第二人脸特征与第一人脸特征匹配成功，则确定当前待跟踪目标为第一待跟踪目标的连续运动目标。如果当前待跟踪目标有多个，则每个当前待跟踪目标组成当前待跟踪目标集合，将当前待跟踪目标集合中的各个当前待跟踪目标对应的第二人脸特征分别与特征库中各个历史待跟踪目标对应的人脸特征进行匹配，如果匹配成功，则将历史待跟踪目标的目标标识作为当前待跟踪目标的目标标识，当前待跟踪目标的位置为历史待跟踪目标运动后的位置。
在本申请一些实施例中，可在跟踪过程中根据提取的更新的人脸特征更新特征库，如在光照连续变化或侧脸时，会得到第一待跟踪目标在其它帧的更新的人脸特征，如果该更新的人脸特征与第一人脸特征存在差异，可将存在差异的更新的人脸特征加入第一待跟踪目标对应的特征库，并为该更新的人脸特征与第一待跟踪目标的目标标识建立关联关系，并将所述关联关系存储在特征库中，从而在第一待跟踪目标在其它帧中 存在更大角度的侧脸或更大光强的光线变化时，可将当前待跟踪目标对应的第二人脸特征与第一待跟踪目标的更新的人脸特征进行特征匹配，比直接与第一人脸特征进行特征匹配时的差异小，从而加大特征匹配成功的概率，减小目标跟踪过程对跟踪目标的变化、倾斜、遮盖、光照变化的敏感度，提高跟踪的连续性和鲁棒性。且通过特征库可保存大量第一待跟踪目标在不同帧对应的人脸特征，在第一待跟踪目标消失后又出现的情况下，可利用第一待跟踪目标对应的特征库中之前已保存的第一待跟踪目标消失前的人脸特征进行特征匹配，从而对间断出现的目标达到良好的跟踪效果。更新特征库是通过跟踪和检测来更新一个正负样本库，相当于一个半在线的跟踪算法，相比于完全离线的跟踪算法有更好的召回率，相比于完全在线的跟踪算法则能表现出更高的准确率。
在本申请实施例中，通过获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标，对第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，将所述第一人脸特征加入特征库，在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据第二人脸特征和所述特征库将当前待跟踪目标与第一待跟踪目标进行特征匹配，以从第一视频帧开始跟踪第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新特征库，通过引用基于深度神经网络的人脸特征进行特征匹配，可解决目标跟踪算法由于没有较好地利用人脸特征，频繁出现跟错、跟偏和跟丢后无法重新正确找回跟踪目标的问题，从而节省了终端或服务器设备的资源，提升了终端或服务器的处理器的处理速度。同时，特征库在跟踪过程中不断更新，可保存待跟踪目标在不同状态下对应的不同人脸特征，从而提高人脸特征匹配的成功率，减小目标跟踪过程对跟踪目标的变化、倾斜、遮盖、光照变化的敏感度，提高跟踪的连续性和鲁棒 性，进而提升了终端或服务器的处理器的处理速度。
在本申请一个实施例中，上述方法还包括：根据每个待跟踪目标的人脸状态通过人脸识别算法识别得到每个待跟踪目标对应的人脸身份信息，通过图像特征提取算法得到人脸身份信息对应的目标特征。
在本申请一些实施例中，人脸状态是指人脸的偏转角度状态。当检测到人脸为正脸时，可通过人脸识别算法识别得到对应的人脸身份信息。人脸身份信息用于描述人脸对应的身份。人脸识别是指将提取的人脸图像的特征数据与数据库中存储的特征模板比如人脸特征模板进行搜索匹配，根据相似程度确定人脸身份信息。如在对进入企业的员工进行人脸识别时，在数据库中提前存储了企业中各个员工的特征模板，例如人脸特征模板，从而通过将当前提取的人脸图像的特征数据与数据库中存储的人脸特征模板比对得到员工的人脸身份信息。人脸身份信息的具体内容可根据需要自定义，如员工名字、工号、所属部门等。
图像特征提取算法是根据图像本身的特征，如颜色特征、纹理特征、形状特征、空间关系特征等提取特征数据，得到目标特征，其中，所述目标特征是提取得到的所有特征数据的集合。为目标特征与人脸身份信息建立关联关系，如衣服颜色、衣服纹理、人体形状，身高比例等特征，并将关联关系存储在数据库中。这样，当人脸存在偏转、遮盖时，可通过其它的目标特征进行身份的识别和确定人脸区域。在本申请一个实施例中，如图5所示，步骤S230中在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤包括：
步骤S231，判断当前视频帧根据人脸检测算法是否识别到人脸区域，如果没有识别到人脸区域，则根据图像特征提取算法获取当前视频帧对应的当前图像特征。
具体的，如果根据人脸检测算法在当前视频帧中没有识别到人脸区 域，也有可能是由于人脸偏侧导致检测失败，此时需要根据图像特征提取算法获取当前视频帧对应的当前图像特征。
步骤S232，将当前图像特征与目标特征对比得到匹配的目标人脸身份信息，根据目标人脸身份信息得到当前视频帧对应的当前待跟踪目标。
具体的，由于之前已经将目标特征与人脸身份信息关联，此时可将当前图像特征与目标特征对比，计算相似度，如果相似度超过阈值，则匹配成功，可获取匹配的目标特征对应的目标人脸身份信息，从而根据目标人脸身份信息得到当前视频帧对应的当前待跟踪目标。然后，通过人脸身份信息将当前待跟踪目标与第一待跟踪目标进行匹配，从而实现对第一待跟踪目标的跟踪。
本申请实施例中，将人脸身份信息引入目标跟踪，在人脸识别的同时结合图像特征，在人脸检测算法无法识别人脸区域时也能达到对目标的跟踪，进一步提高跟踪的连续性和鲁棒性。
在本申请一个实施例中，步骤S220可包括：获取第一待跟踪目标对应的第一人脸身份信息，建立第一人脸身份信息对应的第一人脸特征集合，将第一人脸特征加入所述第一人脸特征集合并将所述第一人脸特征集合存储至第一待跟踪目标对应的特征库。
具体的，可对第一待跟踪目标进行人脸识别得到第一待跟踪目标对应的第一人脸身份信息。第一人脸特征集合用于存储第一待跟踪目标在运动过程中不同状态下的第一人脸特征，不同状态包括不同角度、不同光照、不同遮盖范围等。将人脸特征提取后得到的第一人脸特征加入第一人脸特征集合，并为所述第一人脸特征集合与第一人脸身份信息建立关联关系，将所述关联关系以及第一人脸特征集合存储至第一待跟踪目标对应的特征库。
在本申请一个实施例中，如图6所示，步骤S230中在跟踪过程中 根据提取的更新的人脸特征更新特征库的步骤可包括：
步骤S233，获取当前待跟踪目标对应的当前人脸身份信息，从特征库获取当前人脸身份信息对应的第一人脸特征集合。
具体的，在一个实施例中，可通过对当前待跟踪目标进行人脸识别得到当前待跟踪目标对应的当前人脸身份信息。在另外一个实施例中，也可通过对当前待跟踪目标应用图像特征提取算法得到当前待跟踪目标对应的当前图像特征，再将当前图像特征与目标特征进行匹配，将匹配的目标特征对应的人脸身份信息作为当前人脸身份信息，从而在当前待跟踪目标无法识别到人脸区域时也能得到当前人脸身份信息。根据人脸身份信息与人脸特征集合的关联对应关系，得到当前人脸身份信息对应的第一人脸特征集合，表明当前待跟踪目标与第一待跟踪目标是同一目标。
步骤S234，计算第一人脸特征集合中的第一人脸特征与第二人脸特征的差异量，如果差异量超过预设阈值，则在第一人脸特征集合中增加第二人脸特征。
具体的，可自定义算法计算第二人脸特征与第一人脸特征集合中的第一人脸特征的差异量。如果第一人脸特征集合中的第一人脸特征为多个，则分别计算第二人脸特征与每个第一人脸特征的差异量，得到多个差异量。差异量表明了第二人脸特征与特征库中已经保存的同一跟踪目标的人脸特征之间的差异，差异越大表明跟踪目标的人脸状态变化越大。如果差异量超过预设阈值，则在第一人脸特征集合中增加第二人脸特征，增加的第二人脸特征可用于后续进行的特征匹配。在人脸特征集合中存储的人脸特征越多，就越能表征同一跟踪目标在不同状态下的特征，只要其中任何一个特征能在特征匹配时匹配成功，就认为当前待跟踪目标与第一待跟踪目标的匹配成功，从而加大了匹配成功的概率，减小目标 跟踪过程对跟踪目标的变化、倾斜、遮盖、光照变化的敏感度，提高跟踪的连续性和鲁棒性。
在本申请一个实施例中，步骤S220可包括：对第一待跟踪目标通过深度神经网络进行人脸特征提取得到第一特征矢量。
具体的，对深度神经网络进行训练后得到人脸特征提取模型，输入第一待跟踪目标对应的像素值，则得到第一特征矢量，第一特征矢量的维度由人脸特征提取模型决定。
步骤S230包括：对当前待跟踪目标通过深度神经网络进行人脸特征提取得到第二特征矢量，计算第一特征矢量与第二特征矢量的欧氏距离，如果欧氏距离小于预设阈值，则确定第一待跟踪目标与当前待跟踪目标特征匹配成功。
具体的，输入当前待跟踪目标对应的像素值至上述人脸特征提取模型，则可得到第二特征矢量。第一特征矢量与第二特征矢量的欧氏距离代表了当前待跟踪目标与第一待跟踪目标的相似度。如果欧氏距离小于预设阈值，则确定当前待跟踪目标与第一待跟踪目标特征匹配成功，表明当前待跟踪目标与第一待跟踪目标是同一目标，达到跟踪目的。
在本申请一个实施例中，深度神经网络的网络结构可以为11层网络层，包括堆栈式的卷积神积网络和完全连接层，堆栈式的卷积神积网络由多个卷积层和maxpool层组成，具体网络结构为：
conv3-64*2+LRN+max pool
conv3-128+max pool
conv3-256*2+max pool
conv3-512*2+max pool
conv3-512*2+max pool
FC2048
FC1024，
其中conv3表示半径为3的卷积层，LRN表示LRN层，max pool表 示maxpool层，FC表示完全连接层。
具体的，此网络结构为简化的深度神经网络VGG网络结构，其中64*2表示2个64组，LRN层是一种帮助训练的无参数层，FC2048表示输出为2048维度矢量的完全连接层，最后一个完全连接层FC1024的输出为特征提取得到的人脸特征，是1024维矢量。通过简化的VGG网络结构得到的优化后的人脸特征在测试集的随机块匹配上的表现远优于TLD(Tracking-Learning-Detection，单目标长时间跟踪)中的匹配模块的匹配表现，且大大提高了人脸特征提取的效率，达到跟踪算法所要求的实时性。在本申请一个实施例中，可控制待跟踪目标的分辨率为112*112像素，以减少计算复杂度。图7为此VGG网络结构对应的人脸特征提取算法VGG-S与模板匹配算法match template的匹配比对示意图。如图7所示，横坐标代表召回率，纵坐标代表准确率，可见此VGG网络结构对应的人脸特征提取算法在进行特征匹配时有更好的准确率，提高了目标跟踪的正确率。
在本申请一个实施例中，步骤S230中在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤可包括：基于归一化的像素差异特征和人体半身识别算法在当前视频帧中识别人脸区域，得到当前视频帧对应的当前待跟踪目标。
具体的，基于归一化的像素差异特征(Normalized Pixel Difference，NPD)进行人脸检测，将得到的返回值作为人脸区域推荐框，如可基于NPD特征使用AdaBoost构造强分类器用以识别和区分人脸。人体半身识别算法可根据需要定义，可进行上半身检测，根据上半身检测筛选人脸区域推荐框，可过滤掉部分识别错误的人脸区域推荐框，极大地提高了人脸区域检测的召回率和准确率，提升了目标跟踪的整体表现。
在本申请一个实施例中，如图8所示，步骤S230中在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目 标的步骤可包括：
步骤S235，基于归一化的像素差异特征识别人脸区域，在当前视频帧得到第一推荐区域。
步骤S236，根据光流分析算法计算得到所述第一待跟踪目标在当前视频帧对应的第二推荐区域。
具体的，光流分析算法假设一个像素I(x,y,t)在第一帧的光强度，它移动了(dx,dy)的距离到下一帧，用了dt时间。因为像素点是一样的，光强度也没有发生变化。根据历史第一待跟踪目标的运动轨迹采用光流分析原理计算得到第一待跟踪目标对应的向量速度模型，向向量速度模型输入当前视频帧和当前视频帧的前一帧以及第一待跟踪目标在前一帧的位置，可得到第一待跟踪目标在当前视频帧对应的第二推荐区域，即第一待跟踪目标在当前视频帧可能出现的位置。
步骤S237，根据第一推荐区域和第二推荐区域得到当前待跟踪目标。
具体的，根据光流分析算法得出的第二推荐区域为第一待跟踪目标基于历史运动速度可能运动至的区域，可根据第二推荐区域的位置排除与第二推荐区域位置距离超过预设范围的第一推荐区域，从而得到当前待跟踪目标。也可将第一推荐区域和第二推荐区域全部作为当前待跟踪目标。如果第一待跟踪目标为多个，则每个第一待跟踪目标分别有对应的第二推荐区域。
本实施例中，将归一化的像素差异特征与光流分析算法结合得到当前待跟踪目标，因为先验信息的加入使得后续进行特征匹配时准确率提高。
在一个实施例中，步骤S237可包括：根据帧间相关性进行运动预测得到预期运动范围，根据预期运动范围筛选第一推荐区域和第二推荐区域得到当前待跟踪目标。
具体的，帧间相关性利用历史位置信息和运动轨迹来预测目标在下一帧或数帧内的位置，相当于利用先验信息来调整NPD算法的可信度。将预期运动范围外的第一推荐区域和第二推荐区域过滤掉，得到当前待跟踪目标，减少了后续计算特征匹配的匹配数量，提高了匹配效率和准确率。
在本申请一个实施例中，视频目标跟踪方法可通过如图9所示的三个模块完成视频目标跟踪，包括跟踪模块310、检测模块320、以及学习模块330。具体地，获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标，从第一待跟踪目标所在的视频帧开始跟踪，跟踪模块310对第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征加入特征库，学习模块330根据跟踪情况更新特征库，检测模块320不断从当前视频帧中查找更好的当前待跟踪目标，以防跟错和跟丢，跟踪模块310根据更新的特征库将当前待跟踪目标和第一待跟踪目标进行匹配，以跟踪第一待跟踪目标。
在本申请一个实施例中，采用上述视频目标跟踪方法得到的跟踪区域示意图可如图10所示，采用TLD跟踪算法得到的跟踪区域示意图可如图11所示。通过对比可以发现，在人脸偏侧时，本申请实施例提出的视频目标跟踪方法的跟踪区域比TLD跟踪算法的跟踪区域更为精确，且TLD跟踪算法在人脸完全偏转时会出现跟踪失败的现象，而本申请实施例提出的视频目标跟踪方法在人脸完全偏转时仍然能够跟踪成功。正确率和召回率相比于TLD跟踪算法均有提升，具体数据如下：
1.无人头检测版本：准确率提升5个百分点左右，错误率降低100％，目标跟踪丢失率下降25％。
2.有人头检测版本：准确率提升1个百分点左右，错误率降低100％，目标跟踪丢失率下降15％。
在性能方面，在640*480的分辨率下，3.5G主频的CPU和Nvidia Geforce Gtx 775m的机器，单帧处理时间在40ms左右，帧率在25FPS以上。
上述视频目标跟踪方法比传统方法更精准，给后续的人员人流统计、身份识别和行为分析等需求提供了可能和便利，性能上的良好表现也满足了在线处理的需求，提高了监控分析系统的准确性、拓展性和适用性，进而提高了硬件处理器的处理速度，提高了处理器的处理性能。
在本申请一个实施例中，如图12所示，提供了一种视频目标跟踪装置，该装置可包括：
检测模块410，用于获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标。
人脸特征提取模块420，用于对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库。
检测模块410还用于在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标。
人脸特征提取模块420还用于对当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征。
跟踪模块430，用于根据第二人脸特征和所述特征库将当前待跟踪目标与第一待跟踪目标进行特征匹配，以从第一视频帧开始跟踪第一待跟踪目标。
学习模块440，用于在跟踪过程中根据提取的更新的人脸特征更新所述特征库。
在本申请一个实施例中，如图13所示，该装置还包括：
特征身份处理模块450，用于根据待跟踪目标的人脸状态通过人脸 识别算法识别得到对应的人脸身份信息，根据图像特征提取算法得到人脸身份信息对应的目标特征，并为所述目标特征和人脸身份信息建立关联关系。
检测模块410可包括：
图像特征提取单元411，用于判断在当前视频帧根据人脸检测算法是否识别到人脸区域，如果没有识别到人脸区域，则根据图像特征提取算法获取当前视频帧对应的当前图像特征。
身份匹配单元412，用于基于所述关联关系，将当前图像特征与目标特征对比得到匹配的目标人脸身份信息。
第一跟踪目标确定单元413，用于根据目标人脸身份信息得到当前视频帧对应的当前待跟踪目标。
在本申请一个实施例中，人脸特征提取模块420还用于获取第一待跟踪目标对应的第一人脸身份信息，建立第一人脸身份信息对应的第一人脸特征集合，将第一人脸特征加入第一人脸特征集合并将所述第一人脸特征集合存储至所述特征库。
学习模块440还用于获取当前待跟踪目标对应的当前人脸身份信息，从特征库获取当前人脸身份信息对应的第一人脸特征集合，计算第一人脸特征集合中的第一人脸特征与第二人脸特征的差异量，如果差异量超过预设阈值，则在第一人脸特征集合中增加第二人脸特征。
在本申请一个实施例中，检测模块410还用于基于归一化的像素差异特征和人体半身识别算法在当前视频帧中识别人脸区域，得到当前视频帧对应的当前待跟踪目标。
在本申请一个实施例中，如图14所示，检测模块410可包括：
第一推荐单元414，用于基于归一化的像素差异特征识别人脸区域，在当前视频帧得到第一推荐区域。
第二推荐单元415，根据光流分析算法计算得到第一待跟踪目标在当前视频帧对应的第二推荐区域。
第二跟踪目标确定单元416，用于根据第一推荐区域和第二推荐区域得到当前待跟踪目标。
在本申请一个实施例中，第二跟踪目标确定单元416还用于根据帧间相关性进行运动预测得到预期运动范围，根据预期运动范围筛选第一推荐区域和第二推荐区域得到当前待跟踪目标。
在本申请一个实施例中，深度神经网络的网络结构为11层网络层，包括堆栈式的卷积神积网络和完全连接层，堆栈式的卷积神积网络由多个卷积层和maxpool层组成，具体网络结构为：
conv3-64*2+LRN+max pool
conv3-128+max pool
conv3-256*2+max pool
conv3-512*2+max pool
conv3-512*2+max pool
FC2048
FC1024，
其中conv3表示半径为3的卷积层，LRN表示LRN层，max pool表示maxpool层，FC表示完全连接层。
在本申请一个实施例中，人脸特征提取模块420还用于对第一待跟踪目标通过深度神经网络进行人脸特征提取得到第一特征矢量，对当前待跟踪目标通过深度神经网络进行人脸特征提取得到第二特征矢量。
跟踪模块430还用于计算第一特征矢量与第二特征矢量的欧氏距离，如果所述欧氏距离小于预设阈值，则确定所述第一待跟踪目标与当前待跟踪目标特征匹配成功。
图15是本申请实施例提供的视频目标跟踪装置的另一结构示意图。 如图15所示，该视频目标跟踪装置包括：处理器510，与所述处理器510相连接的存储器520，以及用于发送和接收数据的端口530。所述存储器520中存储有可由所述处理器510执行的机器可读指令模块，所述所述机器可读指令模块包括：
检测模块521，用于获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标。
人脸特征提取模块522，用于对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库。
检测模块521还用于在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标。
人脸特征提取模块522还用于对当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征。
跟踪模块523，用于根据第二人脸特征和所述特征库将当前待跟踪目标与第一待跟踪目标进行特征匹配，以从第一视频帧开始跟踪第一待跟踪目标。
学习模块524，用于在跟踪过程中根据提取的更新的人脸特征更新所述特征库。
在本申请一个实施例中，如图16所示，所述机器可读指令模块还可包括：
特征身份处理模块525，用于根据待跟踪目标的人脸状态通过人脸识别算法识别得到对应的人脸身份信息，根据图像特征提取算法得到人脸身份信息对应的目标特征，并为所述目标特征和人脸身份信息建立关联关系。
在本申请实施例中，上述检测模块521、人脸特征提取模块522、 跟踪模块523、学习模块524以及特征身份处理模块525的具体功能和实现方式可参照前述的模块410至450的相关描述，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一非易失性计算机可读取存储介质中，如本申请实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
通过以上的实施例的描述，本领域的技术人员可以清楚地了解到本申请实施例可借助软件加必需的通用硬件平台的方式来实现，即通过机器可读指令来指令相关的硬件来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请的保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (22)

  1. 一种视频目标跟踪方法，应用于终端或服务器，所述方法包括：
    获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标；
    对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库；
    在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新所述特征库。
  2. 根据权利要求1所述的方法，所述方法还包括：
    根据待跟踪目标的人脸状态通过人脸识别算法识别得到对应的人脸身份信息，根据图像特征提取算法得到所述人脸身份信息对应的目标特征，并为所述目标特征和人脸身份信息建立关联关系；
    所述在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤包括：
    判断在当前视频帧根据人脸检测算法是否识别到人脸区域，如果没有识别到人脸区域，则根据图像特征提取算法获取当前视频帧对应的当前图像特征；
    基于所述关联关系，将所述当前图像特征与所述目标特征对比得到匹配的目标人脸身份信息；
    根据所述目标人脸身份信息得到当前视频帧对应的当前待跟踪目 标。
  3. 根据权利要求1所述的方法，所述对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库的步骤包括：
    获取第一待跟踪目标对应的第一人脸身份信息；
    建立所述第一人脸身份信息对应的第一人脸特征集合，将所述第一人脸特征加入所述第一人脸特征集合并将所述第一人脸特征集合存储至所述特征库；
    所述在跟踪过程中根据提取的更新的人脸特征更新所述特征库的步骤包括：
    获取当前待跟踪目标对应的当前人脸身份信息；
    从所述特征库获取所述当前人脸身份信息对应的第一人脸特征集合；
    计算所述第一人脸特征集合中的第一人脸特征与所述第二人脸特征的差异量，如果所述差异量超过预设阈值，则在所述第一人脸特征集合中增加所述第二人脸特征。
  4. 根据权利要求1所述的方法，所述在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤包括：
    基于归一化的像素差异特征和人体半身识别算法在当前视频帧中识别人脸区域，得到当前视频帧对应的当前待跟踪目标。
  5. 根据权利要求1所述的方法，所述在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤包括：
    基于归一化的像素差异特征识别人脸区域，在当前视频帧得到第一推荐区域；
    根据光流分析算法计算得到所述第一待跟踪目标在当前视频帧对应的第二推荐区域；
    根据所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标。
  6. 根据权利要求5所述的方法，所述根据所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标的步骤包括：
    根据帧间相关性进行运动预测得到预期运动范围，根据所述预期运动范围筛选所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标。
  7. 根据权利要求1至6任一项所述的方法，所述深度神经网络的网络结构为11层网络层，包括堆栈式的卷积神积网络和完全连接层，所述堆栈式的卷积神积网络由多个卷积层和maxpool层组成，具体网络结构为：
    conv3-64*2+LRN+max pool
    conv3-128+max pool
    conv3-256*2+max pool
    conv3-512*2+max pool
    conv3-512*2+max pool
    FC2048
    FC1024，
    其中conv3表示半径为3的卷积层，LRN表示LRN层，max pool表示maxpool层，FC表示完全连接层。
  8. 根据权利要求1至6任一项所述的方法，所述对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库的步骤包括：
    对所述第一待跟踪目标通过深度神经网络进行人脸特征提取得到 第一特征矢量；
    所述对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标的步骤包括：
    对所述当前待跟踪目标通过深度神经网络进行人脸特征提取得到第二特征矢量；
    计算所述第一特征矢量与第二特征矢量的欧氏距离，如果所述欧氏距离小于预设阈值，则确定所述第一待跟踪目标与当前待跟踪目标特征匹配成功。
  9. 一种视频目标跟踪装置，所述装置包括：
    处理器以及与所述处理器相连接的存储器，所述存储器中存储有可由所述处理器执行的机器可读指令模块；所述机器可读指令模块包括：
    检测模块，用于获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标；
    人脸特征提取模块，用于对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库；
    所述检测模块还用于在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标；
    所述人脸特征提取模块还用于对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征；
    跟踪模块，用于根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标；
    学习模块，用于在跟踪过程中根据提取的更新的人脸特征更新所述特征库。
  10. 根据权利要求9所述的装置，所述装置还包括：
    特征身份处理模块，用于根据待跟踪目标的人脸状态通过人脸识别算法识别得到对应的人脸身份信息，根据图像特征提取算法得到所述人脸身份信息对应的目标特征，并为所述目标特征和人脸身份信息建立关联关系；
    所述检测模块包括：
    图像特征提取单元，用于判断在当前视频帧根据人脸检测算法是否识别到人脸区域，如果没有识别到人脸区域，则根据图像特征提取算法获取当前视频帧对应的当前图像特征；
    身份匹配单元，用于基于所述关联关系，将所述当前图像特征与所述目标特征对比得到匹配的目标人脸身份信息；
    第一跟踪目标确定单元，用于根据所述目标人脸身份信息得到当前视频帧对应的当前待跟踪目标。
  11. 根据权利要求9所述的装置，所述人脸特征提取模块还用于获取第一待跟踪目标对应的第一人脸身份信息，建立所述第一人脸身份信息对应的第一人脸特征集合，将所述第一人脸特征加入所述第一人脸特征集合并将所述第一人脸特征集合存储至所述特征库；
    所述学习模块还用于获取当前待跟踪目标对应的当前人脸身份信息，从所述特征库获取所述当前人脸身份信息对应的第一人脸特征集合，计算所述第一人脸特征集合中的第一人脸特征与所述第二人脸特征的差异量，如果所述差异量超过预设阈值，则在所述第一人脸特征集合中增加所述第二人脸特征。
  12. 根据权利要求9所述的装置，所述检测模块还用于基于归一化 的像素差异特征和人体半身识别算法在当前视频帧中识别人脸区域，得到当前视频帧对应的当前待跟踪目标。
  13. 根据权利要求9所述的装置，所述检测模块包括：
    第一推荐单元，用于基于归一化的像素差异特征识别人脸区域，在当前视频帧得到第一推荐区域；
    第二推荐单元，根据光流分析算法计算得到所述第一待跟踪目标在当前视频帧对应的第二推荐区域；
    第二跟踪目标确定单元，用于根据所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标。
  14. 根据权利要求13所述的装置，所述第二跟踪目标确定单元还用于根据帧间相关性进行运动预测得到预期运动范围，根据所述预期运动范围筛选所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标。
  15. 根据权利要求9至14任一项所述的装置，所述人脸特征提取模块还用于对所述第一待跟踪目标通过深度神经网络进行人脸特征提取得到第一特征矢量，对所述当前待跟踪目标通过深度神经网络进行人脸特征提取得到第二特征矢量；
    所述跟踪模块还用于计算所述第一特征矢量与第二特征矢量的欧氏距离，如果所述欧氏距离小于预设阈值，则确定所述第一待跟踪目标与当前待跟踪目标特征匹配成功。
  16. 一种非易失性计算机可读存储介质，所述存储介质中存储有机器可读指令，所述机器可读指令可以由处理器执行以完成以下操作：
    获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标；
    对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得 到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库；
    在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新所述特征库。
  17. 如权利要求16所述的非易失性计算机可读存储介质，所述机器可读指令可以由所述处理器执行以完成以下操作：
    根据待跟踪目标的人脸状态通过人脸识别算法识别得到对应的人脸身份信息，根据图像特征提取算法得到所述人脸身份信息对应的目标特征，并为所述目标特征和人脸身份信息建立关联关系；
    所述在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤包括：
    判断在当前视频帧根据人脸检测算法是否识别到人脸区域，如果没有识别到人脸区域，则根据图像特征提取算法获取当前视频帧对应的当前图像特征；
    基于所述关联关系，将所述当前图像特征与所述目标特征对比得到匹配的目标人脸身份信息；
    根据所述目标人脸身份信息得到当前视频帧对应的当前待跟踪目标。
  18. 如权利要求16所述的非易失性计算机可读存储介质，所述对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征 库的步骤包括：
    获取第一待跟踪目标对应的第一人脸身份信息；
    建立所述第一人脸身份信息对应的第一人脸特征集合，将所述第一人脸特征加入所述第一人脸特征集合并将所述第一人脸特征集合存储至所述特征库；
    所述在跟踪过程中根据提取的更新的人脸特征更新所述特征库的步骤包括：
    获取当前待跟踪目标对应的当前人脸身份信息；
    从所述特征库获取所述当前人脸身份信息对应的第一人脸特征集合；
    计算所述第一人脸特征集合中的第一人脸特征与所述第二人脸特征的差异量，如果所述差异量超过预设阈值，则在所述第一人脸特征集合中增加所述第二人脸特征。
  19. 如权利要求16所述的非易失性计算机可读存储介质，所述在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤包括：
    基于归一化的像素差异特征和人体半身识别算法在当前视频帧中识别人脸区域，得到当前视频帧对应的当前待跟踪目标。
  20. 如权利要求16所述的非易失性计算机可读存储介质，所述在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤包括：
    基于归一化的像素差异特征识别人脸区域，在当前视频帧得到第一推荐区域；
    根据光流分析算法计算得到所述第一待跟踪目标在当前视频帧对 应的第二推荐区域；
    根据所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标。
  21. 如权利要求20所述的非易失性计算机可读存储介质，所述根据所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标的步骤包括：
    根据帧间相关性进行运动预测得到预期运动范围，根据所述预期运动范围筛选所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标。
  22. 根据权利要求16至21任一项所述的非易失性计算机可读存储介质，所述对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征，并将所述第一人脸特征存入所述第一待跟踪目标对应的特征库的步骤包括：
    对所述第一待跟踪目标通过深度神经网络进行人脸特征提取得到第一特征矢量；
    所述对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标的步骤包括：
    对所述当前待跟踪目标通过深度神经网络进行人脸特征提取得到第二特征矢量；
    计算所述第一特征矢量与第二特征矢量的欧氏距离，如果所述欧氏距离小于预设阈值，则确定所述第一待跟踪目标与当前待跟踪目标特征匹配成功。
PCT/CN2018/070090 2017-01-17 2018-01-03 视频目标跟踪方法和装置 WO2018133666A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710032132.6 2017-01-17
CN201710032132.6A CN106845385A (zh) 2017-01-17 2017-01-17 视频目标跟踪的方法和装置

Publications (1)

Publication Number Publication Date
WO2018133666A1 true WO2018133666A1 (zh) 2018-07-26

Family

ID=59124734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/070090 WO2018133666A1 (zh) 2017-01-17 2018-01-03 视频目标跟踪方法和装置

Country Status (3)

Country Link
CN (1) CN106845385A (zh)
TW (1) TWI677825B (zh)
WO (1) WO2018133666A1 (zh)

Cited By (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271869A (zh) * 2018-08-21 2019-01-25 平安科技（深圳）有限公司 人脸特征值提取方法、装置、计算机设备及存储介质
CN109685610A (zh) * 2018-12-14 2019-04-26 深圳壹账通智能科技有限公司 产品推送方法、装置、计算机设备和存储介质
CN109753901A (zh) * 2018-12-21 2019-05-14 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109800642A (zh) * 2018-12-15 2019-05-24 深圳壹账通智能科技有限公司 人员身份信息获取方法、装置、计算机设备及存储介质
CN109815861A (zh) * 2019-01-11 2019-05-28 佰路得信息技术(上海)有限公司 一种基于人脸识别的用户行为信息统计方法
CN109815851A (zh) * 2019-01-03 2019-05-28 深圳壹账通智能科技有限公司 厨房卫生检测方法、装置、计算机设备和存储介质
CN109829435A (zh) * 2019-01-31 2019-05-31 深圳市商汤科技有限公司 一种视频图像处理方法、装置及计算机可读介质
CN110020613A (zh) * 2019-03-19 2019-07-16 江苏爱科赛尔云数据科技有限公司 基于Jetson TX1平台的前端人脸实时检测方法
CN110097586A (zh) * 2019-04-30 2019-08-06 青岛海信网络科技股份有限公司 一种人脸检测追踪方法及装置
CN110263634A (zh) * 2019-05-13 2019-09-20 平安科技（深圳）有限公司 监控目标的监控方法、装置、计算机设备及存储介质
CN110298239A (zh) * 2019-05-21 2019-10-01 平安科技（深圳）有限公司 目标监控方法、装置、计算机设备及存储介质
CN110309716A (zh) * 2019-05-22 2019-10-08 深圳壹账通智能科技有限公司 基于人脸和体态的服务跟踪方法、装置、设备及存储介质
CN110414324A (zh) * 2019-06-17 2019-11-05 深圳壹账通智能科技有限公司 视频录制过程监控的方法、装置、计算机设备和存储介质
CN110533700A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110619657A (zh) * 2019-08-15 2019-12-27 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
CN110674786A (zh) * 2019-09-30 2020-01-10 联想(北京)有限公司 处理方法及装置
CN110826406A (zh) * 2019-10-08 2020-02-21 赵奕焜 一种基于深度学习模型的儿童高空防护方法
CN110969045A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置、电子设备和存储介质
CN110969110A (zh) * 2019-11-28 2020-04-07 杭州趣维科技有限公司 一种基于深度学习的人脸跟踪方法及系统
CN111028266A (zh) * 2019-12-16 2020-04-17 洛阳语音云创新研究院 畜禽盘点方法、装置、电子设备和存储介质
CN111091078A (zh) * 2019-12-03 2020-05-01 北京华捷艾米科技有限公司 一种对象跟踪方法和相关设备
CN111126113A (zh) * 2018-11-01 2020-05-08 普天信息技术有限公司 一种人脸图像处理的方法及装置
CN111127509A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置和计算机可读存储介质
CN111144319A (zh) * 2019-12-27 2020-05-12 广东德融汇科技有限公司 用于k12教育阶段基于人脸识别的多视频人员跟踪方法
CN111145409A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 人体识别定位跟踪系统
CN111178218A (zh) * 2019-12-23 2020-05-19 北京中广上洋科技股份有限公司 一种基于人脸识别的多特征联合视频追踪方法及系统
CN111209818A (zh) * 2019-12-30 2020-05-29 新大陆数字技术股份有限公司 视频个体识别方法、系统、设备及可读存储介质
CN111310526A (zh) * 2018-12-12 2020-06-19 杭州海康威视数字技术股份有限公司 目标跟踪模型的参数确定方法、装置及存储介质
CN111325137A (zh) * 2020-02-18 2020-06-23 上海东普信息科技有限公司 暴力分拣检测方法、装置、设备及存储介质
CN111325048A (zh) * 2018-12-13 2020-06-23 杭州海康威视数字技术股份有限公司 一种人员聚集检测方法和装置
CN111339852A (zh) * 2020-02-14 2020-06-26 北京百度网讯科技有限公司 追踪方法、装置、电子设备和计算机可读存储介质
CN111368753A (zh) * 2020-03-06 2020-07-03 西安奥卡云数据科技有限公司 一种人脸检测方法及装置
CN111368934A (zh) * 2020-03-17 2020-07-03 腾讯科技（深圳）有限公司 图像识别模型训练方法、图像识别方法以及相关装置
CN111414885A (zh) * 2020-03-27 2020-07-14 海信集团有限公司 智能家居设备、服务器及图像处理方法
CN111460413A (zh) * 2019-01-18 2020-07-28 阿里巴巴集团控股有限公司 身份识别系统及方法、装置、电子设备、存储介质
CN111460968A (zh) * 2020-03-27 2020-07-28 上海大学 基于视频的无人机识别与跟踪方法及装置
CN111460884A (zh) * 2020-02-09 2020-07-28 天津博宜特科技有限公司 基于人体跟踪的多人脸识别方法
CN111553262A (zh) * 2020-04-26 2020-08-18 上海微阱电子科技有限公司 一种快速检测目标图形的检测装置及方法
CN111553234A (zh) * 2020-04-22 2020-08-18 上海锘科智能科技有限公司 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN111582006A (zh) * 2019-02-19 2020-08-25 杭州海康威视数字技术股份有限公司 一种视频分析方法及装置
CN111583300A (zh) * 2020-04-23 2020-08-25 天津大学 一种基于富集目标形态变化更新模板的目标跟踪方法
CN111597893A (zh) * 2020-04-14 2020-08-28 北京大学 一种行人图像的匹配方法、装置、存储介质及终端
CN111639546A (zh) * 2020-05-07 2020-09-08 金钱猫科技股份有限公司 一种基于神经网络的小尺度目标云计算识别方法和装置
CN111666786A (zh) * 2019-03-06 2020-09-15 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及存储介质
CN111681208A (zh) * 2020-05-08 2020-09-18 浙江大华技术股份有限公司 漏装零件检测方法、装置、计算机设备和存储介质
CN111695462A (zh) * 2020-05-29 2020-09-22 平安科技（深圳）有限公司 一种人脸识别方法、装置、存储介质和服务器
CN111738181A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 对象关联方法及装置、对象检索方法及装置
CN111797691A (zh) * 2020-06-03 2020-10-20 力引万物(深圳)科技有限公司 提高人脸识别准确率的方法及处理子系统
CN111832549A (zh) * 2020-06-29 2020-10-27 深圳市优必选科技股份有限公司 数据标注方法及装置
CN111861275A (zh) * 2020-08-03 2020-10-30 河北冀联人力资源服务集团有限公司 家政工作模式的识别方法和装置
CN111860152A (zh) * 2020-06-12 2020-10-30 浙江大华技术股份有限公司 人员状态检测的方法、系统、设备和计算机设备
CN111860066A (zh) * 2019-04-30 2020-10-30 百度时代网络技术（北京）有限公司 人脸识别方法和装置
CN111860168A (zh) * 2020-06-18 2020-10-30 汉王科技股份有限公司 行人重识别方法、装置、电子设备及存储介质
CN111914635A (zh) * 2020-06-23 2020-11-10 北京迈格威科技有限公司 人体测温方法、装置、系统和电子设备
CN111968152A (zh) * 2020-07-15 2020-11-20 桂林远望智能通信科技有限公司 一种动态身份识别方法及装置
CN112037247A (zh) * 2020-08-27 2020-12-04 浙江大华技术股份有限公司 一种目标跟踪的方法、装置及计算机存储介质
CN112069875A (zh) * 2020-07-17 2020-12-11 北京百度网讯科技有限公司 人脸图像的分类方法、装置、电子设备和存储介质
CN112101287A (zh) * 2020-09-25 2020-12-18 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备和存储介质
CN112132041A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于计算机视觉的社区巡更分析方法及其系统
CN112149557A (zh) * 2020-09-22 2020-12-29 福州大学 一种基于人脸识别的人物身份跟踪方法及系统
CN112287880A (zh) * 2020-11-18 2021-01-29 苏州臻迪智能科技有限公司 云台姿态调整方法、装置、系统和电子设备
CN112330710A (zh) * 2020-10-15 2021-02-05 深圳市秀跑科技有限公司 运动目标的识别追踪方法、装置、服务器及可读存储介质
CN112329584A (zh) * 2020-10-29 2021-02-05 深圳技术大学 基于机器视觉自动识别电网异物的方法及系统、设备
TWI719409B (zh) * 2019-02-23 2021-02-21 和碩聯合科技股份有限公司 追蹤系統及其方法
CN112507824A (zh) * 2020-11-27 2021-03-16 长威信息科技发展股份有限公司 一种视频图像特征识别的方法及系统
CN112560772A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 人脸的识别方法、装置、设备及存储介质
CN112686925A (zh) * 2019-10-18 2021-04-20 西安光启未来技术研究院 一种目标追踪方法和装置
CN112699810A (zh) * 2020-12-31 2021-04-23 中国电子科技集团公司信息科学研究院 一种提升室内监控系统人物识别精度的方法及装置
CN112767436A (zh) * 2019-10-21 2021-05-07 深圳云天励飞技术有限公司 一种人脸检测跟踪方法及装置
CN112784680A (zh) * 2020-12-23 2021-05-11 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN112837349A (zh) * 2021-02-09 2021-05-25 普联技术有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN112862859A (zh) * 2020-08-21 2021-05-28 海信视像科技股份有限公司 一种人脸特征值创建方法、人物锁定追踪方法及显示设备
CN112884810A (zh) * 2021-03-18 2021-06-01 沈阳理工大学 一种基于YOLOv3的行人跟踪方法
CN112884809A (zh) * 2021-02-26 2021-06-01 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
CN113012190A (zh) * 2021-02-01 2021-06-22 河南省肿瘤医院 手卫生合规监测方法、装置、设备及存储介质
CN113052197A (zh) * 2019-12-28 2021-06-29 中移(成都)信息通信科技有限公司 身份识别的方法、装置、设备和介质
CN113095199A (zh) * 2021-04-06 2021-07-09 复旦大学 一种高速行人识别方法及装置
CN113112525A (zh) * 2021-04-27 2021-07-13 北京百度网讯科技有限公司 目标跟踪方法、网络模型及其训练方法、设备和介质
CN113177459A (zh) * 2021-04-25 2021-07-27 云赛智联股份有限公司 一种智慧机场服务的视频智能分析方法及系统
CN113449566A (zh) * 2020-03-27 2021-09-28 北京机械设备研究所 人在回路的“低慢小”目标智能图像跟踪方法及系统
CN113496152A (zh) * 2020-03-20 2021-10-12 深圳云天励飞技术有限公司 基于ar眼镜的人脸识别方法、装置、电子设备及存储介质
CN113516093A (zh) * 2021-07-27 2021-10-19 浙江大华技术股份有限公司 标识信息的标注方法及装置、存储介质及电子装置
CN113554046A (zh) * 2020-04-24 2021-10-26 阿里巴巴集团控股有限公司 图像处理方法和系统、存储介质及计算设备
CN113591904A (zh) * 2021-06-17 2021-11-02 浙江大华技术股份有限公司 逗留时间统计方法、货品调整方法及相关装置
CN113674318A (zh) * 2021-08-16 2021-11-19 支付宝(杭州)信息技术有限公司 一种目标跟踪方法、装置及设备
CN113723311A (zh) * 2021-08-31 2021-11-30 浙江大华技术股份有限公司 目标跟踪方法
CN113759431A (zh) * 2021-06-09 2021-12-07 同方威视技术股份有限公司 安检数据关联方法和装置、以及x射线安检系统
CN113837066A (zh) * 2021-09-22 2021-12-24 深圳市商汤科技有限公司 行为识别方法、装置、电子设备及计算机存储介质
CN114078273A (zh) * 2021-10-12 2022-02-22 深圳市领航卫士安全技术有限公司 预警方法、装置、设备及存储介质
CN114140718A (zh) * 2021-11-26 2022-03-04 浙江商汤科技开发有限公司 一种目标跟踪方法、装置、设备及存储介质
CN114299944A (zh) * 2021-12-08 2022-04-08 天翼爱音乐文化科技有限公司 视频处理方法、系统、装置及存储介质
CN114387665A (zh) * 2021-12-27 2022-04-22 广州市奔流电力科技有限公司 一种基于便携布控球的登高无人扶梯识别系统
CN114596581A (zh) * 2022-02-17 2022-06-07 复旦大学 一种智慧无人超市人体身份确认的方法
CN114639030A (zh) * 2020-12-01 2022-06-17 中移(成都)信息通信科技有限公司 兴趣信息确定的方法、装置、设备及存储介质
CN114694184A (zh) * 2022-05-27 2022-07-01 电子科技大学 一种基于多模板特征更新的行人重识别方法及系统
CN115050078A (zh) * 2022-07-01 2022-09-13 济南博观智能科技有限公司 一种人脸图像上报方法、装置、电子设备及存储介质
CN115083004A (zh) * 2022-08-23 2022-09-20 浙江大华技术股份有限公司 一种身份识别方法、装置和计算机可读存储介质
CN115311329A (zh) * 2019-10-11 2022-11-08 杭州云栖智慧视通科技有限公司 一种基于双环节约束的视频多目标跟踪方法
CN115830517A (zh) * 2023-02-14 2023-03-21 江西云眼视界科技股份有限公司 基于视频的考场异常帧提取方法及系统
CN116030524A (zh) * 2023-02-09 2023-04-28 摩尔线程智能科技(北京)有限责任公司 一种人脸识别方法及装置、电子设备和存储介质
CN116309710A (zh) * 2023-02-27 2023-06-23 荣耀终端有限公司 目标追踪方法和电子设备
CN117440323A (zh) * 2023-12-20 2024-01-23 广东省人民医院 一种健康体检引导方法及系统
CN117808848A (zh) * 2024-03-01 2024-04-02 杭州穿石物联科技有限责任公司 一种识别跟踪方法、装置、电子设备及存储介质
CN112001948B (zh) * 2020-07-30 2024-06-11 浙江大华技术股份有限公司 一种目标跟踪处理方法及装置
CN118314332A (zh) * 2024-06-07 2024-07-09 海信集团控股股份有限公司 一种目标识别方法、装置及智能设备
CN118522058A (zh) * 2024-07-22 2024-08-20 中电桑达电子设备(江苏)有限公司 基于人脸识别的对象跟踪方法、系统与介质

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置
CN108665476B (zh) * 2017-03-31 2022-03-11 华为技术有限公司 一种行人跟踪方法以及电子设备
CN107341457A (zh) * 2017-06-21 2017-11-10 北京小米移动软件有限公司 人脸检测方法及装置
CN107424273A (zh) * 2017-07-28 2017-12-01 杭州宇泛智能科技有限公司 一种无人超市的管理方法
US10592786B2 (en) 2017-08-14 2020-03-17 Huawei Technologies Co., Ltd. Generating labeled data for deep object tracking
CN108875480A (zh) * 2017-08-15 2018-11-23 北京旷视科技有限公司 一种人脸特征信息的追踪方法、装置及系统
CN109426800B (zh) * 2017-08-22 2021-08-13 北京图森未来科技有限公司 一种车道线检测方法和装置
CN109426785B (zh) * 2017-08-31 2021-09-10 杭州海康威视数字技术股份有限公司 一种人体目标身份识别方法及装置
CN107644204B (zh) * 2017-09-12 2020-11-10 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
US10510157B2 (en) * 2017-10-28 2019-12-17 Altumview Systems Inc. Method and apparatus for real-time face-tracking and face-pose-selection on embedded vision systems
CN107845105B (zh) * 2017-10-24 2021-09-10 深圳市圆周率软件科技有限责任公司 一种基于全景枪球联动的监控方法、智能设备及存储介质
CN107944381B (zh) * 2017-11-20 2020-06-16 深圳云天励飞技术有限公司 人脸跟踪方法、装置、终端及存储介质
CN109918975B (zh) 2017-12-13 2022-10-21 腾讯科技（深圳）有限公司 一种增强现实的处理方法、对象识别的方法及终端
CN108121931B (zh) * 2017-12-18 2021-06-25 阿里巴巴（中国）有限公司 二维码数据处理方法、装置及移动终端
CN108304001A (zh) * 2018-02-09 2018-07-20 成都新舟锐视科技有限公司 一种人脸检测跟踪方法、球机头部转动控制方法及球机
CN110298863B (zh) * 2018-03-22 2023-06-13 佳能株式会社 用于跟踪视频序列中的对象的装置和方法以及存储介质
CN110400332B (zh) * 2018-04-25 2021-11-05 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN108921008B (zh) * 2018-05-14 2024-06-11 深圳市商汤科技有限公司 人像识别方法、装置及电子设备
CN109063534B (zh) * 2018-05-25 2022-07-22 隆正信息科技有限公司 一种基于图像的购物识别和表意方法
CN108763532A (zh) * 2018-05-31 2018-11-06 上海掌门科技有限公司 用于推送信息、展现信息的方法和设备
WO2019236882A1 (en) * 2018-06-06 2019-12-12 Schneider Electric USA, Inc. Distributed standards registry for cloud computing environments
CN110706247B (zh) * 2018-06-22 2023-03-07 杭州海康威视数字技术股份有限公司 一种目标跟踪方法、装置及系统
CN110866428B (zh) * 2018-08-28 2023-12-15 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN109598211A (zh) * 2018-11-16 2019-04-09 恒安嘉新（北京）科技股份公司 一种实时动态人脸识别方法及系统
TWI684907B (zh) * 2018-11-28 2020-02-11 財團法人金屬工業研究發展中心 數位影像辨識方法、電子裝置、電腦程式產品
CN109816700B (zh) * 2019-01-11 2023-02-24 佰路得信息技术(上海)有限公司 一种基于目标识别的信息统计方法
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN109829436B (zh) * 2019-02-02 2022-05-13 福州大学 基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN111797652A (zh) * 2019-04-09 2020-10-20 佳能株式会社 对象跟踪方法、设备及存储介质
CN110210285A (zh) * 2019-04-16 2019-09-06 浙江大华技术股份有限公司 人脸跟踪方法、人脸跟踪装置以及计算机存储介质
CN110097578B (zh) * 2019-05-09 2021-08-17 电子科技大学 塑胶颗粒跟踪方法
CN110363150A (zh) * 2019-07-16 2019-10-22 深圳市商汤科技有限公司 数据更新方法及装置、电子设备和存储介质
CN112286780B (zh) * 2019-07-23 2024-03-12 浙江宇视科技有限公司 识别算法的测试方法、装置、设备及存储介质
CN110633627A (zh) * 2019-08-01 2019-12-31 平安科技（深圳）有限公司 在视频中定位对象的方法、装置、计算机设备及存储介质
CN110569785B (zh) * 2019-09-05 2023-07-11 杭州智爱时刻科技有限公司 一种融合跟踪技术的人脸识别方法
CN110688930B (zh) * 2019-09-20 2023-07-18 Oppo广东移动通信有限公司 人脸检测方法、装置、移动终端及存储介质
CN110838133B (zh) * 2019-09-27 2020-11-24 深圳云天励飞技术有限公司 多目标跟踪方法及相关设备
CN110909651B (zh) * 2019-11-15 2023-12-26 腾讯科技（深圳）有限公司 视频主体人物的识别方法、装置、设备及可读存储介质
CN110930436B (zh) * 2019-11-27 2023-04-14 深圳市捷顺科技实业股份有限公司 一种目标跟踪方法及设备
CN111145213A (zh) * 2019-12-10 2020-05-12 中国银联股份有限公司 一种目标跟踪方法、装置、系统及计算机可读存储介质
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN111414803A (zh) * 2020-02-24 2020-07-14 北京三快在线科技有限公司 人脸识别方法、装置、电子设备
CN111402288A (zh) * 2020-03-26 2020-07-10 杭州博雅鸿图视频技术有限公司 目标检测跟踪方法及装置
CN111860318A (zh) * 2020-07-20 2020-10-30 杭州品茗安控信息技术股份有限公司 一种建筑工地行人徘徊检测方法、装置、设备及存储介质
CN112084939A (zh) * 2020-09-08 2020-12-15 深圳市润腾智慧科技有限公司 图像特征数据管理方法、装置、计算机设备及存储介质
CN112188140A (zh) * 2020-09-29 2021-01-05 深圳康佳电子科技有限公司 一种人脸跟踪视频聊天方法、系统及存储介质
CN112200084A (zh) * 2020-10-10 2021-01-08 华航高科(北京)技术有限公司 用于视频流的人脸识别方法、装置、电子设备以及存储介质
CN112686178B (zh) * 2020-12-30 2024-04-16 中国电子科技集团公司信息科学研究院 一种多视角目标轨迹生成方法、装置和电子设备
CN112788238A (zh) * 2021-01-05 2021-05-11 中国工商银行股份有限公司 用于机器人跟随的控制方法和装置
CN112906466B (zh) * 2021-01-15 2024-07-05 深圳云天励飞技术股份有限公司 图像关联方法、系统及设备以及图像搜索方法及系统
CN115147451A (zh) * 2021-03-29 2022-10-04 华为技术有限公司 目标跟踪方法及其装置
CN112990119B (zh) * 2021-04-25 2021-09-10 之江实验室 一种视频多目标人脸表情识别方法和系统
CN113747115A (zh) * 2021-06-25 2021-12-03 深圳市威尔电器有限公司 天眼网络视频监控方法、系统、装置及存储介质
CN113723520A (zh) * 2021-08-31 2021-11-30 深圳市中博科创信息技术有限公司 基于特征更新的人员轨迹追踪方法、装置、设备及介质
CN114092516B (zh) * 2021-11-08 2024-05-14 国汽智控(北京)科技有限公司 一种多目标跟踪检测方法、装置、设备及介质
CN113920169A (zh) * 2021-11-24 2022-01-11 商汤国际私人有限公司 目标跟踪、事件检测方法及装置、电子设备和存储介质
CN114764786B (zh) * 2022-03-14 2024-08-16 什维新智医疗科技(上海)有限公司 一种基于超声视频流的病灶区域实时检测装置
CN118172707A (zh) * 2024-04-09 2024-06-11 广东安快智能科技有限公司 一种基于视觉目标识别的道闸车辆通行检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787440A (zh) * 2015-11-10 2016-07-20 深圳市商汤科技有限公司 一种基于人脸特征和步态特征的安保管理方法及系统
CN105931276A (zh) * 2016-06-15 2016-09-07 广州尚云在线科技有限公司 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法
CN106096535A (zh) * 2016-06-07 2016-11-09 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于双线性联合cnn的人脸验证方法
CN106156702A (zh) * 2015-04-01 2016-11-23 北京市商汤科技开发有限公司 身份认证方法及设备
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036425B2 (en) * 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
US9124800B2 (en) * 2012-02-13 2015-09-01 Htc Corporation Auto burst image capture method applied to a mobile device, method for tracking an object applied to a mobile device, and related mobile device
CN104794458A (zh) * 2015-05-07 2015-07-22 北京丰华联合科技有限公司 一种从模糊视频中识别人员的方法
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156702A (zh) * 2015-04-01 2016-11-23 北京市商汤科技开发有限公司 身份认证方法及设备
CN105787440A (zh) * 2015-11-10 2016-07-20 深圳市商汤科技有限公司 一种基于人脸特征和步态特征的安保管理方法及系统
CN106096535A (zh) * 2016-06-07 2016-11-09 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于双线性联合cnn的人脸验证方法
CN105931276A (zh) * 2016-06-15 2016-09-07 广州尚云在线科技有限公司 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置

Cited By (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271869A (zh) * 2018-08-21 2019-01-25 平安科技（深圳）有限公司 人脸特征值提取方法、装置、计算机设备及存储介质
CN109271869B (zh) * 2018-08-21 2023-09-05 平安科技（深圳）有限公司 人脸特征值提取方法、装置、计算机设备及存储介质
CN110969045A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置、电子设备和存储介质
CN110969045B (zh) * 2018-09-28 2023-06-02 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置、电子设备和存储介质
CN111127509A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置和计算机可读存储介质
CN111127509B (zh) * 2018-10-31 2023-09-01 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置和计算机可读存储介质
CN111126113A (zh) * 2018-11-01 2020-05-08 普天信息技术有限公司 一种人脸图像处理的方法及装置
CN111126113B (zh) * 2018-11-01 2023-10-10 普天信息技术有限公司 一种人脸图像处理的方法及装置
CN111310526A (zh) * 2018-12-12 2020-06-19 杭州海康威视数字技术股份有限公司 目标跟踪模型的参数确定方法、装置及存储介质
CN111310526B (zh) * 2018-12-12 2023-10-20 杭州海康威视数字技术股份有限公司 目标跟踪模型的参数确定方法、装置及存储介质
CN111325048B (zh) * 2018-12-13 2023-05-26 杭州海康威视数字技术股份有限公司 一种人员聚集检测方法和装置
CN111325048A (zh) * 2018-12-13 2020-06-23 杭州海康威视数字技术股份有限公司 一种人员聚集检测方法和装置
CN109685610A (zh) * 2018-12-14 2019-04-26 深圳壹账通智能科技有限公司 产品推送方法、装置、计算机设备和存储介质
CN109800642A (zh) * 2018-12-15 2019-05-24 深圳壹账通智能科技有限公司 人员身份信息获取方法、装置、计算机设备及存储介质
CN109753901A (zh) * 2018-12-21 2019-05-14 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109753901B (zh) * 2018-12-21 2023-03-24 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109815851A (zh) * 2019-01-03 2019-05-28 深圳壹账通智能科技有限公司 厨房卫生检测方法、装置、计算机设备和存储介质
CN109815861A (zh) * 2019-01-11 2019-05-28 佰路得信息技术(上海)有限公司 一种基于人脸识别的用户行为信息统计方法
CN111460413B (zh) * 2019-01-18 2023-06-20 阿里巴巴集团控股有限公司 身份识别系统及方法、装置、电子设备、存储介质
CN111460413A (zh) * 2019-01-18 2020-07-28 阿里巴巴集团控股有限公司 身份识别系统及方法、装置、电子设备、存储介质
CN109829435A (zh) * 2019-01-31 2019-05-31 深圳市商汤科技有限公司 一种视频图像处理方法、装置及计算机可读介质
CN111582006A (zh) * 2019-02-19 2020-08-25 杭州海康威视数字技术股份有限公司 一种视频分析方法及装置
TWI719409B (zh) * 2019-02-23 2021-02-21 和碩聯合科技股份有限公司 追蹤系統及其方法
US11218629B2 (en) 2019-02-23 2022-01-04 Pegatron Corporation Tracking system and method thereof
CN111666786A (zh) * 2019-03-06 2020-09-15 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及存储介质
CN111666786B (zh) * 2019-03-06 2024-05-03 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及存储介质
CN110020613B (zh) * 2019-03-19 2022-12-06 广州爱科赛尔云数据科技有限公司 基于Jetson TX1平台的前端人脸实时检测方法
CN110020613A (zh) * 2019-03-19 2019-07-16 江苏爱科赛尔云数据科技有限公司 基于Jetson TX1平台的前端人脸实时检测方法
CN111860066A (zh) * 2019-04-30 2020-10-30 百度时代网络技术（北京）有限公司 人脸识别方法和装置
CN110097586A (zh) * 2019-04-30 2019-08-06 青岛海信网络科技股份有限公司 一种人脸检测追踪方法及装置
CN110097586B (zh) * 2019-04-30 2023-05-30 青岛海信网络科技股份有限公司 一种人脸检测追踪方法及装置
CN111860066B (zh) * 2019-04-30 2023-10-27 百度时代网络技术（北京）有限公司 人脸识别方法和装置
CN110263634A (zh) * 2019-05-13 2019-09-20 平安科技（深圳）有限公司 监控目标的监控方法、装置、计算机设备及存储介质
CN110298239A (zh) * 2019-05-21 2019-10-01 平安科技（深圳）有限公司 目标监控方法、装置、计算机设备及存储介质
CN110309716A (zh) * 2019-05-22 2019-10-08 深圳壹账通智能科技有限公司 基于人脸和体态的服务跟踪方法、装置、设备及存储介质
CN110414324A (zh) * 2019-06-17 2019-11-05 深圳壹账通智能科技有限公司 视频录制过程监控的方法、装置、计算机设备和存储介质
CN110619657B (zh) * 2019-08-15 2023-10-24 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
CN110619657A (zh) * 2019-08-15 2019-12-27 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
CN110533700A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110533700B (zh) * 2019-08-30 2023-08-29 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110674786A (zh) * 2019-09-30 2020-01-10 联想(北京)有限公司 处理方法及装置
CN110674786B (zh) * 2019-09-30 2023-05-02 联想(北京)有限公司 处理方法及装置
CN110826406A (zh) * 2019-10-08 2020-02-21 赵奕焜 一种基于深度学习模型的儿童高空防护方法
CN115311329B (zh) * 2019-10-11 2023-05-23 杭州云栖智慧视通科技有限公司 一种基于双环节约束的视频多目标跟踪方法
CN115311329A (zh) * 2019-10-11 2022-11-08 杭州云栖智慧视通科技有限公司 一种基于双环节约束的视频多目标跟踪方法
CN112686925A (zh) * 2019-10-18 2021-04-20 西安光启未来技术研究院 一种目标追踪方法和装置
CN112767436A (zh) * 2019-10-21 2021-05-07 深圳云天励飞技术有限公司 一种人脸检测跟踪方法及装置
CN110969110A (zh) * 2019-11-28 2020-04-07 杭州趣维科技有限公司 一种基于深度学习的人脸跟踪方法及系统
CN110969110B (zh) * 2019-11-28 2023-05-02 杭州小影创新科技股份有限公司 一种基于深度学习的人脸跟踪方法及系统
CN111091078A (zh) * 2019-12-03 2020-05-01 北京华捷艾米科技有限公司 一种对象跟踪方法和相关设备
CN111091078B (zh) * 2019-12-03 2023-10-24 北京华捷艾米科技有限公司 一种对象跟踪方法和相关设备
CN111028266A (zh) * 2019-12-16 2020-04-17 洛阳语音云创新研究院 畜禽盘点方法、装置、电子设备和存储介质
CN111028266B (zh) * 2019-12-16 2023-05-23 洛阳语音云创新研究院 畜禽盘点方法、装置、电子设备和存储介质
CN111178218B (zh) * 2019-12-23 2023-07-04 北京中广上洋科技股份有限公司 一种基于人脸识别的多特征联合视频追踪方法及系统
CN111178218A (zh) * 2019-12-23 2020-05-19 北京中广上洋科技股份有限公司 一种基于人脸识别的多特征联合视频追踪方法及系统
CN111144319A (zh) * 2019-12-27 2020-05-12 广东德融汇科技有限公司 用于k12教育阶段基于人脸识别的多视频人员跟踪方法
CN113052197B (zh) * 2019-12-28 2024-03-12 中移(成都)信息通信科技有限公司 身份识别的方法、装置、设备和介质
CN113052197A (zh) * 2019-12-28 2021-06-29 中移(成都)信息通信科技有限公司 身份识别的方法、装置、设备和介质
CN111209818A (zh) * 2019-12-30 2020-05-29 新大陆数字技术股份有限公司 视频个体识别方法、系统、设备及可读存储介质
CN111145409A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 人体识别定位跟踪系统
CN111460884A (zh) * 2020-02-09 2020-07-28 天津博宜特科技有限公司 基于人体跟踪的多人脸识别方法
CN111339852B (zh) * 2020-02-14 2023-12-26 阿波罗智联(北京)科技有限公司 追踪方法、装置、电子设备和计算机可读存储介质
CN111339852A (zh) * 2020-02-14 2020-06-26 北京百度网讯科技有限公司 追踪方法、装置、电子设备和计算机可读存储介质
CN111325137B (zh) * 2020-02-18 2023-06-13 上海东普信息科技有限公司 暴力分拣检测方法、装置、设备及存储介质
CN111325137A (zh) * 2020-02-18 2020-06-23 上海东普信息科技有限公司 暴力分拣检测方法、装置、设备及存储介质
CN111368753B (zh) * 2020-03-06 2023-04-28 西安奥卡云数据科技有限公司 一种人脸检测方法及装置
CN111368753A (zh) * 2020-03-06 2020-07-03 西安奥卡云数据科技有限公司 一种人脸检测方法及装置
CN111368934B (zh) * 2020-03-17 2023-09-19 腾讯科技（深圳）有限公司 图像识别模型训练方法、图像识别方法以及相关装置
CN111368934A (zh) * 2020-03-17 2020-07-03 腾讯科技（深圳）有限公司 图像识别模型训练方法、图像识别方法以及相关装置
CN113496152A (zh) * 2020-03-20 2021-10-12 深圳云天励飞技术有限公司 基于ar眼镜的人脸识别方法、装置、电子设备及存储介质
CN113449566A (zh) * 2020-03-27 2021-09-28 北京机械设备研究所 人在回路的“低慢小”目标智能图像跟踪方法及系统
CN111460968A (zh) * 2020-03-27 2020-07-28 上海大学 基于视频的无人机识别与跟踪方法及装置
CN113449566B (zh) * 2020-03-27 2024-05-07 北京机械设备研究所 人在回路的“低慢小”目标智能图像跟踪方法及系统
CN111414885A (zh) * 2020-03-27 2020-07-14 海信集团有限公司 智能家居设备、服务器及图像处理方法
CN111460968B (zh) * 2020-03-27 2024-02-06 上海大学 基于视频的无人机识别与跟踪方法及装置
CN111597893A (zh) * 2020-04-14 2020-08-28 北京大学 一种行人图像的匹配方法、装置、存储介质及终端
CN111597893B (zh) * 2020-04-14 2023-08-04 北京大学 一种行人图像的匹配方法、装置、存储介质及终端
CN111553234B (zh) * 2020-04-22 2023-06-06 上海锘科智能科技有限公司 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN111553234A (zh) * 2020-04-22 2020-08-18 上海锘科智能科技有限公司 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN111583300B (zh) * 2020-04-23 2023-04-25 天津大学 一种基于富集目标形态变化更新模板的目标跟踪方法
CN111583300A (zh) * 2020-04-23 2020-08-25 天津大学 一种基于富集目标形态变化更新模板的目标跟踪方法
CN113554046A (zh) * 2020-04-24 2021-10-26 阿里巴巴集团控股有限公司 图像处理方法和系统、存储介质及计算设备
CN111553262A (zh) * 2020-04-26 2020-08-18 上海微阱电子科技有限公司 一种快速检测目标图形的检测装置及方法
CN111553262B (zh) * 2020-04-26 2023-09-01 上海微阱电子科技有限公司 一种快速检测目标图形的检测装置及方法
CN111639546A (zh) * 2020-05-07 2020-09-08 金钱猫科技股份有限公司 一种基于神经网络的小尺度目标云计算识别方法和装置
CN111681208A (zh) * 2020-05-08 2020-09-18 浙江大华技术股份有限公司 漏装零件检测方法、装置、计算机设备和存储介质
CN111681208B (zh) * 2020-05-08 2023-08-22 浙江大华技术股份有限公司 漏装零件检测方法、装置、计算机设备和存储介质
CN111695462A (zh) * 2020-05-29 2020-09-22 平安科技（深圳）有限公司 一种人脸识别方法、装置、存储介质和服务器
CN111797691A (zh) * 2020-06-03 2020-10-20 力引万物(深圳)科技有限公司 提高人脸识别准确率的方法及处理子系统
CN111860152A (zh) * 2020-06-12 2020-10-30 浙江大华技术股份有限公司 人员状态检测的方法、系统、设备和计算机设备
CN111860168A (zh) * 2020-06-18 2020-10-30 汉王科技股份有限公司 行人重识别方法、装置、电子设备及存储介质
CN111914635B (zh) * 2020-06-23 2023-12-26 北京迈格威科技有限公司 人体测温方法、装置、系统和电子设备
CN111914635A (zh) * 2020-06-23 2020-11-10 北京迈格威科技有限公司 人体测温方法、装置、系统和电子设备
CN111738181A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 对象关联方法及装置、对象检索方法及装置
CN111832549A (zh) * 2020-06-29 2020-10-27 深圳市优必选科技股份有限公司 数据标注方法及装置
CN111832549B (zh) * 2020-06-29 2024-04-23 深圳市优必选科技股份有限公司 数据标注方法及装置
CN111968152A (zh) * 2020-07-15 2020-11-20 桂林远望智能通信科技有限公司 一种动态身份识别方法及装置
CN111968152B (zh) * 2020-07-15 2023-10-17 桂林远望智能通信科技有限公司 一种动态身份识别方法及装置
CN112069875B (zh) * 2020-07-17 2024-05-28 北京百度网讯科技有限公司 人脸图像的分类方法、装置、电子设备和存储介质
CN112069875A (zh) * 2020-07-17 2020-12-11 北京百度网讯科技有限公司 人脸图像的分类方法、装置、电子设备和存储介质
CN112001948B (zh) * 2020-07-30 2024-06-11 浙江大华技术股份有限公司 一种目标跟踪处理方法及装置
CN111861275B (zh) * 2020-08-03 2024-04-02 河北冀联人力资源服务集团有限公司 家政工作模式的识别方法和装置
CN111861275A (zh) * 2020-08-03 2020-10-30 河北冀联人力资源服务集团有限公司 家政工作模式的识别方法和装置
CN112862859B (zh) * 2020-08-21 2023-10-31 海信视像科技股份有限公司 一种人脸特征值创建方法、人物锁定追踪方法及显示设备
CN112862859A (zh) * 2020-08-21 2021-05-28 海信视像科技股份有限公司 一种人脸特征值创建方法、人物锁定追踪方法及显示设备
CN112037247A (zh) * 2020-08-27 2020-12-04 浙江大华技术股份有限公司 一种目标跟踪的方法、装置及计算机存储介质
CN112149557B (zh) * 2020-09-22 2022-08-09 福州大学 一种基于人脸识别的人物身份跟踪方法及系统
CN112149557A (zh) * 2020-09-22 2020-12-29 福州大学 一种基于人脸识别的人物身份跟踪方法及系统
CN112132041A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于计算机视觉的社区巡更分析方法及其系统
CN112101287B (zh) * 2020-09-25 2023-11-28 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备和存储介质
CN112101287A (zh) * 2020-09-25 2020-12-18 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备和存储介质
CN112330710B (zh) * 2020-10-15 2023-03-17 深圳市视必得科技有限公司 运动目标的识别追踪方法、装置、服务器及可读存储介质
CN112330710A (zh) * 2020-10-15 2021-02-05 深圳市秀跑科技有限公司 运动目标的识别追踪方法、装置、服务器及可读存储介质
CN112329584A (zh) * 2020-10-29 2021-02-05 深圳技术大学 基于机器视觉自动识别电网异物的方法及系统、设备
CN112287880A (zh) * 2020-11-18 2021-01-29 苏州臻迪智能科技有限公司 云台姿态调整方法、装置、系统和电子设备
CN112507824A (zh) * 2020-11-27 2021-03-16 长威信息科技发展股份有限公司 一种视频图像特征识别的方法及系统
CN114639030A (zh) * 2020-12-01 2022-06-17 中移(成都)信息通信科技有限公司 兴趣信息确定的方法、装置、设备及存储介质
CN112784680B (zh) * 2020-12-23 2024-02-02 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN112784680A (zh) * 2020-12-23 2021-05-11 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN112560772A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 人脸的识别方法、装置、设备及存储介质
CN112560772B (zh) * 2020-12-25 2024-05-14 北京百度网讯科技有限公司 人脸的识别方法、装置、设备及存储介质
CN112699810B (zh) * 2020-12-31 2024-04-09 中国电子科技集团公司信息科学研究院 一种提升室内监控系统人物识别精度的方法及装置
CN112699810A (zh) * 2020-12-31 2021-04-23 中国电子科技集团公司信息科学研究院 一种提升室内监控系统人物识别精度的方法及装置
CN113012190B (zh) * 2021-02-01 2024-02-06 河南省肿瘤医院 手卫生合规监测方法、装置、设备及存储介质
CN113012190A (zh) * 2021-02-01 2021-06-22 河南省肿瘤医院 手卫生合规监测方法、装置、设备及存储介质
CN112837349A (zh) * 2021-02-09 2021-05-25 普联技术有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN112884809A (zh) * 2021-02-26 2021-06-01 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
CN112884810B (zh) * 2021-03-18 2024-02-02 沈阳理工大学 一种基于YOLOv3的行人跟踪方法
CN112884810A (zh) * 2021-03-18 2021-06-01 沈阳理工大学 一种基于YOLOv3的行人跟踪方法
CN113095199A (zh) * 2021-04-06 2021-07-09 复旦大学 一种高速行人识别方法及装置
CN113095199B (zh) * 2021-04-06 2022-06-14 复旦大学 一种高速行人识别方法及装置
CN113177459A (zh) * 2021-04-25 2021-07-27 云赛智联股份有限公司 一种智慧机场服务的视频智能分析方法及系统
CN113112525B (zh) * 2021-04-27 2023-09-01 北京百度网讯科技有限公司 目标跟踪方法、网络模型及其训练方法、设备和介质
CN113112525A (zh) * 2021-04-27 2021-07-13 北京百度网讯科技有限公司 目标跟踪方法、网络模型及其训练方法、设备和介质
CN113759431A (zh) * 2021-06-09 2021-12-07 同方威视技术股份有限公司 安检数据关联方法和装置、以及x射线安检系统
CN113759431B (zh) * 2021-06-09 2023-08-11 同方威视技术股份有限公司 安检数据关联方法和装置、以及x射线安检系统
CN113591904A (zh) * 2021-06-17 2021-11-02 浙江大华技术股份有限公司 逗留时间统计方法、货品调整方法及相关装置
CN113516093A (zh) * 2021-07-27 2021-10-19 浙江大华技术股份有限公司 标识信息的标注方法及装置、存储介质及电子装置
CN113674318A (zh) * 2021-08-16 2021-11-19 支付宝(杭州)信息技术有限公司 一种目标跟踪方法、装置及设备
CN113723311A (zh) * 2021-08-31 2021-11-30 浙江大华技术股份有限公司 目标跟踪方法
CN113837066A (zh) * 2021-09-22 2021-12-24 深圳市商汤科技有限公司 行为识别方法、装置、电子设备及计算机存储介质
CN114078273A (zh) * 2021-10-12 2022-02-22 深圳市领航卫士安全技术有限公司 预警方法、装置、设备及存储介质
CN114140718A (zh) * 2021-11-26 2022-03-04 浙江商汤科技开发有限公司 一种目标跟踪方法、装置、设备及存储介质
CN114299944A (zh) * 2021-12-08 2022-04-08 天翼爱音乐文化科技有限公司 视频处理方法、系统、装置及存储介质
CN114387665A (zh) * 2021-12-27 2022-04-22 广州市奔流电力科技有限公司 一种基于便携布控球的登高无人扶梯识别系统
CN114596581A (zh) * 2022-02-17 2022-06-07 复旦大学 一种智慧无人超市人体身份确认的方法
CN114694184A (zh) * 2022-05-27 2022-07-01 电子科技大学 一种基于多模板特征更新的行人重识别方法及系统
CN114694184B (zh) * 2022-05-27 2022-10-14 电子科技大学 一种基于多模板特征更新的行人重识别方法及系统
CN115050078A (zh) * 2022-07-01 2022-09-13 济南博观智能科技有限公司 一种人脸图像上报方法、装置、电子设备及存储介质
CN115083004A (zh) * 2022-08-23 2022-09-20 浙江大华技术股份有限公司 一种身份识别方法、装置和计算机可读存储介质
CN115083004B (zh) * 2022-08-23 2022-11-22 浙江大华技术股份有限公司 一种身份识别方法、装置和计算机可读存储介质
CN116030524A (zh) * 2023-02-09 2023-04-28 摩尔线程智能科技(北京)有限责任公司 一种人脸识别方法及装置、电子设备和存储介质
CN115830517B (zh) * 2023-02-14 2023-06-13 江西云眼视界科技股份有限公司 基于视频的考场异常帧提取方法及系统
CN115830517A (zh) * 2023-02-14 2023-03-21 江西云眼视界科技股份有限公司 基于视频的考场异常帧提取方法及系统
CN116309710A (zh) * 2023-02-27 2023-06-23 荣耀终端有限公司 目标追踪方法和电子设备
CN117440323B (zh) * 2023-12-20 2024-03-05 广东省人民医院 一种健康体检引导方法及系统
CN117440323A (zh) * 2023-12-20 2024-01-23 广东省人民医院 一种健康体检引导方法及系统
CN117808848A (zh) * 2024-03-01 2024-04-02 杭州穿石物联科技有限责任公司 一种识别跟踪方法、装置、电子设备及存储介质
CN117808848B (zh) * 2024-03-01 2024-05-17 杭州穿石物联科技有限责任公司 一种识别跟踪方法、装置、电子设备及存储介质
CN118314332A (zh) * 2024-06-07 2024-07-09 海信集团控股股份有限公司 一种目标识别方法、装置及智能设备
CN118522058A (zh) * 2024-07-22 2024-08-20 中电桑达电子设备(江苏)有限公司 基于人脸识别的对象跟踪方法、系统与介质

Also Published As

Publication number Publication date
CN106845385A (zh) 2017-06-13
TWI677825B (zh) 2019-11-21
TW201828158A (zh) 2018-08-01

Similar Documents

Publication Publication Date Title
WO2018133666A1 (zh) 视频目标跟踪方法和装置
US11393103B2 (en) Target tracking method, device, system and non-transitory computer readable medium
US11657525B2 (en) Extracting information from images
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
JP7282851B2 (ja) 装置、方法及びプログラム
US11941918B2 (en) Extracting information from images
CN108509859B (zh) 一种基于深度神经网络的无重叠区域行人跟踪方法
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
CN111797653B (zh) 基于高维图像的图像标注方法和装置
US8818024B2 (en) Method, apparatus, and computer program product for object tracking
CN111033509A (zh) 目标重新识别
WO2017000115A1 (zh) 行人再识别方法及设备
CN112364827B (zh) 人脸识别方法、装置、计算机设备和存储介质
CN110008867A (zh) 一种基于人物异常行为的预警方法、装置及存储介质
JP6618395B2 (ja) 行動価値によって調査対象の位置を予測する装置、プログラム及び方法
WO2020233397A1 (zh) 在视频中对目标进行检测的方法、装置、计算设备和存储介质
WO2016179808A1 (en) An apparatus and a method for face parts and face detection
WO2019033570A1 (zh) 嘴唇动作分析方法、装置及存储介质
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
Ballotta et al. Fully convolutional network for head detection with depth images
Shao et al. Faster R-CNN learning-based semantic filter for geometry estimation and its application in vSLAM systems
CN110688512A (zh) 基于ptgan区域差距与深度神经网络的行人图像搜索算法
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
WO2020192868A1 (en) Event detection
KR102465437B1 (ko) 인공지능 기반 객체 추적 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18742031

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18742031

Country of ref document: EP

Kind code of ref document: A1