Nothing Special   »   [go: up one dir, main page]

WO2015014111A1 - 一种光流跟踪方法和装置 - Google Patents

一种光流跟踪方法和装置 Download PDF

Info

Publication number
WO2015014111A1
WO2015014111A1 PCT/CN2014/071016 CN2014071016W WO2015014111A1 WO 2015014111 A1 WO2015014111 A1 WO 2015014111A1 CN 2014071016 W CN2014071016 W CN 2014071016W WO 2015014111 A1 WO2015014111 A1 WO 2015014111A1
Authority
WO
WIPO (PCT)
Prior art keywords
random structure
random
image
tracked
structural blocks
Prior art date
Application number
PCT/CN2014/071016
Other languages
English (en)
French (fr)
Inventor
颜国雄
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to KR1020157002681A priority Critical patent/KR101643672B1/ko
Priority to EP14818841.0A priority patent/EP2860696A4/en
Priority to AU2014285593A priority patent/AU2014285593B8/en
Publication of WO2015014111A1 publication Critical patent/WO2015014111A1/zh
Priority to US14/618,155 priority patent/US9536147B2/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Definitions

  • the present invention relates to the field of information technology, and in particular, to an optical flow tracking method and apparatus. Background technique
  • target detection and tracking technology In the field of video surveillance, target detection and tracking technology is generally used to detect and track the motion of faces, pedestrians or vehicles. In the field of video compression and robot navigation, the motion information of the target is also analyzed. Therefore, the application scenarios of motion analysis are rich and of great value. Motion analysis is to obtain an object position offset to track an object.
  • the optical flow method is often used for motion analysis, and the optical flow calculation can determine the direction of motion and the rate of motion at the image point. It requires that the time interval between adjacent images is very small and that no significant changes occur between the two adjacent images. In the prior art, the optical flow method is used to track the target.
  • the feature points are determined on the object to be tracked on the image, and then each feature point is tracked one by one using the pyramid optical flow algorithm, and then the feature points of the tracking error are excluded by using certain criteria. , the position offset information of the remaining feature points is counted, and the position offset is calculated to obtain the target position of the object to be tracked.
  • tracking points are easily ambiguous, tracking errors occur, resulting in insufficient tracking accuracy.
  • the invention provides an optical flow tracking method and device for improving the accuracy and real-time performance of target tracking without increasing the computational complexity.
  • an embodiment of the present invention provides an optical flow tracking method, including: Generating a random structure according to the object to be tracked on the image, the random structure includes at least two structural blocks with fixed relative positions, each of the structural blocks including at least one feature point of the object to be tracked;
  • a target position of the object to be tracked is estimated according to a positional offset of the random structure.
  • the generating a random structure according to the object to be tracked on the image includes:
  • the optical flow tracking algorithm is used to track all structural blocks in the random structure to obtain a location of the random structure.
  • the offset includes:
  • the displacement of the feature point included in the random structure in the X direction is the displacement of the feature point included in the random structure in the y direction
  • is the starting position of the feature point included in the random structure in the image
  • the abscissa which is the ordinate of the starting position of the feature point included in the random structure in the image, is the starting position of the feature point included in the random structure in the image
  • +, y + is a target position of the feature point included in the random structure in the image, an abscissa of a midpoint of the random block in the random structure, and a midpoint of the random block in the random structure
  • An ordinate where ⁇ is the number of points in the abscissa of the random block from the edge of the random block, and ⁇ is the number of points in the ordinate of
  • the first and second possible implementation manners of the first aspect in a third possible implementation, after the generating a random structure according to the object to be tracked on the image, includes:
  • the optical flow tracking algorithm is used to track all the structural blocks in the random structure, and specifically includes:
  • the optical flow tracking algorithm performs all the structural blocks in the random structure after one filtering error Tracking.
  • the determining that the error included in all the structural blocks in the random structure exceeds a first set value of the second set value After obtaining a random structure after filtering out the error it also includes:
  • the second error feature points are filtered out in the feature points included in all the structural blocks in the random structure after the primary filtering error, and a random structure after the secondary filtering error is obtained;
  • the optical flow tracking algorithm is used to track all the structural blocks in the random structure, and specifically includes:
  • the optical flow tracking algorithm is used to track all the structural blocks in the random structure after the secondary filtering error.
  • the determining, according to the position offset of the random structure, the location of the object to be tracked specifically: The average value or the intermediate value of the positional offset of the random structure is determined as the positional offset of the object to be tracked;
  • an optical flow tracking apparatus including:
  • a random structure generating module configured to generate a random structure according to the object to be tracked on the image, where the random structure includes at least two structural blocks with fixed relative positions, each of the structural blocks including at least one feature of the object to be tracked Point
  • An optical flow tracking module configured to perform optical block tracking algorithms on all structural blocks in the random structure Tracking to obtain a position offset of the random structure
  • a position estimation module configured to estimate a target position of the object to be tracked according to a position offset of the random structure.
  • the random structure generating module is specifically configured to: generate, according to a starting position and a size of the object to be tracked in the image, where the object to be tracked is located a gradient image of the image; scanning the gradient image to obtain a gradient histogram of the gradient image, determining, according to the gradient histogram, a feature point whose average gradient is greater than a first set value; determining a location included in the random structure Determining the number of structural blocks, selecting at least one feature point among the feature points whose average gradient is greater than the first set value; setting the structural block according to the position of the selected feature point in the image, the number of the structural blocks Determining a feature point corresponding to all the structural blocks in the random structure; generating the random structure according to the feature points corresponding to all the structural blocks in the random structure.
  • the optical flow tracking module is specifically configured to: use an optical flow tracking algorithm
  • the displacement of the feature point included in the random structure in the X direction is the displacement of the feature point included in the random structure in the y direction
  • is the starting position of the feature point included in the random structure in the image
  • the abscissa the start of the feature points included in the random structure in the image
  • the ordinate of the position is the starting position of the feature point included in the random structure in the image
  • J coordinate(x + ifc, y + dy) is the feature point included in the random structure in the image a target position in which the abscissa of the midpoint of the random block in the random structure is the ordinate of the midpoint of the random block in the random structure, where ⁇ is the midpoint of the abscissa of the random block
  • the device further includes: an error filtering module, configured to filter The first error feature point included in all the structural blocks in the random structure exceeds the third set value, and the random structure after filtering error is obtained; the optical flow tracking module is specifically configured to: use the optical flow tracking algorithm All structural blocks in the random structure after the filtering error are tracked.
  • the error filtering module is further configured to:
  • the second error feature points are filtered out in the feature points included in all the structural blocks in the random structure after the primary filtering error, and a random structure after the secondary filtering error is obtained;
  • the optical flow tracking module is specifically configured to: track all structural blocks in the random structure after the secondary filtering error by using an optical flow tracking algorithm.
  • the location estimation module is specifically configured to: determine an average value or an intermediate value of a position offset of the random structure, a position offset of the object to be tracked; adding a position offset of the object to be tracked to a start position of the object to be tracked to obtain a target position of the object to be tracked.
  • the optical flow tracking method and device acquires a feature point of an object to be tracked on an image, and generates a random structure for each feature point, and tracks each random structure to obtain a positional deviation of the random structure, thereby estimating
  • the tracking method of the embodiment of the present invention reduces the tracking error and effectively improves the tracking accuracy by reducing the tracking error by using the structural constraint, as compared with the manner of tracking the feature points one by one in the prior art.
  • FIG. 1 is a flowchart of an optical flow tracking method according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart of an optical flow tracking method according to Embodiment 2 of the present invention.
  • FIG. 3 is a schematic diagram of a possible random structure generated according to Embodiment 2 of the present invention.
  • FIG. 4 is a schematic structural diagram of an optical flow tracking apparatus according to Embodiment 3 of the present invention.
  • FIG. 5 is a schematic structural diagram of an optical flow tracking apparatus according to Embodiment 4 of the present invention.
  • FIG. 6 is a schematic structural diagram of an optical flow tracking apparatus according to Embodiment 5 of the present invention.
  • FIG. 1 is a flowchart of an optical flow tracking method according to Embodiment 1 of the present invention.
  • the method of this embodiment is applicable to various fields related to object tracking in images, such as video surveillance field and robot navigation.
  • the executor of the following steps can be a device with image processing functions, such as: computer, PAD, mobile phone, etc. As shown in FIG. 1, the method in this embodiment may include the following steps:
  • the random structure includes at least two structural blocks fixed in opposite positions, each of the structural blocks including at least one feature point of the object to be tracked.
  • Each image may be divided into a plurality of local area pixel blocks, and the feature points are descriptions of each local area pixel block of the image, specifically including the positional description of the local area pixel block and the specific features of the local area pixel block. description.
  • the position description may be represented by coordinates of each feature point in the local area, and the description of the specific feature of the local area pixel block may include one or more of a color feature, a texture feature, a spatial relationship feature, and the like of the image block of the image local area.
  • the invention is not particularly limited herein.
  • At least two structural blocks may be included in each random structure, and each structural block includes at least one feature point of the object to be tracked.
  • each random structure is random, and a certain structural block can be selected as a random structure within a certain specific distance range, and the shape of the random structure is also arbitrary, and there is no specific requirement.
  • the feature points included in each structural block are not limited to one, and may also include some feature points that are close to each other.
  • the optical flow tracking of all the structural blocks in the random structure may be that each random structure is used as a whole, and the optical flow tracking method is used to simultaneously track multiple structural blocks in the random structure. To get the position offset of each random structure. Simultaneous tracking of multiple random blocks can effectively avoid the ambiguity of single feature point tracking and reduce tracking errors.
  • a pyramid optical flow tracking algorithm when performing optical flow tracking, may be used, starting from the highest layer of the image, and iteratively calculating each layer to obtain a final position offset.
  • the basic idea of the pyramid optical flow tracking algorithm is as follows: First, construct the image pyramid; then, make the initial value of the position offset zero, and estimate the position offset from the highest level of the pyramid, consistently iterating to the lowest level. The final iterative result is the position offset of the random structure.
  • the pyramidal construction process of a specific image is as follows:
  • the original graphic is the bottom layer of the pyramid, which can be recorded as
  • D the distance of the target pixel motion between adjacent frames in the original image, that is, the displacement of the feature point.
  • the starting position of the object to be tracked in the image in the present invention refers to the position of the object to be tracked in the image before the image tracking is performed, that is, the position of the object to be tracked in the image is not changed.
  • the target position refers to the position of the object to be tracked in the image after the image is tracked, that is, the position of the object to be tracked in the image.
  • the difference between the target position amount and the starting position is the position offset, that is, the displacement generated by the object to be tracked during image tracking is the position. Offset.
  • the image tracking can be performed in units of frames, that is, the position of the object to be tracked in the image of the next frame can be tracked with respect to the position of the object to be tracked in the previous frame.
  • the starting position and the target are The position can be expressed by coordinate values, and other representations such as vectors and vectors can also be used, and the present invention is not particularly limited.
  • the correlation calculation is performed, for example, the average value of all position offsets or the median value of the position offsets of all random structures is obtained, and the positional deviation of the tracking target object is obtained. the amount.
  • the amount of offset position can then be added to the amount of position of the tracked object in the original image to obtain the target position of the tracked object.
  • the optical flow tracking method provided by the embodiment of the present invention acquires a feature point of an object to be tracked on an image, and generates a random structure for each feature point, and tracks each random structure to obtain a positional deviation of the random structure, thereby estimating the to-be-tracked
  • the tracking method of the embodiment of the present invention reduces the tracking error and effectively improves the tracking accuracy by reducing the tracking error by the structural constraint.
  • FIG. 2 is a flowchart of an optical flow tracking method according to Embodiment 2 of the present invention.
  • the method of this embodiment is applicable to various fields related to object tracking in images, such as video surveillance field and robot navigation.
  • FIG. 1 and FIG. 2 on the basis of the foregoing embodiment 1, the specific process of the optical flow tracking method is provided in the embodiment of the present invention:
  • a gradient image refers to the significant change of the gray value of the image. If the image is regarded as a two-dimensional discrete function, the image gradient is the derivation of the two-dimensional discrete function. Therefore, a gradient image refers to an image obtained by obtaining a gradient value for an image.
  • Gradient images are a good reflection of the characteristics of objects in an image.
  • the image can be directly derived from the two-dimensional function, or several classical estimation methods in the linear filtering method, such as Sobel operator, Prewitt operator, Roberts operator, and the like.
  • Sobel operator provides two sets of 3*3 matrices, respectively calculates a horizontal gradient image and a vertical gradient image, and convolves the obtained horizontal gradient image and the vertical gradient image to obtain a gradient image. .
  • the point where the gradient amplitude in the object to be tracked in the gradient image is greater than a certain set value may be selected as the feature point of the object to be tracked, and the feature points can be good.
  • the characteristics of the object to be tracked are embodied. Specifically, a gradient image may be generated on the image, and a set of points with a large gradient of the target region may be obtained, and the point set may be used as a feature point; or some traditional feature extraction algorithms, such as a Sobel operator, a Roberts operator, etc., may also be utilized. To perform edge detection on the image, the detected edge feature points are used as feature points of the object to be tracked.
  • the set value can be set according to a specific gradient image, different gradient images may have different set values, and the set value size setting basis is that the point larger than the set value can be better Reflects the characteristics of the image to be tracked.
  • the specific settings can be obtained based on prior knowledge, or a value can be estimated within the possible range of gradient values. For example, the intermediate value of all gradient values can be selected as the set value.
  • the generated gradient image can be scanned, for example, a 3*3 template can be scanned.
  • Gradient image obtain a gradient histogram of the image, and determine to record feature points of the object to be tracked whose average gradient in the gradient histogram is greater than the first set value.
  • the 3*3 template is a pre-processing template, and the template can be used to calculate a maximum gradient or an average gradient of each local region in the image, thereby calculating a gradient histogram of each pixel in the gradient image.
  • the average gradient refers to the size of the grayscale difference near the boundary or the shadow of the image, that is, the magnitude of the grayscale change rate.
  • the average gradient is also called the sharpness. It can describe the clarity of the image and reflect the degree of contrast in the image.
  • the average gradient may refer to the average of the gradient between a pixel and its neighboring pixels, such as the gradient of a pixel to its left pixel and the average of the gradient of the pixel to its right pixel in a horizontal gradient.
  • the first set value is lower than the set value involved in determining the feature point of the object to be tracked, that is, the positions of the feature points of all the to-be-tracked images that are extracted are determined to be recorded, and all the gradients are determined. The position in the histogram where the average gradient is greater than the first set value is recorded and saved in the gradient array.
  • Random structures can be extracted from feature points so that subsequent tracking can be tracked in units of random structures, reducing the ambiguity that occurs when tracking individual feature points.
  • the number of structural blocks can be randomly selected.
  • the distance between the random blocks, and the range of the size of each random block may be preset according to specific needs, such as limiting the size of each structural block in the random structure to a range [3*3, 12*12], the structural block
  • the number of the range is (1, 4)
  • the distance between the structural blocks is (1, target size), etc.
  • any at least one feature point is selected among the feature points whose average gradient is greater than the first set value.
  • one feature point may be selected among feature points whose average gradient is greater than the first set value.
  • the 204 according to the position of the selected feature point in the image, the number of structural blocks, setting the structural block The range of distances between them determines the feature points corresponding to all the structural blocks in the random structure.
  • the feature points corresponding to all the structural blocks in the random structure are determined according to the number of selected structural blocks, the distance range between the structural blocks, the relative position, and the like, and the positions corresponding to the feature points are found in the gradient array. .
  • FIG. 3 is a schematic diagram of a possible random structure generated in the second embodiment of the present invention. As shown in FIG. 3, the random structure generated in this embodiment, the size of the structural block, the number of structural blocks, and the distance between the structural blocks are not limited, as long as the preset range is met.
  • the displacement in the X direction is the displacement of the feature point included in the random structure in the y direction
  • J is the abscissa of the starting position of the feature point included in the random structure in the image, which is in the random structure
  • An ordinate of a starting point of the included feature point in the image is a starting position of a feature point included in the random structure in the image
  • J x + + is the target position of the feature point included in the random structure in the image
  • ⁇ ⁇ is the abscissa of the midpoint of the random block in the random structure
  • is the number of points in the abscissa of the random block from the edge of the random block
  • is the number of points in the ordinate of
  • the random structure acquired in step 206 is tracked, and the pyramid optical flow tracking is performed on each random structure in units of random structures.
  • each layer of the pyramid can be iterated from the highest layer to the lowest layer according to formula (1), and finally the displacement of each random structure is obtained.
  • the formula (1) can be made zero, that is, s(J)
  • the pyramid optical flow tracking algorithm is used to track the object to be tracked in units of each random structure, thereby avoiding ambiguity in the tracking process and effectively improving The accuracy of the tracking.
  • the following operations may be performed: filtering out the first error feature points included in all the structural blocks in the random structure exceeding the second set value, and obtaining a filtering Random structure after the error.
  • the optical flow tracking algorithm can be used to track all the structural blocks in the random structure after one filtering error.
  • the second set value is an error value set for a tracking error occurring in the tracking process of the random structure, and may be a value set for a convergence condition in the iteration, for example, the displacement value converges after the iteration reaches a certain number of times If the value is greater than a specific value, then a tracking error is considered. At this time, the specific value is the second set value.
  • the following operations can also be performed: Using the normalized correlation coefficient NCC method, all in a random structure after filtering the error The second error feature points are filtered out from the feature points included in the structural block to obtain a random structure after the secondary filtering error.
  • the optical flow tracking algorithm can be used to track all the structural blocks in the random structure after the secondary filtering error.
  • a normalized Norrelation Noefficient or other error measurement method may be used to obtain a random structure after the filtering error is obtained.
  • the feature points of the large error existing in the feature points included in all the structural blocks are filtered out, for example, the erroneous tracking points can be determined according to the characteristics of the color, brightness and the like of the feature points, and the second error is filtered out. Feature points, to get a random structure after the secondary filtering error.
  • the NCC method may specifically calculate an NCC phase correlation coefficient for each group of structural blocks, that is, an area-normalized error coefficient. After all the NCC correlation coefficients are calculated, based on statistical analysis, such as averaging, the filtering block is larger than the average one NCC coefficient corresponding to the structural block.
  • the position offset of the random structure may be integrated, for example, an average value or an intermediate value of the position offsets may be obtained, and the average value or the intermediate value or the like may be used as the position offset of the object to be tracked. the amount.
  • the position offset of the object to be tracked may be added to the starting position of the object to be tracked, and determined as the target position of the object to be tracked.
  • the offset position amount and the starting position here can be represented by vectors or coordinates, and the addition of the two.
  • the operation is not a combination of numbers in the usual sense, but a vector operation.
  • the optical flow tracking method acquires a feature point of an object to be tracked on an image, and generates a random structure for each feature point, and tracks each random structure to obtain a positional deviation of the random structure, thereby estimating the to-be-tracked Positioning the object, adding a position offset of the object to be tracked to a starting position of the object to be tracked, to obtain a target position of the object to be tracked. Reduced tracking errors and improved tracking accuracy.
  • 4 is a schematic structural diagram of a junction light flow tracking device according to Embodiment 3 of the present invention. As shown in FIG. 4, the optical flow tracking apparatus of the embodiment of the present invention includes:
  • a random structure generating module 401 configured to generate a random structure according to the object to be tracked on the image, where the random structure includes at least two structural blocks with fixed relative positions, each structural block including at least one feature point of the object to be tracked;
  • the optical flow tracking module 402 is configured to track all structural blocks in the random structure by using an optical flow tracking algorithm to obtain a position offset of the random structure;
  • the position estimation module 403 is configured to estimate a target position of the object to be tracked according to the position offset of the random structure.
  • the random structure generating module 401 may be specifically configured to: generate a gradient image of an image of the object to be tracked according to a starting position and a size of the object to be tracked in the image; and scan the gradient image to obtain a gradient histogram of the gradient image, Determining, according to the gradient histogram, a feature point whose average gradient is greater than the first set value; determining a number of structural blocks included in the random structure, and selecting at least one feature point among the feature points whose average gradient is greater than the first set value; The position of the feature point in the image, the number of structural blocks, the distance range between the structural blocks, and the feature points corresponding to all the structural blocks in the random structure; A random structure is generated according to feature points corresponding to all structural blocks in the random structure.
  • the optical flow tracking module 402 can be specifically configured to: adopt an optical flow tracking algorithm.
  • the sum of the displacement residuals of all the structural blocks in the random structure, the displacement of the random block, the displacement of the random block in the X direction, the displacement of the random block in the y direction, and the feature points included in the random structure are in the X
  • the displacement of the direction is the displacement of the feature point included in the random structure in the y direction
  • J is the abscissa of the starting position of the feature point included in the random structure in the image, which is the feature point included in the random structure in the image.
  • the ordinate of the starting position, ⁇ ⁇ is the starting position of the feature points included in the random structure in the image; ⁇ + ⁇ + ⁇ ) is the target position of the feature points included in the random structure in the image, which is random
  • FIG. 5 is a schematic structural diagram of an optical flow tracking device according to Embodiment 4 of the present invention.
  • the device may further include: an error filtering module 404, configured to filter The first error feature point included in all the structural blocks in the random structure exceeds the third set value, and a random structure after filtering error is obtained;
  • the optical flow tracking module 402 can be specifically configured to: track all structural blocks in the random structure after the filtering error by using an optical flow tracking algorithm.
  • the error filtering module 404 can be further configured to: adopt a normalization related system NCC method, Filtering the second error feature points in the feature points included in all the structural blocks in the random structure after the filtering error, and obtaining a random structure after the secondary filtering error;
  • the optical flow tracking module 402 can be specifically configured to: use an optical flow tracking algorithm to track all structural blocks in the random structure after the secondary filtering error.
  • the location estimation module 403 may be specifically configured to: determine an average value or an intermediate value of the position offset of the random structure as a position offset of the object to be tracked; The starting positions of the tracking objects are added to obtain the target position of the object to be tracked.
  • the offset position amount and the start position herein can be represented by vectors or coordinates, and the addition of the two is not a digital addition in the usual sense, but a vector operation.
  • optical flow tracking device of this embodiment may be used to implement the technical solution of any of the foregoing method embodiments.
  • the specific implementation principle of the functional modules included in the foregoing may be referred to the foregoing method embodiments, and details are not described herein again.
  • the optical flow tracking device acquires a feature point of an object to be tracked on an image, and generates a random structure for each feature point, and tracks each random structure to obtain a positional deviation of the random structure, thereby estimating the to-be-tracked
  • the tracking method of the embodiment of the present invention reduces the tracking error and effectively improves the tracking accuracy by reducing the tracking error by the structural constraint.
  • FIG. 6 is a schematic structural diagram of an optical flow tracking apparatus according to Embodiment 5 of the present invention. As shown in FIG.
  • the optical flow tracking apparatus may include: a memory 601 and a processor 602 in communication with the memory 601, where the memory 601 stores a set of program code, and the processor 602 is configured to call the program code stored in the memory, and perform the following method: generating a random structure according to the object to be tracked on the image, the random structure includes at least two structural blocks with fixed relative positions, each structure The block contains at least the object to be tracked A feature point; the optical flow tracking algorithm is used to track all the structural blocks in the random structure to obtain the positional offset of the random structure; and the target position of the object to be tracked is estimated according to the positional offset of the random structure.
  • the processor 602 performs a random structure according to the object to be tracked on the image, and may be specifically: generating a gradient image of the image of the object to be tracked according to the starting position and size of the object to be tracked in the image; Obtaining a gradient histogram of the gradient image, determining a gradient histogram, determining a feature point whose average gradient is greater than the first set value; determining a number of structural blocks included in the random structure, where the average gradient is greater than the first set value Selecting at least one feature point; determining a distance range between the structural blocks according to the selected position of the feature point in the image, the number of selected structural blocks, determining feature points corresponding to all structural blocks in the random structure; The feature points corresponding to all the structural blocks in the structure generate a random structure.
  • the processor 602 performs an optical flow tracking algorithm to track all the structural blocks in the random structure to obtain a position offset of the random structure, which may be specifically:
  • the sum of the displacement residuals of all the structural blocks in the random structure, the displacement of the random block, the displacement of the random block in the X direction, the displacement of the random block in the y direction, and the feature points included in the random structure are in the X
  • the displacement of the direction is the displacement of the feature point included in the random structure in the y direction
  • J is the abscissa of the starting position of the feature point included in the random structure in the image, which is a random knot.
  • the ordinate of the starting point of the feature point included in the image in the image, ⁇ ⁇ is the starting position of the feature point included in the random structure in the image; ⁇ + ⁇ + ⁇ ) is the feature included in the random structure
  • the target position of the point in the image is the abscissa of the midpoint of the random block in the random structure, ⁇ is the ordinate of the midpoint of the random block in the random structure, and is the number of points in the abscissa of the random block from the edge of the random block ⁇ is the number of points in the ordinate of the random block from the edge of the random block, and N is the number of random blocks in the random structure.
  • the method further includes: filtering out the first error feature point that the error included in all the structural blocks in the random structure exceeds the second set value, Get a random structure after filtering out the error.
  • the optical flow tracking algorithm executed by the processor 602 tracks all the structural blocks in the random structure, and specifically includes: tracking all the structural blocks in the random structure after filtering the error by using the optical flow tracking algorithm.
  • the processor 602 performs a first error feature point that determines that the error included in all the structural blocks in the random structure exceeds the second set value, and after obtaining the random structure after filtering the error, further performing:
  • the second error feature points are filtered out in the feature points included in all the structural blocks in the random structure after the filtering error, and the random structure after the secondary filtering error is obtained.
  • the optical flow tracking algorithm executed by the processor 602 tracks all the structural blocks in the random structure, and specifically includes: tracking all the structural blocks in the random structure after the secondary filtering error by using the optical flow tracking algorithm.
  • the processor 602 performs a position offset according to the random structure, and estimates a position of the object to be tracked, where the average value or the intermediate value of the position offset of the random structure is determined as a positional deviation of the object to be tracked. Shift; the positional offset of the object to be tracked and the start of the object to be tracked The positions are added together to obtain the target position of the object to be tracked.
  • optical flow tracking device may specifically be various types of terminal devices, such as a PC, a PAD, a mobile phone, and the like.
  • the processor may be a central processing unit (CPU), a graphic processing unit (GPU) or a digital signal processor (DSP) having data processing functions.
  • CPU central processing unit
  • GPU graphic processing unit
  • DSP digital signal processor
  • optical flow tracking device of this embodiment may be used to implement the technical solution of any of the foregoing method embodiments, and the implementation principle and technical effects thereof are similar, and details are not described herein again.
  • the aforementioned program can be stored in a computer readable storage medium.
  • the program when executed, performs the steps including the foregoing method embodiments; and the foregoing storage medium includes: a medium that can store program codes, such as a ROM, a RAM, a magnetic disk, or an optical disk.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种光流跟踪方法和装置,包括:根据图像上的待跟踪物体生成随机结构,所述随机结构包括相对位置固定的至少两个结构块,每个所述结构块中包含待跟踪物体的至少一个特征点;采用光流跟踪算法对所述随机结构中所有结构块进行跟踪,以得到所述随机结构的位置偏移量;根据所述随机结构的位置偏移量,估计所述待跟踪物体的目标位置。本发明实施例提供的光流跟踪方法和装置,通过获取图像上待跟踪物体的特征点,并将各特征点生成随机结构,对每个随机结构进行跟踪获得随机结构的位置偏移,从而估计待跟踪物体的位置,减少了跟踪错误,有效提高了跟踪精度。

Description

一种光流跟踪方法和装置
技术领域
本发明涉及信息技术领域, 尤其涉及一种光流跟踪方法和装置。 背景技术
在视频监控领域,一般通过目标检测与跟踪技术来检测和跟踪人脸、行人 或车辆的运动, 在视频压缩、 机器人导航领域, 也需要对目标的运动信息进行 分析。 因此运动分析的应用场景丰富且具有重要价值。运动分析是为了得到物 体位置偏移, 从而跟踪到物体。 目前常使用光流法来进行运动分析, 通过光流 计算可以确定图像点上的运动方向和运动速率。它要求在相邻图像之间的时间 间隔非常小, 并且在两幅相邻图像之间不发生显著的变化。 现有技术中,使用光流法跟踪目标, 首先要在图像上待跟踪的物体上确定 特征点, 然后使用金字塔光流算法逐个跟踪每个特征点,再使用一定的准则排 除跟踪错误的特征点, 统计剩余特征点的位置偏移量信息, 并对位置偏移量进 行计算得到待跟踪物体的目标位置。 然而, 由于不同的跟踪点 ^艮容易具有多义性, 从而出现跟踪错误, 从而导 致跟踪精度不够高。
发明内容
本发明提供一种光流跟踪方法和装置, 用以在不增加运算复杂度的情况 下, 提高目标跟踪的精度和实时性。
第一方面, 本发明实施例提供一种光流跟踪方法, 包括: 根据图像上的待跟踪物体生成随机结构,所述随机结构包括相对位置固定 的至少两个结构块, 每个所述结构块中包含所述待跟踪物体的至少一个特征 点;
采用光流跟踪算法对所述随机结构中所有结构块进行跟踪,以得到所述随 机结构的位置偏移量;
根据所述随机结构的位置偏移量, 估计所述待跟踪物体的目标位置。 在第一方面的第一种可能的实现方式中,所述根据图像上的待跟踪物体生 成随机结构, 具体包括:
根据所述待跟踪物体在所述图像中的起始位置和大小,生成所述待跟踪物 体所在的所述图像的梯度图像;
扫描所述梯度图像得到所述梯度图像的梯度直方图, 根据所述梯度直方 图, 确定平均梯度大于第一设定值的特征点;
确定所述随机结构包括的所述结构块的数目,在平均梯度大于第一设定值 的特征点中选择至少一个特征点;
根据所选择的特征点在所述图像中的位置, 所述结构块的数目,设定结构 块之间的距离范围, 确定所述随机结构中所有结构块对应的特征点;
根据所述随机结构中所有结构块对应的特征点生成所述随机结构。
根据第一方面的第一种可能的实现方式,在第二种可能的实现方式中, 所 述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪,以得到所述随机 结构的位置偏移量, 具体包括:
采用光流跟踪算法 s(d) = s(dx ,dy) = j ^ ^ (/„ (x, y) - Jn (x + dx, y + dy)f
, 确定所述随机结构中 所有结构块的位移残差之和,所述随机结构中所有结构块的位移残差之和作为 所述随机结构的位置偏移量;
其中: 为所述随机结构中所有结构块的位移残差之和, 为所述随机 块的位移, 为所述随机块在 X方向的位移, 为所述随机块在 y方向的位移, 为所述随机结构中包括的特征点在 X方向的位移, 为所述随机结构中包 括的特征点在 y方向的位移, ^为所述随机结构中包括的特征点在所述图像中 的起始位置的横坐标, 为所述随机结构中包括的特征点在所述图像中的起始 位置的纵坐标, 为所述随机结构中包括的特征点在所述图像中的起始位 置; + ,y + 为所述随机结构中包括的特征点在所述图像中的目标位置, 为所述随机结构中所述随机块的中点的横坐标, 为所述随机结构中所述 随机块的中点的纵坐标, ^为所述随机块的横坐标中点距所述随机块边缘距 离的点数, ^为所述随机块的纵坐标中点距所述随机块边缘距离的点数, W为 所述随机结构中所述随机块的数目。
根据第一方面、 第一方面的第一种和第二种可能的实现方式的任意一种, 在第三种可能的实现方式中, 所述根据图像上的待跟踪物体生成随机结构之 后, 还包括:
滤除所述随机结构中所有结构块中包括的误差超过第二设定值的第一误 差特征点, 得到一次滤除误差后的随机结构;
所述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪, 具体包 括:
所述采用光流跟踪算法对一次滤除误差后的随机结构中所有结构块进行 跟踪。
根据第一方面的第三种可能的实现方式,在第四种可能的实现方式中, 所 述确定所述随机结构中所有结构块中包括的误差超过第二设定值的第一误差 特征点, 得到一次滤除误差后的随机结构之后, 还包括:
采用归一化相关系统 NCC方法, 在所述一次滤除误差后的随机结构中所 有结构块中包括的特征点中滤除第二误差特征点,得到二次滤除误差后的随机 结构;
所述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪, 具体包 括:
所述采用光流跟踪算法对所述二次滤除误差后的随机结构中所有结构块 进行跟踪。
根据第一方面的第四种可能的实现方式,在第五种可能的实现方式中, 所 述根据所述随机结构的位置偏移量, 估计所述待跟踪物体的位置, 具体包括: 将所述随机结构的位置偏移量的平均值或中间值,确定为所述待跟踪物体 的位置偏移量;
将所述待跟踪物体的位置偏移量与所述待跟踪物体的起始位置相加,得到 所述待跟踪物体的目标位置。
第二方面, 本发明实施例提供一种光流跟踪装置, 包括:
随机结构生成模块, 用于根据图像上的待跟踪物体生成随机结构, 所述随 机结构包括相对位置固定的至少两个结构块,每个所述结构块中包含所述待跟 踪物体的至少一个特征点;
光流跟踪模块,用于采用光流跟踪算法对所述随机结构中所有结构块进行 跟踪, 以得到所述随机结构的位置偏移量;
位置估计模块, 用于根据所述随机结构的位置偏移量,估计所述待跟踪物 体的目标位置。
在第二方面的第一种可能的实现方式中, 所述随机结构生成模块具体用 于: 根据所述待跟踪物体在所述图像中的起始位置和大小, 生成所述待跟踪物 体所在的所述图像的梯度图像;扫描所述梯度图像得到所述梯度图像的梯度直 方图, 根据所述梯度直方图, 确定平均梯度大于第一设定值的特征点; 确定所 述随机结构包括的所述结构块的数目,在平均梯度大于第一设定值的特征点中 选择至少一个特征点; 根据所选择的特征点在所述图像中的位置, 所述结构块 的数目,设定结构块之间的距离范围,确定所述随机结构中所有结构块对应的 特征点; 根据所述随机结构中所有结构块对应的特征点生成所述随机结构。
根据第二方面的第一种可能的实现方式, 在第二种可能的实现方式中, 所述光流跟踪模块具体用于: 采用光流跟踪算法
s{d) = s{dx ,dy) = Yj ^ ^ (/„ (x, y) - J„(x + dx, y + dy)f
, 确定所述随机结构中 所有结构块的位移残差之和,所述随机结构中所有结构块的位移残差之和作为 所述随机结构的位置偏移量;
其中: 为所述随机结构中所有结构块的位移残差之和, 为所述随机 块的位移, 为所述随机块在 X方向的位移, 为所述随机块在 y方向的位移, 为所述随机结构中包括的特征点在 X方向的位移, 为所述随机结构中包 括的特征点在 y方向的位移, ^为所述随机结构中包括的特征点在所述图像中 的起始位置的横坐标, 为所述随机结构中包括的特征点在所述图像中的起始 位置的纵坐标, 为所述随机结构中包括的特征点在所述图像中的起始位 置; J„(x + ifc, y + dy)为所述随机结构中包括的特征点在所述图像中的目标位置, 为所述随机结构中所述随机块的中点的横坐标, 为所述随机结构中所述 随机块的中点的纵坐标, ^为所述随机块的横坐标中点距所述随机块边缘距 离的点数, ^为所述随机块的纵坐标中点距所述随机块边缘距离的点数, W为 所述随机结构中所述随机块的数目。
根据第二方面、 第二方面的第一种和第二种可能的实现方式的任意一种, 在第三种可能的实现方式中, 所述装置还包括: 误差滤除模块, 用于滤除所述 随机结构中所有结构块中包括的误差超过第三设定值的第一误差特征点,得到 一次滤除误差后的随机结构; 所述光流跟踪模块具体用于: 采用光流跟踪算法 对所述一次滤除误差后的随机结构中所有结构块进行跟踪。
根据第二方面的第三种可能的实现方式, 在第四种可能的实现方式中, 所述误差滤除模块还用于:
采用归一化相关系统 NCC方法, 在所述一次滤除误差后的随机结构中所 有结构块中包括的特征点中滤除第二误差特征点,得到二次滤除误差后的随机 结构;
所述光流跟踪模块具体用于:采用光流跟踪算法对二次滤除误差后的随机 结构中所有结构块进行跟踪。
根据第二方面的第五种可能的实现方式,在第六种可能的实现方式中, 所 述位置估计模块具体用于: 将所述随机结构的位置偏移量的平均值或中间值, 确定为所述待跟踪物体的位置偏移量;将所述待跟踪物体的位置偏移量与所述 待跟踪物体的起始位置相加, 得到所述待跟踪物体的目标位置。 本发明实施例提供的光流跟踪方法和装置,通过获取图像上待跟踪物体的 特征点, 并将各特征点生成随机结构,对每个随机结构进行跟踪获得随机结构 的位置偏移,从而估计待跟踪物体的位置,相比于现有技术中逐个跟踪特征点 的方式, 本发明实施例的跟踪方法通过结构约束, 减少了跟踪错误, 有效提高 了跟踪精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施 例或现有技术描述中所需要使用的附图做一简单地介绍, 显而易见地, 下面描 述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出 创造性劳动性的前提下, 还可以根据这些附图获得其他的附图。
图 1为本发明实施例一提供的光流跟踪方法的流程图;
图 2为本发明实施例二提供的光流跟踪方法的流程图;
图 3为本发明实施例二生成的可能的随机结构示意图;
图 4为本发明实施例三提供的光流跟踪装置的结构示意图;
图 5为本发明实施例四提供的光流跟踪装置的结构示意图;
图 6为本发明实施例五提供的光流跟踪装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚, 下面将结合本发明 实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然, 所描述的实施例是本发明一部分实施例, 而不是全部的实施例。基于本发明中 的实施例 ,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其 他实施例, 都属于本发明保护的范围。
图 1为本发明实施例一提供的光流跟踪方法的流程图。本实施例的方法适 用于视频监控领域、机器人导航等各个涉及到图像中物体跟踪的领域。 以下步 骤的执行主体可以为具备图像处理功能的设备, 例如: 计算机, PAD, 手机等。 如图 1所示, 本实施例的方法可以包括如下步骤:
101 : 根据图像上的待跟踪物体生成随机结构, 所述随机结构包括相对位 置固定的至少两个结构块,每个所述结构块中包含待跟踪物体的至少一个特征 点。
其中,每个图像都可以划分为多个局部区域像素块,特征点则是对图像的 每个局部区域像素块的描述,具体包括局部区域像素块的位置描述与局部区域 像素块的特定特征的描述。 位置描述可以用局部区域中各特征点的坐标表示, 局部区域像素块的特定特征的描述可以包括图像局部区域像素块的颜色特征、 纹理特征、 空间关系特征等特征中的一种或多种, 本发明在此不作特别限制。 每个随机结构中可以包括至少两个结构块,且每个结构块中包含至少一个待跟 踪物体的特征点。 其中, 每个随机结构中的结构块的选择是随机的, 可以在某 一个具体的距离范围内,选择某几个结构块作为一个随机结构, 随机结构的形 状也是随意的, 并无特定的要求。 每个结构块所包含的特征点并不限于一个, 也可以包括相距较近的某几个特征点。
102: 采用光流跟踪算法对所述随机结构中所有结构块进行跟踪, 以得到 所述随机结构的位置偏移量。 在本步骤中,对随机结构中所有结构块进行光流跟踪具体可以为,将每一 个随机结构作为一个整体, 利用光流跟踪法,对随机结构中的多个结构块同时 进行跟踪, 以此来获得每个随机结构的位置偏移量。 多个随机块的同时跟踪, 可有效避免单个特征点跟踪时出现的多义性, 减少跟踪错误。
具体地, 在进行光流跟踪时, 可以使用金字塔光流跟踪算法, 从图像最高 层开始, 对每一层进行迭代计算, 获得最终的位置偏移量。 其中, 金字塔光流 跟踪算法的基本思想如下: 首先构造图像金字塔; 然后, 令位置偏移量的初始 值为零,并从金字塔的最高层开始对位置偏移量进行估计,一致迭代到最底层, 最终的迭代结果即为随机结构的位置偏移量。
具体的图像的金字塔构造过程如下: 原图形作为金字塔的底层, 可记为
F=0, 将原始图像减采样至原尺寸的 1/22N获得 F=l层图像, 其中, N—般取 值为 1 , 若过大则会导致图像信息的严重丟失。 由此, 该 F=l层相邻帧间的目 标像素运动距离变为 D/2N, 其中, D 为原图中相邻帧间的目标像素运动的距 离, 亦即特征点的位移。 按照此规则, 当 F达到一定的值, 一般为 3≤F≤5时, 最高层相邻帧间的目标运动尺度变为亚像素级。由此可以满足光流跟踪算法在 应用时需要的小运动的约束条件, 进行精确的光流估计。
103: 根据随机结构的位置偏移量, 估计待跟踪物体的目标位置。
需要说明的是, 本发明中涉及的待跟踪物体在图像中的起始位置是指,在 进行图像跟踪之前,即待跟踪物体在图像中的位置未变化之前待跟踪物体在图 像中所在的位置, 目标位置是指图像跟踪之后, 即待跟踪物体在图像中的位置 之后待跟踪物体在图像中所在的位置。目标位置量和起始位置之间的差值即为 位置偏移量,也就是说,待跟踪物体在图像跟踪过程中所产生的位移即为位置 偏移量。 一般来说, 在图像跟踪可以以帧为单位, 即可以对后一帧图像中待跟 踪物体相对前一帧图像待跟踪物体的位置变化进行跟踪, 在本发明实施例中, 起始位置、 目标位置均可以用坐标值表示,也可用向量、矢量等其它表示方式, 本发明不做特别限定。
根据所获得的各个随机结构的位置偏移量, 进行相关的计算,如求所有位 置偏移量的平均值或取所有随机结构的位置偏移量的中值,得到跟踪目标物体 的位置偏移量。 然后, 可以将该偏移位置量与所跟踪物体在原始图像中的位置 量相加, 得到所跟踪物体的目标位置。
本发明实施例提供的光流跟踪方法, 通过获取图像上待跟踪物体的特征 点, 并将各特征点生成随机结构,对每个随机结构进行跟踪获得随机结构的位 置偏移,从而估计待跟踪物体的位置,相比于现有技术中逐个跟踪特征点的方 式, 本发明实施例的跟踪方法通过结构约束, 减少了跟踪错误, 有效提高了跟 踪精度。
图 2为本发明实施例二提供的光流跟踪方法的流程图。本实施例的方法适 用于视频监控领域、机器人导航等各个涉及到图像中物体跟踪的领域。 结合图 1和图 2所示, 在上述实施例一的基础上, 在本发明实施例提供了光流跟踪方 法的具体过程:
201 : 根据待跟踪物体在图像中的起始位置和大小, 生成待跟踪物体所在 图像的梯度图像。
具体地, 在视频监控等领域, 要对目标物体进行跟踪的时候, 首先需要获 得待跟踪物体在图像中的起始位置和大小,以使得在跟踪的时候能尽可能正确 地跟踪到目标物体, 减少错误跟踪。在获得待跟踪物体在图像中的起始位置和 大小后, 可以对图像进行一些计算, 生成待跟踪物体所在图像的梯度图像。 其 中, 梯度值是指图像灰度值的显著变化的地方, 若把图像看成二维离散函数, 则图像梯度就是对这个二维离散函数的求导。 因此,梯度图像指的是就是对图 像求梯度值后得到的图像。梯度图像能够很好地反映图像中物体的特征。具体 在生成梯度图像的时候, 可以直接对图像进行二维函数的求导, 或者采用线性 滤波方法中的几种经典的估计方法, 如 Sobel算子、 Prewitt算子、 Roberts算 子等方法。 以 Sobel算子为例, 它是提供了两组 3*3矩阵, 分别计算水平梯度 图像和竖直梯度图像, 并将得到的水平梯度图像和竖直梯度图像进行卷积, 进 而获得梯度图像的。
在生成的待跟踪物体所在图像的梯度图像后,可选择在梯度图像中待跟踪 物体区域中梯度幅值大于一定设定值的点作为待跟踪物体的特征点,且这些特 征点能够 4艮好地体现待跟踪物体的特征。 具体可以通过对图像生成梯度图像, 并扫描获得目标区域梯度幅值大的点集,将这些点集作为特征点; 或者也可以 利用一些传统的特征提取算法, 如 Sobel算子、 Roberts算子等来对图像进行 边缘检测, 将所检测到的边缘特征点作为待跟踪物体的特征点。 其中, 该设定 值可以根据具体的梯度图像来设定, 不同的梯度图像可能会有不同的设定值, 而设定值大小设定的依据则是大于设定值的点能够较好地反映待跟踪图像的 特征。 具体的设定, 可以的根据先验知识获得, 或者也可以在梯度值的可能的 范围内预估一个值, 如可以选择所有梯度值的中间值来作为设定值。
202: 扫描梯度图像得到梯度图像的梯度直方图, 根据梯度直方图, 确定 平均梯度大于第一设定值的特征点。
具体地,对生成的梯度图像可以进行扫描, 比如可以采用 3*3模版等扫描 梯度图像,得到该图像的梯度直方图, 并确定记录该梯度直方图中平均梯度大 于第一设定值的待跟踪物体的特征点。 其中, 3*3模板为一预处理模板, 该模 板可以用于计算图像中各个局部区域的最大梯度或者平均梯度,从而统计出梯 度图像中每个像素的梯度直方图。平均梯度指图像的边界或影线两侧附近灰度 差异的大小, 即灰度变化率的大小, 平均梯度又称为清晰度, 它可以描述影像 的清晰程度,反映图像中微小细节反差程度和纹理变化特征,一般平均梯度值 越大, 表明图像越清晰。 例如, 平均梯度可以指, 某一个像素点与其相邻像素 点之间梯度的平均值,如水平梯度中, 某一像素与其左侧像素的梯度和该像素 与其右侧像素的梯度的平均值。 需要说明的是, 第一设定值低于上述确定待跟 踪物体特征点中涉及的设定值,即提取到的所有的待跟踪图像的特征点的位置 都是确定被记录的,所有的梯度直方图中平均梯度大于第一设定值的位置会被 记录, 并保存在梯度数组中。
203 : 选择随机结构包括的结构块的数目, 在平均梯度大于第一设定值的 特征点中选择至少一个特征点。
可以在特征点中提取随机结构,使得后续的跟踪可以以随机结构为单位来 进行跟踪, 减小对单个特征点进行跟踪时出现的多义性。 具体地, 结构块的数 目可以随机选择。 随机块之间的距离, 以及每个随机块的大小的范围可以根据 具体需求预先设定, 如可以限制随机结构中每个结构块的大小为范围 [3*3,12*12] , 结构块的数目范围为 ( 1,4 ), 结构块之间的距离范围为(1 , target size )等,并在平均梯度大于第一设定值的特征点中选择任意至少一个特征点。 一般情况下, 可以在平均梯度大于第一设定值的特征点中选择一个特征点。
204: 根据所选择的特征点在图像中的位置, 结构块的数目, 设定结构块 之间的距离范围, 确定随机结构中所有结构块对应的特征点。
具体地,根据所选择的结构块的数目、结构块之间的距离范围和相关位置 等,确定随机结构中所有结构块对应的特征点, 并到梯度数组中查找到这些特 征点所对应的位置。
205: 根据随机结构中所有结构块对应的特征点生成随机结构。
具体地,根据上述步骤中所获得的结构块对应的特征点生成随机结构, 以 各个随机结构为单元, 可以实现对目标物体的跟踪。 图 3为本发明实施例二生 成的可能的随机结构示意图。 如图 3可示, 本实施例生成的随机结构, 结构块 的大小、结构块的数目以及各结构块之间的距离并没有一定的限制, 只要符合 预先设置的范围就可以。
进一步地, 具体的:
206: 采用光流跟踪算法
s{d) = s{dx ,dy) = Yj ^ ^ (/„ (x, y) - J„(x + dx, y + dy)f
«=0 x^px-wx y^py-wy , ( \ ) 确定所述随机结构中所有结构块的位移残差之和,所述随机结构中所有结 构块的位移残差之和作为所述随机结构的位置偏移量。
其中: 为所述随机结构中所有结构块的位移残差之和, 为随机块的 位移, 为随机块在 X方向的位移, 为随机块在 y方向的位移, 为随机 结构中包括的特征点在 X方向的位移, 为随机结构中包括的特征点在 y方 向的位移, J为所述随机结构中包括的特征点在所述图像中的起始位置的横坐 标, 为所述随机结构中包括的特征点在所述图像中的起始位置的纵坐标, 为所述随机结构中包括的特征点在所述图像中的起始位置; J x + + 为所述随机结构中包括的特征点在所述图像中的目标位置, Ρχ 为随机结构中随机块的中点的横坐标, 为随机结构中随机块的中点的纵坐 标, ^为随机块的横坐标中点距随机块边缘距离的点数, ^为随机块的纵坐 标中点距随机块边缘距离的点数, N为随机结构中随机块的数目。
具体地,在对步骤 206中所获取到的随机结构进行跟踪,是以随机结构为 单位, 分别对每一个随机结构进行金字塔光流跟踪。 具体地, 使用金字塔光流 跟踪算法对每一个随机结构进行跟踪时, 可以依据公式(1 ), 来对金字塔的每 一层来从最高层向最底层来迭代, 最终获得每个随机结构的位移。在具体在计 算中, 需要使得^ ^最小, 即就要求得最小的 设 = , 然后, 可以令公式 ( 1 ) 为零, 即 s( J)
Figure imgf000016_0001
然后求使得该公式(2 )成立的位移的值。 具体地, 对该公式(2 )求导数,
Figure imgf000016_0002
δε{ν)
¾ Gv - b
dv ( 3 ) 其中, G和 6分别为
Figure imgf000016_0003
7-和 分别为第 n个结构块中某个特征点的 X方向梯度和 y方向梯度, 代表结构块中的某个特征点在原始图像和待跟踪图像中的位移, 为随机结构 中随机块的中点的横坐标, 为随机结构中随机块的中点的纵坐标, ^为随 机块的横坐标中点距随机块边缘距离的点数, ^为随机块的纵坐标中点距随 机块边缘距离 的点数, w 为 随机结构 中 随机块的数 目 , 且 δίη - In (x, y) - Jn (x + dx, y + dy)
进一步计算, 得求得:
( 4 )
上述的实施例中,通过根据待跟踪物体生成各种随机结构, 利用金字塔光 流跟踪算法, 以每个随机结构为单位, 对待跟踪物体进行跟踪, 避免了跟踪过 程中的多义性, 有效提高了跟踪的精度。
需要说明的是, 在上述实施例的基石出上, S205之后还可以执行以下操作: 滤除随机结构中所有结构块中包括的误差超过第二设定值的第一误差特 征点, 得到一次滤除误差后的随机结构。 相应的, S206 中可以采用光流跟踪 算法对一次滤除误差后的随机结构中所有结构块进行跟踪。
可选的, 根据 S206中的描述可以看出, 由于在使用金字塔光流跟踪算法 对随机结构进行跟踪涉及迭代过程, 因此, 可以在迭代过程中所出现的误差进 行统计。 当某一个随机结构块在跟踪过程中出现的误差大于第二设定值时, 则 认为该随机结构块出现了跟踪错误。此时, 可以对这个随机结构中所包括的特 征点进行标记, 并不再对包括这些特征点的随机结构进行跟踪。在进行金字塔 光流跟踪的过程中, 不断对误差大于第二设定值的随机结构进行滤除,得到一 次滤除误差后的随机结构。其中, 第二设定值为针对随机结构跟踪过程中出现 的跟踪错误所设定的误差值, 可以为针对迭代中的收敛状况设定的值,如为当 迭代到一定次数后,位移值收敛的数值大于某一个特定的值, 则认为出现了跟 踪错误。 此时, 该特定的值即为第二设定值。
进一步地,在得到一次滤除误差后的随机结构的基石出上,还可以执行以下 操作: 采用归一化相关系数 NCC方法, 在一次滤除误差后的随机结构中所有 结构块中包括的特征点中滤除第二误差特征点,得到二次滤除误差后的随机结 构。 相应的, 在 S206中可以采用光流跟踪算法对二次滤除误差后的随机结构 中所有结构块进行跟踪。
可选的, 在金字塔光流跟踪算法计算结束后, 可以采用归一化相关系数 ( Normalized Norrelation Noefficient , 简称 NCC )或其他的错误衡量方法, 来 对获取到的一次滤除误差后的随机结构中所有结构块中包括的特征点中存在 的较大误差的特征点进行滤除,如可以根据特征点的颜色、 亮度等特征来确定 错误的跟踪点并进行滤除,也即滤除第二误差特征点, 来得到二次滤除误差后 的随机结构。 其中, NCC方法具体可以是分别对每组结构块计算 NCC相关系 数, 即面积归一化后的误差系数。 计算得到所有的 NCC相关系数后, 基于统 计分析, 例如求平均值的方法, 滤除误差大于平均值一个 NCC系数对应的结 构块。
207: 将随机结构的位置偏移量的平均值或中间值, 确定为所述待跟踪物 体的位置偏移量。
208:将所述待跟踪物体的位置偏移量与所述待跟踪物体的起始位置相加, 得到所述待跟踪物体的目标位置。
具体地, 可将随机结构的位置偏移量进行整合计算, 例如可求取这些位置 偏移量的平均值或中间值等,并将该平均值或中间值等作为待跟踪物体的位置 偏移量。
进一步地,在获得该待跟踪物体的位移后,还可以将待跟踪物体的位置偏 移量与待跟踪物体的的起始位置相加,确定为待跟踪物体的目标位置。 需要说 明的是, 这里的偏移位置量与起始位置均可以用矢量或坐标表示, 两者的加法 运算并不是通常意义上的数字相加, 而是矢量运算。
本发明实施例提供的光流跟踪方法, 通过获取图像上待跟踪物体的特征 点, 并将各特征点生成随机结构,对每个随机结构进行跟踪获得随机结构的位 置偏移,从而估计待跟踪物体的位置,将所述待跟踪物体的位置偏移量与所述 待跟踪物体的起始位置相加,得到所述待跟踪物体的目标位置。减少了跟踪错 误, 有效提高了跟踪精度。 图 4为本发明实施例三提供的结光流跟踪装置的结构示意图。如图 4所示, 本发明实施例的光流跟踪装置包括:
随机结构生成模块 401 , 用于根据图像上的待跟踪物体生成随机结构, 随 机结构包括相对位置固定的至少两个结构块,每个结构块中包含待跟踪物体的 至少一个特征点;
光流跟踪模块 402, 用于采用光流跟踪算法对随机结构中所有结构块进行 跟踪, 以得到随机结构的位置偏移量;
位置估计模块 403 , 用于根据随机结构的位置偏移量, 估计待跟踪物体的 目标位置。
可选的, 随机结构生成模块 401可以具体用于: 根据待跟踪物体在图像中 的起始位置和大小, 生成待跟踪物体所在的图像的梯度图像; 扫描梯度图像得 到梯度图像的梯度直方图,根据梯度直方图,确定平均梯度大于第一设定值的 特征点; 确定随机结构包括的结构块的数目,在平均梯度大于第一设定值的特 征点中选择至少一个特征点; 根据所选择的特征点在图像中的位置, 结构块的 数目,设定结构块之间的距离范围,确定随机结构中所有结构块对应的特征点; 根据随机结构中所有结构块对应的特征点生成随机结构。
可选的, 光流跟踪模块 402可以具体用于: 采用光流跟踪算法
s(d) = s(dx ,dy) = jη (χ, y) - Jn (x + dx,y + dy)f
»-^-p^ y-p^ , 确定随机结构中所有 结构块的位移残差之和,随机结构中所有结构块的位移残差之和作为随机结构 的位置偏移量;
其中: 为随机结构中所有结构块的位移残差之和, 为随机块的位移, 为随机块在 X方向的位移, 为随机块在 y方向的位移, 为随机结构中 包括的特征点在 X方向的位移, 为随机结构中包括的特征点在 y方向的位 移, J为随机结构中包括的特征点在图像中的起始位置的横坐标, 为随机结 构中包括的特征点在图像中的起始位置的纵坐标, Κχ, 为随机结构中包括的 特征点在图像中的起始位置; ^ + ^^ + Φ)为随机结构中包括的特征点在图 像中的目标位置, 为随机结构中随机块的中点的横坐标, ^为随机结构中 随机块的中点的纵坐标, 为随机块的横坐标中点距随机块边缘距离的点数, wy为随机块的纵坐标中点距随机块边缘距离的点数, N为随机结构中随机块 的数目。
图 5为本发明实施例四提供的光流跟踪装置的结构示意图,在图 4所示实 施例的基石出上, 可选的, 该装置还可以包括: 误差滤除模块 404, 用于滤除随 机结构中所有结构块中包括的误差超过第三设定值的第一误差特征点,得到一 次滤除误差后的随机结构;
相应的, 光流跟踪模块 402可以具体用于: 采用光流跟踪算法对所述一次 滤除误差后的随机结构中所有结构块进行跟踪。
可选的,误差滤除模块 404还可以用于: 采用归一化相关系统 NCC方法, 在一次滤除误差后的随机结构中所有结构块中包括的特征点中滤除第二误差 特征点, 得到二次滤除误差后的随机结构;
相应的, 光流跟踪模块 402可以具体用于: 采用光流跟踪算法对二次滤除 误差后的随机结构中所有结构块进行跟踪。
可选的,位置估计模块 403可以具体用于: 将随机结构的位置偏移量的平 均值或中间值,确定为待跟踪物体的位置偏移量; 将待跟踪物体的位置偏移量 与待跟踪物体的起始位置相加, 得到待跟踪物体的目标位置。 需要说明的是, 这里的偏移位置量与起始位置均可以用矢量或坐标表示,两者的加法运算并不 是通常意义上的数字相加, 而是矢量运算。
本实施例的光流跟踪装置, 可以用于执行上述任一方法实施例的技术方 案,其包含的功能模块的具体实现原理可参照前述方法实施例,此处不再贅述。
本发明实施例提供的光流跟踪装置, 通过获取图像上待跟踪物体的特征 点, 并将各特征点生成随机结构,对每个随机结构进行跟踪获得随机结构的位 置偏移,从而估计待跟踪物体的位置,相比于现有技术中逐个跟踪特征点的方 式, 本发明实施例的跟踪方法通过结构约束, 减少了跟踪错误, 有效提高了跟 踪精度。 图 6为本发明实施例五提供的光流跟踪装置的结构示意图, 如图 6所示, 该光流跟踪装置可以包括: 存储器 601以及与存储器 601通信的处理器 602, 其中,存储器 601中存储一组程序代码,且处理器 602用于调用存储器中存储 的程序代码, 执行如下方法: 根据图像上的待跟踪物体生成随机结构, 随机结 构包括相对位置固定的至少两个结构块,每个结构块中包含待跟踪物体的至少 一个特征点; 采用光流跟踪算法对随机结构中所有结构块进行跟踪, 以得到随 机结构的位置偏移量; 根据随机结构的位置偏移量,估计待跟踪物体的目标位 置。
可选的, 处理器 602执行根据图像上的待跟踪物体生成随机结构, 可以具 体为: 根据待跟踪物体在图像中的起始位置和大小, 生成待跟踪物体所在的图 像的梯度图像; 扫描梯度图像得到梯度图像的梯度直方图, 确定梯度直方图, 确定平均梯度大于第一设定值的特征点; 确定随机结构包括的结构块的数目, 在平均梯度大于第一设定值的特征点中选择至少一个特征点;根据所选择的特 征点在图像中的位置, 所选择的结构块的数目, 设定结构块之间的距离范围, 确定随机结构中所有结构块对应的特征点;根据随机结构中所有结构块对应的 特征点生成随机结构。
可选的,处理器 602执行采用光流跟踪算法对随机结构中所有结构块进行 跟踪, 以得到随机结构的位置偏移量, 可以具体为:
采用光流跟踪算法
s(d) = s(dx ,dy) = jη (χ, y) - Jn (x + dx,y + dy)f
, 确定随机结构中所有 结构块的位移残差之和,随机结构中所有结构块的位移残差之和作为随机结构 的位置偏移量;
其中: 为随机结构中所有结构块的位移残差之和, 为随机块的位移, 为随机块在 X方向的位移, 为随机块在 y方向的位移, 为随机结构中 包括的特征点在 X方向的位移, 为随机结构中包括的特征点在 y方向的位 移, J为随机结构中包括的特征点在图像中的起始位置的横坐标, 为随机结 构中包括的特征点在图像中的起始位置的纵坐标, ΚΧ, 为随机结构中包括的 特征点在图像中的起始位置; ^ + ^^ + Φ)为随机结构中包括的特征点在图 像中的目标位置, 为随机结构中随机块的中点的横坐标, ^为随机结构中 随机块的中点的纵坐标, 为随机块的横坐标中点距随机块边缘距离的点数, ^为随机块的纵坐标中点距随机块边缘距离的点数, N为随机结构中随机块 的数目。
可选的, 处理器 602执行根据图像上的待跟踪物体生成随机结构之后,还 可以进一步执行:滤除随机结构中所有结构块中包括的误差超过第二设定值的 第一误差特征点, 得到一次滤除误差后的随机结构。
相应的,处理器 602执行的采用光流跟踪算法对随机结构中所有结构块进 行跟踪, 具体包括: 采用光流跟踪算法对一次滤除误差后的随机结构中所有结 构块进行跟踪。
可选的,处理器 602执行确定随机结构中所有结构块中包括的误差超过第 二设定值的第一误差特征点,得到一次滤除误差后的随机结构之后,还可以进 一步执行: 采用归一化相关系统 NCC方法, 在一次滤除误差后的随机结构中 所有结构块中包括的特征点中滤除第二误差特征点,得到二次滤除误差后的随 机结构。
相应的,处理器 602执行的采用光流跟踪算法对随机结构中所有结构块进 行跟踪, 具体包括: 采用光流跟踪算法对二次滤除误差后的随机结构中所有结 构块进行跟踪。 可选的, 处理器 602执行根据随机结构的位置偏移量, 估计待 跟踪物体的位置, 具体为: 将随机结构的位置偏移量的平均值或中间值, 确定 为待跟踪物体的位置偏移量;将待跟踪物体的位置偏移量与待跟踪物体的起始 位置相加, 得到待跟踪物体的目标位置。
需要说明的是, 本实施例提供的光流跟踪装置, 其具体可以是各种类型的 终端设备, 例如 PC机, PAD, 手机等。 其中的处理器具体可以是中央处理单 元( Central Processing Unit, CPU ),图形处理器( Graphic Processing Unit, GPU ) 或数字信号处理器( Digital Signal Processor, DSP )等具有数据处理功能的器 件。
本实施例的光流跟踪装置, 可以用于执行上述任一方法实施例的技术方 案, 其实现原理和技术效果类似, 此处不再贅述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取 存储介质中。 该程序在执行时, 执行包括上述各方法实施例的步骤; 而前述的 存储介质包括: ROM, RAM,磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是: 以上各实施例仅用以说明本发明的技术方案, 而非对其 限制; 尽管参照前述各实施例对本发明进行了详细的说明, 本领域的普通技术 人员应当理解: 其依然可以对前述各实施例所记载的技术方案进行修改, 或者 对其中部分或者全部技术特征进行等同替换; 而这些修改或者替换, 并不使相 应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

权 利 要 求
1、 一种光流跟踪方法, 其特征在于, 包括:
根据图像上的待跟踪物体生成随机结构,所述随机结构包括相对位置固定 的至少两个结构块, 每个所述结构块中包含所述待跟踪物体的至少一个特征 点;
采用光流跟踪算法对所述随机结构中所有结构块进行跟踪,以得到所述随 机结构的位置偏移量;
根据所述随机结构的位置偏移量, 估计所述待跟踪物体的目标位置。
2、 根据权利要求 1所述的方法, 其特征在于, 所述根据图像上的待跟踪 物体生成随机结构, 具体包括:
根据所述待跟踪物体在所述图像中的起始位置和大小,生成所述待跟踪物 体所在的所述图像的梯度图像;
扫描所述梯度图像得到所述梯度图像的梯度直方图, 根据所述梯度直方 图, 确定平均梯度大于第一设定值的特征点;
确定所述随机结构包括的所述结构块的数目,在平均梯度大于第一设定值 的特征点中选择至少一个特征点;
根据所选择的特征点在所述图像中的位置, 所述结构块的数目,设定结构 块之间的距离范围, 确定所述随机结构中所有结构块对应的特征点;
根据所述随机结构中所有结构块对应的特征点生成所述随机结构。
3、 根据权利要求 1或 2所述的方法, 其特征在于, 所述采用光流跟踪算 法对所述随机结构中所有结构块进行跟踪, 以得到所述随机结构的位置偏移 量, 具体包括: 采用光流跟踪算法 s(d) = s(dx ,dy) = jη (χ, y) - Jn (x + dx,y + dy)f
»-^-p^ y-p^ , 确定所述随机结构中 所有结构块的位移残差之和,所述随机结构中所有结构块的位移残差之和作为 所述随机结构的位置偏移量;
其中: 为所述随机结构中所有结构块的位移残差之和, 为所述随机 块的位移, 为所述随机块在 X方向的位移, dy为所述随机块在 y方向的位移, dx为所述随机结构中包括的特征点在 X方向的位移, dy为所述随机结构中包 括的特征点在 y方向的位移, ^为所述随机结构中包括的特征点在所述图像中 的起始位置的横坐标, 为所述随机结构中包括的特征点在所述图像中的起始 位置的纵坐标, 为所述随机结构中包括的特征点在所述图像中的起始位 置; J„(x + j + 为所述随机结构中包括的特征点在所述图像中的目标位置, 为所述随机结构中所述随机块的中点的横坐标, py为所述随机结构中所述 随机块的中点的纵坐标, ^为所述随机块的横坐标中点距所述随机块边缘距 离的点数, ^为所述随机块的纵坐标中点距所述随机块边缘距离的点数, W为 所述随机结构中所述随机块的数目。
4、 根据权利要求 3所述的方法, 其特征在于, 所述根据图像上的待跟踪 物体生成随机结构之后, 还包括:
滤除所述随机结构中所有结构块中包括的误差超过第二设定值的第一误 差特征点;
所述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪, 具体包 括:
所述采用光流跟踪算法对所述一次滤除误差后的随机结构中所有结构块 进行跟踪。
5、 根据权利要求 4所述的方法, 其特征在于, 在滤除所述随机结构中所 有结构块中包括的误差超过第二设定值的第一误差特征点,得到一次滤除误差 后的随机结构之后, 还包括:
采用归一化相关系统 NCC方法,在所述一次滤除误差后的随机结构中所有 结构块中包括的特征点中滤除第二误差特征点,得到二次滤除误差后的随机结 构;
所述采用光流跟踪算法对所述随机结构中所有结构块进行跟踪, 具体包 括:
所述采用光流跟踪算法对所述二次滤除误差后的随机结构中所有结构块 进行跟踪。
6、 根据权利要求 1-3任一项所述的方法, 其特征在于, 所述根据所述随 机结构的位置偏移量, 估计所述待跟踪物体的位置, 包括:
将所述随机结构的位置偏移量的平均值或中间值,确定为所述待跟踪物体 的位置偏移量;
将所述待跟踪物体的位置偏移量与所述待跟踪物体的起始位置相加,得到 所述待跟踪物体的目标位置。
7、 一种光流跟踪装置, 其特征在于, 包括:
随机结构生成模块, 用于根据图像上的待跟踪物体生成随机结构, 所述随 机结构包括相对位置固定的至少两个结构块,每个所述结构块中包含所述待跟 踪物体的至少一个特征点;
光流跟踪模块,用于采用光流跟踪算法对所述随机结构中所有结构块进行 跟踪, 以得到所述随机结构的位置偏移量;
位置估计模块, 用于根据所述随机结构的位置偏移量,估计所述待跟踪物 体的目标位置。
8、 根据权利要求 7所述的装置, 其特征在于, 所述随机结构生成模块具 体用于: 根据所述待跟踪物体在所述图像中的起始位置和大小, 生成所述待跟 踪物体所在的所述图像的梯度图像;扫描所述梯度图像得到所述梯度图像的梯 度直方图, 根据所述梯度直方图, 确定平均梯度大于第一设定值的特征点; 确 定所述随机结构包括的所述结构块的数目,在平均梯度大于第一设定值的特征 点中选择至少一个特征点; 根据所选择的特征点在所述图像中的位置, 所述结 构块的数目,设定结构块之间的距离范围,确定所述随机结构中所有结构块对 应的特征点; 根据所述随机结构中所有结构块对应的特征点生成所述随机结 构。
9、 根据权利要求 7或 8所述的装置, 其特征在于, 所述光流跟踪模块具 体用于: 采用光流跟踪算法
s(d) = s(dx ,dy) = jη (χ, y) - Jn (x + dx,y + dy)f
, 确定所述随机结构中 所有结构块的位移残差之和,所述随机结构中所有结构块的位移残差之和作为 所述随机结构的位置偏移量;
其中: 为所述随机结构中所有结构块的位移残差之和, 为所述随机 块的位移, 为所述随机块在 X方向的位移, 为所述随机块在 y方向的位移, dx为所述随机结构中包括的特征点在 X方向的位移, 为所述随机结构中包 括的特征点在 y方向的位移, ^为所述随机结构中包括的特征点在所述图像中 的起始位置的横坐标, 为所述随机结构中包括的特征点在所述图像中的起始 位置的纵坐标, 为所述随机结构中包括的特征点在所述图像中的起始位 置; J„(X + ife, y + 为所述随机结构中包括的特征点在所述图像中的目标位置, 为所述随机结构中所述随机块的中点的横坐标, py为所述随机结构中所述 随机块的中点的纵坐标, ^为所述随机块的横坐标中点距所述随机块边缘距 离的点数, ^为所述随机块的纵坐标中点距所述随机块边缘距离的点数, W为 所述随机结构中所述随机块的数目。
10、 根据权利要求 9所述的装置, 其特征在于, 所述装置还包括: 误差滤 除模块,用于滤除所述随机结构中所有结构块中包括的误差超过第三设定值的 第一误差特征点, 得到一次滤除误差后的随机结构;
所述光流跟踪模块具体用于:采用光流跟踪算法对所述一次滤除误差后的 随机结构中所有结构块进行跟踪。
11、 根据权利要求 1 0所述的装置, 其特征在于, 所述误差滤除模块还用 于: 采用归一化相关系统 NCC方法,在所述一次滤除误差后的随机结构中所有 结构块中包括的特征点中滤除第二误差特征点,得到二次滤除误差后的随机结 构;
所述光流跟踪模块具体用于:采用光流跟踪算法对二次滤除误差后的随机 结构中所有结构块进行跟踪。
12、 根据权利要求 7-9任一项所述的装置, 其特征在于, 所述位置估计模 块具体用于: 将所述随机结构的位置偏移量的平均值或中间值,确定为所述待 跟踪物体的位置偏移量;将所述待跟踪物体的位置偏移量与所述待跟踪物体的 起始位置相加, 得到所述待跟踪物体的目标位置。
PCT/CN2014/071016 2013-08-01 2014-01-21 一种光流跟踪方法和装置 WO2015014111A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020157002681A KR101643672B1 (ko) 2013-08-01 2014-01-21 광류 추적 방법 및 장치
EP14818841.0A EP2860696A4 (en) 2013-08-01 2014-01-21 METHOD AND APPARATUS FOR OPTICAL FLOW MONITORING
AU2014285593A AU2014285593B8 (en) 2013-08-01 2014-01-21 Optical flow tracking method and apparatus
US14/618,155 US9536147B2 (en) 2013-08-01 2015-02-10 Optical flow tracking method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310331742.8A CN103426184B (zh) 2013-08-01 2013-08-01 一种光流跟踪方法和装置
CN201310331742.8 2013-08-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/618,155 Continuation US9536147B2 (en) 2013-08-01 2015-02-10 Optical flow tracking method and apparatus

Publications (1)

Publication Number Publication Date
WO2015014111A1 true WO2015014111A1 (zh) 2015-02-05

Family

ID=49650874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/071016 WO2015014111A1 (zh) 2013-08-01 2014-01-21 一种光流跟踪方法和装置

Country Status (6)

Country Link
US (1) US9536147B2 (zh)
EP (1) EP2860696A4 (zh)
KR (1) KR101643672B1 (zh)
CN (1) CN103426184B (zh)
TW (1) TWI520078B (zh)
WO (1) WO2015014111A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426184B (zh) 2013-08-01 2016-08-10 华为技术有限公司 一种光流跟踪方法和装置
CN105023278B (zh) 2015-07-01 2019-03-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统
US10586102B2 (en) 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
CN105261042A (zh) * 2015-10-19 2016-01-20 华为技术有限公司 光流估计的方法及装置
CN106204484B (zh) * 2016-07-11 2020-07-24 徐州工程学院 一种基于光流和局部不变特征的交通目标跟踪方法
CN106251317B (zh) * 2016-09-13 2018-12-18 野拾(北京)电子商务有限公司 空间摄影防抖处理方法及装置
CN106875419B (zh) * 2016-12-29 2020-03-17 北京理工雷科电子信息技术有限公司 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法
US10482609B2 (en) 2017-04-04 2019-11-19 General Electric Company Optical flow determination system
CN108476321A (zh) * 2017-04-26 2018-08-31 深圳市大疆创新科技有限公司 图像处理方法和设备
CN108875460B (zh) * 2017-05-15 2023-06-20 腾讯科技(深圳)有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
CN108475426A (zh) * 2017-06-30 2018-08-31 深圳市大疆创新科技有限公司 光流跟踪装置和方法
CN109214245B (zh) * 2017-07-03 2022-02-18 株式会社理光 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN112041887B (zh) * 2018-04-24 2024-09-03 斯纳普公司 高效的并行光流算法和gpu实现
CN109063545B (zh) * 2018-06-13 2021-11-12 五邑大学 一种疲劳驾驶检测方法及装置
KR102186983B1 (ko) * 2019-09-17 2020-12-04 한성대학교 산학협력단 사용자 영상 단말의 이동거리 측정 방법 및 장치
CN112784652B (zh) * 2019-11-11 2024-08-13 中强光电股份有限公司 图像识别方法及装置
CN111402292B (zh) * 2020-03-10 2023-04-07 南昌航空大学 基于特征变形误差遮挡检测的图像序列光流计算方法
CN112991386A (zh) * 2021-02-20 2021-06-18 浙江欣奕华智能科技有限公司 光流跟踪装置
CN113033552B (zh) * 2021-03-19 2024-02-02 北京字跳网络技术有限公司 文本识别方法、装置和电子设备
US11640668B2 (en) * 2021-06-10 2023-05-02 Qualcomm Incorporated Volumetric sampling with correlative characterization for dense estimation
CN114171203A (zh) * 2021-11-29 2022-03-11 浙江大学 基于行为特征深度学习心脏骤停动物模型预测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324013A1 (en) * 2008-06-27 2009-12-31 Fujifilm Corporation Image processing apparatus and image processing method
CN101714256A (zh) * 2009-11-13 2010-05-26 河北工业大学 基于全方位视觉的动态目标识别和定位方法
CN101770568A (zh) * 2008-12-31 2010-07-07 南京理工大学 基于仿射不变点及光流计算的目标自动识别和跟踪方法
CN101789125A (zh) * 2010-01-26 2010-07-28 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
CN101923719A (zh) * 2009-06-12 2010-12-22 新奥特(北京)视频技术有限公司 一种基于粒子滤波和光流矢量的视频目标跟踪方法
CN102609708A (zh) * 2012-01-15 2012-07-25 北京工业大学 一种计算杠铃中心点平移矢量和旋转参数的方法
CN103426184A (zh) * 2013-08-01 2013-12-04 华为技术有限公司 一种光流跟踪方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356172B2 (en) * 2002-09-26 2008-04-08 Siemens Medical Solutions Usa, Inc. Methods and systems for motion tracking
US8081820B2 (en) * 2003-07-22 2011-12-20 Cognex Technology And Investment Corporation Method for partitioning a pattern into optimized sub-patterns
JP4595733B2 (ja) 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
WO2008007471A1 (fr) * 2006-07-10 2008-01-17 Kyoto University Procédé de suivi d'un marcheur et dispositif de suivi d'un marcheur
WO2008099399A2 (en) * 2007-02-14 2008-08-21 Technion Research And Development Foundation Ltd. Over-parameterized variational optical flow method
CN101923717B (zh) 2009-06-10 2012-09-05 新奥特(北京)视频技术有限公司 一种对快速运动目标的特征点准确跟踪的方法
TWI393074B (zh) 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
CN102800106A (zh) * 2012-06-29 2012-11-28 刘怡光 基于光流场估计的自适应均值漂移目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324013A1 (en) * 2008-06-27 2009-12-31 Fujifilm Corporation Image processing apparatus and image processing method
CN101770568A (zh) * 2008-12-31 2010-07-07 南京理工大学 基于仿射不变点及光流计算的目标自动识别和跟踪方法
CN101923719A (zh) * 2009-06-12 2010-12-22 新奥特(北京)视频技术有限公司 一种基于粒子滤波和光流矢量的视频目标跟踪方法
CN101714256A (zh) * 2009-11-13 2010-05-26 河北工业大学 基于全方位视觉的动态目标识别和定位方法
CN101789125A (zh) * 2010-01-26 2010-07-28 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
CN102609708A (zh) * 2012-01-15 2012-07-25 北京工业大学 一种计算杠铃中心点平移矢量和旋转参数的方法
CN103426184A (zh) * 2013-08-01 2013-12-04 华为技术有限公司 一种光流跟踪方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2860696A4 *

Also Published As

Publication number Publication date
TW201514867A (zh) 2015-04-16
EP2860696A1 (en) 2015-04-15
KR20150027291A (ko) 2015-03-11
AU2014285593A1 (en) 2015-02-19
KR101643672B1 (ko) 2016-07-28
AU2014285593A8 (en) 2016-09-29
TWI520078B (zh) 2016-02-01
CN103426184B (zh) 2016-08-10
US9536147B2 (en) 2017-01-03
US20150154450A1 (en) 2015-06-04
AU2014285593B2 (en) 2016-05-19
EP2860696A4 (en) 2015-08-05
CN103426184A (zh) 2013-12-04

Similar Documents

Publication Publication Date Title
WO2015014111A1 (zh) 一种光流跟踪方法和装置
JP6271609B2 (ja) 立体カメラのためのオートフォーカス
US8447099B2 (en) Forming 3D models using two images
US8452081B2 (en) Forming 3D models using multiple images
CN106960449B (zh) 基于多特征约束的异源配准方法
US11170202B2 (en) Apparatus and method for performing 3D estimation based on locally determined 3D information hypotheses
JP2016508652A (ja) 画像シーケンスにおける物体のオクルージョンの決定
CN101923717B (zh) 一种对快速运动目标的特征点准确跟踪的方法
CN105374019A (zh) 一种多深度图融合方法及装置
US8396285B2 (en) Estimating vanishing points in images
Lo et al. Joint trilateral filtering for depth map super-resolution
WO2009150882A1 (ja) 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
JP2005037378A (ja) 奥行計測方法と奥行計測装置
JP2021534600A (ja) ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体
KR101766431B1 (ko) 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치
JP2009282762A (ja) 対応点探索装置
JP6080424B2 (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
CN114066980A (zh) 对象检测方法、装置、电子设备及自动驾驶车辆
US20230419605A1 (en) Map generation apparatus, map generation method, and non-transitory computer-readable medium storing program
US9036089B2 (en) Practical temporal consistency for video applications
JP2011171991A (ja) 画像処理装置、電子機器、画像処理方法、および、画像処理プログラム
WO2020113419A1 (zh) 一种图像处理方法和装置
AU2014285593B8 (en) Optical flow tracking method and apparatus
CN112868049A (zh) 使用基于贴片的投影相关性进行高效自运动估计
JP2005339535A (ja) 相違度の計算

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2014285593

Country of ref document: AU

REEP Request for entry into the european phase

Ref document number: 2014818841

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014818841

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20157002681

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14818841

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE