Nothing Special   »   [go: up one dir, main page]

WO2012120696A1 - 対象物追跡装置、対象物追跡方法、および制御プログラム - Google Patents

対象物追跡装置、対象物追跡方法、および制御プログラム Download PDF

Info

Publication number
WO2012120696A1
WO2012120696A1 PCT/JP2011/056475 JP2011056475W WO2012120696A1 WO 2012120696 A1 WO2012120696 A1 WO 2012120696A1 JP 2011056475 W JP2011056475 W JP 2011056475W WO 2012120696 A1 WO2012120696 A1 WO 2012120696A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
contour
unit
frame
points
Prior art date
Application number
PCT/JP2011/056475
Other languages
English (en)
French (fr)
Inventor
隆義 山下
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP11860480.0A priority Critical patent/EP2685425B1/en
Priority to CN201180068854.8A priority patent/CN103403764B/zh
Priority to US13/985,086 priority patent/US9020195B2/en
Priority to KR1020137020535A priority patent/KR101468351B1/ko
Publication of WO2012120696A1 publication Critical patent/WO2012120696A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Definitions

  • the present invention relates to a technique for tracking an object in a moving image.
  • the conventional object tracking technology includes a tracking technology based on color (Non-Patent Document 1).
  • a region having a similar color in each frame of a moving image is regarded as the same object, and the position of the target is tracked by tracking a region having a similar color over each frame.
  • Non-Patent Document 2 There is also a tracking technology based on contours (Non-Patent Document 2).
  • a contour model of a tracking target is first created, the contour model is moved little by little, and a contour similar to the contour model is searched to track the position of the tracking target.
  • This technique is based on the premise that the tracking object does not move greatly between times.
  • a tracking technology for tracking the contour shape with a particle filter there is a tracking technology for tracking the contour shape with a particle filter (Patent Document 1).
  • a candidate contour line having the same shape as the tracking target is represented by one particle, a plurality of particles are introduced as tracking candidates, each particle is transitioned based on a motion model, and the post-transition particle is determined.
  • the position of the tracking object is tracked by observing the likelihood of the candidate contour line.
  • Japanese Patent Publication Japanese Patent Laid-Open No. 2009-224924 (published on October 1, 2009)”
  • Non-Patent Document 1 since regions having similar colors are regarded as the same object, the tracking object is likely to be erroneously transferred from the original object to a background similar in color to the original object. There is a problem that followability is poor.
  • Non-Patent Document 2 is based on the premise that the tracking target does not move greatly between times, the camera and the person move violently, such as when a person is photographed with a digital camera.
  • processing time is required, that is, processing speed is slow.
  • the present invention has been made in view of the above-described problems, and an object thereof is to realize an object tracking device and an object tracking method capable of achieving both the tracking ability of a tracking object and an increase in processing speed. It is in.
  • An object tracking apparatus is an object tracking apparatus that tracks an object in a time-series image including a plurality of frames, and acquires position information of the object to be tracked in the first frame. From a position information acquisition unit, a detailed contour model generation unit that generates a detailed contour model composed of a plurality of contour points indicating the contour of the object based on the position information in the first frame, and the first frame A search position setting unit that sets a plurality of different search positions in any of the second frames later, and when the detailed contour model is applied to the search positions for the search positions in the second frame, A plurality of first corresponding points corresponding to the positions of the plurality of contour points are specified, and a first predetermined number of points smaller than the plurality of first corresponding points is selected from the plurality of first corresponding points.
  • a rough contour model generation unit that selects two corresponding points and generates a rough contour model including the second corresponding points, and the second correspondences of the rough contour model in the image of the second frame for the search positions.
  • the second image feature amount relating to the point is compared with the first image feature amount relating to the contour point corresponding to the second corresponding point among the contour points of the detailed contour model in the image of the first frame.
  • An object position specifying unit for specifying the position of the object from a plurality of search positions.
  • the object tracking method is an object tracking method for tracking an object in a time-series image composed of a plurality of frames, and the position information of the object to be tracked in the first frame is obtained.
  • a position information acquisition step for acquiring a detailed contour model generation step for generating a detailed contour model composed of a plurality of contour points indicating the contour of the object based on the position information in the first frame, and the first frame
  • a search position step for setting a plurality of different search positions in any second frame after the frame, and a case where the detailed contour model is applied to the search position for each search position in the second frame.
  • the plurality of first corresponding points corresponding to the positions of the plurality of contour points are specified, and the number of the first corresponding points is less than the plurality of first corresponding points.
  • a likelihood determination step for determining the likelihood that each of the search positions is the position of the object in the second frame by comparing with one image feature amount, and the likelihood determination step.
  • an object position specifying step for specifying the position of the object from the plurality of search positions based on the likelihood.
  • the image feature amount indicates, for example, a feature amount such as a luminance difference or edge strength obtained from a pixel value of a pixel related to (corresponding to) a corresponding point or a contour point.
  • a rough contour model including the second corresponding points whose number is less than the number of contour points constituting the detailed contour model is generated, and the position of the object is determined using the rough contour model. Is tracked. Therefore, compared with a case where a detailed contour model is generated at each search position (for example, Patent Document 1 and Non-Patent Document 2), processing required for tracking an object (for example, each of a rough contour model generation unit and a likelihood determination unit). Processing).
  • the shape-changed object and the shape of the rough contour model can easily be matched, so the object's followability Can be improved.
  • the processing amount at each search position can be reduced by using the rough contour model, the number of search positions can be increased correspondingly, and the followability of the object can be improved accordingly.
  • the object tracking apparatus is an object tracking apparatus that tracks an object in a time-series image composed of a plurality of frames, and is an object tracking object in the first frame.
  • a position information acquisition unit that acquires position information, and a detailed contour model generation unit that generates a detailed contour model including a plurality of contour points indicating the contour of the target object based on the position information in the first frame;
  • a search position setting unit that sets a plurality of different search positions in any second frame after the first frame, and the detailed contour model is set to the search position for each search position in the second frame.
  • a rough contour model generation unit that selects a predetermined number of points as second corresponding points and generates a rough contour model including the second corresponding points, and the rough contour model in the image of the second frame for each of the search positions.
  • a likelihood determination unit that determines the likelihood that each search position is the position of the target object in the second frame by comparing the feature amount, and the likelihood determined by the likelihood determination unit.
  • An object position specifying unit that specifies the position of the object from the plurality of search positions based on the degree.
  • the object tracking method is an object tracking method for tracking an object in a time-series image composed of a plurality of frames, and the position information of the object to be tracked in the first frame is obtained.
  • a position information acquisition step for acquiring a detailed contour model generation step for generating a detailed contour model composed of a plurality of contour points indicating the contour of the object based on the position information in the first frame, and the first frame
  • a search position step for setting a plurality of different search positions in any second frame after the frame, and a case where the detailed contour model is applied to the search position for each search position in the second frame.
  • the plurality of first corresponding points corresponding to the positions of the plurality of contour points are specified, and the number of the first corresponding points is less than the plurality of first corresponding points.
  • a likelihood determination step for determining the likelihood that each of the search positions is the position of the object in the second frame by comparing with one image feature amount, and the likelihood determination step.
  • an object position specifying step for specifying the position of the object from the plurality of search positions based on the likelihood.
  • FIG. 1 It is a block diagram which shows schematic structure of the object tracking system which concerns on one embodiment of this invention. It is a block diagram which shows the structure of the tracking part of the said object tracking system.
  • (A) is a figure which shows the example of the tracking process about the image of a certain frame
  • (b) is a figure which shows the example of the tracking process about the image of the following frame. It is a figure explaining a detailed outline model. It is a figure explaining a rough outline model. It is the figure which showed an example of the rough outline model in search position S1, S2, and S3. It is the figure which showed an example when the search position was narrowed down to two.
  • an object tracking system mounted on a digital video camera and tracking an object in a captured moving image and continuously focusing on the object will be described, but the present invention is limited to this. It is not a thing.
  • the present embodiment will be described in detail with reference to FIGS.
  • FIG. 1 is a block diagram showing a schematic configuration of an object tracking system 1 according to the present embodiment.
  • the object tracking system 1 includes an imaging device 2, a focus control device 3, and an object tracking device (object tracking device) 10.
  • the imaging device 2 captures a moving image.
  • the imaging device 2 is configured by an imaging element such as a CCD (charge coupled device) or a CMOS (complementary metal oxide semiconductor) imaging element.
  • the imaging device 2 captures an image of 30 frames per second.
  • the imaging device 2 outputs the captured moving image to the object tracking device 10 as an image arranged in a time series including a plurality of frames.
  • the object tracking device 10 tracks the target object that is the tracking target from the time-series images, and outputs the position of the target object in the image to the focus control device 3.
  • the detailed configuration of the object tracking device 10 will be described later.
  • the focus control device 3 adjusts the focus of the imaging device 2 based on the position of the object in the image input from the object tracking device 10.
  • the object tracking device 10 includes an image acquisition unit 11, a storage unit 12, an initialization unit 13, and a tracking unit 14.
  • the image acquisition unit 11 sequentially acquires time-series images from the imaging device 2 and stores the time-series images in the storage unit 12.
  • the storage unit 12 stores various types of information, and includes a storage device such as an HDD (Hard Disk Drive) or a flash memory.
  • the storage unit 12 stores time-series images acquired by the image acquisition unit 11.
  • the storage unit 12 stores various information output by the initialization unit 13 and the tracking unit 14.
  • the initialization unit 13 specifies a target object to be tracked in the image, and the tracking unit 14 tracks the target object in the time-series image.
  • the initialization unit 13 includes an object specifying unit 21 and an object position specifying unit 22 (position information acquisition unit).
  • the object designating unit 21 identifies the object T to be tracked in the image G1 of a certain frame as shown in FIG.
  • the object designating unit 21 receives input of information indicating, for example, at which position in the image G1 the target object T to be tracked exists.
  • a digital video camera presents a captured image to a user using a display device provided with a touch panel, and the user designates a position (for example, position P) where the target object T to be tracked is present using the touch panel.
  • the object specifying unit 21 outputs information on the specified position P to the object position specifying unit 22.
  • the object specifying unit 21 may receive information indicating an area where the object T exists.
  • the object position specifying unit 22 specifies the position Q where the object T exists by searching for the object T from the image G1 based on the position P specified by the object specifying unit 21.
  • the object position specifying unit 22 acquires an image G1 of a frame (first frame) at a certain time (for example, the latest) from the storage unit 12. As shown in FIG. 3A, the object position specifying unit 22 is a region having a predetermined region size (for example, a region of 100 ⁇ 100 pixels centered on the position P, for example) including the specified position P in the image G1. ) For R, the object T is detected. In the detection of the object T, a known technique such as color detection or edge detection can be used.
  • the object position specifying unit 22 sets a rectangular area W including the detected object T as a position Q where the object T exists. If the detected object T is large, the size of the region W is set larger.
  • the position Q of the object T is defined using the region W where the object T exists, but the center of the region W may be defined as the position Q of the object T.
  • the region W may be a region having another shape such as a circle, or may be a region having a predetermined size.
  • the object position specifying unit 22 stores the information on the position Q of the object T in the storage unit 12 in association with the image G1 of the frame.
  • the object specifying unit 21 may receive an input of a specific condition, and the object position specifying unit 22 may detect the position Q of the object T based on the condition. For example, when the object designating unit 21 receives an input of the condition “make a face as an object”, the object position specifying unit 22 performs face detection over the entire image, and detects any of the detected faces. And the position Q is detected. When the object specifying unit 21 receives an input of the condition “make a square object as an object”, similarly, the object position specifying unit 22 uses any of the square objects detected from the image as an object, The position Q is detected.
  • the position Q of the object T in the image G1 of a certain frame is specified, and the information is stored in the storage unit 12 by the initialization unit 13.
  • the tracking unit 14 acquires information for tracking the target T using any frame (second frame) after the first frame, and tracks the target T.
  • the second frame is a frame next to the first frame, but may be a frame several frames after the first frame.
  • FIG. 2 is a block diagram illustrating a configuration of the tracking unit 14.
  • the tracking unit 14 includes a contour extraction unit 29, a detailed contour model generation unit 30, a search position setting unit 31, a rough contour model generation unit 32, a likelihood determination unit 33, a search position narrowing unit 34, and a determination unit 35 (number of search positions).
  • a determination unit an object position specifying unit 36 (position information acquisition unit), and a tracking result output unit 38.
  • the image acquisition unit 11 acquires from the imaging device 2 an image G2 (see FIG. 3B) of the next frame of the image G1 in which the initialization unit 13 specifies the position Q of the target object T to be tracked. To be stored in the storage unit 12.
  • the tracking unit 14 generates a detailed contour model of the object T using the image G1 stored in the storage unit 12. Further, the tracking unit 14 dynamically generates a plurality of rough contour models that are candidates for tracking based on the detailed contour model using the image G2 stored in the storage unit 12, and the rough contour models are generated.
  • the object T in the image G2 is tracked by gradually refining and narrowing down the candidates.
  • a processing target frame for which tracking processing is performed in the tracking unit 14 is referred to as a current frame
  • an image of the current frame is referred to as a processing target image.
  • the contour extraction unit 29 extracts the contour of the target T based on the position Q of the target T specified by the target position specifying unit 22 of the initialization unit 13 using the image G1 stored in the storage unit 12. To do. Specifically, as shown in FIG. 4, the contour extraction unit 29 extracts a known contour such as Level Set, Snake, or B-spline from the position Q of the target T specified by the target position specifying unit 22. The contour extraction process is performed using the method to extract the contour 101 of the object T.
  • a known contour such as Level Set, Snake, or B-spline
  • the detailed contour model generation unit 30 generates a detailed contour model of the object T based on the contour 101 extracted by the contour extraction unit 29. Specifically, the detailed contour model generation unit 30 extracts a plurality (n) of contour points X1 to Xn along the contour 101 extracted by the contour extraction unit 29 in the image G1, as shown in FIG. A detailed contour model including the plurality of contour points X1 to Xn is generated.
  • This detailed contour model is obtained by reproducing the contour 101 of the object T in the image G1 with a set of a plurality of contour points X1 to Xn.
  • the contour points X1 to Xn are not limited to points on the contour 101, and may be points near the contour 101.
  • Each contour point X1 to Xn is assigned an identification number along the contour 101, and adjacent contour points along the contour can be specified.
  • the detailed contour model generation unit 30 obtains a feature value for likelihood determination (first image feature amount) at each of the contour points X1 to Xn, and generates a template in which the feature amount for likelihood determination is described. To do. Specifically, as shown in FIG. 4, each contour point X1 to Xn corresponds to a likelihood determination region R2 having a predetermined region size (for example, 5 ⁇ 5 pixels) including the contour point. . Then, the detailed contour model generation unit 30 uses the feature amount obtained from the pixel value of the likelihood determination region R2 corresponding to the contour point as the feature amount for likelihood determination at each of the contour points X1 to Xn. .
  • the feature amount for example, brightness, color, edge strength, gradient angle (edge angle), or the like can be used.
  • the feature quantity for likelihood determination for example, a combination of luminance and edge strength may be used.
  • the luminance distribution of the region R2 for likelihood determination is used as the feature amount for likelihood determination.
  • FIG. 4 as an example, the luminance distribution of the 5 ⁇ 5 pixel likelihood determination region R2 corresponding to the contour point X3 is illustrated.
  • the detailed contour model generation unit 30 stores the generated detailed contour model and template in the storage unit 12 in association with the image G1 of the frame.
  • the search position setting unit 31 sets a plurality (m) of different search positions S1 to Sm for searching for the target T in the processing target image G2 of the current frame.
  • each of the search positions S1 to Sm is defined by a region in the same manner as the position Q of the object T, and is set to have the same shape and the same region size as the position Q of the object T. If the position Q of the object T is defined as a point (for example, the center point of the region W), the search positions S1 to Sm are also defined as points.
  • the search position setting unit 31 performs a plurality of searches around the position Q of the target T in the image G1 of the previous frame in the processing target image G2. Positions S1 to Sm are set. As a method of setting the search positions S1 to Sm, for example, a particle filter or a partial area search technique can be used. The search position setting unit 31 outputs information on the search positions S 1 to Sm to the rough contour model generation unit 32.
  • the rough contour model generation unit 32 generates a rough contour model based on the detailed contour model at each of the search positions S1 to Sm set by the search position setting unit 31.
  • the corresponding points Y1 to Yn are assigned the same identification numbers as the corresponding contour points X1 to Xn.
  • the rough contour model generation unit 32 sets a first predetermined number (for example, u) of corresponding points (first number) out of the plurality of corresponding points Y1 to Yn specified as described above for each of the search positions S1 to Sm.
  • a first predetermined number for example, u
  • corresponding points first number
  • Ya1 to Yau are selected, and a rough contour model including the first predetermined number of corresponding points Ya1 to Yau is generated.
  • the first predetermined number is smaller than the plurality of corresponding points Y1 to Yn.
  • this rough contour model is obtained by reproducing the contour 101 of the object T in the image G1 with a set of corresponding points Ya1 to Yau that is smaller in number than the plurality of contour points X1 to Xn of the detailed contour model. That is, the rough contour model is a simplified representation (ie, rough) of the contour 101 of the object T. In this rough contour model, the smaller the number of corresponding points Ya1 to Yau, the higher the roughness degree (simplification degree).
  • Image feature amount the rough contour model generation unit 32, in the processing target image G2, as shown in FIG. 5, the pixel value (for example, the first region) corresponding to the corresponding point Yj (target corresponding point) is selected.
  • the pixel value of the corresponding point selection region corresponding to each of one or more reference points for example, Yj-1, Yj + 1, Yout, Yin
  • the feature amount for selecting the corresponding point at the corresponding point Yj is obtained based on the luminance
  • the corresponding point selection areas corresponding to the points Yj, Yj-1, Yj + 1, Yout, and Yin are respectively represented by the corresponding points Yj, Yj-1, Yj + 1, Yout, and Yin. This is a predetermined area included in the center.
  • a contour 102 on the image G2 is a contour on the image G2 corresponding to the contour 101 of the target T when the position Q of the target T is superimposed on the search position Si.
  • each reference point Yin * Yout and corresponding point Yj you may employ
  • the angle Yout ⁇ Yj ⁇ Yj-1 and the angle Yout ⁇ Yj ⁇ Yj + 1 become equal, and the angle Yin ⁇ Yj ⁇ Yj-1 And an angle such that the angles Yin ⁇ Yj ⁇ Yj + 1 are equal.
  • a contour may be obtained by connecting a plurality of corresponding points Y1 to Yn, and the reference points Yin and Yout may be arranged in the direction of the normal to the tangent at the corresponding point Yj in the contour.
  • To the point Yin may be the average of the distances between the points Yj + 1 and Yj and the distances between the points Yj-1 and Yj.
  • contours based on a plurality of contour points X1 to Xn corresponding to the plurality of corresponding points Y1 to Yn may be used.
  • corresponding point selection feature amount at the corresponding point Yj for example, the luminance difference between the corresponding point Yj and the reference points Yin, Yj-1, and Yj + 1 in the processing target image G2.
  • the difference between the one having the largest luminance difference and the luminance difference between the corresponding point Yj and the reference point Yout is used.
  • a difference in luminance difference is used as the above-described corresponding point selection feature amount of the corresponding point Yj.
  • the present invention is not limited to this.
  • a luminance difference between peripheral pixels of the corresponding point Yj (for example, a luminance difference between the corresponding point Yj and the reference point Yout) may be used.
  • the above luminance differences between the corresponding point Yj and the reference points Yj-1, Yj + 1, Yout, and Yin are obtained as follows.
  • the corresponding point selection areas corresponding to the points Yj, Yj-1, Yj + 1, Yout, and Yin are areas of the image G2, and are areas having the same area size (for example, 5 ⁇ 5 pixels).
  • the luminance difference (third pixel value difference) between the points Yj and Yj-1 is obtained, the corresponding point selection regions corresponding to the points Yj and Yj-1 are located at the same array position.
  • a luminance difference between the points Yj and Yj-1 is obtained by summing up the luminance differences between the corresponding pixels and summing the luminance differences (or absolute values of the luminance differences) over the corresponding point selection area. .
  • the method of calculating the luminance difference is an example, and is not limited to this. In this way, the feature quantity for selecting the corresponding point at the corresponding point Yj is obtained.
  • the points Yj-1, Yj + 1, Yout, and Yin are used as reference points for the corresponding points Yj. However, only the points Yout and Yin may be used.
  • the rough contour model generation unit 32 selects, from each of the plurality of corresponding points Y1 to Yn, some corresponding points Ya1 to Yau having a higher degree of representing the contour in the image G2 for each search position Si. Then, a rough contour model of the search position Si composed of the corresponding points Ya1 to Yau is generated.
  • a rough contour model composed of corresponding points Ya1 to Yau having a high degree of contour in the image G2 is an excellent and simple contour model for determining whether or not the object T has moved to the search position Si. Can be considered.
  • the degree to which the corresponding point Yj represents the contour can be expressed by, for example, the edge strength at the position corresponding to the corresponding point Yj in the image G2.
  • the degree to which the corresponding point Yj represents the contour can be represented by a luminance difference between the inside and the outside of the contour 102 corresponding to the corresponding point Yj in the image G2.
  • the rough contour model generation unit 32 selects a corresponding one of the plurality of corresponding points Y1 to Yn for which the feature amount for selecting the corresponding point is obtained, and satisfies the predetermined prior knowledge.
  • the corresponding point selection feature quantity size is included in the upper first predetermined number (for example, upper u) (ie, from the largest to the first predetermined number of ranks).
  • a rough contour model including the first predetermined number of corresponding points Ya1 to Yau is generated.
  • the luminance difference between the corresponding point Yj and the reference point Yout is the luminance difference between the corresponding point Yj and the reference point Yin, the corresponding point Yj.
  • the prior knowledge that the luminance difference between the reference point Yj-1 and the luminance difference between the corresponding point Yj and the reference point Yj + 1 is larger.
  • the feature amount for selecting the corresponding point at the corresponding point Yj (third image feature amount) is based on this prior knowledge, and the contour degree at which the corresponding point Yj indicates the contour of the object T is expressed. Represents. That is, if the target T has moved to the search position Si in the current frame, it can be estimated that the luminance difference is large between the inside and the outside of the contour 102 connecting the plurality of corresponding points Y1 to Yn. Therefore, the feature quantity for selecting the corresponding points based on the prior knowledge is an index that represents the degree of contour in which each of the corresponding points Y1 to Yn indicates the contour of the object T. The contour level should be higher as the feature value for selecting the corresponding point is larger.
  • This rough contour model is an effective model with a small amount of information (corresponding points).
  • each of the rough contour models at the search positions S1 to Sm is an excellent contour model that determines whether or not the object T has moved to the search position Si with a small amount of information (corresponding points).
  • the edge strength is used as the feature amount for selecting the corresponding point
  • the corresponding point whose edge strength is included in the upper first predetermined number is selected.
  • the rough contour model generation unit 32 also sets the search positions S1 to Sm based on the pixel values of the likelihood determination areas corresponding to the corresponding points Ya1 to Yau of the rough contour models of the search positions S1 to Sm.
  • a feature amount (second image feature amount) for likelihood determination of each corresponding point Ya1 to Yau of the rough contour model is obtained. This feature quantity for likelihood determination is used in the likelihood determination of the likelihood determination section 33 described later.
  • the likelihood determination areas corresponding to the corresponding points Ya1 to Yau are areas including the corresponding corresponding points Ya1 to Yau, for example.
  • the likelihood determination feature amount is the likelihood determination feature amount (in this case, the luminance) obtained from the pixel values of the likelihood determination region corresponding to the contour points X1 to Xn of the detailed contour model.
  • Distribution The same type of feature quantity (in this case, luminance distribution) as the first image feature quantity).
  • the area size of the likelihood determination area corresponding to each of the corresponding points Ya1 to Yau is the same as the likelihood determination area corresponding to each of the contour points X1 to Xn of the detailed outline model ( For example, the size is 5 ⁇ 5 pixels), but the area size is not necessarily the same as the area size of the corresponding point selection area corresponding to each of the corresponding points Y1 to Yn.
  • the corresponding point selection area corresponds to each of the corresponding points Y1 to Yn, and each of the corresponding points Y1 to Yn further includes the likelihood determination area.
  • the likelihood determination area is fixed to the same area size as the likelihood determination area corresponding to each of the contour points X1 to Xn of the detailed contour model, but the corresponding point selection area described above is used. As will be described later, the region size is changed according to an instruction signal described later from the determination unit 35.
  • the rough contour model generation unit 32 also determines the rough contour model information at each of the search positions S1 to Sm (that is, the information on the corresponding points Ya1 to Yau and the likelihood determination at the corresponding points Ya1 to Yau). Information on the feature amount) is output to the likelihood determination unit 33.
  • the rough contour model generation unit 32 acquires an instruction signal (that is, an instruction signal for generating a rough contour model again by reducing the degree of roughness by one step) from the determination unit 35. Only for each search position narrowed down by the search position narrowing unit 34 as will be described later, the number (u) of corresponding points Ya1 to Yau of those rough contour models is increased by a predetermined number, and a rough contour model is obtained. Generate again.
  • an instruction signal that is, an instruction signal for generating a rough contour model again by reducing the degree of roughness by one step
  • the predetermined number for example, a fixed number set in advance or a number increased by a certain percentage with respect to the number of corresponding points Ya1 to Yau at that time can be adopted. Further, as a method of increasing the number of corresponding points Ya1 to Yau, the number of corresponding points Ya1 to Yau can be increased stepwise from 20% to 50% of the number of contour points X1 to Xn according to the instruction signal. Good.
  • the region size of the corresponding point selection region corresponding to each corresponding point Y1 to Yn is increased by a predetermined size, Based on the region for selecting corresponding points increased by a predetermined size, the feature amount for selecting corresponding points may be obtained in the same manner as described above.
  • the area size of the corresponding point selection area is increased by a predetermined size, for example, the area size is prepared stepwise from 1 pixel to 5 ⁇ 5 pixels, for example, and is initially set as the area size when the roughness is the highest. 1 pixel is set, and each time the instruction signal is acquired by the rough contour model generation unit 32 (each time the rough degree is lowered), the area size of the corresponding point selection area is set to 1 pixel both vertically and horizontally. It may be increased.
  • the rough contour model generation unit 32 obtains a feature value for likelihood determination in the same manner as described above, with respect to the rough contour model with a low degree of rough generation (that is, more detailed). At this time, the likelihood determination area corresponding to each of the corresponding points Ya1 to Yau is not changed, unlike the case of the feature value for selecting the corresponding point.
  • the rough contour model generation unit 32 generates information on the rough contour model at each of the newly generated search positions S1 to Sm (information on each corresponding point Ya1 to Yau and likelihood determination at each corresponding point Ya1 to Yau). Information on the feature amount) is output to the likelihood determination unit 33.
  • the likelihood determination unit 33 When the likelihood determination unit 33 receives the information on the rough contour model at each of the search positions S1 to Sm, the likelihood determination unit 33 estimates the likelihood L of the rough contour model at the search positions S1 to Sm (that is, the current frame). The likelihood that each search position Si is the position of the target T in the image G2 is determined.
  • the likelihood determining unit 33 receives information on the rough contour model at each of the search positions S1 to Sm from the rough contour model generating unit 32 (that is, information on each corresponding point Ya1 to Yau and each corresponding point).
  • a feature amount for example, luminance distribution information
  • a template of the above detailed contour model that is, for likelihood determination at each contour point X1 to Xn from the storage unit 12. (Information on the feature amount (for example, luminance distribution)).
  • the corresponding points Yaj with respect to the contour point Xaj A likelihood Lj is obtained.
  • the luminance difference between the pixels is obtained, and the likelihood Lj of the corresponding point Yaj with respect to the contour point Xaj is obtained using the sum of these luminance differences (or absolute values of the luminance differences).
  • the likelihood determination area corresponding to each point Xaj is an area of the image G1
  • the likelihood determination area corresponding to each point Yaj is an area of the image G2.
  • the maximum value of the likelihood L is 1.
  • FIG. 7 as an example, the cases where the likelihood L of the contour model at the search positions S1, S2, and S3 are 0.5, 0.9, and 0.3, respectively, are illustrated.
  • the definition of the likelihood L is not limited to the above.
  • the likelihood L defined as described above increases as the rough contour model resembles the detailed contour model, but may be defined so as to decrease as the rough contour model resembles the detailed contour model.
  • the likelihood determining unit 33 outputs information on the likelihood L of the rough contour model at each of the search positions S1 to Sm to the search position narrowing unit 34.
  • the likelihood determination unit 33 receives information on the rough contour model newly generated by the rough contour model generation unit 32, the likelihood determination unit 33 determines the likelihood L of the newly generated rough contour model in the same manner as described above. Information on the likelihood L is output to the search position narrowing unit 34.
  • the search position narrowing unit 34 When the search position narrowing unit 34 receives the information of the likelihood L of the rough contour model at each of the search positions S1 to Sm, the search position narrowing unit 34 searches from the plurality of search positions S1 to Sm based on the likelihood L. Narrow down the position. Here, the search position narrowing unit 34 leaves only search positions in which the likelihood L of the rough contour model is equal to or greater than a predetermined value among the plurality of search positions S1 to Sm.
  • each search position narrowing unit 34 receives the information on the likelihood L of the rough contour model newly generated by the rough contour model generation unit 32, each search position narrowed down based on the likelihood L. Is further narrowed down as described above. That is, the search position narrowing unit 34 further narrows down each narrowed search position using the likelihood L of the rough contour model newly generated at each narrowed search position, as described above.
  • the search position narrowing unit 34 outputs the narrowed search position information to the determination unit 35.
  • the determination unit 35 determines whether or not the number of search positions narrowed down by the search position narrowing unit 34 is equal to or less than a second predetermined number (for example, three).
  • the narrowed search position information is output to the object position specifying unit 36.
  • the determination unit 35 decreases the roughness degree of the rough contour model by one step and regenerates the rough contour model.
  • the instruction signal is output to the rough contour model generation unit 32.
  • the target position specifying section 36 uses the search position as the position Q2 of the target T that is the tracking target in the processing target image G2 of the current frame. Is identified.
  • the target object position specifying unit 36 sets each narrowed search position to, for example, color information. Use to narrow down to one.
  • a narrowing-down technique using color information for example, a known technique such as a color histogram, a gradient histogram, or a Gabor feature can be used.
  • the object position specifying unit 36 color information of an area (that is, a candidate for a tracking target) surrounded by a plurality of corresponding points Y1 to Yn at each search position narrowed down by the search position narrowing unit 34. Is compared with the color information of the object T in the image G1 of the previous field. Then, the object position specifying unit 36 selects, from the search positions narrowed down by the search position narrowing part 34, the one whose color information is closest to the color information of the target T in the processing target image G2. The position Q2 of the object T to be tracked is specified.
  • the object position specifying unit 36 may narrow down each search position narrowed down by the search position narrowing unit 34 to one using the edge information of the entire search positions.
  • the object position specifying unit 36 outputs information on the position Q2 of the object T specified as described above to the contour extracting unit 29. Then, the contour extracting unit 29 extracts the contour of the target T from the processing target image G2 based on the position Q2 specified by the target position specifying unit 36 as described above. Further, the object position specifying unit 36 causes the storage unit 12 to store information on the position Q2 of the target T specified as described above in association with the processing target image G2.
  • the contour of the target T extracted in the processing target image G2 of the current frame is used for the detailed contour model in the processing target image G2, and the rough contour model generated from the image of the next frame of the current frame. It becomes the basis of. That is, the tracking unit 14 generates a detailed contour model and a template in the processing target image G2, similarly to the above, using the contour of the target T in the processing target image G2 of the current frame, and the detailed contour model. And the position of the object T in the image of the next frame after the current frame is specified using the template. By repeating this, the object T in the image is tracked.
  • the object position specifying unit 36 and the search position narrowing unit 34 have been described as separate configurations.
  • the search position includes the function of the search position narrowing unit 34 in the object position specifying unit 36.
  • the narrowing part 34 may be omitted.
  • the object position specifying unit 22 and the object position specifying unit 36 are configured separately, but they may be combined into one object position specifying unit.
  • the contour extracting unit 29 causes the storage unit 12 to store information on the contour of the target T in the image G2 in association with the processing target image G2.
  • the contour extraction unit 29 outputs information on the contour of the target T in the processing target image G2 to the tracking result output unit 38.
  • the tracking result output unit 38 outputs information on the position Q2 of the target T in the processing target image G2 to the focus control device 3.
  • FIG. 3A is a diagram showing an example of the tracking process for the image G1 of a certain frame
  • FIG. 3B is a diagram showing an example of the tracking process for the image G2 of the next frame. is there.
  • the object T is shown in the image G1.
  • FIG. 8 is a flowchart showing an outline of the flow of the tracking process of the target T in the object tracking device 10.
  • step S 1 the image acquisition unit 11 acquires the image G 1 captured from the imaging device 2, and the acquired image G 1 is stored in the storage unit 12.
  • step S2 the initialization unit 13 acquires an image G1 of a certain frame from the storage unit 12, and specifies the object T in the image G1 to be tracked.
  • step S3 the image acquisition unit 11 acquires the image G2 of the next frame from the imaging device 2 as a processing target image, and the acquired image G2 is stored in the storage unit 12.
  • step S4 the tracking unit 14 specifies the position Q2 of the object T in the image G2 of the current frame. Thereafter, the processing of steps S3 and S4 is repeated for each frame, thereby tracking the object T in the image.
  • FIG. 9 is a flowchart showing the flow of initialization processing in the initialization unit 13.
  • step S11 the target specifying unit 21 receives an input from the user of a position P (see (a) in FIG. 3) in the image G1 where the target T to be tracked exists.
  • the user designates the position P of the object T with the touch panel.
  • step S12 the object position specifying unit 22 detects the object T for a predetermined region R including the designated position P, and specifies the position Q of the object T.
  • the position Q of the object T is set as a rectangular area including the object T.
  • the position Q of the object T may be set as, for example, the center of a rectangular area including the object T.
  • the process of the initialization part 13 is complete
  • FIG. 10 is a flowchart showing the flow of the tracking process in the tracking unit 14.
  • step S18 the contour extracting unit 29 extracts the contour 101 (see FIG. 4) of the target T specified by the target specifying unit 21 from the image G1 stored in the storage unit 12.
  • step S19 the detailed contour model generator 30 extracts a plurality (n) of contour points X1 to Xn along the contour 101 extracted by the contour extractor 29 in the image G1, and the plurality of contour points X1.
  • a detailed contour model consisting of ⁇ Xn is generated.
  • the detailed contour model information is stored in the storage unit 12 in association with the image G1.
  • step S20 the detailed contour model generation unit 30 uses likelihood determination feature amounts (for example, luminance, edge strength, or gradient angle) from the pixel values of the likelihood determination regions corresponding to the respective contour points X1 to Xn. And a template in which the feature amount is described is generated.
  • the template information is stored in the storage unit 12 in association with the image G1.
  • step S21 the search position setting unit 31 sets a plurality (m) of different search positions S1 to Sm where the target T is searched for in the processing target image G2. Specifically, as shown in FIG. 3B, the search position setting unit 31 performs a plurality of searches around the position Q of the target T in the image G1 of the previous frame in the processing target image G2. Positions S1 to Sm are set.
  • step S22 a rough contour model is generated by the rough contour model generation unit 32 based on the detailed contour model generated in step S19 at each of the search positions S1 to Sm set by the search position setting unit 31.
  • the position Q of the object T is superimposed on the search position Si (that is, the detailed contour model is searched for the search).
  • a plurality of corresponding points (first corresponding points) Y1 to Yn corresponding to the positions of the plurality of contour points X1 to Xn of the detailed contour model (when applied to the position Si) are specified.
  • a first predetermined number (for example, u) of corresponding points (second corresponding points) Ya1 to Yau are selected from the plurality of corresponding points Y1 to Yn specified in this way.
  • a rough contour model is generated which is selected and includes the first predetermined number of corresponding points Ya1 to Yau.
  • feature quantities for example, luminance distribution
  • feature quantities for example, luminance distribution
  • the pixel value of the corresponding point selection region corresponding to the corresponding point Yj (j 1 to n) and one or more reference points (for example, Yj-1 ⁇ Yj) at a specific position around the corresponding point Yj.
  • the above-described corresponding point selection feature amount at the corresponding point Yj is obtained.
  • the predetermined prior knowledge is satisfied, and the size of the feature amount for selecting the corresponding points is the highest first.
  • a predetermined number for example, u
  • a rough contour model is generated from the first predetermined number of corresponding points Ya1 to Yau.
  • step S23 the rough contour model generation unit 32 causes each search position S1 based on the pixel value of the likelihood determination area corresponding to each corresponding point Ya1 to Yau of the rough contour model at each search position S1 to Sm.
  • a feature quantity for example, luminance distribution
  • likelihood determination at each corresponding point Ya1 to Yau of the rough contour model at ⁇ Sm is obtained.
  • step S24 the likelihood determination unit 33 causes the likelihood L for the detailed contour model of the rough contour model at each search position S1 to Sm (that is, each search position Si is the position of the object T in the image G2 of the current frame). Is determined).
  • the feature quantity for example, luminance distribution
  • the likelihood determination feature quantities for example, luminance distribution
  • the likelihood Lj of each corresponding point Yaj with respect to the contour point Xaj is obtained by obtaining the difference between the feature amounts.
  • the likelihood determination region corresponding to each point Xaj is the region of the image G1
  • the likelihood determination region corresponding to each point Yaj is the region of the image G2.
  • step S25 the search position is narrowed down from the plurality of search positions S1 to Sm by the search position narrowing section 34 based on the likelihood L determined by the likelihood determining section 33.
  • the search positions S1 to Sm only the search positions whose likelihood L of the rough contour model is a predetermined value or more are left.
  • step S26 the determination unit 35 determines whether or not the number of search positions narrowed down by the search position narrowing unit 34 is equal to or less than a second predetermined number (for example, three). If the determination result is greater than the second predetermined number in step S27, the process proceeds to step S28.
  • a second predetermined number for example, three
  • step S28 the determination unit 35 outputs an instruction signal to the rough contour model generation unit 32 (that is, an instruction signal for generating a rough contour model again by reducing the degree of roughness of the rough contour model by one step).
  • the rough contour model generation unit 32 determines the rough contour model only for each search position narrowed down in step S25. Roughness level is lowered by one level.
  • the rough contour model generation unit 32 increases the size of the corresponding point selection region corresponding to each corresponding point Y1 to Yn by a predetermined size only for each search position narrowed down in step S25.
  • the number (u) of corresponding points Ya1 to Yau for constituting the contour model is increased by a predetermined number.
  • step S23 the feature quantities for likelihood determination at the corresponding points Ya1 to Yau of the rough contour model newly generated in step S22 are obtained in the same manner as in the previous time, and in step S24, the feature amounts are newly generated in step S22.
  • the likelihood L of the rough contour model is obtained in the same manner as in the previous time.
  • step S25 the search positions refined in the previous step S25 are further refined in the same manner as in the previous time, and in step S26, the number of further refined search positions.
  • step S27 Whether or not is equal to or smaller than the second predetermined number is determined similarly to the previous time. Then, in step S27, the process of steps S28 ⁇ S22 ⁇ S23 ⁇ S24 ⁇ S25 ⁇ S26 ⁇ S27 is repeated until the determination result becomes equal to or smaller than the second predetermined number.
  • step S27 when the determination result of the determination part 35 is below a 2nd predetermined number, a process transfers to step S29.
  • the second predetermined number is 3, and when each of the narrowed search positions is S1 and S2, as shown in FIG. 7, the process proceeds to step S29.
  • step S29 when the search position narrowed down by the search position narrowing unit 34 is one, the process proceeds to step S31, and the target position specifying unit 36 tracks the search position in the processing target image G2.
  • the position Q2 of the target object T that is the target is specified.
  • the position of the target T in the image of the next frame of the current frame is determined based on the position Q2 specified by the target position specifying unit 36 (that is, the position Q2 of the target T in the image G2 of the current frame). Will be tracked.
  • step S29 If the search position narrowed down by the search position narrowing unit 34 is not one in step S29 (that is, two or more and the second predetermined number or less), the process proceeds to step S30, and the target The narrowed search positions are narrowed down to one using the color information (for example, color histogram, gradient histogram, or Gabor feature) by the object position specifying unit 36.
  • the color information for example, color histogram, gradient histogram, or Gabor feature
  • the color information of the region namely, the tracking target candidate
  • the color information of the object T in the image G1 of the previous field are compared. From the search positions narrowed down by the search position narrowing unit 34, the color information is narrowed down to the one closest to the color information of the target T. Then, the process proceeds to step S31, and the target position specifying unit 36 specifies the narrowed search position as the position Q2 of the target T that is the tracking target in the processing target image G2.
  • the search position S1 when the color information of the search position S1 is closer to the color information of the object T among the search positions S1 and S2, the search position is narrowed down to S1, and the search position S1 is the processing target image. It is identified as the position Q2 of the object T at G2.
  • step S32 the contour extracting unit 29 detects the target T from the processing target image G2 based on the position Q2 specified in step S31, and extracts the contour of the target T.
  • the contour of the object T in the image G2 is used for the detailed contour model in the image G2 of the current frame, and is based on the rough contour model generated in the image of the next frame.
  • step S33 the tracking result output unit 38 outputs information on the position Q2 of the object T in the processing target image G2 to the focus control device 3.
  • step S28 when the degree of roughness is lowered by a certain level in step S28, (a) the area size of the corresponding point selection area corresponding to each corresponding point Y1 to Yn is set to a predetermined size. (B) The number of corresponding points Ya1 to Yau (u) for constructing the rough contour model is increased by a predetermined number, but only (a) or (b) may be used.
  • the object is detected and tracked from the captured moving image.
  • the object tracking device 10 can also be applied to animation and other moving images.
  • an object an image of a person's upper body or whole body may be detected, or an image of a ball, a vehicle, a baggage being carried, or other moving objects may be detected.
  • a stationary object can be applied because it moves in a captured image by moving the imaging device 2. That is, the present invention is applicable to tracking an object that moves in an acquired time-series image.
  • An object tracking apparatus is an object tracking apparatus that tracks an object in a time-series image including a plurality of frames, and acquires position information of the object to be tracked in the first frame. From a position information acquisition unit, a detailed contour model generation unit that generates a detailed contour model composed of a plurality of contour points indicating the contour of the object based on the position information in the first frame, and the first frame A search position setting unit that sets a plurality of different search positions in any of the second frames later, and when the detailed contour model is applied to the search positions for the search positions in the second frame, A plurality of first corresponding points corresponding to the positions of the plurality of contour points are identified, and a first predetermined number of points smaller than the plurality of first corresponding points is selected from the plurality of first corresponding points.
  • a rough contour model generation unit that selects a corresponding point and generates a rough contour model composed of the second corresponding point, and each second corresponding point of the rough contour model in the image of the second frame for each search position And the first image feature amount relating to the contour point corresponding to the second corresponding point among the contour points of the detailed contour model in the image of the first frame.
  • the likelihood determination unit that determines the likelihood that each of the search positions is the position of the target object, and the plurality of the determinations based on the likelihood determined by the likelihood determination unit.
  • An object position specifying unit that specifies the position of the object from among the search positions.
  • the object tracking method is an object tracking method for tracking an object in a time-series image composed of a plurality of frames, and the position information of the object to be tracked in the first frame is obtained.
  • a position information acquisition step for acquiring a detailed contour model generation step for generating a detailed contour model composed of a plurality of contour points indicating the contour of the object based on the position information in the first frame, and the first frame
  • a search position step for setting a plurality of different search positions in any second frame after the frame, and a case where the detailed contour model is applied to the search position for each search position in the second frame.
  • the plurality of first corresponding points corresponding to the positions of the plurality of contour points are specified, and the number of the first corresponding points is less than the plurality of first corresponding points.
  • a likelihood determination step for determining the likelihood that each of the search positions is the position of the object in the second frame by comparing with one image feature amount, and the likelihood determination step.
  • an object position specifying step for specifying the position of the object from the plurality of search positions based on the likelihood.
  • the image feature amount indicates, for example, a feature amount such as a luminance difference or edge strength obtained from a pixel value of a pixel related to (corresponding to) a corresponding point or a contour point.
  • a rough contour model including the second corresponding points whose number is less than the number of contour points constituting the detailed contour model is generated, and the position of the object is determined using the rough contour model. Is tracked. Therefore, compared with a case where a detailed contour model is generated at each search position (for example, Patent Document 1 and Non-Patent Document 2), processing required for tracking an object (for example, each of a rough contour model generation unit and a likelihood determination unit). Processing).
  • the shape-changed object and the shape of the rough contour model can easily be matched, so the object's followability Can be improved.
  • the processing amount at each search position can be reduced by using the rough contour model, the number of search positions can be increased correspondingly, and the followability of the object can be improved accordingly.
  • the rough contour model generation unit is configured to provide the second image feature relating to the first corresponding point in the second frame for the first corresponding point for each of the search positions. Based on the amount, the degree of contour representing the contour of the first corresponding point is obtained, and the first predetermined number of ranks from the largest of the plurality of first corresponding points to the contour degree. It is desirable to select the one included in the above as the second corresponding point and generate a rough contour model including the second corresponding point.
  • each search position a plurality of first corresponding points corresponding to the positions of the plurality of contour points of the detailed contour model are specified, and each first corresponding point in the second frame is specified as the first corresponding point.
  • the degree of contour where the first corresponding point indicates the contour is obtained.
  • a plurality of first corresponding points are selected as those corresponding to the first predetermined number of ranks from the largest contour degree to the second predetermined point, and from the second corresponding points A rough contour model is generated.
  • the rough contour model is composed of a plurality of first corresponding points that have a high degree of representing the contour, the rough contour model is an effective model with a small amount of information (corresponding points).
  • the rough contour model generation unit corresponds to the edge strength corresponding to the first corresponding point in the second frame or corresponds to the first corresponding point. It is desirable to obtain the contour degree according to the difference between a plurality of pixel values.
  • the contour degree is obtained according to the edge strength corresponding to the first corresponding point in the second frame or according to the difference between the plurality of pixel values corresponding to the first corresponding point. Therefore, a useful contour degree can be generated in the second frame image.
  • the rough contour model generation unit is configured to determine, for each of the first corresponding points, a point inside the contour represented by the plurality of first corresponding points in the second frame. A difference between a pixel value and a pixel value corresponding to the first corresponding point, and a difference between a pixel value corresponding to the first corresponding point and a pixel value corresponding to the first corresponding point. It is desirable to obtain the contour degree according to the difference from the second pixel value difference.
  • the degree of contour is the pixel value of the point inside the contour represented by the plurality of first corresponding points in the second frame and the pixel corresponding to the first corresponding point. According to a difference between a first pixel value difference that is a difference between the pixel value and a second pixel value difference that is a difference between a pixel value at a point outside the contour and a pixel value corresponding to the first corresponding point, Therefore, it is possible to generate a useful contour level in the second frame image.
  • the rough contour model generation unit may include the first contour in the contour represented by the plurality of first corresponding points in the second frame.
  • the contour degree is Desirable.
  • the contour level is determined by the relationship between the first corresponding point and the first corresponding point adjacent thereto in the contour represented by the plurality of first corresponding points in the second frame. Since it is obtained according to the third pixel value difference, which is the difference between the pixel values, and the first pixel value difference and the second pixel value difference, the accuracy of the contour level can be improved.
  • the rough contour model generation unit is configured such that, for each of the plurality of first corresponding points, one or more references at the first corresponding point and a specific position around the first corresponding point. Based on the pixel value of the first region corresponding to each of the points, the contour degree of each of the plurality of first corresponding points is obtained by obtaining the contour degree in which the first corresponding point represents the contour.
  • the rough contour model consisting of the second corresponding points is selected as the second corresponding point from among the plurality of first corresponding points, the one having the outline degree included in the upper first predetermined number. It is desirable to generate
  • the pixel value of the first region corresponding to each of the first corresponding point and one or more reference points at a specific position around the first corresponding point is set. Based on this, the degree of contour indicating the contour of the first corresponding point is obtained, thereby obtaining the degree of contour of each of the plurality of first corresponding points.
  • the reference points of the first corresponding point include two first corresponding points adjacent to the first corresponding point along the contour, and one in the vicinity of the first corresponding point and inside the contour. A point and one outside point can be used.
  • the degree of contour at the first corresponding point is obtained using the first corresponding point and the surrounding reference points, more appropriately than the degree of contour is obtained using only the first corresponding point, The degree of contour can be obtained.
  • the rough contour model is composed of a plurality of first corresponding points having a high degree of representing the contour, and is therefore an effective model with a small amount of information (corresponding points).
  • the object tracking device includes a search position narrowing unit that narrows down a search position from the plurality of search positions based on the likelihood determined by the likelihood determination unit, and the search position A search position number determination unit for determining whether or not the number of the search positions narrowed down by the narrowing-down unit is equal to or less than a second predetermined number, and the rough contour model generation unit includes the rough contour model After the generation, if the determination result of the search position number determination unit is larger than the second predetermined number, the plurality of first corresponding points and their corresponding points for the search position narrowed down by the search position narrowing unit The region size of the first region corresponding to each of the reference points is increased by a predetermined size, and the contour degree of each of the plurality of first corresponding points is obtained based on the increased pixel value of the first region.
  • the likelihood determination unit determines the likelihood for the rough contour model newly generated by the rough contour model generation unit
  • the search position narrowing unit determines the likelihood determination Based on the likelihood determined by the unit, the search position is further narrowed down from the search positions narrowed down by the search position narrowing unit, and the search position number determination unit is further narrowed down by the search position narrowing unit Whether the number of the search positions is less than or equal to the second predetermined number, and the object position specifying unit determines that the determination result of the search position number determination unit is less than or equal to the second predetermined number. In this case, it is desirable to specify the position of the object in the second frame from the search positions narrowed down by the search position narrowing unit.
  • a plurality of first correspondences are provided for the search positions narrowed down by the search position narrowing unit.
  • the region size of the first region corresponding to each of the points and their reference points is increased by a predetermined size, and the contour degree of each of the plurality of first corresponding points is determined based on the increased pixel value of the first region.
  • a rough contour model is generated again.
  • the object tracking device includes a search position narrowing unit that narrows down a search position from the plurality of search positions based on the likelihood determined by the likelihood determination unit, and the search position A search position number determination unit that determines whether or not the number of search positions narrowed down by the narrowing unit is equal to or less than a second predetermined number, and the rough contour model generation unit generates the rough contour model Thereafter, when the determination result of the search position number determination unit is larger than the second predetermined number, the first predetermined number is increased by a predetermined number with respect to the search position narrowed down by the search position narrowing unit.
  • the rough contour model is generated again, the likelihood determining unit determines the likelihood for the rough contour model newly generated by the rough contour model generating unit, and the search position narrowing unit is Determined by the likelihood determination unit
  • the search position is further narrowed down from the search positions narrowed down by the search position narrowing unit based on the likelihood, and the search position number determination unit is further narrowed down by the search position narrowing unit It is determined whether or not the number of search positions is equal to or less than the second predetermined number, and the target object position specifying unit is configured to determine whether or not the determination result of the search position number determination unit is equal to or less than the second predetermined number. It is desirable to specify the position of the object in the second frame from the search positions further narrowed down by the search position narrowing unit.
  • the first predetermined number with respect to the search positions narrowed down by the search position narrowing unit is increased by a predetermined number, and the rough contour model is newly generated.
  • the degree of roughness of the rough contour model is reduced by one step, so that the degree of roughness is lowered by one step (in other words, a little refinement).
  • a rough contour model is generated anew.
  • a rough outline model having a large degree of roughness can be used to roughly search a wide area roughly, and while narrowing down the number of search positions, the degree of roughness can be gradually lowered to search in detail. Therefore, the object can be detected efficiently (that is, quickly) from the image.
  • the object tracking device may be configured such that the position information acquisition unit uses the object position specifying unit when the position of the object is specified in the second frame by the object position specifying unit. It is desirable to obtain position information of the object in the specified second frame and treat the second frame as the first frame.
  • the position information acquisition unit is configured to specify the target in the second frame specified by the target position specifying unit.
  • Object position information is acquired, and the second frame is treated as the first frame.
  • each processing unit detailed contour model generating unit, search position setting unit, rough contour model generating unit, likelihood determining unit, target position specifying unit )
  • the same process is repeated, and the position of the object is specified in any frame after the second frame.
  • the detailed contour model generation unit since the detailed contour model generation unit generates a detailed contour model based on the contour of the target object specified in the second frame, even if the shape of the target object changes, the target is considered in consideration of the shape change. You can track things.
  • the object tracking device may be partially realized by a computer.
  • a computer-readable recording medium in which the control program is recorded also falls within the scope of the present invention.
  • the unit 33, the search position narrowing unit 34, the determination unit 35, the object position specifying unit 36, and the tracking result output unit 38 may be configured by hardware logic, or a CPU (central processing unit) as follows: ) May be implemented by software.
  • the object tracking device 10 includes a CPU that executes instructions of a control program that realizes each function, a ROM (read only memory) that stores the program, a RAM (random access memory) that develops the program, the program, and various types
  • a storage device such as a memory for storing data is provided.
  • An object of the present invention is a recording medium on which a program code (execution format program, intermediate code program, source program) of a control program of the object tracking device 10 which is software that realizes the above-described functions is recorded so as to be readable by a computer. This can also be achieved by supplying the object tracking device 10 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU (microprocessor unit)).
  • Examples of the recording medium include a tape system such as a magnetic tape and a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, a CD-ROM (compact disk-read-only memory) / MO (magneto-optical) / Disc system including optical disc such as MD (Mini Disc) / DVD (digital versatile disc) / CD-R (CD Recordable), card system such as IC card (including memory card) / optical card, or mask ROM / EPROM ( A semiconductor memory system such as erasable, programmable, read-only memory, EEPROM (electrically erasable, programmable, read-only memory) / flash ROM, or the like can be used.
  • a tape system such as a magnetic tape and a cassette tape
  • a magnetic disk such as a floppy (registered trademark) disk / hard disk
  • the object tracking device 10 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited.
  • the Internet an intranet, an extranet, a LAN (local area network), an ISDN (integrated services network, digital network), a VAN (value-added network), and a CATV (community antenna) television communication.
  • a network, a virtual private network, a telephone line network, a mobile communication network, a satellite communication network, etc. can be used.
  • the transmission medium constituting the communication network is not particularly limited.
  • IEEE institute of electrical and electronic engineering
  • USB power line carrier
  • cable TV line telephone line
  • ADSL asynchronous digital subscriber loop
  • Bluetooth registered trademark
  • 802.11 wireless high data rate
  • mobile phone network satellite line, terrestrial digital network, etc. But it is available.
  • the present invention can be used for a device such as a digital camera, a digital video camera, or a camera-equipped mobile phone that tracks an object in a moving image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　追跡対象の追随性と処理速度の高速化を両立できる対象物追跡装置を実現する。この物体追跡装置は、第１フレームにおいて対象物の詳細輪郭モデルを生成する詳細輪郭モデル生成部（３０）と、第２フレームにおいて複数の探索位置を設定する探索位置設定部（３１）と、上記複数の探索位置の各々において上記詳細輪郭モデルからラフ輪郭モデルを生成するラフ輪郭モデル生成部（３２）と、上記ラフ輪郭モデルの上記詳細輪郭モデルに対する尤度を判定する尤度判定部（３３）と、上記尤度判定部（３３）により判定された尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部（３４）と、上記探索位置絞込部により絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定する対象物位置特定部（３６）とを備える。

Description

対象物追跡装置、対象物追跡方法、および制御プログラム
　本発明は、動画像の中の対象物を追跡する技術に関する。
　従来より、動画像の中の物体の動きを追跡する技術が利用されている。
　従来の物体追跡技術には、色を基にした追跡技術がある（非特許文献１）。この技術では、動画像の各フレームにおいて色の類似する領域を同一対象物と見なし、各フレームに渡ってその色の類似する領域を追跡することで、対象物の位置を追跡している。
　また、輪郭を基にした追跡技術もある（非特許文献２）。この技術では、最初に追跡対象物の輪郭モデルを作成し、その輪郭モデルを少しずつ移動させて、その輪郭モデルに類似する輪郭を探索することで、追跡対象物の位置を追跡している。この技術では、時刻間で追跡対象物が大きく移動しない事を前提としている。
　また、輪郭を基にした他の追跡技術として、パーティクルフィルタにより輪郭形状を追跡する追跡技術がある（特許文献１）。この技術では、追跡対象物と同一形状を有する候補の輪郭線を１つのパーティクルで表し、追跡候補として複数のパーティクルを導入し、運動モデルに基づいて各パーティクルを遷移させ、遷移後のパーティクルが定める候補輪郭線の尤度を観測することで、追跡対象物の位置を追跡している。
日本国公開特許公報「特開２００９－２２４９２４号公報（２００９年１０月１日公開）」
Katja Nummiaro et al., "An adaptive color-based particle filter",Image and Vision Computing,Vol.21,Issue.1,pp.99-110,2003 Nikos Paragios and Rachid Deriche, "Geodesic active contours and level sets for the detection and tracking of moving objects",IEEE Trans.PAMI,Vo.22,Issue.3,pp.266-280,
　上記非特許文献１の技術では、色の類似する領域を同一対象物と見なすので、追跡対象が本来の対象物から本来の対象物と色の類似する背景に間違って乗り移り易い、即ち追跡対象物の追随性が悪いという問題点がある。
　また、上記非特許文献２の技術では、時刻間で追跡対象物が大きく移動しない事を前提としているので、デジタルカメラで人を撮影する場合の様にカメラと人が激しく動く場合や、追跡対象物の輪郭が複雑な場合は、処理時間が掛かる、即ち処理速度が遅いという問題点がある。
　また、上記特許文献１の技術では、追跡対象物の追随性を上げるためにパーティクルの数を増やすと、処理量が増大して処理速度が遅くなり、逆に、処理速度を上げるためにパーティクルの数を減らすと、追跡対象物の形状変化に対する追随性が悪くなるという問題点がある。
　この様に、従来の物体追跡技術では、追跡対象物の追随性と処理速度の高速化とを両立できる技術はなかった。
　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、追跡対象物の追随性と処理速度の高速化とを両立できる対象物追跡装置および対象物追跡方法を実現することにある。
　本発明に係る対象物追跡装置は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得部と、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成部と、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置設定部と、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成部と、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定部と、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定部と、を備えることを特徴としている。
　また、本発明に係る対象物追跡方法は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、を備えることを特徴としている。
　ここで、画像特徴量とは、例えば、対応点または輪郭点に関連する（対応する）画素の画素値から得られる輝度差、またはエッジ強度等の特徴量を示す。
　上記の構成によれば、各探索位置について、詳細輪郭モデルを構成する輪郭点の数未満の数の第２対応点からなるラフ輪郭モデルが生成され、そのラフ輪郭モデルを用いて対象物の位置が追跡される。よって、各探索位置において詳細輪郭モデルを生成する場合（例えば特許文献１および非特許文献２）と比べて、対象物の追跡に要する処理（例えばラフ輪郭モデルの生成部および尤度判定部の各処理）を高速化できる。
　また、ラフ輪郭モデルを用いることで、時間経過に伴って対象物の形状が変化しても、その形状変化した対象物とラフ輪郭モデルの形状とが合致し易くなるので、対象物の追随性を向上できる。
　また、ラフ輪郭モデルを用いることで、各探索位置での処理量が低減できるので、その分、探索位置の数を増やすことでき、これによっても、対象物の追随性を向上できる。
　よって、対象物の追随性と処理の高速化を両立できる。
　以上のように、本発明に係る対象物追跡装置は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得部と、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成部と、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置設定部と、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成部と、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定部と、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定部と、を備えている。
　また、本発明に係る対象物追跡方法は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、を備えている。
　よって、対象物の追随性と処理の高速化を両立できる。
本発明の一実施の形態に係る物体追跡システムの概略構成を示すブロック図である。 上記物体追跡システムの追跡部の構成を示すブロック図である。 （ａ）は、あるフレームの画像についての追跡処理の例を示す図であり、（ｂ）は、その次のフレームの画像についての追跡処理の例を示す図である。 詳細輪郭モデルを説明する図である。 ラフ輪郭モデルを説明する図である。 探索位置Ｓ1・Ｓ2・Ｓ3でのラフ輪郭モデルの一例を示した図である。 探索位置が２個に絞り込まれた場合の一例を示した図である。 物体追跡装置における対象物の追跡処理の流れの概要を示すフローチャートである。 初期化部における初期化処理の流れを示すフローチャートである。 追跡部における追跡処理の流れを示すフローチャートである。
　本実施の形態では、デジタルビデオカメラに搭載され、撮像された動画像の中の対象物を追跡して対象物に焦点を合わせ続ける物体追跡システムについて説明するが、本発明はこれに限定されるものではない。以下、本実施の形態について、図１～１０を参照して詳細に説明する。
　＜物体追跡システムの構成＞
　図１は、本実施の形態に係る物体追跡システム１の概略構成を示すブロック図である。物体追跡システム１は、撮像装置２と、焦点制御装置３、および、物体追跡装置（対象物追跡装置）１０とを備える。
　撮像装置２は、動画像を撮像するものである。撮像装置２は、例えば、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子によって構成される。本実施の形態では、撮像装置２は、１秒間に３０フレームの画像を撮像する。撮像装置２は、撮像した動画像を複数のフレームからなる時系列に並ぶ画像として物体追跡装置１０に出力する。
　物体追跡装置１０は、時系列の画像から追跡対象である対象物を追跡し、画像中における対象物の位置を、焦点制御装置３に出力する。物体追跡装置１０の詳細な構成は後述する。
　焦点制御装置３は、物体追跡装置１０から入力された画像中における対象物の位置に基づいて、撮像装置２の焦点を調節する。
　次に、物体追跡装置１０の詳細構成について説明する。物体追跡装置１０は、画像取得部１１、記憶部１２、初期化部１３、および、追跡部１４を備える。
　画像取得部１１は、撮像装置２から時系列の画像を順番に取得して、時系列の画像を記憶部１２に記憶させる。
　記憶部１２は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶デバイスによって構成される。記憶部１２は、画像取得部１１が取得した時系列の画像を記憶する。また、記憶部１２は、初期化部１３および追跡部１４が出力する各種の情報を記憶する。
　初期化部１３は、画像中の追跡対象となる対象物を特定するものであり、追跡部１４は、時系列の画像中の上記対象物を追跡するものである。
　＜初期化部の構成＞
　初期化部１３は、対象物指定部２１、および、対象物位置特定部２２（位置情報取得部）を備える。
　対象物指定部２１は、図３の（ａ）の様に、あるフレームの画像Ｇ1の中の追跡対象となる対象物Ｔを特定するものである。対象物指定部２１は、例えば、画像Ｇ1の中のいずれの位置に追跡対象となる対象物Ｔが存在するかを示す情報の入力を受け付ける。例えば、デジタルビデオカメラは、タッチパネルが備えられた表示装置によって撮像画像を利用者に提示し、利用者は、タッチパネルによって追跡対象となる対象物Ｔが存在する位置（例えば位置Ｐ）を指定する。対象物指定部２１は、指定された位置Ｐの情報を対象物位置特定部２２に出力する。
　なお、対象物指定部２１は、対象物Ｔが存在する領域を示す情報を受け付けてもよい。
　対象物位置特定部２２は、対象物指定部２１において指定された位置Ｐに基づき、画像Ｇ1から対象物Ｔを探索することにより、対象物Ｔが存在する位置Ｑを特定する。
　具体的には、対象物位置特定部２２は、記憶部１２からある時点（例えば最新）のフレーム（第１フレーム）の画像Ｇ1を取得する。対象物位置特定部２２は、図３の（ａ）の様に、画像Ｇ1において、指定された位置Ｐを含む所定の領域サイズの領域（例えば位置Ｐを中心とする例えば１００×１００ピクセルの領域）Ｒについて、対象物Ｔの検出を行う。この対象物Ｔの検出では、色検出またはエッジ検出などの周知の技術を利用することができる。
　対象物位置特定部２２は、検出された対象物Ｔが含まれる矩形の領域Ｗを対象物Ｔが存在する位置Ｑとする。なお、検出された対象物Ｔが大きければ、領域Ｗのサイズはより大きく設定される。ここでは、対象物Ｔの位置Ｑを対象物Ｔが存在する領域Ｗを用いて規定したが、領域Ｗの中心を対象物Ｔの位置Ｑと規定してもよい。また、領域Ｗは、円形等の他の形状の領域でもよいし、所定の大きさの領域でもよい。
　また、対象物位置特定部２２は、対象物Ｔの位置Ｑの情報を、当該フレームの画像Ｇ1と対応付けて記憶部１２に記憶させる。
　また、対象物指定部２１は、特定の条件の入力を受け付け、対象物位置特定部２２は、その条件に基づいて対象物Ｔの位置Ｑを検出してもよい。例えば、対象物指定部２１が「顔を対象物にする」という条件の入力を受け付けた場合、対象物位置特定部２２は、画像全体に渡って顔検出を行い、検出された顔のいずれかを対象物とし、その位置Ｑを検出する。対象物指定部２１が「四角い物体を対象物にする」という条件の入力を受け付けた場合、同様に、対象物位置特定部２２は、画像から検出された四角い物体のいずれかを対象物とし、その位置Ｑを検出する。
　以上により、あるフレーム（第１フレーム）の画像Ｇ1における対象物Ｔの位置Ｑが特定され、その情報が初期化部１３によって記憶部１２に記憶される。この情報を基に、追跡部１４は、第１フレームより後の何れかのフレーム（第２フレーム）を用いて対象物Ｔの追跡のための情報を取得し、対象物Ｔの追跡を行う。以下では、説明便宜上、第２フレームは、第１フレームの次のフレームとするが、第１フレームから数フレーム後のフレームであってもよい。
　＜追跡部の構成＞
　図２は、追跡部１４の構成を示すブロック図である。追跡部１４は、輪郭抽出部２９、詳細輪郭モデル生成部３０、探索位置設定部３１、ラフ輪郭モデル生成部３２、尤度判定部３３、探索位置絞込部３４、判定部３５（探索位置数判定部）、対象物位置特定部３６（位置情報取得部）、および、追跡結果出力部３８を備える。
　画像取得部１１は、初期化部１３において追跡対象である対象物Ｔの位置Ｑを特定した画像Ｇ1の次のフレームの画像Ｇ2（図３の（ｂ）参照）を、撮像装置２から取得して記憶部１２に記憶させる。追跡部１４は、記憶部１２に記憶された画像Ｇ1を用いて対象物Ｔの詳細輪郭モデルを生成する。また、追跡部１４は、記憶部１２に記憶された画像Ｇ2を用いて上記詳細輪郭モデルに基づいて追跡対象の候補となる複数のラフ輪郭モデルを動的に生成し、それら各ラフ輪郭モデルを徐々に詳細化して上記各候補を絞り込むことで、画像Ｇ2の中の対象物Ｔを追跡する。以降では、追跡部１４において追跡処理を行う処理対象のフレームを現フレームと称し、現フレームの画像を処理対象画像と称する。
　輪郭抽出部２９は、記憶部１２に記憶された画像Ｇ1を用いて、初期化部１３の対象物位置特定部２２が特定した対象物Ｔの位置Ｑに基づいて、対象物Ｔの輪郭を抽出する。具体的には、輪郭抽出部２９は、図４の様に、対象物位置特定部２２が特定した対象物Ｔの位置Ｑに対し、例えばLevel Set、SnakeまたはB-splineなどの周知の輪郭抽出法を用いて輪郭抽出処理を行って、対象物Ｔの輪郭１０１を抽出する。
　詳細輪郭モデル生成部３０は、輪郭抽出部２９が抽出した輪郭１０１に基づいて対象物Ｔの詳細輪郭モデルを生成する。具体的には、詳細輪郭モデル生成部３０は、図４の様に、画像Ｇ1において、輪郭抽出部２９が抽出した輪郭１０１に沿って複数（ｎ個）の輪郭点Ｘ1～Ｘnを抽出し、その複数の輪郭点Ｘ1～Ｘnからなる詳細輪郭モデルを生成する。
　この詳細輪郭モデルは、画像Ｇ1での対象物Ｔの輪郭１０１を複数の輪郭点Ｘ1～Ｘnの集合で再現したものである。なお、各輪郭点Ｘ1～Ｘnは、輪郭１０１上の点に限定されず、輪郭１０１付近の点であってもよい。
　なお、各輪郭点Ｘ1～Ｘnには、輪郭１０１に沿って識別番号が付与されており、輪郭に沿って隣合う輪郭点が特定可能になっている。
　また、詳細輪郭モデル生成部３０は、各輪郭点Ｘ1～Ｘnでの尤度判定用の特徴量（第１の画像特徴量）を求め、その尤度判定用の特徴量を記したテンプレートを生成する。具体的には、図４の様に、各輪郭点Ｘ1～Ｘnにはそれぞれ、その輪郭点を含む所定の領域サイズ（例えば５×５ピクセル）の尤度判定用の領域Ｒ２が対応している。そして、詳細輪郭モデル生成部３０は、各輪郭点Ｘ1～Ｘnでの尤度判定用の特徴量として、その輪郭点に対応する尤度判定用の領域Ｒ２の画素値から得られる特徴量を用いる。
　この特徴量としては、例えば、輝度、色、エッジ強度、または、勾配角度（エッジの角度）などを用いる事ができる。この尤度判定用の特徴量として、例えば輝度およびエッジ強度等を組合わせて用いてもよい。ここでは、この尤度判定用の特徴量として、尤度判定用の領域Ｒ２の輝度分布が用いられる。なお、図４では、一例として、輪郭点Ｘ3に対応した５×５ピクセルの尤度判定用の領域Ｒ２の輝度分布が図示されている。
　また、詳細輪郭モデル生成部３０は、生成した詳細輪郭モデルおよびテンプレートを当該フレームの画像Ｇ1と対応付けて記憶部１２に記憶させる。
　探索位置設定部３１は、図３の（ｂ）の様に、現フレームの処理対象画像Ｇ2において対象物Ｔの探索を行う複数（ｍ個）の異なる探索位置Ｓ1～Ｓmを設定する。ここでは、各探索位置Ｓ1～Ｓmは、対象物Ｔの位置Ｑと同様に領域により規定されており、対象物Ｔの位置Ｑと同じ形状および同じ領域サイズに設定されている。なお、対象物Ｔの位置Ｑが点（例えば領域Ｗの中心点）として規定されている場合は、探索位置Ｓ1～Ｓmも点として規定される。
　具体的には、探索位置設定部３１は、図３の（ｂ）の様に、処理対象画像Ｇ2において、１つ前のフレームの画像Ｇ1での対象物Ｔの位置Ｑの周辺に複数の探索位置Ｓ1～Ｓmを設定する。なお、探索位置Ｓ1～Ｓmの設定の仕方としては、例えば、パーティクルフィルタ、または、部分領域探索の技術を利用する事ができる。探索位置設定部３１は、探索位置Ｓ1～Ｓmの情報をラフ輪郭モデル生成部３２に出力する。
　ラフ輪郭モデル生成部３２は、探索位置設定部３１により設定された各探索位置Ｓ1～Ｓmにおいて、上記詳細輪郭モデルに基づいてラフ輪郭モデルを生成する。
　具体的には、ラフ輪郭モデル生成部３２は、図５の様に、各探索位置Ｓ1～Ｓmにおいて、対象物Ｔの位置Ｑを当該探索位置Ｓi（i＝１～ｍ）に重ねた場合（即ち、詳細輪郭モデルを当該探索位置Ｓiに当てはめた場合）の、詳細輪郭モデルの複数の輪郭点Ｘ1～Ｘnの位置に対応する複数の対応点Ｙ1～Ｙn（第１対応点）を特定する。なお、複数の対応点Ｙ1～Ｙnにはそれぞれ、それに対応する輪郭点Ｘ1～Ｘnと同じ識別番号が付与されている。
　そして、ラフ輪郭モデル生成部３２は、各探索位置Ｓ1～Ｓmに対し、上記の様に特定した複数の対応点Ｙ1～Ｙnの中から第１の所定数（例えばｕ個）の対応点（第２対応点）Ｙa1～Ｙauを選択し、その第１の所定数の対応点Ｙa1～Ｙauからなるラフ輪郭モデルを生成する。なお、上記第１の所定数は、複数の対応点Ｙ1～Ｙnよりも少ない数である。
　なお、このラフ輪郭モデルは、画像Ｇ1での対象物Ｔの輪郭１０１を上記詳細輪郭モデルの複数の輪郭点Ｘ1～Ｘnよりも少ない個数の対応点Ｙa1～Ｙauの集合で再現したものである。即ち、このラフ輪郭モデルは、対象物Ｔの輪郭１０１を単純化して（即ちラフに）表したものである。このラフ輪郭モデルは、対応点Ｙa1～Ｙauの個数が少ないほど、ラフさ度合い（単純化度合い）が高くなる。
　更に具体的には、ラフ輪郭モデル生成部３２は、まず以下の様にして、処理対象画像Ｇ2において、各対応点Ｙj（j＝１～ｎ）での対応点選択用の特徴量（第３の画像特徴量）を求める。即ち、ラフ輪郭モデル生成部３２は、処理対象画像Ｇ2において、図５の様に、対応点Ｙj（注目対応点）に対応する対応点選択用の領域（第１の領域）の画素値（例えば輝度）と、その対応点Ｙjの周囲の特定位置にある１つ以上の参考点（例えばＹj-1・Ｙj+1・Ｙout・Ｙin）の各々に対応する対応点選択用の領域の画素値（例えば輝度）とに基づいて、対応点Ｙjでの上記の対応点選択用の特徴量を求める。
　なお、各点Ｙj・Ｙj-1・Ｙj+1・Ｙout・Ｙinに対応する上記の対応点選択用の領域はそれぞれ、その対応する点Ｙj・Ｙj-1・Ｙj+1・Ｙout・Ｙinを例えば中心に含む所定の領域である。
　ここでは、対応点Ｙjに対する上記参考点として、図５の様に、輪郭１０２に沿って対応点Ｙjに隣合う２個の対応点Ｙj+1・Ｙj-1と、対応点Ｙjの近傍であって輪郭１０２の内側の１点Ｙinおよび外側の１点Ｙoutとを使用している。対応点Ｙj+1・Ｙj-1はそれぞれ、対応点Ｙjの１つ後および１つ前の識別番号を有する対応点である。画像Ｇ2上の輪郭１０２は、対象物Ｔの位置Ｑを当該探索位置Ｓiに重ねた場合の、対象物Ｔの輪郭１０１に対応する画像Ｇ2上の輪郭である。
　なお、各参考点Ｙin・Ｙoutと対応点Ｙjとの距離については、対応点Ｙjと各参考点Ｙj+1，Ｙj-1との各距離の平均値を採用してもよい。また、各参考点Ｙin・Ｙoutの対応点Ｙjからの方位については、例えば、角度Ｙout・Ｙj・Ｙj-1と角度Ｙout・Ｙj・Ｙj+1とが等しくなり、角度Ｙin・Ｙj・Ｙj-1と角度Ｙin・Ｙj・Ｙj+1とが等しくなる様な方位を採用してもよい。また、複数の対応点Ｙ1～Ｙnを繋げて輪郭を求め、その輪郭における対応点Ｙjでの接線に対する法線の方向に、各参考点Ｙin・Ｙoutを配置してもよく、その際、点Ｙjから点Ｙinまでの距離を、各点Ｙj+1・Ｙj間、各Ｙj-1・Ｙj間の距離の平均としてもよい。なお、上記輪郭として、複数の対応点Ｙ1～Ｙnを繋げたものを使用する代わりに、複数の対応点Ｙ1～Ｙnに対応する複数の輪郭点Ｘ1～Ｘnの基になった輪郭（即ち、輪郭抽出部２９が抽出した輪郭）１０１を用いてもよい。
　また、対応点Ｙjでの上記の対応点選択用の特徴量としては、例えば、処理対象画像Ｇ2における対応点Ｙjと各参考点Ｙin・Ｙj-1・Ｙj+1との間の各輝度差のうちのその輝度差が一番大きいものと、対応点Ｙjと参考点Ｙoutとの間の輝度差との差が用いられる。ここでは、対応点Ｙjの上記の対応点選択用の特徴量として、この様な輝度差の差が用いられるが、この様に限定されるものではなく、例えば、各点Ｙj-1・Ｙj・Ｙj+1に沿った輪郭部分でのエッジ強度の大きさを採用してもよい。また、輝度差とエッジ強度を組合わせて用いてもよい。また、対応点Ｙjの周辺画素の輝度差（例えば対応点Ｙjと参考点Ｙoutの輝度差）を用いてもよい。
　なお、対応点Ｙjと各参考点Ｙj-1・Ｙj+1・Ｙout・Ｙinとの間の上記各輝度差は、下記の様に求められる。各点Ｙj・Ｙj-1・Ｙj+1・Ｙout・Ｙinに対応する上記対応点選択用の領域は、画像Ｇ2の領域であり、互いに同じ領域サイズの領域（例えば５×５ピクセル）である。そして、各点Ｙj・Ｙj-1間の上記輝度差（第３画素値差）を求める場合は、各点Ｙj・Ｙj-1に対応する上記対応点選択用の各領域において同じ配列位置に在るピクセル間の輝度差を求め、それら各輝度差（または各輝度差の絶対値）を上記対応点選択用の領域に渡って合算したものを各点Ｙj・Ｙj-1間の輝度差とする。対応点Ｙjと他の参考点Ｙj+1・Ｙout・Ｙinとの間の上記各輝度差（第３画素値差、第２画素値差、第１画素値差）についても同様である。なお、この輝度差の計算方法は一例であり、この様に限定されない。この様に対応点Ｙjでの上記の対応点選択用の特徴量が求められる。
　なお、ここでは、対応点Ｙjの参考点として、各点Ｙj-1・Ｙj+1・Ｙout・Ｙinを用いたが、各点Ｙout・Ｙinだけを用いてもよい。
　そして、ラフ輪郭モデル生成部３２は、各探索位置Ｓiについて、複数の対応点Ｙ1～Ｙnのうち、画像Ｇ2において、輪郭を表している度合いがより高いいくつかの対応点Ｙa1～Ｙauを選択し、対応点Ｙa1～Ｙauからなる該探索位置Ｓiのラフ輪郭モデルを生成する。
　もし現フレームにおいてある探索位置Ｓiに対象物Ｔが移動していれば、その探索位置Ｓiの各対応点Ｙ1～Ｙnに対象物Ｔの輪郭が位置している可能性が高く、各対応点Ｙ1～Ｙnは輪郭を表すはずである。ただし、対象物Ｔの輪郭が変形しながら対象物Ｔが移動している場合、現フレームにおいて対象物Ｔが探索位置Ｓiに移動していても、その探索位置Ｓiの各対応点Ｙ1～Ｙnの中には輪郭を表さない点もある。そのため、現フレームの画像Ｇ2においてより輪郭を表している度合いがより高いいくつかの対応点Ｙa1～Ｙauをラフ輪郭モデルを構成する点として選択（選抜）する。画像Ｇ2において輪郭を表している度合いが高い対応点Ｙa1～Ｙauからなるラフ輪郭モデルは、該探索位置Ｓiに対象物Ｔが移動しているか否かを判定するための、優秀かつ単純な輪郭モデルであると考えることができる。
　対応点Ｙjが輪郭を表している度合いは、例えば、画像Ｇ2における対応点Ｙjに対応する位置のエッジ強度で表すことができる。また、例えば、対応点Ｙjが輪郭を表している度合いは、画像Ｇ2における対応点Ｙjに対応する輪郭１０２の内側と外側との輝度差で表すことができる。
　具体的には、ラフ輪郭モデル生成部３２は、この様に上記の対応点選択用の特徴量を求めた複数の対応点Ｙ1～Ｙnのうち、所定の事前知識を満たすものを選び、その中から上記の対応点選択用の特徴量の大きさが上位第１の所定数（例えば上位ｕ個）に（即ち、最大のものから第１の所定数の順位までに）含まれるものを選択して、その第１の所定数の対応点Ｙa1～Ｙauからなるラフ輪郭モデルを生成する。
　上記所定の事前知識としては、例えば、対応点Ｙjに着目した場合、対応点Ｙjと参考点Ｙoutとの間の輝度差は、対応点Ｙjと参考点Ｙinとの間の輝度差、対応点Ｙjと参考点Ｙj-1との間の輝度差、および、対応点Ｙjと参考点Ｙj+1との間の輝度差よりも大きい、という事前知識を利用することができる。
　上記の対応点Ｙjでの対応点選択用の特徴量（第３の画像特徴量）は、この事前知識を踏まえたものであり、対応点Ｙjが対象物Ｔの輪郭を示している輪郭度合いを表している。即ち、現フレームにおいてその探索位置Ｓiに対象物Ｔが移動していれば、複数の対応点Ｙ1～Ｙnを繋ぐ輪郭１０２の内側と外側で輝度差が大きいと推測できる。それゆえ、上記事前知識を踏まえた上記の対応点選択用の特徴量は、各対応点Ｙ1～Ｙnが対象物Ｔの輪郭を示している輪郭度合いを表す指標となる。そして、上記の対応点選択用の特徴量が大きいほど、上記の輪郭度合いは高いはずである。本発明は、上記の輪郭度合いに基づいて、複数の対応点Ｙ1～Ｙnをより有効ないくつかの対応点Ｙa1～Ｙauに絞り込み、それら各対応点Ｙa1～Ｙauでラフ輪郭モデルを作成するので、このラフ輪郭モデルは、少ない情報（対応点）で有効なモデルになっている。
　この様に、複数の対応点Ｙ1～Ｙnのうち上記の対応点選択用の特徴量が上位第１の所定数に含まれるものから、ラフ輪郭モデルが生成される。よって、各探索位置Ｓ1～Ｓmのラフ輪郭モデルはそれぞれ、少ない情報（対応点）で、その探索位置Ｓiに対象物Ｔが移動しているか否かを判定する優秀な輪郭モデルとなっている。
　なお、エッジ強度を対応点選択用の特徴量とする場合は、エッジ強度の大きさが上位第１の所定数に含まれる対応点を選択する。
　各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの各対応点Ｙa1～Ｙauはそれぞれ、その探索位置での画像Ｇ2に基づいて生成されるので、例えば図６の様に、個数（ｕ個）は同じでも、組み合わせは異なっている。なお、図６では、作図便宜上、各探索位置Ｓ1・Ｓ2・Ｓ3でのラフ輪郭モデルだけが図示されている。
　また、ラフ輪郭モデル生成部３２は、各探索位置Ｓ1～Ｓmのラフ輪郭モデルの各対応点Ｙa1～Ｙauに対応する尤度判定用の領域の画素値に基づいて、各探索位置Ｓ1～Ｓmのラフ輪郭モデルの各対応点Ｙa1～Ｙauの尤度判定用の特徴量（第２の画像特徴量）を求める。この尤度判定用の特徴量は、後述の尤度判定部３３の尤度の判定で使用されるものである。なお、各対応点Ｙa1～Ｙauに対応する上記の尤度判定用の領域はそれぞれ、その対応する対応点Ｙa1～Ｙauを例えば中心に含む領域である。
　この尤度判定用の特徴量は、詳細輪郭モデルの各輪郭点Ｘ1～Ｘnに対応する上記の尤度判定用の領域の画素値から求められた上記尤度判定用の特徴量（ここでは輝度分布：第１の画像特徴量）と同じ種類の特徴量（ここでは輝度分布）である。
　なお、各対応点Ｙa1～Ｙauに対応する上記の尤度判定用の領域の領域サイズは、詳細輪郭モデルの各輪郭点Ｘ1～Ｘnに対応する上記の尤度判定用の領域と同じ領域サイズ（例えば５×５ピクセルのサイズ）であるが、各対応点Ｙ1～Ｙnに対応する上記の対応点選択用の領域の領域サイズと同じ領域サイズである必要はない。
　即ち、各対応点Ｙ1～Ｙnには、上記の対応点選択用の領域が対応し、各対応点Ｙ1～Ｙnのうちの各Ｙa1～Ｙauには、更に、上記の尤度判定用の領域が対応する。なお、上記の尤度判定用の領域は、詳細輪郭モデルの各輪郭点Ｘ1～Ｘnに対応する上記尤度判定用の領域と同じ領域サイズに固定されるが、上記の対応点選択用の領域は、後述の様に、判定部３５からの後述の指示信号に応じて、領域サイズが変更される。
　またラフ輪郭モデル生成部３２は、上記の各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの情報（即ち、各対応点Ｙa1～Ｙauの情報、および、各対応点Ｙa1～Ｙauでの尤度判定用の特徴量の情報）を尤度判定部３３に出力する。
　また、ラフ輪郭モデル生成部３２は、後述の様に、判定部３５から指示信号（即ち、ラフさ度合いを一段階下げてラフ輪郭モデルを改めて生成させる旨の指示信号）を取得した場合は、後述の様に探索位置絞込部３４により絞り込まれた各探索位置に対してだけ、それらのラフ輪郭モデルの各対応点Ｙa1～Ｙauの個数（ｕ個）を所定数増やして、ラフ輪郭モデルを改めて生成する。
　なお、上記所定数として、例えば、予め設定された固定数、または、その時点での各対応点Ｙa1～Ｙauの個数に対して一定割合増やした数を採用できる。また、対応点Ｙa1～Ｙauの個数の増やし方として、対応点Ｙa1～Ｙauの個数を、上記指示信号に応じて、輪郭点Ｘ1～Ｘnの個数の２０％から５０％まで段階的に増してもよい。
　なお、対応点Ｙa1～Ｙauの個数を所定数増やすことに加えて、またはその代わりに、各対応点Ｙ1～Ｙnに対応する上記の対応点選択用の領域の領域サイズを所定サイズ増大させ、その所定サイズ増大させた対応点選択用の領域に基づいて、上述同様に、上記の対応点選択用の特徴量を求めてもよい。
　なお、対応点選択用の領域の領域サイズを所定サイズ増大させる場合は、領域サイズとして、例えば１ピクセルから５×５ピクセルまで段階的に用意し、ラフ度合いが最も高い場合の領域サイズとして初期的に１ピクセルを設定しておき、ラフ輪郭モデル生成部３２において上記指示信号を取得する毎に（ラフ度合いが低くなる毎に）、対応点選択用の領域の領域サイズを、縦横共に１ピクセルずつ増大させてもよい。
　また、ラフ輪郭モデル生成部３２は、この改めて生成したラフ度合いが低い（即ちより詳細な）ラフ輪郭モデルに対し、上述同様に、尤度判定用の特徴量を求める。なお、その際、各対応点Ｙa1～Ｙauに対応する尤度判定用の領域は、上述の対応点選択用の特徴量の場合と違って、変更されない。
　そして、ラフ輪郭モデル生成部３２は、改めて生成した各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの情報（各対応点Ｙa1～Ｙauの情報、および、各対応点Ｙa1～Ｙauでの尤度判定用の特徴量の情報）を尤度判定部３３に出力する。
　尤度判定部３３は、上記の各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの情報を受信すると、各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（即ち現フレームの画像Ｇ2において各探索位置Ｓiが対象物Ｔの位置であることの尤度）を判定する。
　具体的には、尤度判定部３３は、ラフ輪郭モデル生成部３２から上記の各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの情報（即ち各対応点Ｙa1～Ｙauの情報、および、各対応点Ｙa1～Ｙauでの尤度判定用の特徴量（例えば輝度分布）の情報）を取得すると共に、記憶部１２から上記の詳細輪郭モデルのテンプレート（即ち各輪郭点Ｘ1～Ｘnでの尤度判定用の特徴量（例えば輝度分布）の情報）を読み出す。
　そして、尤度判定部３３は、まず、画像Ｇ2における探索位置Ｓi（i＝１～ｍ）でのラフ輪郭モデルの各対応点Ｙa1～Ｙauと、画像Ｇ1における詳細輪郭モデルの各輪郭点Ｘ1～Ｘnのうちの上記各対応点Ｙa1～Ｙauに対応する各輪郭点Ｘa1～Ｘauとの間で、上記の尤度判定用の特徴量の差を求めることで、各対応点Ｙajの輪郭点Ｘajに対する尤度Ｌjを求める。
　ここでは、尤度判定部３３は、対応する各点Ｘaj・Ｙaj（j＝１～ｕ）に対応する上記各領域（５×５ピクセルの尤度判定用の領域）において同じ配列位置に在るピクセル間の輝度差を求め、それら各輝度差（または各輝度差の絶対値）を合算したものを用いて、対応点Ｙajの輪郭点Ｘajに対する尤度Ｌjを求める。なお、各点Ｘajに対応する上記の尤度判定用の領域は、画像Ｇ1の領域であり、各点Ｙajに対応する上記尤度判定用の領域は、画像Ｇ2の領域である。ここでは、尤度Ｌjは、例えばＬj＝exp(-|輝度差の合算値|)と定義される。
　そして、尤度判定部３３は、各対応点Ｙaj（j＝１～ｕ）に渡って各対応点Ｙajの尤度Ｌjを合算したものを用いて、探索位置Ｓiでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（例えばＬ＝（Ｌ1＋Ｌ2＋…＋Ｌu）／ｕ）を求める。この場合、尤度Ｌの最大値は１となる。図７では、一例として、各探索位置Ｓ1・Ｓ2・Ｓ3での輪郭モデルの尤度Ｌがそれぞれ０．５、０．９、０．３である場合が図示されている。
　なお、尤度Ｌの定義は上記の様に限定されない。また、上記の様に定義された尤度Ｌは、ラフ輪郭モデルが詳細輪郭モデルに類似するほど大きくなるが、ラフ輪郭モデルが詳細輪郭モデルに類似するほど小さくなる様に定義してもよい。
　また、尤度判定部３３は、各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの尤度Ｌの情報を探索位置絞込部３４に出力する。なお、尤度判定部３３は、ラフ輪郭モデル生成部３２により改めて生成されたラフ輪郭モデルの情報を受信した場合は、その改めて生成されたラフ輪郭モデルの尤度Ｌを上述同様に判定し、その尤度Ｌの情報を探索位置絞込部３４に出力する。
　探索位置絞込部３４は、上記の各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの尤度Ｌの情報を受信すると、その尤度Ｌに基づいて、複数の探索位置Ｓ1～Ｓmの中から探索位置を絞り込む。ここでは、探索位置絞込部３４は、複数の探索位置Ｓ1～Ｓmのうち、そのラフ輪郭モデルの尤度Ｌが所定値以上である探索位置だけ残す。
　これにより、複数の探索位置Ｓ1～Ｓmのうち、そのラフ輪郭モデルが詳細輪郭モデルに一定以上類似しているものだけ残される。即ち、複数の探索位置Ｓ1～Ｓmのうち、画像Ｇ2での対象物Ｔの位置であることの尤度が高いものだけが残される。
　なお、探索位置絞込部３４は、ラフ輪郭モデル生成部３２により改めて生成されたラフ輪郭モデルの尤度Ｌの情報を受信した場合は、当該尤度Ｌに基づいて、その絞り込んだ各探索位置を上述同様に更に絞り込む。即ち、探索位置絞込部３４は、その絞り込んだ各探索位置において改めて生成されたラフ輪郭モデルの尤度Ｌを用いて、上述同様に、その絞り込んだ各探索位置を更に絞り込む。
　そして、探索位置絞込部３４は、絞り込んだ探索位置の情報を判定部３５に出力する。
　判定部３５は、探索位置絞込部３４により絞り込まれた探索位置の数が第２の所定数（例えば３個）以下であるか否かを判定する。
　また、判定部３５は、その判定結果が、絞り込まれた探索位置の数が上記第２の所定数以下である場合は、絞り込まれた探索位置の情報を対象物位置特定部３６に出力する。一方、判定部３５は、その判定結果が、絞り込まれた探索位置が上記第２の所定数より大きい場合は、ラフ輪郭モデルのラフさ度合いを一段階下げてラフ輪郭モデルを改めて生成させる旨の上記の指示信号を、ラフ輪郭モデル生成部３２に出力する。
　対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた探索位置が１個の場合は、その探索位置を現フレームの処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定する。
　また、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた探索位置が２個以上で且つ上記第２の所定数以下の場合は、その絞り込まれた各探索位置を例えば色情報を用いて１個に絞り込む。色情報を用いた絞込技術としては、例えば色ヒストグラム、勾配ヒストグラム、または、ガボール特徴などの周知の技術を用いる事ができる。
　具体的には、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた各探索位置での複数の対応点Ｙ1～Ｙnで囲まれた領域（即ち追跡対象の候補）の色情報と、１つ前のフィールドの画像Ｇ1での対象物Ｔの色情報とを比較する。そして、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた各探索位置のうち、その色情報が対象物Ｔの色情報に一番近似するものを、処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定する。
　なお、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた各探索位置を、それら各探索位置全体のエッジの情報を用いて１個に絞り込んでもよい。
　また、対象物位置特定部３６は、上記の様に特定した対象物Ｔの位置Ｑ2の情報を輪郭抽出部２９に出力する。そして、輪郭抽出部２９は、対象物位置特定部３６により特定された位置Ｑ2に基づいて、上述同様に、処理対象画像Ｇ2から対象物Ｔの輪郭を抽出する。また、対象物位置特定部３６は、上記の様に特定した対象物Ｔの位置Ｑ2の情報を処理対象画像Ｇ2と対応付けて記憶部１２に記憶させる。
　この様に、現フレームの処理対象画像Ｇ2において抽出された対象物Ｔの輪郭は、処理対象画像Ｇ2での詳細輪郭モデルに用いられ、現フレームの次のフレームの画像で生成されるラフ輪郭モデルの基になる。即ち、追跡部１４は、現フレームの処理対象画像Ｇ2での対象物Ｔの上記輪郭を用いて、上述同様に、この処理対象画像Ｇ2での詳細輪郭モデルおよびテンプレートを生成し、その詳細輪郭モデルおよびテンプレートを用いて、現フレームの次のフレームの画像での対象物Ｔの位置を特定する。これが繰り返されることで、画像中の対象物Ｔが追跡される。
　なお、この実施の形態では、対象物位置特定部３６と探索位置絞込部３４とを別構成で説明したが、探索位置絞込部３４の機能を対象物位置特定部３６に含めて探索位置絞込部３４を省略してもよい。
　また、この実施の形態では、対象物位置特定部２２と対象物位置特定部３６とを別構成としたが、それらをまとめて１つの対象物位置特定部としてもよい。
　また、輪郭抽出部２９は、画像Ｇ2での対象物Ｔの輪郭の情報を、処理対象画像Ｇ2と対応付けて記憶部１２に記憶させる。また、輪郭抽出部２９は、処理対象画像Ｇ2での対象物Ｔの輪郭の情報を追跡結果出力部３８に出力する。
　追跡結果出力部３８は、処理対象画像Ｇ2での対象物Ｔの位置Ｑ2の情報を焦点制御装置３に出力する。
　＜動作説明＞
　次に、物体追跡装置１０の動作を説明する。図３の（ａ）は、あるフレームの画像Ｇ1についての追跡処理の例を示す図であり、図３の（ｂ）は、その次のフレームの画像Ｇ2についての追跡処理の例を示す図である。図３の（ａ）に示すあるフレームの画像Ｇ1において、画像Ｇ1に対象物Ｔが映っている。以下では、対象物Ｔを追跡する例について説明する。図８は、物体追跡装置１０における対象物Ｔの追跡処理の流れの概要を示すフローチャートである。
　ステップＳ１では、画像取得部１１により、撮像装置２から撮像された画像Ｇ1が取得され、その取得された画像Ｇ1が記憶部１２に記憶される。
　ステップＳ２では、初期化部１３により、あるフレームの画像Ｇ1が記憶部１２から取得され、その追跡対象となる画像Ｇ1の中の対象物Ｔが特定される。
　ステップＳ３では、画像取得部１１により、次のフレームの画像Ｇ2が処理対象画像として撮像装置２から取得され、その取得された画像Ｇ2が記憶部１２に記憶される。
　ステップＳ４では、追跡部１４により、現フレームの画像Ｇ2の中の対象物Ｔの位置Ｑ2が特定される。以降、ステップＳ３およびＳ４の処理がフレーム毎に繰り返されることで、画像中の対象物Ｔが追跡される。
　＜初期化処理フロー＞
　次に、初期化部１３の詳細な処理のフローについて説明する。図９は、初期化部１３における初期化処理の流れを示すフローチャートである。
　ステップＳ１１では、対象物指定部２１により、利用者から、追跡対象となる対象物Ｔが存在する画像Ｇ1中の位置Ｐ（図３の（ａ）参照）の入力が受け付けられる。ここでは、利用者がタッチパネルによって対象物Ｔの位置Ｐを指定する。
　ステップＳ１２では、対象物位置特定部２２により、指定された位置Ｐを含む所定の領域Ｒについて、対象物Ｔの検出が行われ、対象物Ｔの位置Ｑが特定される。ここでは、対象物Ｔの位置Ｑは、対象物Ｔを含む矩形の領域として設定される。なお、対象物Ｔの位置Ｑを、対象物Ｔを含む矩形の領域の例えば中心として設定してもよい。そして、初期化部１３の処理が終了する。
　＜追跡処理フロー＞
　次に、追跡部１４の詳細な処理のフローについて説明する。図５は、次のフレームの画像Ｇ2に設定された各探索位置Ｓi（i＝１～ｍ）で生成されるラフ輪郭モデルを説明する図である。図１０は、追跡部１４における追跡処理の流れを示すフローチャートである。
　ステップＳ１８では、輪郭抽出部２９により、記憶部１２に記憶された画像Ｇ1において、対象物指定部２１により特定された対象物Ｔの輪郭１０１（図４参照）が抽出される。
　ステップＳ１９では、詳細輪郭モデル生成部３０により、画像Ｇ1において、輪郭抽出部２９により抽出された輪郭１０１に沿って複数（ｎ個）の輪郭点Ｘ1～Ｘnが抽出され、その複数の輪郭点Ｘ1～Ｘnからなる詳細輪郭モデルが生成される。そして、この詳細輪郭モデルの情報は、画像Ｇ1に対応付けられて記憶部１２に記憶される。
　ステップＳ２０では、詳細輪郭モデル生成部３０により、各輪郭点Ｘ1～Ｘnに対応する尤度判定用の領域の画素値から尤度判定用の特徴量（例えば輝度、エッジ強度、または、勾配角度）が求められ、その特徴量が記されたテンプレートが生成される。そして、このテンプレートの情報は、画像Ｇ1に対応付けられて記憶部１２に記憶される。
　ステップＳ２１では、探索位置設定部３１により、処理対象画像Ｇ2において、対象物Ｔの探索が行われる複数（ｍ個）の異なる探索位置Ｓ1～Ｓmが設定される。具体的には、探索位置設定部３１により、図３の（ｂ）の様に、処理対象画像Ｇ2において、１つ前のフレームの画像Ｇ1での対象物Ｔの位置Ｑの周辺に複数の探索位置Ｓ1～Ｓmが設定される。
　ステップＳ２２では、ラフ輪郭モデル生成部３２により、探索位置設定部３１により設定された各探索位置Ｓ1～Ｓmにおいて、ステップＳ１９で生成された詳細輪郭モデルに基づいてラフ輪郭モデルが生成される。
　具体的には、図５の様に、まず、各探索位置Ｓi（i＝１～ｍ）において、対象物Ｔの位置Ｑを当該探索位置Ｓiに重ねた場合（即ち、詳細輪郭モデルを当該探索位置Ｓiに当てはめた場合）の、詳細輪郭モデルの複数の輪郭点Ｘ1～Ｘnの位置に対応する複数の対応点（第１対応点）Ｙ1～Ｙnが特定される。そして、各探索位置Ｓ1～Ｓmに対し、この様に特定された複数の対応点Ｙ1～Ｙnの中から第１の所定数（例えばｕ個）の対応点（第２対応点）Ｙa1～Ｙauが選択され、その第１の所定数の対応点Ｙa1～Ｙauからなるラフ輪郭モデルが生成される。
　具体的には、まず、複数の対応点Ｙ1～Ｙnでの対応点選択用の特徴量（例えば輝度分布）が求められる。即ち、対応点Ｙj（j＝１～ｎ）に対応する対応点選択用の領域の画素値と、その対応点Ｙjの周囲の特定位置にある１つ以上の参考点（例えばＹj-1・Ｙj+1・Ｙout・Ｙin）の各々に対応する対応点選択用の領域の画素値とに基づいて、対応点Ｙjでの上記の対応点選択用の特徴量が求められる。
　そして、この様に対応点選択用の特徴量が求められた複数の対応点Ｙ1～Ｙnのうち、所定の事前知識を満たし、且つ上記の対応点選択用の特徴量の大きさが上位第１の所定数（例えばｕ個）に含まれるものが選択され、その第１の所定数の対応点Ｙa1～Ｙauからラフ輪郭モデルが生成される。
　ステップＳ２３では、ラフ輪郭モデル生成部３２により、各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの各対応点Ｙa1～Ｙauに対応する尤度判定用の領域の画素値に基づいて、各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの各対応点Ｙa1～Ｙauでの尤度判定用の特徴量（例えば輝度分布）が求められる。
　ステップＳ２４では、尤度判定部３３により、各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（即ち現フレームの画像Ｇ2において各探索位置Ｓiが対象物Ｔの位置であることの尤度）が判定される。
　具体的には、まず、ステップＳ２３で求められた、各探索位置Ｓ1～Ｓmでのラフ輪郭モデルの各対応点Ｙa1～Ｙauでの尤度判定用の特徴量（例えば輝度分布）と、ステップＳ２０で求められた、詳細輪郭モデルの各輪郭点Ｘ1～Ｘnのうち各対応点Ｙa1～Ｙauに対応する各輪郭点Ｘa1～Ｘauでの尤度判定用の特徴量（例えば輝度分布）との間で、それらの特徴量の差が求められることで、各対応点Ｙajの輪郭点Ｘajに対する尤度Ｌjが求められる。なお、各点Ｘajに対応する上記の尤度判定用の領域は、画像Ｇ1の領域であり、各点Ｙajに対応する上記の尤度判定用の領域は、画像Ｇ2の領域である。
　ここでは、対応する各点Ｘaj・Ｙaj（j＝１～ｕ）に対応する尤度判定用の領域において同じ配列位置に在るピクセル間の輝度差が求められ、それら各輝度差（または各輝度差の絶対値）が合算され、その合算値を用いて、対応点Ｙajの輪郭点Ｘajに対する尤度Ｌj（例えばＬj＝exp(-|輝度差の合算値|)）が求められる。
　そして、各対応点Ｙaj（j＝１～ｕ）の尤度Ｌjが合算されて、探索位置Ｓiでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（例えばＬ＝（Ｌ1＋Ｌ2＋…＋Ｌu）／ｕ）が求められる。
　ステップＳ２５では、探索位置絞込部３４により、尤度判定部３３により判定された尤度Ｌに基づいて、複数の探索位置Ｓ1～Ｓmの中から探索位置が絞り込まれる。ここでは、複数の探索位置Ｓ1～Ｓmのうち、そのラフ輪郭モデルの尤度Ｌが所定値以上である探索位置だけ残される。
　ステップＳ２６では、判定部３５により、探索位置絞込部３４により絞り込まれた探索位置の数が第２の所定数（例えば３個）以下であるか否かが判定される。そしてステップＳ２７で、その判定結果が第２の所定数より大きい場合は、処理がステップＳ２８に移行する。
　ステップＳ２８では、判定部３５からラフ輪郭モデル生成部３２に指示信号（即ち、ラフ輪郭モデルのラフさ度合いを一段階下げてラフ輪郭モデルを改めて生成させる旨の指示信号）が出力される。そして、ラフ輪郭モデル生成部３２により、判定部３５からの上記指示信号が受信されると、ラフ輪郭モデル生成部３２により、ステップＳ２５で絞り込まれた各探索位置に対してだけ、ラフ輪郭モデルのラフさ度合いが一段階下げられる。
　即ち、ラフ輪郭モデル生成部３２により、ステップＳ２５で絞り込まれた各探索位置に対してだけ、各対応点Ｙ1～Ｙnに対応する対応点選択用の領域の領域サイズが所定サイズ増大され、且つラフ輪郭モデルを構成するための対応点Ｙa1～Ｙauの個数（ｕ個）が所定数増やされる。
　そして、処理がステップＳ２２に戻り、ステップＳ２５で絞り込まれた各探索位置においてだけ、上記の様にラフさ度合いが一段階下げられた条件の下で、ラフ輪郭モデルが改めて生成される。そして、ステップＳ２３で、ステップＳ２２で改めて生成されたラフ輪郭モデルの各対応点Ｙa1～Ｙauでの尤度判定用の特徴量が前回同様に求められ、ステップＳ２４で、ステップＳ２２で改めて生成されたラフ輪郭モデルの尤度Ｌが前回同様に求められ、ステップＳ２５で、前回のステップＳ２５で絞り込まれた各探索位置が前回同様に更に絞り込まれ、ステップＳ２６で、更に絞り込まれた各探索位置の数が第２の所定数以下であるか否かが前回同様に判定される。そしてステップＳ２７で、その判定結果が第２の所定数以下になるまで、ステップＳ２８→Ｓ２２→Ｓ２３→Ｓ２４→Ｓ２５→Ｓ２６→Ｓ２７の処理が繰り返される。
　そしてステップＳ２７で、判定部３５の判定結果が第２の所定数以下である場合は、処理がステップＳ２９に移行する。例えば、第２の所定数が３個の場合において、図７の様に、絞り込まれた各探索位置がＳ1およびＳ2の２個の場合は、処理がステップＳ２９に移行する。
　ステップＳ２９では、探索位置絞込部３４により絞り込まれた探索位置が１個の場合は、処理がステップＳ３１に移行し、対象物位置特定部３６により、その探索位置が処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定される。なお、対象物位置特定部３６により特定された位置Ｑ2（即ち、現フレームの画像Ｇ2における対象物Ｔの位置Ｑ2）に基づいて、現フレームの次のフレームの画像における当該対象物Ｔの位置が追跡されることになる。
　またステップＳ２９で、探索位置絞込部３４により絞り込まれた探索位置が１個でない場合（即ち、２個以上で且つ第２の所定数以下の場合）は、処理がステップＳ３０に移行し、対象物位置特定部３６により、その絞り込まれた各探索位置が例えば色情報（例えば色ヒストグラム、勾配ヒストグラム、または、ガボール特徴など）を用いて１個に絞り込まれる。
　具体的には、現フレームの処理対象画像Ｇ2における探索位置絞込部３４により絞り込まれた各探索位置での複数の対応点Ｙ1～Ｙnで囲まれた領域（即ち追跡対象の候補）の色情報と、１つ前のフィールドの画像Ｇ1での対象物Ｔの色情報とが比較される。そして、探索位置絞込部３４により絞り込まれた各探索位置の中から、色情報が対象物Ｔの色情報に一番近似するものだけに絞り込まれる。そして処理がステップＳ３１に移行し、対象物位置特定部３６により、その絞り込まれた探索位置が処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定される。
　例えば図７において、各探索位置Ｓ1・Ｓ2のうち、探索位置Ｓ1の色情報の方が対象物Ｔの色情報に近い場合は、探索位置はＳ1に絞り込まれ、その探索位置Ｓ1が処理対象画像Ｇ2での対象物Ｔの位置Ｑ2と特定される。
　ステップＳ３２では、輪郭抽出部２９により、ステップＳ３１で特定された位置Ｑ2に基づいて処理対象画像Ｇ2から対象物Ｔが検出され、その対象物Ｔの輪郭が抽出される。この画像Ｇ2での対象物Ｔの輪郭は、現フレームの画像Ｇ2での詳細輪郭モデルに用いられ、次のフレームの画像で生成されるラフ輪郭モデルの基にされる。
　ステップＳ３３では、追跡結果出力部３８により、処理対象画像Ｇ2での対象物Ｔの位置Ｑ2の情報が焦点制御装置３に出力される。
　なお、この＜追跡処理フロー＞の説明では、ステップＳ２８において、ラフさ度合いを一定段階下げる場合に、（ａ）各対応点Ｙ1～Ｙnに対応する対応点選択用の領域の領域サイズを所定サイズ増大し、且つ（ｂ）ラフ輪郭モデルを構成するための対応点Ｙa1～Ｙauの個数（ｕ個）を所定数増やしたが、上記（ａ）だけ、または、上記（ｂ）だけでも構わない。
　また、本実施の形態では、撮影した動画像から対象物を検出して追跡している。しかしながら、物体追跡装置１０は、アニメーションその他の動画像にも適用可能である。また、対象物として、人物の上半身や全身の画像を検出してもよいし、ボール、車両、運搬される荷物、その他の動く物体の画像を検出してもよい。また、静止した物体であっても、撮像装置２を動かせば、撮影した画像中では移動することになるので、適用可能である。すなわち、本発明は、取得した時系列の画像の中で移動する対象物の追跡に適用可能である。
　［他の変形例］
　本発明に係る対象物追跡装置は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得部と、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成部と、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置設定部と、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成部と、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定部と、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定部と、を備える。
　また、本発明に係る対象物追跡方法は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、を備える。
　ここで、画像特徴量とは、例えば、対応点または輪郭点に関連する（対応する）画素の画素値から得られる輝度差、またはエッジ強度等の特徴量を示す。
　上記の構成によれば、各探索位置について、詳細輪郭モデルを構成する輪郭点の数未満の数の第２対応点からなるラフ輪郭モデルが生成され、そのラフ輪郭モデルを用いて対象物の位置が追跡される。よって、各探索位置において詳細輪郭モデルを生成する場合（例えば特許文献１および非特許文献２）と比べて、対象物の追跡に要する処理（例えばラフ輪郭モデルの生成部および尤度判定部の各処理）を高速化できる。
　また、ラフ輪郭モデルを用いることで、時間経過に伴って対象物の形状が変化しても、その形状変化した対象物とラフ輪郭モデルの形状とが合致し易くなるので、対象物の追随性を向上できる。
　また、ラフ輪郭モデルを用いることで、各探索位置での処理量が低減できるので、その分、探索位置の数を増やすことでき、これによっても、対象物の追随性を向上できる。
　よって、対象物の追随性と処理の高速化を両立できる。
　また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記各探索位置について、上記各第１対応点について、上記第２フレームにおける当該第１対応点に関する第２の画像特徴量に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求め、上記複数の第１対応点のうち、上記輪郭度合いの大きさが最大のものから上記第１の所定数の順位までに含まれるものを上記第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成することが望ましい。
　上記の構成によれば、各探索位置について、詳細輪郭モデルの複数の輪郭点の位置に対応する複数の第１対応点を特定し、各第１対応点について、第２フレームにおける当該第１対応点に関する第２の画像特徴量に基づいて、当該第１対応点が輪郭を示している輪郭度合いを求める。そして、複数の第１対応点のうち、上記輪郭度合いの大きさが最大のものから上記第１の所定数の順位までに含まれるものを第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成する。
　よって、ラフ輪郭モデルは、複数の第１対応点のうち、輪郭を表している度合いの高いものにより構成されるので、少ない情報（対応点）で有効なモデルになっている。
　また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記第２フレームにおける、上記第１対応点に対応するエッジ強度に応じて、または、上記第１対応点に対応する複数の画素値の差に応じて、上記輪郭度合いを求めることが望ましい。
　上記の構成によれば、輪郭度合いは、第２フレームにおける第１対応点に対応するエッジ強度に応じて、または、上記第１対応点に対応する複数の画素値の差に応じて、求められるので、第２フレームの画像において有用な輪郭度合いを生成できる。
　また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭の内側の点の画素値と当該第１対応点に対応する画素値との差である第１画素値差と、該輪郭の外側の点の画素値と当該第１対応点に対応する画素値との差である第２画素値差との差に応じて、上記輪郭度合いを求めることが望ましい。
　上記の構成によれば、輪郭度合いは、各第１対応点について、第２フレームにおける複数の第１対応点によって表される輪郭の内側の点の画素値と当該第１対応点に対応する画素値との差である第１画素値差と、該輪郭の外側の点の画素値と当該第１対応点に対応する画素値との差である第２画素値差との差に応じて、求められるので、第２フレームの画像において有用な輪郭度合いを生成できる。
　また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭において、当該第１対応点とそれに隣接する上記第１対応点との間の画素値の差である第３画素値差と、上記第１画素値差および上記第２画素値差とに応じて、上記輪郭度合いを求めることが望ましい。
　上記の構成によれば、輪郭度合いは、各第１対応点について、第２フレームにおける複数の第１対応点によって表される輪郭において、当該第１対応点とそれに隣接する第１対応点との間の画素値の差である第３画素値差と、上記第１画素値差および上記第２画素値差とに応じて、求められるので、輪郭度合いの精度を向上させることができる。
　また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記複数の第１対応点の各々に対し、当該第１対応点およびその周囲の特定位置にある１つ以上の参考点の各々に対応する第１の領域の画素値に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求めることで、上記複数の第１対応点の各々の上記輪郭度合いを求め、上記複数の第１対応点のうち、上記輪郭度合いの大きさが上位第１の所定数に含まれるものを上記第２対応点として選択して、上記第２対応点からなる上記ラフ輪郭モデルを生成することが望ましい。
　上記の構成によれば、複数の第１対応点の各々に対し、当該第１対応点およびその周囲の特定位置にある１つ以上の参考点の各々に対応する第１の領域の画素値に基づいて、当該第１対応点が輪郭を示している輪郭度合いを求めることで、上記複数の第１対応点の各々の上記輪郭度合いを求める。なお、当該第１対応点の参考点としては、輪郭に沿って当該第１対応点に隣合う２個の第１対応点と、当該第１対応点の近傍であって上記輪郭の内側の１点および外側の１点とを使用することができる。
　よって、当該第１対応点での輪郭度合いを当該第１対応点とその周囲の参考点とを用いて求めるので、当該第１対応点だけを用いて輪郭度合いを求めるよりも、より適切に、輪郭度合いを求めることができる。
　また、複数の第１対応点のうち、輪郭度合いの大きさが上位第１の所定数に含まれるものが選択されて、上記第２対応点からなるラフ輪郭モデルが生成される。よって、ラフ輪郭モデルは、複数の第１対応点のうち、輪郭を表している度合いの高いものにより構成されるので、少ない情報（対応点）で有効なモデルになっている。
　また、本発明に係る対象物追跡装置は、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを更に備え、上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記複数の第１対応点およびそれらの上記参考点の各々に対応する上記第１の領域の領域サイズを所定サイズ増大し、増大した上記第１の領域の画素値に基づいて上記複数の第１対応点の各々の上記輪郭度合いを求めることで、上記ラフ輪郭モデルを改めて生成し、上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することことが望ましい。
　上記の構成によれば、探索位置絞込部により絞り込まれた探索位置の数が第２の所定数より大きい場合は、探索位置絞込部により絞り込まれた探索位置に対し、複数の第１対応点およびそれらの参考点の各々に対応する第１の領域の領域サイズが所定サイズ増大され、その増大された第１の領域の画素値に基づいて複数の第１対応点の各々の輪郭度合いが求められることで、ラフ輪郭モデルが改めて生成される。
　この様に、第１の領域の領域サイズが所定サイズ増大されると、その分、各第１対応点の輪郭度合いがより正確に求められるので、同じ数の対応点でも、より正確な輪郭度合いに基づいてラフ輪郭モデルが生成される。よって、対象物の探索の精度が向上する。
　また、本発明に係る対象物追跡装置は、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを備え、上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記第１の所定数を所定数増やして、上記ラフ輪郭モデルを改めて生成し、上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により更に絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することが望ましい。
　上記の構成によれば、探索位置絞込部により絞り込まれた探索位置の数が第２の所定数より大きい場合は、探索位置絞込部により絞り込まれた探索位置に対し、第１の所定数（即ち、ラフ輪郭モデルを構成する対応点の数）が所定数増やされて、ラフ輪郭モデルが改めて生成される。この様に、第１の所定数が所定数増やされると、その分、ラフ輪郭モデルのラフさ度合いが一段階低下するので、ラフさ度合いが一段階下げられて（換言すれば、少し詳細化されて）ラフ輪郭モデルが改めて生成される。
　これにより、始めは、ラフさ度合いが大きいラフ輪郭モデルを用いて広範囲を大雑把に速く探索し、探索位置の数を絞り込みながら、ラフさ度合いを徐々に下げて詳細に探索することができる。故に、画像中から対象物を効率良く（即ち素早く）検出することができる。
　また、本発明に係る対象物追跡装置は、上記位置情報取得部は、上記対象物位置特定部により上記第２フレームにおいて上記対象物の位置が特定された場合に、上記対象物位置特定部により特定された該第２フレームにおける上記対象物の位置情報を取得し、該第２フレームを上記第１フレームとして扱うことが望ましい。
　上記の構成によれば、位置情報取得部は、対象物位置特定部により第２フレームにおいて対象物の位置が特定された場合に、対象物位置特定部により特定された該第２フレームにおける上記対象物の位置情報を取得し、該第２フレームを第１フレームとして扱う。これにより、該第２フレームで特定された対象物の位置に基づいて、各処理部（詳細輪郭モデル生成部、探索位置設定部、ラフ輪郭モデル生成部、尤度判定部、対象物位置特定部）において同じ処理が繰り替えされて、該第２フレームより後の何れかのフレームにおいて当該対象物の位置が特定される。これにより、或るフレームにおいて最初に特定された対象物を自動的に追跡することができる。
　特に、詳細輪郭モデル生成部では、第２フレームで特定された対象物の輪郭に基づいて詳細輪郭モデルが生成されるので、対象物の形状が変化する場合でも、その形状変化を考慮して対象物を追跡することができる。
　（プログラムおよび記録媒体）
　なお、上記対象物追跡装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記対象物追跡装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　物体追跡装置１０の各ブロック、特に対象物指定部２１、対象物位置特定部２２、輪郭抽出部２９、詳細輪郭モデル生成部３０、探索位置設定部３１、ラフ輪郭モデル生成部３２、尤度判定部３３、探索位置絞込部３４、判定部３５、対象物位置特定部３６、および、追跡結果出力部３８は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
　すなわち、物体追跡装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである物体追跡装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記物体追跡装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ－Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
　また、物体追跡装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
　本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
　本発明は、動画像の中の対象物を追跡するデジタルカメラ、デジタルビデオカメラ、またはカメラ付き携帯電話等の機器に利用することができる。
　１　　物体追跡システム
　２　　撮像装置
　３　　焦点制御装置
１０　　物体追跡装置（対象物追跡装置）
１１　　画像取得部
１２　　記憶部
１３　　初期化部
１４　　追跡部
２１　　対象物指定部
２２　　対象物位置特定部（位置情報取得部）
２９　　輪郭抽出部
３０　　詳細輪郭モデル生成部
３１　　探索位置設定部
３２　　ラフ輪郭モデル生成部
３３　　尤度判定部
３４　　探索位置絞込部
３５　　判定部（探索位置数判定部）
３６　　対象物位置特定部（位置情報取得部）
３８　　追跡結果出力部
Ｇ1・Ｇ2　　画像
Ｓ1～Ｓm　　探索位置
Ｔ　　対象物
Ｑ・Ｑ2　　対象物の位置
Ｘ1～Ｘn　　輪郭点
Ｙ1～Ｙn　　第１対応点
Ｙa1～Ｙau　　第２対応点

Claims (11)

  1. 　複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、
    　第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得部と、
    　上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成部と、
    　上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置設定部と、
    　上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成部と、
    　上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定部と、
    　上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定部と、
    を備えることを特徴とする対象物追跡装置。
  2. 　上記ラフ輪郭モデル生成部は、上記各探索位置について、
    　上記各第１対応点について、上記第２フレームにおける当該第１対応点に関する第３の画像特徴量に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求め、
    　上記複数の第１対応点のうち、上記輪郭度合いの大きさが最大のものから上記第１の所定数の順位までに含まれるものを上記第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成することを特徴とする請求項１に記載の対象物追跡装置。
  3. 　上記ラフ輪郭モデル生成部は、上記第２フレームにおける、上記第１対応点に対応するエッジ強度に応じて、または、上記第１対応点に対応する複数の画素値の差に応じて、上記輪郭度合いを求めることを特徴とする請求項２に記載の対象物追跡装置。
  4. 　上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭の内側の点の画素値と当該第１対応点に対応する画素値との差である第１画素値差と、該輪郭の外側の点の画素値と当該第１対応点に対応する画素値との差である第２画素値差との差に応じて、上記輪郭度合いを求めることを特徴とする請求項２に記載の対象物追跡装置。
  5. 　上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭において、当該第１対応点とそれに隣接する上記第１対応点との間の画素値の差である第３画素値差と、上記第１画素値差および上記第２画素値差とに応じて、上記輪郭度合いを求めることを特徴とする請求項４に記載の対象物追跡装置。
  6. 　上記ラフ輪郭モデル生成部は、上記複数の第１対応点の各々に対し、当該第１対応点およびその周囲の特定位置にある１つ以上の参考点の各々に対応する第１の領域の画素値に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求めることで、上記複数の第１対応点の各々の上記輪郭度合いを求め、上記複数の第１対応点のうち、上記輪郭度合いの大きさが上位第１の所定数に含まれるものを上記第２対応点として選択して、上記第２対応点からなる上記ラフ輪郭モデルを生成することを特徴とする請求項１または２に記載の対象物追跡装置。
  7. 　上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、
    　上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを更に備え、
    　上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記複数の第１対応点およびそれらの上記参考点の各々に対応する上記第１の領域の領域サイズを所定サイズ増大し、増大した上記第１の領域の画素値に基づいて上記複数の第１対応点の各々の上記輪郭度合いを求めることで、上記ラフ輪郭モデルを改めて生成し、
    　上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、
    　上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、
    　上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、
    　上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することを特徴とする請求項６に記載の対象物追跡装置。
  8. 　上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、
    　上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを備え、
    　上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記第１の所定数を所定数増やして、上記ラフ輪郭モデルを改めて生成し、
    　上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、
    　上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、
    　上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、
    　上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により更に絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することを特徴とする請求項１～７の何れか１項に記載の対象物追跡装置。
  9. 　上記位置情報取得部は、上記対象物位置特定部により上記第２フレームにおいて上記対象物の位置が特定された場合に、上記対象物位置特定部により特定された該第２フレームにおける上記対象物の位置情報を取得し、該第２フレームを上記第１フレームとして扱うことを特徴とする請求項１～８の何れか１項に記載の対象物追跡装置。
  10. 　複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、
    　第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、
    　上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、
    　上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、
    　上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、
    　上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、
    　上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、
    を備えることを特徴とする対象物追跡方法。
  11. 　複数のフレームからなる時系列画像の中の対象物を追跡する処理をコンピュータに実行させる制御プログラムであって、
    　第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、
    　上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、
    　上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、
    　上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、
    　上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、
    　上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、
    をコンピュータに実行させる制御プログラム。
PCT/JP2011/056475 2011-03-10 2011-03-17 対象物追跡装置、対象物追跡方法、および制御プログラム WO2012120696A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11860480.0A EP2685425B1 (en) 2011-03-10 2011-03-17 Object tracking device, object tracking method, and control program
CN201180068854.8A CN103403764B (zh) 2011-03-10 2011-03-17 对象物追踪装置、对象物追踪方法、以及控制程序
US13/985,086 US9020195B2 (en) 2011-03-10 2011-03-17 Object tracking device, object tracking method, and control program
KR1020137020535A KR101468351B1 (ko) 2011-03-10 2011-03-17 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011053619A JP4784709B1 (ja) 2011-03-10 2011-03-10 対象物追跡装置、対象物追跡方法、および制御プログラム
JP2011-053619 2011-03-10

Publications (1)

Publication Number Publication Date
WO2012120696A1 true WO2012120696A1 (ja) 2012-09-13

Family

ID=44881899

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/056475 WO2012120696A1 (ja) 2011-03-10 2011-03-17 対象物追跡装置、対象物追跡方法、および制御プログラム

Country Status (6)

Country Link
US (1) US9020195B2 (ja)
EP (1) EP2685425B1 (ja)
JP (1) JP4784709B1 (ja)
KR (1) KR101468351B1 (ja)
CN (1) CN103403764B (ja)
WO (1) WO2012120696A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903280A (zh) * 2014-03-28 2014-07-02 哈尔滨工程大学 一种改进水平集目标提取的子块权重Mean-Shift跟踪方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896327B1 (en) * 2013-03-15 2021-01-19 Spatial Cam Llc Device with a camera for locating hidden object
CN103548056B (zh) * 2012-03-26 2017-02-22 松下电器（美国）知识产权公司 图像处理装置、摄像装置以及图像处理方法
JP5801237B2 (ja) * 2012-03-29 2015-10-28 パナソニック株式会社 部位推定装置、部位推定方法、および部位推定プログラム
US9250324B2 (en) 2013-05-23 2016-02-02 GM Global Technology Operations LLC Probabilistic target selection and threat assessment method and application to intersection collision alert system
CN105100671A (zh) * 2014-05-20 2015-11-25 西安中兴新软件有限责任公司 一种基于视频通话的图像处理方法和装置
KR101635973B1 (ko) * 2015-04-23 2016-07-04 국방과학연구소 Ir 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치
KR101723432B1 (ko) * 2015-06-12 2017-04-18 주식회사 골프존 운동하는 볼에 대한 센싱장치 및 센싱방법
US10019637B2 (en) * 2015-11-13 2018-07-10 Honda Motor Co., Ltd. Method and system for moving object detection with single camera
CN105469361B (zh) * 2015-12-24 2018-12-04 努比亚技术有限公司 一种局部图像处理方法和装置
US20170337689A1 (en) * 2016-05-20 2017-11-23 Yung-Hui Li Method for validating segmentation of objects with arbitrary shapes
JP6390671B2 (ja) * 2016-07-29 2018-09-19 オムロン株式会社 画像処理装置および画像処理方法
CN107730534B (zh) * 2016-08-09 2020-10-23 深圳光启合众科技有限公司 目标对象的跟踪方法和装置
US10536702B1 (en) * 2016-11-16 2020-01-14 Gopro, Inc. Adjusting the image of an object to search for during video encoding due to changes in appearance caused by camera movement
US11074698B2 (en) * 2017-03-06 2021-07-27 Mitsubishi Electric Corporation Object tracking device and object tracking method
JP6412998B1 (ja) * 2017-09-29 2018-10-24 株式会社Ｑｏｎｃｅｐｔ 動体追跡装置、動体追跡方法、動体追跡プログラム
CN110059522B (zh) 2018-01-19 2021-06-25 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
US11073603B2 (en) * 2018-04-03 2021-07-27 GM Global Technology Operations LLC Controlled scan pattern transition in coherent lidar
US11633994B2 (en) * 2018-04-04 2023-04-25 Continental Autonomous Mobility Us, Llc. Vehicle-trailer distance detection device and method
US11010646B2 (en) * 2018-04-10 2021-05-18 Facebook Technologies, Llc Object tracking assisted with hand or eye tracking
JP6922821B2 (ja) * 2018-04-13 2021-08-18 オムロン株式会社 画像解析装置、方法およびプログラム
US10175350B1 (en) * 2018-06-28 2019-01-08 University Of South Florida Systems and methods for detecting buried objects
CN111524159B (zh) * 2019-02-01 2024-07-19 北京京东乾石科技有限公司 图像处理方法和设备、存储介质和处理器
CN109977833B (zh) * 2019-03-19 2021-08-13 网易（杭州）网络有限公司 物体追踪方法、物体追踪装置、存储介质及电子设备
JP7105370B2 (ja) 2019-03-28 2022-07-22 オリンパス株式会社 トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法
JP7105369B2 (ja) * 2019-03-28 2022-07-22 オリンパス株式会社 トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法
US11348245B2 (en) * 2019-06-21 2022-05-31 Micron Technology, Inc. Adapted scanning window in image frame of sensor for object detection
JP6860098B1 (ja) * 2020-02-10 2021-04-14 オムロン株式会社 画像検査装置および画像検査プログラム、照明設定装置
US12052489B2 (en) * 2022-05-09 2024-07-30 Charter Communications Operating, Llc Video analysis and motion magnification
CN115457448B (zh) * 2022-11-09 2023-01-31 安徽米娱科技有限公司 一种视频关键帧智能提取系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204479A (ja) * 2001-12-03 2008-09-04 Microsoft Corp 複数のキューを使用する複数の個人の自動検出および追跡のための方法およびコンピュータ可読な記憶媒体
JP2009224924A (ja) 2008-03-14 2009-10-01 Sony Computer Entertainment Inc 対象物追跡装置および対象物追跡方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6724915B1 (en) * 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
KR100355382B1 (ko) * 2001-01-20 2002-10-12 삼성전자 주식회사 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
JP4930854B2 (ja) * 2005-07-19 2012-05-16 日本電気株式会社 関節物体位置姿勢推定装置及びその方法ならびにプログラム
EP2061008B1 (en) * 2007-11-16 2011-01-26 Honda Research Institute Europe GmbH Method and device for continuous figure-ground segmentation in images from dynamic visual scenes
JP4626692B2 (ja) * 2008-09-12 2011-02-09 ソニー株式会社 物体検出装置、撮像装置、物体検出方法およびプログラム
JP5488076B2 (ja) * 2010-03-15 2014-05-14 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
EP2383696A1 (en) * 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204479A (ja) * 2001-12-03 2008-09-04 Microsoft Corp 複数のキューを使用する複数の個人の自動検出および追跡のための方法およびコンピュータ可読な記憶媒体
JP2009224924A (ja) 2008-03-14 2009-10-01 Sony Computer Entertainment Inc 対象物追跡装置および対象物追跡方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KATJA NUMMIARO ET AL.: "An adaptive color-based particle filter", IMAGE AND VISION COMPUTING, vol. 21, no. 1, 2003, pages 99 - 110, XP055039583, DOI: doi:10.1016/S0262-8856(02)00129-4
NIKOS PARAGIOS; RACHID DERICHE: "Geodesic active contours and level sets for the detection and tracking of moving objects", IEEE TRANS. PAMI, vol. 22, no. 3, pages 266 - 280
See also references of EP2685425A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903280A (zh) * 2014-03-28 2014-07-02 哈尔滨工程大学 一种改进水平集目标提取的子块权重Mean-Shift跟踪方法
CN103903280B (zh) * 2014-03-28 2017-01-11 哈尔滨工程大学 一种改进水平集目标提取的子块权重Mean-Shift跟踪方法

Also Published As

Publication number Publication date
JP4784709B1 (ja) 2011-10-05
CN103403764B (zh) 2016-01-20
EP2685425A1 (en) 2014-01-15
KR101468351B1 (ko) 2014-12-03
CN103403764A (zh) 2013-11-20
EP2685425A4 (en) 2014-09-10
EP2685425B1 (en) 2017-12-06
US20140010409A1 (en) 2014-01-09
US9020195B2 (en) 2015-04-28
KR20130094862A (ko) 2013-08-26
JP2012190289A (ja) 2012-10-04

Similar Documents

Publication Publication Date Title
JP4784709B1 (ja) 対象物追跡装置、対象物追跡方法、および制御プログラム
Lai et al. Semantic-driven generation of hyperlapse from 360 degree video
EP2372654B1 (en) Object tracking apparatus, object tracking method, and control program
Bai et al. Video snapcut: robust video object cutout using localized classifiers
CN110728639B (zh) 图片修复方法及系统
Zitnick et al. Consistent segmentation for optical flow estimation
US9727974B2 (en) System for video super resolution using semantic components
US8111913B2 (en) Countermeasures against original background retrieval
US20130272609A1 (en) Scene segmentation using pre-capture image motion
Tompkin et al. Towards moment imagery: Automatic cinemagraphs
CN110858409A (zh) 动画生成方法和装置
JP2011053951A (ja) 画像処理装置
CN115115959A (zh) 一种图像处理方法及装置
CN111199169A (zh) 图像处理方法和装置
WO2023168957A1 (zh) 姿态确定方法、装置、电子设备、存储介质及程序
US20230097869A1 (en) Method and apparatus for enhancing texture details of images
Saini et al. szoom: A framework for automatic zoom into high resolution surveillance videos
Chen et al. Illumination-invariant video cut-out using octagon sensitive optimization
CN102609958A (zh) 视频对象提取的方法及设备
WO2023230927A1 (zh) 图像处理方法、装置及可读存储介质
Kumawat et al. SRGAN with 3D CNN Model for Video Stabilization
Bagavathi et al. Augmented Super Resolution GAN (ASRGAN) for Image Enhancement Through Reinforced Discriminator
Li et al. PatchRefiner: Leveraging Synthetic Data for Real-Domain High-Resolution Monocular Metric Depth Estimation
Liu et al. Semantic-aware Representation Learning for Homography Estimation
Chien et al. A 3D hand tracking design for gesture control in complex environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11860480

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20137020535

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13985086

Country of ref document: US