Nothing Special   »   [go: up one dir, main page]

KR101180259B1 - Target tracking method - Google Patents

Target tracking method Download PDF

Info

Publication number
KR101180259B1
KR101180259B1 KR1020110056182A KR20110056182A KR101180259B1 KR 101180259 B1 KR101180259 B1 KR 101180259B1 KR 1020110056182 A KR1020110056182 A KR 1020110056182A KR 20110056182 A KR20110056182 A KR 20110056182A KR 101180259 B1 KR101180259 B1 KR 101180259B1
Authority
KR
South Korea
Prior art keywords
matching
target
sub
blocks
block
Prior art date
Application number
KR1020110056182A
Other languages
Korean (ko)
Inventor
박세경
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020110056182A priority Critical patent/KR101180259B1/en
Application granted granted Critical
Publication of KR101180259B1 publication Critical patent/KR101180259B1/en

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G3/00Aiming or laying means
    • F41G3/14Indirect aiming means
    • F41G3/16Sighting devices adapted for indirect laying of fire
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G3/00Aiming or laying means
    • F41G3/14Indirect aiming means
    • F41G3/18Auxiliary target devices adapted for indirect laying of fire
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41HARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H13/00Means of attack or defence not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A target tracking method is provided to track targets even if the sizes or forms of the targets are changed or screened by other objects. CONSTITUTION: A target tracking method is as follows. Multiple sub-reference blocks are generated inside a reference block with targets in a reference image frame. Matching sub-blocks corresponding to the sub-reference blocks are found in a current image frame using a bock matching algorism. An outlier among the matching sub-blocks is removed based on the distance between each matching sub-block and a trace point of the targets in the reference image frame. The trace point of the targets is determined in the current image frame using the matching sub-blocks.

Description

표적 추적 방법{Target tracking method}Target tracking method

본 발명은 표적 추적 방법 및 장치에 관한 것으로, 보다 상세하게는 프레임 단위의 입력 영상에서 움직이는 표적를 추적하기 위한 표적 추적 방법 및 장치에 관한 것이다.The present invention relates to a target tracking method and apparatus, and more particularly, to a target tracking method and apparatus for tracking a moving target in a frame-based input image.

입력 영상에서 움직이는 표적을 추적하기 위한 기법 중 대표적인 것으로 블록 매칭 알고리즘(Block Matching Algorithm, BMA)이 있다. The block matching algorithm (BMA) is a representative technique for tracking a moving target in an input image.

BMA는 움직임을 추정할 영상 프레임의 임의의 블록 내의 모든 화소는 동일한 움직임을 갖는다는 가정 하에, 블록 당 한 개의 움직임 벡터를 부여하는 방식이다. 일반적으로 움직임은 회전, 이동 및 크기의 확대, 축소 등으로 나타낼 수 있는데, BMA에서는 시간적으로 가까운 프레임 간에는 움직임에 의한 변형이 크지 않아서 단지 물체의 이동으로 모든 움직임을 근사화할 수 있다는 전제하에 움직임 추정을 행하게 된다. 따라서 움직임 벡터는 블록 당 1개의 x, y 좌표로서 표현된다. BMA에서는 현재 영상 프레임에서 탐색 블록을 이동시켜 가면서 이전 영상 프레임 중 하나인 기준 영상 프레임의 기준 블록과 비교하여 가장 유사도가 높은 탐색 블록을 찾는다. 여기서 기준 블록과 가장 유사도가 높은 탐색 블록의 위치 차이가 해당 기준 블록의 움직임 벡터이다. The BMA is a method of assigning one motion vector per block, assuming that all pixels in any block of an image frame to estimate motion have the same motion. In general, motion can be represented by rotation, movement, and enlargement or reduction in size.BMA estimates the motion estimation on the premise that all movements can be approximated only by the movement of an object because the deformation caused by the movement is not large between frames close in time. Will be done. Therefore, the motion vector is represented as one x, y coordinate per block. In the BMA, a search block having the highest similarity is found by moving the search block in the current video frame and comparing with the reference block of the reference video frame, which is one of the previous video frames. The position difference of the search block having the highest similarity with the reference block is the motion vector of the reference block.

BMA에 의한 표적 추적은 강체(rigid body) 가정을 사용하기 때문에 표적의 형상 변화에 취약한 특징을 가지고 있다. 특히 카메라와의 거리에 따라 물체가 영상 내에서 그 크기가 커지거나 작아지는 경우 또는 카메라에 대하여 물체가 회전하는 경우 추적이 실패하는 경우가 발생한다.Target tracking by BMA is vulnerable to changes in the shape of the target because it uses rigid body assumptions. In particular, tracking may fail when an object becomes larger or smaller in an image according to a distance from the camera, or when an object rotates with respect to the camera.

본 발명이 이루고자 하는 기술적 과제는 표적의 형상 변화에도 효과적으로 표적 추적을 수행할 수 있는 표적 추적 방법 및 장치와 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다. SUMMARY OF THE INVENTION The present invention has been made in an effort to provide a target tracking method and apparatus capable of performing target tracking effectively even with a change in shape of a target, and a computer readable recording medium having recorded thereon a program for executing the method.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 표적 추적 방법은, (a) 기준 영상 프레임에서 추적 대상 표적을 포함하는 기준 블록 내에 복수 개의 서브 기준 블록들을 생성하는 단계; (b) 블록 매칭 알고리즘을 이용하여 현재 영상 프레임에서 상기 복수 개의 서브 기준 블록들 각각에 대응하는 매칭 서브 블록들을 찾는 단계; (c) 상기 매칭 서브 블록들 각각과 상기 기준 영상 프레임에서의 상기 추적 대상 표적의 추적점과의 거리를 기초로 상기 매칭 서브 블록들 중 아웃라이어(outlier)를 제거하는 단계; 및 (d) 상기 아웃라이어가 제거된 매칭 서브 블록들을 이용하여 상기 현재 영상 프레임에서 추적 대상 표적의 추적점을 결정하는 단계를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, a target tracking method according to the present invention includes: (a) generating a plurality of sub reference blocks in a reference block including a target to be tracked in a reference image frame; (b) finding matching subblocks corresponding to each of the plurality of sub-reference blocks in a current image frame using a block matching algorithm; (c) removing an outlier of the matching subblocks based on a distance between each of the matching subblocks and a tracking point of the target to be tracked in the reference image frame; And (d) determining a tracking point of a target to be tracked in the current image frame using the matching subblocks from which the outliers are removed.

일 실시예에서, 상기 (a) 단계는, 상기 기준 블록을 일정 크기로 분할하여 상기 서브 기준 블록들을 생성할 수 있다.In one embodiment, step (a) may divide the reference block into a predetermined size to generate the sub reference blocks.

일 실시예에서, 상기 (a) 단계는, 상기 기준 블록 내의 영상에서 코너점들을 검출하고, 상기 코너점들 각각을 포함하는 일정 크기의 블록들을 상기 서브 기준 블록들로 생성할 수 있다.In an embodiment, the step (a) may detect corner points in the image in the reference block and generate blocks of a predetermined size including each of the corner points as the sub reference blocks.

일 실시예에서, 상기 (a) 단계는, 상기 기준 블록 내의 영상에서 에지를 검출하고, 상기 에지를 따라서 일정 크기의 블록들을 생성하여 상기 서브 기준 블록들을 생성할 수 있다.In an embodiment, the step (a) may detect the edge in the image in the reference block, and generate the sub reference blocks by generating blocks of a predetermined size along the edge.

일 실시예에서, 상기 (c) 단계는, 각 매칭 서브 블록과 상기 기준 영상 프레임에서의 상기 추적점과의 거리를 구하고, 해당 거리가 임계치를 벗어나는 매칭 서브 블록을 상기 아웃라이어 판단하여 제거할 수 있다.In an embodiment, the step (c) may include obtaining a distance between each matching subblock and the tracking point in the reference image frame, and determining and removing the matching subblock whose distance is out of a threshold. have.

일 실시예에서, 상기 거리는 유클리디안 거리일 수 있다.In one embodiment, the distance may be an Euclidean distance.

일 실시예에서, 상기 거리는 마할라노비스 거리일 수 있다.In one embodiment, the distance may be a Mahalanobis distance.

일 실시예에서, 상기 (d) 단계는 상기 아웃라이어가 제거된 매칭 서브 블록들의 무게 중심을 상기 추적점으로 결정할 수 있다.In one embodiment, step (d) may determine the center of gravity of the matching subblocks from which the outliers have been removed as the tracking point.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 표적 추적 장치는, 기준 영상 프레임에서 추적 대상 표적을 포함하는 기준 블록 내에 복수 개의 서브 기준 블록들을 생성하는 서브 블록 생성부; 블록 매칭 알고리즘을 이용하여 현재 영상 프레임에서 상기 복수 개의 서브 기준 블록들 각각에 대응하는 매칭 서브 블록들을 찾는 블록 매칭부; 상기 매칭 서브 블록들 각각과 상기 기준 영상 프레임에서의 상기 추적 대상 표적의 추적점과의 거리를 기초로 상기 매칭 서브 블록들 중 아웃라이어(outlier)를 제거하는 아웃라이어 제거부; 및 상기 아웃라이어가 제거된 매칭 서브 블록들을 이용하여 상기 현재 영상 프레임에서 추적 대상 표적의 추적점을 결정하는 추적점 결정부를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, a target tracking device according to the present invention includes: a sub block generation unit generating a plurality of sub reference blocks in a reference block including a target to be tracked in a reference image frame; A block matching unit searching for matching sub blocks corresponding to each of the plurality of sub reference blocks in a current image frame using a block matching algorithm; An outlier removing unit removing an outlier of the matching subblocks based on a distance between each of the matching subblocks and a tracking point of the target to be tracked in the reference image frame; And a tracking point determiner configured to determine a tracking point of a target to be tracked in the current image frame using the matching subblocks from which the outliers are removed.

일 실시예에서, 상기 서브 블록 생성부는, 상기 기준 블록을 일정 크기로 분할하여 상기 서브 기준 블록들을 생성할 수 있다.In an embodiment, the sub block generator may generate the sub reference blocks by dividing the reference block into a predetermined size.

일 실시예에서, 상기 서브 블록 생성부는, 상기 기준 블록 내의 영상에서 코너점들을 검출하고, 상기 코너점들 각각을 포함하는 일정 크기의 블록들을 상기 서브 기준 블록들로 생성할 수 있다.In an embodiment, the sub-block generator may detect corner points in an image in the reference block, and generate blocks of a predetermined size including each of the corner points as the sub-reference blocks.

일 실시예에서, 상기 서브 블록 생성부는, 상기 기준 블록 내의 영상에서 에지를 검출하고, 상기 에지를 따라서 일정 크기의 블록들을 생성하여 상기 서브 기준 블록들을 생성할 수 있다.In an embodiment, the sub-block generator may detect the edge in the image in the reference block, and generate the sub-reference blocks by generating blocks of a predetermined size along the edge.

일 실시예에서, 상기 아웃라이어 제거부는, 각 매칭 서브 블록과 상기 기준 영상 프레임에서의 상기 추적점과의 거리를 구하고, 해당 거리가 임계치를 벗어나는 매칭 서브 블록을 상기 아웃라이어 판단하여 제거할 수 있다. In one embodiment, the outlier removing unit may obtain a distance between each matching subblock and the tracking point in the reference image frame, and determine and remove the outlier matching subblock whose distance is out of a threshold. .

일 실시예에서, 상기 추적점 결정부는 상기 아웃라이어가 제거된 매칭 서브 블록들의 무게 중심을 상기 추적점으로 결정할 수 있다.In one embodiment, the tracking point determiner may determine the center of gravity of the matching subblocks from which the outliers are removed as the tracking point.

상기 기술적 과제를 해결하기 위하여, 상기된 표적 추적 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. In order to solve the above technical problem, there is provided a computer-readable recording medium recording a program for executing the target tracking method described above.

상기된 본 발명에 의하면, 추적 대상 표적의 크기 변화나 회전 등 형상의 변화 또는 다른 물체에 의한 가림 현상이 발생하는 경우에도 강건하게 표적 추적을 수행할 수 있다. According to the present invention described above, even when a change in shape such as a change in size or rotation of a target to be tracked or an obstruction by another object occurs, the target tracking can be robustly performed.

도 1은 본 발명의 일 실시예에 따른 표적 추적 장치의 블록도를 나타낸다.
도 2는 본 발명의 실시예들에 따라 서브 기준 블록을 생성하는 예를 나타낸다.
도 3은 본 발명의 일 실시예에 따라 매칭 서브 블록들 중 아웃라이어를 제거하는 방법의 예를 나타낸다.
도 4는 본 발명의 일 실시예에 따라 추적 대상 표적의 추적점이 결정되는 모습의 예를 나타낸다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 표적 추적 결과를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 표적 추적 방법의 흐름도를 나타낸다.
1 shows a block diagram of a target tracking device according to an embodiment of the present invention.
2 shows an example of generating a sub-reference block according to embodiments of the present invention.
3 illustrates an example of a method of removing an outlier among matching subblocks according to an embodiment of the present invention.
4 illustrates an example in which a tracking point of a target to be tracked is determined according to an embodiment of the present invention.
5 and 6 show target tracking results according to an embodiment of the present invention.
7 is a flowchart of a target tracking method according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, and redundant description will be omitted. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

BMA를 이용한 기존의 표적 추적 방법에 의하면, 기준 영상 프레임에서 추적 대상 표적을 포함하는 특정 블록을 대상으로 BMA를 이용하여 현재 영상 프레임에서 그와 가장 유사한 블록을 찾음으로써 표적을 추적한다. 이러한 방법은 추적 대상 표적의 형상 변화에 취약할 수밖에 없다. 본 발명에서는 추적 대상 표적을 포함하는 블록을 복수 개의 서브 블록으로 나누어, 각 서브 블록을 대상으로 BMA를 이용하여 현재 영상 프레임에서 가장 유사한 블록을 찾음으로써 표적을 추적한다. 표적의 전체적인 크기와 형태가 변화하더라도 세부적인 특징들은 비교적 유지되는 바, 본 발명에 의하면 표적의 전체적인 형상 변화로 인하여 추적 성능이 저하되는 것이 방지된다. According to the existing target tracking method using the BMA, the target is tracked by finding the most similar block in the current image frame using the BMA for a specific block including the target to be tracked in the reference image frame. This method is vulnerable to the shape change of the target to be tracked. In the present invention, a block including a target to be tracked is divided into a plurality of sub-blocks, and the target is tracked by finding the most similar block in the current video frame using the BMA for each sub-block. Detailed features are relatively maintained even when the overall size and shape of the target change, and according to the present invention, the tracking performance is prevented from being degraded due to the change in the overall shape of the target.

도 1은 본 발명의 일 실시예에 따른 표적 추적 장치의 블록도를 나타낸다. 표적 추적 장치(100)는 서브 블록 생성부(110), 블록 매칭부(120), 아웃라이어 제거부(130), 추적점 결정부(140)를 포함하여 이루어진다. 1 shows a block diagram of a target tracking device according to an embodiment of the present invention. The target tracking device 100 includes a sub block generation unit 110, a block matching unit 120, an outlier removing unit 130, and a tracking point determination unit 140.

표적 추적 장치(100)는 매 영상 프레임을 현재 영상 프레임으로서 입력받는데, 동시에 현재 영상 프레임과의 비교 대상이 되는 기준 영상 프레임을 입력받는다. 기준 영상 프레임은 현재 영상 프레임의 이전 영상 프레임 중 하나로서, 현재 영상 프레임과 인접하는 영상 프레임이거나 또는 해당 영상 프레임 내에서 추적 대상이 특정된 최조 추적시의 영상 프레임이거나, 현재 영상 프레임보다 미리 정해진 수만큼 앞서는 영상 프레임 등이 될 수 있다. 기준 영상 프레임은 매 영상 프레임마다 업데이트되거나, 수 개의 영상 프레임이 처리될 때마다 업데이트되거나, 또는 최초 추적시의 영상 프레임으로 고정될 수 있다. 기준 영상 프레임을 어떤 식으로 정할 것인지와 어떤 식으로 업데이트할 것인지는 기존의 BMA 알고리즘을 따른다. The target tracking device 100 receives each image frame as a current image frame, and simultaneously receives a reference image frame to be compared with the current image frame. The reference video frame is one of the previous video frames of the current video frame. The reference video frame is an image frame adjacent to the current video frame, or a video frame at the time of the last tracking in which the tracking target is specified within the video frame, or a predetermined number of times than the current video frame. It can be a video frame or the like as far as advance. The reference image frame may be updated every image frame, may be updated every few image frames are processed, or may be fixed to the image frame at the time of initial tracking. How to set the reference video frame and how to update follows the existing BMA algorithm.

서브 블록 생성부(110)는 기준 영상 프레임을 입력받고, 기준 영상 프레임에서 추적 대상 표적을 포함하는 일정 영역인 기준 블록 내에 기준 블록보다 크기가 작은 복수 개의 서브 기준 블록들을 생성한다. The sub block generator 110 receives the reference image frame and generates a plurality of sub reference blocks having a smaller size than the reference block in the reference block, which is a predetermined area including the target to be tracked, in the reference image frame.

추적 대상 표적을 포함하는 기준 블록은, 해당 영상 프레임에서 추적 대상 표적의 추적점이 결정되면 이를 기초로 공지된 기법(예를 들면 표적 영역과 배경 영역의 통계적인 특성을 이용하는 기법)을 이용하여 표적 영역을 추출하여 결정할 수 있다.The reference block including the target to be tracked is a target area using a known technique (for example, a technique using statistical characteristics of the target area and the background area) based on the tracking point of the target to be tracked in the corresponding image frame. Can be determined by extracting

서브 기준 블록은 전술한 바와 같이 기준 블록 내에 존재하고 기준 블록보다 크기가 작은 블록이다. 다만, 서브 기준 블록의 일부는 기준 블록을 벗어날 수도 있다. The sub-reference block is a block present in the reference block and smaller in size than the reference block as described above. However, some of the sub reference blocks may deviate from the reference blocks.

구체적인 일 실시예에서, 기준 블록 전체를 일정 크기로 분할하여 서브 기준 블록들을 생성할 수 있다. 도 2의 (a)는 이에 따라 서브 기준 블록이 생성되는 모습의 예를 나타낸다. 도 2의 (a) 를 참조하면, 기준 블록을 가로 8×5=40 개의 서브 기준 블록들로 분할한 모습이 도시되어 있다.According to a specific embodiment, sub-reference blocks may be generated by dividing the entire reference block into a predetermined size. 2 (a) shows an example of how a sub-reference block is generated accordingly. Referring to FIG. 2A, the reference block is divided into 8 × 5 = 40 sub-reference blocks.

구체적인 다른 일 실시예에서, 기준 블록 내의 영상에서 코너점(corner point)들을 검출하고, 검출된 코너점들 각각을 포함하는 일정 크기의 블록들을 서브 블록들로 생성할 수 있다. 코너점 검출은 Harris와 SUSAN 등 기존의 대표적인 코너 검출자를 이용하여 수행할 수 있다. 코너점은 추적 대상 표적과 배경의 경계에 해당하는 바, 표적의 형상 변화에 영향을 덜 받을 것이므로 추적에 효과적이다. 도 2의 (b)를 참조하면, 코너점을 검출하고 각 코너점 위치에 서브 기준 블록들을 생성한 모습이 도시되어 있다.In another specific embodiment, corner points may be detected in an image in the reference block, and blocks of a predetermined size including each of the detected corner points may be generated as sub blocks. Corner point detection can be performed using existing representative corner detectors such as Harris and SUSAN. The corner point corresponds to the boundary between the target to be traced and the background, and thus, the corner point is less affected by the shape change of the target, which is effective for tracking. Referring to FIG. 2B, a corner point is detected and sub reference blocks are generated at each corner point.

구체적인 또 다른 일 실시예에서, 기준 블록 내의 영상에서 에지(edge)를 검출하고, 에지를 따라서 일정 크기의 블록들을 생성하여 서브 블록들을 생성할 수 있다. 에지 검출은 Robert, Sobel, Kirsh 등 기존의 대표적인 에지 검출 연산자를 이용하여 수행할 수 있다. 에지 역시 코너점과 마찬가지로 추적 대상 표적과 배경의 경계에 해당하는 바, 표적의 형상 변화에 영향을 덜 받을 것이므로 추적에 효과적이다. 도 2의 (b)를 참조하면, 에지를 검출하고 에지를 따라서 일정 크기의 서브 기준 블록들을 생성한 모습이 도시되어 있다.In another specific embodiment, sub-blocks may be generated by detecting an edge in an image in the reference block and generating blocks of a predetermined size along the edge. Edge detection can be performed using conventional edge detection operators such as Robert, Sobel, and Kirsh. The edges, like the corner points, correspond to the boundary between the target to be tracked and the background, which is effective for tracking because the edge is less affected by the shape change of the target. Referring to FIG. 2B, an edge is detected and sub-reference blocks of a predetermined size are generated along the edge.

다시 도 1을 참조하면, 블록 매칭부(120)는 현재 영상 프레임을 입력받는다. 블록 매칭부(120)는 서브 블록 생성부(110)에서 생성된 서브 기준 블록들을 대상으로, 블록 매칭 알고리즘을 이용하여 현재 영상 프레임에서 서브 기준 블록들 각각에 대응하는 매칭 서브 블록들을 찾는다. 구체적으로, 블록 매칭부(120)는 각 서브 기준 블록마다, 현재 영상 프레임에서 해당 서브 기준 블록과 동일한 크기의 탐색 블록을 이동시켜 가면서 해당 서브 기준 블록과 가장 유사도가 높은 탐색 블록을 찾아서 해당 서브 기준 블록에 대응하는 매칭 서브 블록으로 결정한다. Referring back to FIG. 1, the block matching unit 120 receives a current image frame. The block matching unit 120 searches for matching sub blocks corresponding to each of the sub reference blocks in the current image frame by using a block matching algorithm, targeting the sub reference blocks generated by the sub block generating unit 110. In detail, the block matching unit 120 searches for a search block having the most similarity to the corresponding sub reference block by moving the search block having the same size as the corresponding sub reference block in the current image frame for each sub reference block. The matching subblock corresponding to the block is determined.

아웃라이어 제거부(130)는 블록 매칭부(120)에서 찾아진 매칭 서브 블록들 중에서, 추적 대상 표적을 벗어나는 것으로 판단되는 아웃라이어(outlier)를 제거한다. 이상적인 경우라면 매칭 서브 블록들이 모두 추적 대상 표적을 벗어나지 않는 인라이어(inlier)에 해당할 것이나, 표적의 형상이 변화하거나 다른 물체가 표적을 가리는 가림(occlusion) 현상이 발생할 수 있으므로 일부 매칭 서브 블록은 추적에 실패한 것일 수 있다.The outlier removing unit 130 removes an outlier that is determined to deviate from the tracking target among the matching subblocks found by the block matching unit 120. Ideally, the matching sub-blocks would all be inliers that do not leave the target being tracked, but some matching sub-blocks may occur because the shape of the target may change or an occlusion may occur where other objects obscure the target. The trace may have failed.

아웃라이어 제거부(130)는, 각 매칭 서브 블록과 기준 영상 프레임에서의 추적 대상 표적의 추적점과의 거리를 기초로 매칭 서브 블록들 중 아웃라이어를 제거한다. 다른 매칭 서브 블록들에 비하여 기준 영상 프레임의 추적점으로부터 과도하게 벗어난 매칭 서브 블록은 잘못 구해진 것일 가능성이 높기 때문이다. 아웃라이어 제거부(130)는 각 매칭 서브 블록과 기준 영상 프레임의 추적점과의 거리를 구하고, 해당 거리가 임계치를 벗어나는 매칭 서브 블록을 아웃라이어로 판단하여 이를 제거한다. 여기서, 임계치는 미리 정하여진 값일 수도 있고, 구해진 거리에 따라 결정되는 값(예를 들면 구해진 거리들의 평균과 표준편차에 따라 정해지는 값)일 수도 있다. The outlier removing unit 130 removes the outliers among the matching subblocks based on the distance between each matching subblock and the tracking point of the target to be tracked in the reference image frame. This is because a matching subblock that is excessively deviated from the tracking point of the reference video frame is more likely to be obtained incorrectly than other matching subblocks. The outlier remover 130 obtains the distance between each matching subblock and the tracking point of the reference image frame, and determines the matching subblock whose out of range is out of the threshold as an outlier. Here, the threshold may be a predetermined value or may be a value determined according to the obtained distance (for example, a value determined based on the average and standard deviation of the obtained distances).

구체적인 일 실시예에서, 아웃라이어 제거부(130)는 매칭 서브 블록과 기준 영상 프레임에서의 추적점과의 유클리디안 거리(Euclidean Distance), 즉 일반적인 거리를 기초로 매칭 서브 블록들 중 아웃라이어를 제거한다. 즉, 각 매칭 서브 블록마다 유클리디안 거리를 구하고 그것이 임계치를 벗어나는 매칭 서브 블록을 아웃라이어로 판단하여 제거하는 것이다.According to a specific embodiment, the outlier removing unit 130 may select an outlier among the matching subblocks based on an Euclidean distance, that is, a general distance between the matching subblock and the tracking point in the reference image frame. Remove That is, the Euclidean distance is obtained for each matching subblock, and the matching subblock whose threshold is out of the threshold is determined as an outlier and removed.

구체적인 다른 일 실시예에서, 아웃라이어 제거부(130)는 매칭 서브 블록과 기준 영상 프레임에서의 추적점과의 확률적 거리, 즉 마할라노비스 거리(mahalanobis distance)를 기초로 매칭 서브 블록들 중 아웃라이어를 제거한다. 즉, 각 매칭 서브 블록마다 마할라노비스 거리를 구하고 그것이 임계치를 벗어나는 매칭 서브 블록을 아웃라이어로 판단하여 제거하는 것이다. 마할라노비스 거리란 군집 분석에서 사용되는 거리 개념으로서, 두 지점의 단순한 거리 뿐만 아니라, 변수의 특성을 나타내는 표준편차와 상관계수가 함께 고려되는 만들어지는 거리이다. In another specific embodiment, the outlier removing unit 130 may output the outliers of the matching subblocks based on a probabilistic distance between the matching subblocks and the tracking points in the reference image frame, that is, the mahalanobis distance. Remove the liars. In other words, the Mahalanobis distance is obtained for each matching subblock, and the matching subblock whose threshold is out of the threshold is determined as an outlier and removed. The Mahalanobis distance is the distance concept used in cluster analysis. It is not only the distance between two points but also the distance from which the standard deviation and the correlation coefficient which characterize the variable are considered.

이 실시예에서, 아웃라이어 제거부(130)는 매칭 서브 블록과 기준 영상 프레임에서의 추적점과의 거리 벡터를 계산하고, 평균, 표준편차와 상관계수 등 통계 정보를 획득한다. 그리고 이를 바탕으로 각 매칭 서브 블록의 마할라노비스 거리를 계산하고, 그것이 임계치를 벗어나는 서브 블록을 아웃라이어로 판단하여 제거한다. 이처럼 마할라노비스 거리를 이용하게 되면, 표적의 모양이 특정 방향으로 길게 나타나는 등 추적점을 중심으로 균일하지 않은 경우에 보다 정확하게 아웃라이어를 제거할 수 있다.In this embodiment, the outlier remover 130 calculates a distance vector between the matching subblock and the tracking point in the reference video frame, and obtains statistical information such as an average, a standard deviation, and a correlation coefficient. Based on this, the Mahalanobis distance of each matching subblock is calculated, and the subblock whose threshold is out of the threshold is determined as an outlier and removed. Using the Mahalanobis distance in this way, the outlier can be more accurately removed when the target shape is not uniform around the tracking point, such as the shape of the target is elongated in a specific direction.

도 3은 본 발명의 일 실시예에 따라 매칭 서브 블록들 중 아웃라이어를 제거하는 방법의 예를 나타낸다. 도 3의 (a)는 기준 영상 프레임의 추적점과 서브 기준 블록을 나타낸다. 도 3의 (b)는 각 서브 블록 별로 매칭 서브 블록이 찾아진 모습을 나타낸다. 도 3의 (b)에서 화살표는 서브 기준 블록을 기준으로 하는 매칭 서브 블록의 움직임 벡터를 나타낸다. 도 3의 (c)는 마할라노비스 거리를 기초로 매칭 서브 블록들 중 아웃라이어가 제거되는 모습을 나타낸다. 결과적으로, 아웃라이어는 추적점을 포함하는 일정 영역인 유효 게이트 밖의 매칭 서브 블록이 된다. 유클리디안 거리를 이용한다면 유효 게이트는 추적점을 중심으로 하는 동심원이 될 것이나, 마할라노비스 거리를 이용하게 되면 유효 게이트는 도시된 바와 같이, 일반적으로는 추적점이 중심이 아닌 타원형의 모양이 된다. 3 illustrates an example of a method for removing an outlier among matching subblocks according to an embodiment of the present invention. 3A illustrates a tracking point and a sub reference block of a reference video frame. 3 (b) shows how a matching subblock is found for each subblock. In FIG. 3B, an arrow indicates a motion vector of a matching subblock based on the subreference block. 3 (c) shows an outlier of the matching subblocks removed based on the Mahalanobis distance. As a result, the outlier becomes a matching subblock outside the valid gate, which is a certain area containing the tracking points. If you use Euclidean distance, the effective gate will be concentric with the tracking point, but if you use Mahalanobis distance, the effective gate will be oval in shape, as shown. .

다시 도 2를 참조하면, 추적점 결정부(140)는 매칭 서브 블록들 중 아웃라이어가 제거된 매칭 서브 블록들을 이용하여 현재 영상 프레임에서 추적 대상 표적의 추적점을 결정한다. 추적점은 예를 들어 매칭 서브 블록들의 무게 중심으로 결정할 수 있다. 도 4의 (d)를 참조하면, 아웃라이어를 제외한 5개의 매칭 서브 블록들의 무게 중심으로 현재 영상 프레임에서의 추적 대상 표적의 추적점이 결정된다.Referring back to FIG. 2, the tracking point determiner 140 determines the tracking point of the target to be tracked in the current image frame by using the matching subblocks from which the outliers of the matching subblocks are removed. The tracking point can be determined, for example, by the center of gravity of the matching subblocks. Referring to FIG. 4D, the tracking point of the target to be tracked in the current image frame is determined based on the center of gravity of five matching subblocks except the outlier.

도 4는 본 발명의 일 실시예에 따라 추적 대상 표적의 추적점이 결정되는 모습의 예를 나타낸다. 도 4의 (a)는 기준 영상 프레임에서 복수 개의 서브 기준 블록들이 생성된 모습을 나타낸다. 도 4의 (b)를 참조하면, 각 서브 기준 블록 별로 매칭 서브 블록이 찾아진 모습이 도시되어 있다. 도 4의 (b)에서는 나무로 인하여 추적 대상 표적에 가림 현상이 발생하였고, 아웃라이어 제거부(130)에서 바깥쪽의 5개의 매칭 서브 블록은 아웃라이어로 판단되었다. 도 4의 (b)에 도시된 바와 같이, 이들 아웃라이어를 제외한 나머지 매칭 서브 블록들의 무게 중심으로 현재 영상 프레임에서의 추적점이 결정된다. 4 illustrates an example in which a tracking point of a target to be tracked is determined according to an embodiment of the present invention. 4 (a) shows a state in which a plurality of sub reference blocks are generated in a reference image frame. Referring to FIG. 4B, the matching subblocks are found for each sub-reference block. In FIG. 4 (b), the tracking target is blocked due to the tree, and the outer five matching sub-blocks in the outlier removing unit 130 are determined as the outliers. As shown in FIG. 4B, the tracking point in the current video frame is determined based on the center of gravity of the remaining matching subblocks except for the outliers.

도 5 및 도 6은 본 발명의 일 실시예에 따른 표적 추적 결과를 나타낸다.5 and 6 show target tracking results according to an embodiment of the present invention.

도 5를 참조하면, 추적 대상 표적을 포함하는 기준 블록이 6개의 서브 기준 블록으로 분할되고(a), 각 서브 기준 블록에 대한 매칭 서브 블록이 찾아져서(b, c) 표적 추적이 수행되는 모습이 도시된다. 도 5에 도시된 바와 같이, 추적 대상 표적의 크기가 상당히 변화하더라도 추적이 성공적으로 수행되었음을 확인할 수 있다.Referring to FIG. 5, a reference block including a target to be tracked is divided into six sub-reference blocks (a), and a matching sub-block is found for each sub-reference block (b, c) to perform target tracking. This is shown. As shown in FIG. 5, even if the size of the target to be tracked changes considerably, it can be confirmed that the tracking was successfully performed.

도 6을 참조하면, 추적 대상 표적을 포함하는 기준 블록이 15개의 서브 기준 블록으로 분할된다(a). (b)에서는 각 서브 기준 블록에 대하여 찾아진 매칭 서브 블록 중 2 개의 매칭 서브 블록이 아웃라이어로서 제거된 후 추적점이 결정된다. (c)에서는 매칭 서브 블록 중 4 개의 매칭 서브 블록이 아웃라이어로서 제거된 후 추적점이 결정된다. (c)에서는 4 개의 매칭 서브 블록이 아웃라이어로서 제거된 후 추적점이 결정된다.Referring to FIG. 6, a reference block including a target to be tracked is divided into 15 sub-reference blocks (a). In (b), the tracking point is determined after two matching subblocks among the matching subblocks found for each sub-reference block are removed as outliers. In (c), the tracking point is determined after four matching subblocks of the matching subblocks are removed as outliers. In (c), the tracking point is determined after four matching subblocks are removed as outliers.

도 7은 본 발명의 일 실시예에 따른 표적 추적 방법의 흐름도를 나타낸다. 본 발명의 일 실시예에 따른 표적 추적 방법은, 이상에서 설명한 표적 추적 장치(100)에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 표적 추적 장치(100)에 관하여 이상에서 기술된 내용은 본 발명의 일 실시예에 따른 표적 추적 방법에도 적용된다. 7 is a flowchart of a target tracking method according to an embodiment of the present invention. Target tracking method according to an embodiment of the present invention, it is composed of the steps that are processed in the target tracking device 100 described above. Therefore, even if omitted below, the above description of the target tracking device 100 is also applied to the target tracking method according to an embodiment of the present invention.

710단계에서, 표적 추적 장치(100)는 기준 영상 프레임과 현재 영상 프레임을 입력받는다. In operation 710, the target tracking device 100 receives a reference image frame and a current image frame.

720단계에서, 표적 추적 장치(100)는 기준 영상 프레임에서 추적 대상 표적을 포함하는 기준 블록 내에 복수 개의 서브 기준 블록들을 생성한다.In operation 720, the target tracking apparatus 100 generates a plurality of sub reference blocks in a reference block including a target to be tracked in a reference image frame.

730단계에서, 표적 추적 장치(100)는 블록 매칭 알고리즘을 이용하여 현재 영상 프레임에서 복수 개의 서브 기준 블록들 각각에 대응하는 매칭 서브 블록들을 찾는다.In operation 730, the target tracking apparatus 100 searches for matching subblocks corresponding to each of the plurality of sub-reference blocks in the current image frame by using a block matching algorithm.

740단계에서, 표적 추적 장치(100)는 매칭 서브 블록들 각각과 기준 영상 프레임에서의 추적 대상 표적의 추적점과의 거리를 기초로 매칭 서브 블록들 중 아웃라이어를 제거한다. In operation 740, the target tracking apparatus 100 removes an outlier among the matching subblocks based on the distance between each of the matching subblocks and the tracking point of the target to be tracked in the reference image frame.

750단계에서, 표적 추적 장치(100)는 아웃라이어가 제거된 매칭 서브 블록들을 이용하여 현재 영상 프레임에서 추적 대상 표적의 추적점을 결정한다. In operation 750, the target tracking apparatus 100 determines a tracking point of the target to be tracked in the current image frame using the matching subblocks from which the outliers are removed.

상술한 본 발명의 실시예에 따른 표적 추적 장치는 도 1에 도시된 바와 같은 장치의 각각의 유닛들에 커플링된 버스, 상기 버스에 결합된 적어도 하나의 프로세서를 포함할 수 있다. 또한, 명령, 수신된 메시지 또는 생성된 메시지를 저장하기 위해 상기 버스에 결합되어, 전술한 바와 같은 명령들을 수행하기 위한 적어도 하나의 프로세서에 커플링된 메모리를 포함할 수 있다. The target tracking device according to the embodiment of the present invention described above may include a bus coupled to respective units of the device as shown in FIG. 1, and at least one processor coupled to the bus. It may also include a memory coupled to the bus for storing instructions, received messages or generated messages and coupled to at least one processor for performing instructions as described above.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM,

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims (17)

(a) 기준 영상 프레임에서 추적 대상 표적을 포함하는 기준 블록 내에 복수 개의 서브 기준 블록들을 생성하는 단계;
(b) 블록 매칭 알고리즘을 이용하여 현재 영상 프레임에서 상기 복수 개의 서브 기준 블록들 각각에 대응하는 매칭 서브 블록들을 찾는 단계;
(c) 상기 매칭 서브 블록들 각각과 상기 기준 영상 프레임에서의 상기 추적 대상 표적의 추적점과의 거리를 기초로 상기 매칭 서브 블록들 중 아웃라이어(outlier)를 제거하는 단계; 및
(d) 상기 아웃라이어가 제거된 매칭 서브 블록들을 이용하여 상기 현재 영상 프레임에서 추적 대상 표적의 추적점을 결정하는 단계를 포함하는 것을 특징으로 하는 표적 추적 방법.
(a) generating a plurality of sub reference blocks in a reference block including a target to be tracked in the reference image frame;
(b) finding matching subblocks corresponding to each of the plurality of sub-reference blocks in a current image frame using a block matching algorithm;
(c) removing an outlier of the matching subblocks based on a distance between each of the matching subblocks and a tracking point of the target to be tracked in the reference image frame; And
and (d) determining a tracking point of a target to be tracked in the current image frame by using the matching subblocks from which the outliers are removed.
제1항에 있어서,
상기 (a) 단계는, 상기 기준 블록을 미리 결정된 크기로 분할하여 상기 서브 기준 블록들을 생성하는 것을 특징으로 하는 표적 추적 방법.
The method of claim 1,
In the step (a), the sub reference blocks are generated by dividing the reference block into a predetermined size.
제1항에 있어서,
상기 (a) 단계는, 상기 기준 블록 내의 영상에서 코너점들을 검출하고, 상기 코너점들 각각을 포함하는 미리 결정된 크기의 블록들을 상기 서브 기준 블록들로 생성하는 것을 특징으로 하는 표적 추적 방법.
The method of claim 1,
The step (a) of detecting the corner points in the image in the reference block, and the target tracking method, characterized in that for generating the blocks of a predetermined size including each of the corner points as the sub reference blocks.
제1항에 있어서,
상기 (a) 단계는, 상기 기준 블록 내의 영상에서 에지를 검출하고, 상기 에지를 따라서 미리 결정된 크기의 블록들을 생성하여 상기 서브 기준 블록들을 생성하는 것을 특징으로 하는 표적 추적 방법.
The method of claim 1,
In the step (a), detecting the edges in the image in the reference block, and generating the sub-reference blocks by generating blocks of a predetermined size along the edge.
제1항에 있어서,
상기 (c) 단계는, 각 매칭 서브 블록과 상기 기준 영상 프레임에서의 상기 추적점과의 거리를 구하고, 해당 거리가 임계치를 벗어나는 매칭 서브 블록을 상기 아웃라이어 판단하여 제거하는 것을 특징으로 하는 표적 추적 방법.
The method of claim 1,
In the step (c), the target tracking is obtained by obtaining a distance between each matching subblock and the tracking point in the reference video frame, and determining and removing the matching subblock whose distance is out of a threshold. Way.
제5항에 있어서,
상기 거리는 유클리디안 거리인 것을 특징으로 하는 표적 추적 방법.
The method of claim 5,
The distance is a Euclidean distance.
제5항에 있어서,
상기 거리는 마할라노비스 거리인 것을 특징으로 하는 표적 추적 방법.
The method of claim 5,
And said distance is a Mahalanobis distance.
제1항에 있어서,
상기 (d) 단계는 상기 아웃라이어가 제거된 매칭 서브 블록들의 무게 중심을 상기 추적점으로 결정하는 것을 특징으로 하는 표적 추적 방법.
The method of claim 1,
In the step (d), the center of gravity of the matching subblocks from which the outliers are removed is determined as the tracking point.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항 내지 제8항 중 어느 한 항에 기재된 표적 추적 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.





A computer-readable recording medium having recorded thereon a program for executing the target tracking method according to any one of claims 1 to 8.





KR1020110056182A 2011-06-10 2011-06-10 Target tracking method KR101180259B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110056182A KR101180259B1 (en) 2011-06-10 2011-06-10 Target tracking method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110056182A KR101180259B1 (en) 2011-06-10 2011-06-10 Target tracking method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020120065213A Division KR101284815B1 (en) 2012-06-18 2012-06-18 Target tracking apparatus

Publications (1)

Publication Number Publication Date
KR101180259B1 true KR101180259B1 (en) 2012-09-06

Family

ID=47073878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110056182A KR101180259B1 (en) 2011-06-10 2011-06-10 Target tracking method

Country Status (1)

Country Link
KR (1) KR101180259B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528847A (en) * 2020-12-08 2021-03-19 北京嘀嘀无限科技发展有限公司 Target detection method and device, electronic equipment and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100624469B1 (en) 2004-11-19 2006-09-15 삼성전자주식회사 Checker board having asymmetrical pattern, method and apparatus for calibrating images obtained from image acquisition apparatus using the same
KR100612585B1 (en) 1998-07-04 2007-04-25 엘지전자 주식회사 Head Mounted Display With Adjusting Devices Of Convergence Angle
JP2010244207A (en) 2009-04-02 2010-10-28 Univ Of Tokyo Moving object tracking device, moving object tracking method, and moving object tracking program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612585B1 (en) 1998-07-04 2007-04-25 엘지전자 주식회사 Head Mounted Display With Adjusting Devices Of Convergence Angle
KR100624469B1 (en) 2004-11-19 2006-09-15 삼성전자주식회사 Checker board having asymmetrical pattern, method and apparatus for calibrating images obtained from image acquisition apparatus using the same
JP2010244207A (en) 2009-04-02 2010-10-28 Univ Of Tokyo Moving object tracking device, moving object tracking method, and moving object tracking program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528847A (en) * 2020-12-08 2021-03-19 北京嘀嘀无限科技发展有限公司 Target detection method and device, electronic equipment and storage medium

Similar Documents

Publication Publication Date Title
US20230077355A1 (en) Tracker assisted image capture
US11836931B2 (en) Target detection method, apparatus and device for continuous images, and storage medium
JP7227145B2 (en) Hybrid tracker system and method for match move
EP2180695B1 (en) Apparatus and method for improving frame rate using motion trajectory
US10600190B2 (en) Object detection and tracking method and system for a video
US10540540B2 (en) Method and device to determine landmark from region of interest of image
EP2591460A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
KR101885839B1 (en) System and Method for Key point Selecting for Object Tracking
JP2005182830A (en) Robust estimation of camera pan vector by repeated use of center of mass
KR101033243B1 (en) Object tracking method and apparatus
WO2016120132A1 (en) Method and apparatus for generating an initial superpixel label map for an image
US10674178B2 (en) One-dimensional segmentation for coherent motion estimation
JP6507843B2 (en) Image analysis method and image analysis apparatus
KR101913648B1 (en) Method for tracking multiple objects
JP2010257267A (en) Device, method and program for detecting object area
KR101180259B1 (en) Target tracking method
KR101284815B1 (en) Target tracking apparatus
JP2009237846A (en) Information processor, information processing method, and computer program
JP2015225667A (en) Moving target detection method and moving target detection device
JP2013152537A (en) Information processing apparatus and method, and program
JP2006244074A (en) Moving object close-up frame detection method and program, storage medium storing program, moving object close-up shot detection method, moving object close-up frame or shot detection method and program, and storage medium storing program
JP5643147B2 (en) Motion vector detection apparatus, motion vector detection method, and motion vector detection program
US10713808B2 (en) Stereo matching method and system using rectangular window
JP6216192B2 (en) Motion estimation apparatus and program
CN114007134B (en) Video processing method, device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160707

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 7