Nothing Special   »   [go: up one dir, main page]

KR102434397B1 - 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법 - Google Patents

전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법 Download PDF

Info

Publication number
KR102434397B1
KR102434397B1 KR1020170086949A KR20170086949A KR102434397B1 KR 102434397 B1 KR102434397 B1 KR 102434397B1 KR 1020170086949 A KR1020170086949 A KR 1020170086949A KR 20170086949 A KR20170086949 A KR 20170086949A KR 102434397 B1 KR102434397 B1 KR 102434397B1
Authority
KR
South Korea
Prior art keywords
global motion
information
background
objects
tracking
Prior art date
Application number
KR1020170086949A
Other languages
English (en)
Other versions
KR20190009006A (ko
Inventor
문성원
이지원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170086949A priority Critical patent/KR102434397B1/ko
Priority to US15/942,753 priority patent/US10762659B2/en
Publication of KR20190009006A publication Critical patent/KR20190009006A/ko
Application granted granted Critical
Publication of KR102434397B1 publication Critical patent/KR102434397B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법에 관한 것으로, 검출된 영상에서 배경과 다중 객체를 분리하는 단계; 상기 배경이 분리된 다중 객체를 인식하는 단계; 상기 다중 객체가 지향하는 정보인 상기 인식된 다중 객체의 전역적 움직임 정보를 산출하는 단계; 및 상기 산출된 전역적 움직임 정보를 이용하여 상기 인식된 다중 객체를 보정하고 다중 객체를 추적하는 단계;를 포함한다.

Description

전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법{Real time multi-object tracking device and method by using global motion}
본 발명은 다중 객체 실시간 추적 방법에 관한 것으로, 더욱 상세하게는 다중 객체의 전역적 움직임 정보를 실시간 다중 객체의 추적에 적용함으로써, 다중 객체의 움직임 추적 시 다중 객체 추적에 대한 정확성을 향상시킬 수 있는 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법에 관한 것이다.
기존의 객체추적 기술은 다수의 저성능 학습기를 복합적으로 이용하는 온라인 학습 방식을 사용하는 방식(선행기술 논문명 Visual tracking with online multiple instance learning, CVPR 2009)과 코릴레이션 필터를 활용한 객체추적 방식(선행기술 논문명 High-speed tracking with kernelized correlation filters, IEEE Trans on Pattern Analysis and Machine Intelligence 2014)을 사용하고 있다.
이와 같은 기존 객체추적 기술들은 단일 객체 추적에 대한 연구 위주로 이루어져 있음에 따라 단일 객체 추적에 뛰어난 성능을 보인다.
즉, 기존 객체추적 기술은 객체의 엣지 포인트를 검출하는 방법을 통해 객체를 추적하기 때문에 다중 객체 추적에 활용할 경우, 일정한 방향성을 가지는 다중 객체에 대해서만 객체 추적이 가능하다.
그리고, 기존 객체추적 기술은 객체의 에지 포인트를 검출하는 방법을 이용하고 있기 때문에 객체의 크기가 작은 경우, 유니폼과 같이 매우 유사한 모습을 취하고 있는 경우, 또는 역동적으로 빠르게 일정한 방향성을 가지지 않고 움직이는 스포츠 영상 내 객체의 경우에는 다중 객체를 실시간으로 추적하기에 적합하지 않은 문제점이 있다.
그리고 종래 객체추적 기술 중 딥러닝(Deep Learning)을 기반으로 하는 장면인식(선행기술 논문명 ImageNet classification with deep convolutional neural networks, NIPS 2012), 얼굴인식(선행기술 논문명 Deepface : closing the gap to human-level performance in face verification, CVPR 2014) 기술은 정지영상에 대해서는 사람의 인식 수준과 유사한 성능에 도달하였으나, 잦은 가려짐 현상과 유사한 외형을 가지는 스포츠 경기 영상에 실시간으로 적용하기에는 학습데이터 확보의 어려움, 속도/인식 성능 향상 등 풀 문제가 많다.
따라서 이러한 문제점을 극복하고 실시간 동작이 가능한 스포츠 경기 내 다중 객체추적 방법이 필요하다.
이를 위해 먼저 경기장 내 다양한 조건(조명 변화 및 잡음 등)에 강인한 배경 분리 방법과, 검출된 전경 영역을 바탕으로 가려짐 및 유사 외형에 강인한 객체 인식을 통한 객체추적 방법이 필요하며, 기존 기술의 한계극복을 위한 전역적 움직임에 대한 고려가 필요하다.
본 발명은 상기와 같은 종래 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 전역적 움직임 정보를 산출하고 산출된 전역적 움직임 정보를 객체 인식 및 추적에 적용함으로써, 다중 객체의 동적 움직임이 활발한 영상에서 다중 객체를 실시간으로 추적할 수 있는 객체 추적 장치 및 방법을 제공하고자 하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전역적 움직임 기반의 실시간 다중 객체 추적 장치는 검출된 영상에서 배경과 다중 객체를 분리하는 단계; 상기 배경이 분리된 다중 객체를 인식하는 단계; 상기 인식된 다중 객체의 전역적 움직임 정보를 산출하는 단계; 및 상기 산출된 전역적 움직임 정보를 이용하여 상기 인식된 다중 객체를 보정하고 다중 객체를 추적하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 전역적 움직임 기반의 실시간 다중 객체 추적 방법은 검출된 영상에서 배경과 다중 객체를 분리하는 배경 분리부; 상기 배경이 분리된 다중 객체를 인식하는 객체 인식부; 상기 인식된 다중 객체의 전역적 움직임 정보를 산출하는 전역적 정보 산출부; 및 상기 산출된 전역적 움직임 정보를 이용하여 상기 인식된 다중 객체를 보정하고 다중 객체를 추적하는 객체 추적부;를 포함한다.
본 발명에 따르면, 다중 객체로 이루어진 영상에서 다중 객체의 실시간 추적 시, 전역적 움직임을 통해 다중 객체를 보정하고, 이를 바탕으로 다중 객체를 검출함으로써, 영상 내 다중 객체를 실시간으로 추적할 수 있는 효과가 있다.
이러한, 본 발명의 일 실시예에 따르면, 객체 간 잦은 가려짐이나 위치가 변경에 의해 실시간 객체 추적이 용이하지 않는 다중 객체가 포함된 스포츠 경기 영상에서도 다중 객체를 실시간으로 추적할 수 있는 효과가 있다.
이를 통해 스포츠 경기에 대한 객관적 분석의 기반기술이 되어 스포츠 경기 전체의 수준이 향상될 수 있으며, 체계적인 팀 관리 및 경쟁력 분석 등에 도움이 될 것으로 기대된다.
또한, 급격히 성장하고 있는 스포츠 영상 분석 시장에서의 기술적 경쟁력을 갖춤으로써 사업적 파급 효과도 클 것으로 판단되며, 선수 별 정량적 정보를 영상과 함께 제공할 수 있는 시스템 개발이 가능하기 때문에 사용자들의 시청 경험 향상에도 크게 도움이 될 것으로 예상된다.
도 1은 본 발명의 일 실시예에 따른 전역적 움직임 기반의 실시간 다중 객체 추적 장치를 설명하기 위한 기능블럭도.
도 2 및 도 3은 본 발명의 일 실시예에서 객체 인식부를 설명하기 위한 참고도.
도 4는 본 발명의 일 실시예에 따른 전역적 움직임 기반의 실시간 다중 객체 추적 방법을 설명하기 위한 순서도.
도 5는 본 발명의 일 실시예에 채용된 배경과 다중 객체를 분리하는 단계의 세부 단계를 설명하기 위한 순서도.
도 6은 본 발명의 일 실시예에 채용된 다중 객체를 인식하는 단계(S200)의 세부 단계를 설명하기 위한 순서도.
도 7은 본 발명의 일 실시예에 채용된 다중 객체를 추적하는 단계(S400)의 세부 단계를 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 전역적 움직임 기반의 실시간 다중 객체 추적 장치를 설명하기 위한 기능블럭도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전역적 움직임 기반의 실시간 다중 객체 추적 장치는 배경 분리부(100), 객체 인식부(200), 전역적 정보 산출부(300) 및 객체 추적부(400)를 포함한다.
배경 분리부(100)는 현재 프레임에서 배경과 다중 객체를 분리한다. 본 발명의 일 실시예에 채용된 배경 분리부(100)는 하기의 [수학식 1]을 통해 배경과 다중 객체를 분리한다.
[수학식 1]
Figure 112017065523597-pat00001
여기서 G는 가우시안 필터를 의미하고,
Figure 112017065523597-pat00002
는 Canny 에지 검출기를 의미하며, n은 프레임 번호를 나타내고, X는 픽셀의 좌표를 나타낸다.
그리고 객체 인식부(200)는 배경 분리부(100)를 통해 현재 프레임에서 배경이 분리된 다중 객체를 인식한다.
또한, 전역적 정보 산출부(300)는 인식된 다중 객체를 통해, 다중 객체들이 지향하는 정보인 전역적 움직임 정보를 산출한다.
그리고 객체 추적부(400)는 상기 산출된 전역적 움직임 정보를 이용하여 상기 인식된 다중 객체를 보정하고 다중 객체를 추적한다.
이러한, 본 발명의 일 실시예에 따르면, 단일 객체를 추적하는 종래의 방식에서와 달리 전역적 움직임 정보로 다중 객체를 보정함으로써, 다중 객체의 추적 성능을 향상시킬 수 있는 장점이 있다.
한편, 본 발명의 일 실시예에 채용된 배경 분리부(100)는 하기의 [수학식 2] 및 [수학식 3]을 통해 배경과 다중 객체를 분리하게 된다.
[수학식 2]
Figure 112017065523597-pat00003
여기서
Figure 112017065523597-pat00004
와
Figure 112017065523597-pat00005
는 각각 매 프레임에서 구한 Canny 에지 값이 1인 픽셀 위치와 이전 프레임에서 구한 동적 에지(즉,
Figure 112017065523597-pat00006
) 값이 1인 픽셀 위치를 의미하며,
Figure 112017065523597-pat00007
는 거리 제한을 위한 임계값이며, n은 프레임 번호이다.
[수학식 3]
Figure 112017065523597-pat00008
여기서,
Figure 112017065523597-pat00009
은 현재 프레임에서의 객체이고,
Figure 112017065523597-pat00010
는 동적 에지,
Figure 112017065523597-pat00011
는 배경 검출 결과이다.
즉, 배경 분리부(100)는, 픽셀의 밝기값을 사용하는 우도함수 기반으로 배경과 객체를 분리하고, 동적 에지를 통해 배경과 객체를 분리한다.
이후, 배경 분리부(100)는 동적 에지를 통해 분리된 객체가 상기 우도함수를 기반으로 분리된 배경에 포함되어 있으면, 동적 에지를 통해 객체로 판단된 영역을 상기 우도함수 기반으로 분리된 배경에서 분리한다.
따라서, 종래 픽셀 밝기 값을 사용하는 우도함수 기반의 배경분리만을 이용할 경우, 객체의 움직임이 부족하거나 순간적으로 정지됨으로써 객체의 일부가 배경으로 처리되는 문제점이 있는데 반해, 본 발명의 일 실시예에 채용된 배경 분리부에 따르면, 일시적으로 정지하는(예를 들어, 선수가 잠시 서있는 경우 등) 객체들까지도 정확히 검출할 수 있도록, 프레임에서 검출되는 정적(Static) Canny 에지 영역을 전경 영역에 포함함으로써, 객체의 움직임이 부족하거나 순간적으로 정지됨으로써 배경으로 처리되는 문제를 해결할 수 있는 장점이 있다.
한편, 본 발명의 일 실시예에 채용된 객체 인식부(200)는 도 2에 도시된 바와 같이, 객체 중심 좌표 정보(p), 색상 정보(c), 속도 정보(v), 크기 정보(s) 중 적어도 하나 이상의 정보를 통해 지지 윈도우 영역(S)를 설정할 수 있다.
그리고 본 발명의 일 실시예에 채용된 객체 인식부(200)는, 객체 중심 좌표 정보로부터 근접 공간 내 연결성분(CCA)의 최소, 최대 좌표를 이용하여 지지 윈도우 영역(S)의 크기를 설정한다.
이후, 객체 인식부(200)는 도 3에 도시된 바와 같이, 설정된 지지 윈도우 영역(S)에 대하여 다중 스케일을 이용한 샘플링을 수행하며, 설정된 지지 윈도우 영역(S)의 이미지 블록 내 정보를 이용하여 각 객체와의 유사도를 판별함으로써 객체(O)를 인식한다.
이와 같이, 본 발명의 일 실시예에 채용된 객체 인식부에 따르면, 다중 객체 추적 시, 지지 윈도우 영역(S)을 설정함으로써 객체 인식 속도 및 갱신 속도를 향상시킬 수 있는 장점이 있다.
그리고 본 발명의 일 실시예에 채용된 객체 추적부(400)는, 상기 다중 객체를 인식하는 단계에서의 객체 중심 좌표 정보를 통해 이전 프레임(n-1)과 현재 프레임(n)에서 검출된 모든 객체의 움직임 정보를 획득하고, 획득한 모든 객체의 움직임 정보를 통해 전역적 움직임 정보를 산출하고, 산출된 전역적 움직임 정보를 각 객체에 보정하여 각 객체 위치 추정에 적용함으로써, 다중 객체의 실시간 추적 효율을 높여줄 수 있다.
이러한, 객체 추적부(400)는 하기의 [수학식 4]를 이용하여 전역적 움직임 정보를 산출할 수 있다.
[수학식 4]
Figure 112017065523597-pat00012
여기서.
Figure 112017065523597-pat00013
는 객체의 전역적 움직임 정보이고,
Figure 112017065523597-pat00014
은 객체의 총 개수이며, P는 객체의 포인트 좌표값이고, n은 프레임 값이다.
즉, 전역적 움직임 정보는 모든 객체 움직임의 평균값을 전역적 움직임으로 정의하고, 이를 각 객체 위치 추정에 적용함으로써 강인한 객체 인식을 수행할 수 있다.
이와 같이, 본 발명의 일 실시예에 채용된 객체 추적부에 따르면, 전역적 움직임 정보를 다중 객체 인식 및 추적에 적용함으로써, 객체 추적 속도를 상향시킬 수 있을 뿐만 아니라, 객체 인식 및 추적의 정확성을 높여줄 수 있는 장점이 있다.
한편, 본 발명의 일 실시예에 채용된 객체 추적부(400)는 온라인 보간법을 이용하여 객체의 중심 좌표, 움직임 속도, 크기 및 색상 정보를 갱신할 수도 있다. 이와 같이, 온라인 보간법을 이용하여 객체의 중심 좌표, 움직임 속도, 크기 및 색상 정보를 갱신하게 되면, 객체 인식부(200)를 통해 인식한 객체에 대하여 이후 프레임에서도 지속적으로 인식할 수 있다.
이하, 하기에서는 본 발명의 일 실시예에 따른 전역적 움직임 기반의 실시간 다중 객체 추적 방법에 대하여 도 4를 참조하여 설명하기로 한다.
본 발명의 일 실시예에 따른 전역적 움직임 기반의 실시간 다중 객체 추적 방법은 하나의 프로세서에 의해 각 단계가 수행될 수도 있으나, 각 단계가 독립된 프로세서에 의해 각각 수행될 수도 있다.
도 4에 도시된 바와 같이, 현재 프레임으로부터 배경과 다중 객체를 분리한다(S100). 상기의 [수학식 1]을 통해 배경과 다중 객체를 분리한다.
이어서, 현재 프레임에서 배경이 분리된 다중 객체를 인식한다(S200).
이후, 상기 인식된 다중 객체가 지향하는 정보인 다중 객체의 전역적 움직임 정보를 산출한다(S300). 본 실시예에서의 전역적 움직임 정보는 다중 객체의 방향 및 거리의 평균 값을 의미한다.
이어서, 상기 산출된 전역적 움직임 정보를 이용하여 상기 인식된 다중 객체를 보정하고 다중 객체를 추적한다(S400).
이러한, 본 발명의 일 실시예에 따르면, 단일 객체를 추적하는 종래의 방식에서와 달리 전역적 움직임 정보로 다중 객체를 보정함으로써, 다중 객체의 추적 성능을 향상시킬 수 있는 장점이 있다.
도 5는 본 발명의 일 실시예에 채용된 배경과 다중 객체를 분리하는 단계의 세부 단계를 설명하기 위한 순서도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 채용된 배경과 다중 객체를 분리하는 단계(S100)는 하기의 [수학식 2] 및 [수학식 3]을 통해 배경과 다중 객체를 분리하게 된다.
픽셀의 밝기값을 사용하는 우도함수 기반으로 현재 프레임의 배경과 객체를 분리한다(S110).
그리고 동적 에지를 통해 현재 프레임의 배경과 객체를 분리한다(S120).
이어서, 상기 우도함수를 통해 분리된 배경과 상기 동적 에지를 통해 분리된 배경을 비교한다(S130)
상기 비교단계(S130)에서 동적 에지를 통해 객체로 판단된 객체를 상기 우도함수를 통해 분리된 배경에서 분리한다(S140).
따라서, 종래 픽셀 밝기 값을 사용하는 우도함수 기반의 배경분리만을 이용할 경우, 객체의 움직임이 부족하거나 순간적으로 정지됨으로써 배경으로 처리되는 문제점이 있는데 반해, 본 발명의 일 실시예에 따르면, 일시적으로 정지하는(예를 들어, 선수가 잠시 서있는 경우 등) 객체들까지도 정확히 검출할 수 있도록, 프레임에서 검출되는 정적(Static) Canny 에지 영역을 전경 영역에 포함함으로써, 객체의 움직임이 부족하거나 순간적으로 정지됨으로써 배경으로 처리되는 문제를 해결할 수 있는 장점이 있다.
도 6은 본 발명의 일 실시예에 채용된 다중 객체를 인식하는 단계(S200)의 세부 단계를 설명하기 위한 순서도이다.
도 6에 도시된 바와, 같이, 객체 중심 좌표 정보로부터 근접 공간 내 연결성분(CCA)의 최소, 최대 좌표를 이용하여 지지 윈도우 영역을 설정한다(S210).
이어서, 설정된 지지 윈도우 영역에 대하여 다중 스케일을 이용한 샘플링을 수행한다(S220).
이후, 설정된 지지 윈도우 영역의 이미지 블록 내 정보를 이용하여 각 객체와의 유사도를 판별하고, 객체를 인식한다(S230).
이와 같이, 본 발명의 일 실시예에 따르면, 다중 객체 추적 시, 지지 윈도우 영역(S)을 설정함으로써 객체 인식 속도 및 갱신 속도를 향상시킬 수 있는 장점이 있다.
한편, 본 발명의 일 실시예에 채용된 다중 객체를 인식하는 단계(S200)는 도 2에 도시된 바와 같이, 객체 중심 좌표 정보(p), 색상 정보(c), 속도 정보(v), 크기 정보(s) 중 적어도 하나 이상의 정보를 통해 지지 윈도우 영역(S)를 설정할 수 있다.
도 7은 본 발명의 일 실시예에 채용된 다중 객체를 추적하는 단계(S400)의 세부 단계를 설명하기 위한 순서도이다.
도 7에 도시된 바와 같이, 반면에 본 발명의 일 실시예에 채용된 다중 객체를 추적하는 단계(S400)는, 상기 다중 객체를 인식하는 단계(S200)에서의 객체 중심 좌표 정보를 통해 이전 프레임과 현재 프레임에서 검출된 모든 객체의 움직임 정보를 획득(S410)하고 전역적 움직임 정보를 산출(S420)하며, 산출된 전역적 움직임 정보를 각 객체에 보정하여 각 객체 위치 추정에 적용(S430)하는 것이 바람직하다.
이러한 본 발명의 일 실시예에 따르면, 다중 객체를 인식하는 단계에서의 객체 중심 좌표 정보를 통해 이전 프레임(n-1)과 현재 프레임(n)에서 검출된 모든 객체의 움직임 정보를 획득하고, 획득한 모든 객체의 움직임 정보를 통해 전역적 움직임 정보를 산출하고, 산출된 전역적 움직임 정보를 각 객체에 보정하여 각 객체 위치 추정에 적용함으로써, 다중 객체의 실시간 추적 효율을 높여줄 수 있다.
한편, 상기 다중 객체를 추적하는 단계(S400)는, 온라인 보간법을 이용하여 객체의 중심 좌표, 움직임 속도, 크기 및 색상 정보를 갱신할 수도 있다. 이와 같이, 온라인 보간법을 이용하여 객체의 중심 좌표, 움직임 속도, 크기 및 색상 정보를 갱신하게 되면, 객체 인식부(200)를 통해 인식한 객체에 대하여 이후 프레임에서도 지속적으로 인식할 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
100 : 배경 분리부 200 : 객체 인식부
300 : 전역적 정보 산출부 400 : 객체 추적부

Claims (16)

  1. 현재 검출된 영상에서 배경과 다중 객체를 분리하는 단계;
    상기 배경이 분리된 다중 객체를 인식하는 단계;
    상기 다중 객체가 지향하는 정보인 상기 인식된 다중 객체의 전역적 움직임 정보를 산출하는 단계; 및
    상기 산출된 전역적 움직임 정보를 이용하여 상기 인식된 다중 객체를 보정하고 다중 객체를 추적하는 단계;를 포함하되,
    상기 배경과 다중 객체를 분리하는 단계는,
    우도함수 기반으로 현재 프레임의 배경과 객체를 분리하는 단계;
    동적 에지를 통해 현재 프레임의 배경과 객체를 분리하는 단계;
    상기 동적 에지를 통해 분리된 객체가 상기 우도함수를 기반으로 분리된 배경에 포함되어 있는지를 판단하는 단계; 및
    상기 판단단계에서 상기 동적 에지를 통해 분리된 객체가 상기 우도함수를 기반으로 분리된 배경에 포함되어 있으면, 동적 에지를 통해 객체로 판단된 영역을 상기 우도함수 기반으로 분리된 배경에서 분리하는 단계;를 포함하는 전역적 움직임 기반의 실시간 다중 객체 추적 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 다중 객체를 인식하는 단계는,
    객체 중심 좌표 정보로부터 지지 윈도우 영역을 설정하는 단계;
    설정된 지지 윈도우 영역에 대하여 다중 스케일을 이용한 샘플링을 수행하는 단계; 및
    설정된 지지 윈도우 영역의 이미지 블록 내 정보를 이용하여 각 객체와의 유사도를 판별하고, 객체를 인식하는 단계;를 더 포함하는 전역적 움직임 기반의 실시간 다중 객체 추적 방법.
  4. 제 3항에 있어서,
    상기 지지 윈도우 영역을 설정하는 단계는,
    근접 공간 내 연결성분(CCA)의 최소, 최대 좌표를 이용하는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 방법.
  5. 제 1항에 있어서,
    상기 전역적 움직임을 산출하는 단계는,
    다중 객체의 방향 및 거리의 평균 값을 통해 전역적 움직임 정보를 산출하는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 방법.
  6. 제 1항에 있어서,
    상기 다중 객체를 인식하는 단계는,
    객체 중심 좌표 정보, 색상 정보, 속도 정보, 크기 정보 중 적어도 하나 이상의 정보를 통해 객체가 인식되는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 방법.
  7. 제 1항에 있어서,
    상기 다중 객체를 추적하는 단계는,
    상기 다중 객체를 인식하는 단계에서의 객체 중심 좌표 정보를 통해 이전 프레임과 현재 프레임에서 검출된 모든 객체의 움직임 정보를 획득하고 전역적 움직임 정보를 산출하고, 산출된 전역적 움직임 정보를 각 객체에 보정하여 각 객체 위치 추정에 적용하는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 방법.
  8. 제 1항에 있어서,
    상기 다중 객체를 추적하는 단계는,
    온라인 보간법을 이용하여 객체의 중심 좌표, 움직임 속도, 크기 및 색상 정보를 갱신하는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 방법.
  9. 검출된 영상에서 배경과 다중 객체를 분리하는 배경 분리부;
    상기 배경이 분리된 다중 객체를 인식하는 객체 인식부;
    상기 다중 객체가 지향하는 정보인 상기 인식된 다중 객체의 전역적 움직임 정보를 산출하는 전역적 정보 산출부; 및
    상기 산출된 전역적 움직임 정보를 이용하여 상기 인식된 다중 객체를 보정하고 다중 객체를 추적하는 객체 추적부;를 포함하되
    상기 배경 분리부는,
    픽셀의 밝기값을 사용하는 우도함수 기반으로 현재 프레임의 배경과 객체를 분리하고, 동적 에지를 통해 현재 프레임의 배경과 객체를 분리하며, 상기 동적 에지를 통해 분리된 객체가 상기 우도함수를 기반으로 분리된 배경에 포함되어 있으면, 동적 에지를 통해 객체로 판단된 영역을 상기 우도함수 기반으로 분리된 배경에서 분리하는 전역적 움직임 기반의 실시간 다중 객체 추적 장치.
  10. 삭제
  11. 제 9항에 있어서,
    상기 객체 인식부는,
    객체 중심 좌표 정보로부터 지지 윈도우 영역을 설정하고, 설정된 지지 윈도우 영역에 대하여 다중 스케일을 이용한 샘플링을 수행하며, 설정된 지지 윈도우 영역의 이미지 블록 내 정보를 이용하여 각 객체와의 유사도를 판별하고, 객체를 인식하는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 장치.
  12. 제 11항에 있어서,
    상기 객체 인식부는,
    근접 공간 내 연결성분(CCA)의 최소, 최대 좌표를 이용하는 지지 윈도우 영역을 설정하는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 장치.
  13. 제 9항에 있어서,
    상기 객체 인식부는,
    객체 중심 좌표 정보, 색상 정보, 속도 정보, 크기 정보 중 적어도 하나 이상의 정보를 통해 객체가 인식되는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 장치.
  14. 제 9항에 있어서,
    상기 전역적 정보 산출부는,
    다중 객체의 방향 및 거리의 평균 값을 통해 전역적 움직임 정보를 산출하는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 장치.
  15. 제 9항에 있어서,
    상기 객체 추적부는,
    상기 다중 객체를 인식하는 단계에서의 객체 중심 좌표 정보를 통해 이전 프레임과 현재 프레임에서 검출된 모든 객체의 움직임 정보를 획득하고 전역적 움직임 정보를 산출하고, 산출된 전역적 움직임 정보를 각 객체에 보정하여 각 객체 위치 추정에 적용하는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 장치.
  16. 제 9항에 있어서,
    상기 객체 추적부는,
    온라인 보간법을 이용하여 객체의 중심 좌표, 움직임 속도, 크기 및 색상 정보를 갱신하는 것인 전역적 움직임 기반의 실시간 다중 객체 추적 장치.
KR1020170086949A 2017-07-10 2017-07-10 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법 KR102434397B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170086949A KR102434397B1 (ko) 2017-07-10 2017-07-10 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
US15/942,753 US10762659B2 (en) 2017-07-10 2018-04-02 Real time multi-object tracking apparatus and method using global motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170086949A KR102434397B1 (ko) 2017-07-10 2017-07-10 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190009006A KR20190009006A (ko) 2019-01-28
KR102434397B1 true KR102434397B1 (ko) 2022-08-22

Family

ID=64903319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170086949A KR102434397B1 (ko) 2017-07-10 2017-07-10 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US10762659B2 (ko)
KR (1) KR102434397B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948582B (zh) * 2019-03-28 2021-03-02 湖南大学 一种基于跟踪轨迹分析的车辆逆行智能检测方法
KR102079121B1 (ko) * 2019-10-30 2020-02-19 주식회사 뉴로메카 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체
CN111241965A (zh) * 2020-01-06 2020-06-05 重庆邮电大学 一种基于多示例学习进行遮挡检测的目标跟踪方法
CN112070802B (zh) * 2020-09-02 2024-01-26 合肥英睿系统技术有限公司 一种目标跟踪方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196639A1 (en) 2013-09-16 2016-07-07 Sk Telecom Co., Ltd. Apparatus and method for image stabilization using image blur correction
US20160267325A1 (en) * 2015-03-12 2016-09-15 Qualcomm Incorporated Systems and methods for object tracking
US20180270454A1 (en) 2014-12-18 2018-09-20 Zte Corporation Video monitoring method and device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5465657B2 (ja) 2007-03-26 2014-04-09 トムソン ライセンシング 色分割および形状解析によってサッカービデオの関心対象を検出するための方法と装置
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
KR101355974B1 (ko) 2010-08-24 2014-01-29 한국전자통신연구원 복수의 객체를 추적하는 객체 추적 방법 및 장치
KR101749099B1 (ko) 2012-04-25 2017-07-04 한국전자통신연구원 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
KR20140061266A (ko) 2012-11-11 2014-05-21 삼성전자주식회사 다중 경로 궤적 분석을 이용한 영상 객체 추적 방법 및 장치
US8983152B2 (en) * 2013-05-14 2015-03-17 Google Inc. Image masks for face-related selection and processing in images
KR20150053438A (ko) * 2013-11-08 2015-05-18 한국전자통신연구원 스테레오 매칭 시스템과 이를 이용한 시차 맵 생성 방법
KR102085035B1 (ko) * 2014-09-29 2020-03-05 에스케이 텔레콤주식회사 객체 인식을 위한 객체 후보영역 설정방법 및 장치
US9449230B2 (en) 2014-11-26 2016-09-20 Zepp Labs, Inc. Fast object tracking framework for sports video recognition
KR102359083B1 (ko) * 2015-06-02 2022-02-08 에스케이하이닉스 주식회사 움직이는 객체 검출 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196639A1 (en) 2013-09-16 2016-07-07 Sk Telecom Co., Ltd. Apparatus and method for image stabilization using image blur correction
US20180270454A1 (en) 2014-12-18 2018-09-20 Zte Corporation Video monitoring method and device
US20160267325A1 (en) * 2015-03-12 2016-09-15 Qualcomm Incorporated Systems and methods for object tracking

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dorra Riahi 등, Online multi-object tracking by detection based on generative appearance models, Computer Vision and Image Understanding(2016.08.11.)*

Also Published As

Publication number Publication date
US20190012800A1 (en) 2019-01-10
US10762659B2 (en) 2020-09-01
KR20190009006A (ko) 2019-01-28

Similar Documents

Publication Publication Date Title
US11302315B2 (en) Digital video fingerprinting using motion segmentation
US12067173B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US11450146B2 (en) Gesture recognition method, apparatus, and device
US10769480B2 (en) Object detection method and system
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
CN110008867B (zh) 一种基于人物异常行为的预警方法、装置及存储介质
CN105631399B (zh) 用于体育视频识别的快速对象跟踪框架
Yang et al. Robust superpixel tracking
KR100818289B1 (ko) 비디오 영상 트레킹 방법 및 장치
CN107564034A (zh) 一种监控视频中多目标的行人检测与跟踪方法
CN108537212B (zh) 基于运动估计的学生行为检测方法
KR102434397B1 (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
US20130070105A1 (en) Tracking device, tracking method, and computer program product
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
CN103971386A (zh) 一种动态背景场景下的前景检测方法
Chen et al. Using FTOC to track shuttlecock for the badminton robot
CN107437257A (zh) 一种移动背景下的运动物体检测与分割方法
CN106934818B (zh) 一种手部运动跟踪方法及系统
Ma et al. Depth assisted occlusion handling in video object tracking
CN118864537B (zh) 一种视频监控中运动目标的跟踪方法、装置和设备
CN111563912B (zh) 一种行人追踪系统和方法
Hosono et al. Unsupervised Object Proposal Using Depth Boundary Density and Density Uniformity
CN117670931A (zh) 基于计算机视觉的多摄像头多目标跟踪方法及装置
TW202504327A (zh) 偵測場景之一或多個遮蔽區域之方法及非暫態電腦可讀儲存媒體
Liang et al. 3D Ball Motion and Relative Position Feature Based Real-time Start Scene Detection for Volleyball Game Analysis on GPU

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170710

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200526

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170710

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220105

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220621

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220816

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220817

End annual number: 3

Start annual number: 1

PG1601 Publication of registration