Nothing Special   »   [go: up one dir, main page]

JP2020515974A - 歩行者追跡の方法および電子デバイス - Google Patents

歩行者追跡の方法および電子デバイス Download PDF

Info

Publication number
JP2020515974A
JP2020515974A JP2019553258A JP2019553258A JP2020515974A JP 2020515974 A JP2020515974 A JP 2020515974A JP 2019553258 A JP2019553258 A JP 2019553258A JP 2019553258 A JP2019553258 A JP 2019553258A JP 2020515974 A JP2020515974 A JP 2020515974A
Authority
JP
Japan
Prior art keywords
box
tracked
detection
whole body
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019553258A
Other languages
English (en)
Other versions
JP6847254B2 (ja
Inventor
怡 ▲楊▼
怡 ▲楊▼
茂林 ▲陳▼
茂林 ▲陳▼
▲剣▼▲輝▼ 周
▲剣▼▲輝▼ 周
博 白
博 白
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2020515974A publication Critical patent/JP2020515974A/ja
Application granted granted Critical
Publication of JP6847254B2 publication Critical patent/JP6847254B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明の実施形態は、歩行者追跡の方法および電子デバイスを提供する。この方法は、検出期間内に、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを取得することと、追跡されるべき歩行者の検出期間全身ボックスを、上半身検出ボックスに基づき取得することと、追跡期間内に、検出期間全身ボックスに基づき、上半身追跡ボックスに対応する追跡期間全身ボックスを取得することとを含む。追跡されるべき歩行者は、追跡期間全身ボックスを使用することによって追跡され得ることがわかる。検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、これらの実施形態において示されている方法を使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。

Description

本出願は、全体が参照により本明細書に組み込まれている、2017年3月31日に中国特許庁に出願した中国特許出願第201710208767.7号、名称「PEDESTRIAN TRACKING METHOD AND ELECTRONIC DEVICE」の優先権を主張するものである。
本発明は、通信技術の分野に関するものであり、具体的には、歩行者追跡の方法および電子デバイスに関するものである。
安全な都市を構築する歴史的背景において、インテリジェント型ビデオ分析システムの関与は大きくなりつつある。作業効率を大きく改善し、人件費を大幅に低減するために、インテリジェント型ビデオ分析システムが、大量のビデオデータの中の歩行者を自動的にインテリジェントに分析する、たとえば、歩行者のモーション軌跡を計算する、制限領域内の異常な歩行者進入を検出する、道路上の歩行者を自動的に検出し、歩行者を回避するよう運転者に注意する、画像ベースの画像検索を通じて警察が犯罪容疑者を捜索するのを助ける、ことを行う必要がある。
大量のビデオデータから歩行者を自動的に抽出するために、歩行者検出および追跡アルゴリズムが使用される必要がある。歩行者検出は、画像を入力し、検出アルゴリズムを使用することによって画像内の歩行者を自動的に見つけ、矩形ボックスの形態の中に歩行者の配置を提供することを指す。矩形ボックスは、歩行者の検出ボックスと称される。歩行者はビデオ内で動いているので、ビデオ内の各フレームの中の歩行者の配置を取得するために歩行者追跡アルゴリズムを使用することによって歩行者が追跡される必要がある。この配置は、また、矩形ボックスの一形態で提供され、矩形ボックスは、歩行者の追跡ボックスと称される。
従来技術における不利点は、次のとおりである。1.検出ボックスは十分に正確ではない。歩行者の検出ボックスの縦横比は固定されており、歩行者の全身が検出される。したがって、歩行者が異常な姿勢で出現する、たとえば、脚が広く開いている、したがって縦横比が大きくなっているときに、縦横比が固定されている歩行者の検出ボックスは、十分に正確ではない。2.検出ボックスおよび追跡ボックスは、歩行プロセスに入っている歩行者の姿勢の変化を捕捉できない。歩行者はビデオ内で動いているので、歩行者の姿勢は、歩行プロセスにおいて大きく変化し得る。この変化は、ビデオ画像内の歩行者の最小限界矩形ボックスの縦横比の変化として現れる。歩行プロセスに入っている歩行者の姿勢の変化は、縦横比が固定されている検出ボックスおよび追跡ボックスに基づいては捕捉できない。
本発明は、歩行追跡の方法および電子デバイスを提供するものであり、したがって、追跡は、追跡されるべき歩行者の姿勢の変化に関係なく正確に実装され得る。
本発明の実施形態の第1の態様は、次のステップを含む、歩行者追跡の方法を提供する。
ステップA:追跡されるべきビデオの検出期間および追跡期間を決定する。
任意選択で、検出期間は追跡期間に含まれ、検出期間の持続時間は追跡期間の持続時間より短い。
任意選択で、この実施形態において示されている検出期間は追跡期間に含まれ得ず、検出期間は追跡期間の前であり、検出期間の持続時間は追跡期間の持続時間より短い。
ステップB:追跡されるべき歩行者の上半身検出ボックスを取得する。
具体的には、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスは、検出期間内に取得される。
より具体的には、ターゲット画像フレームが最初に決定され、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームである。
ターゲット画像フレームが決定されたときに、上半身検出ボックスは、ターゲット画像フレーム内で取得され得る。
ステップC:追跡されるべき歩行者の検出期間全身ボックスを取得する。
具体的には、追跡されるべき歩行者の検出期間全身ボックスは、上半身検出ボックスに基づき取得される。
ステップD:追跡されるべき歩行者の上半身追跡ボックスを取得する。
具体的には、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身追跡ボックスは、追跡期間内に取得される。
この実施形態において、検出期間内に取得される検出期間全身ボックスは追跡ターゲットとして初期化され、それにより、追跡ターゲットとして働く追跡されるべき歩行者は、追跡期間内に追跡され得る。
ステップE:追跡期間全身ボックスを取得する。
具体的には、上半身追跡ボックスに対応する追跡期間全身ボックスは、検出期間全身ボックスに基づき取得される。
追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。
この実施形態において示されている方法を使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスに基づき取得され、検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、この実施形態において示されている方法を使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。
本発明の実施形態の第1の態様に関連して、本発明の実施形態の第1の態様の第1の実装形態において、ステップCの前に、次のステップがさらに実行される。
ステップC01:下半身走査領域を取得する。
この実施形態において、追跡されるべき歩行者の上半身検出ボックスが取得された後、追跡されるべき歩行者の下半身走査領域は、追跡されるべき歩行者の上半身検出ボックスに基づき取得され得る。
ステップC02:検出期間全身ボックスを取得する。
具体的には、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得される場合、検出期間全身ボックスは、上半身検出ボックスおよび下半身検出ボックスに基づき取得される。
この実施形態において示されている方法を使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得される。取得された検出期間全身ボックスの縦横比が変化し得ることがわかる。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で、たとえば、追跡されるべき歩行者が脚を広く開いている姿勢で出現する、したがって、追跡されるべき歩行者の上半身と下半身との割合が変わる場合であっても、追跡されるべき歩行者の正確な検出期間全身ボックスは、取得された上半身検出ボックスと取得された下半身検出ボックスとを組み合わせることによってそれでも取得され、それにより追跡されるべき歩行者を追跡する準備を行うことができる。
本発明の実施形態の第1の態様の第1の実装形態に関連して、本発明の実施形態の第1の態様の第2の実装形態において、上半身検出ボックスは
であり、ここで、
は、上半身検出ボックスの左上水平座標であり、
は、上半身検出ボックスの左上垂直座標であり、
は、上半身検出ボックスの右下水平座標であり、
は、上半身検出ボックスの右下垂直座標である。
ステップC01は、具体的には、次のステップを含む。
ステップC011:第1のパラメータを決定する。
第1のパラメータは
であり、ここで、Ratiodefaultはプリセットされた比である。
任意選択で、この実施形態におけるRatiodefaultは事前に記憶され、Ratiodefaultは人体検出ボックスの縦横比に基づきプリセットされ得る。たとえば、人体検出ボックスの縦横比が3:7であると事前決定される場合、Ratiodefaultは3/7に設定されるものとしてよく、Ratiodefaultが記憶され、それにより、このステップを実行するプロセスにおいて、Ratiodefaultは、第1のパラメータ
を計算するために抽出され得る。
ステップC012:第2のパラメータを決定する。
第2のパラメータは
である。
ステップC013:第3のパラメータを決定する。
第3のパラメータは、
である。
ステップC014:下半身走査領域を決定する。
具体的には、下半身走査領域は、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定され得る。
第1のパラメータ、第2のパラメータ、および第3のパラメータが取得されるときに、下半身走査領域が決定されてよく、それにより、追跡されるべき歩行者の下半身検出ボックスは、取得された下半身走査領域内で検出され、それによって、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することがわかる。
本発明の実施形態の第1の態様の第2の実装形態に関連して、本発明の実施形態の第1の態様の第3の実装形態において、
ステップC014は、具体的には、次のように実行される。下半身走査領域は、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定され、ここで、下半身走査領域は、ScanArea=[LS,TS,RS,BS]である。
具体的には、LSは、下半身走査領域の左上水平座標であり、TSは、下半身走査領域の左上垂直座標であり、RSは、下半身走査領域の右下水平座標であり、BSは、下半身走査領域の右下垂直座標である。
より具体的には、
である。
paral1、paral2、およびparal3は、プリセット値であり、paral1、paral2、およびparal3は、経験値であってもよく、または操作スタッフは、paral1、paral2、およびparal3の異なる設定を通じて下半身走査領域の異なる設定を実装してもよい。
imgWは、検出期間内の追跡されるべきビデオの任意の画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの任意の画像フレームの高さである。
この実施形態において示されている方法を使用することによって、追跡されるべき歩行者の下半身検出ボックスは、取得された下半身走査領域内で検出され、それにより、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することができる。それに加えて、取得プロセスにおいて、下半身走査領域の異なる設定は、パラメータ(paral1、paral2、およびparal3)の異なる設定を通じて実装されるものとしてよく、これによりこの実施形態において示されている方法の高い適用可能性を達成する。このようにして、異なるアプリケーションシナリオにおいて、下半身検出ボックスの異なる向きがこれらのパラメータの異なる設定に基づき実装されてよく、これにより追跡されるべき歩行者を検出する精度を改善する。
本発明の実施形態の第1の態様の第1の実装形態から本発明の実施形態の第1の態様の第3の実装形態までのうちのいずれか1つによる方法に関連して、本発明の実施形態の第1の態様の第4の実装形態において、
下半身検出ボックスは
であり、ここで、
は、下半身検出ボックスの左上水平座標であり、
は、下半身検出ボックスの左上垂直座標であり、
は、下半身検出ボックスの右下水平座標であり、
は、下半身検出ボックスの右下垂直座標である。
ステップCは、次のステップを含む。
ステップC11:検出期間全身ボックスの左上水平座標を決定する。
具体的には、検出期間全身ボックスの左上水平座標は
である。
ステップC12:検出期間全身ボックスの左上垂直座標を決定する。
具体的には、検出期間全身ボックスの左上垂直座標は
である。
ステップC13:検出期間全身ボックスの右下水平座標を決定する。
具体的には、検出期間全身ボックスの右下水平座標は
である。
ステップC14:検出期間全身ボックスの右下垂直座標を決定する。
具体的には、検出期間全身ボックスの右下垂直座標は
である。
ステップC15:検出期間全身ボックスを決定する。
具体的には、検出期間全身ボックスは
である。
この実施形態において示されている方法を使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得され、それにより、追跡されるべき歩行者が異常な姿勢で出現する、たとえば、脚を広く開いている、したがって、縦横比が増大する場合であっても、この実施形態では追跡されるべき歩行者の上半身および下半身が別々に検出され得るので正確な検出期間全身ボックスが取得され、それにより追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを別々に取得できる、言い換えると、検出期間全身ボックスにおける上半身検出ボックスと下半身検出ボックスとの割合が追跡されるべき歩行者の姿勢により変わることがわかる。歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、変化し得る上半身検出ボックスと下半身検出ボックスとの割合に基づき正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を効果的に回避することができることがわかる。
本発明の実施形態の第1の態様の第4の実装形態に関連して、本発明の実施形態の第1の態様の第5の実装形態において、
ステップCの後に、次のステップがさらに実行される必要がある。
ステップD01:検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比を決定する。
具体的には、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比は
である。
ステップD02:上半身検出ボックスの高さと検出期間全身ボックスの高さとの比を決定する。
具体的には、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比は
である。
ステップD03:追跡期間全身ボックスを決定する。
具体的には、追跡期間全身ボックスは
に基づき決定される。
この実施形態において示されている方法を使用することによって、追跡期間全身ボックスは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比および上半身検出ボックスの高さと検出期間全身ボックスの高さとの比に基づき決定され得る。検出期間全身ボックスは、追跡されるべき歩行者の姿勢の変化を正確に捕捉できるので、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、検出期間全身ボックスを使用することによって取得される追跡期間全身ボックスに基づき正確に捕捉され、それにより追跡期間全身ボックスを使用することによって追跡されるべき歩行者を追跡する精度を改善し、追跡されるべき歩行者の姿勢が変化するため追跡されるべき歩行者が追跡できない場合を効果的に回避することができる。
本発明の実施形態の第1の態様の第2の実装形態または本発明の実施形態の第1の態様の第3の実装形態による方法に関連して、本発明の実施形態の第1の態様の第6の実装形態において、
ステップC01の後に、次のステップがさらに実行される必要がある。
ステップC21:検出期間全身ボックスの左上水平座標を決定する。
具体的には、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得されない場合、検出期間全身ボックスの左上水平座標が決定される。
より具体的には、検出期間全身ボックスの左上水平座標は
である。
ステップC22:検出期間全身ボックスの左上垂直座標を決定する。
具体的には、検出期間全身ボックスの左上垂直座標は
である。
ステップC23:検出期間全身ボックスの右下水平座標を決定する。
具体的には、検出期間全身ボックスの右下水平座標は
である。
ステップC24:検出期間全身ボックスの右下垂直座標を決定する。
具体的には、検出期間全身ボックスの右下垂直座標は
である。
ステップC25:検出期間全身ボックスが
であると決定する。
この実施形態において示されている方法を使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、下半身検出ボックスは上半身検出ボックスに基づき計算され得、それにより、下半身検出ボックスが検出されないときでも検出期間全身ボックスが取得され、それによって、追跡されるべき歩行者の追跡を効果的に確実にし、追跡されるべき歩行者の下半身が検出できないことで追跡されるべき歩行者が追跡され得ない場合を回避し得ることがわかる。それに加えて、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化が正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を回避することができる。
本発明の実施形態の第1の態様の第6の実装形態に関連して、本発明の実施形態の第1の態様の第7の実装形態において、
この方法は、次のステップをさらに含む。
ステップC31:検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比を取得する。
具体的には、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比は
である。
ステップC32:上半身検出ボックスの高さと検出期間全身ボックスの高さとの比を決定する。
具体的には、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比は
である。
ステップC33:追跡期間全身ボックスを、
に基づき、決定する。
この実施形態において示されている方法を使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、追跡期間全身ボックスはそれでも取得され、それにより、追跡されるべき歩行者の追跡を効果的に確実にすることができることがわかる。
本発明の実施形態の第1の態様の第5の実装形態または本発明の実施形態の第1の態様の第7の実装形態による方法に関連して、本発明の実施形態の第1の態様の第8の実装形態において、
上半身追跡ボックスは
であり、ここで、
は、上半身追跡ボックスの左上水平座標であり、
は、上半身追跡ボックスの左上垂直座標であり、
は、上半身追跡ボックスの右下水平座標であり、
は、上半身追跡ボックスの右下垂直座標である。
ステップC33は、具体的には、次のステップを含む。
ステップC331:追跡期間全身ボックスの左上水平座標を決定する。
具体的には、
である場合、追跡期間全身ボックスの左上水平座標は
である。
ステップC332:追跡期間全身ボックスの左上垂直座標を決定する。
具体的には、追跡期間全身ボックスの左上垂直座標は
である。
ステップC333:追跡期間全身ボックスの右下水平座標を決定する。
具体的には、追跡期間全身ボックスの右下水平座標は
である。
ステップC334:追跡期間全身ボックスの右下垂直座標を決定する。
具体的には、追跡期間全身ボックスの右下垂直座標は
である。
より具体的には、
である。
ステップC335:追跡期間全身ボックスを決定する。
具体的には、追跡期間全身ボックスは
である。
この実施形態において示されている方法を使用することによって、検出期間全身ボックスの左上水平座標
が上半身検出ボックスの左上水平座標
に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。
本発明の実施形態の第1の態様から本発明の実施形態の第1の態様の第8の実装形態のうちのいずれか1つによる方法に関連して、本発明の実施形態の第1の態様の第9の実装形態において、
ステップDは、具体的には、次のステップを含む。
ステップD11:上半身検出ボックスを中心として使用することによって複数の粒子を散乱させる。
具体的には、複数の粒子は、上半身検出ボックスを中心として使用することによって散乱され、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じである。
上半身検出ボックスが追跡されるべきビデオの検出期間内に決定される場合、追跡されるべき歩行者は、追跡されるべきビデオの追跡期間内に追跡される。追跡されるべき歩行者は追跡されるべきビデオ内で動いており、検出期間および追跡期間内の追跡されるべき歩行者の配置は異なる。したがって、追跡されるべき歩行者を追跡するために、複数の粒子が追跡されるべき歩行者の上半身検出ボックスの周りに散乱される必要があり、それにより追跡されるべき歩行者を追跡する。
ステップD12:上半身追跡ボックスを決定する。
具体的には、上半身追跡ボックスは、複数の粒子のうちで上半身検出ボックスに最も類似する粒子である。
この実施形態において示されている方法を使用することによって、複数の粒子は、上半身検出ボックスを中心として使用することによって散乱され、それにより正確な上半身追跡ボックスが追跡期間内に取得され得る。それに加えて、上半身追跡ボックスは、上半身検出ボックスを使用することによって取得され、それにより追跡されるべき歩行者の異なる姿勢が照合され、それによって追跡されるべき歩行者を正確に追跡することができる。
本発明の実施形態の第1の態様の第8の実装形態に関連して、本発明の実施形態の第1の態様の第10の実装形態において、
ステップEは、具体的には、次のステップを含む。
ステップE11:追跡期間全身ボックスの左上水平座標を決定する。
具体的には、
である場合、追跡期間全身ボックスの左上水平座標は
である。
ステップE12:追跡期間全身ボックスの左上垂直座標を決定する。
具体的には、追跡期間全身ボックスの左上垂直座標は
である。
ステップE13:追跡期間全身ボックスの右下水平座標を決定する。
具体的には、追跡期間全身ボックスの右下水平座標は
である。
ステップE14:追跡期間全身ボックスの右下垂直座標を決定する。
具体的には、追跡期間全身ボックスの右下垂直座標は
である。
より具体的には、
である。
ステップE15:追跡期間全身ボックスを決定する。
具体的には、追跡期間全身ボックスは
である。
この実施形態において示されている方法を使用することによって、検出期間全身ボックスの左上水平座標
が下半身検出ボックスの左上水平座標
に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。
本発明の実施形態の第1の態様から本発明の実施形態の第1の態様の第10の実装形態のいずれか1つによる方法に関連して、本発明の実施形態の第1の態様の第11の実装形態において、
この方法は、次のステップをさらに含む。
ステップE21:追跡されるべきビデオのターゲット画像フレームシーケンスを取得する。
ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、ターゲット画像フレームシーケンスは、検出期間の前にある。
ステップE22:追跡されるべきビデオの背景領域をターゲット画像フレームシーケンスに基づき取得する。
具体的には、ターゲット画像フレームシーケンス内の任意の画像フレームにおいて、静的背景モデルを使用することによって静止している物体が取得され、静止している物体は追跡されるべきビデオの背景領域として決定される。
ステップE23:追跡されるべきビデオの任意の画像フレームの前景領域を取得する。
具体的には、追跡されるべきビデオの画像フレームの前景領域は、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得される。
具体的には、追跡されるべきビデオの背景領域が取得されたときに、追跡されるべきビデオの画像フレームの任意の領域と背景領域との間の差分が取得され、それによりターゲット値を取得する。追跡されるべきビデオの画像フレームの異なる領域は各々1つのターゲット値に対応していることがわかる。
ターゲット値がプリセット閾値以上である場合、これは、追跡されるべきビデオの画像フレームの領域であり、ターゲット値に対応している領域がモーション領域であることを示している。
モーション領域が検出されたときに、モーション領域は、追跡されるべきビデオの画像フレームの前景領域として決定される。
ステップE24:追跡されるべき歩行者を取得する。
具体的には、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得される。
本発明の実施形態の第1の態様の第11の実装形態に関連して、本発明の実施形態の第1の態様の第12の実装形態において、
ステップBは、次のステップを含む。
ステップB11:ターゲット画像フレームを決定する。
具体的には、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームである。
ステップB12:ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する。
この実施形態において示されている方法を使用することによって、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域内で検出され、追跡され得る、言い換えると、この実施形態において示されている追跡されるべき歩行者の検出プロセスおよび追跡プロセスは両方とも、画像の前景領域内で実行されることがわかる。したがって、処理される必要のある画像窓の数は大幅に減らされる、言い換えると、追跡されるべき歩行者を探索するための探索空間が縮小され、それにより、追跡されるべき歩行者を追跡するために必要な持続時間を短縮し、追跡されるべき歩行者を追跡する効率を改善する。
本発明の実施形態の第2の態様は、第1の決定ユニット、第1の取得ユニット、第2の取得ユニット、第3の取得ユニット、および第4の取得ユニットを含む、電子デバイスを提供する。
第1の決定ユニットは、追跡されるべきビデオの検出期間および追跡期間を決定するように構成される。
この実施形態において示されている第1の決定ユニットは、本発明の実施形態の第1の態様において示されているステップAを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
第1の取得ユニットは、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを、検出期間内に取得するように構成される。
この実施形態において示されている第1の取得ユニットは、本発明の実施形態の第1の態様において示されているステップBを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
第2の取得ユニットは、追跡されるべき歩行者の検出期間全身ボックスを、上半身検出ボックスに基づき取得するように構成される。
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップCを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
第3の取得ユニットは、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身追跡ボックスを、追跡期間内に取得するように構成される。
この実施形態において示されている第3の取得ユニットは、本発明の実施形態の第1の態様において示されているステップDを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
第4の取得ユニットは、上半身追跡ボックスに対応する追跡期間全身ボックスを、検出期間全身ボックスに基づき取得するように構成され、追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。
この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップEを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスに基づき取得され、検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、この実施形態において示されている方法を使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。
本発明の実施形態の第2の態様に関連して、本発明の実施形態の第2の態様の第1の実装形態において、電子デバイスは、さらに次のことを含む。
第2の取得ユニットは、上半身検出ボックスに基づき下半身走査領域を取得し、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得される場合、検出期間全身ボックスを、上半身検出ボックスおよび下半身検出ボックスに基づき取得するように特に構成される。
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC01とステップC02とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得される。取得された検出期間全身ボックスの縦横比が変化し得ることがわかる。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で、たとえば、追跡されるべき歩行者が脚を広く開いている姿勢で出現する、したがって、追跡されるべき歩行者の上半身と下半身との割合が変わる場合であっても、追跡されるべき歩行者の正確な検出期間全身ボックスは、取得された上半身検出ボックスと取得された下半身検出ボックスとを組み合わせることによってそれでも取得され、それにより追跡されるべき歩行者を追跡する準備を行うことができる。
本発明の実施形態の第2の態様の第1の実装形態に関連して、本発明の実施形態の第2の態様の第2の実装形態において、
上半身検出ボックスは
であり、ここで、
は、上半身検出ボックスの左上水平座標であり、
は、上半身検出ボックスの左上垂直座標であり、
は、上半身検出ボックスの右下水平座標であり、
は、上半身検出ボックスの右下垂直座標であり、
上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニットは、第1のパラメータを決定し、ここで第1のパラメータは
であり、ここでRatiodefaultはプリセットされた比であり、第2のパラメータを決定し、ここで第2のパラメータは
であり、第3のパラメータを決定し、ここで第3のパラメータは
であり、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定する、ように特に構成される。
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC011と、ステップC012と、ステップC013と、ステップC014とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
第1のパラメータ、第2のパラメータ、および第3のパラメータを取得するときに、この実施形態において示されている電子デバイスは下半身走査領域を決定するものとしてよく、それにより、追跡されるべき歩行者の下半身検出ボックスは取得された下半身走査領域内で検出され、それによって、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することがわかる。
本発明の実施形態の第2の態様の第2の実装形態に関連して、本発明の実施形態の第2の態様の第3の実装形態において、上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニットは、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定するように特に構成され、ここで、下半身走査領域は、ScanArea=[LS,TS,RS,BS]であり、LSは、下半身走査領域の左上水平座標であり、TSは、下半身走査領域の左上垂直座標であり、RSは、下半身走査領域の右下水平座標であり、BSは、下半身走査領域の右下垂直座標であり、ここで、
であり、
paral1、paral2、およびparal3は、プリセット値であり、imgWは、検出期間内の追跡されるべきビデオの画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの画像フレームの高さである。
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC014を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、追跡されるべき歩行者の下半身検出ボックスは、取得された下半身走査領域内で検出され、それにより、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することができる。それに加えて、取得プロセスにおいて、下半身走査領域の異なる設定は、パラメータ(paral1、paral2、およびparal3)の異なる設定を通じて実装されるものとしてよく、これによりこの実施形態において示されている方法の高い適用可能性を達成する。このようにして、異なるアプリケーションシナリオにおいて、下半身検出ボックスの異なる向きがこれらのパラメータの異なる設定に基づき実装されてよく、これにより追跡されるべき歩行者を検出する精度を改善する。
本発明の実施形態の第2の態様の第1の実装形態から本発明の実施形態の第2の態様の第3の実装形態までのうちのいずれか1つによる方法に関連して、本発明の実施形態の第2の態様の第4の実装形態において、
下半身検出ボックスは
であり、ここで
は、下半身検出ボックスの左上水平座標であり、
は、下半身検出ボックスの左上垂直座標であり、
は、下半身検出ボックスの右下水平座標であり、
は、下半身検出ボックスの右下垂直座標であり、
上半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニットは、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
であり、検出期間全身ボックスの左上垂直座標が
であると決定し、検出期間全身ボックスの右下水平座標が
であると決定し、検出期間全身ボックスの右下垂直座標が
であると決定し、検出期間全身ボックスが
であると決定する、ように特に構成される。
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC11と、ステップC12と、ステップC13と、ステップC14と、ステップC15とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得され、それにより、追跡されるべき歩行者が異常な姿勢で出現する、たとえば、脚を広く開いている、したがって、縦横比が増大する場合であっても、この実施形態では追跡されるべき歩行者の上半身および下半身が別々に検出され得るので正確な検出期間全身ボックスが取得され、それにより追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを別々に取得できる、言い換えると、検出期間全身ボックスにおける上半身検出ボックスと下半身検出ボックスとの割合が追跡されるべき歩行者の姿勢により変わることがわかる。歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、変化し得る上半身検出ボックスと下半身検出ボックスとの割合に基づき正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を効果的に回避することができることがわかる。
本発明の実施形態の第2の態様の第4の実装形態に関連して、本発明の実施形態の第2の態様の第5の実装形態において、第4の取得ユニットは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比が
であると決定し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が
であると決定し、追跡期間全身ボックスを、
に基づき、決定する、ように特に構成される。
この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップD01と、ステップD02と、ステップD03とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、追跡期間全身ボックスは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比および上半身検出ボックスの高さと検出期間全身ボックスの高さとの比に基づき決定され得る。検出期間全身ボックスは、追跡されるべき歩行者の姿勢の変化を正確に捕捉できるので、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、検出期間全身ボックスを使用することによって取得される追跡期間全身ボックスに基づき正確に捕捉され、それにより追跡期間全身ボックスを使用することによって追跡されるべき歩行者を追跡する精度を改善し、追跡されるべき歩行者の姿勢が変化するため追跡されるべき歩行者が追跡できない場合を効果的に回避することができる。
本発明の実施形態の第2の態様の第2の実装形態または本発明の実施形態の第2の態様の第3の実装形態による方法に関連して、本発明の実施形態の第2の態様の第6の実装形態において、上半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニットは、下半身検出ボックスが下半身走査領域内で下半身検出を実行することによって取得されない場合に、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
であり、検出期間全身ボックスの左上垂直座標が
であると決定し、検出期間全身ボックスの右下水平座標が
であると決定し、検出期間全身ボックスの右下垂直座標が
であると決定し、検出期間全身ボックスが
であると決定する、ように特に構成される。
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC21と、ステップC22と、ステップC23と、ステップC24とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、下半身検出ボックスは上半身検出ボックスに基づき計算されてよく、それにより、下半身検出ボックスが検出されないときでも検出期間全身ボックスが取得され、それによって、追跡されるべき歩行者の追跡を効果的に確実にし、追跡されるべき歩行者の下半身が検出できないことで追跡されるべき歩行者が追跡され得ない場合を回避し得ることがわかる。それに加えて、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化が正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を回避することができる。
本発明の実施形態の第2の態様の第6の実装形態に関連して、本発明の実施形態の第2の態様の第7の実装形態において、第4の取得ユニットは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比
を取得し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が
であると決定し、追跡期間全身ボックスを、
に基づき、決定する、ように特に構成される。
この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC31と、ステップC32と、ステップC33とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、追跡期間全身ボックスはそれでも取得され、それにより、追跡されるべき歩行者の追跡を効果的に確実にすることができることがわかる。
本発明の実施形態の第2の態様の第5の実装形態または本発明の実施形態の第2の態様の第7の実装形態による方法に関連して、本発明の実施形態の第2の態様の第8の実装形態において、
上半身追跡ボックスは
であり、ここで、
は、上半身追跡ボックスの左上水平座標であり、
は、上半身追跡ボックスの左上垂直座標であり、
は、上半身追跡ボックスの右下水平座標であり、
は、上半身追跡ボックスの右下垂直座標であり、
追跡期間全身ボックスを
に基づき決定するときに、第4の取得ユニットは、追跡期間全身ボックスの左上水平座標を決定し、ここで、
である場合、追跡期間全身ボックスの左上水平座標は
であり、追跡期間全身ボックスの左上垂直座標が
であると決定し、追跡期間全身ボックスの右下水平座標が
であると決定し、追跡期間全身ボックスの右下垂直座標が
であると決定し、ここで、
であり、追跡期間全身ボックスが
であると決定する、ように特に構成される。
この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC331と、ステップC332と、ステップC333と、ステップC334と、ステップC335とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、検出期間全身ボックスの左上水平座標
が上半身検出ボックスの左上水平座標
に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。
本発明の実施形態の第2の態様から本発明の実施形態の第2の態様の第8の実装形態のうちのいずれか1つによる方法に関連して、本発明の実施形態の第2の態様の第9の実装形態において、
第3の取得ユニットは、上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、ここで、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じであり、上半身追跡ボックスを決定し、ここで、上半身追跡ボックスは複数の粒子のうちで上半身検出ボックスに最も類似する粒子である、ように特に構成される。
この実施形態において示されている第3の取得ユニットは、本発明の実施形態の第1の態様において示されているステップD11とステップD12とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、複数の粒子は、上半身検出ボックスを中心として使用することによって散乱され、それにより正確な上半身追跡ボックスが追跡期間内に取得され得る。それに加えて、上半身追跡ボックスは、上半身検出ボックスを使用することによって取得され、それにより追跡されるべき歩行者の異なる姿勢が照合され、それによって追跡されるべき歩行者を正確に追跡することができる。
本発明の実施形態の第2の態様の第8の実装形態に関連して、本発明の実施形態の第2の態様の第10の実装形態において、
第4の取得ユニットは、追跡期間全身ボックスの左上水平座標を決定し、ここで、
である場合、追跡期間全身ボックスの左上水平座標は
であり、追跡期間全身ボックスの左上垂直座標が
であると決定し、追跡期間全身ボックスの右下水平座標が
であると決定し、追跡期間全身ボックスの右下垂直座標が
であると決定し、ここで、
であり、追跡期間全身ボックスが
であると決定する、ように特に構成される。
この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE11と、ステップE12と、ステップE13と、ステップE14と、ステップE15とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、検出期間全身ボックスの左上水平座標
が下半身検出ボックスの左上水平座標
に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。
本発明の実施形態の第2の態様から本発明の実施形態の第2の態様の第10の実装形態のいずれか1つによる方法に関連して、本発明の実施形態の第2の態様の第11の実装形態において、電子デバイスは、第5の取得ユニットと、第6の取得ユニットと、第7の取得ユニットと、第8の取得ユニットとをさらに備える。
第5の取得ユニットは、追跡されるべきビデオのターゲット画像フレームシーケンスを取得するように構成され、ここで、ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、ターゲット画像フレームシーケンスは、検出期間の前にある。
この実施形態において示されている第5の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE21を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
第6の取得ユニットは、追跡されるべきビデオの背景領域をターゲット画像フレームシーケンスに基づき取得するように構成される。
この実施形態において示されている第6の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE22を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
第7の取得ユニットは、追跡されるべきビデオの任意の画像フレームの前景領域を、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得するように構成される。
この実施形態において示されている第7の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE23を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
第8の取得ユニットは、追跡されるべき歩行者を、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得するように構成される。
この実施形態において示されている第8の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE24を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
本発明の実施形態の第2の態様の第11の実装形態に関連して、本発明の実施形態の第2の態様の第12の実装形態において、
第1の取得ユニットは、ターゲット画像フレームを決定し、ここで、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームであり、ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する、ように特に構成される。
この実施形態において示されている第1の取得ユニットは、本発明の実施形態の第1の態様において示されているステップB11とステップB12とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
この実施形態において示されている電子デバイスを使用することによって、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域内で検出され、追跡され得る、言い換えると、この実施形態において示されている追跡されるべき歩行者の検出プロセスおよび追跡プロセスは両方とも、画像の前景領域内で実行されることがわかる。したがって、処理される必要のある画像窓の数は大幅に減らされる、言い換えると、追跡されるべき歩行者を探索するための探索空間が縮小され、それにより、追跡されるべき歩行者を追跡するために必要な持続時間を短縮し、追跡されるべき歩行者を追跡する効率を改善する。
本発明の実施形態は、歩行者追跡の方法および電子デバイスを提供する。この方法により、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスは、検出期間内に取得されるものとしてよく、追跡されるべき歩行者の検出期間全身ボックスは、上半身検出ボックスに基づき取得され、上半身追跡ボックスに対応する追跡期間全身ボックスは、検出期間全身ボックスに基づき追跡期間内に取得される。追跡されるべき歩行者は、追跡期間全身ボックスを使用することによって追跡され得ることがわかる。検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、これらの実施形態において示されている方法を使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。
本発明による電子デバイスの一実施形態の概略構造図である。 本発明によるプロセッサの一実施形態の概略構造図である。 本発明による歩行者追跡の方法の一実施形態のステップのフローチャートである。 本発明による歩行者追跡の方法の一実施形態のステップのフローチャートである。 本発明による歩行者追跡の方法の一実施形態の概略アプリケーション図である。 本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。 本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。 本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。 本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。 本発明による歩行者問い合わせの方法の一実施形態のステップのフローチャートである。 本発明による歩行者問い合わせの方法の一実施形態のステップのフローチャートである。 本発明による歩行者問い合わせの方法の一実施形態の実行ステップの概略図である。 本発明による歩行者問い合わせの方法の一実施形態の実行ステップの概略図である。 本発明による電子デバイスの別の実施形態の概略構造図である。
本発明の実施形態は、歩行者追跡の方法を提供する。本発明の実施形態において示されている歩行者追跡の方法をよりよく理解するために、以下では、最初に、本発明の実施形態において示されている方法を実行することができる電子デバイスの具体的な構造について詳しく説明する。
実施形態において示されている電子デバイスの具体的な構造は、図1を参照しつつ詳しく以下で説明される。図1は、本発明による電子デバイスの一実施形態の概略構造図である。
電子デバイス100は、構成または性能により大きく異なることがあり、1つまたは複数のプロセッサ122を備え得る。
プロセッサ122は、プロセッサ122が実施形態において示されている歩行者追跡の方法を実行するための計算および画像処理能力を有することができる限り、この実施形態では制限されない。任意選択で、この実施形態において示されているプロセッサ122は、中央演算処理装置(CPU)であってよい。
1つまたは複数の記憶媒体130(たとえば、1つまたは複数の大容量記憶デバイス)は、アプリケーションプログラム142またはデータ144を記憶するように構成される。
記憶媒体130は、一時的記憶媒体または永続的記憶媒体であってよい。記憶媒体130に記憶されているプログラムは、1つまたは複数のモジュール(図中でマークされていない)を含むものとしてよく、各モジュールは、電子デバイス内の一連の命令演算を含み得る。
さらに、プロセッサ122は、記憶媒体130と通信し、電子デバイス100内の記憶媒体130に収められている一連の命令演算を実行するように構成され得る。
電子デバイス100は、1つもしくは複数の電源126、1つもしくは複数の入力/出力インターフェース158、ならびに/またはWindows Server(商標)、Mac OS X(商標)、Unix(商標)、Linux(登録商標)、およびFreeBSD(商標)などの1つもしくは複数のオペレーティングシステム141をさらに含み得る。
本発明の一実装形態において、電子デバイスは、画像処理能力および計算能力を有する任意のデバイスであってよく、限定はしないが、サーバ、カメラ、モバイルコンピュータ、タブレットコンピュータ、および同様のものを含む。
この実施形態において示されている電子デバイスが実施形態において示されている歩行者追跡の方法を実行する場合、この実施形態において示されている入力/出力インターフェース158は、大量の監視ビデオを受信するように構成されるものとしてよく、入力/出力インターフェース158は、検出プロセス、歩行者追跡結果、および同様のものを表示することができる。プロセッサ122は、歩行者検出を実行し、歩行者追跡アルゴリズムを実行するように構成される。記憶媒体130は、オペレーティングシステム、アプリケーションプログラム、および同様のものを記憶するように構成され、記憶媒体130は、歩行者追跡プロセスにおける中間結果、および同様のものを記憶することができる。実施形態において示されている方法を実行するプロセスにおいて、この実施形態において示されている電子デバイスは、大量の監視ビデオから追跡される必要のあるターゲット歩行者を見つけ出し、ターゲット歩行者が監視ビデオ中に出現する時刻および場所などの情報を提供することができることがわかる。
実施形態において示されている歩行者追跡の方法を実装するように構成されているプロセッサ122の具体的な構造は、図2を参照しつつ詳しく以下で説明される。
具体的には、プロセッサ122は、メタデータ抽出ユニット21と問い合わせユニット22とを備える。
より具体的には、メタデータ抽出ユニット21は、物体抽出モジュール211と、特徴抽出モジュール212と、インデックス構築モジュール213とを備える。
より具体的には、問い合わせユニット22は、特徴抽出モジュール221と、特徴融合モジュール222と、インデックス作成および問い合わせモジュール223とを備える。
この実施形態において、プロセッサ122は、記憶媒体130に記憶されているプログラムを実行して、図2に示されているプロセッサ122に備えられている任意のユニット内の任意のモジュールの機能を実装することができる。
図1および図2に示した電子デバイスに基づき、実施形態に示されている歩行者追跡の方法の具体的な実行手順は、図3Aおよび図3Bを参照しつつ詳しく以下で説明される。
図3Aおよび図3Bは、本発明による歩行者追跡の方法の一実施形態のステップのフローチャートである。
最初に、この実施形態において示されている歩行者追跡の方法の実行本体部は電子デバイスであり、具体的にはプロセッサ122の1つまたは複数のモジュール、たとえば、物体抽出モジュール211であってよいことに留意されたい。
この実施形態において示されている歩行者追跡の方法は、次のステップを含む。
ステップ301:追跡されるべきビデオを取得する。
具体的には、この実施形態において示されているプロセッサ122に備えられている物体抽出モジュール211は、追跡されるべきビデオを取得するように構成される。
任意選択で、この実施形態において示されている電子デバイスがカメラを備えていない、たとえば、電子デバイスがサーバである場合、この実施形態において示されている電子デバイスは、入力/出力インターフェース158を使用することによって複数のカメラと通信する。カメラは、追跡されるべきビデオを生成するために追跡されるべき歩行者を撮影するように構成される。それに対応して、電子デバイスは、入力/出力インターフェース158を使用することによって、カメラによって送信された追跡されるべきビデオを受信し、さらに、プロセッサ122の物体抽出モジュール211は、入力/出力インターフェース158によって受信された追跡されるべきビデオを取得する。
任意選択で、この実施形態において示されている電子デバイスがカメラを備えている、たとえば、電子デバイスがビデオカメラである場合、電子デバイスのプロセッサ122の物体抽出モジュール211は、電子デバイスのカメラによって撮影された追跡されるべきビデオを取得する。
具体的な応用例において、この実施形態において示されている追跡されるべきビデオは、通常、大量のビデオである。
この実施形態における追跡されるべきビデオを取得する方式は任意選択の一例であり、物体抽出モジュール211が歩行者追跡に使用される追跡されるべきビデオを取得することができる限り、制限とはならないことに留意されたい。
ステップ302:ターゲット画像フレームシーケンスを取得する。
具体的には、この実施形態において示されている物体抽出モジュール211は、ターゲット画像フレームシーケンスを取得する。
より具体的には、追跡されるべきビデオを取得した後、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオ内のターゲット画像フレームシーケンスを決定する。
ターゲット画像フレームシーケンスは、追跡されるべきビデオの最初のM個の画像フレームであり、Mの具体的な値は、Mが1より大きい正整数である限り、この実施形態では制限されない。
ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含む。
ステップ303:追跡されるべきビデオの背景領域を取得する。
具体的には、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオのターゲット画像フレームシーケンスを学習し、追跡されるべきビデオの背景領域を取得する。この実施形態において示されている追跡されるべきビデオの背景領域については、図4を参照されたい。
任意選択で、物体抽出モジュール211は、具体的には次の方式で追跡されるべきビデオの背景領域を取得し得る。物体抽出モジュール211は、静的背景モデルを使用することによってターゲット画像フレームシーケンスの任意の画像フレームから静止している物体を取得し、静止している物体を追跡されるべきビデオの背景領域として決定する。
この実施形態において追跡されるべきビデオの背景領域を取得するという記述は、任意選択の一例であり、制限とはならないことに留意されたい。たとえば、物体抽出モジュール211は、代替的に、物体抽出モジュール211が背景領域を取得することができる限り、フレーム差分の方法、オプティカルフロー場の方法、または同様の方法を使用し得る。
この実施形態において示されているステップ303は、任意選択の一ステップであることにさらに留意されたい。
ステップ304:追跡されるべきビデオの検出期間および追跡期間を決定する。
具体的には、物体抽出モジュール211は、検出期間T1および追跡期間T2を決定する。
任意選択で、この実施形態において示されている検出期間T1は追跡期間T2に含まれ、検出期間T1の持続時間は追跡期間T2の持続時間より短い。
たとえば、追跡期間T2の持続時間は10分であるものとしてよく、検出期間T1の持続時間は2秒であり、追跡期間T2の持続時間のうちの10分以内の最初の2秒は検出期間T1である。
任意選択で、この実施形態において示されている検出期間T1は追跡期間T2に含まれ得ず、検出期間T1は追跡期間T2の前であり、検出期間T1の持続時間は追跡期間T2の持続時間より短い。
たとえば、検出期間T1の持続時間は2秒であり、追跡期間T2の持続時間は10分であってよく、追跡期間T2は検出期間T1の後にさらに実行される。
この実施形態における検出期間T1の持続時間および追跡期間T2の持続時間の記述は、任意選択の例であり、制限とはならないことに留意されたい。
この実施形態において、検出期間T1が追跡期間T2に含まれる一例は、説明のために使用されている。
より具体的には、この実施形態において示されている検出期間T1の開始フレームは、追跡されるべきビデオの第tのフレームであり、tはMより大きい。この実施形態におけるターゲット画像フレームシーケンスは、検出期間T1の前にあることがわかる。
ステップ305:追跡されるべきビデオの任意の画像フレームの前景領域を取得する。
具体的には、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオの画像フレームの前景領域を、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得する。
図5は、この実施形態において示されている追跡されるべきビデオの画像フレームの取得された前景領域を示している。図5は、追跡されるべきビデオの画像フレームの前景領域を示している。具体的には、図5に示されている白色ピクセルは、追跡されるべきビデオの画像フレームの前景領域である。
具体的には、追跡されるべきビデオの背景領域を取得するときに、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオの画像フレームの任意の領域と背景領域との間の差分を取得し、それによりターゲット値を取得する。追跡されるべきビデオの画像フレームの異なる領域は各々1つのターゲット値に対応していることがわかる。
ターゲット値がプリセット閾値以上である場合、これは、追跡されるべきビデオの画像フレームの領域であり、ターゲット値に対応している領域がモーション領域であることを示している。
この実施形態において示されているプリセット閾値は予め設定され、プリセット閾値の値は、追跡されるべきビデオの画像フレームのモーション領域がプリセット閾値に基づき決定され得る限り、この実施形態において制限されない。
モーション領域が検出されたときに、モーション領域は、追跡されるべきビデオの画像フレームの前景領域として決定される。
ステップ306:追跡されるべき歩行者を取得する。
この実施形態において示されている物体抽出モジュール211は、追跡されるべき歩行者を、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得する。
物体抽出モジュール211によって検出される追跡されるべき歩行者の具体的な数は、この実施形態において制限されない。
ステップ307:追跡されるべき歩行者の上半身検出ボックスを取得する。
この実施形態において示されている追跡されるべき歩行者の上半身検出ボックスを取得するために、この実施形態において示されている物体抽出モジュール211は、最初に、ターゲット画像フレームを決定する。
具体的には、この実施形態において示されているターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームである。
任意選択で、この実施形態において示されている追跡されるべき歩行者が追跡されるべきビデオの検出期間T1内に任意の画像フレーム内に出現する歩行者である場合、物体抽出モジュール211は、追跡されるべき歩行者が出現する画像フレームがターゲット画像フレームであると決定し得る、すなわち、ターゲット画像フレームは追跡されるべきビデオの検出期間内に追跡されるべき歩行者が出現する画像フレームである。
任意選択で、この実施形態において示されている追跡されるべき歩行者が追跡されるべきビデオの検出期間T1内に連続する画像フレーム内に出現する歩行者である場合、物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が連続的に出現する追跡されるべきビデオの連続する画像フレーム内にある最後の画像フレームがターゲット画像フレームであると決定し得るか、または物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が連続的に出現する追跡されるべきビデオの連続する画像フレーム内にあるランダム画像フレームがターゲット画像フレームであると決定し得る。これは、この実施形態において特には制限されない。
任意選択で、この実施形態において示されている追跡されるべき歩行者が間隔を置いて追跡されるべきビデオの検出期間T1内に画像フレーム内に出現する歩行者である場合、物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が間隔を置いて出現する追跡されるべきビデオの画像フレーム内にある最後の画像フレームがターゲット画像フレームであると決定し得るか、または物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が間隔を置いて出現する追跡されるべきビデオの画像フレーム内にあるランダム画像フレームがターゲット画像フレームであると決定し得る。これは、この実施形態において特には制限されない。
ターゲット画像フレームを決定する仕方についての先の記述は、任意選択の一例であり、追跡されるべき歩行者がターゲット画像フレーム内に出現する限り、制限とはならないことに留意されたい。
ターゲット画像フレームを決定するときに、物体抽出モジュール211は、ターゲット画像フレーム内の上半身検出ボックスを取得し得る。
第1の検出器は、この実施形態において示されている物体抽出モジュール211上に配設されてよく、第1の検出器は、上半身検出ボックスを検出するように構成される。
具体的には、物体抽出モジュール211の第1の検出器は、ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する。
この実施形態において示されている物体抽出モジュール211は、ターゲット画像フレームの前景領域内の追跡されるべき歩行者を検出することができる、言い換えると、追跡されるべき歩行者を検出するプロセスにおいて、物体抽出モジュール211は背景領域を検出する必要はなく、そのため、歩行者検出に必要な時間を大幅に短縮する一方、歩行者検出精度が改善される。
次に、物体抽出モジュール211が、ターゲット画像フレームの前景領域内で追跡されるべき歩行者の上半身検出ボックスを取得する仕方を説明する。
具体的には、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを、検出期間内に取得する。
具体的には、この実施形態において示されている上半身検出ボックスは
である。
は、上半身検出ボックスの左上水平座標であり、
は、上半身検出ボックスの左上垂直座標であり、
は、上半身検出ボックスの右下水平座標であり、
は、上半身検出ボックスの右下垂直座標である。
追跡されるべき歩行者を検出するときに、この実施形態において示されている物体抽出モジュール211は、
を取得し得る。
物体抽出モジュール211によって決定されたターゲット画像フレームが図6に示されている一例が使用される。この実施形態において示されている前述の方法を使用することによって、ターゲット画像フレーム内に出現する追跡されるべき歩行者が検出され、それにより各追跡されるべき歩行者の上半身検出ボックスを取得することができる。
図6に示されている検出プロセスにおいて、ターゲット画像フレーム内の歩行者601は、ターゲット画像フレームのエッジ上に出現し、歩行者601の全身が完全には表示されないので、この実施形態において示されている物体抽出モジュール211は、歩行者601の上半身検出ボックスを取得することができない。
ターゲット画像フレーム内の歩行者602の全身および歩行者603の全身の両方がターゲット画像フレーム内にはっきりと出現した場合、物体抽出モジュール211は、歩行者602の上半身検出ボックスと、歩行者603の上半身検出ボックスとを取得し得る。
ターゲット画像フレーム内の領域604の中の各歩行者がはっきりと表示されない場合、この実施形態において示されている物体抽出モジュール211は、領域604の中の各歩行者の上半身検出ボックスを取得できない。
この実施形態において示されている物体抽出モジュール211は、ターゲット画像フレーム内に表示されている追跡されるべき歩行者の上半身検出ボックスしか検出しないことがわかる。
具体的には、追跡されるべき歩行者は、ターゲット画像フレーム内に完全に表示されている歩行者である、言い換えると、追跡されるべき歩行者の上半身および下半身の両方がターゲット画像フレーム内に完全に表示される。
より具体的には、追加されるべき歩行者は、ターゲット画像フレーム内に表示されるその歩行者の領域が物体抽出モジュール211のプリセット閾値以上である歩行者である、言い換えると、ターゲット画像フレーム内に表示されるその歩行者の領域がプリセット閾値以上である追跡されるべき歩行者である場合、これは追跡されるべき歩行者がターゲット画像フレーム内にはっきりと表示されることを示している。ターゲット画像フレーム内の追跡されるべき歩行者がプリセット閾値未満であるときに、物体抽出モジュール211は、追跡されるべき歩行者を検出することができない。
ステップ308:上半身検出ボックスに基づき下半身走査領域を取得する。
この実施形態において、物体抽出モジュール211が追跡されるべき歩行者の上半身検出ボックスを取得した後、物体抽出モジュール211は、追跡されるべき歩行者の下半身走査領域を、追跡されるべき歩行者の上半身検出ボックスに基づき取得し得る。
追跡されるべき歩行者の下半身走査領域を取得するために、物体抽出モジュール211は、第1のパラメータと、第2のパラメータと、第3のパラメータとを取得する必要がある。
第1のパラメータは
であり、ここで、Ratiodefaultはプリセットされた比である。
任意選択で、この実施形態におけるRatiodefaultは、物体抽出モジュール211によってメモリ媒体130内に事前記憶され、Ratiodefaultは、人体検出ボックス(背景技術の項に示されているような)の縦横比に基づき物体抽出モジュール211によってプリセットされ得る。たとえば、人体検出ボックスの縦横比が3:7であると事前決定される場合、物体抽出モジュール211は、Ratiodefaultを3/7に設定し、Ratiodefaultをメモリ媒体130に記憶するものとしてよく、それにより、このステップを実行するプロセスにおいて、物体抽出モジュール211は、Ratiodefaultをメモリ媒体130から抽出し、第1のパラメータ
を計算することができる。
第2のパラメータは
であり、第3のパラメータは
である。
物体抽出モジュール211が第1のパラメータと、第2のパラメータと、第3のパラメータとを取得したときに、物体抽出モジュール211は、下半身走査領域を決定し得る。
下半身走査領域は、ScanArea=[LS,TS,RS,BS]であり、ここで、LSは、下半身走査領域の左上水平座標であり、TSは、下半身走査領域の左上垂直座標であり、RSは、下半身走査領域の右下水平座標であり、BSは、下半身走査領域の右下垂直座標である。
具体的には、
である。
より具体的には、paral1、paral2、およびparal3は、プリセット値である。
paral1、paral2、およびparal3の具体的な値は、この実施形態において制限されず、paral1、paral2、およびparal3は、経験値であってもよく、または操作スタッフは、paral1、paral2、およびparal3の異なる設定を通じて下半身走査領域の異なる設定を実装してもよい。
imgWは、検出期間内の追跡されるべきビデオの画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの画像フレームの高さである。
ステップ309:追跡されるべき歩行者の下半身検出ボックスは、下半身走査領域内で検出されるかどうかを決定し、追跡されるべき歩行者の下半身検出ボックスが下半身走査領域内で検出された場合にステップ310を実行するか、または追跡されるべき歩行者の下半身検出ボックスが下半身走査領域内で検出されない場合にステップ313を実行する。
具体的には、この実施形態において示されている物体抽出モジュール211は、下半身走査領域内で下半身検出を実行して、追跡されるべき歩行者の下半身検出ボックスが検出され得るかどうかを決定する。
ステップ310:下半身検出ボックスを取得する。
具体的には、下半身検出器は、物体抽出モジュール211上に配設され得る。
より具体的には、下半身走査領域内で下半身検出を実行するときに、追跡されるべき歩行者の下半身検出ボックスを取得できるかどうかを決定するために、この実施形態において示されている物体抽出モジュール211の下半身検出器は、下半身検出ボックスが
であると決定し、ここで
は、下半身検出ボックスの左上水平座標であり、
は、下半身検出ボックスの左上垂直座標であり、
は、下半身検出ボックスの右下水平座標であり、
は、下半身検出ボックスの右下垂直座標である。
ステップ311:検出期間全身ボックスを取得する。
具体的には、物体抽出モジュール211は、上半身検出ボックスおよび下半身検出ボックスに基づき検出期間全身ボックスを取得する。
より具体的には、この実施形態において示されている物体抽出モジュール211は、上半身検出ボックスと下半身検出ボックスとを組み合わせて、検出期間全身ボックスを取得する。
検出期間全身ボックスは
である。
検出期間全身ボックスの左上水平座標は
であり、検出期間全身ボックスの左上垂直座標は
であり、検出期間全身ボックスの右下水平座標は
であり、検出期間全身ボックスの右下垂直座標は
である。
ステップ312:第1の比と第2の比とを取得する。
具体的には、検出期間全身ボックスを取得した後、この実施形態において示されている物体抽出モジュール211は、検出期間全身ボックスの第1の比を決定し得る。
第1の比は検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比であり、第1の比は
である。
この実施形態において示されている物体抽出モジュール211は、検出期間全身ボックスの第2の比を決定する。
具体的には、第2の比は、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比であり、第2の比は
である。
ステップ313:第3の比を取得する。
この実施形態において、物体抽出モジュール211が下半身走査領域内で下半身検出を実行することによって下半身検出ボックスを取得しない場合、物体抽出モジュール211は第3の比を取得する。第3の比は、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比
である。
ステップ314:検出期間全身ボックスを取得する。
この実施形態において、物体抽出モジュール211が下半身走査領域内で下半身検出を実行することによって下半身検出ボックスを取得しないときに、物体抽出モジュール211は検出期間全身ボックス
を取得する。
検出期間全身ボックスの左上水平座標は
であり、検出期間全身ボックスの左上垂直座標は
であり、検出期間全身ボックスの右下水平座標は
であり、検出期間全身ボックスの右下垂直座標は
である。
ステップ315:検出期間全身ボックスの第4の比を決定する。
この実施形態において示されている物体抽出モジュール211は、第4の比が上半身検出ボックスの高さと検出期間全身ボックスの高さとの比であると決定する。
第4の比は
である。
ステップ312またはステップ315が実行された後、この実施形態において示されているステップ316が引き続き実行される。
ステップ316:上半身追跡ボックスを決定する。
この実施形態において、物体抽出モジュール211は、検出期間T1内に取得された検出期間全身ボックスを追跡ターゲットとして初期化し、それにより、物体抽出モジュール211は、追跡ターゲットとして働く追跡されるべき歩行者を、追跡期間T2内に追跡することができる。
この実施形態において、前述のステップにおいて決定された少なくとも1人の追跡されるべき歩行者があり得ることに留意されたい。複数の追跡されるべき歩行者がいる場合、複数の追跡されるべき歩行者の各々は追跡のために追跡ターゲットとして使用される必要がある。
たとえば、前述のステップにおいて決定された追跡されるべき歩行者が歩行者A、歩行者B、歩行者C、および歩行者Dである場合、歩行者Aは追跡のその後のステップを実行するために追跡ターゲットとして設定される必要があり、歩行者Bは追跡のその後のステップを実行するために追跡ターゲットとして設定される必要がある、言い換えると、追跡されるべきビデオ内の各追跡されるべき歩行者は、追跡のその後のステップを実行するために追跡ターゲットとして設定される必要がある。
追跡されるべき歩行者を追跡するときに、物体抽出モジュール211は、最初に、上半身検出ボックスを決定する。物体抽出モジュール211は、上半身検出ボックスを中心として使用することによって通常の分割サンプリングを別々に実行する、言い換えると、上半身検出ボックスの周りに複数の粒子を散乱させ、複数の粒子で上半身追跡ボックスを決定する。
よりよく理解できるように、次にアプリケーションシナリオを参照しつつ説明を行う。
物体抽出モジュール211が追跡されるべきビデオの検出期間T1内にN1フレームの中の上半身検出ボックスを決定する場合、物体抽出モジュール211は、追跡されるべきビデオの追跡期間T2内にN2フレーム内の追跡されるべき歩行者を追跡する。N2フレームは、追跡されるべきビデオの検出期間T2内の任意のフレームである。
追跡されるべき歩行者は追跡されるべきビデオ内で動いており、N1フレーム内の追跡されるべき歩行者の配置は、N2フレーム内の追跡されるべき歩行者の配置と異なる。したがって、物体抽出モジュール211が追跡されるべき歩行者を追跡するために、物体抽出モジュール211は、複数の粒子を追跡されるべき歩行者の上半身検出ボックスの周りに散乱させる必要があり、それにより追跡されるべき歩行者を追跡する。
具体的には、複数の粒子のうちのいずれか1つの第5の比は上半身検出ボックスの第6の比と同じであり、第5の比は複数の粒子のうちのいずれか1つの幅と高さとの比であり、第6の比は上半身検出ボックスの幅と上半身検出ボックスの高さとの比である。
この実施形態において示されている方法を使用することによって、物体抽出モジュール211によって上半身検出ボックスの周りに散乱されている粒子は、幅と高さとが上半身検出ボックスと同じ比を有する矩形ボックスであることがわかる。
物体抽出モジュール211は、複数の粒子における上半身追跡ボックスを決定する。
具体的には、物体抽出モジュール211は、複数の粒子のうちで上半身検出ボックスに最も類似する粒子が上半身追跡ボックスであると決定する。
上半身追跡ボックスは
であり、ここで、
は、上半身追跡ボックスの左上水平座標であり、
は、上半身追跡ボックスの左上垂直座標であり、
は、上半身追跡ボックスの右下水平座標であり、
は、上半身追跡ボックスの右下垂直座標である。
ステップ317:追跡されるべき歩行者の追跡期間全身ボックスを取得する。
この実施形態において、物体抽出モジュール211は、検出期間全身ボックスに基づき、上半身追跡ボックスに対応する追跡期間全身ボックスを取得する。
追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。
次に、物体抽出モジュール211が具体的に追跡期間全身ボックスをどのように取得するかを詳しく説明する。
物体抽出モジュール211が図7に示されているように検出期間全身ボックスと上半身追跡ボックスとを取得した後、物体抽出モジュール211は、上半身検出ボックス701の左上水平座標
が検出期間全身ボックス702の左上水平座標
に等しいかどうかを決定する。
図7の(a)に示されているように、物体抽出モジュール211が、
であると決定した場合、物体抽出モジュール211は、追跡期間全身ボックスの左上水平座標は
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの左上垂直座標が
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下水平座標が
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下垂直座標が
であると決定し、ここで、
である。
の具体的説明については、前述のステップを参照されたい。詳細については、このステップでは説明しない。
この実施形態において示されている物体抽出モジュール211は、追跡期間全身ボックスが
であると決定し得る。
物体抽出モジュール211が図7に示されているように検出期間全身ボックスと上半身追跡ボックスとを取得した後、物体抽出モジュール211は、検出期間全身ボックス702の左上水平座標
が下半身検出ボックス703の左上水平座標
に等しいかどうかを決定する。
図7の(b)に示されているように、検出期間全身ボックス702の左上水平座標
が下半身検出ボックス703の左上水平座標
に等しい場合、物体抽出モジュール211は、追跡期間全身ボックスの左上水平座標は
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの左上垂直座標が
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下水平座標が
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下垂直座標が
であると決定し、ここで、
であり、
物体抽出モジュール211は、追跡期間全身ボックスが
であると決定する。
の具体的説明については、前述のステップを参照されたい。詳細については、このステップでは説明しない。
この実施形態において示されている方法を使用することによって、追跡されるべき歩行者は、追跡期間全身ボックスを使用することによって追跡期間T内に追跡されるべきビデオ内で追跡され得る。
本発明のこの実施形態において示されている方法をよりよく理解するために、この実施形態において示されている歩行者追跡の方法の有利な効果は図8に示されているアプリケーションシナリオを参照しつつ詳しく以下で説明される。
この実施形態において示されている物体抽出モジュール211は、図8に示されている追跡されるべき歩行者の上半身検出ボックス801を、検出期間T1内に取得する。上半身検出ボックス801を取得する具体的なプロセスについては、前述のステップを参照されたい。詳細については、このアプリケーションシナリオでは説明しない。
物体抽出モジュール211は、図8に示されている追跡されるべき歩行者の下半身検出ボックス802を、検出期間T1内に取得する。下半身検出ボックス802を取得する具体的なプロセスについては、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。
物体抽出モジュール211は、図8に示されている検出期間全身ボックス803を、検出期間T1内に取得する。検出期間全身ボックス803を取得する具体的なプロセスについては、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。
検出期間全身ボックス803を取得した後に、物体抽出モジュール211は、検出期間全身ボックス803の幅と検出期間全身ボックス803の高さとの比
および上半身検出ボックス801の高さと検出期間全身ボックス803の高さとの比
を取得し得る。
この実施形態において示されている方法を使用することによって、検出期間全身ボックス803を取得するプロセスにおいて、物体抽出モジュール211によって取得された検出期間全身ボックス803は、追跡されるべき歩行者の上半身検出ボックス801と追跡されるべき歩行者の下半身検出ボックス802とを組み合わせることによって取得される。物体抽出モジュール211によって取得された検出期間全身ボックス803の縦横比が変化し得ることがわかる。したがって、追跡されるべき歩行者が検出期間T1内に異常な姿勢で、たとえば、追跡されるべき歩行者が脚を広く開いている姿勢で出現する、したがって、追跡されるべき歩行者の上半身と下半身との割合が変わる場合であっても、物体抽出モジュール211は、追跡されるべき歩行者の正確な検出期間全身ボックス803を、取得された上半身検出ボックスと取得された下半身検出ボックスとを組み合わせることによってそれでも取得し得る。
物体抽出モジュール211は、変化し得るこの実施形態における検出期間全身ボックス803の縦横比に基づき追跡されるべき歩行者の姿勢の変化を正確に捕捉することができ、それにより、検出期間全身ボックス803は、追跡されるべき歩行者の姿勢の変化を正確に捕捉することができる。正確な検出期間全身ボックス803は、それでも、追跡されるべき歩行者の姿勢の変化に関係なく取得され得ることがわかる。
物体抽出モジュール211は、検出期間T2内に上半身追跡ボックス804と追跡期間全身ボックス805とを取得することができる。具体的な取得プロセスについては、前述のステップを参照されたい。詳細については、この実施形態では説明しない。
この実施形態において示されている物体抽出モジュール211は、それでも、追跡期間T2内に
を使用して、変化し得る
に基づきより正確な追跡期間全身ボックス805を取得することができる。このようにして、追跡されるべき歩行者の姿勢が変化した場合でも、追跡されるべき歩行者は、追跡期間T2内でなお正確に追跡され得る。
歩行者を追跡する具体的なプロセスにおいて、この実施形態において示されているステップ304からこの実施形態において示されているステップ317は、複数回にわたって実行され、それにより、追跡されるべき歩行者をより正確に追跡することができる。たとえば、物体抽出モジュール211が追跡期間T2を1回実行した後、物体抽出モジュール211は、その後の時間内に複数回にわたって追跡期間T2を繰り返し実行し得る。追跡期間T2を実行する回数は、この実施形態では制限されない。
この実施形態において示されている物体抽出モジュール211は、複数回にわたって追跡期間T2を実行し得るので、物体抽出モジュール211は、検出結果に基づき複数回にわたって
の特定の値を更新し、それにより、追跡期間T2内により正確な追跡期間全身ボックスを取得し、それによって歩行者を正確に追跡し得る。
この実施形態において示されている方法を使用することによって、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域内で検出され、追跡され得る、言い換えると、この実施形態において示されている追跡されるべき歩行者の検出プロセスおよび追跡プロセスは両方とも、画像の前景領域内で実行される。したがって、処理される必要のある画像窓の数は大幅に減らされる、言い換えると、電子デバイスによる追跡されるべき歩行者を探索するための探索空間が縮小され、それにより、追跡されるべき歩行者を追跡するために必要な持続時間を短縮し、電子デバイスによる追跡されるべき歩行者を追跡する効率を改善する。
図1および図2に示されている電子デバイスに基づき、図9Aおよび図9Bおよび図10を参照しつつ一実施形態による歩行者問い合わせの方法について次に詳しく説明する。
図9Aおよび図9Bは、本発明による歩行者問い合わせの方法の一実施形態のステップのフローチャートである。図10は、本発明による歩行者追跡の方法の一実施形態の実行ステップの概略図である。
この実施形態において示されている歩行者問い合わせの方法の各実行本体部の記述は、任意選択の一例であり、制限とならない、言い換えると、この実施形態において示されている各ステップの実行本体部は、図2に示されているプロセッサ122の任意のモジュールであり得るか、またはこの実施形態において示されている各ステップの実行本体部は、図2に示されていないモジュールであり得ることにまず留意されたい。これは、電子デバイスがこの実施形態において示されている歩行者問い合わせの方法を実行できる限り、この実施形態において特に制限されることはない。
ステップ901:追跡されるべきビデオを取得する。
この実施形態において示されているステップ901の具体的な実行プロセスについては、図3Aおよび図3Bに示されているステップ301を参照されたい。具体的な実行プロセスは、この実施形態において説明されない。
ステップ902:追跡されるべきビデオ内の追跡されるべき歩行者を検出し、追跡し、歩行者シーケンスを取得する。
この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオ内の追跡されるべき歩行者を検出し、追跡するように構成される。具体的な実行プロセスについては、前述の実施形態に示されているステップ302からステップ317を参照されたい。詳細については、この実施形態では説明しない。
具体的には、この実施形態において示されている物体抽出モジュール211が前述のステップにおいて複数の追跡されるべき歩行者を取得した場合、物体抽出モジュール211は、前述のステップにおける要約を通じて歩行者シーケンスを取得する。
物体抽出モジュール211によって取得された歩行者シーケンスは複数のサブシーケンスを含み、複数のサブシーケンスのうちのいずれか1つはターゲットサブシーケンスであり、ターゲットサブシーケンスはターゲットである追跡されるべき歩行者に対応しており、ターゲットである追跡されるべき歩行者は前述のステップにおいて決定された複数の追跡されるべき歩行者のうちの1人に対応している。
この実施形態において示されているターゲットサブシーケンスは複数の画像フレームを含み、複数の画像フレームのうちのいずれか1つはターゲットである追跡されるべき歩行者を含む。
ターゲットサブシーケンス内に含まれる任意の画像フレームは、ターゲットである追跡されるべき歩行者に対応している、前述のステップにおいて示されている追跡期間全身ボックスを有する。
この実施形態において示されている歩行者シーケンスは複数のサブシーケンスを含み、複数のサブシーケンスのうちのいずれか1つは複数の画像フレームを含み、サブシーケンス内に含まれる画像フレームは、追跡されるべき歩行者の、サブシーケンスに対応している、追跡期間全身ボックスを表示することがわかる。
図10に示されているように、電子デバイスがカメラを含まない一例が、この実施形態における説明に使用されている。この実施形態において示されている電子デバイスは、カメラクラスタ105と通信することができる。カメラクラスタ105は複数のカメラを含み、各カメラは追跡されるべき歩行者を撮影して追跡されるべきビデオを生成することができ、それにより、電子デバイスはカメラによって送信された追跡されるべきビデオを受信することができる。
物体抽出モジュール211は、異なるターゲットである追跡されるべき歩行者に対して異なるサブシーケンス1001を生成することができ、サブシーケンス1001は、ターゲットである追跡されるべき歩行者に対応している、ターゲットである追跡されるべき歩行者が出現する、複数の画像フレームを含む。
ステップ903:歩行者シーケンスを特徴抽出モジュールに送信する。
この実施形態において、物体抽出モジュール211は、歩行者シーケンスを特徴抽出モジュール212に送信する。
ステップ904:歩行者シーケンスの特徴を取得する。
この実施形態において示されている特徴抽出モジュール212は、歩行者シーケンスを入力として使用して歩行者シーケンスの特徴を抽出する。
具体的には、特徴抽出モジュール212は、歩行者シーケンスを分析して、歩行者シーケンスに含まれる任意の画像フレーム内の各ピクセルが特徴を表すかどうかをチェックし、それにより歩行者シーケンスの特徴を抽出するものとしてよい。
具体的には、歩行者シーケンスの特徴は、歩行者シーケンスに含まれるすべてのターゲットである追跡されるべき歩行者の特徴のセットである。
たとえば、歩行者シーケンスが5人の追跡されるべき歩行者、A、B、C、D、およびEを含む場合、特徴抽出モジュール212は、歩行者Aの画像フレーム上で特徴抽出を実行して歩行者Aに対応するターゲットである追跡されるべき歩行者の特徴セットを取得し、歩行者Bの画像フレーム上で特徴抽出を実行して歩行者Bに対応するターゲットである追跡されるべき歩行者の特徴セットを取得することを、歩行者シーケンス内のすべての歩行者の特徴抽出が完了するまで行い得る。
図10に示されているように、特徴抽出モジュール212によって生成される特徴セット1002は、ターゲットである追跡されるべき歩行者に対応するターゲット識別子IDと、ターゲットである追跡されるべき歩行者に対応する複数の画像特徴とを含む。
ターゲットである追跡されるべき歩行者が歩行者Aである一例が使用され、ターゲットである追跡されるべき歩行者Aに対応する特徴セット1002は、ターゲットである追跡されるべき歩行者Aに対応するターゲット識別子IDと、ターゲットである追跡されるべき歩行者Aに対応する複数の画像特徴とを含む。
この実施形態において示されている特徴抽出モジュール212は、異なるターゲットである追跡されるべき歩行者の各々と異なるターゲット識別子IDの各々との間の対応関係、および異なるターゲット識別子IDの各々と複数の画像特徴の各々との間の対応関係を生成できることがわかる。
ステップ905:歩行者シーケンスの特徴をインデックス構築モジュールに送信する。
この実施形態において示されている特徴抽出モジュール212は、歩行者シーケンスの取得された特徴をインデックス構築モジュール213に送信することができる。
ステップ906:インデックスリストを確定する。
歩行者シーケンスの特徴を受信した後、この実施形態において示されているインデックス構築モジュール213はインデックスリストを確定する。インデックスリストに含まれる対応関係は、異なるターゲットである追跡されるべき歩行者の各々と異なるターゲット識別子IDの各々との間の対応関係、および異なるターゲット識別子IDの各々と複数の画像特徴の各々との間の対応関係である。それに加えて、この実施形態において示されているインデックス構築モジュール213は、インデックスリストを使用することによって、異なるターゲット識別子IDと、対応するターゲットである追跡されるべき歩行者が追跡されるべきビデオ内に出現する時刻と場所などの任意の情報をさらに生成することができる。
ステップ907:インデックスリストを記憶媒体に記憶する。
インデックスリストを生成した後、この実施形態において示されているインデックス構築モジュール213は、インデックスリストを記憶媒体130に記憶する。
この実施形態において示されているステップ901からステップ907において、異なる歩行者は大量の追跡されるべきビデオ内で分類され、それによりその後の追跡ターゲット問い合わせを円滑にすることができる。
追跡ターゲットを問い合わせる必要があるときに、次のステップが実行され得る。
ステップ908:追跡ターゲットを受信する。
この実施形態において示されているように、画像ベースの画像検索が実装され得る、言い換えると、問い合わせ時に追跡ターゲットが出現する画像が特徴抽出モジュール221内に入力され得る。
図10が、一例として使用されている。追跡ターゲットを問い合わせるために、追跡ターゲットが出現する画像1003が特徴抽出モジュール221に入力され得る。
ステップ909:追跡ターゲット上で特徴抽出を実行する。
具体的には、この実施形態において示されている特徴抽出モジュール221は追跡ターゲットが出現する画像を分析して、追跡ターゲットの特徴を取得することができる。この実施形態において示されている方法を使用することによって、追跡ターゲットに対応する複数の特徴が取得され得る。
ステップ910:追跡ターゲットの異なる特徴を融合する。
この実施形態において、特徴融合モジュール222は、追跡ターゲットの異なる特徴を融合することができる。
図10に示されているように、特徴融合モジュール222は、追跡ターゲットの異なる特徴を融合して融合済み特徴を取得することができる。この実施形態において示されている融合済み特徴は追跡ターゲットに対応していることがわかる。
ステップ911:融合済み特徴をインデックス作成および問い合わせモジュールに送信する。
ステップ912:追跡ターゲットを問い合わせる。
この実施形態において示されているインデックス作成および問い合わせモジュール223は、追跡ターゲットに対応する融合済み特徴に基づき追跡ターゲットを問い合わせる。
具体的には、インデックス作成および問い合わせモジュール223は、融合済み特徴と記憶媒体130に記憶されているインデックスリストとを照合し、融合済み特徴に対応するターゲット識別子IDを見つけ出し、それにより、インデックス作成および問い合わせモジュール223は、インデックスリストに基づき、ターゲット識別子IDに対応する歩行者が追跡されるべきビデオ内に出現する時刻および場所などの任意の情報を取得することができる。この実施形態において、ターゲット識別子IDに対応する歩行者は追跡ターゲットである。
この実施形態において示されている方法を使用することによって、追跡ターゲットが大量のビデオ内に出現する時刻および場所などの情報を取得するために追跡ターゲットが出現する画像のみが受信される必要があることがわかる。
この実施形態において示されている方法で追跡されるべき歩行者を検出し、追跡することによって達成される有利な効果の説明については、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。
この実施形態において示されている方法を使用することによって、追跡ターゲットを探索するプロセスにおいて、追跡ターゲットは、大量の追跡されるべきビデオ内で素早く正確に配置を特定され、それにより、追跡ターゲットが大量の追跡されるべきビデオ内に出現する時刻および場所などの情報を素早く取得することができる。
この実施形態において示されている方法のアプリケーションシナリオは制限されない。たとえば、この方法は、安全な都市において画像ベースの画像検索を実行し、追跡ターゲットに関係する情報を素早く取得することに適用され得る。この方法は、移動軌跡生成および分析、人口統計収集、運転支援システムにおける歩行者警告、ならびに同様のものにさらに適用され得る。具体的には、歩行者を含むビデオがインテリジェントな仕方で分析される必要がある限り、歩行者検出および追跡は、本発明のこの実施形態を使用することによって実行され、それにより、歩行者の配置および軌跡などの情報を抽出し得る。
図1は、物理的ハードウェアの観点から電子デバイスの具体的構造を説明している。次に、前述の実施形態において示されている歩行者追跡の方法の手順を実行する観点から図11を参照しつつ電子デバイスの構造を説明しており、この実施形態において示されている電子デバイスは前述の実施形態において示されている歩行者追跡の方法を実行することができる。
電子デバイスは、第1の決定ユニット1101と、第5の取得ユニット1102と、第6の取得ユニット1103と、第7の取得ユニット1104と、第8の取得ユニット1105と、第1の取得ユニット1106と、第2の取得ユニット1107と、第3の取得ユニット1108と、第4の取得ユニット1109とを備える。
第1の決定ユニット1101は、追跡されるべきビデオの検出期間および追跡期間を決定するように構成される。
第5の取得ユニット1102は、追跡されるべきビデオのターゲット画像フレームシーケンスを取得するように構成され、ここで、ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、ターゲット画像フレームシーケンスは、検出期間の前にある。
第6の取得ユニット1103は、追跡されるべきビデオの背景領域をターゲット画像フレームシーケンスに基づき取得するように構成される。
第7の取得ユニット1104は、追跡されるべきビデオの任意の画像フレームの前景領域を、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得するように構成される。
第8の取得ユニット1105は、追跡されるべき歩行者を、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得するように構成される。
任意選択で、この実施形態に示されている第5の取得ユニット1102からこの実施形態において示されている第8の取得ユニット1105までは任意選択のユニットである。具体的な応用例では、電子デバイスは、この実施形態において示されている第5の取得ユニット1102からこの実施形態において示されている第8の取得ユニット1105までを含まなくてよい。
第1の取得ユニット1106は、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを、検出期間内に取得するように構成され、ここで、上半身検出ボックスは
であり、ここで、
は、上半身検出ボックスの左上水平座標であり、
は、上半身検出ボックスの左上垂直座標であり、
は、上半身検出ボックスの右下水平座標であり、
は、上半身検出ボックスの右下垂直座標である。
任意選択で、第1の取得ユニット1106は、ターゲット画像フレームを決定し、ここで、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームであり、ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する、ように特に構成される。
第1の取得ユニット1107は、追跡されるべき歩行者の検出期間全身ボックスを、上半身検出ボックスに基づき取得するように構成される。
任意選択で、第2の取得ユニット1107は、上半身検出ボックスに基づき下半身走査領域を取得し、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得される場合、検出期間全身ボックスを、上半身検出ボックスおよび下半身検出ボックスに基づき取得するように、特に構成される。
上半身検出ボックスは
であり、ここで、
は、上半身検出ボックスの左上水平座標であり、
は、上半身検出ボックスの左上垂直座標であり、
は、上半身検出ボックスの右下水平座標であり、
は、上半身検出ボックスの右下垂直座標である。
任意選択で、上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニット1107は、第1のパラメータを決定し、ここで第1のパラメータは
であり、ここでRatiodefaultはプリセットされた比であり、第2のパラメータを決定し、ここで第2のパラメータは
であり、第3のパラメータを決定し、ここで第3のパラメータは
であり、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定する、ように特に構成される。
任意選択で、上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニット1107は、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定し、ここで、下半身走査領域は、ScanArea=[LS,TS,RS,BS]であり、LSは、下半身走査領域の左上水平座標であり、TSは、下半身走査領域の左上垂直座標であり、RSは、下半身走査領域の右下水平座標であり、BSは、下半身走査領域の右下垂直座標であり、ここで
である、ように特に構成される。
paral1、paral2、およびparal3は、プリセット値であり、imgWは、検出期間内の追跡されるべきビデオの画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの画像フレームの高さである。
下半身検出ボックスは
であり、ここで
は、下半身検出ボックスの左上水平座標であり、
は、下半身検出ボックスの左上垂直座標であり、
は、下半身検出ボックスの右下水平座標であり、
は、下半身検出ボックスの右下垂直座標である。
任意選択で、上半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニット1107は、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
であり、検出期間全身ボックスの左上垂直座標が
であると決定し、検出期間全身ボックスの右下水平座標が
であると決定し、検出期間全身ボックスの右下垂直座標が
であると決定し、検出期間全身ボックスが
であると決定する、ように特に構成される。
任意選択で、上半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニット1107は、下半身検出ボックスが下半身走査領域内で下半身検出を実行することによって取得されない場合に、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
であり、検出期間全身ボックスの左上垂直座標が
であると決定し、検出期間全身ボックスの右下水平座標が
であると決定し、検出期間全身ボックスの右下垂直座標が
であると決定し、検出期間全身ボックスが
であると決定する、ように特に構成される。
第3の取得ユニット1108は、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身追跡ボックスを、追跡期間内に取得するように構成される。
任意選択で、第3の取得ユニットは、上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、ここで、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じであり、上半身追跡ボックスを決定し、ここで、上半身追跡ボックスは複数の粒子のうちで上半身検出ボックスに最も類似する粒子である、ように特に構成される。
第4の取得ユニット1109は、上半身追跡ボックスに対応する追跡期間全身ボックスを、検出期間全身ボックスに基づき取得するように構成され、ここで、追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。
任意選択で、第4の取得ユニット1109は、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比
を取得し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が
であると決定し、追跡期間全身ボックスを、
に基づき、決定する、ように特に構成される。
任意選択で、第4の取得ユニット1109は、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比が
であると決定し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が
であると決定し、追跡期間全身ボックスを、
に基づき、決定する、ように特に構成される。
上半身追跡ボックスは
であり、ここで、
は、上半身追跡ボックスの左上水平座標であり、
は、上半身追跡ボックスの左上垂直座標であり、
は、上半身追跡ボックスの右下水平座標であり、
は、上半身追跡ボックスの右下垂直座標である。
任意選択で、追跡期間全身ボックスを
に基づき決定するときに、第4の取得ユニット1109は、追跡期間全身ボックスの左上水平座標を決定し、ここで、
である場合、追跡期間全身ボックスの左上水平座標は
であり、追跡期間全身ボックスの左上垂直座標が
であると決定し、追跡期間全身ボックスの右下水平座標が
であると決定し、追跡期間全身ボックスの右下垂直座標が
であると決定し、ここで、
であり、追跡期間全身ボックスが
であると決定する、ように特に構成される。
任意選択で、第4の取得ユニット1109は、追跡期間全身ボックスの左上水平座標を決定し、ここで、
である場合、追跡期間全身ボックスの左上水平座標は
であり、追跡期間全身ボックスの左上垂直座標が
であると決定し、追跡期間全身ボックスの右下水平座標が
であると決定し、追跡期間全身ボックスの右下垂直座標が
であると決定し、ここで、
であり、追跡期間全身ボックスが
であると決定する、ように特に構成される。
この実施形態において示されている電子デバイスによる歩行者追跡の方法を実行する具体的なプロセスについては、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。
この実施形態において示されている電子デバイスによる歩行者追跡の方法を実行することによって達成される有利な効果の説明については、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。
説明をわかりやすく、簡潔にするために、前述のシステム、装置、およびユニットの詳細な作動プロセスについて、前述の方法実施形態における対応するプロセスを参照することは当業者によって明確に理解されるものとしてよく、詳細について本明細書で再び説明することはしない。
本出願において提供されるいくつかの実施形態において、開示されているシステム、装置、および方法が、他の方式で実装され得ることが理解されるであろう。たとえば、説明されている装置の実施形態は、単なる例にすぎない。たとえば、ユニットを分けることは、単に論理機能を分けることであり、実際の実装では他の分け方であってもよい。たとえば、複数のユニットまたは構成要素が、別のシステム内に組み合わされ得るか、もしくは一体化され得るか、またはいくつかの特徴が無視され得るか、もしくは実施されなくてよい。それに加えて、表示されている、または説明されている相互結合または直接的結合または通信接続は、いくつかのインターフェースを使用することによって実装され得る。装置またはユニットの間の間接的結合または通信接続は、電子的な、機械的な、または他の形態で実装され得る。
分離している部分として説明されるユニットは、物理的に分離されてもされなくてもよく、およびユニットとして表示される部分は、物理的ユニットであってもなくてもよく、1つの位置に配置され得るか、または複数のネットワークユニット上に分散され得る。ユニットの一部または全部は、実施形態の解決方法の目的を達成するために実際に必要になるものに基づき選択され得る。
それに加えて、本発明の実施形態における機能ユニットは、1つのプロセッサ内に一体化され得るか、またはユニットの各々が、物理的に単独で存在し得るか、または2つ以上のユニットが、1つのユニット内に一体化される。一体化されたユニットは、ハードウェアの形態で実装され得るか、またはソフトウェア機能ユニットの形態で実装され得る。
一体化されたモジュールがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用される場合、一体化されたユニットは、コンピュータ可読記憶媒体に記憶され得る。このような理解に基づき、本発明の技術的解決方法は本質的に、または従来技術に寄与する部分は、または技術的解決方法の全部もしくは一部は、ソフトウェア製品の形態で実装され得る。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態において説明されている方法のステップのうちのすべてまたはいくつかを実行することをコンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイス、または同様のものであってよい)に命令するための複数の命令を含む。前述の記憶媒体は、USBフラッシュドライブ、取り外し可能なハードディスク、リードオンリーメモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、または光ディスクなどの、プログラムコードを記憶することができる媒体を含む。
前述の実施形態は、本発明を制限するのではなく、本発明の技術的解決方法を説明することのみを意図している。本発明は、前述の実施形態を参照しつつ詳しく説明されているけれども、当業者であれば、本発明の実施形態の技術的解決方法の趣旨および範囲から逸脱することなく、前述の実施形態において説明されている技術的解決方法に修正を加えるか、またはその一部の技術的特徴に対する同等の置き換えを行うことがなお可能であることを理解するであろう。
21 メタデータ抽出ユニット
22 問い合わせユニット
100 電子デバイス
105 カメラクラスタ
122 プロセッサ
126 電源
130 記憶媒体
141 オペレーティングシステム
142 アプリケーションプログラム
144 データ
158 入力/出力インターフェース
211 物体抽出モジュール
212 特徴抽出モジュール
213 インデックス構築モジュール
221 特徴抽出モジュール
222 特徴融合モジュール
223 インデックス作成および問い合わせモジュール
601 歩行者
602 歩行者
603 歩行者
701 上半身検出ボックス
702 検出期間全身ボックス
801 上半身検出ボックス
802 下半身検出ボックス
803 検出期間全身ボックス
1001 サブシーケンス
1002 特徴セット
1003 画像
1101 第1の決定ユニット
1102 第5の取得ユニット
1103 第6の取得ユニット
1104 第7の取得ユニット
1105 第8の取得ユニット
1106 第1の取得ユニット
1107 第2の取得ユニット
1108 第3の取得ユニット
1109 第4の取得ユニット
この実施形態において示されている電子デバイスを使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスに基づき取得され、検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、この実施形態において示されている電子デバイスを使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。
この実施形態において示されている電子デバイスを使用することによって、追跡されるべき歩行者の下半身検出ボックスは、取得された下半身走査領域内で検出され、それにより、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することができる。それに加えて、取得プロセスにおいて、下半身走査領域の異なる設定は、パラメータ(paral1、paral2、およびparal3)の異なる設定を通じて実装されるものとしてよく、これによりこの実施形態において示されている電子デバイスの高い適用可能性を達成する。このようにして、異なるアプリケーションシナリオにおいて、下半身検出ボックスの異なる向きがこれらのパラメータの異なる設定に基づき実装されてよく、これにより追跡されるべき歩行者を検出する精度を改善する。
は、下半身検出ボックスの右下垂直座標であり、
上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニットは、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
本発明の実施形態の第2の態様の第2の実装形態または本発明の実施形態の第2の態様の第3の実装形態による電子デバイスに関連して、本発明の実施形態の第2の態様の第6の実装形態において、上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニットは、下半身検出ボックスが下半身走査領域内で下半身検出を実行することによって取得されない場合に、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC21と、ステップC22と、ステップC23と、ステップC24と、ステップC25とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
本発明の実施形態の第2の態様の第5の実装形態または本発明の実施形態の第2の態様の第7の実装形態による電子デバイスに関連して、本発明の実施形態の第2の態様の第8の実装形態において、
上半身追跡ボックスは
本発明の実施形態の第2の態様から本発明の実施形態の第2の態様の第8の実装形態のうちのいずれか1つによる電子デバイスに関連して、本発明の実施形態の第2の態様の第9の実装形態において、
第3の取得ユニットは、上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、ここで、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じであり、上半身追跡ボックスを決定し、ここで、上半身追跡ボックスは複数の粒子のうちで上半身検出ボックスに最も類似する粒子である、ように特に構成される。
本発明の実施形態の第2の態様から本発明の実施形態の第2の態様の第10の実装形態のいずれか1つによる電子デバイスに関連して、本発明の実施形態の第2の態様の第11の実装形態において、電子デバイスは、第5の取得ユニットと、第6の取得ユニットと、第7の取得ユニットと、第8の取得ユニットとをさらに備える。
図5は、この実施形態において示されている追跡されるべきビデオの画像フレームの取得された前景領域を示している。具体的には、図5に示されている白色ピクセルは、追跡されるべきビデオの画像フレームの前景領域である。
この実施形態において示されている方法を使用することによって、追跡されるべき歩行者は、追跡期間全身ボックスを使用することによって追跡期間T2内に追跡されるべきビデオ内で追跡され得る。
ステップ903:歩行者シーケンスを特徴抽出モジュール212に送信する。
ステップ905:歩行者シーケンスの特徴をインデックス構築モジュール213に送信する。
ステップ907:インデックスリストを記憶媒体130に記憶する。
任意選択で、上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニット1107は、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
任意選択で、上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニット1107は、下半身検出ボックスが下半身走査領域内で下半身検出を実行することによって取得されない場合に、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
任意選択で、第3の取得ユニット1108は、上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、ここで、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じであり、上半身追跡ボックスを決定し、ここで、上半身追跡ボックスは複数の粒子のうちで上半身検出ボックスに最も類似する粒子である、ように特に構成される。
前述の実施形態は、本発明を制限するのではなく、本発明の技術的解決方法を説明することのみを意図している。本発明は、前述の実施形態を参照しつつ詳しく説明されているけれども、当業者であれば、本発明の実施形態の技術的解決方法の範囲から逸脱することなく、前述の実施形態において説明されている技術的解決方法に修正を加えるか、またはその一部の技術的特徴に対する同等の置き換えを行うことがなお可能であることを理解するであろう。

Claims (26)

  1. 歩行者追跡の方法であって、
    追跡されるべきビデオの検出期間および追跡期間を決定するステップと、
    前記検出期間内に、前記追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを取得するステップと、
    前記追跡されるべき歩行者の検出期間全身ボックスを、前記上半身検出ボックスに基づき取得するステップと、
    前記追跡期間内に、前記追跡されるべきビデオ内に出現する前記追跡されるべき歩行者の上半身追跡ボックスを取得するステップと、
    前記検出期間全身ボックスに基づき、前記上半身追跡ボックスに対応する追跡期間全身ボックスを取得するステップであって、前記追跡期間全身ボックスは、前記追跡されるべき歩行者を追跡するために使用される、ステップとを含む歩行者追跡の方法。
  2. 前記追跡されるべき歩行者の検出期間全身ボックスを、前記上半身検出ボックスに基づき取得する前記ステップの前に、
    前記上半身検出ボックスに基づき下半身走査領域を取得するステップと、
    下半身検出ボックスが前記下半身走査領域内で下半身検出を実行することによって取得される場合、前記検出期間全身ボックスを、前記上半身検出ボックスおよび前記下半身検出ボックスに基づき取得するステップとをさらに含む請求項1に記載の方法。
  3. 前記上半身検出ボックスは
    であり、
    は、前記上半身検出ボックスの左上水平座標であり、
    は、前記上半身検出ボックスの左上垂直座標であり、
    は、前記上半身検出ボックスの右下水平座標であり、
    は、前記上半身検出ボックスの右下垂直座標であり、
    前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップは
    第1のパラメータを決定するステップであって、前記第1のパラメータは
    であり、Ratiodefaultはプリセットされた比である、ステップと、
    第2のパラメータを決定するステップであって、前記第2のパラメータは
    である、ステップと、
    第3のパラメータを決定するステップであって、前記第3のパラメータは
    である、ステップと、
    前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定するステップとを含む請求項2に記載の方法。
  4. 前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップは、
    前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定するステップであって、前記下半身走査領域は、ScanArea=[LS,TS,RS,BS]であり、LSは、前記下半身走査領域の左上水平座標であり、TSは、前記下半身走査領域の左上垂直座標であり、RSは、前記下半身走査領域の右下水平座標であり、BSは、前記下半身走査領域の右下垂直座標であり、
    である、ステップを含み、
    paral1、paral2、およびparal3は、プリセット値であり、imgWは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの幅であり、imgHは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの高さである請求項3に記載の方法。
  5. 前記下半身検出ボックスは
    であり、
    は、前記下半身検出ボックスの左上水平座標であり、
    は、前記下半身検出ボックスの左上垂直座標であり、
    は、前記下半身検出ボックスの右下水平座標であり、
    は、前記下半身検出ボックスの右下垂直座標であり、前記上半身検出ボックスおよび前記下半身検出ボックスに基づき前記検出期間全身ボックスを取得する前記ステップは、
    前記検出期間全身ボックスの左上水平座標を決定するステップであって、前記検出期間全身ボックスの前記左上水平座標は
    である、ステップと、
    前記検出期間全身ボックスの左上垂直座標が
    であると決定するステップと、
    前記検出期間全身ボックスの右下水平座標が
    であると決定するステップと、
    前記検出期間全身ボックスの右下垂直座標が
    であると決定するステップと、
    前記検出期間全身ボックスが
    であると決定するステップとを含む請求項2から4のいずれか一項に記載の方法。
  6. 前記検出期間全身ボックスを決定する前記ステップの後に、
    前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとの比が
    であると決定するステップと、
    前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が
    であると決定するステップと、
    前記追跡期間全身ボックスを、
    に基づき、決定するステップとをさらに含む請求項5に記載の方法。
  7. 前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップの後、
    前記下半身検出ボックスが前記下半身走査領域内で下半身検出を実行することによって取得されない場合に、前記検出期間全身ボックスの左上水平座標を決定するステップであって、前記検出期間全身ボックスの前記左上水平座標は
    である、ステップと、
    前記検出期間全身ボックスの左上垂直座標が
    であると決定するステップと、
    前記検出期間全身ボックスの右下水平座標が
    であると決定するステップと、
    前記検出期間全身ボックスの右下垂直座標が
    であると決定するステップと、
    前記検出期間全身ボックスが
    であると決定するステップとをさらに含む請求項3または4に記載の方法。
  8. 前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップの後、
    前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとのプリセットされている比
    を取得するステップをさらに含み、
    前記検出期間全身ボックスを決定する前記ステップの後、
    前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が
    であると決定するステップと、
    前記追跡期間全身ボックスを、
    に基づき、決定するステップとをさらに含む請求項7に記載の方法。
  9. 前記上半身追跡ボックスは
    であり、
    は、前記上半身追跡ボックスの左上水平座標であり、
    は、前記上半身追跡ボックスの左上垂直座標であり、
    は、前記上半身追跡ボックスの右下水平座標であり、
    は、前記上半身追跡ボックスの右下垂直座標であり、
    前記追跡期間全身ボックスを、
    に基づき、決定する前記ステップは、
    前記追跡期間全身ボックスの左上水平座標を決定するステップであって、
    である場合、前記追跡期間全身ボックスの前記左上水平座標は
    である、ステップと、
    前記追跡期間全身ボックスの左上垂直座標が
    であると決定するステップと、
    前記追跡期間全身ボックスの右下水平座標が
    であると決定するステップと、
    前記追跡期間全身ボックスの右下垂直座標が
    であると決定するステップであって、
    である、ステップと、
    前記追跡期間全身ボックスが
    であると決定するステップとを含む請求項6または8に記載の方法。
  10. 前記追跡期間内に、前記追跡されるべきビデオ内に出現する前記追跡されるべき歩行者の上半身追跡ボックスを取得する前記ステップは、
    前記上半身検出ボックスを中心として使用することによって複数の粒子を散乱させるステップであって、前記複数の粒子のうちのいずれか1つの幅と高さとの比が前記上半身検出ボックスの幅と前記上半身検出ボックスの前記高さとの比と同じである、ステップと、
    前記上半身追跡ボックスを決定するステップであって、前記上半身追跡ボックスは前記複数の粒子のうちで前記上半身検出ボックスに最も類似する粒子である、ステップとを含む請求項1から9のいずれか一項に記載の方法。
  11. 前記検出期間全身ボックスに基づき、前記上半身追跡ボックスに対応する追跡期間全身ボックスを取得する前記ステップは、
    前記追跡期間全身ボックスの前記左上水平座標を決定するステップであって、
    である場合、前記追跡期間全身ボックスの前記左上水平座標は
    である、ステップと、
    前記追跡期間全身ボックスの前記左上垂直座標が
    であると決定するステップと、
    前記追跡期間全身ボックスの前記右下水平座標が
    であると決定するステップと、
    前記追跡期間全身ボックスの前記右下垂直座標が
    であると決定するステップであって、
    である、ステップと、
    前記追跡期間全身ボックスが
    であると決定するステップとを含む請求項9に記載の方法。
  12. 前記追跡されるべきビデオのターゲット画像フレームシーケンスを取得するステップであって、前記ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、前記ターゲット画像フレームシーケンスは、前記検出期間の前にある、ステップと、
    前記追跡されるべきビデオの背景領域を前記ターゲット画像フレームシーケンスに基づき取得するステップと、
    前記検出期間内に前記追跡されるべきビデオの前記画像フレームから前記背景領域を差し引くことによって前記追跡されるべきビデオの任意の画像フレームの前景領域を取得するステップと、
    前記追跡されるべきビデオの前記画像フレームの前記前景領域を検出することによって前記追跡されるべき歩行者を取得するステップとをさらに含む請求項1から11のいずれか一項に記載の方法。
  13. 前記追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを取得する前記ステップは、
    ターゲット画像フレームを決定するステップであって、前記ターゲット画像フレームは、前記追跡されるべき歩行者が出現する画像フレームである、ステップと、
    前記ターゲット画像フレームの前景領域内で前記上半身検出ボックスを取得するステップとを含む請求項12に記載の方法。
  14. 追跡されるべきビデオの検出期間および追跡期間を決定するように構成されている第1の決定ユニットと、
    前記検出期間内に、前記追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを取得するように構成されている第1の取得ユニットと、
    前記追跡されるべき歩行者の検出期間全身ボックスを、前記上半身検出ボックスに基づき取得するように構成されている第2の取得ユニットと、
    前記追跡期間内に、前記追跡されるべきビデオ内に出現する前記追跡されるべき歩行者の上半身追跡ボックスを取得するように構成されている第3の取得ユニットと、
    前記検出期間全身ボックスに基づき、前記上半身追跡ボックスに対応する追跡期間全身ボックスを取得するように構成されている第4の取得ユニットであって、前記追跡期間全身ボックスは、前記追跡されるべき歩行者を追跡するために使用される、第4の取得ユニットとを備える電子デバイス。
  15. 前記第2の取得ユニットは、前記上半身検出ボックスに基づき下半身走査領域を取得し、下半身検出ボックスが、前記下半身走査領域内で下半身検出を実行することによって取得される場合、前記検出期間全身ボックスを、前記上半身検出ボックスおよび前記下半身検出ボックスに基づき取得するように、特に構成される請求項14に記載の電子デバイス。
  16. 前記上半身検出ボックスは
    であり、
    は、前記上半身検出ボックスの左上水平座標であり、
    は、前記上半身検出ボックスの左上垂直座標であり、
    は、前記上半身検出ボックスの右下水平座標であり、
    は、前記上半身検出ボックスの右下垂直座標であり、前記上半身検出ボックスに基づき前記下半身走査領域を取得するときに、前記第2の取得ユニットは、第1のパラメータを決定し、前記第1のパラメータは
    であり、Ratiodefaultはプリセットされた比であり、第2のパラメータを決定し、前記第2のパラメータは
    であり、第3のパラメータを決定し、前記第3のパラメータは
    であり、前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定する、ように特に構成される請求項15に記載の電子デバイス。
  17. 前記上半身検出ボックスに基づき前記下半身走査領域を取得するときに、前記第2の取得ユニットは、前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定するように特に構成され、前記下半身走査領域は、ScanArea=[LS,TS,RS,BS]であり、LSは、前記下半身走査領域の左上水平座標であり、TSは、前記下半身走査領域の左上垂直座標であり、RSは、前記下半身走査領域の右下水平座標であり、BSは、前記下半身走査領域の右下垂直座標であり、
    であり、
    paral1、paral2、およびparal3は、プリセット値であり、imgWは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの幅であり、imgHは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの高さである請求項16に記載の電子デバイス。
  18. 前記下半身検出ボックスは
    であり、
    は、前記下半身検出ボックスの左上水平座標であり、
    は、前記下半身検出ボックスの左上垂直座標であり、
    は、前記下半身検出ボックスの右下水平座標であり、
    は、前記下半身検出ボックスの右下垂直座標であり、
    前記上半身検出ボックスに基づき前記追跡されるべき歩行者の前記検出期間全身ボックスを取得するときに、前記第2の取得ユニットは、前記検出期間全身ボックスの左上水平座標を決定し、前記検出期間全身ボックスの前記左上水平座標は
    であり、前記検出期間全身ボックスの左上垂直座標が
    であると決定し、前記検出期間全身ボックスの右下水平座標が
    であると決定し、前記検出期間全身ボックスの右下垂直座標が
    であると決定し、前記検出期間全身ボックスが
    であると決定する、ように特に構成される請求項15から17のいずれか一項に記載の電子デバイス。
  19. 前記第4の取得ユニットは、前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとの比が
    であると決定し、前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が
    であると決定し、前記追跡期間全身ボックスを、
    に基づき、決定する、ように特に構成される請求項18に記載の電子デバイス。
  20. 前記上半身検出ボックスに基づき前記追跡されるべき歩行者の前記検出期間全身ボックスを取得するときに、前記第2の取得ユニットは、前記下半身検出ボックスが前記下半身走査領域内で下半身検出を実行することによって取得されない場合に、前記検出期間全身ボックスの左上水平座標を決定し、前記検出期間全身ボックスの前記左上水平座標は
    であり、前記検出期間全身ボックスの左上垂直座標が
    であると決定し、前記検出期間全身ボックスの右下水平座標が
    であると決定し、前記検出期間全身ボックスの右下垂直座標が
    であると決定し、前記検出期間全身ボックスが
    であると決定する、ように特に構成される請求項16または17に記載の電子デバイス。
  21. 前記第4の取得ユニットは、前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとのプリセットされている比
    を取得し、前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が
    であると決定し、前記追跡期間全身ボックスを、
    に基づき、決定する、ように特に構成される請求項20に記載の電子デバイス。
  22. 前記上半身追跡ボックスは
    であり、
    は、前記上半身追跡ボックスの左上水平座標であり、
    は、前記上半身追跡ボックスの左上垂直座標であり、
    は、前記上半身追跡ボックスの右下水平座標であり、
    は、前記上半身追跡ボックスの右下垂直座標であり、
    前記追跡期間全身ボックスを
    に基づき決定するときに、前記第4の取得ユニットは、前記追跡期間全身ボックスの左上水平座標を決定し、
    である場合、前記追跡期間全身ボックスの前記左上水平座標は
    であり、前記追跡期間全身ボックスの左上垂直座標が
    であると決定し、前記追跡期間全身ボックスの右下水平座標が
    であると決定し、前記追跡期間全身ボックスの右下垂直座標が
    であると決定し、
    であり、前記追跡期間全身ボックスが
    であると決定する、ように特に構成される請求項19または21に記載の電子デバイス。
  23. 前記第3の取得ユニットは、前記上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、前記複数の粒子のうちのいずれか1つの幅と高さとの比が前記上半身検出ボックスの幅と前記上半身検出ボックスの前記高さとの比と同じであり、前記上半身追跡ボックスを決定し、前記上半身追跡ボックスは前記複数の粒子のうちで前記上半身検出ボックスに最も類似する粒子である、ように特に構成される請求項14から22のいずれか一項に記載の電子デバイス。
  24. 前記第4の取得ユニットは、前記追跡期間全身ボックスの前記左上水平座標を決定し、
    である場合、前記追跡期間全身ボックスの前記左上水平座標は
    であり、前記追跡期間全身ボックスの前記左上垂直座標が
    であると決定し、前記追跡期間全身ボックスの前記右下水平座標が
    であると決定し、前記追跡期間全身ボックスの前記右下垂直座標が
    であると決定し、
    であり、前記追跡期間全身ボックスが
    であると決定する、ように特に構成される請求項22に記載の電子デバイス。
  25. 前記追跡されるべきビデオのターゲット画像フレームシーケンスを取得するように構成されている第5の取得ユニットであって、前記ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、前記ターゲット画像フレームシーケンスは、前記検出期間の前にある、第5の取得ユニットと、
    前記追跡されるべきビデオの背景領域を前記ターゲット画像フレームシーケンスに基づき取得するように構成されている第6の取得ユニットと、
    前記追跡されるべきビデオの任意の画像フレームの前景領域を、前記検出期間内に前記追跡されるべきビデオの前記画像フレームから前記背景領域を差し引くことによって取得するように構成されている第7の取得ユニットと、
    前記追跡されるべき歩行者を、前記追跡されるべきビデオの前記画像フレームの前記前景領域を検出することによって取得するように構成されている第8の取得ユニットとをさらに備える請求項14から24のいずれか一項に記載の電子デバイス。
  26. 前記第1の取得ユニットは、ターゲット画像フレームを決定し、前記ターゲット画像フレームは、前記追跡されるべき歩行者が出現する画像フレームであり、前記ターゲット画像フレームの前景領域内で前記上半身検出ボックスを取得する、ように特に構成される請求項25に記載の電子デバイス。
JP2019553258A 2017-03-31 2018-03-20 歩行者追跡の方法および電子デバイス Active JP6847254B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710208767.7 2017-03-31
CN201710208767.7A CN108665476B (zh) 2017-03-31 2017-03-31 一种行人跟踪方法以及电子设备
PCT/CN2018/079514 WO2018177153A1 (zh) 2017-03-31 2018-03-20 一种行人跟踪方法以及电子设备

Publications (2)

Publication Number Publication Date
JP2020515974A true JP2020515974A (ja) 2020-05-28
JP6847254B2 JP6847254B2 (ja) 2021-03-24

Family

ID=63675224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019553258A Active JP6847254B2 (ja) 2017-03-31 2018-03-20 歩行者追跡の方法および電子デバイス

Country Status (6)

Country Link
US (1) US20200027240A1 (ja)
EP (1) EP3573022A4 (ja)
JP (1) JP6847254B2 (ja)
KR (1) KR102296088B1 (ja)
CN (1) CN108665476B (ja)
WO (1) WO2018177153A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209774B (zh) * 2018-11-21 2024-03-26 杭州海康威视数字技术股份有限公司 目标行为识别及显示方法、装置、设备、可读介质
CN109558505A (zh) * 2018-11-21 2019-04-02 百度在线网络技术（北京）有限公司 视觉搜索方法、装置、计算机设备及存储介质
CN110418114B (zh) * 2019-08-20 2021-11-16 京东方科技集团股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN111767782B (zh) * 2020-04-15 2022-01-11 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机
CN113642360B (zh) * 2020-04-27 2024-06-04 杭州海康威视数字技术股份有限公司 一种行为计时方法、装置、电子设备及存储介质
CN112541395A (zh) * 2020-11-13 2021-03-23 浙江大华技术股份有限公司 一种目标检测和跟踪方法、装置、存储介质及电子装置
CN112784680B (zh) * 2020-12-23 2024-02-02 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN113096155B (zh) * 2021-04-21 2023-01-17 青岛海信智慧生活科技股份有限公司 一种社区多特征融合的目标跟踪方法及装置
KR102328644B1 (ko) * 2021-07-01 2021-11-18 주식회사 네패스아크 안전운전 도우미 시스템 및 그 동작방법
CN114037950B (zh) * 2021-10-26 2024-07-02 武汉大学 一种基于行人和头部检测的多行人跟踪方法及装置
CN116012949B (zh) * 2023-02-06 2023-11-17 南京智蓝芯联信息科技有限公司 一种复杂场景下的人流量统计识别方法及系统
CN116091552B (zh) * 2023-04-04 2023-07-28 上海鉴智其迹科技有限公司 基于DeepSORT的目标跟踪方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063681A (zh) * 2014-05-30 2014-09-24 联想(北京)有限公司 一种活动对象图像识别方法及装置
JP2014191393A (ja) * 2013-03-26 2014-10-06 Fujitsu Ltd 物体追跡プログラム、物体追跡方法及び物体追跡装置
JP2015191338A (ja) * 2014-03-27 2015-11-02 株式会社メガチップス 人物検出装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232571B (zh) * 2008-01-25 2010-06-09 北京中星微电子有限公司 一种人体图像匹配方法及视频分析检索系统
JP5206494B2 (ja) * 2009-02-27 2013-06-12 株式会社リコー 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
US9437009B2 (en) * 2011-06-20 2016-09-06 University Of Southern California Visual tracking in video images in unconstrained environments by exploiting on-the-fly context using supporters and distracters
CN102509086B (zh) * 2011-11-22 2015-02-18 西安理工大学 一种基于目标姿态预测及多特征融合的行人目标检测方法
CN102592288B (zh) * 2012-01-04 2014-07-02 西安理工大学 一种光照环境变化情况下的行人目标匹配跟踪方法
CN102609686B (zh) * 2012-01-19 2014-03-12 宁波大学 一种行人检测方法
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
US20140169663A1 (en) * 2012-12-19 2014-06-19 Futurewei Technologies, Inc. System and Method for Video Detection and Tracking
JP6276519B2 (ja) * 2013-05-22 2018-02-07 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置
CN105574515B (zh) * 2016-01-15 2019-01-01 南京邮电大学 一种无重叠视域下的行人再识别方法
CN106204653B (zh) * 2016-07-13 2019-04-30 浙江宇视科技有限公司 一种监控跟踪方法及装置
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置
CN106960446B (zh) * 2017-04-01 2020-04-24 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN107909005A (zh) * 2017-10-26 2018-04-13 西安电子科技大学 基于深度学习的监控场景下人物姿态识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191393A (ja) * 2013-03-26 2014-10-06 Fujitsu Ltd 物体追跡プログラム、物体追跡方法及び物体追跡装置
JP2015191338A (ja) * 2014-03-27 2015-11-02 株式会社メガチップス 人物検出装置
CN104063681A (zh) * 2014-05-30 2014-09-24 联想(北京)有限公司 一种活动对象图像识别方法及装置

Also Published As

Publication number Publication date
KR102296088B1 (ko) 2021-08-30
CN108665476A (zh) 2018-10-16
WO2018177153A1 (zh) 2018-10-04
EP3573022A1 (en) 2019-11-27
KR20190118619A (ko) 2019-10-18
JP6847254B2 (ja) 2021-03-24
US20200027240A1 (en) 2020-01-23
EP3573022A4 (en) 2020-01-01
CN108665476B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
JP6847254B2 (ja) 歩行者追跡の方法および電子デバイス
US10268900B2 (en) Real-time detection, tracking and occlusion reasoning
JP7282851B2 (ja) 装置、方法及びプログラム
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
CN107808111B (zh) 用于行人检测和姿态估计的方法和装置
US11527000B2 (en) System and method for re-identifying target object based on location information of CCTV and movement information of object
US8165348B2 (en) Detecting objects crossing a virtual boundary line
JP6233624B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP2019062527A (ja) エッジ演算を用いる多カメラシステムでのリアルタイムの対象再識別
CN108875507B (zh) 行人跟踪方法、设备、系统和计算机可读存储介质
US10762372B2 (en) Image processing apparatus and control method therefor
JP2012191354A (ja) 情報処理装置、情報処理方法及びプログラム
KR102022971B1 (ko) 영상의 객체 처리 방법 및 장치
JP2008035301A (ja) 移動体追跡装置
KR20200050553A (ko) 움직임 추적 시스템 및 방법
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
KR101648786B1 (ko) 객체 인식 방법
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
CN110728249B (zh) 目标行人的跨摄像机识别方法、装置及系统
JP2009301242A (ja) 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体
KR102150661B1 (ko) 객체를 검출하기 위한 전처리 장치 및 방법
KR20140123399A (ko) 사용자 영상의 신체 부위를 검출하는 장치 및 방법
Xu et al. Smart video surveillance system
US10395137B2 (en) Method and processing unit for correlating image data content from disparate sources
Peng et al. Multi-camera pedestrian detection with multi-view bayesian network model.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210302

R150 Certificate of patent or registration of utility model

Ref document number: 6847254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250