Nothing Special   »   [go: up one dir, main page]

JP6832504B2 - 物体追跡方法、物体追跡装置およびプログラム - Google Patents

物体追跡方法、物体追跡装置およびプログラム Download PDF

Info

Publication number
JP6832504B2
JP6832504B2 JP2017098560A JP2017098560A JP6832504B2 JP 6832504 B2 JP6832504 B2 JP 6832504B2 JP 2017098560 A JP2017098560 A JP 2017098560A JP 2017098560 A JP2017098560 A JP 2017098560A JP 6832504 B2 JP6832504 B2 JP 6832504B2
Authority
JP
Japan
Prior art keywords
image
feature amount
neural network
objects
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017098560A
Other languages
English (en)
Other versions
JP2018026108A (ja
Inventor
ヤン キム ミン
ヤン キム ミン
宗太郎 築澤
宗太郎 築澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201780003689.5A priority Critical patent/CN108352072B/zh
Priority to EP17839122.3A priority patent/EP3499454B1/en
Priority to PCT/JP2017/024932 priority patent/WO2018030048A1/ja
Publication of JP2018026108A publication Critical patent/JP2018026108A/ja
Priority to US16/171,923 priority patent/US10803602B2/en
Application granted granted Critical
Publication of JP6832504B2 publication Critical patent/JP6832504B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Description

本開示は、物体追跡方法、物体追跡装置およびプログラムに関し、特にニューラルネットワークを用いてコンピュータが行う物体追跡方法、物体追跡装置およびそのプログラムに関する。
例えば動画像に映る複数の対象物体を追跡する物体追跡技術にDeep Learningを用いることが提案されている（例えば非特許文献１〜３）。非特許文献１〜３では、Deep Learningで用いられるニューラルネットワークに、時系列情報を扱えるリカレントニューラルネットワーク(Recurrent Neural Network)を利用する。これにより、動画像間に映る複数の対象物体の流れなどの時間的情報を扱えるので、Deep Learningを用いた物体追跡技術を実現できる。
Gan, Q., Guo, Q., Zhang, Z., Cho, K.: First step toward model-free, anonymous object tracking with recurrent neural networks. CoRR abs/1511.06425 Kahou, S.E., Michalski, V., Memisevic, R.: RATM: recurrent attentive tracking model. CoRR abs/1510.08660(2015) Ondruska, P., Posner, I.: Deep tracking: Seeing beyond seeing using recurrent neural networks. CoRR abs/1602.00991(2016)
しかしながら、上記非特許文献１〜３で提案されているDeep Learningを用いた物体追跡技術は、リカレントニューラルネットワークを利用していることから、演算量が非常に多く処理速度が遅い。このため、例えば、事故などの可能性を事前に検知し回避するシステムであるADAS（Advanced Driver Assistance System：先進運転支援システム）など、リアルタイムな物体追跡が要求されるシステムには、当該物体追跡技術を適用することは難しい。
本開示は、上述の事情を鑑みてなされたもので、Deep Learningを用いた物体追跡の処理速度をより向上できる物体追跡方法、物体追跡装置およびプログラムを提供することを目的とする。
上記課題を解決するために、本開示の一形態に係る物体追跡方法は、ニューラルネットワークを用いてコンピュータが行う物体追跡方法であって、それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、前記ニューラルネットワークに入力する入力ステップと、前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で前の画像に映る追跡候補である１以上の物体に一致する、前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを含み、前記ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有する。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の物体追跡方法等によれば、Deep Learningを用いた物体追跡の処理速度をより向上できる。
図１は、実施の形態における物体追跡装置の構成の一例を示すブロック図である。 図２は、図１に示す出力部の詳細構成の一例を示すブロック図である。 図３は、図２に示す抽出部が用いるニューラルネットワークの構造の一例の説明図である。 図４は、図３に示す基本ニューラルネットワークの構造の一例の説明図である。 図５は、実施の形態における物体追跡装置の処理例を示すフローチャートである。 図６Ａは、実施の形態における物体追跡装置への入力画像の一例を示す図である。 図６Ｂは、実施の形態における物体追跡装置への入力画像の一例を示す図である。 図７は、実施の形態における物体追跡装置が行う処理のイメージを示す図である。 図８は、実施の形態における物体追跡装置が行う処理のイメージを示す図である。 図９Ａは、実施の形態における物体追跡装置の処理結果の一例を示す図である。 図９Ｂは、実施の形態における物体追跡装置の処理結果の一例を示す図である。 図１０は、実施の形態における学習処理の概要を示すフローチャートである。 図１１は、実施の形態における一段階目の学習処理で用いる基本ニューラルネットワークの構造の一例の説明図である。 図１２は、実施の形態における二段階目の学習処理で用いるニューラルネットワークの構造の一例の説明図である。 図１３は、実施例１におけるMarket-1501データセットを用いた学習時誤差を示す図である。 図１４は、実施例１におけるMarket-1501データセットを用いた検証時誤差を示す図である。 図１５Ａは、実施例１における検証用のMarket-1501データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１５Ｂは、実施例１における検証用のMarket-1501データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１６Ａは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１６Ｂは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１６Ｃは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１７Ａは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１７Ｂは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１７Ｃは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１８Ａは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１８Ｂは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１８Ｃは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１９Ａは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１９Ｂは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図１９Ｃは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。 図２０は、実施例１における所定のアルゴリズムの一例を示す図である。 図２１は、実施例２におけるMOT16 Train Data setのベンチマーク評価結果を示す図である。 図２２は、実施例２におけるMOT16 Test Data setのベンチマーク評価結果を示す図である。
（本開示の一態様を得るに至った経緯）
物体追跡は、機械視覚（マシン・ビジョン）の認識に対する関心の高まりとともに、急速に発展している。また、物体追跡は、オブジェクトを高いレベルで理解することへの関心の高まりにより、コンピュータ・ビジョンにおいて最も活発になされているトピックの１つになっている。物体追跡では、スポーツ分析の分野でさえ、監視システムにより他律的に動作させることから自律的に動作させることに目的を変化させるなど、追跡性能を向上させるための広いアプローチがすでにある。
しかし、機械視覚が物体追跡を行うためには、データセットに依存する多数のパラメータを調整する必要があり、ADASなど、リアルタイムに物体追跡が要求されるシステムに適用するためには、重大な制限となる。
近年、DNNs（Deep Neural Networks）は、大量の特徴を学習できることから、広く使用されるようになってきた。そのため、DNNsを用いて物体追跡システムを構築する技術も積極的に提案されてきている（例えば上記非特許文献１〜３）。非特許文献１〜３では、上述したように、Deep Learningに用いるニューラルネットワークに、物体の移動の流れなどの時間的情報（時系列情報）を組み込めるリカレントニューラルネットワーク(RNN)が利用される。物体の移動の流れなどの時間的情報は、動画像中における対象物体の流れの関係はもちろん、動画像中にわたる物体の追跡においても重要である。
しかし、非特許文献１〜３で提案される物体追跡技術は、非常に多くの演算を必要とするため、処理速度が遅くなってしまうという課題を有している。
そこで、本開示の一形態に係る物体追跡方法は、ニューラルネットワークを用いてコンピュータが行う物体追跡方法であって、それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、前記ニューラルネットワークに入力する入力ステップと、前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で前の画像に映る追跡候補である１以上の物体に一致する、前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを含み、前記ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有する。
これにより、Deep Learningを用いた物体追跡の処理速度をより向上できる物体追跡方法を実現できる。
ここで、例えば、前記入力ステップでは、それぞれ１以上の物体が映り、時系列に連続した第１画像および第２画像を前記ニューラルネットワークに入力し、前記出力ステップでは、前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、および、前記第２画像に映る１以上の物体それぞれの第２特徴量を前記ニューラルネットワークに抽出させ、抽出させた前記第１特徴量および前記第２特徴量を比較して類似性を照合することで、前記第１画像に映る前記追跡候補それぞれに一致する前記第２画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力し、前記ニューラルネットワークは、前記同一構造を２つ含み、２つの前記同一構造で前記第１画像の前記第１特徴量および前記第２画像の前記第２特徴量を抽出するとしてもよい。
また、例えば、前記入力ステップでは、それぞれ１以上の物体が映り、時系列に連続した第１画像、第２画像および第３画像を前記ニューラルネットワークに入力し、前記出力ステップでは、前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、前記第２画像に映る１以上の物体それぞれの第２特徴量、および、前記第３画像に映る１以上の物体それぞれの第３特徴量を前記ニューラルネットワークに抽出させ、抽出した前記第１特徴量、前記第２特徴量および前記第３特徴量を比較して類似性を照合することで、前記第１画像に映る前記追跡候補それぞれに一致する前記第２画像および前記第３画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力し、前記ニューラルネットワークは、前記同一構造を３つ含み、３つの前記同一構造で前記第１画像の前記第１特徴量、前記第２画像の前記第２特徴量および前記第３画像の前記第３特徴量を抽出するとしてもよい。
また、例えば、前記物体追跡方法は、さらに、前記入力ステップを行う前に、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用データを用いて、前記ニューラルネットワークに、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる学習ステップを含むとしてもよい。
また、例えば、前記ニューラルネットワークは、さらに、前記２以上の同一構造の外に、前記入力ステップにおいて入力された前記２以上の画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有するとしてもよい。
また、例えば、前記物体追跡方法は、さらに、前記入力ステップを行う前に、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用データを用いて、前記ニューラルネットワークのうちの前記２以上の同一構造に、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための、前記パラメータを学習させる第１学習ステップと、前記第１学習ステップで学習させた前記パラメータを前記２以上の同一構造に反映させた前記ニューラルネットワークに、前記学習用データを用いて、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる第２学習ステップとを含むとしてもよい。
また、例えば、前記比較による類似性は、前記２つ以上の同一構造で抽出された前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量の距離の比較により評価されるとしてもよい。
また、例えば、前記比較による類似性は、前記２以上の画像それぞれの特徴量のユークリッド距離を用いた誤差関数を用いて評価されるとしてもよい。
また、例えば、前記２つ以上の同一構造はそれぞれ、前記入力ステップにおいて入力された前記２以上の画像のうち対応する画像の特徴量を、当該画像の次元よりも減じた次元で抽出し、前記２つ以上の同一構造それぞれで抽出される特徴量の次元は同一であるとしてもよい。
また、例えば、前記２以上の画像に映る１以上の物体は、人物および車両のうちの少なくとも一方であるとしてもよい。
以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
（実施の形態１）
以下では、図面を参照しながら、実施の形態１における物体追跡装置１０の物体追跡方法等の説明を行う。
［物体追跡装置１０の構成］
図１は、本実施の形態における物体追跡装置１０の構成の一例を示すブロック図である。図２は、図１に示す出力部１２の詳細構成の一例を示すブロック図である。
物体追跡装置１０は、ニューラルネットワークを用いたコンピュータ等で実現され、図１に示すように入力部１１と出力部１２とで構成されている。物体追跡装置１０は、追跡対象が映る映像が入力されると、追跡対象の物体の識別情報および位置情報を含む追跡結果を出力する。なお、物体追跡装置１０は、追跡結果を付与した映像を出力してもよい。
＜入力部１１＞
入力部１１は、それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、ニューラルネットワークに入力する。より具体的には、入力部１１は、それぞれ１以上の物体が映り、時系列に連続した第１画像および第２画像をニューラルネットワークに入力する。なお、入力部１１は、それぞれ１以上の物体が映り、時系列に連続した第１画像、第２画像および第３画像をニューラルネットワークに入力してもよい。
本実施の形態では、入力部１１は、時系列に連続した２つの画像である第１画像および第2画像を出力部１２の抽出部１２１に入力するとして説明する。なお、入力部１１は、時系列に連続した３つの画像である第１画像、第２画像および第３画像を出力部１２の抽出部１２１に入力してもよい。また、１以上の物体は、人物および車両のうちの少なくとも一方であればよいが、これら以外であってもよい。
＜出力部１２＞
出力部１２は、図２に示すように、抽出部１２１と、照合部１２２と、追跡結果出力部１２３とを備える。出力部１２は、入力部１１に入力された映像に対する追跡結果を出力する。例えば、出力部１２は、入力部１１に入力された映像に含まれる時系列画像において、時系列で前の画像に含まれる追跡対象の物体と一致する、時系列で後の画像に含まれる物体の識別情報および位置情報を追跡結果として出力する。なお、出力部１２は、入力部１１に入力された映像に追跡結果を付与して出力してもよい。つまり、出力部１２は、時系列で後の画像に含まれる物体に、時系列で前の画像に含まれる同一物体に付された識別情報と同一の識別情報を付した映像を出力してもよい。
≪抽出部１２１≫
抽出部１２１は、ニューラルネットワークを用いて、入力部１１により入力された２以上の画像それぞれの特徴量（特徴マップ）を抽出する。つまり、当該特徴量は特徴マップであってもよい。ここで、当該ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、同一構造間の対応する層でパラメータを共有する。当該ニューラルネットワークは、さらに当該２以上の同一構造の外に、入力部１１により入力される２以上の画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有する。そして、当該２つ以上の同一構造はそれぞれ、入力部１１により入力された２以上の画像のうち対応する画像の特徴量を、当該画像の次元よりも減じた次元で抽出し、２つ以上の同一構造それぞれで抽出される特徴量の次元は同一である。
本実施の形態では、抽出部１２１は、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２つ含み、同一構造間の対応する層でパラメータを共有し、かつ、当該２つの同一構造の外に、入力部１１により入力される２つの画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有するニューラルネットワークを用いる。そして、抽出部１２１は、入力部１１により入力された第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、および、第２画像に映る１以上の物体それぞれの第２特徴量を、当該ニューラルネットワークを用いて抽出する。
なお、入力部１１により、時系列に連続した３つの画像である第１画像、第２画像および第３画像が入力される場合、抽出部１２１は、０以上の全結合層と１以上の畳み込み層とを有する同一構造を３つ含み、同一構造間の対応する層でパラメータを共有し、かつ、当該３つの同一構造の外に、入力部１１により入力される３つの画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有するニューラルネットワークを用いてもよい。すなわち、抽出部１２１は、入力部１１により入力された第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、第２画像に映る１以上の物体それぞれの第２特徴量、および、第３画像に映る１以上の物体それぞれの第３特徴量を、当該ニューラルネットワークを用いて抽出してもよい。
ここで、本実施の形態の抽出部１２１が用いるニューラルネットワークの構造の一例について説明する。図３は、図２に示す抽出部１２１が用いるニューラルネットワーク１２１ａの構造の一例の説明図である。図４は、図３に示す基本ニューラルネットワーク１２１１の構造の一例の説明図である。
本実施の形態の抽出部１２１が用いるニューラルネットワーク１２１ａの構造は、例えば図４に示す基本ニューラルネットワーク１２１１（ＮＢ）を拡張したものに相当する。
図４に示す基本ニューラルネットワーク１２１１は、５つの畳み込み層（conv1〜conv5）と、２つのプーリング層（poo1, poo2）と、２つの全結合層（fc1,fc2）とを有する同一構造を２つ含み、同一構造間の対応する５つの畳み込み層と２つの全結合層とでパラメータを共有している。なお、このようにプーリング層を除く同一構造の対応する層でパラメータを共有するニューラルネットワークはサイアミーズニューラルネットワーク（Siamese neural network）とも呼ばれる。
図４に示すように、各畳み込み層では、活性化関数として例えば双曲線正接（tanh）を使用する。また、最初の全結合層（fc1）では、活性化関数として例えばランプ関数（Rectified Linear Unit（ReLU））を使用する。フィルタのサイズすなわちカーネルサイズは、例えばconv1では5x5、pool1では2x2、conv2では3x3、pool2では2x2、conv3では3x3、conv4では2x2、conv5では2x2、fc1では2048、fc2では1024としている。なお、これらは一例であり、上記とは異なる活性化関数およびカーネルサイズとしてもよい。また、図４に示す基本ニューラルネットワーク１２１１では、同一構造内での畳み込み層を５つ有する場合を例に挙げているが、これに限らない。同一構造内での畳み込み層の数を増やすと画像の特徴抽出する際の認識精度が向上する一方で演算量が増え処理時間を要するため、適宜決定すればよい。
いずれにせよ、基本ニューラルネットワーク１２１１は、２以上の同一構造を有し、当該同一構造の対応する層でパラメータを共有すればよい。そして、このような基本ニューラルネットワーク１２１１は、入力された第１画像および第２画像の特徴量を、同一の次元で、かつ、第１画像および第２画像の次元よりも減じた次元で抽出できる。
図３に示すニューラルネットワーク１２１ａは、図４に示す基本ニューラルネットワーク１２１１の外に、入力部１１により入力される２以上の画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層１２１７および追加層１２１９を少なくとも有する。また、ニューラルネットワーク１２１ａは、図４に示す基本ニューラルネットワーク１２１１の外に、特徴層１２１２および特徴層１２１３を有する。なお、ニューラルネットワーク１２１ａは、サイアミーズニューラルネットワーク（Siamese neural network）である基本ニューラルネットワーク１２１１（NB：Base Network）を拡張したものであるので、拡張サイアミーズニューラルネットワーク（Enhanced Siamese neural network（ESNN））と称する場合もある。
より具体的には、図３に示すニューラルネットワーク１２１ａは、基本ニューラルネットワーク１２１１、特徴層１２１２、特徴層１２１３、特徴結合層１２１４、特徴結合層１２１５、次元処理層１２１６、次元処理層１２１８、追加層１２１７および追加層１２１９で構成されている。
特徴層１２１２は、基本ニューラルネットワーク１２１１が抽出した第１画像についての例えば２次元または４次元の特徴量（特徴マップ）を出力する層である。つまり、特徴層１２１２のカーネルサイズは、２または４である。このように特徴層１２１２が出力する第１画像の特徴量は、第１画像の次元数（数百万）と比較して大幅に減っている。同様に、特徴層１２１３は、基本ニューラルネットワーク１２１１が抽出した第２画像についての例えば２次元または４次元の特徴量（特徴マップ）を出力する層である。つまり、特徴層１２１３のカーネルサイズは、２または４である。このように特徴層１２１３が出力する第２画像の特徴量は、第２画像の次元数（数百万）と比較して大幅に減っている。なお、特徴層１２１２および特徴層１２１３のカーネルサイズは、２または４に限らず１以上であればよい。
なお、特徴層１２１２および特徴層１２１３は、基本ニューラルネットワーク１２１１の外に位置するが、基本ニューラルネットワーク１２１１の出力層でもある。
次元処理層１２１６は、活性化関数として例えばランプ関数（Rectified Linear Unit（ReLU））を使用する畳み込み層からなり、次元を増やす処理および次元を減らす処理を行う。次元処理層１２１６は、特徴層１２１２および特徴層１２１３が保持する特徴量の次元を増やして、追加層１２１７に入力する。また、次元処理層１２１６は、追加層１２１７が出力する位置評価量の次元を減らして、特徴結合層１２１４および特徴結合層１２１５に入力する。
次元処理層１２１８は、同様に、活性化関数として例えばランプ関数（Rectified Linear Unit（ReLU））を使用する畳み込み層からなり、次元を増やす処理および次元を減らす処理を行う。次元処理層１２１８は、特徴層１２１２および特徴層１２１３が保持する特徴量の次元を増やして、追加層１２１９に入力する。また、次元処理層１２１８は、追加層１２１７が出力する領域の大きさ評価量の次元を減らして、特徴結合層１２１４および特徴結合層１２１５に入力する。
追加層１２１７は、第１画像と第２画像に映る１以上の物体すなわち追跡対象物体の位置変化を追加特徴量として算出する。追加層１２１７は、例えば第１画像と第２画像に示される追跡対象物体を含むボックス（box：矩形の箱）の領域同士において（共通集合の面積／和集合の面積）の計算を行う。このように追加層１２１７は、IoU(Intersection-over-Union)を計算することで、追跡対象物体の位置変化を追加特徴量として算出する。
追加層１２１９は、第１画像と第２画像に映る１以上の物体すなわち追跡対象物体の領域の大きさの変化を追加特徴量として算出する。追加層１２１９は、例えば第１画像と第２画像に示される追跡対象物体を示すボックスの領域の（最小面積／最大面積）の計算を行う。このように追加層１２１９は、領域の大きさの変化をAreaRatio（面積比）で計算することで、追跡対象物体の領域変化を追加特徴量として算出する。
なお、次元処理層１２１６および次元処理層１２１８は、特徴層１２１２および特徴層１２１３が保持する特徴量と、追加層１２１７および追加層１２１７が算出する追加特徴量との次元が異なれば必要だが、次元が同じであれば必要ない。
特徴結合層１２１４は、特徴層１２１２が有する第１画像における特徴量と、追加層１２１７、追加層１２１９で算出した追加特徴量とを結合する。同様に、特徴結合層１２１５は、特徴層１２１３が有する第２画像における特徴量と、追加層１２１７、追加層１２１９で算出した追加特徴量とを結合する。
このようにして、抽出部１２１は、ニューラルネットワーク１２１ａを用いて、入力部１１により入力された２以上の画像それぞれの特徴量（特徴マップ）を抽出することで、追跡候補の位置変化および領域変化を考慮した追跡候補の画像上の類似性を得ることができる。なお、特徴マップは類似行列の形で得てもよいし、ベクトル表記の形で得てもよい。また、特徴マップは、追跡候補の画像上の類似性を示すことから、類似性マッピング（Similarity Mapping）と称する場合もある。
≪照合部１２２≫
照合部１２２は、ニューラルネットワークに抽出させた特徴量（特徴マップ）を照合する。本実施の形態では、照合部１２２は、抽出部１２１が抽出した第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量および第２画像に映る１以上の物体それぞれの第２特徴量を照合する。より具体的には、照合部１２２は、所定のアルゴリズムを用いて、抽出部１２１で抽出された第１特徴量および第２特徴量を照合する。照合部１２２は、例えばユークリッド距離を用いて、抽出部１２１で抽出された第１特徴量および第２特徴量の距離を評価することで、追跡候補の位置変化および領域変化を考慮した追跡候補の画像上の類似性を照合する。なお、第１特徴量および第２特徴量の距離の評価方法は、ユークリッド距離を用いる場合に限らない。例えば、マンハッタン距離を用いてもよいしマハビラス距離を用いてもよい。
なお、入力部１１により、時系列に連続した３つの画像である第１画像、第２画像および第３画像が入力される場合、照合部１２２は、抽出部１２１が抽出した第１特徴量、第２特徴量および第３特徴量を照合すればよい。
≪追跡結果出力部１２３≫
追跡結果出力部１２３は、２以上の画像のうちの時系列で前の画像に映る追跡候補である１以上の物体に一致する、前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する。
本実施の形態では、追跡結果出力部１２３は、第１画像に映る追跡候補それぞれに一致する第２画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する。また、入力部１１により、時系列に連続した３つの画像である第１画像、第２画像および第３画像が入力される場合、追跡結果出力部１２３は、第１画像に映る追跡候補それぞれに一致する第２画像および第３画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する。
なお、追跡結果出力部１２３は、第１画像に映る追跡候補それぞれと同一物体である旨を示す識別情報を付した第２画像を出力してもよい。例えば、第１画像に映る追跡候補に例えば識別番号が付されていた場合、追跡結果出力部１２３は、第１画像に映る追跡候補と同一物体の第２画像に映る追跡候補に同一の識別番号を付した第２画像を識別結果として出力してもよい。
また、入力部１１により、時系列に連続した３つの画像である第１画像、第２画像および第３画像が入力される場合、追跡結果出力部１２３は、第１画像に映る追跡候補それぞれに一致する第２画像および第３画像に映る１以上の物体に、第１画像に映る追跡候補それぞれと同一物体である旨を示す識別情報を付した第２画像および第３画像を出力してもよい。
［物体追跡装置１０の動作等］
次に、以上のように構成される物体追跡装置１０の動作等について説明する。
図５は、本実施の形態における物体追跡装置１０の処理例を示すフローチャートである。図６Ａおよび図６Ｂは、本実施の形態における物体追跡装置１０への入力画像の一例を示す図である。図７および図８は、本実施の形態における物体追跡装置１０が行う処理のイメージを示す図である。図９Ａのおよび図９Ｂは、本実施の形態における物体追跡装置１０の処理結果の一例を示す図である。
まず、物体追跡装置１０に追跡対象が映る映像を入力する（Ｓ１）。より具体的には、物体追跡装置１０のコンピュータは、当該映像を構成する画像のうちの２以上の画像であってそれぞれ１以上の物体が映り、時系列に連続した２以上の画像をニューラルネットワーク１２１ａに入力する。例えば、物体追跡装置１０のコンピュータは、図６Ａおよび図６Ｂに示す時系列に連続した、追跡対象が映る画像５０ｔ−１および画像５０ｔを、ニューラルネットワーク１２１ａに入力する。
ここで、図６Ａに示す画像５０ｔ−１は物体追跡装置１０に入力される時系列で前の第１画像の一例であり、追跡対象である二人の人物を含む領域であるボックスに１または２の識別番号が付されている。一方、図６Ｂに示す画像５０ｔは物体追跡装置１０に入力される時系列で後の第２画像の一例であるが、追跡対象である二人の人物を含む領域であるボックスには識別番号が付されていない。
次に、物体追跡装置１０のコンピュータは、ニューラルネットワーク１２１ａにＳ１で入力された２以上の画像の追跡対象の物体の特徴量である特徴マップを推定させ、推定させた特徴マップを照合することで得た追跡結果を出力する（Ｓ２）。
より具体的には、物体追跡装置１０のコンピュータは、まず、ニューラルネットワーク１２１ａにＳ１で入力された２以上の画像それぞれの特徴量である特徴マップを抽出させる。図７に示す例では、同一構造の対応する層でパラメータを共有するニューラルネットワーク１２１ａを用いて、特徴マップを抽出する処理のイメージが示されている。
次いで、物体追跡装置１０のコンピュータは、ニューラルネットワーク１２１ａを用いて得た特徴マップを照合することで、時系列で前の画像に映る追跡候補である１以上の物体と一致する時系列で後の画像に映る１以上の物体を識別する。図８に示す例では、第１画像である画像５０ｔ−１のボックスに含まれる追跡対象の人物と、第２画像である画像５０ｔのボックスに含まれる追跡対象の人物との特徴マップを、所定のマッチングアルゴリズムで比較して類似性を照合することで、同一人物か否かを識別する処理のイメージが示されている。
そして、物体追跡装置１０のコンピュータは、時系列で前の画像に映る追跡候補である１以上の物体に一致する時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する。本実施の形態では、物体追跡装置１０のコンピュータは、後の画像に映る１以上の物体が前の画像に映る追跡候補それぞれと同一物体である旨を示す識別情報を付した後の画像を、追跡結果として出力する。物体追跡装置１０のコンピュータは、例えば図９Ａに示す画像５０ｔ−１に映る追跡対象の人物と同一人物である図９Ｂに示す画像５０ｔに映る人物を含むボックスに、図９Ａに示す画像５０ｔ−１に映る追跡対象の人物を含むボックスに付された識別番号と同じ番号を付して出力する。ここで、ボックスが位置情報の一例であり、識別番号が識別情報の一例である。
ここで、図９Ａに示す画像５０ｔ−１は図６Ａと同じ第１画像の一例である。一方、図９Ｂに示す画像５０ｔは図６Ｂと同じ第２画像の一例であるが、追跡対象である二人の人物を含む領域であるボックスに追跡結果として識別番号が付されている。
［物体追跡装置１０の学習処理］
以下、このような物体追跡装置１０を実現するための学習処理について説明する。本実施の形態では、まず、サイアミーズニューラルネットワーク（基本ニューラルネットワーク１２１１）の学習を行い、その後に、拡張サイアミーズニューラルネットワーク（ニューラルネットワーク１２１ａ）の学習を行う二段階学習を行う。以下では、一段階目の学習で用いられるサイアミーズニューラルネットワークを基本ニューラルネットワーク１２１１ａと称し、二段階目の学習で用いられる拡張サイアミーズニューラルネットワークをニューラルネットワーク１２１ｂと称して説明する。
図１０は、本実施の形態における学習処理の概要を示すフローチャートである。図１１は、本実施の形態における一段階目の学習処理で用いる基本ニューラルネットワーク１２１１ａの構造の一例の説明図である。図１２は、本実施の形態における二段階目の学習処理で用いるニューラルネットワーク１２１ｂの構造の一例の説明図である。なお、図３および図４と同様の要素には同一の符号を付しており、詳細な説明は省略する。
＜Ｓ１０＞
まず、同一物体が映る２つの画像であるペア画像と非同一物体が映る２つの画像である非ペア画像とを複数含む学習用データを準備する（Ｓ１０）。より具体的には、一段階目の学習処理（以下、第１学習処理と称する）で用いる学習用データと、二段階目の学習処理（以下、第２学習処理と称する）で用いる学習用データとを準備する。
本実施の形態では、第１学習処理用に、Market-1501データセットから生成したペア画像(matching pairs)と、非ペア画像(non-matching pairs)とを複数含む学習用データを準備する。ここで、ペア画像は、同じ大きさの同一物体が映る同じ大きさ２つの画像である。非ペア画像は、同じ大きさの非同一物体が映る同じ大きさの２つの画像である。また、第２学習処理用に、MOT16データセットから生成した同一物体が映る２つの画像であるペア画像と非同一物体が映る２つの画像である非ペア画像とを複数含む学習用データを準備する。
≪Market-1501データセット≫
Market-1501データセットは、テストおよび学習の両方に利用可能なアノテーション（正解ラベル）が付された１５０１個の同一人物が含まれ、人物の再識別に用いることができる。Market-1501データセットは、６台の異なる角度のカメラにより収集される。
≪MOT16データセット≫
一方、MOT16データセットは、MOT16-02,04,05,09,10,11,13などテストに利用可能な７つのテストシーケンスとMOT16-01,03,06,07,08,12,14など学習処理に利用可能なの７つの学習用シーケンスを含む。学習用シーケンスには、79,790個の検出が含まれており、テストシーケンスには、135,376個の歩行者を示す検出が含まれている。MOT16データセットに含まれる１つのシーケンスは、単一視点から撮影されたビデオシーケンスであり、各シーケンスは、車、ハンドヘルドカメラなどに取り付けられたカメラなどさまざまな視点で収集されたシーケンスである。
＜Ｓ１１＞
次に、コンピュータは、Ｓ１０で準備した学習用データを用いて、基本ニューラルネットワーク１２１１ａを学習させる第１学習処理を行う（Ｓ１１）。より具体的には、コンピュータは、同一物体が映る２つの画像であるペア画像と非同一物体が映る２つの画像である非ペア画像とを複数含む学習用データを用いて、基本ニューラルネットワーク１２１１ａに、ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるためのパラメータを学習させる第１学習処理を行う。ここで、比較による類似性は、基本ニューラルネットワーク１２１１ａで抽出された２以上の画像それぞれの特徴量の距離の比較により評価される。一例としては、比較による類似性は、２以上の画像それぞれの特徴量のユークリッド距離を用いた誤差関数を用いて評価される。
本実施の形態では、コンピュータは、図１１に示すような基本ニューラルネットワーク１２１１ａを用いて第１学習処理を行う。図１１に示す基本ニューラルネットワーク１２１１ａは、データ入力層５１およびデータ入力層５１ｐと、評価層１２２０とをさらに備える。
データ入力層５１およびデータ入力層５１ｐは、図４に示す基本ニューラルネットワーク１２１１に対して、ペア画像または非ペア画像を入力する。データ入力層５１は、第１学習処理用に準備された学習用データに含まれるペア画像または非ペア画像の一方の画像を基本ニューラルネットワーク１２１１ａに入力する。データ入力層５１ｐは、ペア画像または非ペア画像の他方の画像を基本ニューラルネットワーク１２１１ａに入力する。
評価層１２２０は、基本ニューラルネットワーク１２１１ａにより抽出され、出力された特徴量をユークリッド距離を用いて評価する。評価層１２２０は、例えば（式１）および（式２）により、ユークリッド距離を用いた誤差関数を算出する。
ここで、Enは、特徴層１２１２ａから出力される特徴量Fpと、特徴層１２１３ａから出力される特徴量Fとのユークリッド距離を示す。また、（式２）におけるyは、データ入力層５１およびデータ入力層５１ｐから入力され２つの画像のラベルを示す。y=1は、２つの画像がペア画像であることを示し、y=0は、２つの画像が非ペア画像であることを示す。mは、マージンパラメータであり、２つの画像に映る物体が非同一である場合に同一性を示す特徴量を抽出できないときの対策として機能する。本実施の形態では、m=3としている。
Ｓ１１において、コンピュータは、評価層１２２０で算出される誤差が小さくなるように基本ニューラルネットワーク１２１１ａのパラメータを調整または更新する。ここで、パラメータは、基本ニューラルネットワーク１２１１ａを構成する畳み込み層および全結合層の重みと特徴層１２１２ａおよび特徴層１２１３ａで共有する重みである。コンピュータは、第１学習処理において評価層１２２０で算出される誤差が最小または変動しなくなった状態までパラメータを調整または更新する。
＜Ｓ１２＞
次に、コンピュータは、Ｓ１０で準備した学習用データを用いて、Ｓ１１で学習した基本ニューラルネットワーク１２１１ａのパラメータを反映させたニューラルネットワーク１２１ｂを学習させる第２学習処理を行う（Ｓ１２）。より具体的には、コンピュータは、Ｓ１１で学習させたパラメータを基本ニューラルネットワーク１２１１ｂに反映させたニューラルネットワーク１２１ｂに、Ｓ１０で準備した学習用データを用いて、ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるためのパラメータを学習させる第２学習処理を行う。
本実施の形態では、コンピュータは、図１２に示すようなニューラルネットワーク１２１ｂを用いて第２学習処理を行う。図１２に示すニューラルネットワーク１２１ｂは、評価層１２２２が追加されている。なお、図１２に示すニューラルネットワーク１２１ｂでは、Ｓ１１で学習されたパラメータが基本ニューラルネットワーク１２１１ｂに反映され、一旦固定される。
データ入力層５１は、第２学習処理用に準備された学習用データに含まれるペア画像または非ぺア画像の一方の画像を基本ニューラルネットワーク１２１１ｂに入力する。データ入力層５１ｐは、ペア画像または非ぺア画像の他方の画像を基本ニューラルネットワーク１２１１ｂに入力する。
評価層１２２２は、ニューラルネットワーク１２１ａに対して、特徴層１２１２ｂおよび特徴層１２１３ｂにより出力される特徴量をユークリッド距離を用いて評価するための誤差関数を算出する。評価層１２２２は、評価層１２２０と同様に、例えば（式１）および（式２）により、ユークリッド距離を用いた誤差関数を算出すればよい。この場合、（式１）における特徴量Fpは、特徴層１２１２ｂから出力される特徴量と追加層１２１７および追加層１２１９で算出した追加特徴量とが結合されたものとすればよい。また、（式１）における特徴量Fは、特徴層１２１３ｂから出力される特徴量と追加層１２１７および追加層１２１９で算出した追加特徴量とが結合されたものとすればよい。そして、Enは、これらの特徴量Fpおよび特徴量Fとのユークリッド距離とすればよい。
なお、追加層１２１７、追加層１２１９が算出する追加特徴量は、以下の（式３）により算出することができる。
ここで、bi、bjは、データ入力層５１およびデータ入力層５１ｐに入力される２つの画像それぞれに映る物体を含む領域を示すボックスである。追加層１２１７は、追加特徴量としてDIoUを算出し、追加層１２１９は、追加特徴量としてDARATを算出する。
Ｓ１２において、コンピュータは、図１２に示すニューラルネットワーク１２１ｂの基本ニューラルネットワーク１２１１ｂにＳ１１で学習されたパラメータを反映するが、最初のフェーズでは固定して第２学習処理を行う。
換言すると、コンピュータは、第２学習処理の最初のフェーズにおいて、基本ニューラルネットワーク１２１１ｂのパラメータの固定し、第２学習処理用に準備された学習用データを用いて特徴層１２１２ｂおよび特徴層１２１３ｂが共有するパラメータのみ学習を行う。具体的には、コンピュータは、評価層１２２２で算出される誤差が小さくなるように、第２学習処理用に準備された学習用データを用いて特徴層１２１２ｂおよび特徴層１２１３ｂが共有するパラメータを調整または更新する。ここで、パラメータは、第２学習処理の最初のフェーズにおいて評価層１２２２で算出される誤差が最小または変動しなくなった状態となるよう調整または更新される。
続いて、コンピュータは、特徴層１２１２ｂおよび特徴層１２１３ｂが共有するパラメータの学習が一旦終了すると、基本ニューラルネットワーク１２１１ｂのパラメータの固定を解除して第２学習処理を行う。つまり、コンピュータは、第２学習処理の最後のフェーズにおいて、第２学習処理用に準備された学習用データを用いてニューラルネットワーク１２１ｂ全部のパラメータの学習を行う。
なお、第２学習処理において、まず、最初のフェーズにおいて、特徴層１２１２ｂおよび特徴層１２１３ｂが共有するパラメータのみ学習させているのは、第１学習処理で学習された基本ニューラルネットワーク１２１１ａのパラメータを活かすためである。仮に、第２学習処理において、最初および最後のフェーズを設けずに、第２学習処理用に準備された学習用データを用いてニューラルネットワーク１２１ｂ全部のパラメータの学習を行わせるとする。すると、第１学習処理で学習されたパラメータを大幅に変更してしまうことになり、学習効率が落ちるばかりか、パラメータが収束しない可能性もある。
本実施の形態では、このような２段階の学習処理を行うことにより、物体追跡装置１０に用いるニューラルネットワーク１２１ａのパラメータを学習させることができる。
［物体追跡装置１０の効果等］
以上のように、本実施の形態における物体追跡装置１０によれば、拡張サイアミーズニューラルネットワークを用いて、時系列に入力される入力画像における追跡候補の画像上の類似性を示す特徴マップを位置変化および領域変化を追加特徴として取り込み、かつ、入力画像の次元数よりも大幅に減らした次元数で取得することができる。そして、取得した特徴マップを比較し、時系列に入力される入力画像における追跡候補の類似性を照合することで物体追跡を行うことができる。このように、本実施の形態における物体追跡装置１０は、拡張サイアミーズニューラルネットワークを用いることで、次元数を減らした時間的な情報を考慮できる特徴マップを用いて追跡候補の類似性を照合することができる。これにより、本実施の形態における物体追跡装置１０は、リカレントニューラルネットワークを利用した物体追跡よりも高速に処理を行うことができる。つまり、本実施の形態における物体追跡装置１０によれば、Deep Learningを用いた物体追跡の処理速度をより向上できる。したがって、本実施の形態における物体追跡装置１０を、ADASなど、リアルタイムな物体追跡が要求されるシステムに適用できる。
（変形例）
上記の実施の形態では、物体追跡装置１０に用いられるニューラルネットワークが拡張サイアミーズニューラルネットワークである場合について説明したが、これに限らない。物体追跡装置１０に用いられるニューラルネットワークが、サイアミーズニューラルネットワークすなわち基本ニューラルネットワーク１２１１および特徴層１２１２、１２１３のみで構成されていてもよい。この場合、図１０に示す学習処理は、図１１に示す構成すなわち基本ニューラルネットワーク１２１１ａに対してＳ１１の第１学習処理およびＳ１２の第２学習処理を行えばよい。
なお、図１１に示す構成すなわち基本ニューラルネットワーク１２１１ａに対して、Ｓ１１の第１学習処理のみを行うとしてもよい。すなわち、コンピュータは、Ｓ１０で準備した学習用データを用いて、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用画像を用いて、基本ニューラルネットワーク１２１１ａで構成されるニューラルネットワークに、ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる学習処理を行ってもよい。
（実施例１）
物体追跡装置１０に用いられるニューラルネットワークがサイアミーズニューラルネットワークまたは拡張サイアミーズニューラルネットワークである場合の２段階の学習処理の有効性について検証したので、その実験結果を実施例１として説明する。
［データセット］
（第1学習処理で用いる学習用データ）
Market-1501データセットから、64(w)×64(h)の同じ大きさの同一人物が128(w)×128(h)の同じサイズの異なる２つの画像をランダムに選択したペア画像を75,000セット生成した。また、Market-1501データセットから、64(w)×64(h)の同じ大きさの異なる人物が128(w)×128(h)の同じサイズの異なる２つの画像をランダムに選択した非ペア画像を75,000セット生成した。そして、これらを含めたものを第１学習処理で用いる学習用データとした。また、第１学習処理の有効性の検証用に、上記のようなペア画像および非ペア画像をそれぞれ25,000セット生成した。
（第２学習処理で用いる学習用データ）
MOT16データセットを構成する７つのテストシーケンスには、groundtruth情報すなわち正解情報がない。そこで、MOT16データセットを構成する７つの学習用シーケンスを学習用の６つのシーケンスと検証用の１つのシーケンスに分割した。６つのシーケンスにおいて、２つの連続フレームから合計で約222,400個となるペア画像と非ペア画像とをIoU（位置変化）およびAreaRatio（領域変化）を示すデータと共に生成し、 第２学習処理で用いる学習用データとした。残りの１つのシーケンスにおいて、２つの連続フレームから、合計で約198,800個となるペア画像と非ペア画像とをIoU（位置変化）およびAreaRatio（領域変化）を示すデータと共に生成し, 第２学習処理の有効性の検証用とした。
［第１学習処理の有効性］
第１学習処理では、Market-1501データセットから生成した学習用データを用いて基本ニューラルネットワーク１２１１ａを、１回分のバッチサイズを１２８、学習率を０．０１として確率的勾配降下法で学習させた。
図１３は、実施例１におけるMarket-1501データセットを用いた学習時誤差を示す図である。図１４は、実施例１におけるMarket-1501データセットを用いた検証時誤差を示す図である。縦軸は誤差を示し、横軸は１００反復を１回とした回数を示す。図１４には、図１３の回数時における、第１学習処理済みの基本ニューラルネットワーク１２１１ａで検証した結果が示されている。
Market-1501データセットで検証した結果、第１学習処理済みの基本ニューラルネットワーク１２１１ａは、精度= 0．9854、再現率= 0.9774およびF1= 0.9814を達成した。なお、F1のスコアは、以下の（式４）で算出することができる。
ここで、TPは真陽性の数すなわち正負２クラス分類としたときに真が正、かつ、予測結果も正であった出力データ数を示す。FPは偽陽性の数すなわち真が負、かつ、予測結果が正であった出力データ数を示す。FNは偽陰性の数すなわち真が負、かつ、予測結果が負であった出力データ数を示す。
図１５Ａおよび図１５Ｂは、実施例１における検証用のMarket-1501データセットを用いて得た特徴量のユークリッド距離を示す図である。縦軸は、学習済みの基本ニューラルネットワーク１２１１ａにより出力された２つの特徴量のユークリッド距離を示している。横軸において左側のグラフは、第１学習処理済みの基本ニューラルネットワーク１２１１ａに、非ペア画像を入力したときに出力された２つの特徴量のユークリッド距離を線形または対数のスケールで示している。横軸において右側のグラフは、第１学習処理済みの基本ニューラルネットワーク１２１１ａに、ペア画像を入力したときに出力された２つの特徴量のユークリッド距離を線形または対数のスケールで示している。なお、図１５Ｂは、図１５Ａの縦軸を対数のスケールに変換したものに相当する。
図１５Ｂに示すように、第１学習処理済みの基本ニューラルネットワーク１２１１ａでは、水平線h1（m=3）を境界としてペア画像および非ペア画像から抽出した２つの特徴量で概ね類似性が分類できているのがわかる。つまり、第１学習処理済みの基本ニューラルネットワーク１２１１ａは、ペア画像については同一物体を示す特徴量を抽出し、非ペア画像については非同一物体を示す特徴量を抽出しているのがわかる。
［第２学習処理の有効性］
第２学習処理では、上述したように、まず、ニューラルネットワーク１２１ｂの一部を構成する基本ニューラルネットワーク１２１１ｂに第１学習処理により学習したパラメータを反映させた。次に、Mot16データセットから生成した学習用データを用いて、最初のフェーズにおいて基本ニューラルネットワーク１２１１ｂのパラメータを固定してニューラルネットワーク１２１ｂを学習させた。そして、最後のフェーズにおいて、基本ニューラルネットワーク１２１１ｂのパラメータを固定を解除してニューラルネットワーク１２１ｂを学習させた。
Mot16データセットで検証した結果、第２学習処理済みの基本ニューラルネットワーク１２１１ｂだけから、精度=0.9837、再現率=0.9966およびF1=0.9901を達成した。また、第２学習処理済みのニューラルネットワーク１２１ｂから、精度=0.9908、再現率=0.9990およびF1= 0.9949を達成した。
図１６Ａ〜図１７Ｃは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。図１６Ａ〜図１６Ｃには、第２学習処理済みの基本ニューラルネットワーク１２１１ｂにより得た２つの特徴量のユークリッド距離が示されている。図１７Ａ〜図１７Ｃには、第２学習処理済みのニューラルネットワーク１２１ｂにより得た２つの特徴量のユークリッド距離が示されている。これらの図において、濃色点はペア画像から抽出した特徴量のものを示し、薄色点は非ぺア画像から抽出した特徴量のものを示している。
より具体的には、図１６Ａには、第２学習処理済みの基本ニューラルネットワーク１２１１ｂにより得た２つの特徴量のユークリッド距離のヒストグラムが示されている。縦軸は正規化された周波数を示し、横軸はユークリッド距離を示す。なお、点線v1はペア画像から抽出した２つの特徴量のユークリッド距離の平均値を示し、点線v2は非ぺア画像から抽出した２つの特徴量のユークリッド距離の平均値を示している。図１６Ｂは、図１６Ａの結果を、横軸にIoU（共通集合の面積／和集合の面積）、縦軸に線形のスケールのユークリッド距離でプロットしたものである。図１６Ｃは、図１６Ａの結果を、横軸にIoU（共通集合の面積／和集合の面積）、縦軸に対数のスケールのユークリッド距離でプロットしたものである。なお、図１６Ｃは、図１６Ａの縦軸を対数のスケールに変換したものに相当する。
図１７Ａには、第２学習処理済みの基本ニューラルネットワーク１２１１ｂにより得た２つの特徴量のユークリッド距離のヒストグラムが示されている。縦軸は正規化された周波数を示し、横軸はユークリッド距離を示す。なお、点線v3はペア画像から抽出した２つの特徴量のユークリッド距離の平均値を示し、点線v4は非ぺア画像から抽出した２つの特徴量のユークリッド距離の平均値を示している。図１７Ｂは、図１７Ａの結果を、横軸にIoU（共通集合の面積／和集合の面積）、縦軸に線形のスケールのユークリッド距離でプロットしたものである。図１７Ｃは、図１７Ａの結果を、横軸にIoU（共通集合の面積／和集合の面積）、縦軸に対数のスケールのユークリッド距離でプロットしたものである。なお、図１７Ｃは、図１７Ａの縦軸を対数のスケールに変換したものに相当する。
図１６Ｃに示すように、第２学習処理済みの基本ニューラルネットワーク１２１１ｂでは、水平線h2（m=3）を境界としてペア画像および非ペア画像から抽出した２つの特徴量で概ね類似性が分類できているのがわかる。また、図１７Ｃに示すように、第２学習処理済みのニューラルネットワーク１２１ｂでは、水平線h2（m=3）を境界としてペア画像および非ペア画像から抽出した特徴量で類似性を分類できているのがわかる。そして、図１６Ｃと図１７Ｃとを比較すると、図１７Ｃに示される例の方がより効果的に類似性を分類できているのがわかる。つまり、第２学習処理済みのニューラルネットワーク１２１ｂは、ペア画像については同一物体を示す特徴量を、非ペア画像については非同一物体を示す特徴量をより効果的に抽出できているのがわかる。例えば、第２学習処理済みの基本ニューラルネットワーク１２１１ｂでは、IoU<0.05で、誤分類された非ペア画像の特徴量のものを、第２学習処理済みのニューラルネットワーク１２１ｂでは正しく分類されていることからわかる。これは、第２学習処理済みのニューラルネットワーク１２１ｂでは、例えば類似の衣服を着ている異なる人物から抽出される類似した特徴量を、IoUおよびAreaRatioなどの位置変化および領域変化を示す情報を利用することで、異なる人物から抽出された特徴量であると識別できることを意味する。
なお、図１８Ａ〜図１９Ｃは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。図１８Ａ〜図１９Ｃは、図１６Ａ〜図１７Ｃとは、学習用のMot16データセットを用いている点を除いて同様の図となっている。図１８Ａにおいて、点線v5は第２学習処理済みの基本ニューラルネットワーク１２１１ｂがペア画像から抽出した２つの特徴量のユークリッド距離の平均値を示し、点線v6は第２学習処理済みの基本ニューラルネットワーク１２１１ｂが非ぺア画像から抽出した２つの特徴量のユークリッド距離の平均値を示している。同様に、図１９Ａにおいて、点線v7は第２学習処理済みのニューラルネットワーク１２１ｂがペア画像から抽出した２つの特徴量のユークリッド距離の平均値を示し、点線v8は第２学習処理済みのニューラルネットワーク１２１ｂが非ぺア画像から抽出した２つの特徴量のユークリッド距離の平均値を示している。
［アルゴリズム］
図２０は、実施例１における所定のアルゴリズムの一例を示す図である。図２０には、基本ニューラルネットワーク１２１１ａ、１２１１ｂが抽出した特徴量、およびニューラルネットワーク１２１ｂが抽出した特徴量を比較して類似性を照合するために用いた所定のアルゴリズムの一例が示されている。
本実施例では、基本ニューラルネットワーク１２１１ａ、１２１１ｂが抽出した特徴量の類似性の照合を、以下の（式５）〜（式８）により算出できるスコア関数Snewを用いて行った。
ここで、bi、bjは、図１１または図１２に示すデータ入力層５１、５１ｐに入力される時系列に連続した２つの画像Bt-1、Btそれぞれに映る人物などの物体を含む領域を示すボックスである。（式５）に示すSDistは、（式６）に示すように、bi、bjから基本ニューラルネットワーク１２１１ａ、１２１１ｂが抽出した特徴量のユークリッド距離D(bi,bj）とバイアス項γとから導くことができる。SIoUは、（式７）に示すように、bi、bjのIoU（位置変化）を１．０だけシフトさせることで導くことができる。SAratは、（式８）に示すように、bi、bjのAreaRatio（領域変化）から導くことができる。
また、本実施例では、ニューラルネットワーク１２１ｂが抽出した特徴量による類似性の照合を、以下の（式６）により算出できるSDistを用いて行った。
以上から、以下の（式９）に示されるスコア関数Snewを用いて特徴量による類似性の照合を行うことができる。つまり、基本ニューラルネットワークが抽出する特徴量による類似性の照合を行うときには、IoUおよびAreaRatioとユークリッド距離とを用いて行えばよい。また、基本ニューラルネットワークを拡張したニューラルネットワークが抽出する特徴量による類似性の照合を行うときには、ユークリッド距離のみを用いて行えばよい。
そして、本実施例では、（式９）に示されるスコア関数Snewを、図２０に示すような所定のアルゴリズムを用いて導出する。なお、図２０の行１で入力されるnは、現フレームとペアを生成するためにどのくらいの前のフレームを検索するかを決定する。図２０では、現フレームの追跡対象の物体と類似する物体が決定された場合、現フレームの追跡対象の物体と同一のIDが割り当てられる。
（実施例２）
実施例２では、MOT16 Train Data setとMOT16 Test Data setとを用いて物体追跡装置１０に用いられるニューラルネットワークの性能を評価したので、その結果について説明する。なお、実施例２では、物体追跡装置１０に用いられるニューラルネットワークがサイアミーズニューラルネットワークとした。つまり、実施例２では、変形例における物体追跡装置１０に用いられるニューラルネットワークについて性能を評価した。また、MOT16を用いて、複数の対象物体を追跡する物体追跡の性能をベンチマーク評価することは、最も確立された評価方法の一つであり広く使用されている。
図２１は、実施例２におけるMOT16 Train Data setのベンチマーク評価結果を示す図である。図２１に示すように、物体追跡の精度（MOTA）のうち最も高い値48.6は、MOT16-11シーケンスを用いた場合の評価結果である。物体追跡の精度（MOTA）のうち最も低い値6.2は、MOT16-13シーケンスを用いた場合の評価結果である。しかし、MOT16-13シーケンスは、MOT16 Train Data setに含まれるシーケンスの中で最も物体追跡を行うのが難しいシーケンスであることが知られている。MOT16 Train Data setを用いて場合の物体追跡の精度（MOTA）の平均値は、31.0である。
実行時間（Hz）は、MOT16 Train Data setに含まれるシーケンス毎に異なっている。実行時間は、シーケンスの密度に依存するため、シーケンスの密度すなわち画像フレーム内における対象物体の検出数が多いほど処理量が多いので時間を要するためである。なお、本実施例における実行時間は、NVIDIA GeForce GTX 970カードを使用して評価した。
図２２は、実施例２におけるMOT16 Test Data setのベンチマーク評価結果を示す図である。なお、図２２において、「Ours」は、本開示における物体追跡装置１０が行う物体検出の性能評価結果すなわちベンチマーク評価に該当する。その他は、サイアミーズニューラルネットワークを用いない方法においての物体検出のベンチマーク評価である。また、図２２に示されるベンチマーク評価は、１）未来の情報を用いないで現在および過去の情報を用いる方法であるオンライン、２）追跡対象を自前で用意せずに提供された検出セットを使用する方法で行われている。
図２２に示すように、物体追跡の精度（MOTA）が３５．２で、実行時間（Hz）が５．６Ｈｚである。その他のベンチマーク評価が行われたハードウェア仕様に関する情報が不足しており、実行時間（Hz）すなわち処理速度の正確な比較は不可能であるものの、「Ours」は、「その他」と比較して、精度と処理速度との両方において非常に十分な性能を達成しているのがわかる。
以上のように、本開示に係る物体追跡装置および物体追跡方法によれば、Deep Learningを用いた物体追跡の処理速度をより向上できる物体追跡方法を実現できる。したがって、本開示に係る物体追跡装置および物体追跡方法を、ADASなど、リアルタイムな物体追跡が要求されるシステムに十分に適用できる。
（他の実施態様の可能性）
以上、実施の形態において本開示の物体追跡方法について説明したが、各処理が実施される主体や装置に関しては特に限定しない。ローカルに配置された特定の装置内に組み込まれたプロセッサーなど（以下に説明）によって処理されてもよい。またローカルの装置と異なる場所に配置されているクラウドサーバなどによって処理されてもよい。
また、学習用データまたは物体追跡方法の入力画像としては、車載カメラで撮影された画像（全体画像）であってもよいし、全体画像の一部画像（部分画像）であってもよい。部分画像としては、追跡対象の一つの物体を含む領域の画像であってもよい。全体画像としては、追跡対象の複数の物体を含む画像であってもよい。
なお、本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
また、本開示は、さらに、以下のような場合も含まれる。
（１）上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
（３）上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
（４）また、本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD（Blu-ray(登録商標) Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
本開示は、Deep Learningを用いた物体追跡方法、物体追跡装置およびプログラムに利用でき、特にADASなど、リアルタイムな物体追跡が要求されるシステムに利用できる。
１０ 物体追跡装置
１１ 入力部
１２ 出力部
５０ｔ−１、５０ｔ 画像
５１、５１ｐ データ入力層
１２１ 抽出部
１２１ａ、１２１ｂ ニューラルネットワーク
１２２ 照合部
１２３ 追跡結果出力部
１２１１、１２１１ａ、１２１１ｂ 基本ニューラルネットワーク
１２１２、１２１２ａ、１２１２ｂ、１２１３、１２１３ａ、１２１３ｂ 特徴層
１２１４、１２１５ 特徴結合層
１２１６、１２１８ 次元処理層
１２１７、１２１９ 追加層
１２２０、１２２２ 評価層

Claims (11)

  1. ニューラルネットワークを用いてコンピュータが行う物体追跡方法であって、
    それぞれ１以上の物体が映り、時系列に連続した第１画像および第２画像を含む２以上の画像を、前記ニューラルネットワークに入力する入力ステップと、
    前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量および前記第２画像に映る１以上の物体それぞれの第２特徴量を前記ニューラルネットワークに抽出させ、抽出させた前記第１特徴量および前記第２特徴量を比較して類似性を照合することで、前記第１画像に映る追跡候補である１以上の物体に一致する、前記第１画像より時系列で後の前記第２画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを含み、
    前記ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有し、
    前記ニューラルネットワークは、さらに、前記２以上の同一構造の外に、前記入力ステップにおいて入力された前記２以上の画像に映る１以上の物体のIoU(Intersection-over-Union)および当該画像中の領域の面積比を追加特徴量として算出する追加層を備え、
    前記出力ステップでは、前記ニューラルネットワークは、２つ以上の同一構造のうちの２つの前記同一構造で前記第１画像の特徴量および前記第２画像の特徴量を抽出し、
    前記第１特徴量は、前記追加特徴量として算出された前記IoUおよび前記面積比を前記２以上の同一構造のうちの第１の構造から出力される、前記第１画像の特徴量と結合した特徴量であり、
    前記第２特徴量は、前記追加特徴量として算出された前記IoUおよび前記面積比を前記２以上の同一構造のうちの第２の構造から出力される、前記第２画像の特徴量と結合した特徴量である、
    物体追跡方法。
  2. 前記２以上の画像は、前記第１画像および前記第２画像であり、
    前記２以上の同一構造は、２つの同一構造である、
    請求項１に記載の物体追跡方法。
  3. 前記入力ステップでは、それぞれ１以上の物体が映り、時系列に連続した第１画像、第２画像および第３画像を前記ニューラルネットワークに入力し、
    前記出力ステップでは、前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、前記第２画像に映る１以上の物体それぞれの第２特徴量、および、前記第３画像に映る１以上の物体それぞれの第３特徴量を前記ニューラルネットワークに抽出させ、抽出した前記第１特徴量、前記第２特徴量および前記第３特徴量を比較して類似性を照合することで、前記第１画像に映る前記追跡候補それぞれに一致する前記第２画像および前記第３画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力し、
    前記２以上の同一構造は、３つの同一構造であり、３つの前記同一構造で前記第１画像の特徴量、前記第２画像の特徴量および前記第３画像の特徴量を抽出する、
    請求項１に記載の物体追跡方法。
  4. 前記物体追跡方法は、さらに、
    前記入力ステップを行う前に、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用データを用いて、前記ニューラルネットワークに、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる学習ステップを含む、
    請求項１〜３のいずれか１項に記載の物体追跡方法。
  5. 前記物体追跡方法は、さらに、
    前記入力ステップを行う前に、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用データを用いて、前記ニューラルネットワークのうちの前記２以上の同一構造に、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための、前記パラメータを学習させる第１学習ステップと、
    前記第１学習ステップで学習させた前記パラメータを前記２以上の同一構造に反映させた前記ニューラルネットワークに、前記学習用データを用いて、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる第２学習ステップとを含む、
    請求項１に記載の物体追跡方法。
  6. 前記比較による類似性は、前記２つ以上の同一構造で抽出された前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量の距離の比較により評価される、
    請求項４または５に記載の物体追跡方法。
  7. 前記比較による類似性は、
    前記２以上の画像それぞれの特徴量のユークリッド距離を用いた誤差関数を用いて評価される、
    請求項６に記載の物体追跡方法。
  8. 前記２つ以上の同一構造はそれぞれ、前記入力ステップにおいて入力された前記２以上の画像のうち対応する画像の特徴量を、当該画像の次元よりも減じた次元で抽出し、
    前記２つ以上の同一構造それぞれで抽出される特徴量の次元は同一である、
    請求項１〜７のいずれか１項に記載の物体追跡方法。
  9. 前記２以上の画像に映る１以上の物体は、人物および車両のうちの少なくとも一方である、
    請求項１〜６のいずれか１項に記載の物体追跡方法。
  10. ０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有するニューラルネットワークに、それぞれ１以上の物体が映り時系列に連続した第１画像および第２画像を含む２以上の画像を入力する入力ステップと、
    前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量および前記第２画像に映る１以上の物体それぞれの第２特徴量を前記ニューラルネットワークに抽出させ、抽出させた前記第１特徴量および前記第２特徴量を比較して類似性を照合することで、前記第１画像に映る追跡候補である１以上の物体に一致する前記第１画像より時系列で後の前記第２画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを、
    コンピュータに実行させ、
    前記ニューラルネットワークは、さらに、前記２以上の同一構造の外に、前記入力ステップにおいて入力された前記２以上の画像に映る１以上の物体のIoU(Intersection-over-Union)および当該画像中の領域の面積比を追加特徴量として算出する追加層を備えており、
    前記出力ステップでは、前記ニューラルネットワークに、２つ以上の同一構造のうちの２つの前記同一構造で前記第１画像の特徴量および前記第２画像の特徴量を抽出させ、
    前記第１特徴量は、前記追加特徴量として算出された前記IoUおよび前記面積比を前記２以上の同一構造のうちの第１の構造から出力される、前記第１画像の特徴量と結合した特徴量であり、
    前記第２特徴量は、前記追加特徴量として算出された前記IoUおよび前記面積比を前記２以上の同一構造のうちの第２の構造から出力される、前記第２画像の特徴量と結合した特徴量である、
    プログラム。
  11. それぞれ１以上の物体が映り、時系列に連続した第１画像および第２画像を含む２以上の画像を、ニューラルネットワークに入力する入力部と、
    前記入力部により入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量および前記第２画像に映る１以上の物体それぞれの第２特徴量を前記ニューラルネットワークに抽出させ、抽出させた前記第１特徴量および前記第２特徴量を比較して類似性を照合することで、前記第１画像に映る追跡候補である１以上の物体に一致する前記第１画像より時系列で後の前記第２画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力部とを備え、
    前記ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有し、
    前記ニューラルネットワークは、さらに、前記２以上の同一構造の外に、前記入力部において入力された前記２以上の画像に映る１以上の物体のIoU(Intersection-over-Union)および当該画像中の領域の面積比を追加特徴量として算出する追加層を備え、
    前記ニューラルネットワークは、２つ以上の同一構造のうちの２つの前記同一構造で前記第１画像の特徴量および前記第２画像の特徴量を抽出し、
    前記第１特徴量は、前記追加特徴量として算出された前記IoUおよび前記面積比を前記２以上の同一構造のうちの第１の構造から出力される、前記第１画像の特徴量と結合した特徴量であり、
    前記第２特徴量は、前記追加特徴量として算出された前記IoUおよび前記面積比を前記２以上の同一構造のうちの第２の構造から出力される、前記第２画像の特徴量と結合した特徴量である、
    物体追跡装置。
JP2017098560A 2016-08-08 2017-05-17 物体追跡方法、物体追跡装置およびプログラム Active JP6832504B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780003689.5A CN108352072B (zh) 2016-08-08 2017-07-07 物体跟踪方法、物体跟踪装置以及记录介质
EP17839122.3A EP3499454B1 (en) 2016-08-08 2017-07-07 Object tracking method, object tracking device, and program
PCT/JP2017/024932 WO2018030048A1 (ja) 2016-08-08 2017-07-07 物体追跡方法、物体追跡装置およびプログラム
US16/171,923 US10803602B2 (en) 2016-08-08 2018-10-26 Object tracking method, object tracking apparatus, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662371962P 2016-08-08 2016-08-08
US62/371,962 2016-08-08

Publications (2)

Publication Number Publication Date
JP2018026108A JP2018026108A (ja) 2018-02-15
JP6832504B2 true JP6832504B2 (ja) 2021-02-24

Family

ID=61194124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017098560A Active JP6832504B2 (ja) 2016-08-08 2017-05-17 物体追跡方法、物体追跡装置およびプログラム

Country Status (4)

Country Link
US (1) US10803602B2 (ja)
EP (1) EP3499454B1 (ja)
JP (1) JP6832504B2 (ja)
CN (1) CN108352072B (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060268A (ja) * 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
US12118769B1 (en) 2017-07-26 2024-10-15 Vizit Labs, Inc. Machine learning architecture for peer-based image scoring
US11417085B2 (en) * 2017-07-26 2022-08-16 Vizit Labs, Inc. Systems and methods for automating benchmark generation using neural networks for image or video selection
US12020470B1 (en) 2017-07-26 2024-06-25 Vizit Labs, Inc. Systems and methods for using image scoring an improved search engine
US11763546B1 (en) 2017-07-26 2023-09-19 Vizit Labs, Inc. Systems and methods for managing computer memory for scoring images or videos using selective web crawling
CN107562805B (zh) * 2017-08-08 2020-04-03 浙江大华技术股份有限公司 一种以图搜图的方法及装置
CN108230359B (zh) * 2017-11-12 2021-01-26 北京市商汤科技开发有限公司 目标检测方法和装置、训练方法、电子设备、程序和介质
US11087273B1 (en) * 2017-12-14 2021-08-10 Amazon Technologies, Inc. Item recognition system using reference images
WO2019170024A1 (zh) 2018-03-06 2019-09-12 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、存储介质
CN108460787B (zh) 2018-03-06 2020-11-27 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、程序、存储介质
KR102103770B1 (ko) * 2018-04-02 2020-04-24 동국대학교 산학협력단 보행자 검출 장치 및 방법
JP6988698B2 (ja) * 2018-05-31 2022-01-05 トヨタ自動車株式会社 物体認識装置
JP7268063B2 (ja) * 2018-06-29 2023-05-02 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 低電力のリアルタイムオブジェクト検出用のシステム及び方法
EP3588441B1 (en) * 2018-06-29 2023-08-09 Fujitsu Limited Imagification of multivariate data sequences
TWI679612B (zh) * 2018-08-14 2019-12-11 國立交通大學 影像追蹤方法
SG11202101826WA (en) * 2018-08-23 2021-03-30 Univ Texas Controlling a device by tracking movement of hand using acoustic signals
CN109344661B (zh) * 2018-09-06 2023-05-30 南京聚铭网络科技有限公司 一种基于机器学习的微代理的网页防篡改方法
US10872424B2 (en) * 2018-11-19 2020-12-22 Accenture Global Solutions Limited Object tracking using object attributes
JP7238962B2 (ja) 2019-03-13 2023-03-14 日本電気株式会社 物体追跡装置、物体追跡方法、及び、プログラム
US20220139071A1 (en) * 2019-03-25 2022-05-05 Sony Semiconductor Solutions Corporation Information processing device, information processing method, information processing program, and information processing system
CN110349147B (zh) * 2019-07-11 2024-02-02 腾讯医疗健康(深圳)有限公司 模型的训练方法、眼底黄斑区病变识别方法、装置及设备
JP7404125B2 (ja) * 2019-09-13 2023-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 物体追跡方法及びプログラム
JP7453767B2 (ja) * 2019-09-25 2024-03-21 キヤノン株式会社 情報処理装置、情報処理方法
JP7518609B2 (ja) * 2019-11-07 2024-07-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7331947B2 (ja) * 2019-12-24 2023-08-23 日本電気株式会社 物体識別装置、物体識別方法、学習装置、学習方法、及び、プログラム
JP7310927B2 (ja) * 2019-12-26 2023-07-19 日本電気株式会社 物体追跡装置、物体追跡方法及び記録媒体
SG10201913754XA (en) * 2019-12-30 2020-12-30 Sensetime Int Pte Ltd Image processing method and apparatus, electronic device, and storage medium
US11450021B2 (en) 2019-12-30 2022-09-20 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium
JP7226368B2 (ja) * 2020-02-17 2023-02-21 トヨタ自動車株式会社 物体状態識別装置
CN111460906B (zh) * 2020-03-05 2023-05-26 重庆大学 一种基于集成学习的脉冲神经网络模式识别方法及系统
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7381388B2 (ja) 2020-04-03 2023-11-15 トヨタ自動車株式会社 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置
JP7359735B2 (ja) 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
US20210358164A1 (en) * 2020-05-15 2021-11-18 Nvidia Corporation Content-aware style encoding using neural networks
EP3920102B1 (en) * 2020-06-05 2024-10-30 HTC Corporation Machine learning system and machine learning method involving data augmentation, and storage medium
CN111885384B (zh) * 2020-07-10 2023-08-22 郑州大学 带宽受限下基于生成对抗网络的图片处理和传输方法
WO2022044222A1 (ja) * 2020-08-27 2022-03-03 日本電気株式会社 学習装置、学習方法、追跡装置及び記憶媒体
US12067708B2 (en) * 2020-09-08 2024-08-20 Rakuten Group, Inc. Image judgement apparatus, image judgement method and non-transitory computer readable medium
US11818373B1 (en) * 2020-09-08 2023-11-14 Block, Inc. Machine-learning based data compression for streaming media
US11741712B2 (en) 2020-09-28 2023-08-29 Nec Corporation Multi-hop transformer for spatio-temporal reasoning and localization
US11964654B2 (en) * 2020-10-30 2024-04-23 GM Global Technology Operations LLC Spatially invariant 3D convolutional network over spherical coordinate input
CN112509008B (zh) * 2020-12-15 2022-05-03 重庆邮电大学 一种基于交并比引导孪生网络的目标跟踪方法
KR102308752B1 (ko) 2021-02-22 2021-10-05 주식회사 에스아이에이 객체 추적 방법 및 장치
SE2100097A1 (en) * 2021-06-09 2022-12-10 Saab Ab Method and Device for object tracking
KR102373752B1 (ko) * 2021-06-28 2022-03-14 주식회사 아센디오 복수 모델을 이용한 차량식별추적 방법, 및 시스템
KR102373753B1 (ko) * 2021-06-28 2022-03-14 주식회사 아센디오 딥러닝 기반의 차량식별추적 방법, 및 시스템
CN113628244B (zh) * 2021-07-05 2023-11-28 上海交通大学 基于无标注视频训练的目标跟踪方法、系统、终端及介质
US20230025770A1 (en) * 2021-07-19 2023-01-26 Kookmin University Industry Academy Cooperation Foundation Method and apparatus for detecting an object based on identification information of the object in continuous images
EP4145405A1 (fr) * 2021-09-02 2023-03-08 Bull SAS Procédé d'entrainement d'un réseau neuronal d'analyse d'image, et procédé de ré-identification d'objet mettant en oeuvre un tel réseau neuronal
CN114332169B (zh) * 2022-03-14 2022-05-06 南京甄视智能科技有限公司 基于行人重识别的行人跟踪方法、装置、存储介质及设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4859025B2 (ja) * 2005-12-16 2012-01-18 株式会社リコー 類似画像検索装置、類似画像検索処理方法、プログラム及び情報記録媒体
JP4290164B2 (ja) * 2006-01-31 2009-07-01 キヤノン株式会社 識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置
CN101299233B (zh) * 2008-04-08 2010-11-10 西安交通大学 基于fpga实现的运动目标识别与跟踪方法
JP5248236B2 (ja) * 2008-08-08 2013-07-31 パナソニック株式会社 画像処理装置および画像処理方法
CN104299245B (zh) * 2014-10-13 2017-12-26 深圳先进技术研究院 基于神经网络的增强现实跟踪方法
CN104915643B (zh) * 2015-05-26 2018-06-22 中山大学 一种基于深度学习的行人再标识方法
US10019631B2 (en) * 2015-11-05 2018-07-10 Qualcomm Incorporated Adapting to appearance variations when tracking a target object in video sequence
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
JP2018005420A (ja) * 2016-06-29 2018-01-11 富士通株式会社 情報処理装置、学習ネットワーク学習値算出プログラムおよび学習ネットワーク学習値算出方法

Also Published As

Publication number Publication date
EP3499454A1 (en) 2019-06-19
US20190066313A1 (en) 2019-02-28
EP3499454A4 (en) 2019-06-19
US10803602B2 (en) 2020-10-13
JP2018026108A (ja) 2018-02-15
CN108352072A (zh) 2018-07-31
EP3499454B1 (en) 2020-06-03
CN108352072B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
JP6832504B2 (ja) 物体追跡方法、物体追跡装置およびプログラム
CN110414432B (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN106548127B (zh) 图像识别方法
Bideau et al. It’s moving! a probabilistic model for causal motion segmentation in moving camera videos
Hoang et al. Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning
CN110659589B (zh) 基于姿态和注意力机制的行人再识别方法、系统、装置
US20150379371A1 (en) Object Detection Utilizing Geometric Information Fused With Image Data
US20160104053A1 (en) Hierarchical Interlinked Multi-scale Convolutional Network for Image Parsing
US20190301861A1 (en) Method and apparatus for binocular ranging
US11410327B2 (en) Location determination apparatus, location determination method and computer program
CN109492576B (zh) 图像识别方法、装置及电子设备
US20150036935A1 (en) Information processing apparatus, information processing method, and storage medium
US20160148070A1 (en) Image processing apparatus, image processing method, and recording medium
WO2018030048A1 (ja) 物体追跡方法、物体追跡装置およびプログラム
CN113297963A (zh) 多人姿态的估计方法、装置、电子设备以及可读存储介质
CN112070071B (zh) 视频中的对象标注方法、装置、计算机设备及存储介质
CN112036457B (zh) 训练目标检测模型的方法及装置、目标检测方法及装置
US20170053172A1 (en) Image processing apparatus, and image processing method
CN109523570A (zh) 运动参数计算方法及装置
JP6713422B2 (ja) 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム
CN114168768A (zh) 图像检索方法及相关设备
CN112257628A (zh) 一种户外比赛运动员的身份识别方法、装置及设备
CN115018886B (zh) 运动轨迹识别方法、装置、设备及介质
CN113486761B (zh) 一种指甲识别方法、装置、设备及存储介质
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210113

R151 Written notification of patent or utility model registration

Ref document number: 6832504

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151