Nothing Special   »   [go: up one dir, main page]

JP7077093B2 - 領域検出装置、領域検出方法及びそのプログラム - Google Patents

領域検出装置、領域検出方法及びそのプログラム Download PDF

Info

Publication number
JP7077093B2
JP7077093B2 JP2018057894A JP2018057894A JP7077093B2 JP 7077093 B2 JP7077093 B2 JP 7077093B2 JP 2018057894 A JP2018057894 A JP 2018057894A JP 2018057894 A JP2018057894 A JP 2018057894A JP 7077093 B2 JP7077093 B2 JP 7077093B2
Authority
JP
Japan
Prior art keywords
category
region
feature
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018057894A
Other languages
English (en)
Other versions
JP2019169060A5 (ja
JP2019169060A (ja
Inventor
真佑 福場
裕貴 内山
卓哉 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2018057894A priority Critical patent/JP7077093B2/ja
Priority to EP19775373.4A priority patent/EP3745351A4/en
Priority to PCT/JP2019/000619 priority patent/WO2019187494A1/ja
Priority to AU2019244533A priority patent/AU2019244533B2/en
Priority to US16/966,605 priority patent/US11216952B2/en
Publication of JP2019169060A publication Critical patent/JP2019169060A/ja
Publication of JP2019169060A5 publication Critical patent/JP2019169060A5/ja
Application granted granted Critical
Publication of JP7077093B2 publication Critical patent/JP7077093B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、領域検出装置、領域検出方法及びそのプログラムに関するものである。
近年、リモートセンシング技術を用いて、衛星画像、航空写真から土地の変化、例えば、草地に建物が建てられたなどを検出することが行われている。また、自動車や建物などの地上物体の検出も行われている。
衛星画像、航空写真から変化を検出する場合、異なる時間における同一地点の2つの画像を画素単位で比較しても、土地の変化を検出できない。衛星画像、航空写真で得られる画像の変化には、土地の変化だけでなく、撮影方向、時間などにより反射強度、影の変化が含まれるためである。また、画像の変化には、樹木の落葉、降雪などの違いも含まれる。
非特許文献1には、衛星画像から機械学習を用いて、土地被覆情報を分類する手法が開示されている。
また、非特許文献2には、機械学習により得られた識別器を用いて、地物を検出する手法が開示されている。
また、特許文献1には、第1時点と第2時点とに撮影した航空写真から変化している検出対象の領域を検出する方法が開示されている。この手法は、第1時点の航空写真と、第1時点の地図情報とから学習用データを生成する。生成した学習データにより学習した検出対象識別器を用いて、第2時点の航空写真に撮影された土地被覆を識別する。この結果を用いて、第1時点の航空写真と第2時点の航空写真とで異なる領域から、検出対象を含まない領域を除外する。
特開2017-33197号公報
安藤 岳洋 他1名、「高分解能衛星画像Geoeye-1を用いた詳細土地被覆情報の取得精度検証と分類手法の比較 -港北ニュータウンを対象として-」、都市計画報告集、公益社団法人日本都市計画学会、2015年8月、No.14、p.153-157 中村良介、他7名、「地球観測衛星画像上の地物認識」、The 30th Annual Conference of the Japanese Society for Artificial Intelligence 2016(JSAI2016)、一般社団法人人工知能学会、2016年
特許文献1に記載された変化領域検出装置は、比較する2時点のうち第1時点について、対応する地図情報を要する。地図情報の更新頻度は、衛星画像などの更新頻度に比べて非常に低いため、第1時点として用いることができる画像は限定される。これにより、検出対象に適した時間間隔を設定できず、検出精度が低い場合がある。
以上の問題を解決するため、本発明は、任意の2時点の地物画像から、地物が変化している領域を検出する装置を提供することを目的の1つとする。他の目的については、以下の記載及び実施の形態の説明から理解することができる。
以下に、発明を実施するための形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための形態との対応関係の一例を示すために、参考として、括弧付きで付加されたものである。よって、括弧付きの記載により、特許請求の範囲は、限定的に解釈されるべきではない。
上記目的を達成するため、本発明の第1の態様に係る領域検出装置(5)は、候補抽出部(10)と、分類部(20)と、領域抽出部(30)とを備える。候補抽出部(10)は、第1時点に上空から地表を撮影した第1地物画像(1-1)と、第1時点と異なる第2時点に地表を撮影した第2地物画像(1-2)とで異なる変化領域を抽出する。分類部(20)は、第1地物画像(1-1)の位置に応じて撮影されている第1地物の第1カテゴリを推定し、第1地物の位置と第1カテゴリとの関係を示す第1分類画像を算出する。また、分類部(20)は、第2地物画像の位置に応じて撮影されている第2地物の第2カテゴリを推定し、第2地物の位置と第2カテゴリとの関係を示す第2分類画像とを算出する。領域抽出部(30)は、第1カテゴリと、第1カテゴリと同じ位置における第2カテゴリとが予め決められた条件を満たす抽出領域を、変化領域から抽出する。また、領域抽出部(30)は、抽出領域を含む抽出信号を生成し送信する。
前述の予め決められた条件は、第1カテゴリが予め決められた第1条件カテゴリであり、第2カテゴリが予め決められた第2条件カテゴリであることを示してもよい。
前述の領域抽出部(30)は、形状判定部(31)を備えてもよい。形状判定部(31)は、互いに隣接し変化領域に含まれる画素を連結した分離領域(200)の形状特徴を算出してもよい(ステップ101)。また、形状判定部(31)は、形状特徴が、第1条件カテゴリの第1形状特徴または第2条件カテゴリの第2形状特徴に含まれない場合(ステップ102)に、当該形状特徴の分離領域(200)を変化領域から除外してもよい(ステップ103)。
前述の予め決められた条件は、第1カテゴリまたは第2カテゴリのいずれかが予め決められた第3条件カテゴリであることを示してもよい。
前述の領域抽出部(30)は、形状判定部(31)を備えてもよい。形状判定部(31)は、互いに隣接し変化領域に含まれる画素を連結した分離領域(200)の形状特徴を算出してもよい(ステップ101)。また、形状判定部(31)は、形状特徴が、第3条件カテゴリの第3形状特徴に含まれない場合(ステップ102)に、当該形状特徴の分離領域(200)を変化領域から除外してもよい(ステップ103)。
前述の予め決められた条件は、第1カテゴリと第2カテゴリとが異なることを示してもよい。
前述の領域抽出部(30)は、形状判定部(31)を備えてもよい。形状判定部(31)は、互いに隣接し変化領域に含まれる画素を連結した分離領域(200)の形状特徴を算出してもよい(ステップ101)。また、形状判定部(31)は、形状特徴が、分類部(20)が推定し得るカテゴリの形状特徴に含まれない場合(ステップ102)に、当該形状特徴の分離領域(200)を変化領域から除外してもよい(ステップ103)。
前述の領域抽出部(30)は、分類決定部(32)を備えてもよい。分類決定部(32)は、第1分類画像の中の変化領域に対応する領域において(ステップ112)、互いに隣接し同一カテゴリの画素を連結して形成される第1領域の面積に基づき(ステップ113、114)、第1カテゴリの領域を統合した第1統合領域を算出してもよい(ステップ115)。また、分類決定部(32)は、第2分類画像の中の変化領域に対応する領域において(ステップ112)、互いに隣接し同一カテゴリの画素を連結して形成される第2領域の面積に基づき(ステップ113、114)、第2カテゴリの領域を統合した第2統合領域を算出してもよい(ステップ115)。また、前述の領域抽出部(30)は、第1統合領域の第1カテゴリと、第1カテゴリと同じ位置における第2統合領域の第2カテゴリとが予め決められた条件を満たす領域を、変化領域から抽出してもよい(122)。
前述の分類決定部(32)は、第1分類画像の中の変化領域に対応する領域において、第1領域の面積が予め決められた閾値より小さい場合(ステップ114)、第1領域に隣接する画素を含む第1カテゴリの領域に、第1領域を統合してもよい(ステップ115)。また、分類決定部(32)は、第2分類画像の中の変化領域に対応する領域において、第2領域の面積が予め決められた閾値より小さい場合(ステップ114)、第2領域に隣接する画素を含む第2カテゴリの領域に、第2領域を統合してもよい(ステップ115)。
前述の分類決定部(32)は、第1領域に隣接する第1カテゴリの領域のうち、第1領域と第1カテゴリの領域との境界線が最も長い第1カテゴリの領域に、第1領域を統合してもよい(ステップ115)。また、分類決定部(32)は、第2領域に隣接する第2カテゴリの領域のうち、第2領域と第2カテゴリの領域との境界線が最も長い第2カテゴリの領域に、第2領域を統合してもよい(ステップ115)。
前述の領域抽出部(30)は、抽出領域(320)に隣接する隣接領域(330)の第1カテゴリと第2カテゴリとに基づき、抽出領域(320)に隣接領域(330)を連結する後処理部(34)を備えてもよい。
前述の後処理部(34)は、隣接領域(330)における第1カテゴリが、抽出領域(320)の第1カテゴリと等しく、隣接領域(330)における第2カテゴリが、抽出領域(330)の第2カテゴリと等しい場合に、抽出領域(320)に隣接領域(330)を連結してもよい。
前述の隣接領域(330)は、互いに隣接し同一のカテゴリの画素を連結した領域でもよい。
本発明の第2の態様に係る領域検出装置(5)は、分類部(20)と、変化判定部(33)と、候補抽出部(10)とを備える。分類部(20)は、第1時点に上空から地表を撮影した第1地物画像(1-1)の位置に応じて撮影されている第1地物の第1カテゴリを推定し、第1地物の位置と第1カテゴリとの関係を示す第1分類画像を算出する。また、分類部(20)は、第1時点と異なる第2時点に地表を撮影した第2地物画像(1-2)の位置に応じて撮影されている第2地物の第2カテゴリを推定し、第2地物の位置と第2カテゴリとの関係を示す第2分類画像とを算出する。変化判定部(33)は、第1カテゴリと、第1カテゴリと同じ位置における第2カテゴリとが予め決められた条件を満たす第1領域を抽出する。候補抽出部(10)は、第1領域において、第1地物画像と(1-1)、第2地物画像(1-2)とで異なる領域を抽出する。
本発明の第3の態様に係る領域検出方法は、演算装置が実行する候補抽出手段と、分類手段と、領域抽出手段とを含む。候補抽出手段は、第1時点に上空から地表を撮影した第1地物画像(1-1)と、第1時点と異なる第2時点に地表を撮影した第2地物画像(1-2)とで異なる変化領域を抽出する。分類手段は、第1地物画像(1-1)の位置に応じて撮影されている第1地物の第1カテゴリを推定し、第1地物の位置と第1カテゴリとの関係を示す第1分類画像を算出する。また、分類手段は、第2地物画像(1-2)の位置に応じて撮影されている第2地物の第2カテゴリを推定し、第2地物の位置と第2カテゴリとの関係を示す第2分類画像とを算出する。領域抽出手段は、第1カテゴリと、第1カテゴリと同じ位置における第2カテゴリとが予め決められた条件を満たす抽出領域を、変化領域から抽出する。
本発明の第4の態様に係るプログラムは、演算装置に実行させるための候補抽出手段と、分類手段と、領域抽出手段とを含む。候補抽出手段は、第1時点に上空から地表を撮影した第1地物画像(1-1)と、第1時点と異なる第2時点に地表を撮影した第2地物画像(1-2)とで異なる変化領域を抽出する。分類手段は、第1地物画像(1-1)の位置に応じて撮影されている第1地物の第1カテゴリを推定し、第1地物の位置と第1カテゴリとの関係を示す第1分類画像を算出する。また、分類手段は、第2地物画像(1-2)の位置に応じて撮影されている第2地物の第2カテゴリを推定し、第2地物の位置と第2カテゴリとの関係を示す第2分類画像とを算出する。領域抽出手段は、第1カテゴリと、第1カテゴリと同じ位置における第2カテゴリとが予め決められた条件を満たす抽出領域を、変化領域から抽出する。
本発明によれば、任意の2時点の地物画像から、地物が変化している領域を検出することができる。
実施の形態1に係る領域検出装置の模式図である。 図1の領域検出装置の機能構成を示す図である。 図2の候補抽出部の機能構成を示す図である。 図2の分類部の機能構成を示す図である。 図2の領域抽出部の機能構成を示す図である。 図5の形状判定部の処理に関するフロー図である。 図6の形状特徴を説明するための図である。 図5の分類決定部の処理に関するフロー図である。 図8の平滑化を説明するための図である。 図8の平滑化を説明するための図である。 図8のカテゴリ領域の統合を説明するための図である。 図8のカテゴリ領域の統合を説明するための図である。 図5の変化判定部の処理に関するフロー図である。 図5の後処理部の処理に関するフロー図である。 図14の隣接領域を説明するための図である。 図14の隣接領域を説明するための図である。 複数の地物画像を入力できる領域検出装置の機能構成を示す図である。 実施の形態2に係る領域検出装置の機能構成を示す図である。
(実施の形態1)
実施の形態1に係る領域検出装置5は、図1に示すように、入力装置900と、演算装置901と、記憶装置902と、通信装置903とを備える。入力装置900は、キーボード、マウス、スキャナなどを含み、領域検出装置5にデータを入力する装置である。演算装置901は、中央演算装置(CPU)、専用回路などを含み、領域検出装置5で処理するための演算を行う。また、演算装置901は、記憶装置902に格納されたプログラム910を読み出し、プログラム910の命令に基づき処理を行う。さらに、演算装置901は、入力装置900から入力されるデータを取得し、プログラム910の命令を実行するために利用する。記憶装置902は、演算装置901で使用される各種データが格納されている。また、記憶装置902は、演算装置901の処理内容を示すプログラム910を格納する。通信装置903は、領域検出装置5の外部と通信し、演算装置901の処理に必要なデータの送受信を行う。領域検出装置5は、例えば、コンピュータを含む。
また、領域検出装置5は、表示装置7に接続され、演算装置901で算出した結果を表示装置7に出力する。表示装置7は出力された算出結果を表示する。
領域検出装置5の機能構成と動作とを説明する。領域検出装置5は、図2に示すように、候補抽出部10と、分類部20と、領域抽出部30とを備える。領域検出装置5は、上空から地表を撮影した2つの第1地物画像1-1と、第2地物画像1-2とから、地物が変化している領域を抽出する。領域検出装置5は、抽出した領域を示す画像を含む抽出信号を生成し、表示装置7に送信する。表示装置7は、抽出信号に基づき、抽出した領域を示す画像を表示する。ここでは、第1地物画像1-1と、第2地物画像1-2とを総称して、地物画像1と呼ぶ。地物画像1は、衛星画像、航空写真などの上空から地表を撮影した種々の画像を含む。また、第1地物画像1-1と第2地物画像1-2とは、異なる時点に、同じ地表を撮影した画像である。例えば、第2地物画像1-2は、第1地物画像1-1を撮影した第1時点から24時間後の第2時点に撮影したものが例示される。ここで、地物画像1は、入力装置900からスキャナ等で取り込まれてもよい。また、外部から通信装置903を介して取り込まれてもよい。候補抽出部10と、分類部20と、領域抽出部30とで実行される処理はプログラム910に記載され、演算装置901で実行される。
候補抽出部10は、第1地物画像1-1と、第2地物画像1-2とで画像が変化している領域を変化領域として抽出する。候補抽出部10は、図3に示すように、特徴算出部11と、変化算出部12と、候補決定部13とを備える。
特徴算出部11は、地物画像1の各画素の特徴量を算出する。特徴量は、対応する画素を含む小領域の特徴を示す値である。特徴算出部11は、例えば、小領域において、縦方向と横方向とで空間周波数領域を算出し、その振幅とスペクトル情報を特徴量として算出する。特徴量は検出対象に合わせて、種々の算出方法から選択することができる。例えば、特徴算出部11は、小領域ごとに特徴量を算出してもよい。また、特徴量はベクトル量でもスカラー量でもよい。
変化算出部12は、同じ位置における、特徴算出部11で算出した第1地物画像1-1の特徴量と、第2地物画像1-2の特徴量との差を変化量として算出する。具体的には、第1地物画像1-1の第1画素と、それと同じ位置の第2地物画像1-2の第2画素とを対応づける。第1画素の特徴量と第2画素の特徴量との差を変化量として算出する。これをすべての画素に対して行う。なお、特徴量がベクトル量のとき、変化量は第1画素の特徴量と第2画素の特徴量との差を示すベクトルである。
候補決定部13は、変化算出部12で算出した変化量が予め決められた条件を満たす画素を抽出する。変化量がスカラー量のときは、例えば、変化量が予め決められた閾値以上である画素を抽出する。変化量がベクトル量のときは、例えば、変化量の長さが閾値以上である画素を算出する。また、変化量の成分の値を予め決められた閾値ベクトルの成分の値と比較し、特定の成分が予め決められた条件を満たす画素を抽出してもよい。例えば、特定の成分において、変化量の値が閾値ベクトルの値以上である画素を抽出してもよい。また、特定の成分において変化量の値が閾値ベクトルの成分の値以上であり、他の特定の成分において変化量の値が閾値ベクトルの値以下である画素を抽出してもよい。候補決定部13は、複数の閾値ベクトルを有してもよい。例えば、閾値ベクトルが複数あるときは、変化量が少なくとも1つの閾値ベクトルの条件を満たす画素を抽出してもよい。また、検出対象に応じて1つ以上の閾値ベクトルを選択してもよい。候補決定部13は、抽出した画素で占められる領域を変化領域として算出する。
分類部20は、地物画像1に撮影されている地物のカテゴリを推定し、地物画像1の位置と推定したカテゴリとの関係を示す分類画像を生成する。ここで、分類部20は、第1地物画像1-1と第2地物画像1-2とのそれぞれに対して処理を行う。このため、分類部20は、第1地物画像1-1から第1分類画像を、第2地物画像1-2から第2分類画像を生成する。分類部20は、図4に示すように、分類器21と、サンプル構築部22とを備える。
分類器21は、サンプル画像を用いて地物のカテゴリを学習する。学習した結果を用いて、分類器21は、地物画像1の位置に応じて撮影されている地物のカテゴリを推定する。地物画像1の位置と推定したカテゴリとを示す分類画像を生成する。分類器21の学習には、種々の方式を選択することができる。例えば、分類器21は、複数のサンプル画像を入力し、それらの画像をクラスタリングする。クラスタリングした結果と、各クラスタに割当てられたサンプル画像とから、各クラスタのカテゴリを決定してもよい。また、ディープラーニングにより学習させてもよい。さらに、地図情報に含まれない自動車などの移動体についても、分類器21は分類することができる。
サンプル構築部22は、複数の学習用画像2から分類器21が学習するためのサンプル画像を構築する。学習用画像2は、領域検出装置5に入力する地物画像1を含んでもよい。サンプル構築部22は、分類器21の学習方式に対応したサンプル画像を構築する。例えば、分類器21において教師有り学習を行う場合、分類すべきカテゴリと、それに対応したサンプル画像を構築する。ここで、サンプル画像は、第1地物画像1-1と第2地物画像1-2とに限定されず、様々な学習用画像2を用いることができる。このため、撮影方向、撮影時間などの違いにより色、形などが変化しても、分類部20は地物のカテゴリを分類することができる。また、樹木の落葉、降雪などの変化に対しても、分類部20は適切に分類することができる。
領域抽出部30は、候補抽出部10が算出した変化領域と、分類部20が生成した分類画像とに基づき、地物が変化している領域を抽出する。領域抽出部30は、図5に示すように、形状判定部31と、分類決定部32と、変化判定部33と、後処理部34とを備える。
形状判定部31は、候補抽出部10が算出した変化領域の形状から、検出対象のカテゴリに含まれない領域を除外する。具体的には、図6に示す処理を行う。
形状判定部31は、最初のステップ100において、候補抽出部10で算出された変化領域を取得する。変化領域は、第1地物画像1-1の特徴量と第2地物画像1-2の特徴量との差が予め決められた条件を満たす画素が占める領域である。このため、図7に示すように、互いに隣接し変化領域に含まれる画素を連結した分離領域200-1、200-2、・・・は、互いに分離された複数の領域を含む場合がある。分離領域200-1、200-2、・・・を総称して、分離領域200と呼ぶ。
次に、形状判定部31は、ステップ101において、変化領域に含まれる分離領域200-1の形状特徴を算出する。ここで、形状特徴とは、分離領域200-1の形状から得られる特徴量である。例えば、図7に示すように、バウンディングボックス201-1として、分離領域200-1を囲む最小の長方形を算出する。形状特徴は、バウンディングボックス201-1の長辺の長さ、短辺の長さ、長辺と短辺との比、面積、分離領域の面積、バウンディングボックス201-1の面積と分離領域の面積との比などを含んでもよい。また、形状特徴は、長辺の長さなどの中から1つを選択したスカラー量でもよい。また、形状特徴は、長辺の長さなどの中から複数を選択したベクトル量でもよい。
ステップ102において、形状判定部31は、形状特徴が検出対象のカテゴリの形状特徴に含まれるかを判定する。例えば、形状判定部31には、検出対象のカテゴリに応じて、複数の形状特徴が格納されている。分離領域200-1から得られた形状特徴と、形状判定部31に格納されている形状特徴との差を、それぞれ算出する。算出された差の最小値が予め決められた閾値以下の場合、形状判定部31は、分離領域200-1の形状特徴が検出対象のカテゴリの形状特徴に含まれていると判定する。算出された差の最小値が閾値より大きい場合、形状判定部31は、分離領域200-1の形状特徴が検出対象のカテゴリの形状特徴に含まれていないと判定する。分離領域200-1の形状特徴が検出対象のカテゴリの形状特徴に含まれていない場合、処理はステップ103に移行する。分離領域200-1の形状特徴が検出対象のカテゴリの形状特徴に含まれる場合、処理はステップ104に移行する。また、検出対象のカテゴリが複数ある場合、形状判定部31は、それぞれのカテゴリの形状特徴と、分離領域200-1の形状特徴との差を算出する。形状判定部31は、算出した差のうちの最小値を閾値と比較し、判定する。検出対象のカテゴリに対して、形状特徴は1つでもよい。ここで、カテゴリの形状特徴は、分類部20のサンプル構築部22で構築したサンプル画像に基づき算出してもよい。
ここで、検出対象のカテゴリは、例えば、カテゴリAからカテゴリBに変化した領域、例えば土壌から建造物に変化した領域を検出する場合、カテゴリAとカテゴリBとが検出対象のカテゴリに含まれる。また、第1地物画像1-1と第2地物画像1-2とのいずれかにおいて、カテゴリAに属する領域、例えば自動車に属する領域を抽出する場合は、カテゴリAが検出対象のカテゴリに含まれる。
ステップ103では、形状判定部31は、分離領域200-1が検出対象に含まれないとして、変化領域から分離領域200-1を除外する。その後、処理はステップ104に移行する。
ステップ104において、形状判定部31は、すべての分離領域200について、ステップ102の判定を行ったかを確認する。形状特徴を算出していない分離領域200が残っている場合、形状判定部31は、ステップ101に移行し、当該分離領域200の形状特徴を算出する。すべての分離領域200について、形状特徴を算出し、検出対象のカテゴリの形状特徴と比較した場合、形状判定部31は処理を終了する。
このようにして、形状判定部31は、候補抽出部10が算出した変化領域の形状から、検出対象のカテゴリに含まれない領域を除外する。
分類決定部32は、分類画像において、互いに隣接する同一カテゴリの画素が占める面積に基づき、隣接するカテゴリの領域に統合した統合領域を算出する。統合領域は、カテゴリと、その位置とを示す。ここで、分類決定部32は、第1分類画像において領域を統合した第1統合領域と、第2分類画像において領域を統合した第2統合領域とを算出する。具体的には、分類決定部32は、図8の処理を行う。
分類決定部32は、最初のステップ110において、分類部20が生成した分類画像と、形状判定部31の処理が終了した変化領域とを取得する。分類画像は、図9に示すように、画素の位置に、分類部20が推定したカテゴリの番号を示したデータである。「1」と記載された画素は、分類部20が第1カテゴリと推定したことを示す。同様に「2」と記載された画素は第2カテゴリと、「3」と記載された画素は第3カテゴリと、「4」と記載された画素は第4カテゴリと推定されたことを示す。つまり、分類部20は、地物画像1に第1カテゴリの第1カテゴリ領域300-1と、第2カテゴリの第2カテゴリ領域300-2と、第3カテゴリの第3カテゴリ領域300-3と、第4カテゴリの第4カテゴリ領域300-4とが含まれると推定したことを示す。
分類決定部32は、次にステップ111において、分類部20が生成した分類画像の平滑化を行う。これにより、分類決定部32は、分類画像のノイズを除去する。平滑化は、例えば、隣接する同一カテゴリの画素を連結して形成される領域の面積が予め決められた閾値より小さい場合に、分類決定部32は、当該領域に隣接し、互いにカテゴリが同じ画素の数に応じて、当該領域を隣接するカテゴリに変更する。言い換えると、分類決定部32は、互いに隣接し、同一カテゴリの画素が占める領域をカテゴリ領域300として算出する。算出したカテゴリ領域300の面積が閾値より小さい場合、分類決定部32は、この領域に隣接する画素を抽出し、カテゴリごとの画素数を算出する。画素数が最も多いカテゴリに、当該領域のカテゴリを変更する。具体的には、図9に示すように、分類部20により、第1カテゴリと推定された第1カテゴリ領域300-1と、第2カテゴリと推定された第2カテゴリ領域300-2と、第3カテゴリと推定された第3カテゴリ領域300-3と、第4カテゴリと推定された第4カテゴリ領域300-4とを、分類画像が含むとする。この場合、第1カテゴリと推定された第1カテゴリ領域300-1の画素数は2である。閾値が3以上の場合、分類決定部32は、第1カテゴリ領域300-1はノイズとして、隣接するカテゴリ領域300に統合する。ここで、第1カテゴリ領域300-1に隣接する第2カテゴリ領域300-2の画素数は2である。第1カテゴリ領域300-1に隣接する第3カテゴリ領域300-3の画素数は6である。第1カテゴリ領域300-1に隣接する第4カテゴリ領域300-4の画素数は2である。この場合、分類決定部32は、第3カテゴリ領域300-3の画素数が最も大きいため、第1カテゴリ領域300-1は、第3カテゴリ領域300-3に統合する。この結果、分類決定部32は、図10に示すように、第1カテゴリ領域300-1を第3カテゴリに変更する。また、平滑化は、この方法に限定されず、ノイズを除去できる種々の方法を選択してよい。
分類決定部32は、次にステップ112において、分類画像から変化領域に対応する領域を分類領域310-1、310-2、・・・として抽出する。ここで、分類領域310-1、310-2、・・・を総称して、分類領域310と呼ぶ。例えば、図11に示すように、変化領域に対応した分類領域310-1を抽出する。分類領域310は、変化領域に対応する領域であるため、分離された複数の領域が含まれる場合がある。
次に、分類決定部32は、抽出した分類領域310において、隣接する同一カテゴリの画素を連結したカテゴリ領域300を算出する(ステップ113)。図11に示すように、分類決定部32は、分類領域310-1において、第1カテゴリの画素を連結し、第1カテゴリ領域300-1を算出する。同様に、第2カテゴリの画素を連結し、第2カテゴリの第2カテゴリ領域300-2を、第3カテゴリの画素を連結し、第3カテゴリ領域300-3を算出する。
ステップ114において、分類決定部32は、得られたカテゴリ領域300の面積を算出し、予め決められた閾値より小さい面積のカテゴリ領域300を検索する。その結果、面積の小さなカテゴリ領域300があれば、処理はステップ115に移行する。例えば、分類領域310-1において、第1カテゴリ領域300-1と、第2カテゴリ領域300-2と、第3カテゴリ領域300-3との面積を算出する。閾値より小さなカテゴリ領域300として、第2カテゴリ領域300-2が得られたとする。
次にステップ115において、分類決定部32は、検索されたカテゴリ領域300を隣接するカテゴリ領域300に統合する。例えば、分類決定部32は、隣接するカテゴリ領域300の中で、統合されるカテゴリ領域300との境界線が最も長いカテゴリ領域300に統合する。具体的には、図11に示すように、第2カテゴリ領域300-2の面積が閾値より小さいとする。この場合、分類決定部32は、第2カテゴリ領域300-2に隣接するカテゴリ領域300を検索する。この結果、第1カテゴリ領域300-1と第3カテゴリ領域300-3とが抽出される。この隣接するカテゴリ領域300の中で、境界線が最も長いカテゴリ領域300を選択する。第2カテゴリ領域300-2との境界線が最も長いカテゴリ領域300として、第1カテゴリ領域300-1が選択される。分類決定部32は、この選択された第1カテゴリ領域300-1に、面積の小さな第2カテゴリ領域300-2を統合する。この結果、分類決定部32は、図12に示すように、第1カテゴリ領域300-1と第3カテゴリ領域300-3とから構成される分類領域310-1を得る。その後、ステップ114に移行し、面積の小さなカテゴリ領域300があるかを検索する。
ステップ114において、閾値より小さな面積のカテゴリ領域300がない場合、分類決定部32は、処理を終了する。例えば、図12に示すように、分類領域310-1において、第1カテゴリ領域300-1と、第3カテゴリ領域300-3とが残っている。このため、統合領域には、第1カテゴリ領域300-1と、第3カテゴリ領域300-3とが含まれる。
分類決定部32は、このように、互いに隣接し同一カテゴリの画素を連結して形成される領域の面積に基づき、分類画像のカテゴリの領域を統合した統合領域を算出する。
変化判定部33は、図5に示すように、形状判定部31が算出した変化領域と、分類決定部32が算出した統合領域に基づき、変化領域から地物が変化している領域を抽出する。具体的には、変化判定部33は、図13に示す処理を行う。
変化判定部33は、最初にステップ121において、分類決定部32が算出した第1統合領域と第2統合領域とを取得する。第1統合領域は、変化領域において、第1地物画像1-1を地物のカテゴリに対応して連結された領域を示す。第2統合領域は、変化領域において、第1地物画像1-1を地物のカテゴリに対応して連結された領域を示す。
次にステップ122において、変化判定部33は、第1統合領域と第2統合領域とが検出対象のカテゴリである領域を抽出する。カテゴリAからカテゴリBに変化した領域、例えば土壌から建造物に変化した領域を検出する例を示す。この場合、第1統合領域においてカテゴリAに属し、第2統合領域においてカテゴリBに属する領域を抽出する。抽出した領域に対応する変化領域を、抽出領域320として抽出する。言い換えると、第1統合領域において第1条件カテゴリである領域のうち、第2統合領域において第2条件カテゴリである領域を抽出する。このように、第1地物画像1-1と第2地物画像1-2とで異なり、地物のカテゴリがカテゴリAからカテゴリBに変化した領域、例えば土壌から建造物に変化した領域を抽出することができる。この第1条件カテゴリと第2条件カテゴリとは、ユーザが入力装置900に入力したカテゴリでもよい。また、予め決められたカテゴリでもよい。
また、変化判定部33は、第1地物画像1-1と第2地物画像1-2とのいずれかにおいて、カテゴリAに属する領域、例えば自動車に属する領域を抽出してもよい。この場合、変化判定部33は、第1統合領域においてカテゴリAに属する領域、又は、第2統合領域においてカテゴリAに属する領域を抽出する。抽出した領域に対応する変化領域を、抽出領域320として抽出する。このように、変化判定部33は、第1地物画像1-1と第2地物画像1-2とのいずれかで地物のカテゴリがカテゴリAに属する領域を抽出することができる。
また、変化判定部33は、入力装置900から入力信号に基づき、前述の処理を切り替えてもよい。言い換えると、ユーザが入力装置900に入力した内容に基づき、変化判定部33の処理を切り替えてもよい。
後処理部34は、抽出領域320の精度を向上するために、隣接する領域のカテゴリに基づき、当該領域を抽出領域320に連結する。影などの影響により、検出対象のカテゴリに属する領域の一部が変化領域として抽出されない場合がある。このため、後処理部34は、抽出領域320に隣接し、カテゴリが同一の領域を連結する。これにより、検出する領域の精度が向上する。具体的には、後処理部34は、図14に示す処理を行う。
後処理部34は、最初にステップ130において、分類部20が生成した第1分類画像と、分類決定部32が算出した第1統合領域と、変化判定部33が抽出した抽出領域320とを取得する。第1分類画像は、第1地物画像1-1に撮影された地物のカテゴリを画素ごとに推定された画像である。第1統合領域は、変化領域において、隣接する画素が属するカテゴリに基づき算出された地物のカテゴリを示す。
次にステップ131において、後処理部34は、抽出領域320に対応する位置の第1統合領域のカテゴリを取得する。これにより、後処理部34は、抽出領域320における地物のカテゴリを取得する。具体的には、図15に示すように、抽出領域320-1に含まれる地物のカテゴリを取得する。
ステップ132において、後処理部34は、抽出領域320に連結し得る隣接領域の有無を検索する。このため、後処理部34は、抽出領域320に隣接する画素のカテゴリを第1分類画像から取得する。隣接する画素から、抽出領域320に対応するカテゴリと同じカテゴリの画素を抽出する。第1分類画像において、抽出した画素に隣接し、同じカテゴリの画素を連結し、第1隣接領域を算出する。例えば、後処理部34は、抽出領域320-1に隣接する領域のうち、図15に示すように、抽出領域320-1と同じカテゴリを示す隣接領域330-1を取得する。隣接領域330-1は、互いに隣接し同一カテゴリの画素を連結した領域である。一方、非隣接領域335-1は、抽出領域320-1のカテゴリとは異なる。このため、非隣接領域335-1は、第1隣接領域に含まれない。このように、後処理部34は、第1地物画像1-1に対する第1隣接領域を取得する。
また、図16に示すように、抽出領域320は、抽出領域320-1-1と抽出領域320-1-2とを含むとする。この場合、抽出領域320-1-1に隣接する隣接領域330-1は、抽出領域320-1-1と同じカテゴリであるため、第1隣接領域として取得する。また、抽出領域320-1-2に隣接する隣接領域330-2も、抽出領域320-1-2と同じカテゴリであるため、第1隣接領域として取得する。言い換えると、第1隣接領域には、隣接領域330-1と、隣接領域330-2とが含まれる。
次に、後処理部34は、ステップ130~132と同様に、ステップ133~135において、第2地物画像1-2に対する第2隣接領域を取得する。具体的には、ステップ133において、後処理部34は、分類部20が生成した第2分類画像と、分類決定部32が算出した第2統合領域とを取得する。
ステップ134において、後処理部34は、抽出領域320に対応する位置の第2統合領域のカテゴリを取得する。これにより、後処理部34は、抽出領域320における地物のカテゴリを取得する。
ステップ135において、後処理部34は、抽出領域320に隣接し、同じカテゴリの画素を第2分類画像から取得する。隣接する画素から、抽出領域320に対応するカテゴリと同じカテゴリの画素を抽出する。第2分類画像において、抽出した画素に隣接し、同じカテゴリの画素を連結し、第2隣接領域を算出する。このように、後処理部34は、第2地物画像1-2に対する第2隣接領域を取得する。
ステップ136において、後処理部34は、第1隣接領域と第2隣接領域とが重複する領域を抽出する。抽出した領域を抽出領域320に連結する。言い換えると、抽出領域320に隣接する領域が、第1分類画像において第1統合領域の抽出領域320におけるカテゴリと等しく、第2分類画像において第2統合領域の抽出領域320におけるカテゴリと等しい場合に、後処理部34は、この領域を抽出領域320に連結する。これにより、領域検出装置5は、影などの影響により、検出対象の一部が変化領域に含まれない場合であっても、検出対象の領域として検出することができる。
表示装置7に抽出した抽出領域320を表示するため、領域抽出部30は、抽出した抽出領域320を含む抽出信号を生成する。表示装置7は、抽出信号に基づき、第1地物画像1-1と第2地物画像1-2とで変化している領域を表示する。ユーザは、表示装置7を目視することで、第1地物画像1-1と第2地物画像1-2とで変化し、対象のカテゴリに属する領域を確認することができる。ここで、第1地物画像1-1と第2地物画像1-2とを撮影する時点は任意に選択することができる。
このように、領域検出装置5は、第1地物画像1-1と第2地物画像1-2とに対して、候補抽出部10と、分類部20と、領域抽出部30との処理を行う。これにより、第1地物画像1-1と第2地物画像1-2とで変化している領域のうち、検出対象のカテゴリに限定して抽出することができる。また、実際は検出対象に属する地物が撮影されていても、影などの影響により、第2地物画像1-2において、検出対象と異なる地物のカテゴリに推定される場合がある。この場合、第1地物画像1-1と第2地物画像1-2とのいずれかが検出対象である領域を抽出することで、領域検出装置5は、第1地物画像1-1において検出対象と推定され、抽出領域320に含まれる。言い換えると、第1地物画像1-1と第2地物画像1-2との両方で検出対象を推定することで、影などの影響を抑制することができる。つまり、領域検出装置5は、従来の方法に比べて、検出の精度が高い。
また、領域検出装置5は、検出対象のカテゴリを決定せず、カテゴリが変化している領域を抽出することもできる。この場合、検出対象は、サンプル画像で得られるすべてのカテゴリを対象として処理を行う。例えば、形状判定部31において、検出対象のカテゴリの形状特徴と分離領域200の形状特徴とを比較する際に(図6のステップ102)、すべてのカテゴリの形状特徴と分離領域200の形状特徴とを比較する。また、変化判定部33において、第1統合領域と、第2統合領域とで異なるカテゴリに属する領域を抽出する(図13のステップ122)。これにより、領域検出装置5は、カテゴリが変化している領域を抽出する。
また、後処理部34は、さらに、抽出領域320において、変化算出部12で算出した特徴量の差と、分類決定部32が算出した第1統合領域と第2統合領域とに基づき、変化の尤度を算出してもよい。この場合、領域検出装置5は、抽出信号に算出した尤度を加えてもよい。これにより、表示装置7は、抽出領域320に尤度を合わせて表示できる。この場合、ユーザは尤度が高い領域から地物の変化を確認することができ、作業効率が上がる。また、算出した尤度が予め決められた閾値より小さい場合に、当該尤度の領域を抽出領域320から除外してもよい。これにより、表示装置7には、尤度の高い領域だけが表示される。後処理部34は、図14に示す処理を省略し、尤度の算出処理のみを実行してもよい。
また、分類部20は、候補抽出部10が算出した変化領域を取得し、変化領域に対して第1分類画像と第2分類画像とを算出してもよい。これにより、分類部20での処理に要する時間を短縮することができる。また、この場合、変化領域の範囲に限り地物のカテゴリを算出しているため、後処理部34における隣接領域330を連結する処理、具体的には図14に示す処理を省略してもよい。
また、サンプル構築部22は、分類器21が学習するサンプル画像を構築する。このため、分類器21が学習済みの場合、分類部20はサンプル構築部22を備えなくてもよい。この場合、学習済みの分類器21を、入力装置900を用いて、ユーザが入力してもよい。また、通信装置903を介して、外部から学習済みの分類器21を取得してもよい。
また、図17に示すように、領域検出装置5は、第1地物画像1-1と第2地物画像1-2とにおける変化領域を算出するために、互いに異なる時点に撮影した複数の地物画像1を用いてもよい。候補抽出部10は、第1地物画像1-1と第2地物画像1-2とを含む複数の地物画像1のうちの2つから、変化領域を抽出する。また、分類部20は、第1地物画像1-1と第2地物画像1-2とを含む複数の地物画像1について、分類画像を生成する。領域抽出部30は、候補抽出部10が算出した複数の変化領域と、分類部20が生成した複数の分類画像とに基づき、変化領域から検出対象のカテゴリに属する領域を抽出する。例えば、対象となる2時点において変化領域として算出された領域が、その他の2時点において変化領域として算出されない場合がある。この領域は影などの変化により抽出されたと判断できるため、領域抽出部30は、この領域を変化領域から除外してもよい。これにより、誤検出が抑制される。さらに、領域検出装置5は、複数の地物画像1を使用するため、地物画像1が撮影された順番と、その変化とに基づき、地物が変化した領域を抽出することができる。また、特定の地物の上を移動する移動体、例えば自動車を抽出する場合に、多数の地物画像1を使用し、道路、駐車場などの移動体が移動する地物の領域を抽出する。その後、抽出対象となる時点前後の地物画像1から、移動体が移動する地物の領域において、地物が変化している領域を抽出することができる。
(実施の形態2)
実施の形態2では、候補抽出部10は、分類部20が算出した第1分類画像と第2分類画像とに基づき、特徴量を算出する範囲を限定する例を説明する。この場合、候補抽出部10の処理時間を短縮することができる。
実施の形態2に係る領域検出装置5は、実施の形態1と同様のハードウェア構成を有し、入力装置900と、演算装置901と、記憶装置902と、通信装置903とを備える。
領域検出装置5の機能構成と動作とを説明する。領域検出装置5は、図18に示すように、候補抽出部10と、分類部20と、領域抽出部30とを備える。分類部20は、実施の形態1と同様に機能する。
領域抽出部30は、変化判定部33と、後処理部34とを備える。変化判定部33は、分類部20で生成した第1分類画像と第2分類画像とから、検出対象のカテゴリに属する領域を抽出する。具体的には、変化判定部33は、分類部20が生成した第1分類画像と第2分類画像とを取得する。変化判定部33は、取得した第1分類画像と第2分類画像との平滑化を行い、ノイズを除去する。ノイズを除去した第1分類画像と第2分類画像とから検出対象のカテゴリに属する領域を抽出する。例えば、カテゴリAからカテゴリBに変化する領域を抽出する場合は、第1分類画像においてカテゴリAに属し、第2分類画像においてカテゴリBに属する領域を抽出する。また、変化判定部33は、第1分類画像においてカテゴリAに属する領域、又は、第2分類画像においてカテゴリAに属する領域を抽出してもよい。また、変化判定部33は、第1分類画像と、第2分類画像とで異なるカテゴリに属する領域を抽出してもよい。
候補抽出部10は、変化判定部33が抽出した領域において、第1地物画像1-1と第2地物画像1-2とで画像が異なる領域を算出する。具体的には、候補抽出部10は、変化判定部33が抽出した領域において、第1地物画像1-1と第2地物画像1-2との特徴量を算出する。次に、第1地物画像1-1の特徴量と、第2地物画像1-2の特徴量との差を変化量として算出する。算出した変化量が予め決められた閾値よりも大きい領域を抽出する。この抽出した領域が第1地物画像1-1と第2地物画像1-2とで画像が異なる領域に相当する。このように、変化判定部33が抽出した領域に対して、実施の形態1と同様の処理を行う。
後処理部34は、候補抽出部10が抽出した領域を抽出領域320として、第1分類画像を第1分類画像と第1統合領域として、第2分類画像を第2分類画像と第2統合領域として、実施の形態1と同様の処理を行う。これにより、候補抽出部10が抽出した領域に隣接する領域を連結することができる。
領域抽出部30は、後処理部34が連結した領域を含む抽出信号を生成する。表示装置7は、実施の形態1と同様に、抽出信号に基づき、第1地物画像1-1と第2地物画像1-2とで変化している領域を表示する。
領域抽出部30は、実施の形態1と同様の機能を有する形状判定部31を備えてもよい。この場合、形状判定部31は、候補抽出部10が抽出した領域を取得する。形状判定部31は、この領域の形状特徴を算出し、検出対象のカテゴリの形状特徴に含まれるかを判定する。形状判定部31は、検出対象のカテゴリの形状特徴に含まれないと判定した領域を除外する。後処理部34は、形状判定部31が処理した領域を取得し、取得した領域に隣接する領域を連結する。これにより、誤検出を抑制することができる。
上記実施の形態では、領域抽出部30は抽出信号を表示装置7に送信する例を示したが、これに限定されない。領域抽出部30は、他の装置に抽出信号を送信してもよい。他の装置は、抽出信号を受信し、抽出領域320に基づき処理を行う。この場合、抽出信号は通信装置903から送信されてもよい。
上記実施の形態では、検出対象のカテゴリに対して複数の形状特徴を有する例を示したが、これに限定されない。分離領域200の形状特徴が検出対象のカテゴリの形状特徴に含まれるかを判断できればよく、例えば、検出対象のカテゴリの形状特徴の範囲が指定されてもよい。この場合、分離領域200の形状特徴が検出対象のカテゴリの形状特徴の範囲に存在する場合、分離領域200は検出対象のカテゴリを含んでいると判断する。
また、領域検出装置5の各機能を実現する手段を備えた領域検出方法は、第1地物画像1-1と第2地物画像1-2とから地物が変化する領域を検出することができることは明らかである。言い換えると、領域検出方法は、候補抽出部10の機能を実行する候補抽出手段と、分類部20の機能を実行する分類手段と、領域抽出部30の機能を実行する領域抽出手段とを含む。また、候補抽出手段は、特徴算出部11の機能を実行する特徴算出手段と、変化算出部12の機能を実行する変化算出手段と、候補決定部13の機能を実行する候補決定手段とを含んでもよい。領域抽出手段は、形状判定部31の機能を実行する形状判定手段と、分類決定部32の機能を実行する分類決定手段と、変化判定部33の機能を実行する変化判定手段と、後処理部34の機能を実行する後処理手段とを含んでもよい。
また、プログラム910には、この領域検出方法をコンピュータに実行させるためのプログラムを含んでもよい。
以上において説明した処理は一例であり、各ステップの順番、処理内容は、機能を阻害しない範囲で変更してもよい。また、説明した構成は、機能を阻害しない範囲で、任意に変更してもよい。例えば、実施の形態2における変化判定部33は、分類部20が備えてもよい。また、分類決定部32が行う分類画像の平滑化を分類部20が実施してもよい。また、後処理部34の処理を省略してもよい。さらに、形状判定部31の処理を省略してもよい。分類決定部32の処理を省略してもよい。
1 地物画像
1-1 第1地物画像
1-2 第2地物画像
2 学習用画像
5 領域検出装置
7 表示装置
10 候補抽出部
11 特徴算出部
12 変化算出部
13 候補決定部
20 分類部
21 分類器
22 サンプル構築部
30 領域抽出部
31 形状判定部
32 分類決定部
33 変化判定部
34 後処理部
200、200-1、200-2 分離領域
201-1、201-2 バウンディングボックス
300 カテゴリ領域
300-1 第1カテゴリ領域
300-2 第2カテゴリ領域
300-3 第3カテゴリ領域
300-4 第4カテゴリ領域
310、310-1、310-2 分類領域
320、320-1、320-1-1、320-1-2 抽出領域
330、330-1、330-2 隣接領域
335-1 非隣接領域
900 入力装置
901 演算装置
902 記憶装置
903 通信装置
910 プログラム

Claims (12)

  1. 第1時点に上空から地表を撮影した第1地物画像と、前記第1時点と異なる第2時点に前記地表を撮影した第2地物画像とで異なる変化領域を抽出する候補抽出部と、
    前記第1地物画像の位置に応じて撮影されている第1地物の第1カテゴリを推定し、前記第1地物の位置と前記第1カテゴリとの関係を示す第1分類画像と、前記第2地物画像の位置に応じて撮影されている第2地物の第2カテゴリを推定し、前記第2地物の位置と前記第2カテゴリとの関係を示す第2分類画像とを算出する分類部と、
    前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2カテゴリとが予め決められた条件を満たす抽出領域を、前記変化領域から抽出し、前記抽出領域を含む抽出信号を生成し送信する領域抽出部と、
    を備え、
    前記領域抽出部は、
    前記第1分類画像の中の前記変化領域に対応する領域において、互いに隣接し同一カテゴリの画素を連結して形成される第1領域の面積に基づき、前記第1カテゴリの領域を統合した第1統合領域を算出し、
    前記第2分類画像の中の前記変化領域に対応する領域において、互いに隣接し同一カテゴリの画素を連結して形成される第2領域の面積に基づき、前記第2カテゴリの領域を統合した第2統合領域を算出する
    分類決定部を備え、
    前記領域抽出部は、前記第1統合領域の前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2統合領域の前記第2カテゴリとが予め決められた条件を満たす領域を、前記変化領域から抽出する
    域検出装置。
  2. 前記分類決定部は、
    前記第1分類画像の中の前記変化領域に対応する領域において、前記第1領域の面積が予め決められた閾値より小さい場合、前記第1領域に隣接する画素を含む前記第1カテゴリの領域に、前記第1領域を統合し、
    前記第2分類画像の中の前記変化領域に対応する領域において、前記第2領域の面積が予め決められた閾値より小さい場合、前記第2領域に隣接する画素を含む前記第2カテゴリの領域に、前記第2領域を統合する
    請求項に記載の領域検出装置。
  3. 前記分類決定部は、
    前記第1領域に隣接する前記第1カテゴリの領域のうち、前記第1領域と前記第1カテゴリの領域との境界線が最も長い前記第1カテゴリの領域に、前記第1領域を統合し、
    前記第2領域に隣接する前記第2カテゴリの領域のうち、前記第2領域と前記第2カテゴリの領域との境界線が最も長い前記第2カテゴリの領域に、前記第2領域を統合する
    請求項に記載の領域検出装置。
  4. 第1時点に上空から地表を撮影した第1地物画像と、前記第1時点と異なる第2時点に前記地表を撮影した第2地物画像とで異なる変化領域を抽出する候補抽出部と、
    前記第1地物画像の位置に応じて撮影されている第1地物の第1カテゴリを推定し、前記第1地物の位置と前記第1カテゴリとの関係を示す第1分類画像と、前記第2地物画像の位置に応じて撮影されている第2地物の第2カテゴリを推定し、前記第2地物の位置と前記第2カテゴリとの関係を示す第2分類画像とを算出する分類部と、
    前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2カテゴリとが予め決められた条件を満たす抽出領域を、前記変化領域から抽出し、前記抽出領域を含む抽出信号を生成し送信する領域抽出部と、
    を備え、
    前記領域抽出部は、前記抽出領域に隣接する隣接領域の前記第1カテゴリと前記第2カテゴリとに基づき、前記抽出領域に前記隣接領域を連結する後処理部を備える
    域検出装置。
  5. 前記後処理部は、前記隣接領域における前記第1カテゴリが、前記抽出領域の前記第1カテゴリと等しく、前記隣接領域における前記第2カテゴリが、前記抽出領域の前記第2カテゴリと等しい場合に、前記抽出領域に前記隣接領域を連結する
    請求項に記載の領域検出装置。
  6. 前記隣接領域は、互いに隣接し同一のカテゴリの画素を連結した領域である
    請求項に記載の領域検出装置。
  7. 第1時点に上空から地表を撮影した第1地物画像の位置に応じて撮影されている第1地物の第1カテゴリを推定し、前記第1地物の位置と前記第1カテゴリとの関係を示す第1分類画像と、第1時点と異なる第2時点に前記地表を撮影した第2地物画像の位置に応じて撮影されている第2地物の第2カテゴリを推定し、前記第2地物の位置と前記第2カテゴリとの関係を示す第2分類画像とを算出する分類部と、
    前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2カテゴリとが予め決められた条件を満たす第1領域を抽出する変化判定部と、
    前記第1領域において、前記第1地物画像と、前記第2地物画像とで異なる領域を抽出する候補抽出部と、
    を備え
    前記分類部は、
    前記第1分類画像において、互いに隣接し同一カテゴリの画素を連結して形成される領域の面積に基づき、前記第1カテゴリの領域を統合した第1統合領域を算出し、
    前記第2分類画像において、互いに隣接し同一カテゴリの画素を連結して形成される領域の面積に基づき、前記第2カテゴリの領域を統合した第2統合領域を算出する
    分類決定部を備え、
    前記変化判定部は、前記第1統合領域の前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2統合領域の前記第2カテゴリとが予め決められた条件を満たす前記第1領域を抽出する
    領域検出装置。
  8. 第1時点に上空から地表を撮影した第1地物画像の位置に応じて撮影されている第1地物の第1カテゴリを推定し、前記第1地物の位置と前記第1カテゴリとの関係を示す第1分類画像と、第1時点と異なる第2時点に前記地表を撮影した第2地物画像の位置に応じて撮影されている第2地物の第2カテゴリを推定し、前記第2地物の位置と前記第2カテゴリとの関係を示す第2分類画像とを算出する分類部と、
    前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2カテゴリとが予め決められた条件を満たす第1領域を抽出する変化判定部と、
    前記第1領域において、前記第1地物画像と、前記第2地物画像とで異なる抽出領域を抽出する候補抽出部と、
    前記抽出領域に隣接する隣接領域の前記第1カテゴリと前記第2カテゴリとに基づき、前記抽出領域に前記隣接領域を連結する後処理部と、
    を備える領域検出装置。
  9. 演算装置が、第1時点に上空から地表を撮影した第1地物画像と、前記第1時点と異なる第2時点に前記地表を撮影した第2地物画像とで異なる変化領域を抽出する候補抽出手段と、
    演算装置が、前記第1地物画像の位置に応じて撮影されている第1地物の第1カテゴリを推定し、前記第1地物の位置と前記第1カテゴリとの関係を示す第1分類画像と、前記第2地物画像の位置に応じて撮影されている第2地物の第2カテゴリを推定し、前記第2地物の位置と前記第2カテゴリとの関係を示す第2分類画像とを算出する分類手段と、
    演算装置が、前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2カテゴリとが予め決められた条件を満たす抽出領域を、前記変化領域から抽出する領域抽出手段と、
    を含み、
    前記領域抽出手段は、
    前記第1分類画像の中の前記変化領域に対応する領域において、互いに隣接し同一カテゴリの画素を連結して形成される第1領域の面積に基づき、前記第1カテゴリの領域を統合した第1統合領域を算出し、
    前記第2分類画像の中の前記変化領域に対応する領域において、互いに隣接し同一カテゴリの画素を連結して形成される第2領域の面積に基づき、前記第2カテゴリの領域を統合した第2統合領域を算出する
    分類決定手段を含み、
    前記領域抽出手段は、前記第1統合領域の前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2統合領域の前記第2カテゴリとが予め決められた条件を満たす領域を、前記変化領域から抽出する
    領域検出方法。
  10. 演算装置が、第1時点に上空から地表を撮影した第1地物画像と、前記第1時点と異なる第2時点に前記地表を撮影した第2地物画像とで異なる変化領域を抽出する候補抽出手段と、
    演算装置が、前記第1地物画像の位置に応じて撮影されている第1地物の第1カテゴリを推定し、前記第1地物の位置と前記第1カテゴリとの関係を示す第1分類画像と、前記第2地物画像の位置に応じて撮影されている第2地物の第2カテゴリを推定し、前記第2地物の位置と前記第2カテゴリとの関係を示す第2分類画像とを算出する分類手段と、
    演算装置が、前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2カテゴリとが予め決められた条件を満たす抽出領域を、前記変化領域から抽出する領域抽出手段と、
    を含み、
    前記領域抽出手段は、前記抽出領域に隣接する隣接領域の前記第1カテゴリと前記第2カテゴリとに基づき、前記抽出領域に前記隣接領域を連結する後処理手段を含む
    領域検出方法。
  11. 第1時点に上空から地表を撮影した第1地物画像と、前記第1時点と異なる第2時点に前記地表を撮影した第2地物画像とで異なる変化領域を抽出する候補抽出手段と、
    前記第1地物画像の位置に応じて撮影されている第1地物の第1カテゴリを推定し、前記第1地物の位置と前記第1カテゴリとの関係を示す第1分類画像と、前記第2地物画像の位置に応じて撮影されている第2地物の第2カテゴリを推定し、前記第2地物の位置と前記第2カテゴリとの関係を示す第2分類画像とを算出する分類手段と、
    前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2カテゴリとが予め決められた条件を満たす抽出領域を、前記変化領域から抽出する領域抽出手段と、
    を演算装置に実行させ
    前記領域抽出手段は、
    前記第1分類画像の中の前記変化領域に対応する領域において、互いに隣接し同一カテゴリの画素を連結して形成される第1領域の面積に基づき、前記第1カテゴリの領域を統合した第1統合領域を算出し、
    前記第2分類画像の中の前記変化領域に対応する領域において、互いに隣接し同一カテゴリの画素を連結して形成される第2領域の面積に基づき、前記第2カテゴリの領域を統合した第2統合領域を算出する
    分類決定手段を含み、
    前記領域抽出手段は、前記第1統合領域の前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2統合領域の前記第2カテゴリとが予め決められた条件を満たす領域を、前記変化領域から抽出する
    プログラム。
  12. 第1時点に上空から地表を撮影した第1地物画像と、前記第1時点と異なる第2時点に前記地表を撮影した第2地物画像とで異なる変化領域を抽出する候補抽出手段と、
    前記第1地物画像の位置に応じて撮影されている第1地物の第1カテゴリを推定し、前記第1地物の位置と前記第1カテゴリとの関係を示す第1分類画像と、前記第2地物画像の位置に応じて撮影されている第2地物の第2カテゴリを推定し、前記第2地物の位置と前記第2カテゴリとの関係を示す第2分類画像とを算出する分類手段と、
    前記第1カテゴリと、前記第1カテゴリと同じ位置における前記第2カテゴリとが予め決められた条件を満たす抽出領域を、前記変化領域から抽出する領域抽出手段と、
    を演算装置に実行させ
    前記領域抽出手段は、前記抽出領域に隣接する隣接領域の前記第1カテゴリと前記第2カテゴリとに基づき、前記抽出領域に前記隣接領域を連結する後処理手段を含む
    プログラム。
JP2018057894A 2018-03-26 2018-03-26 領域検出装置、領域検出方法及びそのプログラム Active JP7077093B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018057894A JP7077093B2 (ja) 2018-03-26 2018-03-26 領域検出装置、領域検出方法及びそのプログラム
EP19775373.4A EP3745351A4 (en) 2018-03-26 2019-01-11 DEVICE AND METHOD FOR AREA DETECTION
PCT/JP2019/000619 WO2019187494A1 (ja) 2018-03-26 2019-01-11 領域検出装置および領域検出方法
AU2019244533A AU2019244533B2 (en) 2018-03-26 2019-01-11 Region extraction apparatus and region extraction method
US16/966,605 US11216952B2 (en) 2018-03-26 2019-01-11 Region extraction apparatus and region extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018057894A JP7077093B2 (ja) 2018-03-26 2018-03-26 領域検出装置、領域検出方法及びそのプログラム

Publications (3)

Publication Number Publication Date
JP2019169060A JP2019169060A (ja) 2019-10-03
JP2019169060A5 JP2019169060A5 (ja) 2021-04-08
JP7077093B2 true JP7077093B2 (ja) 2022-05-30

Family

ID=68058114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018057894A Active JP7077093B2 (ja) 2018-03-26 2018-03-26 領域検出装置、領域検出方法及びそのプログラム

Country Status (5)

Country Link
US (1) US11216952B2 (ja)
EP (1) EP3745351A4 (ja)
JP (1) JP7077093B2 (ja)
AU (1) AU2019244533B2 (ja)
WO (1) WO2019187494A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010061852A1 (ja) 2008-11-25 2010-06-03 Necシステムテクノロジー株式会社 建築物変化検出装置、建築物変化検出方法、及び記録媒体
JP2013101428A (ja) 2011-11-07 2013-05-23 Pasuko:Kk 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム
WO2015151553A1 (ja) 2014-03-31 2015-10-08 Necソリューションイノベータ株式会社 異動検出支援装置、異動検出支援方法、及びコンピュータ読み取り可能な記録媒体
JP2017033197A (ja) 2015-07-30 2017-02-09 日本電信電話株式会社 変化領域検出装置、方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
JP4780215B2 (ja) * 2009-03-27 2011-09-28 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
JP2013161126A (ja) * 2012-02-01 2013-08-19 Honda Elesys Co Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP6233869B2 (ja) * 2012-06-07 2017-11-22 日本電気株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP6045417B2 (ja) * 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
KR102001636B1 (ko) * 2013-05-13 2019-10-01 삼성전자주식회사 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
CN105828691B (zh) * 2013-12-19 2017-12-12 奥林巴斯株式会社 图像处理装置、图像处理方法
US9465981B2 (en) * 2014-05-09 2016-10-11 Barron Associates, Inc. System and method for communication
JP6653467B2 (ja) * 2015-06-15 2020-02-26 パナソニックIpマネジメント株式会社 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
JP6647013B2 (ja) * 2015-10-30 2020-02-14 キヤノン株式会社 画像処理装置、画像処理方法及び光干渉断層撮影装置
JP2017191501A (ja) * 2016-04-14 2017-10-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3319041B1 (en) * 2016-11-02 2022-06-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
EP3653106A4 (en) * 2017-07-14 2020-07-08 Fujifilm Corporation MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC ASSISTANCE DEVICE, AND MEDICAL INTERVENTION ASSISTANCE DEVICE
JP6984256B2 (ja) * 2017-09-11 2021-12-17 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP6515984B2 (ja) 2017-11-29 2019-05-22 サミー株式会社 遊技機
CN110322556B (zh) * 2019-04-29 2022-06-03 武汉大学 一种基于边界裁剪的高速高精度矢栅叠置分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010061852A1 (ja) 2008-11-25 2010-06-03 Necシステムテクノロジー株式会社 建築物変化検出装置、建築物変化検出方法、及び記録媒体
JP2013101428A (ja) 2011-11-07 2013-05-23 Pasuko:Kk 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム
WO2015151553A1 (ja) 2014-03-31 2015-10-08 Necソリューションイノベータ株式会社 異動検出支援装置、異動検出支援方法、及びコンピュータ読み取り可能な記録媒体
JP2017033197A (ja) 2015-07-30 2017-02-09 日本電信電話株式会社 変化領域検出装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHAN YANG ET AL.,Change Detection Based on Deep Siamese Convolutional Network for Optical Aerial Images,IEEE GEOSCIENCE AND REMOTE SENSING LETTERS,IEEE,2017年10月01日,vol. 14, no. 10,pp 1845-1849

Also Published As

Publication number Publication date
AU2019244533A1 (en) 2020-08-13
US11216952B2 (en) 2022-01-04
EP3745351A1 (en) 2020-12-02
WO2019187494A1 (ja) 2019-10-03
US20210056707A1 (en) 2021-02-25
JP2019169060A (ja) 2019-10-03
AU2019244533B2 (en) 2022-01-27
EP3745351A4 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及系统
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
JP2024042703A (ja) 画像処理システム、画像処理方法及びプログラム
CN107305635A (zh) 对象识别方法、对象识别装置和分类器训练方法
CN108932479A (zh) 一种人体异常行为检测方法
JP2017191501A (ja) 情報処理装置、情報処理方法及びプログラム
CN111886600B (zh) 一种用于图像的实例级别分割的设备和方法
CN104392228A (zh) 基于条件随机场模型的无人机图像目标类检测方法
Touati et al. A reliable mixed-norm-based multiresolution change detector in heterogeneous remote sensing images
JP2011113313A (ja) 姿勢推定装置
Karadağ et al. Segmentation fusion for building detection using domain-specific information
CN108537169A (zh) 一种基于中心线和路宽检测算法的高分辨率遥感影像道路提取方法
CN107766810B (zh) 一种云、影检测方法
Abujayyab et al. Integrating object-based and pixel-based segmentation for building footprint extraction from satellite images
JP2011216069A (ja) 物体識別装置、物体識別方法、及び、物体識別装置の学習方法
Coulibaly et al. Semiautomatic road extraction from VHR images based on multiscale and spectral angle in case of earthquake
CN105389798B (zh) 基于反卷积网络与映射推理网络的sar图像分割方法
Manandhar et al. Segmentation based building detection in high resolution satellite images
Aytekin et al. Automatic and unsupervised building extraction in complex urban environments from multi spectral satellite imagery
JP7077093B2 (ja) 領域検出装置、領域検出方法及びそのプログラム
CN109785302B (zh) 一种空谱联合特征学习网络及多光谱变化检测方法
CN117928540A (zh) 机器人的定位方法、定位装置、机器人以及存储介质
Yuan et al. Graph neural network based multi-feature fusion for building change detection
CN108665489B (zh) 用于检测地理空间影像的变化的方法及数据处理系统
Ren et al. Survey on unsupervised change detection techniques in SAR images1

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220518

R150 Certificate of patent or registration of utility model

Ref document number: 7077093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150