Nothing Special   »   [go: up one dir, main page]

JP2023100850A - オブジェクト検出装置、オブジェクト検出方法およびプログラム - Google Patents

オブジェクト検出装置、オブジェクト検出方法およびプログラム Download PDF

Info

Publication number
JP2023100850A
JP2023100850A JP2023076649A JP2023076649A JP2023100850A JP 2023100850 A JP2023100850 A JP 2023100850A JP 2023076649 A JP2023076649 A JP 2023076649A JP 2023076649 A JP2023076649 A JP 2023076649A JP 2023100850 A JP2023100850 A JP 2023100850A
Authority
JP
Japan
Prior art keywords
class
input
partial area
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023076649A
Other languages
English (en)
Other versions
JP7491435B2 (ja
Inventor
祐介 ▲高▼橋
Yusuke Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2023100850A publication Critical patent/JP2023100850A/ja
Priority to JP2024077277A priority Critical patent/JP2024097936A/ja
Application granted granted Critical
Publication of JP7491435B2 publication Critical patent/JP7491435B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 良質な教師データを効率良く作成するオブジェクト検出装置等を提供する。【解決手段】 オブジェクト検出装置300は、辞書を用いて入力画像からオブジェクトを検出する検出部301と、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの1操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける受付部302と、選択された部分領域の画像と入力されたクラスとから教師データを生成する生成部303と、教師データにより辞書を学習する学習部304とを備える。【選択図】図1

Description

本発明は、画像から辞書を用いてオブジェクトを検出するオブジェクト検出装置等に関する。
撮像装置で撮像して得た撮像画像を解析し、オブジェクトを検出する装置が、提案等されている。特許文献1は、プリント配線基板などの基板の製造工程において、基板を撮像して得た画像を解析し、基板上の傷などのオブジェクトを検出する技術を開示する。特許文献2は、監視カメラで撮像して得た道路上のモニタ映像を解析して車両などのオブジェクトを検出する技術を開示する。
特許文献1および2に開示された技術では、上記のような検出を行うために、オブジェクト検出装置を学習させる。そして、その学習のためには、教師データ(訓練データとも呼ばれる)が必要になる。教師データは、入力と出力のペアの事例である。教師データには、正事例と負事例の2種類がある。オブジェクト検出装置を正しく学習させるには、正事例と負事例の双方が必要である。しかし、適切な教師データを作成するには多くの時間と労力を必要とする。
特許文献1は、基板上の傷などのオブジェクトの検出に必要な教師データを作成する技術について開示する。この技術では、プリント配線基板の画像から良品とは異なる輝度値を有する領域を抽出してディスプレイに表示し、領域の選択とそのクラス(カテゴリとも呼ばれる)の入力をキーボードおよびマウスを使用して利用者から受け付ける。具体的には、利用者は、複数存在する領域の中から特定の1つの領域をマウスのクリックで選択し、次に、この選択時に表示されるプルダウンメニューから所望のクラスをマウスのクリックで選択する。
特許文献2は、道路を走行する車両などのオブジェクトの検出に必要な教師データを作成する技術について開示する。この技術では、辞書を用いて任意の撮像画像からオブジェクトの領域を切り出し、その領域から所定の特徴量を抽出し、この抽出した特徴量に基づいて上記辞書を学習する。これらの一連の動作は自動的に行われる。
特開2003-317082号公報 特開2014-59729号公報
しかしながら、特許文献1が開示する技術において、利用者は、教師データの作成に使用する領域の選択と、この選択した領域に対するクラスの入力とを入力デバイスの別々の操作で行う必要があるため、作業性が悪い。
他方、特許文献2が開示する技術では、オブジェクト領域の切り出し、その領域からの特徴量の抽出、その抽出した特徴量による辞書の学習が自動的に行われるため、教師データを効率良く作成することができる。しかし、辞書を用いて切り出されたオブジェクトの領域およびクラスが常に正しいとは限らないため、教師データの質が悪化する。
本発明の目的は、上述した問題を解決することである。すなわち、良質な教師データを効率良く作成するオブジェクト検出装置等を提供することである。
上述した問題を解決するため、本発明の第1の特徴は、
辞書を用いて入力画像からオブジェクトを検出する検出部と、
検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの1操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける受付部と、
選択された部分領域の画像と入力されたクラスとから教師データを生成する生成部と、
教師データにより辞書を学習する学習部と、
を有するオブジェクト検出装置である。
本発明の第2の特徴は、
辞書を用いて入力画像からオブジェクトを検出し、
検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、
入力デバイスの1操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付け、
選択された部分領域の画像と入力されたクラスとから教師データを生成し、
教師データにより辞書を学習するオブジェクト検出方法である。
本発明の第3の特徴は、
コンピュータを、
辞書を用いて入力画像からオブジェクトを検出する検出部と、
検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの1操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける受付部と、
選択された部分領域の画像と入力されたクラスとから教師データを生成する生成部と、
教師データにより辞書を学習する学習部と、
して機能させるプログラムを格納する記録媒体である。
本発明は、上述した構成を有するため、良質な教師データを効率良く作成することができる。
本発明の第1の実施形態に係るオブジェクト検出装置のブロック図である。 本発明の第1の実施形態において画像からオブジェクトを検出する概念の説明図である。 本発明の第1の実施形態におけるオブジェクトの検出結果の一例を示す図である。 本発明の第1の実施形態における受付画面の一例を示す図である。 本発明の第1の実施形態に係るオブジェクト検出装置の動作の一例を示すフローチャートである。 本発明の第1の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。 本発明の第1の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。 本発明の第1の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。 本発明の第2の実施形態における受付画面の一例を示す図である。 本発明の第2の実施形態で使用する右下方向のドラッグアンドドロップの意味と部分領域の算出例とを示す図である。 本発明の第2の実施形態で使用する左下方向のドラッグアンドドロップの意味と部分領域の算出例とを示す図である。 本発明の第2の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。 本発明の第2の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新前の例を示す図である。 本発明の第2の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新後の例を示す図である。 本発明の第2の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新前の例を示す図である。 本発明の第2の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新後の例を示す図である。 本発明の第2の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。 本発明の第2の実施形態の変形例において画像上で行われた右ダブルクリックの位置からクラス2の部分領域を算出する方法の説明図である。 本発明の第2の実施形態の変形例において使用する右下方向のスワイプの意味と部分領域の算出例とを示す図である。 本発明の第2の実施形態の変形例において使用する左下方向のスワイプの意味と部分領域の算出例とを示す図である。 本発明の第2の実施形態の変形例において使用する下方向のスワイプの意味と部分領域の算出例とを示す図である。 本発明の第2の実施形態の変形例において使用する上方向のスワイプの意味と部分領域の算出例とを示す図である。 本発明の第2の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。 本発明の第3の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。 本発明の第4の実施形態で使用する受付画面の一例を示す図である。 本発明の第4の実施形態に係るオブジェクト検出装置の受付部が、新たに算出した部分領域に一部重複する既存の部分領域に対してクラス0の入力を受け付ける例を示す図である。 本発明の第4の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。 本発明の第4の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新前の例を示す図である。 本発明の第4の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新後の例を示す図である。 本発明の第4の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新前の例を示す図である。 本発明の第4の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新後の例を示す図である。 本発明の第5の実施形態に係るオブジェクト検出装置のブロック図である。 本発明の第1の実施形態に係るオブジェクト検出装置のハードウェア構成の一例を示す図である。 本発明の第6の実施形態に係るオブジェクト検出装置のブロック図である。
次に本発明の実施の形態について図面を参照して詳細に説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は本発明の実施形態における構成を模式的に表している。更に以下に記載される本発明の実施形態は一例であり、その本質を同一とする範囲において適宜変更可能である。
[第1の実施形態]
図1を参照すると、本発明の第1の実施形態に係るオブジェクト検出装置100は、監視カメラ110で撮像されて得られた道路上のモニタ映像を解析し、オブジェクトを検出する機能を有する。本実施形態では、検出すべきオブジェクトは2輪自動車と4輪自動車の2種類である。即ち、オブジェクト検出装置100は、多クラス分類器の一種であり、画像から特定の2種類のオブジェクトを検出する。
オブジェクト検出装置100は、主な機能部として、検出部101、辞書102、検出結果DB(検出結果データベース)103、受付部104、生成部105、教師データメモリ106、および学習部107を有する。また、オブジェクト検出装置100には、表示デバイス120と入力デバイス130とが接続されている。オブジェクト検出装置100は、例えば図26に示すように、情報処理装置230とプログラム240を記録する記憶媒体とによって構成されても良い。情報処理装置230は、1以上のマイクロプロセッサ等の演算処理部210と、半導体メモリやハードディスク等の記憶部220とを有する。記憶部220は、辞書102、検出結果DB103および教師データメモリ106等を格納する。プログラム240は、オブジェクト検出装置100の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部210の動作を制御することにより、演算処理部210上に、検出部101、受付部104、生成部105、および学習部107といった機能的手段を実現する。
表示デバイス120は、LCD(Liquid Crystal Display)やPDP(Plasma Display Panel)などの画面表示装置からなり、オブジェクト検出装置100からの指示に応じて、検出結果などの各種情報を画面表示する機能を有している。
入力デバイス130は、キーボードやマウスなどの操作入力装置である。入力デバイス130は、オペレータの操作を入力として検出し、オブジェクト検出装置100に出力する。本実施形態では、入力デバイス130としてマウスを使用する。また、使用するマウスは、左クリックおよび右クリックの2種類のマウスジェスチャが行えるものとする。
検出部101は、監視カメラ110で撮像されて得られた画像を時系列順に1枚ずつ入力し、入力した各画像から辞書102を用いてオブジェクトを検出する。検出部101は、検出結果を検出結果DB103に保存する機能を有する。1枚の画像とは、監視カメラ110で撮像された1フレームの画像のことである。監視カメラ110から出力される一連のフレームには、識別のために、連続するフレーム番号が付与されている。
図2は、画像からオブジェクトを検出する概念の説明図である。検出部101は、画像111に対してオブジェクト検出用の探索窓112を設定し、探索窓112内の画像の特徴量を抽出する。更に検出部101は、抽出した特徴量と辞書102との類似性を示す尤度を算出し、算出した尤度に基づいて探索窓112内の画像がオブジェクトか否かを判定することでオブジェクトを検出する。検出部101は、オブジェクトを検出すると、オブジェクトを検出した部分領域の情報と後述するクラスとを有する検出結果を画像111の識別情報に関連付けて検出結果DB103に保存する。オブジェクトの部分領域の情報としては、オブジェクトであると判定した探索窓112の、画像111上での位置情報を使用する。ここで、位置情報としては、探索窓112が矩形の場合、例えば、その左上および右下の頂点の座標値を使用する。また、オブジェクトに関するクラスは、2輪自動車のクラスを表すクラス1、4輪自動車のクラスを表すクラス2、その何れでもないクラスを表すクラス0の合計3クラスである。さらに、画像111の識別情報は、例えば画像のフレーム番号である。
検出部101は、探索窓112の位置およびサイズを変更し、上述と同様の動作を繰り返すことにより、画像111に存在する、位置およびサイズの異なるオブジェクトを隈なく探索する。図2に示す例では、画像111から3つのオブジェクトが検出されている。検出部101は、符号113に示す位置およびサイズの探索窓によって1つ目のオブジェクトを検出し、符号114に示す位置およびサイズの探索窓によって2つ目のオブジェクトを検出し、符号115に示す位置およびサイズの探索窓によって3つ目のオブジェクトを検出する。図2では、画像の横方向をX軸、縦方向をY軸とした。1枚の画像111に対する検出処理を終えると、検出部101は、次の1枚の画像について同様の処理を繰り返す。
図3は、検出結果DB103の例である。この例の検出結果DB103は、フレーム番号に対応して、検出結果を記録する。検出結果は、オブジェクトの部分領域の情報とクラスとから構成される。例えば、検出結果DB103は、フレーム番号001に対応して、3つのオブジェクトの部分領域の情報とクラスとのペアを記録する。その1つは、左上頂点の座標が(x1、y1)、右下頂点の座標が(x2、y2)となる部分領域とクラス2とのペア、他の1つは、左上頂点の座標が(x3、y3)、右下頂点の座標が(x4、y4)となる部分領域とクラス1とのペア、残りの1つは、左上頂点の座標が(x5、y5)、右下頂点の座標が(x6、y6)となる部分領域とクラス1とのペアである。
また図3に示す検出結果DB103は、検出結果毎に修正クラスを記録する欄を有する。修正クラスは、受付部104によって入力されたクラスに相当する。検出部101が検出結果を検出結果DB103に出力する時点では、修正クラスの欄は全てNULLである(図3では‐で示される)。
受付部104は、検出結果DB103に保存された画像の検出結果を視覚化して表示デバイス120に表示し、オペレータから修正の入力を受け付ける。
図4は、受付部104が表示デバイス120に表示する受付画面121の一例を示す。この例において、受付画面121は、画面の下部にグラフ122を表示し、その上部にスライダ123を表示し、さらに上部に画像ウインドウ124を表示する。
グラフ122は、画像111を含む複数の画像と、各画面においてオブジェクトが検出された部分領域の数との関係を示すグラフである。受付画面121の横方向をX軸、縦方向をY軸とするとき、グラフ122のX軸は画像のフレーム番号、Y軸はオブジェクトが検出された部分領域の数、即ち、オブジェクト検出数をそれぞれ示す。即ち、受付部104は、検出結果DB103に保存された検出結果に対応する入力画像をフレーム番号の昇順または降順に並べた列をグラフ122のX軸とする。但し、X軸は入力画像をフレーム番号の昇順または降順に並べた列以外であってもよい。例えば、X軸は、入力画像をオブジェクトの部分領域の数(即ちオブジェクト検出数)で並べた列としてもよい。この場合、受付部104は、検出結果DB103に保存された検出結果103の入力画像をオブジェクト検出数で昇順または降順にソートし、ソート後の入力画像の列をグラフ122のX軸とする。また、図4ではグラフ122は棒グラフであるが、グラフ122の種類は棒グラフに限定されず、折れ線グラフ等、他の種類であってもよい。
スライダ123は、グラフ122のX軸上の位置、即ち画像を選択するためのGUI(Graphical User Interface)である。スライダ123はスライドバー123aを備え、入力デバイス130でスライドバー123aを左右に操作することで、グラフ122のX軸上の位置を選択する。
画像ウインドウ124は、複数の画像のうちスライダ123の操作によって選択された1枚の画像111をフレーム単位で表示する。画像ウインドウ124に表示される画像111には、検出されたオブジェクトの部分領域を強調する表示が付加されている。図4の例では、オブジェクトの部分領域の外周を示す矩形の枠125が表示されている。但し、オブジェクトの部分領域を強調する表示は矩形の枠125に限らず、部分領域全体の輝度を他の領域よりも高く或いは低くする表示形態や、部分領域全体に網掛けを表示する表示形態など、任意の表示形態を使用してよい。
また、検出されたオブジェクトの部分領域を強調する表示は、検出されたオブジェクトのクラスにより、異なる表示形態で表示される。図4では、クラス1のオブジェクトの部分領域は破線の枠125で表示され、クラス2のオブジェクトの部分領域は実線の枠125で表示されている。枠125の線種を異ならせる以外に、枠125の表示色を異ならせてもよい。また、クラスを示す数値を部分画像の近傍に表示してもよい。
一般にGUIのスライダには、オペレータの操作の目安となる目盛とラベルとが表示される。図4に示す受付画面121は、目盛とラベルの代わりに、画像毎のオブジェクト検出数を示すグラフ122を表示する。このようなグラフ122を表示することにより、オペレータは、オブジェクト検出数を基準にして複数の画像から一の画像を選択することが容易に行える。
また受付部104は、表示デバイス120に表示された画像111に対する入力デバイス130の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。受付部104は、入力デバイス130の操作が行われた画像111の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。本実施形態では、入力デバイス130はマウスであり、操作の種別は左クリックと右クリックである。左クリックは、マウスの左ボタンをシングルクリックする操作を意味する。また右クリックは、マウスの右ボタンをシングルクリックする操作を意味する。受付部104は、左クリックまたは右クリックされた画像111の位置を領域内に有する部分領域の選択を受け付ける。また受付部104は、その選択した部分領域に対して、左クリックのときはクラス0の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス1のときはクラス2、現在のクラスがクラス2のときはクラス0、現在のクラスがクラス0のときはクラス1をそれぞれ意味する。受付部104は、上記選択した部分領域に対して上記受け付けたクラスを検出結果DB103の修正クラスの欄に記録する。
生成部105は、受付部104により選択された部分領域の画像と入力されたクラスとから教師データを生成し、教師データメモリ106に格納する。生成部105は、図3に示す検出結果DB103において、修正クラスの欄にクラス0、クラス1およびクラス2の何れかのクラスが記録されている部分領域毎に、教師データを生成する。教師データは、その部分領域の画像またはその部分領域の画像から抽出した特徴量と修正クラスの欄に記録されたクラスとを入出力ペアとする。
学習部107は、教師データメモリ106に格納された教師データを使用して辞書102を学習する。教師データを使用して辞書102を学習する手法は、広く知られているので、その説明は省略する。辞書102は、教師データによる学習によってグレードアップされる。検出部101は、このグレードアップした辞書102を使用して、再び監視カメラ110から入力した各画像からオブジェクトを検出する。
図5は本実施形態の動作を示すフローチャートである。以下、図5を参照して本実施形態の動作を説明する。
オブジェクト検出装置100の検出部101は、監視カメラ110で撮像されて得られた画像を時系列順に1枚ずつ入力する(ステップS101)。次に検出部101は、図2を参照して説明したような手法により、入力した画像から辞書102を用いてオブジェクトを検出し、検出結果DB103に検出結果を保存する(ステップS102)。監視カメラ110で撮像されて得られた次の画像があれば(ステップS103)、検出部101はステップS100へ戻って上述した処理と同様の処理を繰り返す。これにより、図3に示したような複数の画像の検出結果が検出結果DB103に蓄積される。監視カメラ110で撮像された一連の画像に対する検出部101の処理が終了すると、受付部104による処理が開始される。
受付部104は、図4に示したような受付画面121を表示デバイス120に表示し、入力デバイスの入力操作を受け付ける(ステップS104)。このステップS104の詳細は後述する。
受付部104による受付が終了すると、生成部105は、受付部104により選択された部分領域の画像と入力されたクラスとから教師データを生成する(ステップS105)。次に学習部107は、教師データメモリ106に格納された教師データを使用して辞書102を学習する(ステップS106)。
図6はステップS104で行われる受付部104の動作の詳細を示すフローチャートである。以下、図6を参照して受付部104の動作を詳細に説明する。
受付部104は、検出結果DB103から画像毎のオブジェクト検出数を算出する(ステップS111)。図3を参照すると、フレーム番号001の画像から3つの部分領域が検出されているため、受付部104は、フレーム番号001のオブジェクト検出数を3とする。同様にして他のフレーム番号の画像のオブジェクト検出数を算出する。
次に受付部104は、初期の受付画面121を表示デバイス120に表示する(ステップS112)。初期の受付画面121は、図4に示すように、グラフ122、スライダ123および画像ウインドウ124を表示する。グラフ122は、ステップS111で算出したフレーム番号毎のオブジェクト検出数を表示する。スライダ123は、スライドバー123aを所定の位置に置いたものである。画像ウインドウ124は、スライドバー123aが指し示すグラフ122のX軸上のオブジェクト番号の画像を表示する。また、画像ウインドウ124に表示される画像上で検出されたオブジェクトの部分領域は、その部分領域のクラスに応じた線種の枠125によって強調されている。
次に受付部104は、スライダ123のスライドバー123aが操作されたか否か(ステップS113)、画像ウインドウ上の画像に対してクリックが行われたか否か(ステップS114)、受付終了条件が成立したか否か(ステップS115)、を判定する。受付終了条件としては、例えば、受付終了コマンドがオペレータから入力されたことや、一定時間以上にわたって入力操作が行われないことなど、であってよい。
受付部104は、画像ウインドウ124の画像に対する左クリックまたは右クリックを検出すると(ステップS114でYES)、クリック位置を包含する部分領域が画像に存在するか否かを判定する(ステップS116)。この判定は、クリックされた位置の座標値が、画像ウインドウ124に表示されている画像の何れかの部分領域の内部であるか否かを調べることにより行われる。受付部104は、クリック位置を包含する部分領域が存在しない場合(ステップS116でNO)、当該クリックを無視する。他方、受付部104は、クリック位置を包含する部分領域が存在する場合(ステップS116でYES)、クリック位置を包含する部分領域が選択されたものと判断し、クラスの入力を判断するためにクリックの種別が左クリック、右クリックの何れであるかを判定する(ステップS117)。
受付部104は、左クリックならば、選択された部分領域に対するクラス0の入力を受け付ける(ステップS118)。次に受付部104は、検出結果DB103中の検出結果の上記選択された部分領域に対応する修正クラスを上記受け付けたクラス0に更新する(ステップS119)。次に受付部104は、画像ウインドウ124に表示している画像の上記選択された部分領域に表示していた枠125を非表示にする(ステップS120)。
また受付部104は、右クリックならば、選択された部分領域の現在のクラスをインクリメントしたクラスの入力を受け付ける(ステップS121)。選択された部分領域の現在のクラスは、検出結果DB103中の検出結果の上記選択された部分領域に対応する修正クラスがNULLのときは検出結果のクラスであり、修正クラスがNULLでないときは修正クラスに記載されたクラスである。次に受付部104は、検出結果DB103中の検出結果の上記選択された部分領域に対応する修正クラスを上記インクリメント後のクラスに更新する(ステップS122)。次に受付部104は、画像ウインドウ124に表示している画像の上記選択された部分領域に表示していた枠125の表示を更新する(ステップS123)。具体的には、受付部104は、インクリメント後のクラスがクラス2ならば、枠125を実線で表示する。また受付部104は、インクリメント後のクラスがクラス0ならば、枠125を非表示にする。また受付部104は、インクリメント後のクラスがクラス1ならば、枠125を破線で表示する。
他方、受付部104は、スライドバー123aが操作されたことを検出すると(ステップS113)、受付画面121のスライドバー123aおよび画像ウインドウ124の画像を更新する(ステップ124)。具体的には、受付部104は、スライドバー123aの表示位置を入力操作に応じて移動させる。また受付部104は、移動後のスライドバー123aが指し示すグラフ122のX軸上のオブジェクト番号の画像を画像ウインドウ124に表示する。
さらに受付部104は、画像ウインドウ124に表示した画像上の部分領域が、過去にクラスの入力を行った画像の部分領域と同じ位置および同じ入力前クラスを有するか判断する。同じ位置および同じ入力前クラスを有すると判断した場合、受付部104は、当該部分領域を強調する枠125を非表示にする。例えば、図3のフレーム番号001、002、003におけるそれぞれ3つ目の部分画像の位置は何れも(x5、y5)、(x6、y6)を左上頂点、右下頂点とする同じ位置の矩形であり、その入力前クラスも同じクラス1である。従って、例えばフレーム番号001の画像に対して上記3つ目の部分画像のクラスがクラス1からクラス0に修正された後、フレーム番号002、003の画像が画像ウインドウ124に表示される場合、フレーム番号002、003の画像の上記3つ目の部分画像には、枠125は表示されない。但し、それらの検出結果のクラスには、依然としてクラス1が記録されている。
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部104が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス120に表示し、入力デバイス130の1操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。
また本実施形態によれば、オブジェクト検出数を基準にして複数の画像から1枚の画像を容易に選択することできる。その理由は、受付部104が、入力画像とオブジェクトが検出された部分領域の数との関係を示すグラフ122を表示デバイス120に表示し、スライダ123の操作により受け付けたグラフ122上の位置に従って、表示デバイス120に検出結果を表示する入力画像を選択するためである。本実施形態では、オブジェクト検出数を基準に処理する画像を選択できる。このため、オペレータの技量の程度や好みに応じて、多くのオブジェクトが検出されている画像から優先的に処理したり、その反対に、オブジェクトの検出数の少ない画像から優先的に処理したりできる。あるいは、オペレータは、その中間程度のオブジェクト検出数の画像から優先的に処理したりすることが手軽に行える。一般に多くのオブジェクトが検出されている画像から優先的に処理した方がトータルの作業時間は短縮されるが、部分領域どうしの重複が多い画像の場合、慣れないオペレータではその確認が容易でない。
また一般的に視野を固定した監視カメラ110が、道路を走行する2輪自動車や4輪自動車を一定周期で撮像すると、動かない物体は連続する複数のフレーム画像の同じ位置に共通に出現する。このため、例えば道路にできた水溜りなどを誤って2輪自動車として検出する場合、連続する複数のフレーム画像の同じ位置に同じ誤認識結果が出現する。同じ誤認識結果はその何れか1つを修正して教師データを生成すれば十分であり、既に修正した誤認識結果と同じものが多数のフレーム画像にわたって強調表示されると却って煩わしい。本実施形態では、受付部104は、過去にクラスの入力を行った画像の部分領域と同じ位置および同じ入力前クラスを有する部分領域を強調する枠125を非表示にする。これにより当該煩わしさを解消できる。
[第1の実施形態の変形例]
次に、上記第1の実施形態の構成を変更した各種の変形例について説明する。
上記第1の実施形態では、受付部104は、マウスジェスチャの左クリックによりクラス0の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付けた。しかし、クラス0の入力を受け付けるジェスチャ種別、クラスのインクリメントの入力を受け付けるジェスチャ種別は、図7の一覧に例示するように、様々な組み合わせが可能である。
例えば、図7に示す番号1-1では、受付部104は、マウスジェスチャの左クリックによりクラス0の入力を受け付け、ダブルクリックによりクラスのインクリメントの入力を受け付ける。ダブルクリックとは、マウスの左ボタンを連続して2回シングルクリックする操作を意味する。
また図7に示す番号1-2では、受付部104は、マウスジェスチャの左クリックによりクラス0の入力を受け付け、ドラッグアンドドロップによりクラスのインクリメントの入力を受け付ける。ドラッグアンドドロップとは、マウスの左ボタンを押した状態でマウスを移動(ドラッグ)させ、別の場所で左ボタンを離す(ドロップ)操作を意味する。ドラッグアンドドロップを使用する場合、図6のステップS114において画像ウインドウ上でドラッグアンドドロップが行われたか否かを判定し、ステップS116では、例えばドラッグの開始点とドロップ点とを包含する部分領域があるか否かを判定する。
上記番号1-1、1-2は上記第1の実施形態と同じく、マウスジェスチャを使用する。これに対して図7に示す番号1-3~1-6は、タッチジェスチャを使用する。タッチジェスチャとは、タッチパネルに対して行われる指先等の人体の一部を用いたタッチ操作を意味する。タッチジェスチャには、タップ(指等で軽く叩く操作)、ダブルタップ(指等で2回叩く操作)、フリック(指等ではじく或いは払う操作)、スワイプ(指等でなぞる操作)、ピンチイン(複数本の指等でつまむ或いは狭める操作)、ピンチアウト(複数本の指等で広げる操作)など多くの種類がある。タッチジェスチャを使用する場合、入力デバイス130としてタッチパネルを使用する。タッチパネルの使用は、例えば本発明がスマートフォンやタブレット端末等のモバイル機器に実装される場合にも有用である。
図7の番号1-3では、受付部104は、フリックによりクラス0の入力を受け付け、スワイプによりクラスのインクリメントの入力を受け付ける。また図7の番号1-4では、受付部104は、左方向のフリックによりクラス0の入力を受け付け、右方向のフリックによりクラスのインクリメントの入力を受け付ける。図7の番号1-5では、受付部104は、ピンチインによりクラス0の入力を受け付け、ピンチアウトによりクラスのインクリメントの入力を受け付ける。図7の番号1-6では、受付部104は、タップによりクラス0の入力を受け付け、ダブルタップによりクラスのインクリメントの入力を受け付ける。これらは例示であり、他の任意のジェスチャの組み合わせを使用してよい。
上記第1の実施形態および図7の番号1-1~1-6では、受付部104は、第1の種別のジェスチャによりクラス0の入力を受け付け、第2の種別のジェスチャによりクラスのインクリメントの入力を受け付けた。しかし、受付部104は、インクリメントでなくデクリメントの入力を受け付けるようにしてよい。即ち、上記第1の実施形態および図7の番号1-1~1-6において、受付部104は、第1の種別のジェスチャによりクラス0の入力を受け付け、第2の種別のジェスチャによりクラスのデクリメントの入力を受け付けるようにしてよい。
上記第1の実施形態では、マウスジェスチャの左クリックによりクラス0の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付けた。しかし、クラスと操作とを1対1に対応付け、クラス0、クラス1、クラス2の入力をそれぞれ特定の1操作により受け付けるようにしてもよい。各クラスの入力を受け付けるジェスチャ種別は、図8の一覧に例示するように、様々な組み合わせが可能である。
例えば、図8に示す番号1-11では、受付部104は、マウスジェスチャの左クリックによりクラス0の入力を受け付け、右クリックによりクラス1の入力を受け付け、ダブルクリックによりクラス2の入力を受け付ける。また図8に示す番号1-12では、受付部104は、クラス0とクラス1の入力を番号1-11と同様のマウスジェスチャにより受け付け、クラス2の入力はドラッグアンドドロップにより受け付ける。以上はマウスジェスチャを使用する例である。これに対して図8に示す番号1-13~1-15は、タッチジェスチャを使用する。例えば、図8に示す番号1-13では、受付部104は、フリックによりクラス0の入力を受け付け、タップによりクラス1の入力を受け付け、ダブルタップによりクラス2の入力を受け付ける。また図8に示す番号1-14では、受付部104は、左方向のフリックによりクラス0の入力を受け付け、上方向のフリックによりクラス1の入力を受け付け、下方向のフリックによりクラス2の入力を受け付ける。また図8に示す番号1-15では、受付部104は、タップによりクラス0の入力を受け付け、ピンチインによりクラス1の入力を受け付け、ピンチアウトによりクラス2の入力を受け付ける。
上記第1の実施形態では、クラスの数は3つ(クラス0、クラス1、クラス2)であったが、クラス数が2つ(クラス0、クラス1)の2クラスのオブジェクト検出装置、およびクラス数が4つ以上の多クラスのオブジェクト検出装置への適用も可能である。
[第2の実施形態]
本発明の第2の実施形態は、入力画像から機械的に検出できなかったオブジェクトの部分領域の選択とその部分領域に対するクラスの入力とを、入力画像に対する入力デバイスの操作によって行えるようにしたオブジェクト検出装置について説明する。本実施形態は、第1の実施形態と比較して、受付部104の機能が相違し、その他は第1の実施形態と基本的に同じである。以下では、第1の実施形態のブロック図である図1を借用して、第2の実施形態に好適な受付部104の機能について詳細に説明する。
受付部104は、画像の検出結果DB103を視覚化して表示デバイス120に表示し、オペレータから修正の入力を受け付ける機能を有する。
図9は、受付部104が表示デバイス120に表示する受付画面126の一例を示す。
この例の受付画面126は、図4に示した受付画面121と比較して、画像ウインドウ124に表示されている画像111中の2輪自動車の箇所に部分領域の外周を示す矩形の枠が表示されていない点のみ相違する。矩形の枠が表示されない原因は、検出部101が画像111から辞書102を用いてオブジェクトを検出した際、その箇所の2輪自動車の検出に失敗したことによる。このような検出漏れを改善するためには、オブジェクト検出装置は、画像111中の2輪自動車の部分領域とそのクラスとの入出力ペアである教師データを作成し、辞書102を学習する必要がある。
受付部104は、表示デバイス120に表示された画像111に対する入力デバイス130の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。ここで、本実施形態では、部分領域の選択とは、既存の部分領域の選択と新規な部分領域の作成との双方を意味する。受付部104は、入力デバイス130の操作が行われた画像111の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。本実施形態では、入力デバイス130はマウスであり、操作の種別は左クリック、右クリック、右下方向のドラッグアンドドロップ、左下方向のドラッグアンドドロップである。
右下方向のドラッグアンドドロップとは、図10A内の矢印に示すように、マウスの左ボタンを押した状態でマウスを画像111上の或る場所(始点)aから移動(ドラッグ)させ、始点aの右下方向に存在する別の場所(終点)bで左ボタンを離す(ドロップ)操作を意味する。また、左下方向のドラッグアンドドロップとは、図10B内の矢印に示すように、マウスの左ボタンを押した状態でマウスを画像111上の或る場所(始点)aから移動(ドラッグ)させ、始点aの左下方向に存在する別の場所(終点)bで左ボタンを離す(ドロップ)操作を意味する。
受付部104は、左クリックまたは右クリックされた画像111の位置を領域内に有する部分領域の選択を受け付ける。また受付部104は、その選択した部分領域に対して、左クリックのときはクラス0の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス1のときはクラス2、現在のクラスがクラス2のときはクラス0、現在のクラスがクラス0のときはクラス1をそれぞれ意味する。受付部104は、上記選択した部分領域に対して上記受け付けたクラスを検出結果103の修正クラスの欄に記録する。以上は、第1の実施形態において左クリックまたは右クリックされたときと同じである。
また受付部104は、右下方向のドラッグアンドドロップを検出すると、図10A内の破線に示すように、始点aを左上頂点、終点bを右下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス1の入力を受け付ける。また受付部104は、左下方向のドラッグアンドドロップを検出すると、図10B内の破線に示すように、始点aを右上頂点、終点bを左下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス2の入力を受け付ける。また受付部104は、新規に算出した部分領域とそのクラスの情報を検出結果DB103に記録する。
図11は受付部104の動作の詳細を示すフローチャートである。図11において、ステップS211~S224は、図6のステップS111~S124と同じである。以下、図11を参照して、図6との相違点を中心に受付部104の動作を詳細に説明する。
受付部104は、画像ウインドウ124の画像上でドラッグアンドドロップを検出すると(ステップS225でYES)、ドラッグアンドドロップの方向を判定する(ステップS226)。受付部104は、右下方向のドラッグアンドドロップであれば、図10Aを参照して説明したように始点を左上頂点、終点を右下頂点とする矩形の部分領域を算出し、クラス1の入力を受け付ける(ステップS227)。次に受付部104は、算出した部分領域とクラス1のペアを1つの検出結果として検出結果DB103に記録する(ステップS228)。次に受付部104は、受付画面126の画像ウインドウ124を更新する(ステップS229)。そして受付部104は、ステップS213の処理へ戻る。
また受付部104は、左下方向のドラッグアンドドロップであれば(ステップS226)、図10Bを参照して説明したように始点を右上頂点、終点を左下頂点とする矩形の部分領域を算出し、クラス2の入力を受け付ける(ステップS230)。次に受付部104は、算出した部分領域とクラス2のペアを1つの検出結果として検出結果DB103に記録する(ステップS231)。次に受付部104は、受付画面126の画像ウインドウ124を更新する(ステップS232)。そして受付部104は、ステップS213の処理へ戻る。
図12Aおよび図12Bは、受付部104によるステップS228の説明図である。図12Aは検出部101が生成した検出結果DB103を示し、図12Bは受付部104が新たに算出した部分領域とクラス1のペアの記録を追加した後の検出結果DB103を示す。新たに追加した部分領域は、左上頂点が(x3、y3)、右下頂点が(x4、y4)となる矩形であり、そのクラスはクラス1である。このように、追加する部分領域のクラスは、修正クラスの欄に記録する。こうすることによって、生成部105は、追加した部分領域とクラスとから教師データを生成する。受付部104によるステップS231の場合、修正クラスにクラス2が記録される点が異なる。
図13Aおよび図13Bは、受付部104によるステップS229の説明図である。図13Aは更新前の画像ウインドウ124、図13Bは更新後の画像ウインドウ124を示す。更新後の画像ウインドウ124には、新たに追加した部分領域を強調する破線による矩形の枠125が描画されている。受付部104によるステップS232の場合、更新後の画像ウインドウ124には、新たに追加した部分領域を強調する矩形の枠が実線により描画される点が異なる。
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部104が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス120に表示し、入力デバイス130の1操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。また、受付部104が、画像上の右下方向あるいは左下方向のドラッグアンドドロップという1操作を検出して、新たな部分領域の算出とクラス1あるいはクラス2の入力とを受け付けるためである。
[第2の実施形態の変形例]
次に、上記第2の実施形態の構成を変更した各種の変形例について説明する。
上記第2の実施形態では、受付部104は、マウスジェスチャの左クリックによりクラス0の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付け、右下方向のドラッグアンドドロップによりクラス1の部分領域を算出し、左下方向のドラッグアンドドロップによりクラス2の部分領域を算出した。しかし、クラス0の入力を受け付けるジェスチャ種別、クラスのインクリメントの入力を受け付けるジェスチャ種別、クラス1の部分領域の算出を受け付けるジェスチャ種別、クラス2の部分領域の算出を受け付けるジェスチャ種別は、図14の一覧に例示するように、様々な組み合わせが可能である。
例えば、図14に示す番号2-1では、受付部104は、マウスジェスチャの左クリックによりクラス0の入力を受け付け、ダブルクリックによりクラスのインクリメントの入力を受け付ける。更に、受付部104は、右下方向のドラッグアンドドロップによりクラス1の部分領域の算出を受け付け、左下方向のドラッグアンドドロップによりクラス2の部分領域の算出を受け付ける。
また図14に示す番号2-2では、受付部104は、マウスジェスチャの左クリックによりクラス0の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付け、左上方向のドラッグアンドドロップによりクラス1の部分領域の算出を受け付け、右上方向のドラッグアンドドロップによりクラス2の部分領域の算出を受け付ける。ここで、左上方向のドラッグアンドドロップとは、図10A内の矢印と反対方向のドラッグアンドドロップであり、マウスの左ボタンを押した状態でマウスを画像111上の或る場所(始点)bから移動(ドラッグ)させ、始点bの左上方向に存在する別の場所(終点)aで左ボタンを離す(ドロップ)操作を意味する。また、右上方向のドラッグアンドドロップとは、図10B内の矢印と反対方向のドラッグアンドドロップであり、マウスの左ボタンを押した状態でマウスを画像111上の或る場所(始点)bから移動(ドラッグ)させ、始点bの右上方向に存在する別の場所(終点)cで左ボタンを離す(ドロップ)操作を意味する。
また図14に示す番号2-3は、番号2-2と比較して、クラス1とクラス2の部分領域の算出を受け付ける操作が相違している。番号2-3では、受付部104は、左ダブルクリックによりクラス1の部分領域の算出を受け付け、右ダブルクリックによりクラス2の部分領域の算出を受け付ける。ここで、左ダブルクリックとは、マウスの左ボタンを2回連続してクリックすることを意味する。また右ダブルクリックとは、マウスの右ボタンを2回連続してクリックすることを意味する。
図15は、受付部104が画像111上で行われた右ダブルクリックの位置からクラス2の部分領域を算出する方法の説明図である。受付部104は、画像111上の点cの箇所で右ダブルクリックが行われたことを検出すると、典型的なクラス2のオブジェクト(本実施形態では4輪自動車)131の重心が点cに一致する位置に存在すると仮定して、そのオブジェクトの外接矩形132を部分領域として算出する。撮像視野が固定されている監視カメラ110で被写体を撮像した時、被写体の各点と画像上の各点との間には相関関係があるため、画像上の或る点を重心とする典型的な大きさのオブジェクトの外接矩形はほぼ一意に定まる。更に、画像上の或る点を重心とする典型的なクラス1のオブジェクト(本実施形態では2輪自動車)の外接矩形もほぼ一意に定まる。これにより受付部104は、同様の方法により画像111上で行われた左ダブルクリックの位置からクラス1の部分領域を算出する。
図15の例では、オペレータが入力デバイス130を介し、オブジェクトの重心位置を右ダブルクリックあるいは左ダブルクリックするように構成したが、重心位置に限らず、予め定められた位置ならば任意でよい。例えば、2輪自動車であれば前輪の中心、4輪自動車であれば前輪と後輪の中間などを右ダブルクリックあるいは左ダブルクリックするようにしてもよい。また、人を検出対象とするオブジェクト検出装置の場合、オペレータは入力デバイス130を介し、人の頭部を左ダブルクリックするように構成することができる。この場合、受付部104は、頭部位置から人物領域を推定し、推定した人物領域の外接矩形を部分領域として算出する。
上記番号2-1~2-3は上記第2の実施形態と同じく、マウスジェスチャを使用する。これに対して図14に示す番号2-4~2-7は、以下のようにタッチジェスチャを使用する。
図14の番号2-4では、受付部104は、フリックによりクラス0の入力を受け付け、タップによりクラスのインクリメントの入力を受け付け、右下方向のスワイプによりクラス1の部分領域の算出を受け付け、左下方向のスワイプによりクラス2の部分領域の算出を受け付ける。
右下方向のスワイプとは、図16A内の矢印に示すように、画像111上の或る場所(始点)aから始点aの右下方向に存在する別の場所(終点)bまで指先でなぞる操作を意味する。また、左下方向のスワイプとは、図16B内の矢印に示すように、画像111上の或る場所(始点)aから始点aの左下方向に存在する別の場所(終点)bまで指先でなぞる操作を意味する。受付部104は、右下方向のスワイプを検出すると、図16A内の破線に示すように、始点aを左上頂点、終点bを右下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス1の入力を受け付ける。また受付部104は、左下方向のスワイプを検出すると、図16B内の破線に示すように、始点aを右上頂点、終点bを左下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス2の入力を受け付ける。
図14の番号2-5では、受付部104は、左方向のフリックによりクラス0の入力を受け付け、右方向のフリックによりクラスのインクリメントの入力を受け付け、下方向のスワイプによりクラス1の部分領域の算出を受け付け、上方向のスワイプによりクラス2の部分領域の算出を受け付ける。
下方向のスワイプとは、図17A内の矢印に示すように、画像111上の或る場所(始点)aから始点aの下方向に存在する別の場所(終点)bまで指先でなぞる操作を意味する。また、上方向のスワイプとは、図17B内の矢印に示すように、画像111上の或る場所(始点)bから始点bの上方向に存在する別の場所(終点)aまで指先でなぞる操作を意味する。受付部104は、下方向のスワイプを検出すると、図17A内の破線に示すような矩形をクラス1の部分領域として算出する。矩形は、スワイプの線で線対称になっており、上下方向の長さはスワイプの長さに等しい。また左右方向の長さは、スワイプの長さに所定の比率を乗じて求められる。所定の比率としては、例えば、典型的な形状のクラス1のオブジェクト(本実施形態では2輪自動車)の外接矩形の上下方向の長さに対する左右方向の長さの比を使用することができる。また受付部104は、上方向のスワイプを検出すると、図17B内の破線に示すような矩形をクラス2の部分領域として算出する。矩形は、スワイプの線で線対称になっており、上下方向の長さはスワイプの長さに等しい。また左右方向の長さは、スワイプの長さに所定の比率を乗じて求められる。所定の比率としては、典型的な形状のクラス2のオブジェクト(本実施形態では4輪自動車)の外接矩形の上下方向の長さに対する左右方向の長さの比を使用することができる。
図14の番号2-6では、受付部104は、ピンチインによりクラス0の入力を受け付け、ピンチアウトによりクラスのインクリメントの入力を受け付け、右下方向のスワイプによりクラス1の部分領域の算出を受け付け、左下方向のスワイプによりクラス2の部分領域の算出を受け付ける。
図14の番号2-7では、受付部104は、タップによりクラス0の入力を受け付け、ダブルタップによりクラスのインクリメントの入力を受け付け、右下方向のスワイプによりクラス1の部分領域の算出を受け付け、左下方向のスワイプによりクラス2の部分領域の算出を受け付ける。これらは例示であり、他の任意のジェスチャの組み合わせを使用してよい。
上記第2の実施形態および図14の番号2-1~2-7では、受付部104は、第1の種別のジェスチャによりクラス0の入力を受け付け、第2の種別のジェスチャによりクラスのインクリメントの入力を受け付けた。しかし、受付部104は、インクリメントでなくデクリメントの入力を受け付けるようにしてよい。即ち、上記第2の実施形態および図14の番号2-1~2-7において、受付部104は、第2の種別のジェスチャによりクラスのデクリメントの入力を受け付けるようにしてよい。
上記第2の実施形態では、受付部104は、マウスジェスチャの左クリックによりクラス0の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付けた。しかし、クラスと操作とを1対1に対応付け、クラス0、クラス1、クラス2の入力をそれぞれ特定の1操作により受け付けるようにしてもよい。各クラスの入力を受け付けるジェスチャ種別、および各クラスの部分領域の算出を受け付けるジェスチャ種別は、図18の一覧に例示するように、様々な組み合わせが可能である。
例えば、図18に示す番号2-11では、受付部104は、マウスジェスチャの左クリックによりクラス0の入力を受け付け、右クリックによりクラス1の入力を受け付け、ダブルクリックによりクラス2の入力を受け付け、右下方向のドラッグアンドドロップによりクラス1の部分領域の算出を受け付け、左下方向のドラッグアンドドロップによりクラス2の部分領域の算出を受け付ける。
また図18に示す番号2-12は、番号2-11と比較して、クラス1およびクラス2の部分領域の算出を受け付けるジェスチャ種別が相違する。番号2-12では、受付部104は、左上方向のドラッグアンドドロップによりクラス1の部分領域の算出を受け付け、右上方向のドラッグアンドドロップによりクラス2の部分領域の算出を受け付ける。
また図18に示す番号2-13では、受付部104は、タッチジェスチャのフリックによりクラス0の入力を受け付け、タップによりクラス1の入力を受け付け、ダブルタップによりクラス2の入力を受け付け、右下方向のスワイプによりクラス1の部分領域の算出を受け付け、左下方向のスワイプによりクラス2の部分領域の算出を受け付ける。
また図18に示す番号2-14は、番号2-13と比較して、クラス0、1、2の入力を受け付けるジェスチャ種別が相違する。番号2-14では、受付部104は、左方向のフリックによりクラス0の入力を受け付け、上方向のフリックによりクラス1の入力を受け付け、下方向のフリックによりクラス2の入力を受け付ける。
また図18に示す番号2-15では、受付部104は、タップによりクラス0の入力を受け付け、ピンチインによりクラス1の入力を受け付け、ピンチアウトによりクラス2の入力を受け付け、下方向のスワイプによりクラス1の部分領域の算出を受け付け、上方向のスワイプによりクラス2の部分領域の算出を受け付ける。
上記第2の実施形態では、クラスの数は3つ(クラス0、クラス1、クラス2)であったが、クラス数が2つ(クラス0、クラス1)の2クラスのオブジェクト検出装置、およびクラス数が4つ以上の多クラスのオブジェクト検出装置への適用も可能である。
[第3の実施形態]
本発明の第3の実施形態は、操作が行われた画像の位置を領域内に有する既存の部分領域が存在するか否かによって同じ操作であっても異なるクラスの入力を受け付けるようにしたオブジェクト検出装置について説明する。本実施形態は、第2の実施形態と比較して、受付部104の機能が相違し、その他は第2の実施形態と基本的に同じである。以下では、第1の実施形態のブロック図である図1を借用して、第3の実施形態に好適な受付部104の機能について詳細に説明する。
受付部104は、画像の検出結果DB103を視覚化して表示デバイス120に表示し、オペレータから修正の入力を受け付ける機能を有する。
受付部104は、表示デバイス120に表示された画像111に対する入力デバイス130の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。ここで、本実施形態では、部分領域の選択とは、既存の部分領域の選択と新規な部分領域の選択との双方を意味する。受付部104は、入力デバイス130の操作が行われた画像111の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。また本実施形態では、操作が行われた画像の位置を領域内に有する既存の部分領域が存在するか否かによって同じ操作であっても異なるクラスの入力を受け付ける。本実施形態では、入力デバイス130はマウスであり、1操作の種別は左クリック、右クリックである。
受付部104は、左クリックまたは右クリックされた画像111の位置を領域内に有する既存の部分領域の選択を受け付ける。また受付部104は、その選択した部分領域に対して、左クリックのときはクラス0の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス1のときはクラス2、現在のクラスがクラス2のときはクラス0、現在のクラスがクラス0のときはクラス1をそれぞれ意味する。受付部104は、上記選択した部分領域に対して上記受け付けたクラスを検出結果DB103の修正クラスの欄に記録する。以上は、第1の実施形態において左クリックまたは右クリックされたときと同じである。
また受付部104は、左クリックまたは右クリックされた画像111の位置を領域内に有する既存の部分領域が存在しない場合、クリックされた位置を基準に新たな矩形の部分領域を算出し、且つ、その部分領域に対して左クリックならばクラス1、右クリックならばクラス2の入力をそれぞれ受け付ける。クリックされた位置を基準に新たな部分領域を算出する方法は、図15を参照して説明したダブルクリックされた位置を基準にオブジェクトの部分領域を算出する方法と同様の方法を使用することができる。
図19は受付部104の動作の詳細を示すフローチャートである。図19において、ステップS211~S224、S226~S232は、図11のステップS211~S224、S226~S232とほぼ同じである。図19が図11と相違するところは、ステップS216においてクリックされた位置を包含する既存の部分領域が存在しないと判定された場合に、ステップS226へ進む点である。尚、図11のステップS226は、ドラッグアンドドロップの方向(種別)を判定するが、図19のステップS226は、クリックの種別を判定する。以下、図19を参照して、図11との相違点を中心に受付部104の動作を詳細に説明する。
受付部104は、画像ウインドウ124の画像に対する左クリックまたは右クリックを検出する(ステップS214でYES)。この際、受付部104は、クリック位置を包含する部分領域が画像に存在しないと判定すると(ステップS216でNO)、クラスの入力を判断するためにクリックの種別が左クリック、右クリックの何れであるかを判定する(ステップS226)。
受付部104は、左クリックであれば、新たな矩形の部分領域を算出し、クラス1の入力を受け付ける(ステップS227)。次に受付部104は、算出した部分領域とクラス1のペアを1つの検出結果として検出結果DB103に記録する(ステップS228)。次に受付部104は、受付画面126の画像ウインドウ124を更新する(ステップS229)。そして受付部104は、ステップS213の処理へ戻る。
また受付部104は、右クリックであれば(ステップS226)、新たな矩形の部分領域を算出し、クラス2の入力を受け付ける(ステップS230)。次に受付部104は、算出した部分領域とクラス2のペアを1つの検出結果として検出結果DB103に記録する(ステップS231)。次に受付部104は、受付画面126の画像ウインドウ124を更新する(ステップS232)。そして受付部104は、ステップS213の処理へ戻る。
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部104が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス120に表示し、入力デバイス130の1操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。また、受付部104が、既存の部分領域と重複しない位置での左クリックまたは右クリックという1操作を検出して、新たな部分領域の算出とクラス1あるいはクラス2の入力とを受け付けるためである。
[第3の実施形態の変形例]
上記第3の実施形態では、左クリックと右クリックという2種類のジェスチャを使用したが、他の種類のマウスジェスチャの組み合わせ、タッチジェスチャの組み合わせを使用することができる。
[第4の実施形態]
本発明の第4の実施形態では、誤認識された部分領域に対する正しいクラスの入力およびオブジェクトの正しい部分領域の選択を、入力画像に対する入力デバイスの操作によって行えるようにしたオブジェクト検出装置について説明する。本実施形態は、第2の実施形態と比較して、受付部104の機能が相違し、その他は第2の実施形態と基本的に同じである。以下では、第1の実施形態のブロック図である図1を借用して、第4の実施形態に好適な受付部104の機能について詳細に説明する。
受付部104は、画像の検出結果DB103を視覚化して表示デバイス120に表示し、オペレータから修正の入力を受け付ける機能を有する。
図20は、受付部104が表示デバイス120に表示する受付画面127の一例を示す。この例の受付画面127は、図4に示した受付画面121と比較して、画像ウインドウ124に表示されている画像111中の4輪自動車の部分領域の外周を示す矩形の枠の位置のみ相違する。矩形の枠の位置が相違する原因は、検出部101が画像111から辞書102を用いてオブジェクトを検出した際、道路上の水溜り等をオブジェクトの部分領域の一部であると誤検出したことによる。この例では、部分領域は誤検出しているが、クラスは正しく判定している。しかし、部分領域およびクラスの双方を誤検出するケースもある。このような誤検出を改善するためには、画像111中の誤検出した部分領域とそのクラス0との入出力ペアである教師データ、画像111中の4輪自動車の正しい部分領域とそのクラス2との入出力ペアである教師データをそれぞれ作成し、辞書102を学習する必要がある。
受付部104は、表示デバイス120に表示された画像111に対する入力デバイス130の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。ここで、本実施形態では、部分領域の選択とは、既存の部分領域の選択と新規な部分領域の選択との双方を意味する。受付部104は、入力デバイス130の操作が行われた画像111の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。また本実施形態では、既存の部分領域と一部重複する新規な部分領域の選択操作が行われた場合、既存の部分領域に対してクラス0の入力を受け付けると共に、新規な部分領域に対して操作の種別に応じたクラスの入力を受け付ける。本実施形態では、入力デバイス130はマウスであり、1操作の種別は左クリック、右クリック、右下方向のドラッグアンドドロップ、左下方向のドラッグアンドドロップである。
受付部104は、左クリックまたは右クリックされた画像111の位置を領域内に有する部分領域の選択を受け付ける。また受付部104は、その選択した部分領域に対して、左クリックのときはクラス0の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス1のときはクラス2、現在のクラスがクラス2のときはクラス0、現在のクラスがクラス0のときはクラス1をそれぞれ意味する。受付部104は、上記選択した部分領域に対して上記受け付けたクラスを検出結果DB103の修正クラスの欄に記録する。以上は、第1の実施形態において左クリックまたは右クリックされたときと同じである。
また受付部104は、右下方向のドラッグアンドドロップを検出すると、図10Aの破線に示すように、始点aを左上頂点、終点bを右下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス1の入力を受け付ける。また受付部104は、左下方向のドラッグアンドドロップを検出すると、図10Bの破線に示すように、始点aを右上頂点、終点bを左下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス2の入力を受け付ける。また受付部104は、新規に算出した部分領域とそのクラスの情報を1つの検出結果として検出結果DB103に記録する。以上は、第2の実施形態において右下方向および左下方向のドラッグアンドドロップが行われたときと同じである。
さらに受付部104は、新たに算出した部分領域に一部重複する既存の部分領域に対してクラス0の入力を受け付ける機能を有する。例えば、図21に示すように、受付部104は、クラス2の部分領域を強調する枠125が表示されている画像111に対して、左下方向(または右下方向)のドラッグアンドドロップが行われたことにより、枠125に一部重複する部分領域125aを算出すると、枠125に係る既存の部分領域に対してクラス0の入力を受け付ける。
図22は受付部104の動作の詳細を示すフローチャートである。図22において、ステップS311~S327、S330は、図11のステップS211~S327、S230と同じである。以下、図22を参照して、図11との相違点を中心に受付部104の動作を詳細に説明する。
受付部104は、新たに算出した部分領域に対してクラス1の入力を受け付けると(ステップS327)、この新たな部分領域に一部重複する既存の部分領域が画像111上に存在するか否かを判定する(ステップS341)。この判定は、画像111に係る検出結果DB103中に上記新たな部分領域に一部重複する既存の部分領域の検出結果が存在するか否かを調査することにより行われる。受付部104は、そのような既存の部分領域が存在すれば、当該部分領域に対してクラス0の入力を受け付け(ステップS342)、ステップS343へと進む。そのような既存の部分領域が存在しなければ、受付部104はステップS342の処理をスキップし、ステップS343へと進む。受付部104は、ステップS343では、ステップS327およびステップS342の受付結果に従って、検出結果DB103を更新する。すなわち受付部104は、ステップS327の受付結果に基づいて、新たに算出した部分領域とクラス1のペアを1つの検出結果として検出結果DB103に記録する。また受付部104は、ステップS342の受付結果に基づいて、既存の部分領域の修正クラスにクラス0を記録する。次に受付部104は、ステップS343の検出結果DB103の更新に従って、画像ウインドウ124上の画像111を更新する(ステップS344)。そして受付部104は、ステップS313の処理へ戻る。
また受付部104は、新たに算出した部分領域に対してクラス2の入力を受け付けると(ステップS330)、この新たな部分領域に一部重複する既存の部分領域が画像111上に存在するか否かを判定する(ステップS345)。受付部104は、そのような既存の部分領域が存在すれば、当該部分領域に対してクラス0の入力を受け付け(ステップS346)、ステップS347へと進む。そのような既存の部分領域が存在しなければ、受付部104はステップS346の処理をスキップし、ステップS347へと進む。受付部104は、ステップS347では、ステップS330およびステップS346の受付結果に従って、検出結果DB103を更新する。すなわち受付部104は、ステップS330の受付結果に基づいて、新たに算出した部分領域とクラス2のペアを1つの検出結果として検出結果DB103に記録する。また受付部104は、ステップS346の受付結果に基づいて、既存の部分領域の修正クラスにクラス0を記録する。次に受付部104は、ステップS347の検出結果DB103の更新に従って、画像ウインドウ124上の画像111を更新する(ステップS348)。そして受付部104は、ステップS313の処理へ戻る。
図23Aおよび図23Bは、受付部104によるステップS347の説明図である。図23Aは、検出部101が生成した検出結果DB103を示し、図23Bは、受付部104による更新後の検出結果DB103を示す。図23Aおよび図23Bでは、左上頂点が(x7、y7)、右下頂点が(x8、y8)となる矩形の部分領域がクラス2として新たに追加されている。また左上頂点が(x1、y1)、右下頂点が(x2、y2)となる矩形の既存の部分領域のクラスがクラス2からクラス0に修正されている。受付部104によるステップS343の場合、新たに追加された部分領域の修正クラスがクラス1になる点が異なる。
図24Aおよび図24Bは、受付部104によるステップS348の説明図である。図24Aは、更新前の画像ウインドウ124、図24Bは、更新後の画像ウインドウ124を示す。更新後の画像ウインドウ124には、新たに追加した部分領域を強調する実線による矩形の枠125が描画され、それと一部重複する更新前の画像ウインドウ124に表示されていた枠は非表示とされている。受付部104によるステップS344の場合、更新後の画像ウインドウ124には、新たに追加した部分領域を強調する矩形の枠が破線により描画される点が異なる。
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部104が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス120に表示し、入力デバイス130の1操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。また、受付部104が、画像上の右下方向あるいは左下方向のドラッグアンドドロップという1操作を検出して、新たな部分領域の算出とクラス1あるいはクラス2の入力とを受け付けるためである。さらに、受付部104が、新たに算出した部分領域と一部重複する既存の部分領域に対してクラス0の入力を受け付けるためである。
[第4の実施形態の変形例]
上記第4の実施形態の構成に対しては、上記第2の実施形態の変形例で説明した例と同様の変形を行うことができる。
[第5の実施形態]
本発明の第5の実施形態について説明する。図25を参照すると、本実施形態に係るオブジェクト検出装置1は、入力画像2からオブジェクトを検出する機能を有する。オブジェクト検出装置1は、辞書10を有し、また主な機能部として、検出部11、受付部12、生成部13、および学習部14を有する。さらにオブジェクト検出装置1は、表示デバイス3および入力デバイス4に接続されている。
検出部11は、辞書10を用いて入力画像2からオブジェクトを検出する機能を有する。受付部12は、検出部11によって検出されたオブジェクトの部分領域を強調する表示を付して入力画像2を表示デバイス3に表示し、入力デバイス4の1操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。生成部13は、上記選択された部分領域の画像と上記入力されたクラスとから教師データを生成する機能を有する。学習部14は、生成部13によって生成された教師データにより辞書10を学習し、辞書10をグレードアップする機能を有する。
次に本実施形態に係るオブジェクト検出装置1の動作を説明する。オブジェクト検出装置1の検出部11は、辞書10を用いて入力画像2からオブジェクトを検出し、検出結果を受付部12に通知する。受付部12は、検出部11によって検出されたオブジェクトの部分領域を強調する表示を付して入力画像2を表示デバイス3に表示する。そして受付部12は、入力デバイス4の1操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付け、その結果を生成部13に通知する。生成部13は、選択された部分領域の画像と入力されたクラスとから教師データを生成し、学習部14に通知する。学習部14は、生成部13によって生成された教師データにより辞書10を学習し、辞書10をグレードアップする。
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部12が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像2を表示デバイス3に表示するからである。更に受付部12は、入力デバイス4の1操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。
本実施形態は、上記のような構成を基本としつつ、以下のような各種の付加変更が可能である。
受付部12は、1操作が行われた入力画像2の位置により部分領域の選択を受け付けるように構成されていてよい。
また受付部12は、1操作が行われた入力画像2の位置を領域内に有する部分領域の選択を受け付け、1操作が行われた入力画像2の位置を領域内に有する部分領域が存在しなければ、1操作が行われた入力画像2の位置に基づいてオブジェクトの部分領域を算出するように構成されていてよい。
また受付部12は、1操作の種別によりクラスの入力を受け付けるように構成されていてよい。
また受付部12は、1操作の種別が第1の種別であれば予め第1のクラスの入力を受け付け、第2の種別であれば部分領域の現在のクラスをインクリメントまたはデクリメントしたクラスの入力を受け付けるように構成されていてよい。
また受付部12は、1操作が行われた入力画像2の位置を領域内に有する部分領域が存在するか否かによって異なるクラスの入力を受け付けるように構成されていてよい。
また受付部12は、1操作が行われた入力画像2の位置を領域内に有する部分領域が存在する場合、第1のクラスの入力を受け付け、存在しない場合、第2のクラスの入力を受け付けるように構成されていてよい。
また受付部12は、1操作が行われた入力画像2の位置を領域内に有する部分領域が存在する場合、存在する部分領域に対して第1のクラスの入力を受け付けると共に、1操作が行われた入力画像の位置に基づいてオブジェクトの部分領域を算出し、この算出した部分領域に対して第2のクラスの入力を受け付けるように構成されていてよい。
また受付部12は、上記第2のクラスを1操作の種別により決定するように構成されていてよい。
また入力デバイス4の1操作が1マウスジェスチャであるように構成されていてよい。あるいは、入力デバイス4の1操作が1タッチジェスチャであるように構成されていてよい。
また受付部12は、検出されたオブジェクトの部分領域が、過去にクラスの入力を行った部分領域と同じ位置および同じ入力前クラスを有する場合、検出されたオブジェクトの部分領域を強調する表示を非表示にするように構成されていてよい。
[第6の実施形態]
本発明の第6の実施形態に係るオブジェクト検出装置300について図27を参照して説明する。オブジェクト検出装置300は、検出部301、受付部302、生成部303および学習部304を備える。
検出部301は、辞書を用いて入力画像からオブジェクトを検出する。
受付部302、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの1操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける。
生成部303は、選択された部分領域の画像と入力されたクラスとから教師データを生成する。
学習部304は、教師データにより辞書を学習する。
本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部302が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの1操作により、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は2015年3月19日に出願された日本出願特願2015-055926を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、監視カメラで撮像されて得られた道路上の映像から辞書により人や車両などのオブジェクトを検出するオブジェクト検出装置などに利用できる。
1…オブジェクト検出装置
2…入力画像
3…表示デバイス
4…入力デバイス
10…辞書
11…検出部
12…受付部
13…生成部
14…学習部
100…オブジェクト検出装置
101…検出部
102…辞書
103…検出結果DB
104…受付部
105…生成部
106…教師データメモリ
107…学習部
111…画像
112、113、114、115…探索窓
120…表示デバイス
121…受付画面
122…グラフ
123…スライダ
123a…スライドバー
124…画像ウインドウ
125…矩形の枠
125a…部分領域
126、127…受付画面
130…入力デバイス
131…オブジェクト
132…外接矩形

Claims (9)

  1. 入力画像からオブジェクトを検出する検出手段と、
    検出された前記オブジェクトに対応する第1領域を強調表示させ、
    前記第1領域と異なる位置が選択された場合、選択された当該位置を第2領域として受け付け、
    前記第1領域と前記第2領域とを表示させるように制御する受付手段と、
    を備えるオブジェクト検出装置。
  2. 前記受付手段は、入力デバイスの操作が行われた前記入力画像の位置を領域内に有する前記第1領域が存在しない場合、前記第1領域と異なる位置が選択されたと判断する、
    請求項1に記載のオブジェクト検出装置。
  3. 教師データを生成する生成手段をさらに備え、
    前記受付手段は、前記第2領域に対するクラスの入力を受け付け、
    前記生成手段は、前記第2領域の画像と前記クラスとから前記教師データを生成する、
    請求項1または2に記載のオブジェクト検出装置。
  4. 入力画像からオブジェクトを検出し、
    検出された前記オブジェクトに対応する第1領域を強調表示させ、
    前記第1領域と異なる位置が選択された場合、選択された当該位置を第2領域として受け付け、
    前記第1領域と前記第2領域とを表示させるように制御する、
    オブジェクト検出方法。
  5. 前記受け付けるステップにおいて、入力デバイスの操作が行われた前記入力画像の位置を領域内に有する前記第1領域が存在しない場合、前記第1領域と異なる位置が選択されたと判断する、
    請求項4に記載のオブジェクト検出方法。
  6. 前記第2領域に対するクラスの入力を受け付け、
    前記第2領域の画像と前記クラスとから教師データを生成する
    請求項4または5に記載のオブジェクト検出方法。
  7. 入力画像からオブジェクトを検出する処理と、
    検出された前記オブジェクトに対応する第1領域を強調表示させ、前記第1領域と異なる位置が選択された場合、選択された当該位置を第2領域として受け付け、前記第1領域と前記第2領域とを表示させるように制御する処理と、をコンピュータに実行させる
    プログラム。
  8. 前記制御する処理において、入力デバイスの操作が行われた前記入力画像の位置を領域内に有する前記第1領域が存在しない場合、前記第1領域と異なる位置が選択されたと判断する、
    請求項7に記載のプログラム。
  9. 前記制御する処理において、前記第2領域に対するクラスの入力を受け付け、
    前記第2領域の画像と前記クラスとから教師データを生成する処理をさらにコンピュータに実行させる
    請求項7または8に記載のプログラム。
JP2023076649A 2015-03-19 2023-05-08 オブジェクト検出装置、オブジェクト検出方法およびプログラム Active JP7491435B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024077277A JP2024097936A (ja) 2015-03-19 2024-05-10 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015055926 2015-03-19
JP2015055926 2015-03-19
JP2021102951A JP7279738B2 (ja) 2015-03-19 2021-06-22 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021102951A Division JP7279738B2 (ja) 2015-03-19 2021-06-22 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024077277A Division JP2024097936A (ja) 2015-03-19 2024-05-10 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2023100850A true JP2023100850A (ja) 2023-07-19
JP7491435B2 JP7491435B2 (ja) 2024-05-28

Family

ID=56918654

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2017506093A Active JP6904249B2 (ja) 2015-03-19 2016-03-15 オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP2021102951A Active JP7279738B2 (ja) 2015-03-19 2021-06-22 オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP2023076649A Active JP7491435B2 (ja) 2015-03-19 2023-05-08 オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP2024077277A Pending JP2024097936A (ja) 2015-03-19 2024-05-10 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017506093A Active JP6904249B2 (ja) 2015-03-19 2016-03-15 オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP2021102951A Active JP7279738B2 (ja) 2015-03-19 2021-06-22 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024077277A Pending JP2024097936A (ja) 2015-03-19 2024-05-10 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Country Status (3)

Country Link
US (5) US10339422B2 (ja)
JP (4) JP6904249B2 (ja)
WO (1) WO2016147652A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
WO2016147653A1 (ja) * 2015-03-19 2016-09-22 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法および記録媒体
JP6904249B2 (ja) * 2015-03-19 2021-07-14 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法およびプログラム
US10699119B2 (en) * 2016-12-02 2020-06-30 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
JP6731370B2 (ja) 2017-03-27 2020-07-29 株式会社日立ハイテク 画像処理システム及び画像処理を行うためのコンピュータープログラム
US10748033B2 (en) 2018-12-11 2020-08-18 Industrial Technology Research Institute Object detection method using CNN model and object detection apparatus using the same
JP7233251B2 (ja) * 2019-02-28 2023-03-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP6896260B1 (ja) * 2020-04-08 2021-06-30 Arithmer株式会社 レイアウト解析装置、その解析プログラムおよびその解析方法
JP2020144942A (ja) * 2020-05-29 2020-09-10 株式会社日立ハイテク 画像処理システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP2002032751A (ja) * 2000-07-18 2002-01-31 Olympus Optical Co Ltd 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
JP3834041B2 (ja) * 2004-03-31 2006-10-18 オリンパス株式会社 学習型分類装置及び学習型分類方法
JP2006012069A (ja) * 2004-06-29 2006-01-12 Olympus Corp 分類装置及び分類方法
JP2006012089A (ja) 2004-06-29 2006-01-12 Chugoku Electric Power Co Inc:The 業務従事者教育管理システム
JP4266920B2 (ja) * 2004-12-03 2009-05-27 オリンパス株式会社 分類装置及び分類方法
JP4050273B2 (ja) * 2004-12-28 2008-02-20 オリンパス株式会社 分類装置及び分類方法
JP4516491B2 (ja) 2005-03-14 2010-08-04 富士フイルム株式会社 感光性組成物及び感光性フィルム、並びに、永久パターン及びその形成方法
DE102006047777A1 (de) * 2006-03-17 2007-09-20 Daimlerchrysler Ag Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten
JP4797761B2 (ja) 2006-04-12 2011-10-19 オムロン株式会社 動画表示装置
JP5581574B2 (ja) 2008-07-09 2014-09-03 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5202148B2 (ja) * 2008-07-15 2013-06-05 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2010039795A (ja) * 2008-08-06 2010-02-18 Casio Comput Co Ltd 認識用データ生成装置及び電子カメラ、認識用データ生成プログラム、並びに認識用データ生成方法
JP2009032273A (ja) * 2008-08-29 2009-02-12 Olympus Corp 分類装置
US8612370B2 (en) * 2009-02-03 2013-12-17 Nec Corporation Pattern recognition device, pattern recognition method, and pattern recognition program
JP5366756B2 (ja) * 2009-10-19 2013-12-11 キヤノン株式会社 情報処理装置及び情報処理方法
US8447119B2 (en) * 2010-03-16 2013-05-21 Nec Laboratories America, Inc. Method and system for image classification
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
JP2014041436A (ja) * 2012-08-21 2014-03-06 Canon Inc 情報提示方法及び情報提示装置
JP2014059729A (ja) 2012-09-18 2014-04-03 Toshiba Corp 物体検出・識別装置及びその方法とその物体検出・識別に用いられる辞書データ生成方法
US9158996B2 (en) * 2013-09-12 2015-10-13 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
JP6904249B2 (ja) * 2015-03-19 2021-07-14 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Also Published As

Publication number Publication date
US10755143B2 (en) 2020-08-25
JP7491435B2 (ja) 2024-05-28
US10339422B2 (en) 2019-07-02
JP7279738B2 (ja) 2023-05-23
US20180107900A1 (en) 2018-04-19
US11373061B2 (en) 2022-06-28
JPWO2016147652A1 (ja) 2018-02-01
US20240160342A1 (en) 2024-05-16
US11914851B2 (en) 2024-02-27
US20220284239A1 (en) 2022-09-08
JP6904249B2 (ja) 2021-07-14
WO2016147652A1 (ja) 2016-09-22
JP2021168155A (ja) 2021-10-21
US20190272448A1 (en) 2019-09-05
JP2024097936A (ja) 2024-07-19
US20200356814A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
JP7279738B2 (ja) オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP7248177B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US10001897B2 (en) User interface tools for exploring data visualizations
US8542199B2 (en) Image processing apparatus, image processing method, and program
CN107666987A (zh) 机器人过程自动化
JP2013545380A (ja) 入力設定の自動調整
US6738081B2 (en) Display for a graphical user interface
CN105808080B (zh) 一种利用手势快速复制对象的方法和装置
US20230196725A1 (en) Image annotation system and method
JP2018077694A (ja) 画面表示制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240429

R150 Certificate of patent or registration of utility model

Ref document number: 7491435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150