Nothing Special   »   [go: up one dir, main page]

JP2023100850A - オブジェクト検出装置、オブジェクト検出方法およびプログラム - Google Patents

オブジェクト検出装置、オブジェクト検出方法およびプログラム Download PDF

Info

Publication number
JP2023100850A
JP2023100850A JP2023076649A JP2023076649A JP2023100850A JP 2023100850 A JP2023100850 A JP 2023100850A JP 2023076649 A JP2023076649 A JP 2023076649A JP 2023076649 A JP2023076649 A JP 2023076649A JP 2023100850 A JP2023100850 A JP 2023100850A
Authority
JP
Japan
Prior art keywords
class
input
partial area
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023076649A
Other languages
English (en)
Other versions
JP7491435B2 (ja
Inventor
祐介 ▲高▼橋
Yusuke Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2023100850A publication Critical patent/JP2023100850A/ja
Priority to JP2024077277A priority Critical patent/JP2024097936A/ja
Application granted granted Critical
Publication of JP7491435B2 publication Critical patent/JP7491435B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 良質な教師データを効率良く作成するオブジェクト検出装置等を提供する。【解決手段】 オブジェクト検出装置３００は、辞書を用いて入力画像からオブジェクトを検出する検出部３０１と、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの１操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける受付部３０２と、選択された部分領域の画像と入力されたクラスとから教師データを生成する生成部３０３と、教師データにより辞書を学習する学習部３０４とを備える。【選択図】図１

Description

本発明は、画像から辞書を用いてオブジェクトを検出するオブジェクト検出装置等に関する。
撮像装置で撮像して得た撮像画像を解析し、オブジェクトを検出する装置が、提案等されている。特許文献１は、プリント配線基板などの基板の製造工程において、基板を撮像して得た画像を解析し、基板上の傷などのオブジェクトを検出する技術を開示する。特許文献２は、監視カメラで撮像して得た道路上のモニタ映像を解析して車両などのオブジェクトを検出する技術を開示する。
特許文献１および２に開示された技術では、上記のような検出を行うために、オブジェクト検出装置を学習させる。そして、その学習のためには、教師データ（訓練データとも呼ばれる）が必要になる。教師データは、入力と出力のペアの事例である。教師データには、正事例と負事例の２種類がある。オブジェクト検出装置を正しく学習させるには、正事例と負事例の双方が必要である。しかし、適切な教師データを作成するには多くの時間と労力を必要とする。
特許文献１は、基板上の傷などのオブジェクトの検出に必要な教師データを作成する技術について開示する。この技術では、プリント配線基板の画像から良品とは異なる輝度値を有する領域を抽出してディスプレイに表示し、領域の選択とそのクラス（カテゴリとも呼ばれる）の入力をキーボードおよびマウスを使用して利用者から受け付ける。具体的には、利用者は、複数存在する領域の中から特定の１つの領域をマウスのクリックで選択し、次に、この選択時に表示されるプルダウンメニューから所望のクラスをマウスのクリックで選択する。
特許文献２は、道路を走行する車両などのオブジェクトの検出に必要な教師データを作成する技術について開示する。この技術では、辞書を用いて任意の撮像画像からオブジェクトの領域を切り出し、その領域から所定の特徴量を抽出し、この抽出した特徴量に基づいて上記辞書を学習する。これらの一連の動作は自動的に行われる。
特開２００３－３１７０８２号公報 特開２０１４－５９７２９号公報
しかしながら、特許文献１が開示する技術において、利用者は、教師データの作成に使用する領域の選択と、この選択した領域に対するクラスの入力とを入力デバイスの別々の操作で行う必要があるため、作業性が悪い。
他方、特許文献２が開示する技術では、オブジェクト領域の切り出し、その領域からの特徴量の抽出、その抽出した特徴量による辞書の学習が自動的に行われるため、教師データを効率良く作成することができる。しかし、辞書を用いて切り出されたオブジェクトの領域およびクラスが常に正しいとは限らないため、教師データの質が悪化する。
本発明の目的は、上述した問題を解決することである。すなわち、良質な教師データを効率良く作成するオブジェクト検出装置等を提供することである。
上述した問題を解決するため、本発明の第１の特徴は、
辞書を用いて入力画像からオブジェクトを検出する検出部と、
検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの１操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける受付部と、
選択された部分領域の画像と入力されたクラスとから教師データを生成する生成部と、
教師データにより辞書を学習する学習部と、
を有するオブジェクト検出装置である。
本発明の第２の特徴は、
辞書を用いて入力画像からオブジェクトを検出し、
検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、
入力デバイスの１操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付け、
選択された部分領域の画像と入力されたクラスとから教師データを生成し、
教師データにより辞書を学習するオブジェクト検出方法である。
本発明の第３の特徴は、
コンピュータを、
辞書を用いて入力画像からオブジェクトを検出する検出部と、
検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの１操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける受付部と、
選択された部分領域の画像と入力されたクラスとから教師データを生成する生成部と、
教師データにより辞書を学習する学習部と、
して機能させるプログラムを格納する記録媒体である。
本発明は、上述した構成を有するため、良質な教師データを効率良く作成することができる。
本発明の第１の実施形態に係るオブジェクト検出装置のブロック図である。 本発明の第１の実施形態において画像からオブジェクトを検出する概念の説明図である。 本発明の第１の実施形態におけるオブジェクトの検出結果の一例を示す図である。 本発明の第１の実施形態における受付画面の一例を示す図である。 本発明の第１の実施形態に係るオブジェクト検出装置の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。 本発明の第１の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。 本発明の第１の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。 本発明の第２の実施形態における受付画面の一例を示す図である。 本発明の第２の実施形態で使用する右下方向のドラッグアンドドロップの意味と部分領域の算出例とを示す図である。 本発明の第２の実施形態で使用する左下方向のドラッグアンドドロップの意味と部分領域の算出例とを示す図である。 本発明の第２の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。 本発明の第２の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新前の例を示す図である。 本発明の第２の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新後の例を示す図である。 本発明の第２の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新前の例を示す図である。 本発明の第２の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新後の例を示す図である。 本発明の第２の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。 本発明の第２の実施形態の変形例において画像上で行われた右ダブルクリックの位置からクラス２の部分領域を算出する方法の説明図である。 本発明の第２の実施形態の変形例において使用する右下方向のスワイプの意味と部分領域の算出例とを示す図である。 本発明の第２の実施形態の変形例において使用する左下方向のスワイプの意味と部分領域の算出例とを示す図である。 本発明の第２の実施形態の変形例において使用する下方向のスワイプの意味と部分領域の算出例とを示す図である。 本発明の第２の実施形態の変形例において使用する上方向のスワイプの意味と部分領域の算出例とを示す図である。 本発明の第２の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。 本発明の第３の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。 本発明の第４の実施形態で使用する受付画面の一例を示す図である。 本発明の第４の実施形態に係るオブジェクト検出装置の受付部が、新たに算出した部分領域に一部重複する既存の部分領域に対してクラス０の入力を受け付ける例を示す図である。 本発明の第４の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。 本発明の第４の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新前の例を示す図である。 本発明の第４の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新後の例を示す図である。 本発明の第４の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新前の例を示す図である。 本発明の第４の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新後の例を示す図である。 本発明の第５の実施形態に係るオブジェクト検出装置のブロック図である。 本発明の第１の実施形態に係るオブジェクト検出装置のハードウェア構成の一例を示す図である。 本発明の第６の実施形態に係るオブジェクト検出装置のブロック図である。
次に本発明の実施の形態について図面を参照して詳細に説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は本発明の実施形態における構成を模式的に表している。更に以下に記載される本発明の実施形態は一例であり、その本質を同一とする範囲において適宜変更可能である。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態に係るオブジェクト検出装置１００は、監視カメラ１１０で撮像されて得られた道路上のモニタ映像を解析し、オブジェクトを検出する機能を有する。本実施形態では、検出すべきオブジェクトは２輪自動車と４輪自動車の２種類である。即ち、オブジェクト検出装置１００は、多クラス分類器の一種であり、画像から特定の２種類のオブジェクトを検出する。
オブジェクト検出装置１００は、主な機能部として、検出部１０１、辞書１０２、検出結果ＤＢ（検出結果データベース）１０３、受付部１０４、生成部１０５、教師データメモリ１０６、および学習部１０７を有する。また、オブジェクト検出装置１００には、表示デバイス１２０と入力デバイス１３０とが接続されている。オブジェクト検出装置１００は、例えば図２６に示すように、情報処理装置２３０とプログラム２４０を記録する記憶媒体とによって構成されても良い。情報処理装置２３０は、１以上のマイクロプロセッサ等の演算処理部２１０と、半導体メモリやハードディスク等の記憶部２２０とを有する。記憶部２２０は、辞書１０２、検出結果ＤＢ１０３および教師データメモリ１０６等を格納する。プログラム２４０は、オブジェクト検出装置１００の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部２１０の動作を制御することにより、演算処理部２１０上に、検出部１０１、受付部１０４、生成部１０５、および学習部１０７といった機能的手段を実現する。
表示デバイス１２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置からなり、オブジェクト検出装置１００からの指示に応じて、検出結果などの各種情報を画面表示する機能を有している。
入力デバイス１３０は、キーボードやマウスなどの操作入力装置である。入力デバイス１３０は、オペレータの操作を入力として検出し、オブジェクト検出装置１００に出力する。本実施形態では、入力デバイス１３０としてマウスを使用する。また、使用するマウスは、左クリックおよび右クリックの２種類のマウスジェスチャが行えるものとする。
検出部１０１は、監視カメラ１１０で撮像されて得られた画像を時系列順に１枚ずつ入力し、入力した各画像から辞書１０２を用いてオブジェクトを検出する。検出部１０１は、検出結果を検出結果ＤＢ１０３に保存する機能を有する。１枚の画像とは、監視カメラ１１０で撮像された１フレームの画像のことである。監視カメラ１１０から出力される一連のフレームには、識別のために、連続するフレーム番号が付与されている。
図２は、画像からオブジェクトを検出する概念の説明図である。検出部１０１は、画像１１１に対してオブジェクト検出用の探索窓１１２を設定し、探索窓１１２内の画像の特徴量を抽出する。更に検出部１０１は、抽出した特徴量と辞書１０２との類似性を示す尤度を算出し、算出した尤度に基づいて探索窓１１２内の画像がオブジェクトか否かを判定することでオブジェクトを検出する。検出部１０１は、オブジェクトを検出すると、オブジェクトを検出した部分領域の情報と後述するクラスとを有する検出結果を画像１１１の識別情報に関連付けて検出結果ＤＢ１０３に保存する。オブジェクトの部分領域の情報としては、オブジェクトであると判定した探索窓１１２の、画像１１１上での位置情報を使用する。ここで、位置情報としては、探索窓１１２が矩形の場合、例えば、その左上および右下の頂点の座標値を使用する。また、オブジェクトに関するクラスは、２輪自動車のクラスを表すクラス１、４輪自動車のクラスを表すクラス２、その何れでもないクラスを表すクラス０の合計３クラスである。さらに、画像１１１の識別情報は、例えば画像のフレーム番号である。
検出部１０１は、探索窓１１２の位置およびサイズを変更し、上述と同様の動作を繰り返すことにより、画像１１１に存在する、位置およびサイズの異なるオブジェクトを隈なく探索する。図２に示す例では、画像１１１から３つのオブジェクトが検出されている。検出部１０１は、符号１１３に示す位置およびサイズの探索窓によって１つ目のオブジェクトを検出し、符号１１４に示す位置およびサイズの探索窓によって２つ目のオブジェクトを検出し、符号１１５に示す位置およびサイズの探索窓によって３つ目のオブジェクトを検出する。図２では、画像の横方向をＸ軸、縦方向をＹ軸とした。１枚の画像１１１に対する検出処理を終えると、検出部１０１は、次の１枚の画像について同様の処理を繰り返す。
図３は、検出結果ＤＢ１０３の例である。この例の検出結果ＤＢ１０３は、フレーム番号に対応して、検出結果を記録する。検出結果は、オブジェクトの部分領域の情報とクラスとから構成される。例えば、検出結果ＤＢ１０３は、フレーム番号００１に対応して、３つのオブジェクトの部分領域の情報とクラスとのペアを記録する。その１つは、左上頂点の座標が（ｘ１、ｙ１）、右下頂点の座標が（ｘ２、ｙ２）となる部分領域とクラス２とのペア、他の１つは、左上頂点の座標が（ｘ３、ｙ３）、右下頂点の座標が（ｘ４、ｙ４）となる部分領域とクラス１とのペア、残りの１つは、左上頂点の座標が（ｘ５、ｙ５）、右下頂点の座標が（ｘ６、ｙ６）となる部分領域とクラス１とのペアである。
また図３に示す検出結果ＤＢ１０３は、検出結果毎に修正クラスを記録する欄を有する。修正クラスは、受付部１０４によって入力されたクラスに相当する。検出部１０１が検出結果を検出結果ＤＢ１０３に出力する時点では、修正クラスの欄は全てＮＵＬＬである（図３では‐で示される）。
受付部１０４は、検出結果ＤＢ１０３に保存された画像の検出結果を視覚化して表示デバイス１２０に表示し、オペレータから修正の入力を受け付ける。
図４は、受付部１０４が表示デバイス１２０に表示する受付画面１２１の一例を示す。この例において、受付画面１２１は、画面の下部にグラフ１２２を表示し、その上部にスライダ１２３を表示し、さらに上部に画像ウインドウ１２４を表示する。
グラフ１２２は、画像１１１を含む複数の画像と、各画面においてオブジェクトが検出された部分領域の数との関係を示すグラフである。受付画面１２１の横方向をＸ軸、縦方向をＹ軸とするとき、グラフ１２２のＸ軸は画像のフレーム番号、Ｙ軸はオブジェクトが検出された部分領域の数、即ち、オブジェクト検出数をそれぞれ示す。即ち、受付部１０４は、検出結果ＤＢ１０３に保存された検出結果に対応する入力画像をフレーム番号の昇順または降順に並べた列をグラフ１２２のＸ軸とする。但し、Ｘ軸は入力画像をフレーム番号の昇順または降順に並べた列以外であってもよい。例えば、Ｘ軸は、入力画像をオブジェクトの部分領域の数（即ちオブジェクト検出数）で並べた列としてもよい。この場合、受付部１０４は、検出結果ＤＢ１０３に保存された検出結果１０３の入力画像をオブジェクト検出数で昇順または降順にソートし、ソート後の入力画像の列をグラフ１２２のＸ軸とする。また、図４ではグラフ１２２は棒グラフであるが、グラフ１２２の種類は棒グラフに限定されず、折れ線グラフ等、他の種類であってもよい。
スライダ１２３は、グラフ１２２のＸ軸上の位置、即ち画像を選択するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）である。スライダ１２３はスライドバー１２３ａを備え、入力デバイス１３０でスライドバー１２３ａを左右に操作することで、グラフ１２２のＸ軸上の位置を選択する。
画像ウインドウ１２４は、複数の画像のうちスライダ１２３の操作によって選択された１枚の画像１１１をフレーム単位で表示する。画像ウインドウ１２４に表示される画像１１１には、検出されたオブジェクトの部分領域を強調する表示が付加されている。図４の例では、オブジェクトの部分領域の外周を示す矩形の枠１２５が表示されている。但し、オブジェクトの部分領域を強調する表示は矩形の枠１２５に限らず、部分領域全体の輝度を他の領域よりも高く或いは低くする表示形態や、部分領域全体に網掛けを表示する表示形態など、任意の表示形態を使用してよい。
また、検出されたオブジェクトの部分領域を強調する表示は、検出されたオブジェクトのクラスにより、異なる表示形態で表示される。図４では、クラス１のオブジェクトの部分領域は破線の枠１２５で表示され、クラス２のオブジェクトの部分領域は実線の枠１２５で表示されている。枠１２５の線種を異ならせる以外に、枠１２５の表示色を異ならせてもよい。また、クラスを示す数値を部分画像の近傍に表示してもよい。
一般にＧＵＩのスライダには、オペレータの操作の目安となる目盛とラベルとが表示される。図４に示す受付画面１２１は、目盛とラベルの代わりに、画像毎のオブジェクト検出数を示すグラフ１２２を表示する。このようなグラフ１２２を表示することにより、オペレータは、オブジェクト検出数を基準にして複数の画像から一の画像を選択することが容易に行える。
また受付部１０４は、表示デバイス１２０に表示された画像１１１に対する入力デバイス１３０の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。受付部１０４は、入力デバイス１３０の操作が行われた画像１１１の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。本実施形態では、入力デバイス１３０はマウスであり、操作の種別は左クリックと右クリックである。左クリックは、マウスの左ボタンをシングルクリックする操作を意味する。また右クリックは、マウスの右ボタンをシングルクリックする操作を意味する。受付部１０４は、左クリックまたは右クリックされた画像１１１の位置を領域内に有する部分領域の選択を受け付ける。また受付部１０４は、その選択した部分領域に対して、左クリックのときはクラス０の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス１のときはクラス２、現在のクラスがクラス２のときはクラス０、現在のクラスがクラス０のときはクラス１をそれぞれ意味する。受付部１０４は、上記選択した部分領域に対して上記受け付けたクラスを検出結果ＤＢ１０３の修正クラスの欄に記録する。
生成部１０５は、受付部１０４により選択された部分領域の画像と入力されたクラスとから教師データを生成し、教師データメモリ１０６に格納する。生成部１０５は、図３に示す検出結果ＤＢ１０３において、修正クラスの欄にクラス０、クラス１およびクラス２の何れかのクラスが記録されている部分領域毎に、教師データを生成する。教師データは、その部分領域の画像またはその部分領域の画像から抽出した特徴量と修正クラスの欄に記録されたクラスとを入出力ペアとする。
学習部１０７は、教師データメモリ１０６に格納された教師データを使用して辞書１０２を学習する。教師データを使用して辞書１０２を学習する手法は、広く知られているので、その説明は省略する。辞書１０２は、教師データによる学習によってグレードアップされる。検出部１０１は、このグレードアップした辞書１０２を使用して、再び監視カメラ１１０から入力した各画像からオブジェクトを検出する。
図５は本実施形態の動作を示すフローチャートである。以下、図５を参照して本実施形態の動作を説明する。
オブジェクト検出装置１００の検出部１０１は、監視カメラ１１０で撮像されて得られた画像を時系列順に１枚ずつ入力する（ステップＳ１０１）。次に検出部１０１は、図２を参照して説明したような手法により、入力した画像から辞書１０２を用いてオブジェクトを検出し、検出結果ＤＢ１０３に検出結果を保存する（ステップＳ１０２）。監視カメラ１１０で撮像されて得られた次の画像があれば（ステップＳ１０３）、検出部１０１はステップＳ１００へ戻って上述した処理と同様の処理を繰り返す。これにより、図３に示したような複数の画像の検出結果が検出結果ＤＢ１０３に蓄積される。監視カメラ１１０で撮像された一連の画像に対する検出部１０１の処理が終了すると、受付部１０４による処理が開始される。
受付部１０４は、図４に示したような受付画面１２１を表示デバイス１２０に表示し、入力デバイスの入力操作を受け付ける（ステップＳ１０４）。このステップＳ１０４の詳細は後述する。
受付部１０４による受付が終了すると、生成部１０５は、受付部１０４により選択された部分領域の画像と入力されたクラスとから教師データを生成する（ステップＳ１０５）。次に学習部１０７は、教師データメモリ１０６に格納された教師データを使用して辞書１０２を学習する（ステップＳ１０６）。
図６はステップＳ１０４で行われる受付部１０４の動作の詳細を示すフローチャートである。以下、図６を参照して受付部１０４の動作を詳細に説明する。
受付部１０４は、検出結果ＤＢ１０３から画像毎のオブジェクト検出数を算出する（ステップＳ１１１）。図３を参照すると、フレーム番号００１の画像から３つの部分領域が検出されているため、受付部１０４は、フレーム番号００１のオブジェクト検出数を３とする。同様にして他のフレーム番号の画像のオブジェクト検出数を算出する。
次に受付部１０４は、初期の受付画面１２１を表示デバイス１２０に表示する（ステップＳ１１２）。初期の受付画面１２１は、図４に示すように、グラフ１２２、スライダ１２３および画像ウインドウ１２４を表示する。グラフ１２２は、ステップＳ１１１で算出したフレーム番号毎のオブジェクト検出数を表示する。スライダ１２３は、スライドバー１２３ａを所定の位置に置いたものである。画像ウインドウ１２４は、スライドバー１２３ａが指し示すグラフ１２２のＸ軸上のオブジェクト番号の画像を表示する。また、画像ウインドウ１２４に表示される画像上で検出されたオブジェクトの部分領域は、その部分領域のクラスに応じた線種の枠１２５によって強調されている。
次に受付部１０４は、スライダ１２３のスライドバー１２３ａが操作されたか否か（ステップＳ１１３）、画像ウインドウ上の画像に対してクリックが行われたか否か（ステップＳ１１４）、受付終了条件が成立したか否か（ステップＳ１１５）、を判定する。受付終了条件としては、例えば、受付終了コマンドがオペレータから入力されたことや、一定時間以上にわたって入力操作が行われないことなど、であってよい。
受付部１０４は、画像ウインドウ１２４の画像に対する左クリックまたは右クリックを検出すると（ステップＳ１１４でＹＥＳ）、クリック位置を包含する部分領域が画像に存在するか否かを判定する（ステップＳ１１６）。この判定は、クリックされた位置の座標値が、画像ウインドウ１２４に表示されている画像の何れかの部分領域の内部であるか否かを調べることにより行われる。受付部１０４は、クリック位置を包含する部分領域が存在しない場合（ステップＳ１１６でＮＯ）、当該クリックを無視する。他方、受付部１０４は、クリック位置を包含する部分領域が存在する場合（ステップＳ１１６でＹＥＳ）、クリック位置を包含する部分領域が選択されたものと判断し、クラスの入力を判断するためにクリックの種別が左クリック、右クリックの何れであるかを判定する（ステップＳ１１７）。
受付部１０４は、左クリックならば、選択された部分領域に対するクラス０の入力を受け付ける（ステップＳ１１８）。次に受付部１０４は、検出結果ＤＢ１０３中の検出結果の上記選択された部分領域に対応する修正クラスを上記受け付けたクラス０に更新する（ステップＳ１１９）。次に受付部１０４は、画像ウインドウ１２４に表示している画像の上記選択された部分領域に表示していた枠１２５を非表示にする（ステップＳ１２０）。
また受付部１０４は、右クリックならば、選択された部分領域の現在のクラスをインクリメントしたクラスの入力を受け付ける（ステップＳ１２１）。選択された部分領域の現在のクラスは、検出結果ＤＢ１０３中の検出結果の上記選択された部分領域に対応する修正クラスがＮＵＬＬのときは検出結果のクラスであり、修正クラスがＮＵＬＬでないときは修正クラスに記載されたクラスである。次に受付部１０４は、検出結果ＤＢ１０３中の検出結果の上記選択された部分領域に対応する修正クラスを上記インクリメント後のクラスに更新する（ステップＳ１２２）。次に受付部１０４は、画像ウインドウ１２４に表示している画像の上記選択された部分領域に表示していた枠１２５の表示を更新する（ステップＳ１２３）。具体的には、受付部１０４は、インクリメント後のクラスがクラス２ならば、枠１２５を実線で表示する。また受付部１０４は、インクリメント後のクラスがクラス０ならば、枠１２５を非表示にする。また受付部１０４は、インクリメント後のクラスがクラス１ならば、枠１２５を破線で表示する。
他方、受付部１０４は、スライドバー１２３ａが操作されたことを検出すると（ステップＳ１１３）、受付画面１２１のスライドバー１２３ａおよび画像ウインドウ１２４の画像を更新する（ステップ１２４）。具体的には、受付部１０４は、スライドバー１２３ａの表示位置を入力操作に応じて移動させる。また受付部１０４は、移動後のスライドバー１２３ａが指し示すグラフ１２２のＸ軸上のオブジェクト番号の画像を画像ウインドウ１２４に表示する。
さらに受付部１０４は、画像ウインドウ１２４に表示した画像上の部分領域が、過去にクラスの入力を行った画像の部分領域と同じ位置および同じ入力前クラスを有するか判断する。同じ位置および同じ入力前クラスを有すると判断した場合、受付部１０４は、当該部分領域を強調する枠１２５を非表示にする。例えば、図３のフレーム番号００１、００２、００３におけるそれぞれ３つ目の部分画像の位置は何れも（ｘ５、ｙ５）、（ｘ６、ｙ６）を左上頂点、右下頂点とする同じ位置の矩形であり、その入力前クラスも同じクラス１である。従って、例えばフレーム番号００１の画像に対して上記３つ目の部分画像のクラスがクラス１からクラス０に修正された後、フレーム番号００２、００３の画像が画像ウインドウ１２４に表示される場合、フレーム番号００２、００３の画像の上記３つ目の部分画像には、枠１２５は表示されない。但し、それらの検出結果のクラスには、依然としてクラス１が記録されている。
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部１０４が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス１２０に表示し、入力デバイス１３０の１操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。
また本実施形態によれば、オブジェクト検出数を基準にして複数の画像から１枚の画像を容易に選択することできる。その理由は、受付部１０４が、入力画像とオブジェクトが検出された部分領域の数との関係を示すグラフ１２２を表示デバイス１２０に表示し、スライダ１２３の操作により受け付けたグラフ１２２上の位置に従って、表示デバイス１２０に検出結果を表示する入力画像を選択するためである。本実施形態では、オブジェクト検出数を基準に処理する画像を選択できる。このため、オペレータの技量の程度や好みに応じて、多くのオブジェクトが検出されている画像から優先的に処理したり、その反対に、オブジェクトの検出数の少ない画像から優先的に処理したりできる。あるいは、オペレータは、その中間程度のオブジェクト検出数の画像から優先的に処理したりすることが手軽に行える。一般に多くのオブジェクトが検出されている画像から優先的に処理した方がトータルの作業時間は短縮されるが、部分領域どうしの重複が多い画像の場合、慣れないオペレータではその確認が容易でない。
また一般的に視野を固定した監視カメラ１１０が、道路を走行する２輪自動車や４輪自動車を一定周期で撮像すると、動かない物体は連続する複数のフレーム画像の同じ位置に共通に出現する。このため、例えば道路にできた水溜りなどを誤って２輪自動車として検出する場合、連続する複数のフレーム画像の同じ位置に同じ誤認識結果が出現する。同じ誤認識結果はその何れか１つを修正して教師データを生成すれば十分であり、既に修正した誤認識結果と同じものが多数のフレーム画像にわたって強調表示されると却って煩わしい。本実施形態では、受付部１０４は、過去にクラスの入力を行った画像の部分領域と同じ位置および同じ入力前クラスを有する部分領域を強調する枠１２５を非表示にする。これにより当該煩わしさを解消できる。
[第１の実施形態の変形例]
次に、上記第１の実施形態の構成を変更した各種の変形例について説明する。
上記第１の実施形態では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付けた。しかし、クラス０の入力を受け付けるジェスチャ種別、クラスのインクリメントの入力を受け付けるジェスチャ種別は、図７の一覧に例示するように、様々な組み合わせが可能である。
例えば、図７に示す番号１－１では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、ダブルクリックによりクラスのインクリメントの入力を受け付ける。ダブルクリックとは、マウスの左ボタンを連続して２回シングルクリックする操作を意味する。
また図７に示す番号１－２では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、ドラッグアンドドロップによりクラスのインクリメントの入力を受け付ける。ドラッグアンドドロップとは、マウスの左ボタンを押した状態でマウスを移動（ドラッグ）させ、別の場所で左ボタンを離す（ドロップ）操作を意味する。ドラッグアンドドロップを使用する場合、図６のステップＳ１１４において画像ウインドウ上でドラッグアンドドロップが行われたか否かを判定し、ステップＳ１１６では、例えばドラッグの開始点とドロップ点とを包含する部分領域があるか否かを判定する。
上記番号１－１、１－２は上記第１の実施形態と同じく、マウスジェスチャを使用する。これに対して図７に示す番号１－３～１－６は、タッチジェスチャを使用する。タッチジェスチャとは、タッチパネルに対して行われる指先等の人体の一部を用いたタッチ操作を意味する。タッチジェスチャには、タップ（指等で軽く叩く操作）、ダブルタップ（指等で２回叩く操作）、フリック（指等ではじく或いは払う操作）、スワイプ（指等でなぞる操作）、ピンチイン（複数本の指等でつまむ或いは狭める操作）、ピンチアウト（複数本の指等で広げる操作）など多くの種類がある。タッチジェスチャを使用する場合、入力デバイス１３０としてタッチパネルを使用する。タッチパネルの使用は、例えば本発明がスマートフォンやタブレット端末等のモバイル機器に実装される場合にも有用である。
図７の番号１－３では、受付部１０４は、フリックによりクラス０の入力を受け付け、スワイプによりクラスのインクリメントの入力を受け付ける。また図７の番号１－４では、受付部１０４は、左方向のフリックによりクラス０の入力を受け付け、右方向のフリックによりクラスのインクリメントの入力を受け付ける。図７の番号１－５では、受付部１０４は、ピンチインによりクラス０の入力を受け付け、ピンチアウトによりクラスのインクリメントの入力を受け付ける。図７の番号１－６では、受付部１０４は、タップによりクラス０の入力を受け付け、ダブルタップによりクラスのインクリメントの入力を受け付ける。これらは例示であり、他の任意のジェスチャの組み合わせを使用してよい。
上記第１の実施形態および図７の番号１－１～１－６では、受付部１０４は、第１の種別のジェスチャによりクラス０の入力を受け付け、第２の種別のジェスチャによりクラスのインクリメントの入力を受け付けた。しかし、受付部１０４は、インクリメントでなくデクリメントの入力を受け付けるようにしてよい。即ち、上記第１の実施形態および図７の番号１－１～１－６において、受付部１０４は、第１の種別のジェスチャによりクラス０の入力を受け付け、第２の種別のジェスチャによりクラスのデクリメントの入力を受け付けるようにしてよい。
上記第１の実施形態では、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付けた。しかし、クラスと操作とを１対１に対応付け、クラス０、クラス１、クラス２の入力をそれぞれ特定の１操作により受け付けるようにしてもよい。各クラスの入力を受け付けるジェスチャ種別は、図８の一覧に例示するように、様々な組み合わせが可能である。
例えば、図８に示す番号１－１１では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラス１の入力を受け付け、ダブルクリックによりクラス２の入力を受け付ける。また図８に示す番号１－１２では、受付部１０４は、クラス０とクラス１の入力を番号１－１１と同様のマウスジェスチャにより受け付け、クラス２の入力はドラッグアンドドロップにより受け付ける。以上はマウスジェスチャを使用する例である。これに対して図８に示す番号１－１３～１－１５は、タッチジェスチャを使用する。例えば、図８に示す番号１－１３では、受付部１０４は、フリックによりクラス０の入力を受け付け、タップによりクラス１の入力を受け付け、ダブルタップによりクラス２の入力を受け付ける。また図８に示す番号１－１４では、受付部１０４は、左方向のフリックによりクラス０の入力を受け付け、上方向のフリックによりクラス１の入力を受け付け、下方向のフリックによりクラス２の入力を受け付ける。また図８に示す番号１－１５では、受付部１０４は、タップによりクラス０の入力を受け付け、ピンチインによりクラス１の入力を受け付け、ピンチアウトによりクラス２の入力を受け付ける。
上記第１の実施形態では、クラスの数は３つ（クラス０、クラス１、クラス２）であったが、クラス数が２つ（クラス０、クラス１）の２クラスのオブジェクト検出装置、およびクラス数が４つ以上の多クラスのオブジェクト検出装置への適用も可能である。
[第２の実施形態]
本発明の第２の実施形態は、入力画像から機械的に検出できなかったオブジェクトの部分領域の選択とその部分領域に対するクラスの入力とを、入力画像に対する入力デバイスの操作によって行えるようにしたオブジェクト検出装置について説明する。本実施形態は、第１の実施形態と比較して、受付部１０４の機能が相違し、その他は第１の実施形態と基本的に同じである。以下では、第１の実施形態のブロック図である図１を借用して、第２の実施形態に好適な受付部１０４の機能について詳細に説明する。
受付部１０４は、画像の検出結果ＤＢ１０３を視覚化して表示デバイス１２０に表示し、オペレータから修正の入力を受け付ける機能を有する。
図９は、受付部１０４が表示デバイス１２０に表示する受付画面１２６の一例を示す。
この例の受付画面１２６は、図４に示した受付画面１２１と比較して、画像ウインドウ１２４に表示されている画像１１１中の２輪自動車の箇所に部分領域の外周を示す矩形の枠が表示されていない点のみ相違する。矩形の枠が表示されない原因は、検出部１０１が画像１１１から辞書１０２を用いてオブジェクトを検出した際、その箇所の２輪自動車の検出に失敗したことによる。このような検出漏れを改善するためには、オブジェクト検出装置は、画像１１１中の２輪自動車の部分領域とそのクラスとの入出力ペアである教師データを作成し、辞書１０２を学習する必要がある。
受付部１０４は、表示デバイス１２０に表示された画像１１１に対する入力デバイス１３０の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。ここで、本実施形態では、部分領域の選択とは、既存の部分領域の選択と新規な部分領域の作成との双方を意味する。受付部１０４は、入力デバイス１３０の操作が行われた画像１１１の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。本実施形態では、入力デバイス１３０はマウスであり、操作の種別は左クリック、右クリック、右下方向のドラッグアンドドロップ、左下方向のドラッグアンドドロップである。
右下方向のドラッグアンドドロップとは、図１０Ａ内の矢印に示すように、マウスの左ボタンを押した状態でマウスを画像１１１上の或る場所（始点）ａから移動（ドラッグ）させ、始点ａの右下方向に存在する別の場所（終点）ｂで左ボタンを離す（ドロップ）操作を意味する。また、左下方向のドラッグアンドドロップとは、図１０Ｂ内の矢印に示すように、マウスの左ボタンを押した状態でマウスを画像１１１上の或る場所（始点）ａから移動（ドラッグ）させ、始点ａの左下方向に存在する別の場所（終点）ｂで左ボタンを離す（ドロップ）操作を意味する。
受付部１０４は、左クリックまたは右クリックされた画像１１１の位置を領域内に有する部分領域の選択を受け付ける。また受付部１０４は、その選択した部分領域に対して、左クリックのときはクラス０の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス１のときはクラス２、現在のクラスがクラス２のときはクラス０、現在のクラスがクラス０のときはクラス１をそれぞれ意味する。受付部１０４は、上記選択した部分領域に対して上記受け付けたクラスを検出結果１０３の修正クラスの欄に記録する。以上は、第１の実施形態において左クリックまたは右クリックされたときと同じである。
また受付部１０４は、右下方向のドラッグアンドドロップを検出すると、図１０Ａ内の破線に示すように、始点ａを左上頂点、終点ｂを右下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス１の入力を受け付ける。また受付部１０４は、左下方向のドラッグアンドドロップを検出すると、図１０Ｂ内の破線に示すように、始点ａを右上頂点、終点ｂを左下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス２の入力を受け付ける。また受付部１０４は、新規に算出した部分領域とそのクラスの情報を検出結果ＤＢ１０３に記録する。
図１１は受付部１０４の動作の詳細を示すフローチャートである。図１１において、ステップＳ２１１～Ｓ２２４は、図６のステップＳ１１１～Ｓ１２４と同じである。以下、図１１を参照して、図６との相違点を中心に受付部１０４の動作を詳細に説明する。
受付部１０４は、画像ウインドウ１２４の画像上でドラッグアンドドロップを検出すると（ステップＳ２２５でＹＥＳ）、ドラッグアンドドロップの方向を判定する（ステップＳ２２６）。受付部１０４は、右下方向のドラッグアンドドロップであれば、図１０Ａを参照して説明したように始点を左上頂点、終点を右下頂点とする矩形の部分領域を算出し、クラス１の入力を受け付ける（ステップＳ２２７）。次に受付部１０４は、算出した部分領域とクラス１のペアを１つの検出結果として検出結果ＤＢ１０３に記録する（ステップＳ２２８）。次に受付部１０４は、受付画面１２６の画像ウインドウ１２４を更新する（ステップＳ２２９）。そして受付部１０４は、ステップＳ２１３の処理へ戻る。
また受付部１０４は、左下方向のドラッグアンドドロップであれば（ステップＳ２２６）、図１０Ｂを参照して説明したように始点を右上頂点、終点を左下頂点とする矩形の部分領域を算出し、クラス２の入力を受け付ける（ステップＳ２３０）。次に受付部１０４は、算出した部分領域とクラス２のペアを１つの検出結果として検出結果ＤＢ１０３に記録する（ステップＳ２３１）。次に受付部１０４は、受付画面１２６の画像ウインドウ１２４を更新する（ステップＳ２３２）。そして受付部１０４は、ステップＳ２１３の処理へ戻る。
図１２Ａおよび図１２Ｂは、受付部１０４によるステップＳ２２８の説明図である。図１２Ａは検出部１０１が生成した検出結果ＤＢ１０３を示し、図１２Ｂは受付部１０４が新たに算出した部分領域とクラス１のペアの記録を追加した後の検出結果ＤＢ１０３を示す。新たに追加した部分領域は、左上頂点が（ｘ３、ｙ３）、右下頂点が（ｘ４、ｙ４）となる矩形であり、そのクラスはクラス１である。このように、追加する部分領域のクラスは、修正クラスの欄に記録する。こうすることによって、生成部１０５は、追加した部分領域とクラスとから教師データを生成する。受付部１０４によるステップＳ２３１の場合、修正クラスにクラス２が記録される点が異なる。
図１３Ａおよび図１３Ｂは、受付部１０４によるステップＳ２２９の説明図である。図１３Ａは更新前の画像ウインドウ１２４、図１３Ｂは更新後の画像ウインドウ１２４を示す。更新後の画像ウインドウ１２４には、新たに追加した部分領域を強調する破線による矩形の枠１２５が描画されている。受付部１０４によるステップＳ２３２の場合、更新後の画像ウインドウ１２４には、新たに追加した部分領域を強調する矩形の枠が実線により描画される点が異なる。
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部１０４が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス１２０に表示し、入力デバイス１３０の１操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。また、受付部１０４が、画像上の右下方向あるいは左下方向のドラッグアンドドロップという１操作を検出して、新たな部分領域の算出とクラス１あるいはクラス２の入力とを受け付けるためである。
[第２の実施形態の変形例]
次に、上記第２の実施形態の構成を変更した各種の変形例について説明する。
上記第２の実施形態では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付け、右下方向のドラッグアンドドロップによりクラス１の部分領域を算出し、左下方向のドラッグアンドドロップによりクラス２の部分領域を算出した。しかし、クラス０の入力を受け付けるジェスチャ種別、クラスのインクリメントの入力を受け付けるジェスチャ種別、クラス１の部分領域の算出を受け付けるジェスチャ種別、クラス２の部分領域の算出を受け付けるジェスチャ種別は、図１４の一覧に例示するように、様々な組み合わせが可能である。
例えば、図１４に示す番号２－１では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、ダブルクリックによりクラスのインクリメントの入力を受け付ける。更に、受付部１０４は、右下方向のドラッグアンドドロップによりクラス１の部分領域の算出を受け付け、左下方向のドラッグアンドドロップによりクラス２の部分領域の算出を受け付ける。
また図１４に示す番号２－２では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付け、左上方向のドラッグアンドドロップによりクラス１の部分領域の算出を受け付け、右上方向のドラッグアンドドロップによりクラス２の部分領域の算出を受け付ける。ここで、左上方向のドラッグアンドドロップとは、図１０Ａ内の矢印と反対方向のドラッグアンドドロップであり、マウスの左ボタンを押した状態でマウスを画像１１１上の或る場所（始点）ｂから移動（ドラッグ）させ、始点ｂの左上方向に存在する別の場所（終点）ａで左ボタンを離す（ドロップ）操作を意味する。また、右上方向のドラッグアンドドロップとは、図１０Ｂ内の矢印と反対方向のドラッグアンドドロップであり、マウスの左ボタンを押した状態でマウスを画像１１１上の或る場所（始点）ｂから移動（ドラッグ）させ、始点ｂの右上方向に存在する別の場所（終点）ｃで左ボタンを離す（ドロップ）操作を意味する。
また図１４に示す番号２－３は、番号２－２と比較して、クラス１とクラス２の部分領域の算出を受け付ける操作が相違している。番号２－３では、受付部１０４は、左ダブルクリックによりクラス１の部分領域の算出を受け付け、右ダブルクリックによりクラス２の部分領域の算出を受け付ける。ここで、左ダブルクリックとは、マウスの左ボタンを２回連続してクリックすることを意味する。また右ダブルクリックとは、マウスの右ボタンを２回連続してクリックすることを意味する。
図１５は、受付部１０４が画像１１１上で行われた右ダブルクリックの位置からクラス２の部分領域を算出する方法の説明図である。受付部１０４は、画像１１１上の点ｃの箇所で右ダブルクリックが行われたことを検出すると、典型的なクラス２のオブジェクト（本実施形態では４輪自動車）１３１の重心が点ｃに一致する位置に存在すると仮定して、そのオブジェクトの外接矩形１３２を部分領域として算出する。撮像視野が固定されている監視カメラ１１０で被写体を撮像した時、被写体の各点と画像上の各点との間には相関関係があるため、画像上の或る点を重心とする典型的な大きさのオブジェクトの外接矩形はほぼ一意に定まる。更に、画像上の或る点を重心とする典型的なクラス１のオブジェクト（本実施形態では２輪自動車）の外接矩形もほぼ一意に定まる。これにより受付部１０４は、同様の方法により画像１１１上で行われた左ダブルクリックの位置からクラス１の部分領域を算出する。
図１５の例では、オペレータが入力デバイス１３０を介し、オブジェクトの重心位置を右ダブルクリックあるいは左ダブルクリックするように構成したが、重心位置に限らず、予め定められた位置ならば任意でよい。例えば、２輪自動車であれば前輪の中心、４輪自動車であれば前輪と後輪の中間などを右ダブルクリックあるいは左ダブルクリックするようにしてもよい。また、人を検出対象とするオブジェクト検出装置の場合、オペレータは入力デバイス１３０を介し、人の頭部を左ダブルクリックするように構成することができる。この場合、受付部１０４は、頭部位置から人物領域を推定し、推定した人物領域の外接矩形を部分領域として算出する。
上記番号２－１～２－３は上記第２の実施形態と同じく、マウスジェスチャを使用する。これに対して図１４に示す番号２－４～２－７は、以下のようにタッチジェスチャを使用する。
図１４の番号２－４では、受付部１０４は、フリックによりクラス０の入力を受け付け、タップによりクラスのインクリメントの入力を受け付け、右下方向のスワイプによりクラス１の部分領域の算出を受け付け、左下方向のスワイプによりクラス２の部分領域の算出を受け付ける。
右下方向のスワイプとは、図１６Ａ内の矢印に示すように、画像１１１上の或る場所（始点）ａから始点ａの右下方向に存在する別の場所（終点）ｂまで指先でなぞる操作を意味する。また、左下方向のスワイプとは、図１６Ｂ内の矢印に示すように、画像１１１上の或る場所（始点）ａから始点ａの左下方向に存在する別の場所（終点）ｂまで指先でなぞる操作を意味する。受付部１０４は、右下方向のスワイプを検出すると、図１６Ａ内の破線に示すように、始点ａを左上頂点、終点ｂを右下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス１の入力を受け付ける。また受付部１０４は、左下方向のスワイプを検出すると、図１６Ｂ内の破線に示すように、始点ａを右上頂点、終点ｂを左下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス２の入力を受け付ける。
図１４の番号２－５では、受付部１０４は、左方向のフリックによりクラス０の入力を受け付け、右方向のフリックによりクラスのインクリメントの入力を受け付け、下方向のスワイプによりクラス１の部分領域の算出を受け付け、上方向のスワイプによりクラス２の部分領域の算出を受け付ける。
下方向のスワイプとは、図１７Ａ内の矢印に示すように、画像１１１上の或る場所（始点）ａから始点ａの下方向に存在する別の場所（終点）ｂまで指先でなぞる操作を意味する。また、上方向のスワイプとは、図１７Ｂ内の矢印に示すように、画像１１１上の或る場所（始点）ｂから始点ｂの上方向に存在する別の場所（終点）ａまで指先でなぞる操作を意味する。受付部１０４は、下方向のスワイプを検出すると、図１７Ａ内の破線に示すような矩形をクラス１の部分領域として算出する。矩形は、スワイプの線で線対称になっており、上下方向の長さはスワイプの長さに等しい。また左右方向の長さは、スワイプの長さに所定の比率を乗じて求められる。所定の比率としては、例えば、典型的な形状のクラス１のオブジェクト（本実施形態では２輪自動車）の外接矩形の上下方向の長さに対する左右方向の長さの比を使用することができる。また受付部１０４は、上方向のスワイプを検出すると、図１７Ｂ内の破線に示すような矩形をクラス２の部分領域として算出する。矩形は、スワイプの線で線対称になっており、上下方向の長さはスワイプの長さに等しい。また左右方向の長さは、スワイプの長さに所定の比率を乗じて求められる。所定の比率としては、典型的な形状のクラス２のオブジェクト（本実施形態では４輪自動車）の外接矩形の上下方向の長さに対する左右方向の長さの比を使用することができる。
図１４の番号２－６では、受付部１０４は、ピンチインによりクラス０の入力を受け付け、ピンチアウトによりクラスのインクリメントの入力を受け付け、右下方向のスワイプによりクラス１の部分領域の算出を受け付け、左下方向のスワイプによりクラス２の部分領域の算出を受け付ける。
図１４の番号２－７では、受付部１０４は、タップによりクラス０の入力を受け付け、ダブルタップによりクラスのインクリメントの入力を受け付け、右下方向のスワイプによりクラス１の部分領域の算出を受け付け、左下方向のスワイプによりクラス２の部分領域の算出を受け付ける。これらは例示であり、他の任意のジェスチャの組み合わせを使用してよい。
上記第２の実施形態および図１４の番号２－１～２－７では、受付部１０４は、第１の種別のジェスチャによりクラス０の入力を受け付け、第２の種別のジェスチャによりクラスのインクリメントの入力を受け付けた。しかし、受付部１０４は、インクリメントでなくデクリメントの入力を受け付けるようにしてよい。即ち、上記第２の実施形態および図１４の番号２－１～２－７において、受付部１０４は、第２の種別のジェスチャによりクラスのデクリメントの入力を受け付けるようにしてよい。
上記第２の実施形態では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付けた。しかし、クラスと操作とを１対１に対応付け、クラス０、クラス１、クラス２の入力をそれぞれ特定の１操作により受け付けるようにしてもよい。各クラスの入力を受け付けるジェスチャ種別、および各クラスの部分領域の算出を受け付けるジェスチャ種別は、図１８の一覧に例示するように、様々な組み合わせが可能である。
例えば、図１８に示す番号２－１１では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラス１の入力を受け付け、ダブルクリックによりクラス２の入力を受け付け、右下方向のドラッグアンドドロップによりクラス１の部分領域の算出を受け付け、左下方向のドラッグアンドドロップによりクラス２の部分領域の算出を受け付ける。
また図１８に示す番号２－１２は、番号２－１１と比較して、クラス１およびクラス２の部分領域の算出を受け付けるジェスチャ種別が相違する。番号２－１２では、受付部１０４は、左上方向のドラッグアンドドロップによりクラス１の部分領域の算出を受け付け、右上方向のドラッグアンドドロップによりクラス２の部分領域の算出を受け付ける。
また図１８に示す番号２－１３では、受付部１０４は、タッチジェスチャのフリックによりクラス０の入力を受け付け、タップによりクラス１の入力を受け付け、ダブルタップによりクラス２の入力を受け付け、右下方向のスワイプによりクラス１の部分領域の算出を受け付け、左下方向のスワイプによりクラス２の部分領域の算出を受け付ける。
また図１８に示す番号２－１４は、番号２－１３と比較して、クラス０、１、２の入力を受け付けるジェスチャ種別が相違する。番号２－１４では、受付部１０４は、左方向のフリックによりクラス０の入力を受け付け、上方向のフリックによりクラス１の入力を受け付け、下方向のフリックによりクラス２の入力を受け付ける。
また図１８に示す番号２－１５では、受付部１０４は、タップによりクラス０の入力を受け付け、ピンチインによりクラス１の入力を受け付け、ピンチアウトによりクラス２の入力を受け付け、下方向のスワイプによりクラス１の部分領域の算出を受け付け、上方向のスワイプによりクラス２の部分領域の算出を受け付ける。
上記第２の実施形態では、クラスの数は３つ（クラス０、クラス１、クラス２）であったが、クラス数が２つ（クラス０、クラス１）の２クラスのオブジェクト検出装置、およびクラス数が４つ以上の多クラスのオブジェクト検出装置への適用も可能である。
[第３の実施形態]
本発明の第３の実施形態は、操作が行われた画像の位置を領域内に有する既存の部分領域が存在するか否かによって同じ操作であっても異なるクラスの入力を受け付けるようにしたオブジェクト検出装置について説明する。本実施形態は、第２の実施形態と比較して、受付部１０４の機能が相違し、その他は第２の実施形態と基本的に同じである。以下では、第１の実施形態のブロック図である図１を借用して、第３の実施形態に好適な受付部１０４の機能について詳細に説明する。
受付部１０４は、画像の検出結果ＤＢ１０３を視覚化して表示デバイス１２０に表示し、オペレータから修正の入力を受け付ける機能を有する。
受付部１０４は、表示デバイス１２０に表示された画像１１１に対する入力デバイス１３０の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。ここで、本実施形態では、部分領域の選択とは、既存の部分領域の選択と新規な部分領域の選択との双方を意味する。受付部１０４は、入力デバイス１３０の操作が行われた画像１１１の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。また本実施形態では、操作が行われた画像の位置を領域内に有する既存の部分領域が存在するか否かによって同じ操作であっても異なるクラスの入力を受け付ける。本実施形態では、入力デバイス１３０はマウスであり、１操作の種別は左クリック、右クリックである。
受付部１０４は、左クリックまたは右クリックされた画像１１１の位置を領域内に有する既存の部分領域の選択を受け付ける。また受付部１０４は、その選択した部分領域に対して、左クリックのときはクラス０の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス１のときはクラス２、現在のクラスがクラス２のときはクラス０、現在のクラスがクラス０のときはクラス１をそれぞれ意味する。受付部１０４は、上記選択した部分領域に対して上記受け付けたクラスを検出結果ＤＢ１０３の修正クラスの欄に記録する。以上は、第１の実施形態において左クリックまたは右クリックされたときと同じである。
また受付部１０４は、左クリックまたは右クリックされた画像１１１の位置を領域内に有する既存の部分領域が存在しない場合、クリックされた位置を基準に新たな矩形の部分領域を算出し、且つ、その部分領域に対して左クリックならばクラス１、右クリックならばクラス２の入力をそれぞれ受け付ける。クリックされた位置を基準に新たな部分領域を算出する方法は、図１５を参照して説明したダブルクリックされた位置を基準にオブジェクトの部分領域を算出する方法と同様の方法を使用することができる。
図１９は受付部１０４の動作の詳細を示すフローチャートである。図１９において、ステップＳ２１１～Ｓ２２４、Ｓ２２６～Ｓ２３２は、図１１のステップＳ２１１～Ｓ２２４、Ｓ２２６～Ｓ２３２とほぼ同じである。図１９が図１１と相違するところは、ステップＳ２１６においてクリックされた位置を包含する既存の部分領域が存在しないと判定された場合に、ステップＳ２２６へ進む点である。尚、図１１のステップＳ２２６は、ドラッグアンドドロップの方向（種別）を判定するが、図１９のステップＳ２２６は、クリックの種別を判定する。以下、図１９を参照して、図１１との相違点を中心に受付部１０４の動作を詳細に説明する。
受付部１０４は、画像ウインドウ１２４の画像に対する左クリックまたは右クリックを検出する（ステップＳ２１４でＹＥＳ）。この際、受付部１０４は、クリック位置を包含する部分領域が画像に存在しないと判定すると（ステップＳ２１６でＮＯ）、クラスの入力を判断するためにクリックの種別が左クリック、右クリックの何れであるかを判定する（ステップＳ２２６）。
受付部１０４は、左クリックであれば、新たな矩形の部分領域を算出し、クラス１の入力を受け付ける（ステップＳ２２７）。次に受付部１０４は、算出した部分領域とクラス１のペアを１つの検出結果として検出結果ＤＢ１０３に記録する（ステップＳ２２８）。次に受付部１０４は、受付画面１２６の画像ウインドウ１２４を更新する（ステップＳ２２９）。そして受付部１０４は、ステップＳ２１３の処理へ戻る。
また受付部１０４は、右クリックであれば（ステップＳ２２６）、新たな矩形の部分領域を算出し、クラス２の入力を受け付ける（ステップＳ２３０）。次に受付部１０４は、算出した部分領域とクラス２のペアを１つの検出結果として検出結果ＤＢ１０３に記録する（ステップＳ２３１）。次に受付部１０４は、受付画面１２６の画像ウインドウ１２４を更新する（ステップＳ２３２）。そして受付部１０４は、ステップＳ２１３の処理へ戻る。
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部１０４が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス１２０に表示し、入力デバイス１３０の１操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。また、受付部１０４が、既存の部分領域と重複しない位置での左クリックまたは右クリックという１操作を検出して、新たな部分領域の算出とクラス１あるいはクラス２の入力とを受け付けるためである。
[第３の実施形態の変形例]
上記第３の実施形態では、左クリックと右クリックという２種類のジェスチャを使用したが、他の種類のマウスジェスチャの組み合わせ、タッチジェスチャの組み合わせを使用することができる。
[第４の実施形態]
本発明の第４の実施形態では、誤認識された部分領域に対する正しいクラスの入力およびオブジェクトの正しい部分領域の選択を、入力画像に対する入力デバイスの操作によって行えるようにしたオブジェクト検出装置について説明する。本実施形態は、第２の実施形態と比較して、受付部１０４の機能が相違し、その他は第２の実施形態と基本的に同じである。以下では、第１の実施形態のブロック図である図１を借用して、第４の実施形態に好適な受付部１０４の機能について詳細に説明する。
受付部１０４は、画像の検出結果ＤＢ１０３を視覚化して表示デバイス１２０に表示し、オペレータから修正の入力を受け付ける機能を有する。
図２０は、受付部１０４が表示デバイス１２０に表示する受付画面１２７の一例を示す。この例の受付画面１２７は、図４に示した受付画面１２１と比較して、画像ウインドウ１２４に表示されている画像１１１中の４輪自動車の部分領域の外周を示す矩形の枠の位置のみ相違する。矩形の枠の位置が相違する原因は、検出部１０１が画像１１１から辞書１０２を用いてオブジェクトを検出した際、道路上の水溜り等をオブジェクトの部分領域の一部であると誤検出したことによる。この例では、部分領域は誤検出しているが、クラスは正しく判定している。しかし、部分領域およびクラスの双方を誤検出するケースもある。このような誤検出を改善するためには、画像１１１中の誤検出した部分領域とそのクラス０との入出力ペアである教師データ、画像１１１中の４輪自動車の正しい部分領域とそのクラス２との入出力ペアである教師データをそれぞれ作成し、辞書１０２を学習する必要がある。
受付部１０４は、表示デバイス１２０に表示された画像１１１に対する入力デバイス１３０の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。ここで、本実施形態では、部分領域の選択とは、既存の部分領域の選択と新規な部分領域の選択との双方を意味する。受付部１０４は、入力デバイス１３０の操作が行われた画像１１１の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。また本実施形態では、既存の部分領域と一部重複する新規な部分領域の選択操作が行われた場合、既存の部分領域に対してクラス０の入力を受け付けると共に、新規な部分領域に対して操作の種別に応じたクラスの入力を受け付ける。本実施形態では、入力デバイス１３０はマウスであり、１操作の種別は左クリック、右クリック、右下方向のドラッグアンドドロップ、左下方向のドラッグアンドドロップである。
受付部１０４は、左クリックまたは右クリックされた画像１１１の位置を領域内に有する部分領域の選択を受け付ける。また受付部１０４は、その選択した部分領域に対して、左クリックのときはクラス０の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス１のときはクラス２、現在のクラスがクラス２のときはクラス０、現在のクラスがクラス０のときはクラス１をそれぞれ意味する。受付部１０４は、上記選択した部分領域に対して上記受け付けたクラスを検出結果ＤＢ１０３の修正クラスの欄に記録する。以上は、第１の実施形態において左クリックまたは右クリックされたときと同じである。
また受付部１０４は、右下方向のドラッグアンドドロップを検出すると、図１０Ａの破線に示すように、始点ａを左上頂点、終点ｂを右下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス１の入力を受け付ける。また受付部１０４は、左下方向のドラッグアンドドロップを検出すると、図１０Ｂの破線に示すように、始点ａを右上頂点、終点ｂを左下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス２の入力を受け付ける。また受付部１０４は、新規に算出した部分領域とそのクラスの情報を１つの検出結果として検出結果ＤＢ１０３に記録する。以上は、第２の実施形態において右下方向および左下方向のドラッグアンドドロップが行われたときと同じである。
さらに受付部１０４は、新たに算出した部分領域に一部重複する既存の部分領域に対してクラス０の入力を受け付ける機能を有する。例えば、図２１に示すように、受付部１０４は、クラス２の部分領域を強調する枠１２５が表示されている画像１１１に対して、左下方向（または右下方向）のドラッグアンドドロップが行われたことにより、枠１２５に一部重複する部分領域１２５ａを算出すると、枠１２５に係る既存の部分領域に対してクラス０の入力を受け付ける。
図２２は受付部１０４の動作の詳細を示すフローチャートである。図２２において、ステップＳ３１１～Ｓ３２７、Ｓ３３０は、図１１のステップＳ２１１～Ｓ３２７、Ｓ２３０と同じである。以下、図２２を参照して、図１１との相違点を中心に受付部１０４の動作を詳細に説明する。
受付部１０４は、新たに算出した部分領域に対してクラス１の入力を受け付けると（ステップＳ３２７）、この新たな部分領域に一部重複する既存の部分領域が画像１１１上に存在するか否かを判定する（ステップＳ３４１）。この判定は、画像１１１に係る検出結果ＤＢ１０３中に上記新たな部分領域に一部重複する既存の部分領域の検出結果が存在するか否かを調査することにより行われる。受付部１０４は、そのような既存の部分領域が存在すれば、当該部分領域に対してクラス０の入力を受け付け（ステップＳ３４２）、ステップＳ３４３へと進む。そのような既存の部分領域が存在しなければ、受付部１０４はステップＳ３４２の処理をスキップし、ステップＳ３４３へと進む。受付部１０４は、ステップＳ３４３では、ステップＳ３２７およびステップＳ３４２の受付結果に従って、検出結果ＤＢ１０３を更新する。すなわち受付部１０４は、ステップＳ３２７の受付結果に基づいて、新たに算出した部分領域とクラス１のペアを１つの検出結果として検出結果ＤＢ１０３に記録する。また受付部１０４は、ステップＳ３４２の受付結果に基づいて、既存の部分領域の修正クラスにクラス０を記録する。次に受付部１０４は、ステップＳ３４３の検出結果ＤＢ１０３の更新に従って、画像ウインドウ１２４上の画像１１１を更新する（ステップＳ３４４）。そして受付部１０４は、ステップＳ３１３の処理へ戻る。
また受付部１０４は、新たに算出した部分領域に対してクラス２の入力を受け付けると（ステップＳ３３０）、この新たな部分領域に一部重複する既存の部分領域が画像１１１上に存在するか否かを判定する（ステップＳ３４５）。受付部１０４は、そのような既存の部分領域が存在すれば、当該部分領域に対してクラス０の入力を受け付け（ステップＳ３４６）、ステップＳ３４７へと進む。そのような既存の部分領域が存在しなければ、受付部１０４はステップＳ３４６の処理をスキップし、ステップＳ３４７へと進む。受付部１０４は、ステップＳ３４７では、ステップＳ３３０およびステップＳ３４６の受付結果に従って、検出結果ＤＢ１０３を更新する。すなわち受付部１０４は、ステップＳ３３０の受付結果に基づいて、新たに算出した部分領域とクラス２のペアを１つの検出結果として検出結果ＤＢ１０３に記録する。また受付部１０４は、ステップＳ３４６の受付結果に基づいて、既存の部分領域の修正クラスにクラス０を記録する。次に受付部１０４は、ステップＳ３４７の検出結果ＤＢ１０３の更新に従って、画像ウインドウ１２４上の画像１１１を更新する（ステップＳ３４８）。そして受付部１０４は、ステップＳ３１３の処理へ戻る。
図２３Ａおよび図２３Ｂは、受付部１０４によるステップＳ３４７の説明図である。図２３Ａは、検出部１０１が生成した検出結果ＤＢ１０３を示し、図２３Ｂは、受付部１０４による更新後の検出結果ＤＢ１０３を示す。図２３Ａおよび図２３Ｂでは、左上頂点が（ｘ７、ｙ７）、右下頂点が（ｘ８、ｙ８）となる矩形の部分領域がクラス２として新たに追加されている。また左上頂点が（ｘ１、ｙ１）、右下頂点が（ｘ２、ｙ２）となる矩形の既存の部分領域のクラスがクラス２からクラス０に修正されている。受付部１０４によるステップＳ３４３の場合、新たに追加された部分領域の修正クラスがクラス１になる点が異なる。
図２４Ａおよび図２４Ｂは、受付部１０４によるステップＳ３４８の説明図である。図２４Ａは、更新前の画像ウインドウ１２４、図２４Ｂは、更新後の画像ウインドウ１２４を示す。更新後の画像ウインドウ１２４には、新たに追加した部分領域を強調する実線による矩形の枠１２５が描画され、それと一部重複する更新前の画像ウインドウ１２４に表示されていた枠は非表示とされている。受付部１０４によるステップＳ３４４の場合、更新後の画像ウインドウ１２４には、新たに追加した部分領域を強調する矩形の枠が破線により描画される点が異なる。
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部１０４が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス１２０に表示し、入力デバイス１３０の１操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。また、受付部１０４が、画像上の右下方向あるいは左下方向のドラッグアンドドロップという１操作を検出して、新たな部分領域の算出とクラス１あるいはクラス２の入力とを受け付けるためである。さらに、受付部１０４が、新たに算出した部分領域と一部重複する既存の部分領域に対してクラス０の入力を受け付けるためである。
[第４の実施形態の変形例]
上記第４の実施形態の構成に対しては、上記第２の実施形態の変形例で説明した例と同様の変形を行うことができる。
[第５の実施形態]
本発明の第５の実施形態について説明する。図２５を参照すると、本実施形態に係るオブジェクト検出装置１は、入力画像２からオブジェクトを検出する機能を有する。オブジェクト検出装置１は、辞書１０を有し、また主な機能部として、検出部１１、受付部１２、生成部１３、および学習部１４を有する。さらにオブジェクト検出装置１は、表示デバイス３および入力デバイス４に接続されている。
検出部１１は、辞書１０を用いて入力画像２からオブジェクトを検出する機能を有する。受付部１２は、検出部１１によって検出されたオブジェクトの部分領域を強調する表示を付して入力画像２を表示デバイス３に表示し、入力デバイス４の１操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。生成部１３は、上記選択された部分領域の画像と上記入力されたクラスとから教師データを生成する機能を有する。学習部１４は、生成部１３によって生成された教師データにより辞書１０を学習し、辞書１０をグレードアップする機能を有する。
次に本実施形態に係るオブジェクト検出装置１の動作を説明する。オブジェクト検出装置１の検出部１１は、辞書１０を用いて入力画像２からオブジェクトを検出し、検出結果を受付部１２に通知する。受付部１２は、検出部１１によって検出されたオブジェクトの部分領域を強調する表示を付して入力画像２を表示デバイス３に表示する。そして受付部１２は、入力デバイス４の１操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付け、その結果を生成部１３に通知する。生成部１３は、選択された部分領域の画像と入力されたクラスとから教師データを生成し、学習部１４に通知する。学習部１４は、生成部１３によって生成された教師データにより辞書１０を学習し、辞書１０をグレードアップする。
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部１２が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像２を表示デバイス３に表示するからである。更に受付部１２は、入力デバイス４の１操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。
本実施形態は、上記のような構成を基本としつつ、以下のような各種の付加変更が可能である。
受付部１２は、１操作が行われた入力画像２の位置により部分領域の選択を受け付けるように構成されていてよい。
また受付部１２は、１操作が行われた入力画像２の位置を領域内に有する部分領域の選択を受け付け、１操作が行われた入力画像２の位置を領域内に有する部分領域が存在しなければ、１操作が行われた入力画像２の位置に基づいてオブジェクトの部分領域を算出するように構成されていてよい。
また受付部１２は、１操作の種別によりクラスの入力を受け付けるように構成されていてよい。
また受付部１２は、１操作の種別が第１の種別であれば予め第１のクラスの入力を受け付け、第２の種別であれば部分領域の現在のクラスをインクリメントまたはデクリメントしたクラスの入力を受け付けるように構成されていてよい。
また受付部１２は、１操作が行われた入力画像２の位置を領域内に有する部分領域が存在するか否かによって異なるクラスの入力を受け付けるように構成されていてよい。
また受付部１２は、１操作が行われた入力画像２の位置を領域内に有する部分領域が存在する場合、第１のクラスの入力を受け付け、存在しない場合、第２のクラスの入力を受け付けるように構成されていてよい。
また受付部１２は、１操作が行われた入力画像２の位置を領域内に有する部分領域が存在する場合、存在する部分領域に対して第１のクラスの入力を受け付けると共に、１操作が行われた入力画像の位置に基づいてオブジェクトの部分領域を算出し、この算出した部分領域に対して第２のクラスの入力を受け付けるように構成されていてよい。
また受付部１２は、上記第２のクラスを１操作の種別により決定するように構成されていてよい。
また入力デバイス４の１操作が１マウスジェスチャであるように構成されていてよい。あるいは、入力デバイス４の１操作が１タッチジェスチャであるように構成されていてよい。
また受付部１２は、検出されたオブジェクトの部分領域が、過去にクラスの入力を行った部分領域と同じ位置および同じ入力前クラスを有する場合、検出されたオブジェクトの部分領域を強調する表示を非表示にするように構成されていてよい。
[第６の実施形態]
本発明の第６の実施形態に係るオブジェクト検出装置３００について図２７を参照して説明する。オブジェクト検出装置３００は、検出部３０１、受付部３０２、生成部３０３および学習部３０４を備える。
検出部３０１は、辞書を用いて入力画像からオブジェクトを検出する。
受付部３０２、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの１操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける。
生成部３０３は、選択された部分領域の画像と入力されたクラスとから教師データを生成する。
学習部３０４は、教師データにより辞書を学習する。
本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部３０２が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの１操作により、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は２０１５年３月１９日に出願された日本出願特願２０１５－０５５９２６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、監視カメラで撮像されて得られた道路上の映像から辞書により人や車両などのオブジェクトを検出するオブジェクト検出装置などに利用できる。
１…オブジェクト検出装置
２…入力画像
３…表示デバイス
４…入力デバイス
１０…辞書
１１…検出部
１２…受付部
１３…生成部
１４…学習部
１００…オブジェクト検出装置
１０１…検出部
１０２…辞書
１０３…検出結果ＤＢ
１０４…受付部
１０５…生成部
１０６…教師データメモリ
１０７…学習部
１１１…画像
１１２、１１３、１１４、１１５…探索窓
１２０…表示デバイス
１２１…受付画面
１２２…グラフ
１２３…スライダ
１２３ａ…スライドバー
１２４…画像ウインドウ
１２５…矩形の枠
１２５ａ…部分領域
１２６、１２７…受付画面
１３０…入力デバイス
１３１…オブジェクト
１３２…外接矩形

Claims (9)

  1. 入力画像からオブジェクトを検出する検出手段と、
    検出された前記オブジェクトに対応する第１領域を強調表示させ、
    前記第１領域と異なる位置が選択された場合、選択された当該位置を第２領域として受け付け、
    前記第１領域と前記第２領域とを表示させるように制御する受付手段と、
    を備えるオブジェクト検出装置。
  2. 前記受付手段は、入力デバイスの操作が行われた前記入力画像の位置を領域内に有する前記第１領域が存在しない場合、前記第１領域と異なる位置が選択されたと判断する、
    請求項１に記載のオブジェクト検出装置。
  3. 教師データを生成する生成手段をさらに備え、
    前記受付手段は、前記第２領域に対するクラスの入力を受け付け、
    前記生成手段は、前記第２領域の画像と前記クラスとから前記教師データを生成する、
    請求項１または２に記載のオブジェクト検出装置。
  4. 入力画像からオブジェクトを検出し、
    検出された前記オブジェクトに対応する第１領域を強調表示させ、
    前記第１領域と異なる位置が選択された場合、選択された当該位置を第２領域として受け付け、
    前記第１領域と前記第２領域とを表示させるように制御する、
    オブジェクト検出方法。
  5. 前記受け付けるステップにおいて、入力デバイスの操作が行われた前記入力画像の位置を領域内に有する前記第１領域が存在しない場合、前記第１領域と異なる位置が選択されたと判断する、
    請求項４に記載のオブジェクト検出方法。
  6. 前記第２領域に対するクラスの入力を受け付け、
    前記第２領域の画像と前記クラスとから教師データを生成する
    請求項４または５に記載のオブジェクト検出方法。
  7. 入力画像からオブジェクトを検出する処理と、
    検出された前記オブジェクトに対応する第１領域を強調表示させ、前記第１領域と異なる位置が選択された場合、選択された当該位置を第２領域として受け付け、前記第１領域と前記第２領域とを表示させるように制御する処理と、をコンピュータに実行させる
    プログラム。
  8. 前記制御する処理において、入力デバイスの操作が行われた前記入力画像の位置を領域内に有する前記第１領域が存在しない場合、前記第１領域と異なる位置が選択されたと判断する、
    請求項７に記載のプログラム。
  9. 前記制御する処理において、前記第２領域に対するクラスの入力を受け付け、
    前記第２領域の画像と前記クラスとから教師データを生成する処理をさらにコンピュータに実行させる
    請求項７または８に記載のプログラム。
JP2023076649A 2015-03-19 2023-05-08 オブジェクト検出装置、オブジェクト検出方法およびプログラム Active JP7491435B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024077277A JP2024097936A (ja) 2015-03-19 2024-05-10 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015055926 2015-03-19
JP2015055926 2015-03-19
JP2021102951A JP7279738B2 (ja) 2015-03-19 2021-06-22 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021102951A Division JP7279738B2 (ja) 2015-03-19 2021-06-22 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024077277A Division JP2024097936A (ja) 2015-03-19 2024-05-10 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2023100850A true JP2023100850A (ja) 2023-07-19
JP7491435B2 JP7491435B2 (ja) 2024-05-28

Family

ID=56918654

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2017506093A Active JP6904249B2 (ja) 2015-03-19 2016-03-15 オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP2021102951A Active JP7279738B2 (ja) 2015-03-19 2021-06-22 オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP2023076649A Active JP7491435B2 (ja) 2015-03-19 2023-05-08 オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP2024077277A Pending JP2024097936A (ja) 2015-03-19 2024-05-10 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017506093A Active JP6904249B2 (ja) 2015-03-19 2016-03-15 オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP2021102951A Active JP7279738B2 (ja) 2015-03-19 2021-06-22 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024077277A Pending JP2024097936A (ja) 2015-03-19 2024-05-10 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Country Status (3)

Country Link
US (5) US10339422B2 (ja)
JP (4) JP6904249B2 (ja)
WO (1) WO2016147652A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
WO2016147653A1 (ja) * 2015-03-19 2016-09-22 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法および記録媒体
JP6904249B2 (ja) * 2015-03-19 2021-07-14 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法およびプログラム
US10699119B2 (en) * 2016-12-02 2020-06-30 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
JP6731370B2 (ja) 2017-03-27 2020-07-29 株式会社日立ハイテク 画像処理システム及び画像処理を行うためのコンピュータープログラム
US10748033B2 (en) 2018-12-11 2020-08-18 Industrial Technology Research Institute Object detection method using CNN model and object detection apparatus using the same
JP7233251B2 (ja) * 2019-02-28 2023-03-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP6896260B1 (ja) * 2020-04-08 2021-06-30 Ａｒｉｔｈｍｅｒ株式会社 レイアウト解析装置、その解析プログラムおよびその解析方法
JP2020144942A (ja) * 2020-05-29 2020-09-10 株式会社日立ハイテク 画像処理システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP2002032751A (ja) * 2000-07-18 2002-01-31 Olympus Optical Co Ltd 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
JP3834041B2 (ja) * 2004-03-31 2006-10-18 オリンパス株式会社 学習型分類装置及び学習型分類方法
JP2006012069A (ja) * 2004-06-29 2006-01-12 Olympus Corp 分類装置及び分類方法
JP2006012089A (ja) 2004-06-29 2006-01-12 Chugoku Electric Power Co Inc:The 業務従事者教育管理システム
JP4266920B2 (ja) * 2004-12-03 2009-05-27 オリンパス株式会社 分類装置及び分類方法
JP4050273B2 (ja) * 2004-12-28 2008-02-20 オリンパス株式会社 分類装置及び分類方法
JP4516491B2 (ja) 2005-03-14 2010-08-04 富士フイルム株式会社 感光性組成物及び感光性フィルム、並びに、永久パターン及びその形成方法
DE102006047777A1 (de) * 2006-03-17 2007-09-20 Daimlerchrysler Ag Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten
JP4797761B2 (ja) 2006-04-12 2011-10-19 オムロン株式会社 動画表示装置
JP5581574B2 (ja) 2008-07-09 2014-09-03 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5202148B2 (ja) * 2008-07-15 2013-06-05 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2010039795A (ja) * 2008-08-06 2010-02-18 Casio Comput Co Ltd 認識用データ生成装置及び電子カメラ、認識用データ生成プログラム、並びに認識用データ生成方法
JP2009032273A (ja) * 2008-08-29 2009-02-12 Olympus Corp 分類装置
US8612370B2 (en) * 2009-02-03 2013-12-17 Nec Corporation Pattern recognition device, pattern recognition method, and pattern recognition program
JP5366756B2 (ja) * 2009-10-19 2013-12-11 キヤノン株式会社 情報処理装置及び情報処理方法
US8447119B2 (en) * 2010-03-16 2013-05-21 Nec Laboratories America, Inc. Method and system for image classification
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
JP2014041436A (ja) * 2012-08-21 2014-03-06 Canon Inc 情報提示方法及び情報提示装置
JP2014059729A (ja) 2012-09-18 2014-04-03 Toshiba Corp 物体検出・識別装置及びその方法とその物体検出・識別に用いられる辞書データ生成方法
US9158996B2 (en) * 2013-09-12 2015-10-13 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
JP6904249B2 (ja) * 2015-03-19 2021-07-14 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法およびプログラム

Also Published As

Publication number Publication date
US10755143B2 (en) 2020-08-25
JP7491435B2 (ja) 2024-05-28
US10339422B2 (en) 2019-07-02
JP7279738B2 (ja) 2023-05-23
US20180107900A1 (en) 2018-04-19
US11373061B2 (en) 2022-06-28
JPWO2016147652A1 (ja) 2018-02-01
US20240160342A1 (en) 2024-05-16
US11914851B2 (en) 2024-02-27
US20220284239A1 (en) 2022-09-08
JP6904249B2 (ja) 2021-07-14
WO2016147652A1 (ja) 2016-09-22
JP2021168155A (ja) 2021-10-21
US20190272448A1 (en) 2019-09-05
JP2024097936A (ja) 2024-07-19
US20200356814A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
JP7279738B2 (ja) オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP7248177B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US10001897B2 (en) User interface tools for exploring data visualizations
US8542199B2 (en) Image processing apparatus, image processing method, and program
CN107666987A (zh) 机器人过程自动化
JP2013545380A (ja) 入力設定の自動調整
US6738081B2 (en) Display for a graphical user interface
CN105808080B (zh) 一种利用手势快速复制对象的方法和装置
US20230196725A1 (en) Image annotation system and method
JP2018077694A (ja) 画面表示制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240429

R150 Certificate of patent or registration of utility model

Ref document number: 7491435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150