JP2009217832A - ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識のプログラムを記憶した記憶媒体 - Google Patents

Abstract

【課題】車両に搭載されるビデオカメラによって撮影された画像より、リアルタイムに道路標識を抽出し認識する方法及びその装置を得る。
【解決手段】画面１３に表示されたビデオ画像に特別なスリットｆｉを設定し、ＨＳＶ変換処理部１６によるスリット上の画素データの色成分から標識確率計算処理部２０が道路標識の有無を検出し、道路標識がスリット上に存在すると判断されたときは、検出エリア設定処理部１９がそのスリット上の道路標識があると判定した範囲に所定の大きさの検出エリアをかけ、輪郭検出処理部２４が２値化によって抽出した道路標識の輪郭ｒｉを抽出し、形状種類決定処理部２５が道路標識の輪郭Ｒｉから種類を決定し、標識認識処理部２６がこの決定した種類内で前述のエリア内の道路標識の絵画像の特徴に最も類似する標識を引当て、これをビデオカメラ１で検出した道路標識と認識する。
【選択図】図１

Description

本発明は、道路情報データベースを構築するために、車両に搭載されるビデオカメラによって撮影された画像より、リアルタイムに道路標識を抽出し認識する方法及びその装置に関する。

一般に、通行止め、進入禁止、一方通行等の道路標識をデータベースに追加したり、更新・削除したりするための手法としては人間の手作業による方法と、画像処理に基づく自動処理を行う方法の二つが存在する。

（１）手作業による方法
人間が自動車で道路を走行しながら道路地図（道路毎に割り付けられた標識案内表でもよい）上の道路標識と、実際の道路上の道路標識とを確認していく。このとき、実際の道路標識と地図上の道路標識とが相違している場合は、地図上のその地点の道路標識を実際の道路標識に書き換える。

また、地図にはない道路標識を走行中に見つけた場合は、地図上のその地点にその新しく設けられた道路標識を書き込む。

また、地図に道路標識が記入されていても実際はその地点にその道路標識が無い場合は、その地点の地図上の道路標識を削除する。

このような処理を手作業で行って、事務所等に帰ってきてから道路情報を記憶しているデータベースの道路情報（位置、道路標識）を、自動車を走行させながら作成してきた道路地図（標識案内表）に基づいて、手作業で書き換える。

すなわち、自動車を走行しながら道路上の標識を１基毎に確認して書き換え作業を手作業で行っているので非常に時間がかかる。

また、作業時間を短くするには、走行中に道路標識を一目見て地図上の標識と相違しているかを判断しなければならないと共に、地図上の位置を瞬時に把握していかなければならないので、地図上に収集した道路標識、位置等は熟練度に左右される。このようなことから、近年は画像処理による方法を用いる場合がある。

（２）画像処理による方法
この画像処理による方法は、図１５に示すように自動車にビデオカメラ１を搭載しながら道路の右側又は左側を撮影し、この撮影データをビデオテープ２に記憶していく。このビデオカメラ１による撮影方法は、道路標識がある場所のみを撮影して行く方法（すなわち、静止画）と、自動車の走行に伴って連続して撮影する方法（すなわち、動画）とがある。

そして、事務所に帰ってきて、ビデオテープ２の道路標識画像を道路標識画像処理装置３で認識する。この道路標識画像処理装置３は、ビデオデッキ４と、ビデオキャプチャーボード内蔵の制御装置５と、表示器６と、キーボード７と、マウス８とで構成されている。

前述の道路標識画像処理装置３による認識は、ビデオデッキ４からの映像信号を制御装置５がビデオキャプチャー（図示せず）を介して読み取り、１フレーム毎に所定レベル以上の画素データに対して２値化処理を行い、道路標識が存在するエリアのデータの輪郭を検出する。

また、このとき色情報に基づいた領域分割を行ってから、前述の輪郭及び色情報（ＲＧＢ）に基づいて標識形状のマッチングを行ったりしている。

そして、検出できた標識情報（輪郭、色）とデータベースに保存されているテンプレート（複数種の道路標識）との相関関数を計算し、最も類似するものをビデオカメラで撮影した道路標識と認識していた。このとき、各々の標識形状に対して異なるアルゴリズムで対処していた。

また、従来においてはＲＧＢ画像を用いているが、ＲＧＢ画像は、一般に照明条件によって画素値が激しく変動する。

このようなことからＲＧＢ表色系からＨＳＶ表色系に変換して利用する場合もあった。

三輪 道雄, 大原 知之, スカンヤ ポンスーパッ, 石井 雅博, 小池 康晴, 佐藤 誠 ，色フィルタとテクスチャ解析を用いた動画像からの道路標識の抽出，情報処理学会研究報告[コンピュータとイメージメディア]，日本，情報処理学会，１９９９年 １月２２日，第99巻第3号，p.97-103，99-CVIM-114-13 粟倉 崇充, 佐々木 一幸, 中島 真人，道路標識の自動認識，電子情報通信学会技術研究報告[パターン認識・メディア理解]，日本，電子情報通信学会，１９９９年 １月２２日，第98巻第528号，p.69-76，PRMU98-201

しかしながら、従来の道路標識画像処理装置における認識方法は、１フレーム毎に、そのフレーム全体に対して２値化処理、輪郭抽出処理、領域分割処理等を行っている。

このため、標識が映っていないフレームに対しても前述の処理を施さなければならないので、道路標識を認識するための処理に時間がかかる。

一方、ＲＧＢ表色系からＨＳＶ表色系に変換して用いる場合は、ＲＧＢからＨＳＶへの変換は非線形であるため、前述のように１フレーム毎に全体を対象とする処理方式では非常に時間がかかる。

さらに、標識形状を利用して標識領域を検出しようとするとき、各々の標識形状に対して異なるアルゴリズムで対処しようとする従来の手法で行っているので、さらに時間がかかってしまう。

すなわち、従来の道路標識の認識方法では認識処理に時間がかかるという課題があった。

一方、車両に搭載されたカメラから撮影された画像に対して、リアルタイムに処理を実現することが期待されている。この問題を解決するために、すべての処理をハードウェアで行うことで認識処理時間を短縮しようとする傾向もある。

しかし、ハードウェア処理へと移行した場合、コストが高くなり、アルゴリズムの変更による改良が困難となる。昨今のパーソナルコンピュータ等の計算機器における急速な高性能化という状況から考えても、すべての処理をソフトウェア的に行う方がより望ましいと言える。

本発明は、道路標識が設けられた道路を走行しながら進行方向を撮影したときのビデオ画像の初期画像を静止画で画面に表示させた後に、ビデオ画像を動画で表示させたとき、道路標識が画面にて最も大きく見えてくるとき道路標識画像をとらえるためのスリット線を前記画面に描く。次に、ビデオ画像における道路標識の標識色を入力する。

そして、スリット線が描かれた後に、ビデオ画像を動画で画面に表示させ、このビデオ画像の動画表示に伴って、スリット線に重なるＲＧＢの画像データをスリット線に沿ってＨＳＶに変換する。

次に、ＨＳＶ変換された画像データの値を用いて、色相、飽和度、明度からスリット線に標識色が存在する存在確率を求める。

次に、標識色が存在する確率が高いときには、その画像データを得たスリット線の位置に重なる画像平面の座標範囲に所定の大きさのエリアを設定し、エリア内の全ての画像データをＨＳＶ変換し、これらの値から標識色の存在確率を求め、該存在確率が高いときは、エリア内の道路標識画像の輪郭を求め、この輪郭の角度分布から道路標識画像の形状を決定し、この形状と道路標識画像の情報の分布関数から道路標識画像を認識する。

実施態様によれば、画面全体を処理する代わりに、スリット上のカラーデータ（ＲＧＢ）のみがＨＳＶへと変換され、道路標識と思しき箇所が検出される。そして、検出できたスリット上の位置から予め設定された範囲の原画像をＨＳＶへと変換されて、道路標識の存在確率値が計算される。

そして、計算を行った道路標識を含む領域内の確率値の分布画像を動的な閾値によって２値化され、ノイズを除去するために領域の拡張と縮小を行う演算によって２値化された画像がフィルタリングされる。引き続き、スリット上から検出できた標識を含む２値化画像の中から実際の標識部分に相当すると考えられる領域が検出され、検出された領域の輪郭に対して、各点の接線角度の計算が行われ、その結果から作成されるヒストグラムの分布状況をもとに領域の形状が判定される。そして、データベースに保存されている形状の等しい標識のテンプレート群とのマッチングを行うことによって認識が行われる。

以上のように本発明によれば、ビデオ画像が動画で表示されると、画面中心から画面の周囲に放射状に拡大する道路標識がスリット線にかかり、このときスリットにかかるカラーデータ（ＲＧＢ）のみをＨＳＶ変換して、この色と予め検出するための道路標識の色とから存在確率を判断し、スリット上に存在する可能性があるときは、所定の大きさエリアを画像平面に設定する。

そして、このエリア内の全域に渡って標識色が存在するときに、そのエリア内の画像データの輪郭に対して、各点の接線角度のヒストグラムを求めて、予め記憶されている道路標識の角度分布に一致するものをビデオ画像の道路標識と決定する。

次に、ビデオ画像のエリア内の画像データを予め記憶されている標準標識の画像データとマッチングし、道路標識を認識する。

従って、画像全体を処理する従来手法と比べ、道路標識の検出から認識に至る全てのプロセスにおいて、総合的に処理時間を短縮することができるという効果が得られている。

本発明の実施の形態１の道路標識自動認識装置の概略構成図である。 実施の形態１の道路標識自動認識装置の概略を説明する説明図である。 テンプレートを説明する説明図である。 本実施の形態１の動作を説明するフローチャートである。 本実施の形態１の動作を説明するフローチャートである。 スリットを説明する説明図である。 道路標識の存在範囲の算出を説明する説明図である。 色相による存在確率のイメージ図である（ここで、横軸は色相であり、縦軸は強調因子（０〜３）である）。 エリア内の画像データの輪郭を説明する説明図である。 接線角度の算出を説明する説明図である。 実施の形態２の道路標識自動認識装置の外観図である。 実施の形態２の概略構成図である。 カメラと道路標識との相対位置の算出を説明する説明図である。 ビデオ画像の道路標識の輪郭のなぞり方法と角度分布表との関係を説明する説明図である。 従来の道路標識の認識方法を説明するための説明図である。

＜実施の形態１＞
図１は本実施の形態の道路標識自動認識装置の概略構成図である。本実施の形態１では、車両を走行させながらビデオカメラ１で撮影したビデオ画像をビデオテープ２に記録し、これをビデオデッキ４で再生して事務所にある道路標識自動認識装置１０（パーソナルコンピュータ）でリアルタイムに道路標識を検出するものである。次に、概略処理を説明する。

図２に示すように、まず、画面に表示された初めのビデオ画像（道路標識と道路等が映っている）上に放物線状の特別なスリットｆｉを設定し（図２のａ）、ビデオデッキ４を操作してビデオテープ２を再生する。

このとき、道路標識自動認識装置１０は、スリット上の画素データの色成分から道路標識の有無を検出し、道路標識がスリット上に存在するときは、そのスリット上の道路標識があると判定した範囲に所定の大きさのウィンドウＷｉ（検出エリアともいう）をかけて、色成分、２値化によって抽出した道路標識の輪郭ｒｉを抽出する（図２のｂ）。

そして、その道路標識の輪郭ｒｉから道路標識形状の種類を決定し、この決定した種類内で前述のエリア内の道路標識の絵画像の特徴に最も類似する標識を引当て、これをビデオカメラ１で検出した道路標識と認識する（図２のｃ）。

このようにして道路標識を自動認識するために、図１に示すように、本実施の形態では、ビデオデッキ４からのビデオ画像をコンピュータの内部に取り込んで画像メモリ１２を介して表示部１３に表示させるビデオキャプチャー１１を備えている。前述の表示部１３にはタッチパネル１４（静電式、圧電式）が備えられている。

また、タッチパネル１４に描かれたスリットｆｉの軌跡をスリット形状として設定するスリット設定処理部１５と、指定された箇所（スリット又はエリア）のＲＧＢ画像をＨＳＶ変換して、フレームメモリ１７に記憶するＨＳＶ変換処理部１６と、フレームメモリ１７のスリット状のデータの色成分から標識がそのスリットに存在するかの仮判定を行う標識有無仮判定処理部１８と、道路標識があるスリットｆｉの範囲を基準とした所定の大きさのウィンドウＷｉを画像メモリ１２に設定する検出エリア設定処理部１９とを備えている。

また、フレームメモリ１７の画像データから道路標識が存在する存在確率ｐを求める標識確率計算処理部２０と、標識の存在確率ｐから標識が存在すると判定する標識存在判定処理部２１と、標識が存在すると判定されたときはフレームメモリ１７の検出エリア内の画像データを２値化する２値化処理部２２とを備えている。

また、フィルタリング処理部２３と、フィルタリングされた画像データの集合から標識の輪郭ｒｉを検出する輪郭検出処理部２４と、輪郭ｒｉの各点の接線角度の計算を行い、この角度のヒストグラムをメモリ２８の標識形状角度分布表と比較し形状の種類を決定する形状種類決定処理部２５と、検査エリア内の標識の画像データの色の濃度分布ＮＱｉを求め、この濃度分布ＮＱｉとデータベース２９に記憶されている標識データの濃度分布Ｎｉとの相関を求め、最も相関が強い画像データの標識をビデオ画像の道路標識とする標識認識処理部２６とを備えている。

前述の標識形状角度分布表及びテンプレートについては後述する。さらに、対象色設定処理部３０と、変換開始指令処理部３１とを備えている。

対象色設定処理部３０は、オペレータによって入力された認識する標識の色ｍｉを全て読み込み、標識確率計算処理部２０に設定するので、１フレームにおけるスリットにかかる青、赤、黄色等の道路標識を全て認識できる。

変換開始指令処理部３１は、ビデオ画像の送出に伴ってビデオデッキ４から送出されるフレーム番号ｋｉが送出される毎に、ＨＳＶ変換処理部１６に対して抽出開始、変換開始指令を送出する。

次に、標識形状角度分布表について説明する。この標識形状角度分布表は、表１に示すように、道路標識の形状符号Ｍｉ（マル、四角、菱形、…）を縦軸欄に配列し、横軸欄に全ての道路標識の角度分布を配列している。例えば、横軸欄には「０度」、「４５度」、「６０度」、「９０度」、「１２０」、……、「３００度」、「３１５度」と配列し、この角度分布と道路標識の形状符号Ｍｉとからなる格子群で、どのような道路標識かを判定ができるようにしている。

この標識形状角度分布表は、図１４に示すように、撮影された画像を記憶する平面に対する座標系（Ｘ−Ｙ）から反時計方向に線をなぞり、Ｘ軸方向の線には「０度」が、＋Ｙ軸方向の線には「９０度」が、−Ｘ軸方向の線には「１８０度」が、−Ｙ軸方向の線には「２７０度」がそれぞれ割り当てられるようにしている。すなわち、特定角度、「０度」、「４５度」、「６０度」、「９０度」、「１２０」、……、「３００度」、「３１５度」の１２ポイントの格子を、それぞれの標識の形状符号毎に設けている。

さらに、これらの１２個の角度についてカウンタを設け、ビデオ画像から抽出した輪郭の接線角度を投票できるようにしている。

そして、本実施の形態では、これらの投票角度をヒストグラムで表現し、ヒストグラムの傾向からビデオ画像で得た標識の形状種類を判定できるようにしている。

また、データベース２９におけるテンプレートは、図３に示すように、道路標識の標準的な種類を示す標識形状Ｍｉと、この種類の標識形状Ｍｉに分類される複数の標識がポリゴンデータＨｉで記憶されていると共に、その標識の色Ｇｉ（周囲の色、中央部の色等）と、数字の有無Ｅｉと、これらを特徴づけるための分布（色、形状、内部の形）から求めた分布関数Ｎｉとを対応させている。

上記のように構成された道路標識自動認識装置について図４、図５のフローチャートを用いて以下に動作を説明する。

本説明では、目的とする道路をビデオカメラ１を搭載した自動車ですでに道路を通行したときの正面（やや右又は左側）のビデオ画像をビデオテープ２に録画し、このビデオテープ２をビデオデッキ４で再生する。また、ＨＳＶ変換処理部１６には 対象色設定処理部３０が変換対象の道路標識の色を知らせ、かつ変換開始指令処理部３１がビデオデッキ４からのビデオ画像のフレーム番号ｋｉを入力し、該入力毎にＨＳＶ変換処理部１６に変換開始信号を送出している。

前述の再生の初期画面（道路標識、道路が表示されている）において、オペレータは表示部１３のタッチパネル１４にペン入力によって例えば、放物線状のスリットｆｉを描く（Ｓ４０１）。

次に、スリット設定処理部１５がこの放物線状のスリットｆｉの軌跡（Ｙ＝ａＸ2＋ｂ）を求める（Ｓ４０３）。このスリットｆｉは半楕円、半円でもよいが本実施の形態では放物線とする。

また、このスリットｆｉの軌跡は画像メモリ１２に記憶されていて、図６に示すように表示することもできる。

このスリットｆｉについて図６を用いて説明する。自動車を走行させながらビデオカメラ１で進行方向を撮影すると、自動車の走行に伴い、その道路シーンは図６に示すように周囲の道路標識Ｒｉ（他に樹木、ガードレール等）が画面の中心（ｆｏ）から放射状に画面の周辺に向かう方向へと移動して行くことになる。

すなわち、画面の中心ｆｏの近くにあった道路標識Ｒｉ´は、自動車が進むにつれて図６に示すように中心ｆｏから離れて画面の端側に位置した道路標識Ｒｉとなり、道路標識Ｒｉが大きく見えてくる。

従って、スリット上の道路標識Ｒｉに対して認識処理を行うようにすれば精度の高い認識処理を行うことが可能となる。

つまり、画面の下の部分は道路となるため、標識を検出する場合にはその部分を無視しても差し支えないので、図６に示すような放物線状のスリットｆｉを用いて必ずスリットｆｉに道路標識Ｒｉがかかるようにしている。

そして、このスリット設定処理部１５で求めた軌跡（Ｙ＝ａＸ2＋ｂ）をＨＳＶ変換処理部１６に送出する。

次に、ＨＳＶ変換処理部１６は、変換開始指令処理部３１からの変換開始信号が送出されたかどうかを判断する（Ｓ４０５）。

ステップＳ４０５において、変換開始信号の入力があると判断したときは、スリット設定処理部１５で求められたスリットｆｉをビデオ画像にかける（Ｓ４０７）。次に、ＨＳＶ変換処理部１６がスリットｆｉにかかっているＲＧＢのビデオ画像をＨＳＶ変換し、このＨＳＶの画像データをフレームメモリ１７に記憶する（Ｓ４０９）。このＨＳＶ変換は、Ｈが色相（Hue）、Ｓが飽和度（Saturation）、Ｖが明度（Value）である。

この変換された値に基づいて、後述する標識存在確率算出部が道路標識の存在確率値を求める。

次に、標識有無仮判定処理部１８は、標識確率計算処理部２０を用いてフレームメモリ１７のスリットｆｉ上の画像データに設定された色ｍｉ（赤、黄色、青等）の色成分が存在している確率Ｐを求めさせ（Ｓ４１０）、この確率Ｐの値で、道路標識Ｒｉがスリットにかかっているかどうかを判断する（Ｓ４１１）。この存在確率の求め方については後述する。

ステップ４１１においては、Ｓ４１０で得られたスリット上の確率分布によって、スリットｆｉ上に道路標識が存在するかどうかを判断する。具体的にいえば、スリットｆｉ上の確率分布をｐ０（ｉ）とし、平滑化したものをｐ１（ｉ）とする。さらに、ｐ１（ｉ）に対して平滑化を行ってｐ２（ｉ）が得られる。イメージとして、ｐ０（ｉ）、ｐ１（ｉ）、ｐ２（ｉ）を図７に示す。ここで、横軸はスリット上の画素番号ｉである。図７に示すように、もしｐ１（ｉ）がｐ２（ｉ）より連続的に大きくて、かつその空間の積分値がある閾値より上回るとき（図中の陰の部分）、そのスリットの範囲を道路標識が存在する可能の範囲とする。

また、ステップＳ４１１において、スリットｆｉにかかる道路標識の色が存在すると判断したときは、スリットｆｉのその範囲を検出エリア設定処理部１９に知らせる（Ｓ４０９）。

検出エリア設定処理部１９は、知らせられたスリット上の標識の範囲を基準とし、この範囲に所定の大きさ（例えば、道路標識が入る大きさの四角型）の検出エリアＷｉをかける（Ｓ４１９）。

そして、標識確率計算処理部２０は、フレームメモリ１７に記憶されている検出エリア内の画像データの色相（Hue）・飽和度（Saturation）・明度（Value）を元に、処理対象の検出エリアをＸ、Ｙ方向になぞって行きながら標識色である可能性を表す存在確率値を計算する（Ｓ４２１）。

また、この計算は、数１、数２、数３及び数４に示すように行われる。例えば、対象色ｍｉの数をｎとし、各色の色相をＨi＝０〜２５５，ｉ＝０，１，２，…，ｎ−１とする。変換しようとする色の色相・飽和度・明度を（ｈ，ｓ，ｖ）とするとき、その色が標識色である確率を次式のように定義する。

ここで色相（ｈ）による存在確率は、

すなわち、ｈ−Ｈｉの絶対値が小さいと、標識の存在確率が高いことになる。

また、飽和度（ｓ）による存在確率は、

ここで、ＳthとＳthは定数である。

さらに、明度（ｖ）による存在確率は、

ここで、ＶthとＶthは定数である。

ｎ＝１の場合、上記の各式のアルゴリズムは単色の検出となる。

前述の式において、色相だけを利用するとしたとき、Ｐs（ｓ）＝Ｐv（ｖ）＝１とおいた場合のＰ（ｈ，ｓ，ｖ）＝Ｐh（ｈ）の変換曲線のイメージ（存在確率の分布を示すヒストグラム）を図８に示す。

次に、標識存在判定処理部２１は、Ｐ（ｈ，ｓ，ｖ）の値から標識が存在するかどうかを判断する（Ｓ４２３）。

ステップＳ４２３において、標識が存在すると判断したときは、２値化処理部２２は、前述のようにして得た確率分布のヒストグラムから動的にしきい値を作成し、この所定のしきい値で２値化する（Ｓ４２５）。

次に、図５に示すように、ノイズを除去するため、得られた２値化画像に対して領域の拡張と縮小を行う（Ｓ５０１）。

次に、輪郭検出処理部２４がこの２値化画像から標識の輪郭を検出する（Ｓ５０３）。まず、スリットとかさなる２値化画像のエッジ部分を探す。探索した位置から３×３のマスクで８連結の輪郭線ｒｉを求める。

このステップＳ５０３における輪郭は、図９の左側に示すように、凹凸の多いものとなる。このため、検出した輪郭から以下の処理によってビデオ画像の道路標識の形状を認識する。

最初、形状種類決定処理部２５が輪郭上の点における接線角度を求める計算を行う（Ｓ５０５）。

接線の角度を計算するときには、局所的な最小二乗法を適用する。たとえば、輪郭上のｉ番目の点の接線角度を計算するときには、ｉ−ｗからｉ＋ｗまでの２ｗ＋１個のデータを利用する。さらに、計算時間を短縮するために、計算機の分野で採用されているパイプラインに相当するような仕組みを導入する。具体的には、最小二乗法で接線の角度を計算するとき、各点の座標値（ｘ，ｙ）に対してｘ，ｙ，ｘ2，ｙ2，ｘｙに関する累積値を計算しなければならないが、ｉ番目点においてｘに関する累積Ｓx,iの計算を例とすると、

となり、ｉ＋１番目点においてはｘに関する累積Ｓx,i+1は

となる。これにより、Ｓx,i+1を計算するための２ｗ＋１回の加算は一回の加算と一回の減算で済むことになる。

ｉ番目の点において計算できたｘ，ｙ，ｘ2，ｙ2，ｘｙに関する各々の平均値をＳx,i，Ｓy,i，Ｓx2,i，Ｓy2,i，Ｓxy,iとすると、接線の角度はθiは次式で与えられる。

上式（７）で求められた接線角度θiは、図１０に示すようにπの不確定性が存在する。ここで、点（ｘi-w，ｙi-w）と点（ｘi+w，ｙi+w）から求められた接線に垂線を引き、交点を（ｘ’i-w，ｙ’i-w）と（ｘ’i+w，ｙ’i+w）で表す。

もし数８（式８）または数９（式９）が負であれば、数７で計算された接線角度θiにπを足す。

このとき、形状種類決定処理部２５は、接線角度θiを特定角度カウンタ（図示せず）に投票する（Ｓ５０５）。

また、特定角への投票とは、道路標識の候補として抽出した輪郭上の各点の接線角度をγiへ投票することである。具体的には、まず各特定角γiについて一つのカウンタＣjを用意し、このカウンタをクリアする。

次に、計算された輪郭上の各点の接線角度について次式のように投票を行う。

投票された結果はヒストグラム分布として得られる（Ｓ５０９）。

次に、データベース２９に記憶されている標準の標識形状Ｍｉ群を読み（Ｓ５１１）、ヒストグラム分布に最も類似する角度群を有する標準形状をビデオカメラ１でとらえた標識形状と決定する（Ｓ５１３）。例えば、ヒストグラムのピークが明らかでない場合、つまり、０度、４５度、９０度、…、３１５度の投票があったときは、その形状が円であるとするものと仮定して最適円を探索する。ある点数以上の輪郭点が最適円にフィットできた場合には、その輪郭は円であると判断する。また、０度、９０度、１８０度、２７０度のピークがヒストグラムから得られたときは、四角形と判定し、この四角形に最も類似するデータベースの四角形を検出した標識の形状と認識する。どの形状にも分類されない場合には標識でないものと判断する。

次に、標識認識処理部は，輪郭エリア内の画像データの濃度の確率分布ＮＱｉを求め、この分布ＮＱｉに最も類似する標識データをデータベースから検索し（Ｓ５１５）、検索した標識データをカメラでとらえた標識と認識する（Ｓ５１７）。そして、この認識した道路標識の標識番号とビデオ画像のフレーム番号（ビデオデッキのビデオカウンタの値）と、道路番号とを送出する。

具体的には、まず、検出できた道路標識領域の大きさをデータベースの標識データのサイズに合わせて正規化する。次に，対応する２値化画像の横方向と縦方向の両方の積分分布を計算する。縦・横方向の両分布と道路情報データベースに学習させた標識の縦・横方向の分布との相関値を計算して、その相関値が最も大きく、かつ、ある閾値を超える場合、そのテンプレートに相当する標識が検出できたものと判断する。

すなわち、図３に示すように標識形状Ｍｉがマルと判定し、ビデオ画像のエリア内の標識の画像データの分布が分布関数Ｎａ１に最も相関しているときは、エリア内のビデオ画像は車両通行止めの道路標識と認識する。

そして、処理が終わったら、Ｓ４０５に戻る。

＜実施の形態２＞
図１１は実施の形態２の道路標識自動認識装置の外観図である。この道路標識自動認識装置４０は、ＧＰＳ受信機４１と、慣性航法装置４２（ＩＮＳ）と、ビデオカメラ１と、ビデオデッキ４と、パソコン本体部４３と、ディスプレィ１３とを専用線でそれぞれ接続した構成であり、自動車に搭載して道路の進行方向を撮影しながらリアルタイムで道路標識を認識し、データベースの道路標識を今回の道路標識に更新する。

ＧＰＳ受信機４１は、ＤＧＰＳ（Differential Global Positioning System）方式、すなわち相対測位方式を利用するＧＰＳ受信機であり、ＧＰＳ衛星からのＧＰＳ信号（電波）を受信して、ビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）を求めて、そのデータを、ＲＳ２３２Ｃインターフェースを経由して、慣性航法装置４２へ送信すると共に、ビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）をパソコン本体部４３に送出する。

また、後述するパソコン本体部からのシャッタトリガ信号が送出される毎に、前述の３次元位置座標を求めたときのＧＰＳ時刻からシャッタトリガ信号が入力したときの時刻（以下シャッタ時刻という）をパソコン本体に送出する。

慣性航法装置４２は、ＧＰＳ受信機４１からのビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）および図示しない車速エンコーダからの車両速度に基づき、推測航法演算により、走行する車両に固定されたビデオカメラ１の位置座標（ｘ，ｙ，ｚ）を正確に求めると同時に、ビデオカメラの姿勢であるカメラ角（ψ，ω，κ）、すなわち、撮影方向の、地球座標系の南北軸に対する傾き角度ψと、東西軸に対する傾き角度ωおよび鉛直方向に対する傾き角度κをリアルタイムに求める。

また、百万分の１秒の分解能の内部タイマ（図示せず）を有し、ＧＰＳからＰＰＳ信号が入力される毎に（毎正秒に）時刻合わせを行い、２０ｍｓｅｃ毎にＩＮＳで計測した姿勢と位置とをパソコン本体部４３に送出する。

従って、ＧＰＳ時計に対する内部タイマの誤差の蓄積を回避することができる。

この推測航法演算を用いることで、例えばトンネル内部等のＧＰＳ測位ができない場所においても、常に測位が可能となっている
パソコン本体部４３では、図示しない距離センサからの走行距離値を入力し、例えば５ｍ毎にシャッタ信号をビデオカメラ１に送出して道路の進行方向を撮影したビデオ画像を入力する。

また、ビデオカメラ１のビデオ画像をビデオデッキ４にて再生した場合は、そのビデオ画像とフレーム番号とを入力する。

そして、シャッタ時刻とカメラ１の位置座標、カメラ角および撮影時刻が入力されると、これらのデータとビデオ画像とを対応づける。

すなわち、道路標識を撮影したときのビデオカメラ１の３次元位置と撮影時刻、ビデオ画像が対応させられる。具体的には、ＧＰＳ受信機４１より１ｓｅｃ毎に出力されるＰＰＳ信号を用いて慣性航法装置４２が内部タイマーの同期をとり、この内部タイマーの時刻ｔkと慣性航法装置４２の位置データと姿勢とを対応させて順次記憶すると共に、ビデオ画像を１コマ毎に、その撮影時刻ｔpとを対応させて順次記憶する。

そして、前回のｔk-1と今回の時刻ｔｋとの間を１／１００万秒間隔で分割し、この分割時刻ｔkkiにおける位置データと姿勢とを補間し、前述の撮影時刻ｔpに一致するデータ（位置、姿勢）を見つけ、このデータと今回のビデオ画像（１コマの）とを対応させる。

すなわち、走行中における道路標識を撮影したときのビデオ画像（１コマ）とカメラ位置とカメラ姿勢とが対応させられたことになる。

そして、本実施の形態１の構成によって、ビデオ画像から道路標識を認識し、この認識した道路標識に対応する記憶されている道路標識を更新する。

つまり、本実施の形態２では上記実施の形態の構成に加えて図１２に示すデータベース４５と、カメラパラメータ設定処理部４６と、標識位置計算処理部４７と、更新処理部４８とを備えている。

データベース４５には、道路名（番号）と、標識番号（番号で種類が分かる）と、標識の位置（Ｘ、Ｙ、Ｚ）とが予め記憶されている。

カメラパラメータ設定処理部４６は、オペレータによって入力された、ビデオカメラの視矢角、カメラサイズ、高さ、光学特性等（総称してカメラパラメータという）を標識位置計算処理部４７に設定する。

標識位置計算処理部４７は、入力されたカメラ姿勢、カメラ位置、撮影時刻ｔｐ、ビデオ画像（１コマ）とを前述の具体的な記載のようにして対応させる。

そして、前述のカメラパラメータと、前述のようにして求めたビデオ画像を撮影したときのカメラ位置及び姿勢とを用いて、ビデオ画像内における道路標識とカメラとの相対位置を求め、この相対位置とカメラ位置及び姿勢等からビデオ画像内の道路標識の絶対位置を決定して更新処理部４８に送出する。

ここでカメラと道路標識との相対位置の計算について説明する。

図１３に示すようにカメラ座標系（ＸＹＺ）を定義する。ここで、カメラ座標系のＸ軸と画像平面のｘ軸と平行し、Ｙ軸がｙ軸と平行する。カメラ座標系のＺ軸がカメラの向きと同じである。画像平面上で検出された道路標識の中心位置は（ｘi，ｙi）であり、標識のサイズはｓiであるとすると、三角関係によって、検出された道路標識とカメラとの相対位置（Ｘi，Ｙi，Ｚi）は数１１（式１１）で与えられる。

ここで、ｋはカメラの焦点距離、１ピクセルあたりのサイズなど諸パラメータによって決められる常数であり、Ｓiは標識の実際のサイズである。

次に、更新処理部４８は、認識した標識番号ｋｉと道路番号とを標識認識処理部２６から入力し、標識位置計算処理部４７で求められた標識の絶対位置に対応する位置データのレコードを引当て、そのレコードの標識番号を認識した標識番号ｋｉに更新する。

従って、認識した道路標識と車両の位置情報、カメラパラメータ等から道路情報を更新できる。

１ ビデオカメラ
２ ビデオテープ ４ ビデオデッキ
１０ 道路標識自動認識装置
１１ ビデオキャプチャー
１４ タッチパネル
１５ スリット設定処理部
１６ ＨＳＶ変換処理部
１７ フレームメモリ
１８ 標識有無仮判定処理部
１９ 検出エリア設定処理部
２０ 標識確率計算処理部
２１ 標識存在判定処理部
２４ 輪郭検出処理部
２５ 形状種類決定処理部

Claims (11)

1. 道路標識が設けられた道路を走行しながら進行方向を撮影したときのビデオ画像の初期画像を静止画で画面に表示させた後に、前記ビデオ画像を動画で表示させたとき、前記道路標識が画面にて最も大きく見えてくるとき道路標識画像をとらえるためのスリット線を前記画面に設定する工程と、
   前記ビデオ画像における前記道路標識の標識色を入力する工程と、
   前記スリット線の設定後に、前記ビデオ画像を動画で前記画面に表示させる工程と、
   前記ビデオ画像の動画表示に伴って、ＲＧＢの画像データを前記スリット線に沿ってＨＳＶ変換する工程と、
   前記ＨＳＶ変換された画像データの値を用いて、色相、飽和度、明度から前記スリット線に標識色が存在する存在確率を求める工程と、
   前記標識色が存在する確率が高いときには、その画像データを得た前記スリット線の位置に重なる画像平面の座標範囲に所定の大きさのエリアを設定する工程と、
   前記エリア内の全ての画像データをＨＳＶ変換し、これらの値から前記標識色の存在確率を求め、該存在確率が高いときは、前記エリア内の道路標識画像の輪郭を求め、この輪郭の角度分布から前記道路標識画像の形状を決定し、この形状と前記道路標識画像の情報の分布関数から前記道路標識画像を認識する工程と
   を有することを特徴とするビデオ画像の道路標識自動認識方法。
2. 前記存在確率は、前記ＨＳＶの画像データの色と、前記入力された標識色との類似度を、色相、飽和度、明度毎にそれぞれ関数で定義し、これらの関数の積を前記標識色の存在確率とすることを特徴とする請求項１記載のビデオ画像の道路標識自動認識方法。
3. 前記道路標識画像の形状の決定は、
   前記道路標識の形状を形成する辺の角度の分布を示す標識形状角度分布表を、全ての道路標識形状毎に予め設け、
   前記エリアが設定されたとき、そのエリア内の所定レベル以上の画像データ群を前記道路標識画像とし、この輪郭を形成する点列の各点の接線角度を算出する工程と、
   前記算出角度が前記予め設けられた標識形状角度分布表の角度に対応したとき、その角度に投票する工程と、
   前記輪郭を一周する毎に、前記投票された投票角度の分布と前記標識形状角度分布表と比較し最も類似する形状を前記道路標識画像の輪郭形状と認識する工程と
   からなることを特徴とする請求項１又は２記載のビデオ画像の道路標識自動認識方法。
4. 前記道路標識画像の認識は、
   道路標識の特徴を正規化分布で、全ての道路標識毎に、標識番号と対応させて予め記憶し、
   前記輪郭形状が認識されたとき、前記道路標識画像の縦、横方向の積分分布を求めて正規化し、この正規化分布と、予め記憶されている前記正規化分布に最も相関が高いものを前記撮影した道路標識画像と認識する工程と
   を有することを特徴とする請求項１、２又は３記載のビデオ画像の道路標識自動認識方法。
5. 前記認識した道路標識画像に対応する標識番号と位置座標を外部に知らせることを特徴とする請求項４記載のビデオ画像の道路標識自動認識方法。
6. 道路標識が設けられた道路を走行しながら進行方向を撮影したときのビデオ画像の初期画像を静止画で画面に表示させた後に、前記ビデオ画像を動画で表示させたとき、前記道路標識が画面にて最も大きく見えてくるとき道路標識画像をとらえるためのスリット線を前記画面に描かせ、前記スリット線に重なる所定の色の画像データ群から前記道路標識の形状、色、特徴等を認識するビデオ画像の道路標識自動認識装置であって、
   前記画面に描かれたスリット線の点列データの座標値を抽出し、これらの座標値から前記スリット線の関数を求め、この範囲を変換範囲として設定するスリット設定処理部と、
   変換範囲が設定される毎に、該変換範囲の初めから終わりまでの画像データをＨＳＶ変換するＨＳＶ変換処理部と、
   前記ＨＳＶ変換された画像データの値と、予め入力された標識色との類似度を、色相、飽和度、明度毎にそれぞれ関数で定義し、これらの関数の積を前記標識色の存在確率とする標識確率計算処理部と、
   前記スリット線の関数を前記ＨＳＶ変換部に設定したとき、前記標識確率計算処理部の存在確率に基づいて前記スリット線に前記道路標識が重なっているかの仮判定を行う標識有無仮判定処理部と、
   前記スリット線に前記道路標識が重なっている可能性があると判定したときは、前記スリット線に重なる前記画像平面のその範囲に所定の大きさのエリアを関数で前記ＨＳＶ変換処理部に設定する検出エリア設定処理部と、
   前記標識確率計算処理部で前記エリアの全般に前記入力された標識色が存在する確率が高いと判定されたときは、そのエリア内の前記標識色の画像データ群の輪郭を検出する輪郭検出処理部と、
   前記輪郭検出処理部で検出された輪郭の点列の接線角度を算出し、該接線角度の分布から前記道路標識画像の形状を決定する形状種類決定処理部と
   を有することを特徴とするビデオ画像の道路標識自動認識装置。
7. 前記エリア内に前記標識色が存在する確率が高いときは、前記エリア内の画像データを２値化する２値化処理部と、
   該２値化された画像データの不要成分をノイズとして除去し、この画像データを前記輪郭検出処理部に送出するフィルタリング処理部と
   を有することを特徴とする請求項６記載のビデオ画像の道路標識自動認識装置。
8. 前記形状種類決定処理部は、
   前記道路標識の形状を形成する辺の角度を、特定角度とし、この特定角度毎に配列した標識形状角度分布表を、全ての道路標識毎に予め設けたデータベースと、
   前記エリアが設定されたとき、そのエリア内の所定レベル以上の画像データ群を前記道路標識画像とし、この輪郭を形成する点列の各点の接線角度を算出する手段と、
   前記算出角度が前記特定角度に対応したとき、その特定角度のカウンタに前記算出角度を投票する手段と、
   前記輪郭を一周する毎に、前記カウンタに投票された投票角度の分布を求め、この投票角度の分布と、予め記憶されている複数種類の道路標識の形状に最も類似する形状を前記道路標識画像の輪郭形状と認識する手段と
   からなることを特徴とする請求項６記載のビデオ画像の道路標識自動認識装置。
9. 前記道路標識の特徴を正規化分布で、全ての道路標識毎に、標識番号と対応させて予め記憶されたデータベースと、
   前記輪郭形状が決定されたとき、前記道路標識画像の縦、横方向の積分分布を求めて正規化し、予め記憶されている前記正規化分布の中で、この正規化分布に最も相関が高いものを前記撮影した道路標識画像と認識する標識認識処理部と
   を有することを特徴とする請求項６及び７記載のビデオ画像の道路標識自動認識装置。
10. 前記標識認識処理部は、
    前記認識した道路標識画像に対応する標識番号を外部に知らせることを特徴とする請求項９記載のビデオ画像の道路標識自動認識装置。
11. ビデオ画像の初期画像を静止画で画面に表示させたときに、前記画面に描かれたスリット線の関数を求めさせる手段と、
    前記ビデオ画像における前記道路標識を識別するための標識色を読み込む手段と、
    前記スリット線が描かれた後に、ビデオデッキに再生信号を送出して前記ビデオ画像を動画で前記画面に表示させる手段と、
    前記ビデオ画像の動画表示に伴って、前記スリット線に重なるＲＧＢの画像データを前記スリット線に沿ってＨＳＶに変換させる手段と、
    前記ＨＳＶ変換された画像データの値を用いて、色相、飽和度、明度から前記スリット線に標識色が存在する存在確率を求めさせる手段と、
    前記標識色が存在する確率が高いときには、その画像データを得た前記スリット線の位置に重なる画像平面の座標位置に所定の大きさのエリアを設定させる手段と、
    前記エリア内の全ての画像データをＨＳＶ変換させ、これらの値から前記標識色の存在確率を求めさせ、該存在確率が高いときは、前記エリア内の道路標識画像の輪郭を求めさせ、この輪郭の角度分布から前記道路標識画像の形状を決定させ、この形状と前記道路標識画像の情報の分布関数から前記道路標識画像を認識させる手段と
    からなるビデオ画像の道路標識自動認識のプログラムを記憶した記憶媒体。

Images