JP7343997B2

JP7343997B2 - 画像処理装置および画像処理方法

Info

Publication number: JP7343997B2
Application number: JP2019070720A
Authority: JP
Inventors: 亮太藤井
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2019-04-02
Filing date: 2019-04-02
Publication date: 2023-09-13
Anticipated expiration: 2039-04-02
Also published as: JP2020170921A

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、例えば、車両の周辺が撮像された画像データから所定の障害物を検知した場合に、当該障害物をポップアップ表示によって車載モニタに表示する技術が提案されている（例えば、特許文献１参照）。

特開２０１３－００５２３３号公報

しかしながら、従来技術では、例えば、付加価値の高い映像を提供する点において改善の余地があった。

本発明は、上記に鑑みてなされたものであって、付加価値の高い映像を提供することができる画像処理装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態に係る画像処理装置は、取得部と、検出部とを備える。前記取得部は、移動体にそれぞれ設けられ、撮像向きがそれぞれ異なる複数の撮像装置で撮像された画像データを取得する。前記検出部は、前記撮像装置毎に設定された検出対象物を前記画像データから検出する。

本発明によれば、付加価値の高い映像を提供することができる。

図１Ａは、画像処理装置の概要を示す図である。図１Ｂは、画像処理方法の概要を示す図である。図２は、画像処理装置のブロック図である。図３は、検出対象物の一例を示す図である。図４は、再生画面のレイアウトの一例を示す図である。図５は、画像処理装置が実行する処理手順を示すフローチャートである。図６は、変形例に係る画像処理装置の模式図である。

以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。なお、以下では、移動体が車両である場合について説明するが、移動体は、車両に限られず、車両以外の移動体、例えば、バイク、船舶や航空機であってもよい。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置および画像処理方法の概要について説明する。図１Ａは、画像処理装置の概要例を示す図である。図１Ｂは、画像処理方法の概要を示す図である。

図１Ａに示すように、実施形態に係る画像処理システムＳは、画像処理装置１と、車載装置５０とを備える。車載装置５０は、例えば、車両上で撮像された画像データを記憶する記憶装置である。図１Ａの例において、車載装置５０は、フロントカメラ１０ｆと、車両の後方を撮像するリアカメラ１０ｂとに接続され、フロントカメラ１０ｆおよびリアカメラ１０ｂによって撮像された画像データをそれぞれ内部の記憶媒体に記憶する。

フロントカメラ１０ｆは、車両の前方を撮像するカメラであり、リアカメラ１０ｂは、車両の後方を撮像するカメラである。本実施形態において、フロントカメラ１０ｆおよびリアカメラ１０ｂは、それぞれ所定のフレームレートで画像データを生成する。なお、フロントカメラ１０ｆおよびリアカメラ１０ｂは、それぞれ撮像装置の一例に対応する。また、撮像装置は、フロントカメラ１０ｆおよびリアカメラ１０ｂに限られず、車両の側方を撮像する側方カメラや、車内を撮像する車内カメラを含むようにしてもよい。また、以下では、フロントカメラ１０ｆおよびリアカメラ１０ｂを区別する必要がない場合、カメラ１０と記載する場合がある。

図１Ａに示す例において、画像処理装置１は、車載装置５０から取得した画像データを再生するいわゆるビュワーソフトを有するコンピュータである。なお、画像処理装置１は、スマートフォンを含む携帯電話機や、タブレット端末や、デスクトップ型ＰＣや、ノート型ＰＣや、ＰＤＡ（Personal Digital Assistant）等の情報処理装置である。また、画像処理装置１には、眼鏡型や時計型の情報処理端末であるウェアラブルデバイス（wearable device）も含まれる。

例えば、図１Ａに示すように、画像処理装置１は、可搬性メモリＭや、ネットワークＮを介して、車載装置５０から画像データを取得することができる。

ところで、従来、車両に搭載されたカメラによって撮像された画像データから所定の障害物を検出し、障害物を強調して表示する技術が提案されている。例えば、従来技術では、画像データから、所定の障害物を検出し、ユーザへ報知しているに過ぎず、付加価値の高い映像を提供する点において改善の余地があった。

そこで、実施形態に係る画像処理方法では、カメラ１０毎に検出対象となる対象物を設定し、画像データからカメラ１０毎に設定された検出対象物を検出する。すなわち、実施形態に係る画像処理方法では、カメラ１０の撮像方向ごとに、ユーザが確認したい対象物が異なる点に着目した。

具体的には、図１Ｂに示すように、例えば、画像処理方法では、フロントカメラ１０ｆによって撮像されたフロント画像Ｄ１と、リアカメラ１０ｂによって撮像されたリア画像Ｄ２とを撮像時刻を同期して同時に再生する。

そして、図１Ｂに示すように、カメラ１０毎に設定された対象物を対応するフロント画像Ｄ１またはリア画像Ｄ２から検出すると、対象物を強調表示した強調画像Ｄｅを表示する。図１Ｂに示す例では、対象物Ｔが、フロント画像Ｄ１に表示されたワゴン車であり、強調画像Ｄｅとして、対象物Ｔを拡大表示するとともに、対象物Ｔに関する付帯情報Ｉが吹き出し表示される場合を示す。また、図１Ｂの例において、付帯情報Ｉが、車種等である場合を示す。

一方、仮に、リア画像Ｄ２にワゴン車が写っていたとしても、リアカメラ１０ｂの対象物としてワゴン車が設定されていなければ、リア画像Ｄ２に写るワゴン車は、検出対象とはならない。

このように、実施形態に係る画像処理方法では、カメラ１０毎に設定された検出対象となる対象物を対応する画像データから検出する。これにより、ユーザのニーズにあわせて、対象物を検出することができる。したがって、実施形態に係る画像処理方法によれば、付加価値の高い映像を提供することができる。

次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、表示装置１００を併せて示す。表示装置１００は、画像処理装置１から入力される映像信号を表示する表示装置である。また、表示装置１００は、図示しない操作部を有しており、ユーザ操作を受け付けることも可能である。

図２に示すように、実施形態に係る画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１と、検出部２２と、生成部２３と、再生部２４とを備える。記憶部３は、画像情報記憶部３１と、走行情報記憶部３２と、モデル情報記憶部３３と、付帯情報記憶部３４と、対象物情報記憶部３５とを備える。

ここで、制御部２は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、検出部２２、生成部２３および再生部２４として機能する。

また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、画像情報記憶部３１、走行情報記憶部３２、モデル情報記憶部３３、付帯情報記憶部３４および対象物情報記憶部３５を有するとともに、各種プログラムの情報等を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

画像情報記憶部３１は、上述のフロント画像Ｄ１やリア画像Ｄ２を記憶する記憶部である。画像情報記憶部３１には、例えば、フロント画像Ｄ１およびリア画像Ｄ２がそれぞれ時系列に並んで格納される。

走行情報記憶部３２は、車両の走行情報を記憶する記憶部である。走行情報記憶部３２には、例えば、車両の走行速度や、車両に働く加速度、車両の舵角等に関する情報が格納される。

モデル情報記憶部３３は、対象物を検出するためのモデルを記憶する記憶部である。例えば、モデル情報記憶部３３には、対象物ごとのモデルが格納される。

付帯情報記憶部３４は、対象物に関する付帯情報を記憶する記憶部である。付帯情報記憶部３４には、モデル情報記憶部３３のモデルに対応する付帯情報が格納される。対象物情報記憶部３５は、検出部２２によって検出された対象物に関する情報を記憶する記憶部である。例えば、対象物情報記憶部３５には、対象物が検出された画像データに関する情報や、上述の強調画像Ｄｅに関する情報等が記憶される。

制御部２は、撮像向きがそれぞれ異なる複数のカメラ１０から画像データを取得するとともに、カメラ１０毎に設定された対象物を画像データから検出する。また、制御部２は、検出した対象物を強調表示する強調画像Ｄｅを生成する。

取得部２１は、移動体にそれぞれ設けられ、撮像向きがそれぞれ異なる複数のカメラ１０で撮像された画像データを取得する。本実施形態において、取得部２１は、図１Ａに示したように、可搬性メモリＭや、ネットワークＮを介して、車載装置５０から画像データを取得し、取得した画像データを画像情報記憶部３１に格納する。また、取得部２１は、車載装置５０から車両の走行情報を取得し、取得した走行情報を走行情報記憶部３２に格納する。

検出部２２は、取得部２１によって取得された画像データからカメラ１０毎に設定された対象物を検出する、例えば、検出部２２は、カメラ１０毎に設定された対象物のモデルを選択し、対応するカメラ１０によって撮像された画像データを入力する。

そして、検出部２２は、モデルから出力されるスコアに基づいて対象物を検出する。具体的には、検出部２２は、上記のスコアが所定値以上である場合、画像データに対象物が写っていると判別する。

図３は、対象物の具体例を示す図である。図３に示す「カメラ種別」は、カメラ１０の種別を示し、「対象物」は、カメラ１０毎に設定された対象物を示す。

図３に示す例では、カメラ種別が、フロントカメラ１０ｆ、リアカメラ１０ｂおよびフロントカメラ１０ｆ／リアカメラ１０ｂに区分される場合を示す。フロントカメラ１０ｆおよびリアカメラ１０ｂは、それぞれフロントカメラ１０ｆおよびリアカメラ１０ｂに設定された対象物を示す。

また、フロントカメラ１０ｆ／リアカメラ１０ｂは、フロントカメラ１０ｆの画像データからリアカメラ１０ｂの画像データへ横断的に移動する対象物または、リアカメラ１０ｂの画像データからフロントカメラ１０ｆの画像データへ横断的に移動する対象物を示す。すなわち、フロントカメラ１０ｆ／リアカメラ１０ｂは、フロントカメラ１０ｆおよびリアカメラ１０ｂの双方の画像データにそれぞれ写る対象物を示す。

このように、複数のカメラ１０によって撮像された画像データを横断的に移動する対象物を検出することで、多様な角度から見た対象物に関する強調画像Ｄｅを提供することが可能となる。

図３に示す例において、フロントカメラ１０ｆには、標識、ふらつき車両、歩行者、落下物、障害物等が対象物として設定され、リアカメラ１０ｂには、あおり運転車両、自車両の落下物等が対象物として設定される場合を示す。

また、図３に示す例において、フロントカメラ１０ｆ／リアカメラ１０ｂには、緊急車両、特定車両、ランドマーク等が対象物として設定される場合を示す。ここで、緊急車両は、救急車、パトカー、消防車を指し、特定車両は、予め設定された特定の車両（軽自動車、乗用車、トラック、セダン、ＳＵＶ等）を指す。なお、特定車両は、例えば、特定の車種などであってもよい。また、ランドマークは、観光施設や、所業施設などを指す。

これらカメラ１０毎の対象物は、例えば、ユーザによって任意に設定することが可能である。また、図３に示す対象物は、一例であり、任意に変更することも可能である。例えば、対象物の検出条件として、気象条件や、走行区間に関する条件を追加したりするなど、さらに条件を設定することにしてもよい。

図２の説明に戻り、生成部２３について説明する。生成部２３は、検出部２２によって検出された対象物を強調した強調画像Ｄｅを生成する。具体的には、生成部２３は、検出部２２によって検出された対象物を拡大表示する強調画像Ｄｅを生成する。また、生成部２３は、検出部２２によって対象物が検出された地点から前後数秒間の強調画像Ｄｅを生成する。

例えば、生成部２３は、検出部２２によって検出された対象物を含む所定範囲を画像データから抽出して、拡大することで強調画像Ｄｅを生成する。なお、この場合、生成部２３は、所定のトリミング処理によって、対象物のみを抽出して、強調画像Ｄｅを生成することにしてもよい。

続いて、生成部２３は、図１Ｂに示したように、対象物に関する付帯情報Ｉを付与した強調画像Ｄｅを生成する。例えば、生成部２３は、付帯情報記憶部３４から対象物に関する付帯情報Ｉを取得し、強調画像Ｄｅに付与する。このとき、生成部２３は、ユーザに応じて、付与する付帯情報Ｉを変更することにしてもよい。

すなわち、例えば、ユーザの属性（年齢や性別など）や興味に基づいて、付帯情報Ｉを変更することも可能である。この場合、ユーザによって適切な付帯情報Ｉを提供することができる。また、生成部２３は、強調画像Ｄｅを生成すると、強調画像Ｄｅを対象物情報記憶部３５に格納する。

このように、生成部２３は、強調画像Ｄｅや付帯情報Ｉを生成する。ユーザは、強調画像Ｄｅや付帯情報Ｉを確認することで、対象物を容易に把握することが可能となる。

再生部２４は、フロント画像Ｄ１およびリア画像Ｄ２を撮像時刻の同期をとって、同時再生するとともに、強調画像Ｄｅを再生する。具体的には、再生部２４は、画像情報記憶部３１からフロント画像Ｄ１およびリア画像Ｄ２を随時読み出して再生する。また、再生部２４は、対象物情報記憶部３５から強調画像Ｄｅを適宜読み出すことで、フロント画像Ｄ１、リア画像Ｄ２および強調画像Ｄｅをそれぞれ再生することができる。

なお、再生部２４は、強調画像Ｄｅのみを再生することも可能である、この場合、強調画像Ｄｅに関する情報を一覧表示し、ユーザによって選択された強調画像Ｄｅを再生することができる。

図４は、再生画面の一例を示す図である。図４に示すように、例えば、再生画面Ｄは、フロント画像領域Ｒｆと、フロント画像Ｄ１に対応する拡大領域Ｒｆ２と、リア画像領域Ｒｂ１と、リア画像Ｄ２に対応する拡大領域Ｒｂ２とを有する。

また、図４の例では、再生画面Ｄに、タグ領域Ｒｔ、マップ画像領域Ｒｍ、センサ画像領域Ｒｓが含まれる場合を示す。

フロント画像領域Ｒｆは、フロント画像Ｄ１が表示される領域であり、拡大領域Ｒｆ２は、フロント画像Ｄ１において検出された対象物の強調画像Ｄｅが表示される領域である。

同様に、リア画像領域Ｒｂ１は、リア画像Ｄ２が表示される領域であり、拡大領域Ｒｂ２は、リア画像Ｄ２から検出された対象物の強調画像Ｄｅが表示される領域である。

また、タグ領域Ｒｔは、例えば、強調画像Ｄｅ（対象物）に関するタグ情報が表示される領域である。例えば、ユーザは、タグ領域Ｒｔに表示されたタグ情報を選択することで、対象物が検出された画像データへスキップ表示させることができる。

また、マップ画像領域Ｒｍは、フロント画像領域Ｒｆおよびリア画像領域Ｒｂにおいて再生中のフロント画像Ｄ１およびリア画像Ｄ２の撮像位置を示すマップ画像が表示される領域である。例えば、再生部２４は、例えば、走行情報記憶部３２から撮像位置に関する情報を読み出すことで、マップ画像を生成する。なお、マップ画像領域Ｒｍに表示されるマップ画像において、車両の位置にアイコンが表示される。

センサ画像領域Ｒｓは、フロント画像領域Ｒｆおよびリア画像領域Ｒｂにおいて再生されるフロント画像Ｄ１およびリア画像Ｄ２の撮像時刻における車両センサの検出結果を示すセンサ画像を表示する領域である。

例えば、センサ画像として、走行速度を示す速度画像や、車両に生じる加速度を示す加速度画像などをセンサ画像領域Ｒｓに表示することができる。なお、図４に示す再生画面Ｄのレイアウトは、一例であり、任意に変更することにしてもよい。

次に、図５を用いて、実施形態に係る画像処理装置１が実行する処理手順について説明する。図５は、画像処理装置１が実行する処理手順を示すフローチャートである。

図５に示すように、まず、画像処理装置１は、画像データを取得すると（ステップＳ１０１）、カメラ１０毎に設定された対象物を検出する（ステップＳ１０２）。続いて、画像処理装置１は、ステップＳ１０２において、検出した対象物が有るか否かを判定する（ステップＳ１０３）。

画像処理装置１は、ステップＳ１０３の判定処理において、対象物を検出していた場合（ステップＳ１０３，Ｙｅｓ）、検出した対象物毎に、付帯情報記憶部３４から付帯情報Ｉを抽出し（ステップＳ１０４）、強調画像Ｄｅを生成し（ステップＳ１０５）、処理を終了する。

また、画像処理装置１は、ステップＳ１０３の判定処理において、対象物を検出していなかった場合（ステップＳ１０３，Ｎｏ）、そのまま処理を終了する。

上述した実施形態では、画像処理装置１は、取得部２１と、検出部２２とを備える。取得部２１は、車両（移動体の一例）にそれぞれ設けられ、撮像向きがそれぞれ異なる複数のカメラ１０で撮像された画像データを取得する。検出部２２は、カメラ１０毎に設定された対象物を画像データから検出する。したがって、実施形態に係る画像処理装置１によれば、付加価値の高い映像を提供することができる。

ところで、上述した実施形態では、画像処理装置１が、車載装置５０から画像データを取得する場合について説明したが、カメラ１０から画像データを取得することにしてもよい。この場合、画像処理装置１は、車載装置５０として機能することも可能である。

図６は、変形例に係る画像処理装置の模式図である。図６に示すように、画像処理装置１Ａには、フロントカメラ１０ｆ、リアカメラ１０ｂが接続される。この場合、画像処理装置１Ａの制御部２－１は、フロントカメラ１０ｆおよびリアカメラ１０ｂからそれぞれ画像データを取得するとともに、カメラ１０毎に設定された対象物を画像データから検出する。

そして、制御部２－１は、検出した対象物に関する画像データを記憶部３－１へ記憶させることができる。ここで、記憶部３－１に記憶させるとは、対象物に関する画像データのみを記憶させることにしてもよいし、あるいは、記憶部３－１がリングバッファ方式の記憶媒体である場合は、対象物に関する画像データに対する上書きを禁止することを含む。つまり、対象物に関する画像データが記憶部３－１に確実に残るように記憶することを指す。

したがって、画像処理装置１Ａにおいては、カメラ１０毎に設定された対象物に関する画像データを確実に記憶部３－１に記憶させることができるので、付加価値の高い映像を提供することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。

１画像処理装置
１０カメラ
１０ｆフロントカメラ
１０ｂリアカメラ
２１取得部
２２検出部
２３生成部
２４再生部

Claims

１台の移動体に設けられ、撮像位置が互いに異なる複数の撮像装置で撮像された画像データを取得し、
取得した前記画像データから、前記撮像装置毎にユーザによって設定可能に設定された対象物を検出し、
検出した前記対象物を強調し、前記対象物に関する付帯情報を付与した強調画像を生成する制御部を有し、
前記制御部は、
ユーザの属性またはユーザの興味に基づいて、前記付帯情報を記憶する付帯情報記憶部に記憶された前記付帯情報を選択し、前記強調画像に含まれる前記付帯情報を変更すること
を特徴とする画像処理装置。
１台の移動体に設けられ、撮像位置が互いに異なる複数の撮像装置で撮像された画像データを取得し、
取得した前記画像データから、前記撮像装置毎にユーザによって設定可能に設定された対象物を検出し、
検出した前記対象物を強調し、前記対象物に関する付帯情報を付与した強調画像を生成する制御工程
を含み、
前記制御工程は、
ユーザの属性またはユーザの興味に基づいて、前記付帯情報を記憶する付帯情報記憶部に記憶された前記付帯情報を選択し、前記強調画像に含まれる前記付帯情報を変更すること
を特徴とする画像処理方法。