JP2014119279A - 画像処理システム - Google Patents

Abstract

【課題】車輌に搭載されたカメラが撮像した画像を利用した娯楽を実現する画像処理システムを提供する。
【解決手段】車載画像処理装置１０は、ハンドル型コントローラ４の回転操作にて左右方向に係る操作を操作受付部１４にて受け付ける。車載画像処理装置１０の画像処理部１１は、受け付けた操作に応じた左右位置にて車載カメラ２の撮像画像から表示画像を抽出し、抽出した画像を表示装置３に表示する。また車載画像処理装置１０は、車載カメラ２が撮像した画像を記憶する記憶部を備えて、記憶した撮像画像から表示画像を抽出して表示装置３に表示してもよい。またハンドル型コントローラ４にアクセルボタン及びブレーキボタンを設けて加減速の操作を受け付け、受け付けた操作に応じて表示する動画像の再生速度を調整してもよい。
【選択図】図２

Description

本発明は、車輌に搭載されたカメラにて周辺の撮像を行い、撮像された画像を表示部に表示する画像処理システムに関する。

従来、車輌には周辺を撮像するカメラが搭載されており、カメラが撮像した画像を基に種々の処理が行われている。例えば、カメラにて車輌の前方を撮像し、撮像された画像を基に道路上の白線を検出し、白線に沿って走行すべく走行制御を行う技術がある。また例えば、車輌の後方を撮像し、撮像した画像を車内の表示部に表示することで、駐車などの支援を行う技術がある。

特許文献１においては、撮像手段の用途を切り替える際に撮像手段の露出制御を適切にすることができる車輌周辺監視装置が提案されている。この車輌周辺監視装置は、車載カメラの撮像範囲に対して設定された測光領域内について測光を行い、その測光結果に基づいて、車載カメラの露出制御を行う。車両周辺監視装置は、撮像範囲に対して相異なる複数の領域Ａ、領域Ｂ及び領域Ｃを指定し、モニタをオン／オフする表示スイッチをユーザが切り替えることで、領域Ａ及び領域Ｂ、又は領域Ｃの何れかを測光領域に設定する。

特開２００９−１４７９０６号公報

従来の技術では、車輌に搭載されたカメラが撮像した画像は、主として運転者による車輌の運転の補助を目的として利用されている。車輌の走行中に同乗者の娯楽を目的として、カメラが撮像した画像を利用することはなかった。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、車輌に搭載されたカメラが撮像した画像を利用した娯楽を実現する画像処理システムを提供することにある。

本発明に係る画像処理システムは、車輌の周辺を撮像する車載カメラと、車輌の操向に係る操作を受け付ける操向操作受付部と、該操向操作受付部が受け付けた操作に応じて、前記車載カメラが撮像した画像から一部分を抽出する画像処理を行う画像処理部と、該画像処理部が抽出した画像を表示する表示部とを備えることを特徴とする。

また、本発明に係る画像処理システムは、前記車載カメラが、前記車輌の前方を撮像し、前記操向操作受付部は、操舵輪形状の操作部材の回転により操向に係る操作を受け付け、前記画像処理部は、前記操向操作受付部が受け付けた操作に応じて、前記車載カメラが撮像した画像からの左右方向に関する抽出位置を決定するようにしてあることを特徴とする。

また、本発明に係る画像処理システムは、前記車載カメラが撮像した画像を記憶する記憶部を備え、前記画像処理部は、前記記憶部に記憶された画像から一部分を抽出する画像処理を行うようにしてあることを特徴とする。

また、本発明に係る画像処理システムは、前記車載カメラが、動画像を撮像するカメラであり、前記画像処理部は、前記動画像を構成する時系列的な複数の静止画像から、前記操向操作受付部が受け付けた操作に応じた画像の抽出を行うようにしてあり、車輌の走行の加減速に係る操作を受け付ける加減速操作受付部を更に備え、該加減速操作受付部が受け付けた加減速に係る操作に応じた速度で、前記画像処理部が抽出した複数の画像を前記表示部に順次表示するようにしてあることを特徴とする。

本発明においては、車輌の操向に係る操作を受け付ける操向操作受付部を備え、受け付けた操作に応じて車載カメラが撮像した画像から一部分を抽出して表示部に表示する。これにより例えば車輌の走行中に、同乗者が表示部にて車載カメラによる撮像画像を見て楽しむことができると共に、操向操作により表示される画像の方向を変更することができる。

また、本発明においては、車載カメラにて車輌前方を撮像すると共に、ハンドル形状の部材の回転により操向操作を受け付け、受け付けた操作に応じて撮像画像からの左右方向に関する抽出位置を決定し、画像の一部分を抽出して表示する。これにより、同乗者はハンドル形状の部材を回転させることによって、表示部に表示される画像を左右に移動させることができる。よって、同乗者は車輌の運転を疑似的に楽しむことができる。

また、本発明においては、車載カメラが撮像した画像を記憶部に記憶し、記憶した画像から表示のための抽出を行う。これにより、車輌が走行していない場合であっても、以前の走行の際に記憶した画像を表示することができる。

また、本発明においては、車載カメラは動画像を撮像するものであり、動画像を構成する時系列的な複数の静止画像から操向操作に応じた画像の抽出を行い、抽出した画像を表示部にて順次表示することにより、操向操作に応じた動画像の再生を行う。更に、加減速に係る操作を受け付け、加減速の操作に応じて抽出した画像を順次表示する速度を調整する、即ち動画像の再生速度を調整する。これにより、車輌のアクセル及びブレーキ操作を擬似的に楽しむことができる。

本発明による場合は、受け付けた操向操作に応じて車載カメラの撮像画像から一部分を抽出して表示部に表示する構成とすることにより、操向操作によって表示画像の方向を変更しながら車載カメラによる撮像画像を見て楽しむことができる。また本発明による場合は、ハンドル形状の部材の回転に応じて車輌前方の撮像画像から一部分を抽出して表示する構成とすることにより、車輌の運転を擬似的に楽しむことができる。このように本発明は、車載カメラが撮像した画像を利用した娯楽を実現することができる。

本実施の形態に係る画像処理システムの概略を説明するための模式図である。 実施の形態１に係る車載画像処理装置の構成を示すブロック図である。 車載画像処理装置による画像抽出処理を説明するための模式図である。 車載画像処理装置による画像抽出処理を説明するための模式図である。 車載画像処理装置が行う処理の手順を示すフローチャートである。 変形例に係る画像処理システムの構成を示す模式図である。 実施の形態２に係る画像処理システムの構成を示すブロック図である。

（実施の形態１）
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本実施の形態に係る画像処理システムの概略を説明するための模式図である。図において１は車輌であり、車輌１の前部には車載カメラ２が設けられている。車載カメラ２は、例えば車輌１のバンパー又はその近傍等に搭載され、車輌１の前方を撮像する。車載カメラ２は、撮像した画像を車載画像処理装置１０へ出力する。なお車載カメラ２は、ドライブレコーダと共用のものであってもよい。

車輌１内には、例えば運転席のシートの背面などに、表示装置３が設けられている。表示装置３は、シート背面などに固定されているものであってもよく、取り外し可能な可搬型のものであってもよく、カーナビゲーション装置などの表示部と共用のものであってもよい。表示装置３は、車載画像処理装置１０から入力される画像を表示する。表示装置３及び車載画像処理装置１０の間の情報の送受信は、有線又は無線のいずれで行ってもよい。表示装置３が可搬型のものであり、表示装置３及び車載画像処理装置１０が有線にて情報の送受信を行う場合、例えば表示装置３を装着する機構、及び、表示装置３との電気的接続を行うためのコネクタ等を、シートの背面などに設ける構成とすることができる。

また本実施の形態に係る画像処理システムは、ハンドル型コントローラ４を備えている。ハンドル型コントローラ４は、ユーザが回転操作によって擬似的に車輌１の操向操作を行うものである。ハンドル型コントローラ４は、ユーザによる操作を検知し、検知結果を車載画像処理装置１０へ出力する。ハンドル型コントローラ４は、ユーザが把持する円形又は矩形等のハンドル部分を有し、例えばハンドル部分はその中央に設けられた回転軸にて筐体に枢支され、筐体内に収容されたロータリエンコーダなどにて回転軸の回転角などを検知し、検知結果を出力する構成とすることができる。この場合、例えば車輌１内のシート背面などに、ハンドル型コントローラ４の筐体を着脱可能に固定する構成としてもよい。また例えば、ハンドル型コントローラ４は、回転軸及び筐体等を備えず、ハンドル部分に加速度センサなどを搭載して、ハンドル部分に加えられた回転操作により生じる加速度などを検知して出力する構成としてもよい。ハンドル型コントローラ４及び車載画像処理装置１０の間の情報の送受信は、有線又は無線のいずれで行ってもよい。また表示装置３及びハンドル型コントローラ４は、１つの装置として提供されるものであってもよい。

車載画像処理装置１０は、車輌１の適所に搭載され、車載カメラ２及びハンドル型コントローラ４から情報が入力されると共に、表示装置３へ情報（画像）を出力している。車載画像処理装置１０は、例えばボディＥＣＵ（Electronic Control Unit）又はカーナビゲーション装置等の車載機器として提供されるものであってよい。図２は、実施の形態１に係る車載画像処理装置１０の構成を示すブロック図である。

車載画像処理装置１０は、画像処理部１１、画像入力部１２、画像出力部１３及び操作受付部１４等を備えて構成されている。画像入力部１２は、車載カメラ２からの画像信号が入力され、入力された画像信号をデジタルの画像データとして画像処理部１１へ与える。操作受付部１４は、ハンドル型コントローラ４から入力された操作に係る信号（例えばハンドル部分の回転角又は回転速度等を示す信号）をサンプリングすることで操作の受け付けを行い、受け付けた操作、即ちサンプリングしたデータを画像処理部１１へ与える。

画像処理部１１は、操作受付部１４にて受け付けた操作に応じて、画像入力部１２から与えられた車載カメラ２による撮像画像からその一部分を抽出し、抽出した画像を画像出力部１３へ与える。画像出力部１３は、画像処理部１１から与えられた画像を、表示装置３の表示に適した画像信号として出力する。

図３及び図４は、車載画像処理装置１０による画像抽出処理を説明するための模式図である。車輌１の前部に搭載された車載カメラ２は、車輌１の前方を所定範囲に亘って撮像する。図３及び図４においては、車載カメラ２の撮像範囲５１を実線の略扇形の領域として図示してある。車載カメラ２は、撮像した画像を車載画像処理装置１０へ出力する。図３及び図４においては、車載カメラ２の撮像画像を実線の横長の長方形として図示してある。

例えばハンドル型コントローラ４の回転位置が初期位置（即ち左右のいずれにも回転されていない状態）の場合、車載画像処理装置１０は、車載カメラ２の撮像画像５２から、左右方向に関して略中央に位置する所定範囲の画像を表示用画像５３として抽出し、表示装置３へ出力する。なお図３及び図４においては、表示用画像５３を２本の破線で左右が挟まれた領域として図示してある。表示用画像５３の左右の幅は、表示装置３に表示可能な画像のサイズに合わせて決定すればよい。

また例えばハンドル型コントローラ４が右側へ（時計回りに）回転操作された場合、車載画像処理装置１０は、撮像画像５２から抽出する表示用画像５３の位置を、撮像画像５２における右方向へ、ハンドル型コントローラ４の回転角又は回転量等に応じて移動させる。これにより表示装置３に表示される画像は、車輌１の前方の右側を撮像したものとなる。なお図示は省略するが、ハンドル型コントローラ４が左側へ（反時計回りに）回転操作された場合、車載画像処理装置１０は、撮像画像５２における左方向へ表示用画像５３の抽出位置を移動させればよい。

図５は、車載画像処理装置１０が行う処理の手順を示すフローチャートである。車載画像処理装置１０の画像処理部１１は、車載カメラ２から画像入力部１２へ入力された撮像画像を取得する（ステップＳ１）。また画像処理部１１は、操作受付部１４にてサンプリングされたデータを取得することでハンドル型コントローラ４に対するユーザの操作を受け付ける（ステップＳ２）。

画像処理部１１は、ステップＳ２にて受け付けた操作（即ちハンドル型コントローラ４の回転角など）に応じて、ステップＳ１にて取得した撮像画像から抽出する表示用画像の抽出位置を算出する（ステップＳ３）。次いで画像処理部１１は、算出した抽出位置を基に所定範囲の表示画像を撮像画像から抽出する（ステップＳ４）。画像処理部１１は、抽出した表示用画像を画像出力部１３へ与えることにより表示装置３へ出力し（ステップＳ５）、処理を終了する。なお画像処理部１１は、上記のステップＳ１〜Ｓ５の処理を所定周期で繰り返し行っている。

以上の構成の実施の形態１に係る画像処理システムは、ハンドル型コントローラ４の回転操作にて左右方向に係る操作を受け付け、受け付けた操作に応じた左右位置にて車載カメラ２の撮像画像から表示画像を抽出し、抽出した画像を表示装置３に表示する。これにより、例えば車輌１の走行中に、同乗者が車載カメラ２による撮像画像を表示装置３にて見ることができ、ハンドル型コントローラ４を操作することによって表示される画像を左右に移動させることができる。よって、同乗者は車輌１の運転を擬似的に楽しむことができる。

なお本実施の形態においては、車輌１に車載カメラ２を１つ搭載する構成としたが、これに限るものではなく、車輌１に複数の車載カメラ２を搭載してもよい。車載カメラ２を複数搭載する場合、例えば車載画像処理装置１０は、複数の撮像画像を合成した１つの撮像画像を生成し、生成した撮像画像から表示画像を抽出する構成とすることができる。また例えば車載画像処理装置１０は、複数の撮像画像から３次元表示用の画像を生成して出力する構成としてもよい。また本実施の形態においては、ハンドル型コントローラ４にて左右方向に係る操作を受け付ける構成としたが、これに限るものではない。例えば十字キー、レバー又は左右に対応した２つのプッシュボタン等を有するコントローラにて操作を受け付ける構成としてもよい。また十字キーのように上下方向に係る操作を受け付け可能な構成の場合、車載画像処理装置１０は、上下方向についても撮像画像から抽出する表示画像の位置を変更してよい。

（変形例）
図６は、変形例に係る画像処理システムの構成を示す模式図である。変形例に係る画像処理システムは、車輌１に搭載された車載カメラ２及び車載無線通信装置１２０と、ユーザが所持する可搬型のゲーム機１０１とを備えている。車載カメラ２は、車輌１の前部に搭載され、車輌１の前方を撮像し、撮像した画像を車載無線通信装置１２０へ与える。車載無線通信装置１２０は、例えば無線ＬＡＮ（Local Area Network）などによりゲーム機１０１との無線通信を行い、車載カメラ２が撮像した画像を無線によりゲーム機１０１へ送信する。

ゲーム機１０１は、液晶パネルなどによる表示部１０３と、十字キー１０４を含む複数のキー又はボタン等を有する操作部とを備えている。またゲーム機１０１は、例えば無線ＬＡＮなどにより車載無線通信装置１２０との間で無線通信を行う機能を有しており、車載無線通信装置１２０から送信された車載カメラ２の撮像画像を無線により受信することができる。

ゲーム機１０１は、十字キー１０４にて左右方向に係る操作を受け付けることにより、擬似的な車輌１の操向操作を受け付ける。ゲーム機１０１は、十字キー１０４にて受け付けた左右方向の操作に応じて、無線により受信した車載カメラ２の撮像画像から表示部１０３に表示する表示画像を抽出する。このときの画像抽出方法は、図３及び図４にて示したものと同様である。

このように、車載カメラ２の撮像画像から表示画像を抽出する画像処理は、車輌１に搭載された車載画像処理装置１０にて行ってもよく、ユーザが所持するゲーム機１０１にて行ってもよい。またゲーム機１０１に限らず、例えば携帯電話機、スマートフォン、タブレット型端末又はノートパソコン等の情報処理装置を用いて同様の処理を行うことができる。

（実施の形態２）
図７は、実施の形態２に係る画像処理システムの構成を示すブロック図である。実施の形態２に係る画像処理システムの車載画像処理装置２１０は、車載カメラ２から画像入力部１２へ入力された撮像画像を記憶する記憶部２１５を備えている。記憶部２１５は、例えばフラッシュメモリ又はハードディスク等の大容量の不揮発性記憶装置で構成されている。画像処理部１１は、車輌１の走行中に車載カメラ２にて撮像された撮像画像を記憶部２１５に記憶する。撮像画像の記憶は、例えば車輌１のイグニッションスイッチがオンされてからオフされるまでの期間に亘って画像処理部１１が自動的に行ってもよく、また例えばユーザにより記憶開始及び停止の操作を受け付けて行ってもよい。

また実施の形態２に係る画像処理システムのハンドル型コントローラ２０４は、ユーザが回転操作を行うためのハンドル部分２０４ａの他に、加減速の操作を行うためのアクセルボタン２０４ｂ及びブレーキボタン２０４ｃを備えている。アクセルボタン２０４ｂ及びブレーキボタン２０４ｃは、例えばハンドル部分２０４ａの適所に配したプッシュボタンであってよく、また例えばユーザが足で操作するペダル型のものであってよく、その他の構成であってもよい。車載画像処理装置２１０の操作受付部１４は、ハンドル型コントローラ２０４のハンドル部分２０４ａに対する操作を受け付けると共に、アクセルボタン２０４ｂ及びブレーキボタン２０４ｃに対する操作を受け付けて画像処理部１１へ通知する。

車載画像処理装置２１０の画像処理部１１は、図示しない操作部（車載画像処理装置２１０、表示装置３又はハンドル型コントローラ２０４のいずれに設けられていてもよい）にて画像表示の開始指示を受け付けた場合、記憶部２１５に記憶された撮像画像を読み出し、表示画像を抽出して出力することにより、表示装置３に画像を表示する。このとき画像処理部１１は、ハンドル型コントローラ２０４のハンドル部分２０４ａに対する操作（ハンドル部分２０４ａの回転角など）に応じて、撮像画像から抽出する表示画像の左右方向に関する位置を決定する（図３及び図４に示した方法と同様である）。

また画像処理部１１は、表示装置３に表示する画像を例えば１秒間に数十回程度の頻度で更新しながら順次的に表示することにより、表示装置３に動画像を表示する。このときに画像処理部１１は、表示する動画像の再生速度を、ハンドル型コントローラ２０４のアクセルボタン２０４ｂ及びブレーキボタン２０４ｃに対する操作に応じて増減する。例えばアクセルボタン２０４ｂに対する操作がなされた場合、画像処理部１１は、動画像の再生速度を徐々に増加させる（加速する）。また例えばブレーキボタン２０４ｃに対する操作がなされた場合、画像処理部１１は、動画像の再生速度を徐々に減少させる（減速する）。

以上の構成の実施の形態２に係る画像処理システムは、車載カメラ２が撮像した画像を車載画像処理装置２１０が記憶部２１５に記憶し、記憶した撮像画像から表示画像を抽出して表示装置３に表示する。これにより、例えば車輌１が走行していない場合であっても、以前の走行の際に記憶した撮像画像を表示装置３に表示して、ユーザが車輌１の運転を擬似的に楽しむことができる。なお、記憶部２１５に記憶した撮像画像に基づく表示は、車輌１の走行中に行ってもよい。

またハンドル型コントローラ２０４に設けたアクセルボタン２０４ｂ及びブレーキボタン２０４ｃに対する加減速の操作に応じて、表示装置３に表示する動画像の再生速度を調整する。これによりユーザは、車輌１のハンドル操作に加えて、アクセル及びブレーキ操作を擬似的に楽しむことができる。

なお本実施の形態においては、アクセルボタン２０４ｂ及びブレーキボタン２０４ｃにて加減速の操作を受け付ける構成としたが、ハンドル型コントローラ２０４に更に別のボタンを設けてもよい。例えば車輌１の後退操作を行うためのバックボタンを設け、バックボタンに対する操作がなされた場合には、動画像を逆再生（巻き戻し再生）して表示装置３に表示すればよい。

また記憶部２１５は、メモリカードなどの可搬型の記憶媒体であってよい。例えば実施の形態２に係る画像処理システムを、図６に示したシステム構成とした場合、ゲーム機１０１に記憶媒体を装着し、ゲーム機１０１が記憶媒体から撮像画像を読み出して表示画像を抽出し、表示部１０３に表示する構成とすることができる。これにより、無線通信機能を有していないゲーム機１０１を用いる場合、又は、ゲーム機１０１が車載無線通信装置１２０との通信範囲外に存在している場合等であっても、ゲーム機１０１を用いて車輌１の擬似的な運転を楽しむことができる。

また実施の形態２に係る画像処理システムのその他の構成は、実施の形態１に係る画像処理システムの構成と同様であるため、同様の箇所には同じ符号を付して詳細な説明を省略する。

１ 車輌
２ 車載カメラ
３ 表示装置（表示部）
４ ハンドル型コントローラ（操向操作受付部）
１０ 車載画像処理装置
１１ 画像処理部
１２ 画像入力部
１３ 画像出力部
１４ 操作受付部（操向操作受付部、加減速操作受付部）
５１ 撮像範囲
５２ 撮像画像
５３ 表示用画像
１０１ ゲーム機（操向操作受付部、画像処理部）
１０３ 表示部
１０４ 十字キー（操向操作受付部）
１２０ 車載無線通信装置
２０４ ハンドル型コントローラ
２０４ａ ハンドル部分
２０４ｂ アクセルボタン（加減速操作受付部）
２０４ｃ ブレーキボタン（加減速操作受付部）
２１０ 車載画像処理装置
２１５ 記憶部

Claims (4)

1. 車輌の周辺を撮像する車載カメラと、
   車輌の操向に係る操作を受け付ける操向操作受付部と、
   該操向操作受付部が受け付けた操作に応じて、前記車載カメラが撮像した画像から一部分を抽出する画像処理を行う画像処理部と、
   該画像処理部が抽出した画像を表示する表示部と
   を備えることを特徴とする画像処理システム。
2. 前記車載カメラは、前記車輌の前方を撮像し、
   前記操向操作受付部は、操舵輪形状の操作部材の回転により操向に係る操作を受け付け、
   前記画像処理部は、前記操向操作受付部が受け付けた操作に応じて、前記車載カメラが撮像した画像からの左右方向に関する抽出位置を決定するようにしてあること
   を特徴とする請求項１に記載の画像処理システム。
3. 前記車載カメラが撮像した画像を記憶する記憶部を備え、
   前記画像処理部は、前記記憶部に記憶された画像から一部分を抽出する画像処理を行うようにしてあること
   を特徴とする請求項１又は請求項２に記載の画像処理システム。
4. 前記車載カメラは、動画像を撮像するカメラであり、
   前記画像処理部は、前記動画像を構成する時系列的な複数の静止画像から、前記操向操作受付部が受け付けた操作に応じた画像の抽出を行うようにしてあり、
   車輌の走行の加減速に係る操作を受け付ける加減速操作受付部を更に備え、
   該加減速操作受付部が受け付けた加減速に係る操作に応じた速度で、前記画像処理部が抽出した複数の画像を前記表示部に順次表示するようにしてあること
   を特徴とする請求項３に記載の画像処理システム。

Images