JP5533766B2 - Vehicle display device - Google Patents
Vehicle display device Download PDFInfo
- Publication number
- JP5533766B2 JP5533766B2 JP2011084000A JP2011084000A JP5533766B2 JP 5533766 B2 JP5533766 B2 JP 5533766B2 JP 2011084000 A JP2011084000 A JP 2011084000A JP 2011084000 A JP2011084000 A JP 2011084000A JP 5533766 B2 JP5533766 B2 JP 5533766B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- size
- emphasized
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 105
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 description 39
- 239000004973 liquid crystal related substance Substances 0.000 description 19
- 238000012545 processing Methods 0.000 description 16
- 239000013256 coordination polymer Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004297 night vision Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 239000000872 buffer Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 241000282994 Cervidae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Instrument Panels (AREA)
Description
車両の前方領域を撮影した前方画像を表示する車両用表示装置に関する。 The present invention relates to a vehicle display device that displays a front image obtained by photographing a front area of a vehicle.
従来、車両の前方領域に存在する検出対象物を視認者に分り易く示すために、この前方領域を撮影した前方画像に、検出対象物の画像を強調する強調画像を重畳して表示する、例えば特許文献1及び特許文献2に開示されているような車両用表示装置が知られている。 Conventionally, in order to easily show the detection target existing in the front area of the vehicle to the viewer, an emphasized image that emphasizes the image of the detection target is superimposed on the front image obtained by photographing the front area, for example, A vehicle display device as disclosed in Patent Document 1 and Patent Document 2 is known.
特許文献1に開示の車両用表示装置は、前方領域を撮影する赤外線暗視カメラと、人間等の画像の前方画像における位置座標を算出する特定画像抽出手段と、を備えている。特許文献1の車両用表示装置は、赤外線暗視カメラによって現在撮影されている前方画像において、特定画像抽出手段によって過去の前方画像から算出された座標位置に、強調画像としてのマークをマーク貼り付け手段によって貼り付けて、表示装置に順次表示する。 The vehicle display device disclosed in Patent Literature 1 includes an infrared night-vision camera that captures a front region, and a specific image extraction unit that calculates position coordinates in a front image of an image of a person or the like. The vehicular display device of Patent Document 1 pastes a mark as an emphasized image at a coordinate position calculated from a previous front image by a specific image extraction unit in a front image currently captured by an infrared night vision camera. Affixed by means and displayed sequentially on the display device.
特許文献2に開示の車両用表示装置は、前方領域を撮影する撮影装置と、検出対象物の画像の位置を特定する解析を行う画像解析部と、を備えている。さらに、特許文献2の車両用表示装置は、前方画像における検出対象物の画像と、前方画像に重畳される強調画像としてのマーカ画像とがずれないように、前方画像をバッファリングする画像バッファリング部を備えている。特許文献2の車両用表示装置は、画像バッファリング部に記憶される前方画像について、検出対象物の画像の位置を特定する解析を画像解析部によって行う。そして、車両用表示装置は、画像バッファリング部に記憶された前方画像において、画像解析部によって特定された検出対象物の画像の位置に、マーカ画像を重畳し、画像出力部から出力する。以上のように、特許文献2の車両用表示装置では、位置を特定する解析が行われる前方画像と、解析結果に基づいてマーカ画像が重畳される前方画像とは、一致している。故に、検出対象物の画像とマーカ画像とのずれは、抑制される。 The vehicle display device disclosed in Patent Literature 2 includes an imaging device that captures a front region and an image analysis unit that performs an analysis that identifies the position of the image of the detection target. Further, the vehicular display device disclosed in Patent Document 2 is an image buffering that buffers the front image so that the image of the detection target in the front image and the marker image as the emphasized image superimposed on the front image do not shift. Department. The vehicular display device of Patent Literature 2 performs an analysis for specifying the position of the image of the detection target for the front image stored in the image buffering unit by the image analysis unit. Then, the vehicular display device superimposes the marker image on the position of the image of the detection target specified by the image analysis unit in the front image stored in the image buffering unit, and outputs the marker image from the image output unit. As described above, in the vehicle display device disclosed in Patent Document 2, the front image in which the analysis for specifying the position is performed and the front image in which the marker image is superimposed based on the analysis result are the same. Therefore, the shift between the detection target image and the marker image is suppressed.
さて、特許文献2の車両用表示装置では、前方画像をバッファリングする画像バッファリング部が必要なため、装置の構成は複雑化する。一方で、特許文献1の車両用表示装置は、赤外線暗視カメラによって撮影される現在の前方画像を順次表示するので、特許文献2の車両用表示装置よりも構成を簡素化し得る。しかし、特許文献1の車両用表示装置では、人物の画像に的確にマークを貼り付けることが、困難である。その理由を、以下に説明する。 Now, in the display apparatus for vehicles of patent document 2, since the image buffering part which buffers a front image is required, the structure of an apparatus becomes complicated. On the other hand, the vehicular display device of Patent Document 1 sequentially displays the current front image captured by the infrared night vision camera, so that the configuration can be simplified compared to the vehicular display device of Patent Document 2. However, in the vehicle display device of Patent Document 1, it is difficult to paste a mark accurately on a person's image. The reason will be described below.
特許文献1の車両用表示装置では、特定画像抽出手段が前方画像から人間の画像の位置座標を算出している時間に、車両は、前方領域に存在する実際の人間に接近する。故に、赤外線暗視カメラによって撮影されている現在の前方画像における人間の画像は、位置座標の算出された過去の前方画像における人間の画像よりも、前方画像に大きく映るようになる。そのため、過去の前方画像における人間の画像に対応するマークは、現在の前方画像に貼り付けられても、現在の前方画像に映る人間等の検出対象物の画像に的確に対応できない場合が生じたのである。 In the vehicle display device disclosed in Patent Document 1, the vehicle approaches an actual person existing in the front area during the time when the specific image extraction unit calculates the position coordinates of the human image from the front image. Therefore, the human image in the current forward image captured by the infrared night vision camera appears larger in the forward image than the human image in the past forward image whose position coordinates are calculated. Therefore, even if the mark corresponding to the human image in the past front image is pasted on the current front image, it may not be able to accurately correspond to the image of the detection target object such as a human shown in the current front image. It is.
本発明は、上記問題点に鑑みてなされたものであって、その目的は、簡素な構成を維持しつつ、検出対象物の画像に強調画像を的確に重畳させられる車両用表示装置を提供することである。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle display device capable of accurately superimposing an emphasized image on an image of a detection target while maintaining a simple configuration. That is.
上記目的を達成するために、請求項1に記載の発明では、車両の前方領域を撮影する撮像手段によって順次生成される前方画像から、当該前方領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を前方画像に重畳して順次表示する車両用表示装置であって、撮像手段から前方画像を順次取得する画像取得手段と、画像取得手段によって取得された前方画像から検出対象物の画像を検出することにより、前方画像における検出対象物の画像の位置情報及び大きさ情報を抽出する対象物情報抽出手段と、車両の走行速度の情報を取得する速度情報取得手段と、対象物情報抽出手段によって抽出された大きさ情報に対応する強調画像のサイズを基準サイズとし、速度情報取得手段によって取得された情報による走行速度が速くなるに従って、強調画像を基準サイズに対して大きく拡大して描画する描画手段と、画像取得手段によって順次取得されている現在の前方画像において、対象物情報抽出手段によって抽出された位置情報に対応する位置に、描画手段によって拡大して描画された強調画像を重畳して順次表示する表示手段と、を備える車両用表示装置とする。 In order to achieve the above object, in the invention described in claim 1, an image of a detection target existing in the front area is detected from a front image sequentially generated by an imaging unit that images the front area of the vehicle. A display device for a vehicle that sequentially displays an emphasized image that enhances an image of the detection target object in a superimposed manner on a front image, the image acquiring unit sequentially acquiring a front image from an imaging unit, and acquired by the image acquiring unit By detecting the image of the detection object from the front image, the object information extracting means for extracting the position information and the size information of the image of the detection object in the front image, and the speed information for acquiring the vehicle speed information The size of the emphasized image corresponding to the size information extracted by the acquisition means and the object information extraction means is set as a reference size, and the running based on the information acquired by the speed information acquisition means is performed. The position information extracted by the object information extracting means in the drawing means for drawing the emphasized image greatly enlarged with respect to the reference size as the speed increases, and the current forward image sequentially obtained by the image obtaining means The vehicle display device includes display means for sequentially displaying the emphasized images enlarged and drawn by the drawing means at positions corresponding to the above.
この発明によれば、描画手段は、描画する強調画像のサイズを、走行速度取得手段によって取得された車両の走行速度が速くなるに従って、対象物情報抽出手段によって抽出された大きさ情報に対応する基準サイズに対して、大きく拡大する。そして、表示手段は、画像取得手段によって時系列的に順次取得されている現在の前方画像において、対象物情報抽出手段によって抽出された位置情報に対応する位置に、描画手段によって拡大して描画された強調画像を重畳し、順次表示する。 According to this invention, the drawing unit corresponds to the size information extracted by the object information extracting unit as the vehicle traveling speed acquired by the traveling speed acquiring unit increases in size. Enlarges the reference size. Then, the display means is enlarged and drawn by the drawing means at a position corresponding to the position information extracted by the object information extracting means in the current front image sequentially acquired in time series by the image acquiring means. The highlighted images are superimposed and displayed sequentially.
以上の処理において、対象物情報抽出手段が前方画像から検出対象物の画像を検出し、位置情報及び大きさ情報を抽出している時間に、車両は、前方領域に存在する実際の検出対象物に接近する。故に、画像取得手段によって順次取得されている現在の前方画像における検出対象物の画像は、位置情報及び大きさ情報の抽出された過去の前方画像における検出対象物の画像よりも、前方画像に大きく映るようになる。さらに、車両の走行速度が速くなるに従って、現在の前方画像における検出対象物の画像は、過去の前方画像における検出対象物の画像に対して、大きく拡大されて前方画像に映るようになる。以上により、車両の走行速度が高くなるに従って強調画像が大きく拡大されることにより、強調画像のサイズは、画像取得手段によって取得されている現在の前方画像に映る検出対象物の画像の大きさに、的確に対応し得る。 In the above processing, during the time when the object information extracting unit detects the image of the detection object from the front image and extracts the position information and the size information, the vehicle is detected as an actual detection object existing in the front area. To approach. Therefore, the image of the detection object in the current front image sequentially acquired by the image acquisition means is larger in the front image than the image of the detection object in the past front image from which the position information and the size information are extracted. It will be reflected. Furthermore, as the traveling speed of the vehicle increases, the image of the detection target object in the current front image is greatly enlarged with respect to the image of the detection target object in the past front image and appears in the front image. As described above, the emphasized image is greatly enlarged as the traveling speed of the vehicle increases, so that the size of the emphasized image becomes the size of the image of the detection object shown in the current front image acquired by the image acquisition unit. Can respond accurately.
加えて、表示手段は、画像取得手段によって順次取得されている現在の前方画像を、順次表示する。故に、車両用表示装置の複雑化は、回避され得る。以上により、車両用表示装置は、簡素な構成を維持しつつ、検出対象物の画像に強調画像を的確に重畳させることにより、当該検出対象物の画像を強調することができる。 In addition, the display means sequentially displays the current front images sequentially acquired by the image acquisition means. Therefore, complication of the vehicular display device can be avoided. As described above, the display device for a vehicle can emphasize the image of the detection target object by accurately superimposing the emphasized image on the image of the detection target object while maintaining a simple configuration.
請求項2に記載の発明では、速度情報取得手段は、対象物情報抽出手段によって位置情報及び大きさ情報が取得されることより、走行速度の情報を取得すると共に、これら位置情報及び大きさ情報に当該走行速度の情報を関連付け、描画手段は、走行速度が速くなるに従って、当該走行速度の情報に速度情報取得手段によって関連付けられた大きさ情報に対応する基準サイズに対して、強調画像を大きく拡大して描画することを特徴とする。 In the second aspect of the invention, the speed information acquisition unit acquires the travel speed information from the position information and the size information acquired by the object information extraction unit, and the position information and the size information. The drawing means increases the emphasized image with respect to the reference size corresponding to the size information associated with the traveling speed information by the speed information acquiring means as the traveling speed increases. It is characterized by being drawn in an enlarged manner.
この発明によれば、対象物情報抽出手段が検出対象物の画像の位置情報及び大きさ情報を取得することによって、速度情報取得手段は、走行速度の情報を取得すると共に、これら位置情報及び大きさ情報に当該走行速度の情報を関連付ける。故に、位置情報及び大きさ情報が抽出されるタイミングと、車両の走行速度の情報が取得されるタイミングとの差は、低減される。 According to the present invention, the object information extraction unit acquires the position information and the size information of the image of the detection object, so that the speed information acquisition unit acquires the information on the traveling speed and the position information and the size. The information on the traveling speed is associated with the information. Therefore, the difference between the timing at which the position information and the size information are extracted and the timing at which the vehicle travel speed information is acquired is reduced.
ここで、過去の前方画像における検出対象物の画像の大きさに対する、現在の前方画像における検出対象物の画像の大きさの比は、車両の走行速度に対応している。故に、位置情報及び大きさ情報の抽出されるタイミングと、走行速度の情報の取得されるタイミングとの差を低減することにより、描画手段は、強調画像の拡大に車両の走行速度を正確に反映し得る。以上により、描画手段は、現在の前方画像における検出対象物の画像の大きさに的確に対応する強調画像を描画できる。したがって、車両用表示装置は、検出対象物の画像に強調画像をさらに的確に重畳させて、当該検出対象物の画像を強調することができる。 Here, the ratio of the size of the image of the detection object in the current front image to the size of the image of the detection object in the past front image corresponds to the traveling speed of the vehicle. Therefore, by reducing the difference between the timing at which position information and size information are extracted and the timing at which travel speed information is acquired, the drawing means accurately reflects the travel speed of the vehicle in the enlargement of the emphasized image. Can do. As described above, the drawing unit can draw an emphasized image that accurately corresponds to the size of the detection target image in the current front image. Therefore, the vehicular display device can more accurately superimpose the emphasized image on the image of the detection target object to enhance the image of the detection target object.
請求項3に記載の発明では、描画手段は、基準サイズに対して拡大される強調画像の拡大率を、車両の走行速度が速くなるに従って大きく設定する拡大率設定部と、拡大率設定部によって設定された拡大率を、基準サイズに乗算することにより算出される描画サイズにて、強調画像を描画する描画部と、を有することを特徴とする。 In the invention according to claim 3, the drawing means includes an enlargement ratio setting section that sets an enlargement ratio of the emphasized image that is enlarged with respect to the reference size as the traveling speed of the vehicle increases, and an enlargement ratio setting section. And a drawing unit that draws an emphasized image at a drawing size calculated by multiplying a set enlargement ratio by a reference size.
この発明において、車両の走行速度が速くなるに従って、基準サイズに対して拡大される強調画像の拡大率は、拡大率設定部によって大きく設定される。そして、描画部によって描画される強調画像の描画サイズは、拡大率設定部によって設定された拡大率を、基準サイズに乗算することにより算出される。以上の形態では、強調画像の描画サイズは、車両の走行速度が速くなるに従って、確実に大きくなるので、現在の前方画像における検出対象物の画像の大きさに対応し得る。したがって、車両用表示装置は、検出対象物の画像に強調画像をさらに的確に重畳させて、当該検出対象物の画像を強調することができる。 In this invention, as the traveling speed of the vehicle increases, the enlargement ratio of the emphasized image that is enlarged with respect to the reference size is set larger by the enlargement ratio setting unit. Then, the drawing size of the emphasized image drawn by the drawing unit is calculated by multiplying the reference size by the enlargement rate set by the enlargement rate setting unit. In the above embodiment, the drawing size of the emphasized image surely increases as the traveling speed of the vehicle increases, and thus can correspond to the size of the image of the detection target in the current front image. Therefore, the vehicular display device can more accurately superimpose the emphasized image on the image of the detection target object to enhance the image of the detection target object.
請求項4に記載の発明では、描画手段は、位置情報による検出対象物の画像の前方画像における位置が、水平方向において当該前方画像の中央よりも右側の領域にある場合に、水平方向に沿って前方画像の右方向に強調画像を拡大して描画し、位置情報による検出対象物の画像の前方画像における位置が、水平方向において当該前方画像の中央よりも左側の領域にある場合に、水平方向に沿って前方画像の左方向に強調画像を拡大して描画することを特徴とする。 In the invention according to claim 4, the drawing means follows the horizontal direction when the position of the image of the detection target image in the position information in the front image is in a region on the right side of the center of the front image in the horizontal direction. If the emphasized image is enlarged and drawn in the right direction of the front image and the position of the image of the detection target image in the position information in the front image is in a region on the left side of the center of the front image in the horizontal direction, The emphasis image is enlarged and drawn in the left direction of the front image along the direction.
この発明において、水平方向において前方画像の中央よりも右側の領域に検出対象物の画像が映る場合、前方領域に存在する実際の検出対象物と車両との接近によって、検出対象物の画像は、水平方向に沿って前方画像の右方向に移動しつつ、大きくなる。故に、強調画像は、描画手段によって前方画像の右方向に拡大して描画されて、過去の前方画像から抽出された位置情報に対応する位置に表示手段によって重畳されることにより、現在の前方画像における検出対象物の画像の位置及び大きさに的確に対応し得る。 In the present invention, when the image of the detection target object is reflected in the region on the right side of the center of the front image in the horizontal direction, the image of the detection target object is caused by the approach of the actual detection target object existing in the front region and the vehicle. It increases while moving to the right of the front image along the horizontal direction. Therefore, the emphasized image is drawn enlarged by the drawing unit in the right direction of the front image, and superimposed on the position corresponding to the position information extracted from the past front image by the display unit. It is possible to accurately correspond to the position and size of the image of the detection object in FIG.
同様に、水平方向において前方画像の中央よりも左側の領域に検出対象物の画像が映る場合、前方領域に存在する実際の検出対象物と車両との接近によって、検出対象物の画像は、水平方向に沿って前方画像の左方向に移動しつつ、大きくなる。故に、強調画像は、描画手段によって前方画像の左方向に拡大して描画されて、過去の前方画像から抽出された位置情報に対応する位置に表示手段によって重畳されることにより、現在の前方画像における検出対象物の画像の位置及び大きさに的確に対応し得る。 Similarly, when an image of the detection target object is displayed in a region on the left side of the center of the front image in the horizontal direction, the image of the detection target object becomes horizontal due to the approach between the actual detection target object existing in the front region and the vehicle. The image becomes larger while moving to the left of the front image along the direction. Therefore, the emphasized image is drawn enlarged by the drawing means in the left direction of the front image, and superimposed on the position corresponding to the position information extracted from the previous front image by the display means. It is possible to accurately correspond to the position and size of the image of the detection object in FIG.
これらにより、車両用表示装置は、検出対象物の画像に強調画像をさらに的確に重畳させて、当該検出対象物の画像を強調することができる。 Accordingly, the vehicular display device can more accurately superimpose the emphasized image on the image of the detection target object to enhance the image of the detection target object.
請求項5に記載の発明では、描画手段は、検出対象物の画像を囲む形状の強調画像を描画することを特徴とする。 The invention according to claim 5 is characterized in that the drawing means draws an enhanced image having a shape surrounding an image of the detection target.
この発明のように、検出対象物の画像を囲む形状の強調画像は、検出対象物の画像を確実に強調し得る一方で、仮に検出対象物の画像の大きさに強調画像のサイズが対応しない場合には、検出対象物の画像と重なってしまい、検出対象物の画像を見難くしてしまう。しかし、上述したように、車両の走行速度に基づいて強調画像を拡大して描画する描画手段によって、強調画像の描画サイズは、表示手段によって表示される前方画像において、検出対象物の画像の大きさに的確に対応し得る。故に、検出対象物の画像を囲む形状の強調画像であっても、検出対象物の画像を見難くしてしまう事態は回避され、さらに検出対象物の画像を強調する効果が、確実に発揮されるようになる。したがって、検出対象物の画像を囲む形状の強調画像を前方画像に重畳する車両用表示装置は、走行速度に従って強調画像が大きく拡大されることにより、検出対象物の画像をいっそう強調することができる。 As in the present invention, the enhanced image having a shape surrounding the detection object image can surely enhance the detection object image, while the size of the enhanced image does not correspond to the size of the detection object image. In this case, it overlaps with the image of the detection object, making it difficult to see the image of the detection object. However, as described above, the drawing size of the emphasized image by the drawing unit that enlarges and draws the emphasized image based on the traveling speed of the vehicle is the same as the size of the image of the detection target in the front image displayed by the display unit. It is possible to respond appropriately. Therefore, even if the enhanced image has a shape surrounding the image of the detection target object, a situation in which it is difficult to see the image of the detection target object is avoided, and the effect of enhancing the image of the detection target object is reliably exhibited. Become so. Therefore, the vehicular display device that superimposes the emphasized image of the shape surrounding the image of the detection object on the front image can further enhance the image of the detection object by enlarging the emphasized image according to the traveling speed. .
以下、本発明の一実施形態を図面に基づいて説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図1には、本発明の一実施形態によるナイトビュー装置100の構成が示されている。ナイトビュー装置100は、図2に示されるような車両の前方領域90を撮影した前方画像50から、当該前方領域90に存在する歩行者等の検出対象物の画像(以下、歩行者画像)70を検出する。そして、ナイトビュー装置100は、車両の室内において運転席に向けて設置されている表示画面41に、前方画像50を強調するための強調画像60が重畳された前方画像50を表示する。以下、図1及び図2に基づいて、ナイトビュー装置100の構成及びナイトビュー装置100によって表示される画像について説明する。
FIG. 1 shows a configuration of a
ナイトビュー装置100は、近赤外線カメラ10と接続されている。ナイトビュー装置100は、近赤外線カメラ10から前方画像50を取得する画像処理回路20、及び表示画面41を有する液晶ディスプレイ40を備えている。
The
近赤外線カメラ10は、撮像素子により近赤外線光の強度を電気信号に変換して出力するイメージセンサである。近赤外線カメラ10は、車両の進行方向を向けて設置されており、車両の前方領域90を撮影する。近赤外線カメラ10は、波長が0.7〜2.5マイクロメートル程度の近赤外線を検知することにより、可視光の少ない環境下においても前方領域90の様子を撮影することができる。近赤外線カメラ10の搭載された車両には、例えばヘッドライトモジュールと一体的に構成され、前方領域90に向けて近赤外線を投光する近赤外線投光器11が設置されている。近赤外線カメラ10は、近赤外線投光器11と接続されており、前方領域90の撮影を開始すると共に、近赤外線投光器11に投光を開始させる。近赤外線カメラ10は、前方領域90の物体により反射された近赤外線を検知することにより、前方画像50を時系列に沿って順次生成する。近赤外線カメラ10は、生成した前方画像50の画像データを、NTSC規格等のアナログ方式の電気信号によって、画像処理回路20に向けて順次出力する。
The near-
画像処理回路20は、近赤外線カメラ10、液晶ディスプレイ40、及び車内local area network(LAN)30と接続されている。画像処理回路20は、制御及び描画のための各種の演算処理を行う複数のプロセッサ、当該演算処理に用いられるプログラム及び強調画像60の画像データ等が格納されたフラッシュメモリ、及び演算処理の作業領域として機能するRAM等によって構成されている。加えて画像処理回路20は、車内LAN30を通じて、当該車内LAN30に接続された種々の車載装置との間で情報をやりとりするための通信インターフェースを備えている。
The
以上の構成による画像処理回路20は、所定のプログラムをプロセッサに実行させることにより、機能ブロックとして、画像取得部21、歩行者検出部23、速度情報取得部25、及び描画部27を有する。
The
画像取得部21は、近赤外線カメラ10から前方画像50の画像データを時系列に順次取得する。画像取得部21は、アナログ方式で取得した前方画像50の画像データを、画像処理に適したデジタル方式の画像データに変換する。画像取得部21は、変換された前方画像50の画像データを、歩行者検出部23及び描画部27に順次出力する。
The
歩行者検出部23は、画像取得部21から取得した前方画像50から歩行者画像70を検出する検出処理を実施する。この検出処理では、取得した一つの前方画像50から、予め設定された大きさの切出画像が順に切り出される。そして、各切出画像について、例えばHistograms of Oriented Gradients(HOG)特徴量を抽出する。画像処理回路20には、歩行者画像70を識別するための識別器であって、学習用に用意された多数のサンプル画像を用いて予め構築された識別器が記憶されている。歩行者検出部23は、各切出画像のHOG特徴量を識別器を用いて精査することにより、各切出画像に歩行者画像70が含まれているか否かを判定する。以上の判定処理を各切出画像に対して繰り返すことにより、歩行者検出部23は、前方画像50から歩行者画像70を検出する。
The
さらに歩行者検出部23は、前方画像50から歩行者画像70が検出された場合に、前方画像50における歩行者画像70の位置情報及び大きさ情報を抽出する。具体的には、前方画像50に対して、ピクセル単位でのxy座標系が予め設定されている。位置情報は、例えば、歩行者画像70が含まれていると判定された切出画像の左下の角の位置CPを示すxy座標系における座標データである。大きさ情報は、例えば、歩行者画像70が含まれていると判定された切出画像のx方向及びy方向におけるピクセル単位の寸法データである。歩行者検出部23は、これらの位置情報及び大きさ情報を抽出して、速度情報取得部25に順次出力する。
Furthermore, when the
速度情報取得部25は、車載された車内LAN30を通じて、車両の走行速度の情報(以下、速度情報)を取得する。車内LAN30には、車速情報を出力可能な装置として、例えば横滑り防止装置又はアンチロック・ブレーキ・システム(ABS)制御装置等が一般に接続されている。歩行者検出部23によって取得された位置情報及び大きさ情報が当該歩行者検出部23から入力されることにより、速度情報取得部25は、横滑り防止装置等によって出力されている現在の車両の速度情報を、車内LAN30を通じて取得する。加えて、速度情報取得部25は、歩行者検出部23から取得した位置情報及び大きさ情報に、車内LAN30を通じて取得した速度情報を関連付ける。そして、速度情報取得部25は、互いに関連付けられた位置情報、大きさ情報、及び速度情報を、描画部27に順次出力する。
The speed
描画部27は、歩行者検出部23によって前方画像50から歩行者画像70が検出されていない場合には、前方画像50を描画して、液晶ディスプレイ40に順次出力する。一方、歩行者検出部23によって前方画像50から歩行者画像70が検出されている場合には、描画部27は、前方画像50に強調画像60を重畳して、液晶ディスプレイ40に順次出力する。本実施形態において、描画部27によって描画される強調画像60は、歩行者画像70を全周に亘って囲む矩形形状である。この強調画像60は、例えば視認性に優れる橙色にて描画される。
The
描画部27は、強調画像60の重畳された前方画像50を生成する画像処理のために、複数のレイヤを有している。描画部27は、複数のレイヤのうちの一つ(以下、レイヤ1)に、前方画像50を描画する。また、描画部27は、複数のレイヤのうちの別の一つ(以下、レイヤ2)に、強調画像60を描画する。
The
描画部27は、速度情報取得部25から入力される大きさ情報に対応する強調画像60のサイズを、当該強調画像60の基準サイズBSとしてまず設定する(図2において破線にて示される基準サイズBSは、便宜的に図示されたものであって、実際の表示画面41には表示されない)。尚、本実施形態では、強調画像60の基準サイズBSは、大きさ情報としての寸法データの値と一致している。また描画部27には、速度情報による車両の走行速度と、基準サイズBSに対する強調画像60の拡大率との相関を規定する関数が予め記憶されている。この関数に基づくことにより、描画部27は、基準サイズBSに対して拡大される強調画像60の拡大率を、車両の走行速度が速くなるに従って大きく設定する。そして、描画部27は、設定した拡大率を基準サイズBSに乗算することにより算出される描画サイズにて、強調画像60を描画する。以上により、描画部27は、速度情報による車両の走行速度が速くなるに従って、強調画像60を基準サイズBSに対して大きく拡大して、レイヤ2に描画する。例えば、車速情報が毎時30キロメートル(km/h)を示すものである場合、描画部27は、基準サイズBSに対して1.1倍の大きさに拡大された強調画像60を描画する(図2(b)参照)。また、例えば、車速情報が60km/hを示すものである場合、描画部27は、基準サイズBSに対して1.3倍の大きさに拡大された強調画像60を描画する(図2(c)参照)。
The
さらに、歩行者画像70の前方画像50における位置CPが、水平方向において当該前方画像50の中央よりも右側の領域50rにある場合に、描画部27は、水平方向に沿って前方画像50の右方向に強調画像60を拡大する。同様に、歩行者画像70の前方画像50における位置CPが、水平方向において当該前方画像50の中央よりも左側の領域50lにある場合に、描画部27は、水平方向に沿って前方画像50の左方向に強調画像60を拡大して描画する。尚、前方画像50の水平方向は、x軸方向に沿っている。
Furthermore, when the position CP in the
描画部27は、画像取得部21から順次入力される現在の前方画像50n(図2(b)等参照)において、歩行者検出部23によって抽出された位置情報に対応する位置CPに、強調画像60が重畳されるように、レイヤ1とレイヤ2を合成する。以上の合成処理によって生成される前方画像50の画像データは、描画部27から液晶ディスプレイ40に順次出力される。これにより描画部27は、表示画面41に強調画像60の重畳された前方画像50を順次表示する。
In the current front image 50n (see FIG. 2B, etc.) that is sequentially input from the
液晶ディスプレイ40は、表示画面41に配列された複数の画素を制御することにより、カラー表示が可能なドットマトリクス方式の表示装置である。液晶ディスプレイ40は、表示画面41に種々の画像を表示することにより、運転者に種々の情報を提供する。液晶ディスプレイ40は、表示画面41を運転席側に向けた状態で、インスツルメントパネルの内部に配置されている。液晶ディスプレイ40は、画像処理回路20の描画部27から取得する前方画像50を順次表示することによりなる映像によって、前方領域90の様子を視認者に示すことができる。
The
ここまで説明したナイトビュー装置100が、強調画像60の重畳された前方画像50を液晶ディスプレイ40に順次表示する処理を、図3及び図4に基づいて詳しく説明する。以下説明する処理は、ナイトビュー装置100の作動を開始及び停止させるためのスイッチがユーザによって操作されることにより、ナイトビュー装置100の作動の開始と共に、画像処理回路20によって実施される。これらの処理は、ユーザの操作に基づいてナイトビュー装置100の作動が停止されるまで、繰り返される。
A process in which the
まず、図3に基づいて前方画像50から歩行者画像70を検出する処理を説明する。図3に示される処理は、歩行者検出部23及び速度情報取得部25の協働によって実施される。
First, based on FIG. 3, the process which detects the
S101では、歩行者検出部23は、画像取得部21を通じての、近赤外線カメラ10からの前方画像50の入力が有るか否かを判定する。S101において、近赤外線カメラ10から画像取得部21への前方画像50の出力が開始されている場合、前方画像50の入力が有ると判定し、S102に進む。一方、S101において、近赤外線カメラ10から画像取得部21への前方画像50の出力が開始されていない場合、前方画像50の入力が無いと判定し、S101を繰り返す。これにより、前方画像50の出力が開始されるまで、待機状態を維持する。
In S <b> 101, the
S102では、歩行者検出部23は、画像取得部21から前方画像50を取得し、S103に進む。S103では、S102において取得した前方画像50から歩行者画像70を検出する検出処理を実施する。S103において、前方画像50から歩行者画像70を検出できない場合、再びS102に戻る。一方、S103において、前方画像50から強調画像60を検出した場合、S104に進む。S104では、前方画像50から検出した歩行者画像70の位置情報及び大きさ情報を抽出し、速度情報取得部25に出力して、S105に進む。
In S102, the
S105では、速度情報取得部25が、S104にて歩行者検出部23から出力された位置情報及び大きさ情報を取得することにより、車内LAN30を通じて車速情報を取得し、S106に進む。S106では、S104にて抽出された位置情報及び大きさ情報に、S105にて取得された車速情報を関連付ける。そして、これらの情報を描画部27に出力して、再びS102に戻る。以上のS102〜S106の処理が歩行者検出部23及び速度情報取得部25によって繰り返されることにより、前方画像50に歩行者画像70が映る場合には、当該歩行者画像70の位置情報及び大きさ情報と車両の速度情報とが、描画部27に順次出力される。
In S105, the speed
次に、図4に基づいて前方画像50を描画する処理を説明する。図4に示される処理は、描画部27によって実施される。
Next, the process of drawing the
S111では、画像取得部21を通じての、近赤外線カメラ10からの前方画像50の入力が有るか否かを判定する。S111において、近赤外線カメラ10から画像取得部21への前方画像50の出力が開始されている場合、前方画像50の入力が有ると判定し、S112に進む。一方、S111において、近赤外線カメラ10から画像取得部21への前方画像50の出力が開始されていない場合、前方画像50の入力が無いと判定し、S111を繰り返す。これにより、前方画像50の入力が開始されるまで、待機状態を維持する。
In S <b> 111, it is determined whether there is an input of the
S112では、画像取得部21から前方画像50を取得し、S113に進む。S113では、図3に示されるS105によって速度情報取得部25から出力される各種の情報の入力が、現在有るか否かを判定する。S113において、速度情報取得部25からの情報の入力が無いと判定した場合、S119に進む。一方、S113において、速度情報取得部25からの情報の入力が有ると判定した場合、S114に進む。S114では、速度情報取得部25からの出力されている、位置情報、大きさ情報、及び速度情報を取得し、S115に進む。ここで、S114にて取得される位置情報及び大きさ情報が抽出された前方画像50と、S112にて取得される前方画像50とは、異なっている。
In S112, the
S115では、S114にて取得した大きさ情報によって、強調画像60の基準サイズBSを設定する。加えて、S115では、S114にて取得した車速情報によって、強調画像60の拡大率を設定し、S116に進む。S116では、S115にて設定された基準サイズBSに、S115にて設定された拡大率を乗算することにより、強調画像60の描画サイズを決定し、S117に進む。これらS115及びS116の処理によれば、強調画像60の描画サイズは、車両の走行速度が速くなるに従って、大きさ情報に対応する基準サイズBSに対して、大きく拡大されるようになる。
In S115, the reference size BS of the emphasized
S117では、S112にて取得した前方画像50をレイヤ1に描画する。加えて、S117では、S116において設定された描画サイズにて、強調画像60をレイヤ2に描画し、S118に進む。このS117では、S115にて取得した位置情報による歩行者画像70の位置CPが前方画像50の右側の領域50rにある場合、強調画像60は、位置CPを基点として水平方向に沿って前方画像50の右方向に拡大される(図2(b)等参照)。加えて、強調画像60は、位置CPを基点として鉛直方向に沿って前方画像50の上方に拡大される。
In S117, the
S118では、前方画像50の描画されたレイヤ1に、強調画像60の描画されたレイヤ2を合成することにより、S114にて取得した位置情報に対応する位置CPに強調画像60の重畳された前方画像50の画像データを生成する。そして、S120に進む。一方、歩行者検出部23からの各種の情報の入力が無い場合に実施されるS119では、S112にて取得された前方画像50をレイヤ1に描画することにより、当該前方画像50の画像データを生成し、S120に進む。S120では、S118及びS119のうちのいずれか一方の処理により生成された前方画像50の画像データを、液晶ディスプレイ40に出力して、再びS112に戻る。
In S118, the layer 2 in which the emphasized
以上のS112〜S120の繰り返しにより、前方画像50に歩行者画像70が映る場合には、画像取得部21によって順次取得されている現在の前方画像50において位置情報に対応する位置CPに、拡大して描画された強調画像60が重畳される。そして、現在の前方画像50nは、液晶ディスプレイ40に連続的に出力される。これにより、液晶ディスプレイ40には、前方領域90の様子が、順次表示される前方画像50によって動画として映し出される。
When the
ここまで説明した本実施形態において、歩行者画像70の位置情報及び大きさ情報を抽出する処理には、時間が必要となる。故に、強調画像60の重畳される前方画像50n(図2(b)及び(c)参照)に対して、位置情報及び大きさ情報の抽出される前方画像50p(図2(a)参照)は、過去のものとなる。歩行者検出部23が歩行者画像70の位置情報及び大きさ情報を抽出している時間にも、車両は、前方領域90に存在する実際の検出対象物に接近している。故に、画像取得部21によって順次取得されている現在の前方画像50nにおける歩行者画像70は、歩行者検出部23によって位置情報及び大きさ情報の抽出された過去の前方画像50pにおける歩行者画像70よりも、前方画像50nに大きく映るようになる。さらに、車両の走行速度が速くなるに従って、現在の前方画像50nにおける歩行者画像70は、過去の前方画像50pにおける歩行者画像70に対して、大きく拡大されて前方画像50nに映るようになる。
In the present embodiment described so far, the process of extracting the position information and the size information of the
そこで本実施形態では、車両の走行速度が高くなるに従って、強調画像60は、大きく拡大される。これにより、強調画像60のサイズは、現在の前方画像50nに映る歩行者画像70の大きさに、的確に対応し得る。加えて、描画部27は、画像取得部21によって順次取得されている現在の前方画像50nを順次出力することにより、液晶ディスプレイ40に順次表示させる。故に、前方画像50をバッファリングするための構成を省略できるので、ナイトビュー装置100の複雑化は、回避される。加えて、前方画像50をバッファリングする形態と比較して、表示画面41の表示の遅延が低減される。以上により、ナイトビュー装置100は、簡素な構成を維持しつつ、前方画像50の表示の遅延を抑制したうえで、前方画像50に強調画像60を的確に重畳させることにより、当該歩行者画像70を強調することができる。
Therefore, in the present embodiment, the emphasized
加えて本実施形態によれば、速度情報取得部25は、歩行者検出部23から位置情報及び大きさ情報を取得することにより、速度情報を取得する。故に、位置情報及び大きさ情報が歩行者検出部23によって抽出されるタイミングと、これらの情報に関連付けられる速度情報が速度情報取得部25によって取得されるタイミングとの差は、低減される。ここで、過去の前方画像50pにおける歩行者画像70の大きさに対する、現在の前方画像50nにおける歩行者画像70の大きさの比は、車両の走行速度に対応している。故に、位置情報及び大きさ情報の抽出されるタイミングと、速度情報の取得されるタイミングとの差を低減することにより、描画部27は、強調画像60の拡大に車両の走行速度を正確に反映し得る。以上により、描画部27は、現在の前方画像50nにおける歩行者画像70の大きさに的確に対応する強調画像60を描画できる。したがって、ナイトビュー装置100は、強調画像60に歩行者画像70をさらに的確に重畳させて、当該歩行者画像70を強調することができる。
In addition, according to the present embodiment, the speed
また本実施形態によれば、車両の走行速度が速くなるに従って大きく設定される拡大率に基準サイズBSを乗算することにより、強調画像60の描画サイズは、算出される。以上の形態では、車両の走行速度が速くなるに従って、強調画像60の描画サイズは、確実に大きくになるので、現在の前方画像50nにおける歩行者画像70の大きさにさらに的確に対応し得る。したがって、ナイトビュー装置100は、歩行者画像70に強調画像60をさらに的確に重畳させることにより、当該歩行者画像70を強調することができる。
In addition, according to the present embodiment, the drawing size of the emphasized
さらに本実施形態では、前方画像50の右側の領域50rに歩行者画像70が映る場合、前方領域90に存在する実際の歩行者と車両との接近によって、歩行者画像70は、水平方向に沿って前方画像50の右方向に移動しつつ、大きくなる(図2(c)等参照)。故に、強調画像60は、前方画像50の右方向に拡大して描画されることにより、現在の前方画像50nにおける歩行者画像70の位置及び大きさに的確に対応し得る。
Furthermore, in this embodiment, when the
同様に、水平方向において前方画像50の中央よりも左側の領域50lに歩行者画像70が映る場合、前方領域90に存在する実際の歩行者と車両との接近によって、歩行者画像70は、水平方向に沿って前方画像50の左方向に移動しつつ、大きくなる。故に、強調画像60は、前方画像50の左方向に拡大して描画されることにより、現在の前方画像50nにおける歩行者画像70の位置及び大きさに的確に対応し得る。
Similarly, when the
これらにより、ナイトビュー装置100は、歩行者画像70に強調画像60をさらに的確に重畳させて、当該歩行者画像70を強調することができる。
Accordingly, the
また、上述したように、過去の歩行者画像70の大きさに対する現在の歩行者画像70の大きさの比は、車両の走行速度に対応する。故に、本実施形態のように、車両の走行速度と強調画像60の拡大率との相関を関数によって予め規定することによれば、拡大率は、車両の走行速度毎に細かく設定され得る。以上により、関数を的確に調整することで、拡大された強調画像60の描画サイズと現在の歩行者画像70の大きさとを確実に対応させられるようになるので、ナイトビュー装置100は、強調画像60によって歩行者画像70をさらに強調することができる。
Further, as described above, the ratio of the size of the
さらに加えて本実施形態によれば、歩行者画像70を囲む形状の強調画像60は、仮に歩行者画像70の大きさにその描画サイズが対応しない場合には、歩行者画像70と重なることにより、歩行者画像70を見難くしてしまう。しかし、上述したように、車両の走行速度に基づいて強調画像60を拡大して描画する描画部27より、強調画像60の描画サイズは、表示画面41表示される現在の前方画像50nにおける歩行者画像70の大きさに的確に対応し得る。故に、歩行者画像70を囲む形状の強調画像60であっても、歩行者画像70を見難くしてしまう事態は回避され、さらに歩行者画像70を強調する効果が、確実に発揮されるようになる。以上により、歩行者画像70を囲む形状の強調画像60を前方画像50に重畳するナイトビュー装置100は、走行速度に従った強調画像60の拡大により、歩行者画像70をいっそう強調することができる。
In addition, according to the present embodiment, the emphasized
尚、本実施形態において、近赤外線カメラ10が特許請求の範囲に記載の「撮像手段」に相当し、画像取得部21が特許請求の範囲に記載の「画像取得手段」に相当し、歩行者検出部23が特許請求の範囲に記載の「対象物情報抽出手段」に相当し、速度情報取得部25が特許請求の範囲に記載の「速度情報取得手段」に相当し、描画部27が特許請求の範囲に記載の「描画手段」,「拡大率設定部」,及び「描画部」に相当し、描画部27及び液晶ディスプレイ40が協働で特許請求の範囲に記載の「表示手段」に相当し、歩行者画像70が特許請求の範囲に記載の「検出対象物の画像」に相当し、ナイトビュー装置100が特許請求の範囲に記載の「車両用表示装置」に相当する。
In the present embodiment, the near-
(他の実施形態)
以上、本発明による一実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
(Other embodiments)
Although one embodiment according to the present invention has been described above, the present invention is not construed as being limited to the above-described embodiment, and can be applied to various embodiments without departing from the gist of the present invention. it can.
上記実施形態において、速度情報取得部25は、歩行者検出部23から出力された位置情報及び大きさ情報を取得することにより、車内LAN30から速度情報を取得していた。しかし、速度情報取得部が速度情報を取得するタイミングは、上記実施形態のように、歩行者検出部から情報を受け取った直後でなくてもよい。例えば、歩行者検出部は、予め設定された時間毎に現在の速度情報を取得及び記憶することにより、歩行者検出部から取得する位置情報及び大きさ情報に、記憶している現在の速度情報を関連付けてもよい。また、ナイトビュー装置は、車内LAN30から速度情報を取得する速度情報取得部25のような構成に換えて、例えばタイヤの回転速度を計測するセンサ等を「速度情報取得手段」として備えていてもよい。
In the above embodiment, the speed
上記実施形態において、描画部27は、強調画像60の描画サイズを、基準サイズBSに拡大率を乗算することにより設定していた。そしてこの拡大率は、予め規定された関数に車両の走行速度を入力することにより、算出されていた。このような描画部27によって用いられる関数は、入力としての走行速度に対して、出力としての拡大率を離散値で出力するものであってもよく、又は拡大率を連続値で出力するものであってもよい。加えて、入力としての走行速度が低い範囲では、例えば走行速度にかかわらず、1倍の拡大率が維持されてもよい。さらに、描画部によって描画サイズが設定される方法は、基準サイズBSに拡大率を乗算する上記の方法に限定されない。例えば、車両の走行速度と基準サイズBSとに基づいて描画サイズを決定するテーブルを予め規定しておく。そして、このテーブルに基づいて、描画部は、強調画像の描画サイズを決定してもよい。
In the above embodiment, the
上記実施形態において、強調画像60の基準サイズBSは、切出画像の寸法データと一致しするように決定されていた。しかし、大きさ情報に対応する強調画像の基準サイズは、切出画像の寸法データと一致していなくてもよい。例えば、切出画像の寸法データに、所定の値を加算又は減算した値が、強調画像の基準サイズとして決定されてもよい。又は、切出画像の寸法データに、所定の値を乗算した値が、強調画像の基準サイズとして決定されてもよい。
In the above embodiment, the reference size BS of the emphasized
上記実施形態において、強調画像60を拡大する拡大率は、30km/hにおいて1.1倍に、60km/hにおいて1.3倍になるように設定されていた。しかし、拡大率の具体的な値は、例えば前方画像を生成する近赤外線カメラの備えるレンズの画角、及び近赤外線カメラの車両への取り付け位置等に応じて、強調画像が歩行者画像を的確に強調できるように、適宜調整されてよい。
In the above embodiment, the enlargement ratio for enlarging the emphasized
上記実施形態では、強調画像60は、歩行者画像70が前方画像50の右側の領域50rに映る場合には前方画像50の右方向に拡大され、歩行者画像70が前方画像50の左側の領域50lに映る場合には前方画像50の左方向に拡大されていた。また、歩行者画像の左下の角が、拡大の基点となる位置CPとされていた。しかし、強調画像を拡大する基点の位置及び拡大する方向は、前方画像における歩行者画像の水平方向及び鉛直方向の位置、並びに車両の走行速度等に応じて、適宜変更されてよい。例えば、歩行者画像が前方画像の左側の領域に映る場合には、歩行者画像の右下の角を、拡大の基点の位置とするのがよい。又は、強調画像は、歩行者画像の中心を拡大の基点の位置として、水平方向及び鉛直方向に拡大されてもよい。
In the above embodiment, the emphasized
上記実施形態において、強調画像60は、歩行者画像70を実線にて全周に亘って囲む矩形形状の画像であった。しかし、強調画像の形状は、上記の形状に限定されない。例えば、図5(a)に示されるように、強調画像260は、歩行者画像70を破線にて全周に亘って囲む矩形形状の画像であってもよい。又は、図5(b)に示されるように、強調画像360は、歩行者画像70を水平方向において挟むような矩形枠状の画像であってもよい。さらに、図5(c)に示されるように、強調画像460は、歩行者画像70を鉛直方向において挟むような矩形枠状の画像であってもよい。或いは、図5(d)に示されるように、強調画像460は、歩行者等の検出対象物の形状を模しており、検出対象物の画像70に重ねられる画像であってもよい。さらには、強調画像は、歩行者画像を囲んでいなくてもよい。例えば、強調画像は、検出対象物の画像に隣接して重畳され、検出対象物の画像に沿って鉛直方向又は水平方向に伸びる棒状の画像であってもよい。
In the embodiment described above, the emphasized
上記実施形態において、強調画像60は、例えば視認性に優れる橙色の画像であった。しかし、強調画像の色相、明度、彩度等は、適宜変更されてよい。加えて、強調画像は、視認者による歩行者画像の視認を妨げないように、半透明な画像であってもよい。又は、強調画像は、視認者の注意を惹きやすいように、表示及び非表示を繰り返す点滅する画像とされていてもよい。
In the above embodiment, the emphasized
上記実施形態において、ナイトビュー装置100は、「撮像手段」として近赤外線カメラ10と接続されていた。しかし、ナイトビュー装置に前方画像を出力する「撮像手段」は、車両の前方領域の画像を撮影できれば、上記実施形態のものに限定されない。例えば、「撮像手段」は、可視光線を検知することにより、前方画像を撮影する可視光カメラであってもよい。又は、遠赤外線を検知することにより、前方画像を撮影する遠赤外線カメラであってもよい。さらには、ナイトビュー装置は、「撮像手段」に相当する構成を備えていてもよい。
In the above-described embodiment, the
上記実施形態において、ナイトビュー装置100は、「表示手段」の一部として、液晶ディスプレイを備えていた。しかし、ナイトビュー装置は、液晶ディスプレイに換えて、例えば車両のウィンドウシールドに前方画像を投影し、当該ウィンドウシールドの前方に結像させる所謂ヘッドアップディスプレイ装置を備えていてもよい。又は、ナイトビュー装置の「表示手段」は、例えばナビゲーションシステムに設けられた液晶ディスプレイ等の外部の表示装置に向けて、前方画像を出力する出力部であってもよい。
In the above embodiment, the
上記実施形態において、描画部27は、前方画像50及び強調画像60を互いに異なるレイヤに描画したうえで、これらのレイヤを合成する合成処理を行うことにより、強調画像60を前方画像50に重畳していた。しかし、描画部は、前方画像において、強調画像の重畳部分にあたる画素の階調データを直接的に更新することにより、強調画像を前方画像に重畳する形態であってもよい。
In the above-described embodiment, the
上記実施形態では、画像処理回路20によってプログラムが実行されることにより、機能ブロックとしての歩行者検出部23及び描画部27等が構成される形態であった。しかし、各機能ブロックの機能は、それぞれ別の回路によって果たされてもよい。また、各機能ブロックとして機能する回路は、画像処理回路のようにプログラムをプロセッサによって実行することにより所定の機能を果たす回路であってもよく、又はプログラムの実行によらないアナログ回路であってもよい。
In the embodiment described above, the program is executed by the
上記実施形態において、ナイトビュー装置は、検知対象物として歩行者を検知していた。しかし、ナイトビュー装置によって検知される検知対象物は、歩行者に限定されない。例えば、車両、自転車又は二輪車に搭乗する人間、及び鹿や猪等の動物等が検知対象物として予め設定されていてもよい。 In the said embodiment, the night view apparatus detected the pedestrian as a detection target object. However, the detection target detected by the night view device is not limited to a pedestrian. For example, a person who rides in a vehicle, a bicycle or a two-wheeled vehicle, an animal such as a deer or a spider may be set in advance as a detection target.
BS 強調画像の基準サイズ、CP 歩行者画像の位置、10 近赤外線カメラ(撮像手段)、11 近赤外線投光器、20 画像処理回路、21 画像取得部(画像取得手段)、23 歩行者検出部(対象物情報抽出手段)、25 速度情報取得部(速度情報取得手段)、27 描画部(描画手段,拡大率設定部,描画部,表示手段)、30 車内LAN、40 液晶ディスプレイ(表示手段)、41 表示画面、50 前方画像、50r 右側の領域、50l 左側の領域、50n 現在の前方画像、50p 過去の前方画像、60 強調画像、70 歩行者画像(検出対象物の画像)、90 前方領域、100 ナイトビュー装置(車両用表示装置) BS-enhanced image reference size, CP pedestrian image position, 10 near-infrared camera (imaging means), 11 near-infrared projector, 20 image processing circuit, 21 image acquisition unit (image acquisition unit), 23 pedestrian detection unit (target Object information extraction means), 25 speed information acquisition section (speed information acquisition means), 27 drawing section (drawing means, enlargement ratio setting section, drawing section, display means), 30 in-vehicle LAN, 40 liquid crystal display (display means), 41 Display screen, 50 forward image, 50r right region, 50l left region, 50n current forward image, 50p past forward image, 60 weighted image, 70 pedestrian image (detected object image), 90 forward region, 100 Night view device (vehicle display device)
Claims (5)
前記撮像手段から前記前方画像を順次取得する画像取得手段と、
前記画像取得手段によって取得された前記前方画像から前記検出対象物の画像を検出することにより、当該前方画像における当該検出対象物の画像の位置情報及び大きさ情報を抽出する対象物情報抽出手段と、
前記車両の走行速度の情報を取得する速度情報取得手段と、
前記対象物情報抽出手段によって抽出された前記大きさ情報に対応する前記強調画像のサイズを基準サイズとし、前記速度情報取得手段によって取得された情報による前記走行速度が速くなるに従って、前記強調画像を前記基準サイズに対して大きく拡大して描画する描画手段と、
前記画像取得手段によって順次取得されている現在の前記前方画像において、前記対象物情報抽出手段によって抽出された前記位置情報に対応する位置に、前記描画手段によって拡大して描画された前記強調画像を重畳して順次表示する表示手段と、
を備えることを特徴とする車両用表示装置。 An image of a detection target existing in the front area is detected from a front image sequentially generated by an imaging unit that captures a front area of the vehicle, and an enhanced image that emphasizes the image of the detection target is superimposed on the front image. A vehicle display device that sequentially displays,
Image acquisition means for sequentially acquiring the front images from the imaging means;
Object information extracting means for extracting position information and size information of the image of the detection object in the front image by detecting the image of the detection object from the front image acquired by the image acquisition means; ,
Speed information acquisition means for acquiring information on the traveling speed of the vehicle;
The size of the emphasized image corresponding to the size information extracted by the object information extracting unit is set as a reference size, and the emphasized image is changed as the traveling speed by the information acquired by the speed information acquiring unit increases. A drawing means for drawing with a large enlargement with respect to the reference size;
In the current front image sequentially acquired by the image acquisition unit, the emphasized image drawn by the drawing unit at a position corresponding to the position information extracted by the object information extraction unit is enlarged. Display means for superimposing and sequentially displaying;
A vehicle display device comprising:
前記描画手段は、前記走行速度が速くなるに従って、当該走行速度の情報に前記速度情報取得手段によって関連付けられた前記大きさ情報に対応する前記基準サイズに対して、前記強調画像を大きく拡大して描画することを特徴とする請求項1に記載の車両用表示装置。 The speed information acquisition means acquires the travel speed information by acquiring the position information and the size information by the object information extraction means, and also adds the travel speed to the position information and the size information. Associate information with
The drawing unit enlarges the emphasized image greatly with respect to the reference size corresponding to the size information associated with the travel speed information by the speed information acquisition unit as the travel speed increases. The vehicle display device according to claim 1, wherein the display device is drawn.
前記基準サイズに対して拡大される前記強調画像の拡大率を、前記車両の走行速度が速くなるに従って大きく設定する拡大率設定部と、
前記拡大率設定部によって設定された前記拡大率を、前記基準サイズに乗算することにより算出される描画サイズにて、前記強調画像を描画する描画部と、
を有することを特徴とする請求項1又は2に記載の車両用表示装置。 The drawing means includes
An enlargement rate setting unit for setting an enlargement rate of the emphasized image enlarged with respect to the reference size as the traveling speed of the vehicle increases;
A drawing unit for drawing the emphasized image at a drawing size calculated by multiplying the enlargement rate set by the enlargement rate setting unit by the reference size;
The vehicle display device according to claim 1, further comprising:
前記位置情報による前記検出対象物の画像の前記前方画像における位置が、水平方向において当該前方画像の中央よりも右側の領域にある場合に、前記水平方向に沿って前記前方画像の右方向に前記強調画像を拡大して描画し、
前記位置情報による前記検出対象物の画像の前記前方画像における位置が、前記水平方向において当該前方画像の中央よりも左側の領域にある場合に、前記水平方向に沿って前記前方画像の左方向に前記強調画像を拡大して描画することを特徴とする請求項1〜3のいずれか一項に記載の車両用表示装置。 The drawing means includes
When the position of the image of the detection object according to the position information in the front image is in a region on the right side of the center of the front image in the horizontal direction, the right direction of the front image along the horizontal direction Enlarge and draw the emphasized image,
When the position of the image of the detection object based on the position information in the front image is in a region on the left side of the center of the front image in the horizontal direction, the image is detected in the left direction of the front image along the horizontal direction. The vehicular display device according to claim 1, wherein the emphasized image is enlarged and drawn.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011084000A JP5533766B2 (en) | 2011-04-05 | 2011-04-05 | Vehicle display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011084000A JP5533766B2 (en) | 2011-04-05 | 2011-04-05 | Vehicle display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012218505A JP2012218505A (en) | 2012-11-12 |
JP5533766B2 true JP5533766B2 (en) | 2014-06-25 |
Family
ID=47270498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011084000A Expired - Fee Related JP5533766B2 (en) | 2011-04-05 | 2011-04-05 | Vehicle display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5533766B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6065766B2 (en) * | 2013-06-28 | 2017-01-25 | 株式会社デンソー | Information providing apparatus and information providing method |
JP6040897B2 (en) | 2013-09-04 | 2016-12-07 | トヨタ自動車株式会社 | Attention display device and attention display method |
WO2015037117A1 (en) * | 2013-09-13 | 2015-03-19 | 日立マクセル株式会社 | Information display system, and information display device |
JP6287237B2 (en) * | 2014-01-17 | 2018-03-07 | 株式会社リコー | Information processing apparatus, information processing method, and program |
JP6394940B2 (en) * | 2014-05-23 | 2018-09-26 | 日本精機株式会社 | Vehicle display system |
JP6361347B2 (en) * | 2014-07-18 | 2018-07-25 | 日産自動車株式会社 | Vehicle display device |
JP6277933B2 (en) * | 2014-10-10 | 2018-02-14 | 株式会社デンソー | Display control device, display system |
CN107004363B (en) | 2014-12-10 | 2020-02-18 | 三菱电机株式会社 | Image processing device, on-vehicle display system, display device, and image processing method |
WO2021039762A1 (en) * | 2019-08-30 | 2021-03-04 | 日本精機株式会社 | Display device |
JP2020175889A (en) * | 2020-06-29 | 2020-10-29 | 株式会社リコー | Information providing device, information providing method, and control program for providing information |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003016429A (en) * | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | Vehicle periphery monitor device |
JP4628683B2 (en) * | 2004-02-13 | 2011-02-09 | 富士重工業株式会社 | Pedestrian detection device and vehicle driving support device including the pedestrian detection device |
JP4887980B2 (en) * | 2005-11-09 | 2012-02-29 | 日産自動車株式会社 | VEHICLE DRIVE OPERATION ASSISTANCE DEVICE AND VEHICLE WITH VEHICLE DRIVE OPERATION ASSISTANCE DEVICE |
JP2010088045A (en) * | 2008-10-02 | 2010-04-15 | Toyota Motor Corp | Night view system, and nighttime walker display method |
JP5421072B2 (en) * | 2008-11-19 | 2014-02-19 | クラリオン株式会社 | Approaching object detection system |
JP5198346B2 (en) * | 2009-04-23 | 2013-05-15 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
JP5158063B2 (en) * | 2009-12-02 | 2013-03-06 | 株式会社デンソー | Vehicle display device |
-
2011
- 2011-04-05 JP JP2011084000A patent/JP5533766B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012218505A (en) | 2012-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5533766B2 (en) | Vehicle display device | |
CA2998600C (en) | Vehicular display apparatus and vehicular display method | |
US10528825B2 (en) | Information processing device, approaching object notification method, and program | |
CN102407807B (en) | Vehicle image display apparatus and method | |
JP5143235B2 (en) | Control device and vehicle surrounding monitoring device | |
JP5948170B2 (en) | Information display device, information display method, and program | |
KR101888960B1 (en) | Apparatus and method for measuring the flatness of the road | |
JP6750531B2 (en) | Display control device and display control program | |
JP2012148710A (en) | Image display apparatus | |
JP5488303B2 (en) | Vehicle display device | |
JP2013203374A (en) | Display device for vehicle, control method therefor, and program | |
JP2012247847A (en) | Information transmission control device for vehicle and information transmission control device | |
JP2012027773A (en) | Pseudo grayscale image generation device and program | |
JP5131152B2 (en) | Visual support device | |
JP2016111509A (en) | Image processing device for vehicle, image processing method for vehicle and program | |
JP2013174667A (en) | Display device for vehicle | |
JP2005075190A (en) | Display device for vehicle | |
US8855365B2 (en) | Image processing determining apparatus | |
JP5621558B2 (en) | Vehicle display device | |
JP2019047296A (en) | Display device, display method, control program, and electronic mirror system | |
WO2019021500A1 (en) | Occupant number sensing system, occupant number sensing method, and program | |
JP2017154613A (en) | Display device for vehicle | |
JP4633023B2 (en) | User interface device | |
JP2020126478A (en) | Display control device and display control program | |
JP5617678B2 (en) | Vehicle display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130730 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5533766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140414 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |