JP2015143657A - Stereo camera system for vehicle - Google Patents
Stereo camera system for vehicle Download PDFInfo
- Publication number
- JP2015143657A JP2015143657A JP2014017118A JP2014017118A JP2015143657A JP 2015143657 A JP2015143657 A JP 2015143657A JP 2014017118 A JP2014017118 A JP 2014017118A JP 2014017118 A JP2014017118 A JP 2014017118A JP 2015143657 A JP2015143657 A JP 2015143657A
- Authority
- JP
- Japan
- Prior art keywords
- window glass
- front window
- image
- distance
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000005357 flat glass Substances 0.000 claims abstract description 103
- 238000011156 evaluation Methods 0.000 claims abstract description 66
- 230000005856 abnormality Effects 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 abstract description 39
- 238000012937 correction Methods 0.000 abstract description 6
- 230000000052 comparative effect Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 24
- 239000000919 ceramic Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車外環境を車内から撮像して認識する車両のステレオカメラシステムに関する。 The present invention relates to a vehicle stereo camera system for recognizing an environment outside a vehicle by imaging from the inside of the vehicle.
近年、車両の外部環境をステレオカメラにより撮像して認識し、認識したデータを用い、ドライバの運転を支援したり、安全性を向上する様々な制御が開発され実用化されている。このため、ステレオカメラで精度良くデータを検出するために、様々な技術が提案されている。例えば、特開２００１−９１２４７号公報（以下、特許文献１）では、ステレオカメラの撮像方向に配置されていると共に輝度パターンが描かれたテストチャートを、ステレオカメラで撮影することによって一対の撮像画像を得て、これらの撮像画像からステレオマッチングにより距離データを算出し、撮像画像に映し出されたテストチャートに関する距離データを評価サンプルとし、この評価サンプルの距離値と出現度数との関係を示したヒストグラムを生成し、この生成されたヒストグラムの特性を、ステレオカメラとテストチャートとの間の距離に基づいて評価することにより、算出された距離データの信頼性を判定する距離データの検査装置の技術が開示されている。 In recent years, various controls for recognizing and recognizing an external environment of a vehicle by imaging with a stereo camera and using the recognized data to support driving of a driver or improve safety have been developed and put into practical use. For this reason, various techniques have been proposed in order to detect data with a stereo camera with high accuracy. For example, in Japanese Patent Application Laid-Open No. 2001-91247 (hereinafter referred to as Patent Document 1), a pair of captured images is obtained by photographing a test chart that is arranged in the imaging direction of a stereo camera and has a luminance pattern drawn thereon. The distance data is calculated from these captured images by stereo matching, and the distance data related to the test chart displayed in the captured image is used as an evaluation sample, and the histogram showing the relationship between the distance value of this evaluation sample and the appearance frequency A distance data inspection apparatus that determines the reliability of the calculated distance data by evaluating the characteristics of the generated histogram based on the distance between the stereo camera and the test chart. It is disclosed.
ところで、ステレオカメラ搭載車用のフロントウィンドウガラスの黒セラミック部はステレオカメラの画角に入らないように設計されており、一般車用フロントウィンドウガラスのものと形状が異なっている。このため、ライン作業時にステレオカメラ搭載車に対して誤って一般車用フロントウィンドウガラスが組み付けられた場合、カメラに黒セラミック部が映り込み、ステレオカメラの光学系初期調整や機能に支障をもたらす可能性がある。すなわち、上述の特許文献１に開示される検査装置の光学系初期調整では、フロントウィンドウガラスの組み付けが正しい前提で調整を行っているため、検査結果が不良となってしまう。検査結果が不良となった場合、それがフロントウィンドウガラス誤組み付けによるものなのか、それともステレオカメラの調整精度の悪化によるものなのか区別がつかないため、ライン作業者の次対応に影響・遅延が発生するという課題がある。 By the way, the black ceramic part of the front window glass for a car equipped with a stereo camera is designed so as not to fall within the angle of view of the stereo camera, and the shape is different from that of a general car front window glass. For this reason, if the front window glass for a general vehicle is mistakenly installed on a car equipped with a stereo camera during line work, the black ceramic part will be reflected in the camera, which may interfere with the initial adjustment and function of the stereo camera's optical system. There is sex. That is, in the initial adjustment of the optical system of the inspection apparatus disclosed in Patent Document 1 described above, the adjustment is performed on the premise that the front window glass is correctly assembled. If the inspection result is defective, it cannot be distinguished whether it is due to incorrect assembly of the front window glass or the deterioration of the adjustment accuracy of the stereo camera. There is a problem that occurs.
本発明は上記事情に鑑みてなされたもので、特に、検査のための設備等を追加することなく、フロントウィンドウガラスの異常（フロントウィンドウガラス上に何等かの遮蔽物が載った異常も含む）とステレオカメラの調整精度の異常を明確に分離して対処することができ、フロントウィンドウガラス異常修正やステレオカメラ調整の作業効率を向上させることが可能な車両のステレオカメラシステムを提供することを目的としている。 The present invention has been made in view of the above circumstances, and in particular, an abnormality of the front window glass (including an abnormality in which any shielding object is placed on the front window glass) without adding equipment for inspection or the like. The objective is to provide a vehicle stereo camera system that can clearly separate and deal with abnormalities in the adjustment accuracy of the stereo camera and the front window glass and can improve the work efficiency of stereo camera adjustment It is said.
本発明の一態様による車両のステレオカメラシステムは、車外環境を撮影して距離画像を生成する車両のステレオカメラシステムにおいて、フロントウィンドウガラスを介して車外の一方の基準画像を撮像する第１のカメラと、上記フロントウィンドウガラスを介して車外の他方の比較画像を撮像する第２のカメラと、上記基準画像と上記比較画像とのステレオマッチング処理を行って画素毎の視差を基に距離データを算出する距離データ算出手段と、上記距離データが算出された画像領域上の位置と対応付けて上記距離画像を算出する距離画像算出手段と、上記距離画像に上記フロントウィンドウガラスの評価領域を予め設定する評価領域設定手段と、上記フロントウィンドウガラスの評価領域内における各距離データを基に、上記フロントウィンドウガラスの異常を判定するフロントウィンドウガラス異常判定手段とを備えた。 A vehicle stereo camera system according to an aspect of the present invention is a vehicle stereo camera system that captures an environment outside a vehicle and generates a distance image. The first camera captures one reference image outside the vehicle via a front window glass. And a second camera that captures the other comparison image outside the vehicle through the front window glass, and stereo matching processing between the reference image and the comparison image to calculate distance data based on the parallax for each pixel Distance data calculating means, distance image calculating means for calculating the distance image in association with a position on the image area where the distance data is calculated, and an evaluation area for the windshield in the distance image is preset. Based on the evaluation area setting means and each distance data in the evaluation area of the front window glass, And a front window glass abnormality determining means for determining an abnormality of the window glass.
本発明による車両のステレオカメラシステムによれば、特に、検査のための設備等を追加することなく、フロントウィンドウガラスの異常（フロントウィンドウガラス上に何等かの遮蔽物が載った異常も含む）とステレオカメラの調整精度の異常を明確に分離して対処することができ、フロントウィンドウガラス異常修正やステレオカメラ調整の作業効率を向上させることが可能となる。 According to the vehicle stereo camera system of the present invention, particularly, there is an abnormality in the front window glass (including an abnormality in which any shielding object is placed on the front window glass) without adding equipment for inspection. An abnormality in the adjustment accuracy of the stereo camera can be clearly separated and dealt with, and it becomes possible to improve the work efficiency of the front window glass abnormality correction and the stereo camera adjustment.
以下、図面に基づいて本発明の実施の形態を説明する。図１乃至図７は本発明の実施の形態を示し、本実施の形態では、車外の景色（前方景色）を撮影するステレオカメラは、車室内のルームミラーの近傍に、車幅方向に所定の間隔を有して取り付けられており、ＣＣＤ等のイメージセンサを内蔵した一対のカメラ１，２で構成されている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIGS. 1 to 7 show an embodiment of the present invention. In this embodiment, a stereo camera that captures a scenery outside the vehicle (front scenery) is set in the vehicle width direction in the vicinity of a room mirror in the vehicle interior. A pair of cameras 1 and 2 are mounted with an interval and incorporate an image sensor such as a CCD.
図１に示すように、基準画像データを得るための第１のカメラであるメインカメラ１は、車両の進行方向に向かって右側に取り付けられている。一方、比較画像を得るための第２のカメラであるサブカメラ２は、進行方向に向かって左側に取り付けられている。 As shown in FIG. 1, a main camera 1 that is a first camera for obtaining reference image data is attached on the right side in the traveling direction of the vehicle. On the other hand, the sub camera 2, which is a second camera for obtaining a comparative image, is attached on the left side in the traveling direction.
カメラ対１，２の同期が取れている状態において、各カメラ１，２から出力されたアナログ画像は、後段の回路の入力レンジに合致するように、アナログインターフェース３において調整される。また、アナログインターフェース３中のゲインコントロールアンプ（ＧＣＡ）において画像の明るさバランスが調整される。アナログインターフェース３から出力されたアナログ画像は、Ａ／Ｄコンバータ４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。そして、デジタル化された各画像に対して、補正回路５によりアフィン変換等の補正が行われる。 In a state where the camera pairs 1 and 2 are synchronized, the analog images output from the cameras 1 and 2 are adjusted in the analog interface 3 so as to match the input range of the subsequent circuit. Further, the gain balance of the image is adjusted by a gain control amplifier (GCA) in the analog interface 3. The analog image output from the analog interface 3 is converted by the A / D converter 4 into a digital image having a predetermined luminance gradation (for example, a gray scale of 256 gradations). Then, the correction circuit 5 performs correction such as affine transformation on each digitized image.
このような画像処理を経て、メインカメラ１の出力信号から、基準画像データ（輝度データ）が生成される。また、サブカメラ２の出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが生成される。基準画像データおよび比較画像データは、画像データメモリ７に格納される。 Through such image processing, reference image data (luminance data) is generated from the output signal of the main camera 1. Also, comparison image data having the same vertical length as the reference image and a larger horizontal length than the reference image is generated from the output signal of the sub camera 2. The reference image data and the comparison image data are stored in the image data memory 7.
ステレオ演算回路６は、基準画像データと比較画像データとに基づいて視差を算出する。視差は、基準画像中のある画素サイズをもつブロック領域に注目した場合に、注目画素ブロック領域（相関元）の輝度特性と相関を有する対象画素ブロック領域（相関先）を比較画像中で探索することにより算出する（ステレオマッチング）。周知のとおり、ステレオ画像に映し出された対象物までの距離は、ステレオ画像における視差、すなわち、基準画像と比較画像との間における水平方向のずれ量として現れる。従って、比較画像中で探索を行う場合、注目画素ブロック領域のｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ演算回路６は、このエピポーラライン上で対象画素ブロック領域を一画素ずつシフトしながら、注目画素ブロック領域との相関を評価する。 The stereo calculation circuit 6 calculates the parallax based on the reference image data and the comparison image data. Parallax searches for a target pixel block area (correlation destination) that has a correlation with the luminance characteristics of the target pixel block area (correlation source) in the comparison image when attention is paid to a block area having a certain pixel size in the reference image. (Stereo matching). As is well known, the distance to the object projected on the stereo image appears as a parallax in the stereo image, that is, a horizontal shift amount between the reference image and the comparison image. Therefore, when searching in the comparative image, it is only necessary to search on the same horizontal line (epipolar line) as the j coordinate of the target pixel block region. The stereo arithmetic circuit 6 evaluates the correlation with the target pixel block region while shifting the target pixel block region pixel by pixel on the epipolar line.
２つの画素ブロック領域の相関は、例えば、以下の（１）式に示す、シティブロック距離ＣＢを算出することにより評価することができる。（１）式中において、ｐ１ijは一方の画素ブロック領域のｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロック領域のｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック領域全体における総和であって、その差が小さいほど両画素ブロック領域の相関が大きいことを意味している。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）
基本的には、エピポーラライン上に存在する画素毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる対象画素ブロック領域が注目画素ブロック領域の相関先と判断される。このようにして特定された相関先と注目画素ブロック領域との間のずれ量が視差となる。
The correlation between the two pixel block regions can be evaluated, for example, by calculating a city block distance CB shown in the following equation (1). In the formula (1), p1ij is the luminance value of the ijth pixel in one pixel block region, and p2ij is the ijth luminance value of the other pixel block region. The city block distance CB is the total sum of the differences (absolute values) of the luminance values p1ij and p2ij corresponding to each other in the entire pixel block region, and the smaller the difference is, the greater the correlation between both pixel block regions is. doing.
CB = Σ | p1ij−p2ij | (1)
Basically, the target pixel block region having the smallest value among the city block distances CB calculated for each pixel existing on the epipolar line is determined as the correlation destination of the target pixel block region. The amount of deviation between the correlation destination specified in this way and the target pixel block region is parallax.
また、ステレオ演算回路６は、画素ブロック領域の水平方向の輝度エッジ（輝度変化量）の有無、同一エピポーラライン上において算出されたシティブロック距離ＣＢの最大値／最小値との関係等を評価する。そして、距離データとしての信頼性を確保するために、これらの評価結果に基づいて算出された視差にフィルタリング処理を施し、有効とされた視差ｄ（以下、「有効視差」という）のみを出力する。また、シティブロック距離を算出するためのハード構成やフィルタリング処理の詳細については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された有効視差ｄは距離データメモリ８に格納される。 Further, the stereo arithmetic circuit 6 evaluates the presence / absence of a luminance edge (luminance change amount) in the horizontal direction of the pixel block region, the relationship between the maximum value / minimum value of the city block distance CB calculated on the same epipolar line, and the like. . Then, in order to ensure reliability as distance data, filtering is performed on the parallax calculated based on these evaluation results, and only the valid parallax d (hereinafter referred to as “effective parallax”) is output. . The details of the hardware configuration for calculating the city block distance and the filtering process are disclosed in Japanese Patent Application Laid-Open No. 5-1114099, so refer to them if necessary. The effective parallax d calculated through such processing is stored in the distance data memory 8.
なお、以下の説明で用いられている「距離データ」という用語は距離データメモリ８に格納された有効視差ｄを意味している。また、「距離画像」という用語は、画像領域全体における距離データの出力状態を示したもの、換言すれば、各距離データｄをそれが算出された画像領域上の位置と対応づけた概念的な画像を意味している。このように、ステレオ演算回路６は距離データ算出手段として設けられ、距離データメモリ８は距離画像算出手段として設けられている。 Note that the term “distance data” used in the following description means the effective parallax d stored in the distance data memory 8. The term “distance image” indicates an output state of distance data in the entire image area, in other words, a conceptual expression in which each distance data d is associated with a position on the image area where the distance data d is calculated. Means an image. Thus, the stereo calculation circuit 6 is provided as distance data calculation means, and the distance data memory 8 is provided as distance image calculation means.
マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである認識部１０）は、道路形状（白線）や車両前方の立体物（走行車）等を認識する。これらの認識は、画像データメモリ７中に記憶された画像データと距離データメモリ８に格納された距離データｄ（有効視差）とに基づいて行われる。また、図示していない車速センサや舵角センサからのセンサ情報、或いはナビゲーション情報等も必要に応じて参照される。そして、これらの認識結果に基づいて、前方のカーブや立体物に対する警報が必要と判定された場合、モニタやスピーカー等の警報装置１１を作動させてドライバに注意を促す。また、必要に応じて制御装置１２を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が実行される。 The microcomputer 9 (recognizing unit 10 which is a functional block when functionally recognized) recognizes a road shape (white line), a three-dimensional object (running vehicle) in front of the vehicle, and the like. These recognitions are performed based on the image data stored in the image data memory 7 and the distance data d (effective parallax) stored in the distance data memory 8. Further, sensor information from a vehicle speed sensor or a steering angle sensor, navigation information, or the like, not shown, is referred to as necessary. Then, based on these recognition results, when it is determined that an alarm for a forward curve or a three-dimensional object is necessary, the alarm device 11 such as a monitor or a speaker is activated to alert the driver. Further, by controlling the control device 12 as necessary, vehicle control such as AT (automatic transmission) shift down, engine output suppression, or brake operation is executed.
検査装置１４は、製品の検査工程時においてのみ接続される外付けの装置である。マイクロコンピュータ９に検査装置１４が接続され、検査装置１４によって検査の開始が指示されると、マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである検査部１３）は予めプログラムされた検査ルーチンを実行する。検査部１３は、図２に示す、フローチャートにしたがって検査サンプルにおける距離の出力状況を自動的に検査する。 The inspection device 14 is an external device that is connected only during a product inspection process. When the inspection device 14 is connected to the microcomputer 9 and the inspection device 14 instructs the start of the inspection, the microcomputer 9 (the inspection unit 13 that is a functional block when functionally captured) is programmed in advance. Run the verification routine. The inspection unit 13 automatically inspects the output status of the distance in the inspection sample according to the flowchart shown in FIG.
図２は、本発明の実施の第１形態に係るステレオカメラシステムによる検査手順のフローチャートを示す。 FIG. 2 shows a flowchart of an inspection procedure by the stereo camera system according to the first embodiment of the present invention.
まず、検査者は、ステレオカメラシステムの検査を始めるにあたり、所定のパターンを有するテストチャートを車両前方の所定位置に配置しておく。 First, when an inspector starts an inspection of a stereo camera system, a test chart having a predetermined pattern is arranged at a predetermined position in front of the vehicle.
図３は、テストチャートの配置位置と車両との関係を示す図である。また、図４は、この検査で用いられるテストチャートの一例を示した図である。 FIG. 3 is a diagram illustrating a relationship between the arrangement position of the test chart and the vehicle. FIG. 4 is a diagram showing an example of a test chart used in this inspection.
このテストチャート２１は、所定の輝度階調（例えば、１６階調のグレースケール）を有する輝度ブロックをランダムに（すなわち、輝度変化に規則性がないように）配置したランダムパターンである。また、一輝度のブロックあたりの大きさは、ステレオマッチングの際の精度を確保する大きさに設定されている。 The test chart 21 is a random pattern in which luminance blocks having a predetermined luminance gradation (for example, a gray scale of 16 gradations) are randomly arranged (that is, there is no regularity in luminance change). Also, the size per block of luminance is set to a size that ensures the accuracy in stereo matching.
図３（ａ）、図３（ｂ）に示すように、テストチャート２１は、車長方向（Ｚ軸方向）に関してステレオカメラの取り付け位置からＺ１の距離で、車高方向（Ｙ軸方向）に関して地面から十字交点ＣまでがＹ１の高さで、且つ、テストチャート２１の平面が車幅方向（Ｘ軸方向）に対して平行になるように配置されている。 As shown in FIG. 3A and FIG. 3B, the test chart 21 is a distance Z1 from the stereo camera mounting position in the vehicle length direction (Z-axis direction), and in the vehicle height direction (Y-axis direction). The height from the ground to the crossing point C is Y1, and the plane of the test chart 21 is arranged parallel to the vehicle width direction (X-axis direction).
このような状態でテストチャート２１をカメラ１，２で撮像すると、フロントウィンドウガラスにカメラ視界を遮るものの無い、ステレオカメラシステム搭載仕様車の場合には、図５に示すように、撮像画像にテストチャート２１が映し出される。 When the test chart 21 is imaged by the cameras 1 and 2 in such a state, in the case of a car equipped with a stereo camera system in which the front window glass does not obstruct the camera field of view, as shown in FIG. A chart 21 is displayed.
一方、フロントウィンドウガラスがステレオカメラシステムが非搭載車用（一般車用）のガラスであって、黒セラミック等のステレオカメラの画角を妨げる遮蔽部分が設けられたフロントウィンドウガラスの場合には、メインカメラ１からの基準画像は、例えば、図５中、ＬＲのラインよりも上の領域が黒くなり、サブカメラ２からの比較画像は、例えば、図５中、ＬＬのラインよりも上の領域が黒くなる画像が得られることになる。尚、図５中の符号ＰＲはメインカメラ１の無限遠点、ＰＬはサブカメラ２の無限遠点を示す。 On the other hand, if the front window glass is a glass for a vehicle that is not equipped with a stereo camera system (for a general car), and the front window glass is provided with a shielding portion that obstructs the angle of view of a stereo camera such as black ceramic, In the reference image from the main camera 1, for example, the region above the LR line in FIG. 5 is black, and the comparative image from the sub camera 2 is, for example, the region above the LL line in FIG. 5. A black image can be obtained. 5 indicates an infinite point of the main camera 1, and PL indicates an infinite point of the sub camera 2.
そして、検査者が検査装置１４を操作して検査の開始を指示すると、マイクロコンピュータ９（すなわち検査部１３）は、まずステップ（以下、「Ｓ」と略称）１０１においてシステムの初期化を行った後、Ｓ１０２に進み、１フレーム分の距離画像をサンプリングする。 When the inspector operates the inspection apparatus 14 to instruct the start of the inspection, the microcomputer 9 (that is, the inspection unit 13) first initializes the system in step (hereinafter abbreviated as “S”) 101. Thereafter, the process proceeds to S102, and a distance image for one frame is sampled.
次に、１０３に進み、距離画像中にフロントウィンドウガラス評価用領域Ｔe1を設定する。このフロントウィンドウガラス評価用領域Ｔe1は、ステレオカメラシステムが非搭載車用（一般車用）のガラスが組み付けられた場合に黒セラミック等のステレオカメラの画角を妨げる遮蔽部分内となる領域（すなわち、図５中のＴe1の領域）を予め求めておき設定される。 Next, proceeding to 103, a front window glass evaluation region Te1 is set in the distance image. This front window glass evaluation region Te1 is a region that is in a shielding portion that obstructs the angle of view of a stereo camera such as black ceramic when glass for a vehicle without a stereo camera system (general vehicle) is assembled (that is, , The region of Te1 in FIG. 5) is obtained and set in advance.
次いで、Ｓ１０４に進み、距離画像中にフロントウィンドウガラス評価用領域Ｔe1中の距離データｄを抽出し、これらの距離データから距離無効データをカウントし、この総数ＮＤを算出する。 Next, in S104, the distance data d in the front window glass evaluation region Te1 is extracted from the distance image, the distance invalid data is counted from these distance data, and the total number ND is calculated.
図６に、距離画像中のフロントウィンドウガラス評価用領域Ｔe1を示す。フロントウィンドウガラス評価用領域Ｔe1には、フロントウィンドウガラスが正規のステレオカメラシステム搭載仕様車の場合には、前方のテストチャート２１の輝度パターンが映し出され、このフロントウィンドウガラス評価用領域Ｔe1内に存在する画素ブロックについて算出された距離データｄが映し出されている。このため、図６に示すように、フロントウィンドウガラス評価用領域Ｔe1は、距離画像の周縁部分を除いた領域に設定されている。画像の周縁部分を除いた理由は、ステレオカメラのレンズ歪み等の影響により、周縁部分では誤差を含んだ距離データｄが算出されやすいからである。理論的には、評価サンプルであるすべての距離データｄの値は、ステレオカメラからテストチャート２１までの距離（視差）になる。 FIG. 6 shows a front window glass evaluation region Te1 in the distance image. When the front window glass is a vehicle equipped with a regular stereo camera system, the brightness pattern of the front test chart 21 is displayed in the front window glass evaluation area Te1, and exists in the front window glass evaluation area Te1. The distance data d calculated for the pixel block to be displayed is displayed. Therefore, as shown in FIG. 6, the front window glass evaluation region Te1 is set to a region excluding the peripheral portion of the distance image. The reason for excluding the peripheral portion of the image is that distance data d including an error is easily calculated in the peripheral portion due to the influence of lens distortion of the stereo camera. Theoretically, the values of all the distance data d that are evaluation samples are distances (parallax) from the stereo camera to the test chart 21.
一方、フロントウィンドウガラスがステレオカメラシステムが非搭載車用（一般車用）のガラスであって、黒セラミック等のステレオカメラの画角を妨げる遮蔽部分が設けられたフロントウィンドウガラスの場合には、フロントウィンドウガラス評価用領域Ｔe1には、テストチャート２１が写らず、黒セラミック等の遮蔽部分が映り、ブロック領域内の画素間の輝度差も少なく、ステレオマッチング処理ができず距離データｄを求めることができず、フロントウィンドウガラス評価用領域Ｔe1の各画素ブロックには距離無効データのみが記録されることになる。フロントウィンドウガラスに（紙部材等の）何等かの遮蔽物が有る場合も、同様に、距離無効データのみが記録されることになる。このＳ１０４は、この距離無効データをカウントし、その総数ＮＤを算出するのである。 On the other hand, if the front window glass is a glass for a vehicle that is not equipped with a stereo camera system (for a general car), and the front window glass is provided with a shielding portion that obstructs the angle of view of a stereo camera such as black ceramic, In the front window glass evaluation region Te1, the test chart 21 is not shown, a shielding part such as black ceramic is shown, the luminance difference between pixels in the block region is small, stereo matching processing cannot be performed, and distance data d is obtained. Thus, only the distance invalid data is recorded in each pixel block in the front window glass evaluation region Te1. Similarly, when there is any shielding object (such as a paper member) on the front window glass, only the distance invalid data is recorded. In S104, the distance invalid data is counted and the total number ND is calculated.
次に、Ｓ１０５に進み、距離無効データの総数ＮＤと予め実験・計算等により設定しておいた閾値Ｎｃとを比較して、距離無効データの総数ＮＤが閾値Ｎｃ以上（ＮＤ≧Ｎｃ）の場合、Ｓ１０６に進み、検査装置１４は、検査者に対してフロントウィンドウガラスが異常（紙等の何等かの遮蔽物が有る異常も含む）である旨を報知する。これにより、検査者は、ステレオカメラ仕様車用に一般車用のフロントウィンドウガラスを組み付けた場合のようなフロントウィンドウガラスの誤組み付けを修正することが素早くでき、また、フロントウィンドウガラスがステレオカメラ仕様車用のものであっても、紙等の何等かの遮蔽物を取り除き、再検査を行うことでステレオカメラシステムの精度を良好に保つことができる。 Next, the process proceeds to S105, where the total number ND of invalid distance data is compared with a threshold value Nc set in advance through experiments and calculations, and the total number ND of invalid distance data is equal to or greater than the threshold value Nc (ND ≧ Nc). In step S106, the inspection apparatus 14 notifies the inspector that the front window glass is abnormal (including an abnormality in which there is some kind of shielding such as paper). This allows the inspector to quickly correct misassembly of the front window glass, such as when installing a front window glass for a standard car for a stereo camera specification car, and the front window glass is a stereo camera specification. Even if it is for a car, the accuracy of the stereo camera system can be kept good by removing any obstructions such as paper and conducting a re-inspection.
前述のＳ１０５で、距離無効データの総数ＮＤが閾値Ｎｃよりも少ない場合（ＮＤ＜Ｎｃの場合）、フロントウィンドウガラスに異常が無いと判断し、Ｓ１０７以降のステレオカメラシステムの距離データの信頼性の判定を実行する。 If the total number ND of invalid distance data is smaller than the threshold value Nc in S105 described above (when ND <Nc), it is determined that there is no abnormality in the front window glass, and the reliability of the distance data of the stereo camera system after S107 is determined. Make a decision.
Ｓ１０７では、距離画像中にヒストグラム生成のための評価領域Ｒ１を設定する。尚、本実施の第１形態では、ヒストグラム生成のための評価領域Ｒ１は、前述のフロントウィンドウガラス評価用領域Ｔe1と同一の領域に設定するものとする。 In S107, an evaluation region R1 for generating a histogram is set in the distance image. In the first embodiment, the evaluation region R1 for generating a histogram is set to the same region as the above-described front window glass evaluation region Te1.
次いで、Ｓ１０８に進み、評価領域Ｒ１中の距離データｄが抽出される。前述の如く、この評価領域Ｒ１には、テストチャート２１の輝度パターンが映し出されている。そして、対象となる評価サンプルは、この領域Ｒ１内に存在する画素ブロックについて算出された距離データｄ、すなわち、テストチャート２１が有する輝度パターンに関する距離データｄである。図６は、距離画像中に設定された評価領域Ｒ１を示した図である。同図に示したように、評価領域Ｒ１は、距離画像の周縁部分を除いた領域に設定されている。画像の周縁部分を除いた理由は、ステレオカメラのレンズ歪み等の影響により、周縁部分では誤差を含んだ距離データｄが算出されやすいからである。理論的には、評価サンプルであるすべての距離データｄの値は、ステレオカメラからテストチャート２１までの距離（視差）になる。 Next, in S108, the distance data d in the evaluation area R1 is extracted. As described above, the luminance pattern of the test chart 21 is displayed in the evaluation region R1. The target evaluation sample is the distance data d calculated for the pixel blocks existing in the region R1, that is, the distance data d related to the luminance pattern included in the test chart 21. FIG. 6 is a diagram showing the evaluation region R1 set in the distance image. As shown in the figure, the evaluation region R1 is set to a region excluding the peripheral portion of the distance image. The reason for excluding the peripheral portion of the image is that distance data d including an error is easily calculated in the peripheral portion due to the influence of lens distortion of the stereo camera. Theoretically, the values of all the distance data d that are evaluation samples are distances (parallax) from the stereo camera to the test chart 21.
次に、Ｓ１０９に進んで、検査部１３は、評価範囲Ｒ１内に存在する距離データｄ、すなわち評価サンプルの個数をカウントし、その総数Ｎを算出する。この総数Ｎは、最大で評価領域Ｒ１内の画素ブロックの数だけ算出され得るが、ステレオ演算回路６によるフィルタリング処理によって、通常は、それよりも少なくなる（有効視差数相当になる）。 In step S109, the inspection unit 13 counts the distance data d existing in the evaluation range R1, that is, the number of evaluation samples, and calculates the total number N. The total number N can be calculated as many as the number of pixel blocks in the evaluation region R1, but is usually smaller (corresponding to the number of effective parallaxes) by the filtering processing by the stereo arithmetic circuit 6.
次いで、Ｓ１１０に進み、Ｓ１０９で特定された評価サンプルに基づいて、評価領域Ｒ１における距離データの値とその出現度数との関係を示したヒストグラムが生成される。図７は、１フレームの距離画像における視差のヒストグラムを示した図である。正常な状態におけるヒストグラムの特性として、テストチャート２１までの距離Ｚ１において急峻かつ大きなピークが出現する。 Next, in S110, based on the evaluation sample specified in S109, a histogram showing the relationship between the value of the distance data in the evaluation region R1 and the appearance frequency is generated. FIG. 7 is a diagram illustrating a parallax histogram in a distance image of one frame. As a characteristic of the histogram in a normal state, a steep and large peak appears at a distance Z1 to the test chart 21.
次に、Ｓ１１１に進み、所定の適正範囲内ＲＮＧ１内に含まれる距離データｄの数がカウントされ、その総数Ｍが算出される。適正範囲ＲＮＧ１は、テストチャートまでの距離Ｚ１を基準に設定されている。このレンジは、算出された距離の適否を判断する基準となるものであり、検査精度の要求レベルに応じて設定される。 Next, proceeding to S111, the number of distance data d included in the predetermined appropriate range RNG1 is counted, and the total number M is calculated. The appropriate range RNG1 is set based on the distance Z1 to the test chart. This range serves as a reference for determining the suitability of the calculated distance, and is set according to the required level of inspection accuracy.
次いで、Ｓ１１２に進み、評価サンプルの総数Ｎと適正範囲ＲＮＧ１内の評価サンプル数Ｍとに基づいて適正率ｒ（ｒ＝Ｍ／Ｎ）が算出される。適正率ｒは、適正範囲ＲＮＧ１内の評価サンプル数が、評価サンプル総数に占める割合を示している。従って、評価サンプルの距離値が距離Ｚ１に収束しているほど適正率ｒは大きくなり、逆に、距離値がばらつくほど適正率ｒは小さくなる。 Next, the process proceeds to S112, and an appropriate rate r (r = M / N) is calculated based on the total number N of evaluation samples and the number M of evaluation samples within the appropriate range RNG1. The appropriate rate r indicates the ratio of the number of evaluation samples in the appropriate range RNG1 to the total number of evaluation samples. Therefore, the appropriate rate r increases as the distance value of the evaluation sample converges to the distance Z1, and conversely, the appropriate rate r decreases as the distance value varies.
そして、Ｓ１１３に進み、適正率ｒと予め実験・計算等により設定しておいた判定閾値ｒthと比較し、適正率ｒが判定閾値ｒth未満（ｒ＜ｒth）の場合、算出された距離データｄが異常であると判定して、Ｓ１１４に進んで、検査部１３における検査結果を受けて、検査装置１４は、検査者に対してカメラシステムの検査結果が異常である旨を報知する。 In step S113, the appropriate rate r is compared with a determination threshold value rth set in advance through experiments and calculations. If the appropriate rate r is less than the determination threshold value rth (r <rth), the calculated distance data d is calculated. , The process proceeds to S114, receives the inspection result in the inspection unit 13, and notifies the inspector that the inspection result of the camera system is abnormal.
逆に、適正率ｒが判定閾値ｒth以上（ｒ≧ｒth）の場合、信頼できる距離データｄが算出されていると判定して、Ｓ１１５に進み、検査部１３における検査結果を受けて、検査装置１４は検査者に対して検査結果が正常である旨を報知する。このように、検査部１３は、評価領域設定手段、フロントウィンドウガラス異常判定手段として設けられている。 On the other hand, if the appropriate rate r is equal to or greater than the determination threshold rth (r ≧ rth), it is determined that reliable distance data d has been calculated, the process proceeds to S115, the inspection result in the inspection unit 13 is received, and the inspection apparatus 14 notifies the inspector that the inspection result is normal. Thus, the inspection unit 13 is provided as an evaluation area setting unit and a front window glass abnormality determination unit.
このように、本発明の実施の第１形態によれば、車外環境を撮影して距離画像を生成する車両のステレオカメラシステムにおいて、車外をメインカメラ１で撮像した基準画像とサブカメラ２で撮像した比較画像とのステレオマッチング処理を行って画素毎の視差を基に距離データｄを算出し、距離データｄが算出された画像領域上の位置と対応付けて距離画像を算出し、距離画像にフロントウィンドウガラス評価用領域Ｔe1を予め設定し、フロントウィンドウガラス評価用領域Ｔe1内における各距離データｄの距離無効データの総数ＮＤが予め設定した閾値以上となる場合に、フロントウィンドウガラスの異常（ステレオカメラシステムが非搭載車用（一般車用）のガラスの誤組み付け、及び、フロントウィンドウガラスに（紙部材等の）何等かの遮蔽物が有る異常）を判定する。一方、フロントウィンドウガラスが正常と判定された場合に、ステレオカメラシステムで算出する距離データの信頼性の判定を実行する。このため、特に、検査のための設備等を追加することなく、フロントウィンドウガラスの異常（フロントウィンドウガラス上に何等かの遮蔽物が載った異常も含む）とステレオカメラの調整精度の異常を明確に分離して対処することができ、フロントウィンドウガラス異常修正やステレオカメラ調整の作業効率を向上させることが可能となる。 As described above, according to the first embodiment of the present invention, in the vehicle stereo camera system that captures the environment outside the vehicle and generates the distance image, the outside image is captured by the main camera 1 and the sub camera 2. The distance data d is calculated based on the parallax for each pixel by performing a stereo matching process with the comparison image, and the distance image is calculated in association with the position on the image area where the distance data d is calculated. If the front window glass evaluation area Te1 is set in advance and the total number ND of the distance invalid data of each distance data d in the front window glass evaluation area Te1 is equal to or larger than a preset threshold value, the front window glass abnormality (stereo) Misinstallation of glass for vehicles without a camera system (for general vehicles) and anything (such as paper members) on the front window glass Abnormalities with such shielding). On the other hand, when it is determined that the front window glass is normal, the reliability of the distance data calculated by the stereo camera system is determined. For this reason, in particular, it is clear that there is an abnormality in the front window glass (including an abnormality in which some kind of shielding is placed on the front window glass) and an abnormality in the adjustment accuracy of the stereo camera without adding equipment for inspection. Therefore, it is possible to improve the work efficiency of front window glass abnormality correction and stereo camera adjustment.
尚、Ｓ１０７以降のステレオカメラシステムの距離データの信頼性の判定は、他の、公知の手法を用いることも可能である。また、本実施の第１形態では、距離画像中に設定するフロントウィンドウガラス評価用領域Ｔe1とヒストグラム生成のための評価領域Ｒ１とを同じ位置に設定するようにしているが、同じ位置に設定しなくとも良い。例えば、車種やフロントウィンドウガラスの仕様が異なれば、黒セラミック等のステレオカメラの画角を妨げる遮蔽部分の位置も異なるため、フロントウィンドウガラス評価用領域Ｔe1は、その車種、フロントウィンドウガラスの仕様に合わせ、より高い位置に設定するようにしても良い。更に、メインカメラ１とサブカメラ２の少なくとも一方のみを遮蔽する遮蔽部分の位置に設けても、距離データは、無効距離データとして抽出されるため、このような位置に設定するようにしても良い。 It should be noted that other known methods can be used to determine the reliability of the distance data of the stereo camera system after S107. In the first embodiment, the front window glass evaluation region Te1 set in the distance image and the evaluation region R1 for generating the histogram are set at the same position, but they are set at the same position. Not necessary. For example, if the vehicle model and the specification of the front window glass are different, the position of the shielding portion that obstructs the angle of view of a stereo camera such as black ceramic is also different. Therefore, the front window glass evaluation region Te1 is the specification of the vehicle type and the front window glass. In addition, a higher position may be set. Furthermore, even if it is provided at the position of the shielding portion that shields at least one of the main camera 1 and the sub camera 2, the distance data is extracted as invalid distance data, and thus may be set at such a position. .
次に、図８は、本発明の実施の第２形態に係るステレオカメラシステムによる検査手順のフローチャートを示す。この第２形態は、距離画像中に設定したフロントウィンドウガラス評価用領域を構成するメインカメラ１からの基準画像の注目画素ブロック領域内のそれぞれ隣接する画素との輝度差が少ない画素ブロックの合計が予め実験・計算等により設定しておいた閾値を下回る場合にフロントウィンドウガラスの異常と判定するようにしたことが前記第１形態と異なり、他の構成作用は第１形態と同様であるので説明は省略する。 Next, FIG. 8 shows a flowchart of an inspection procedure by the stereo camera system according to the second embodiment of the present invention. In the second embodiment, the sum of pixel blocks having a small luminance difference from each adjacent pixel in the target pixel block region of the reference image from the main camera 1 constituting the front window glass evaluation region set in the distance image is obtained. Unlike the first embodiment, it is determined that the windshield glass is abnormal when it falls below a threshold value set in advance through experiments and calculations. Is omitted.
すなわち、図８のＳ１０２で、１フレーム分の距離画像をサンプリングした後、Ｓ２０１に進み、距離画像中にフロントウィンドウガラス評価用領域Ｔe2を設定する。このフロントウィンドウガラス評価用領域Ｔe2も前記第１形態のフロントウィンドウガラス評価用領域Ｔe1と同様に、ステレオカメラシステムが非搭載車用（一般車用）のガラスが組み付けられた場合に黒セラミック等のステレオカメラの画角を妨げる遮蔽部分内となる領域（すなわち、図５中のＴe2の領域）を予め求めておき設定される。 That is, after sampling the distance image for one frame in S102 of FIG. 8, the process proceeds to S201, and the front window glass evaluation region Te2 is set in the distance image. Similarly to the front window glass evaluation area Te1 of the first embodiment, the front window glass evaluation area Te2 is made of black ceramic or the like when a glass for a vehicle without a stereo camera system (for a general car) is assembled. A region (that is, a region of Te2 in FIG. 5) that is within the shielding portion that obstructs the angle of view of the stereo camera is determined and set in advance.
次いで、Ｓ２０２に進み、メインカメラ１のフロントウィンドウガラス評価用領域Ｔe2中の画素ブロック領域内の各隣接する画素間の輝度差が少ない画素ブロックの合計ＳＬを算出する。 Next, the process proceeds to S202, and the total SL of pixel blocks having a small luminance difference between adjacent pixels in the pixel block region in the front window glass evaluation region Te2 of the main camera 1 is calculated.
図６に、距離画像中のフロントウィンドウガラス評価用領域Ｔe2を示す。フロントウィンドウガラス評価用領域Ｔe2には、フロントウィンドウガラスが正規のステレオカメラシステム搭載仕様車の場合には、前方のテストチャート２１の輝度パターンが映し出され、画素間の輝度差が大きい画像が得られるため、メインカメラ１のフロントウィンドウガラス評価用領域Ｔe2中の画素ブロック領域内の各隣接する画素間の輝度差が少ない画素ブロック数は少なくなり、フロントウィンドウガラス評価用領域Ｔe2中の輝度差の少ない画素ブロックの合計ＳＬは、これらの合計となる。 FIG. 6 shows a front window glass evaluation region Te2 in the distance image. In the front window glass evaluation region Te2, when the front window glass is a vehicle equipped with a regular stereo camera system, the luminance pattern of the front test chart 21 is displayed, and an image having a large luminance difference between pixels is obtained. Therefore, the number of pixel blocks having a small luminance difference between adjacent pixels in the pixel block region in the front window glass evaluation region Te2 of the main camera 1 is reduced, and the luminance difference in the front window glass evaluation region Te2 is small. The total SL of pixel blocks is the total of these.
一方、フロントウィンドウガラスがステレオカメラシステムが非搭載車用（一般車用）のガラスであって、黒セラミック等のステレオカメラの画角を妨げる遮蔽部分が設けられたフロントウィンドウガラスの場合には、フロントウィンドウガラス評価用領域Ｔe1には、テストチャート２１が写らず、黒セラミック等の遮蔽部分が映り、画素ブロック領域内の画素間の輝度差も少なくなり、フロントウィンドウガラス評価用領域Ｔe2中の輝度差の少ない画素ブロックの合計ＳＬは、これらの合計となる。 On the other hand, if the front window glass is a glass for a vehicle that is not equipped with a stereo camera system (for a general car), and the front window glass is provided with a shielding portion that obstructs the angle of view of a stereo camera such as black ceramic, In the front window glass evaluation area Te1, the test chart 21 is not shown, and a shielding portion such as black ceramic is reflected, and the luminance difference between the pixels in the pixel block area is reduced, and the luminance in the front window glass evaluation area Te2 is reduced. The total SL of pixel blocks with a small difference is the total of these.
そして、Ｓ２０３に進み、輝度差の少ない画素ブロックの合計ＳＬと予め実験・計算等により設定しておいた閾値Ｓｃとを比較する。この比較の結果、輝度差の少ない画素ブロックの合計ＳＬが閾値Ｓｃ以下（ＳＬ≦Ｓｃ）の場合は、Ｓ２０４に進み、検査装置１４は、検査者に対してフロントウィンドウガラスが異常（紙等の何等かの遮蔽物が有る異常も含む）である旨を報知する。これにより、検査者は、ステレオカメラ仕様車用に一般車用のフロントウィンドウガラスを組み付けた場合のようなフロントウィンドウガラスの誤組み付けを修正することが素早くでき、また、フロントウィンドウガラスがステレオカメラ仕様車用のものであっても、紙等の何等かの遮蔽物を取り除き、ステレオカメラシステムの精度を良好に保つことができる。 In step S203, the total SL of pixel blocks having a small luminance difference is compared with a threshold value Sc set in advance through experiments and calculations. As a result of this comparison, if the total SL of the pixel blocks having a small luminance difference is equal to or less than the threshold value Sc (SL ≦ Sc), the process proceeds to S204, and the inspection apparatus 14 detects that the front window glass is abnormal (such as paper (Including abnormalities with some sort of shielding). This allows the inspector to quickly correct misassembly of the front window glass, such as when installing a front window glass for a standard car for a stereo camera specification car, and the front window glass is a stereo camera specification. Even if it is a thing for cars, some obstructions, such as paper, can be removed and the precision of a stereo camera system can be maintained favorable.
逆に、前述のＳ２０３で、輝度差の少ない画素ブロックの合計ＳＬが閾値Ｓｃより大きい場合（ＳＬ＞Ｓｃの場合）は、フロントウィンドウガラスに異常が無いと判断し、Ｓ１０７以降のステレオカメラシステムの距離データの信頼性の判定を実行する。 Conversely, if the total SL of the pixel blocks having a small luminance difference is larger than the threshold value Sc (when SL> Sc) in S203 described above, it is determined that there is no abnormality in the front window glass, and the stereo camera system of S107 and later Perform reliability determination of distance data.
このように、本実施の第２形態によっても、前述の第１形態と同様の効果を得ることができる。尚、本実施の第２形態では、メインカメラ１のフロントウィンドウガラス評価用領域Ｔe2中の画素ブロック領域内の各隣接する画素間の輝度差の少ない画素ブロックの合計ＳＬを算出するようにしているが、サブカメラ２からの比較画像に対しても同様の処理を行うことによりフロントウィンドウガラスの異常を検出するようにしても良い。また、本実施の第２形態のフロントウィンドウガラス評価用領域Ｔe2は、前述の第１形態のフロントウィンドウガラス評価用領域Ｔe1とヒストグラム生成のための評価領域Ｒ１とを同じ位置に設定するようにしているが、同じ位置に設定しなくとも良い。また、本実施の第１、第２形態では、車両前方の環境をフロントウィンドウガラス越しに撮影するステレオカメラに対して適用した例で説明したが、車両後方等の環境をリヤウィンドウガラス越しに撮影するステレオカメラに対しても適用できることは言うまでも無い。 Thus, also by the second embodiment, the same effect as that of the first embodiment can be obtained. In the second embodiment, the total SL of pixel blocks having a small luminance difference between adjacent pixels in the pixel block region in the front window glass evaluation region Te2 of the main camera 1 is calculated. However, the abnormality of the front window glass may be detected by performing the same process on the comparison image from the sub camera 2. Further, in the front window glass evaluation region Te2 of the second embodiment, the front window glass evaluation region Te1 of the first embodiment and the evaluation region R1 for generating a histogram are set at the same position. However, they do not have to be set at the same position. Further, in the first and second embodiments, the example in which the environment in front of the vehicle is photographed through the front window glass has been described as an example. However, the environment in the rear of the vehicle and the like is photographed through the rear window glass. Needless to say, the present invention can be applied to a stereo camera.
１ メインカメラ（第１のカメラ）
２ サブカメラ（第２のカメラ）
３ アナログインターフェース
４ Ａ／Ｄコンバータ
５ 補正回路
６ ステレオ演算回路
７ 画像データメモリ（距離データ算出手段）
８ 距離データメモリ（距離画像算出手段）
９ マイクロコンピュータ
１０ 認識部
１１ 警報装置
１２ 制御装置
１３ 検査部（評価領域設定手段、フロントウィンドウガラス異常判定手段）
１４ 検査装置
1 Main camera (first camera)
2 Sub camera (second camera)
3 Analog Interface 4 A / D Converter 5 Correction Circuit 6 Stereo Arithmetic Circuit 7 Image Data Memory (Distance Data Calculation Means)
8 Distance data memory (distance image calculation means)
9 Microcomputer 10 Recognition Unit 11 Alarm Device 12 Control Device 13 Inspection Unit (Evaluation Area Setting Unit, Front Window Glass Abnormality Determination Unit)
14 Inspection equipment
Claims (6)
フロントウィンドウガラスを介して車外の一方の基準画像を撮像する第１のカメラと、
上記フロントウィンドウガラスを介して車外の他方の比較画像を撮像する第２のカメラと、
上記基準画像と上記比較画像とのステレオマッチング処理を行って画素毎の視差を基に距離データを算出する距離データ算出手段と、
上記距離データが算出された画像領域上の位置と対応付けて上記距離画像を算出する距離画像算出手段と、
上記距離画像に上記フロントウィンドウガラスの評価領域を予め設定する評価領域設定手段と、
上記フロントウィンドウガラスの評価領域内における各距離データを基に、上記フロントウィンドウガラスの異常を判定するフロントウィンドウガラス異常判定手段と、
を備えたことを特徴とする車両のステレオカメラシステム。 In a vehicle stereo camera system that captures the environment outside the vehicle and generates a distance image,
A first camera that captures one of the reference images outside the vehicle through the front window glass;
A second camera that captures the other comparison image outside the vehicle through the front window glass;
Distance data calculating means for calculating distance data based on parallax for each pixel by performing a stereo matching process between the reference image and the comparison image;
Distance image calculation means for calculating the distance image in association with a position on the image area where the distance data is calculated;
An evaluation area setting means for presetting an evaluation area of the front window glass in the distance image;
Front window glass abnormality determining means for determining abnormality of the front window glass based on each distance data in the evaluation area of the front window glass,
A vehicle stereo camera system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014017118A JP6204844B2 (en) | 2014-01-31 | 2014-01-31 | Vehicle stereo camera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014017118A JP6204844B2 (en) | 2014-01-31 | 2014-01-31 | Vehicle stereo camera system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015143657A true JP2015143657A (en) | 2015-08-06 |
| JP6204844B2 JP6204844B2 (en) | 2017-09-27 |
Family
ID=53888793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014017118A Active JP6204844B2 (en) | 2014-01-31 | 2014-01-31 | Vehicle stereo camera system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6204844B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399622A (en) * | 2018-04-24 | 2019-11-01 | 上海欧菲智能车联科技有限公司 | The method for arranging of vehicle-mounted camera and the arrangement system of vehicle-mounted camera |
| CN112740007A (en) * | 2018-09-21 | 2021-04-30 | 本田技研工业株式会社 | Vehicle inspection system |
| US11574419B2 (en) | 2019-02-13 | 2023-02-07 | Subaru Corporation | Stereo camera adjustment system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001091247A (en) * | 1999-09-22 | 2001-04-06 | Fuji Heavy Ind Ltd | Inspection method for distance data and inspecting device for them |
| JP2008216177A (en) * | 2007-03-07 | 2008-09-18 | Fuji Heavy Ind Ltd | Object detecting device |
| JP2011113330A (en) * | 2009-11-27 | 2011-06-09 | Fuji Heavy Ind Ltd | Object detection device and drive assist system |
| DE102012009975A1 (en) * | 2012-05-19 | 2013-11-21 | Leica Camera Ag | Opto-electronic rangefinder integrated camera, has pick-up modules comparing determined phase spacing with values for different phase spacings associated with microprocessor unit, and signal outputs provided in calibration chart |
-
2014
- 2014-01-31 JP JP2014017118A patent/JP6204844B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001091247A (en) * | 1999-09-22 | 2001-04-06 | Fuji Heavy Ind Ltd | Inspection method for distance data and inspecting device for them |
| JP2008216177A (en) * | 2007-03-07 | 2008-09-18 | Fuji Heavy Ind Ltd | Object detecting device |
| JP2011113330A (en) * | 2009-11-27 | 2011-06-09 | Fuji Heavy Ind Ltd | Object detection device and drive assist system |
| DE102012009975A1 (en) * | 2012-05-19 | 2013-11-21 | Leica Camera Ag | Opto-electronic rangefinder integrated camera, has pick-up modules comparing determined phase spacing with values for different phase spacings associated with microprocessor unit, and signal outputs provided in calibration chart |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399622A (en) * | 2018-04-24 | 2019-11-01 | 上海欧菲智能车联科技有限公司 | The method for arranging of vehicle-mounted camera and the arrangement system of vehicle-mounted camera |
| CN112740007A (en) * | 2018-09-21 | 2021-04-30 | 本田技研工业株式会社 | Vehicle inspection system |
| CN112740007B (en) * | 2018-09-21 | 2023-06-30 | 本田技研工业株式会社 | Vehicle inspection system |
| US11574419B2 (en) | 2019-02-13 | 2023-02-07 | Subaru Corporation | Stereo camera adjustment system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6204844B2 (en) | 2017-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210110188A1 (en) | Stereo imaging device | |
| KR101832189B1 (en) | Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system | |
| EP2919197B1 (en) | Object detection device and object detection method | |
| JP3760068B2 (en) | Image recognition device | |
| WO2017158958A1 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method, and program | |
| JP5600332B2 (en) | Driving assistance device | |
| US20160379066A1 (en) | Method and Camera System for Distance Determination of Objects from a Vehicle | |
| JP3255360B2 (en) | Inspection method of distance data and its inspection device | |
| US20110304746A1 (en) | Image capturing device, operator monitoring device, method for measuring distance to face, and program | |
| JP2008039491A (en) | Stereo image processing apparatus | |
| KR101839813B1 (en) | Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system | |
| JP6657034B2 (en) | Abnormal image detection device, image processing system provided with abnormal image detection device, and vehicle equipped with image processing system | |
| EP3199914B1 (en) | Imaging device | |
| JP2008151659A (en) | Object detector | |
| JP6082556B2 (en) | Imaging device | |
| CN110199318B (en) | Driver state estimation device and driver state estimation method | |
| JP6204844B2 (en) | Vehicle stereo camera system | |
| JP2007208865A (en) | System for detecting camera state | |
| JP2009239485A (en) | Vehicle environment recognition apparatus and preceding-vehicle follow-up control system | |
| JP4668863B2 (en) | Imaging device | |
| JP2013206328A (en) | Object detection device | |
| US20200111227A1 (en) | Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle | |
| JP4435525B2 (en) | Stereo image processing device | |
| JP4204818B2 (en) | Image processing device | |
| JP4394053B2 (en) | Image recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161006 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6204844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |