JP2021009113A

JP2021009113A - Measurement tool, calibration device, and program

Info

Publication number: JP2021009113A
Application number: JP2019123941A
Authority: JP
Inventors: 宏奈吉澤; Hirona Yoshizawa; 吉田　克信; Katsunobu Yoshida; 克信吉田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2019-07-02
Filing date: 2019-07-02
Publication date: 2021-01-28

Abstract

To provide a measurement tool, a calibration device, and a program that can calibrate a stereo camera with higher accuracy.SOLUTION: A measurement tool 20 of an embodiment comprises a first member 22 and a second member 24. The first member 22 has a first surface 22A that includes a chart area 23 used for calibration of a stereo camera 10. The second member 24 includes a second surface 24A that is a mirror surface reflecting a virtual image of the chart area 23.SELECTED DRAWING: Figure 6

Description

本発明は、計測用具、校正装置、およびプログラムに関する。 The present invention relates to measuring tools, calibration devices, and programs.

被写体までの距離を計測できるステレオカメラが利用されている。例えば自動車に搭載されたステレオカメラ（以下「車載ステレオカメラ」という。）により、自動車前方の被写体までの距離を計測して、自動車を制御する技術が実用化されている。車載ステレオカメラが計測した距離は、例えば自動車の衝突防止や車間距離の制御等の目的で、運転者への警告、ブレーキおよびステアリング等の制御に利用されている。また自動車等の移動体に搭載されたステレオカメラを校正する技術が知られている。 A stereo camera that can measure the distance to the subject is used. For example, a technology for controlling an automobile by measuring the distance to a subject in front of the automobile with a stereo camera mounted on the automobile (hereinafter referred to as "in-vehicle stereo camera") has been put into practical use. The distance measured by the in-vehicle stereo camera is used for warning the driver, controlling the brake, steering, etc., for the purpose of preventing a vehicle collision or controlling the inter-vehicle distance, for example. Further, a technique for calibrating a stereo camera mounted on a moving body such as an automobile is known.

例えば特許文献１には、ステレオカメラの光学的な歪みと位置的なずれを、所定のパターンを有するチャートの撮影画像に基づく画像処理によって校正する発明が開示されている。 For example, Patent Document 1 discloses an invention in which the optical distortion and the positional deviation of a stereo camera are calibrated by image processing based on a captured image of a chart having a predetermined pattern.

しかし、撮影画像の一部にチャートの撮影されていない領域が含まれる場合がある。この場合、ステレオカメラの画角の内、チャートの撮影されていない領域の校正精度が低下する場合があった。 However, a part of the captured image may include an uncaptured area of the chart. In this case, the calibration accuracy of the non-captured area of the chart in the angle of view of the stereo camera may decrease.

本発明は、上記に鑑みてなされたものであって、ステレオカメラの校正精度の低下を抑制することができる、計測用具、校正装置、およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a measuring tool, a calibration device, and a program capable of suppressing a decrease in calibration accuracy of a stereo camera.

上述した課題を解決し、目的を達成するために、本発明は、ステレオカメラの校正に使用されるチャート領域を含む第１の面を有する第１部材と、前記チャート領域の虚像を映す鏡面である第２の面を有する第２部材と、を備える。 In order to solve the above-mentioned problems and achieve the object, the present invention uses a first member having a first surface including a chart area used for calibration of a stereo camera and a mirror surface reflecting a virtual image of the chart area. A second member having a second surface is provided.

本発明によれば、ステレオカメラの校正精度の低下を抑制することができるという効果を奏する。 According to the present invention, it is possible to suppress a decrease in calibration accuracy of a stereo camera.

図１は、実施形態の校正装置の一例を示す模式図である。FIG. 1 is a schematic view showing an example of the calibration device of the embodiment. 図２は、実施形態の第１部材の一例を示す模式図である。FIG. 2 is a schematic view showing an example of the first member of the embodiment. 図３は、実施形態のステレオカメラの機能構成を示す図である。FIG. 3 is a diagram showing a functional configuration of the stereo camera of the embodiment. 図４は、実施形態のステレオカメラを使用した距離の計測原理を説明するための図である。FIG. 4 is a diagram for explaining the principle of measuring the distance using the stereo camera of the embodiment. 図５は、従来の撮影画像の一例を示す模式図である。FIG. 5 is a schematic view showing an example of a conventional captured image. 図６は、実施形態の計測用具の模式図である。FIG. 6 is a schematic view of the measuring tool of the embodiment. 図７は、実施形態の計測用具の模式図である。FIG. 7 is a schematic view of the measuring tool of the embodiment. 図８は、実施形態の撮影画像の一例を示す模式図である。FIG. 8 is a schematic view showing an example of a captured image of the embodiment. 図９は、実施形態の撮影画像の一例を示す模式図である。FIG. 9 is a schematic view showing an example of a captured image of the embodiment. 図１０は、実施形態の撮影画像の一例を示す模式図である。FIG. 10 is a schematic view showing an example of a captured image of the embodiment. 図１１は、実施形態の撮影画像の一例を示す模式図である。FIG. 11 is a schematic view showing an example of a captured image of the embodiment. 図１２は、実施形態の計測用具の模式図である。FIG. 12 is a schematic view of the measuring tool of the embodiment. 図１３は、実施形態の校正装置の構成を示す図である。FIG. 13 is a diagram showing the configuration of the calibration device of the embodiment. 図１４は、実施形態の校正方法の流れを示すフローチャートである。FIG. 14 is a flowchart showing the flow of the calibration method of the embodiment. 図１５は、実施形態の校正装置のハードウェア構成を示す図である。FIG. 15 is a diagram showing a hardware configuration of the calibration device of the embodiment.

以下に添付図面を参照して、計測用具、校正装置、およびプログラムの実施形態を詳細に説明する。 The measuring tools, the calibration device, and the embodiment of the program will be described in detail with reference to the accompanying drawings.

図１は、本実施形態の校正装置１００の一例を示す模式図である。校正装置１００は、ステレオカメラ１０と、計測用具２０と、校正機構３０と、を備える。図１には、自動車のフロントガラスの内側に取り付けられたステレオカメラ１０（車載ステレオカメラ）により撮影された撮影画像を用いて、ステレオカメラ１０を校正する形態を一例として示した。 FIG. 1 is a schematic view showing an example of the calibration device 100 of the present embodiment. The calibration device 100 includes a stereo camera 10, a measuring tool 20, and a calibration mechanism 30. FIG. 1 shows, as an example, a mode in which the stereo camera 10 is calibrated using a captured image taken by a stereo camera 10 (vehicle-mounted stereo camera) mounted inside the windshield of an automobile.

ステレオカメラ１０は、自動車の前方の被写体を撮影し、撮影画像を得ると共に、被写体までの距離を計測する。 The stereo camera 10 captures a subject in front of the automobile, obtains a captured image, and measures the distance to the subject.

計測用具２０は、ステレオカメラ１０を校正する校正パラメータを決定するために用いる撮影画像を取得するために使用される。計測用具２０はステレオカメラ１０の撮影範囲に入るように設置される。例えば、計測用具２０はステレオカメラ１０から予め定めた距離の地点に、ほぼ正対するように設置される。 The measuring tool 20 is used to acquire a captured image used to determine calibration parameters for calibrating the stereo camera 10. The measuring tool 20 is installed so as to be within the shooting range of the stereo camera 10. For example, the measuring tool 20 is installed so as to substantially face a point at a predetermined distance from the stereo camera 10.

計測用具２０は、第１部材２２と、第２部材２４と、を備える。 The measuring tool 20 includes a first member 22 and a second member 24.

第１部材２２は、二次元平面である第１の面２２Ａを有する板状の部材である。第１の面２２Ａの法線は、ステレオカメラ１０による撮影時には、ステレオカメラ１０の光軸（矢印Ｚ方向）に対して平行な方向であることが好ましい。 The first member 22 is a plate-shaped member having a first surface 22A which is a two-dimensional plane. The normal of the first surface 22A is preferably in a direction parallel to the optical axis (arrow Z direction) of the stereo camera 10 when shooting with the stereo camera 10.

図２は、第１部材２２の一例を示す模式図である。第１部材２２の第１の面２２Ａには、チャート領域２３が設けられている。 FIG. 2 is a schematic view showing an example of the first member 22. A chart area 23 is provided on the first surface 22A of the first member 22.

チャート領域２３は、例えば、濃淡や１または複数のマーク等の形成された領域であり、ステレオカメラ１０の視差の誤差などを校正するための校正パラメータの決定に用いられる。言い換えると、チャート領域２３は、ステレオカメラ１０の校正に使用される領域である。チャート領域２３を構成するマークの位置、形状、および個数は、限定されない。また、チャート領域は、上記マークを示す孔部を備えた構成であってもよい。なお、チャート領域２３は、校正パラメータの決定に用いるための模様または構造を有する領域であればよく、濃淡やマークの形成された領域に限定されない。 The chart area 23 is, for example, an area in which shades, one or more marks, and the like are formed, and is used for determining calibration parameters for calibrating an error in parallax of the stereo camera 10. In other words, the chart area 23 is an area used for calibrating the stereo camera 10. The position, shape, and number of marks constituting the chart area 23 are not limited. Further, the chart area may be configured to include a hole portion indicating the above mark. The chart region 23 may be a region having a pattern or structure for use in determining calibration parameters, and is not limited to a region where shading or marks are formed.

第２部材２４については、詳細を後述する。 Details of the second member 24 will be described later.

ステレオカメラ１０は、チャート領域２３を撮影した撮影画像を得る。撮影画像は、校正機構３０によるステレオカメラ１０の校正パラメータの決定に用いられる。ステレオカメラ１０は、決定された校正パラメータを、視差の誤差などの校正に用いる。 The stereo camera 10 obtains a captured image obtained by capturing the chart area 23. The captured image is used by the calibration mechanism 30 to determine the calibration parameters of the stereo camera 10. The stereo camera 10 uses the determined calibration parameters for calibration such as parallax error.

図３は、本実施形態のステレオカメラ１０の機能構成の例を示す図である。ステレオカメラ１０は、第１カメラ１、第２カメラ２、記憶部３、外部Ｉ／Ｆ４、補正部５、および算出部６を備える。第１カメラ１は被写体を撮影して第１撮影画像を取得する。第２カメラ２は被写体を撮影して第２撮影画像を取得する。第１カメラ１および第２カメラ２は光軸が平行になるように並列に配置されている。第１カメラ１および第２カメラ２の撮影タイミングは同期されており、同じ被写体を同時に撮影する。 FIG. 3 is a diagram showing an example of the functional configuration of the stereo camera 10 of the present embodiment. The stereo camera 10 includes a first camera 1, a second camera 2, a storage unit 3, an external I / F 4, a correction unit 5, and a calculation unit 6. The first camera 1 captures a subject and acquires a first captured image. The second camera 2 captures a subject and acquires a second captured image. The first camera 1 and the second camera 2 are arranged in parallel so that the optical axes are parallel to each other. The shooting timings of the first camera 1 and the second camera 2 are synchronized, and the same subject is shot at the same time.

記憶部３は第１撮影画像、第２撮影画像、および校正パラメータを記憶する。校正パラメータは、ステレオカメラ１０の組み付け公差、フロントガラス等に起因する第１撮影画像および第２撮影画像のずれ（すなわち視差の誤差）、および、歪み、などを補正するときに使用されるパラメータである。校正パラメータは、校正機構３０によって決定される。外部Ｉ／Ｆ４は、記憶部３のデータの入出力を行うためのインターフェースである。 The storage unit 3 stores the first captured image, the second captured image, and the calibration parameters. The calibration parameters are parameters used to correct the assembly tolerance of the stereo camera 10, the deviation (that is, the parallax error) between the first and second captured images due to the windshield, etc., and the distortion. is there. The calibration parameters are determined by the calibration mechanism 30. The external I / F 4 is an interface for inputting / outputting data of the storage unit 3.

補正部５は、記憶部３から第１撮影画像、第２撮影画像、および校正パラメータを読み出す。補正部５は校正パラメータに応じた画像補正式により第１撮影画像および第２撮影画像を補正する。画像補正式は第１撮影画像（第２撮影画像）の座標を変換することにより第１撮影画像（第２撮影画像）を補正する式である。例えば第１撮影画像（第２撮影画像）の座標をアフィン変換により補正する場合には、当該画像補正式は行列により表現できるので、校正パラメータは行列の成分である。また第１撮影画像（第２撮影画像）の座標を非線形な変換により補正する場合には、校正パラメータは当該変換を表す多項式などの係数である。なお補正部５は、第１撮影画像および第２撮影画像のいずれか一方を補正するようにしてもよい。すなわち画像補正式は、いずれか一方の撮影画像を基準にして、もう一方の撮影画像を補正するための画像補正式でもよい。補正部５は、補正後の第１撮影画像および補正後の第２撮影画像を算出部６に入力する。 The correction unit 5 reads out the first captured image, the second captured image, and the calibration parameters from the storage unit 3. The correction unit 5 corrects the first captured image and the second captured image by an image correction formula according to the calibration parameter. The image correction formula is a formula for correcting the first captured image (second captured image) by converting the coordinates of the first captured image (second captured image). For example, when the coordinates of the first captured image (second captured image) are corrected by the affine transformation, the image correction formula can be expressed by a matrix, so that the calibration parameter is a component of the matrix. When the coordinates of the first captured image (second captured image) are corrected by a non-linear transformation, the calibration parameter is a coefficient such as a polynomial representing the transformation. The correction unit 5 may correct either the first captured image or the second captured image. That is, the image correction formula may be an image correction formula for correcting the other shot image based on one of the shot images. The correction unit 5 inputs the corrected first captured image and the corrected second captured image to the calculation unit 6.

算出部６は補正後の第１撮影画像および補正後の第２撮影画像から、被写体毎の視差を算出する。詳細には、算出部６は、視差を算出するときに基準にした撮影画像（第１撮影画像または第２撮影画像）の画素の濃度値により、画素毎の視差を表した視差画像を生成する。また算出部６は、視差画像および後述する式（Ａ）を利用して被写体までの距離を算出する。 The calculation unit 6 calculates the parallax for each subject from the corrected first captured image and the corrected second captured image. Specifically, the calculation unit 6 generates a parallax image representing the parallax for each pixel based on the pixel density value of the captured image (first captured image or second captured image) used as a reference when calculating the parallax. .. Further, the calculation unit 6 calculates the distance to the subject by using the parallax image and the formula (A) described later.

ここで、視差と、視差を用いた距離計測原理について説明する。 Here, parallax and the principle of distance measurement using parallax will be described.

図４は、ステレオカメラ１０を使用した距離の計測原理を説明するための図である。図４の例では、第１カメラ１（焦点距離ｆ、光学中心Ｏ_０、撮像面Ｓ_０）がＺ軸を光軸方向として配置されている。また第２カメラ２（焦点距離ｆ、光学中心Ｏ_１、撮像面Ｓ_１）がＺ軸を光軸方向として配置されている。第１カメラ１および第２カメラ２はＸ軸に対して平行に、距離Ｂ（基線長）だけ離れた位置に配置される。以下、図４の座標系を「カメラ座標系」という。また第１カメラ１の光学中心を基準とした座標系を「第１カメラ座標系」という。また第２カメラ２の光学中心を基準とした座標系を「第２カメラ座標系」という。 FIG. 4 is a diagram for explaining the principle of measuring the distance using the stereo camera 10. In the example of FIG. 4, the first camera 1 (focal length f, optical center O ₀ , imaging surface S ₀ ) is arranged with the Z axis as the optical axis direction. Further, the second camera 2 (focal length f, optical center O ₁ , imaging surface S ₁ ) is arranged with the Z axis as the optical axis direction. The first camera 1 and the second camera 2 are arranged at positions parallel to the X-axis and separated by a distance B (baseline length). Hereinafter, the coordinate system of FIG. 4 is referred to as a “camera coordinate system”. Further, the coordinate system based on the optical center of the first camera 1 is referred to as the "first camera coordinate system". The coordinate system based on the optical center of the second camera 2 is called the "second camera coordinate system".

第１カメラ１の光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａは、直線Ａ−Ｏ_０と撮像面Ｓ_０の交点であるＰ_０に像を結ぶ。一方、第２カメラ２では、同じ被写体Ａが、撮像面Ｓ_１上の位置Ｐ_１に像を結ぶ。 The subject A located at a position separated from the optical center O ₀ of the first camera 1 by a distance d in the optical axis direction forms an image at P ₀ , which is the intersection of the straight line A O ₀ and the imaging surface S ₀ . On the other hand, the second camera 2, the same subject A is forms an image at a position _{P 1} on the imaging surface _{S 1.}

ここで第２カメラ２の光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面Ｓ_１との交点をＰ_０’とする。またＰ_０’とＰ_１の距離をＤとする。距離Ｄは同じ被写体の像を２台のカメラで撮影した画像上での位置のずれ量（視差）を表す。三角形Ａ−Ｏ_０−Ｏ_１と三角形Ｏ_１−Ｐ_０’−Ｐ_１とは相似である。そのため、下記式（Ａ）が成り立つ。 Here, the intersection of a straight line passing through the optical center O ₁ of the second camera 2 and parallel to the straight line AO ₀ and the imaging surface S ₁ is defined as P ₀ '. Also the distance _{P 1} and D and _{P 0} '. The distance D represents the amount of positional deviation (parallax) on the images of the same subject taken by two cameras. The triangle _A-O 0 -O ₁ and a triangle _O ₁ -P ₀ '-P 1 are similar. Therefore, the following equation (A) holds.

ｄ＝Ｂｆ／Ｄ式（Ａ） d = Bf / D equation (A)

すなわち基線長Ｂ、焦点距離ｆおよび視差Ｄから、被写体Ａまでの距離ｄを求めることができる。なお第１カメラ１および第２カメラ２が正確に配置されている場合、第１カメラ座標系で算出された距離ｄ（第１カメラ１の光学中心Ｏ_０と被写体Ａとの光軸方向の距離）と、第２カメラ座標系で算出された距離ｄ（第２カメラ２の光学中心Ｏ_１と被写体Ａとの光軸方向の距離）と、は一致する。 That is, the distance d to the subject A can be obtained from the baseline length B, the focal length f, and the parallax D. In the case where the first camera 1 and the second camera 2 is correctly positioned, the distance in the optical axis direction of the distance d (the first optical center of the camera 1 O ₀ and the subject A calculated by the first camera coordinate system ) And the distance d (distance in the optical axis direction between the optical center O ₁ of the second camera 2 and the subject A) calculated in the second camera coordinate system.

以上が、ステレオカメラ１０による距離計測原理である。被写体Ａまでの距離ｄを正確に求めるには、第１カメラ１および第２カメラ２が正確に配置されていなければならない。 The above is the principle of distance measurement by the stereo camera 10. In order to accurately obtain the distance d to the subject A, the first camera 1 and the second camera 2 must be accurately arranged.

しかしながら第１カメラ１（第２カメラ２）は、Ｘ軸、Ｙ軸又はＺ軸周りに回転する方向に、位置がずれる可能性がある。これにより、第１撮影画像（第２撮影画像）の座標は、およそ上下左右にずれを生じる。 However, the first camera 1 (second camera 2) may be displaced in the direction of rotation about the X-axis, Y-axis, or Z-axis. As a result, the coordinates of the first captured image (second captured image) are shifted substantially vertically and horizontally.

また、ステレオカメラ１０が、フロントガラスを介して被写体を撮影する車載ステレオカメラの場合、フロントガラスの影響によって、第１撮影画像（第２撮影画像）の歪みも生じる。 Further, when the stereo camera 10 is an in-vehicle stereo camera that shoots a subject through the windshield, distortion of the first shot image (second shot image) also occurs due to the influence of the windshield.

このため、ステレオカメラ１０では、２台のカメラの組み付け公差による第１撮影画像（第２撮影画像）のずれ、およびフロントガラスなどによる第１撮影画像（第２撮影画像）の歪みに起因する視差の誤差、を校正するための校正パラメータを使用して、第１撮影画像（第２撮影画像）を補正する。 For this reason, in the stereo camera 10, the misalignment due to the deviation of the first captured image (second captured image) due to the assembly tolerance of the two cameras and the distortion of the first captured image (second captured image) due to the windshield or the like. The first captured image (second captured image) is corrected by using the calibration parameters for calibrating the error.

ここで、校正機構３０による校正パラメータの決定には、ステレオカメラ１０による計測用具２０の撮影画像が用いられる。詳細には、校正機構３０は、第１部材２２の第１の面に設けられたチャート領域２３の撮影画像を用いて、校正パラメータを決定する（詳細後述）。 Here, the image captured by the measuring tool 20 by the stereo camera 10 is used to determine the calibration parameters by the calibration mechanism 30. Specifically, the calibration mechanism 30 determines the calibration parameters using the captured image of the chart area 23 provided on the first surface of the first member 22 (details will be described later).

このため、撮影画像の撮影時には、ステレオカメラ１０と第１部材２２のチャート領域２３との位置関係が高精度に設定されている必要がある。 Therefore, when the captured image is captured, the positional relationship between the stereo camera 10 and the chart area 23 of the first member 22 needs to be set with high accuracy.

例えば、ステレオカメラ１０と第１部材２２のチャート領域２３との距離を１０ｍと設定したと想定する。この場合、ステレオカメラ１０では、チャート領域２３の撮影画像を、ステレオカメラ１０から１０ｍ先にある被写体の撮影画像となるように校正を行う。しかし、実際のステレオカメラ１０とチャート領域２３との距離が、１０ｍではなく、例えば、９．７ｍであったと想定する。この場合、設定した距離との乖離が生じ、校正精度が低下する。この場合、校正精度は、３％低下する。なお、校正精度は、下記式（Ｂ）によって表される。 For example, it is assumed that the distance between the stereo camera 10 and the chart area 23 of the first member 22 is set to 10 m. In this case, the stereo camera 10 calibrates the captured image in the chart area 23 so that it becomes a captured image of a subject 10 m ahead of the stereo camera 10. However, it is assumed that the distance between the actual stereo camera 10 and the chart area 23 is, for example, 9.7 m instead of 10 m. In this case, a deviation from the set distance occurs, and the calibration accuracy is lowered. In this case, the calibration accuracy is reduced by 3%. The calibration accuracy is expressed by the following formula (B).

校正精度［％］＝設定距離−実距離／設定距離×１００式（Ｂ） Calibration accuracy [%] = set distance-actual distance / set distance x 100 formula (B)

このため、ステレオカメラ１０と第１部材２２のチャート領域２３との位置関係を、高精度に設定する必要がある。 Therefore, it is necessary to set the positional relationship between the stereo camera 10 and the chart area 23 of the first member 22 with high accuracy.

しかし、チャート領域２３をステレオカメラ１０に対して正確に配置することは非常に困難であった。 However, it was very difficult to accurately arrange the chart area 23 with respect to the stereo camera 10.

ここで、ステレオカメラ１０の画角の全領域がチャート領域２３となるように撮影を行えた場合、撮影画像を用いて決定された校正パラメータを用いることで、校正精度の低下を抑制することができると考えられる。 Here, when shooting is performed so that the entire area of the angle of view of the stereo camera 10 is the chart area 23, it is possible to suppress a decrease in calibration accuracy by using the calibration parameters determined by using the captured image. It is thought that it can be done.

しかし、ステレオカメラ１０の画角の一部に、チャート領域２３が含まれない領域が発生する場合がある。具体的には、撮影時のチャート領域２３とステレオカメラ１０との距離は、ノイズ抑制の観点から、より離れている事が好ましい。このため、チャート領域２３とステレオカメラ１０との距離が離れるほど、ステレオカメラ１０の画角内に含まれる、チャート領域２３の占める割合が低下し、チャート領域２３以外の領域が大きくなる。 However, a region that does not include the chart region 23 may occur in a part of the angle of view of the stereo camera 10. Specifically, the distance between the chart area 23 and the stereo camera 10 at the time of shooting is preferably farther from the viewpoint of noise suppression. Therefore, as the distance between the chart area 23 and the stereo camera 10 increases, the proportion of the chart area 23 included in the angle of view of the stereo camera 10 decreases, and the area other than the chart area 23 becomes larger.

この場合、撮影画像を用いて決定された校正パラメータを用いて校正を行っても、ステレオカメラ１０の画角の内、チャート領域２３の撮影されていない領域の校正精度が低下する場合があった。 In this case, even if the calibration is performed using the calibration parameters determined by using the captured image, the calibration accuracy of the non-captured region of the chart area 23 in the angle of view of the stereo camera 10 may decrease. ..

図５は、従来の撮影画像４００の一例を示す模式図である。図５に示すように、撮影画像４００には、チャート領域２３の撮影領域であるチャート領域４２と、チャート領域４２の撮影されていない領域（以下、非チャート領域と称する）と、が含まれる場合があった。この場合、校正機構３０では、この非チャート領域については推定により校正パラメータを決定しており、校正精度が低下する場合があった。 FIG. 5 is a schematic view showing an example of a conventional captured image 400. As shown in FIG. 5, the captured image 400 includes a chart region 42, which is a capture region of the chart region 23, and a non-captured region (hereinafter, referred to as a non-chart region) of the chart region 42. was there. In this case, the calibration mechanism 30 determines the calibration parameters by estimation for this non-chart region, and the calibration accuracy may decrease.

そこで、本実施形態では、計測用具２０は、第２部材２４を備える。 Therefore, in the present embodiment, the measuring tool 20 includes the second member 24.

図６は、計測用具２０の模式図である。図６は、校正装置１００における計測用具２０とステレオカメラ１０とを、鉛直方向（矢印Ｙ方向）から視認した模式図である。なお、矢印Ｘ方向、矢印Ｙ方向、矢印Ｚ方向は、互いに垂直な方向である。 FIG. 6 is a schematic view of the measuring tool 20. FIG. 6 is a schematic view of the measuring tool 20 and the stereo camera 10 in the calibration device 100 viewed from the vertical direction (arrow Y direction). The arrow X direction, the arrow Y direction, and the arrow Z direction are perpendicular to each other.

第２部材２４は、第２の面２４Ａを備える。第２の面２４Ａは、第１部材２２の第１の面２２Ａのチャート領域２３の虚像を映す鏡面である。すなわち、第２部材２４は、鏡面である第２の面２４Ａにチャート領域２３が映るように、配置されている。 The second member 24 includes a second surface 24A. The second surface 24A is a mirror surface that reflects a virtual image of the chart region 23 of the first surface 22A of the first member 22. That is, the second member 24 is arranged so that the chart area 23 is reflected on the second surface 24A, which is a mirror surface.

また、第２部材２４は、第２部材２４の第２の面２４Ａが、チャート領域２３の虚像を第１の面２２Ａの法線方向（すなわち、ステレオカメラ１０の光軸方向（矢印Ｚ方向）に反射するように配置されてなる。 Further, in the second member 24, the second surface 24A of the second member 24 makes a virtual image of the chart area 23 in the normal direction of the first surface 22A (that is, the optical axis direction of the stereo camera 10 (arrow Z direction)). It is arranged so as to reflect on.

このため、第１の面２２Ａおよび第２の面２４Ａを含む領域を撮影することで、ステレオカメラ１０は、第１の面２２Ａのチャート領域２３と、チャート領域２３が第２の面２４Ａに映った虚像と、を含む撮影画像を得ることとなる。 Therefore, by photographing the area including the first surface 22A and the second surface 24A, the stereo camera 10 reflects the chart area 23 of the first surface 22A and the chart area 23 on the second surface 24A. A captured image including the virtual image will be obtained.

なお、上述したように、第１の面２２Ａの法線は、ステレオカメラ１０の光軸（矢印Ｚ方向）に対して平行な方向であることが好ましい。なお、第１の面２２Ａの法線は、ステレオカメラ１０の光軸に対して傾いた方向であってもよい。すなわち、チャート領域２３の撮影時には、ステレオカメラ１０は、光軸（矢印Ｚ方向）が第１部材２２の第１の面２２Ａに対して交差する方向となるように配置されていればよい。本実施形態では、第１の面２２Ａの法線が、ステレオカメラ１０の光軸に対して平行な方向、すなわち、第１の面２２Ａの法線方向と光軸方向とが一致する場合を一例として説明する。 As described above, the normal of the first surface 22A is preferably in a direction parallel to the optical axis (arrow Z direction) of the stereo camera 10. The normal of the first surface 22A may be in a direction inclined with respect to the optical axis of the stereo camera 10. That is, at the time of photographing the chart area 23, the stereo camera 10 may be arranged so that the optical axis (arrow Z direction) intersects the first surface 22A of the first member 22. In the present embodiment, one example is a case where the normal of the first surface 22A coincides with the direction parallel to the optical axis of the stereo camera 10, that is, the normal direction of the first surface 22A and the optical axis direction coincide with each other. It is explained as.

また、図６には、第２部材２４の第２の面２４Ａと、第１部材２２の第１の面２２Ａと、が垂直の関係となるように設置されている形態を示した。すなわち、第２部材２４と第１部材２２とは、第２部材２４の第２の面２４Ａと、第１部材２２の第１の面２２Ａと、が互いに垂直（または直角）となるように配置されていることが好ましい。第１の面２２Ａと第２の面２４Ａとが垂直（または直角）である、とは、第１の面２２Ａの法線と、第２の面２４Ａの法線と、が垂直であることを意味する。 Further, FIG. 6 shows a form in which the second surface 24A of the second member 24 and the first surface 22A of the first member 22 are installed so as to have a vertical relationship. That is, the second member 24 and the first member 22 are arranged so that the second surface 24A of the second member 24 and the first surface 22A of the first member 22 are perpendicular (or right angles) to each other. It is preferable that it is. The fact that the first surface 22A and the second surface 24A are vertical (or right-angled) means that the normal of the first surface 22A and the normal of the second surface 24A are vertical. means.

なお、図６に示すように、第２部材２４と第１部材２２とは、第２部材２４の第２の面２４Ａが第１の面２２Ａに対して直角に接触配置されていることが好ましい。すなわち、第２の面２４Ａにおける第１の面２２Ａの法線方向（矢印Ｚ方向）の第１部材２２側の端部が、第１部材２２の第１の面２２Ａに対して直角に接触配置されていることが好ましい。 As shown in FIG. 6, it is preferable that the second member 24 and the first member 22 are arranged so that the second surface 24A of the second member 24 is in contact with the first surface 22A at a right angle. .. That is, the end portion of the second surface 24A on the side of the first member 22 in the normal direction (arrow Z direction) of the first surface 22A is arranged in contact with the first surface 22A of the first member 22 at a right angle. It is preferable that it is.

この場合、下記式（１）の関係を満たすことが好ましい。 In this case, it is preferable to satisfy the relationship of the following formula (1).

α＜ｄｅｇｒｅｅｓ（ａｔａｎ（Ｂ／（Ｃ−Ａ））式（１） α <degrees (atan (B / (CA)) equation (1)

式（１）中、αは、ステレオカメラ１０の補正対象画角を示し、Ａは、第２の面２４Ａにおける第１の面２２Ａと接触する一端部から、第１の面２２Ａから離れる方向の他端部までの距離を示す（図７参照）。式（１）中、Ｂは、該一端部からチャート領域２３におけるステレオカメラ１０の光軸との交点Ｖまでの距離を示す（図７参照）。式（１）中、Ｃは、チャート領域２３とステレオカメラ１０との距離を示す（図７参照）。 In the formula (1), α indicates the angle of view to be corrected of the stereo camera 10, and A is the direction away from the first surface 22A from one end of the second surface 24A in contact with the first surface 22A. The distance to the other end is shown (see FIG. 7). In the formula (1), B indicates the distance from one end of the chart area 23 to the intersection V with the optical axis of the stereo camera 10 in the chart area 23 (see FIG. 7). In equation (1), C indicates the distance between the chart area 23 and the stereo camera 10 (see FIG. 7).

なお、式（１）中、第２の面２４ＡのサイズであるＡは、下記式（２）から求めることができる。 In the formula (1), A, which is the size of the second surface 24A, can be obtained from the following formula (2).

Ａ［ｃｍ］＝Ｃ−Ｂ／ｔａｎ（ｒａｄｉａｎｓ（α））式（２） A [cm] = CB / tan (radians (α)) Equation (2)

式（２）中、Ａ、Ｃ、Ｂ、およびαは、上記式（１）と同様の意味である。 In the formula (2), A, C, B, and α have the same meaning as the above formula (1).

なお、上記式（２）は、ステレオカメラ１０内の第１カメラ１および第２カメラ２の各々に対して成り立つものとする。 It should be noted that the above equation (2) holds for each of the first camera 1 and the second camera 2 in the stereo camera 10.

上記式（１）および式（２）を満たす場合、ステレオカメラ１０は、チャート領域２３と、第２の面２４Ａに映ったチャート領域２３の虚像と、の撮影画像を得ることとなる。 When the above equations (1) and (2) are satisfied, the stereo camera 10 obtains a captured image of the chart area 23 and the virtual image of the chart area 23 reflected on the second surface 24A.

図８〜図１１は、撮影画像４０の一例を示す模式図である。撮影画像４０は、ステレオカメラ１０による計測用具２０の撮影によって得られた画像である。 8 to 11 are schematic views showing an example of the captured image 40. The captured image 40 is an image obtained by photographing the measuring tool 20 with the stereo camera 10.

図８は、矩形状のチャート領域２３におけるステレオカメラ１０に対して右側（矢印Ｘ方向の一端側）に第２部材２４の第２の面２４Ａを直角に接触設置した場合の、ステレオカメラ１０による撮影画像４０Ａを示す模式図である。撮影画像４０Ａは、撮影画像４０の一例である。 FIG. 8 shows the stereo camera 10 when the second surface 24A of the second member 24 is placed in contact with the stereo camera 10 in the rectangular chart area 23 on the right side (one end side in the arrow X direction) at a right angle. It is a schematic diagram which shows the photographed image 40A. The captured image 40A is an example of the captured image 40.

図５を用いて説明したように、第２部材２４を備えない従来の計測用具のチャート領域２３の撮影画像４００には、チャート領域４２の撮影されていない非チャート領域が含まれる。このため、ステレオカメラ１０の画角における、該非チャート領域に相当する領域の校正精度が低下する場合があった。具体的には、例えば、該非チャート領域に相当する領域のフロントガラスの歪み具合が不明であり、校正精度が低下していた。 As described with reference to FIG. 5, the captured image 400 of the chart region 23 of the conventional measuring tool without the second member 24 includes the non-chart region of the chart region 42 that has not been captured. For this reason, the calibration accuracy of the region corresponding to the non-chart region in the angle of view of the stereo camera 10 may be lowered. Specifically, for example, the degree of distortion of the windshield in the region corresponding to the non-chart region is unknown, and the calibration accuracy is lowered.

一方、本実施形態の第２部材２４を備えた計測用具２０の撮影画像４０Ａには、チャート領域２３の撮影によって得られたチャート領域４２と、チャート領域２３の虚像４４Ａと、が含まれる。虚像４４Ａは、チャート領域２３の虚像４４の一例である。 On the other hand, the captured image 40A of the measuring tool 20 provided with the second member 24 of the present embodiment includes the chart region 42 obtained by photographing the chart region 23 and the virtual image 44A of the chart region 23. The virtual image 44A is an example of the virtual image 44 of the chart area 23.

このため、校正機構３０は、撮影画像４０Ａに含まれるチャート領域４２と虚像４４Ａとを用いて校正パラメータを決定することで、従来技術に比べてより広い領域の校正パラメータを精度良く決定することができる。このため、校正機構３０は、校正精度の高い領域を広げる事が可能となる。 Therefore, the calibration mechanism 30 can accurately determine the calibration parameter in a wider area than the conventional technique by determining the calibration parameter using the chart area 42 and the virtual image 44A included in the captured image 40A. it can. Therefore, the calibration mechanism 30 can expand a region with high calibration accuracy.

なお、第２の面２４Ａと第１の面２２Ａとは、接触配置された形態に限定されず、非接触に配置されていてもよい。 The second surface 24A and the first surface 22A are not limited to the form in which they are arranged in contact with each other, and may be arranged in a non-contact manner.

また、計測用具２０は、ステレオカメラ１０の校正精度の向上を更に図る観点から、１つの第１部材２２に対して、複数の第２部材２４を配置した構成であってもよい。 Further, the measuring tool 20 may have a configuration in which a plurality of second members 24 are arranged with respect to one first member 22 from the viewpoint of further improving the calibration accuracy of the stereo camera 10.

例えば、矩形状のチャート領域２３におけるステレオカメラ１０に対して左右（矢印Ｘ方向の両端部の各々側）および上下（矢印Ｙ方向）の各々の内の少なくとも１つに、第２部材２４の第２の面２４Ａを直角に接触配置してもよい。 For example, at least one of the left and right (each side of both ends in the arrow X direction) and the top and bottom (arrow Y direction) with respect to the stereo camera 10 in the rectangular chart area 23 is the second member 24. The surfaces 24A of 2 may be arranged in contact with each other at right angles.

図９は、矩形状のチャート領域２３におけるステレオカメラ１０に対して左右の各々に、第２部材２４の第２の面２４Ａを直角に接触配置した場合の、ステレオカメラ１０による撮影画像４０Ｂを示す模式図である。撮影画像４０Ｂは、撮影画像４０の一例である。 FIG. 9 shows an image 40B captured by the stereo camera 10 when the second surface 24A of the second member 24 is arranged at right angles to the left and right sides of the stereo camera 10 in the rectangular chart area 23. It is a schematic diagram. The captured image 40B is an example of the captured image 40.

図９に示すように、撮影画像４０Ｂには、チャート領域２３の撮影によって得られたチャート領域４２と、チャート領域２３の虚像４４Ａおよび虚像４４Ｂと、が含まれる。虚像４４Ａは、２つの第２の面２４Ａの内、一方の第２の面２４Ａに映った虚像４４である。虚像４４Ｂは、他方の第２の面２４Ａに映った虚像４４である。 As shown in FIG. 9, the captured image 40B includes a chart region 42 obtained by photographing the chart region 23, and virtual images 44A and 44B of the chart region 23. The virtual image 44A is a virtual image 44 reflected on one of the second surfaces 24A of the two second surfaces 24A. The virtual image 44B is a virtual image 44 reflected on the other second surface 24A.

このため、校正機構３０は、撮影画像４０Ｂに含まれるチャート領域４２と虚像４４Ａと虚像４４Ｂとを用いて校正パラメータを決定することで、更に、より広い領域の校正パラメータを精度良く決定することができる。このため、校正機構３０は、校正精度の高い領域を広げる事が可能となる。 Therefore, the calibration mechanism 30 can accurately determine the calibration parameters in a wider area by determining the calibration parameters using the chart area 42, the virtual image 44A, and the virtual image 44B included in the captured image 40B. it can. Therefore, the calibration mechanism 30 can expand the region with high calibration accuracy.

図１０は、矩形状のチャート領域２３における、ステレオカメラ１０に対して左右の各々と、下部と、の各々に第２部材２４の第２の面２４Ａを直角に接触配置した場合の、ステレオカメラ１０による撮影画像４０Ｃを示す模式図である。撮影画像４０Ｃは、撮影画像４０の一例である。 FIG. 10 shows a stereo camera in the rectangular chart area 23 when the second surface 24A of the second member 24 is arranged in contact with each of the left and right sides and the lower portion of the stereo camera 10 at right angles. It is a schematic diagram which shows the photographed image 40C by 10. The captured image 40C is an example of the captured image 40.

図１０に示すように、撮影画像４０Ｃには、チャート領域２３の撮影領域であるチャート領域４２と、チャート領域２３の虚像４４Ａ、虚像４４Ｂ、および虚像４４Ｃと、が含まれる。虚像４４Ａは、左右に配置された２つの第２の面２４Ａの内、一方の第２の面２４Ａに映った虚像４４である。虚像４４Ｂは、他方の第２の面２４Ａに映った虚像４４である。虚像４４Ｃは、チャート領域２３の下部に配置された第２の面２４Ａに映った虚像４４である。 As shown in FIG. 10, the captured image 40C includes a chart region 42, which is a captured region of the chart region 23, and a virtual image 44A, a virtual image 44B, and a virtual image 44C of the chart region 23. The virtual image 44A is a virtual image 44 reflected on one of the second surfaces 24A of the two second surfaces 24A arranged on the left and right. The virtual image 44B is a virtual image 44 reflected on the other second surface 24A. The virtual image 44C is a virtual image 44 reflected on the second surface 24A arranged at the lower part of the chart area 23.

このため、校正機構３０は、撮影画像４０Ｃに含まれるチャート領域４２と虚像４４Ａと虚像４４Ｂと虚像４４Ｃとを用いて校正パラメータを決定することで、更に、より広い領域の校正パラメータを精度良く決定することができる。このため、校正機構３０は、校正精度の高い領域を広げる事が可能となる。 Therefore, the calibration mechanism 30 determines the calibration parameters using the chart area 42, the virtual image 44A, the virtual image 44B, and the virtual image 44C included in the captured image 40C, thereby accurately determining the calibration parameters in a wider area. can do. Therefore, the calibration mechanism 30 can expand the region with high calibration accuracy.

なお、チャート領域２３における、ステレオカメラ１０に対して左右の各々に第２の面２４Ａを設置した場合、チャート領域２３の領域が小さいと、合わせ鏡による虚像４４を複数含む撮影画像４０Ｄが得られる場合がある（図１１参照）。具体的には、チャート領域４２と、チャート領域２３の虚像４４Ａ１および虚像４４Ｂ１と、合わせ鏡による虚像４４Ａ２および虚像４４Ｂ２と、を含む撮影画像４０Ｄが得られる場合がある。 When the second surface 24A is installed on each of the left and right sides of the stereo camera 10 in the chart area 23, if the area of the chart area 23 is small, a photographed image 40D including a plurality of virtual images 44 by the infinity mirror can be obtained. In some cases (see FIG. 11). Specifically, a photographed image 40D including the chart area 42, the virtual images 44A1 and 44B1 of the chart area 23, and the virtual images 44A2 and 44B2 by the infinity mirror may be obtained.

このような撮影画像４０Ｄを校正パラメータの決定に用いると、左右の画像上に特徴となる像がないため、誤マッチングが生じ、校正精度が低下する場合がある。このため、撮影画像４０に合わせ鏡による虚像４４が含まれないように、第２部材２４、第１部材２２、およびステレオカメラ１０の位置関係や数を調整することが好ましい。 When such a captured image 40D is used for determining the calibration parameters, since there are no characteristic images on the left and right images, erroneous matching may occur and the calibration accuracy may decrease. Therefore, it is preferable to adjust the positional relationship and the number of the second member 24, the first member 22, and the stereo camera 10 so that the virtual image 44 by the mirror is not included in the captured image 40.

なお、上述したように、第２部材２４の第２の面２４Ａと、第１部材２２の第１の面２２Ａと、が垂直（直角）の関係となるように設置されていることが好ましい（図６、図７参照）。 As described above, it is preferable that the second surface 24A of the second member 24 and the first surface 22A of the first member 22 are installed so as to have a vertical (right angle) relationship (a right angle). 6 and 7).

第２部材２４の第２の面２４Ａと、第１部材２２の第１の面２２Ａと、が垂直（直角）の関係を満たさない場合、校正精度が低下する場合がある。 If the second surface 24A of the second member 24 and the first surface 22A of the first member 22 do not satisfy the vertical (right angle) relationship, the calibration accuracy may decrease.

図１２は、第２部材２４の第２の面２４Ａと第１部材２２の第１の面２２Ａとが、非垂直（非直角）の関係である場合の模式図である。 FIG. 12 is a schematic view in the case where the second surface 24A of the second member 24 and the first surface 22A of the first member 22 have a non-vertical (non-right angle) relationship.

図１２に示すように、第１の面２２Ａの法線に対して、第２部材２４の第２の面２４Ａが角度β傾いて設置されていると想定する。この場合、第２の面２４Ａに映る虚像４４をステレオカメラ１０によって撮影した場合、第１の面２２Ａに沿った方向に対して角度２β傾いた位置に虚像４４が位置する撮影画像４０が得られる。 As shown in FIG. 12, it is assumed that the second surface 24A of the second member 24 is installed at an angle β inclination with respect to the normal line of the first surface 22A. In this case, when the virtual image 44 reflected on the second surface 24A is photographed by the stereo camera 10, the captured image 40 in which the virtual image 44 is located at an angle of 2β with respect to the direction along the first surface 22A can be obtained. ..

すなわち、この場合、第２の面２４Ａの平面度の２倍を虚像４４の平面性とした撮影画像４０が得られることとなる。 That is, in this case, the captured image 40 in which the flatness of the virtual image 44 is twice the flatness of the second surface 24A can be obtained.

このため、第２部材２４の第２の面２４Ａと第１部材２２の第１の面２２Ａとが、非垂直（非直角）の関係である場合、または、第２部材２４の平面性が低い場合、チャート領域４２と虚像４４との撮影画像４０を用いて校正パラメータを決定すると、誤差が入り、校正精度が低下する場合がある。 Therefore, when the second surface 24A of the second member 24 and the first surface 22A of the first member 22 have a non-vertical (non-right angle) relationship, or the flatness of the second member 24 is low. In this case, if the calibration parameters are determined using the captured image 40 of the chart area 42 and the virtual image 44, an error may occur and the calibration accuracy may decrease.

このため、第２部材２４の第２の面２４Ａと第１部材２２の第１の面２２Ａとは、垂直の関係を満たすように配置されていることが好ましい。また、第２部材２４の第２の面２４Ａは、二次元平面に沿った平面状であることが好ましい。 Therefore, it is preferable that the second surface 24A of the second member 24 and the first surface 22A of the first member 22 are arranged so as to satisfy a vertical relationship. Further, it is preferable that the second surface 24A of the second member 24 has a planar shape along a two-dimensional plane.

なお、第２の面２４Ａと第１の面２２Ａとが垂直の関係を満たさない場合、または、第２の面２４Ａが非平面状の場合であっても、計測用具２０が第２部材２４を備えない構成である場合に比べて、ステレオカメラ１０の校正精度の低下を抑制可能であることはいうまでもない。これは、チャート領域４２と虚像４４とを用いて、校正パラメータを決定するためである。 Even if the second surface 24A and the first surface 22A do not satisfy the vertical relationship, or even if the second surface 24A is non-planar, the measuring tool 20 holds the second member 24. Needless to say, it is possible to suppress a decrease in the calibration accuracy of the stereo camera 10 as compared with the case where the configuration is not provided. This is to determine the calibration parameters using the chart area 42 and the virtual image 44.

ここで、フロントガラスは、周辺に行くほど歪曲している傾向があり、どこを高精度に校正するかによって、チャート領域２３が映る位置も変わってくる。例えば、フロントガラスの歪曲が小さい中央域の校正精度を高めたい場合、その中央域にチャート領域２３を撮影した撮影画像４０を用いて、校正パラメータの決定を行う。撮影画像４０における中央域以外の領域（非チャート領域）に対する校正は、チャート領域４２である中央域から推定して行うものの、その推定には周辺のフロントガラス歪曲情報がない。そのため、中央域とそれ以外でガラスの歪曲形状が大きく異なると、誤った校正をする恐れがある。 Here, the windshield tends to be distorted toward the periphery, and the position where the chart area 23 is reflected changes depending on where the calibration is performed with high accuracy. For example, when it is desired to improve the calibration accuracy of the central region where the distortion of the windshield is small, the calibration parameters are determined by using the captured image 40 obtained by capturing the chart region 23 in the central region. Although the calibration for the region other than the central region (non-chart region) in the captured image 40 is estimated from the central region which is the chart region 42, there is no peripheral windshield distortion information in the estimation. Therefore, if the distortion shape of the glass is significantly different between the central region and other regions, there is a risk of incorrect calibration.

しかし、本実施形態では、第２の面２４Ａによる虚像４４を用いるため、広域のフロントガラス歪曲情報を入手することが可能となり、それぞれの領域に見合った校正を行うことができる。 However, in the present embodiment, since the virtual image 44 by the second surface 24A is used, it is possible to obtain windshield distortion information over a wide area, and it is possible to perform calibration suitable for each region.

次に、校正機構３０について説明する。図１３は、本実施形態の校正機構３０の構成の例を示す図である。校正機構３０は、受付部３１および決定部３２を備える。 Next, the calibration mechanism 30 will be described. FIG. 13 is a diagram showing an example of the configuration of the calibration mechanism 30 of the present embodiment. The calibration mechanism 30 includes a reception unit 31 and a determination unit 32.

受付部３１はステレオカメラ１０により撮影された撮影画像４０として、第１カメラ１により撮影された第１撮影画像および第２カメラ２により撮影された第２撮影画像を受け付ける。また受付部３１は、上述の距離ｄ（図４参照）を受け付ける。受付部３１は、撮影画像４０（第１撮影画像および第２撮影画像）と距離ｄとを決定部３２へ出力する。 The reception unit 31 receives the first captured image captured by the first camera 1 and the second captured image captured by the second camera 2 as the captured image 40 captured by the stereo camera 10. Further, the reception unit 31 receives the above-mentioned distance d (see FIG. 4). The reception unit 31 outputs the captured image 40 (first captured image and second captured image) and the distance d to the determination unit 32.

決定部３２は、チャート領域４２および虚像４４の撮影画像４０に基づいて、ステレオカメラ１０の校正パラメータを決定する。決定部３２は、チャート領域４２に加えて虚像４４を用いる点以外は、公知の方法で、撮影画像４０から校正パラメータを決定すればよい。 The determination unit 32 determines the calibration parameters of the stereo camera 10 based on the captured image 40 of the chart area 42 and the virtual image 44. The determination unit 32 may determine the calibration parameters from the captured image 40 by a known method except that the virtual image 44 is used in addition to the chart area 42.

例えば、決定部３２は、撮影画像４０（第１撮影画像および第２撮影画像）に含まれるチャート領域４２および虚像４４を用いて、ステレオカメラ１０の正対位置からの第１の面２２Ａの向きのずれを計測する。そして、決定部３２は、計測した向きのずれと距離ｄとを用いて、公知の方法により、校正パラメータを決定する。そして、決定部３２は、決定した校正パラメータを、ステレオカメラ１０へ出力する。ステレオカメラ１０は、校正パラメータを用いて、校正を行う事となる。 For example, the determination unit 32 uses the chart area 42 and the virtual image 44 included in the captured image 40 (first captured image and second captured image) to orient the first surface 22A from the facing position of the stereo camera 10. Measure the deviation. Then, the determination unit 32 determines the calibration parameter by a known method using the measured orientation deviation and the distance d. Then, the determination unit 32 outputs the determined calibration parameter to the stereo camera 10. The stereo camera 10 will be calibrated using the calibration parameters.

図１４は、校正方法の流れの一例を示すフローチャートである。 FIG. 14 is a flowchart showing an example of the flow of the calibration method.

まず、ステレオカメラ１０が、第１部材２２のチャート領域２３を撮影することで、チャート領域２３の撮影領域であるチャート領域４２およびチャート領域２３の虚像４４を含む撮影画像４０を取得する（ステップＳ１）。 First, the stereo camera 10 captures the chart region 23 of the first member 22 to acquire a captured image 40 including the chart region 42, which is the imaging region of the chart region 23, and the virtual image 44 of the chart region 23 (step S1). ).

次に、校正機構３０が、ステップＳ１で取得した撮影画像４０に基づいて、校正パラメータを決定する（ステップＳ２）。そして、本ルーチンを終了する。 Next, the calibration mechanism 30 determines the calibration parameters based on the captured image 40 acquired in step S1 (step S2). Then, this routine is terminated.

以上説明したように、本実施形態の計測用具２０は、第１部材２２と、第２部材２４と、を備える。第１部材２２は、ステレオカメラ１０の校正に使用されるチャート領域２３を含む第１の面２２Ａを有する。第２部材２４は、チャート領域２３の虚像４４を映す鏡面である第２の面２４Ａを備える。 As described above, the measuring tool 20 of the present embodiment includes a first member 22 and a second member 24. The first member 22 has a first surface 22A including a chart area 23 used for calibrating the stereo camera 10. The second member 24 includes a second surface 24A, which is a mirror surface that reflects the virtual image 44 of the chart region 23.

このため、ステレオカメラ１０は、チャート領域２３およびチャート領域２３の虚像４４を撮影した撮影画像４０を校正パラメータの生成に用いることができる。 Therefore, the stereo camera 10 can use the captured image 40 obtained by capturing the chart region 23 and the virtual image 44 of the chart region 23 to generate the calibration parameters.

従って、本実施の形態の計測用具２０は、ステレオカメラ１０の校正精度の低下を抑制することができる。 Therefore, the measuring tool 20 of the present embodiment can suppress a decrease in the calibration accuracy of the stereo camera 10.

また、第２部材２４は、第２の面２４Ａが虚像４４を第１の面２２Ａの法線方向に反射するように配置されてなる。 Further, the second member 24 is arranged so that the second surface 24A reflects the virtual image 44 in the normal direction of the first surface 22A.

また、第２部材２４は、第２の面２４Ａが第１の面２２Ａに対して直角に接触配置され、上記式（１）が成り立つことが好ましい。 Further, it is preferable that the second surface 24A of the second member 24 is arranged in contact with the first surface 22A at a right angle, and the above formula (1) holds.

また、本実施形態の校正装置１００は、第１部材２２と、第２部材２４と、を備えた計測用具２０と、決定部３２と、を備える。決定部３２は、チャート領域２３および虚像４４の撮影画像４０に基づいて、ステレオカメラ１０の校正パラメータを決定する。 Further, the calibration device 100 of the present embodiment includes a measuring tool 20 including a first member 22 and a second member 24, and a determination unit 32. The determination unit 32 determines the calibration parameters of the stereo camera 10 based on the captured image 40 of the chart area 23 and the virtual image 44.

最後に本実施形態の校正機構３０のハードウェア構成の例について説明する。 Finally, an example of the hardware configuration of the calibration mechanism 30 of the present embodiment will be described.

図１５は本実施形態の校正機構３０のハードウェア構成の例を示す図である。本実施形態の校正機構３０は、制御装置５１、主記憶装置５２、補助記憶装置５３、表示装置５４、入力装置５５および通信装置５６を備える。制御装置５１、主記憶装置５２、補助記憶装置５３、表示装置５４、入力装置５５および通信装置５６は、バス５７を介して互いに接続されている。 FIG. 15 is a diagram showing an example of the hardware configuration of the calibration mechanism 30 of the present embodiment. The calibration mechanism 30 of the present embodiment includes a control device 51, a main storage device 52, an auxiliary storage device 53, a display device 54, an input device 55, and a communication device 56. The control device 51, the main storage device 52, the auxiliary storage device 53, the display device 54, the input device 55, and the communication device 56 are connected to each other via the bus 57.

制御装置５１は補助記憶装置５３から主記憶装置５２に読み出されたプログラムを実行する。主記憶装置５２はＲＯＭやＲＡＭ等のメモリである。補助記憶装置５３はＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やメモリカード等である。表示装置５４は校正機構３０の状態などを表示する。入力装置５５はユーザーからの入力を受け付ける。通信装置５６はネットワークに接続するためのインターフェースである。 The control device 51 executes the program read from the auxiliary storage device 53 to the main storage device 52. The main storage device 52 is a memory such as a ROM or a RAM. The auxiliary storage device 53 is an HDD (Hard Disk Drive), a memory card, or the like. The display device 54 displays the state of the calibration mechanism 30 and the like. The input device 55 accepts input from the user. The communication device 56 is an interface for connecting to a network.

本実施形態の校正機構３０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。 The program executed by the calibration mechanism 30 of the present embodiment is a file in an installable format or an executable format and can be read by a computer such as a CD-ROM, a memory card, a CD-R, or a DVD (Digital Versaille Disc). It is stored in a storage medium and provided as a computer program product.

また、本実施形態の校正機構３０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また本実施形態の校正機構３０で実行するプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。 Further, the program executed by the calibration mechanism 30 of the present embodiment may be stored on a computer connected to a network such as the Internet and provided by downloading via the network. Further, the program executed by the calibration mechanism 30 of the present embodiment may be configured to be provided via a network such as the Internet without being downloaded.

また、本実施形態の校正機構３０のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。 Further, the program of the calibration mechanism 30 of the present embodiment may be configured to be provided by incorporating it into a ROM or the like in advance.

本実施形態の校正機構３０で実行されるプログラムは、上述した各機能ブロックを含むモジュール構成となっている。 The program executed by the calibration mechanism 30 of the present embodiment has a modular configuration including each of the above-mentioned functional blocks.

上述の各機能ブロックは、実際のハードウェアとしては、制御装置５１が上記記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置５２上にロードされる。すなわち上記各機能ブロックは、主記憶装置５２上に生成される。 As actual hardware, each of the above-mentioned functional blocks is loaded onto the main storage device 52 by the control device 51 reading a program from the above-mentioned storage medium and executing the program. That is, each of the above functional blocks is generated on the main storage device 52.

なお上述した各機能ブロックの一部又は全部を、ソフトウェアにより実現せずに、ＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。 Note that a part or all of the above-mentioned functional blocks may be realized by hardware such as an IC (Integrated Circuit) without being realized by software.

なお本実施形態は、車両に搭載されたステレオカメラ１０の場合を例にしているが、これに限られることはない。ステレオカメラ１０の精確な設置位置の測定が必要で、その計測に時間がかかるような場合等に、本実施形態の計測用具２０を使用することにより、従来の校正方法に比べ比較的簡便にステレオカメラ１０を高精度に校正することができる。 Although the present embodiment is an example of a stereo camera 10 mounted on a vehicle, the present embodiment is not limited to this. When it is necessary to accurately measure the installation position of the stereo camera 10 and it takes time to measure the stereo camera 10, by using the measuring tool 20 of the present embodiment, the stereo can be relatively easily compared with the conventional calibration method. The camera 10 can be calibrated with high accuracy.

１０ステレオカメラ
２０計測用具
２２第１部材
２２Ａ第１の面
２３チャート領域
２４第２部材
２４Ａ第２の面
３２決定部 10 Stereo camera 20 Measuring tool 22 First member 22A First surface 23 Chart area 24 Second member 24A Second surface 32 Decision unit

特開２０１６−００６４０６号公報Japanese Unexamined Patent Publication No. 2016-006406

Claims

A first member having a first surface containing a chart area used for calibrating a stereo camera, and
A second member having a second surface, which is a mirror image of the virtual image of the chart region,
Measuring tool equipped with.

The second member is
The second surface is arranged so as to reflect the virtual image in the normal direction of the first surface.
The measuring tool according to claim 1.

The second member is
The second surface is arranged in contact with the first surface at right angles.
The measuring tool according to claim 1 or 2, wherein the following formula (1) holds.
α <degrees (atan (B / (CA)) equation (1)
[In the formula (1), α indicates the angle of view to be corrected of the stereo camera, and A is the direction away from the first surface from one end of the second surface in contact with the first surface. B indicates the distance from the other end to the intersection of the one end with the optical axis of the stereo camera in the chart area, and C indicates the distance between the chart area and the stereo camera. .. ]

A first member having a first surface containing a chart area used for calibrating a stereo camera, and
A second member having a second surface that is a mirror image of the virtual image of the chart region, and the second surface is arranged parallel to the normal of the first surface.
With measuring tools that have
A determination unit that determines the calibration parameters of the stereo camera based on the chart area and the captured image of the virtual image.
Calibration device equipped with.

Computer,
A first member having a first surface containing a chart area used for calibrating a stereo camera, and
A second member having a second surface that is a mirror image of the virtual image of the chart region, and the second surface is arranged parallel to the normal of the first surface.
With measuring tools that have
A determination unit that determines calibration parameters of the stereo camera based on the chart area and the captured image of the virtual image.
A program that functions as.