JP2013122434A - Three-dimensional shape position measuring device by monocular camera using laser, method for measuring three-dimensional shape position, and three-dimensional shape position measuring program - Google Patents
Three-dimensional shape position measuring device by monocular camera using laser, method for measuring three-dimensional shape position, and three-dimensional shape position measuring program Download PDFInfo
- Publication number
- JP2013122434A JP2013122434A JP2011271779A JP2011271779A JP2013122434A JP 2013122434 A JP2013122434 A JP 2013122434A JP 2011271779 A JP2011271779 A JP 2011271779A JP 2011271779 A JP2011271779 A JP 2011271779A JP 2013122434 A JP2013122434 A JP 2013122434A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- laser
- irradiation
- calibration plate
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、レーザーを用いた単眼カメラによる画像計測技術に関するものである。 The present invention relates to an image measurement technique using a monocular camera using a laser.
従来のカメラ画像計測は、単眼カメラで多くの視点から撮影した画像に基づいて、バンドル計算を行い対象点の位置を算出するバンドル計算方式や、予め位置を固定した２台のカメラで測定するステレオカメラ方式が用いられている。バンドル計算方式の場合は、被計測対象に多数のターゲットを貼った状態で撮影することが行われるために計測の手間がかかるといった問題があり、また長さや間隔などの距離を必要とする場合にはスケールバーなどが必要であった。 Conventional camera image measurement is a bundle calculation method that calculates the position of a target point by performing bundle calculation based on images taken from many viewpoints with a monocular camera, or stereo that is measured by two cameras whose positions are fixed in advance. A camera system is used. In the case of the bundle calculation method, there is a problem that it takes time for measurement because it is performed with a large number of targets attached to the measurement target, and when distances such as length and interval are required Needed a scale bar.
一方、ステレオカメラ方式の場合は、異なるアングルから撮影した２枚の写真の対応点を指定することにより、被計測対象上のポイントの３次元座標を知ることができるものである。２枚の写真の対応点像は写真上の異なる点に写るので、それぞれの像で写真上の位置の違い（視差）を測ることができ、この視差には距離の情報が含まれていることから、長さや間隔などの距離を自動的に算出することができる。
しかし、ステレオカメラ方式の場合、カメラが固定しているために、撮影範囲が限定され、また自由な方向から撮影することが困難である。更に、ステレオカメラ方式の場合は、装置自体も別に作製する必要があるため、カメラ１台のバンドル計算方式に比べて費用が高くつく欠点がある。
On the other hand, in the case of the stereo camera system, it is possible to know the three-dimensional coordinates of a point on the measurement target by designating corresponding points of two photographs taken from different angles. Since the corresponding point images of the two photos appear at different points on the photo, the difference in position (parallax) on the photo can be measured with each image, and this parallax includes distance information Thus, distances such as length and interval can be automatically calculated.
However, in the case of the stereo camera system, since the camera is fixed, the photographing range is limited, and it is difficult to photograph from a free direction. Furthermore, in the case of the stereo camera system, it is necessary to manufacture the apparatus itself separately, and thus there is a disadvantage that the cost is higher than the bundle calculation system with one camera.
また、単眼のカメラ画像から同一平面上に位置する任意の同一平面上に存在する測量点の座標を算出する写真測量方法が知られている（特許文献１）。特許文献１の写真測量は、１の観測点からカメラにより被写体を撮影し、被写体の特定平面上にある３つの参照点の距離を予め巻き尺等で測定し、単一のカメラ画像から被写体の構成部分の特定平面上に位置する任意の測量点の２次元座標が算出するものである。この方法は、参照点と測量点が、同一平面上に存在し、単一のカメラ画像から同一平面上の任意の測量点を簡易に測量するもので、構造物の壁面等の測量に適している方法として知られている。
また、カメラとレーザーを用いて３次元計測を行う方法は数多く知られている（例えば、特許文献２）。
Also, a photogrammetry method is known that calculates the coordinates of survey points existing on the same plane located on the same plane from a monocular camera image (Patent Document 1). In photogrammetry of Patent Document 1, a subject is photographed by a camera from one observation point, the distances of three reference points on a specific plane of the subject are measured in advance with a tape measure or the like, and the composition of the subject is formed from a single camera image. The two-dimensional coordinates of an arbitrary survey point located on the specific plane of the part are calculated. In this method, the reference point and survey point exist on the same plane, and any survey point on the same plane can be easily measured from a single camera image. Known as the method.
Many methods for performing three-dimensional measurement using a camera and a laser are known (for example, Patent Document 2).
しかし、特許文献１の写真測量方法によれば、参照点と測量点が同一平面上に存在することが要求されるため、参照点と測量点を自由に選択することができないという問題がある。立体的構造を成す製品を、単眼カメラで写真測量する場合、製品の形状の特徴にもよるが、参照点や測量点は必ずしも同一平面に存在しないことが多い。
また、特許文献２に開示されている３次元形状計測方法及びその装置などカメラとレーザーを用いた３次元計測の殆どが固定型の装置であり、簡便で実用的なものが見当たらない。
However, according to the photogrammetry method of Patent Document 1, since it is required that the reference point and the survey point exist on the same plane, there is a problem that the reference point and the survey point cannot be freely selected. When photogrammetrically measuring a product having a three-dimensional structure with a monocular camera, reference points and survey points are not necessarily present on the same plane, although depending on the shape of the product.
Also, most of the three-dimensional measurement using a camera and a laser, such as the three-dimensional shape measurement method and apparatus disclosed in Patent Document 2, is a fixed type device, and a simple and practical one cannot be found.
現状、単眼カメラを用いた計測では、奥行き情報が精度よく取得できないことから、単眼カメラに距離測定のためのレーザーを利用しているケースが殆どである。
かかる状況下、生産ラインでの物体の３次元位置の認識や、物体の位置出しや追跡など、単眼カメラで精度良く計測を行うことができる計測技術が求められている。
また、建設現場や工場の作業現場で、簡便に精度良く計測を行うことができる計測技術が求められている。
At present, in the measurement using a monocular camera, depth information cannot be obtained with high accuracy, and in most cases, a laser for distance measurement is used in a monocular camera.
Under such circumstances, there is a need for a measurement technique that enables accurate measurement with a monocular camera, such as recognition of a three-dimensional position of an object on a production line, and positioning and tracking of an object.
There is also a need for a measurement technique that enables simple and accurate measurement at construction sites and factory work sites.
上記状況に鑑みて、本発明は、単眼カメラで簡便に精度よく、被計測対象上の特徴点の３次元座標を得て、３次元形状計測ができる３次元形状位置計測装置，３次元形状位置計測処理方法および３次元形状位置計測処理プログラムを提供することを目的とする。 In view of the above situation, the present invention provides a three-dimensional shape position measuring apparatus and three-dimensional shape position capable of measuring a three-dimensional shape by obtaining a three-dimensional coordinate of a feature point on a measurement target easily and accurately with a monocular camera. An object is to provide a measurement processing method and a three-dimensional shape position measurement processing program.
上記目的を達成すべく、本発明の３次元形状位置計測装置は、ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段が固定された単眼の撮像装置を有し、照射光源からの照射光を４箇所に基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）を有する校正プレートに照射し、校正プレートを移動させるか、前記撮像装置を移動させて、撮影した２箇所の画像から、各画像での前記照射光源の照射位置の３次元座標を算出し、照射光の方向ベクトル又は平面の方程式を算出することを特徴とする。 In order to achieve the above object, the three-dimensional shape position measuring apparatus of the present invention has a monocular imaging device to which an irradiation means having an irradiation light source for irradiating a point laser or a line laser is fixed, and the irradiation light from the irradiation light source. Is applied to a calibration plate having four reference points (however, of the four reference points, any of the three reference points do not exist on a straight line), and the calibration plate is moved, or the imaging device The three-dimensional coordinates of the irradiation position of the irradiation light source in each image are calculated from the two captured images, and the direction vector of the irradiation light or the plane equation is calculated.
また、上記の本発明の３次元形状位置計測装置において、算出した方向ベクトル又は平面の方程式を用いて、任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出することを特徴とする。 In the above-described three-dimensional shape position measurement apparatus of the present invention, the three-dimensional coordinates or the three-dimensional shape of the object to be irradiated with the point laser or line laser in any captured image using the calculated direction vector or plane equation. Is calculated.
本発明の３次元形状位置計測装置は、ポイントレーザー又はラインレーザーの照射手段と単眼カメラの撮像装置からなり、照射光が当った被照射対象物の表面の３次元位置を画像上から計算するものである。まず、４箇所に基準点を有する校正プレート上に、ポイントレーザー又はラインレーザーの照射光を照射し、撮像装置と校正プレート間の距離を変えて２箇所以上で撮影した画像毎に照射位置を計算し、２箇所以上のデータから照射光の方向ベクトル又は平面の方程式を得る。これにより、校正プレートを含まない任意の撮像画像中のポイントレーザー又はラインレーザーの照射位置の３次元座標を計算することができる。 The three-dimensional shape position measuring apparatus of the present invention comprises a point laser or line laser irradiation means and a monocular imaging device, and calculates from the image the three-dimensional position of the surface of the irradiated object that has been irradiated with the irradiation light. It is. First, irradiate point laser or line laser light on a calibration plate with four reference points, and change the distance between the imaging device and the calibration plate to calculate the irradiation position for each image taken at two or more locations. Then, the direction vector of the irradiation light or the plane equation is obtained from the data at two or more locations. Thereby, the three-dimensional coordinate of the irradiation position of the point laser or the line laser in an arbitrary captured image not including the calibration plate can be calculated.
また、上記の本発明の３次元形状位置計測装置において、上記の撮像装置がビデオ撮影し得るものであり、上記の校正プレートをビデオ撮像の各画像に有するようにし、各画像で得た照射光源の照射位置の３次元座標を校正プレートの基準点を用いて同一の座標系にすることにより、撮像装置を移動することで、ポイントレーザー若しくはラインレーザーの被照射物体の計測対象面の位置情報を算出することを特徴とする。 Further, in the above-described three-dimensional shape position measuring apparatus of the present invention, the imaging apparatus is capable of shooting video, and the calibration plate is included in each image of video imaging, and the irradiation light source obtained in each image The position information of the measurement target surface of the irradiated object of the point laser or line laser can be obtained by moving the imaging device by making the three-dimensional coordinates of the irradiation position in the same coordinate system using the reference point of the calibration plate. It is characterized by calculating.
単眼カメラの撮像装置はビデオ機能を備えるか、単眼のビデオカメラである場合、校正プレートをビデオ撮像の各画像に有するように撮影することで、各画像で得た照射光源の照射位置の３次元座標を校正プレートの基準点を用いて同一の座標系にすることができる。これにより、撮像装置を移動することで、ポイントレーザー若しくはラインレーザーの被照射物体の計測対象面の位置情報を算出することができる。 When the imaging device of the monocular camera has a video function or is a monocular video camera, the three-dimensional irradiation position of the irradiation light source obtained in each image is obtained by photographing the calibration plate so as to be included in each image of the video imaging. Coordinates can be in the same coordinate system using the reference point of the calibration plate. Thereby, by moving the imaging device, it is possible to calculate the position information of the measurement target surface of the irradiation object of the point laser or the line laser.
また、本発明の他の観点の３次元形状位置計測装置は、下記（１）と（２）を備える。
（１）ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段が固定された単眼のカメラ手段
（２）少なくとも演算手段と記憶手段とデータ転送手段とを備えた情報演算端末
そして、上記（２）の情報演算端末における記憶手段が、算出された前記カメラ手段の内部標定要素と、校正プレート上の４箇所の基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）の実座標と、を予め記憶する。
また、上記（２）の情報演算端末におけるデータ転送手段が、カメラ手段を用いて撮影された校正プレート上の４箇所の基準点と、校正プレート上に照射したポイントレーザー又はラインレーザーとをカメラ視野内に含む少なくとも２枚の撮像画像を取り込む。
In addition, a three-dimensional shape position measurement apparatus according to another aspect of the present invention includes the following (1) and (2).
(1) Monocular camera means having a fixed irradiation means having an irradiation light source for irradiating a point laser or a line laser (2) An information calculation terminal comprising at least calculation means, storage means and data transfer means and (2 ) In the information calculation terminal is the calculated internal orientation element of the camera means and four reference points on the calibration plate (however, any three reference points of the four reference points are Real coordinates of those not existing on a straight line) are stored in advance.
In addition, the data transfer means in the information calculation terminal of (2) above shows the camera field of view of the four reference points on the calibration plate photographed using the camera means and the point laser or line laser irradiated on the calibration plate. At least two captured images included therein are captured.
また、上記（２）の情報演算端末における演算手段が、取り込んだ撮像画像上の基準点のカメラビュー座標について、内部標定要素に基づき撮像画像上の歪みを補正し、歪み補正された基準点のカメラビュー座標と実座標とから、画像撮影時の校正プレートを基準とした座標系におけるカメラ位置およびカメラ角度を算出する。
すなわち、取り込んだカメラ画像上の校正プレート上の基準点の２次元座標であるカメラビュー座標について、内部標定要素に基づき画像上の歪みを補正した後、歪み補正された基準点のカメラビュー座標（２次元座標）と実座標（予め記憶手段に記憶された校正プレートの基準点の３次元座標）から、校正プレートを基準とした座標系におけるカメラ位置およびカメラ角度を算出する。
Further, the calculation means in the information calculation terminal of (2) corrects the distortion on the captured image based on the internal orientation element for the camera view coordinates of the reference point on the captured image, and the distortion corrected reference point From the camera view coordinates and the actual coordinates, a camera position and a camera angle in a coordinate system based on the calibration plate at the time of image capturing are calculated.
That is, for camera view coordinates that are two-dimensional coordinates of the reference point on the calibration plate on the captured camera image, after correcting distortion on the image based on the internal orientation element, the camera view coordinates of the reference point after distortion correction ( From the two-dimensional coordinates) and the actual coordinates (three-dimensional coordinates of the reference point of the calibration plate stored in advance in the storage means), the camera position and camera angle in the coordinate system with the calibration plate as a reference are calculated.
そして、照射手段がポイントレーザーの場合、取り込んだ少なくとも２枚の撮像画像上のポイントレーザーの照射ポイントのカメラビュー座標と実座標とから、画像撮影時の校正プレートを基準とした座標系における照射光源の照射位置の３次元座標およびポイントレーザーの方向ベクトルを算出する。 When the irradiation means is a point laser, the irradiation light source in the coordinate system based on the calibration plate at the time of image shooting is determined from the camera view coordinates and the actual coordinates of the point laser irradiation points on the captured two captured images. The three-dimensional coordinates of the irradiation position and the direction vector of the point laser are calculated.
また、照射手段がラインレーザーの場合、取り込んだ少なくとも２枚の撮像画像上のラインレーザーの照射ライン上の２点のカメラビュー座標と実座標とから、画像撮影時の校正プレートを基準とした座標系における照射光源の照射位置の３次元座標およびラインレーザーの平面の方程式を算出する。 In addition, when the irradiation means is a line laser, coordinates based on the calibration plate at the time of image capture from the two camera view coordinates and actual coordinates on the line laser irradiation line on the captured two captured images The equation of the three-dimensional coordinates of the irradiation position of the irradiation light source and the line laser plane in the system is calculated.
そして、算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換および上記のポイントレーザーの方向ベクトル又はラインレーザーの平面の方程式を用いて、カメラ基準の座標系における任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出する。
ここで、算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換とは、画像撮影時の校正プレートを基準とした座標系から、カメラ基準の座標系に変換すべく、算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換マトリックスを用いて変換することである。
そして、ポイントレーザーの方向ベクトル又はラインレーザーの平面の方程式を用いて、カメラ基準の座標系における任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出する。
Then, using coordinate transformation such that the calculated camera position and camera angle at the time of image capture become the reference position and reference angle, and the above point laser direction vector or line laser plane equation, in the camera reference coordinate system A three-dimensional coordinate or a three-dimensional shape of an object irradiated with a point laser or a line laser in an arbitrary captured image is calculated.
Here, coordinate conversion in which the calculated camera position and camera angle at the time of image capture become the reference position and reference angle is converted from the coordinate system based on the calibration plate at the time of image capture to the camera reference coordinate system. Therefore, conversion is performed using a coordinate conversion matrix in which the calculated camera position and camera angle at the time of image capturing become the reference position and reference angle.
Then, using the point laser direction vector or the line laser plane equation, the three-dimensional coordinates or the three-dimensional shape of the object to be irradiated with the point laser or line laser in an arbitrary captured image in the camera-based coordinate system is calculated. .
ここで、カメラ手段とは、市販のディジタルカメラや計測カメラ、更にはディジタルビデオカメラを用いることができる。このカメラ手段は、カメラ画像が撮影された際のカメラ状態を解析的に求めるカメラキャリブレーションを行うことが必要である。カメラキャリブレーションとは、具体的には、撮影時のカメラの位置および姿勢（カメラ角度）といった外部標定要素と、焦点距離や主点位置のズレ、レンズ歪み係数といった内部標定要素とを予め求めることである。 Here, as the camera means, a commercially available digital camera, measurement camera, or digital video camera can be used. This camera means needs to perform camera calibration which analytically obtains the camera state when the camera image is taken. Specifically, the camera calibration is to obtain in advance an external orientation element such as a camera position and orientation (camera angle) at the time of shooting, and an internal orientation element such as a focal length and a deviation of the principal point position, and a lens distortion coefficient. It is.
外部標定要素である撮影時のカメラ位置およびカメラ角度は、現場における実際のカメラ撮影状況に依存することから取得した画像から自動的に算出する。
一方、内部標定要素は、以下のａ）〜ｄ）の内部パラメータであり、予め情報演算端末の記憶手段に記憶している。
ａ）焦点距離
カメラのレンズ中心（主点）から撮像面（ＣＣＤセンサ等）までの距離として、例えば、０．１ミクロンの精度で値を算出する。
ｂ）主点位置のズレ
カメラの主点と撮像面の中心位置との平面２軸(x, y)各方向のズレ量で、カメラ製造時の組み付け精度に依存するものであり、例えば、０．１ミクロンの精度で値を算出する。
ｃ）放射方向レンズ歪み補正係数
ディジタルカメラによる画像の撮影は、曲面のレンズを通して平面の撮像面で光を受光するものであり、撮影された画像上の各画素は中心から距離が離れるほど大きな歪みが生じることから、そのような歪みを補正するための係数を算出する。
ｄ）接線方向レンズ歪み補正係数
接線方向レンズ歪みは、レンズと撮像面とが平行に設置されていないことにより生じるものであり、カメラ製造時の組み付け精度に依存することから、補正係数を算出する。
The camera position and camera angle at the time of shooting, which are external orientation elements, are automatically calculated from the acquired image because they depend on the actual camera shooting situation in the field.
On the other hand, the internal orientation elements are internal parameters of the following a) to d) and are stored in advance in the storage means of the information calculation terminal.
a) Focal length As a distance from the center (principal point) of the camera lens to the imaging surface (CCD sensor or the like), for example, a value is calculated with an accuracy of 0.1 microns.
b) Misalignment of principal point The amount of misalignment between the camera principal point and the center position of the imaging plane in each of the two plane (x, y) directions depends on the assembly accuracy at the time of camera manufacture. Calculate the value with an accuracy of 1 micron.
c) Radial direction lens distortion correction coefficient When a digital camera captures an image, light is received by a flat imaging surface through a curved lens, and each pixel on the captured image increases in distortion as the distance from the center increases. Therefore, a coefficient for correcting such distortion is calculated.
d) Tangential lens distortion correction coefficient Tangential lens distortion is caused by the fact that the lens and the imaging surface are not installed in parallel, and depends on the assembly accuracy at the time of camera manufacture, so the correction coefficient is calculated. .
また、ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段とは、点光源やスリット光源から指向性の高い光線を照射するもので、例えば、市販の半導体レーザー、固定レーザー、金属レーザーを用いることができる。
また、上記のカメラ手段が赤外線カメラである場合、ポイントレーザー若しくはラインレーザーが赤外線光、赤外線スリット光、又は、赤外線レーザーを用いることができる。すなわち、被計測対象物が動物や人の眼など可視光レーザーに敏感に反応するものや、夜間の計測のように赤外線カメラを用いる場合、ポイントレーザー若しくはラインレーザーを赤外線レーザー又は赤外光、赤外線スリット光にする。ただし、赤外線レーザーは、一般に強度が強く、人間には使用困難であり、赤外線光、赤外線スリット光を用いる方がよい。
The irradiation means having an irradiation light source for irradiating a point laser or a line laser irradiates a highly directional light beam from a point light source or a slit light source. For example, a commercially available semiconductor laser, fixed laser, or metal laser is used. be able to.
When the camera means is an infrared camera, the point laser or line laser can use infrared light, infrared slit light, or infrared laser. In other words, when an object to be measured is sensitive to a visible light laser such as an animal or human eye, or when an infrared camera is used for measurement at night, a point laser or line laser is an infrared laser, infrared light, infrared Use slit light. However, infrared lasers are generally strong and difficult for humans to use, and it is better to use infrared light or infrared slit light.
さらに、上記のカメラ手段がフラッシュ装置外付けタイプのディジタルカメラであり、照射手段がディジタルカメラのフラッシュ装置の取付治具を介して脱着可能に固定されることがより好ましい。
カメラ手段の姿勢と照射手段の姿勢を連動させるために、照射手段はカメラ手段に固定させる必要がある。市販のディジタルカメラの中には、フラッシュ装置外付けタイプのものがある。このフラッシュ装置の取付治具に適合するように、照射手段の取付治具を設けることで、照射手段がディジタルカメラのフラッシュ装置の取付治具を介して脱着可能に固定できる。
Further, it is more preferable that the camera means is a flash camera external type digital camera, and the irradiating means is detachably fixed via a mounting jig for the flash device of the digital camera.
In order to link the attitude of the camera means and the attitude of the irradiation means, the irradiation means needs to be fixed to the camera means. Some commercially available digital cameras have a flash device externally attached. By providing a mounting jig for the irradiating means so as to fit the mounting jig for the flash device, the irradiating means can be detachably fixed via the mounting jig for the flash device of the digital camera.
また、上記（２）の情報演算端末は、デスクトップ型コンピュータ、ノート型コンピュータ、タブレット型コンピュータ、ハンドヘルドコンピュータ、ＰＤＡ（Personal Digital Assistance）、携帯電話等のモバイルコンピュータでよい。記憶手段は、ＲＡＭ（揮発性メモリ）、ＰＲＯＭ（書き込み可能なメモリ）等で構成されればよい。
また、上記（２）の情報演算端末のデータ転送手段とは、ＵＳＢインタフェースのように有線ケーブルでカメラ手段と接続して画像データを転送するものに限らず、赤外線データ転送などの無線通信で画像データを転送するものでもよい。
また、カメラ手段がインターネットなどのネットワークに接続できるもので、情報演算端末がネットワークに接続されている場合、データ転送手段はインターネットなどのネットワークになる。
さらに、情報演算端末がカメラ手段に内蔵される場合、データ転送手段は、内部バスのようなものになる。
The information calculation terminal (2) may be a mobile computer such as a desktop computer, notebook computer, tablet computer, handheld computer, PDA (Personal Digital Assistance), or mobile phone. The storage means may be composed of RAM (volatile memory), PROM (writable memory), or the like.
In addition, the data transfer means of the information calculation terminal (2) is not limited to the one that transfers image data by connecting to the camera means with a wired cable, such as a USB interface, but the image data is transmitted by wireless communication such as infrared data transfer. Data may be transferred.
In addition, when the camera means can be connected to a network such as the Internet and the information processing terminal is connected to the network, the data transfer means is a network such as the Internet.
Further, when the information calculation terminal is built in the camera means, the data transfer means is like an internal bus.
次に、本発明の３次元形状位置計測処理方法について説明する。本発明の３次元形状位置計測処理方法は、ポイントレーザー若しくはラインレーザーを照射する照射光源を有する照射手段が固定された単眼のカメラ手段を用いて被計測対象物を写真計測する方法であって、下記１）〜７）のステップを備えるものである。 Next, the three-dimensional shape position measurement processing method of the present invention will be described. The three-dimensional shape position measurement processing method of the present invention is a method of taking a photograph of an object to be measured using a monocular camera means to which an irradiation means having an irradiation light source for irradiating a point laser or a line laser is fixed, The following steps 1) to 7) are provided.
１）前記カメラ手段の内部標定要素を読込むステップ
２）校正プレート上の４箇所の基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）の実座標を読込むステップ
３）前記カメラ手段を用いて撮影された校正プレート上の４箇所の基準点と、校正プレート上に照射したポイントレーザー又はラインレーザーとをカメラ視野内に含む少なくとも２枚の撮像画像を取り込むステップ
４）取り込んだ画像上の前記基準点のカメラビュー座標について、前記内部標定要素に基づき撮像画像上の歪みを補正するステップ
５）歪み補正された前記基準点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系におけるカメラ位置およびカメラ角度を算出するステップ
1) Step of reading the internal orientation element of the camera means 2) Four reference points on the calibration plate (however, any three of the four reference points do not exist on a straight line) Step 3) Reading at least two sheets including four reference points on the calibration plate photographed by the camera means and point laser or line laser irradiated on the calibration plate in the camera field of view Step 4) for correcting the camera view coordinates of the reference point on the acquired image based on the internal orientation element Step 5) Camera view coordinates of the reference point corrected for distortion And calculating the camera position and camera angle in a coordinate system based on the calibration plate at the time of image capture from the actual coordinates
６−１）取り込んだ少なくとも２枚の撮像画像上のポイントレーザーの照射ポイントのカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびポイントレーザーの方向ベクトルを算出するステップ 6-1) The irradiation position of the irradiation light source in the coordinate system based on the calibration plate at the time of image capture is calculated from the camera view coordinates of the irradiation point of the point laser on the captured at least two captured images and the actual coordinates. Calculating three-dimensional coordinates and a point laser direction vector;
或いは、
６−２）取り込んだ少なくとも２枚の撮像画像上のラインレーザーの照射ライン上の２点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびラインレーザーの平面の方程式を算出するステップ
Or
6-2) The irradiation light source in the coordinate system based on the calibration plate at the time of image shooting from the two camera view coordinates on the irradiation line of the line laser on the captured at least two captured images and the real coordinates Calculating the three-dimensional coordinates of the irradiation position and the plane equation of the line laser
７）算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換および上記のポイントレーザーの方向ベクトル又はラインレーザーの平面の方程式を用いて、カメラ基準の座標系における任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出するステップ 7) Using coordinate transformation so that the calculated camera position and camera angle at the time of image capture become the reference position and reference angle, and the above point laser direction vector or line laser plane equation, in the camera reference coordinate system A step of calculating a three-dimensional coordinate or a three-dimensional shape of an object to be irradiated with a point laser or a line laser in an arbitrary captured image
ここで、上記３）のカメラ視野内に含む少なくとも２枚の撮像画像を取り込むステップは、カメラ手段と校正プレートの何れかを固定し、他方を移動させ、カメラ手段と校正プレートの間の距離が異なる撮像画像を取り込むステップとする。 Here, in the step 3) of capturing at least two captured images included in the camera field of view, either the camera means or the calibration plate is fixed, the other is moved, and the distance between the camera means and the calibration plate is The step is to capture different captured images.
本発明の３次元形状位置計測処理方法についての各ステップの内容説明は、上述の本発明の３次元形状位置計測装置の内容説明と同様である。 The contents of each step of the three-dimensional shape position measurement processing method of the present invention are the same as the contents of the above-described three-dimensional shape position measurement apparatus of the present invention.
また、本発明の３次元形状位置計測処理プログラムは、上記の本発明の３次元形状位置計測処理方法の各ステップ（上記１）〜７）のステップ）を、コンピュータに実行させるものである。
本発明の３次元形状位置計測処理プログラムは、デスクトップ型コンピュータ、ノート型コンピュータ、タブレット型コンピュータ、ハンドヘルドコンピュータ、ＰＤＡ、携帯電話等のモバイルコンピュータなどの情報演算端末や、カメラ手段自身に搭載される。
The three-dimensional shape position measurement processing program of the present invention causes a computer to execute each step (steps 1 to 7) of the above-described three-dimensional shape position measurement processing method of the present invention.
The three-dimensional shape position measurement processing program of the present invention is installed in an information operation terminal such as a desktop computer, a notebook computer, a tablet computer, a handheld computer, a PDA, a mobile phone such as a mobile phone, or the camera means itself.
本発明によれば、単眼カメラで簡便に精度よく、被計測対象上の特徴点の３次元座標を得て、３次元形状計測ができるといった効果を有する。
すなわち、最初に、校正プレート上に、ポイントレーザー又はラインレーザーの照射光を照射し、撮像装置と校正プレート間の距離を変えて２箇所以上で撮影することで、校正プレートを含まない任意の撮像画像中のポイントレーザー又はラインレーザーの照射位置の３次元座標を計算することができることから、現場での計測が非常に簡便に行えることができる。また、後述する実施例に示すように計測精度が高く、実用レベルの精度が確保できている。
According to the present invention, it is possible to obtain a three-dimensional shape measurement by obtaining a three-dimensional coordinate of a feature point on a measurement target simply and accurately with a monocular camera.
That is, first, irradiate point laser or line laser light on the calibration plate, change the distance between the imaging device and the calibration plate, and shoot at two or more locations. Since the three-dimensional coordinates of the irradiation position of the point laser or line laser in the image can be calculated, on-site measurement can be performed very simply. Moreover, as shown in the Example mentioned later, the measurement precision is high and the practical level precision is ensured.
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The scope of the present invention is not limited to the following examples and illustrated examples, and many changes and modifications can be made.
図１〜６は、本発明のレーザーを用いた単眼カメラによる３次元形状位置計測装置の計測イメージを示している。図１〜３が、ポイントレーザーを用いた単眼カメラによる３次元形状位置計測装置であり、図４〜６が、ラインレーザーを用いた単眼カメラによる３次元形状位置計測装置である。
図１〜６では、１台のディジタルカメラ（１，１ａ，１ｂ）と情報演算端末４としてのノート型パソコンがデータ転送ケーブル５で接続されている。
FIGS. 1-6 has shown the measurement image of the three-dimensional shape position measuring device by the monocular camera using the laser of this invention. 1 to 3 are three-dimensional shape position measurement apparatuses using a monocular camera using a point laser, and FIGS. 4 to 6 are three-dimensional shape position measurement apparatuses using a monocular camera using a line laser.
1 to 6, one digital camera (1, 1 a, 1 b) and a notebook personal computer as an information operation terminal 4 are connected by a data transfer cable 5.
図１のように、ディジタルカメラ１を固定して、校正プレート（３ａ，３ｂ）を移動させて、校正プレート（３ａ，３ｂ）と校正プレート（３ａ，３ｂ）上のポイントレーザーによる照射ポイント（２２ａ，２２ｂ）を撮像する。
ポイントレーザー照射ユニット２はディジタルカメラ１に固定されていることから、ポイントレーザーによる照射ポイント（２２ａ，２２ｂ）のカメラ座標系の３次元座標を算出して、ポイントレーザーの方向ベクトルを求める。詳細は後述する。
As shown in FIG. 1, the digital camera 1 is fixed, the calibration plates (3a, 3b) are moved, and the irradiation point (22a) by the point laser on the calibration plates (3a, 3b) and the calibration plates (3a, 3b) is obtained. , 22b).
Since the point laser irradiation unit 2 is fixed to the digital camera 1, the three-dimensional coordinates of the camera coordinate system of the irradiation points (22a, 22b) by the point laser are calculated to obtain the direction vector of the point laser. Details will be described later.
そして、図２のように、被照射対象物６上のポイントレーザーによる照射ポイント２３について、任意の撮像画像からカメラ座標系の３次元座標を算出できる。照射ポイント２３の３次元座標の算出は、ポイントレーザー光２１の方向ベクトルと、カメラ中心１０と撮像画像における照射ポイント２３とを結ぶベクトル１１との交点を求めることにより行える。すなわち、カメラ座標系を基準とした任意の点の３次元座標を得ることができる。
カメラを固定して被照射対象物を動かし、ポイントレーザーを被照射対象物上の異なる点に照射させて撮影し、２枚の撮像画像を取得する。それぞれの撮像画像からポイントレーザーの異なる２点の照射ポイントの３次元座標を算出できることから、２点間の距離を算出することができる。この場合、図２に示すように、被照射対象物の撮像画像には校正プレートは不要である。
なお、カメラを固定せずに動かした場合、カメラ基準が変ってしまうことになる。カメラを固定せずに動かす場合は、被照射対象物と４点の基準点を有する校正プレートを共に撮影しなければならない。
Then, as shown in FIG. 2, the three-dimensional coordinates of the camera coordinate system can be calculated from an arbitrary captured image for the irradiation point 23 by the point laser on the irradiation target object 6. The calculation of the three-dimensional coordinates of the irradiation point 23 can be performed by obtaining the intersection of the direction vector of the point laser beam 21 and the vector 11 connecting the camera center 10 and the irradiation point 23 in the captured image. That is, the three-dimensional coordinates of an arbitrary point with reference to the camera coordinate system can be obtained.
The object to be irradiated is moved while the camera is fixed, and a point laser is irradiated to different points on the object to be irradiated to take images, and two captured images are acquired. Since the three-dimensional coordinates of two different irradiation points of the point laser can be calculated from each captured image, the distance between the two points can be calculated. In this case, as shown in FIG. 2, the calibration plate is not necessary for the captured image of the irradiated object.
If the camera is moved without being fixed, the camera reference changes. When the camera is moved without being fixed, the object to be irradiated and the calibration plate having four reference points must be photographed together.
また、図３に示すように、図１とは異なり、校正プレート３を固定して、ディジタルカメラ（１ａ，１ｂ）を移動させて、校正プレート（３ａ，３ｂ）と校正プレート（３ａ，３ｂ）上のポイントレーザーによる照射ポイント２２を撮像してもかまわない。 Also, as shown in FIG. 3, unlike FIG. 1, the calibration plate 3 is fixed, the digital camera (1a, 1b) is moved, the calibration plate (3a, 3b) and the calibration plate (3a, 3b). The irradiation point 22 by the upper point laser may be imaged.
また、図４のように、ディジタルカメラ１を固定して、校正プレート（３ａ，３ｂ）を移動させて、校正プレート（３ａ，３ｂ）と校正プレート（３ａ，３ｂ）上のラインレーザーによる照射ポイント（７２ａ，７２ｂ）を撮像する。
ラインレーザー照射ユニット７はディジタルカメラ１に固定されていることから、ラインレーザーによる照射ポイント（７２ａ，７２ｂ）のカメラ座標系の３次元座標を算出して、ラインレーザーの平面の方程式を求める。詳細は後述する。
Further, as shown in FIG. 4, the digital camera 1 is fixed, the calibration plates (3a, 3b) are moved, and the irradiation point by the line laser on the calibration plates (3a, 3b) and the calibration plates (3a, 3b) is obtained. (72a, 72b) is imaged.
Since the line laser irradiation unit 7 is fixed to the digital camera 1, the three-dimensional coordinates of the camera coordinate system of the irradiation points (72a, 72b) by the line laser are calculated to obtain the plane laser plane equation. Details will be described later.
そして、図５のように、被照射対象物８上のラインレーザーによるレーザーライン７３について、任意の撮像画像からカメラ座標系の３次元座標および３次元形状を算出できる。レーザーライン７３の３次元座標および３次元形状の算出は、ラインレーザー光７１の平面の方程式と、カメラ中心１０と撮像画像におけるレーザーライン７３とを結ぶベクトル１１との交点を求めることにより行える。
カメラを固定して被照射対象物を動かし、ラインレーザーを被照射対象物上の異なる点に照射させて撮影し、複数の撮像画像を取得する。それぞれの撮像画像からラインレーザーの異なる複数のレーザーラインの３次元形状を算出できることから、それらを合成することにより被照射対象物の３次元形状を算出することができる。この場合、図５に示すように、被照射対象物の撮像画像には校正プレートは不要である。
なお、カメラを固定せずに動かした場合、カメラ基準が変ってしまうことになる。カメラを固定せずに動かす場合は、被照射対象物と４点の基準点を有する校正プレートを共に撮影しなければならない。４点プレートが無い場合は、１箇所のみの断面形状測定になる。
And about the laser line 73 by the line laser on the to-be-irradiated target object 8 like FIG. 5, the three-dimensional coordinate and three-dimensional shape of a camera coordinate system are computable from arbitrary picked-up images. The calculation of the three-dimensional coordinates and the three-dimensional shape of the laser line 73 can be performed by obtaining the intersection of the plane equation of the line laser beam 71 and the vector 11 connecting the camera center 10 and the laser line 73 in the captured image.
The object to be irradiated is moved with the camera fixed, the line laser is irradiated to different points on the object to be imaged, and a plurality of captured images are acquired. Since the three-dimensional shape of a plurality of laser lines with different line lasers can be calculated from each captured image, the three-dimensional shape of the irradiation target can be calculated by combining them. In this case, as shown in FIG. 5, the calibration plate is not necessary for the captured image of the irradiated object.
If the camera is moved without being fixed, the camera reference changes. When the camera is moved without being fixed, the object to be irradiated and the calibration plate having four reference points must be photographed together. When there is no four-point plate, the cross-sectional shape is measured only at one location.
また、図６に示すように、図４とは異なり、校正プレート３を固定して、ディジタルカメラ（１ａ，１ｂ）を移動させて、校正プレート（３ａ，３ｂ）と校正プレート（３ａ，３ｂ）上のラインレーザーによる照射ポイント７２を撮像してもかまわない。 Also, as shown in FIG. 6, unlike FIG. 4, the calibration plate 3 is fixed, the digital camera (1a, 1b) is moved, the calibration plate (3a, 3b) and the calibration plate (3a, 3b). The irradiation point 72 by the upper line laser may be imaged.
図７の３次元形状位置計測装置の概略構成図に示すように、情報演算端末４は、演算手段となる中央演算処理ユニット（ＣＰＵ）４１と、記憶手段となるメモリ４４やとハードディスク（ＨＤ）４３と、データ転送手段となる入出力制御部（Ｉ／Ｏ）４２とが、内部バス４５に接続された構成となっている。 As shown in the schematic configuration diagram of the three-dimensional shape position measuring apparatus in FIG. 7, the information calculation terminal 4 includes a central processing unit (CPU) 41 serving as calculation means, a memory 44 serving as storage means, and a hard disk (HD). 43 and an input / output control unit (I / O) 42 serving as a data transfer means are connected to an internal bus 45.
次に、３次元形状位置計測装置の処理を説明する。図８は３次元形状位置計測装置の処理フロー図を示している。また、図９，１０は説明用の模式図である。
まず、３次元形状位置計測の事前準備として、校正プレートの四隅の４点の基準点の実座標を予め取得し、それをデータベースとして情報演算端末４のハードディスク４３に記憶する。実際に３次元形状位置計測処理を行う際には、校正プレートの４点の基準点の実座標のデータを読込む。例えば、図９に示すような校正プレート３の４点の基準点(ＯＰ１,ＯＰ２,ＯＰ３,ＯＰ４)の既知の３次元座標を読込む。
Next, processing of the three-dimensional shape position measuring device will be described. FIG. 8 shows a processing flowchart of the three-dimensional shape position measuring apparatus. 9 and 10 are schematic diagrams for explanation.
First, as advance preparation for three-dimensional shape position measurement, real coordinates of four reference points at the four corners of the calibration plate are acquired in advance, and stored as a database in the hard disk 43 of the information calculation terminal 4. When the three-dimensional shape position measurement process is actually performed, the actual coordinate data of the four reference points of the calibration plate is read. For example, the known three-dimensional coordinates of the four reference points (OP1, OP2, OP3, OP4) of the calibration plate 3 as shown in FIG. 9 are read.
そして、事前に計測しておいたカメラ画像の歪み補正のための内部標定要素（カメラパラメータともいう）をハードディスク４３から読込み、カメラで撮像した画像に写った校正プレートの基準点の２次元座標のカメラビュー座標（ＶＰ１，ＶＰ２，ＶＰ３，ＶＰ４）を取得する。そして、内部標定要素を用いてカメラ画像上に写った基準点の画像上の歪み補正を行う。 Then, the internal orientation elements (also referred to as camera parameters) for distortion correction of the camera image measured in advance are read from the hard disk 43, and the two-dimensional coordinates of the reference point of the calibration plate reflected in the image captured by the camera are read. Camera view coordinates (VP1, VP2, VP3, VP4) are acquired. Then, distortion correction on the image of the reference point captured on the camera image is performed using the internal orientation element.
そして、校正プレートを基準として、校正プレートの座標系におけるカメラ位置およびカメラ角度を算出する。すなわち、図９に示すように、校正プレートのカメラビュー座標（ＶＰ１，ＶＰ２，ＶＰ３，ＶＰ４）と、校正プレートの３次元座標(ＯＰ１,ＯＰ２,ＯＰ３,ＯＰ４)から、カメラ位置・カメラ角度を算出する。 Then, the camera position and camera angle in the coordinate system of the calibration plate are calculated using the calibration plate as a reference. That is, as shown in FIG. 9, the camera position / camera angle is calculated from the camera view coordinates (VP1, VP2, VP3, VP4) of the calibration plate and the three-dimensional coordinates (OP1, OP2, OP3, OP4) of the calibration plate. To do.
そして、求めたカメラ位置・カメラ角度が、カメラ基準（位置(０,０,０）角度(０,０,０))となるような座標変換マトリクスを求める。校正プレートの三次元座標にそのマトリクスをかけて、図１０に示すようなカメラ位置を基準としたカメラ座標系に置き換えた座標値（ＷＰ１，ＷＰ２，ＷＰ３，ＷＰ４）を求める。 Then, a coordinate conversion matrix is obtained such that the obtained camera position / camera angle becomes the camera reference (position (0,0,0) angle (0,0,0)). By multiplying the three-dimensional coordinates of the calibration plate by the matrix, coordinate values (WP1, WP2, WP3, WP4) replaced with the camera coordinate system based on the camera position as shown in FIG. 10 are obtained.
以上のように、カメラ位置を基準としての校正プレートの基準点のカメラ座標系の３次元座標が算出できる。
カメラ位置を基準としての校正プレートの基準点のカメラ座標系の３次元座標が算出できることから、図１に示すようにディジタルカメラ１を固定して校正プレート（３ａ，３ｂ）を移動させて撮影した２枚以上の撮像画像から、ポイントレーザー照射光の照射位置（２２ａ，２２ｂ）のカメラ座標系の３次元座標を取得することができる。ポイントレーザーの照射光源位置２０は、ポイントレーザー照射ユニット２がディジタルカメラ１に固定されているため、カメラ撮影の度にカメラ姿勢は変化するものの、ポイントレーザーの照射光源位置はカメラ座標系では固定されている。
そのため、ポイントレーザーの照射光源位置は、カメラ座標系では固定されていることと、ポイントレーザー照射光の照射位置（２２ａ，２２ｂ）のカメラ座標系の３次元座標とを用いて、ポイントレーザーの方向ベクトルを求めることが可能になる。
As described above, the three-dimensional coordinates of the camera coordinate system of the reference point of the calibration plate with respect to the camera position can be calculated.
Since the three-dimensional coordinates of the camera coordinate system of the reference point of the calibration plate with respect to the camera position can be calculated, the digital camera 1 is fixed and the calibration plates (3a, 3b) are moved as shown in FIG. The three-dimensional coordinates of the camera coordinate system of the irradiation positions (22a, 22b) of the point laser irradiation light can be acquired from two or more captured images. Since the point laser irradiation light source position 20 is fixed to the digital camera 1 because the point laser irradiation unit 2 is fixed, the position of the point laser irradiation light source is fixed in the camera coordinate system although the camera posture changes every time the camera is photographed. ing.
Therefore, the point laser irradiation light source position is fixed in the camera coordinate system, and the point laser direction is determined by using the three-dimensional coordinates of the point laser irradiation light irradiation position (22a, 22b) in the camera coordinate system. It becomes possible to obtain a vector.
同様に、カメラ位置を基準としての校正プレートの基準点のカメラ座標系の３次元座標が算出できることから、図３に示すように校正プレート３を固定してディジタルカメラ（１ａ，１ｂ）を移動させて撮影した２枚以上の撮像画像から、ポイントレーザー照射光の照射位置２２（照射位置は全く同一ではなく、ずれていてもよい）のカメラ座標系の３次元座標を取得することができる。ポイントレーザーの照射光源位置（２０ａ，２０ｂ）は、ポイントレーザー照射ユニット（２ａ，２ｂ）がディジタルカメラ（１ａ，１ｂ）に固定されているため、カメラ撮影の度にカメラ姿勢は変化するものの、ポイントレーザーの照射光源位置はカメラ座標系では固定されている。
そのため、ポイントレーザーの照射光源位置は、カメラ座標系では固定されていることと、ポイントレーザー照射光の照射位置２２のカメラ座標系の３次元座標とを用いて、ポイントレーザーの方向ベクトルを求めることが可能になる。
Similarly, since the three-dimensional coordinates of the camera coordinate system of the reference point of the calibration plate with respect to the camera position can be calculated, the digital camera (1a, 1b) is moved with the calibration plate 3 fixed as shown in FIG. The three-dimensional coordinates of the camera coordinate system of the point laser irradiation light irradiation position 22 (irradiation positions are not exactly the same and may be shifted) can be acquired from two or more captured images taken in this manner. The point laser irradiation light source position (20a, 20b) is the point laser irradiation unit (2a, 2b) fixed to the digital camera (1a, 1b). The position of the laser light source is fixed in the camera coordinate system.
Therefore, the point laser direction vector is obtained using the point laser irradiation light source position being fixed in the camera coordinate system and the three-dimensional coordinates of the point laser irradiation light irradiation position 22 in the camera coordinate system. Is possible.
また、カメラ位置を基準としての校正プレートの基準点のカメラ座標系の３次元座標が算出できることから、図４に示すようにディジタルカメラ１を固定して校正プレート（３ａ，３ｂ）を移動させて撮影した２枚以上の撮像画像から、ラインレーザー照射光の照射位置（７２ａ，７２ｂ）のカメラ座標系の３次元座標を取得することができる。ラインレーザーの照射光源位置７０は、ラインレーザー照射ユニット７がディジタルカメラ１に固定されているため、カメラ撮影の度にカメラ姿勢は変化するものの、ラインレーザーの照射光源位置はカメラ座標系では固定されている。
そのため、ラインレーザーの照射光源位置は、カメラ座標系では固定されていることと、ラインレーザー照射光の照射位置（７２ａ，７２ｂ）のカメラ座標系の３次元座標とを用いて、ラインレーザーの平面の方程式を求めることが可能になる。
Further, since the three-dimensional coordinates of the camera coordinate system of the reference point of the calibration plate with respect to the camera position can be calculated, the calibration plate (3a, 3b) is moved with the digital camera 1 fixed as shown in FIG. The three-dimensional coordinates of the camera coordinate system of the irradiation position (72a, 72b) of the line laser irradiation light can be acquired from two or more captured images. Since the line laser irradiation unit 7 is fixed to the digital camera 1, the line laser irradiation light source position 70 is fixed in the camera coordinate system, although the camera posture changes every time the camera is photographed. ing.
Therefore, the line laser irradiation light source position is fixed in the camera coordinate system and the plane of the line laser is obtained using the three-dimensional coordinates of the camera coordinate system of the irradiation position (72a, 72b) of the line laser irradiation light. It becomes possible to obtain the equation of
同様に、カメラ位置を基準としての校正プレートの基準点のカメラ座標系の３次元座標が算出できることから、図６に示すように校正プレート３を固定してディジタルカメラ（１ａ，１ｂ）を移動させて撮影した２枚以上の撮像画像から、ラインレーザー照射光の照射位置７２（照射位置は全く同一ではなく、ずれていてもよい）のカメラ座標系の３次元座標を取得することができる。ラインレーザーの照射光源位置（７０ａ，７０ｂ）は、ラインレーザー照射ユニット（７ａ，７ｂ）がディジタルカメラ（１ａ，１ｂ）に固定されているため、カメラ撮影の度にカメラ姿勢は変化するものの、ラインレーザーの照射光源位置はカメラ座標系では固定されている。
そのため、ラインレーザーの照射光源位置は、カメラ座標系では固定されていることと、ラインレーザー照射光の照射位置２２のカメラ座標系の３次元座標とを用いて、ラインレーザーの平面の方程式を求めることが可能になる。
Similarly, since the three-dimensional coordinates of the camera coordinate system of the reference point of the calibration plate with respect to the camera position can be calculated, the digital camera (1a, 1b) is moved with the calibration plate 3 fixed as shown in FIG. The three-dimensional coordinates of the camera coordinate system of the irradiation position 72 of the line laser irradiation light (irradiation positions are not exactly the same and may be shifted) can be acquired from the two or more captured images taken in the above. Since the line laser irradiation unit (7a, 7b) is fixed to the digital camera (1a, 1b), the position of the line laser irradiation light source (70a, 70b) is changed every time the camera is photographed. The position of the laser light source is fixed in the camera coordinate system.
For this reason, the line laser irradiation light source position is fixed in the camera coordinate system, and the line laser plane equation is obtained using the three-dimensional coordinates of the line laser irradiation light irradiation position 22 in the camera coordinate system. It becomes possible.
そして、図８に示すフローのように処理を行っていく。まず、ディジタルカメラの内部標定要素を読み込む（ステップＳ０１）。校正プレート上に点光源（ポイントレーザー）又は線光源（ラインレーザー）を照射する（ステップＳ０２）。そして、校正プレートを撮影し（ステップＳ０３）、校正プレート上の光源（レーザーによる照射像）の位置を算出する（ステップＳ０４）。ディジタルカメラを固定して校正プレートを移動させるか、或いは、校正プレートを固定してディジタルカメラを移動させて、異なる距離で２個所以上撮影し、２枚以上の撮像画像を取得したか否かを判定する（ステップＳ０５）。異なる距離で２個所以上撮影していない場合は、上記のステップＳ０２から繰り返す。
異なる距離で２個所以上撮影した場合、上述したように照射光源の方向ベクトル又は平面の方程式を算出する（ステップＳ０６）。
Then, processing is performed as in the flow shown in FIG. First, an internal orientation element of a digital camera is read (step S01). A point light source (point laser) or a line light source (line laser) is irradiated onto the calibration plate (step S02). Then, the calibration plate is photographed (step S03), and the position of the light source (laser irradiation image) on the calibration plate is calculated (step S04). Whether the digital camera is fixed and the calibration plate is moved, or the calibration plate is fixed and the digital camera is moved so that two or more images are taken at different distances and two or more captured images are acquired. Determination is made (step S05). If two or more places are not photographed at different distances, the above steps S02 are repeated.
When two or more places are photographed at different distances, the direction vector or plane equation of the irradiation light source is calculated as described above (step S06).
そして、計測対象を撮影して、撮像画像上の光源（レーザーによる照射像）上で測定位置を指定する（ステップＳ０７）。測定位置の指定は、例えば、情報演算端末の画面に表示された当該撮像画像からマウス等のポインターデバイスで指定する。 Then, the measurement object is photographed and the measurement position is designated on the light source (laser irradiation image) on the captured image (step S07). For example, the measurement position is designated by a pointer device such as a mouse from the captured image displayed on the screen of the information calculation terminal.
そして、撮像画像上の測定位置と、ポイントレーザー光源のなす方向ベクトル又はラインレーザー光源のなす平面の方程式から測定位置のカメラ座標系における３次元座標を計算する（ステップＳ０８）。 Then, the three-dimensional coordinates in the camera coordinate system of the measurement position are calculated from the measurement position on the captured image and the equation of the direction vector formed by the point laser light source or the plane formed by the line laser light source (step S08).
本発明のレーザーを用いた単眼カメラによる３次元形状位置計測装置の精度検証実験について、以下説明する。精度検証実験は、予め４点を配置した校正プレートを用いて、カメラとラインレーザーとの位置関係を算出しておき、既知の長さのスケールバーの長さを測定した。スケールバーは、両端部にセラミックゲージを取り付けることにより、ラインレーザーとの交点が正確に識別できるようにした。
実験に用いたカメラは、下記仕様のものであり、レンズ歪みは予めキャリブレーションを行い、算出した内部標定要素を用いた（単位はｍｍ）。
An accuracy verification experiment of the three-dimensional shape position measuring apparatus using a monocular camera using the laser of the present invention will be described below. In the accuracy verification experiment, a positional relationship between the camera and the line laser was calculated using a calibration plate in which four points were previously arranged, and the length of a scale bar having a known length was measured. The scale bar was fitted with ceramic gauges at both ends so that the intersection with the line laser could be identified accurately.
The camera used in the experiment has the following specifications, and the lens distortion was calibrated in advance and the calculated internal orientation element was used (unit: mm).
・カメラ型番：ＮｉｋｏｎＤＸ２
・カメラ画素数：１２００万画素
・内部標定要素
ａ）焦点距離：29.0042
ｂ）ピクセル長：0.0055
ｃ）主点のずれ：ｘｐ＝0.1906，ｙｐ＝−0.1010
ｄ）歪み係数：放射方向 ｋ１＝ 8.1216E-05
ｋ２＝−8.3428E-08
ｋ３＝−9.8855E-11
接線方向 ｐ１＝ 8.2673E-06
ｐ２＝−4.725E-06
・ Camera model number: NikonDX2
-Number of camera pixels: 12 million pixels-Internal orientation element a) Focal length: 29.0042
b) Pixel length: 0.0055
c) Deviation of principal point: xp = 0.1906, yp = −0.1010
d) Distortion coefficient: Radiation direction k1 = 8.1216E-05
k2 = −8.3428E-08
k3 = −9.8855E-11
Tangent direction p1 = 8.2673E-06
p2 = −4.725E-06
まず、図１１に校正プレート上にラインレーザーを照射した撮像画像イメージを示す。図１１において、３は四角の枠の校正プレートであり、３１〜３４は基準点としての再帰反射型マーカーである。校正プレート３はプレートの内部を貫いて枠にしているが、これは重量を軽くして持ち運びの利便性を図るためである。また、図１１において、７２はラインレーザーの照射光である。
カメラから校正プレートまでの距離を変えて２枚の撮像画像を取得し、校正プレート上に照射されたラインンレーザーの照射光のレーザーライン７２の中心位置をカメラ座標系で算出した。
First, FIG. 11 shows a captured image image in which a line laser is irradiated on a calibration plate. In FIG. 11, 3 is a square frame calibration plate, and 31 to 34 are retroreflective markers as reference points. The calibration plate 3 has a frame that penetrates through the inside of the plate. This is to reduce the weight and facilitate carrying. In FIG. 11, reference numeral 72 denotes line laser irradiation light.
Two captured images were acquired by changing the distance from the camera to the calibration plate, and the center position of the laser line 72 of the irradiation light of the linen laser irradiated on the calibration plate was calculated in the camera coordinate system.
まず、２枚の撮像画像それぞれに写ったラインンレーザーの照射光のレーザーライン７２の端部（校正プレートの外枠との交点位置）のカメラ座標系により３次元座標を算出した。以下に、それぞれの撮像画像から、算出されたカメラ座標系におけるレーザーライン上２点の３次元座標の測定結果（測定１、測定２）を示す。ここで、Ｚ座標はカメラからレーザーまでのおおよその撮影距離で、負がカメラの前方方向であることを示している。 First, the three-dimensional coordinates were calculated by the camera coordinate system at the end of the laser line 72 (the intersection position with the outer frame of the calibration plate) of the irradiation light of the linen laser reflected in each of the two captured images. The measurement results (measurement 1, measurement 2) of the two points on the laser line in the camera coordinate system calculated from each captured image are shown below. Here, the Z coordinate is an approximate shooting distance from the camera to the laser, and negative indicates the forward direction of the camera.
＜測定１＞
算出されたカメラ座標系におけるレーザーライン上２点の３次元座標
・端部１の３次元座標：（Ｘ，Ｙ，Ｚ）＝（29.1790，22.7149，−1494.1577）
・端部２の３次元座標：（Ｘ，Ｙ，Ｚ）＝（250.2211，19.1359，−1489.8954）
＜測定２＞
算出されたカメラ座標系におけるレーザーライン上２点の３次元座標
・端部１の３次元座標：（Ｘ，Ｙ，Ｚ）＝（54.1132，−21.7696，−1994.7441）
・端部２の３次元座標：（Ｘ，Ｙ，Ｚ）＝（-113.1753，−19.0122，−1999.3124）
<Measurement 1>
Three-dimensional coordinates of two points on the laser line in the calculated camera coordinate system and three-dimensional coordinates of the end 1: (X, Y, Z) = (29.1790, 22.7149, -1494.1577)
-Three-dimensional coordinates of the end portion 2: (X, Y, Z) = (250.2211, 19.1359, −1489.8954)
<Measurement 2>
The three-dimensional coordinates of the two points on the laser line in the calculated camera coordinate system and the three-dimensional coordinates of the end 1: (X, Y, Z) = (54.1132, −21.7696, −1994.7441)
-Three-dimensional coordinates of the end portion 2: (X, Y, Z) = (− 113.1753, −19.0122, −1999.3124)
上記の測定１，測定２の結果から、以下のラインレーザーの平面の方程式が算出できた。 From the results of the above measurements 1 and 2, the following plane laser plane equations could be calculated.
（数１）
ａ・ｘ＋ｂ・ｙ＋ｃ・ｚ＋ｄ＝０ ・・・ （数式１）
(Equation 1)
a * x + b * y + c * z + d = 0 (Formula 1)
ここで、上記の数式１のパラメータａ＝0.018176，ｂ＝0.995992，ｃ＝−0.087577，ｄ＝−154.0480である。 Here, the parameters a = 0.018176, b = 0.995992, c = −0.087577, and d = −154.0480 in the above formula 1.
この装置を用いて、図１２に示す両端にセラミックゲージ（１５ａ，１５ｂ）を当てたスケールバー１５の寸法（ｃ：Ａ−Ｂ間）を測定した。ここで、両端Ａ，Ｂの座標は、レーザー平面とカメラ中心と撮像面での位置を結んだ直線との交点になり、それを算出すると、下記の結果が得られた。なお、境界との交点識別は、画像処理による自動抽出を行った。ここで、スケールバーの長さ（ｃ）は５０８（ｍｍ）であり、セラミックゲージの長さ（ａ，ｂ）はそれぞれ１０（ｍｍ）である。 Using this apparatus, the dimension (between c and AB) of the scale bar 15 with ceramic gauges (15a, 15b) applied to both ends shown in FIG. 12 was measured. Here, the coordinates of both ends A and B are the intersections of the laser plane, the camera center, and a straight line connecting the positions on the imaging surface, and calculation thereof yielded the following results. Note that the intersection with the boundary was automatically extracted by image processing. Here, the length (c) of the scale bar is 508 (mm), and the lengths (a, b) of the ceramic gauge are 10 (mm), respectively.
・算出されたカメラ座標系における左側端部Ａの３次元座標
端部Ａの３次元座標：（Ｘ，Ｙ，Ｚ）＝（−284.4690，26.5970，−1515.5602）
・算出されたカメラ座標系における右側端部Ｂの３次元座標
端部Ｂの３次元座標：（Ｘ，Ｙ，Ｚ）＝（242.8892，15.0008，−1537.9902）
Three-dimensional coordinates of the left end A in the calculated camera coordinate system Three-dimensional coordinates of the end A: (X, Y, Z) = (− 284.4690, 26.5970, −1515.5602)
The three-dimensional coordinates of the right end B in the calculated camera coordinate system The three-dimensional coordinates of the end B: (X, Y, Z) = (242.8892, 15.0008, −1537.9902)
算出した上記の端部Ａ，Ｂの３次元座標を用いて、スケールバーの長さ＋セラミックゲーシの長さの合計値を計算したところ、実測値は527.96（ｍｍ）となり、本来の長さ５２８ｍｍとの誤差は0.04（ｍｍ）であった。 Using the calculated three-dimensional coordinates of the end portions A and B, the total value of the length of the scale bar and the length of the ceramic goji was calculated. The actual measurement value was 527.96 (mm), which was the original length. The error from 528 mm was 0.04 (mm).
次に、ディジタルカメラを移動させて連続的に画像を撮影し、各画像におけるカメラ位置を基準とする４点のターゲットを用いて、すべての画像を共通のカメラ座標系にすることにより、被計測対象物上のレーザー照射位置を共通のカメラ座標系とすることで、同一のカメラ座標系における複数の３次元輪郭形状を取得した。
図１３は、被計測対象物の表面形状上に照射したラインレーザーの照射光のイメージである。図１３に示す画像には、被計測対象物９０の表面形状上に照射したラインレーザーの照射光のレーザーライン７２と、画像におけるカメラ位置を基準とする４点のターゲットマーカー（３１〜３４）が存在する。なお、マーカー３５は、方向を自動検出するためのダミーターゲットである。
Next, the digital camera is moved to continuously take images, and all the images are set to a common camera coordinate system using four targets based on the camera position in each image. A plurality of three-dimensional contour shapes in the same camera coordinate system were acquired by setting the laser irradiation position on the object as a common camera coordinate system.
FIG. 13 is an image of the irradiation light of the line laser irradiated on the surface shape of the measurement target object. The image shown in FIG. 13 includes a laser line 72 of the irradiation light of the line laser irradiated on the surface shape of the measurement target 90 and four target markers (31 to 34) based on the camera position in the image. Exists. The marker 35 is a dummy target for automatically detecting the direction.
ディジタルカメラを移動させて色々な方向から画像を撮影し、色々な方向から測定を行うことにより、輪郭形状を取得する。図１４（１）は輪郭形状を取得したイメージを表している。そして、輪郭形状を取得した後、全体の点群から不要な点群を除いて間引きを行う。図１４（２）は全体の点群から不要な点群を除いて間引きしたイメージを表している。そして、点群から立体メッシュを作成し、写真画像を貼り付ける。図１４（３）は点群から立体メッシュを作成し写真画像を貼り付けたイメージを表している。 The contour shape is acquired by moving the digital camera to take images from various directions and measuring from various directions. FIG. 14 (1) shows an image obtained from the contour shape. Then, after acquiring the contour shape, thinning is performed by removing unnecessary point groups from the entire point group. FIG. 14B shows an image obtained by thinning out an unnecessary point group from the entire point group. Then, a three-dimensional mesh is created from the point cloud, and a photographic image is pasted. FIG. 14 (3) shows an image in which a three-dimensional mesh is created from a point cloud and a photographic image is pasted.
本発明のレーザーを用いた単眼カメラによる３次元形状位置計測装置，３次元形状位置計測処理方法および３次元形状位置計測処理プログラムは、単眼カメラを用いて、生産ラインでの物体の３次元形状ならびに３次元位置の認識、物体の位置出し、物体の識別、物体の追跡を行うシステムなどに有用である。 A three-dimensional shape position measurement apparatus, a three-dimensional shape position measurement processing method, and a three-dimensional shape position measurement processing program using a monocular camera using a laser according to the present invention include a three-dimensional shape of an object on a production line and a three-dimensional shape position measurement processing program. This is useful for systems that recognize three-dimensional positions, locate objects, identify objects, and track objects.
１，１ａ，１ｂ ディジタルカメラ
２，２ａ，２ｂ ポイントレーザー照射ユニット
３，３ａ，３ｂ 校正プレート
４ 情報演算端末（ノートＰＣ）
５ データ転送ケーブル
６，８ 被照射対象物
７，７ａ，７ｂ ラインレーザー照射ユニット
９ カメラ画像上の基準点
１０，１０ａ，１０ｂ 単眼レンズ
１１ カメラ中心と照射ポイントを結ぶベクトル
１５ スケールバー
１５ａ，１５ｂ セラミックゲージ
２０，２０ａ，２０ｂ，７０，７０ａ，７０ｂ 照射光源位置
２１，２１ａ，２１ｂ ポイントレーザー光
２２，２２ａ，２２ｂ，２３ ポイントレーザーによる照射ポイント
３１〜３４，３１ａ〜３４ａ，３１ｂ〜３４ｂ 基準点
３５ 方向自動検出用のダミーターゲット
７１，７１ａ，７１ｂ ラインレーザー光
７２，７２ａ，７２ｂ，７３ ラインレーザーによるレーザーライン
９０ 被計測対象物
1, 1a, 1b Digital camera 2, 2a, 2b Point laser irradiation unit 3, 3a, 3b Calibration plate 4 Information calculation terminal (notebook PC)
5 Data transfer cable 6,8 Object to be irradiated 7, 7a, 7b Line laser irradiation unit 9 Reference point on camera image 10, 10a, 10b Monocular lens 11 Vector connecting camera center and irradiation point 15 Scale bar 15a, 15b Ceramic Gauge 20, 20a, 20b, 70, 70a, 70b Irradiation light source position 21, 21a, 21b Point laser light 22, 22a, 22b, 23 Point irradiation point 31-34, 31a-34a, 31b-34b Reference point 35 direction Dummy target for automatic detection 71, 71a, 71b Line laser light 72, 72a, 72b, 73 Laser line by line laser 90 Object to be measured
Claims (10)
前記照射光源からの照射光を４箇所に基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）を有する校正プレートに照射し、
前記校正プレートを移動させるか、前記撮像装置を移動させて、撮影した２箇所の画像から、各画像での前記照射光源の照射位置の３次元座標を算出し、照射光の方向ベクトル又は平面の方程式を算出することを特徴とする３次元形状位置計測装置。
A monocular imaging device having an irradiation means having an irradiation light source for irradiating a point laser or a line laser,
Irradiate the calibration plate having reference points at four locations with irradiation light from the irradiation light source (however, the reference points at any three of the four reference points do not exist on a straight line);
The calibration plate is moved or the imaging device is moved, and the three-dimensional coordinates of the irradiation position of the irradiation light source in each image are calculated from the two captured images, and the direction vector or plane of the irradiation light is calculated. A three-dimensional shape position measuring apparatus characterized by calculating an equation.
The three-dimensional coordinate or the three-dimensional shape of an object to be irradiated with a point laser or a line laser in an arbitrary captured image is calculated using the calculated direction vector or plane equation. Dimensional shape position measuring device.
前記校正プレートをビデオ撮像の各画像に有するようにし、各画像で得た前記照射光源の照射位置の３次元座標を前記校正プレートの基準点を用いて同一の座標系にすることにより、前記撮像装置を移動することで、ポイントレーザー若しくはラインレーザーの被照射物体の計測対象面の位置情報を算出することを特徴とする請求項１に記載の３次元形状位置計測装置。
The imaging device is capable of shooting video;
The image is obtained by having the calibration plate in each image of video imaging, and making the three-dimensional coordinates of the irradiation position of the irradiation light source obtained in each image into the same coordinate system using the reference point of the calibration plate. The three-dimensional shape position measurement apparatus according to claim 1, wherein the position information of the measurement target surface of the irradiation object of the point laser or the line laser is calculated by moving the apparatus.
少なくとも演算手段と記憶手段とデータ転送手段とを備えた情報演算端末と、
を備え、
前記記憶手段が、
算出された前記カメラ手段の内部標定要素と、校正プレート上の４箇所の基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）の実座標と、
を予め記憶し、
前記データ転送手段が、
前記カメラ手段を用いて撮影された校正プレート上の４箇所の基準点と、校正プレート上に照射したポイントレーザー又はラインレーザーとをカメラ視野内に含む少なくとも２枚の撮像画像を取り込み、
前記演算手段が、
取り込んだ撮像画像上の前記基準点のカメラビュー座標について、前記内部標定要素に基づき撮像画像上の歪みを補正し、
歪み補正された前記基準点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系におけるカメラ位置およびカメラ角度を算出し、
取り込んだ少なくとも２枚の撮像画像上のポイントレーザーの照射ポイントのカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびポイントレーザーの方向ベクトルを算出し、
或いは、取り込んだ少なくとも２枚の撮像画像上のラインレーザーの照射ライン上の２点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびラインレーザーの平面の方程式を算出し、
算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換および上記のポイントレーザーの方向ベクトル又はラインレーザーの平面の方程式を用いて、カメラ基準の座標系における任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出する、
ことを特徴とする３次元形状位置計測装置。
Monocular camera means to which an irradiation means having an irradiation light source for irradiating a point laser or a line laser is fixed;
An information computing terminal comprising at least computing means, storage means, and data transfer means;
With
The storage means
Actual coordinates of the calculated internal orientation element of the camera means and four reference points on the calibration plate (however, any of the four reference points do not exist on a straight line) When,
Is stored in advance,
The data transfer means is
Capturing at least two captured images including four reference points on the calibration plate photographed using the camera means and a point laser or line laser irradiated on the calibration plate in the camera field of view;
The computing means is
For the camera view coordinates of the reference point on the captured image, the distortion on the captured image is corrected based on the internal orientation element,
From the camera view coordinates of the reference point corrected for distortion and the real coordinates, the camera position and the camera angle in a coordinate system based on the calibration plate at the time of image capture are calculated,
The three-dimensional coordinates of the irradiation position of the irradiation light source in the coordinate system based on the calibration plate at the time of image shooting, from the camera view coordinates of the point laser irradiation point on the captured at least two captured images and the actual coordinates, and Calculate the point laser direction vector,
Alternatively, the irradiation of the irradiation light source in the coordinate system based on the calibration plate at the time of image capturing from the two camera view coordinates on the irradiation line of the line laser on the captured image taken at least two images and the actual coordinates Calculate the 3D coordinates of the position and the plane equation of the line laser,
Using the coordinate transformation so that the calculated camera position and camera angle at the time of image capture become the reference position and reference angle, and the above point laser direction vector or line laser plane equation, any arbitrary coordinate system in the camera reference coordinate system is used. Calculating the three-dimensional coordinates or three-dimensional shape of the object to be irradiated with the point laser or line laser in the captured image;
A three-dimensional shape position measuring apparatus.
前記カメラ手段と前記校正プレートの何れかを固定し、他方を移動させて、前記カメラ手段と前記校正プレートの間の距離が異なる撮像画像を取り込む、
ことを特徴とする請求項４に記載の３次元形状位置計測装置。
In the data transfer means, when capturing at least two captured images including a point laser or line laser irradiated on the calibration plate in the camera field of view,
Fixing either the camera means and the calibration plate, moving the other, and capturing captured images with different distances between the camera means and the calibration plate,
The three-dimensional shape position measuring apparatus according to claim 4.
前記ポイントレーザー若しくはラインレーザーが赤外線レーザーである、
ことを特徴とする請求項１又は４に記載の３次元形状位置計測装置。
The camera means is an infrared camera;
The point laser or line laser is an infrared laser;
The three-dimensional shape position measuring apparatus according to claim 1 or 4,
前記照射手段が、前記ディジタルカメラのフラッシュ装置の取付治具を介して脱着可能に固定された、
ことを特徴とする請求項１〜６のいずれかに記載の３次元形状位置計測装置。
The camera means is a digital camera of a flash device external type,
The irradiating means is detachably fixed via a mounting jig of the flash device of the digital camera.
The three-dimensional shape position measuring apparatus according to any one of claims 1 to 6.
１）前記カメラ手段の内部標定要素を読込むステップと、
２）校正プレート上の４箇所の基準点（但し、該４箇所の基準点のうち任意の３箇所の基準点が一直線上に存在しないもの）の実座標を読込むステップと、
３）前記カメラ手段を用いて撮影された校正プレート上の４箇所の基準点と、校正プレート上に照射したポイントレーザー又はラインレーザーとをカメラ視野内に含む少なくとも２枚の撮像画像を取り込むステップと、
４）取り込んだ画像上の前記基準点のカメラビュー座標について、前記内部標定要素に基づき撮像画像上の歪みを補正するステップと、
５）歪み補正された前記基準点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系におけるカメラ位置およびカメラ角度を算出するステップと、
６−１）取り込んだ少なくとも２枚の撮像画像上のポイントレーザーの照射ポイントのカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびポイントレーザーの方向ベクトルを算出するステップ、
或いは、
６−２）取り込んだ少なくとも２枚の撮像画像上のラインレーザーの照射ライン上の２点のカメラビュー座標と前記実座標とから、画像撮影時の校正プレートを基準とした座標系における前記照射光源の照射位置の３次元座標およびラインレーザーの平面の方程式を算出するステップと、
７）算出した画像撮影時のカメラ位置およびカメラ角度が基準位置および基準角度となるような座標変換および上記のポイントレーザーの方向ベクトル又はラインレーザーの平面の方程式を用いて、カメラ基準の座標系における任意の撮像画像中のポイントレーザー若しくはラインレーザーの被照射物体の３次元座標或いは３次元形状を算出するステップと、
を備えることを特徴とする３次元形状位置計測処理方法。
A method of measuring a subject to be photographed using a monocular camera means having an irradiation means having an irradiation light source for irradiating a point laser or a line laser,
1) reading an internal orientation element of the camera means;
2) reading the actual coordinates of four reference points on the calibration plate (provided that any three of the four reference points do not exist on a straight line);
3) capturing at least two captured images including four reference points on the calibration plate imaged using the camera means and a point laser or line laser irradiated on the calibration plate within the camera field of view; ,
4) correcting the distortion on the captured image based on the internal orientation element for the camera view coordinates of the reference point on the captured image;
5) calculating a camera position and a camera angle in a coordinate system based on a calibration plate at the time of image capture, from the camera view coordinates of the reference point corrected for distortion and the real coordinates;
6-1) The irradiation position of the irradiation light source in the coordinate system based on the calibration plate at the time of image capture is calculated from the camera view coordinates of the irradiation point of the point laser on the captured at least two captured images and the actual coordinates. Calculating a three-dimensional coordinate and a point laser direction vector;
Or
6-2) The irradiation light source in the coordinate system based on the calibration plate at the time of image shooting from the two camera view coordinates on the irradiation line of the line laser on the captured at least two captured images and the real coordinates Calculating the three-dimensional coordinates of the irradiation position and the plane equation of the line laser;
7) Using coordinate transformation so that the calculated camera position and camera angle at the time of image capture become the reference position and reference angle, and the above point laser direction vector or line laser plane equation, in the camera reference coordinate system Calculating a three-dimensional coordinate or a three-dimensional shape of an object to be irradiated with a point laser or a line laser in an arbitrary captured image;
A three-dimensional shape position measurement processing method comprising:
前記カメラ手段と前記校正プレートの何れかを固定し、他方を移動させ、前記カメラ手段と前記校正プレートの間の距離が異なる撮像画像を取り込むステップである、
ことを特徴とする請求項８に記載の３次元形状位置計測処理方法。
The step of capturing at least two captured images included in the camera field of view in 3) is as follows.
Fixing either of the camera means and the calibration plate, moving the other, and capturing captured images having different distances between the camera means and the calibration plate;
The three-dimensional shape position measurement processing method according to claim 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011271779A JP2013122434A (en) | 2011-12-12 | 2011-12-12 | Three-dimensional shape position measuring device by monocular camera using laser, method for measuring three-dimensional shape position, and three-dimensional shape position measuring program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011271779A JP2013122434A (en) | 2011-12-12 | 2011-12-12 | Three-dimensional shape position measuring device by monocular camera using laser, method for measuring three-dimensional shape position, and three-dimensional shape position measuring program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013122434A true JP2013122434A (en) | 2013-06-20 |
Family
ID=48774464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011271779A Pending JP2013122434A (en) | 2011-12-12 | 2011-12-12 | Three-dimensional shape position measuring device by monocular camera using laser, method for measuring three-dimensional shape position, and three-dimensional shape position measuring program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013122434A (en) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103759645A (en) * | 2014-01-26 | 2014-04-30 | 湖南航天机电设备与特种材料研究所 | Aerostat capsule volume measurement method |
| CN104374318A (en) * | 2014-11-13 | 2015-02-25 | 天津天汽模飞悦航空装备技术有限公司 | Method for measuring surface of large mold through laser scanner |
| CN104596413A (en) * | 2014-12-25 | 2015-05-06 | 于天舒 | Photogrammetry method of liquid crystal display and application thereof |
| CN104897061A (en) * | 2015-06-19 | 2015-09-09 | 太原理工大学 | Total station and three-dimensional laser scanning combined large-scale maritime work equipment measuring method |
| WO2017134880A1 (en) * | 2016-02-04 | 2017-08-10 | 富士フイルム株式会社 | Information processing device, information processing method, and program |
| CN107063160A (en) * | 2017-05-03 | 2017-08-18 | 大连理工大学 | Large-scale anchor ring form error on-position measure system |
| CN107067391A (en) * | 2017-03-17 | 2017-08-18 | 周圣砚 | A kind of apparatus and method for of Fast Calibration vehicle mounted imaging apparatus |
| CN107990825A (en) * | 2017-11-20 | 2018-05-04 | 哈尔滨工业大学 | High precision position measuring device and method based on priori data correction |
| CN108010125A (en) * | 2017-12-28 | 2018-05-08 | 中国科学院西安光学精密机械研究所 | True scale three-dimensional reconstruction system and method based on line structure light and image information |
| CN108351199A (en) * | 2015-11-06 | 2018-07-31 | 富士胶片株式会社 | Information processing unit, information processing method and program |
| CN109712139A (en) * | 2019-01-02 | 2019-05-03 | 苏州天准科技股份有限公司 | The dimension measurement method of monocular vision based on linear movement mould group |
| JP2019113336A (en) * | 2017-12-21 | 2019-07-11 | 株式会社安川電機 | Calibration method and calibration device |
| CN110370286A (en) * | 2019-08-13 | 2019-10-25 | 西北工业大学 | Dead axle motion rigid body spatial position recognition methods based on industrial robot and monocular camera |
| JP2020069549A (en) * | 2018-10-30 | 2020-05-07 | Thk株式会社 | Calibration method and gripping system |
| CN111174725A (en) * | 2019-12-31 | 2020-05-19 | 吉林大学 | Shaft-end grounded monocular reconstruction system and method for concentric quadratic epipolar geometry |
| CN111238368A (en) * | 2020-01-15 | 2020-06-05 | 中山大学 | Three-dimensional scanning method and device |
| CN111739104A (en) * | 2020-06-24 | 2020-10-02 | 深圳市道通科技股份有限公司 | Calibration method and device of laser calibration system and laser calibration system |
| CN112710235A (en) * | 2020-12-21 | 2021-04-27 | 北京百度网讯科技有限公司 | Calibration method and device of structured light measuring sensor |
| CN112857249A (en) * | 2019-11-28 | 2021-05-28 | 株洲中车时代电气股份有限公司 | Calibration method and device for contact net detection equipment |
| CN113008158A (en) * | 2021-03-25 | 2021-06-22 | 烟台大学 | Multi-line laser tyre pattern depth measuring method |
| CN113101159A (en) * | 2021-04-08 | 2021-07-13 | 杭州深睿博联科技有限公司 | Stereo vision training and evaluating method and device based on VR |
| CN113137934A (en) * | 2021-04-23 | 2021-07-20 | 中国工程物理研究院流体物理研究所 | Calibration system and calibration method of single-probe ray equation |
| CN113358025A (en) * | 2021-05-21 | 2021-09-07 | 北京工业大学 | Line laser sensor space pose calibration piece and calibration method |
| CN113677953A (en) * | 2019-04-22 | 2021-11-19 | 株式会社新川 | Line shape measuring device, line three-dimensional image generating method, and line shape measuring method |
| US11181359B2 (en) | 2016-02-04 | 2021-11-23 | Fujifilm Corporation | Information processing device, information processing method, and program |
| JP2021183990A (en) * | 2018-11-30 | 2021-12-02 | カシオ計算機株式会社 | Position information acquisition system, position information acquisition device, position information acquisition method, and program |
| CN114166463A (en) * | 2022-02-14 | 2022-03-11 | 中国空气动力研究与发展中心高速空气动力研究所 | Oil flow map and surface pressure fusion simulation visualization method |
| CN114322751A (en) * | 2020-09-30 | 2022-04-12 | 广东博智林机器人有限公司 | Target measuring method, target measuring device, computer equipment and storage medium |
| US20220122286A1 (en) * | 2018-11-30 | 2022-04-21 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
| CN114427835A (en) * | 2022-02-08 | 2022-05-03 | 太原理工大学 | A method and device for detecting the center of a support hole under low light in a mine |
| CN114964159A (en) * | 2022-05-24 | 2022-08-30 | 杭州鑫镗科技有限公司 | Inclination angle and distance measuring method based on annular laser |
| CN116100145A (en) * | 2023-04-10 | 2023-05-12 | 中科德迈(沈阳)激光技术有限公司 | Water-guided laser positioning method and device, storage medium and water-guided laser equipment |
-
2011
- 2011-12-12 JP JP2011271779A patent/JP2013122434A/en active Pending
Cited By (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103759645B (en) * | 2014-01-26 | 2016-08-17 | 湖南航天机电设备与特种材料研究所 | A kind of aerostat capsule volume measurement method |
| CN103759645A (en) * | 2014-01-26 | 2014-04-30 | 湖南航天机电设备与特种材料研究所 | Aerostat capsule volume measurement method |
| CN104374318A (en) * | 2014-11-13 | 2015-02-25 | 天津天汽模飞悦航空装备技术有限公司 | Method for measuring surface of large mold through laser scanner |
| CN104596413A (en) * | 2014-12-25 | 2015-05-06 | 于天舒 | Photogrammetry method of liquid crystal display and application thereof |
| CN104596413B (en) * | 2014-12-25 | 2017-08-11 | 于天舒 | The photogrammetric survey method of liquid crystal display and its application |
| CN104897061A (en) * | 2015-06-19 | 2015-09-09 | 太原理工大学 | Total station and three-dimensional laser scanning combined large-scale maritime work equipment measuring method |
| CN108351199A (en) * | 2015-11-06 | 2018-07-31 | 富士胶片株式会社 | Information processing unit, information processing method and program |
| US11727585B2 (en) | 2015-11-06 | 2023-08-15 | Fujifilm Corporation | Information processing device, information processing method, and program |
| US11074705B2 (en) | 2015-11-06 | 2021-07-27 | Fujifilm Corporation | Information processing device, information processing method, and program |
| US10546381B2 (en) | 2015-11-06 | 2020-01-28 | Fujifilm Corporation | Information processing device, information processing method, and program |
| CN108603745B (en) * | 2016-02-04 | 2020-04-28 | 富士胶片株式会社 | Information processing apparatus, information processing method, and program |
| US11181359B2 (en) | 2016-02-04 | 2021-11-23 | Fujifilm Corporation | Information processing device, information processing method, and program |
| JPWO2017134880A1 (en) * | 2016-02-04 | 2018-08-09 | 富士フイルム株式会社 | Information processing apparatus, information processing method, and program |
| CN108603745A (en) * | 2016-02-04 | 2018-09-28 | 富士胶片株式会社 | Information processing unit, information processing method and program |
| WO2017134880A1 (en) * | 2016-02-04 | 2017-08-10 | 富士フイルム株式会社 | Information processing device, information processing method, and program |
| US10401146B2 (en) | 2016-02-04 | 2019-09-03 | Fujifilm Corporation | Information processing device, information processing method, and program |
| CN107067391A (en) * | 2017-03-17 | 2017-08-18 | 周圣砚 | A kind of apparatus and method for of Fast Calibration vehicle mounted imaging apparatus |
| CN107063160A (en) * | 2017-05-03 | 2017-08-18 | 大连理工大学 | Large-scale anchor ring form error on-position measure system |
| CN107990825A (en) * | 2017-11-20 | 2018-05-04 | 哈尔滨工业大学 | High precision position measuring device and method based on priori data correction |
| CN107990825B (en) * | 2017-11-20 | 2020-03-10 | 哈尔滨工业大学 | High-precision position measuring device and method based on priori data correction |
| JP2019113336A (en) * | 2017-12-21 | 2019-07-11 | 株式会社安川電機 | Calibration method and calibration device |
| JP7008942B2 (en) | 2017-12-21 | 2022-01-25 | 株式会社安川電機 | Calibration method and calibration device |
| CN108010125A (en) * | 2017-12-28 | 2018-05-08 | 中国科学院西安光学精密机械研究所 | True scale three-dimensional reconstruction system and method based on line structure light and image information |
| JP7258516B2 (en) | 2018-10-30 | 2023-04-17 | Thk株式会社 | Calibration method and gripping system |
| JP2020069549A (en) * | 2018-10-30 | 2020-05-07 | Thk株式会社 | Calibration method and gripping system |
| JP2021183990A (en) * | 2018-11-30 | 2021-12-02 | カシオ計算機株式会社 | Position information acquisition system, position information acquisition device, position information acquisition method, and program |
| JP7396336B2 (en) | 2018-11-30 | 2023-12-12 | カシオ計算機株式会社 | Location information acquisition device, location information acquisition method, and program |
| US11816861B2 (en) * | 2018-11-30 | 2023-11-14 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
| US20220122286A1 (en) * | 2018-11-30 | 2022-04-21 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
| CN109712139B (en) * | 2019-01-02 | 2023-05-26 | 苏州天准科技股份有限公司 | Monocular vision size measurement method based on linear motion module |
| CN109712139A (en) * | 2019-01-02 | 2019-05-03 | 苏州天准科技股份有限公司 | The dimension measurement method of monocular vision based on linear movement mould group |
| CN113677953A (en) * | 2019-04-22 | 2021-11-19 | 株式会社新川 | Line shape measuring device, line three-dimensional image generating method, and line shape measuring method |
| CN110370286B (en) * | 2019-08-13 | 2022-04-12 | 西北工业大学 | Recognition method of fixed-axis motion rigid body space position based on industrial robot and monocular camera |
| CN110370286A (en) * | 2019-08-13 | 2019-10-25 | 西北工业大学 | Dead axle motion rigid body spatial position recognition methods based on industrial robot and monocular camera |
| CN112857249A (en) * | 2019-11-28 | 2021-05-28 | 株洲中车时代电气股份有限公司 | Calibration method and device for contact net detection equipment |
| CN111174725B (en) * | 2019-12-31 | 2024-06-04 | 吉林大学 | Coaxial-earth-connection monocular reconstruction system and method for polar line geometry of concentric secondary curve |
| CN111174725A (en) * | 2019-12-31 | 2020-05-19 | 吉林大学 | Shaft-end grounded monocular reconstruction system and method for concentric quadratic epipolar geometry |
| CN111238368A (en) * | 2020-01-15 | 2020-06-05 | 中山大学 | Three-dimensional scanning method and device |
| CN111739104B (en) * | 2020-06-24 | 2024-05-03 | 深圳市道通科技股份有限公司 | Calibration method and device of laser calibration system and laser calibration system |
| CN111739104A (en) * | 2020-06-24 | 2020-10-02 | 深圳市道通科技股份有限公司 | Calibration method and device of laser calibration system and laser calibration system |
| CN114322751A (en) * | 2020-09-30 | 2022-04-12 | 广东博智林机器人有限公司 | Target measuring method, target measuring device, computer equipment and storage medium |
| CN114322751B (en) * | 2020-09-30 | 2024-01-23 | 广东博智林机器人有限公司 | Target measuring method, device, computer equipment and storage medium |
| CN112710235A (en) * | 2020-12-21 | 2021-04-27 | 北京百度网讯科技有限公司 | Calibration method and device of structured light measuring sensor |
| CN113008158A (en) * | 2021-03-25 | 2021-06-22 | 烟台大学 | Multi-line laser tyre pattern depth measuring method |
| CN113101159A (en) * | 2021-04-08 | 2021-07-13 | 杭州深睿博联科技有限公司 | Stereo vision training and evaluating method and device based on VR |
| CN113101159B (en) * | 2021-04-08 | 2023-08-04 | 杭州深睿博联科技有限公司 | VR-based stereoscopic vision training and evaluating method and device |
| CN113137934A (en) * | 2021-04-23 | 2021-07-20 | 中国工程物理研究院流体物理研究所 | Calibration system and calibration method of single-probe ray equation |
| CN113137934B (en) * | 2021-04-23 | 2022-10-28 | 中国工程物理研究院流体物理研究所 | Calibration system and calibration method for single-probe ray equation |
| CN113358025A (en) * | 2021-05-21 | 2021-09-07 | 北京工业大学 | Line laser sensor space pose calibration piece and calibration method |
| CN114427835B (en) * | 2022-02-08 | 2023-07-07 | 太原理工大学 | A method and device for detecting the center of a support hole in a mine under low light |
| CN114427835A (en) * | 2022-02-08 | 2022-05-03 | 太原理工大学 | A method and device for detecting the center of a support hole under low light in a mine |
| CN114166463A (en) * | 2022-02-14 | 2022-03-11 | 中国空气动力研究与发展中心高速空气动力研究所 | Oil flow map and surface pressure fusion simulation visualization method |
| CN114964159A (en) * | 2022-05-24 | 2022-08-30 | 杭州鑫镗科技有限公司 | Inclination angle and distance measuring method based on annular laser |
| CN114964159B (en) * | 2022-05-24 | 2024-04-16 | 杭州翎贤科技有限公司 | Inclination angle and distance measuring method based on ring laser |
| CN116100145A (en) * | 2023-04-10 | 2023-05-12 | 中科德迈(沈阳)激光技术有限公司 | Water-guided laser positioning method and device, storage medium and water-guided laser equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2013122434A (en) | Three-dimensional shape position measuring device by monocular camera using laser, method for measuring three-dimensional shape position, and three-dimensional shape position measuring program | |
| JP5158386B2 (en) | Image measurement processing apparatus, image measurement processing method, and image measurement processing program using a single camera | |
| US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
| JP6537237B2 (en) | INFORMATION PROCESSING APPARATUS AND METHOD | |
| JP5097765B2 (en) | Measuring method, measuring program and measuring device | |
| CN102376089B (en) | Target correction method and system | |
| JP5070435B1 (en) | Three-dimensional relative coordinate measuring apparatus and method | |
| JP2004037270A (en) | Calibration data measurement device, measurement method and measurement program, computer-readable recording medium, and image data processing device | |
| CN104833372A (en) | External parameter calibration method of high-definition panoramic camera of mobile measuring system | |
| US20130201326A1 (en) | Single camera image processing apparatus, method, and program | |
| JP2010008352A (en) | Size measuring method and size measuring device | |
| EP3049756B1 (en) | Modeling arrangement and method and system for modeling the topography of a three-dimensional surface | |
| WO2023046211A1 (en) | Photogrammetry method, apparatus and device, and storage medium | |
| CN102589529B (en) | Scanning close-range photogrammetry method | |
| JP6645140B2 (en) | Image calibration apparatus and calibration method | |
| CN106500729A (en) | A kind of smart mobile phone self-inspection calibration method without the need for control information | |
| JP5007885B2 (en) | Three-dimensional survey system and electronic storage medium | |
| CN105043252A (en) | Image processing based size measuring method without reference object | |
| JP2017161245A (en) | Stereo calibration device, and stereo calibration method, for line sensor cameras | |
| CN112102401A (en) | Target positioning method, device, system, equipment and storage medium | |
| JP5648159B2 (en) | Three-dimensional relative coordinate measuring apparatus and method | |
| CN102155937B (en) | Method of Photogrammetry of Flexible Mesh Surface | |
| CN107527323B (en) | Calibration method and device for lens distortion | |
| CN105783881B (en) | The method and apparatus of aerial triangulation | |
| CN112446928B (en) | External parameter determining system and method for shooting device |