JP6062825B2 - Feature point extraction device, feature point extraction method, and feature point extraction program - Google Patents
Feature point extraction device, feature point extraction method, and feature point extraction program Download PDFInfo
- Publication number
- JP6062825B2 JP6062825B2 JP2013167111A JP2013167111A JP6062825B2 JP 6062825 B2 JP6062825 B2 JP 6062825B2 JP 2013167111 A JP2013167111 A JP 2013167111A JP 2013167111 A JP2013167111 A JP 2013167111A JP 6062825 B2 JP6062825 B2 JP 6062825B2
- Authority
- JP
- Japan
- Prior art keywords
- corner
- pixel
- feature point
- surrounding
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像間の対応付けに用いられる特徴点を抽出するための特徴点抽出装置、特徴点抽出方法、及び特徴点抽出プログラムに関するものである。 The present invention relates to a feature point extraction device, a feature point extraction method, and a feature point extraction program for extracting feature points used for association between images.
画像の検索、画像の認識、及び複数の画像を用いた三次元復元等においては、複数の画像間で特徴点を対応付ける必要がある。このため、各画像から特徴点が抽出される。特徴点抽出方法として、テクスチャのコーナーを抽出する方法が知られている。 In image retrieval, image recognition, and three-dimensional restoration using a plurality of images, it is necessary to associate feature points between the plurality of images. Therefore, feature points are extracted from each image. As a feature point extraction method, a method of extracting a texture corner is known.
コーナー抽出方法として、Ｈａｒｒｉｓ及びＦＡＳＴ（Features from Accelerated Segment Test）などの方法が知られている。ＦＡＳＴは、Ｈａｒｒｉｓなどの従来の手法よりもはるかに高速にコーナーを抽出することができため、近年注目されている（例えば、特許文献１）。 Methods such as Harris and FAST (Features from Accelerated Segment Test) are known as corner extraction methods. FAST has attracted attention in recent years because it can extract corners much faster than conventional methods such as Harris.
図６は、ＦＡＳＴによるコーナー抽出の原理を説明する図である。図６（ａ）は特徴点抽出の対象となる画像であり、図６（ｂ）はその一部を拡大した図である。ＦＡＳＴでは以下のようにして各画素のコーナー判定を行う。まず注目点ｐを略円環状に取り囲む１６画素ｑi（ｉ＝１〜１６）を、その輝度Ｉ（ｑ）と注目点の輝度Ｉ（ｐ）との関係に基づいて、以下のとおり３つの状態に分類する。 FIG. 6 is a diagram for explaining the principle of corner extraction by FAST. FIG. 6A is an image that is a target of feature point extraction, and FIG. 6B is an enlarged view of a part thereof. In FAST, the corner of each pixel is determined as follows. First, 16 pixels q i (i = 1 to 16) surrounding the attention point p in a substantially annular shape are divided into three as follows based on the relationship between the luminance I (q) and the luminance I (p) of the attention point. Classify into states.
具体的には、点ｑiの輝度Ｉ（ｑi）が、注目点ｐの輝度Ｉ（ｐ）よりも十分に明るい場合、即ちＩ（ｐ）＋Ｔ≦Ｉ（ｑi）である場合には、この点ｑiを「明」（ｂｒｉｇｈｔｅｒ）に分類する。ここで、Ｔは、十分に明るいと判断するための閾値である。一方、点ｑiの輝度Ｉ（ｑi）が、注目点ｐの輝度Ｉ（ｐ）よりも十分に暗い場合、即ち、Ｉ（ｐ）−Ｔ≧Ｉ（ｑi）である場合には、この点ｑiを「暗」（ｄａｒｋｅｒ）に分類する。そして、点ｑiの輝度Ｉ（ｑi）が、注目点ｐの輝度Ｉ（ｐ）と同程度である場合、即ち、Ｉ（ｐ）−Ｔ＜Ｉ（ｑi）＜Ｉ（ｐ）＋Ｔである場合には、この点ｑiを「同」（ｓｉｍｉｌａｒ）に分類する。 Specifically, when the luminance I (q i ) at the point q i is sufficiently brighter than the luminance I (p) at the point of interest p, that is, I (p) + T ≦ I (q i ). This point q i is classified as “bright”. Here, T is a threshold value for determining that the brightness is sufficiently bright. On the other hand, when the luminance I (q i ) at the point q i is sufficiently darker than the luminance I (p) at the point of interest p, that is, when I (p) −T ≧ I (q i ), This point q i is classified as “darker”. When the luminance I (q i ) at the point q i is approximately the same as the luminance I (p) at the point of interest p, that is, I (p) −T <I (q i ) <I (p) + T In this case, the point q i is classified as “similar”.
このようにして、注目点ｐの周囲の１６ピクセルを「明」「同」「暗」のいずれかに分類した上で、１６ピクセルのうちの連続するｎ個（例えば９個）が「明」であるか、又は１６ピクセルのうちの連続するｎ個が「暗」である場合に、その注目点ｐをコーナーであると判定する。 In this way, after classifying the 16 pixels around the attention point p into one of “bright”, “same”, and “dark”, consecutive n (for example, 9) of the 16 pixels are “bright”. Or if the consecutive n of the 16 pixels are “dark”, the point of interest p is determined to be a corner.
ＦＡＳＴでは、このようなコーナーの判定を全ての画素に行うことで、画像中からコーナーを抽出する。上記で説明したように、ＦＡＳＴでは、コーナー抽出のために微分計算を用いないので、非常に高速にコーナー抽出を行うことができる。 In FAST, the corner is extracted from the image by performing such a corner determination on all pixels. As described above, FAST does not use differential calculation for corner extraction, so corner extraction can be performed at a very high speed.
しかしながら、ＦＡＳＴは、Ｈａｒｒｉｓ等の他のコーナー抽出方法と比較して、コーナー抽出性能が劣ることが知られている。具体的には、ＦＡＳＴはコーナー抽出の再現性（repeatability）が劣る。ここで、再現性とは、異なる２視点間で同一箇所をコーナーとして抽出できているか否かを評価する尺度である。ＦＡＳＴでは、このコーナー抽出の再現性が低いことから、安定したコーナー抽出ができないことがある。例えば、画像中の、木々や植え込みなどの複雑なテクスチャが存在する部分では、特に再現性が低くなる。 However, FAST is known to have poor corner extraction performance compared to other corner extraction methods such as Harris. Specifically, FAST has poor corner extraction repeatability. Here, reproducibility is a scale for evaluating whether or not the same location can be extracted as a corner between two different viewpoints. In FAST, since the reproducibility of corner extraction is low, stable corner extraction may not be possible. For example, the reproducibility is particularly low in a portion where there are complex textures such as trees and planting in the image.
本発明は、上記の問題に鑑みてなされたものであり、特徴点抽出の再現性を向上することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to improve the reproducibility of feature point extraction.
本発明の特徴点抽出装置は、注目画素の周囲の第１の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第１のコーナー判定部と、前記注目画素の周囲の前記第１の周囲画素群とは異なる第２の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第２のコーナー判定部と、前記第１のコーナー判定部及び前記第２のコーナー判定部のいずれにおいてもコーナーであると判定された前記注目画素のみを特徴点として抽出する特徴点抽出部とを備えた構成を有している。 The feature point extracting apparatus of the present invention refers to a first peripheral pixel group around a target pixel, a first corner determination unit that determines a corner of the target pixel by FAST, and the surroundings around the target pixel. Referring to a second peripheral pixel group different from the first peripheral pixel group, a second corner determination unit that determines a corner of the target pixel by FAST, the first corner determination unit, and the second corner determination unit Each of the corner determination units includes a feature point extraction unit that extracts only the target pixel determined as a corner as a feature point.
この構成によれば、第１のコーナー判定部と第２のコーナー判定部のいずれにおいてもコーナーと判定された注目画素のみを特徴点として抽出するので、１つのコーナー判定部のみでコーナーと判定された注目画素を直ちに特徴点として抽出する場合と比較して、特徴点抽出をより正確に行うことができ、その結果、特徴点抽出の再現性を向上できる。なお、特徴点抽出装置は、注目画素について第１及び第２のコーナー判定部の両方でコーナーであると判定された場合に、直ちにその注目画素を特徴点として抽出するものであってよいが、これに限られない。 According to this configuration, since only the pixel of interest determined as a corner is extracted as a feature point in both the first corner determination unit and the second corner determination unit, the corner is determined by only one corner determination unit. Compared with the case where the target pixel is immediately extracted as a feature point, the feature point can be extracted more accurately, and as a result, the reproducibility of the feature point extraction can be improved. Note that the feature point extraction device may immediately extract the target pixel as a feature point when it is determined that the target pixel is a corner by both the first and second corner determination units. It is not limited to this.
ここで、ＦＡＳＴによるコーナー判定としては、様々な改良が提案されているが、例えば、注目画素の周囲の周囲画素群（例えば、注目画素を略円環状に取り囲む１６個の画素）を構成する画素ごとに、注目画素との輝度差をみて、周囲画素群において、その輝度差が所定の閾値以上である画素（明画素又は暗画素）が所定の数（例えば、９個）以上連続している場合に、当該注目画素をコーナーであると判定する手法を採用できる。 Here, various improvements have been proposed for corner determination by FAST. For example, pixels that form a peripheral pixel group around the target pixel (for example, 16 pixels surrounding the target pixel in a substantially annular shape). Each time, the difference in luminance from the target pixel is observed, and in the surrounding pixel group, a predetermined number (for example, 9) or more of pixels (bright pixels or dark pixels) whose luminance difference is equal to or greater than a predetermined threshold value are continuous. In this case, it is possible to adopt a method for determining that the target pixel is a corner.
上記の特徴点抽出装置において、前記第２のコーナー判定部は、前記第１のコーナー判定部にて前記注目画素がコーナーであると判定された場合にのみ、前記注目画素のコーナー判定をしてよい。 In the feature point extraction device, the second corner determination unit determines the corner of the target pixel only when the first corner determination unit determines that the target pixel is a corner. Good.
この構成によれば、第１のコーナー判定部と第２のコーナー判定部とがカスケードの関係となり、第１のコーナー判定部にてコーナーと判定されなかった注目画素は、第２のコーナー判定部による判定を待たずに非特徴点であると判断して処理を終了することができるので、特徴点抽出を高速化できる。 According to this configuration, the first corner determination unit and the second corner determination unit are in a cascade relationship, and the target pixel that is not determined to be a corner by the first corner determination unit is the second corner determination unit. Since it is possible to determine that the point is a non-feature point without waiting for the determination based on (2), the processing can be terminated.
上記の特徴点抽出装置は、さらに、前記注目画素の周囲の第３の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第３のコーナー判定部を備えていてよく、前記特徴点抽出部は、前記第１のコーナー判定部、前記第２のコーナー判定部、及び前記第３のコーナー判定部にて、いずれもコーナーであると判定された注目画素のみを特徴点として抽出してよい。 The feature point extraction apparatus may further include a third corner determination unit that determines a corner of the target pixel by FAST with reference to a third peripheral pixel group around the target pixel. The feature point extraction unit extracts only the target pixel determined as a corner by the first corner determination unit, the second corner determination unit, and the third corner determination unit as feature points. You can do it.
この構成によれば、３つのコーナー判定部の全てにおいてコーナーと判定された場合にのみ、その注目画素が特徴点として抽出されることになるので、特徴点抽出をさらに正確に行うことができ、その結果、特徴点抽出の再現性をさらに向上できる。この場合にも、特徴点抽出装置は、第１ないし第３のコーナー判定部のすべてにおいてコーナーであると判定された場合に、直ちにその注目画素を特徴点として抽出するものであってよいが、これに限られない。 According to this configuration, since the pixel of interest is extracted as a feature point only when it is determined as a corner in all three corner determination units, the feature point can be extracted more accurately, As a result, the reproducibility of feature point extraction can be further improved. Also in this case, the feature point extraction device may immediately extract the pixel of interest as a feature point when it is determined that it is a corner in all of the first to third corner determination units. It is not limited to this.
上記の特徴点抽出装置において、前記第１の周囲画素群は、前記注目画素を略円環状に囲む１２個の画素であってよく、前記第２の周囲画素群は、前記注目画素を略円環状に囲み、前記第１の周囲画素群よりも外側にあり、かつ、前記第１の周囲画素群と重複しない１６個の画素であってよい。この構成によれば、良好な再現性及び高速性が得られる。 In the feature point extraction device, the first surrounding pixel group may be 12 pixels surrounding the target pixel in a substantially annular shape, and the second surrounding pixel group includes the target pixel in a substantially circular shape. There may be 16 pixels that are enclosed in a ring shape, are outside the first surrounding pixel group, and do not overlap the first surrounding pixel group. According to this configuration, good reproducibility and high speed can be obtained.
上記の特徴点抽出装置において、前記第１の周囲画素群は、前記注目画素を略円環状に囲む１６個の画素であってよく、前記第２の周囲画素群は、前記注目画素を略円環状に囲み、前記第１の周囲画素群よりも外側にあり、かつ、前記第１の周囲画素群と重複しない２０個の画素であってよい。この構成によっても、良好な再現性及び高速性が得られる。 In the feature point extraction device, the first surrounding pixel group may be 16 pixels surrounding the target pixel in a substantially annular shape, and the second surrounding pixel group includes the target pixel in a substantially circular shape. It may be 20 pixels that are enclosed in a ring shape, are outside the first surrounding pixel group, and do not overlap with the first surrounding pixel group. Also with this configuration, good reproducibility and high speed can be obtained.
上記の特徴点抽出装置において、前記第１の周囲画素群は、前記注目画素を略円環状に囲む１２個の画素であってよく、前記第２の周囲画素群は、前記注目画素を略円環状に囲み、前記第１の周囲画素群よりも外側にあり、かつ、前記第１の周囲画素群と重複しない２０個の画素であってよい。この構成によっても、良好な再現性及び高速性が得られる。 In the feature point extraction device, the first surrounding pixel group may be 12 pixels surrounding the target pixel in a substantially annular shape, and the second surrounding pixel group includes the target pixel in a substantially circular shape. It may be 20 pixels that are enclosed in a ring shape, are outside the first surrounding pixel group, and do not overlap with the first surrounding pixel group. Also with this configuration, good reproducibility and high speed can be obtained.
上記の特徴点抽出装置において、前記第１の周囲画素群は、前記注目画素を略円環状に囲む１２個の画素であってよく、前記第２の周囲画素群は、前記注目画素を略円環状に囲み、前記第１の周囲画素群よりも外側にあり、かつ、前記第１の周囲画素群と重複しない１６個の画素であってよく、前記第３の周囲画素群は、前記注目画素を略円環状に囲み、前記第２の周囲画素群よりも外側にあり、かつ、前記第２の周囲画素群と重複しない２０個の画素であってよい。この構成によっても、良好な再現性及び高速性が得られる。 In the feature point extraction device, the first surrounding pixel group may be 12 pixels surrounding the target pixel in a substantially annular shape, and the second surrounding pixel group includes the target pixel in a substantially circular shape. The third surrounding pixel group may be 16 pixels that are annularly enclosed, are outside the first surrounding pixel group, and do not overlap the first surrounding pixel group. May be 20 pixels outside the second surrounding pixel group and not overlapping with the second surrounding pixel group. Also with this configuration, good reproducibility and high speed can be obtained.
上記の特徴点抽出装置において、前記第１の周囲画素群及び前記第２の周囲画素群の、所定数以上連続する明画素又は暗画素の方向を算出する方向算出部をさらに含んでいてよく、前記特徴点抽出部は、前記方向に基づいて前記注目画素を特徴点として抽出してよい。 In the above feature point extraction device, the feature point extraction device may further include a direction calculation unit that calculates a direction of a predetermined number or more of bright pixels or dark pixels in the first surrounding pixel group and the second surrounding pixel group, The feature point extraction unit may extract the target pixel as a feature point based on the direction.
この構成によれば、第１の周囲画素群所定数以上連続する明画素又は暗画素の方向と、第２の周囲画素群所定数以上連続する明画素又は暗画素の方向とが全く異なる場合等に注目画素をを特徴点として抽出しないなど、特徴点抽出の再現性を向上できる。 According to this configuration, the direction of the bright pixels or dark pixels that continue for the predetermined number of first surrounding pixel groups is completely different from the direction of the bright pixels or dark pixels that continue for the predetermined number of second surrounding pixel groups, etc. The reproducibility of feature point extraction can be improved by not extracting a target pixel as a feature point.
上記の特徴点抽出装置において、前記特徴点抽出部は、前記第１の周囲画素群の前記所定数以上連続する明画素又は暗画素の方向と、前記第２の周囲画素群の前記所定数以上連続する明画素又は暗画素の方向との差が所定の閾値以下である場合にのみ、前記注目画素を特徴点として抽出してよい。 In the feature point extraction apparatus, the feature point extraction unit includes a direction of bright pixels or dark pixels that are continuous for the predetermined number or more in the first surrounding pixel group, and the predetermined number or more for the second surrounding pixel group. The pixel of interest may be extracted as a feature point only when the difference from the direction of successive bright pixels or dark pixels is equal to or less than a predetermined threshold.
この構成によれば、第１及び第２のコーナー判定部にてコーナーと判定されたが実際にはコーナーではない注目画素を排除できるので、特徴点抽出の再現性を向上できる。なお、連続する明画素又は暗画素の方向は、それらの始点及び終点の位置から一意に決定される方向であってよく、例えば、注目画素を中心として、始点と終点との間の角度を二等分する方向をこの方向としてよい。 According to this configuration, since the pixel of interest that is determined to be a corner by the first and second corner determination units but is not actually a corner can be excluded, the reproducibility of feature point extraction can be improved. Note that the direction of successive bright pixels or dark pixels may be a direction uniquely determined from the positions of the start point and the end point thereof. For example, the angle between the start point and the end point with respect to the target pixel is set to two. The direction of equally dividing may be this direction.
本発明の特徴点抽出方法は、注目画素の周囲の第１の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第１のコーナー判定ステップと、前記注目画素の周囲の前記第１の周囲画素群とは異なる第２の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第２のコーナー判定ステップと、前記第１のコーナー判定ステップ及び前記第２のコーナー判定ステップのいずれにおいてもコーナーであると判定された前記注目画素のみを特徴点として抽出する特徴点抽出ステップと含んでいる。 The feature point extraction method according to the present invention includes a first corner determination step of determining a corner of the target pixel by FAST with reference to a first peripheral pixel group around the target pixel, and the surrounding of the target pixel. Referring to a second surrounding pixel group different from the first surrounding pixel group, a second corner determining step for determining a corner of the target pixel by FAST, the first corner determining step, and the second corner determining step In any of the corner determination steps, a feature point extraction step of extracting only the target pixel determined to be a corner as a feature point is included.
この構成によっても、第１のコーナー判定ステップと第２のコーナー判定ステップのいずれにおいてもコーナーと判定された注目画素のみを特徴点として抽出するので、１つのコーナー判定ステップのみでコーナーと判定された注目画素を直ちに特徴点として抽出する場合と比較して、特徴点抽出をより正確に行うことができ、その結果、特徴点抽出の再現性を向上できる。 Also with this configuration, only the target pixel determined as a corner is extracted as a feature point in both the first corner determination step and the second corner determination step, so that it is determined as a corner only in one corner determination step. Compared with the case where the pixel of interest is immediately extracted as a feature point, the feature point can be extracted more accurately, and as a result, the reproducibility of the feature point extraction can be improved.
本発明の特徴点抽出プログラムは、コンピュータを、注目画素の周囲の第１の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第１のコーナー判定部、前記注目画素の周囲の前記第１の周囲画素群とは異なる第２の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第２のコーナー判定部、及び前記第１のコーナー判定部及び前記第２のコーナー判定部のいずれにおいてもコーナーであると判定された前記注目画素のみを特徴点として抽出する特徴点抽出部として機能させる。 The feature point extraction program according to the present invention refers to a first corner determination unit that determines a corner of the target pixel by FAST with reference to a first peripheral pixel group around the target pixel. A second peripheral pixel group different from the first peripheral pixel group of the first peripheral pixel group, a second corner determination unit that determines a corner of the pixel of interest by FAST, the first corner determination unit, and the first In any of the two corner determination units, the feature point extraction unit extracts only the pixel of interest determined to be a corner as a feature point.
この構成によっても、第１のコーナー判定部と第２のコーナー判定部のいずれにおいてもコーナーと判定された注目画素のみを特徴点として抽出するので、１つのコーナー判定部のみでコーナーと判定された注目画素を直ちに特徴点として抽出する場合と比較して、特徴点抽出をより正確に行うことができ、その結果、特徴点抽出の再現性を向上できる。 Also with this configuration, since only the pixel of interest determined as a corner is extracted as a feature point in both the first corner determination unit and the second corner determination unit, the corner is determined by only one corner determination unit. Compared with the case where the pixel of interest is immediately extracted as a feature point, the feature point can be extracted more accurately, and as a result, the reproducibility of the feature point extraction can be improved.
本発明によれば、第１のコーナー判定部及び第２のコーナー判定部のいずれかのみでコーナーと判定された注目画素を直ちに特徴点として抽出する場合と比較して、特徴点抽出をより正確に行うことができるので、特徴点抽出の再現性を向上できる。 According to the present invention, the feature point extraction is more accurate than the case where the pixel of interest determined as the corner by only one of the first corner determination unit and the second corner determination unit is immediately extracted as the feature point. Therefore, the reproducibility of feature point extraction can be improved.
以下、本発明の実施の形態の特徴点抽出装置について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。 Hereinafter, a feature point extracting apparatus according to an embodiment of the present invention will be described with reference to the drawings. The embodiment described below shows an example when the present invention is implemented, and the present invention is not limited to the specific configuration described below. In carrying out the present invention, a specific configuration according to the embodiment may be adopted as appropriate.
図１は、本発明の実施の形態の特徴点抽出装置の構成を示す図である。特徴点抽出装置１０は、第１のコーナー判定部１１、第２のコーナー判定部１２、第３のコーナー判定部１３、オリエンテーション算出部１４、及び特徴点抽出部１５を備えている。これらの構成要素は、コンピュータが本実施の形態のプログラムを実行することにより実現される。 FIG. 1 is a diagram showing a configuration of a feature point extraction apparatus according to an embodiment of the present invention. The feature point extraction apparatus 10 includes a first corner determination unit 11, a second corner determination unit 12, a third corner determination unit 13, an orientation calculation unit 14, and a feature point extraction unit 15. These components are realized by a computer executing the program of the present embodiment.
特徴点抽出装置１０には、入力画像が入力される。特徴点抽出装置１０は、入力画像を構成する複数の画素から、特徴点となる画素を抽出して出力する。このために、特徴点抽出装置１０は、入力画像の全ての画素について、１画素ごとにそれが特徴点であるか否かを判定する。特徴点であると判定された点の集合が、その入力画像の特徴点として出力される。 An input image is input to the feature point extraction device 10. The feature point extraction device 10 extracts and outputs a pixel that is a feature point from a plurality of pixels that constitute the input image. For this purpose, the feature point extraction apparatus 10 determines whether or not each pixel of the input image is a feature point for each pixel. A set of points determined to be feature points is output as feature points of the input image.
第１のコーナー判定部１１、第２のコーナー判定部１２、及び第３のコーナー判定部１３は、それぞれ異なる周囲画素群を参照してＦＡＳＴによって注目画素がコーナーであるか否かを判定する。 The first corner determination unit 11, the second corner determination unit 12, and the third corner determination unit 13 determine whether or not the target pixel is a corner by FAST with reference to different surrounding pixel groups.
図２は、本発明の実施の形態における周囲画素群を説明する図である。第１のコーナー判定部１１は、注目画素ｐの周囲を取り囲む１２個の画素からなる第１の周囲画素群を用いて、ＦＡＳＴによって注目画素ｐのコーナー判定を行う。第２のコーナー判定部１２は、注目画素ｐの周囲を取り囲む１６個の画素からなる第２の周囲画素群を用いて、ＦＡＳＴによって注目画素ｐのコーナー判定を行う。第３のコーナー判定部１３は、注目画素ｐの周囲を取り囲む２０個の画素からなる第３の周囲画素群を用いて、ＦＡＳＴによって注目画素ｐのコーナー判定を行う。 FIG. 2 is a diagram for explaining surrounding pixel groups in the embodiment of the present invention. The first corner determination unit 11 performs the corner determination of the target pixel p by FAST using the first peripheral pixel group composed of twelve pixels surrounding the target pixel p. The second corner determination unit 12 determines the corner of the target pixel p by FAST using the second peripheral pixel group including 16 pixels surrounding the target pixel p. The third corner determination unit 13 determines the corner of the target pixel p by FAST using the third peripheral pixel group including 20 pixels surrounding the target pixel p.
第１〜第３の周囲画素群は、いずれも斜めを含み隣り合う画素が連続して、注目画素ｐを中心とした略円環状を有する。また、第１〜第３の周囲画素群は、注目画素ｐに対して上下左右方向に対称の形状を有する。さらに、第１〜第３の周囲画素群は、互いに重複しない画素群である。図２に示すように、各周囲画素群を構成する各画素には、画素位置を示す番号が定義されている。 Each of the first to third surrounding pixel groups has a substantially annular shape centered on the pixel of interest p, in which adjacent pixels including the diagonal are continuous. The first to third surrounding pixel groups have symmetrical shapes in the vertical and horizontal directions with respect to the target pixel p. Furthermore, the first to third surrounding pixel groups are pixel groups that do not overlap each other. As shown in FIG. 2, a number indicating a pixel position is defined for each pixel constituting each surrounding pixel group.
第１〜第３のコーナー判定部１１〜１３は、それぞれＦＡＳＴによって注目画素ｐのコーナー判定をする。第１のコーナー判定部１１は、１２個の画素からなる第１の周囲画素群において、６個以上の明画素又は暗画素が連続している場合に、注目画素がコーナーであると判定する。第２のコーナー判定部１２は、１６個の画素からなる第２の周囲画素群において、９個以上の明画素又は暗画素が連続している場合に、注目画素がコーナーであると判定する。第３のコーナー判定部１３は、２０個の画素からなる第３の周囲画素群において、１１個以上の明画素又は暗画素が連続している場合に、注目画素がコーナーであると判定する。 The first to third corner determination units 11 to 13 respectively determine the corner of the target pixel p by FAST. The first corner determination unit 11 determines that the pixel of interest is a corner when six or more bright pixels or dark pixels are continuous in the first surrounding pixel group including twelve pixels. The second corner determination unit 12 determines that the pixel of interest is a corner when nine or more bright pixels or dark pixels are continuous in the second surrounding pixel group including 16 pixels. The third corner determination unit 13 determines that the target pixel is a corner when 11 or more bright pixels or dark pixels are continuous in the third surrounding pixel group including 20 pixels.
具体的には、第１〜第３のコーナー判定部１１〜１３は、それぞれ第１〜第３の周囲画素群を構成する画素ごとに、注目画素との輝度差をみて、周囲画素群において、その輝度差が所定の閾値以上である画素が所定の数以上連続している場合に、当該注目画素をコーナーであると判定する。なお、注目画素と比較して所定の閾値以上に明るい画素を「明画素」といい、注目画素と比較して所定の閾値以上に暗い画像を「暗画素」といい、注目画素との輝度差が所定の閾値以下である画素を「同輝度画素」という。 Specifically, the first to third corner determination units 11 to 13 look at the luminance difference from the target pixel for each pixel constituting the first to third surrounding pixel groups, and in the surrounding pixel group, When a predetermined number or more of pixels having a luminance difference equal to or greater than a predetermined threshold are consecutive, it is determined that the pixel of interest is a corner. Note that a pixel that is brighter than a predetermined threshold compared to the target pixel is referred to as a “bright pixel”, and an image that is darker than the predetermined pixel is equal to a “dark pixel”. Pixels with a value equal to or less than a predetermined threshold are called “same luminance pixels”.
第１〜第３のコーナー判定部１１〜１３は、カスケードの関係になっている。即ち、第１のコーナー判定部１１にて注目画素がコーナーであると判定された場合にのみ、その注目画素について第２のコーナー判定部１２にてコーナー判定を行い、さらに第２のコーナー判定部１１にてその注目画素がコーナーであると判定された場合にのみ、その注目画素について第３のコーナー判定部１３にてコーナー判定を行う。そして、第３のコーナー判定部１３でもコーナーであると判定された場合にのみ、後述する方向（オリエンテーション）の算出を行う。 The first to third corner determination units 11 to 13 have a cascade relationship. That is, only when the target pixel is determined to be a corner by the first corner determination unit 11, the second corner determination unit 12 performs the corner determination for the target pixel, and further the second corner determination unit. Only when it is determined at 11 that the target pixel is a corner, the third corner determination unit 13 performs the corner determination for the target pixel. The direction (orientation) to be described later is calculated only when the third corner determination unit 13 determines that the corner is a corner.
第１〜第３のコーナー判定部１１〜１３のそれぞれにおいて、コーナーであると判定されなかった場合（非コーナーであると判定された場合）は、その注目画素についての処理を終了して次の注目画素の処理を行う。このように、非コーナーである注目画像については早期に処理を終了できる可能性があるので、特徴点抽出の精度に影響を与えることなく、注目画素の抽出に要する時間を短縮できる。 In each of the first to third corner determination units 11 to 13, when it is not determined to be a corner (when it is determined to be a non-corner), the processing for the target pixel is ended and the next Process the pixel of interest. In this way, since there is a possibility that the processing for an attention image that is a non-corner can be completed at an early stage, the time required for extracting the attention pixel can be shortened without affecting the accuracy of feature point extraction.
カスケード処理においては、本実施の形態のように、画素の数が小さい周囲画素群から順にコーナー判定を行うことが望ましい。周囲画素群の画素数が小さければ、処理時間が短く、かつ必要なメモリ容量も小さくてよく、従って、途中で非コーナーであると判定された場合には、処理時間が比較的長く、かつ必要なメモリ容量も比較的大きい後段の処理を省けるからである。 In the cascade processing, it is desirable to perform the corner determination in order from the surrounding pixel group having the smallest number of pixels as in the present embodiment. If the number of pixels in the surrounding pixel group is small, the processing time is short and the required memory capacity may be small. Therefore, if it is determined that the corner is not in the middle, the processing time is relatively long and necessary. This is because it is possible to omit the subsequent processing with a relatively large memory capacity.
オリエンテーション算出部１４は、第３のコーナー判定部１３でもコーナーであると判定された注目画素について、第１〜第３のコーナー判定部１１〜１３にて、それぞれコーナーであると判定される根拠となった連続する明画素又は暗画素の方向（オリエンテーション）を算出する。オリエンテーション算出部１４は、本発明の方向算出部に相当する。 The orientation calculation unit 14 has a basis for determining that each of the target pixels determined to be a corner by the third corner determination unit 13 is a corner by the first to third corner determination units 11 to 13. The direction (orientation) of the continuous bright pixels or dark pixels is calculated. The orientation calculation unit 14 corresponds to the direction calculation unit of the present invention.
図３は、本実施の形態におけるオリエンテーションの算出例を示す図である。図３において、「Ｄ」は暗画像を示し、Ｓは同輝度画素を示す。図３の例では、第２の周囲画素群において暗画素が１２個連続しているので、第２のコーナー判定部１３によってコーナーであると判定される。このときオリエンテーション算出部１３は、注目画素ｐを中心として、連続する暗画素の始点ｓと終点ｅが張る角度θs→eを二等分する方向を、この周囲画素群の連続する明画素又は暗画素の方向θとして算出する。 FIG. 3 is a diagram illustrating an example of orientation calculation in the present embodiment. In FIG. 3, “D” indicates a dark image, and S indicates the same luminance pixel. In the example of FIG. 3, since 12 dark pixels are continuous in the second surrounding pixel group, the second corner determination unit 13 determines that the corner is a corner. At this time, the orientation calculation unit 13 divides the angle θ s → e between the start point s and the end point e of the continuous dark pixel with the target pixel p as the center into two equal bright pixels of the surrounding pixel group or Calculated as the dark pixel direction θ.
一般的には、注目画素をｐ（ｕp，ｖp）とし、始点をｓ（ｕs，ｖs）とし、終点をｅ（ｕe，ｖe）とすると、角度θs→eは、以下の（１）式によって求めることができる。
オリエンテーション算出部１３は、始点と終点との間の角度θs→eを用いてその周囲画素群の連続する明画素又は暗画素の方向θを（４）式によって算出する。
なお、オリエンテーション算出部１４は、注目画素ごとに、始点と終点に基づいて（４）式によって計算をすることにより方向θを求めてもよいが、方向θは始点及び終点が与えられると一意に決定され、かつ始点と終点の組み合わせの数は、第１の周囲画素群については、１２×１１（＝１３２）通りであり、第２の周囲画素群については、１６×１５（＝２４０）通りであり、第３の周囲画素群について、２０×１９（＝３８０）通りであるので、これらを予め計算してテーブルとして記憶しておき、始点と終点が得られたらこのテーブルを参照することにより角度θを求めてもよい。 Note that the orientation calculation unit 14 may obtain the direction θ by calculating with the formula (4) based on the start point and the end point for each target pixel, but the direction θ is uniquely given the start point and the end point. The number of combinations of the start point and the end point determined is 12 × 11 (= 132) for the first surrounding pixel group, and 16 × 15 (= 240) for the second surrounding pixel group. Since there are 20 × 19 (= 380) patterns for the third surrounding pixel group, these are calculated in advance and stored as a table, and when the start point and end point are obtained, this table is referred to. The angle θ may be obtained.
上述のとおり、オリエンテーション算出部１４は、各周囲画像群について上記の方向θを算出するが、各周囲画像群の方向θは、必ずしも一致するとは限らない。例えば、第１の周囲画像群にて所定数以上連続する明画素又は暗画素の方向と、第２の周囲画像群にて所定数以上連続する明画素又は暗画素とが、全く異なる方向で得られることがある。 As described above, the orientation calculation unit 14 calculates the direction θ for each surrounding image group, but the directions θ of the surrounding image groups do not necessarily match. For example, the direction of a predetermined number or more of bright pixels or dark pixels in the first surrounding image group is obtained in a completely different direction from the direction of a predetermined number or more of bright pixels or dark pixels in the second surrounding image group. May be.
そこで、特徴点抽出部１５は、第１〜第３のコーナー判定部１１〜１３の全てにおいてコーナーであると判定された注目画素について、オリエンテーション算出部１４にて算出された第１〜第３の周囲画像群の方向の類似度を求め、その類似度に基づいて、最終的にその注目画素を特徴点として抽出するか否かを判断する。具体的には、特徴点抽出部１５は、第１の周囲画像群の方向θ1と、第２の周囲画像群の方向θ2との差が所定の閾値以下であり、かつ、第２の周囲画像群の方向θ２と、第３の周囲画像群の方向θ3との差が所定の閾値以下である場合に、その注目画素を特徴点であると判断して抽出する。 Therefore, the feature point extraction unit 15 uses the first to third calculated by the orientation calculation unit 14 for the target pixel determined to be a corner in all of the first to third corner determination units 11 to 13. The degree of similarity in the direction of the surrounding image group is obtained, and based on the degree of similarity, it is finally determined whether or not the target pixel is extracted as a feature point. Specifically, the feature point extraction unit 15, a direction theta 1 of the first peripheral images, the difference between the direction theta 2 of the second surrounding image group is equal to or less than a predetermined threshold value, and, in the second a direction θ2 of the surrounding image group, the difference between the direction theta 3 of the third peripheral image group if less than a predetermined threshold value, is extracted to determine the target pixel as the feature point.
図４は、本発明の実施の形態における各周囲画像群の連続する明画素又は暗画素の方向の類似度の評価の例を示す図である。図４の例では、第１の周囲画素群（内側の１２画素）の方向θ1と、第２の周囲画素群（外側の１６画素）の方向θ2との間の角度はαである。特徴点抽出部１５は、この角度αが所定の閾値（許容誤差）以下であるか否かを判断する。特徴点抽出部１５は、図４では図示されない第３の周囲画素群（さらに外側の２０画素）の方向θ3と、第２の周囲画素群の方向θ2との間の角度βについても、それが所定の閾値以下であるか否かを判断する。 FIG. 4 is a diagram showing an example of evaluation of the similarity in the direction of continuous bright pixels or dark pixels in each surrounding image group in the embodiment of the present invention. In the example of FIG. 4, the direction theta 1 of the first peripheral pixel group (inside of 12 pixels), the angle between the direction theta 2 of the second peripheral pixel group (outside the 16 pixels) is alpha. The feature point extraction unit 15 determines whether or not the angle α is equal to or smaller than a predetermined threshold (allowable error). Feature point extraction unit 15, a direction theta 3 of the third peripheral pixel group not shown in FIG. 4 (the outer side of the 20 pixels), for the angle β between the direction theta 2 of the second surrounding pixel group, It is determined whether or not it is below a predetermined threshold.
特徴点抽出部１５は、角度α及び角度βがいずれも所定の閾値以下である場合に、その注目画素を特徴点として抽出する。特徴点抽出部１５は、角度α及び角度βのいずれかが所定の閾値（許容誤差）を超える場合には、第１〜第３のコーナー判定部１１〜１３によるコーナー判定にかかわらず、その注目画素を非特徴点であると判断して、特徴点としては抽出しない。特徴点抽出部１５は、特徴点の情報として、特徴点であると判断された画素の座標（画素位置）を出力する。 The feature point extraction unit 15 extracts the target pixel as a feature point when both the angle α and the angle β are equal to or less than a predetermined threshold. The feature point extraction unit 15 receives attention regardless of the corner determination by the first to third corner determination units 11 to 13 when either the angle α or the angle β exceeds a predetermined threshold (allowable error). The pixel is determined to be a non-feature point and is not extracted as a feature point. The feature point extraction unit 15 outputs the coordinates (pixel position) of the pixel determined to be a feature point as the feature point information.
このように、本実施の形態の特徴点抽出装置１０は、各周囲画素群において、連続する明画素又は暗画素がほぼ同じ方向に現れているかを検証して、それらの方向が大きく異なる場合にはコーナーはないと判断して特徴点として抽出しないので、複雑なテクスチャにおいて、本来コーナーでない注目画素について、第１の周囲画素群である方向で偶然に所定数以上の明画素又は暗画素が連続していることでその注目画素がコーナーであると判定され、それだけでなく、この本来コーナーではない注目画素について、第２のコーナー判定部１２及び第３のコーナー判定部１３でも、偶然に所定数以上の明画素又は暗画素が連続していることでコーナーであると判定した場合にも、特徴点抽出部１５の方向の類似性の判定で非類似と判断されれば、そのような注目画素は特徴点として抽出しない（特徴点の候補から排除する）ので、特徴点抽出の再現性を向上できる。 As described above, the feature point extraction apparatus 10 according to the present embodiment verifies whether successive bright pixels or dark pixels appear in substantially the same direction in each surrounding pixel group, and when the directions are greatly different. Is not extracted as a feature point because it is judged that there is no corner, and therefore, in a complex texture, for a pixel of interest that is not originally a corner, a predetermined number or more of bright pixels or dark pixels are accidentally continued in the direction of the first surrounding pixel group Thus, it is determined that the target pixel is a corner. In addition, the second corner determination unit 12 and the third corner determination unit 13 coincide with a predetermined number of target pixels that are not originally corners. Even when it is determined that the above-mentioned bright pixel or dark pixel is a corner because it is continuous, if the similarity of the direction of the feature point extraction unit 15 is determined to be dissimilar It does not extract such target pixel as the feature point (to exclude from the feature point candidates) can improve the reproducibility of the feature point extraction.
なお、特徴点抽出部１５は、注目画素ごとに、複数の周囲画像群におけるそれぞれの方向θを比較することでそれらが類似するか否かを判断してもよいが、この類似度は、比較する複数の周囲画像群の始点と終点の組が与えられると一意に決定され、かつ始点と終点の組み合わせの数は、第１の周囲画素群については、１２×１１（＝１３２）通りであり、第２の周囲画素群については、１６×１５（＝２４０）通りであり、第３の周囲画素群について、２０×１９（＝３８０）通りであるので、第１の周囲画素群の方向θ1と第２の周囲画素群の方向θ2とを比較する場合には、１３２×２４０（＝３１，６８０）通りの組み合わせについて、類似か否かを規定したテーブルを記憶しておき、第２の周囲画像群の方向θ2と第３の周囲画像群の方向θ3とを比較する場合には、２４０×３８０（＝９１，２００）通りの組み合わせについて、類似か否かを規定したテーブルを記憶しておき、各周囲画素群の連続する明画素又は暗画素の始点と終点が得られたらこれらのテーブルを参照することにより方向θ1〜θ3の類似性を判断してよい。 Note that the feature point extraction unit 15 may determine whether or not they are similar by comparing each direction θ in a plurality of surrounding image groups for each target pixel. Given a set of start points and end points of a plurality of surrounding image groups, the number of combinations of start points and end points is 12 × 11 (= 132) for the first surrounding pixel group. Since the second surrounding pixel group is 16 × 15 (= 240) and the third surrounding pixel group is 20 × 19 (= 380), the direction θ of the first surrounding pixel group When comparing 1 and the direction θ 2 of the second surrounding pixel group, a table defining whether or not 132 × 240 (= 31,680) combinations are similar is stored. The direction θ 2 of the surrounding image group and the direction of the third surrounding image group When comparing with θ 3 , a table defining whether or not 240 × 380 (= 91,200) combinations are similar is stored, and a continuous bright pixel or dark pixel of each surrounding pixel group is stored. When the start point and end point of are obtained, the similarity between the directions θ 1 to θ 3 may be determined by referring to these tables.
さらに、特徴点抽出部１５は、第１〜第３の周囲画素群における所定数以上連続する明画素又は暗画素の終点及び始点の組み合わせ（３組）について、類似か否かを規定したテーブルを記憶しておき、そのテーブルを参照して類似性を判断してもよい。この場合、そのような組み合わせは、１３２×２４０×３８０（＝１２，０３８，４００）通りとなる。 Further, the feature point extraction unit 15 creates a table that defines whether or not the combinations (three sets) of the end points and the start points of the bright pixels or the dark pixels continuous in a predetermined number or more in the first to third surrounding pixel groups are similar. The similarity may be determined by referring to the table stored in advance. In this case, there are 132 × 240 × 380 (= 12,038,400) such combinations.
図５は、本実施の形態における特徴点抽出の処理フローを示す図である。特徴点抽出装置１０に入力画像が入力されると、まず、第１のコーナー判定部１１は、最初の注目画素について、１２個の画素からなる第１の周囲画素群を参照して、ＦＡＳＴにより、その注目画素がコーナーであるか否かを判定する（ステップＳ５１）。 FIG. 5 is a diagram showing a processing flow of feature point extraction in the present embodiment. When an input image is input to the feature point extraction device 10, first, the first corner determination unit 11 refers to the first surrounding pixel group including 12 pixels for the first target pixel by FAST. Then, it is determined whether or not the target pixel is a corner (step S51).
第１のコーナー判定部１１がコーナーであると判定した場合には（ステップＳ５１でＹＥＳ）、次に、第２のコーナー判定部１２は、その注目画素について、１６個の画素からなる第２の周囲画素群を参照して、ＦＡＳＴにより、その注目画素がコーナーであるか否かを判定する（ステップＳ５２）。さらに、第２のコーナー判定部１２がコーナーであると判定した場合には（ステップＳ５２でＹＥＳ）、次に、第３のコーナー判定部１３は、その注目画素について、２０個の画素からなる第３の周囲画素群を参照して、ＦＡＳＴにより、その注目画素がコーナーであるか否かを判定する（ステップＳ５３）。 When the first corner determination unit 11 determines that the corner is a corner (YES in step S51), the second corner determination unit 12 then selects a second pixel composed of 16 pixels for the target pixel. With reference to the surrounding pixel group, it is determined by FAST whether the target pixel is a corner (step S52). Furthermore, when the second corner determination unit 12 determines that the corner is a corner (YES in step S52), the third corner determination unit 13 then selects the 20th pixel including the target pixel. With reference to the surrounding pixel group 3, it is determined by FAST whether the pixel of interest is a corner (step S 53).
第３のコーナー判定部１３でもコーナーであると判定された場合には（ステップＳ５３でＹＥＳ）、オリエンテーション算出部１４が各周囲画素群の所定数以上連続する明画素又は暗画素の方向θ1〜θ3を求める（ステップＳ５４）。そして、特徴点抽出部１５は、方向θ1〜θ3を比較することで、その注目画素が特徴点であるか否かを判断する（ステップＳ５５）。具体的には、特徴点抽出部１５は、上記で説明したように、方向θ1と方向θ2とを比較し、かつ方向θ2と方向θ3と比較し、いずれも所定の誤差範囲内に収まっている場合には、その注目画素を特徴点として抽出する。なお、いずれかの方向が他の方向と大きく異なっている場合には、非特徴点であると判断し、特徴点であるとは判断しない。 If the third corner determination unit 13 also determines that the corner is a corner (YES in step S53), the orientation calculation unit 14 performs the direction θ 1 to the direction of the bright pixels or dark pixels that are continuous for a predetermined number or more of the surrounding pixel groups. θ 3 is obtained (step S54). Then, the feature point extraction unit 15 determines whether or not the target pixel is a feature point by comparing the directions θ 1 to θ 3 (step S55). Specifically, as described above, the feature point extraction unit 15 compares the direction θ 1 and the direction θ 2 , and compares the direction θ 2 and the direction θ 3 , both of which are within a predetermined error range. If it falls within the range, the pixel of interest is extracted as a feature point. If any direction is significantly different from the other directions, it is determined as a non-feature point and not a feature point.
特徴点抽出部１５における上記の処理（ステップＳ５５）の後、及び第１〜第３のコーナー判定部１１〜１３のいずれかにて、非コーナーであると判定された場合には（ステップＳ５１にてＮＯ、ステップＳ５２にてＮＯ、又はステップＳ５３にてＮＯ）、その注目画素を非特徴点として、特徴点として抽出することなく、その注目画素についての処理を終了する。そして、画像中の全ての画素を注目画素として上記の特徴点抽出の判断を行ったかを判断して（ステップＳ５６）、特徴点抽出の判断を行っていない画素がある場合には（ステップＳ５６にてＮＯ）、まだ特徴点抽出の判断を行っていない画素を新たな注目画素として、ステップＳ５１に戻る。画像中の全ての画素を注目画素として上記の特徴点抽出の判断を行った場合は（ステップＳ５６にてＹＥＳ）、その画像について特徴点抽出の処理を終了する。 After the above processing (step S55) in the feature point extraction unit 15 and when any of the first to third corner determination units 11 to 13 determines that it is a non-corner (in step S51) NO, NO in step S52 or NO in step S53), the processing for the target pixel is terminated without extracting the target pixel as a non-feature point as a feature point. Then, it is determined whether or not the above feature point extraction determination has been performed with all pixels in the image as the target pixel (step S56). If there is a pixel that has not been determined for feature point extraction (step S56). NO), the pixel that has not yet been determined for feature point extraction is set as a new pixel of interest, and the process returns to step S51. If the above feature point extraction determination is made with all the pixels in the image as the target pixel (YES in step S56), the feature point extraction processing for that image ends.
以上の構成及び処理によって、入力画像の全ての画素について、それが特徴点となるか否かが判断されて、特徴点と判断された画素の座標が出力される。このとき、特徴点抽出部１５は、特徴点について、オリエンテーション算出部１４で算出した方向θ1、θ2、θ3の平均θavgを算出して、これを当該特徴点に関連付けて出力する。なお、平均θavgの算出は、類似性の判断をする前にオリエンテーション算出部１４で行ってもよい。 With the above configuration and processing, it is determined whether or not all the pixels of the input image are feature points, and the coordinates of the pixels determined to be feature points are output. At this time, the feature point extraction unit 15 calculates the average θ avg of the directions θ 1 , θ 2 , and θ 3 calculated by the orientation calculation unit 14 for the feature points, and outputs the average θ avg in association with the feature points. The average θ avg may be calculated by the orientation calculation unit 14 before determining the similarity.
この平均θavgは、後段の処理にて用いることができる。具体的には、ある画像の特徴点と他の画像の特徴点との対応付けを行う際に、各特徴点の勾配方向のヒストグラムをその特徴点の特徴量とすることがあるが、この場合にはこの勾配方向として、平均θavgを用いることができる。 This average θ avg can be used in subsequent processing. Specifically, when a feature point of an image is associated with a feature point of another image, a histogram of the gradient direction of each feature point may be used as the feature amount of the feature point. The average θ avg can be used as the gradient direction.
なお、特徴点の情報に付随させる方向の情報は、オリエンテーション算出部１４で算出した方向θ1、θ2、θ3の平均θavgでなく、例えば、方向θ3であってもよい。発明者らによる実験によって、方向θ1、θ2、θ3のうち、方向θ3の信頼性が最も高いことが分かっている。 Note that the direction information attached to the feature point information is not the average θ avg of the directions θ 1 , θ 2 , and θ 3 calculated by the orientation calculation unit 14, but may be, for example, the direction θ 3 . Through experiments by the inventors, it has been found that among the directions θ 1 , θ 2 , and θ 3 , the reliability in the direction θ 3 is the highest.
なお、上記の実施の形態のＦＡＳＴの処理において、早期に非コーナーであるとの判定をするための高速化手法が採用されてよい。高速化の手法としては、例えば、所定数以上の連続した明画素又は暗画素が存在しないことが明らかになった時点で、残りの画素について明画素であるか暗画素であるか同輝度画素であるかの判断をすることなく非コーナーであると判定する手法がある。より具体的には、例えば、周囲画素群が１６個の画素からなり、コーナー判定するために連続すべき明画素又は暗画素の数が９である場合において、その周囲画素群中のある画素が明画素であって、その対角にある画素が暗画素であることが分かったときは、明画素も暗画素も９個連続することはありえないので、その時点でその注目画素が非コーナーであると判定できる。 In the FAST process of the above-described embodiment, a high-speed technique for determining early that it is a non-corner may be employed. As a method of speeding up, for example, when it becomes clear that there are no more than a predetermined number of continuous bright pixels or dark pixels, the remaining pixels are either bright pixels, dark pixels, or pixels with the same luminance. There is a technique for determining that a corner is non-corner without determining whether it is present. More specifically, for example, when the surrounding pixel group is composed of 16 pixels and the number of bright pixels or dark pixels to be continuous for the corner determination is 9, a certain pixel in the surrounding pixel group is When it is found that a pixel that is a bright pixel and that is diagonally dark is a dark pixel, it is impossible for nine bright and dark pixels to continue, so that the pixel of interest is a non-corner at that time. Can be determined.
また、上記の実施の形態では、ＦＡＳＴによるコーナー判定を３段のカスケード構造としたが、ＦＡＳＴによるコーナー判定は、２段又は４段以上のカスケード構造で行ってもよい。２段とする場合には、上記の実施の形態の第１〜第３のコーナー判定部１１〜１３を任意に組み合わせてよい。 In the above embodiment, corner determination by FAST has a three-stage cascade structure. However, corner determination by FAST may be performed by a cascade structure having two stages or four or more stages. In the case of two stages, the first to third corner determination units 11 to 13 of the above embodiment may be arbitrarily combined.
また、上記の実施の形態では、複数段のカスケード構造のコーナー判定において、周囲画素数の画素数が小さいコーナー判定部から順にコーナー判定を行っており、これが望ましいが、本発明はこれに限られない。例えば、１６個の画素からなる周囲画素群を用いた第２のコーナー判定部１２、１２個の画素からなる周囲画素群を用いた第１のコーナー判定部１１、２０個の画素からなる周囲画素群を用いた第３のコーナー判定部１３の順に、コーナー判定を行うようにしてよい。 Further, in the above embodiment, in the corner determination of the cascade structure of the plurality of stages, the corner determination is performed in order from the corner determination unit having the smaller number of surrounding pixels, which is desirable, but the present invention is not limited to this. Absent. For example, the second corner determination unit 12 using a surrounding pixel group consisting of 16 pixels, the first corner determination unit 11 using a surrounding pixel group consisting of 12 pixels, and a surrounding pixel consisting of 20 pixels You may make it perform a corner determination in order of the 3rd corner determination part 13 using a group.
本発明は、複数のコーナー判定部のいずれにおいてもコーナーと判定された注目画素のみを特徴点として抽出するので、１つのコーナー判定部のみでコーナーと判定された注目画素を直ちに特徴点として抽出する場合と比較して、特徴点抽出をより正確に行うことができ、その結果、特徴点抽出の再現性を向上できるという効果を有し、画像間の対応付けに用いられる特徴点を抽出するための特徴点抽出装置等として有用である。 In the present invention, only the pixel of interest determined as a corner is extracted as a feature point in any of the plurality of corner determination units, so that the pixel of interest determined as a corner by only one corner determination unit is immediately extracted as a feature point. Compared to the case, the feature point can be extracted more accurately, and as a result, the reproducibility of the feature point extraction can be improved, and the feature point used for matching between images is extracted. It is useful as a feature point extraction device.
１０ 特徴点抽出装置
１１ 第１のコーナー判定部
１２ 第２のコーナー判定部
１３ 第３のコーナー判定部
１４ オリエンテーション算出部
１５ 特徴点抽出部
DESCRIPTION OF SYMBOLS 10 Feature point extraction apparatus 11 1st corner determination part 12 2nd corner determination part 13 3rd corner determination part 14 Orientation calculation part 15 Feature point extraction part
Claims (11)
前記注目画素の周囲の前記第１の周囲画素群とは異なる第２の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第２のコーナー判定部と、
前記第１のコーナー判定部及び前記第２のコーナー判定部のいずれにおいてもコーナーであると判定された前記注目画素のみを特徴点として抽出する特徴点抽出部と、
を備えたことを特徴とする特徴点抽出装置。 A first corner determination unit that determines a corner of the target pixel by FAST with reference to a first peripheral pixel group around the target pixel;
A second corner determination unit that determines a corner of the target pixel by FAST with reference to a second peripheral pixel group different from the first peripheral pixel group around the target pixel;
A feature point extraction unit that extracts only the pixel of interest determined as a corner in both the first corner determination unit and the second corner determination unit;
A feature point extraction device characterized by comprising:
前記特徴点抽出部は、前記第１のコーナー判定部、前記第２のコーナー判定部、及び前記第３のコーナー判定部にて、いずれもコーナーであると判定された注目画素のみを特徴点として抽出することを特徴とする請求項１に記載の特徴点抽出装置。 Further, a third peripheral pixel group different from the first peripheral pixel group and the second peripheral pixel group around the target pixel is referred to, and a corner determination of the target pixel is performed by FAST. A corner determination unit
The feature point extraction unit uses only the target pixel determined as a corner by the first corner determination unit, the second corner determination unit, and the third corner determination unit as feature points. The feature point extracting device according to claim 1, wherein the feature point extracting device is extracted.
前記特徴点抽出部は、前記方向に基づいて前記注目画素を特徴点として抽出することを特徴とする請求項１又は２に記載の特徴点抽出装置。 A direction calculating unit that obtains a direction of a predetermined number of bright pixels or dark pixels of the first surrounding pixel group and the second surrounding pixel group;
The feature point extraction apparatus according to claim 1, wherein the feature point extraction unit extracts the target pixel as a feature point based on the direction.
前記注目画素の周囲の前記第１の周囲画素群とは異なる第２の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第２のコーナー判定ステップと、
前記第１のコーナー判定ステップ及び前記第２のコーナー判定ステップのいずれにおいてもコーナーであると判定された前記注目画素のみを特徴点として抽出する特徴点抽出ステップと、
を含むことを特徴とする特徴点抽出方法。 A first corner determination step of determining a corner of the target pixel by FAST with reference to a first peripheral pixel group around the target pixel;
A second corner determination step of determining a corner of the target pixel by FAST with reference to a second peripheral pixel group different from the first peripheral pixel group around the target pixel;
A feature point extracting step of extracting only the target pixel determined to be a corner in both the first corner determination step and the second corner determination step;
A feature point extraction method characterized by comprising:
注目画素の周囲の第１の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第１のコーナー判定部、
前記注目画素の周囲の前記第１の周囲画素群とは異なる第２の周囲画素群を参照して、ＦＡＳＴにより前記注目画素のコーナー判定をする第２のコーナー判定部、及び
前記第１のコーナー判定部及び前記第２のコーナー判定部のいずれにおいてもコーナーであると判定された前記注目画素のみを特徴点として抽出する特徴点抽出部、
として機能させることを特徴とする特徴点抽出プログラム。 Computer
A first corner determination unit that determines a corner of the target pixel by FAST with reference to a first peripheral pixel group around the target pixel;
A second corner determination unit that determines a corner of the target pixel by FAST with reference to a second peripheral pixel group different from the first peripheral pixel group around the target pixel; and the first corner A feature point extraction unit that extracts only the target pixel determined to be a corner in both the determination unit and the second corner determination unit;
Feature point extraction program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013167111A JP6062825B2 (en) | 2013-08-09 | 2013-08-09 | Feature point extraction device, feature point extraction method, and feature point extraction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013167111A JP6062825B2 (en) | 2013-08-09 | 2013-08-09 | Feature point extraction device, feature point extraction method, and feature point extraction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015035191A JP2015035191A (en) | 2015-02-19 |
| JP6062825B2 true JP6062825B2 (en) | 2017-01-18 |
Family
ID=52543641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013167111A Expired - Fee Related JP6062825B2 (en) | 2013-08-09 | 2013-08-09 | Feature point extraction device, feature point extraction method, and feature point extraction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6062825B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11062165B2 (en) | 2013-05-23 | 2021-07-13 | Movidius Limited | Corner detection |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7382897B2 (en) * | 2004-04-27 | 2008-06-03 | Microsoft Corporation | Multi-image feature matching using multi-scale oriented patches |
| JP2011008687A (en) * | 2009-06-29 | 2011-01-13 | Sharp Corp | Image processor |
| CN102375984B (en) * | 2010-08-06 | 2014-02-26 | 夏普株式会社 | Characteristic quantity calculating device, image connecting device, image retrieving device and characteristic quantity calculating method |
| JP2012234257A (en) * | 2011-04-28 | 2012-11-29 | Sony Corp | Image processor, image processing method and program |
-
2013
- 2013-08-09 JP JP2013167111A patent/JP6062825B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11062165B2 (en) | 2013-05-23 | 2021-07-13 | Movidius Limited | Corner detection |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015035191A (en) | 2015-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6088792B2 (en) | Image detection apparatus, control program, and image detection method | |
| CN107818290B (en) | Heuristic finger detection method based on depth map | |
| EP3702957B1 (en) | Target detection method and apparatus, and computer device | |
| CN104182974B (en) | A speeded up method of executing image matching based on feature points | |
| TWI765442B (en) | Method for defect level determination and computer readable storage medium thereof | |
| JP2017538196A (en) | Product image segmentation method and apparatus | |
| CN110008833B (en) | Target ship detection method based on optical remote sensing image | |
| CN114863492B (en) | Method and device for repairing low-quality fingerprint image | |
| JP2015173344A (en) | object recognition device | |
| CN111401449A (en) | Image matching method based on machine vision | |
| CN108898148A (en) | A kind of digital picture angular-point detection method, system and computer readable storage medium | |
| CN102663733B (en) | Characteristic points matching method based on characteristic assembly | |
| US10074551B2 (en) | Position detection apparatus, position detection method, information processing program, and storage medium | |
| JP5367244B2 (en) | Target detection apparatus and target detection method | |
| CN107844803B (en) | Picture comparison method and device | |
| KR20120107698A (en) | Vision sensor based aircraft detection device and method using dynamic programming and camshift algorithm | |
| JP6062825B2 (en) | Feature point extraction device, feature point extraction method, and feature point extraction program | |
| JP2011054062A (en) | Apparatus and method for processing image, and program | |
| JP2015045919A (en) | Image recognition method and robot | |
| US9792675B1 (en) | Object recognition using morphologically-processed images | |
| CN109657577B (en) | Animal detection method based on entropy and motion offset | |
| JP4550768B2 (en) | Image detection method and image detection apparatus | |
| KR101391667B1 (en) | A model learning and recognition method for object category recognition robust to scale changes | |
| WO2022267387A1 (en) | Image recognition method and apparatus, electronic device, and storage medium | |
| JP2016157155A (en) | Character region extraction device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161215 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6062825 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |