Nothing Special   »   [go: up one dir, main page]

KR101685797B1 - 대형 부재의 6자유도 변위 추정 방법 및 시스템 - Google Patents

대형 부재의 6자유도 변위 추정 방법 및 시스템 Download PDF

Info

Publication number
KR101685797B1
KR101685797B1 KR1020150047767A KR20150047767A KR101685797B1 KR 101685797 B1 KR101685797 B1 KR 101685797B1 KR 1020150047767 A KR1020150047767 A KR 1020150047767A KR 20150047767 A KR20150047767 A KR 20150047767A KR 101685797 B1 KR101685797 B1 KR 101685797B1
Authority
KR
South Korea
Prior art keywords
particles
feature point
cameras
marker image
estimating
Prior art date
Application number
KR1020150047767A
Other languages
English (en)
Other versions
KR20160119412A (ko
Inventor
명현
명완철
최수영
정광익
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150047767A priority Critical patent/KR101685797B1/ko
Publication of KR20160119412A publication Critical patent/KR20160119412A/ko
Application granted granted Critical
Publication of KR101685797B1 publication Critical patent/KR101685797B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

대형 부재의 6자유도 변위 추정 시스템에 의해 수행되는 대형 부재의 6자유도 변위 추정 방법이 개시된다. 대형 부재의 6자유도 변위 추정 방법은 제1 부재에 배치되는 미리 설정된 특징점을 갖는 복수의 마커들 중 대응하는 마커를 제2 부재에 배치되는 복수의 카메라들에서 촬영하여 측정 이미지를 각각 생성하는 단계; 상기 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하는 단계; 및 상기 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계를 포함한다.

Description

대형 부재의 6자유도 변위 추정 방법 및 시스템{METHOD AND SYSTEM FOR ESTIMATING 6-DOF DISPLACEMENT OF LARGE MEMBER}
아래의 설명은 대형 부재의 6자유도 변위 추정 방법 및 시스템에 관한 것으로, 보다 구체적으로 복수의 카메라들 및 복수의 마커들을 배치함으로써, 부재들 사이의 상대변위를 추정하는 6자유도 변위 추정 기술에 관한 것이다.
구조물에 포함되는 부재들의 변위 측정 방식으로는 마커 및 카메라를 이용하는 방식이 있다. 해당 방식은 단일 마커 및 단일 카메라가 구조물에 포함되는 부재들 각각에 배치되어, 카메라에 의해 촬영되는 단일 마커의 이미지에 기초하여 부재들 사이의 변위를 측정하는 방식으로서, 단일 마커 및 단일 카메라가 정렬되어 배치되지 않는 경우, 회전변위 오차(alignment error)가 발생될 수 있다. 특히, 회전변위 오차는 단일 마커 및 단일 카메라가 배치된 지점으로부터 거리가 멀어질수록 거리에 비례하여 증가하는 문제점이 있다,
이에, 마커 및 카메라를 이용하는 방식에서 마커 및 카메라의 정렬에서 발생되는 회전변위 오차에 강인한 부재의 변위 추정 기술이 요구된다.
일실시예에 따른 대형 부재의 6자유도 변위 추정 방법 및 시스템은 복수의 카메라들 및 복수의 마커들을 이용함으로써, 마커 및 카메라의 정렬에서 발생되는 회전변위 오차에 강인한 부재의 변위 추정 기술을 제공한다.
특히, 일실시예에 따른 대형 부재의 6자유도 변위 추정 방법 및 시스템은 복수의 카메라들 각각에 의해 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용함으로써, 부재들 사이의 상대변위를 추정하는 기술을 제공한다.
일실시예에 따른 대형 부재의 6자유도 변위 추정 방법은 제1 부재에 배치되는 미리 설정된 특징점을 갖는 복수의 마커들 중 대응하는 마커를 제2 부재에 배치되는 복수의 카메라들에서 촬영하여 측정 이미지를 각각 생성하는 단계; 상기 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하는 단계; 및 상기 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계를 포함한다.
상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계는 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성하는 단계; 상기 복수의 파티클들 각각에 대해, 상기 복수의 파티클들 각각의 6자유도 상태 벡터 및 상기 복수의 카메라들 각각의 카메라 모델에 기초하여 상기 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측하는 단계; 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 상기 복수의 파티클들 각각에 가중치를 부여하는 단계; 상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들을 업데이트하는 단계; 및 상기 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계를 포함할 수 있다.
상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계는 상기 업데이트된 복수의 파티클들 중 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계를 포함할 수 있다.
상기 복수의 파티클들을 업데이트하는 단계는 상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들 중 적어도 일부 파티클을 재생성하는 단계를 포함할 수 있다.
상기 복수의 파티클들을 업데이트하는 단계는 상기 업데이트된 복수의 파티클들을 다음 반복 과정에서 이용하는 단계를 더 포함할 수 있다.
일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템은 미리 설정된 특징점을 갖는 복수의 마커들이 배치되는 제1 부재; 상기 복수의 마커들 중 대응하는 마커를 촬영하여 측정 이미지를 각각 생성하는 복수의 카메라들이 배치되는 제2 부재; 및 상기 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하고, 상기 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 추정부를 포함한다.
상기 추정부는 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성하고, 상기 복수의 파티클들 각각에 대해, 상기 복수의 파티클들 각각의 6자유도 상태 벡터 및 상기 복수의 카메라들 각각의 카메라 모델에 기초하여 상기 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측하며, 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 상기 복수의 파티클들 각각에 가중치를 부여하고, 상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들을 업데이트하며, 상기 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정할 수 있다.
상기 추정부는 상기 업데이트된 복수의 파티클들 중 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정할 수 있다.
상기 추정부는 상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들 중 적어도 일부 파티클을 재생성함으로써, 상기 복수의 파티클들을 업데이트할 수 있다.
상기 추정부는 상기 업데이트된 복수의 파티클들을 다음 반복 과정에서 이용할 수 있다.
일실시예에 따른 대형 부재의 6자유도 변위 추정 방법 및 시스템은 복수의 카메라들 및 복수의 마커들을 이용함으로써, 마커 및 카메라의 정렬에서 발생되는 회전변위 오차에 강인한 부재의 변위 추정 기술을 제공할 수 있다.
특히, 일실시예에 따른 대형 부재의 6자유도 변위 추정 방법 및 시스템은 복수의 카메라들 각각에 의해 측정된 마커 이미지의 특징점을 기초로 MCL 기법을 적용함으로써, 부재들 사이의 상대변위를 추정하는 기술을 제공할 수 있다.
도 1은 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템을 나타낸 도면이다.
도 2는 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템에 의해 측정되는 마커 이미지의 특징점을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 MCL 기법을 적용하여 부재 사이의 상대변위를 추정하는 동작을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 대형 부재의 6자유도 변위 추정 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템을 나타낸 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템을 나타낸 도면이다.
도 1을 참조하면, 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템은 복수의 마커들(110)이 배치되는 제1 부재(120), 복수의 카메라들(130)이 배치되는 제2 부재(140) 및 추정부를 포함한다. 여기서, 추정부는 도면에 도시되지 않았지만, 별도의 컴퓨터 또는 서버인 임베디드 시스템으로 구비될 수 있다.
복수의 마커들(110) 각각은 미리 설정된 특징점(이 때, 특징점은 점, 선 또는 면 중 적어도 어느 하나를 포함함)을 갖고, 제1 부재(120)의 미리 설정된 위치에 배치될 수 있다. 또한, 복수의 카메라들(130) 각각은 복수의 마커들(110) 중 대응하는 마커를 촬영할 수 있도록 제2 부재(140)의 미리 설정된 위치에 배치될 수 있다. 예를 들어, 제1 카메라(131)는 제1 마커(111)를 촬영하도록 배치될 수 있고, 제2 카메라(132)는 제2 마커(112)를 촬영하도록 배치될 수 있다.
추정부는 복수의 마커들(110) 및 복수의 카메라들(130)을 이용하여 제1 부재(120) 및 제2 부재(140) 사이의 상대변위를 추정한다. 구체적으로, 추정부는 복수의 카메라들(130) 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하고, 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 제1 부재(120) 및 제2 부재(140) 사이의 상대변위를 추정한다.
예를 들어, 추정부는 복수의 카메라들(130) 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점에 대한 이미지 좌표를 획득하여 마커 이미지의 특징점을 측정할 수 있다. 이하, 마커 이미지의 특징점은 마커 이미지의 특징점에 대한 이미지 좌표를 의미한다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
따라서, 추정부는 측정된 마커 이미지의 특징점(측정된 마커 이미지의 특징점에 대한 이미지 좌표)를 기초로 MCL(Monte Carlo Localization) 기법을 적용함으로써, 복수의 마커들(110)이 배치되는 제1 부재(120) 및 복수의 카메라들(130)이 배치되는 제2 부재(140) 사이의 상대변위를 추정할 수 있다.
MCL 기법이 적용되는 과정에 대한 구체적인 예를 들면, 추정부는 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성한 후(복수의 파티클들은 가상의 모델링을 통하여 형성될 수 있음), 복수의 파티클들 각각에 대해, 복수의 파티클들 각각의 6자유도 상태 벡터 및 복수의 카메라들(130) 각각의 카메라 모델에 기초하여 복수의 카메라들(130) 각각에 대한 마커 이미지의 특징점을 예측할 수 있다(마커 이미지의 특징점에 대한 이미지 좌표를 예측함).
이에, 추정부는 예측된 마커 이미지의 특징점과 위에서 상술된 바와 같이 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 복수의 파티클들 각각에 가중치를 부여하여 복수의 파티클들을 업데이트할 수 있다. 이 때, 추정부는 복수의 파티클들을 업데이트하는 과정을 반복 수행할 수 있으며, 복수의 파티클들을 업데이트하는 과정에서 복수의 파티클들 각각에 부여되는 가중치에 기초하여 복수의 파티클들 중 적어도 일부 파티클을 재생성함으로써, 재생성된 적어도 일부 파티클을 포함하는 복수의 파티클들을 다음 반복 과정에서 이용할 수 있다.
따라서, 추정부는 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 제1 부재(120) 및 제2 부재(140) 사이의 상대변위를 추정할 수 있다. 여기서, 추정부는 업데이트된 복수의 파티클들 중 업데이트된 복수의 파티클들 각각에 대해 예측된 마커 이미지의 특징점과 위에서 상술한 바와 같이 측정된 마커 이미지의 특징점의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 제1 부재(120) 및 제2 부재(140) 사이의 상대변위로 추정할 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
이와 같이, 일실시예에 따른 추정부는 복수의 카메라들(130) 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정한 후, 측정된 마커 이미지의 특징점에 기초하여 MCL 기법을 적용함으로써, 제1 부재(120) 및 제2 부재(140) 사이의 상대변위를 추정하기 때문에, 복수의 마커들(110) 및 복수의 카메라들(130) 각각의 정렬에서 발생되는 회전변위 오차에 강인할 수 있다.
도 2는 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템에 의해 측정되는 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템에 포함되는 카메라(210)가 대응하는 마커(220)를 촬영하여 측정 이미지를 생성하는 과정에서, 추정부는 측정 이미지에 포함되는 마커 이미지(230)의 특징점의 이미지 좌표를 획득함으로써, 마커 이미지(230)의 특징점을 측정할 수 있다.
따라서, 추정부는 이와 같이 측정된 마커 이미지(230)의 특징점(특징점의 이미지 좌표를 의미함)를 위에서 상술된 MCL 기법을 적용하는 과정에서 이용할 수 있다. MCL 기법을 적용하는 상세한 설명을 아래에서 추가적으로 기재하기로 한다.
도 3은 일실시예에 따른 MCL 기법을 적용하여 부재 사이의 상대변위를 추정하는 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템에 포함되는 추정부는 위에서 상술한 바와 같이 측정된 복수의 카메라들 각각에 대응하는 마커 이미지의 특징점에 기초하여 MCL 기법을 적용할 수 있다.
구체적으로, 추정부는 제1 부재(310) 및 제2 부재(320)에 대해 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들(330)을 수학식 1과 같이 형성할 수 있다.
<수학식 1>
Figure 112015033125712-pat00001

여기서,
Figure 112015033125712-pat00002
,
Figure 112015033125712-pat00003
및
Figure 112015033125712-pat00004
는 복수의 파티클들(330) 각각의 상태 벡터의 선형변위(X좌표, Y좌표 및 Z좌표)를 의미하고,
Figure 112015033125712-pat00005
,
Figure 112015033125712-pat00006
및
Figure 112015033125712-pat00007
는 복수의 파티클들(330) 각각의 회전 변위(X, Y, Z 좌표에 따른 각도값)을 의미한다.
이어서, 추정부는 복수의 파티클들(330) 각각에 대해, 복수의 파티클들(330) 각각의 6자유도 상태 벡터 및 복수의 카메라들 각각의 카메라 모델에 기초하여 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측할 수 있다. 이 때, 측정부는 복수의 마커들 및 복수의 카메라들 각각이 배치되는 제1 부재(310) 및 제2 부재(320) 상의 위치(더욱 상세하게는 복수의 마커들 각각의 미리 설정된 특징점이 배치되는 제1 부재(310) 상의 위치)를 이미 알고 있기 때문에, 복수의 파티클들(330) 각각의 6자유도 상태 벡터 및 복수의 카메라들 각각의 카메라 모델에 기초하여 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측할 수 있다.
예를 들어, 추정부는 아래의 수학식 2와 같이 복수의 카메라들 각각의 카메라 모델을 기초로 하는 미리 설정된 선형/회전 변환 행렬을 이용하여 복수의 카메라들 각각에 대한 마커 이미지의 특징점의 이미지 좌표를 예측할 수 있다.
<수학식 2>
Figure 112015033125712-pat00008

수학식 2에서,
Figure 112015033125712-pat00009
은 예측되는 마커 이미지의 특징점의 X축 좌표를 의미하고,
Figure 112015033125712-pat00010
은 예측되는 마커 이미지의 특징점의 Y축 좌표를 의미하며,
Figure 112015033125712-pat00011
은 예측되는 마커 이미지의 특징점의 Z축 좌표를 의미한다. 또한,
Figure 112015033125712-pat00012
는 카메라 모델을 나타내는 행렬로서,
Figure 112015033125712-pat00013
및
Figure 112015033125712-pat00014
각각은 수평 수직 방향에서의 픽셀의 effective size를 의미하고,
Figure 112015033125712-pat00015
카메라(210)의 초점 거리를 의미하며,
Figure 112015033125712-pat00016
및
Figure 112015033125712-pat00017
는 카메라의 주점의 X축 좌표 및 Y축 좌표를 의미한다. 또한,
Figure 112015033125712-pat00018
는 미리 설정된 선형/회전 변환 행렬로서, 3차원 실제 좌표가 2차원 이미지 좌표로 변환되는 과정에서 선형/회전 변환되는 관계를 의미한다. 이 때, R은 회전 변환 행렬을 의미하고, T는 선형 변환 행렬을 의미한다. 또한,
Figure 112015033125712-pat00019
는 복수의 파티클들(330) 각각의 6자유도 상태 벡터에 기초하여 계산되는 마커의 특징점의 X축 좌표를 의미하고,
Figure 112015033125712-pat00020
는 마커의 특징점의 Y축 좌표를 의미하며,
Figure 112015033125712-pat00021
는 마커의 특징점의 Z축 좌표를 의미한다.
즉, 추정부는 복수의 카메라들 각각의 위치 및 복수의 카메라들 각각에 대응하는 마커의 위치를 미리 알고 있기 때문에, 복수의 파티클들(330) 각각의 6자유도 상태 벡터에 기초하여 복수의 카메라들 각각에 대응하는 마커의 특징점에 대한 실제 좌표를 계산할 수 있고, 계산된 마커의 특징점에 대한 실제 좌표로부터 수학식 2의 카메라 모델을 이용하여 복수의 카메라들 각각에서 측정되는 마커 이미지의 특징점에 대한 이미지 좌표를 예측할 수 있다.
따라서, 추정부는 복수의 카메라들 각각에 대해 예측된 마커 이미지의 특징점을 아래의 MCL 기법을 적용하는 과정에서 이용할 수 있다.
그 다음, 추정부는 도 2를 참조하여 기재한 바와 같이 측정된 복수의 카메라들 각각에 대한 마커 이미지의 특징점과 예측된 마커 이미지의 특징점 사이의 차이값을 계산하여 복수의 파티클들(330) 각각에 가중치를 부여하여 복수의 파티클들(330)을 업데이트할 수 있다. 예를 들어, 추정부는 측정된 마커 이미지의 특징점과 예측된 마커 이미지의 특징점 사이의 차이값의 크기에 반비례하도록 가중치를 복수의 파티클들(330)로 부여할 수 있다.
여기서, 추정부는 복수의 파티클들(330) 각각에 부여된 가중치에 기초하여 적어도 일부 파티클을 재생성함으로써, 복수의 파티클들(340)을 업데이트할 수 있다. 이 때, 적어도 일부 파티클이 재생성되는 과정에서, control input 또는 기타 센서(IMU, odometry) 등이 활용되어 적어도 일부 파티클이 재생성되는 지점을 예측할 수 있다.
이와 같은 업데이트 과정은 업데이트된 복수의 파티클들(340)이 다음 반복 과정에서 이용됨으로써, 반복 수행될 수 있다. 예를 들어, 추정부는 재생성된 적어도 일부 파티클을 포함하는 복수의 파티클들(340)에 각각에 대해, 복수의 파티클들(340) 각각의 6자유도 상태 벡터 및 복수의 카메라들 각각의 카메라 모델에 기초하여 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측하고, 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값을 계산한 후, 복수의 파티클들(340) 각각에 가중치를 다시 부여함으로써, 복수의 파티클들(340)을 다시 업데이트할 수 있다.
복수의 파티클들(340)이 업데이트되는 과정이 반복 수행된다는 것은 적어도 일부 파티클이 재생성되어, 복수의 파티클들(340) 각각에 대해 측정된 마커 이미지의 특징점과 예측된 마커 이미지의 특징점 사이의 차이값이 크기가 점차 줄어든다는 것을 의미하기 때문에, 최종적으로, 측정된 마커 이미지의 특징점과 예측된 마커 이미지의 특징점 사이의 차이값이 보다 작은 파티클이 획득될 수 있다.
따라서, 추정부는 복수의 파티클들(340)을 업데이트하는 과정을 반복 수행하여, 복수의 파티클들(340) 중 업데이트된 복수의 파티클들(340) 각각에 대해 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 제1 부재(310) 및 제2 부재(320) 사이의 상대변위를 추정할 수 있다(즉, 복수의 파티클들(340) 중 업데이트된 복수의 파티클들(340) 각각에 대해 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 제1 부재(310) 및 제2 부재(320) 사이의 상대변위로 획득할 수 있음).
이 때, 추정부는 복수의 파티클들(340)을 업데이트하는 과정을 미리 설정된 업데이트 횟수에 기초하여 반복 수행/중단하거나, 복수의 파티클들(340) 각각에 대해 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점의 차이값과 미리 설정된 기준 차이값을 비교하여 반복 수행/중단할 수 있다.
도 4는 일실시예에 따른 대형 부재의 6자유도 변위 추정 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템은 제1 부재에 배치되는 미리 설정된 특징점을 갖는 복수의 마커들 중 대응하는 마커를 제2 부재에 배치되는 복수의 카메라들에서 촬영하여 측정 이미지를 각각 생성한다(410).
이어서, 대형 부재의 6자유도 변위 추정 시스템은 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정한다(420).
그 후, 대형 부재의 6자유도 변위 추정 시스템은 측정된 마커 이미지의 특징점을 기초로 MCL 기법을 적용하여 제1 부재 및 제2 부재 사이의 상대변위를 추정한다.
구체적으로, 대형 부재의 6자유도 변위 추정 시스템은 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성한 후(430), 복수의 파티클들 각각에 대해, 복수의 파티클들 각각의 6자유도 상태 벡터 및 복수의 카메라들 각각의 카메라 모델에 기초하여 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측할 수 있다(440).
그 다음, 대형 부재의 6자유도 변위 추정 시스템은 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 복수의 파티클들 각각에 가중치를 부여할 수 있다(450).
또한, 대형 부재의 6자유도 변위 추정 시스템은 복수의 파티클들 각각에 부여되는 가중치에 기초하여 복수의 파티클들을 업데이트할 수 있다(460).
여기서, 대형 부재의 6자유도 변위 추정 시스템은 복수의 파티클들 각각에 부여되는 가중치에 기초하여 복수의 파티클들 중 적어도 일부 파티클을 재생성함으로써, 복수의 파티클들을 업데이트할 수 있다. 또한, 업데이트된 복수의 파티클들이 다음 반복 과정에서 이용됨으로써, 복수의 파티클들을 업데이트하는 과정이 반복 수행될 수 있다. 예를 들어, 복수의 파티클들을 업데이트하는 과정이 반복 수행되는 경우, 업데이트된 복수의 파티클들 각각에 대한 마커 이미지의 특징점이 예측되어 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값이 다시 계산되어 복수의 파티클들 각각에 가중치가 다시 부여될 수 있다. 이 때, 대형 부재의 6자유도 변위 추정 시스템은 복수의 파티클들을 업데이트하는 과정을 미리 설정된 업데이트 횟수에 기초하여 반복 수행/중단하거나, 복수의 파티클들 각각에 대해 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점의 차이값과 미리 설정된 기준 차이값을 비교하여 반복 수행/중단할 수 있다.
그 후, 대형 부재의 6자유도 변위 추정 시스템은 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 제1 부재 및 제2 부재 사이의 상대변위를 추정할 수 있다(470). 이 때, 대형 부재의 6자유도 변위 추정 시스템은 업데이트된 복수의 파티클들 중 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 제1 부재 및 제2 부재 사이의 상대변위를 추정할 수 있다.
도 5는 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템을 나타낸 블록도이다.
도 5를 참조하면, 일실시예에 따른 대형 부재의 6자유도 변위 추정 시스템은 제1 부재(510), 제2 부재(520) 및 추정부(530)를 포함한다.
제1 부재(510)에는 미리 설정된 특징점을 갖는 복수의 마커들(511)이 배치된다.
제2 부재(520)에는 복수의 마커들(511) 중 대응하는 마커를 촬영하여 측정 이미지를 각각 생성하는 복수의 카메라들(521)이 배치된다.
추정부(530)는 복수의 카메라들(521) 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하고, 측정된 마커 이미지의 특징점을 기초로 MCL 기법을 적용하여 제1 부재(510) 및 제2 부재(520) 사이의 상대변위를 추정한다.
구체적으로, 추정부(530)는 임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성하고, 복수의 파티클들 각각에 대해, 복수의 파티클들 각각의 6자유도 상태 벡터 및 복수의 카메라들(521) 각각의 카메라 모델에 기초하여 복수의 카메라들(521) 각각에 대한 마커 이미지의 특징점을 예측하며, 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 복수의 파티클들 각각에 가중치를 부여하고, 복수의 파티클들 각각에 부여되는 가중치에 기초하여 복수의 파티클들을 업데이트하며, 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 제1 부재(510) 및 제2 부재(520) 사이의 상대변위를 추정할 수 있다.
여기서, 추정부(530)는 복수의 파티클들 각각에 부여되는 가중치에 기초하여 복수의 파티클들 중 적어도 일부 파티클을 재생성함으로써, 복수의 파티클들을 업데이트할 수 있다. 또한, 업데이트된 복수의 파티클들이 다음 반복 과정에서 이용됨으로써, 복수의 파티클들을 업데이트하는 과정이 반복 수행될 수 있다. 예를 들어, 복수의 파티클들을 업데이트하는 과정이 반복 수행되는 경우, 업데이트된 복수의 파티클들 각각에 대한 마커 이미지의 특징점이 예측되어 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값이 다시 계산되어 복수의 파티클들 각각에 가중치가 다시 부여될 수 있다. 이 때, 추정부(530)는 복수의 파티클들을 업데이트하는 과정을 미리 설정된 업데이트 횟수에 기초하여 반복 수행/중단하거나, 복수의 파티클들 각각에 대해 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점의 차이값과 미리 설정된 기준 차이값을 비교하여 반복 수행/중단할 수 있다.
이 때, 추정부(530)는 업데이트된 복수의 파티클들 중 예측된 마커 이미지의 특징점과 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 제1 부재(510) 및 제2 부재(520) 사이의 상대변위를 추정할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 제1 부재에 배치되는 미리 설정된 특징점을 갖는 복수의 마커들 중 대응하는 마커를 제2 부재에 배치되는 복수의 카메라들에서 촬영하여 측정 이미지를 각각 생성하는 단계;
    상기 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하는 단계; 및
    상기 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계
    를 포함하고,
    상기 제1 부재에 배치되는 미리 설정된 특징점을 갖는 복수의 마커들 중 대응하는 마커를 제2 부재에 배치되는 복수의 카메라들에서 촬영하여 측정 이미지를 각각 생성하는 단계는
    상기 복수의 카메라들에서 서로 다른 마커를 촬영하여 상기 측정 이미지를 각각 생성하는 단계이며,
    상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계는
    임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성하는 단계;
    상기 복수의 파티클들 각각에 대해, 상기 복수의 파티클들 각각의 6자유도 상태 벡터 및 상기 복수의 카메라들 각각의 카메라 모델에 기초하여 상기 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측하는 단계;
    상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 상기 복수의 파티클들 각각에 가중치를 부여하는 단계;
    상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들을 업데이트하는 단계; 및
    상기 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계
    를 포함하는 대형 부재의 6자유도 변위 추정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계는
    상기 업데이트된 복수의 파티클들 중 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 단계
    를 포함하는 대형 부재의 6자유도 변위 추정 방법.
  4. 제1항에 있어서,
    상기 복수의 파티클들을 업데이트하는 단계는
    상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들 중 적어도 일부 파티클을 재생성하는 단계
    를 포함하는 대형 부재의 6자유도 변위 추정 방법.
  5. 제1항에 있어서,
    상기 복수의 파티클들을 업데이트하는 단계는
    상기 업데이트된 복수의 파티클들을 다음 반복 과정에서 이용하는 단계
    를 더 포함하는 대형 부재의 6자유도 변위 추정 방법.
  6. 미리 설정된 특징점을 갖는 복수의 마커들이 배치되는 제1 부재;
    상기 복수의 마커들 중 대응하는 마커를 촬영하여 측정 이미지를 각각 생성하는 복수의 카메라들이 배치되는 제2 부재; 및
    상기 복수의 카메라들 각각이 생성하는 측정 이미지에 포함되는 마커 이미지의 특징점을 측정하고, 상기 측정된 마커 이미지의 특징점을 기초로 MCL(Monte Carlo Localization) 기법을 적용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 추정부
    를 포함하고,
    상기 복수의 카메라들은
    서로 다른 마커를 촬영하여 상기 측정 이미지를 각각 생성하며,
    상기 추정부는
    임의의 6자유도 상태 벡터를 갖는 복수의 파티클들을 형성하고, 상기 복수의 파티클들 각각에 대해, 상기 복수의 파티클들 각각의 6자유도 상태 벡터 및 상기 복수의 카메라들 각각의 카메라 모델에 기초하여 상기 복수의 카메라들 각각에 대한 마커 이미지의 특징점을 예측하며, 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값을 계산하여 상기 복수의 파티클들 각각에 가중치를 부여하고, 상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들을 업데이트하며, 상기 업데이트된 복수의 파티클들 각각의 6자유도 상태 벡터에 기초하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 대형 부재의 6자유도 변위 추정 시스템.
  7. 삭제
  8. 제6항에 있어서,
    상기 추정부는
    상기 업데이트된 복수의 파티클들 중 상기 예측된 마커 이미지의 특징점과 상기 측정된 마커 이미지의 특징점 사이의 차이값이 가장 작은 파티클의 6자유도 상태 벡터를 이용하여 상기 제1 부재 및 상기 제2 부재 사이의 상대변위를 추정하는 대형 부재의 6자유도 변위 추정 시스템.
  9. 제6항에 있어서,
    상기 추정부는
    상기 복수의 파티클들 각각에 부여되는 가중치에 기초하여 상기 복수의 파티클들 중 적어도 일부 파티클을 재생성함으로써, 상기 복수의 파티클들을 업데이트하는 대형 부재의 6자유도 변위 추정 시스템.
  10. 제6항에 있어서,
    상기 추정부는
    상기 업데이트된 복수의 파티클들을 다음 반복 과정에서 이용하는 대형 부재의 6자유도 변위 추정 시스템.
KR1020150047767A 2015-04-03 2015-04-03 대형 부재의 6자유도 변위 추정 방법 및 시스템 KR101685797B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150047767A KR101685797B1 (ko) 2015-04-03 2015-04-03 대형 부재의 6자유도 변위 추정 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150047767A KR101685797B1 (ko) 2015-04-03 2015-04-03 대형 부재의 6자유도 변위 추정 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20160119412A KR20160119412A (ko) 2016-10-13
KR101685797B1 true KR101685797B1 (ko) 2016-12-13

Family

ID=57173984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150047767A KR101685797B1 (ko) 2015-04-03 2015-04-03 대형 부재의 6자유도 변위 추정 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101685797B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017497A (ko) * 2017-06-20 2020-02-18 칼 짜이스 에스엠테 게엠베하 공간 내의 가동 대상체의 위치를 결정하기 위한 시스템, 방법 및 마커

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679090B2 (en) 2017-12-12 2020-06-09 Korea Advanced Institute Of Science And Technology Method for estimating 6-DOF relative displacement using vision-based localization and apparatus therefor
KR102049666B1 (ko) * 2017-12-12 2019-11-28 한국과학기술원 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치
CN112697041B (zh) * 2020-12-10 2022-03-08 北京新风航天装备有限公司 一种基于蒙特卡洛法的装配位姿测量精度预评估方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140290A (ja) * 2006-12-05 2008-06-19 Suzuki Motor Corp 頭部の位置・姿勢検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140290A (ja) * 2006-12-05 2008-06-19 Suzuki Motor Corp 頭部の位置・姿勢検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
'움직임 카메라 환경에서 파티클 필터를 이용한 객체 추적', '고병철,남재열,곽준영', 한국통신학회논문지 37(5), 2012년5월 pp.375-387.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017497A (ko) * 2017-06-20 2020-02-18 칼 짜이스 에스엠테 게엠베하 공간 내의 가동 대상체의 위치를 결정하기 위한 시스템, 방법 및 마커
KR102559963B1 (ko) 2017-06-20 2023-07-26 칼 짜이스 에스엠테 게엠베하 공간 내의 가동 대상체의 위치를 결정하기 위한 시스템, 방법 및 마커

Also Published As

Publication number Publication date
KR20160119412A (ko) 2016-10-13

Similar Documents

Publication Publication Date Title
CN112258567B (zh) 物体抓取点的视觉定位方法、装置、存储介质及电子设备
JP6734940B2 (ja) 三次元計測装置
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US8861785B2 (en) Information processing device, information processing method and program
JP6338021B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP3020898B2 (ja) アフィンカメラ補正による三次元位置の線形推定方法
JP6701930B2 (ja) オーサリング装置、オーサリング方法およびオーサリングプログラム
KR101685797B1 (ko) 대형 부재의 6자유도 변위 추정 방법 및 시스템
JP6464938B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2016525842A (ja) カメラ動き予測及び修正のための方法
JP2011179908A (ja) ３次元計測装置、その処理方法及びプログラム
JP2011513724A (ja) 基準座標上の視覚的イメージを利用した客体位置の測定方法
JP2014013147A5 (ko)
JP2014112055A (ja) カメラ姿勢の推定方法およびカメラ姿勢の推定システム
JP2019020997A (ja) 情報処理装置及びその制御方法、並びに、プログラム
CN109544643A (zh) 一种摄像机图像校正方法及装置
JPWO2014076769A1 (ja) 検出装置、方法及びプログラム
KR20220050722A (ko) 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법
CN113052974A (zh) 物体三维表面的重建方法和装置
WO2018134866A1 (ja) カメラ校正装置
KR101634283B1 (ko) 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
JP6954367B2 (ja) 計測システム、補正処理装置、補正処理方法、及びプログラム
CN110176035B (zh) 标志点的定位方法、装置、计算机设备和存储介质
JP6996569B2 (ja) 計測システム、補正処理装置、補正処理方法、及びプログラム
JP2014175782A (ja) カメラパラメータ推定装置及びカメラパラメータ推定方法並びにカメラパラメータ推定プログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150403

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160523

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20161121

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161206

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161206

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20191126

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20210917