Nothing Special   »   [go: up one dir, main page]

KR102207725B1 - 다중 측량 모드의 3차원 측량 시스템 및 측량방법 - Google Patents

다중 측량 모드의 3차원 측량 시스템 및 측량방법 Download PDF

Info

Publication number
KR102207725B1
KR102207725B1 KR1020187026659A KR20187026659A KR102207725B1 KR 102207725 B1 KR102207725 B1 KR 102207725B1 KR 1020187026659 A KR1020187026659 A KR 1020187026659A KR 20187026659 A KR20187026659 A KR 20187026659A KR 102207725 B1 KR102207725 B1 KR 102207725B1
Authority
KR
South Korea
Prior art keywords
survey
point
mode
surveying
dimensional
Prior art date
Application number
KR1020187026659A
Other languages
English (en)
Other versions
KR20180126475A (ko
Inventor
시야오버 자오
원빈 왕
쯔 이에
충마오 이에
잰 장
러이재 황
시야오핑 샹
Original Assignee
샤이닝 쓰리디 테크 컴퍼니., 리미티드.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201610220338.7A external-priority patent/CN107289877A/zh
Priority claimed from CN201610584281.9A external-priority patent/CN106441200B/zh
Application filed by 샤이닝 쓰리디 테크 컴퍼니., 리미티드. filed Critical 샤이닝 쓰리디 테크 컴퍼니., 리미티드.
Publication of KR20180126475A publication Critical patent/KR20180126475A/ko
Application granted granted Critical
Publication of KR102207725B1 publication Critical patent/KR102207725B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/025—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application
    • G06F15/0275—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application for measuring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G01C2011/36—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 3차원 디지털 이미징 분야에 관한 것으로서 구체적으로 다중 측량 모드의 3차원 측량 시스템 및 측량방법에 관한 것이다. 측량 시스템은 전체적인 측량 시스템의 공조작업을 제어하기 위한 제어유닛; 여러 종류의 라이트 템플릿 디지털 패턴이 저장된 메모리와 프로젝터를 포함하는 가변 디지털 패턴 발생유닛; 피측 물체의 표면에 투사된 패턴을 획득하기 위한 이미지 센서; 다중 모드 디지털 패턴 프로세서인 이미지 처리유닛; 및 다중 모드 3차원 점구름 컴퓨터인 컴퓨팅 유닛을 포함한다. 본 발명의 다중 측량 모드의 3차원 측량 시스템 및 측량방법은 측량모드를 전환하는 것을 통해 상이한 피측 물체의 표면의 높은 정밀도, 높은 디티일의 3차원 측량 또는 핸드헬드 실시간 측량을 실현할 수 있어 광범위한 응용범위를 가진다.

Description

다중 측량 모드의 3차원 측량 시스템 및 측량방법
본 발명은 3차원 디지털 이미징 및 모델링 분야에 관한 것으로서 구체적으로 다중 측량 모드의 3차원 측량 시스템 및 측량방법에 관한 것이다.
물체 표면에 대해 비접촉 3차원 측량을 진행하는 기술은 이미 공업, 의료, 예술, 교육 등 여러 분야에서 광범위하게 응용되고 있다. 상이한 분야의 응용은 3차원 측량의 기술에 대한 요구가 모두 다르다. 예를 들어 자동차공업은 3차원 측량의 데이터의 정확도가 높고 데이터 세부 내용이 명확할 것을 요구하고 인체 3차원 측량은 신속하게 인체 3차원 데이터를 획득함과 동시에 측량 시스템이 헨드헬드 기능을 가질것을 요구하나 정확도에 대한 요구는 비교적 낮으며 대형 조각의 3차원 측량은 측량 시스템이 핸드헬드 기능을 가질것을 요구함과 동시에 데이터 정확도에 대한 요구가 비교적 높고 데이터가 일정한 세부 내용을 가질 것을 요구한다.
현재 이미 알고 있는 3차원 스캐너 및 그의 측량방법은 모두 상기 요구의 기능을 하나의 3차원 측량 시스템이 집합시키는 것을 만족시킬 수 없다. 예를 들어 중국 발명특허 CN1483999A에는 물체의 3차원 표면 윤곽을 측량하는 방법 및 시스템을 공개하였는데 이는 코드 라이트와 위상의 3차원 측량 시스템을 이용하여 높은 정밀도의 3차원 측량을 실현할 수 있다. 그러나 상기 방법 및 시스템은 다수의 사진을 사용하여 3차원 재구성을 진행해야 하므로 핸드헬드 기능을 실현할 수 없다. 이 외에 발명특허 CN101189487 B에 공개된 3차원 스캔 자동참조시스템과 기기 및 발명특허 CN102112845 B에 공개된 표면 특징의 자체 적응성 3차원 스캔에 사용되는 시스템은 모두 핸드헬드 3차원 스캐너를 제기하였다. 그러나 상기 기기는 높은 디테일, 높은 정밀도의 3차원 측량을 실현할 수 없는 동시에 투영 패턴이 원거리 업데이트를 할 수 없다. 이 외에 상술한 여러가지 모드의 측량은 독립적인 것인 바, 이들이 측량하는 데이터는 처리, 융합 및 최적화 될 수 없고 오직 몇가지 측량모드를 하나의 기기에 간단하게 집중시킨 것에 불과하다. 이러한 상황에서 여러가지 측량모드를 사용하여 측량결과에 대해 진행한 최적화는 큰 도움이 없다.
본 발명이 해결하고자 하는 기술적 과제는 다중 측량 모드의 3차원 측량 시스템을 제공하는 것인데 측량모드를 전환하는 것을 통해 여러 구조의 광패턴의 고정측량모드를 사용하여 물체 표면에 대한 높은 정밀도, 높은 디테일의 3차원 측량을 실현할 수 있고 또 하나의 사진을 사용한 핸드헬드 측량모드를 사용하여 물체 표면에 대해 실시간으로 빠른 핸드헬드 3차원 측량을 실현할 수 있게 된다.
본 발명이 해결하고자 하는 기술적 과제는 다중 측량 모드의 3차원 측량 시스템을 제공하는 것인데 측량모드를 전환하는 것을 통해 여러 구조의 광패턴의 고정측량모드를 사용하여 물체 표면에 대한 높은 정밀도, 높은 디테일의 3차원 측량을 실현할 수 있고 또 하나의 사진을 사용한 핸드헬드 측량모드를 사용하여 물체 표면에 대해 실시간으로 빠른 핸드헬드 3차원 측량을 실현할 수 있게 된다.
상기 목적을 실현하기 위하여 본 발명은 아래와 같은 기술적 해결수단을 사용한다.
다중 측량 모드의 3차원 측량 시스템은 제어유닛, 가변 디지털 패턴 발생유닛, 이미지 처리유닛, 컴퓨팅유닛과 적어도 하나의 이미지 센서를 포함하되,
상기 제어유닛은 상기 가변 디지털 패턴 발생유닛, 이미지 처리유닛, 컴퓨팅유닛 및 이미지 센서를 각각 연결하여 전반적인 측량 시스템의 공조작업을 제어하고;
상기 가변 디지털 패턴 발생유닛은 여러 종류의 라이트 템플릿 디지털 패턴이 저장된 메모리와 디지털 프로젝터이고 상기 메모리에서의 디지털 패턴을 피측 물체의 표면에 투사하기 위한 프로젝터를 포함하며;
상기 이미지 센서는 상기 프로젝터가 피측 물체의 표면에 투사한 패턴을 획득하기 위한 것이고;
상기 이미지 처리유닛은 여러가지 이미지 처리모드를 가지는 다중 모드 디지털 패턴 프로세서이고 선택된 이미지 처리모드에 근거하여 상기 이미지 센서가 획득한 피측물체의 표면의 패턴을 추출함으로써 피측 물체의 표면의 2차원 특징을 획득하며;
상기 컴퓨팅유닛은 여러가지 3차원 점구름 컴퓨팅 모드를 가지는 다중 모드3차원 점구름 컴퓨터이고, 선택된 3차원 점구름 컴퓨팅 모드에 근거하여 상기 이미지 처리유닛이 처리한 후의 2차원 특징에 대해 대응점 검색 및 3차원 재구성을 진행함으로써 피측 물체의 표면의 3차원 데이터를 획득한다.
바람직하게, 상기 메모리에 저장된 라이트 템플릿 디지털 패턴은 사인 줄무늬, 디지털 스페클 패턴, 다수의 평행직선 패턴을 포함하나 이에 한정되지 않는다.
바람직하게, 상기 제어유닛과 연결되어 라이트 템플릿 디지털 패턴, 이미지 처리모드와 3차원 점구름 컴퓨팅 모드를 선택하고 측량결과를 표시하기 위한 인간-컴퓨터 상호작용 유닛을 더 포함한다.
바람직하게, 상기 제어유닛과 연결되어 외부 단말기와 통신하기 위한 통신유닛을 더 포함한다.
바람직하게, 상기 통신유닛과 외부 단말기의 통신내용에는 상기 컴퓨팅유닛이 획득한 피측 물체의 표면의 3차원 데이터를 출력하는 것과 업데이트되거나 증가한 라이트 템플릿 디지털 패턴, 이미지 프로세싱 알고리즘과 3차원 점구름 컴퓨팅 알고리즘을 입력하는 것을 포함한다.
바람직하게, 상기 3차원 측량 시스템은 핸드헬드 측량기기이다.
바람직하게, 상기 핸드헬드 측량기기는 본체, 본체 앞부분 중심에 설치된 프로젝터, 프로젝터 양측에 대칭되게 설치된 이미지 센서, 및 본체 내에 설치된 제어유닛, 메모리, 이미지 처리유닛과 컴퓨팅유닛을 포함하고 상기 본체 뒷부분에는 핸들 또는 핸드헬드부가 설치된다.
본 발명의 다중 측량 모드의 3차원 측량 시스템은 그의 가변 디지털 패턴 발생유닛의 메모리에 여러가지 라이트 템플릿 디지털 패턴이 저장되어 디지털 프로젝터를 통해 피측 물체의 표면에 투사한 후 이미지 센서에 의해 대응되는 패턴을 획득하고 다중 모드 디지털 패턴 프로세서와 다중 모드3차원 점구름 컴퓨터에 의해 처리된 후 여러가지 측량모드에서의 측량 데이터를 획득할 수 있다. 측량모드를 전환하는 것을 통해 여러 구조의 광패턴의 고정측량모드를 사용하여 공업부품과 같은 물체 표면에 대한 높은 정밀도, 높은 디테일의 3차원 측량을 실현할 수 있고; 또 하나의 사진을 사용한 핸드헬드 측량모드를 사용하여 인체, 조각 등 물체 표면에 대해 실시간으로 빠른 핸드헬드 3차원 측량을 실현할 수 있게 된다. 이로써 사용자의 요구에 근거하여 상이한 피측 물체의 표면에 대한 높은 정밀도, 높은 디테일의 3차원 측량 또는 핸드헬드 실시간 측량을 실현할 수 있어 광범위한 응용범위를 가진다.
다른 한 편으로 본 발명의 3차원 측량 시스템은 통신유닛을 통해 업데이트하거나 증가한 라이트 템플릿 디지털 패턴, 이미지 프로세싱 알고리즘과 3차원 점구름 컴퓨팅 알고리즘을 입력할 수 있어 사용자 기기에 대한 원격 업그레이드 또는 사용자의 측량모드를 증가할 수 있으므로 상이한 시기의 사용자의 요구를 한층 더 만족시키고 기기 업데이트 비용을 절감하므로 양호한 경제적 효익이 있다.
본 발명은 상기 다중 측량 모드의 3차원 측량 시스템의 데이터 처리에 사용되는 다중 측량 모드의 3차원 측량방법을 더 제공하여 높은 디테일, 높은 정밀도의 3차원 측량을 실현한다.
구체적으로, 상술한 다중 측량 모드의 3차원 측량방법은 다음과 같은 단계를 포함한다.
S1, 여러가지 측량모드가 획득한 측량데이터를 통일적으로 나타내기 위한 통일된 데이터 구조 모델을 셋업하는 단계;
S2, 하나의 측량모드에서 측량하여 얻은 매 하나의 점구름에 상기 통일된 데이터구조표현을 사용하고 계산과 전처리를 진행하는 단계;
S3, 상이한 측량모드가 획득한 데이터를 접합시키고 임의의 위치의 두개의 점구름을 통일된 좌표계에 맞추는 단계;
S4, 접합 후의 데이터에 대해 전역 최적화를 진행하여 측량결과를 획득하는 단계.
바람직하게, 단계 S1에서 여러가지 측량모드는 사인 줄무늬 측량, 디지털 스페클 측량, 다수의 평행직선 측량을 포함한다.
바람직하게, 단계 S1은 구체적으로,
여러가지 측량모드가 획득한 측량 데이터에 대하여 연속되는 음함수
Figure 112018091529054-pct00001
를 사용하여 표현하는 단계를 포함하는데 여기서 x∈R3은 3차원 공간에서의 위치를 나타내고 는 x에서 피측량 물체 표면까지의 최단거리이며
Figure 112018091529054-pct00002
=0이 나타내는 연속곡면은 측량하여 얻은 물체의 표면이다.
바람직하게, 단계 S2에서 계산과 전처리는 구체적으로,
S21, 하나의 측량구역을 둘러싼 입방체G를 사용하여
Figure 112018091529054-pct00003
의 변수 영역으로 하고 입방체G를 동일한 크기의 작은 입방체
Figure 112018091529054-pct00004
로 분할하는 단계;
S22, 측량하여 얻은 점구름에서의 매 하나의 점
Figure 112018091529054-pct00005
에 대해
Figure 112018091529054-pct00006
가 위치하는 작은 입방체
Figure 112018091529054-pct00007
를 찾는데 여기서
Figure 112018091529054-pct00008
는 점의 3차원 좌표이고
Figure 112018091529054-pct00009
는 점의 법벡터인 단계;
S23, 매 하나의
Figure 112018091529054-pct00010
및
Figure 112018091529054-pct00011
를 중심으로 하는n3개의
Figure 112018091529054-pct00012
에 대해 각각 거리값
Figure 112018091529054-pct00013
와 거리값의 신뢰가중치
Figure 112018091529054-pct00014
를 계산하는 단계:
Figure 112018091529054-pct00015
(1)
Figure 112018091529054-pct00016
(2)
여기서 1＜n≤10,
Figure 112018091529054-pct00017
는 계산에 참여한
Figure 112018091529054-pct00018
및
Figure 112018091529054-pct00019
의 중심점이고
Figure 112018091529054-pct00020
는
Figure 112018091529054-pct00021
에서 피측량 물체 표면까지의 최단거리이며 물체의 외면에서는 포지티브 값이고 물체의 내면에서는 네거티브 값이며
Figure 112018091529054-pct00022
는
Figure 112018091529054-pct00023
의 신뢰도를 나타내고
Figure 112018091529054-pct00024
는
Figure 112018091529054-pct00025
의 변의 길이;
S24, 마칭 큐브 알고리즘을 사용하여 점구름과 메쉬결과를 획득하는 단계를 포함한다.
바람직하게,
S25, 측량하여 얻은 다수의 점구름에서의 점이 동일한
Figure 112018091529054-pct00026
에 중복하여 떨어지게 되면 순차적으로 상기 거리값
Figure 112018091529054-pct00027
과 거리값의 신뢰가중치
Figure 112018091529054-pct00028
를 계산하는 단계를 더 포함하는데,
Figure 112018091529054-pct00029
(3)
Figure 112018091529054-pct00030
(4)
여기서
Figure 112018091529054-pct00031
는 업데이트 전의 거리값을 나타내고
Figure 112018091529054-pct00032
는 업데이터 전의 신뢰 가중치를 나타내며
Figure 112018091529054-pct00033
는 최근 계산하여 얻은 거리값은 나타내고
Figure 112018091529054-pct00034
는 최근 계산하여 얻은 신뢰가중치를 나타내며
Figure 112018091529054-pct00035
는 업데이트 후의 거리값을 나타내고
Figure 112018091529054-pct00036
는 업데이트 후의 신뢰가중치를 나타내며;
그 다음 마칭 큐브 알고리즘(Marching Cube)을 사용하여 점구름과 메쉬결과를 획득한다.
바람직하게,
S26, 측량하여 얻은 다수의 점구름에서의 점이 동일한
Figure 112018091529054-pct00037
에 중복하여 떨어지면 순차적으로 상기 거리값
Figure 112018091529054-pct00038
과 거리값의 신뢰가중치
Figure 112018091529054-pct00039
를 계산하고 측량이 완료된 후 매 하나의
Figure 112018091529054-pct00040
에 대하여 가중평균의 방법을 사용하여 최종적인
Figure 112018091529054-pct00041
와
Figure 112018091529054-pct00042
를 계산하는 단계를 더 포함하는 바,
Figure 112018091529054-pct00043
(5)
Figure 112018091529054-pct00044
(6)
여기서
Figure 112018091529054-pct00045
와
Figure 112018091529054-pct00046
는 다수의 점구름에서의 점이 j번째로 동일한
Figure 112018091529054-pct00047
에 중복하여 떨어질 때 계산하여 얻은 값이고; 그 다음 마칭 큐브 알고리즘(Marching Cube)을 사용하여 점구름과 메쉬결과를 획득한다.
바람직하게, 측량모드가 다수의 평행직선 측량일 경우 측량과정에서 얻은 측량 데이터는 실시간 계산 업데이트를 진행하지 않고 샘플링 방식으로만 표시하여 사용자의 측량을 지도하며;
측량이 완료된 후 측량하여 얻은 모든 점구름을 통일된 전역좌표에 놓은 다음 모든 점구름의 법벡터를 계산하고 그 다음 거리값
Figure 112018091529054-pct00048
및 거리값의 신뢰가중치
Figure 112018091529054-pct00049
의 계산을 진행한다.
바람직하게, 모든 점구름의 법벡터를 계산할 때 주요 성분을 사용하여 매 하나의 점의 법벡터를 분석 계산하는데 구체적으로 다음과 같은 공식을 사용한다:
Figure 112018091529054-pct00050
(7)
Figure 112018091529054-pct00051
(8)
여기서
Figure 112018091529054-pct00052
는 법벡터 계산을 대기하는 점이고
Figure 112018091529054-pct00053
는
Figure 112018091529054-pct00054
의 특정 근방 내의 점이며
Figure 112018091529054-pct00055
는 공분산 행렬이고 이의 최소 특징값이 대응하는 특징 벡터는
Figure 112018091529054-pct00056
의 법벡터이며; 법벡터가 카메라를 향한 방향을 법벡터의 방향으로 정의한다.
바람직하게, 단계 S3에서 상이한 측량모드가 획득한 데이터에 대한 접합은 대략적인 접합과 정확한 접합을 포함하는데 상기 대략적인 접합의 방법은 수동 선택 접합, 마크 포인트 접합, 특징 접합을 포함하고 상기 정확한 접합의 방법은 반복 근점 알고리즘을 포함한다.
바람직하게, 단계 S4는 구체적으로,
S41, 측량 데이터의 두 프레임 사이에서 점구름과 마크 포인트의 대응점을 찾는 단계;
S42, 오차 공식을 최소화하여 매 프레임마다의 점구름의 강체 변화 매트릭스를 획득하는 단계;
S43, 강체 변화 매트릭스를 매 프레임마다의 점구름에 놓고 사라질 때까지 상기 과정을 반복하는 단계를 포함한다.
바람직하게, 단계 S42에서 사용하는 오차 공식은:
Figure 112018091529054-pct00057
Figure 112018091529054-pct00058
(9)
여기서
Figure 112018091529054-pct00059
는
Figure 112018091529054-pct00060
의 대응점이고
Figure 112018091529054-pct00061
는
Figure 112018091529054-pct00062
의 대응 마크 포인트이며
Figure 112018091529054-pct00063
는
Figure 112018091529054-pct00064
의 법벡터이고
Figure 112018091529054-pct00065
는 i번째 점구름의 강체 변화 매트릭스이며
Figure 112018091529054-pct00066
는 모든 점구름의 강체 변화 매트릭스이고
Figure 112018091529054-pct00067
와
Figure 112018091529054-pct00068
는 각각 점구름 대응점과 마크 포인트 대응점의 가중이다.
바람직하게, i, j에서 한 프레임이 다수의 평행직선 측량 데이터 일 경우
Figure 112018091529054-pct00069
을 설정한다.
본 발명의 다중 측량 모드의 3차원 측량방법은 여러가지 측량모드가 측량한 데이터에 연속적인 음함수
Figure 112018091529054-pct00070
를 사용하여 통일된 데이터 구조관리와 표현으로 함으로써 상이한 측량모드 전환의 목적에 도달한다. 이와 동시에 입방체를 사용하여 사용자 측량구역을 감싸고 상기 입방체를 균등하게 분할하여
Figure 112018091529054-pct00071
의 이산 표현을 실현함으로써 후속적인 데이터 처리의 기초로 한다. 본 발명의 다중 측량 모드의 3차원 측량방법은 여러가지 측량모드에서의 측량 데이터의 실시간 융합을 실현하고 높은 디테일, 높은 정밀도의 3차원 측량을 실현한다.
실제의 응용에서 사용자는 여러가지 측량모드와 결부하여 빠르고 편리하게 측량임무를 완성할 수 있다. 예를 들어 사람 크기의 조각작품을 측량할 경우 사람 얼굴 부분에 대하여 디지털 스페클 측량모드를 사용하면 빠르게 데이터를 얻을 수 있고 문자, 주름이 많은 복장, 악세사리 등 부분에 대하여 다수의 평행직선 측량모드를 사용하면 빠르게 높은 정밀도의 데이터를 얻을 수 있으며 사이즈가 비교적 작은(<15cm) 고립된 조각부분, 예하면 찻주전자, 찻잔 등에 대하여 사인 줄무늬 측량모드를 사용하여 높은 정밀도의 3차원 데이터를 얻을 수 있다.
본 발명의 다중 측량 모드의 3차원 측량방법은 여러가지 측량모드가 측량한 데이터에 연속적인 음함수
Figure 112018091529054-pct00072
를 사용하여 통일된 데이터 구조관리와 표현으로 함으로써 상이한 측량모드 전환의 목적에 도달한다. 이와 동시에 입방체를 사용하여 사용자 측량구역을 감싸고 상기 입방체를 균등하게 분할하여
Figure 112018091529054-pct00073
의 이산 표현을 실현함으로써 후속적인 데이터 처리의 기초로 한다. 본 발명의 다중 측량 모드의 3차원 측량방법은 여러가지 측량모드에서의 측량 데이터의 실시간 융합을 실현하고 높은 디테일, 높은 정밀도의 3차원 측량을 실현한다.
실제의 응용에서 사용자는 여러가지 측량모드와 결부하여 빠르고 편리하게 측량임무를 완성할 수 있다. 예를 들어 사람 크기의 조각작품을 측량할 경우 사람 얼굴 부분에 대하여 디지털 스페클 측량모드를 사용하면 빠르게 데이터를 얻을 수 있고 문자, 주름이 많은 복장, 악세사리 등 부분에 대하여 다수의 평행직선 측량모드를 사용하면 빠르게 높은 정밀도의 데이터를 얻을 수 있으며 사이즈가 비교적 작은(<15cm) 고립된 조각부분, 예하면 찻주전자, 찻잔 등에 대하여 사인 줄무늬 측량모드를 사용하여 높은 정밀도의 3차원 데이터를 얻을 수 있다.
도 1은 본 발명의 다중 측량 모드의 3차원 측량 시스템의 일 구체적 실시예의 구조개략도다.
도 2는 도 1의 실시예의일부 유닛의 구조개략도다.
도 3은 사인 줄무늬 서열패턴의 개략도다.
도 4는 디지털 스페클 패턴의 개략도다.
도 5는 평행선 패턴의 개략도다.
도 6은 본 발명의 다중 측량 모드의 3차원 측량방법에서의
Figure 112018091529054-pct00074
의 이산화 표현의 개략도다.
도면부호의 설명
1: 회로기판 2: 디지털 패턴 프로젝터
3: 이미지 센서 4: 디지털 패턴메모리
5: 측량 트리거 버튼 6: 핸들
7: 데이터 전송 인터페이스
본 발명을 한층 더 이해하기 위하여 이하 실시예와 결부하여 본 발명의 바람직한 실시방안에 대해 설명하고자 하나 이러한 설명은 단지 본 발명의 특징과 장점을 한층 더 설명하기 위한 것일 뿐 본 발며으이 청구범위에 대한 한정이 아님을 이해해야 한다.
본 발명의 물체 표면의 3차원 데이터를 획득하기 위한 다중 측량 모드의 3차원 측량 시스템은 가변 디지털 패턴 발생유닛, 둘 또는 둘 이상의 이미지 센서, 제어기, 다중 모드 디지털 패턴 프로세서, 다중 모드3차원 점구름 컴퓨터를 포함한다.
여기서 제어기는 디지털 투영장치, 이미지 센서, 이미지 프로세서 및 3차원 점구름 컴퓨터 공조작업을 제어하기 위한 것이고 3차원 점구름 데이터를 신함과 동시에 3차원 점구름 데이터를 표시, 편집, 저장한다.
가변 디지털 패턴 발생유닛은 하나의 디지털 패턴메모리와 하나의 디지털 패턴프로젝터를 포함한다. 디지털 패턴메모리에는 각종 디지털 패턴이 미리 저장되고 디지털 패턴프로젝터는 디지털 패턴메모리의 패턴을 물체 표면에 투사시켜 물체 3차원 데이터를 재구성하는 특징으로 한다. 투사 가능한 여러가지 여러가지 라이트 탬플릿 패턴은 사인 줄무늬, 디지털 스페클 패턴, 다수의 평행직선 패턴, 및 기타 투영패턴을 포함하나 이에 한정되지 않는다.
이미지 센서는 디지털 투영장치가 물체 표면에 투사한 패턴을 획득한다.
다중 모드 디지털 패턴 프로세서는 여러가지 이미지 처리모드를 구비하고 선택된 이미지 처리모드에 근거하여 이미지 센서가 획득한 물체 표면의 패턴을 추출함으로써 물체 표면의 2차원 특징을 얻는다.
다중 모드3차원 점구름 컴퓨터는 여러가지 3차원 점구름 컴퓨팅 모드를 구비하고 선택된 3차원 점구름 컴퓨팅 모드에 근거하여 이미지프로세서가 처리한 후의 2차원 특징에 대해 대응점 검색 및 3차원 재구성을 진행함으로써 물체 표면의 3차원 데이터를 얻는다.
실제 사용에서의 편리를 위하여 본 발명의 측량 시스템은 인간-컴퓨터 상화작용 유닛과 통신유닛을 더 설치할 수 있다.
여기서 인간-컴퓨터 상호작용 유닛은 터치 타입의 액정 디스플레이인 바, 제어기와 연결하여 라이트 템플릿 디지털 패턴, 이미지 처리모드와 3차원 점구름 컴퓨팅 모드를 선택하고 측량결과를 표시한다. 통신유닛은 무선통신모듈과 통신 인터페이스를 포함하여 외부 단말기와 통신하는데 사용된다. 통신내용은 다중 모드 3차원 점구름 컴퓨터가 획득한 피측 물체 표면의 3차원 데이터를 출력하는 것과 업데이트하거나 증가한 라이트 템플릿 디지털 패턴, 이미지 프로세싱 알고리즘과 3차원 점구름 컴퓨팅 알고리즘을 입력하는 것을 포함한다.
본 실시예에서 3차원 측량 시스템이 작동할 경우 사용자는 하나의 측량모드를 선택하고 제어기는 측량모드에 근거하여 디지털 패턴 메모리에 명령을 발송함으로써 디지털 패턴 메모리가 투영해야 할 패턴을 알리며 이미지 센서를 오픈시켜 이미지 센서가 명령을 트리거할 상태에 놓이도록 한다. 디지털 패턴 메모리는 디지털 패턴 프로젝터에 패턴을 발송한다. 디지털 패턴 프로젝터는 패턴을 물체 표면에 투사한다. 패턴의 투영이 완료된 후 1ms 내에 디지털 패턴 프로젝터는 이미지 센서에 펄스신호를 발송한다. 이미지 센서는 디지털 투영장치가 물체 표면에 투사한 패턴을 채집하고 다중 모드 디지털 패턴 프로세서에 발송한다. 다중 모드 디지털 패턴 프로세서는 패턴을 수신한 후 제어기가 발송한 측량모드 신호에 근거하여 대응되는 특징을 사용하여 알고리즘을 추출함으로써 물체 표면의 2차원 특징을 얻는다. 디지털 패턴 프로세서는 2차원 특징을 다중 모드 3차원 점구름 컴퓨터에 발송한다. 3차원 점구름 컴퓨터는 2차원 특징을 수신한 후 제어기가 발송한 측량모드 신호에 근거하여 대응되는 알고리즘을 사용하여 대응점 검색 및 3차원 재구성을 진행함으로써 물체 표면의 3차원 데이터를 얻는다. 3차원 점구름 컴퓨터는 물체 표면의 3차원 데이터를 제어기로 발송하여 표시, 편집, 저장을 진행하거나 또는 통신유닛을 통해 외부 단말기에 전송하여 단말기로 하여금 더 처리하게 한다.
시스템이 업데이트 또는 3차원 측량모드를 증가해야 할 경우 사용자는 업데이트가 필요하거나 증가된 패턴을 통신유닛을 통해 디지털 패턴 메모리에 발송함과 동시에 업데이트가 필요하거나 증가된 이미지 프로세싱 알고리즘과 3차원 점구름 컴퓨팅 알고리즘을 다중 모드 디지털 패턴 프로세서와 다중 모드 3차원 점구름 컴퓨터에 각각 발송한다. 업데이트가 완료된 후 디지털 패턴메모리, 이미지프로세서, 3차원 점구름 컴퓨터는 완료신호를 리턴함으로써 시스템의 업데이트 또는 3차원 측량모드의 증가를 완료한다.
이하 도면과 구체적인 실시예와 결부하여 더 상세히 설명한다.
도 1과 도 2에 도시된 바와 같이 본 발명의 구체적인 실시예에서 다중 측량 모드의 3차원 측량기기는 기기 본체 및 내부의 회로기판(1), 디지털 패턴 프로젝터(2), 이미지 센서(3), 디지털 패턴 메모리(4) 및 측량 트리거 버튼(5)과 데이터 전송 인터페이스(7)를 포함하는데 여기서 회로기판(1)에는 제어기, 다중 모드 디지털 패턴 프로세서와 다중 모드 3차원 점구름 컴퓨터가 설치된다. 이 외에 기기 본체에는 잡을 수 있는 핸들(6)이 설치된다.
본 실시예의 측량기기가 작동될 경우 제어기는 측량 트리거 버튼(5)의 측량명령을 수신한 후 가변 디지털 패턴 발생유닛에 펄스신호를 발송하고 현재 모드에서의 패턴에 대해 투사하며 1ms 내에 제어기는 트리거 신호를 통해 두개의 이미지 센서(3)를 제어하여 투사된 패턴에 대해 동시에 영상수집을 진행하고 다중 디지털 패턴 프로세서와 3차원 점구름 컴퓨터 처리를 통해 3차원 점구름을 생성한다.
도3-도 5에 도시된 바와 같이 본 실시예의 가변 디지털 패턴 발생유닛은 사인 줄무늬 서열, 디지털 스페클, 평행선 패턴을 포함하나 이에 한정되지 않는 여러가지 라이트 탬플릿 패턴을 투사할 수 있다.
본 실시예의 3차원 측량기기는 측량모드를 전환하는 것을 통해 여러 구조의 광패턴의 고정측량모드를 사용하여 공업부품, 치아모형, 소형 목조품과 같은 물체 표면에 대한 높은 정밀도, 높은 디테일의 3차원 측량을 실현할 수 있고 하나의 사진의 핸드헬드 측량모드를 사용하여 인체, 조각과 같은 물체 표면에 대해 실시간으로 빠르게 3차원 측량을 실현할 수 있게 된다.
상술한 측량 시스템으로 하여금 여러가지 측량모드의 실시간 전화을 실현하고 측량 데이터의 융?을 진행하여 높은 디테일, 높은 저밀도의 3차원 측량을 실현할 수 있도록 하기 위하여 본 발명은 다중 측량 모드의 3차원 측량방법을 더 제공한다.
이하 상기 방법에 대해 상세히 설명한다.
우선, 상기 방법은 통일된 데이터 구조를 사용하여 측량 데이터에 대해 데이터 구조 관리와 표현을 진행하고자 한다.
구체적으로 사인 줄무늬 측량, 디지털 스페클 측량, 다수의 평행직선 측량 이 세가지 측량모드가 획득한 측량 데이터에 대하여 통일된 데이터 구조관리와 표현을 사용함으로써 상이한 측량모드 전환 목적에 도달한다. 측량과정에서 하나의 연속된 음함수
Figure 112018091529054-pct00075
를 지키는데 여기서
Figure 112018091529054-pct00076
는 3차원 공간에서의 위치를 나타내고
Figure 112018091529054-pct00077
는
Figure 112018091529054-pct00078
에서 물체 표면까지의 최단거리를 나타낸다. 임의의 측량모드를 사용할 경우 하나의 데이터를 새로 측량한 후 이 데이터를 사용하여
Figure 112018091529054-pct00079
의 값을 변화함으로써 데이터 융합의 목적에 도달한다. 측량이 완료된 후
Figure 112018091529054-pct00080
이 나타내는 연속곡면은 측량하여 얻은 물체의 표면이다.
컴퓨터에서 연속적인 데이터를 표현할 수 없으므로
Figure 112018091529054-pct00081
에 대해 이산 표현을 해야 한다. 본 실시예에서 하나의 입방체G를 사용하여 사용자가 측량한 영역을 감싸고 입방체를
Figure 112018091529054-pct00082
의 변수 영역으로 한다. G를 동일한 크기의 작은 입방체
Figure 112018091529054-pct00083
(만약
Figure 112018091529054-pct00084
의 변의 길이가 512이고
Figure 112018091529054-pct00085
의 변의 길이가 1이면
Figure 112018091529054-pct00086
개의 작은 입방체를 얻을 수 있음)로 균일하게 분할한다. 매 하나의
Figure 112018091529054-pct00087
의 중심점
Figure 112018091529054-pct00088
는 두개의 값
Figure 112018091529054-pct00089
와
Figure 112018091529054-pct00090
를 기록한다.
Figure 112018091529054-pct00091
는
Figure 112018091529054-pct00092
에서 물체 표면까지의 최단거리를 나타내고 물체의 외면에서는 포지티브 값이고 물체의 내면에서는 네거티브 값(도 6에 도시된 바와 같이)이다.
Figure 112018091529054-pct00093
는 누계된 가중으로서
Figure 112018091529054-pct00094
의 신뢰도를 나타낸다.
Figure 112018091529054-pct00095
의 값이 클 수록
Figure 112018091529054-pct00096
는 더욱 신뢰할 수 있다.
초기화 할 경우
Figure 112018091529054-pct00097
와
Figure 112018091529054-pct00098
는 모두 0이다. 한가지 측량모드에서 하나의 데이터를 새로 측향한 후 데이터에서의 매 하나의 점
Figure 112018091529054-pct00099
는 각각
Figure 112018091529054-pct00100
에서 융합하는데 여기서
Figure 112018091529054-pct00101
는 점의 3차원 좌표,
Figure 112018091529054-pct00102
는 점의 법벡터이다.
우선
Figure 112018091529054-pct00103
가 위치한 작은 입방체
Figure 112018091529054-pct00104
를 찾는다. 바람직하게, 본 실시예에서는 단지
Figure 112018091529054-pct00105
를 중심으로 하는
Figure 112018091529054-pct00106
개
Figure 112018091529054-pct00107
의 값을 변화하는데 이렇게 되면 저장공간과 연산시간을 크게 절감할 수 있게 된다.
매 하나의 변화가 필요한
Figure 112018091529054-pct00108
는 아래 공식에 근거하여 부호가 있는 거리값
Figure 112018091529054-pct00109
과 거리값의 신뢰가중치
Figure 112018091529054-pct00110
를 계산한다:
Figure 112018091529054-pct00111
Figure 112018091529054-pct00112
여기서
Figure 112018091529054-pct00113
는
Figure 112018091529054-pct00114
의 변의 길이이다. 물체 표면의 한 점
Figure 112018091529054-pct00115
가 이웃하는 곡면은 이 점의 법평면으로 근사하게 나타낼 수 있으므로
Figure 112018091529054-pct00116
부근의 공간에서의 한 점
Figure 112018091529054-pct00117
에서 물체 표면까지의 최단거리는
Figure 112018091529054-pct00118
에서
Figure 112018091529054-pct00119
법평명까지의 거리를 사용하여 근사하게 표시할 수 있다.
Figure 112018091529054-pct00120
에서
Figure 112018091529054-pct00121
까지의 거리가 멀 수록
Figure 112018091529054-pct00122
의 근사치는 정확하지 않으므로
Figure 112018091529054-pct00123
는
Figure 112018091529054-pct00124
에서
Figure 112018091529054-pct00125
까지의 거리와 반비례된다. 본 실시예에서는
Figure 112018091529054-pct00126
이다.
측량이 완료된 후 매 하나의
Figure 112018091529054-pct00127
에 있어서 가중평균의 방법을 사용하여 최종적인
Figure 112018091529054-pct00128
와
Figure 112018091529054-pct00129
를 얻을 수 있다:
Figure 112018091529054-pct00130
Figure 112018091529054-pct00131
Figure 112018091529054-pct00132
여기서
Figure 112018091529054-pct00133
와
Figure 112018091529054-pct00134
는 다수의 점구름에서의 점이 j번째로 동일한
Figure 112018091529054-pct00135
에 중복하여 떨어질 때 계산하여 얻은 값이다.
Figure 112018091529054-pct00136
의 실시간 업데이트를 담보하기 위하여 상기 공식을 누가된 방식으로 고쳐 쓴다:
Figure 112018091529054-pct00137
Figure 112018091529054-pct00138
여기서
Figure 112018091529054-pct00139
는 업데이트 전의 거리값을 나타내고
Figure 112018091529054-pct00140
는 업데이트 전의 신뢰가중치를 나타내며
Figure 112018091529054-pct00141
는 최근 계산하여 얻은 거리값을 나타내고
Figure 112018091529054-pct00142
는 최근 계산하여 얻은 신뢰가중치를 나타내며
Figure 112018091529054-pct00143
는 업데이트 후의 거리값을 나타내고
Figure 112018091529054-pct00144
는 업데이트 후의 신뢰가중치를 나타낸다.
측량과정 또는 측량이 끝난 후 모두 마칭 큐브(MarchingCube) 방법을 사용하여 점구름과 메쉬결과를 획득할 수 있다.
데이터 융합의 경우 하나의 데이터에서의 매 하나의 점의 법벡터를 알아야 한다. 사인 줄무늬 측량과 디지털 스페클 측량모드가 얻은 것은 질서 있는 점구름이고 법벡터는 계산이 용이하다. 그러나 다수의 평행직선 측량 모드가 얻은 것은 직선 분포의 점구름이고 한 프레임의 점구름 데이터를 사용하면 법벡터를 계산할 수 없다. 따라서 본 발명의 측량방법에서 다수의 평행직선 측량 과정은 융합되지 않으며 샘플링 방식으로만 표시하여 사용자 측량을 지도한다. 측량이 완료된 후 측량하여 얻은 모든 점구름을 통일된 전역좌표계에 놓고 모든 점구름의 법벡터를 계산하며 제일 마지막 함께 융합된다. 본 발명의 방법에서는 주요 성분을 사용하여 매 하나의 점의 법벡터를 분석 계산한다. 구체적인 공식은:
Figure 112018091529054-pct00145
Figure 112018091529054-pct00146
여기서
Figure 112018091529054-pct00147
는 계산 대기중인 법벡터의 점이고
Figure 112018091529054-pct00148
는
Figure 112018091529054-pct00149
의 특정 근방 내의 점이며
Figure 112018091529054-pct00150
는 공분산 행렬로서 최소 특징값과 대응되는 특징 벡터는 바로
Figure 112018091529054-pct00151
의 법벡터이다. 그 다음 법벡터가 카메라를 향한 방향을 법벡터의 방향으로 정한다. 근방 내의 점을 찾는 것은 시간이 필요한 일이며 본 실시예에서는 상기 균일하게 분할된 데이터 구조를 사용하여 근방 내의 점을 찾는 일을 가속화하였다.
다음 상이한 측량 데이터 사이의 접합을 진행한다.
점구름 접합은 임의의 위치의 두개의 점구름을 통일된 좌표계에 맞추는 과정이다. 완전한 접합과정은 일반적으로 대략적인 접합과 정확한 접합으로 나뉜다. 대략적인 접합은 임의의 위치의 두개의 점구름을 대략적으로 맞추는 과정이다. 현재의 상황에서 사용 가능한 대략적인 접합의 방법은 수동 선택 접합, 마크 포인트 접합, 특징 접합이 있다. 수동 선택 접합은 사람과 기계의 인터랙션을 통해 대략적인 맞춤을 완성하는데 이러한 방법은 매우 안정적이긴 하나 시간이 비교적 많이 소모되어 별도의 작업량이 필요하게 된다. 실시간으로 측량하는 환경에 있어서 이러한 방식으로 대략적인 접합을 진행할 수 없다. 마크 포인트 접합은 피측량 물체 표면에 마크를 접착하여 점구름의 맞춤을 지도하는 방법이다. 이러한 방법은 매우 안정적이고 속도가 빠르나 마크를 접착할 수 없는 피측량체(예를 들어 인체, 골동품 등)는 상기 방법은 사용할 수 없다. 정확한 접합은 대략적으로 맞춘 두개의 점구름을 정확하게 맞추는 과정이다. 정확한 접합이 제일 통상적으로 사용하는 방법은 ICP(Iterative closest point)이다. ICP의 기본적인 원리는 두개의 점구름의 대응점을 반복 최적화 하여 대응점의 거리의 합이 제일 작도록 하는 것이다.
만약 측량한 데이터가 접합을 거치지 않으면 융합될 수 없고 측량기기 사용자는 측량상황, 예하면 어떤 부분이 측량되지 않았는가 하는 상황을 수시로 관찰할 수 없게 된다. 측량모드가 전환된 후의 첫번째 프레임은 접합과정을 거쳐야 한다. 다시 말하면 접합된 본체는
Figure 112018091529054-pct00152
에서 추출된 점구름과 한 프레임의 점구름 데이터이다. 만약 사인 줄무늬 측량으로 전환되면 측량모드는 마크 포인트 접합, 특징 접합, 수동 선택 접합을 모두 사용할 수 있다. 만약 디지털 스페클 측량모드로 전환하게 되면 상기 모드가 실시간 측량이므로 수동 선택 접합은 사용할 수 없다. 만약 다수의 평행직선 측량모드로 전환하게 되면 마찬가지로 실시간 측량이므로 수동 선택 접합을 사용할 수 없다. 한 프레임의 데이터량이 아주 작으므로 특징 접합도 사용할 수 없다. 그러므로 마크 포인트 접합을 사용할 수밖에 없다.
마지막으로 측량 데이터의 전역 최적화를 진행한다.
상술한 접합은 현재 프레임과 융합한 후의 데이터 양자의 최적화 과정이다. 만약 피측량 물체가 너무 크거나 프레임수가 너무 많으면 누계오차가 쉽게 발생한다. 누계오차는 전반적인 정확도에 영향을 주게 된다. 만약 회로가 존재하면 회로가 서로 교차하는 곳에서 큰 변형 또는 레이어 분할이 발생할 수 있다. 그러므로 전역 최적화 과정이 필요하다.
다수의 평행직선 측량 모드에서 한 프레임의 데이터 량은 매우 적으므로 점구름정보를 사용하여 전역 최적화를 실현할 수 없다. 마크 포인트의 전역 최적화는 세가지 모델의 데이터를 조직할 수 있으나 이 또한 여러가지 문제점이 존재한다. 1) 점구름 정보를 사용하지 않아 최적화 후의 국부적인 세부 내용이 호하지 않고, 2) 마크 포인트가 없이 측량을 진행할 경우 상기 방법을 사용할 수 없다.
상술한 문제에 기반하여 마크 포인트와 점구름의 연합 전역 최적화 방법을 사용한다. 우선 두 프레임 사이에서 점구름과 마크 포인트의 대응점을 찾는다. 다음 오차 공식을 최소화하여 매 프레임마다의 점구름의 강체 변화를 얻는다. 마지막으로 강체변화를 매 프레임마다의 점구름에 작용키시켜 이 과정이 사라질 때까지 반복한다. 사용되는 오차 공식은:
Figure 112018091529054-pct00153
Figure 112018091529054-pct00154
여기서
Figure 112018091529054-pct00155
는
Figure 112018091529054-pct00156
의 대응점이고
Figure 112018091529054-pct00157
는
Figure 112018091529054-pct00158
의 대응 마크 포인트이며
Figure 112018091529054-pct00159
는
Figure 112018091529054-pct00160
의 법벡터이고
Figure 112018091529054-pct00161
는 i번째 점구름의 강체 변화 매트릭스이다.
Figure 112018091529054-pct00162
는 모든 점구름의 강체 변화 매트릭스이고
Figure 112018091529054-pct00163
와
Figure 112018091529054-pct00164
는 각각 점구름 대응점과 마크 포인트 대응점의 가중이다. i, j에서 한 프레임이 다수의 평행직선 측량 데이터 일 경우
Figure 112018091529054-pct00165
을 설정한다.
Figure 112018091529054-pct00166
가 모두 0 일 경우 상기 알고리즘은 단순한 마크 포인트 전역 최적화가 된다.
Figure 112018091529054-pct00167
가 모두 0 일 경우 상기 알고리즘은 단순한 점구름 전역 최적화로 변한다.
이상 실시예의 설명은 단지 본 발명의 방법 및 그의 핵심적인 사상에 대한 요해를 돕기 위한 것이다. 지적해야 할 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들에게 있어서 본 발명의 원리를 벗어나지 않는 전제하에 본 발명에 대해 약간의 개선과 수정을 진행할 수도 있는데 이러한 개선과 수정 또한 본 발명의 청구범위의 보호범위에 속한다.

Claims (19)

  1. 가변 디지털 패턴 발생유닛, 이미지 처리유닛, 컴퓨팅유닛 및 이미지 센서를 각각 연결하여 전반적인 측량 시스템의 공조작업을 제어하기 위한 제어유닛;
    여러 종류의 라이트 템플릿 디지털 패턴이 저장된 메모리와 디지털 프로젝터이고 상기 메모리에서의 디지털 패턴을 피측 물체의 표면에 투사하기 위한 프로젝터를 포함하는 가변 디지털 패턴 발생유닛;
    상기 프로젝터가 피측 물체의 표면에 투사한 패턴을 획득하기 위한 이미지 센서;
    여러가지 이미지 처리모드를 가지는 다중 모드 디지털 패턴 프로세서이고 선택된 이미지 처리모드에 근거하여 상기 이미지 센서가 획득한 피측물체의 표면의 패턴을 추출함으로써 피측 물체의 표면의 2차원 특징을 획득하는 이미지 처리유닛;
    여러가지 3차원 점구름 컴퓨팅 모드를 가지는 다중 모드 3차원 점구름 컴퓨터이고 선택된 3차원 점구름 컴퓨팅 모드에 근거하여 상기 이미지 처리유닛이 처리한 후의 2차원 특징에 대해 대응점 검색 및 3차원 재구성을 진행함으로써 피측 물체의 표면의 3차원 데이터를 획득하는 컴퓨팅유닛;
    상기 제어유닛과 연결되어 외부 단말기와 통신하기 위한 통신유닛;을 포함하여 이루어지되,
    상기 컴퓨팅유닛은, 여러가지 측량모드가 획득한 측량데이터를 통일적으로 나타내기 위한 통일된 데이터 구조 모델을 셋업하고(S1), 하나의 측량모드에서 측량하여 얻은 매 하나의 점구름에 상기 통일된 데이터구조표현을 사용하고 계산과 전처리하며(S2), 상이한 측량모드가 획득한 데이터를 접합시키고 임의의 위치의 두개의 점구름을 통일된 좌표계에 맞춰서(S3) 접합 후의 데이터에 대해 전역 최적화를 진행하여 측량결과를 획득(S4)함으로써 3차원 데이터를 취득하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량 시스템.
  2. 제1항에 있어서,
    상기 통신유닛과 외부 단말기의 통신내용에는 상기 컴퓨팅유닛이 획득한 피측 물체의 표면의 3차원 데이터를 출력하는 것과 업데이트되거나 증가한 라이트 템플릿 디지털 패턴, 이미지 프로세싱 알고리즘과 3차원 점구름 컴퓨팅 알고리즘을 입력하는 것을 포함하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량 시스템.
  3. 제1항에 있어서,
    상기 여러가지 측량모드는 사인 줄무늬 측량, 디지털 스페클 측량, 다수의 평행직선 측량을 포함하고,
    상기 메모리에 저장된 라이트 템플릿 디지털 패턴은 사인 줄무늬, 디지털 스페클 패턴, 다수의 평행직선 패턴을 포함하나 이에 한정되지 않는 것을 특징으로 하는 다중 측량 모드의 3차원 측량 시스템.
  4. 가변 디지털 패턴 발생유닛, 이미지 처리유닛, 컴퓨팅유닛 및 이미지 센서를 각각 연결하여 전반적인 측량 시스템의 공조작업을 제어하기 위한 제어유닛;
    여러 종류의 라이트 템플릿 디지털 패턴이 저장된 메모리와 디지털 프로젝터이고 상기 메모리에서의 디지털 패턴을 피측 물체의 표면에 투사하기 위한 프로젝터를 포함하는 가변 디지털 패턴 발생유닛;
    상기 프로젝터가 피측 물체의 표면에 투사한 패턴을 획득하기 위한 이미지 센서;
    여러가지 이미지 처리모드를 가지는 다중 모드 디지털 패턴 프로세서이고 선택된 이미지 처리모드에 근거하여 상기 이미지 센서가 획득한 피측물체의 표면의 패턴을 추출함으로써 피측 물체의 표면의 2차원 특징을 획득하는 이미지 처리유닛;
    여러가지 3차원 점구름 컴퓨팅 모드를 가지는 다중 모드 3차원 점구름 컴퓨터이고 선택된 3차원 점구름 컴퓨팅 모드에 근거하여 상기 이미지 처리유닛이 처리한 후의 2차원 특징에 대해 대응점 검색 및 3차원 재구성을 진행함으로써 피측 물체의 표면의 3차원 데이터를 획득하는 컴퓨팅유닛;을 포함하여 이루어지되,
    상기 컴퓨팅유닛은, 여러가지 측량모드가 획득한 측량데이터를 통일적으로 나타내기 위한 통일된 데이터 구조 모델을 셋업하고, 하나의 측량모드에서 측량하여 얻은 매 하나의 점구름에 상기 통일된 데이터구조표현을 사용하고 계산과 전처리하며, 상이한 측량모드가 획득한 데이터를 접합시키고 임의의 위치의 두개의 점구름을 통일된 좌표계에 맞춰서 접합 후의 데이터에 대해 전역 최적화를 진행하여 측량결과를 획득함으로써 3차원 데이터를 취득하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량 시스템.
  5. 제4항에 있어서,
    상기 여러가지 측량모드는 사인 줄무늬 측량, 디지털 스페클 측량, 다수의 평행직선 측량을 포함하고,
    상기 메모리에 저장된 라이트 템플릿 디지털 패턴은 사인 줄무늬, 디지털 스페클 패턴, 다수의 평행직선 패턴을 포함하나 이에 한정되지 않는 것을 특징으로 하는 다중 측량 모드의 3차원 측량 시스템.
  6. 제5항에 있어서,
    상기 제어유닛과 연결되어 라이트 템플릿 디지털 패턴, 이미지 처리모드와 3차원 점구름 컴퓨팅 모드를 선택하고 측량결과를 표시하기 위한 인간-컴퓨터 상호작용 유닛을 더 포함하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량 시스템.
  7. 제6항에 있어서,
    상기 3차원 측량 시스템은 핸드헬드 측량기기인 것을 특징으로 하는 3차원 측량 시스템.
  8. 제7항에 있어서,
    상기 핸드헬드 측량기기는 본체, 본체 앞부분 중심에 설치된 프로젝터, 프로젝터 양측에 대칭되게 설치된 이미지 센서, 및 본체 내에 설치된 제어유닛, 메모리, 이미지 처리유닛과 컴퓨팅유닛을 포함하고 상기 본체 뒷부분에는 핸들 또는 핸드헬드부가 설치되는 것을 특징으로 하는 3차원 측량 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 3차원 측량 시스템을 이용한 다중 측량 모드의 3차원 측량방법.
  10. 제9항에 있어서,
    상기 데이터 구조 모델을 셋업하는 것은,
    여러가지 측량모드가 획득한 측량 데이터에 대하여 연속되는 음함수
    Figure 112019133169186-pct00244
    를 사용하여 표현하는 단계를 포함하는데 여기서 x∈R3은 3차원 공간에서의 위치를 나타내고
    Figure 112019133169186-pct00245
    는 x에서 피측량 물체 표면까지의 최단거리이며
    Figure 112019133169186-pct00246
    =0이 나타내는 연속곡면은 측량하여 얻은 물체의 표면인 것을 특징으로 하는 다중 측량 모드의 3차원 측량방법.
  11. 청구항10에 있어서,
    단계 S2에서 계산과 전처리는 구체적으로,
    S21, 하나의 측량구역을 둘러싼 입방체G를 사용하여
    Figure 112019133169186-pct00247
    의 변수 영역으로 하고 입방체G를 동일한 크기의 작은 입방체
    Figure 112019133169186-pct00248
    로 분할하는 단계;
    S22, 측량하여 얻은 점구름에서의 매 하나의 점
    Figure 112019133169186-pct00249
    에 대해
    Figure 112019133169186-pct00250
    가 위치하는 작은 입방체
    Figure 112019133169186-pct00251
    를 찾는데 여기서
    Figure 112019133169186-pct00252
    는 점의 3차원 좌표이고
    Figure 112019133169186-pct00253
    는 점의 법벡터인 단계;
    S23, 매 하나의
    Figure 112019133169186-pct00254
    및
    Figure 112019133169186-pct00255
    를 중심으로 하는n3개의
    Figure 112019133169186-pct00256
    에 대해 각각 거리값
    Figure 112019133169186-pct00257
    와 거리값의 신뢰가중치
    Figure 112019133169186-pct00258
    를 계산하는 단계:
    Figure 112019133169186-pct00259
    (1)
    Figure 112019133169186-pct00260
    (2)
    여기서 1＜n≤10,
    Figure 112019133169186-pct00261
    는 계산에 참여한
    Figure 112019133169186-pct00262
    및
    Figure 112019133169186-pct00263
    의 중심점이고
    Figure 112019133169186-pct00264
    는
    Figure 112019133169186-pct00265
    에서 피측량 물체 표면까지의 최단거리이며 물체의 외면에서는 포지티브 값이고 물체의 내면에서는 네거티브 값이며
    Figure 112019133169186-pct00266
    는
    Figure 112019133169186-pct00267
    의 신뢰도를 나타내고
    Figure 112019133169186-pct00268
    는
    Figure 112019133169186-pct00269
    의 변의 길이;
    S24, 마칭 큐브 알고리즘을 사용하여 점구름과 메쉬결과를 획득하는 단계를 포함하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량방법.
  12. 제11항에 있어서,
    S25, 측량하여 얻은 다수의 점구름에서의 점이 동일한
    Figure 112019133169186-pct00194
    에 중복하여 떨어지게 되면 순차적으로 상기 거리값
    Figure 112019133169186-pct00195
    과 거리값의 신뢰가중치
    Figure 112019133169186-pct00196
    를 계산하는 단계를 더 포함하는데,
    Figure 112019133169186-pct00197
    (3)
    Figure 112019133169186-pct00198
    (4)
    여기서
    Figure 112019133169186-pct00199
    는 업데이트 전의 거리값을 나타내고
    Figure 112019133169186-pct00200
    는 업데이터 전의 신뢰 가중치를 나타내며
    Figure 112019133169186-pct00201
    는 최근 계산하여 얻은 거리값은 나타내고
    Figure 112019133169186-pct00202
    는 최근 계산하여 얻은 신뢰가중치를 나타내며
    Figure 112019133169186-pct00203
    는 업데이트 후의 거리값을 나타내고
    Figure 112019133169186-pct00204
    는 업데이트 후의 신뢰가중치를 나타내며;
    그 다음 마칭 큐브 알고리즘을 사용하여 점구름과 메쉬결과를 획득하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량방법.
  13. 제11항에 있어서,
    S26, 측량하여 얻은 다수의 점구름에서의 점이 동일한
    Figure 112019133169186-pct00205
    에 중복하여 떨어지면 순차적으로 상기 거리값
    Figure 112019133169186-pct00206
    과 거리값의 신뢰가중치
    Figure 112019133169186-pct00207
    를 계산하고 측량이 완료된 후 매 하나의
    Figure 112019133169186-pct00208
    에 대하여 가중평균의 방법을 사용하여 최종적인
    Figure 112019133169186-pct00209
    와
    Figure 112019133169186-pct00210
    를 계산하는 단계를 더 포함하는 바,
    Figure 112019133169186-pct00211
    (5)
    Figure 112019133169186-pct00212
    (6)
    여기서
    Figure 112019133169186-pct00213
    와
    Figure 112019133169186-pct00214
    는 다수의 점구름에서의 점이 j번째로 동일한
    Figure 112019133169186-pct00215
    에 중복하여 떨어질 때 계산하여 얻은 값이고; 그 다음 마칭 큐브 알고리즘을 사용하여 점구름과 메쉬결과를 획득하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량방법.
  14. 제11항에 있어서,
    측량모드가 다수의 평행직선 측량일 경우 측량과정에서 얻은 측량 데이터는 실시간 계산 업데이트를 진행하지 않고 샘플링 방식으로만 표시하여 사용자의 측량을 지도하며,
    측량이 완료된 후 측량하여 얻은 모든 점구름을 통일된 전역좌표에 놓은 다음 모든 점구름의 법벡터를 계산하고 그 다음 거리값
    Figure 112019133169186-pct00216
    및 거리값의 신뢰가중치
    Figure 112019133169186-pct00217
    의 계산을 진행하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량방법.
  15. 제14항에 있어서,
    모든 점구름의 법벡터를 계산할 때 주요 성분을 사용하여 매 하나의 점의 법벡터를 분석 계산하는데 구체적으로 다음과 같은 공식을 사용하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량방법:
    Figure 112019133169186-pct00218
    (7)
    Figure 112019133169186-pct00219
    (8)
    여기서
    Figure 112019133169186-pct00220
    는 법벡터 계산을 대기하는 점이고
    Figure 112019133169186-pct00221
    는
    Figure 112019133169186-pct00222
    의 특정 근방 내의 점이며
    Figure 112019133169186-pct00223
    는 공분산 행렬이고 이의 최소 특징값이 대응하는 특징 벡터는
    Figure 112019133169186-pct00224
    의 법벡터이며; 법벡터가 카메라를 향한 방향을 법벡터의 방향으로 정의한다.
  16. 제9에 있어서,
    단계 S3에서 상이한 측량모드가 획득한 데이터에 대한 접합은 대략적인 접합과 정확한 접합을 포함하는데 상기 대략적인 접합의 방법은 수동 선택 접합, 마크 포인트 접합, 특징 접합을 포함하고 상기 정확한 접합의 방법은 반복 근점 알고리즘을 포함하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량방법.
  17. 제9항에 있어서,
    상기 S4는 구체적으로,
    S41, 측량 데이터의 두 프레임 사이에서 점구름과 마크 포인트의 대응점을 찾는 단계;
    S42, 오차 공식을 최소화하여 매 프레임마다의 점구름의 강체 변화 매트릭스를 획득하는 단계;
    S43, 강체 변화 매트릭스를 매 프레임마다의 점구름에 놓고 사라질 때까지 상기 과정을 반복하는 단계를 포함하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량방법.
  18. 제17항에 있어서,
    상기 단계 S42에서 사용하는 오차 공식은:
    Figure 112019133169186-pct00225

    Figure 112019133169186-pct00226
    (9),
    여기서
    Figure 112019133169186-pct00227
    는
    Figure 112019133169186-pct00228
    의 대응점이고
    Figure 112019133169186-pct00229
    는
    Figure 112019133169186-pct00230
    의 대응 마크 포인트이며
    Figure 112019133169186-pct00231
    는
    Figure 112019133169186-pct00232
    의 법벡터이고
    Figure 112019133169186-pct00233
    는 i번째 점구름의 강체 변화 매트릭스이며
    Figure 112019133169186-pct00234
    는 모든 점구름의 강체 변화 매트릭스이고
    Figure 112019133169186-pct00235
    와
    Figure 112019133169186-pct00236
    는 각각 점구름 대응점과 마크 포인트 대응점의 가중인 것을 특징으로 하는 다중 측량 모드의 3차원 측량방법.
  19. 제18항에 있어서,
    i, j에서 한 프레임이 다수의 평행직선 측량 데이터 일 경우
    Figure 112019133169186-pct00237
    을 설정하는 것을 특징으로 하는 다중 측량 모드의 3차원 측량방법.
KR1020187026659A 2016-04-08 2016-07-27 다중 측량 모드의 3차원 측량 시스템 및 측량방법 KR102207725B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201610220338.7 2016-04-08
CN201610220338.7A CN107289877A (zh) 2016-04-08 2016-04-08 一种多测量模式的三维测量系统
CN201610584281.9 2016-07-20
CN201610584281.9A CN106441200B (zh) 2016-07-20 2016-07-20 一种多测量模式的三维测量方法
PCT/CN2016/091913 WO2017173744A1 (zh) 2016-04-08 2016-07-27 一种多测量模式的三维测量系统及测量方法

Publications (2)

Publication Number Publication Date
KR20180126475A KR20180126475A (ko) 2018-11-27
KR102207725B1 true KR102207725B1 (ko) 2021-01-26

Family

ID=60000812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187026659A KR102207725B1 (ko) 2016-04-08 2016-07-27 다중 측량 모드의 3차원 측량 시스템 및 측량방법

Country Status (6)

Country Link
EP (1) EP3293481B1 (ko)
JP (1) JP6579639B2 (ko)
KR (1) KR102207725B1 (ko)
AU (1) AU2016401548B2 (ko)
CA (1) CA3018886C (ko)
WO (1) WO2017173744A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102645539B1 (ko) 2019-01-18 2024-03-11 삼성전자주식회사 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법
CN110096144B (zh) * 2019-04-08 2022-11-15 汕头大学 一种基于三维重建的交互全息投影方法及系统
CN111023970B (zh) * 2019-12-17 2021-11-16 杭州思看科技有限公司 多模式三维扫描方法及系统
CN113963132B (zh) * 2021-11-15 2025-01-14 广东电网有限责任公司 一种等离子体的三维分布重建方法及相关装置
CN114998414B (zh) * 2022-06-02 2024-08-09 华侨大学 一种基于点云数据的零件三维尺寸测量方法、装置和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011160962A1 (de) 2010-06-21 2011-12-29 Leica Geosystems Ag Optisches messverfahren und messsystem zum bestimmen von 3d-koordinaten auf einer messobjekt-oberfläche
JP2015523574A (ja) * 2012-07-15 2015-08-13 エイト ツリー リミテッド ライアビリティー カンパニー８ ｔｒｅｅ ＬＬＣ 計測されている表面上にデータが表示される携帯型三次元測定
US20170039756A1 (en) 2015-08-07 2017-02-09 Christie Digital Systems Usa, Inc. System and method for automatic alignment and projection mapping

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1203292C (zh) 2003-08-15 2005-05-25 清华大学 测量物体三维表面轮廊的方法
CN1271572C (zh) * 2004-08-05 2006-08-23 上海交通大学 二维图像序列三维重建方法
CA2600926C (en) 2005-03-11 2009-06-09 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
JP2009216650A (ja) * 2008-03-12 2009-09-24 Aisin Seiki Co Ltd 三次元形状測定装置
CN102112845B (zh) 2008-08-06 2013-09-11 形创有限公司 用于表面特征自适应性三维扫描的系统
FR2950138B1 (fr) * 2009-09-15 2011-11-18 Noomeo Procede de numerisation tridimensionnelle a recalage rapide
DE102013105828A1 (de) * 2012-06-08 2013-12-12 Perceptron, Inc. Hybrid sensor
US9228816B2 (en) * 2013-03-15 2016-01-05 Faro Technologies, Inc. Method of determining a common coordinate system for an articulated arm coordinate measurement machine and a scanner
US10089415B2 (en) * 2013-12-19 2018-10-02 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
CN104299211B (zh) * 2014-09-25 2020-12-29 苏州笛卡测试技术有限公司 一种自由移动式三维扫描方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011160962A1 (de) 2010-06-21 2011-12-29 Leica Geosystems Ag Optisches messverfahren und messsystem zum bestimmen von 3d-koordinaten auf einer messobjekt-oberfläche
JP2015523574A (ja) * 2012-07-15 2015-08-13 エイト ツリー リミテッド ライアビリティー カンパニー８ ｔｒｅｅ ＬＬＣ 計測されている表面上にデータが表示される携帯型三次元測定
US20170039756A1 (en) 2015-08-07 2017-02-09 Christie Digital Systems Usa, Inc. System and method for automatic alignment and projection mapping

Also Published As

Publication number Publication date
CA3018886C (en) 2020-10-27
KR20180126475A (ko) 2018-11-27
JP2019505809A (ja) 2019-02-28
JP6579639B2 (ja) 2019-09-25
CA3018886A1 (en) 2017-10-12
EP3293481A1 (en) 2018-03-14
EP3293481B1 (en) 2021-06-02
AU2016401548A1 (en) 2018-10-11
AU2016401548B2 (en) 2019-09-26
WO2017173744A1 (zh) 2017-10-12
EP3293481A4 (en) 2018-06-20

Similar Documents

Publication Publication Date Title
KR102207725B1 (ko) 다중 측량 모드의 3차원 측량 시스템 및 측량방법
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
US11280605B2 (en) Three-dimensional measuring system and measuring method with multiple measuring modes
US9460517B2 (en) Photogrammetric methods and devices related thereto
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
US11015930B2 (en) Method for 2D picture based conglomeration in 3D surveying
CN112258567A (zh) 物体抓取点的视觉定位方法、装置、存储介质及电子设备
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
JP7420135B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105574812B (zh) 多角度三维数据配准方法及装置
US20130222544A1 (en) Parallel Online-Offline Reconstruction for Three-Dimensional Space Measurement
US7286725B2 (en) Information presentation apparatus for suggesting a presentation accuracy of related information and information presentation method
KR20100062320A (ko) 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN113465600B (zh) 一种导航方法、装置及电子设备和存储介质
CN113140031B (zh) 三维影像建模系统、方法及应用其的口腔扫描设备
JP2015137897A (ja) 距離計測装置及び距離計測方法
CN112484730B (zh) 基于slam实现室内物料寻址导航的方法及系统
US20240329655A1 (en) Information processing device, movable apparatus, information processing method, and storage medium
EP3674660A2 (en) A computer-implemented method, a computer program product, and an apparatus for facilitating placement of a surveying tool
US10021364B2 (en) Method of building stereoscopic model with kalman filtering
JP2023053631A (ja) 注視位置分析システム及び注視位置分析方法
Vokhmintsev et al. Solving the point-plane problem for the class of affine transformations and development of a fast iterative algorithm for registering of 3D point clouds
NICOTRA Visual odometry for real time SLAM in indoor environments applied to the digitalization of cultural heritage
JPH01232484A (ja) 物体の姿勢推定方法及びその装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20180914

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20181227

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191024

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20200407

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201030

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210120

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210120

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230926

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241105

Start annual number: 5

End annual number: 5