Nothing Special   »   [go: up one dir, main page]

KR102073468B1 - 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법 - Google Patents

비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102073468B1
KR102073468B1 KR1020180013287A KR20180013287A KR102073468B1 KR 102073468 B1 KR102073468 B1 KR 102073468B1 KR 1020180013287 A KR1020180013287 A KR 1020180013287A KR 20180013287 A KR20180013287 A KR 20180013287A KR 102073468 B1 KR102073468 B1 KR 102073468B1
Authority
KR
South Korea
Prior art keywords
image
color
runtime
grayscale
range
Prior art date
Application number
KR1020180013287A
Other languages
English (en)
Other versions
KR20180090756A (ko
Inventor
제이슨 데비스
데이비드 제이. 마이클
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Publication of KR20180090756A publication Critical patent/KR20180090756A/ko
Application granted granted Critical
Publication of KR102073468B1 publication Critical patent/KR102073468B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 에지-정렬 후보 포즈들과 관련하여 훈련된 컬러, 그레이스케일 및/또는 범위(높이) 정보( "컬러/그레이스케일/범위")를 사용함으로써 비전 시스템의 기하학적-패턴 매칭 도구에서 후보 포즈를 점수화하는 시스템 및 방법을 제공한다. 훈련된 패턴은 테스트 포인트들 세트 내의 관련 컬러/그레이스케일/범위 정보를 포함한다. 런타임시, 컬러, 그레이스케일 및/또는 범위 이미지가 획득 및/또는 제공된다. 런타임 포즈는, 런타임 포즈가 정렬 도구에 의해 생성되는 훈련된 패턴에 대한 컬러/그레이스케일/범위 이미지를 위한 좌표 공간을 통해 수립된다. 컬러/그레이스케일/범위 테스트 포인트들은 이미지를 위한 좌표 공간에 매핑된다. 매치는 이후 각각의 매핑된 테스트 포인트들에서 결정된다. 테스트 포인트 매치에 기초하여, 점수가 결정된다. 점수는 런타임에서 정렬 결과와 관련하여 사용되어, (예컨대) 런타임 물체들의 획득된 이미지들로부터 후보 포즈를 수용 또는 거부한다.

Description

비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법{SYSTEM AND METHOD FOR SCORING COLOR CANDIDATE POSES AGAINST A COLOR IMAGE IN A VISION SYSTEM}
본 발명은 촬상된 장면에서 물체들의 정렬 및 검사를 위한 머신 비전 시스템들 및 관련 방법들에 관한 것이다.
본 명세서에서 "비전 시스템들"로도 불리는 머신 비전 시스템들은 제조 환경에서 다양한 작업들을 수행하는데 사용된다. 일반적으로 비전 시스템은 제조 중인 물체를 함유하는 장면의 그레이스케일 또는 컬러 이미지들을 획득하는 이미지 센서(또는 "이미저")를 갖는 하나 이상의 카메라들로 구성된다. 물체의 이미지들은 분석되어, 사용자들 및 관련 제조 프로세스들에 데이터/정보를 제공할 수 있다. 이미지에 의해 생성된 데이터는 일반적으로 비전 시스템에 의해 하나 이상의 비전 시스템 프로세서들 내에서 분석 및 처리되고, 이러한 비전 시스템 프로세서들은 특수 목적으로 구축될 수 있거나, 또는 범용 컴퓨터(예: PC, 랩톱, 태블릿 또는 스마트 폰) 내에서 실현되는 하나 이상의 소프트웨어 애플리케이션(들)의 일부가 될 수 있다.
일반적인 비전 시스템 작업들은 정렬 및 검사를 포함한다. 정렬 작업에서, 미국 메사추세츠주 내틱의 코그넥스(Cognex) 사로부터 상업적으로 입수 가능한 공지된 PatMax® 시스템과 같은 비전 시스템 도구들은 장면의 이미지 내의 특징들을 훈련된패턴과 (실제 또는 합성 모델을 사용하여) 비교하고, 촬상된 장면 내의 패턴의 유/무 및 포즈를 결정한다. 이 정보는 결함들을 검색하거나 및/또는 부품 거절과 같은 다른 조작들을 수행하기 위하여 후속 검사(또는 다른) 조작들에서 사용될 수 있다.
비전 시스템이 특정 촬상된 특징들을 훈련된 패턴들과 매칭시키는 것은 어려운 일이다. 이것은 (대부분의 패턴 매칭 도구들이 기본 매칭 결정들에 사용하는) 높은-콘트라스트 에지들의 부족으로부터 초래된다. 클러터-예상되는 에지들과는 별개인 콘트라스트 특징들-의 존재는, 제이슨 데이비스(Jason Davis) 등에 의해 2014년 12월 24일에 출원되었고, 발명의 명칭이 "SYSTEM AND METHOD FOR DETERMINING CLUTTER IN AN ACQUIRED IMAGE"이고, 공통으로 양도된 미국 특허출원 제14/580,153호에 기술된 바와 같이, 매칭 결정을 지원하기 위하여 채용될 수 있는데, 위 특허출원의 교시 내용은 유용한 배경 정보로서 참조로 통합된다. 이러한 시스템 및 방법은 런타임 이미지 내에서 그레이스케일-기반 클러터를 식별하도록 동작하고, 특히 훈련된 패턴에 대한 후보 포즈의 매칭을 가능하게 하는 클러터 점수의 결정을 허용한다. 훈련된 패턴은 훈련된 패턴 내의 공백 레벨을 나타내는 클러터 테스트 포인트들의 세트를 구비한다. 훈련된 패턴에 대한 이미지의 좌표 공간을 가진 런타임 포즈가 수립된다. 클러터 테스트 포인트들은 이후 이미지를 위한 좌표 공간에 매핑되고, 공백 레벨이 매핑된 클러터 테스트 포인트들에서 결정된다. 공백 레벨에 기초하여, 획득된 이미지(의 적어도 일부) 내의 클러터 레벨이 결정된다.
머신 비전의 많은 애플리케이션들에서, 컬러, 그레이스케일 레벨들 및/또는 높이(범위 정보)와 같은 에지들 이외의 뚜렷한 이미지 정보를 포함하는 패턴들을 매칭시키는 것이 바람직하다. 클러터 추정값들이 높은 기울기의 영역들에서 어떻게 덜 안정한지와 유사하게, 컬러, 그레이스케일 및/또는 높이는 일반적으로 물체 에지들(높은 기울기의 영역들)에서 가장 적게 안정적이고, 이러한 물체 에지들은 기존의 기하학적 패턴-매칭 프로세스들 및/또는 알고리즘들에 의해 일반적으로 채용되는 특징들이다.
본 발명은, (예를 들어) 에지-기반 매칭 기술들에 추가하여, 그리고 클러터점수화에 추가하여, 후보 포즈들과 관련하여 그레이스케일 및/또는 범위(높이) 정보("컬러/그레이스케일/범위"라고 함)를 사용함으로써, 비전 시스템의 기하학적-패턴 매칭 도구에서 후보 포즈들의 점수화를 위한 시스템 및 방법을 제공함으로써 종래 기술의 단점을 극복한다. 이에 의해 이러한 시스템 및 방법은 관련된 컬러, 그레이스케일 및/범위 정보를 포함하는 훈련된 패턴을 제공하고, 이러한 훈련된 패턴은 컬러/그레이스케일/범위 테스트 포인트들의 한 세트 내에서 특징 지워진다. 컬러/그레이스케일/범위 테스트 포인트들의 세트는 훈련된 패턴 내에 제공되고, 이들은 일반적으로 훈련 이미지 내에서 최저 기울기의 영역들에 위치하도록 선택된다. 런타임시 장면의 하나 이상의 물체들의 컬러, 그레이스케일 및/또는 범위 이미지가 획득되고, 및/또는 시스템 및 방법에 제공된다. 훈련된 패턴에 대한 컬러/그레이스케일/범위 이미지를 위한 좌표 공간으로 수립되고, 런타임 포즈는 기하학 패턴 매칭(정렬) 도구 및 프로세스에 의해 생성된다. 컬러/그레이스케일/범위 테스트 포인트들은 이미지를 위한 좌표 공간에 매핑된다. 컬러/그레이스케일/범위 매치는 각 매핑된 컬러/그레이스케일/범위 테스트 포인트들에서 결정된다. 컬러/그레이스케일/범위 포인트 매치에 기초하여, 컬러/그레이스케일/범위 점수는 (관심 물체에 대해) 이미지의 적어도 일부분에서 결정된다. 일반적으로 점수는 낮은 기울기 영역들 내에서 매칭 컬러/그레이스케일/범위의 존재 또는 부재에 기초하여 추가 점수화 기준을 제공함으로써 훈련된 패턴 및 후보 포즈 사이에서 매치의 품질에 대한 정보를 사용자에 제공할 수 있다. 선택적으로, (예컨대) 런타임 물체들의 획득된 이미지들로부터 후보 포즈들을 수용하거나 거부하기 위하여, 점수는 런타임시에 기하학적 패턴-매칭 정렬 결과와 함께 사용될 수 있다. 선택적으로 동일한 테스트 포인트들 또는 유사하게 낮은 기울기들을 갖는 테스트 포인트들은 역시 클러터를 측정하기 위하여 사용될 수 있다.
예시적인 실시예에서, 카메라 조립체 및 비전 시스템 프로세서를 갖는 비전 시스템을 통해 컬러 이미지에 대해 훈련된 컬러 패턴의 후보 포즈를 점수화하는 시스템 및 방법이 제공된다. 비전 시스템 프로세서는 훈련된 패턴 내의 컬러 매치 정보를 나타내는 컬러 테스트 포인트들의 세트를 갖는 훈련된 컬러 패턴을 포함한다. 컬러 테스트 포인트들은 적어도 컬러 이미지의 강도 이미지 표현에 비해 낮은 기울기의 영역들에 존재한다. 장면의 런타임 컬러 이미지는 훈련된 패턴에 대한 런타임 컬러 이미지의 좌표 공간을 갖는 런타임 포즈를 수립하는 비전 시스템 프로세서에 제공되고, 이러한 런타임 포즈는 기하학적 정렬 프로세스에 의해 생성된다. 이미지를 위한 좌표 공간상의 컬러 테스트 포인트들이 매핑되고, 컬러 매치는 매핑된 컬러 테스트 포인트들에서 각각 결정된다. 컬러 매치에 기초하여, 런타임 컬러 이미지의 적어도 일부 내의 컬러 매치 점수가 결정된다. 예시적으로, 컬러 매치의 결정은, 훈련된 컬러 패턴의 미리 결정된 컬러 공간 내의 컬러의 값을 맵핑된 컬러 테스트 포인트들에서 런타임 컬러 이미지로 결정하는 것을 포함한다. 포즈의 수립은, (a) 런타임 이미지를 훈련된 컬러 패턴에 대해 자동으로 정렬시키기 위해 비전 시스템 내에서 정렬 도구를 사용하는 단계 및 (b) 사용자 입력으로부터 포즈를 나타내는 정보를 획득하는 단계 중 적어도 하나를 포함할 수 있다. 시스템 및 방법은 런타임 컬러 이미지에 마스크를 적용할 수 있으며, 여기서 마스크는 런타임 컬러 이미지의 어느 영역들이 컬러 매치를 위해 평가되는지를 나타낸다. 예시적으로, 강도 이미지는 기하학적 정렬 프로세스에 의한 사용을 위해 훈련된 컬러 패턴 및 런타임 컬러 이미지 중 적어도 하나로부터 생성될 수 있다. 컬러 테스트 포인트들은 기울기 크기 임계값에 기초하여 낮은 기울기 영역들에 상주할 수 있고, 이러한 기울기 크기 임계값은 (a) 사용자-입력 파라미터 및 (b) 시스템-생성 파라미터 중 적어도 하나에 의해 수립될 수 있다.
다른 예시적인 실시예에서, 카메라 조립체 및 비전 시스템 프로세서를 갖는 비전 시스템을 통해 그레이스케일 이미지에 대해 훈련된 그레이스케일 패턴의 후보 포즈를 점수화하는 시스템 및 방법이 제공된다. 비전 시스템 프로세서는 훈련된 패턴 내의 그레이스케일 매치 정보를 나타내는 그레이스케일 테스트 포인트들의 세트를 갖는 훈련된 그레이스케일 패턴을 포함한다. 그레이스케일 테스트 포인트들은 적어도 그레이스케일 이미지의 강도 이미지 표현에 비해 낮은 기울기 영역들에 존재한다. 장면의 런타임 그레이스케일 이미지는 비전 시스템 프로세서에 제공되고, 비전 시스템 프로세서는 훈련된 패턴과 관련하여 런타임 그레이스케일 이미지를 위한 좌표 공간을 통해 런타임 포즈를 수립하고, 이러한 런타임 포즈는 기하학적 정렬 프로세스에 의해 생성된다. 이미지를 위한 좌표 공간상의 그레이스케일 테스트 포인트들이 매핑되고, 매핑된 그레이스케일 테스트 포인트에서 각각 그레이스케일 매치가 결정된다. 그레이스케일 매치에 기초하여, 런타임 그레이스케일 이미지의 적어도 일부에서 그레이스케일 매치 점수가 결정된다. 예시적으로, 그레이스케일 매치의 결정은 훈련된 그레이스케일 패턴 내의 그레이스케일에 대한 값을 매핑된 그레이스케일 테스트 포인트들에서의 런타임 그레이스케일 이미지로 결정하는 것을 포함한다. 포즈의 수립은 (a) 런타임 이미지를 훈련된 그레이스케일 패턴에 자동으로 정렬시키기 위해 비전 시스템 내의 정렬 도구를 사용하는 단계 및 (b) 사용자 입력으로부터 포즈를 나타내는 정보를 획득하는 단계 중 적어도 하나를 포함할 수 있다. 이러한 시스템 및 방법은 런타임 그레이스케일 이미지에 마스크를 적용할 수 있고, 여기서 마스크는 런타임 그레이스케일 이미지의 어느 영역들이 그레이스케일 매치를 위해 평가되는지를 나타낸다. 예시적으로, 강도 이미지는 기하학적 정렬 프로세스에 의한 사용을 위해 훈련된 그레이스케일 패턴 및 런타임 그레이스케일 이미지 중 적어도 하나로부터 생성될 수 있다. 그레이스케일 테스트 포인트들은 기울기 크기 임계값에 기초하여 낮은 기울기 영역들에 상주할 수 있고, 이러한 기울기 크기 임계값은 (a) 사용자-입력 파라미터 및 (b) 시스템-생성 파라미터 중 적어도 하나에 의해 수립될 수 있다.
또 다른 예시적인 실시예에서, 카메라 조립체 및 비전 시스템 프로세서를 갖는 비전 시스템을 통해 범위 이미지에 대해 훈련된 범위 이미지 패턴의 후보 포즈를 점수화하는 시스템 및 방법이 제공된다. 비전 시스템 프로세서는 훈련된 패턴의 범위 매치 정보를 나타내는 범위 이미지 테스트 포인트들의 세트를 갖는 훈련된 범위 이미지 패턴을 포함한다. 범위 테스트 포인트들은 적어도 범위 이미지의 강도 이미지 표현에 비해 낮은 기울기의 영역들에 상주하다. 장면의 런타임 범위 이미지는 비전 시스템 프로세서에 제공되고, 비전 프로세스 시스템은 훈련된 패턴에 대한 런타임 범위 이미지를 위한 좌표 공간을 통해 런타임 포즈를 수립하는데, 이러한 런타임 포즈는 기하학적 정렬 프로세스에 의해 생성된다. 이미지를 위한 좌표 공간상의 범위 테스트 포인트들이 매핑되고, 매핑된 범위 테스트 포인트들에서 범위 매치가 각각 결정된다. 범위 매치에 기초하여, 런타임 범위 이미지의 적어도 일부 내의 범위 매치 점수가 결정된다. 예시적으로, 범위 매치의 결정은 훈련된 범위 패턴 내의 범위의 값을 매핑된 범위 테스트 포인트들에서의 런타임 범위 이미지로 결정하는 것을 포함한다. 포즈의 수립은 (a) 런타임 이미지를 훈련된 범위 이미지 패턴에 자동으로 정렬시키기 위하여 비전 시스템 내의 정렬 도구를 사용하는 단계 및 (b) 사용자 입력으로부터 포즈를 나타내는 정보를 획득하는 단계 중 적어도 하나를 포함할 수 있다. 이러한 시스템 및 방법은 런타임 범위 이미지에 마스크를 적용할 수 있으며, 이러한 마스크는 런타임 범위 이미지의 어느 영역들이 범위 매치를 위해 평가되는지를 나타낸다. 예시적으로, 강도 이미지는 기하학적 정렬 프로세스에 의한 사용을 위해 훈련된 범위 패턴 및 런타임 범위 이미지 중 적어도 하나로부터 생성될 수 있다. 범위 테스트 포인트들은 기울기 크기 임계 값에 기초하여 낮은 기울기의 영역들에 상주할 수 있는데, 이러한 기울기 크기 임계값은 (a) 사용자-입력 파라미터 및 (b) 시스템-생성 파라미터 중 적어도 하나에 의해 수립될 수 있다.
다른 예시적인 실시예에서, 카메라 조립체 및 카메라 조립체에 동작 가능하게 연결된 비전 시스템 프로세서를 갖는 비전 시스템을 통해 패턴을 훈련하기 위한 시스템 및 방법이 제공된다. 훈련 모듈은 훈련 이미지 데이터를 수신하고, 낮은 기울기 크기의 영역들을 식별하고, 컬러, 그레이스케일 강도 및 최대 테스트 포인트 카운트까지의 범위 중 적어도 하나에 기초하여 이미지 데이터에 대해 영역들 내에서 테스트 포인트를 적용한다. 예시적으로, 비전 시스템 프로세서는 (a) 장면의 런타임 이미지 데이터를 획득하고 (b) 훈련된 패턴에 대해 런타임 이미지 데이터를 위한 좌표 공간을 갖는 런타임 포즈를 수립하도록 배치된 런타임 정렬 모듈을 포함하고, 이러한 런타임 포즈는 기하학적 정렬 프로세스 및 (c) 런타임 이미지 데이터를 위한 좌표 공간상의 컬러 테스트 포인트에 의해 생성된다. 비전 시스템 프로세서는 (a) 훈련된 패턴과 런타임 이미지 데이터 사이의 컬러, 그레이스케일 강도 및 범위 매치 중 적어도 하나를 결정하고 (b) 런타임 이미지 데이터의 적어도 일부 내에서 매치 점수를 결정하도록 배열된 매칭 프로세스를 포함할 수 있다. 강도 이미지는 기하학적 정렬 프로세스와 함께 사용하기 위해 훈련된 범위 이미지 패턴 및 런타임 이미지 데이터 중 적어도 하나에 기초하여 생성될 수 있다. 예시적으로, 포즈는 (a) 런타임 이미지를 훈련된 패턴에 자동으로 정렬시키는 비전 시스템 내의 정렬 도구들 및 (b) 사용자 입력으로부터의 포즈를 나타내는 정보 중 적어도 하나에 기초하여 수립된다. 실시예들에서, 마스크가 런타임 이미지에 적용될 수 있고, 여기에서 마스크는 런타임 이미지의 어느 영역들이 매칭을 위해 평가되는지를 나타낸다.
이하의 본 발명의 설명은 첨부된 도면을 참조한다.
도 1은 뚜렷한 컬러, 그레이스케일 레벨 및/또는 높이를 갖는 영역들이 존재하는 예시적인 특징들을 포함하는 물체의 표면의 컬러, 그레이스케일 및/또는 범위 이미지를 획득하도록 배치된 비전 시스템의 도면.
도 2는 훈련 시간 및 런타임 동작 모두에서 도 1의 기하학적 패턴 매칭 도구와 함께 사용하기 위한 강도 이미지 정보(크기)를 유도하기 위한 전체 절차를 도시하는 도면.
도 3은 정렬된 런타임 이미지 후보 포즈 내의 테스트 포인트들에서 대응하는 컬러/그레이스케일/범위 정보에 대해 매치를 결정하는데 사용하기 위한 모델 이미지에 기초하여 컬러/그레이스케일/범위 테스트 포인트들을 수립하기 위한 훈련 절차의 흐름도.
도 3a는 컬러/그레이스케일/범위 테스트 포인트들이 특징 세트를 포함하는 예시적인 관심 영역을 채우는 훈련 시간 또는 런타임에서의 예시적인 특징 세트의 도면.
도 3b는 일 실시예에 따라 비교적 높은 기울기의 영역들(예를 들어, 에지들)에서 테스트 포인트들의 생략을 나타내는 도 3a의 예시적인 특징 세트 및 테스트 포인트 그리드의 도면.
도 4는 도 3의 트레이닝 절차와 함께 사용하기 위한 컬러/그레이스케일/범위픽셀계수 및 훈련픽셀계수의 값들을 수립하기 위한 절차의 흐름도.
도 5는 컬러/그레이스케일/범위 테스트 포인트들이 런타임 이미지 후보 포즈에 대해 맵핑되고 이로부터 훈련 및 런타임 테스트 포인트들 사이의 매치 레벨이 결정되는 런타임 컬러/그레이스케일/범위 정보 매치 결정 절차의 흐름도.
도 6은 도 5의 런타임 결정 절차에서 사용하기 위한 컬러/그레이스케일/범위 매칭 점수 결정 절차의 흐름도.
도 1은 비전 시스템의 카메라 조립체(120)의 시야(FOV)(112) 내에서 촬상되는 장면(110) 내의 물체 표면상의 특징들을 검사 및/또는 분석하는데 사용하기 위한 머신 비전 시스템 장치(간단히 "비전 시스템"라 칭함)(100)를 도시한다. 카메라 조립체(120)는 구성요소들의 임의의 허용 가능한 장치일 수 있고, 일반적으로 CCD 또는 CMOS와 같은, 임의의 허용 가능한 촬상 기술에 기초한 이미지 센서(또는 "이미저")(126)를 수용하는 렌즈 조립체(122) 및 카메라 본체(124)를 포함한다. 이미저(126)는 그레이스케일 또는 컬러로 장면을 감지하도록 적응될 수 있는 이미지 픽셀들의 어레이에서 2차원(예를 들어, 길이 L 및 폭 W)의 이미지들을 획득하도록 배열될 수 있다. 다양한 실시예들에서, 카메라는 또한 물체 높이(H)를 한정하는 작업 공간(예를 들어, 피라미드형 체적(129)) 내에서 촬상된 장면에 관한 3차원(3D) 정보를 획득하도록 배열될 수 있다. 예컨대, 레이저 변위 센서(프로파일러), 입체영상 카메라, 수중 음파 탐지기, 레이저 또는 LIDAR 거리-측정 카메라, 비행시간형 센서 및 다양한 다른 수동적 또는 능동적인 범위-감지 기술들을 포함하지만 이에 국한되지 않는 다양한 3D 촬상 기술들이 채용될 수 있다. 이러한 카메라들은 범위 이미지들을 생성하고, 여기에서 각 픽셀에 대한 제 3(높이) 치수(전형적으로 x-y 평면에 수직인 z축을 따라 특징 지워지는)를 포함하는 이미지 픽셀의 어레이(일반적으로 직교 x 및 y 축을 따른 위치들로서 특징 지워지는)가 생성된다.
카메라 본체는 관련된 비전 프로세스를 동작시키는 비전 프로세서(130)를 구성하는 다양한 이미지 처리 구성요소들을 포함할 수 있다. 비전 프로세서는 장면의 획득된 이미지들에 작용하고, 획득된 이미지로부터 정보를 추출하기 위해 비전 시스템 도구들 및 프로세스들(132)을 사용할 수 있다. 이러한 정보는 관심 특징들 및 이미지에 나타나는 다른 항목들과 관련될 수 있다, 예컨대, 미국 메사추세츠주 내틱의 코그넥스(Cognex) 사로부터 입수 가능한 잘 알려진 PatMax® 및/또는 PatMax RedLine®과 같은 비전 시스템 도구들이 이미지 내의 특징들을 분석하고 상대적인 포즈, 정렬 및 다른 세부사항들에 대한 정보(예, 존재/부재, 등)를 제공하고 위하여 사용될 수 있다. 이들 도구들은 일반적으로 기하학적 패턴 매칭(134)을 수행하는데 사용될 수 있다.
비전 시스템 프로세스들의 일부 또는 전부가 카메라 조립체(120)의 본체(124) 내에서 실현될 수 있지만, 프로세스의 일부 또는 전부가 (파선 화살표(134)로 표시된 바와 같이) 특수목적 프로세서 또는 적절한 사용자 인터페이스(144, 146) 및 디스플레이(148)를 갖는 범용 컴퓨터(예를 들어, 서버, PC, 랩탑, 스마트폰, 태블릿, 등)(140)와 같은 상호 연결된(유선 또는 무선) 컴퓨팅 디바이스/프로세서에 의해 수행될 수 있다. 상호 연결된 컴퓨팅 디바이스/프로세서(150)는 추가 이용 작업들을 수행하기 위하여 처리된 이미지 데이터를 이용할 수 있다(즉, "활용 요소(들)" 또는 "이용자" 프로세스(들)(150)를 사용하여). 예컨대, 비전 시스템이 검사 작업들을 수행하는 경우, 정보는 데이터베이스에 품질 제어 정보를 제공하거나 라인 상의 결함 부분들을 거부하기 위하여 사용될 수 있다. 정보는 또한 물체들의 라벨들 및/또는 ID 코드들을 판독함으로써 (예컨대) 물류 애플리케이션들에서 사용될 수 있다. 다양한 다른 이용 작업들이 또한 이미지 데이터 및 관련 정보를 사용하여 수행될 수 있다. 단일 카메라(120)가 도시되었지만, 전체 "카메라 조립체"는 각각이 장면을 촬상하고 전체 FOV/작업 공간을 한정하는 복수의 카메라들(예를 들어, 점선으로 도시된 추가 카메라(128))을 포함할 수 있다. 이러한 카메라들은 비전 시스템 프로세서(130) 또는 다른 처리 방식을 통해 함께 결합될 수 있다. 당업자들에 알려진 다양한 교정 기술들이 장면 및 그 안의 물체를 촬상할 때 카메라들 사이의 공통 좌표계를 생성하기 위하여 사용될 수 있다.
예시적인 실시예에서, 비전 프로세스 및 프로세서는 훈련 시간 및 런타임에 촬상된 장면/물체의 관심 영역들에서 컬러, 그레이스케일 및/또는 범위 정보(이들 3가지 다른 기준들은 본 명세서에서 "컬러/그레이스케일/범위"라고 함)의 값/레벨을 발견하고 분석하는 결정 프로세스(서)("모듈"이라고도 함)(160)를 포함한다. 컬러, 그레이스케일 또는 범위가 처리될지는, 카메라의 고유한 성능들, 및 뚜렷한 이미지 정보의 어떤 형태가 물체들이 에지들에서 떨어진 위치들에서 적절하게 식별될 수 있도록 허용하는지에 의존한다. 예를 들어, 다양한 이산 컬러의 물체들이 분석되어야 하는 경우, 컬러 결정 프로세스가 사용될 수 있다. 물체 간에 그레이스케일 음영이 상이하다면, 그레이스케일 결정 프로세스가 사용될 수 있고, 마찬가지로 물체가 높이에서 상이하다면, 범위 결정 프로세스가 적절하다. 일반적으로, 결정 프로세스(서) 또는 모듈은 본 명세서의 실시예들에 따라 획득된 이미지 내에서 컬러/그레이스케일/범위의 레벨을 결정하도록 동작한다. 컬러은 일반적으로 이미지 내의 각 컬러 픽셀과 관련된 세 가지 변수들(예: 적색, 녹색 및 청색(RGB), 청록색, 자홍색 및 황색(CMY), HSI, HSV 등)로 특징 지워진다. 이들은 "컬러 공간"에서 표현되고, 여기서 각 값은 미리 결정된 범위 내의 숫자를 갖는다. 유사하게, 그레이스케일은 (예컨대) 8-16 비트들에 걸쳐 있을 수 있는 그레이 레벨의 범위로 표현된다. 높이 또는 범위는 카메라의 교정된 작업 공간 내에서 거리로 정의되는 "z" 축 값(예를 들어 촬상된 표면과 센서(S)의 광학 평면 사이의 광학 축(OA)을 따른 거리(예컨대, 밀리미터 단위))으로 표현된다. 각각의 경우, 이미지 내의 위치(일반적으로 x 및 y 좌표들 또는 다른 2D 어레이에 의해 한정됨)는 그 이미지 위치에 대한 관련된 컬러, 그레이스케일 또는 범위를 제공하는 정보의 이러한 제 3 측정치를 포함한다.
예시적인 장치(100)에서, 카메라(들)(120 및 128)는 FOV(112) 및/또는 카메라(들)(120 및 128)의 작업 공간(129) 내의 장면(110)을 촬상한다. 예시적인 물체(170)는 장면(110) 내에 상주한다. 이러한 물체는 배경(176)에 의해 둘러싸인 예시적인 특징들(171, 172, 173 및 174)을 포함한다. 비-제한적인 예로서, 특징들(171, 172, 173 및 174)은 서로에 대해 및/또는 배경(176)에 대해 컬러, 그레이스케일 레벨, 및/또는 높이에서 상이할 수 있다. 다른 비-제한적인 예로서, "십자형" 특징들(172 및 174)은 유사한 기하학적 에지 배열들을 구비하지만, 컬러, 그레이스케일 레벨 또는 높이에 관해 서로 상이하다. 이러한 차이들은 에지-기반의 패턴 매칭 도구(들)(134)의 결과들을 보완하거나 향상시켜, 이것을 어떤 런타임 후보 포즈가 훈련된 모델 패턴에 대한 최상의 정렬 해결책을 제공하는지를 결정하는 전체적인 점수화 기준에 추가함으로써, 보다 신뢰성 있고 정확한 전체 정렬 결과를 얻기 위해 사용될 수 있다.
이미지 내의 컬러, 그레이스케일 레벨 또는 범위에 대한 값을 결정할 때, 시스템은 우선 관심 특징들을 일반적으로 포함하는 훈련 이미지 데이터(180)를 제공하고, 실제 훈련 물체 표면 및/또는 합성 이미지 데이터의 획득된 이미지들에 기초할 수 있다. 즉, 훈련 이미지 및 관련 훈련 패턴은 (예컨대) CAD 모델, 합성 사각형, 등에서 제공되는 설명에 의해 특정될 수 있다. "훈련 이미지" 및 "훈련 패턴"이라는 용어는 따라서 일반적으로 픽셀 값들의 의존성이 없이 특정되는 데이터 세트들 포함하는 것으로 이해되어야 한다. 런타임 동안, 시스템은 획득된 이미지로부터 이미지 데이터(184)를 수신한다. 이것은 실시간 획득 또는 장면(110) 및 물체(170)의 저장된 이미지에 기초할 수 있다. 시스템은 또한 이하에 설명되는 바와 같이 훈련 및 런타임 동작 모두를 위해 사용자로부터 다양한 입력 파라미터들(190)을 수신한다.
훈련 이미지 및 런타임 이미지 모두를 분석할 때 초기 절차(200)를 도시하는 도 2에 관한 참조가 이제 이루어진다. 이러한 초기 절차에서, 필요하다면, 강도 이미지가 컬러 이미지로부터 생성된다. 이러한 이미지는 어레이의 각 픽셀 위치들과 각각이 관련된 강도 값들의 어레이/매트릭스에 의해 일반적으로 한정되고, 강도 값은 특정 범위(예: 16비트) 내의 숫자를 한정한다. 단계(210)에서, 훈련 시간에, 모델의해 컬러/그레이스케일/범위 이미지가 획득되거나, 그렇지 않을 경우 사용자/운영자에 의해 시스템에 제공된다(CAD 표현 등을 사용하여). 이미지가 그레이스케일로 획득되거나 제공되면, 그레이스케일 레벨에 관한 강도 값으로 한정된다. 범위 이미지는 강도 이미지에 대응하는 그레이스케일 레벨을 갖는 픽셀을 선택적으로 또한 포함할 수 있거나, 또는 대안적으로 부착된 강도 이미지를 가질 수 있다. 아래에 기술하는 바와 같이, 기하학적 패턴 매칭은 범위 이미지, 강도 이미지 또는 적절한 조합(들)으로 둘 모두에 기초하여 발생할 수 있다. 이미지가 컬러라면, 그것은 단계(220)에서 강도 이미지로 변환된다. 이러한 방식으로, 기하학적 패턴 매칭 도구은 그것을 훈련 시간 및 런타임에 분석할 수 있다. 강도 이미지는 도시된 바와 같이 적절한 다양한 메카니즘들에 의해 컬러 이미지로부터 생성될 수 있다. 예를 들어, 강도(I)는 단일 컬러의 각 픽셀에 할당된 값(예: 녹색 G 픽셀들의 값)으로 결정될 수 있다. 대안적으로, 각 픽셀에 대해 컬러 공간을 한정하는 개별 값들의 평균으로 한정할 수 있다(예: I = Avg(R + G + B)). 대안적으로, 가중된/정상화된 평균이 사용될 수 있다((예: I = αR+βG+γB, 여기서 α+β+γ = 1)). 추가적으로, 강도 이미지는 카메라 전자장치 및/또는 바이어(Bayer) 필터링 기술을 사용하는 종래 기술에 따라 유도될 수 있다.
절차(230)의 단계(230)에서, 강도 이미지/그레이스케일/범위 이미지는 훈련 시간에 기하학적 패턴 매칭 도구(도 1의 134)에 공급되고, 이 도구는 강도 이미지/그레이스케일/범위 이미지를 사용하여 절차를 동작시키고, 훈련 모델인 결과를 생성한다(단계(240)).
런타임에서, 단계(250)에 표현된 바와 같이, 런타임 장면의 강도/그레이스케일/범위 이미지가 상술한 바와 같이 다시 생성되고, 기하학적 패턴 매칭 도구 및 절차(예를 들어, Patmax®, Patmax RedLine®, 등)에 공급된다. 이는 포즈들 및 점수들인 결과들을 생성하는데 사용된다(단계(260)).
아래에서 기술되는 후속 런타임 컬러/그레이스케일/범위 결정 절차에서 사용되는 훈련 모델을 수립하는 절차(300)를 도시하는 도 3에 대한 참조가 이제 이루어진다. 실제 또는 합성 훈련 이미지가 단계(310)에서 시스템에 제공된다. 훈련 이미지는 좌표들(x 및 y) 및 관련 강도 값(들)을 각각이 갖는 픽셀들의 2 차원(2D) 어레이로서 배치된다(예를 들어, 다수의 컬러들/컬러 강도들이 존재하는 경우). 대안적으로, 높이 맵에서의 높이와 같은 다른 값은 주어진 좌표들에서의 픽셀을 기술할 수 있다. 추가적으로, 훈련 이미지는 적어도 하나의 관심 특징들-예를 들어 콘트라스팅 에지들 및 미리 결정된 형상들을 한정하는 프린팅 및/또는 그래픽을 포함할 수 있다. 이미지는 카메라 조립체(또는 다른 카메라 장치)에 의해 물리적 모델로부터 획득될 수 있거나, 또는 사용자에 의해 생성되거나 훈련 이미지에 삽입되는 관심 특징들에 대한 미리 결정된 형상들(예를 들어, 주어진 크기/스케일의 미리 결정된 원, 정사각형, 문자, 등)을 사용하여 합성적으로 생성될 수 있다. 대안적으로, 훈련 이미지는 실제 2D 이미지가 없는 방식으로 다양한 에지 및 클러터 값들을 포함하는 데이터 세트(예를 들어, 관심 영역 내의 위치를 참조하는 강도 및/또는 기울기 값들의 매트릭스)일 수 있다.
단계(310)에서 추가로 설명된 바와 같이, 선택적인 기울기 이미지가 생성될 수 있다. 이는 본 명세서에서 일반적으로 기술된 후속 단계들에서 사용될 수 있다. 기울기 이미지는 인접한 픽셀 값들 사이의 변화(예를 들어, 강도 레벨)를 측정하고 이미지 내의 각 이산 픽셀 위치에서의 기울기 값으로서 변화 정도를 한정함으로써 생성된다.
단계(320)에서, 절차(300)는 훈련 이미지의 각각의 픽셀 위치에 대한 기울기 크기 임계값을 제공한다. 이 임계값은 사용자-입력(예: 사용자 인터페이스를 통해) 또는 시스템-제공 파라미터(예: 저장된 값)로 제공될 수 있다. 기울기 크기 임계값은 적절한 알고리즘을 사용하여 대안으로 계산될 수 있고, 이러한 알고리즘은 이미지 데이터의 상대 값들(값들의 범위들, 등)을 결정하고, 아래에 기술된 바와 같이 임계값을 계산하기 위해 알고리즘 내에서 이들 값들을 사용한다.
단계(330)에서, 절차(300)는 훈련 이미지 내의 각각의 특정된 위치와 관련하여 컬러/그레이스케일/범위 테스트 포인트들을 생성한다. 이들 위치들은 픽셀 위치에 기초할 수 있거나, 서브 픽셀 위치들과 관련될 수 있거나, 또는 일반적으로 훈련 이미지에 대해 임의의 수용 가능한 좌표 공간을 통해 수립될 수 있다. 컬러/그레이스케일/범위 테스트 포인트들의 각각은 단계(320)에서 제공된 기울기 크기 임계값보다 작은 기울기 크기를 갖는 각 위치들에서 수립된다. 다시 말해서, 테스트 포인트들(때로는 "프로브"로도 지칭됨)은 기울기 크기(또는 이미지 특징들/특성들의 다른 표시)에 대한 측정된/분석된 값들이 주어진 임계값 미만인 이미지 내의 약한 에지들에 적용될 수 있다. 낮은 기울기의 위치들에서 테스트 포인트들을 선택하는 일반적인 결과로서, 이들은 에지들로부터 떨어져 있는 타겟 이미지의 영역들(즉, 높은 기울기) 및 높은 기울기의 다른 영역들을 조사하도록 적용된다. 일반적으로, 테스트 포인트들은 기울기가 0에 가까워지거나 0과 동일한 훈련 이미지/패턴의 위치들(즉, 이미지의 안정 영역들)에 존재한다. 다양한 실시예들이 낮은 기울기 레벨로 설정된 디폴트 값에 유리하게 입력 임계값의 사용을 생략할 수 있음을 주목해야 한다. 실제 임계 값이 입력되는 다른 실시예에서, 이 값은 (일반적으로) 테스트 포인트들이 일반적으로 거의 제로-값 기울기를 초과하는 이미지의 영역들로부터 생략되는 낮은 수로 설정될 수 있다.
일반적으로, 기울기 크기 임계값을 위해 상술한 값은 (예컨대) 히스토그램을 사용하는 비전 시스템 프로세스들 내의 노이즈 임계값과 유사하게 계산될 수 있다. 기울기 이미지가 단계(310)에서 생성되거나 제공될 수 있음을 주목한다. 단계(310)에서, 기울기 이미지는 강도/그레이스케일/범위 이미지로부터 직접 계산될 수 있거나, 또는 대안적으로 컬러 이미지들에 대해, 기울기 이미지는 컬러 이미지로부터 직접 계산될 수 있다. 기울기 크기 임계 값보다 작은 크기를 갖는 기울기 이미지 내의 각 픽셀에 대해, 절차는 컬러/그레이스케일/범위 테스트 포인트를 생성한다. 이와 같이, 시스템은 (이후의 런타임 분석을 위해) 훈련 이미지/패턴 상의 위치들을 고려하고, 이러한 위치들은 런타임시에 낮은 기울기 크기를 가져야 하고, 따라서 테스트 포인트를 제공하기 위한 잠재적인 위치들이다. 훈련 패턴 상의 이들 수립된 테스트 포인트들은 컬러, 그레이스케일 또는 범위 정보가 비교되는(훈련 대 런타임) 위치들이 된다.
도 3 및 도 4의 단계(330)를 참조하면, 컬러/그레이스케일/범위 테스트 포인트들의 생성은 MaxClolor/Grayscale/RangePixels의 설정 값에 따라 미지 내의 최대 컬러/그레이스케일/범위 포인트 계수로 (하위-절차(400)에 따라) 제한될 수 있다. 비-제한적인 예로서, 10,000의 디폴트 값이 사용될 수 있다. 이와 같이, 이러한 제한 없이 생성되어야 하는 컬러/그레이스케일/범위 테스트 포인트들의 총 수(즉, 단계(420)에서의 Color/Grayscale/RangePixelCount)는 단계(430)에서 MaxClolor/Grayscale/RangePixels의 값으로 나누어진다. 예시적으로, 이 값의 제곱근이 계산된다. 예컨대, 20,000개의 총 테스트 포인트들이 생성되어야 하고, 10,000이 최대인 경우, 최종 인수 n은 (10,000/20,000)1 /2, 즉 1.414가 된다. 따라서, 단계(430)에서, 절차(400)는 모두 1.414 번째 픽셀(또는 좌표 공간 내의 다른 위치, 예를 들어, 서브 픽셀)을 수평 및 수직으로 검사할 수 있고(반올림 된, 거의 이웃한), 절차(도 4의 단계(430))는 기울기 크기 임계값 이하의 기울기 크기 값들(런타임 이미지 내의 해당 위치에 예기치 않은 데이터가 있으면, 런타임시 관련된 컬러/그레이스케일/또는 범위 값이 되는)을 갖는 픽셀들/위치들만을 테스트한다. 이 절차(400)는 전체 이미지 데이터의 1/n번째를 샘플링한다. 결과의 샘플은 MaxColor/Grayscale/RangePixels 값의 근사값이다. 이미지 내의 컬러/그레이스케일/범위 테스트 포인트들의 수를 제한하기 위해 다양한 다른 기술들이 사용할 수 있다는 것이 분명할 것이다. 일부 기술들은 이미지로부터 특정 영역을 생략하거나, 예상된 특징들 또는 이들의 부족으로 인해 특정 영역들 내의 계수들을 가중시키는 것을 포함할 수 있다. 절차(400)는 단계(430)에서 제공된 픽셀들/위치들에 기초하여 단계(440)에서 훈련 이미지 내의 테스트 포인트들의 위치들을 수립한다. 이들은 절차(300)의 단계(344)(도 3)에 따라 후속 사용(즉 런타임시)을 위해 저장된다.
단계(340)(파선으로 도시)는 선택적 열차-시간 마스크를 제공한다는 점을 주목해야 한다. 이 단계는 단계(330) 이전 또는 이후에 또는 전체 절차(300) 내의 다른 적절한 시간에 발생할 수 있다. 훈련 이미지 내의 미리 결정된 수(예: 10,000)의 테스트 포인트들의 배치는 관심 특징에 연관된 것으로 표시된 위치들에 대해 추가로 제한되거나 필터링될 수 있다. 예컨대, "주의" 플래그가 연관된 포인트들에 배치될 수 있다. 이 영역 밖의 다른 포인트들에 "상관없음"으로 플래그가 지정될 수 있어, 처리로부터 생략될 수 있다. 예를 들어, 다른 요소들 중 적색 버튼을 갖는 이미지에서, 사용자는 훈련 이미지와 매칭되는 마스크 이미지에 의해, 적색 버튼만이 (예를 들어) 컬러 매칭을 위해 고려되어야 한다고 지정할 수 있다. 이러한 접근법은 역시 미리 결정된 그레이스케일 및/또는 범위/거리 값들에 기초하여 마스킹을 위해 사용될 수 있다.
또한, 단계(310)에서 기울기 이미지의 생성 및 사용에 대한 대안으로서, 절차는 (예를 들어, 이미지 필터의 소벨(Sobel) 연산자 또는 다른 유사한 형태를 사용하여) 에지 이미지를 생성하기 위해 종래의 프로세스들/기술들을 사용할 수 있다. 이미지 내에서 에지들을 찾은 후, 절차는 테스트 포인트들을 일반적으로 에지 특징들이 없는 위치들에 적용한다. 따라서, 본 명세서에서 "기울기 이미지"라는 용어는 테스트 포인트들의 배치를 위해 이미지 내에서 에지들/높은-콘트라스트 영역들을 찾는 대안적인 접근법들을 포함하도록 넓게 취해져야 한다-그러한 대안적인 접근법은 에지 특징들로부터 떨어져 있는 이미지 내의 위치들에서 테스트 포인트들을 찾음으로써 기울기 이미지의 사용과 유사한 결과를 달성한다. 예시적으로, 이러한 절차는 이미지 내에서 (예를 들어, 합성 훈련 데이터 세트의 일부로서) 에지들의 목록을 구비할 수 있고, 테스트 포인트들은 이에 의해 에지들로부터 떨어져 위치된다.
비-제한적인 예로서, 그리고 추가 예시로서, 훈련 특징 세트(360)를 포함하는 FOV(350)의 전부 또는 일부를 나타내는 도 3a에 대한 참조가 이루어진다. 이 경우에, 특징 세트(360)(에지들(362))는 도 1에서 이산의 예시적인 패턴들(172 및 174)과 유사한 십자형 패턴을 한정한다. 경계 상자(370)(또는 다른 윤곽묘사)는 특징들(360)을 포함하는 영역 주위에 위치된다. 에지들(362)은 적어도 하나의 다른 구별적인 특성(경계가 정해진 영역(370) 내에서 주변 배경(364)에 대한 컬러, 그레이스케일 음영 및 높이/범위 중 적어도 하나)을 또한 포함하는 물체의 부분이다. 경계 상자는, 관심 특징들을 완전히 포함하도록, 하지만 분석이 이루어져야 할 원하는 영역 외부에 명백히 있는 영역들을 회피하도록, 자동적으로 또는 사용자-특정 절차에 의해 배치될 수 있다. 이 예에서, 테스트 포인트들(380)의 기하학적 격자는 일반적으로 경계가 정해진 영역(370)을 가로 질러 수립된다. 도시된 바와 같이, 이들 포인트들은 컬러, 그레이스케일 레벨 또는 범위/높이의 상이한 영역들에 속한다. 관심 이미지 또는 영역들에 걸친 포인트 분포의 입도는 그리드의 배열과 같이 매우 가변적이다. 이 경우 테스트 포인트들은 수직 및 수평 방향으로 균등하게 배치된다. 테스트 포인트들은 또한 에지들의 일반적인 윤곽과 보다 근접하게 매칭되는 어레이로 배열될 수 있다. 마찬가지로, 직교 그리드가 사용되었지만, 어레이는 (예를 들어) 극좌표 그리드로 배열될 수 있다. 도 3a의 이미지는 기울기 크기(에지)에 관계없이 전체 이미지에 걸친 테스트 포인트들(380)의 어레이를 도시하는데, 이것은 에지들(362) 내부 및 외부의 컬러/범위/강도의 상이한 영역들을 구별하는 것을 어렵게 한다. 그러나, 도 3b에 더 도시된 바와 같이, 절차(300)는 특히, 높은-기울기-크기 영역들(에지들(362)) 근처의 테스트 포인트들(380)이 생략되도록, 도 3a의 훈련 또는 런타임 이미지를 수정한다. 이러한 버전의 이미지 내에서 나머지 테스트 포인트들은 에지들(362) 내에 또는 배경 영역(370) 내에 명백하게 존재한다. 따라서, 이미지상의 테스트 포인트들의 실제 배치는 전형적으로도 3b의 도시된 예에 따른다. 이 예에서 명백히 각 영역 내의 테스트 포인트들의 배치는 절차가 컬러/그레이스케일/강도의 뚜렷한 영역을 효과적으로 묘사할 수 있도록 한다.
도 5는 획득된 이미지(후보 이미지)가 훈련된 모델에 대해 컬러, 그레이스케일 레벨 또는 범위를 매칭시키는 정도를 결정하기 위해 점수화되려는 런타임 절차(500)를 도시한다. 이미지는 단계(510)에서 런타임 분석을 위해 카메라 조립체(120)(도 1)에 의해 획득되고, 저장되거나, 그렇지 않을 경우 시스템에 제공된다. 단계(520)에서, 절차(500)는 이미지를 위한 후보 포즈 및 커버리지(미가공) 점수 그리고 선택적으로 역시 클러터 점수를 계산한다. 미가공 점수가 "수용" 임계값보다 낮으면, 후보 런타임 이미지는 폐기되고, 다음 후보 포즈가 분석된다-"거부"상태를 나타낸다. 커버리지의 계산 및 정규 이미지 "프로브"의 생성 및 런타임에서 이미지들의 정렬/점수화를 위한 다른 메커니즘들은 아래에 추가로 설명되고 상업적으로 취득 가능한 패턴 매칭 도구들 및 프로세스들(예: Cognex PatMax®, PatMax RedLine®, 등)를 사용하여 달성될 수 있다. 또한, 런타임 마스크는 컬러/그레이스케일/범위 매칭 절차와 관련이 없는 것으로 런타임시 마스킹되어 제외된 런타임 후보 이미지의 임의의 영역을 점수화하는 것을 회피하기 위해 사용될 수 있다. 런타임 이미지의 좌표 공간을 훈련 패턴의 좌표 공간과 정렬시키기 위해, 적어도 기본적인(예: 대략적인) 정합 프로세스가 전체 프로세스 내의 적절한 시간에 사용됨을 주목해야 한다.
단계(540)에서, 런타임 이미지의 발견된 "포즈"는 컬러/그레이스케일/범위 테스트 포인트들을 런타임 이미지의 좌표 공간에 맵핑하는데 사용된다. 각각의 포인트에 대해, 절차(500)는 이를 단계(550)에서 점수화한다. 맵핑된 포인트에서 단계(550)의 점수는, 컬러/그레이스케일/범위 이미지와 그 맵핑된 포인트에서의 훈련 패턴 내의 컬러/그레이스케일/범위 이미지 간의 차이, 또는 평균-감산된 컬러/그레이스케일/범위 이미지 및 그 맵핑된 포인트의 훈련 패턴에서의 평균-차감된 컬러/그레이스케일/범위 이미지의 곱이다. 대안적으로, 점수는 이 값의 절대값 또는 제곱 또는 이 값의 수학 함수가 될 수 있다. 이 결과는 (비 제한적 예로서) 점수 공간을 정규화(즉, 0과 1 사이)되도록 재조정하기 위한 적절한 인자에 의해 곱해질 수 있다. 다른 표준화 기술들(또는 정규화가 없는)이 다른 실시예들에서 사용될 수 있음을 주목해야 한다. (다른 실시예들에서 광범위하게 변화될 수 있는) 런타임 절차의 비-제한적인 예로서, 계산된 점수 정보는 절차(500)에 의해 사용되어, 런타임 포즈와 훈련 모델 간의 매치를 위한 전체적인 점수를 단계(560)에 따라 제공한다. 예시적인 실시예에서, 도 6을 더 참조하면, 절차(600)는 단계(610)에서 모든 맵핑된 컬러/그레이스케일/범위 테스트 포인트들로부터 모든 컬러/그레이스케일/범위 매치 점수 값을 합산한다. 이 결과 합은 이후 단계(620)에서 전체 픽셀/위치들의 총 수의 단계(620)에서의 값(기울기 크기 임계 한계(용어, TrainingPixelCount)를 충족 시키는)에 의해 나누어지고, 이에 의해 단계(630)에서 이미지를 위한 전체적인 컬러/그레이스케일/범위 매치 점수(Color/Grayscale/RangeScore)를 유도한다. 결과의 대략적인 평균값을 얻기 위해, 값(Color/Grayscale/RangePixelCount)을 나누는 대신에, 값(TrainingPixelCount)으로 나눔으로써, 1의 커버리지 값이 잠재적인 "정확한" 픽셀/위치들이 존재하는 만큼의 이미지 내에서 많은 매칭 컬러/그레이스케일/범위 픽셀들/위치들을 제공할 것이라는 가정이 이루어진다. 마지막으로 보고된 점수는 0으로 고정된 (CoverageScore - Color/Grayscale/RangeFactor * Color/Grayscale/RangeScore - ClutterScore)이고, 여기서 Color/Grayscale/RangeFactor의 디폴트값은 0.5이다.
컬러/그레이스케일/범위 점수 또는 런타임 후보 포즈 내의 컬러/그레이스케일/범위 거동의 레벨에 대한 다른 정보는, 생산 라인을 중지시키는 것, 음향 경보들을 발하는 것, 품질 제어 데이터를 저장하는 것, 및/또는 부품들을 거부하는 것과 같은 (하지만 이에 국한되지 않는) 다양한 동작들을 수행하기 위하여, 하류의(선택적인) 프로세스들 및 작업들에 의해 이용될 수 있다. 예로서, 정렬된 포즈가 컬러, 그레이스케일 레벨 및/또는 높이에 관해 훈련 이미지에 근접한 매치를 나타내면, 아래에 놓인 런타임 물체가 수용된다. 런타임 포즈의 컬러/그레이스케일/범위 테스트 포인트들과 훈련 모델의 대응하는 포인트들 사이의 매치가 존재하지 않으면, 정렬은 실패하고 (사용 가능한 에지 특징들이 정렬된 것으로 보이더라도), 물체는 거부될 수 있다.
예시적으로, 위의-통합 결정 시스템 및 방법에서, 후보 패턴 매치가 발견된 후, 컬러/그레이스케일/범위 테스트 포인트들은 런타임 이미지로 맵핑되고, 이후 각각의 테스트 포인트의 컬러/그레이스케일/범위 정보는 매핑된 위치의 런타임 이미지 내에 존재하는 컬러에 매칭될 수 있다(선택한 기준(들), 예컨대 RGB 공간 내의 유클리드 거리를 사용하여). 다양한 실시예들에서, 총 컬러/그레이스케일/범위 점수가 이후 계산되어 사용자에게 보고될 수 있고, 이러한 점수는, 예를 들어, 패턴 점수 및 컬러 매치 점수를 추가하거나, 또는 거리 임계값 밖에 있는 컬러/그레이스케일/범위 테스트 포인트들의 백분율을 감산함으로써, 전체 패턴 점수를 선택적으로 통보하기 위하여 사용된다.
컬러/그레이스케일/범위 테스트 포인트 훈련 패턴의 생성이, 보다 안정된 이미지의 부분들에서, 높은-기울기-레벨 에지들로부터 떨어진 영역들 내의 런타임 후보 이미지상의 비-매칭 특징들의 신속하고 신뢰성 있는 검출을 허용한다는 점이 명백할 것이다. 이러한 접근법은, 보다 심도있고 프로세서/시간-집약적인 분석이 수행되기 전에 런타임 후보 포즈들의 수용 또는 거부를 가능하게 하여, 운영 효율성과 처리 속도를 향상시킨다.
전술한 것은 본 발명의 예시적인 실시예들의 상세한 설명이다. 다양한 수정들 및 추가들은 본 발명의 사상 및 범주를 벗어나지 않고 이루어질 수 있다. 위에서 기술한 다양한 실시예들의 각각의 특징들은, 관련된 새로운 실시예들에서 다수의 특징 조합들을 제공하기 위하여 적절한 다른 설명된 실시예들의 특징들과 결합될 수 있다. 또한, 상술한 것이 본 발명의 장치 및 방법의 다수의 개별 실시예들을 기술하지만, 본 명세서에 기재된 것은 본 발명의 원리들의 응용을 단순히 설명하기 위한 것이다. 예를 들어, "테스트 포인트" 및/또는 "프로브"라는 용어들의 사용은 이미지 좌표 공간에서 다른 유형의 기하학적 구조들(평균 컬러, 그레이스케일 레벨 및/또는 범위/높이가 다각형 내에서 계산되는 다각형과 같은)을 포함하도록 폭넓게 이해되어야 한다. 마스크가 런타임시 사용될 수 있어서 정렬 프로세스가 마스크의 경계 외부에 있는 영역을 생략할 수 있다는 것도 또한 고려된다. 이것은 관계없는 특징들 또는 관심없는 특징들을 제거함으로써 정렬을 촉진한다. 일반적으로 이미지의 영역들은 이미지 분석에 중요하지 않은 것으로 간주되면, 컬러/그레이스케일/범위 테스트 포인트들의 위치로부터 마스킹되어 제외될 수 있다. 또한, "수직", "수평", "위", "아래", "바닥", "상부", "측면", "전", "후", "좌측", "우측", "전방", "후방" 등과 같이 본 명세서에서 사용되는 다양한 방향 및 방위 용어들(및 그 문법적 변형들)은 중력의 작용 방향과 같은 고정된 좌표계에 대하여 절대적인 방위로서가 아닌, 상대적 관례들로서만 사용된다. 또한, 도시된 프로세스 또는 프로세서는 다른 프로세스들 및/또는 프로세서들과 결합되거나, 또는 다양한 하위-프로세스들 또는 프로세서들로 분할될 수 있다. 이러한 하위-프로세스들 및/또는 하위-프로세서들은 본 명세서의 실시예들에 따라 다양하게 조합될 수 있다.
마찬가지로, 임의의 기능, 프로세스 및/또는 프로세서는 전자 하드웨어, 프로그램 명령의 비-일시적 컴퓨터-판독가능 매체로 구성된 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합을 사용하여 본 명세서에서 구현될 수 있음이 명백하게 고려된다. 따라서, 본 설명은 단지 예로서 취해지며, 본 발명의 범위를 다른 방식으로 제한하려는 것은 아니다.

Claims (21)

  1. 카메라 조립체 및 비전 시스템 프로세서를 갖는 비전 시스템을 통해 컬러 이미지에 대해 훈련된 컬러 패턴의 후보 포즈를 점수화하는 방법에 있어서:
    상기 비전 시스템 프로세서에, 컬러 테스트 포인트들의 세트를 갖는 훈련된 컬러 패턴을 제공하는 단계로서, 상기 컬러 테스트 포인트들은 상기 훈련된 패턴의 컬러 매치 정보를 나타내고, 상기 컬러 테스트 포인트들은 상기 컬러 이미지의 강도 이미지 표현에 대하여 낮은 기울기의 영역들에 상주하며, 높은 기울기의 영역들에서 생략되는, 훈련된 컬러 패턴을 제공하는 단계;
    상기 비전 시스템 프로세서에 장면의 런타임 컬러 이미지를 제공하는 단계;
    상기 비전 프로세서를 통해, 상기 훈련된 패턴에 대해 상기 런타임 컬러 이미지를 위한 좌표 공간을 갖는 런타임 포즈를 수립하는 단계로서, 상기 런타임 포즈는 기하학적 정렬 프로세스에 의해 생성되는, 런타임 포즈를 수립하는 단계;
    상기 비전 시스템 프로세서를 통해, 상기 이미지를 위한 상기 좌표 공간상에 상기 컬러 테스트 포인트들을 맵핑하는 단계;
    상기 비전 시스템 프로세서를 통해, 상기 매핑된 컬러 테스트 포인트들에서 각각 상기 컬러 매치를 결정하는 단계; 및
    상기 컬러 매치에 기초하여, 상기 런타임 컬러 이미지의 적어도 일부에서 컬러 매칭 점수를 결정하는 단계를 포함하는, 훈련된 컬러 패턴의 후보 포즈를 점수화하는 방법.
  2. 제 1 항에 있어서,
    상기 컬러 매치를 결정하는 단계는, 상기 훈련된 컬러 패턴의 미리 결정된 컬러 공간 내에서 컬러에 대한 값을 상기 매핑된 컬러 테스트 포인트들에서의 상기 런타임 컬러 이미지로 매칭하는 단계를 포함하는, 훈련된 컬러 패턴의 후보 포즈를 점수화하는 방법.
  3. 제 1 항에 있어서,
    상기 런타임 포즈를 수립하는 단계는, (a) 상기 런타임 이미지를 상기 훈련된 컬러 패턴에 자동으로 정렬시키기 위하여, 상기 비전 시스템에서 정렬 도구들을 사용하는 단계 및 (b) 사용자 입력으로부터 상기 포즈를 나타내는 정보를 획득하는 단계 중 적어도 하나의 단계를 포함하는, 훈련된 컬러 패턴의 후보 포즈를 점수화하는 방법.
  4. 제 1 항에 있어서,
    상기 런타임 컬러 이미지에 적용되는 마스크를 더 포함하고, 상기 마스크는 상기 런타임 컬러 이미지의 어느 영역들이 컬러 매치를 위해 평가되는지를 나타내는, 훈련된 컬러 패턴의 후보 포즈를 점수화하는 방법.
  5. 제 1 항에 있어서,
    상기 기하학적 정렬 프로세스에 의한 사용을 위해 상기 훈련된 컬러 패턴 및 상기 런타임 컬러 이미지 중 적어도 하나로부터 강도 이미지를 생성하는 단계를 더 포함하는, 훈련된 컬러 패턴의 후보 포즈를 점수화하는 방법.
  6. 제 1 항에 있어서,
    상기 컬러 테스트 포인트들은 기울기 크기 임계값에 기초하여 낮은 기울기의 영역들에 상주하고, 상기 기울기 크기 임계값은 (a) 사용자-입력 파라미터 및 (b) 시스템-생성 파라미터 중 적어도 하나의 파라미터에 의해 수립되는, 훈련된 컬러 패턴의 후보 포즈를 점수화하는 방법.
  7. 카메라 조립체 및 비전 시스템 프로세서를 갖는 비전 시스템을 통해 그레이스케일 이미지에 대해 훈련된 그레이스케일 패턴의 후보 포즈를 점수화하는 방법에있어서:
    상기 비전 시스템 프로세서에, 그레이스케일 테스트 포인트들의 세트를 갖는 훈련된 그레이스케일 패턴을 제공하는 단계로서, 상기 그레이스케일 테스트 포인트들은 상기 훈련된 패턴의 그레이스케일 레벨 매치 정보를 나타내고, 상기 그레이스케일 테스트 포인트들은 상기 그레이스케일 이미지의 강도 이미지 표현에 대하여 낮은 기울기의 영역들에 적어도 상주하며, 높은 기울기의 영역들에서 생략되는, 훈련된 그레이스케일 패턴을 제공하는 단계;
    상기 비전 시스템 프로세서에 장면의 런타임 그레이스케일 이미지를 제공하는 단계;
    상기 비전 시스템 프로세서를 통해, 상기 훈련된 패턴에 대해 상기 런타임 그레이스케일 이미지를 위한 좌표 공간을 갖는 런타임 포즈를 수립하는 단계로서, 상기 런타임 포즈는 기하학적 정렬 프로세스에 의해 생성되는, 런타임 포즈를 수립하는 단계;
    상기 비전 시스템 프로세서를 통해, 상기 그레이스케일 테스트 포인트를 상기 이미지를 위한 좌표 공간에 맵핑하는 단계;
    상기 비전 시스템 프로세서를 통해, 상기 매핑된 그레이스케일 테스트 포인트에서 각각 상기 그레이스케일 레벨 매치를 결정하는 단계; 및
    상기 그레이스케일 레벨 매치에 기초하여, 상기 런타임 이미지의 적어도 일부에서 그레이스케일 레벨 매치 점수를 결정하는 단계를 포함하는, 훈련된 그레이스케일 패턴의 후보 포즈를 점수화하는 방법.
  8. 제 7 항에 있어서,
    상기 런타임 포즈를 수립하는 단계는, (a) 상기 런타임 그레이스케일 이미지를 상기 훈련된 그레이스케일 패턴에 자동으로 정렬시키기 위하여 상기 비전 시스템 내의 정렬 도구를 사용하는 단계 및 (b) 사용자 입력으로부터 상기 포즈를 나타내는 정보를 획득하는 단계 중 적어도 하나의 단계를 포함하는, 훈련된 그레이스케일 패턴의 후보 포즈를 점수화하는 방법.
  9. 제 7 항에 있어서,
    상기 런타임 그레이스케일 이미지에 적용되는 마스크를 더 포함하고, 상기 마스크는 상기 런타임 그레이스케일 이미지의 어느 영역들이 그레이스케일 레벨 매치를 위해 평가되는지를 나타내는, 훈련된 그레이스케일 패턴의 후보 포즈를 점수화하는 방법.
  10. 제 7 항에 있어서,
    상기 그레이스케일 테스트 포인트들은 기울기 크기 임계값에 기초하여 낮은 기울기의 영역들에 상주하고, 상기 기울기 크기 임계값은 (a) 사용자-입력 파라미터 및 (b) 시스템-생성 파라미터 중 적어도 하나의 파라미터에 의해 수립되는, 훈련된 그레이스케일 패턴의 후보 포즈를 점수화하는 방법.
  11. 카메라 조립체 및 비전 시스템 프로세서를 갖는 비전 시스템을 통해 범위 이미지에 대한 훈련된 범위 이미지 패턴의 후보 포즈를 점수화하는 방법에 있어서:
    상기 비전 시스템 프로세서에, 범위 테스트 포인트들의 세트를 갖는 훈련된 범위 이미지 패턴을 제공하는 단계로서, 상기 범위 테스트 포인트들은 상기 훈련된 패턴의 범위 매치 정보를 나타내고, 상기 범위 테스트 포인트들은 상기 범위 이미지의 강도 이미지 표현에 대하여 낮은 기울의 영역들에 적어도 상주하며, 높은 기울기의 영역들에서 생략되는, 훈련된 범위 이미지 패턴을 제공하는 단계;
    상기 비전 시스템 프로세서에, 장면의 런타임 범위 이미지를 제공하는 단계;
    상기 비전 시스템 프로세서를 통해, 상기 훈련된 패턴에 대해 상기 런타임 범위 이미지를 위한 좌표 공간을 갖는 런타임 포즈를 수립하는 단계로서, 상기 런타임 포즈는 기하학적 정렬 프로세스에 의해 생성되는, 런타임 포즈를 수립하는 단계;
    상기 비전 시스템 프로세서를 통해, 상기 범위 테스트 포인트들을 상기 이미지를 위한 좌표 공간상에 맵핑하는 단계;
    상기 비전 시스템 프로세서를 통해, 상기 맵핑된 범위 테스트 포인트들에서 각각 상기 범위 매치를 결정하는 단계; 및
    상기 범위 매치에 기초하여, 상기 런타임 이미지의 적어도 일부에서 범위 매칭 점수를 결정하는 단계를 포함하는, 훈련된 범위 이미지 패턴의 후보 포즈를 점수화하는 방법.
  12. 제 11 항에 있어서,
    상기 포즈를 수립하는 단계는, (a) 상기 런타임 범위 이미지를 상기 훈련된 범위 이미지 패턴에 자동으로 정렬시키기 위해 상기 비전 시스템 내의 정렬 도구를 사용하는 단계 및 (b) 사용자 입력으로부터 상기 포즈를 나타내는 정보를 획득하는 단계 중 적어도 하나의 단계를 포함하는, 훈련된 범위 이미지 패턴의 후보 포즈를 점수화하는 방법.
  13. 제 11 항에 있어서,
    상기 런타임 범위 이미지에 적용되는 마스크를 더 포함하고, 상기 마스크는 상기 런타임 범위 이미지의 어느 영역들이 범위 매치를 위해 평가되는지를 나타내는, 훈련된 범위 이미지 패턴의 후보 포즈를 점수화하는 방법.
  14. 제 11 항에 있어서,
    상기 범위 테스트 포인트는 기울기 크기 임계값에 기초하여 낮은 기울기의 영역들에 상주하고, 상기 기울기 크기 임계값은 (a) 사용자-입력 파라미터 및 (b) 시스템-생성 파라미터 중 적어도 하나의 파라미터에 의해 수립되는, 훈련된 범위 이미지 패턴의 후보 포즈를 점수화하는 방법.
  15. 제 11 항에 있어서,
    상기 기하학적 정렬 프로세스와 함께 사용하기 위해, 상기 훈련된 범위 이미지 패턴 및 상기 런타임 범위 이미지 중 적어도 하나에 기초하여 강도 이미지를 생성하는 단계를 더 포함하는, 훈련된 범위 이미지 패턴의 후보 포즈를 점수화하는 방법.
  16. 테스트 포인트를 적용하기 위한 시스템으로서:
    카메라 조립체 및 상기 카메라 조립체에 작동 가능하게 연결된 비전 시스템 프로세서; 및
    훈련 이미지 데이터를 수신하고, 낮은 기울기 크기의 영역들을 식별하고, 상기 이미지 데이터에 대해, 컬러, 그레이스케일 강도 및 범위 중 적어도 하나에 기초하여 최대 테스트 포인트 계수까지 상기 낮은 기울기 크기의 영역들 내에 테스트 포인트들을 적용하고 높은 기울기 크기의 영역들로부터 테스트 포인트를 생략시키는, 훈련 모듈을 포함하는, 테스트 포인트를 적용하기 위한 시스템.
  17. 제 16 항에 있어서,
    상기 비전 시스템 프로세서는, (a) 장면의 런타임 이미지 데이터를 획득하고 (b) 상기 런타임 이미지 데이터를 위한 좌표 공간을 갖는 런타임 포즈로서, 기하학적 정렬 프로세스에 의해 생성되는 런타임 포즈를 상기 훈련된 패턴에 대해 수립하는 런타임 정렬 모듈, 및 (c) 상기 런타임 이미지 데이터를 위한 상기 좌표 공간상의 테스트 포인트를 포함하는, 테스트 포인트를 적용하기 위한 시스템.
  18. 제 17 항에 있어서,
    상기 비전 시스템 프로세서는, (a) 상기 훈련된 패턴과 상기 런타임 이미지 데이터 사이의 컬러, 그레이스케일 강도 및 범위 매치 중 적어도 하나를 결정하고, (b) 상기 런타임 이미지 데이터의 적어도 일부에서 매치 점수를 결정하도록 배열된 매칭 프로세스를 포함하는, 테스트 포인트를 적용하기 위한 시스템.
  19. 제 18 항에 있어서,
    상기 기하학적 정렬 프로세스와 함께 사용하기 위해 상기 훈련된 패턴 및 상기 런타임 이미지 데이터 중 적어도 하나에 기초하는 강도 이미지를 더 포함하는, 테스트 포인트를 적용하기 위한 시스템.
  20. 제 18 항에 있어서,
    상기 포즈는 (a) 상기 런타임 이미지를 상기 훈련된 패턴에 자동으로 정렬시키는 상기 비전 시스템 내의 정렬 도구들 및 (b) 사용자 입력으로부터 상기 포즈를 나타내는 정보 중 적어도 하나에 기초하여 수립되는, 테스트 포인트를 적용하기 위한 시스템.
  21. 제 18 항에 있어서,
    상기 런타임 이미지에 적용되는 마스크를 더 포함하고, 상기 마스크는 상기 런타임 이미지의 어느 영역들이 매칭을 위해 평가되는지를 나타내는, 테스트 포인트를 적용하기 위한 시스템.
KR1020180013287A 2017-02-03 2018-02-02 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법 KR102073468B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/424767 2017-02-03
US15/424,767 US20180225799A1 (en) 2017-02-03 2017-02-03 System and method for scoring color candidate poses against a color image in a vision system

Publications (2)

Publication Number Publication Date
KR20180090756A KR20180090756A (ko) 2018-08-13
KR102073468B1 true KR102073468B1 (ko) 2020-02-04

Family

ID=61157085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180013287A KR102073468B1 (ko) 2017-02-03 2018-02-02 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US20180225799A1 (ko)
EP (1) EP3358526A1 (ko)
JP (2) JP2018152055A (ko)
KR (1) KR102073468B1 (ko)
CN (1) CN108447081A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562505B2 (en) * 2018-03-25 2023-01-24 Cognex Corporation System and method for representing and displaying color accuracy in pattern matching by a vision system
JP7182528B2 (ja) * 2018-09-12 2022-12-02 コグネックス・コーポレイション マシンビジョン用の画像データを処理するための方法及び装置
EP3627379A1 (en) * 2018-09-24 2020-03-25 Siemens Aktiengesellschaft Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium
US10896483B2 (en) * 2018-12-14 2021-01-19 Adobe Inc. Dynamic content generation system
CN109784189A (zh) * 2018-12-19 2019-05-21 中国人民解放军战略支援部队航天工程大学 基于深度学习的视频卫星遥感图像景相匹配方法及其装置
US10811055B1 (en) * 2019-06-27 2020-10-20 Fuji Xerox Co., Ltd. Method and system for real time synchronization of video playback with user motion
CN110346953B (zh) * 2019-07-02 2022-08-09 晋城市龙鑫达光电科技有限公司 一种液晶显示模组偏光片剥离的撕片检测系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030083850A1 (en) * 2001-10-26 2003-05-01 Schmidt Darren R. Locating regions in a target image using color matching, luminance pattern matching and hue plane pattern matching
JP2008198224A (ja) 2001-10-25 2008-08-28 Mitsubishi Electric Information Technology Centre Europa Bv 画像を表す特徴ベクトルを導き出す方法、画像分類方法、および画像解析装置
KR101279561B1 (ko) * 2012-01-19 2013-06-28 광운대학교 산학협력단 깊이정보 기반 고속 고정밀 얼굴 검출 및 추적 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3434976B2 (ja) * 1996-06-28 2003-08-11 三菱電機株式会社 画像処理装置
US7016539B1 (en) * 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
JP4909479B2 (ja) * 1999-08-17 2012-04-04 ナショナル・インストゥルメンツ・コーポレーション ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法
US7043055B1 (en) * 1999-10-29 2006-05-09 Cognex Corporation Method and apparatus for locating objects using universal alignment targets
US6751338B1 (en) * 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
CN1846232A (zh) * 2003-08-29 2006-10-11 日本电气株式会社 使用加权信息的对象姿态估计和匹配系统
DE60319095T2 (de) * 2003-11-10 2009-02-12 Leica Microsystems Cms Gmbh Verfahren zur Verzerrungskorrektur von Multifokus-Bilderstapeln
US7327902B2 (en) * 2004-12-10 2008-02-05 Radiological Imaging Technology, Inc. Optimizing image alignment
JP4702312B2 (ja) * 2007-03-22 2011-06-15 カシオ計算機株式会社 相違度評価装置、相違度評価方法及びプログラム
JP2008234456A (ja) * 2007-03-22 2008-10-02 Chushajo Sogo Kenkyusho:Kk 駐車場情報提供システム、駐車場情報提供方法、それに用いる駐車場情報管理装置
US8233670B2 (en) * 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
US8442304B2 (en) * 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
CN101667303B (zh) * 2009-09-29 2013-01-16 浙江工业大学 一种基于编码结构光的三维重建方法
JP5639925B2 (ja) * 2011-02-25 2014-12-10 株式会社日立ハイテクノロジーズ パターンマッチング装置、及びコンピュータープログラム
KR101180027B1 (ko) * 2011-03-10 2012-09-06 디나스트 광센서 및 이를 이용한 감지 방법
US20140050387A1 (en) * 2012-08-17 2014-02-20 Cognex Corporation System and Method for Machine Vision Inspection
US9443297B2 (en) * 2013-07-10 2016-09-13 Cognex Corporation System and method for selective determination of point clouds
WO2015049233A1 (en) * 2013-10-01 2015-04-09 Ventana Medical Systems, Inc. Line-based image registration and cross-image annotation devices, systems and methods
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US9576221B2 (en) * 2014-07-09 2017-02-21 Ditto Labs, Inc. Systems, methods, and devices for image matching and object recognition in images using template image classifiers
US10192283B2 (en) * 2014-12-22 2019-01-29 Cognex Corporation System and method for determining clutter in an acquired image
CN106033621B (zh) * 2015-03-17 2018-08-24 阿里巴巴集团控股有限公司 一种三维建模的方法及装置
KR102317247B1 (ko) * 2015-06-15 2021-10-26 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
US11158039B2 (en) * 2015-06-26 2021-10-26 Cognex Corporation Using 3D vision for automated industrial inspection
CN106327526B (zh) * 2016-08-22 2020-07-07 杭州保新科技有限公司 图像目标跟踪方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008198224A (ja) 2001-10-25 2008-08-28 Mitsubishi Electric Information Technology Centre Europa Bv 画像を表す特徴ベクトルを導き出す方法、画像分類方法、および画像解析装置
US20030083850A1 (en) * 2001-10-26 2003-05-01 Schmidt Darren R. Locating regions in a target image using color matching, luminance pattern matching and hue plane pattern matching
KR101279561B1 (ko) * 2012-01-19 2013-06-28 광운대학교 산학협력단 깊이정보 기반 고속 고정밀 얼굴 검출 및 추적 방법

Also Published As

Publication number Publication date
EP3358526A1 (en) 2018-08-08
JP2020161129A (ja) 2020-10-01
JP2018152055A (ja) 2018-09-27
KR20180090756A (ko) 2018-08-13
US20180225799A1 (en) 2018-08-09
CN108447081A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
KR102073468B1 (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
EP3168812B1 (en) System and method for scoring clutter for use in 3d point cloud matching in a vision system
US11881000B2 (en) System and method for simultaneous consideration of edges and normals in image features by a vision system
US11676301B2 (en) System and method for efficiently scoring probes in an image with a vision system
CN105718931B (zh) 用于确定采集图像中的杂斑的系统和方法
Zakaria et al. Object shape recognition in image for machine vision application
JP4528309B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
CN108573471B (zh) 图像处理装置、图像处理方法以及记录介质
CN104574312A (zh) 标靶图像求圆心的方法和装置
JP6817742B2 (ja) 情報処理装置およびその制御方法
CN110751690B (zh) 铣床刀头视觉定位方法
US11562505B2 (en) System and method for representing and displaying color accuracy in pattern matching by a vision system
KR101733028B1 (ko) 영상대조에 따른 에지 변위량 예측 방법
CN116934734A (zh) 基于图像的零件缺陷多路并行检测方法、装置及相关介质
CN114648544A (zh) 一种亚像素椭圆提取方法
US20190104298A1 (en) Method for adjusting a stereoscopic imaging device
CN115797995B (zh) 人脸活体检测方法、电子设备及存储介质
Le et al. Geometry-Based 3D Object Fitting and Localizing in Grasping Aid for Visually Impaired
CN117726803A (zh) 基于视觉仿真先验信息的目标激光条纹中心线提取方法、系统、设备及介质
CN118823298A (zh) 一种安全帽佩戴检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant