KR20220004009A

KR20220004009A - 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체

Info

Publication number: KR20220004009A
Application number: KR1020217021260A
Authority: KR
Inventors: 솅 진; 웬타오 리우; 첸 치안
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2020-06-30
Filing date: 2021-02-03
Publication date: 2022-01-11
Also published as: CN111783882B; TWI774271B; JP2022542199A; WO2022001106A1; TW202203211A; CN111783882A

Abstract

본 발명은 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체를 제공하고, 상기 방법은, 검출될 이미지를 획득하는 단계; 상기 검출될 이미지에 기반하여, 이미지 특징맵 및 복수 개의 키 포인트 히트맵을 생성하는 단계 - 상기 이미지 특징맵은 상기 검출될 이미지 중 각 목표 대상 사이의 상대적 위치 관계를 나타내기 위한 것이고, 각 상기 키 포인트 히트맵은 상기 검출될 이미지의 하나의 카테고리의 키 포인트를 포함하며, 상이한 카테고리의 키 포인트는 상기 목표 대상의 상이한 부위에 대응됨 - ; 상기 이미지 특징맵 및 복수 개의 상기 키 포인트 히트맵에 기반하여, 키 포인트 이미지 모델을 생성하는 단계 - 상기 키 포인트 이미지 모델은 상기 검출될 이미지 중 상이한 카테고리의 키 포인트의 정보 및 연결 가장자리의 정보를 포함하고, 각 연결 가장자리는 두 개의 상이한 카테고리의 키 포인트 사이의 가장자리임 - ; 및 상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계를 포함한다.

Description

키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체

본 발명은 출원 번호가 202010622132.3이고, 출원일이 2020년 6월 30일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

본 발명은 이미지 검출 기술 분야에 관한 것으로, 특히 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.

인체 키 포인트 검출은 비디오에서 사람의 행동을 분석하여 상위 계층 정보의 지원을 제공하는 것이고, 비디오 인체 동작 인식 및 인간-기계 인터페이스를 구현하는 기반이다. 최근, 딥 뉴럴 네트워크에 기반한 인체 키 포인트 검출 방법은, 입력 이미지가 간단하고 획득하기 쉬우며, 검출 효과가 효율적이고 정확하므로, 연구의 화제가 되었다.

일반적으로, 딥 뉴럴 네트워크에 기반한 인체 키 포인트 검출 방법에 있어서, 키 포인트의 검출 및 키 포인트의 클러스터링은 두 개의 독립적인 단계이고, 즉 키 포인트의 클러스터링은 일반적으로 미분할 수 없는 후처리 작업이다. 그러나, 이러한 방식으로, 키 포인트 클러스터링 과정의 정확성이 비교적 낮고, 즉 클러스터링 오류가 발생할 수 있으며, 서로 다른 사람의 키 포인트를 동일한 사람의 키 포인트로 하여 함께 클러스터링되어, 검출 결과에 오류가 발생하게 된다.

이 점을 고려하여, 본 발명의 실시예는 적어도 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체를 제공한다.

제1 측면에 있어서, 본 발명의 실시예는 키 포인트 검출 방법을 제공하고,

검출될 이미지를 획득하는 단계;

상기 검출될 이미지에 기반하여, 이미지 특징맵 및 복수 개의 키 포인트 히트맵을 생성하는 단계 - 상기 이미지 특징맵은 상기 검출될 이미지 중 각 목표 대상 사이의 상대적 위치 관계를 나타내기 위한 것이고, 각 상기 키 포인트 히트맵은 상기 검출될 이미지의 하나의 카테고리의 키 포인트를 포함하며, 상이한 카테고리의 키 포인트는 상기 목표 대상의 상이한 부위에 대응됨 - ;

상기 이미지 특징맵 및 복수 개의 상기 키 포인트 히트맵에 기반하여, 키 포인트 이미지 모델을 생성하는 단계 - 상기 키 포인트 이미지 모델은 상기 검출될 이미지 중 상이한 카테고리의 키 포인트의 정보 및 연결 가장자리의 정보를 포함하고, 각 연결 가장자리는 두 개의 상이한 카테고리의 키 포인트 사이의 가장자리임 - ; 및

상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계를 포함한다.

상기 방법을 사용하여, 생성한 이미지 특징맵 및 복수 개의 키 포인트 히트맵에 기반하여, 검출될 이미지에 대응되는 키 포인트 이미지 모델을 생성할 수 있고, 키 포인트 이미지 모델은 이미지 특징맵 및 키 포인트 히트맵에서의 정보를 포함하고, 이미지 특징맵은 검출될 이미지 중 상이한 목표 대상 사이의 상대적 위치 관계를 나타낼 수 있으므로, 키 포인트 이미지 모델에 기반하여, 상이한 목표 대상의 키 포인트에 대해 비교적 정확하게 구분하여, 키 포인트 클러스터링의 정확성을 향상시킬 수 있다.

가능한 실시형태에 있어서, 상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계는,

상기 키 포인트 이미지 모델 중 각 키 포인트의 정보 및 상기 연결 가장자리의 정보에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하는 단계; 및

결정된 상기 상관관계에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계를 포함한다.

가능한 실시형태에 있어서, 결정된 상기 상관관계에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계는, 상기 기설정된 임계값보다 큰 대응되는 상기 상관관계를 갖는 각 키 포인트를 동일한 목표 대상의 키 포인트로 취하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 키 포인트 이미지 모델 중 각 키 포인트의 정보 및 상기 연결 가장자리의 정보에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하는 단계는, 각 키 포인트에 대해, 상기 키 포인트의 정보, 및 상기 키 포인트 이미지 모델 중 상기 키 포인트와 연결 관계가 있는 다른 키 포인트의 정보에 기반하여, 상기 키 포인트의 융합 특징을 결정하는 단계; 및 각 키 포인트에 각각 대응하는 융합 특징에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 키 포인트의 정보는 위치 정보, 카테고리 정보, 및 픽셀 특징 정보를 포함하고; 상기 키 포인트 히트맵에 기반하여, 각 키 포인트의 위치 정보를 결정하는 단계; 및 각 상기 키 포인트의 위치 정보에 기반하여, 상기 이미지 특징맵에서 상기 키 포인트의 픽셀 특징 정보를 추출하고, 상기 키 포인트가 속하는 키 포인트 히트맵의 카테고리 라벨에 기반하여, 상기 키 포인트에 대응되는 카테고리 정보를 결정하는 단계에 따라 상기 키 포인트 이미지 모델 중 각 키 포인트의 정보를 결정한다.

가능한 실시형태에 있어서, 각 키 포인트에 대응되는 상기 카테고리 정보에 기반하여, 각 키 포인트를 상기 키 포인트가 속하는 카테고리와 상이한 다른 키 포인트와 연결하고, 상기 키 포인트 이미지 모델에서의 연결 가장자리를 형성하는 단계에 따라 상기 키 포인트 이미지 모델에서의 각 연결 가장자리를 생성한다.

가능한 실시형태에 있어서, 각 키 포인트에 대응되는 상기 카테고리, 및 기설정된 상이한 카테고리 사이의 매칭 관계에 기반하여, 각 키 포인트를 상기 키 포인트가 속하는 카테고리와 매칭되는 목표 카테고리에 대응되는 키 포인트와 연결하여, 상기 키 포인트 이미지 모델에서의 연결 가장자리를 형성하는 단계에 따라 상기 키 포인트 이미지 모델에서의 각 연결 가장자리를 생성한다.

가능한 실시형태에 있어서, 상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한 후, 각 목표 대상에 대응되는 각 키 포인트의 정보에 기반하여, 상기 목표 대상의 행동 타입을 결정하는 단계를 더 포함한다.

가능한 실시형태에 있어서, 상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한 후, 각 목표 대상에 대응되는 각 키 포인트의 정보에 기반하여, 상기 목표 대상에 대한 특수 효과 정보를 생성하는 단계를 더 포함한다.

아래의 장치, 전자 기기 등의 효과 설명은 상기 방법의 설명을 참조하면 되고, 여기서 더이상 반복하여 설명하지 않는다.

제2 측면에 있어서, 본 발명의 실시예는 키 포인트 검출 장치를 제공하고,

검출될 이미지를 획득하도록 구성된 획득 모듈;

상기 검출될 이미지에 기반하여, 이미지 특징맵 및 복수 개의 키 포인트 히트맵을 생성하도록 구성된 제1 생성 모듈 - 상기 이미지 특징맵은 상기 검출될 이미지 중 각 목표 대상 사이의 상대적 위치 관계를 나타내기 위한 것이고, 각 상기 키 포인트 히트맵은 상기 검출될 이미지의 하나의 카테고리의 키 포인트를 포함하며, 상이한 카테고리의 키 포인트는 상기 목표 대상의 상이한 부위에 대응됨 - ;

상기 이미지 특징맵 및 복수 개의 상기 키 포인트 히트맵에 기반하여, 키 포인트 이미지 모델을 생성하도록 구성된 제2 생성 모듈 - 상기 키 포인트 이미지 모델은 상기 검출될 이미지 중 상이한 카테고리의 키 포인트의 정보 및 연결 가장자리의 정보를 포함하고, 각 연결 가장자리는 두 개의 상이한 카테고리의 키 포인트 사이의 가장자리임 - ; 및

상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하도록 구성된 결정 모듈을 포함한다.

제3 측면에 있어서, 본 발명의 실시예는 전자 기기를 제공하고, 상기 전자 기기는, 프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되어 있으며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 상기 제1 측면 또는 어느 하나의 실시형태에 따른 키 포인트 검출 방법의 단계를 실행한다.

제4 측면에 있어서, 본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 제1 측면 또는 어느 하나의 실시형태에 따른 키 포인트 검출 방법의 단계를 실행한다.

본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함한 컴퓨터 프로그램 제품을 더 제공하며, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 상기 하나 또는 복수 개의 실시예에서 서버에 의해 실행되는 상기 방법을 구현하기 위한 것이다.

본 발명의 상기 목적, 특징 및 장점을 보다 이해하기 쉽게 하기 위해, 아래에 첨부된 도면과 함께 바람직한 실시예를 상세히 설명한다.

본 발명의 실시예의 기술방안을 더욱 선명하게 설명하기 위해, 아래에 실시예에서 사용되어야 하는 도면을 간단하게 설명하고, 여기서 도면은 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 기술방안을 설명하기 위한 것이다. 이해해야 할 것은, 아래의 도면은 본 발명의 일부 실시예만 도시할 뿐이므로, 범위에 대한 한정으로 간주되어서는 안되며, 본 분야의 기술자는 창조성 노동을 부여하지 않는 전제 하에서도, 이러한 도면에 따라 다른 연관된 도면을 획득할 수 있다.
도 1은 본 발명의 실시예에서 제공한 키포인트 검출 방법의 흐름 예시도이다.
도 2a는 본 발명의 실시예에서 제공한 키 포인트 이미지 모델의 예시도이다.
도 2b는 본 발명의 실시예에서 제공한 키 포인트 검출 방법의 시스템 블록도이다.
도 2c는 본 발명의 실시예에서 제공한 키 포인트 검출 방법의 응용 시나리오도이다.
도 3은 본 발명의 실시예에서 제공한 키 포인트 검출 장치의 아키텍처 예시도이다.
도 4는 본 발명의 실시예에서 제공한 전자 기기(400)의 구조 예시도이다.

본 발명의 실시예의 목적, 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 발명의 실시예에서의 도면과 결합하여, 본 발명의 실시예에서의 기술적 해결수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 단지 본 발명의 전부 실시예가 아닌 일부 실시예라는 것은 명백하다. 일반적으로 이곳의 도면에서 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양하고 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 아래에 도면에서 제공한 본 발명의 실시예의 상세한 설명은 본 발명의 보호 범위를 한정하려는 것이 아닌 본 발명의 선택된 실시예를 나타내기 위한 것이다. 본 발명의 실시예에 기반하여, 당업자가 창조성 노동 없이 얻은 다른 실시예는 전부 본 발명의 보호 범위에 속해야 한다.

일반적으로, 딥 뉴럴 네트워크를 사용하여 이미지를 검출하여, 이미지에 포함된 목표 대상의 키 포인트 정보를 결정할 수 있으며, 여기서, 딥 뉴럴 네트워크에 기반한 키 포인트 검출 방법은, 키 포인트의 검출 및 키 포인트의 클러스터링을 포함한다.

현재, 키 포인트의 검출 및 키 포인트의 클러스터링은 두 개의 독립적인 단계이고, 즉 키 포인트의 클러스터링은 일반적으로 미분할 수 없는 후처리 작업이다. 그러나, 이러한 방식을 사용하는 경우, 키 포인트 클러스터링 과정의 정확성이 비교적 낮고, 즉 클러스터링 오류가 발생할 수 있으며, 상이한 사람의 키 포인트를 동일한 사람의 키 포인트로 취하여 함께 클러스터링함으로써, 검출 결과에 오류가 발생하게 된다.

상기 문제를 해결하기 위해, 본 발명의 실시예는 키 포인트 검출 방법을 제공한다.

본 발명의 실시예를 용이하게 이해하기 위해, 먼저 본 발명의 실시예에서 개시되는 키 포인트 검출 방법에 대해 상세히 설명하고자 한다.

본 발명의 실시예에서 제공하는 키 포인트 검출 방법의 실행 주체는 서버일 수 있고, 상기 서버는 로컬 서버이거나, 클라우드 서버일 수 있으며; 또는, 상기 방법의 실행 주체는 단말 기기일 수 있고, 예를 들어, 상기 단말 기기는 핸드폰, 태블릿 PC, AR 안경 등일 수 있다.

도 1은, 본 발명의 실시예에서 제공한 키 포인트 검출 방법의 프로세스 예시도이고, 상기 방법은 단계 S101 내지 단계 S104를 포함한다.

단계 S101에 있어서, 검출될 이미지를 획득한다.

단계 S102에 있어서, 검출될 이미지에 기반하여, 이미지 특징맵 및 복수 개의 키 포인트 히트맵을 생성하고; 이미지 특징맵은 검출될 이미지 중 각 목표 대상 사이의 상대적 위치 관계를 나타내기 위한 것이며; 각 키 포인트 히트맵에는 검출될 이미지의 하나의 카테고리의 키 포인트를 포함하고, 상이한 카테고리의 키 포인트는 목표 대상의 상이한 부위에 대응된다.

단계 S103에 있어서, 이미지 특징맵 및 복수 개의 키 포인트 히트맵에 기반하여, 키 포인트 이미지 모델을 생성하고; 키 포인트 이미지 모델은 검출될 이미지 중 상이한 카테고리의 키 포인트의 정보 및 연결 가장자리의 정보를 포함하며, 각 연결 가장자리는 두 개의 상이한 카테고리의 키 포인트 사이의 가장자리이다.

단계 S104에 있어서, 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한다.

상기 방법에 있어서, 생성된 이미지 특징맵 및 복수 개의 키 포인트 히트맵에 기반하여, 검출될 이미지에 대응되는 키 포인트 이미지 모델을 생성할 수 있고, 키 포인트 이미지 모델은 이미지 특징맵 및 키 포인트 히트맵에서의 정보를 포함하고, 이미지 특징맵은 검출될 이미지 중 상이한 목표 대상 사이의 상대적 위치 관계를 나타낼 수 있으므로, 키 포인트 이미지 모델에 기반하여, 상이한 목표 대상의 키 포인트를 비교적 정확하게 구분할 수 있으므로, 키 포인트 클러스터링의 정확성을 향상할 수 있다.

단계 S101 및 단계 S102에 대해,

검출될 이미지는 목표 대상을 포함하는 임의의 이미지일 수 있다. 실시 과정에 있어서, 연결되어 있는 저장 장치로부터 검출될 이미지를 획득할 수 있고, 연결되어 있는 촬영 장치로부터 실시간으로 수집된 검출될 이미지를 획득할 수도 있다.

실시 과정에 있어서, 획득된 검출될 이미지를 훈련된 키 포인트 검출 뉴럴 네트워크에 입력하여, 이미지 특징맵 및 복수 개의 키 포인트 히트맵을 생성하고; 이미지 특징맵, 복수 개의 키 포인트 히트맵, 및 훈련된 키 포인트 검출 뉴럴 네트워크에 기반하여, 각 목표 대상의 각 키 포인트를 결정할 수 있다.

여기서, 각 키 포인트 히트맵은 검출될 이미지의 하나의 카테고리의 키 포인트를 포함하고, 상이한 카테고리의 키 포인트는 목표 대상의 상이한 부위에 대응된다. 예를 들어, 키 포인트의 카테고리는 머리, 목, 손 등일 수 있고, 키 포인트 히트맵은 머리 키 포인트를 포함하는 이미지일 수 있으며, 또는, 키 포인트 히트맵은 목 키 포인트를 포함하는 이미지일 수 있고; 또는, 키 포인트의 카테고리는 설정된 제1 카테고리, 제2 카테고리 등일수 있으며, 여기서, 제1 카테고리 키 포인트는 엄지 손가락의 키 포인트일 수 있고, 제2 카테고리 키 포인트는 검지 손가락의 키 포인트 등일 수 있으며, 키 포인트 히트맵은 제1 카테고리 키 포인트의 이미지를 포함할 수 있고, 또는, 키 포인트 히트맵은 제2 카테고리 키 포인트의 이미지를 포함할 수 있다. 여기서, 키 포인트의 카테고리 및 카테고리의 개수는 실제 수요에 따라 설정될 수 있다. 각 목표 대상에 대응되는 키 포인트의 개수는 실제 수요에 따라 설정될 수 있고, 예를 들어, 각 목표 대상에 대응되는 키 포인트의 개수는 17 개, 105 개 등일 수 있다.

여기서, 키 포인트 히트맵의 개수는 설정된 키 포인트 카테고리의 개수와 일치하고, 예를 들어, 만약 설정된 키 포인트의 카테고리 개수가 17 개 라면, 검출될 이미지에 기반하여 생성된 키 포인트 히트맵의 개수도 17 개이다. 여기서, 각 카테고리의 키 포인트의 개수는 하나 또는 복수 개일 수 있다.

이미지 특징맵의 개수는 하나, 또는 복수 개일 수 있다. 여기서, 이미지 특징맵의 개수가 하나인 경우, 상기 이미지 특징맵은 검출될 이미지 중 각 목표 대상과 각 카테고리의 키 포인트에 대응되는 부위 사이의 상대적 위치 관계를 나타낼 수 있다. 이미지 특징맵의 개수가 복수 개인 경우, 이미지 특징맵의 개수와 키 포인트 히트맵의 개수가 동일할 수 있고, 각 이미지 특징맵은 검출될 이미지 중 각 목표 대상의 하나의 카테고리의 키 포인트에 대응되는 부위 사이의 상대적 위치 관계를 나타낼 수 있다. 여기서, 이미지 특징맵의 사이즈 및 키 포인트 히트맵의 사이즈는 일치하다.

실시 과정에 있어서, 키 포인트 검출 뉴럴 네트워크에서 상이한 손실 함수를 설정하여, 이미지 특징맵 및 복수 개의 키 포인트 히트맵을 획득할 수 있다.

단계 S103에 대해,

여기서, 복수 개의 키 포인트 히트맵 및 이미지 특징맵으로부터 각 키 포인트의 정보를 추출하여 얻을 수 있고, 정보가 포함된 각 키 포인트를 노드로 취하고, 상이한 카테고리의 키 포인트 사이의 가장자리를 연결 가장자리로 하여, 키 포인트 이미지 모델을 구성한다.

선택 가능한 실시형태에 있어서, 키 포인트의 정보는 위치 정보, 카테고리 정보, 및 픽셀 특징 정보를 포함할 수 있다. 여기서, 키 포인트 히트맵에 기반하여, 각 키 포인트의 위치 정보를 결정하는 단계; 및 각 키 포인트의 위치 정보에 기반하여, 이미지 특징맵에서 키 포인트의 픽셀 특징 정보를 추출하고, 키 포인트가 속하는 키 포인트 히트맵의 카테고리 라벨에 기반하여, 키 포인트에 대응되는 카테고리 정보를 결정하는 단계에 따라 상기 키 포인트 이미지 모델 중 각 키 포인트의 정보를 결정할 수 있다.

실시 과정에 있어서, 키 포인트 히트맵 중 각 픽셀 포인트의 픽셀 값에 기반하여, 각 키 포인트의 위치 정보를 결정할 수 있다. 예시적으로, 각 키 포인트 히트맵에 대해, 픽셀 값이 최대값인 픽셀 포인트를 선택하여, 하나의 키 포인트로 결정하고, 선택된 상기 픽셀 포인트의 위치 정보를 키 포인트의 위치 정보로 결정할 수 있다. 여기서, 키 포인트 히트맵 중 특정 픽셀 포인트의 픽셀 값이 주변 픽셀 포인트의 픽셀 값보다 클 경우, 상기 픽셀 포인트의 픽셀 값을 최대값으로 간주하고, 상기 픽셀 포인트를 키 포인트로 간주한다.

각 픽셀 포인트의 위치 정보를 획득한 후, 이미지 특징맵에서 상기 위치 정보에 대응되는 픽셀 포인트의 픽셀 값을 추출하여, 추출된 픽셀 값을 키 포인트의 픽셀 특징 정보로 결정할 수 있다.

또한, 각 키 포인트가 속하는 키 포인트 히트맵의 카테고리 라벨에 기반하여, 키 포인트에 대응되는 카테고리 정보를 결정할 수 있다. 예를 들어, 키 포인트 히트맵 A의 카테고리 라벨이 머리인 경우, 키 포인트 히트맵 A에 포함된 각 키 포인트의 카테고리 정보는 머리 키 포인트이고; 키 포인트 히트맵 B의 카테고리 라벨이 목인 경우, 키 포인트 히트맵 B에 포함된 각 키 포인트의 카테고리 정보는 목 키 포인트이다.

선택 가능한 실시형태에 있어서, 아래의 두 가지 방식에 따라 키 포인트 이미지 모델에서의 각 연결 가장자리를 생성할수 있다.

방식 1에 있어서, 각 키 포인트에 대응되는 카테고리 정보에 기반하여, 각 키 포인트를 키 포인트가 속하는 카테고리와 상이한 다른 키 포인트와 연결하여, 키 포인트 이미지 모델에서의 연결 가장자리를 형성한다.

방식 2에 있어서, 각 키 포인트에 대응되는 카테고리, 및 기설정된 상이한 카테고리 사이의 매칭 관계에 기반하여, 각 키 포인트를 키 포인트가 속하는 카테고리와 매칭되는 목표 카테고리에 대응되는 키 포인트와 연결하여, 키 포인트 이미지 모델에서의 연결 가장자리를 형성한다.

방식 1에 있어서, 각 키 포인트에 대응되는 카테고리 정보에 기반하여, 동일한 카테고리 정보를 갖는 키 포인트를 연결하지 않고, 상이한 카테고리 정보를 갖는 키 포인트를 연결하여, 키 포인트 이미지 모델에서의 연결 가장자리를 형성할 수 있다.

여기서, 각 키 포인트에 대응되는 카테고리 정보에 기반하여, 각 키 포인트 및 키 포인트가 속하는 카테고리와 상이한 다른 키 포인트와 연결하여, 키 포인트 이미지 모델에서의 연결 가장자리를 형성함으로써, 키 포인트 이미지 모델을 획득하여, 후속적으로 각 목표 대상의 각 키 포인트를 결정함에 있어서 데이터 지원을 제공한다.

방식 2에 있어서, 인체 구조에 기반하여, 상이한 카테고리 사이의 매칭 관계를 미리 설정할 수 있으며, 예를 들어, 기설정된 상이한 카테고리 사이의 매칭 관계는 머리 카테고리와 목 카테고리의 매칭일 수 있고, 목 카테고리 포인트는 각각 왼쪽 어깨 카테고리, 오른쪽 어깨 카테고리, 및 머리 카테고리와 각각 매칭된다. 여기서, 상이한 카테고리 사이의 매칭 관계는 실제 수요에 따라 설정될 수 있다.

나아가 각 키 포인트에 대해, 상기 키 포인트의 카테고리와 매칭되는 목표 카테고리를 결정하고, 상기 키 포인트를 목표 카테고리에 대응되는 키 포인트와 연결하여, 키 포인트 이미지 모델에서의 연결 가장자리를 형성할 수 있다.

상기 실시 방식에 있어서, 머리 키 포인트가 목 키 포인트와 매칭되고, 발 키 포인트가 무릎 키 포인트와 매칭되도록 미리 설정하는 등과 같은 상이한 카테고리 사이의 매칭 관계를 미리 설정할 수 있으며, 각 키 포인트를 키 포인트가 속하는 카테고리와 매칭되는 목표 카테고리에 대응되는 키 포인트와 연결하므로, 각 키 포인트가 매칭되지 않는 키 포인트와 연결되지 않도록 하고, 상관관계 계산의 계산 량을 감소할 수 있으므로, 키 포인트 검출의 효율을 향상시킨다.

도 2a에 도시된 키 포인트 이미지 모델의 예시도와 같이, 상기 이미지에는 방식 1에 기반하여 생성된 키 포인트 이미지 모델(21), 및 방식 2에 기반하여 생성된 키 포인트 이미지 모델(22)이 포함된다. 여기서, 이미지는 제1 카테고리의 키 포인트(201), 제2 카테고리의 키 포인트(202), 및 제3 카테고리의 키 포인트(203)를 포함하고, 상이한 키 포인트 사이의 연결 가장자리(204)를 더 포함한다. 도면에서 도시된 바와 같이, 키 포인트 이미지 모델(21)은, 상이한 카테고리의 각 키 포인트 사이의 연결 가장자리를 포함하고; 키 포인트 이미지 모델(22)은, 매칭 관계가 있는 상이한 키 포인트 사이의 연결 가장자리를 포함하며, 도면에서 도시된 바와 같이 기설정된 상이한 카테고리 사이의 매칭 관계는 제1 카테고리와 제2 카테고리의 매칭, 제2 카테고리와 제3 카테고리 매칭이다.

단계 S104에 대해,

여기서, 키 포인트 이미지 모델에 기반하여, 키 포인트 이미지 모델에 포함된 각 키 포인트를 분할하고, 동일한 목표 대상에 속하는 복수 개의 키 포인트를 함께 분할할 수 있음으로써, 검출될 이미지에 포함된 각 목표 대상에 대응되는 복수 개의 키 포인트를 획득할 수 있다. 여기서, 각 목표 대상에 대응되는 키 포인트의 개수는 동일하다.

선택 가능한 실시형태에 있어서, 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계는 A1 및 A2를 포함한다.

단계 A1에 있어서, 키 포인트 이미지 모델 중 각 키 포인트의 정보 및 연결 가장자리의 정보에 기반하여, 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정한다.

단계 A2에 있어서, 결정된 상관관계에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한다.

상기 실시 방식 하에 있어서, 각 키 포인트의 정보 및 연결 가장자리의 정보에 기반하여, 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정할 수 있고, 상기 상관관계는 대응되는 두 개의 키 포인트 사이의 동일한 목표 대상에 속하는 확률을 나타낼 수 있으므로, 결정된 상관관계를 통해, 동일한 목표 대상에 속하는 각 키 포인트를 함께 클러스터링하여, 각 목표 대상에 대응되는 각 키 포인트를 획득할 수 있다.

단계 A1에 있어서, 키 포인트 이미지 모델에서의 각 연결 가장자리에 대해, 상기 연결 가장자리에 대응되는 두 개의 키 포인트 사이의 상관관계를 결정할 수 있고, 즉 각 연결 가장자리에 대응되는 상관관계를 획득할 수 있다.

선택 가능한 실시형태로서, 키 포인트 이미지 모델 중 각 키 포인트의 정보 및 연결 가장자리의 정보에 기반하여, 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하는 단계는,

첫째, 각 키 포인트에 대해, 키 포인트의 정보, 및 키 포인트 이미지 모델 중 키 포인트와 연결 관계가 있는 다른 키 포인트의 정보에 기반하여, 키 포인트의 융합 특징을 결정한다.

둘째, 각 키 포인트에 각각 대응하는 융합 특징에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정한다.

각 키 포인트의 융합 특징을 결정하는 경우, 상기 키 포인트의 정보, 및 키 포인트 이미지 모델 중 상기 키 포인트와 연결 관계가 있는 다른 키 포인트의 정보에 기반하여, 키 포인트의 융합 특징을 결정할 수 있고, 여기서, 다른 키 포인트는 키 포인트 이미지 모델 중 상기 키 포인트와의 사이에 연결 가장자리가 있는 키 포인트일 수 있다.

여기서, 키 포인트 이미지 모델에서의 각 키 포인트를 위해 대응하는 융합 특징을 결정할 수 있고, 각 키 포인트에 각각 대응하는 융합 특징에 기반하여, 키 포인트 이미지 모델 중 각 연결 가장자리에 대응되는 두 개의 키 포인트 사이의 상관관계를 결정한다.

실시 과정에 있어서, 융합 특징은 각 키 포인트에 대응되는 특징 벡터일 수 있고, 각 연결 가장자리에 대응되는 두 개의 키 포인트의 융합 특징(특징 벡터) 사이의 유사도를 계산함으로써, 계산하여 획득된 유사도를 이 두 개의 키 포인트 사이의 상관관계로 결정한다.

상기 실시 방식 하에 있어서, 각 키 포인트에 대해, 상기 키 포인트의 정보 및 상기 키 포인트와 연결 관계가 있는 다른 키 포인트의 정보에 기반하여, 상기 키 포인트의 융합 특징을 결정함으로써, 상기 키 포인트의 융합 특징은 상기 키 포인트의 특징을 나타낼 수 있을 뿐만 아니라, 상기 키 포인트와 다른 키 포인트 사이의 관련 관계를 나타낼 수도 있으므로, 각 키 포인트에 각각 대응하는 융합 특징에 기반하여, 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정할 수 있어, 상기 상관관계에 기반하여, 각 목표 대상에 대응되는 각 키 포인트를 비교적 정확하게 결정할 수 있다.

단계 A2에 있어서, 키 포인트 이미지 모델 중 각 연결 가장자리에 대응되는 두 개의 키 포인트의 상관관계를 획득한 것으로 결정한 후, 결정된 각 상관관계에 기반하여, 각 키 포인트를 분할하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정할 수 있다.

선택 가능한 실시형태로서, 결정된 상관관계에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계는, 설정된 임계값보다 큰 대응되는 상관관계를 갖는 각 키 포인트를 동일한 목표 대상의 키 포인트로 취하는 단계를 포함할 수 있다.

실시 과정에 있어서, 상관관계의 임계값의 설정, 및 기설정된 각 카테고리의 키 포인트의 목표 개수에 기반하여, 설정된 임계값보다 큰 대응되는 상관관계를 갖는 각 키 포인트를 동일한 목표 대상의 키 포인트로 취한다. 여기서, 각 목표 대상의 키 포인트는 복수 개의 상이한 카테고리의 키 포인트를 포함하고, 각 카테고리의 키 포인트의 개수는 기설정된 목표 개수와 일치하다.

선택 가능한 실시형태에 있어서, 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한 후, 각 목표 대상에 대응되는 각 키 포인트의 정보에 기반하여, 상기 목표 대상의 행동 타입을 결정하는 단계를 더 포함할 수 있다.

여기서, 각 목표 대상의 각 키 포인트의 정보를 획득한 후, 각 목표 대상의 각 키 포인트의 정보를 행동 검출 뉴럴 네트워크에 입력하여, 상기 목표 대상의 행동 타입을 결정할 수 있고, 예를 들어, 상기 행동 타입은 달리기, 걷기, 두 팔 올리기 등일 수 있다.

선택 가능한 실시형태에 있어서, 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한 후, 각 목표 대상에 대응되는 각 키 포인트의 정보에 기반하여, 목표 대상에 대한 특수 효과 정보를 생성하는 단계를 더 포함할 수 있다.

여기서, 목표 대상의 각 키 포인트의 정보에 대해, 목표 대상의 목표 부위의 위치를 결정하고, 기설정된 목표 부위 대응되는 특수 효과 정보에 기반하여, 목표 대상의 목표 부위의 위치에서 대응되는 특수 효과 정보를 생성할 수 있다. 여기서, 목표 부위는 팔, 머리, 손 등일 수 있다. 예를 들어, 목표 대상의 각 키 포인트의 정보에 대해, 목표 대상의 팔 위치를 결정하고, 기설정된 팔의 특수 효과 정보에 기반하여, 목표 대상의 팔 위치에서 대응되는 특수 효과 정보를 생성할 수 있다.

여기서, 각 목표 대상에 대응되는 각 키 포인트의 정보에 대해, 상기 목표 대상의 동작 타입을 결정하고, 기설정된 동작 타입과 특수 효과 정보 사이의 매핑 관계에 기반하여, 상기 목표 대상을 위해 대응되는 특수 효과 정보를 생성할 수 있다. 예를 들어, 목표 대상 A에 대응되는 각 키 포인트의 정보에 기반하여, 상기 목표 대상의 동작 타입이 하트 동작임을 결정하면, 상기 목표 대상을 위해 하트 모양의 특수 효과 정보를 생성할 수 있다.

관련 기술에 있어서, 목표 대상에 대한 키 포인트의 검출은 상향식의 복수 개의 목표 대상 키 포인트 검출 방법을 통해 구현된다. 이러한 방법은 먼저 이미지에서의 모든 가능한 목표 대상 키 포인트를 검출하고, 키 포인트의 임베딩 특징(Embedding feature)과 같은 각 키 포인트의 정보를 동시에 추출하며; 다음, 최적화 방정식을 해결하여, 이러한 키 포인트를 클러스터링하고 복수 개의 상이한 목표 대상에 할당한다. 이로부터 알다시피, 상향식의 방법은 동작 속도가 더 빠르고, 인접한 목표 또는 차단 상황에 대한 로버스트가 더 좋다.

키 포인트의 임베딩 특징을 추출하는 방법은 방법 1 및 방법 2를 포함한다.

방법 1에 있어서, 키 포인트 임베딩 특징(Keypoint Embedding, KE)에 기반하여 구현한다.

방법 2에 있어서, 공간 인스턴스 임베딩 특징(Spatial Instance Embedding, SIE)의 키 포인트 검출 방법에 기반하여 구현한다.

여기서, 방법 1의 훈련 과정에 있어서, KE 가 주로 키 포인트 근처의 픽셀의 겉보기 정보를 포함하므로, 동일한 목표 대상의 각 키 포인트의 임베딩 값을 좁히며, 상이한 목표 대상의 키 포인트의 임베딩 값을 넓히므로, 키 포인트의 임베딩 특징을 추출을 구현할 수 있다.

여기서, 방법 2의 훈련 과정에 있어서, SIE는 목표 대상 중심 위치 정보를 포함하므로, 각 픽셀 값이 목표 대상 중심으로 회귀하는 벡터를 통해, 키 포인트의 임베딩 특징의 추출을 구현할 수 있다.

이로부터 알다시피, KE는 주로 픽셀 특징 정보에 관한 것이고, 여기서, 상기 픽셀 특징 정보는 픽셀의 픽셀 값과 같은 픽셀의 겉보기 정보를 포함할 수 있고, 공간 위치 정보에 대해 예민하지 않으며, 긴 거리의 키 포인트 사이의 관계를 모델링할 수 있으나, 공간 제약이 부족하므로, KE에만 의존하면 먼 거리의 상이한 목표 대상의 키 포인트가 함께 모이는 문제가 존재할 수 있다.

이로부터 알다시피, 관련 기술에서, 상향식의 키 포인트 검출 방법에 있어서, 키 포인트의 검출 및 키 포인트의 클러스터링은 두 개의 독립적인 단계이다. 키 포인트의 클러스터링은 미분할 수 없는 후처리 작업이다. 아래와 같은 몇 가지 문제가 존재하며, 첫째, 키 포인트의 클러스터링 과정은 고정된 후처리이고, 데이터에서 학습하여 최적화할 수 없으며; 둘째, 공동 최적화를 수행하지 않았으므로, 키 포인트의 클러스터링 정밀도가 높지 않고, 상이한 목표 대상의 키 포인트를, 동일한 목표 대상의 키 포인트로 간주하여 클러스터링하는 것과 같은 클러스터링 오류가 발생할 수 있으며; 셋째, 클러스터링 후처리 과정은, 추가 하이퍼 파라미터 설정이 필요하다.

상기 문제를 해결하기 위해, 본 발명의 실시예는 키 포인트 검출 방법을 제공하고, 상기 방법의 시스템 블록도는 도 2b에 도시된 바와 같으며,

관련 기술에 있어서, 키 포인트의 검출 단계 S21 및 키 포인트의 클러스터링 단계 S22를 포함한다. 키 포인트의 클러스터링 단계는 키 포인트 검출 후의 후처리 작업이다.

본 발명의 실시예는 키 포인트 검출 방법을 제공하고, 키 포인트 후보 추출 모듈 G1(Keypoint Candidate Proposal) 및 이미지 클러스터링 모듈 G2(Graph Grouping)를 포함한다.

키 포인트 후보 추출 모듈 G1은, 각 프레임의 이미지에 대해, 먼저 멀티 작업의 상향식의 목표 대상 키 포인트 모델을 통해, 목표 대상 키 포인트의 키 포인트 히트맵(Heatmaps), 및 이미지 특징맵 또는 공간 인스턴스 이미지 특징맵 (Feature Maps)을 직접 출력하기 위한 것이다. 키 포인트 히트맵을 통해 최대값(argmax)을 획득하므로, 키 포인트의 픽셀 좌표 위치 X를 획득할 수 있다. 동시에, 이미지 특징맵의 대응되는 위치 정보에서, 키 포인트의 특징 정보 F를 획득할 수 있다.

이미지 클러스터링 모듈 G2는, 두 개마다의 키 포인트가 동일한 목표 대상에 속하는지 여부를 판단하고, 동일한 목표 대상의 키 포인트를 클러스터링하기 위한 것이다.

예를 들어, 도 2c는 키 포인트 히트맵 P1 및 이미지 특징맵 P2로, 이미지 컨볼루션 네트워크를 입력하는 과정을 도시한다. 먼저, 키 포인트의 정보를 추출하고, 키 포인트 이미지 모델 G={V, E}를 구축한다. 키 포인트 이미지 모델 G는 키 포인트 V 및 가장자리 E 두 개의 부분으로 분할되고, 여기서, 키 포인트 V는 각 키 포인트의 정보이며, 즉 「키 포인트의 카테고리 T, 키 포인트의 좌표 X, 키 포인트의 특징 정보 F」를 포함한다. 가장자리 V는 키 포인트 사이의 관계 즉 동일한 목표 대상에 속하는지 여부를 표시한다. 키 포인트 이미지 모델을 구축한 후, 키 포인트 상관관계의 계산을 수행한다. 에지 컨볼루션 EdgeConv 구축맵 컨볼루션 뉴럴 네트워크 모델을 사용하여, 키 포인트 이미지 모델에 대해 컨볼루션을 수행하고, 키 포인트의 특징 정보를 지속적으로 업데이트한다. 이어서 가장자리 분류 기기를 훈련하고, 각 쌍의 키 포인트를 판별하여, 해당 쌍의 키 포인트가 동일한 목표 대상에 속하는지 여부를 판단한다. 키 포인트 후보 추출 모듈 G1, 이미지 클러스터링 모듈 G2, 가장자리 분류 기기를 통해 엔드 투 엔드 훈련 최적화를 수행할 수 있다.

가능한 실시형태에 있어서, 본 발명의 실시예에서 제공하는 키 포인트 검출 방법의 일 측면에 있어서, 목표 대상 키 포인트의 위치 정보에 대해 예측을 수행할 수 있고; 다른 측면에 있어서, 상기 목표 대상의 행동 타입을 결정할 수 있으며; 또 다른 측면에 있어서, 목표 대상의 상이한 부위에서 실시간 특수 효과 정보를 증가할 수 있다.

상기 방법을 사용하여, 다중 목표 대상 포즈 추정을 이미지 클러스터링 문제로 변환할 수 있고; 목표 대상의 토폴로지 구조 정보를 유지하여, 다중 목표 대상 포즈 이미지에 대한 특징 정보 추출을 수행할 수 있으며; 하나의 딥 뉴럴 네트워크 모델을 통해, 다중 목표 대상 포즈의 클러스터링 결과를 획득할 수 있고; 관련 기술에 있어서, 키 포인트에 대한 클러스터링 등 후처리 작업을 예방할 수 있으므로, 작업 단계를 간소화할 수 있으며; 키 포인트의 검출 및 키 포인트의 클러스터링을 통합하여, 키 포인트의 클러스터링 정밀도를 향상시킬 수 있다.

본 분야의 기술자는 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다는 것을 이해할 수 있다.

동일한 구상에 기반하여, 본 발명의 실시예는 키 포인트 검출 장치를 제공하고, 도 3은, 본 발명의 실시예에서 제공한 키 포인트 검출 장치의 아키텍처 예시도이고, 획득 모듈(301), 제1 생성 모듈(302), 제2 생성 모듈(303), 결정 모듈(304), 행동 타입 결정 모듈(305), 및 특수 효과 정보 생성 모듈(306)을 포함하며, 여기서,

검출될 이미지를 획득하도록 구성된 획득 모듈(301);

상기 검출될 이미지에 기반하여, 이미지 특징맵 및 복수 개의 키 포인트 히트맵을 생성하도록 구성된 제1 생성 모듈(302) - 상기 이미지 특징맵은 상기 검출될 이미지 중 각 목표 대상 사이의 상대적 위치 관계를 나타내기 위한 것이고, 각 상기 키 포인트 히트맵은 상기 검출될 이미지의 하나의 카테고리의 키 포인트를 포함하며, 상이한 카테고리의 키 포인트는 상기 목표 대상의 상이한 부위에 대응됨 - ;

상기 이미지 특징맵 및 복수 개의 상기 키 포인트 히트맵에 기반하여, 키 포인트 이미지 모델을 생성하도록 구성된 제2 생성 모듈(303) - 상기 키 포인트 이미지 모델은 상기 검출될 이미지 중 상이한 카테고리의 키 포인트의 정보 및 연결 가장자리의 정보를 포함하고, 각 연결 가장자리는 두 개의 상이한 카테고리의 키 포인트 사이의 가장자리임 - ; 및

상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하도록 구성된 결정 모듈(304)을 포함한다.

가능한 실시형태에 있어서, 상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 경우, 상기 결정 모듈(304)은,

상기 키 포인트 이미지 모델 중 각 키 포인트의 정보 및 상기 연결 가장자리의 정보에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하고;

결정된 상기 상관관계에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하도록 구성된다.

가능한 실시형태에 있어서, 결정된 상기 상관관계에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 경우, 상기 결정 모듈(304)은,

상기 기설정된 임계값보다 큰 대응되는 상기 상관관계를 갖는 각 키 포인트를 동일한 목표 대상의 키 포인트로 하도록 구성된다.

가능한 실시형태에 있어서, 상기 키 포인트 이미지 모델 중 각 키 포인트의 정보 및 상기 연결 가장자리의 정보에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하는 경우, 상기 결정 모듈(304)은,

각 키 포인트에 대해, 상기 키 포인트의 정보, 및 상기 키 포인트 이미지 모델 중 상기 키 포인트와 연결 관계가 있는 다른 키 포인트의 정보에 기반하여, 상기 키 포인트의 융합 특징을 결정하고;

각 키 포인트에 각각 대응하는 융합 특징에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하도록 구성된다.

가능한 실시형태에 있어서, 상기 키 포인트의 정보는 위치 정보, 카테고리 정보, 및 픽셀 특징 정보를 포함하고;

상기 제2 생성 모듈(303)은,

상기 키 포인트 히트맵에 기반하여, 각 키 포인트의 위치 정보를 결정하는 단계; 및

각 상기 키 포인트의 위치 정보에 기반하여, 상기 이미지 특징맵에서 상기 키 포인트의 픽셀 특징 정보를 추출하고, 상기 키 포인트가 속하는 키 포인트 히트맵의 카테고리 라벨에 기반하여, 상기 키 포인트에 대응되는 카테고리 정보를 결정하는 단계에 따라 상기 키 포인트 이미지 모델 중 각 키 포인트의 정보를 결정하도록 구성된다.

가능한 실시형태에 있어서, 상기 제2 생성 모듈(303)은,

각 키 포인트에 대응되는 상기 카테고리 정보에 기반하여, 각 키 포인트를 상기 키 포인트가 속하는 카테고리와 상이한 다른 키 포인트와 연결하여, 상기 키 포인트 이미지 모델에서의 연결 가장자리를 형성하는 단계에 따라 상기 키 포인트 이미지 모델에서의 각 연결 가장자리를 생성하도록 구성된다.

가능한 실시형태에 있어서, 상기 제2 생성 모듈(303)은,

각 키 포인트에 대응되는 상기 카테고리, 및 기설정된 상이한 카테고리 사이의 매칭 관계에 기반하여, 각 키 포인트를 상기 키 포인트가 속하는 카테고리와 매칭되는 목표 카테고리에 대응되는 키 포인트와 연결하여, 상기 키 포인트 이미지 모델에서의 연결 가장자리를 형성하는 단계에 따라 상기 키 포인트 이미지 모델에서의 각 연결 가장자리를 생성하도록 구성된다.

가능한 실시형태에 있어서, 상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한 후,

각 목표 대상에 대응되는 각 키 포인트의 정보에 기반하여, 상기 목표 대상의 행동 타입을 결정하도록 구성된 행동 타입 결정 모듈(305)을 더 포함한다.

각 목표 대상에 대응되는 각 키 포인트의 정보에 기반하여, 상기 목표 대상에 대한 특수 효과 정보를 생성하도록 구성된 특수 효과 정보 생성 모듈(306)을 더 포함한다.

일부 실시예에 있어서, 본 발명의 실시예에서 제공한 장치가 갖고 있는 기능 또는 포함하는 템플렛은 전술한 방법 실시예에서 설명한 방법을 실행하는데 사용될 수 있고, 그 구현은 전술한 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더이상 반복하여 설명하지 않는다.

동일한 기술적 사상에 기반하여, 본 발명의 실시예는 전자 기기를 더 제공한다. 도 4는, 본 발명의 실시예에서 제공한 전자 기기의 구조 예시도이고, 프로세서(401), 메모리(402) 및 버스(403)를 포함한다. 여기서, 메모리(402)는 실행 명령어를 저장하도록 구성되고, 내부 메모리(4021) 및 외부 메모리(4022)를 포함하며; 여기서 내부 메모리(4021)는 내부 저장소로도 지칭되며, 프로세서(401)에서의 연산 데이터 및 하드 디스크 등 외부 메모리(4022)와 교환되는 데이터를 임시 저장하도록 구성되며, 프로세서(401)는 내부 메모리(4021)와 외부 메모리(4022)를 통해 데이터 교환을 수행하고, 전자기기(400)이 동작하는 경우, 프로세서(401)와 메모리(402)사이는 버스(403)를 통해 통신하여, 프로세서(401)가 아래의 단계를 실행하도록 한다. 즉

검출될 이미지를 획득하는 단계;

상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계를 실행한다.

또한, 본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 방법 실세예 중 상기 키포인트 검출 방법의 단계를 실행한다.

본 발명의 실시예에서 제공한 키 포인트 검출 방법의 컴퓨터 프로그램 제품은, 프로그램 코드를 포함하는 컴퓨터 판독 가능한 저장 매체를 포함하고, 상기 프로그램 코드에 포함된 명령어는 상기 방법 실시예에 따른 키 포인트 검출 방법의 단계를 실행하는데 사용될 수 있으며, 상기 방법 실시예를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.

본 기술분야의 통상의 기술자는 설명의 편의 및 간결함을 위해, 상기 설명된 시스템, 장치의 동작 과정이, 전술된 방법 실시예 중 대응되는 과정을 참조할 수 있음을 이해할 수 있으며, 여기서 반복적으로 설명하지 않는다. 본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 전술된 장치 실시예는 다만 예시적이며, 예를 들어, 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 통신 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.

상기 분리 부재로서 설명된 유닛은, 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로서 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.

상기 기능이 소프트웨어 기능 유닛의 형태로 구현되고 단독적인 제품으로 판매되거나 사용될 경우, 하나의 프로세서가 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 U 디스크, 모바일 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 여러 가지 매체를 포함한다.

이상의 설명은 다만 본 발명의 구체적인 실시 형태일뿐이고, 본 발명의 보호 범위는 이에 한정되지 않는다. 본 출원이 속하는 기술 분야의 통상의 기술자라면, 본 발명에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 발명의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 발명의 보호 범위는 특허청구범위의 보호 범위를 기준으로 해야 한다.

본 발명은 생성한 이미지 특징맵 및 복수 개의 키 포인트 히트맵에 기반하여, 검출될 이미지에 대응되는 키 포인트 이미지 모델을 생성할 수 있고, 키 포인트 이미지 모델에는 이미지 특징맵 및 키 포인트 히트맵에서의 정보를 포함하고, 이미지 특징맵은 검출될 이미지 중 상이한 목표 대상 사이의 상대적 위치 관계를 나타낼 수 있으며, 따라서 키 포인트 이미지 모델에 기반하여, 상이한 목표 대상의 키 포인트에 대해 비교적 정확하게 구분할 수 있으므로, 키 포인트 클러스터링의 정확성을 향상시킬 수 있다.

Claims

키 포인트 검출 방법으로서,
검출될 이미지를 획득하는 단계;
상기 검출될 이미지에 기반하여, 이미지 특징맵 및 복수 개의 키 포인트 히트맵을 생성하는 단계 - 상기 이미지 특징맵은 상기 검출될 이미지 중 각 목표 대상 사이의 상대적 위치 관계를 나타내기 위한 것이고, 각 상기 키 포인트 히트맵은 상기 검출될 이미지의 하나의 카테고리의 키 포인트를 포함하며, 상이한 카테고리의 키 포인트는 상기 목표 대상의 상이한 부위에 대응됨 - ;
상기 이미지 특징맵 및 복수 개의 상기 키 포인트 히트맵에 기반하여, 키 포인트 이미지 모델을 생성하는 단계 - 상기 키 포인트 이미지 모델은 상기 검출될 이미지 중 상이한 카테고리의 키 포인트의 정보 및 연결 가장자리의 정보를 포함하고, 각 연결 가장자리는 두 개의 상이한 카테고리의 키 포인트 사이의 가장자리임 - ; 및
상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계를 포함하는 것을 특징으로 하는 키 포인트 검출 방법.
제1항에 있어서,
상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계는,
상기 키 포인트 이미지 모델 중 각 키 포인트의 정보 및 상기 연결 가장자리의 정보에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하는 단계; 및
결정된 상기 상관관계에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계를 포함하는 것을 특징으로 하는 키 포인트 검출 방법.
제2항에 있어서,
결정된 상기 상관관계에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 단계는,
상기 기설정된 임계값보다 큰 대응되는 상기 상관관계를 갖는 각 키 포인트를 동일한 목표 대상의 키 포인트로 취하는 단계를 포함하는 것을 특징으로 하는 키 포인트 검출 방법.
제2항 또는 제3항에 있어서,
상기 키 포인트 이미지 모델 중 각 키 포인트의 정보 및 상기 연결 가장자리의 정보에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하는 단계는,
각 키 포인트에 대해, 상기 키 포인트의 정보, 및 상기 키 포인트 이미지 모델 중 상기 키 포인트와 연결 관계가 있는 다른 키 포인트의 정보에 기반하여, 상기 키 포인트의 융합 특징을 결정하는 단계; 및
각 키 포인트에 각각 대응하는 융합 특징에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하는 단계를 포함하는 것을 특징으로 하는 키 포인트 검출 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 키 포인트의 정보는 위치 정보, 카테고리 정보, 및 픽셀 특징 정보를 포함하고;
상기 키 포인트 히트맵에 기반하여, 각 키 포인트의 위치 정보를 결정하는 단계; 및
각 상기 키 포인트의 위치 정보에 기반하여, 상기 이미지 특징맵에서 상기 키 포인트의 픽셀 특징 정보를 추출하고, 상기 키 포인트가 속하는 키 포인트 히트맵의 카테고리 라벨에 기반하여, 상기 키 포인트에 대응되는 카테고리 정보를 결정하는 단계;에 따라, 상기 키 포인트 이미지 모델 중 각 키 포인트의 정보를 결정하는 것을 특징으로 하는 키 포인트 검출 장치.
제5항에 있어서,
각 키 포인트에 대응되는 상기 카테고리 정보에 기반하여, 각 키 포인트를 상기 키 포인트가 속하는 카테고리와 상이한 다른 키 포인트와 연결하고, 상기 키 포인트 이미지 모델에서의 연결 가장자리를 형성하는 단계에 따라 상기 키 포인트 이미지 모델에서의 각 연결 가장자리를 생성하는 것을 특징으로 하는 키 포인트 검출 방법.
제5항에 있어서,
각 키 포인트에 대응되는 상기 카테고리, 및 기설정된 상이한 카테고리 사이의 매칭 관계에 기반하여, 각 키 포인트를 상기 키 포인트가 속하는 카테고리와 매칭되는 목표 카테고리에 대응되는 키 포인트와 연결하여, 상기 키 포인트 이미지 모델에서의 연결 가장자리를 형성하는 단계에 따라 상기 키 포인트 이미지 모델에서의 각 연결 가장자리를 생성하는 것을 특징으로 하는 키 포인트 검출 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한 후,
각 목표 대상에 대응되는 각 키 포인트의 정보에 기반하여, 상기 목표 대상의 행동 타입을 결정하는 단계를 더 포함하는 것을 특징으로 하는 키 포인트 검출 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한 후,
각 목표 대상에 대응되는 각 키 포인트의 정보에 기반하여, 상기 목표 대상에 대한 특수 효과 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 키 포인트 검출 방법.
키 포인트 검출 장치로서,
검출될 이미지를 획득하도록 구성된 획득 모듈;
상기 검출될 이미지에 기반하여, 이미지 특징맵 및 복수 개의 키 포인트 히트맵을 생성하도록 구성된 제1 생성 모듈 - 상기 이미지 특징맵은 상기 검출될 이미지 중 각 목표 대상 사이의 상대적 위치 관계를 나타내기 위한 것이고, 각 상기 키 포인트 히트맵은 상기 검출될 이미지의 하나의 카테고리의 키 포인트를 포함하며, 상이한 카테고리의 키 포인트는 상기 목표 대상의 상이한 부위에 대응됨 - ;
상기 이미지 특징맵 및 복수 개의 상기 키 포인트 히트맵에 기반하여, 키 포인트 이미지 모델을 생성하도록 구성된 제2 생성 모듈 - 상기 키 포인트 이미지 모델은 상기 검출될 이미지 중 상이한 카테고리의 키 포인트의 정보 및 연결 가장자리의 정보를 포함하고, 각 연결 가장자리는 두 개의 상이한 카테고리의 키 포인트 사이의 가장자리임 - ; 및
상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하도록 구성된 결정 모듈을 포함하는 것을 특징으로 하는 키 포인트 검출 장치.
제10항에 있어서,
상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 경우, 상기 결정 모듈은,
상기 키 포인트 이미지 모델 중 각 키 포인트의 정보 및 상기 연결 가장자리의 정보에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하고;
결정된 상기 상관관계에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하도록 구성된 것을 특징으로 하는 키 포인트 검출 장치.
제11항에 있어서,
결정된 상기 상관관계에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정하는 경우, 상기 결정 모듈은,
상기 기설정된 임계값보다 큰 대응되는 상기 상관관계를 갖는 각 키 포인트를 동일한 목표 대상의 키 포인트로 하도록 구성된 것을 특징으로 하는 키 포인트 검출 방법.
제11항 또는 제12항에 있어서,
상기 키 포인트 이미지 모델 중 각 키 포인트의 정보 및 상기 연결 가장자리의 정보에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하는 경우, 상기 결정 모듈은,
각 키 포인트에 대해, 상기 키 포인트의 정보, 및 상기 키 포인트 이미지 모델 중 상기 키 포인트와 연결 관계가 있는 다른 키 포인트의 정보에 기반하여, 상기 키 포인트의 융합 특징을 결정하고;
각 키 포인트에 각각 대응하는 융합 특징에 기반하여, 상기 키 포인트 이미지 모델에서 연결 관계가 있는 두 개의 키 포인트 사이의 상관관계를 결정하도록 구성된 것을 특징으로 하는 키 포인트 검출 방법.
제10항 내지 제13항 중 어느 한 항에 있어서,
상기 키 포인트의 정보는 위치 정보, 카테고리 정보, 및 픽셀 특징 정보를 포함하고;
상기 제2 생성 모듈은,
상기 키 포인트 히트맵에 기반하여, 각 키 포인트의 위치 정보를 결정하고;
각 상기 키 포인트의 위치 정보에 기반하여, 상기 이미지 특징맵에서 상기 키 포인트의 픽셀 특징 정보를 추출하고, 상기 키 포인트가 속하는 키 포인트 히트맵의 카테고리 라벨에 기반하여, 상기 키 포인트에 대응되는 카테고리 정보를 결정하는 단계에 따라 상기 키 포인트 이미지 모델 중 각 키 포인트의 정보를 결정하도록 구성된 것을 특징으로 하는 키 포인트 검출 장치.
제14항에 있어서,
상기 제2 생성 모듈은,
각 키 포인트에 대응되는 상기 카테고리 정보에 기반하여, 각 키 포인트를 상기 키 포인트가 속하는 카테고리와 상이한 다른 키 포인트와 연결하고, 상기 키 포인트 이미지 모델에서의 연결 가장자리를 형성하는 단계에 따라 상기 키 포인트 이미지 모델에서의 각 연결 가장자리를 생성하도록 구성된 것을 특징으로 하는 키 포인트 검출 장치.
제14항에 있어서,
상기 제2 생성 모듈은,
각 키 포인트에 대응되는 상기 카테고리, 및 기설정된 상이한 카테고리 사이의 매칭 관계에 기반하여, 각 키 포인트를 상기 키 포인트가 속하는 카테고리와 매칭되는 목표 카테고리에 대응되는 키 포인트와 연결하여, 상기 키 포인트 이미지 모델에서의 연결 가장자리를 형성하는 단계에 따라 상기 키 포인트 이미지 모델에서의 각 연결 가장자리를 생성하도록 구성된 것을 특징으로 하는 키 포인트 검출 장치.
제10항 내지 제16항 중 어느 한 항에 있어서,
상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한 후,
각 목표 대상에 대응되는 각 키 포인트의 정보에 기반하여, 상기 목표 대상의 행동 타입을 결정하도록 구성된 행동 타입 결정 모듈을 더 포함하는 것을 특징으로 하는 키 포인트 검출 장치.
제10항 내지 제16항 중 어느 한 항에 있어서,
상기 키 포인트 이미지 모델에 기반하여, 동일한 목표 대상에 속하는 각 키 포인트를 결정한 후,
각 목표 대상에 대응되는 각 키 포인트의 정보에 기반하여, 상기 목표 대상에 대한 특수 효과 정보를 생성하도록 구성된 특수 효과 정보 생성 모듈을 더 포함하는 것을 특징으로 하는 키 포인트 검출 장치.
전자 기기로서,
프로세서, 메모리 및 버스를 포함하고, 상기 메모리에는 실행 가능한 기계 판독 가능한 명령어가 저장되어 있으며, 전자 기기가 작동되는 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 제1항 내지 제9항 중 어느 한 항에 따른 키 포인트 검출 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 기기.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 키 포인트 검출 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램 제품으로서,
상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 제1항 내지 제9항 중 어느 한항에 따른 키 포인트 검출 밥법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 프로그램 제품.