Nothing Special   »   [go: up one dir, main page]

KR102614770B1 - 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템 - Google Patents

객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템 Download PDF

Info

Publication number
KR102614770B1
KR102614770B1 KR1020210128678A KR20210128678A KR102614770B1 KR 102614770 B1 KR102614770 B1 KR 102614770B1 KR 1020210128678 A KR1020210128678 A KR 1020210128678A KR 20210128678 A KR20210128678 A KR 20210128678A KR 102614770 B1 KR102614770 B1 KR 102614770B1
Authority
KR
South Korea
Prior art keywords
swing
data
professional
general
face
Prior art date
Application number
KR1020210128678A
Other languages
English (en)
Other versions
KR20230046340A (ko
Inventor
최진영
김현조
Original Assignee
주식회사 비밍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비밍 filed Critical 주식회사 비밍
Priority to KR1020210128678A priority Critical patent/KR102614770B1/ko
Publication of KR20230046340A publication Critical patent/KR20230046340A/ko
Application granted granted Critical
Publication of KR102614770B1 publication Critical patent/KR102614770B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템에 따르면, 골프 스윙연습이 이루어지는 환경을 촬영한 환경데이터와, 상기 환경에서 프로골퍼의 스윙연습을 촬영한 프로영상데이터 및 상기 환경에서 일반인의 스윙연습을 촬영한 일반영상데이터가 저장된 저장부; 상기 환경데이터와 프로영상데이터 및 일반영상데이터를 각각 비교하여, 상기 프로영상데이터와 일반영상데이터로부터 프로골퍼의 프로스윙실루엣과 일반인의 일반스윙실루엣을 추출 및 비교분석하는 스윙분석부; 및 상기 스윙분석부에서 분석된 프로골퍼와 일반인의 스윙동작에 대한 결과값을 추출하여 상기 일반인에게 제공하는 스윙결과제공부;를 포함한다.
본 발명의 효과는, 동일한 환경에서 촬영한 프로영상데이터 및 일반영상데이터에서 환경데이터를 제거함으로써, 스켈레톤 데이터와 골프채 데이터를 용이하게 추출할 수 있을 뿐만 아니라, 이를 통해 정확한 실루엣을 추출하여 골프 스윙 동작을 추출할 수 있는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템을 제공할 수 있다.

Description

객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템{Non-face-to-face golf teaching system through object detection and behavior pattern analysis}
본 발명은 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템에 관한 것이다.
현대 사람들은 생활 수준의 향상으로 여가 선용에 대한 관심이 증폭되고 있으며, 이러한 추세에 발맞춰 등산, 낚시 등과 함께 레저 스포츠의 인기가 급증하고 있고, 특히 골프에 대한 저변 확대가 급속히 진행되고 있다.
따라서, 골프에 대한 저변 인구는 매년 계속 증가하고 있는 추세이다.
골프는 자세가 중요한 만큼, 아마추어 골퍼들은 자신의 골프 자세를 연습하기 위해 인근에 마련된 골프 연습장에 회원으로 가입하여 스윙 자세를 연습하게 된다.
하지만, 일반적으로 종래의 골프 연습장에서는 골퍼들 자신이 스스로 스윙 연습을 하다가 귀가하는 것이 보통이고, 프로 골퍼들로부터 스윙 자세를 교정 받기란 좀처럼 쉽지 않았으며, 설령 프로 골퍼들로부터 스윙 자세를 지도 받을 수 있는 기회가 제공된다 하더라도 고액의 비용을 지불해야 됨으로 경제적인 부담이 큰 문제점이 있었다.
이에 종래에는, 골프 스윙 영상에서 스켈레톤 데이터를 통해 자세를 분석하였다. 이때, 다양한 각종센서를 부착하고, 스튜디오와 같은 전문시설에서 촬영 후, 사용자에게 제공되었다.
또한, 골프채에 대한 궤적 분석을 하기 위해서는 각종 센서를 부착해야 하는 불편함이 있었다.
대한민국 공개특허 10-2013-0011478
상술한 바와 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은, 동일한 환경에서 촬영한 프로영상데이터 및 일반영상데이터에서 환경데이터를 제거함으로써, 스켈레톤 데이터와 골프채 데이터를 용이하게 추출할 수 있을 뿐만 아니라, 이를 통해 정확한 실루엣을 추출하여 골프 스윙 동작을 추출할 수 있는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템을 제공하기 위함이다.
또한, 본 발명의 목적은, 일반영상데이터 생성시, 각종 센서를 부착하지 않아도 스윙분석부를 통해 유의미한 실루엣의 추출이 이루어질 수 있는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템을 제공하기 위함이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템에 따르면, 골프 스윙연습이 이루어지는 환경을 촬영한 환경데이터와, 상기 환경에서 프로골퍼의 스윙연습을 촬영한 프로영상데이터 및 상기 환경에서 일반인의 스윙연습을 촬영한 일반영상데이터가 저장된 저장부; 상기 환경데이터와 프로영상데이터 및 일반영상데이터를 각각 비교하여, 상기 프로영상데이터와 일반영상데이터로부터 프로골퍼의 프로스윙실루엣과 일반인의 일반스윙실루엣을 추출 및 비교분석하는 스윙분석부; 및 상기 스윙분석부에서 분석된 프로골퍼와 일반인의 스윙동작에 대한 결과값을 추출하여 상기 일반인에게 제공하는 스윙결과제공부;를 포함한다.
또한, 상기 저장부는, 상기 환경에서 프로골퍼 또는 일반인의 정면과 측면을 제1촬영부 및 제2촬영부로 촬영하여 영상데이터로 저장되는 것을 특징으로 한다.
또한, 상기 스윙분부는, 상기 프로영상데이터와 일반영상데이터에서 상기 환경데이터를 제거하는 데이터제거부와, 상기 환경데이터가 제거된 상기 프로영상데이터와 일반영상데이터로부터 상기 프로골퍼와 일반인의 객체를 분리하는 객체분리부와, 상기 객체분리부에서 분리된 상기 프로골퍼와 일반인의 스켈레톤 데이터를 추출하는 스켈레톤 데이터추출부와, 상기 객체분리부에서 분리된 객체로부터 골프채 데이터를 추출하는 골프채 데이터추출부와, 상기 스켈레톤 데이터와 골프채 데이터의 좌표값을 추출하는 좌표값 추출부 및 상기 좌표값 추출부로부터 추출된 좌표값으로 프로골퍼의 프로스윙실루엣과 일반인의 일반스윙실루엣을 추출하는 실루엣추출부 및 상기 프로스윙실루엣과 일반스윙실루엣으로 스윙동작을 분석하는 스윙동작분석부를 포함한다.
또한, 상기 골프채 데이터의 좌표값은, 상기 골프채를 검출하고, 상기 제1촬영부로 촬영된 정면데이터로부터 x, y 좌표값을 추출하고, 상기 제2촬영부로 촬영된 측면데이터로부터 z 좌표값을 추출하되, 상기 골프채의 헤드에 대한 x, y, z 좌표값을 추출하고, 상기 스윙분석부는, 상기 골프채 데이터 좌표값으로 3차원 스윙 궤적을 추출하는 스윙궤적 추출부를 더 포함한다.
또한, 상기 스켈레톤 데이터의 좌표값은, 상기 제1촬영부로 촬영된 정면데이터로부터 x, y 좌표값을 추출하되, 머리, 어깨, 팔꿈치, 손, 골반, 무릎, 발 중 어느하나 이상의 좌표값을 추출하고, 상기 프로스윙실루엣과 일반스윙실루엣은, 상기 프로골퍼와 일반인 정면에서의 스윙동작을 2D로 표현한 것을 특징으로 한다.
또한, 상기 스켈레톤 데이터의 좌표값은, 상기 골프채 데이터의 x, y 좌표값이 더 포함되고, 상기 프로스윙실루엣과 일반스윙실루엣에는, 상기 골프채가 포함되어 추출되는 것을 특징으로 한다.
또한, 상기 스윙동작분석부는, 각 골프 스윙 동작별로, 프로스윙실루엣과 일반스윙실루엣을 비교하여 분석하고, 상기 골프 스윙 동작은, 어드레스, 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우 및 피니쉬인 것을 특징으로 한다.
또한, 상기 스윙동작분석부는, 골프 스윙 동작을 동작별로 추출할 때, 상기 골프채 데이터 좌표값과 스켈레톤 데이터 중 머리와 골반을 이은 중심선 간의 각도변화를 통해 각 골프 스윙 동작을 구분 및 추출하는 것을 특징으로 한다.
또한, 상기 스윙궤적 추출부는, 상기 프로골퍼의 프로스윙궤적과 일반인의 일반스윙궤적을 추출하되, 시간별로 추출하여 3D의 스윙궤적을 추출하고, 상기 스윙결과제공부는, 상기 프로스윙궤적과 일반스윙궤적을 오버랩하여 제공하는 것을 특징으로 한다.
또한, 상기 스윙동작분석부는, 각 골프 스윙 동작별로, 왼쪽과 오른쪽 어깨의 높이 차이, 팔꿈치의 각도, 무릎의 각도 중 어느 하나 이상을 분석하고, 상기 스윙결과제공부는, 프로골퍼와 일반인의 결과값에 대한 차이값을 더 제공하는 것을 특징으로 한다.
또한, 상기 스윙결과제공부를 통해 제공된 결과값을 상기 프로골퍼의 단말기로 제공하고, 상기 일반인의 코칭요청 시, 상기 프로골퍼가 프로골퍼의 단말기를 통해 코칭내용을 작성하고, 작성된 코칭내용을 상기 일반인에게 전달하는 피드백요청부;를 더 포함한다.
또한, 상기 저장부는, 상기 프로영상데이터에 프로골퍼의 체형데이터를 매칭시켜 저장하고, 상기 일반영상데이터에 일반인의 체형데이터를 매칭시켜 저장하고, 상기 데이터제거부는, 상기 일반인의 체형데이터와 일치하는 프로골퍼의 체형데이터를 추출하고, 추출한 프로골퍼의 체형데이터에 매칭저장된 프로영상데이터와 일반영상데이터에서 환경데이터를 제거하고, 상기 스윙결과제공부는, 상기 일반인의 체형과 동일한 체형을 갖는 프로골퍼의 스윙동작으로 분석된 결과값을 제공할 수 있는 것을 특징으로 한다.
이상 살펴본 바와 같은 본 발명의 효과는, 동일한 환경에서 촬영한 프로영상데이터 및 일반영상데이터에서 환경데이터를 제거함으로써, 스켈레톤 데이터와 골프채 데이터를 용이하게 추출할 수 있을 뿐만 아니라, 이를 통해 정확한 실루엣을 추출하여 골프 스윙 동작을 추출할 수 있는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템을 제공할 수 있다.
또한, 본 발명의 효과는, 일반영상데이터 생성시, 각종 센서를 부착하지 않아도 스윙분석부를 통해 유의미한 실루엣의 추출이 이루어질 수 있는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템을 제공할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템을 나타낸 구성도이다.
도 2는 본 발명의 바람직한 실시예에 따른 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템의 스윙분석부를 나타낸 구성도이다.
도 3은 본 발명의 바람직한 실시예에 따른 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템의 스윙분석부를 통해 스윙동작이 분석되는 상태를 나타낸 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1 내지 도 3을 참조하면, 본 발명에 따른 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템은, 저장부(10), 스윙분석부(20) 및 스윙결과제공부(30)를 포함한다.
먼저, 저장부(10)는, 골프 스윙연습이 이루어지는 환경을 촬영한 환경데이터와, 환경에서 프로골퍼의 스윙연습을 촬영한 프로영상데이터 및 환경에서 일반인의 스윙연습을 촬영한 일반영상데이터가 저장된다.
여기서, 프로영상데이터는, 프로골퍼들이 스윙연습을 통해서 기 저장된 데이터이고, 일반영상데이터는 일반인이 스윙연습을 할 때마다 실시간으로 저장되는 데어터일 수 있으나, 이에 한정하지 않는다.
또한, 저장부(10)는, 프로영상데이터에 프로골퍼의 체형데이터를 매칭시켜 저장하고, 일반영상데이터에 일반인의 체형데이터를 매칭시켜 저장한다.
이는, 체형에 따라 스윙동작이 다르게 나타날 수 있기 때문에, 일반인의 체형과 유사하거나 동일한 체형을 갖는 프로골퍼의 스윙동작과 일반인의 스윙동자을 비교 분석하기 위함이다.
여기서, 체형은 마른체형, 보통체형, 살찐체형 등으로 분류할 수 있고, 그 중간의 체형으로도 더 분류할 수 있다.
이처럼, 동일한 체형을 갖는 프로골퍼와 일반인의 스윙동작이 비교되어 분석됨에 따라, 좀 더 세세한 스윙동작을 살펴볼 수 있다. 또한, 프로골퍼가 일반인의 스윙동작을 코칭할 때, 체형에 따른 스윙동작을 좀 더 세부적으로 할 수도 있다.
그리고, 프로골퍼와 일반인이 촬영한 환경은 동일한 것이 바람직하나, 이에 한정하지 않는다. 예를 들어, 환경은 골프스윙 연습장일 수 있다.
또한, 저장부(10)는, 환경에서 프로골퍼 또는 일반인의 정면과 측면을 제1촬영부 및 제2촬영부로 촬영하여 영상데이터로 저장된다.
스윙분석부(20)는, 환경데이터와 프로영상데이터 및 일반영상데이터를 각각 비교하여, 프로영상데이터와 일반영상데이터로부터 프로골퍼의 프로스윙실루엣과 일반인의 일반스윙실루엣을 추출 및 비교분석한다.
여기서, 스윙분석부(20)는 R-CNN(Regions with Convolutional Neural Networks)과 이미지 연산(Image Calculation)으로 이루어진다.
먼저, R-CNN은 Selective search 알고리즘과 CNN(Convolutional Neural Networks)을 활용하여 영상 내의 특정 물체를 검출 하기 위해 설계된 모델이다.
selective search 알고리즘을 활용하여 객체와 주변 간의 색감, 질감의 차이, 주변 객체에 둘러 쌓여 있는지(enclosed) 여부 등을 파악하여 인접한 픽셀들을 묶어서 bounding box를 만든다. 이를 바탕으로 ROI(Regions of interest)인 영역들을 추출하고, CNN 모델에 입력한다.
CNN 모델은 해당 영역이 특정 물체임을 구분하고 가장 유사한 영역에 대한 bounding box를 채택하여 출력한다.
다음으로, 이미지 연산은 이미지 처리(Image processing)의 한 영역으로 여러 이미지들을 합성하거나 필요 영역만 추출하는 경우 등에 사용된다. 이미지 연산의 기법은 이미지에 대하여 사칙연산, 비트와이즈 연산 등을 할 수 있으며, 이를 활용하여 마스킹, 블렌딩 등을 적용시킬 수 있다.
상술한 모델과 이미지 연산을 통해서, 골프 스윙 동작을 분석하는 스윙분석부(20)에 대한 상세한 설명은, 후술하기로 한다.
스윙결과제공부(30)는, 스윙분석부(20)에서 분석된 프로골퍼와 일반인의 스윙동작에 대한 결과값을 추출하여 일반인에게 제공한다.
이때, 스윙결과제공부(30)에서 제공하는 결과값은, 환경에 기 구비된 디스플레이부로 제공될 수 있고, 일반인의 단말기로 제공될 수도 있다.
그리고, 스윙결과제공부(30)는, 일반인의 체형과 동일한 체형을 갖는 프로골퍼의 스윙동작으로 분석된 결과값을 제공할 수 있다.
한편, 스윙분석부(20)는, 데이터제거부(21), 객체분리부(22), 스켈레톤 데이터추출부(23), 골프채 데이터추출부(24), 좌표값 추출부(25), 실루엣추출부(26) 및 스윙동작분석부(27)를 포함한다.
데이터제거부(21)는, 프로영상데이터와 일반영상데이터에서 환경데이터를 제거한다.
즉, 데이터제거부(21)는, 프로영상데이터와 일반영상데이터에서 배경을 제거하는 것이다.
또한, 데이터제거부(21)는, 일반인의 체형데이터와 일치하는 프로골퍼의 체형데이터를 추출하고, 추출한 프로골퍼의 체형데이터에 매칭저장된 프로영상데이터와 일반영상데이터에서 환경데이터를 제거하는 것이 바람직하나, 이에 한정하지 않는다.
이에 따라, 일반인과 프로골퍼의 체형이 유사 또는 동일한 데이터를 갖고, 후술할 객체분리, 데이터와 좌표값 추출 및 실루엣 추출을 통하여 스윙동작을 분석할 수 있다.
객체분리부(22)는, 환경데이터가 제거된 프로영상데이터와 일반영상데이터로부터 프로골퍼와 일반인의 객체를 분리한다.
다시 말해, 사람이 존재하지 않는 환경데이터와 프로영상데이터 및 일반영상데이터의 차를 계산하여 역치값 이상의 영역을 필터로 사용하여 후술할 객체를 분리해낼 수 있다.
스켈레톤 데이터추출부(23)는, 객체분리부(22)에서 분리된 프로골퍼와 일반인의 스켈레톤 데이터를 추출한다.
즉, 스윙동작으로부터 골격을 기반으로 하는 관절과 뼈로 구성되는 2D의 스켈레톤 데이터를 추출할 수 있다. 이처럼, 동작을 인식하고, 스켈레톤 데이터를 추출할 수 있는 기술은, 이미 공지된 기술에 관한 것이므로, 이에 대한 상세한 설명은 생략한다.
골프채 데이터추출부(24)는, 객체분리부(22)에서 분리된 객체로부터 골프채 데이터를 추출한다.
이때, 골프채는 크게 손잡이, 샤프트, 헤드로 구분되는데, 샤프트는 얇고 밝은 색을 띄기 때문에 검출 정확도가 낮을 수 있다.
이로 이해, 골프채 데이터를 추출할 때는, 헤드를 기준으로 추출할 수 있다.
좌표값 추출부(25)는, 스켈레톤 데이터와 골프채 데이터의 좌표값을 추출한다.
이때, 골프채 데이터의 좌표값은 헤드의 좌표값과 동일하다.
실루엣추출부(26)는, 좌표값 추출부(25)로부터 추출된 좌표값으로 프로골퍼의 프로스윙실루엣과 일반인의 일반스윙실루엣을 추출한다.
이때, 실루엣에는, 스켈레톤 데이터도 표시될 수 있다.
스윙동작분석부(27)는, 프로스윙실루엣과 일반스윙실루엣으로 스윙동작을 분석한다.
여기서, 골프채 데이터의 좌표값은, 골프채를 검출하고, 제1촬영부로 촬영된 정면데이터로부터 x, y 좌표값을 추출하고, 제2촬영부로 촬영된 측면데이터로부터 z 좌표값을 추출하되, 골프채의 헤드에 대한 x, y, z 좌표값을 추출할 수 있다.
이때, 스윙분석부(20)는, 골프채 데이터 좌표값으로 3차원 스윙 궤적을 추출하는 스윙궤적 추출부를 더 포함할 수 있다.
그리고, 스윙궤적 추출부는, 프로골퍼의 프로스윙궤적과 일반인의 일반스윙궤적을 추출하되, 시간별 또는 스윙 동작 별로 추출하여 3D의 스윙궤적을 추출할 수 있다.
이에 따라, 스윙결과제공부(30)는, 프로스윙궤적과 일반스윙궤적을 오버랩하여 3차원 데이터로 제공할 수 있다.
또한, 프로스윙궤적과 일반스윙궤적을 구분할 수 있도록, 다른 색상으로 제공될 수 있다.
그리고, 스윙결과제공부(30)는, 프로스윙궤적과 일반스윙궤적의 비교시, 각 좌표값의 이격거리에 따라 프로골퍼의 코칭 필요 등의 메시지를 제공할 수 있다.
또한, 스켈레톤 데이터의 좌표값은, 제1촬영부로 촬영된 정면데이터로부터 x, y 좌표값을 추출하되, 머리, 어깨, 팔꿈치, 손, 골반, 무릎, 발 중 어느하나 이상의 좌표값을 추출할 수 있다.
이때, 프로스윙실루엣과 일반스윙실루엣은, 프로골퍼와 일반인 정면에서의 스윙동작을 2D로 표현한다.
여기서, 스켈레톤 데이터의 좌표값은, 골프채 데이터의 x, y 좌표값이 더 포함된다.
즉, 프로스윙실루엣과 일반스윙실루엣에는, 골프채가 포함되어 추출될 수 있다.
이때, 스윙동작분석부(27)는, 각 골프 스윙 동작별로, 프로스윙실루엣과 일반스윙실루엣을 비교하여 분석한다.
그리고, 골프 스윙 동작은, 어드레스, 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우 및 피니쉬일 수 있다. 이때, 각 동작별로 골프채의 헤드와 몸축의 각도가 다르게 나타난다.
다시 말해, 스윙동작분석부(27)는, 골프 스윙 동작을 동작별로 추출할 때, 골프채 데이터 좌표값과 스켈레톤 데이터 중 머리와 골반을 이은 중심선 간의 각도변화를 통해 각 골프 스윙 동작을 구분 및 추출할 수 있다.
또한, 스윙동작분석부(27)는, 각 골프 스윙 동작별로, 왼쪽과 오른쪽 어깨의 높이 차이, 팔꿈치의 각도, 무릎의 각도 중 어느 하나 이상을 분석할 수 있다.
그리고, 스윙결과제공부(30)는, 스윙동작분석부(27)에서 분석된 프로골퍼와 일반인의 결과값 및 그 결과값에 대한 차이값을 더 제공할 수 있다.
이러한 차이값을 통해서, 일반인은 스윙 동작 별로, 자세를 스스로 교정할 수 있다.
한편, 본 발명에 따른 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템은, 스윙결과제공부(30)를 통해 제공된 결과값을 프로골퍼의 단말기로 제공하고, 일반인의 코칭요청 시, 프로골퍼가 프로골퍼의 단말기를 통해 코칭내용을 작성하고, 작성된 코칭내용을 일반인에게 전달하는 피드백요청부를 더 포함한다.
이때, 피드백요청부는, 일반인이 코칭요청 시, 스윙결과제공부(30)를 통해 제공된 결과값, 일반인의 일반영상데이터의 공개여부를 요청할 수 있다. 일반인이 공개여부를 허락하는 경우, 공개를 허락한 일반인의 일반영상데이터 및 결과값을 프로골퍼 단말기에 전달한다.
그리고, 본 발명에 따른 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템은, 일반인이 공개여부를 허락하는 경우, 공개를 허락한 일반인의 일반영상데이터과 프로영상데이터로부터 스윙분석이 이루어지는 과정을 분석영상데이터로 생성하는 영상생성부를 더 포함한다.
이때, 분석영상데이터는, 일반영상데이터과 프로영상데이터로부터 환경데이터를 제거하는 제1영상, 환경데이터가 제거된 일반영상데이터로부터 일반인의 객체를 분리하는 제2영상, 객체로부터 스켈레톤 데이터를 추출하여 실루엣을 추출하는 제3영상을 순차적으로 연결하여 생성될 수 있다.
그리고, 분석영상데이터의 좌측에는 일반인, 우측에는 프로골퍼가 표시될 수 있으며, 일반인과 프로골퍼의 얼굴은 모자이크처리될 수 있다. 또한, 분석영상데이터의 하단에는, 프로골퍼가 작성한 코칭내용이 기재될 수 있다.
또한, 본 발명에 따른 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템은, 영상생성부에서 생성된 분석영상데이터는 기 설정된 SNS 계정으로 업로드하여 공개하는 영상공개부를 더 포함한다. 이때, 기 설정된 SNS 계정은 본 발명의 관리자 계정일 수 있다.
이렇게, 일반인의 골프 스윙 동작이 프로골퍼의 스윙 동작과 비교 및 분석됨을 온라인 상에 공개됨으로써, 본 발명을 통해 제공하는 서비스를 제3자에게 홍보할 수 있을 뿐만 아니라, 다양한 체형별 일반인에 대한 골프 스윙 동작과 코칭내용을 살펴보면서 골프 스윙 동작을 교정해 갈 수 있다.
본 발명의 또 다른 실시예에서, 비대면 골프 티칭 시스템은 프로골퍼의 체형과, 일반인의 체형을 비교하여 프로골퍼의 스윙 동작을 일반인의 체형에 맞게 보정하여 보정된 프로골퍼 스윙 동작을 생성하여 제공할 수 있다. 이 경우에 프로골퍼의 신체 부위별 체형 정보들을 기초로 프로골퍼 체형 벡터를 생성하고, 일반인의 신체 부위별 체형 정보들을 기초로 일반인 체형 벡터를 생성한 후 프로골퍼 체형 벡터와 일반인 체형 벡터의 벡터 성분값을 비교할 수 있다.
프로골퍼 체형 벡터와 일반인 체형 벡터 간의 성분값 차이가 큰 신체 부위가 결정되면, 해당 신체 부위의 차이를 기반으로 프로골퍼의 스윙 동작을 보정하여 보정 스윙 동작을 생성할 수 있다. 이때 보정 스윙 동작은 다양한 프로골퍼의 체형 벡터를 기반으로 인공지능 분석을 통해 수행될 수 있다.
즉, 프로골퍼의 다양한 체형 벡터에 따른 스윙 동작을 분석하여, 각 신체 부위가 스윙 동작에 미치는 영향(가중치)을 학습하여 신체 부위에 따른 스윙 동작의 변화, 다시 말해 신체 부위별 체형 수치와 스윙 동작의 상관관계를 분석할 수 있다. 분석된 정보를 기반으로 프로골퍼와 일반인의 스윙 동작 차이를 기반으로 프로골퍼의 스윙 동작이 아닌, 일반인의 체형에 맞게 보정된 스윙 동작을 제공함으로써 일반인이 자신의 체형에 부합하는 스윙 동작으로 골프 연습을 할 수 있다.
또한, 일반인의 스윙 동작과 프로골퍼의 스윙 동작 및 프로골퍼의 스윙 동작으로부터 일반인의 체형에 따라 보정된 보정 스윙 동작을 함께 단말기의 표시 화면으로 제공함으로써, 일반인이 프로골퍼의 스윙 동작과 보정 스윙 동작 중 어느 하나를 선택하여 따라하도록 할 수도 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. 더불어, 상술하는 과정에서 기술된 구성의 작동순서는 반드시 시계열적인 순서대로 수행될 필요는 없으며, 각 구성 및 단계의 수행 순서가 바뀌어도 본 발명의 요지를 충족한다면 이러한 과정은 본 발명의 권리범위에 속할 수 있음은 물론이다.
10 : 저장부 20 : 스윙분석부
21 : 데이터제거부 22 : 객체분리부
23 : 스켈레톤 데이터추출부 24 : 골프채 데이터추출부
25 : 좌표값 추출부 26 : 실루엣추출부
27 : 스윙동작분석부 30 : 스윙결과제공부

Claims (12)

  1. 골프 스윙연습이 이루어지는 환경을 촬영한 환경데이터와, 상기 환경에서 프로골퍼의 스윙연습을 촬영한 프로영상데이터 및 상기 환경에서 일반인의 스윙연습을 촬영한 일반영상데이터가 저장된 저장부;
    상기 환경데이터와 프로영상데이터 및 일반영상데이터를 각각 비교하여, 상기 프로영상데이터와 일반영상데이터로부터 프로골퍼의 프로스윙실루엣과 일반인의 일반스윙실루엣을 추출 및 비교분석하는 스윙분석부; 및
    상기 스윙분석부에서 분석된 프로골퍼와 일반인의 스윙동작에 대한 결과값을 추출하여 상기 일반인에게 제공하는 스윙결과제공부;를 포함하고,
    상기 저장부는, 상기 환경에서 프로골퍼 또는 일반인의 정면과 측면을 제1촬영부 및 제2촬영부로 촬영하여 영상데이터로 저장하고,
    상기 스윙분석부는,
    상기 프로영상데이터와 일반영상데이터에서 상기 환경데이터를 제거하는 데이터제거부와,
    상기 환경데이터가 제거된 상기 프로영상데이터와 일반영상데이터로부터 상기 프로골퍼와 일반인의 객체를 분리하는 객체분리부와,
    상기 객체분리부에서 분리된 상기 프로골퍼와 일반인의 스켈레톤 데이터를 추출하는 스켈레톤 데이터추출부와,
    상기 객체분리부에서 분리된 객체로부터 골프채 데이터를 추출하는 골프채 데이터추출부와,
    상기 스켈레톤 데이터와 골프채 데이터의 좌표값을 추출하는 좌표값 추출부 및
    상기 좌표값 추출부로부터 추출된 좌표값으로 프로골퍼의 프로스윙실루엣과 일반인의 일반스윙실루엣을 추출하는 실루엣추출부 및
    상기 프로스윙실루엣과 일반스윙실루엣으로 스윙동작을 분석하는 스윙동작분석부를 포함하는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 골프채 데이터의 좌표값은, 상기 골프채를 검출하고, 상기 제1촬영부로 촬영된 정면데이터로부터 x, y 좌표값을 추출하고, 상기 제2촬영부로 촬영된 측면데이터로부터 z 좌표값을 추출하되, 상기 골프채의 헤드에 대한 x, y, z 좌표값을 추출하고,
    상기 스윙분석부는, 상기 골프채 데이터 좌표값으로 3차원 스윙 궤적을 추출하는 스윙궤적 추출부를 더 포함하는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템.
  5. 제4항에 있어서,
    상기 스켈레톤 데이터의 좌표값은, 상기 제1촬영부로 촬영된 정면데이터로부터 x, y 좌표값을 추출하되, 머리, 어깨, 팔꿈치, 손, 골반, 무릎, 발 중 어느하나 이상의 좌표값을 추출하고,
    상기 프로스윙실루엣과 일반스윙실루엣은, 상기 프로골퍼와 일반인 정면에서의 스윙동작을 2D로 표현한 것을 특징으로 하는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템.
  6. 제5항에 있어서,
    상기 스켈레톤 데이터의 좌표값은, 상기 골프채 데이터의 x, y 좌표값이 더 포함되고,
    상기 프로스윙실루엣과 일반스윙실루엣에는, 상기 골프채가 포함되어 추출되는 것을 특징으로 하는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템.
  7. 제1항에 있어서,
    상기 스윙동작분석부는, 각 골프 스윙 동작별로, 프로스윙실루엣과 일반스윙실루엣을 비교하여 분석하고,
    상기 골프 스윙 동작은, 어드레스, 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우 및 피니쉬인 것을 특징으로 하는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템.
  8. 제7항에 있어서,
    상기 스윙동작분석부는, 골프 스윙 동작을 동작별로 추출할 때, 상기 골프채 데이터 좌표값과 스켈레톤 데이터 중 머리와 골반을 이은 중심선 간의 각도변화를 통해 각 골프 스윙 동작을 구분 및 추출하는 것을 특징으로 하는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템.
  9. 제4항에 있어서,
    상기 스윙궤적 추출부는, 상기 프로골퍼의 프로스윙궤적과 일반인의 일반스윙궤적을 추출하되, 시간별로 추출하여 3D의 스윙궤적을 추출하고,
    상기 스윙결과제공부는, 상기 프로스윙궤적과 일반스윙궤적을 오버랩하여 제공하는 것을 특징으로 하는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템.
  10. 제6항에 있어서,
    상기 스윙동작분석부는, 각 골프 스윙 동작별로, 왼쪽과 오른쪽 어깨의 높이 차이, 팔꿈치의 각도, 무릎의 각도 중 어느 하나 이상을 분석하고,
    상기 스윙결과제공부는, 프로골퍼와 일반인의 결과값에 대한 차이값을 더 제공하는 것을 특징으로 하는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템.
  11. 제1항에 있어서,
    상기 스윙결과제공부를 통해 제공된 결과값을 상기 프로골퍼의 단말기로 제공하고, 상기 일반인의 코칭요청 시, 상기 프로골퍼가 프로골퍼의 단말기를 통해 코칭내용을 작성하고, 작성된 코칭내용을 상기 일반인에게 전달하는 피드백요청부;를 더 포함하는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템.
  12. 제7항에 있어서,
    상기 저장부는, 상기 프로영상데이터에 프로골퍼의 체형데이터를 매칭시켜 저장하고, 상기 일반영상데이터에 일반인의 체형데이터를 매칭시켜 저장하고,
    상기 데이터제거부는, 상기 일반인의 체형데이터와 일치하는 프로골퍼의 체형데이터를 추출하고, 추출한 프로골퍼의 체형데이터에 매칭저장된 프로영상데이터와 일반영상데이터에서 환경데이터를 제거하고,
    상기 스윙결과제공부는, 상기 일반인의 체형과 동일한 체형을 갖는 프로골퍼의 스윙동작으로 분석된 결과값을 제공할 수 있는 것을 특징으로 하는 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템.



KR1020210128678A 2021-09-29 2021-09-29 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템 KR102614770B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210128678A KR102614770B1 (ko) 2021-09-29 2021-09-29 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210128678A KR102614770B1 (ko) 2021-09-29 2021-09-29 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템

Publications (2)

Publication Number Publication Date
KR20230046340A KR20230046340A (ko) 2023-04-06
KR102614770B1 true KR102614770B1 (ko) 2023-12-18

Family

ID=85918200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210128678A KR102614770B1 (ko) 2021-09-29 2021-09-29 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템

Country Status (1)

Country Link
KR (1) KR102614770B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101048090B1 (ko) * 2011-03-22 2011-07-08 (주) 골프존 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101232627B1 (ko) * 2011-04-06 2013-02-13 한태진 증강현실을 이용한 실시간 골프스윙 매칭분석 및 개선 모듈화 알고리즘
KR101298902B1 (ko) 2011-07-21 2013-08-27 (주) 큐알온텍 골프 스윙 자세 분석 시스템 및 그 운용 방법
KR20210033290A (ko) * 2019-09-18 2021-03-26 주식회사 스마트골프 골프 시뮬레이션 장치를 이용한 스윙자세 교육방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101048090B1 (ko) * 2011-03-22 2011-07-08 (주) 골프존 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법

Also Published As

Publication number Publication date
KR20230046340A (ko) 2023-04-06

Similar Documents

Publication Publication Date Title
US11998819B2 (en) Virtual environment construction apparatus, video presentation apparatus, model learning apparatus, optimal depth decision apparatus, methods for the same, and program
US20240312030A1 (en) Tracking of handheld sporting implements using computer vision
US11798318B2 (en) Detection of kinetic events and mechanical variables from uncalibrated video
CN110448870B (zh) 一种人体姿态训练方法
US10186041B2 (en) Apparatus and method for analyzing golf motion
Chen et al. Computer-assisted self-training system for sports exercise using kinects
CN111444890A (zh) 一种基于机器学习的体育数据分析系统和方法
KR101428922B1 (ko) 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법
JP2009020897A (ja) 画像解析方法、画像解析装置、画像解析プログラム
KR102593654B1 (ko) 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법
Martin et al. Automated tackle injury risk assessment in contact-based sports-a rugby union example
Hsu et al. Coachai: A project for microscopic badminton match data collection and tactical analysis
Das et al. Action recognition based on a mixture of RGB and depth based skeleton
TWI635887B (zh) 用於計算使用者的高爾夫擊球的資訊的感測裝置及利用其的感測方法
KR102614770B1 (ko) 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템
Arbués-Sangüesa et al. Always look on the bright side of the field: Merging pose and contextual data to estimate orientation of soccer players
Kishore et al. Spatial Joint features for 3D human skeletal action recognition system using spatial graph kernels
Skublewska-Paszkowska et al. Dual Attention Graph Convolutional Neural Network to Support Mocap Data Animation
JP7488704B2 (ja) 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム
JP7022040B2 (ja) オブジェクト識別装置、方法およびプログラム
Malawski Real-time first person perspective tracking and feedback system for weapon practice support in fencing
JP7586189B2 (ja) 追跡装置、追跡システム、追跡方法、およびプログラム
Zhang et al. Grading Tai Chi Performance in Competition with RGBD Sensors
Jing et al. Basketball Foul Model and Judgment System Proposal
Xie et al. Intelligent Recognition of Athlete's Erroneous Movements in Sports Training Under Artificial Intelligence Technology

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant