KR101231387B1

KR101231387B1 - 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법

Info

Publication number: KR101231387B1
Application number: KR1020120006915A
Authority: KR
Inventors: 정미애
Original assignee: 정미애
Priority date: 2012-01-20
Filing date: 2012-01-20
Publication date: 2013-02-07

Abstract

본 발명은 단일 카메라 또는 복수의 카메라를 이용하여 여러 시점에서의 비행하는 구형물체 영상을 취득하는 방법 및 상기 취득된 구형물체 영상으로부터 구형물체의 비행속도를 추정하는 방법에 관한 것으로, 카메라 영상 취득 시점을 알리는 별도의 트리거 신호 발생장치 없이 카메라 영상으로부터 구형물체의 형상이 온전히 취득될 만큼의 크기를 갖는 영상을 취득하고, 구형물체의 기하학적 특성을 이용하여 취득된 영상으로부터 구형물체의 3차원 공간에서의 위치를 수학적으로 정확히 계산하여 구형물체의 비행속도를 정밀하게 추정하는 방법을 제공하는 것을 그 목적으로 한다. 본 발명에서는 상기 목적을 달성하기 위해 카메라 영상 내에 다수의 감시영역들을 설정하고, 설정된 감시영역을 통과하는 구형물체 영상에 대해 통과 위치를 중심으로 카메라 영상에서 일정 크기만큼 영상취득영역으로 취득하고 영상취득시점을 측정한 후, 상기 영상취득영역 및 영상취득시점을 이용하여 구형물체의 비행속도를 구하였다.

Description

카메라 영상을 이용하는 구형물체의 비행속도 추정 방법{Method for estimating the flight velocity of a sphere-shaped object using a camera image}

본 발명은 구형물체의 비행속도(속력 및 방향)를 추정하기 위하여 별도의 트리거 신호 발생장치 없이 단일 카메라 또는 복수의 카메라로부터 여러 시점에서의 구형물체 영상을 취득하는 방법과 상기 취득된 구형물체 영상으로부터 구형물체의 비행속도를 추정하는 방법에 관한 것이다.

근래 들어 비행하는 구형물체의 비행정보를 추정하기 위해 스테레오 영상을 이용하는 방법들이 제안되고 있는데, 일반적으로 비행중인 구형물체의 스테레오 영상을 취득하기 위해 2대 이상의 카메라와 영상촬영 시점을 알려주기 위해서 트리거 장치를 사용하고 있다. 상기 스테레오 영상을 이용한 구형물체의 비행속도 추정 방법들에서는 2개 시점 이상에서 취득된 스테레오 영상들로부터 구형물체 영상 중심점 위치들을 계산하고, 이를 이용하여 구형물체의 3차원 공간에서의 위치를 계산한 후에 구형물체의 비행속도를 계산하는데 이와 관련된 선행기술을 구체적으로 살펴보면 아래와 같다.

종래에 두 시점 이상에서 촬영된 구형물체의 스테레오 영상을 취득하기 위해 고속카메라를 주로 사용하여 왔다. 고속카메라는 고가의 장비이므로 고속카메라의 사용을 피하기 위하여 다중노출 카메라를 이용하는 방법들(한국등록특허 제10-0784967호, 한국등록특허 제10-0871595호, 한국등록특허 제10-1044887호)이 제안되었는데, 다중노출 영상 취득방법은 첫 번째 시점에서 구형물체 영상을 촬영한 후 촬영된 영상을 카메라 외부의 처리장치로 보내지 않고 다시 두 번째 시점과 세 번째 시점에서의 구형물체 영상을 차례로 촬영하여 앞서 촬영된 영상에 중첩시켜 최종 합성된 영상을 카메라 외부의 처리장치로 보내는 방법이다. 이 과정은 다중노출 카메라의 영상센서 내부에서 이루어지는데, 다중 노출 시점에 따라 물체가 중첩되어 보이는 문제점이 있었고, 이러한 문제점을 해결하기 위해서 다중노출 카메라의 노출 시점을 알려주는 트리거 장치를 별도로 요구하게 되었다.

그러나, 골프나 야구와 같은 경우는 골프공이나 야구공만 촬영되는 것이 아니고 골프클럽이나 야구배트가 공과 함께 촬영 범위에 들어오기 때문에 공에 뒤따라 오는 골프클럽이나 야구배트가 첫 번째 또는 두 번째 시점에서의 공의 영상과 중첩되어 공의 영상을 훼손시킬 가능성이 높다. 따라서 골프클럽이나 야구배트가 촬영범위 내에 들어오지 못하도록 공의 타격지점보다 떨어진 영역을 촬영하도록 해야 하는데, 공이 직진하지 않고 좌측 또는 우측방향으로 치우쳐 비행하는 경우를 대비하기 위해 카메라를 타격지점으로부터 멀리 이격하여 설치함으로 인해 넓은 범위를 촬영해야 한다는 단점이 있었다. 이 문제를 해결하기 위해서는 고해상도의 카메라를 사용하든가 또는 초점거리가 작은 렌즈를 사용하여야 하나 고해상도 카메라를 사용할 경우 비용이 증가하게 되며, 초점거리가 작은 렌즈를 사용하면 물체가 작게 촬영되는 문제점이 있었다.

한국등록특허 제10-0784967호는 골프클럽 타격정보 및 골프공 비행정보를 추정하는 방법에 관한 것으로, 다중노출 카메라 4개와 레이저 방식의 트리거 장치를 이용하며, 다중노출 카메라의 다중노출을 이용하여 한 장의 영상에 여러 시점에서의 골프공 영상을 촬영한다. 이때 한 장에 촬영된 골프공 영상들이 중첩되지 않도록 하기 위해 레이저 방식의 트리거 장치가 계측한 골프클럽의 속도로부터 노출 시점을 예측한다.

한국등록특허 제10-0871595호는 하나의 라인스캔 카메라와 2개의 고속카메라를 이용하여 구형물체 비행정보를 추정하는 방법에 관한 것으로, 라인스캔 카메라를 통과하는 구형물체의 라인영상으로부터 구형물체의 초기속도를 예측하고 예측된 초기속도를 바탕으로 다중노출 시간 간격을 조절함으로써 한 장의 영상에 세 시점에서의 구형물체가 중첩되지 않게 촬영하는 방법으로 스테레오 영상을 취득한다.

한국등록특허 제10-0937922호에서는 영상취득 시점을 알리는 1개의 트리거용 카메라와 고속 카메라의 사용을 피하기 위해 4개의 영상 취득용 일반 카메라를 이용하여 2쌍의 스트레오 영상을 취득한다. 이때 스테레오 영상처리를 위해서는 사용된 카메라들 사이의 6개의 파라미터(3개의 직선이동 파라미터와 3개의 회전각 파라미터)로 기술되는 좌표 변환식이 반드시 필요한데 사용되는 카메라가 많을수록 이들 파라미터들을 구하기 위한 카메라 캘리브레이션 과정이 복잡해지며, 설치 후에도 카메라들 중 하나라도 위치가 변경되거나 방향이 달라지면 구형물체 비행정보 계산에 오류가 발생한다. 따라서 사후 유지 및 신뢰도 측면에서 카메라의 숫자를 줄여야 하는 어려움이 있다.

한국등록특허 제10-1019823호에서는 2대의 카메라와 스트로브 장치를 이용하여 운동하는 물체에 대한 다중 노출 영상을 취득하고, 취득된 영상에서 물체의 이미지를 추출하여 물체 이미지의 중심점 좌표를 구하고, 이들 중심점 좌표들을 이용하여 물체의 운동궤적을 구한다.

한국등록특허 제10-1044887호에서는 트리거 역할을 하는 1대의 라인 스캔 카메라와 2대의 고속 카메라를 사용하여 골프공의 영상을 취득하며, 취득된 영상을 이용하여 골프공의 비행거리 및 비행속도를 추정한다.

이와 같이 종래의 방법들은 대부분 촬영 시점을 알려주는 트리거 장치와 2대 이상의 카메라로부터 스테레오 영상을 취득하여 구형물체의 비행정보를 추정하였으며 취득된 영상 크기도 구형물체의 크기와 관계없이 카메라 전체 영상을 취득하고 있어 취득된 영상으로부터 비행속도를 추정하는데 필요한 영상처리 시간이 오래 걸리는 문제점이 있었다.

또한 종래의 방법들은 구형물체의 비행속도를 추정함에 있어 취득된 영상으로부터 구형물체 영상 중심점 위치들을 계산하고, 이를 역투영하여 구형물체의 3차원 공간에서의 위치를 계산한 후에 구형물체의 비행속도를 계산하고 있으나, 수학적 관점에서 말하면 구형물체 영상 중심점은 구형물체의 중심점과 정확히 일치하지 않으며, 다만 구형물체가 카메라로부터 비교적 원거리에 위치할 때에 근사적으로 일치한다고 할 수 있다. 그러나 구형물체가 카메라로부터 근거리에 위치할 때는 구형물체 영상 중심점은 구형물체의 중심점과 무시할 수 없을 정도의 차이를 갖고 있으므로 구형물체 영상 중심점을 이용하여 계산된 구형물체의 비행속도 추정방법은 근거리에서 무시할 수 없는 오차를 갖게 된다.

더욱이 종래의 구형물체의 비행속도를 추정방법들은 모두 스테레오 카메라에서 취득된 스테레오 영상을 이용하고 있으며, 하나의 카메라에서 취득된 모노 영상을 이용하는 방법은 없었다.

KR 10-0784967 B1 2007. 12. 11. KR 10-0871595 B1 2008. 11. 28. KR 10-0937922 B1 2010. 1. 13. KR 10-1019823 B1 2011. 2. 25. KR 10-1044887 B1 2011. 6. 21.

본 발명이 해결하고자 하는 기술적 과제는 카메라 영상 취득 시점을 알리는 별도의 트리거 신호 발생장치 없이 카메라 영상으로부터 구형물체 영상을 취득하고, 구형물체의 형상이 구형이라는 기하학적 특성을 이용하여 취득된 영상으로부터 구형물체의 3차원 공간에서의 위치를 수학적으로 정확히 계산하여 구형물체의 비행속도를 정밀하게 추정하는 방법을 제공하는 것이다.

또한 다중노출 카메라 사용 시에 발생할 수 있는 문제점이나 고속카메라 사용 시에 대두되는 경제적 문제들을 해결하고자 하며, 구형물체 영상을 취득함에 있어 카메라 전체의 영상을 취득하지 않고 구형물체의 형상이 온전히 취득될 만큼의 크기를 갖는 영상을 취득함으로써 영상취득 후의 구형물체의 비행정보 추정을 위한 영상처리 시간을 단축시키고자 한다.

또한 구형물체 영상 중심점을 이용하지 않고 구형이라는 기하학적 특성을 이용함으로써 비행정보 추정 오차 발생 요인을 제거하고자 한다.

상기와 같은 목적을 달성하기 위해 본 발명의 구형물체의 비행속도 추정 방법에서는 영상 취득 시점을 알리는 별도의 트리거 신호 발생장치 없이 단일 카메라 또는 복수의 카메라로부터 구형물체 영상 크기만큼의 영역만을 취득하기 위해 카메라 영상에 감시영역을 설정하여 감시영역에 구형물체의 영상이 도달하는 시간 및 위치를 측정하고, 이 위치에서의 구형물체 영상 크기만큼의 영상을 취득한 후, 취득된 영상으로부터 구형물체의 기하학적 특성, 즉 구형이라는 기하학적 특성을 이용하여 구형물체의 3차원 공간에서의 위치를 수학적으로 정확히 계산함으로써 구형물체의 비행속도를 정밀하게 추정한다.

카메라 영상 취득 시점을 알리는 별도의 트리거 신호 발생장치가 제거되므로 트리거 장치와 카메라들 간의 위치 조정 과정이 생략되며, 영상 취득 대상이 구형이라는 기하학적 특성을 이용하여 구형물체의 3차원 공간에서의 위치를 수학적으로 정확히 계산함으로써 구형물체의 비행속도를 정밀하게 추정할 수 있다.

또, 구형물체 영상을 취득함에 있어 카메라 전체의 영상을 취득하지 않고 구형물체의 형상이 온전히 취득될 만큼의 크기를 갖는 영상을 취득함으로써 구형물체의 비행속도 추정을 위한 영상데이터 처리시간을 단축할 수 있다.

또, 구형물체의 스테레오 영상이 아닌 모노 영상으로부터 구형물체의 공간상의 중심점을 찾아낼 수가 있으며, 찾아낸 구형물체의 공간상의 중심점으로부터 오차 없이 비행속도를 추정할 수 있다.

도 1은 단일 카메라 영상에 감시영역을 설정하여 구형물체의 비행영상을 취득하는 과정을 도시한 개념도이다.
도 2는 구형물체 영상 취득에 사용되는 영상취득영역을 도시한 것이다.
도 3은 3차원 공간상에서 구형물체와 카메라 영상의 관계를 도시한 것이다.
도 4는 꼭지점을 카메라 좌표계 원점에 둔 원뿔면과 이에 내접하는 구형물체 간의 기하학적 상관관계를 도시한 것이다.
도 5는 x-y-z 카메라 좌표계 및 카메라 좌표계 원점과 타원의 중심을 이은 직선이 z₁축이 되도록 카메라 좌표계를 회전시킨 새로운 x₁-y₁-z₁좌표계의 관계를 도시한 것이다.
도 6은 감시영역들을 2대의 카메라 영상에 분산 배치하기 위한 카메라 배치의 예시도이다.

본 발명이 제공하는 카메라를 이용한 구형물체 비행속도 추정 방법은 카메라의 위치와 무관하므로 자유로이 카메라를 배치할 수 있으나, 구형물체가 정면을 향해 곧바르게 비행하는 방향(이하 '구형물체 비행 정방향'이라 한다)이 카메라 영상의 수평선 또는 수직선과 일치하도록 배치하는 것이 유리하다. 또한 영상에서 구형물체의 크기가 너무 작거나 크지 않도록 카메라 위치 및 카메라 렌즈 초점거리 등을 선정하여야 한다.

비행하는 구형물체의 비행속도를 추정하기 위해서는 먼저 두 시점(point of time) 이상에서 비행하는 구형물체 영상을 취득하여야 한다. 구형물체 영상을 취득함에 있어 가장 중요한 것은 구형물체가 비행 중에 있으므로 어느 시점에 구형물체 영상 취득하여야 하는지를 알아야 한다는 점이다. 이를 위해 종래에는 외부 트리거 장치를 이용하여 영상 취득시점을 알아냈으나 본 발명에서는 트리거 장치 없이 영상을 취득하기 위해 카메라 영상에 감시영역을 설정하고 구형물체 영상이 감시영역을 통과하는지를 감시하고, 구형물체 영상이 감시영역을 통과하는 시점에 구형물체 영상을 취득한다. 또한 종래의 방법과는 달리 카메라 영상 전체를 취득하지 않고 구형물체 영상이 감시영역을 통과하는 위치를 중심으로 구형물체 영상 크기만큼의 영상만을 취득함으로써 취득되는 영상의 크기를 작게 하고, 따라서 영상 취득 후에 취득된 영상으로부터 구형물체의 비행속도를 추정하기 위해 선행되는 영상처리 시간을 단축하였다.

이하 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 설명의 편의를 위해 이후의 설명은 구형물체 비행 정방향이 카메라 영상의 수평선으로 보이는 경우로 가정한다.

도 1은 단일 카메라 영상(11)에 감시영역(12, 13)을 설정하여 구형물체의 비행영상을 취득하는 과정을 도시한 개념도이다.

먼저 비행중인 구형물체가 지정된 위치를 통과하는 지를 파악하기 위해 도 1에서 보는 바와 같이 구형물체 비행 정방향(10)에 수직방향으로 카메라 영상(11)에 감시영역(12, 13)을 2개 이상 설정한다. 감시영역이란 구형물체가 감시영역을 통과하는지를 짧은 감시시간 간격(Δt_m)으로 반복적으로 검사하는 카메라 영상 내의 영역으로, 구형물체 영상(14)이 감시영역을 통과하는지 여부를 조사하는 방법은 이전 감시영역의 영상과 현재 감시영역 영상의 명도 차 또는 색상 차를 계산한 후에 명도 차 또는 색상 차가 소정 값 이상인 연속된 픽셀 수가 소정 수 이상인지를 조사함으로써 이루어진다. 그리고 조명의 변화에 따른 영향을 감소시키기 위해 물체가 감지되지 않은 경우에는 현재의 감시영역 영상을 이전의 감시영역 영상과 평균화시켜 다음 검사 시점에 사용할 감시영역 영상으로 저장한다. 왜냐하면, 조명의 변화에 의해서도 명도 차나 색상 차가 발생할 수 있으므로, 이러한 경우에 구형물체 영상(14)이 감시영역(12, 13)을 통과하는 것으로 오인하지 않도록 하기 위함이다. 감시영역의 또 다른 역할은 구형물체 영상(14)이 영상 내의 감시영역(12, 13)을 통과할 때 구형물체 영상(14)의 통과위치를 계산하는 것으로, 상기 구형물체 영상(14)의 감시영역 통과위치는 구형물체 영상(14)이 감지된 연속된 픽셀들의 중앙점을 계산하고, 상기 중앙점 좌표를 카메라 영상(11)에서의 위치로 환산함으로써 구해진다.

이와 같이 카메라 영상 내에 감시영역을 설치하기 위해서는 윈도우 기능을 제공하는 카메라 또는 영상센서를 사용하여야 한다. 카메라 또는 영상센서의 윈도우 기능이란 전체 화면이 아닌 화면 중의 일부분만을 사용자가 설정하여 촬영할 수 있는 기능으로, 이러한 윈도우 기능을 이용하면 필요한 영역만을 촬영하여 영상 데이터 양을 줄일 수 있으므로 전체 화면을 촬영하는 것보다 초당 프레임 수를 높일 수 있다.

감시영역들의 가로 폭은 임의로 설정할 수 있으나 짧은 감시시간 간격(Δt_m) 내에 구형물체 통과 여부를 판단하기 위해서 1 내지 3 픽셀 정도로 잡으며, 감시영역의 세로 길이는 카메라 전체 영상의 길이에서 구형물체가 촬영 가능한 영역 내에서 구형물체가 카메라에서 가장 멀리 있을 때(구형물체가 가장 작게 보이는 영상)의 구형물체 영상크기를 뺀 값으로 잡는다. 이렇게 구형물체가 가장 멀리 있을 때의 구형물체 영상크기만큼 빼는 이유는 감시영역의 크기를 가능한 작게 설정함으로써 감시 시간간격을 최대한 짧게 하기 위함이며, 구형물체가 감시영역 밖으로 벗어난다는 것은 구형물체가 좀 더 비행하면 영상 촬영가능영역을 벗어나므로 감시할 필요가 없어지기 때문이다. 그러나 감시 시간간격을 충분히 짧게 잡을 수 있다면 감시영역의 세로 길이는 카메라 영상의 세로 길이만큼 잡아도 된다. 그리고 감시시간 간격(Δt_m)은 구형물체의 최대속도 및 통과 감지를 위한 계산 시간을 고려하여 설정하되 가능한 짧게 잡는다. 골프공의 경우 최대속도가 약 76m/sec이므로 감시시간 간격(Δt_m)을 20㎲로 잡으면 골프공의 최대 이동거리는 1.52㎜가 되어, 20㎲는 감시시간 간격(Δt_m)으로 충분히 짧다고 할 수 있다.

카메라 영상에 설정하는 감시영역의 개수와 설정 위치는 제한이 없지만 구형물체의 비행속도를 계산하기 위해서는 최소 2 시점 이상에서 취득된 구형물체 영상이 필요하므로 감시영역의 개수는 최소 2개 이상이어야 하며, 감시영역들의 설정 위치는 구형물체의 최대속도, 카메라의 영상취득에 걸리는 시간, 그리고 차후에 설명할 영상취득영역의 크기 등을 고려하여 설정하되, 가능한 감시영역들의 간격이 같은 간격을 유지하도록 하며, 가능한 감시영역들 간 간격이 멀도록 잡는 것이 바람직하다. 이후의 설명에서는 설명의 편의를 위해 감시영역의 개수가 2개인 경우로 가정한다.

이제 카메라로부터 구형물체의 비행영상을 취득하는 방법에 대해 자세히 설명한다.

도 2는 구형물체 영상(14) 취득에 사용되는 영상취득영역(20)을 도시한 것이다.

본 발명에서 카메라의 영상취득은 카메라 전체 영상을 취득하는 것이 아니고, 카메라의 윈도우 기능을 이용하여 구형물체 영상(14)이 온전히 취득될 수 있는 크기만큼만 취득한다. 이를 위해 구형물체 영상(14) 취득에 사용하기 위한 영상취득영역(20)은 정사각형 모양으로 하되, 상기 정사각형의 한 변의 길이는 도 2에서 보는 바와 같이 구형물체가 카메라 영상에서 가장 크게 보일 때(21, 구형물체가 카메라에 가장 가까이 근접하였을 때)의 구형물체 영상의 지름보다 여유간격 2d만큼 크게 한다. 그리고 영상취득영역(20)의 중앙점(22)에서 구형물체 비행 정방향(10, 여기서는 우측)으로 구형물체 영상의 반지름 크기만큼 구형물체가 전진하는 방향(여기서는 우측)에 위치설정 기준점(23)을 잡는다. 이론적으로는 구형물체가 카메라에 10㎝ 이내까지도 근접할 수 있지만 구형물체가 너무 가까이 근접하면 영상의 초점이 흐려져 영상의 품질이 저하되므로 실제에서는 접근할 수 있는 거리의 한계가 있게 되며, 또한 통상 구형물체 비행방향이 카메라의 시점과 수직이 되도록 카메라를 설치하기 때문에 구형물체가 카메라에 근접할 수 있는 거리는 제한적이다.

다시 도 1을 참조하면 카메라 영상에 제1 감시영역(12), 제2 감시영역(13)을 설정한 후, 제1 감시영역(12)에서 구형물체 영상(14)이 감지되는지 짧은 감시시간 간격(Δt_m)으로 반복적으로 감시하다가 제1 감시영역(12)에서 구형물체 영상(14)이 감지되면, 제1 감시영역(12)에서 구형물체 영상(14)의 통과시간 t₁을 측정한 후 구형물체 영상(14)의 제1 감시영역(12) 통과위치를 영상취득영역(20)의 위치설정 기준점(23)과 일치시켜 영상취득영역(20) 크기만큼의 영상을 취득하고, 이 영상을 제1 취득영상(15)이라 한다. 이후 제2 감시영역(13)의 감시를 시작하고 제2 감시영역(13)에서 구형물체 영상(14)이 감지되면, 이때 제2 감시영역(13)의 구형물체 영상(14) 통과시간 t₂를 측정한 후에 구형물체 영상(14)의 제2 감시영역(13) 통과위치를 영상취득영역(20)의 위치설정 기준점(23)과 일치시켜 영상취득영역(20) 크기만큼의 영상을 취득하고, 이 영상을 제2 취득영상(16)이라 한다. 즉, 카메라 영상(11)에서 t₁ 시점에서의 제1 취득영상(15)과 t₂ 시점에서의 제2 취득영상(16)을 취득한다.

여기서 영상취득영역(20)의 크기를 구형물체의 예상 최대 크기보다 여유간격 2d만큼 더 크게 설정하여 취득되는 영상의 크기를 최소화했지만, 경우에 따라서는 카메라 전체 영상을 그대로 취득하여도 된다. 따라서 영상취득영역(20)의 크기에 제한성이 있는 것은 아니며 영상취득영역(20)의 크기를 구형물체의 예상 최대 크기보다 여유간격 2d만큼만 더 크게 설정하는 이유는 가능하면 영상의 크기를 작게 함으로써 차후 영상처리 시간을 줄일 수 있도록 하기 위함이다.

이제 앞서 취득된 카메라 영상들로부터 구형물체의 비행속도를 추정하는 방법에 대하여 설명한다. 결론부터 말하면 구형물체의 비행속도 v는 t₁시점에서의 구형물체의 3차원 공간상의 위치벡터 c ₁ 과 t₂ 시점에서의 구형물체의 3차원 공간상의 위치벡터 c ₂ 로부터 다음의 식으로 계산된다.

따라서 t₁ 시점에서의 구형물체의 3차원 공간상의 위치벡터 c ₁ 과 t₂ 시점에서의 구형물체의 3차원 공간상의 위치벡터 c ₂ 를 계산하는 것이 구형물체의 비행속도를 추정하는 방법의 핵심이 된다.

여기서 주목할 점은 구형물체가 카메라 영상에 투영되었을 때 원으로 보이지 않고 타원으로 보이며, 다만 구형물체가 카메라 영상의 정중앙에 위치할 때만 원으로 보인다는 점이다. 종래에는 카메라 영상에 보이는 타원의 중심점을 구하여 이것을 역투영하는 방법으로 구형물체의 3차원 공간상의 위치를 계산하였다. 이와 같이 카메라 영상에서의 한 점을 3차원 공간상으로 역투영하는 방법에 의하면 단일 카메라 영상만으로는 구형물체의 3차원 공간상의 위치를 계산할 수 없기 때문에 반드시 스테레오 영상을 이용하여야 한다. 또한 수학적 관점에서 엄밀히 말하면 구형물체의 중심점은 영상에 보이는 구형물체 영상인 타원의 중심점을 투영한 직선상에 위치하지 않으며, 다만 구형물체가 카메라로부터 비교적 원거리에 위치할 때에만 근사적으로 타원의 중심점을 투영한 직선상에 위치한다고 할 수 있다.

따라서 본 발명에서는 구형물체의 카메라 영상으로부터 구형물체의 3차원 공간상의 위치를 정확하게 계산하기 위해 영상에 보이는 타원의 중심점을 투영하는 방법을 사용하지 않고, 영상 취득 대상이 구형이라는 기하학적 특성을 갖는다는 점을 이용한다. 또한 본 발명의 방법은 단일 카메라로부터 취득된 영상, 즉 모노영상에 적용할 수 있으며 다만 구형물체의 직경을 미리 알고 있어야 한다. 그러나 골프공, 야구공, 농구공 등과 같이 대부분의 경우 공의 크기, 즉 구형물체의 크기를 미리 알 수 있으므로 이러한 제한성은 크게 문제가 되지 않는다.

다음으로 카메라 영상으로부터 3차원 공간상에서의 구형물체의 중심점의 위치를 계산하는 방법에 대하여 설명한다.

도 3은 3차원 공간상에서 구형물체(30)와 카메라 영상(11)의 관계를 도시한 것이다.

투영이론에 의하면 도 3에서 보듯이 3차원 공간상의 구형물체(30)는 2차원인 카메라 영상(11)에 타원(31)으로 투영되며, 카메라 좌표계 원점(32)과 카메라 영상에 나타난 타원(31)을 연결하면 원뿔(33)이 된다. 영상에 보이는 타원(31)을 역투영하면 일반적으로 타원뿔이 생성되지만 도 3과 같은 경우에는 타원뿔 중심축에 수직인 평면과 타원뿔이 만나서 생성되는 도형이 원이 되므로 실제 도형의 형상은 원뿔(33)이다. 상기 원뿔(33)은 구형물체 영상으로부터 역투영하여 생성시킨 것이기 때문에 구형물체(30)는 도 4에서 보듯이 원뿔(33)에 내접하게 되며, 원뿔의 중심축은 구형물체의 중심점(34)을 통과한다.

앞서 언급한 것과 같이 구형물체의 중심점(34)은 원뿔의 중심축 상에 위치하지만 원뿔의 중심축이 영상에 보이는 타원의 중심을 지나지 않으므로 영상에 보이는 타원의 중심을 이용한 방법은 오차를 발생시킨다.

따라서 본 발명에서는 카메라 좌표계 원점(32)과 카메라 영상에 나타난 타원(31)을 연결하는 원뿔(33)을 수학적으로 구하고, 상기 계산된 원뿔(33)에 구형물체(30)가 내접한다는 것에 착안하여 미리 알고 있는 구형물체의 크기를 이용하여 구형물체의 중심 위치를 정확하게 계산한다.

카메라 영상에 나타나는 일반적인 타원의 식을 영상 좌표계 (u, v)로 기술하면 다음의 수학식 2와 같이 기술된다.

[수학식 2]를 행렬로 나타내면 [수학식 3]과 같으며,

여기서

는 영상점 (u, v)로의 동차좌표(homogeneous coordinates) 벡터이며, C는 타원을 나타내는 행렬로 다음과 같이 기술된다.

여기서는 타원 행렬 C는 알고 있다고 가정하고, 타원 행렬 C를 구하는 방법은 차후에 설명한다.

투영이론에 따르면 영상면의 임의의 한 점 u=(u,v)와 그에 해당하는 공간상의 점 x의 사이에는 다음과 같은 투영식이 성립한다.

여기서 K는 카메라 렌즈의 특성을 나타내는 크기가 3×3인 카메라 특성행렬로 카메라 보정(camera calibration) 과정을 통해 구해지며, x는 카메라 좌표계로 기술한 3차원 공간상의 점을 나타내는 위치벡터이고, λ는 투영에 따른 임의의 상수이다.

영상면의 타원을 3차원 공간으로 역투영시키기 위해서 [수학식 5]를 [수학식 3]에 대입하면 다음의 [수학식 6]이 성립하며, 이 식은 카메라 좌표계 원점과 카메라 영상에 나타난 타원을 연결하는 원뿔(33)의 식이 된다.

도 5는 x-y-z 카메라 좌표계(36) 및 카메라 좌표계 원점(32)과 타원(31)의 중심을 이은 직선이 z₁축이 되도록 카메라 좌표계(36)를 회전시킨 새로운 x₁-y₁-z₁좌표계의 관계를 도시한 것이다.

[수학식 6]은 일반적인 원뿔의 식으로 z축이 원뿔의 중심축과 일치하지 않는 형태이므로 z축을 원뿔의 중심축과 일치시켜 원뿔 표준식으로 변환하기 위해 도 5와 같이 카메라 좌표계를 회전시켜 새로운 x₁-y₁-z₁ 좌표계를 만든다. 이때 z₁축을 원뿔의 중심축과 일치시키고, 카메라 좌표계 원점에서 z₁축 방향으로 바라보았을 때에 타원의 단축이 x₁축과, 장축이 y₁축과 일치하도록 한다. 원뿔의 표준식 형태로 변환하기 위한 좌표 변환식은 아래의 [수학식 7]과 같으며, 회전행렬 R ₁ 은 K ^T CK 행렬의 고유치 해석(eigen value analysis)을 통해 계산된다.

여기서 x는 공간상의 점의 위치를 카메라 좌표계(36)로 기술한 위치벡터이고, x ₁ 는 동일한 공간상의 점의 위치를 x₁-y₁-z₁ 좌표계로 기술한 위치벡터이다.

원뿔의 중심축 방향은 좌표 변환된 좌표계에서의 z₁축과 동일하므로 이것을 카메라 좌표계(36)로 기술하면 [수학식 8]과 같이 주어진다.

그리고 임의의 기준좌표계(35)로 기술한 구형물체의 중심(34)의 3차원 공간상의 위치벡터 c는 도 4에서 보면 [수학식 9]와 같이 계산된다.

여기서 a는 기준좌표계로 기술한 원뿔 꼭지점의 위치벡터, 즉 기준좌표계(35)로 기술한 카메라 좌표계 원점(32)의 위치벡터이고, R는 기준좌표계와 카메라 좌표계 사이의 회전 행렬이며, n은 [수학식 8]로 계산되는 카메라 좌표계로 기술한 원뿔 중심축의 방향벡터이며, r_s는 구형물체의 반지름, α는 원뿔의 꼭지각의 반각으로 앞서의 회전행렬 R ₁ 와 마찬가지로 K ^T CK 행렬의 고유치 해석을 통해 계산된다. 또한 기준좌표계로 기술된 카메라 좌표계 원점의 위치 a와 기준좌표계와 카메라 좌표계 사이의 회전 행렬 R은 카메라 보정 과정에서 구해진다.

이제 앞서 설명한 수학식들을 토대로 하나의 카메라 영상에서 임의의 시점에서의 취득된 취득영상으로부터 구형물체의 3차원 공간상에서의 위치를 추정하는 방법에 대하여 설명한다.

1) 단계-1 : 영상으로부터 구형물체 경계선 영상점들을 추출한다.

타원 식을 구하기 위해 먼저 취득된 영상으로부터 구형물체 경계선에 해당하는 영상점들을 추출한다. 어떤 특징을 가진 영상점들을 추출하는 방법은 영상처리분야에서 많은 방법들이 제안되어 있으므로 이 중의 한 방법을 이용한다. 가장 간단한 방법으로 구형물체의 명도와 배경의 명도 차를 이용하는 방법이 있다.

2) 단계-2 : 구형물체 경계선 영상점들을 이용하여 타원 식을 구한다.

영상처리를 통해 추출된 영상점들을 이용하여 영상처리분야에서 많이 사용하는 타원 접합(ellipse-fitting) 방법 또는 허프 변환(Hough transform) 방법을 통해 타원의 식을 구한다.

3) 단계-3 : 단계-2에서 계산된 타원 식으로부터 [수학식 9]를 이용하여 3차원 공간상에서의 구형물체 중심점 위치를 계산한다.

상기 과정을 t₁ 시점에서 취득된 제1 취득영상(15)에 적용하여 구형물체의 3차원 공간상의 위치벡터 c ₁ 을 계산하고, t₂ 시점에서 취득된 제2 취득영상(16)에 적용하여 구형물체의 3차원 공간상의 위치벡터 c ₂ 를 계산한 후에 [수학식 1]을 이용하여 구형물체의 비행속도 v를 계산한다.

만약 카메라 영상에 감시영역을 2개 이상 설정한 경우에는 2개 이상의 시점에서 구형물체 영상을 취득할 수 있으며, 이런 경우에는 여러 개의 취득 영상 중에서 2개의 영상을 조합하여 구형물체의 비행속도를 여러 번 계산할 수 있고, 이렇게 여러 번 계산된 구형물체의 비행속도들을 평균화하면 비행속도 추정 결과의 신뢰성을 좀 더 높일 수 있다.

이제까지 단일 카메라 영상에 다수의 감시영역을 설정하고, 설정된 감시영역들을 이용하여 비행중인 구형물체 영상을 취득하는 방법과 취득된 영상으로부터 구형물체의 비행속도를 추정하는 방법에 대하여 설명하였다.

만약 단일 카메라를 이용하여 촬영할 수 있는 구형물체 영상 촬영가능영역이 충분하지 못하거나, 또는 구형물체의 비행속도에 비해 카메라의 촬영 가능 프레임 수가 작아 구형물체가 다수의 감시영역을 통과하는 동안 카메라 영상을 취득할 수 없는 경우에는 다수의 감시영역들을 다수의 카메라 영상에 분산 설정하여 해결할 수 있다.

도 6은 감시영역들을 2대의 카메라 영상에 분산 배치하기 위한 카메라 배치의 예시도이다.

예를 들어 단일 카메라(제1 카메라)로 제1 감시영역(12)을 통과하는 시점인 t₁ 시점과 제2 감시영역(13)을 통과하는 시점인 t₂ 시점에서 구형물체 영상 취득이 어려운 경우에는, 도 6과 같이 제2 카메라(61)를 제1 카메라(60)가 설치된 위치에서 구형물체 비행 정방향(10)에 배치하여, 제1 카메라(60)에는 제1 감시영역을 설정하고 제2 카메라(61)에는 제2 감시영역을 설정한다. 이후 제1 카메라(60)는 구형물체(30)가 제1 감시영역을 통과하는 시점인 t₁ 시점에서 구형물체 영상을 취득하고, 제2 카메라(61)는 구형물체(30)가 제2 감시영역을 통과하는 시점인 t₂ 시점에서 구형물체 영상을 취득할 수 있으며, 이렇게 t₁ 시점에서 구형물체 영상과 t₂ 시점에서 구형물체 영상을 2개의 카메라로부터 나누어 취득한 경우에도 앞서 설명한 방법을 그대로 적용하여 구형물체의 비행속도를 추정할 수 있다. 단, 이 경우 앞서 설명한 구형물체의 3차원 공간상의 위치벡터 계산에 사용되는 수식들에 사용되는 카메라 관련 파라미터들은 영상 취득을 하기 위해 사용한 해당 카메라의 파라미터들을 사용하여야 하며, 모든 카메라로부터 측정되는 영상취득시점은 하나의 시계로 측정되어야 한다.

결론적으로 본 발명은 카메라로부터 비행중인 구형물체 영상을 취득함에 있어 단일 카메라 또는 복수의 카메라 영상 내에 다수의 감시영역을 설정하고 상기 감시영역들에 구형물체 영상이 통과하는 위치를 이용하여 구형물체 영상들을 취득하였고, 취득된 여러 시점에서의 구형물체 영상들로부터 구형물체의 기하학적 특성을 이용하여 구형물체의 비행속도를 추정하였다.

10 구형물체 비행 정방향 11 카메라 영상
12 제1 감시영역 13 제2 감시영역
14 구형물체 영상 15 제1 취득영상
16 제2 취득영상 20 영상취득영역
21 구형물체의 가장 큰 영상 22 영상취득영역의 중앙점
23 위치설정 기준점 30 구형물체
31 타원 32 카메라 좌표계 원점
33 원뿔 34 구형물체의 중심점
35 기준좌표계 36 카메라 좌표계
60 제1 카메라 61 제2 카메라

Claims

카메라 영상(11)을 이용하는 구형물체(30)의 비행속도 추정 방법에 있어서,
카메라 영상(11) 내에 구형물체(30)의 예상 비행진행 방향에 따라 다수의 감시영역들(12, 13)을 설정하는 단계;
상기 다수의 감시영역들(12, 13) 중에서 구형물체 영상(14)이 도달할 감시영역에 대하여 일정시간 간격으로 구형물체 영상(14)의 감시영역 통과 여부를 조사하는 단계;
상기 구형물체 영상(14)의 통과가 감지된 감시영역에 대하여 구형물체 영상(14)의 통과 위치를 구하는 단계;
상기 구형물체 영상(14)의 통과 위치를 중심으로 카메라 영상(11)에서 영상취득영역(20) 크기만큼 영상을 취득하고, 영상취득시점을 측정하는 단계; 및
상기 영상취득영역(20) 크기만큼 취득된 영상 및 영상취득시점을 이용하여 구형물체(30)의 비행속도를 구하는 단계를 포함하는 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법.
청구항 1에 있어서,
상기 카메라 영상(11) 내에 구형물체(30)의 예상 비행진행 방향에 따라 다수의 감시영역들(12, 13)을 설정하는 단계는, 상기 다수의 감시영역들이 1개의 카메라 영상 내에 모두 설정되거나 2개 이상의 카메라 영상 내에 분산되어 설정되는 것을 특징으로 하는 구형물체의 비행속도 추정 방법.
청구항 1에 있어서,
상기 다수의 감시영역들(12, 13) 중에서 구형물체 영상(14)이 도달할 감시영역에 대하여 일정시간 간격으로 구형물체 영상(14)의 감시영역 통과 여부를 조사하는 단계는, 감시영역의 영상을 취득하고, 취득된 영상과 이전에 취득된 감시영역 영상과의 명도 차 또는 색상 차를 계산한 후에 명도 차 또는 색상 차가 소정 값 이상인 연속된 픽셀 수가 소정 수 이상인지를 조사하는 것을 특징으로 하는 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법.
청구항 1 또는 청구항 3에 있어서,
상기 다수의 감시영역들(12, 13) 중에서 구형물체 영상(14)이 도달할 감시영역에 대하여 일정시간 간격으로 구형물체 영상(14)의 감시영역 통과 여부를 조사하는 단계는, 현재의 감시영역 영상을 이전의 감시영역 영상과 평균화시켜 다음 검사 시점에 사용할 감시영역 영상으로 저장하는 것을 특징으로 하는 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법.
청구항 1에 있어서,
상기 구형물체 영상(14)의 통과가 감지된 감시영역에 대하여 구형물체 영상(14)의 통과 위치를 구하는 단계는, 감시영역에서 구형물체 영상이 감지된 연속된 픽셀들의 중앙점을 구하고, 상기 중앙점의 좌표를 카메라 영상(11)에서의 위치로 환산하여 감시영역 통과 위치를 계산하는 것을 특징으로 하는 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법.
청구항 1에 있어서,
상기 영상취득영역(20) 크기만큼 취득된 영상 및 영상취득시점을 이용하여 구형물체(30)의 비행속도를 구하는 단계는, 취득된 영상들 각각에 대하여 구형물체 중심점(34)의 3차원 공간상의 위치를 구하는 단계를 포함하는 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법.
청구항 6에 있어서,
상기 취득된 영상들 각각에 대하여 구형물체 중심점(34)의 3차원 공간상의 위치를 구하는 단계는,
취득된 카메라 영상으로부터 구형물체 영상의 경계선 영상점들을 추출하는 단계;
상기 추출된 경계선 영상점들로부터 타원(31)의 식을 계산하는 단계;
상기 계산된 타원의 식을 역투영하여 원뿔(33)의 식을 구하는 단계; 및
상기 원뿔(33)의 식을 이용하여 구형물체 중심점(34)의 3차원 공간상의 위치를 구하는 단계로 이루어지는 것을 특징으로 하는 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법.
청구항 7에 있어서,
상기 추출된 경계선 영상점들로부터 타원(31)의 식을 계산하는 단계는, 타원 접합(ellipse-fitting) 방법 또는 허프 변환(Hough transform) 방법으로 타원(31)의 식을 계산하는 것을 특징으로 하는 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법.
청구항 1에 있어서,
상기 감시영역이 3개 이상인 경우에는 구형물체 영상(14)이 감시영역을 통과하는 시점에 취득된 3개 이상의 구형물체 영상 중에서 2개의 영상을 조합하는 방식으로 조합 가능한 모든 경우에 대하여 구형물체(30)의 비행속도를 계산한 후, 상기 계산된 구형물체(30)의 비행속도들을 평균화하는 것을 특징으로 하는 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법.