TWI687689B

TWI687689B - 球狀體之旋轉之測定裝置、測定方法以及非暫時性資訊記錄媒體

Info

Publication number: TWI687689B
Application number: TW105108486A
Authority: TW
Inventors: 井尻敬; 姬野龍太郎
Original assignee: 國立研究開發法人理化學研究所
Priority date: 2015-03-18
Filing date: 2016-03-18
Publication date: 2020-03-11
Also published as: WO2016148247A1; JPWO2016148247A1; US10586339B2; TW201702600A; JP6566449B2; US20180174308A1

Abstract

測定裝置101測定球狀體之旋轉。模板部102自拍攝球狀體所得之動態影像或者於與該動態影像相同之攝影條件下拍攝該球狀體所得之照片影像，獲取拍攝球狀體所得之模板影像。剪輯部103自該動態影像中抽選出與模板影像類似之區域，獲取中心位置及大小一致之複數個剪輯影像。估算部104估算出剪輯影像彼此之相似度，獲取按時間順序排列之矩陣。推斷部105根據相似度之矩陣中之要素分佈推斷球狀體之旋轉。

Description

球狀體之旋轉之測定裝置、測定方法以及非暫時性資訊記錄媒體

本發明是關於一種測定球狀體之旋轉之測定裝置、測定方法、以及用以藉由電腦實現該等之程式。

先前以來，提出有測定球等球狀體之旋轉之技術。例如，專利文獻1、2中，藉由對球賦予感測器，專利文獻3中，藉由利用照相機(camera)拍攝貼附有標記之球，而分別獲得球之旋轉數、旋轉速度、旋轉週期、旋轉軸之方向等資訊。

此外，於棒球等之球賽中，多數情況下藉由被稱作測速槍(speed gun)之裝置簡易地測定球之移動速度。

[先前技術文獻]

[專利文獻]

[專利文獻1]日本專利特開2012-58066號公報

[專利文獻2]日本專利特開2009-42196號公報

[專利文獻3]日本專利特開平9-68539號公報

然而，即便對與現實之球賽等中所利用之球狀體不同形態之球狀體測定旋轉，多數情況下於球賽等之分析方面而言效果亦差。又，如藉由一台機器觀察球之測速槍般，只要利用1台攝影機(video camera)拍攝球等便能夠測定出與球等球狀體之旋轉相關之資訊，則較為便利。

因此，強烈期望出現如下技術，即，能夠根據由1台攝影機拍攝球等球狀體所得之動態影像，自動地獲取與該球狀體之旋轉相關之資訊。

本發明是解決以上之課題者，其目的在於提供一種測定球狀體之旋轉之測定裝置、測定方法、以及用以藉由電腦實現該等之程式。

本發明中，測定裝置是自拍攝球狀體所得之動態影像中所含之複數個圖框中之任一個、或者藉由與該動態影像之攝影條件相同之攝影條件拍攝該球狀體所得之照片影像中，抽選出拍攝該球狀體所得之圓狀區域，藉此獲取模板影像，自各該複數個圖框中抽選出與上述獲取之模板影像分別類似之複數個類似區域並加以縮放，藉此獲取以上述球狀體之中心位置及大小於既定之誤差範圍內一致之方式描繪上述球狀體所得之複數個剪輯影像，估算上述複數個剪輯影像彼此之相似度，獲取將該估算出之相似度按照抽選該複數個剪輯影像彼此所得之圖框之攝影順序排列而成之矩陣，根據上述估算出之相似度之矩陣中之要素分佈，推斷上述球狀體之旋轉。

根據本發明，可提供測定球狀體之旋轉之測定裝置、測定方法、以及用以藉由電腦實現該等之程式。

101:測定裝置

102:模板部

103:剪輯部

104:估算部

105:推斷部

a:方向

a_k:應用結果

C_k:離散餘弦變換之結果

d:高光方向

D_i,j:相似度矩陣

I_temp:模板影像

k:攝影順序之差

k*:下標

P_k:離散傅立葉變換之結果

v_k:差異度曲線

V_clip:剪輯動態影像/剪輯影像

V_src:輸入動態影像

第1圖是表示本發明之實施形態之測定裝置之概要構成之說明圖。

第2圖是表示藉由本發明之實施形態之測定裝置所處理之動態影像中所含之圖框之例之說明圖。

第3圖是表示藉由本發明之實施形態之測定裝置所獲取之模板影像之例之說明圖。

第4圖是表示藉由本發明之實施形態之測定裝置所獲取之剪輯影像之例之說明圖。

第5圖是表示矩陣之說明圖，該矩陣表示藉由本發明之實施形態之測定裝置所獲取之相似度。

第6圖是表示藉由本發明之實施形態之測定裝置所獲取之差異度曲線v_k之說明圖。

第7圖是表示藉由本發明之實施形態之測定裝置所獲取之差異度曲線w_k(具有漢尼視窗(Hanning Window)之差異度曲線v_k)之說明圖。

第8圖是表示本發明之實施形態之測定裝置中之離散餘弦變換之結果C_k之說明圖。

第9圖是表示本發明之實施形態之測定裝置中之離散傅立葉變換之結果P_k之功率譜之說明圖。

第10圖是表示本發明之實施形態之測定裝置中之平均振幅差函數之應用結果a_k之說明圖。

第11圖是表示藉由本發明之實施形態之測定裝置所執行之測定方法之順序之流程圖。

第12圖是表示藉由本發明之實施形態之測定裝置所執行之模板影像之自動獲取之順序之流程圖。

第13圖是表示藉由本發明之實施形態之測定裝置所處理之室外拍攝所得之動態影像中所含之圖框之例之說明圖。

第14圖是表示剪輯影像中所拍攝之球狀體之高光方向之說明圖。

以下，對本發明之實施形態進行說明。再者，本實施形態是用以進行說明者，而並非限制本發明之範圍者。因此，只要為本領域具通常知識者，則可採用將本實施形態之各要素或者全部要素置換為與其均等者而得之實施形態。又，各實施例中說明之要素亦可根據用途而適當省略。如此，基於本發明之原理而構成之實施形態均包含於本發明之範圍內。

實施例1

(實現測定裝置之硬體)

本實施形態之測定裝置典型而言，藉由電腦執行程式而實現。該電腦連接於各種輸出裝置或輸入裝置，與該等機器進行資訊收發。

由電腦執行之程式除能夠藉由可通信地連接於該電腦之伺服器(server)而發佈、售賣外，亦能夠於記錄於CD-ROM(Compact Disk Read Only Memory，唯讀光碟記憶體)或快閃記憶體、EEPROM(Etectrically Erasable Programmable ROM，電子可抹除可程式化唯讀記憶體)等非暫時性(non-transitory)資訊記錄媒體中後，發佈、售賣該資訊記錄媒體。

程式安裝(install)於電腦所具有之硬碟、固態驅動器(solid state drive)、快閃記憶體、EEPROM等非暫時之資訊記錄媒體中。於是，藉由該電腦，實現本實施形態之資訊處理裝置。一般而言，電腦之CPU(Central Processing Unit，中央處理單元)於電腦之OS(Operating System，操作系統)之管理下，自資訊記錄媒體向RAM(Random Access Memory，隨機存取記憶體)讀出程式後，解釋並執行該程式中所含之碼。然而，於能夠向CPU可存取之記憶體空間內映射資訊記錄媒體之架構中，亦存在不需要向RAM載入明示之程式之情況。再者，程式之執行過程中所需要之各種資訊可預先暫時(temporary)地記錄於RAM內。

再者，亦可並非藉由通用之電腦實現本實施形態之資訊處理裝置，而使用專用之電子電路構成本實施形態之資訊處理裝置。該形態中，亦可將程式用作用以生成電子電路之配線圖或時序圖等之素材。此種形態中，滿足程式規定之規格之電子電路包含FPGA(Field Programmable Gate Array，現場可程式閘陣列)或ASIC(Application Specific Integrated Circuit，特殊應用積體電路)，該電子電路作為發揮該程式規定之功能之專用機器而發揮功能，從而實現本實施形態之資訊處理裝置。

以下，為了容易理解，假定測定裝置是藉由電腦執行程式而實現之形態並進行說明。

第1圖是表示本發明之實施形態之測定裝置之概要構成之說明圖。以下，參照本圖進行說明。

如本圖所示，測定裝置101具備模板部102、剪輯部103、估算部104及推斷部105。

此處，模板部102自拍攝球狀體所得之動態影像中所含之複數個圖框中之任一個、或者藉由與該動態影像之攝影條件相同之攝影條件拍攝該球狀體所得之照片影像中，抽選出拍攝該球狀體所得之圓狀區域，藉此獲取模板影像。模板影像之抽選可基於用戶之指示進行，亦可如後述般自動抽選。

該動態影像典型而言是藉由高速攝影機拍攝所得者。再者，本實施形態中利用之動態影像是假定為以500FPS左右之圖框率拍攝所得者，但圖框率可適當變更。

模板影像是如下，即自拍攝球狀體所得之動態影像中之任一個圖框、或於與該動態影像之攝影條件相同之攝影條件下拍攝之照片影像中之任一者中，抽選出包含拍攝球狀體所得之圓狀區域之區域。

第2圖是表示藉由本發明之實施形態之測定裝置所處理之動態影像中所含之圖框之例之說明圖。本圖為由高速攝影機自斜後方約20m處拍攝棒球投手投球之樣子所得之動態影像中所含之一塊圖框。

第3圖是表示藉由本發明之實施形態之測定裝置所獲取之模板影像之例之說明圖。當利用電腦處理影像時，因直接處理圓狀區域於計算上不利之情況較多，故本實施形態中，如本圖所示，作為模板影像，直接採用自動態影像之圖框中之任一個切出描繪球狀體之正方形之區域所得之影像。

如此，於自處理對象之動態影像或者相同之攝影條件下拍攝之照片影像中抽選模板影像之方面，具有本發明之特徵之其中之一。本實施形態之模板影像因與動態影像內之其他圖框，在所拍攝之周圍環境方面一致，例如背景之亮度或照明之方向、亮度、色調、照相機之精細度或光圈量等條件一致，故能夠高精度地進行測定。再者，例如可藉由上述各種條件是否一致而判斷攝影條件是否相同，可藉由實驗等規定採用哪一個條件。又，照片影像可採用相同攝影條件下拍攝之其他動態影像內之一個圖框，亦可將自相同攝影條件下拍攝之其他動態影像中抽選出之模板影像直接作為此次之動態影像之處理中利用之模板影像。

另一方面，剪輯部103自各複數個圖框中抽選出與所獲取之模板影像分別類似之複數個類似區域並加以縮放，藉此以球狀體之中心位置及大小於既定之誤差範圍內一致之方式獲取描繪球狀體所得之一連串剪輯影像。

具體而言，藉由用以自各圖框中去除背景之遮蔽處理，並藉由進行各圖框與模板影像之對照而於該圖框中抽選出拍攝球狀體之部位之模板匹配(template maching)，以及應用檢測圓之霍夫(Hough)變換而將影像適當移動、縮放，測定裝置101以相同大小描繪球狀體，而獲得其中心共用之複數個剪輯影像。

第4圖是表示藉由本發明之實施形態之測定裝置所獲取之剪輯影像之例之說明圖。如本圖所示，剪輯影像表現為相同大小之正方形，於正方形內描繪球狀體之位置或大小一致。

進而，估算部104估算複數個剪輯影像彼此之相似度，獲取將該估算出之相似度按照抽選該複數個剪輯影像彼此所得之圖框之攝影順序排列而成之矩陣。

第5圖是表示矩陣之說明圖，該矩陣表示藉由本發明之實施形態之測定裝置所獲取之相似度。本圖中，將相似度之矩陣之各要素以白黑之濃淡表現。相似度之矩陣之各要素表示其列數之剪輯影像與其行數之剪輯影像之相似度。

此處，作為相似度，可利用表示剪輯影像彼此有多少不同之差異度，亦可利用表示剪輯影像彼此有多少類似之類似度。關於差異度，例如可採用各畫素之差之加權平均或加權總和。作為類似度，例如可採用包含各畫素之畫素值之向量所成之角之餘弦(排列畫素值而成之向量之方向向量彼此之內積)。

第5圖所示之例中，相似度之濃淡表現為斜向之條紋式樣。該條紋式樣之間隔相當於旋轉週期。因此，推斷部105根據估算出之相似度之矩陣中之要素分佈而推斷球狀體之旋轉速度。推斷出旋轉速度後，亦能夠應用剪輯動態影像彼此之類似性、以及透視投影或與三維空間之旋轉相關之技術，推斷旋轉軸。關於旋轉軸之推斷之詳情將於以後進行敍述。

如此，本實施例中，作為旋轉之資訊，可推斷每單位時間之旋轉數(旋轉速度)、旋轉週期、旋轉軸之方向等。

再者，上述各部之處理藉由電腦之CPU或影像處理機、專用之電子電路等而執行。又，成為處理對象之各種動態影像或影像保存於RAM或硬碟、固態驅動器等記憶裝置中。

第11圖是表示藉由本發明之實施形態之測定裝置所執行之測定方法之順序之流程圖。以下，利用由測定裝置101執行之處理進行詳細說明。

首先，測定裝置101受理成為處理對象之動態影像(即步驟S201)。如上述般，該動態影像是拍攝球狀體所得。藉由拍攝中利用高速攝影機，能夠高精度地分析球狀體之旋轉。基於取樣定理，至少需要以所期望之旋轉速度之2倍以上之圖框率拍攝球狀體。根據實驗，藉由以假定之球狀體之旋轉速度之10倍左右之圖框率進行拍攝，可獲得較佳結果。以下，為了容易理解，將成為步驟S201中受理之處理對象之輸入動態影像表述為V_src。

一般而言，將動態影像V之第t(1≦t≦N(V))個圖框之橫向u(1≦u≦W(V))、縱向v(1≦v≦H(V))之畫素位置之畫素值表述為V(u,v,t)。t除以圖框率所得之值相當於現實之時間經過，N(V)除以圖框率所得之值相當於動態影像V之攝影時間長度。W(V)及H(V)是將動態影像V之各圖框之寬度及高度除以畫素單位所表現之值。再者，以下，簡單記述為 N=N(V_src),W=W(V_src),H=H(V_src)。

其次，測定裝置101自輸入動態影像V_src生成平均影像I_mean及遮蔽動態影像V_mask(即步驟S202)。平均影像I_mean是自輸入動態影像V_src生成簡易地表示背景之影像者，可如以下方程式定義。

I_mean(u,v)=Σ_t=1 ^N V_src(u,v,t)/N

遮蔽動態影像V_mask是自輸入動態影像V_src中去除相當於背景之部分並單色化所得之差分動態影像，可如以下方程式定義。

若diff(V_src(u,v,t),I_mean(u,v))<BK_thresh，則V_mask(u,v,t)=0；否則V_mask(u,v,t)=1

此處，diff(p,q)是求出畫素值p、q彼此之差異之運算。於p、q是灰度影像之畫素之情形時，計算畫素值之差之絕對值即可。於p、q是彩色影像之畫素之情形時，計算各要素之差之平方和或者其平方根即可。又，亦可於對彩色影像進行各種濾色而灰度化後，應用灰度影像用之diff()。以下，為了容易理解，作為輸入動態影像V_src，採用各畫素值為0-255之間之灰度動態影像進行說明。

BK_thresh為臨限值，上述規格之灰度動態影像中，例如可應用12-15左右之數值，但該值可適當變更。

再者，亦可對遮蔽動態影像V_mask實施去除雜訊之各種處理，將其處理結果作為遮蔽動態影像V_mask而進行處理。例如，對遮蔽動態影像 V_mask，實施進行2次1畫素單位之erosion(腐蝕)、2次dilation(膨脹)之opening(開)處理等。

此外，若自輸入動態影像V_src獲得遮蔽動態影像V_mask，則測定裝置101之模板部102基於用戶之指示，或者參照該等資訊而自動地獲得模板影像I_temp(即步驟S203)。模板影像I_temp是可自輸入動態影像中之任一圖框中抽選出描繪球狀體之正方形區域所得之寬度及高度為2×R+1之影像。此處，R是由畫素數表現圖框中描繪球狀體之半徑者。又，模板影像中未描繪球狀體之區域可直接維持原來之圖框之畫素，亦可配置透明色或與球狀體中假定之顏色不同之預先規定之顏色。

模板影像I_temp可基於進行處理之用戶之指示而自輸入動態影像V_src中獲取，亦可藉由後述實施例中揭示之方法自動地抽選。

若獲得第3圖所示之模板影像，則測定裝置101參照輸入動態影像V_src、遮蔽動態影像V_mask、模板影像I_temp而生成匹配動態影像V_tm(即步驟S204)。匹配動態影像V_tm如以下方程式定義。

K(u,v,t)=Σ_i=-R ^R Σ_j=-R ^R[V_src(u+i,v+j,t)-I_temp(i+R+1,j+R+1)]²；若V_mask(u,v,t)=0，則V_tm(u,v,t)=0；若V_mask(u,v,t)≠0，則V_tm(u,v,t)=exp(-[K(u,v,t)]²)

再者，亦可忽視模板影像I_temp之背景。即，設為K(u,v,t)=Σ_i=-R ^R Σ_j=-R ^R fn(i,j,t)²；若(i+R+1)²+(j+R+1)²≦(R+1)²，則fn(i,j,t)=V_src(u+i,v+j,t)-I_temp(i+R+1,j+R+1)；否則fn(i,j,t)=0。

這相當於採用圓形作為模板影像之形狀。

再者，關於K(u,v,t)之值，可對上述總和計算之應用結果乘以適當之正常數，亦可利用絕對值之總和而非平方和。又，關於V_tm(u,v,t)之值，可對上述指數函數之應用結果乘以適當之常數，亦可利用其他衰減函數。

然後，測定裝置101抽選有效圖框，即，拍攝球狀體之圖框(即步驟S205)。此是假定球狀體自畫面外進入至畫面內或自畫面內離開至畫面外之狀況。測定裝置101設定適當之臨限值TM_thresh，並計算各圖框V_tm(u,v,t)之畫素值之最大值 max_1≦u≦W max_1≦v≦H V_tm(u,v,t)。

而且，測定裝置101對圖框編號S+1、S+2、...、S+N'，搜索均滿足max_1≦u≦W max_1≦v≦H V_tm(u,v,S+1)≧TM_thresh；max_1≦u≦w max_1≦v≦H V_tm(u,v,S+2)≧TM_thresh；...；max_1≦u≦W max_1≦v≦H V_tm(u,v,S+N')≧TM_thresh

之連續圖框中之N'為最大者。藉此，於球狀體暫時到畫面之外，並再次進入畫面內時，選擇較長之連續圖框。

S+1是於圖框內拍攝球狀體之最初之圖框編號，N'是由圖框數表現於圖框內拍攝球狀體之時間長度者。

此外，匹配影像V_tm所含之圖框編號t之圖框中之具有最大畫素值之畫素之位置(x_tm(t),y_tm(t))可定義為(x_tm(t),y_tm(t))=argmax_{(u,v)|1≦u≦w，1≦v≦H} V_tm(u,v,t)。

即，找出圖框內之具有畫素值之最大值之畫素，並獲取該畫素位置即可。

此外，可推斷於位置(x_tm(t),y_tm(t))處描繪球狀體之中心。然而，實際上，因計算誤差或取樣誤差，會產生數畫素之偏移。又，於球狀體與照相機之距離隨時間經過而變化之情形時，動態影像內描繪之球狀體之大小亦會產生變化。

因此，本實施形態中，測定裝置101藉由利用霍夫變換而檢測各圓形狀。於遮蔽動態影像V_mask之各圖框中，抽選出畫素值成為0與非0之邊界之邊界畫素，藉由霍夫變換檢測與該邊界畫素最適合之圓(即步驟S206)。

如上述般，藉由對照模板影像I_temp而檢測之圓之中心之大致推斷位置是(x_tm(t),y_tm(t))，因而無需對遮蔽動態影像V_mask之各圖框之全體應用霍夫變換。若將應用之區域設為僅(x_tm(t),y_tm(t))之周邊，則可大幅縮短計算時間。

即，於圖框編號t之圖框中，於將藉由霍夫變換檢測之圓之中心位置設為(x(t),y(t))，半徑設為r(t)時，於該等值屬於以下範圍之制約之下，應用霍夫變換即可。

0.5×R≦r(t)≦R；x_tm(t)-0.5×R≦x(t)≦x_tm(t)+0.5×R；y_tm(t)-0.5×R≦y(t)≦y_tm(t)+0.5×R

再者，於在球狀體逐漸接近照相機之方向上進行拍攝之情形時，例如，於自接球手之背後向投球手方向拍攝球之情形時，r(t)之上限是1.5×R或2×R等，可根據適當狀況擴大檢索範圍。

選擇模板影像I_temp時，若自儘可能大地描繪球狀體之圖框中抽選，則將r(t)之上限設為R即可。

若藉由霍夫變換獲得各圖框中描繪之球狀體之中心位置(x(t),y(t))及半徑r(t)，則測定裝置101之剪輯部103自輸入動態影像V_src之圖框編號S+1、S+2、...、S+N'之圖框中剪輯中心位置(x(t),y(t))、半徑r(t)之圓區域，並將其縮放為直徑2×R+1之圓，藉此生成包含寬度及高度2×R+1之正方形形狀之圖框之剪輯動態影像V_clip(即步驟S207)。

即，若於將輸入動態影像之圖框編號t+S之圖框以圓之中心位置(x(t),y(t))為原點之方式進行座標變換，且以縮放率E(t)=R/r(t)

或者

E(t)=(2×R+1)/(2×r(t))

進行縮放後，以原點向(R+1,R+1)移動之方式進行座標變換，則獲得剪輯動態影像V_clip之圖框編號t之圖框。兩種縮放率之區別在於是否包含周圍之1點，可任意選擇一者。此外，剪輯動態影像V_clip與輸入動態影像V_src之畫素值之最簡單之對應關係如下。

V_clip(u,v,t)=V_src((u-R-1)/E(t)+x(t)，(v-R-1)/E(t)+y(t)，t+S)

剪輯動態影像V_clip(u,v,t)中，1≦u≦2×R+1,1≦v≦2×R+1,1≦t≦N'是有效範圍。即，H(V_clip)=W(V_clip)=2×R+1；N(V_clip)=N'

再者，圓形狀之背景之畫素可設為畫素值0，亦可如上述式般，直接利用原來影像之畫素值。又，於獲得剪輯動態影像時，因縮放相對小之區域，故亦可應用各種平滑化處理。例如，可應用具有標準偏差為2畫素左右之核心函數之高斯(Gaussian)平滑化等。如此，可獲得第4圖所示之剪輯影像。

若獲得剪輯動態影像V_clip，則估算部104對表示圖框彼此之相似度之矩陣D如以下方程式進行計算(即步驟S208)。此處，下標i,j表示矩陣內之i列j行之要素。

D_i,j=Σ_u=1 ^2×R+1 Σ_v=1 ^2×R+1

G_σ(u-R-1,v-R-1)×[V_clip(u,v,i)-V_clip(u,v,j)]²

再者，後述處理中，因僅參照相似度矩陣D之一部分要素之值，故實際上不需要進行所有要素之計算。又，G_σ(u-R-1,v-R-1)是相對於剪輯動態影像之各圖框之中心對稱之基於二維高斯分佈之加權。

G_σ(u-R-1,v-R-1)=exp(-[(u-R-1)²+(v-R-1)²]/[2×σ²])

即，球狀體中較之周緣附近中心附近拍攝得更美觀且精度更佳。因此，要增大中心附近之加權。作為表示高斯分佈之範圍之標準偏差σ，例如可採用(2×R+1)/6等常數。

如上述般，於第5圖中將矩陣D之各要素之值以濃淡表現，該濃淡表現為斜向之條紋式樣。

再者，作為相似度，不限於上述計算式，可採用單純之差之平方和或差之絕對值之和等各種方法。

如此，若獲得相似度之矩陣，則測定裝置101之推斷部105根據該矩陣之要素分佈推斷球狀體之旋轉之各參數(即步驟S209)。以下，首先對求出旋轉週期之方法進行說明。

藉由與矩陣D之對角軸平行地對各要素進行累計，獲得與攝影順序之差k之圖框彼此之差異度之平均相當之差異度曲線v_k。即，v_k=Σ_i=1 ^N'/3 D_i,i+k

攝影順序之差k是圖框編號之差異，根據上述計算，其範圍位於1≦k≦(2×N'/3)之間。第6圖是表示藉由本發明之實施形態之測定裝置所獲取之差異度曲線v_k之說明圖。如本圖所示，v_k表示自對角軸方向觀察矩陣D時之平均之要素之變化，可知差異度較小之值以大致固定之間隔出現。該間隔相當於球狀體1次旋轉所需之圖框數。以下，將球狀體1次旋轉所需之圖框數，即，上述間隔表述為v_k之週期T。

作為推斷v_k之週期T之方法，可應用各種技術。例如，可採用以下3種方法。

第1方法是利用離散餘弦變換之方法。離散餘弦變換中，推斷部105對將數列v_k乘以寬度(M=2×N'/3)之漢尼視窗函數所得之數列w_k(具有漢尼視窗之v_k)，實施離散餘弦變換。

於採用離散餘弦變換DCT-II之情形時，以下之關係成立。

C_k=Σ_n=1 ^M w_n×cos[π×k×(2×n+1)/(2×M)]；w_k=C₁/2+Σ_n=2 ^M C_n×cos[π×n×(2×k+1)/(2×M)]

第7圖是表示藉由本發明之實施形態之測定裝置所獲取之差異度曲線w_k(具有漢尼視窗之差異度曲線v_k)之說明圖。第8圖是表示本發明之實施形態之測定裝置中之離散餘弦變換之結果C_k之說明圖。如該等之圖所示，藉由實施離散餘弦變換，獲得數列C_k。將該數列之峰值中除k=1外給出下個峰值之下標設為k*，則週期T可如以下方程式計算。

T=2×M/k*-0.5

第2方法是利用離散傅立葉變換之方法。即，對數列w_k實施以下之離散傅立葉變換。

P_f=(1/M)×Σ_n=1 ^M w_n×exp(-i×2×π×k×n/M)

第9圖是表示本發明之實施形態之測定裝置中之離散傅立葉變換之結果P_k之功率譜之說明圖。如本圖所示，藉由離散傅立葉變換獲得複數個數列P_k。數列P_k之功率譜中出現週期性峰值，若將除k=1外給出最初之峰值之下標設為k*，則週期T可如以下方程式計算。

T=M/k*

第3方法是利用平均振幅差函數(Average Magnitute Difference Function)之方法。此處，平均振幅差函數a_k可如以下方程式計算。

a_k=1/[M-k]×Σ_i=1 ^M-k|v_i-v_i+k|

平均振幅差函數a_k是表示v_i與使該v_i偏離了k所得之v_i+k之差分者。

第10圖是表示本發明之實施形態之測定裝置中之平均振幅差函數之應用結果a_k之說明圖。對a_k，若將除k=0外給出峰值中之突出之極小值之下標設為k*，則週期T可如以下方程式計算。

T=k*

如此，本實施形態中，藉由複數種方法，推斷條紋式樣之間隔(攝影順序之差相等之剪輯影像彼此之相似度之平均值之變化週期)T。而且，若所有方法均獲得相同值T，則該相同值T作為旋轉週期之測定結果之準確性較高。

另一方面，亦存在利用複數種方法獲得之週期不同之情況。典型而言，為如下狀況，即，利用其他方法獲得利用某方法獲得之值之2倍之值、或與利用某方法獲得之值偏離了0.5至1之值。此情形時，可藉由多數決定而決定哪一個值為推斷值，亦可使用戶選擇哪一個值為正確值。

此外，如上述般，所獲得之週期T由整數精度表現。因此，再次回到v_k，進行週期之微調。即：T₁=argmin_{0+T/2≦k<(1+T/2)}v_k；T₂=argmin_{1+T/2≦k<(2+T/2)}v_k；T₃=argmin_{2+T/2≦k<(3+T/2)}v_k；...；T_L=argmin_{L-1+T/2≦k<(L+T/2)}v_k

其中，L設為滿足L+T/2≦N'之最大值。

然後，檢測與各k=T、2×T、3×T、...、L×T最接近之v_k之極小值，而獲得其下標T₁、T₂、T₃、...、T_L。

將該等之間隔T₂-T₁、T₃-T₂、...、T_L-T_L-1之平均值設為經過微調之週期T*。

T*=(T_L-T₁)/(L-1)

此處，所獲得之週期T*相當於球狀體之一次旋轉所需之圖框數。因此，球狀體之旋轉週期之推測值是藉由將T*除以圖框率而獲得。又，球狀體之旋轉數(旋轉速度)是球狀體之旋轉週期之倒數。

進而，亦可推斷球狀體之旋轉軸。首先，準備表示旋轉軸之軸方向之候補之單位向量a₁、a₂、...、a_Z之集合A。候補之單位向量理想為儘可能設為等間隔，因而亦可根據正多面體或準正多面體之頂點求出，或藉由產生隨機數而生成。

其次，與求出輸入動態影像V_src之平均影像I_mean同樣地，求出剪輯動態影像V_clip之平均影像J_mean。然後，製作自剪輯動態影像V_clip中減去平均影像J_mean所得之球動態影像V_ball。

J_mean(u,v)=Σ_t=1 ^N' V_clip(u,v,t)/N'；V_ball(u,v,t)=V_clip(u,v,t)-J_mean(u,v)

此外，如上述般，因週期T*是以圖框單位而求出，故球狀體於每1圖框旋轉，ω₀=2×π/T*。

於旋轉軸之推斷時如以下考慮。即，若球狀體之旋轉軸與方向a一致，則

(1)自球動態影像V_ball之圖框編號t之圖框起，實施將該球動態影像之各畫素投影至半球面之變換f。

(2)使該半球面繞方向a之旋轉軸旋轉k×ω₀後。

(3)藉由將旋轉後之半球面投影至平面而獲得之影像應與球動態影像V_ball之圖框編號t+k之圖框大致一致。

考慮因上述(1)-(3)，圖框編號t之圖框內之位置(u,v)之畫素於圖框編號t+k之圖框內，會移動至位置(u',v')之畫素，兩者間之變換可如以下方程式計算。

f(u,v)=((u-R-1)/R,(v-R-1)/R,[1-((u-R-1)/R)²-((v-R-1)/R)²]^1/2)；f^-1(x,y,z)=(x×R+R+1,y×R+R+1)；(u',v')=f^-1(ρ(a,k×ω₀)f(u,v))

此處，ρ(a,k×ω₀)是表示繞方向a之旋轉軸旋轉角度k×ω₀之旋轉矩陣。又，半球面與平面之變換是假定平行投影。

又，考慮因上述(1)-(3)，圖框編號t之圖框內之位置(u",v")之畫素於圖框編號t+k之圖框內，會移動至位置(u,v)之畫素，兩者間之變換可如以下方程式計算。

(u",v")=f^-1(ρ(a,-k×ω₀)f(u,v))

此外，與方向a之旋轉軸相關之評價函數E(a)例如如以下方程式規定。

E(a)=Σ_t=1 ^T* Σ_u=1 ^2×R+1 Σ_v=1 ^2×R+1

Gσ(u,v)[V_ball(u,v,t)-V_ball(u',v',t+k)]²+Σ_t=1 ^T* Σ_u=1 ^2×R+1 Σ_v=1 ^2×R+1

Gσ(u,v)[V_ball(u",v",t)-V_ball(u,v,t+k)]²

此外，評價函數E(a)亦可如以下方程式規定。

E(a)={Σ_t=1 ^T* Σ_u=1 ^2×R+1 Σ_v=1 ^2×R+1Gσ(u,v)Gσ(u',v')[V_ball(u,v,t)-V_ball(u',v',t+k)]²}/{Σ_t=1 ^T* Σ_u=1 ^2×R+1 Σ_v=1 ^2×R+1 Gσ(u,v)Gσ(u',v')}

該評價函數E(a)中，使用旋轉前與旋轉後之位置計算係數，因而係數依存於旋轉軸a而需要用以標準化之分母。

而且，球狀體之旋轉軸之推斷值a*如以下方程式求出。

即，若E(a₁)、E(a₂)、...、E(a_Z)之最小值為對下標i之單位向量a_i之評價值E(a_i)，則設為a*=a_i。

再者，根據實驗，若以旋轉量k×ω₀限制於10度至50度之間之方式選擇k，則根據實驗可知所推斷之旋轉軸a*大部分情況下為相同方向。因此，理想為於滿足上述條件之範圍內選擇k。

又，亦可於滿足上述條件之範圍內選擇複數個k，分別推斷已求出旋轉軸，進而採用多數決定法。

如此，若獲得旋轉週期、旋轉數(旋轉速度)、旋轉軸之方向等旋轉之各參數，則測定裝置101輸出旋轉之各參數之推斷值(即步驟S210)，從而結束本處理。

實施例2

如上所述，模板影像I_temp亦可基於用戶之指示自輸入動態影像V_src中抽選，而本實施例中，是自動或半自動地獲取模板影像I_temp。第12圖是表示藉由本發明之實施形態之測定裝置所執行之模板影像之自動獲取之順序之流程圖。

於自動進行之態樣中，步驟S202之後，自遮蔽動態影像V_mask中選擇適當之圖框(圖框編號B)(即步驟S401)，對該圖框內之畫素值0與1之邊界畫素，應用圓檢測用之霍夫變換，檢測最適合之圓(即步驟S402)。

此處之霍夫變換之應用範圍設為圖框內之全體。又，作為檢測用之圓之直徑範圍，設為利用該照相機拍攝該球狀體時之、典型圖框內之直徑之0.5倍至2倍左右即可。該範圍可適當變更。再者，於應用霍夫變換前，亦可縮小範圍。即，選出所有以畫素值0與畫素值1之邊界為邊之多邊形，或者選出寬度與高度為相同程度(例如0.8倍-1.25倍之範圍)之多邊形，對上述多邊形應用霍夫變換，將最適合之圓作為檢測結果即可。此外，亦可採用霍夫變換以外之圓檢測方法或大致正方形檢測方法。尤其，於使所拍攝之球狀體近似於大致正方形而進行檢測之方法中，存在各種高速演算法，因而可簡易且高速地獲得球狀體之拍攝部位。

對如此拍攝球狀體所得之部位進行檢測後，基於該檢測抽選出模板影像I_temp(即步驟S203)。

然後，藉由所自動抽選出之模板影像I_temp進行模板匹配，結果，若作為圖框編號S+1、S+2、...、S+N'連續之有效圖框而選擇(即步驟S204-S205)，則確認其中是否包含圖框編號B之圖框，且，N'是否充分長(即步驟S403)。例如可藉由N'相對於N之比例是否為臨限值(例如1/3或1/4等)以上而判定N'是否充分長。又，亦可測定球狀體之平均移動速度，當球狀體以該移動速度沿平均軌跡移動時，預先藉由測定等調查在高速攝影機之視野中出現多長時間，且藉由N'相對於該出現時間長度之圖框數之比例是否為臨限值(例如1/2或1/3等)以上而判定上述N'是否充分長。

於N'短或不包含圖框編號B之情形時(即步驟S403；No)，選擇為模板抽選用之圖框編號B並不適合。該情形時，重新選擇圖框編號，且重新進行模板影像之抽選。於圖框編號B適合之情形時(即步驟S403；Yes)，進入步驟S206及以後之步驟。

當選擇圖框編號時，最簡單之方法為隨機選擇任一者即可。此外，亦可如以下有規則地規定對最初選擇之圖框編號進行選擇之順序。例如，亦可採用如下等方法，即，將全部圖框數設為N，以N/2、N/3、2×N/3、N/4、2×N/4、3×N/4、N/5、2×N/5、3×N/5、4×N/5、...

之方式，依次重新選擇圖框編號。

再者，於自同一攝影條件下拍攝之照片影像中自動地抽選模板影像時，代替圖框編號B之圖框，而採用照片影像即可。

又，於半自動地進行之情形時，例如可採用以下之順序。

首先，自輸入動態影像V_src中隨機地選擇複數個圖框。然後，對所選擇之各圖框與上述同樣地應用霍夫變換而檢測圓之中心及半徑。

自檢測到圓之圖框中，基於所檢測出之圓之中心及半徑抽選圓狀區域，藉此製作模板候補。

然後，向用戶提示模板候補，並由用戶於模板候補中，將明確拍攝到球狀體之影像作為模板影像I_temp而選擇。

再者，亦可將該方法應用於自動抽選中。例如，對於各個模板候補，估算出對比度或清晰度、圓形區域之半徑等影像參數。然後，基於所估算出之影像參數之值，將模板候補分類為數個(例如3個至5個左右)群集。群集分類中採用之影像參數可採用一個，亦可採用複數個。群集分類中例如可應用k-means或x-means等習知技術。

群集分類結束後，自分類有最多數之模板候補之群集內，選擇具有最佳影像參數之模板候補作為模板影像I_temp。其原因在於，認為分類於要素數少之群集之影像有雜訊或誤檢測之可能性高。

又，於模板候補之數量少之情形時，亦可採用以下之方法。首先，求出所有候補之影像參數之平均值。其次，計算表示各候補之影像參數與該平均值偏離了何種程度之間距度，並按照間距度自小至大之順序排序候補。

然後，將經排序之順序中位於中央位次之候補作為模板影像I_temp而加以選擇。亦可將並非位於中央位次之候補，而是將把α設為2至5左右之常數且自開端起位於整體之α分之1位次之候補作為模板影像I_temp而加以選擇。本方法為不會大幅偏離平均值且恰當地選擇良好之候補之方法。

再者，當向用戶提示模板候補並使其選擇時，亦可按照此處使用之間距度自小至大之順序排列候補並進行提示。因間距度較大之候補有雜訊或誤檢測之可能性較高，故藉由降低位次並進行提示，而使用戶容易選擇出模板影像。

如此，根據本實施例，可自動或者半自動地獲取模板影像。

上述說明中，是主要假定室內之拍攝而進行了說明，但於室外拍攝球狀體之情形時，多數情況下攝影環境較室內明亮。第13圖是表示藉由本發明之實施形態之測定裝置所處理之室外拍攝之動態影像中所含之圖框之例之說明圖。本圖所示之例中，自影像左下角朝向中央拍攝投球手之右臂，於影像中央上方拍攝有球。於所拍攝之球之上側產生月牙狀之高光部分。

高光部分是因如下而產生，即，自包含太陽在內之照明發出之光以較強之強度直接反射，原樣到達照相機，從而於攝影元件中產生飽和。

因此，根據太陽等之照明之方向而假定高光方向d，於相似度矩陣D_i,j之估算中，藉由去除高光部分，而可提高旋轉分析時之精度。第14圖是表示剪輯影像中拍攝之球狀體之高光方向之說明圖。以下將參照本圖進行說明。

如本圖所示，剪輯影像中拍攝之球之上方之由橢圓所包圍之部分為高光部分之中心區域。另一方面，高光方向d為自球之中心朝向高光部分之中心區域之方向。

高光方向d可由進行測定之用戶清楚地指定，亦可進行自動檢測。高光方向之自動檢測中可採用各種習知技術，本實施形態中考慮如下：

(1)因照明位於上方，故高光部分以月牙狀或橢圓狀出現於球之上方。

(2)無論哪一個剪輯影像中，於大致相同之位置、方向上均出現高光部分。

例如，於單色8位元影像中，亮度以0-255之256階而表現。如以下方程式計算所有剪輯影像V_clip(u,v,t)之各畫素位置(u,v)之平均亮度H(u,v)。

H(u,v)=Σ_t=1 ^N(v) V_clip(u,v,t)/N(V)

其次，求出H(u,v)中之亮度超過既定臨限值(例如250-255中之任一正常數(positive constant))之畫素位置(u,v)，並計算其重心位置。該重心位置為高光部分之中心。

進而，於所求出之重心位置之周圍，調查具有上述臨限值以上之平均亮度H(u,v)之畫素是否以既定面積(例如球之攝影面積之2成)以上鄰接而擴展。該擴展表示高光部分之大小。

若高光部分之面積充分大，則將高光方向d規定為根據剪輯影像之中心求出之重心位置之方向。若高光部分之面積小，則亦可不執行以下之高光部分之省略處理。

此外，於相似度矩陣D_i,j之估算中，上述說明中，將二維高斯分佈G_σ(u-R-1,v-R-1)作為權重而加以採用，而於高光部分之面積充分大之情形時，亦可代替G_σ(u-R-1,v-R-1)，而進行以下之加權。為了容易理解，若如x=u-R-1、y=v-R-1般進行變數之重寫，則亦可代替上述加權函數G_σ(x,y)=G_σ(u-R-1,v-R-1)，而採用以下之加權函數M(x,y)=M(u-R-1,v-R-1)。

若x²+y²>R²或(x,y)．d>0，則M(x,y)=0；否則M(x,y)=G_σ(x,y)

此處，條件「x²+y²>R²」是指於相似度矩陣D_i,j之估算中忽視剪輯影像中於球之外側拍攝到之資訊。再者，即便於高光部分之面積非常少或不存在之情形時亦可採用該條件。

又，條件「(x,y)．d>0」表示向量(x,y)與向量d之內積為正，即，向量(x,y)與向量d所成之角未達90度。因此，該條件是指，將球於與高光方向d正交之邊界處，分割為存在高光部分之一半與不存在高光部分之一半這兩半，於相似度矩陣D_i,j之估算中忽視存在高光部分之一半。

如此，可藉由適當地忽視高光部分，而進行更正確之旋轉之測定。

(總結)

如以上，本實施形態中之測定裝置包括：模板部，其自拍攝球狀體所得之動態影像中所含之複數個圖框中之任一個、或者藉由與該動態影像之攝影條件相同之攝影條件拍攝該球狀體所得之照片影像中，抽選出拍攝該球狀體所得之圓狀區域，藉此獲取模板影像；剪輯部，其自各該複數個圖框中抽選出與上述獲取之模板影像分別類似之複數個類似區域並加以縮放，藉此獲取以上述球狀體之中心位置及大小於既定之誤差範圍內一致之方式描繪上述球狀體所得之複數個剪輯影像；估算部，其估算上述複數個剪輯影像彼此之相似度，獲取將該估算出之相似度按照抽選該複數個剪輯影像彼此所得之圖框之攝影順序排列而成之矩陣；及推斷部，其根據上述估算出之相似度之矩陣中之要素分佈，推斷上述球狀體之旋轉。

又，上述測定裝置可構成為：上述推斷部根據上述相似度之矩陣中之要素分佈，求出攝影順序之差相等之剪輯影像彼此之相似度之平均值，藉由不同之複數種方法推斷平均值相對於攝影順序之差之變化之週期，若藉由上述複數種方法推斷出之週期一致，則將該一致之週期推斷為上述球狀體之旋轉週期。

又，上述測定裝置可構成為：上述複數種方法中包含基於離散餘弦變換之方法、基於離散傅立葉變換之方法及基於平均振幅差函數之方法。

又，上述測定裝置可構成為：上述模板部求出上述動態影像與上述複數個圖框之平均影像之差分動態影像，檢測該差分動態影像中描繪之圓狀區域，鑑定該檢測到之圓狀區域之大小及位置隨時間經過持續變化之圓狀區域，藉由上述經鑑定之圓狀區域抽選出上述模板影像。

又，上述測定裝置可構成為：上述模板部以及上述剪輯部藉由霍夫變換抽選出上述圓狀區域以及上述複數個類似區域。

又，上述測定裝置可構成為：上述推斷部藉由使假定上述球狀體繞旋轉軸之候補旋轉所得之複數個假定影像、與上述複數個剪輯影像之差分最小化，而推斷出上述球狀體旋轉之旋轉軸。

本實施形態之測定方法包括：模板步驟，測定裝置自拍攝球狀體所得之動態影像中所含之複數個圖框中之任一個、或者藉由與該動態影像之攝影條件相同之攝影條件拍攝該球狀體所得之照片影像中，抽選出拍攝該球狀體所得之圓狀區域，藉此獲取模板影像；剪輯步驟，上述測定裝置自各該複數個圖框中抽選出與上述獲取之模板影像分別類似之複數個類似區域並加以縮放，藉此獲取以上述球狀體之中心位置及大小於既定之誤差範圍內一致之方式描繪上述球狀體所得之複數個剪輯影像；估算步驟，上述測定裝置估算上述複數個剪輯影像彼此之相似度，獲取將該估算出之相似度按照抽選該複數個剪輯影像彼此所得之圖框之攝影順序排列而成之矩陣；及推斷步驟，上述測定裝置根據上述估算出之相似度之矩陣中之要素分佈，推斷上述球狀體之旋轉。

本實施形態之程式使電腦作為如下各部發揮功能：模板部，其自拍攝球狀體所得之動態影像中所含之複數個圖框中之任一個、或者藉由與該動態影像之攝影條件相同之攝影條件拍攝該球狀體所得之照片影像中，抽選出拍攝該球狀體所得之圓狀區域，藉此獲取模板影像；剪輯部，其自各該複數個圖框中抽選出與上述獲取之模板影像分別類似之複數個類似區域並加以縮放，藉此獲取以上述球狀體之中心位置及大小於既定之誤差範圍內一致之方式描繪上述球狀體所得之複數個剪輯影像；估算部，其估算上述複數個剪輯影像彼此之相似度，獲取將該估算出之相似度按照抽選該複數個剪輯影像彼此所得之圖框之攝影順序排列而成之矩陣；及推斷部，其根據上述估算出之相似度之矩陣中之要素分佈，推斷上述球狀體之旋轉。

本發明可不脫離本發明之廣義之精神與範圍而實施各種實施形態及變形。又，上述實施形態是用以說明本發明者，並非限定本發明之範圍。即，本發明之範圍是由申請專利範圍表示而非實施形態。而且，申請專利範圍內及與其同等之發明之意義之範圍內實施之各種變形被視為於本發明之範圍內。

[產業上之可利用性]