TWI521473B - 影像分析裝置、方法及電腦可讀取媒體 - Google Patents
影像分析裝置、方法及電腦可讀取媒體 Download PDFInfo
- Publication number
- TWI521473B TWI521473B TW103110376A TW103110376A TWI521473B TW I521473 B TWI521473 B TW I521473B TW 103110376 A TW103110376 A TW 103110376A TW 103110376 A TW103110376 A TW 103110376A TW I521473 B TWI521473 B TW I521473B
- Authority
- TW
- Taiwan
- Prior art keywords
- video
- video stream
- image analysis
- resolution
- processing module
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
- G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本發明係關於一種影像分析裝置、方法及其電腦可讀取媒體,特別是一種選擇性地載入不同解析度視訊串流進行影像分析的影像分析裝置、方法及其電腦可讀取媒體。
隨著科技的日新月異,影像處理器對於影像的運算能力日亦增強,不少住宅、辦公場所或是車輛上所架設的視訊裝置(如網路攝影機)已經可以同時產生多組不同解析度的視訊串流,例如提供解析度較低的視訊串流給行動裝置使用,同時也提供解析度較高的視訊串流,讓監控系統可將高解析度的視訊畫面儲存在儲存媒體,以便當發生糾紛或是產生重大事件時能夠有清晰的畫面進行影像分析,透過後端的運算裝置(例如CPU)辨識物件的影像來釐清狀況或是找到行為人。
另一方面,隨著安裝的視訊裝置的數量愈來愈多,與電腦視覺的技術的發展愈益成熟,愈來愈多電腦視覺技術也被用來即時或於事後分析視訊資料,以降低人們的負擔。然而,在執行辨識高解析度的視訊畫面中的物件時,運算裝置需要不少的時間來處理高解析度的視訊畫面,其步驟為先將視訊畫面解壓縮,再執行影像分析的處理,才能有效的辨識出影像中所包含的物件。然而當視訊串流的解析度愈高,解壓縮所花費的運算量就愈大,相對的對視訊
畫面進行分析所需的運算量也愈大。此外,對於配置有多台透過網路連接之網路攝影機的監視系統而言,要透過對數量眾多的高解析度影像進行影像分析來達成物件辨識時,運算裝置的負載會更加沉重。
有鑑於以上的問題,本發明提供一種影像分析裝置、方法及其電腦可讀取媒體,藉由可分次或者同時接收不同解析度的多個視訊串流,使影像分析裝置可以依據判斷的機制,選取適當的視訊串流即能達成快速並且正確地辨識物件之動作。
依據本發明所揭露的影像分析方法包含下列步驟:首先載入一第一視訊串流,第一視訊串流具有第一解析度。接著,選擇第一視訊串流中的多個第一視訊畫面。判斷被選擇的第一視訊畫面中,是否具有一物件。當被選擇的第一視訊畫面中具有該物件時,判斷被選擇的第一視訊畫面中的物件是否符合預設條件。若該物件符合一預設條件時,對於被選擇的第一視訊畫面中的該物件進行影像分析。若該物件不符合預設條件時,則載入一第二視訊串流,第二視訊串流具有第二解析度,其中第二解析度大於第一解析度。接著,選擇第二視訊串流中的多個第二視訊畫面中具有該物件的至少一個第二視訊畫面,並且對於被選擇的至少一個第二視訊畫面中的該物件進行影像分析。
依據本發明所揭露的影像分析裝置,包括一視訊串流接收模組與處理模組以及一處理模組。視訊串流接收模組用以載入一第一視訊串流,第一視訊串流具有第一解析度。處理模組耦接視訊串流接收模組,處理模組用以選擇第一視訊串流中的多個第一視訊畫面其中之一,判斷被選擇的第一視訊畫面中,是否具有一物件。當被選擇的第一視訊畫面中具有該物件時,處理模組
判斷被選擇的第一視訊畫面中的物件是否符合一預設條件,若物件符合預設條件時,對於被選擇的第一視訊畫面中的物件進行影像分析,若物件不符合預設條件時,視訊串流接收模組會載入一第二視訊串流,第二視訊串流具有第二解析度,其中第二解析度大於第一解析度,處理模組選擇第二視訊串流中的多個第二視訊畫面中具有該物件的至少一個第二視訊畫面,並且對於被選擇的至少一個第二視訊畫面中的該物件進行影像分析。
本發明揭露一種電腦可讀取媒體,具有用以使處理模組執行多個指令的電腦程式碼,該些指令包含本發明所揭露的影像分析方法。
綜上所述,本發明的影像分析裝置、方法及其電腦可讀取媒體可透過視訊串流接收模組分次或者同時載入具有不同解析度的視訊串流,接著選擇低解析度之視訊串流以判斷物件存在於哪個視訊畫面中,再判斷於低解析度下可否進行影像分析,例如:清晰辨識物件等等,若否,則再利用高解析度的視訊串流進行影像分析。在沒有任何物體或物體已經足夠清晰的期間,系統完全不需要對高解析度的視訊串流進行解壓縮與分析。因此可以兼顧正確的執行影像辨識,並且有效減少運算量,提升辨識速度,達到快速並且正確辨識物件的功效。
以上之關於本發明內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理,並且提供本發明之專利申請範圍更進一步之解釋。
10‧‧‧影像分析裝置
102‧‧‧視訊串流接收模組
104‧‧‧處理模組
106‧‧‧儲存模組
12‧‧‧視訊裝置
122‧‧‧第一視訊串流
1221、1222、1223...122i‧‧‧第一視訊畫面
S1‧‧‧門檻值
124‧‧‧第二視訊串流
1241、1242、1243...124n‧‧‧第二視訊畫面
S2‧‧‧門檻值
126‧‧‧第三視訊串流
14‧‧‧物件
第1圖係根據本發明一實施例之影像分析裝置的功能方塊圖。
第2圖係根據本發明一實施例之第一視訊串流及第二視訊串流的示意圖。
第3圖係根據本發明一實施例之第一視訊畫面內容的示意圖。
第4圖係根據本發明另一實施例之影像分析裝置的功能方塊圖。
第5圖係根據本發明另一實施例之第二視訊畫面內容的示意圖。
第6圖係根據本發明再一實施例之影像分析裝置的功能方塊圖。
第7圖係依據本發明一實施例之影像分析方法的流程圖。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點,其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施,且根據本說明書所揭露之內容、申請專利範圍及圖式,任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點,但非以任何觀點限制本發明之範疇。
請參閱第1圖,第1圖為根據本發明一實施例之影像分析裝置的功能方塊圖。如圖中所示,影像分析裝置10包含視訊串流接收模組102、處理模組104以及儲存模組106。其中,視訊串流接收模組102耦接於一視訊裝置12以及該處理模組104。
請一併參閱第1圖及第2圖,其中第2圖為根據本發明一實施例之第一視訊串流及第二視訊串流的示意圖。如圖中所示,視訊串流接收模組102用以載入一第一視訊串流122,其中第一視訊串流122具有一第一解析度。更進一步地說,當視訊裝置12於一時間區段內擷取多個第一視訊畫面1221、1222、1223...122i後,即將多個第一視訊畫面壓縮成第一視訊串流122,並將第一視訊串流122傳送至視訊串流接收模組102。當視訊串流接收模組102載入
第一視訊串流122後,即將第一視訊串流122解壓縮回多個第一視訊畫面以進行影像分析,其中第一視訊串流122中的該些第一視訊畫面具有第一解析度。實際上,視訊裝置12可以是攝影機、網路攝影機或是其它可用以擷取影像畫面或者儲存有影像畫面的裝置。
請一併參閱第1圖、第2圖及第3圖,第3圖為根據本發明一實施例之第一視訊畫面內容的示意圖。如圖中所示,處理模組104用以選擇第一視訊串流122中的多個第一視訊畫面其中之一,並判斷被選擇的第一視訊畫面中是否具有物件14。舉例來說,當視訊串流接收模組102接收由視訊裝置12所傳送之具有第一解析度的第一視訊串流122時,會將第一視訊串流122解壓縮為第一視訊畫面1221、1222、1223...122i,接著,視訊串流接收模組102會再將其中至少一個第一視訊畫面傳送至處理模組104。例如,處理模組104可選擇多個第一視訊畫面中第一順位的第一視訊畫面1221,並判斷於所選擇的第一視訊畫面1221中,是否具有使用者欲搜尋的物件14(於本實施例中,物件14可為一車牌號碼,如第3圖所示)。
於一個例子中,當處理模組104判斷所選擇的第一視訊畫面1221中沒有所述物件14時,則再從多個第一視訊畫面中選擇第二順位的第一視訊畫面1222,但本發明並不以此為限,即處理模組104亦可以是隨機選擇多個第一視訊畫面其中一個(例如第一視訊畫面1223)中搜尋是否具有物件14。實際上,處理模組104可以是微處理器(micro processor)、中央處理器(central process unit)、影像處理器(graphics processing unit)或是其他適於運算處理的元件,但本發明並不以此為限。
接著,當被處理模組104選擇的第一視訊畫面中(例如第一視訊
畫面1223)具有欲搜尋物件14時,處理模組104會進一步判斷被選擇的第一視訊畫面1223中所包含的物件14是否符合一預設條件。當物件14符合預設條件時,處理模組104會直接對被選擇的第一視訊畫面1223中的物件14進行影像分析。更進一步地說,當處理模組104判斷所選擇的第一視訊畫面1223中具有物件14(例如車牌號碼)後,即判斷此車牌號碼是否符合預設條件(即車牌號碼可於第一視訊畫面1223中清晰辨識的條件)。當符合可於第一視訊畫面1223中清晰辨識的條件後,處理模組104則直接對此車牌號碼進行影像分析,完成整個車牌辨識的動作,並且產出車牌辨識的結果。其中影像分析可以是辨認物件14的種類,例如辨認物件14是人還是物品,或者可以是對物件14進行比對確認,如前述例子中辨識車牌號碼的數字並對照使用者所擁有之清單以確認此車輛是否為登記過之車輛。或者是對影像中的人臉進行辨識,亦或是任何可以辨別物件14的應用,本發明於此並不加以限制,只要是利用影像分析的結果所實施的任何應用皆能為本發明的實施例。
請一併參閱第2圖、第4圖及第5圖,第4圖為根據本發明另一實施例之影像分析裝置的功能方塊圖,第5圖為根據本發明另一實施例之第二視訊畫面內容的示意圖。如圖中所示,當物件14不符合上述的預設條件時,視訊串流接收模組102會再載入具有第二解析度的第二視訊串流124,其中第二解析度大於第一解析度。
於實務上,舉物件14為汽車的車牌為例,在低解析度之視訊畫面中辨識車牌時,車牌需要符合一定程度的預設條件才能夠被正確地辨識出來。例如若是處理模組104要在低解析度的視訊畫面1223中正確辨識車輛的車牌號碼時,在第一視訊畫面1223中的車牌若是在一定的尺寸(例如實體車牌尺寸
每公分在畫面中要有3個像素(pixel))以上,其車牌內的字母與號碼才能夠被準確的辨識。以上所述的尺寸僅用來舉例預設條件的限制,實際的尺寸係可由使用者根據不同的視訊畫面尺寸大小,解析度的高低等不同的因素,而自行設定,在此不加以限制。本發明為了可以讓物件14於任意條件(例如任意尺寸)下可以被正確地辨識出來,故處理模組104判斷物件14於低解析度(第一解析度)的視訊畫面中無法正確地辨識物件14時,隨即切換於高解析度(第二解析度)中的視訊畫面來執行物件14辨識。
接著,處理模組104會選擇第二視訊串流124中的多個第二視訊畫面1241、1242、1243...124n中具有物件14的至少一個第二視訊畫面(例如第二視訊畫面1243),並且對於被選擇的至少一個第二視訊畫面1243中的物件14進行影像分析。換句話說,如前述之例子中,若第一視訊串流122的第一解析度為320x240pixel,當車牌號碼不符合預設條件,即車牌號碼不符合可於解析度為320x240pixel之第一視訊畫面1223中可辨識清晰的條件時,處理模組104則發送接收第二視訊串流124之指令給視訊串流接收模組102。當視訊串流接收模組102接收到上述指令後,即會從視訊裝置12中載入具有更高解析度(例如640x480pixel)之第二視訊串流124,並將此第二視訊串流124解壓縮為多個具有較高解析度(640x480pixel)的第二視訊畫面1241、1242、1243...124n。處理模組104再從多個第二視訊畫面1241、1242、1243...124n中選擇具有車牌號碼的至少一個第二視訊畫面(例如第二視訊畫面1243),並且判斷被選擇的第二視訊畫面1243中的物件14(車牌號碼)是否符合第二解析度的預設條件。若物件14符合上述預設條件時,則對物件14進行影像分析,完成利用第一解析度之第一視訊畫面1223無法正確執行的物件14辨識動作。
前述預設條件可以是判斷於被選擇的第一視訊畫面1223中的物件14之尺寸是否大於一門檻值S1以及判斷於被選擇的第二視訊畫面1243中的物件14之尺寸是否大於一門檻值S2。更進一步地說,處理模組104判斷物件14(如車牌號碼)於第一視訊畫面1223中是否符合預設條件,係為處理模組104判斷車牌號碼的尺寸是否大於第一視訊畫面中可辨識清晰的車牌號碼的門檻值S1(即最小尺寸)。例如當車牌號碼於第一視訊畫面的尺寸為每公分在畫面中有1pixel,但於第一解析度值(320x240pixel)中可辨識清晰的車牌號碼的門檻值S1為實體車牌尺寸每公分在畫面中要有3pixel時,處理模組104即判斷車牌號碼於此第一視訊畫面中無法正確辨識。處理模組104隨即會傳送載入第二視訊串流124的指令給視訊串流接收模組102,當視訊串流接收模組102接收到前述指令後,即從視訊裝置12載入具有高於第一解析度(例如640x480pixel)的第二視訊串流124。於第二視訊串流124中,若可以清楚辨識車牌號碼的門檻值S2(最小尺寸)為每公分在畫面中要有3pixel,則處理模組104判斷車牌號碼於第二視訊畫面1243中可以清晰地辨識,並且開始對車牌號碼執行影像分析的動作。
不僅如此,處理模組104可更依據物件14與門檻值S1的差異來決定第二視訊串流124的第二解析度之大小。更進一步地說,於上述例子中,車牌號碼於第一視訊畫面1223中的尺寸每公分在畫面中有1pixel,而於第一視訊畫面中所能清楚辨識車牌號碼的門檻值S1為每公分在畫面中要有3pixel時,處理模組104除了判斷車牌號碼於第一視訊畫面1223中無法清楚地辨識外,更會判斷車牌號碼於第一視訊畫面1223中的尺寸每公分在畫面中有1pixel與第一視訊畫面的門檻值S1每公分在畫面中要有3pixel之差距,進一步根據該差距決定要控制視訊串流接收模組102載入何種解析度的第二視訊串流124才能正
確的辨識車牌號碼。於前述例子中,因車牌號碼於第一視訊畫面1223中的尺寸每公分在畫面中有1pixel,接近第一視訊畫面的門檻值S1每公分在畫面中要有3pixel,故選擇解析度為640x480pixel的第二視訊串流來辨識車牌號碼。於另一例子中,若車牌號碼於第一視訊畫面1223中的尺寸為每公分在畫面中有0.5pixel時,因與第一視訊畫面的門檻值S1每公分在畫面中要有3pixel的差距相較前述例子較大,故處理模組104會選擇解析度為1920x1080pixel的第二視訊串流124來辨識車牌號碼。上述依據物件14與門檻值S1的差異以決定第二視訊串流124的第二解析度之大小具有多種應用的實施例,例如,當第一視訊畫面1223中的物件14之尺寸遠小於門檻值S1時,可以先行預估依據目前的判斷需要至少多大解析度的第二視訊串流124才能正確的完成物件14辨識的動作,預估完成後即可向視訊裝置12要求傳送具有預估出來之解析度的第二視訊串流124,並對其進行後續物件14辨識的動作。另一種實施例為當具有超過2個視訊串流時,可以根據物件14與門檻值S1的差異以決定需要載入具有哪個解析度之大小的視訊串流再次進行影像辨識,如此可以省去因為解析度不足而無法正確進行物件14辨識而需要一而再、再而三的在視訊串流間切換來進行影像辨識所需要的時間,此外,也可以節省因為無法預估解析度而直接將具有最大解析度的視訊串流載入來進行物件14辨識所需要的時間,因為對高解析度的影像解壓縮與分析是相當費時的。
除上述之外,處理模組104更可以包含有視訊串流的解析度與可清晰辨識不同物件14的門檻值S1的對應清單。於一例子中,當處理模組104採用第一視訊畫面1223下辨識車牌號碼,其門檻值S1設定為每公分在畫面中要有5pixel。於另一例子中,當於第一視訊畫面1223中辨識的物件14為車輛
的外型時,因辨識車輛的外型特徵(例如辨識車輛為房車、休旅車或是大卡車)較辨識車輛的車牌號碼(例如辨識車牌號碼為”AA-000”)的特徵更為明顯,因此處理模組104可設定清晰辨識車輛的外型的門檻值S1為每公分在畫面中要有3pixel。於再一例子中,若於第一視訊畫面1223中辨識的物件14為車輛的顏色(例如辨識車輛為紅色、藍色或是黑色)時,處理模組104可設定更寬鬆的門檻值S1(例如門檻值S1為每公分在畫面中要有1.5pixel),即能清楚的辨識物車輛的顏色。
為了讓處理模組104更快速地找出第一視訊畫面中的物件14對應在哪一個第二視訊畫面,處理模組104可以根據被選擇的第一視訊畫面(例如第一視訊畫面1223)的時間戳選擇出第二視訊畫面(例如第二視訊畫面1243)中對應的時間戳之畫面,進行影像分析,如此可以節省當第一視訊串流122中具有該物件14的第一視訊畫面1223中該物件14的尺寸過小而無法完成正確辨識物件14的影像的動作,轉而利用第二視訊串流124中的第二視訊畫面1241、1242、1243...124n進行物件14辨識時,需要重新分析物件14於第二視訊串流124中哪個第二視訊畫面出現所需要的時間。換句話說,前述處理模組104選擇具有車牌號碼的第二視訊畫面1243的方式,可依據第一視訊畫面1223的時間戳,選擇具有相同或者相對應之時間戳的第二視訊畫面1243中找尋車牌號碼並判斷車牌號碼是否符合預設條件。
例如處理模組104於具有時間戳為”2014-01-01 T 10:00:00 UTC”(代表世界標準時間2014年01月01日10點0分0秒)的第一視訊畫面1223中判斷具有車牌,但處理模組104判斷第一視訊畫面的第一解析度不夠清晰辨識此車牌號碼時,處理模組104可透過此”2014-01-01 T 10:00:00 UTC”之時間戳
於第二視訊串流124中找尋相同時間戳的第二視訊畫面1243,並於此第二視訊畫面1243對判斷車牌號碼否可以辨識清晰並對車牌號碼進行影像分析。但本發明並不以此為限,即當視訊裝置12不同步擷取第一視訊畫面1221、1222、1223...122i與第二視訊畫面1241、1242、1243...124n,導致多個第一視訊畫面與多個第二視訊畫面時間戳並不相同時,處理模組104亦可透過內插法的方式依據多個第一視訊畫面的時間戳其中之一找尋相對應時間戳的第二視訊畫面,由於內插法已為本技術領域具有通常知識者所熟知,故不再贅述。
除此之外,為了可以讓處理模組104可以更快速的對物件14進行影像分析,處理模組104更依據物件14於被選擇的第一視訊畫面1223的位置,於被選擇的第二視訊畫面1243中的對應位置對物件14進行影像分析。舉例來說,前述處理模組104於具有時間戳為”2014-01-01 T 10:00:00 UTC”的第一視訊畫面1223中判斷具有車牌,且車牌號碼位在第一視訊畫面1223中的左下方。當處理模組104判斷第一視訊畫面1223的第一解析度不夠清晰辨識此車牌號碼時,處理模組104除了可以根據時間戳找尋具有相同時間戳的第二視訊畫面1243外,亦可透過物件14在第一視訊畫面中所在的位置逕行於第二視訊畫面1243中的左下方搜尋車牌號碼位置並對車牌號碼進行影像分析,以增加辨識車牌號碼的速度。
接著,請一併參閱第1圖、第4圖及第6圖,第6圖為根據本發明再一實施例之影像分析裝置的功能方塊圖。如圖中所示,除上述所述視訊串流接收模組102以分批方式載入第一視訊串流122及第二視訊串流124外,視訊串流接收模組102亦可以同時接收具有不同解析度的第一視訊串流122及第二視訊串流124,然本發明並不以此為限。
於此請參閱第1圖至第6圖,如圖所示,視訊串流接收模組102更可以同時接收一個以上的視訊串流,例如同時接收三個視訊串流122、124、126,其中此三個視訊串流的解析度均不相同。當處理模組104判斷第一視訊串流122中的所欲搜尋的物件14不符合可於第一視訊畫面1221、1222、1223...122i中辨識清晰的預設條件時,處理模組104即辨識第二視訊串流124中的物件14是否符合可於第二視訊畫面1241、1242、1243...124n中辨識清晰的預設條件。若是處理模組104判斷物件14於第二視訊畫面1241、1242、1243...124n依然無法辨識清晰時,視訊串流接收模組102則將第三視訊串流126解壓縮為多個第三視訊畫面(未繪示於圖式),並將第三視訊畫面傳送給處理模組104以判斷於第三視訊畫面中的物件14是否符合可於第三視訊串流126中辨識清晰的預設條件,於後以此類推,本發明並不以此為限。
前述儲存模組106耦接處理模組104及視訊串流接收模組102,並用以預先儲存至少一個第一視訊串流122及第二視訊串流124。更詳盡地說,視訊串流接收模組102除了將第一視訊串流122及第二視訊串流124傳送至處理模組104,處理模組104亦可進行將視訊串流傳送至儲存模組106的動作之外,視訊串流接收模組102亦藉由處理模組104傳送的儲存指令先將視訊串流先行儲存至儲存模組106。
當使用者欲於日後查詢物件14時,即能透過處理模組104將儲存於儲存模組106中具有較低解析度的第一視訊串流122傳送至視訊串流模組104進行解壓縮,並將解碼出的多個第一視訊畫面1223傳送至處理模組104進行影像分析。實際上,儲存模組106可以是硬碟(hard disk,HD)、快閃記憶體(flash memory)、非揮發性記憶體(non-volatile rmemory)以及任何可以儲存資料之儲存媒
體,本發明於此不以此為限。
為了使所屬技術領域具有通常知識者能更了解本發明所述之影像分析裝置10,以下搭配本發明之影像分析方法做進一步的說明。請一併參閱第1圖、第2圖、第3圖及第7圖,第7圖依據本發明一實施例之影像分析方法的流程圖。如圖所示,於步驟S700中,視訊串流接收模組102載入第一視訊串流122。於步驟S702中,處理模組104使用第一視訊串流122辨識物件14。於步驟S704中,處理模組104選擇第一視訊串流122中多個第一視訊畫面1221、1222、1223...122i其中之一。於步驟S706中,處理模組104判斷於被選擇的第一視訊畫面1223中是否具有物件14。於步驟S708中,當處理模組104判斷於被選擇的第一視訊畫面1223具有物件14時,處理模組104會進一步判斷物件14是否符合預設條件。
於步驟S710中,當處理模組104判斷物件14符合預設條件時,處理模組104對物件14進行影像分析動作,例如對物件14進行辨識。於步驟S712中,當處理模組104判斷物件14不符合預設條件時,視訊串流接收模組102載入與步驟S700中之第一視訊串流具有不同解析度的第二視訊串流124。值得注意的是,於步驟S706中,處理模組104判斷於被選擇的第一視訊畫面1221、1222、1223...122i中是否具有物件14的步驟中,當處理模組104判斷被選擇的第一視訊畫面1222中不具有物件14時,本發明之影像分析方法步驟將回到步驟S704。
接著,請一併參閱第2圖、第4圖、第5圖及第7圖。於步驟S714中,處理模組104更改使用第二視訊串流124辨識物件14。於步驟S716中,處理模組104選擇對應第一視訊畫面1223的時間戳之第二視訊畫面1243。
於步驟S718中,處理模組104判斷物件14的是否符合預設條件。於步驟S720中,當物件14符合預設條件時,處理模組104辨識物件14,其中於步驟S718中,處理模組104判斷物件14的是否符合預設條件,若處理模組104判斷物件14不符合預設條件時,本發明之影像分析方法步驟將回到步驟S712,載入另一個具有不同解析度的視訊串流,繼續作物件14辨識。
除以上所述之外,本發明更包含電腦可讀取媒體,電腦可讀取媒體用以使處理模組104執行多個指令的電腦程式碼,此些指令已於之前所述之影像分析裝置10與影像分析方法的各個實施例中詳細描述,故在此不再贅述。
本發明於此以一例子說明,請一併參考第1圖至第6圖,當使用者裝設好視訊裝置12(如網路攝影機)或是開啟視訊裝置12後,視訊裝置12會對所拍攝到的場景產生多個不同解析度的視訊畫面,並將此些畫面壓縮為不同的視訊串流,當使用者欲對視訊裝置12所拍攝的場景中的物件14(例如指定的車輛外型)進行影像分析(例如判別指定的車輛外型是否為房車)時,視訊串流接收模組102會先接收前述多個解析度的視訊串流中低解析度(320x240pixel)的第一視訊串流122,並將第一視訊串流解壓縮為第一視訊畫面1221、1222、1223...122i。
當視訊串流接收模組102解壓縮完成後,即將多個第一視訊畫面傳送至處理模組104以判斷指定的車輛外型存在於哪些第一視訊畫面中。而當處理模組於其中第一視訊畫面1223找尋到指定的車輛外型的影像後,處理模組會判斷指定的車輛外型的影像的尺寸於解析度為320x240pixel的情形下是否大於門檻值S1。
當處理模組104判斷指定的車輛外型的影像的尺寸在低解析度
320x240pixel下小於門檻值S1,但車輛外型的影像的尺寸與門檻值S1的差距不大時,處理模組104會傳送載入中解析度視訊串流之指令至視訊串流接收模組102以載入中解析度(640x480pixel)的第二視訊串流124,並依據於解析度為320x240pixel下找到指定的車輛外型的第一視訊畫面1223的時間戳以及指定的車輛外型的影像於第一視訊畫面1223中的位置,解壓縮中解析度的第二視訊串流124中具有相同或是相近時間戳以及解壓縮車輛外型所在的位置部分的第二視訊畫面1243,以加速處理模組104辨識車輛外型的速度。
處理模組104在接收前述的第二視訊畫面1243後,即判斷指定的車輛外型的影像的尺寸於此中解析度的下是否符合門檻值S2。若是處理模組104判斷指定的車輛外型的影像的尺寸大於或等於門檻值S2後,處理模組104則開始對指定的車輛外型的影像進行影像辨識,辨識此指定的車輛外型的影像是否為房車。
綜上所述,本發明透過視訊串流接收模組可分批或是同時載入具有不同解析度的視訊串流、處理模組選擇一低解析度之視訊串流以判斷物件存在於哪個視訊畫面以及判斷於低解析度下可否清晰辨識物件,讓影像分析裝置可以以適當的解析度即清楚辨識物件,以增加影像分析裝置辨識的速度。除此之外,本發明更可依據於低解析度辨識物件的視訊畫面的時間戳以及物件於視訊畫面中的位置,部分解壓縮具有相同或是對應的時間戳及位置的其他解析度的視訊畫面,以減少影像分析裝置在解壓縮高解析度的視訊畫面的時間,讓影像分析裝置可以更快速的找到使用者欲搜尋之物件的清晰影像。
雖然本發明以前述之實施例揭露如上,然其並非用以限定本發明。在不脫離本發明之精神和範圍內,所為之更動與潤飾,均屬本發明之專利
保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。
10‧‧‧影像分析裝置
102‧‧‧視訊串流接收模組
104‧‧‧處理模組
106‧‧‧儲存模組
12‧‧‧視訊裝置
122‧‧‧第一視訊串流
124‧‧‧第二視訊串流
126‧‧‧第三視訊串流
Claims (11)
- 一種影像分析方法,包括:(a)載入一第一視訊串流,該第一視訊串流具有一第一解析度;(b)選擇該第一視訊串流中的多個第一視訊畫面其中之一;(c)判斷被選擇的該第一視訊畫面中,是否具有一物件;(d)當被選擇的該第一視訊畫面中具有該物件時,判斷被選擇的該第一視訊畫面中的該物件是否符合一預設條件;(f)當該物件符合該預設條件時,對於被選擇的該第一視訊畫面中的該物件進行影像分析;以及(g)當該物件不符合該預設條件時,載入一第二視訊串流,該第二視訊串流具有一第二解析度,其中該第二解析度大於該第一解析度,選擇該第二視訊串流中的多個第二視訊畫面中具有該物件的至少一第二視訊畫面,並且對於被選擇的該至少一第二視訊畫面中的該物件進行影像分析,其中被選擇的該第二視訊畫面的時間戳係對應於被選擇的該第一視訊畫面的時間戳。
- 如請求項1所述之影像分析方法,其中該步驟(d)所述之該預設條件為判斷於被選擇的該第一視訊畫面中的該物件之尺寸是否大於一門檻值。
- 如請求項2所述之影像分析方法,更依據該物件與該預設條件的差異以決定該第二視訊串流的該第二解析度之大小。
- 如請求項1所述之影像分析方法,更包含依據該物件於被選擇的該第一視訊畫面的位置,於被選擇的該第二視訊畫面中的對應位置對該物件進行影像分析。
- 如請求項1所述之影像分析方法,更包含預先儲存該第一視訊串流及該第二視訊串流於一儲存模組。
- 一種影像分析裝置,包括:一視訊串流接收模組,用以載入一第一視訊串流,該第一視訊串流具有一第一解析度;以及一處理模組,耦接該視訊串流接收模組,該處理模組用以選擇該第一視訊串流中的多個第一視訊畫面其中之一,判斷被選擇的該第一視訊畫面中,是否具有一物件;其中當被選擇的該第一視訊畫面中具有該物件時,該處理模組判斷被選擇的該第一視訊畫面中的該物件是否符合一預設條件,當該物件符合該預設條件時,對於被選擇的該第一視訊畫面中的該物件進行影像分析,當該物件不符合該預設條件時,該視訊串流接收模組載入一第二視訊串流,該第二視訊串流具有一第二解析度,其中該第二解析度大於該第一解析度,該處理模組選擇該第二視訊串流中的多個第二視訊畫面中具有該物件的至少一第二視訊畫面,並且對於被選擇的該至少一第二視訊畫面中的該物件進行影像分析,其中被選擇的該第二視訊畫面的時間戳係對應於被選擇的該第一視訊畫面的時間戳。
- 如請求項6所述之影像分析裝置,其中該預設條件為判斷於被選擇的該第一視訊畫面中的該物件之尺寸是否大於一門檻值。
- 如請求項7所述之影像分析裝置,該處理模組更依據該物件與該預設條件的差異以決定該第二視訊串流的該第二解析度之大小。
- 如請求項6所述之影像分析裝置,其中該處理模組更依據該物件於被選擇的 該第一視訊畫面的位置,於被選擇的該第二視訊畫面中的對應位置對該物件進行影像分析。
- 如請求項6所述之影像分析裝置,更包含一儲存模組,該儲存模組耦接該處理模組及該視訊串流接收模組,並用以預先儲存該至少一第一視訊串流及該第二視訊串流。
- 一種電腦可讀取媒體,具有用以使一處理模組執行多個指令的電腦程式碼,該些指令包含一如請求項1至請求項5至少其中之一所述之影像分析方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103110376A TWI521473B (zh) | 2014-03-19 | 2014-03-19 | 影像分析裝置、方法及電腦可讀取媒體 |
US14/661,610 US9367769B2 (en) | 2014-03-19 | 2015-03-18 | Device, method for image analysis and computer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103110376A TWI521473B (zh) | 2014-03-19 | 2014-03-19 | 影像分析裝置、方法及電腦可讀取媒體 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201537514A TW201537514A (zh) | 2015-10-01 |
TWI521473B true TWI521473B (zh) | 2016-02-11 |
Family
ID=54142607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103110376A TWI521473B (zh) | 2014-03-19 | 2014-03-19 | 影像分析裝置、方法及電腦可讀取媒體 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9367769B2 (zh) |
TW (1) | TWI521473B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10990830B2 (en) | 2016-09-13 | 2021-04-27 | Genetec Inc. | Auto-calibration of tracking systems |
CN108289201B (zh) * | 2018-01-24 | 2020-12-25 | 北京地平线机器人技术研发有限公司 | 视频数据处理方法、装置和电子设备 |
US10832043B2 (en) * | 2018-02-06 | 2020-11-10 | Disney Enterprises, Inc. | Variable resolution recognition |
WO2021029152A1 (ja) * | 2019-08-14 | 2021-02-18 | 富士フイルム株式会社 | 撮像装置、撮像装置の作動方法、及びプログラム |
WO2021077205A1 (en) * | 2019-10-26 | 2021-04-29 | Genetec Inc. | Automated license plate recognition system and related method |
CN113852757B (zh) * | 2021-09-03 | 2023-05-26 | 维沃移动通信(杭州)有限公司 | 视频处理方法、装置、设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9171380B2 (en) * | 2011-12-06 | 2015-10-27 | Microsoft Technology Licensing, Llc | Controlling power consumption in object tracking pipeline |
-
2014
- 2014-03-19 TW TW103110376A patent/TWI521473B/zh active
-
2015
- 2015-03-18 US US14/661,610 patent/US9367769B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20150269731A1 (en) | 2015-09-24 |
TW201537514A (zh) | 2015-10-01 |
US9367769B2 (en) | 2016-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI521473B (zh) | 影像分析裝置、方法及電腦可讀取媒體 | |
JP6024952B2 (ja) | 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム | |
US20160142680A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20100141763A1 (en) | Video monitoring system | |
US20120275524A1 (en) | Systems and methods for processing shadows in compressed video images | |
US10181088B2 (en) | Method for video object detection | |
KR20080058171A (ko) | 카메라 템퍼링 검출 | |
US10373015B2 (en) | System and method of detecting moving objects | |
US8798369B2 (en) | Apparatus and method for estimating the number of objects included in an image | |
JP7255841B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
WO2017127842A1 (en) | Cloud platform with multi camera synchronization | |
WO2021095085A1 (ja) | 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム | |
US9363432B2 (en) | Image processing apparatus and image processing method | |
JP2010092092A (ja) | 画像処理装置及び画像処理方法 | |
US20230188679A1 (en) | Apparatus and method for transmitting images and apparatus and method for receiving images | |
CN111542858B (zh) | 动态图像解析装置、系统、方法、以及存储介质 | |
US20200252637A1 (en) | Moving image processor, moving image processing system, and moving image processing method | |
JP2016021716A (ja) | 追尾装置及びその制御方法 | |
US20230209064A1 (en) | Identifying long term reference frame using scene detection and perceptual hashing | |
EP4195166A1 (en) | Apparatus and method for transmitting images and apparatus and method for receiving images | |
KR101323886B1 (ko) | 분산처리 기반의 물체 추적장치 및 추적방법 | |
KR102172955B1 (ko) | 피티지 카메라를 이용한 영상 관제 방법, 영상 관제 장치 및 컴퓨터 프로그램 | |
JP6870728B2 (ja) | 画像処理装置、画像形成装置及び画像処理方法 | |
CN114220037A (zh) | 对象识别方法、装置及系统 |