TWI845547B - 感測器裝置、信號處理方法 - Google Patents

Abstract

本發明之感測器裝置具有：陣列感測器，其1維或2維地排列有複數個檢測元件；信號處理部，其取得陣列感測器之檢測信號，進行信號處理；及運算部。運算部根據陣列感測器之檢測信號進行物體檢測，且基於物體之檢測，對來自陣列感測器之檢測信號之訊框率進行可變指示。

Description

感測器裝置、信號處理方法

本技術係關於一種感測器裝置及信號處理方法，尤其係關於針對具備對陣列感測器所得之檢測信號進行處理之功能之感測器裝置之技術領域。

例如，作為使用排列有攝像元件之陣列感測器之物體檢測，已知有以陣列感測器進行圖像攝像，將拍攝到之圖像信號發送至陣列感測器外部之處理器，於該處理器側進行物體檢測之計算處理。 於下述專利文獻1中，揭示有根據監視區域之移動而變更動作頻率之技術。 [先前技術文獻] [專利文獻]

[專利文獻1]日本專利特開2007-318262號公報

[發明所欲解決之問題]

使用影像感測器之物體檢測中，不論拍攝對象之類（類別或類型），均將拍攝到之圖像資訊發送至進行物體檢測之外部處理器，於處理器側進行所有物體檢測之計算處理。該處理器有依賴於通用處理器側之處理能力之處，未取得以預先設定之成為對象之類限定之訊框率（動作頻率）運轉之有效處理方法。其結果，外部處理器側之計算成為高負荷，故有處理延遲之問題。 如專利文獻1所示，有攝影對象存在動體時，提高訊框率之方法，但無法指定類而控制動作。 因此，本揭示中提案根據物體檢測結果而變更訊框率。 [解決問題之技術手段]

本技術之感測器裝置具備：陣列感測器，其1維或2維地排列有複數個檢測元件；信號處理部，其取得上述陣列感測器之檢測信號，進行信號處理；及運算部，其根據上述陣列感測器之檢測信號進行物體檢測，且基於物體之檢測，對來自上述陣列感測器之檢測信號之訊框率進行可變指示。

即，使藉由陣列感測器所得之檢測信號之訊框率根據物體檢測結果而可變。

另，所謂根據檢測信號檢測之物體，是指成為物體檢測對象之物體，所有物體均有成為此處所謂之檢測對象的物體之可能性。例如可以人、動物、移動體（汽車、自行車、航空機）、自然物（蔬菜、植物等）、工業製品/零件、建築物、設施、山、海、河川、星星、太陽、雲等所有物體為對象。 又，假設陣列感測器之檢測元件為可見光或非可見光之攝像元件、檢測音波之音波檢測元件、或檢測觸覺資訊之觸覺感測器元件等。

所謂訊框，於陣列感測器為攝像元件陣列之情形時，成為圖像之訊框。音波檢測元件或觸覺感測器元件之情形亦為相同含義，不論陣列感測器之種別為何，均為自陣列感測器之複數個檢測元件1次讀出期間讀出之資料單位。訊框率成為此種訊框之單位時間內之密度。

可考慮於上述本技術之感測器裝置中，具備將經上述信號處理部予以信號處理之檢測信號輸出至外部裝置之輸出部。

即，將經信號處理部處理之檢測信號發送輸出至外部裝置。所謂外部裝置，假設例如進行物體檢測之外部處理器或雲端中之處理器等。

可考慮於上述本技術之感測器裝置中，上述運算部至少預先記憶用於第1模式之訊框率之設定值、及用於第2模式之訊框率之設定值，且對應於物體檢測結果，進行利用上述第1模式及上述第2模式之任一者之設定值之控制。 例如，為指示訊框率，而預先記憶陣列感測器之讀出間隔值等，作為設定值。

可考慮於上述本技術之感測器裝置中，用於上述第1模式之訊框率之設定值及用於上述第2模式之訊框率之設定值之一者或兩者可自外部裝置改寫。 例如，對應於外部處理器之用途、處理能力、應用程式之用途等，使設定值可變。

可考慮於上述本技術之感測器裝置中，上述運算部藉由指示上述陣列感測器之檢測信號之讀出間隔，而使訊框率可變。 若陣列感測器為例如利用圖像攝像元件者，則可變控制圖像讀出之間隔。

可考慮於上述本技術之感測器裝置中，上述運算部對上述信號處理部指示變更訊框率而使訊框率可變。 即，藉由信號處理過程之訊框率變換，而執行訊框率之切換。

可考慮於上述本技術之感測器裝置中，上述運算部針對自上述陣列感測器獲得之檢測信號所要檢測之物體進行種類識別，判定所識別之種類是否為目標種類，且對應於判定結果進行訊框率之可變指示。

所謂類，係使用圖像辨識而辨識出之物體之類別。例如係將如「人」、「汽車」、「飛機」、「船」、「卡車」、「鳥」、「貓」、「狗」、「鹿」、「青蛙」、「馬」等應檢測之物體進行分類者。 所謂目標類，係類中作為辨識之目的所指定之類。

可考慮於上述本技術之感測器裝置中，具備輸出部，其根據外部機器之要求，輸出經上述信號處理部處理之檢測信號、經識別之種類之資訊、檢測出之物體數量、有無目標種類的資訊之任一者或全部。 即，輸出部根據外部機器之要求，設定輸出之資訊。 又，認為上述本技術之感測器裝置中，上述陣列感測器之檢測元件為攝像元件。 即，陣列感測器之檢測信號設為攝像（光電轉換）之圖像信號。

認為上述本技術之感測器裝置中，具備臨限值設定部，其對應於針對根據自上述陣列感測器獲得之檢測信號所要檢測之物體進行識別之種類，設定上述訊框率之臨限值，且進行使用基於上述臨限值而設定之訊框率之處理。 例如可根據類，設定適於物體檢測且可減少資料量之訊框率。 又，認為上述本技術之感測器裝置中，上述臨限值設定部設定上述臨限值，作為可維持根據圖像之目標追蹤之訊框率。 例如，作為可目標追蹤之狀態，設定可儘可能減少資料量之訊框率。 又，認為上述本技術之感測器裝置中，上述運算部根據物體檢測結果，進行利用第1模式及第2模式之任一者之訊框率之設定值之控制，且使用上述臨限值設定部設定之訊框率之設定值，作為上述第1模式及上述第2模式之一者之訊框率之設定值。 例如，將第1模式設為特定之訊框率，將第2模式設為基於臨限值設定之訊框率等。

本技術之信號處理方法係作為感測器裝置之信號處理方法，該感測器裝置具有：陣列感測器，其1維或2維地排列有複數個檢測元件；及信號處理部，其取得上述陣列感測器之檢測信號，進行信號處理；該信號處理方法係根據上述陣列感測器之檢測信號進行物體檢測，且基於物體之檢測，對來自上述陣列感測器之檢測信號之訊框率進行可變指示。 藉此，可對應於狀況使訊框率變化。 又，上述本技術之信號處理方法中，對應於針對根據自上述陣列感測器獲得之檢測信號所要檢測之物體進行識別之種類，設定上述訊框率之臨限值，且進行使用基於上述臨限值而設定之訊框率之處理。 藉此，可以可維持物體檢測所需要之特定條件之方式，降低訊框率。

以下，按照如下順序說明實施形態。 ＜1.感測器裝置之構成＞ ＜2.第1實施形態：分類圖像適應化＞ ＜3.第2實施形態：區域剪切＞ ＜4.第3實施形態：使用AROI之區域剪切＞ ＜5.第4實施形態：智能壓縮＞ ＜6.第5實施形態：主動取樣＞ ＜7.第6實施形態：臨限值設定之圖像適應化＞ ＜8.第7實施形態：有效區域剪切＞ ＜9.第8實施形態：臨限值設定及使用AROI之區域剪切＞ ＜10.第9實施形態：臨限值設定之主動取樣＞ ＜11.對移動體之應用例＞ ＜12.總結及變化例＞ 另，作為以下說明之實施形態，舉感測器裝置1為例，該感測器裝置1具有攝像元件陣列，係作為輸出圖像信號作為檢測信號之影像感測器。尤其實施形態之感測器裝置1係具備利用圖像分析之物體檢測功能者，係可稱為智能化陣列感測器之裝置。

＜1.感測器裝置之構成＞ 圖1顯示感測器裝置1之構成例。另，圖1亦顯示處理器11、外部感測器12，作為與感測器裝置1進行資料通信之外部裝置。假設處理器11為與感測器裝置1通信連接之所有處理器。

感測器裝置1具有影像感測器裝置、DRAM（Dynamic Random Access Memory，動態隨機存取記憶體）等之記憶區域、作為AI（artificial intelligence，人工智能）功能處理器之構成部位，作為硬體。並且，將該等3者設為3層積層構造，或1層之所謂平置構成，或2層（例如，DRAM及AI功能處理器為同一層）積層構造等一體型裝置。

如圖1，感測器裝置1具有陣列感測器2、ADC（Analog to Digital Converter，類比數位轉換器）/像素選擇器3、緩衝器4、邏輯部5、記憶體6、介面部7及運算部8。 ADC/像素選擇器3、緩衝器4及邏輯部5成為為了將陣列感測器2所得之檢測信號向外部輸出而進行信號處理之信號處理部30之例。

陣列感測器2構成為將檢測元件設為可見光或非可見光之攝像元件，複數個攝像元件1維或2維排列而成。例如，構成為於列方向及行方向2維排列多數攝像元件，藉由各攝像元件中之光電轉換，輸出二維圖像信號。 另，以下之說明中，將陣列感測器2設為輸出二維圖像信號者作為影像感測器，但作為感測器裝置1內之陣列感測器2，亦有設為排列有音波檢測元件之感測器陣列模組，或排列有觸覺資訊檢測元件之感測器陣列模組等而構成之情形。

ADC/像素選擇器3將藉由陣列感測器2進行光電轉換後之電性信號數位資料化，輸出作為數位資料之圖像信號。 又，具備對於陣列感測器2之像素（攝像元件）之像素選擇功能，從而亦可僅對陣列感測器2中選擇之像素，讀出光電轉換信號並數位資料化而輸出。 即，ADC/像素選擇器3通常對構成1訊框圖像之所有有效像素進行光電轉換信號之數位資料化輸出，但亦可進行僅針對所選擇像素之光電轉換信號之數位資料化輸出。

藉由ADC/像素選擇器3，以訊框單位讀出圖像信號，但將該各訊框之圖像信號暫時記憶於緩衝器4，以適當時序讀出，並供於邏輯部5之處理。

邏輯部5中，對輸入之各訊框圖像信號進行各種需要的信號處理（圖像處理）。 例如，假設於邏輯部5中，藉由色彩校正、伽馬校正、色階處理、增益處理、輪廓增強處理、對比度調整處理、清晰度調整處理、灰階調整處理等處理，進行畫質調整。 又，亦假設於邏輯部5中，進行資料壓縮處理、解析度轉換、訊框率轉換、縱橫比例轉換、取樣率變更等變更資料大小之處理。 對於該等邏輯部5所進行之各處理，設定使用於各個處理之參數。例如，有色彩或亮度之修正係數、增益值、壓縮率、訊框率、解析度、處理對象之區域、取樣率等設定值。邏輯部5中，使用對各個處理設定之參數進行需要的處理。本實施形態中，有如後述，由運算部8設定該等參數之情形。

將邏輯部5所處理之圖像信號記憶於記憶體6。 將記憶於記憶體6之圖像信號以需要時序，藉由介面部7發送輸出至處理器11等。 另，作為記憶體6，假設DRAM、SRAM（Static Random Access Memory，靜態隨機存取記憶體）、MRAM（Magnetoresistive Random Access Memory，磁阻隨機存取記憶體：磁阻記憶體）等。 另，MRAM係藉由磁性記憶資料之記憶體，已知有取代磁芯使用TMR元件（tunneling magnetoresistive，穿隧磁阻）者。TMR元件為以磁性體夾住數原子量之極薄絕緣物之層者，電性電阻根據磁性體層之磁化方向而變化。即使切斷電源，TMR元件之磁化方向亦不變化，成為非揮發性記憶體。由於愈細微化愈需要增大寫入電流，故為將記憶胞細微化，已知有不使用磁場，而使用流動自旋一致之電子而寫入之自旋注入磁化反轉方式(STT：spin torque transfer，自旋力矩轉移)之STT-MRAM。 當然，作為記憶體6之具體例，亦可為該等以外之記憶元件。

感測器裝置1外部之處理器11中，對自感測器裝置1發送之圖像信號進行圖像分析、圖像辨識處理，執行需要的物體檢測等。 處理器11亦可參照外部感測器12之檢測資訊。 另，考慮將處理器11以有線或無線與感測器裝置1連接。 考慮將該處理器11設置於與感測器裝置1共通之框體。例如，假設設為裝備感測器裝置1之攝像裝置或終端裝置內之處理器。 或者又，處理器11亦可為設置於與感測器裝置1分開之裝置者。例如，亦可為內置於以電纜或無線通信等連接於裝備感測器裝置1之攝像裝置或終端裝置之資訊處理裝置、終端裝置、圖像編輯裝置、監測裝置、通信裝置等者。 再者，處理器11亦可為例如設為雲端計算系統之處理器，與感測器裝置1或內置感測器裝置1之機器間進行網路通信者。

運算部8以例如1個AI處理器構成。並且，作為可執行之運算功能，如圖示，具備關鍵訊框選擇部81、物體區域辨識部82、類識別部83、參數選擇部84。另，該等運算功能亦可藉由複數個處理器構成。

關鍵訊框選擇部81根據特定之運算法或指示，進行於作為動態圖像之圖像信號之訊框內選擇關鍵訊框之處理。 又，亦有關鍵訊框選擇部81進行切換訊框率相關之模式（第5實施形態之閒置模式及正常模式）之處理之情形。

將物體區域辨識部82以陣列感測器2進行光電轉換，對藉由ADC/像素選擇器3讀出之圖像信號之訊框，進行成為檢測候補之物體之區域檢測，或對檢測對象之物體，進行圖像（訊框）內之包圍該物體之區域（限界框）辨識處理。 所謂自圖像信號檢測之物體，是指以自圖像之辨識為目的，可成為檢測對象之物體。將怎樣的物體設為檢測對象，係對應於感測器裝置1或處理器11之檢測目的、處理能力、應用程式類別等而不同，所有物體均有成為此處所謂之檢測對象物體之可能性。雖終究為一部分，但若例示，則有例如動物、移動體（汽車、自行車、航空機等）、自然物（蔬菜、植物等）、工業製品/零件、建築物、設施、山、海、河川、星星、太陽、雲等所有物體符合之可能性。 又，如第2實施形態所說明，亦有物體區域辨識部82基於限界框，算出顯示應設為處理對象之區域（關心區域）之區域資訊即ROI（Region of Interest，感興趣區域）之處理，或基於ROI進行對ADC/像素選擇器3之控制等之情形。

類識別部83對物體區域辨識部82檢測出之物體進行類分類。 所謂類，係使用圖像辨識而辨識出之物體之類別。例如將如「人」、「汽車」、「飛機」、「船」、「卡車」、「鳥」、「貓」、「狗」、「鹿」、「青蛙」、「馬」等應檢測之物體分類者。

參數選擇部84如第1實施形態所說明，預先記憶對應於各類之信號處理用參數，使用類識別部83識別之檢測物體之類或限界框等，選擇對應之1個或複數個參數。並且，將該1個或複數個參數設定於邏輯部5。 又，參數選擇部84如第3實施形態，亦有預先記憶基於根據限界框算出ROI之類，預先按類別算出之高階ROI（Advanced ROI：AROI）之樣板，進行選擇該樣板之處理之情形。 又，亦有將第5實施形態之閒置模式及正常模式之設定值記憶於參數選擇部84，基於物體檢測選擇該設定值，進行控制信號處理部30之處理之情形。

運算部8之該等功能係不於通常陣列感測器內進行之處理，本實施形態中，於陣列感測器內執行物體檢測或類辨識、及基於該等之控制。藉此，實現使對處理器11供給之圖像信號成為適於遵循檢測目的者，或不會導致檢測性能降低之資料量削減。

另，介面部7除對處理器11輸出圖像信號外，可將運算部8所檢測之物體資訊、類資訊、檢測物體數、選擇之參數之資訊等例如作為詮釋資料(metadata)，隨圖像信號一起輸出，或與圖像信號獨立輸出。又，亦可例如僅輸出類的資訊等。 又，亦考慮例如處理器11側對介面部7指示需要的資訊，介面部7輸出對應於其之資訊。

＜2.第1實施形態：分類圖像適應化＞ 說明分類圖像適應化處理，作為可藉由圖1之構成之感測器裝置1執行之第1實施形態之處理。

圖像辨識精度根據畫質調整而不同。例如，利用深度學習之圖像辨識係藉由調整畫質，而精度提高。 並且，有對於圖像辨識較佳之畫質，即物體檢測精度變高之畫質並非人看到感到漂亮之畫質之情況。 例如，圖2A係顯示人所見感到高品質之圖像之例，另一方面，圖2B係例如因灰階數較少等，而人所見感覺上感到畫質稍微劣化之圖像。 然而，作為藉由神經網路分析圖2A之圖像之情形之物體檢測結果，將花誤判為魚（fish），另一方面，對於圖2B之圖像，將花正確地判定為花（flower）。 如由該例可知，若要提高圖像辨識精度，則較佳為進行與以人的美觀為基準之畫質調整不同之畫質調整。

又，適於此種物體檢測之畫質，並非藉由一律參數而調整之畫質，亦根據成為檢測對象之物體而不同。例如，檢測人之情形及檢測汽車之情形時，期望之畫質調整狀態不同。即，根據檢測對象不同，用以畫質調整之期望的參數值不同。

因此，作為分類圖像適應化處理，對可成為對象之物體之每類，預先記憶適當的參數（畫質調整值）。並且，對於藉由陣列感測器2拍攝之圖像，進行物體檢測及所檢測物體之類識別，根據該識別之類選擇參數，設定於邏輯部5，以針對該圖像之邏輯部5，進行利用該參數之處理。

圖3顯示此種分類圖像適應化處理之概要。另，圖3係為說明概要而擷取圖1之構成之一部分者。 感測器裝置1中，藉由攝像光學系統40將被攝體光聚光於陣列感測器2，進行圖像攝像。將所得之圖像信號G以邏輯部5進行處理，但亦供給於運算部8。 運算部8中，以物體區域辨識部82進行成為候補之物體檢測及該物體區域之辨識處理。該物體區域辨識部82中，亦對需要的物體區域進行限界框之計算。 又，運算部8中，以類識別部83對檢測之物體進行類識別。檢測複數個物體或複數種物體之情形時，對各者進行類識別，分類成各類。例如，圖之情形時，如以「車」類物體為1個，「人」類物體為5個，「交通號誌機」類物體為1個之方式，進行類識別及分類。

將該類之資訊或限界框之資訊提供給參數選擇部84，參數選擇部84使用類之資訊等，選擇記憶之參數組PR1、PR2・・・中之1個參數組。圖中，顯示例如選擇了參數組PR4之狀態。 另，所謂參數組，係將例如增益設定值、色彩校正係數、灰階數、壓縮率、訊框率等之邏輯部5之處理所使用之複數個參數值，作為1個組而記憶者。

於邏輯部5中設定所選擇之參數組PR4。邏輯部5對圖像信號G使用該參數組PR4所示之各參數，進行各種信號處理。

陣列感測器根據處理器11之要求，輸出輸出資料（圖像資料、類、物體數、目標類之有無等）之所有資料，或任一者。 又，處理器11可對感測器裝置1發送各種指示。

如此，感測器裝置1中，運算部8具有基於物體檢測之類識別功能（物體之類別區分功能），根據類識別部之輸出，進行適應化地設定邏輯部5之參數之分類畫質適應化（自物體檢測選擇與對象類型一致之參數）。

對於參數組，藉由預先學習而預先產生並記憶藉由深度學習每類適當之參數（畫質設定值）。 例如，產生「人」之類之參數組之情形時，如圖4A所示，使用多數人的圖像作為學習資料SD，進行深度學習，產生辨識人之觀點中圖像辨識率最高之參數組PR1。 對於其他各類，同樣使用深度學習，產生圖像辨識率最高之參數組PR2、PR3・・・。 並且，如圖4B，以參數選擇部84可選擇之方式，預先記憶產生之對應於各類之參數組PR1、PR2、PR3・・・。

圖5顯示感測器裝置1之分類圖像適應化處理之具體例。逐次一面參照圖6一面說明。 圖5係顯示作為步驟S100，自陣列感測器2開始1訊框單位之圖像信號之輸出後，以感測器裝置1（主要係運算部8）執行之處理。 該圖5中，運算部8之處理係藉由作為圖1所示之關鍵訊框選擇部81、物體區域辨識部82、類識別部83、參數選擇部84之各功能而執行之處理。另，此於後述之圖9、圖14、圖16、圖18中亦相同。

步驟S101中，運算部8（關鍵訊框選擇部81）進行以對應於關鍵訊框選擇運算法之時序，選擇關鍵訊框之處理。 感測器裝置1自陣列感測器2之像素陣列輸出信號即訊框單位之圖像信號，選擇關鍵訊框，並進行圖像辨識，從而辨識攝影對象之類。關鍵訊框之選擇係藉由關鍵訊框選擇運算法進行，藉此選擇靜止圖像（某1訊框）。 舉關鍵訊框選擇算法之例。 首先，有於指定之每時間間隔選擇1訊框之方法。例如，係以30秒間隔將1訊框設為關鍵訊框等。當然，所說之30秒為一例。 又，亦考慮選擇關鍵訊框，作為根據來自感測器裝置1外部（處理器11等）之命令之時序。例如設為根據來自搭載感測器裝置1之裝置、機器側之指示者。例如，感測器裝置1搭載於汽車之實例中，停止於停車場，但係以開始行駛之時序等選擇關鍵訊框。 又，亦可根據狀況使關鍵訊框之選擇方法變化。例如，感測器裝置1搭載於汽車之情形時，係於停車時、通常行駛時、高速行駛時變更關鍵訊框之間隔等。

若選擇關鍵訊框，則於步驟S102中，運算部8（物體區域辨識部82）進行關鍵訊框內之成為物體候補之位置檢測。 即，運算部8探索關鍵訊框之圖像中，應檢測之物體的候補，求得1個或複數個候補之位置（圖像內之位置座標）。 例如，將圖6A之輸入圖像設為關鍵訊框。運算部8檢測該圖像中像似應檢測之物體之部位。例如，圖6B、圖6C之區域作為像似應檢測物體之部位。該等成為物體之候補。

圖5之步驟S103中，運算部8（類識別部83）進行檢測物體之類分類。即，對物體候補之各者進行類識別並分類。 如上述，所謂類，係使用圖像辨識而辨識出之物體之類別。 例如如圖6D、圖6E，進行「人」、「花」等類識別。

圖5之步驟S104中，運算部8確認於作為類識別結果所得之類內是否存在目標類。 目標類係類中由處理器11特別設定之類。例如，將目標類設定為「人」之情形時，感測器裝置1辨識出人時，進入指定之過程。 另，目標類較佳可指定複數個。

例如，將「人」與「花」設為目標類之情形時，步驟S103中識別出之類中存在「人」或「花」之情形時，運算部8使處理自步驟S104進入S105。 另一方面，若不存在目標類，則運算部8返回至步驟S101，進行下個關鍵訊框之選擇。

藉由目標類之存在而進入步驟S105之情形時，運算部8（物體區域辨識部82）進行包圍經分類為類之物體區域之正確的位置座標（限界框）之算出。 圖6F、圖6G係顯示限界框20。限界框20係根據作為X軸上之區域範圍之最小座標值Xmin、最大座標值Xmax、及作為Y軸上之區域範圍之最小座標值Ymin、最大座標值Ymax而規定。

圖5之步驟S106中，運算部8（參數選擇部84）基於物體之類、數量、限界框20之面積，選擇參數組。 例如，存在1個目標類之情形時，選擇對應於該類之參數組。 於畫面內存在複數種目標類之物體之情形時，考慮以下例。 例如，考慮選擇對應於各類中物體數量最多類之參數組。 或者，於畫面內存在複數種目標類物體之情形時，考慮選擇對應於限界框20之面積最大之物體類之參數組。 或者，於畫面內存在複數種目標類物體之情形時，考慮選擇對應於每類限界框20之面積總計最大之類的參數組。 或者，於畫面內存在複數種目標類物體之情形時，考慮自每類之物體數量及限界框20之面積總計（或最大值），求得最優先類，選擇對應於該類之參數組。 當然，此外亦存在各種參數組之選擇方法，但任一者皆只要於畫面內選擇對應於支配性物體，或應優先檢測之物體之類之參數組即可。

步驟S107中，運算部8（參數選擇部84）進行將選擇之參數組設定於邏輯部5之處理。 藉此，邏輯部5中，之後對依序輸入之各訊框之圖像信號，使用設定之參數組進行各種圖像處理。 將經處理之圖像信號或設定之參數，或識別出之類的資訊等暫時記憶於DRAM6。

步驟S108中，感測器裝置1根據處理器11之要求，輸出圖像信號（靜止圖像、動態圖像）、類識別資訊（類、對象數、目標類之有無等）、使用之參數組等之所有資訊、或至少任一者。 即，根據處理器11之要求，藉由介面部7讀出並發送暫時記憶於DRAM6之資訊之任一者。 另，該步驟S108之處理可為根據運算部8之控制者，但亦可為藉由利用經由介面部7之處理器11對DRAM6存取而執行者。運算部8不進行介面部7之控制之情形時，作為運算部8之處理，於步驟S107之後返回至步驟S101。

根據以上處理，處理器11根據作為圖像所含之物體之目標類之存在，供給完成參數設定之圖像信號。該圖像信號成為進行適於該目標類物體之檢測之圖像處理之圖像信號。 又，若亦將檢測出之類（目標類）或物體數之資訊提供給處理器11，則成為對處理器11之物體檢測處理有用之資訊。 藉此，可以處理器11進行高精度之物體檢測。 另，亦可為於感測器1內簡單地進行類設定，於外部更細微地辨識之使用方法。例如，亦可進行如不以感測器裝置1執行臉辨識甚至車牌辨識，而使處理器11執行之處理。 又，圖5之處理例中，於步驟S102中，檢測像似物體之部位（圖6B、圖6C），於步驟S103中進行類識別（圖6D、圖6E），其後於步驟S105中進行限界框20之設定（圖6F、圖6G），但不限於該順序。例如，於步驟S102之階段，亦可為如下順序：檢測出像似物體之部位後，完成限界框20之設定，其後，於步驟S103中進行類識別，若存在目標類則自步驟S104進入S106。

＜3.第2實施形態：區域剪切＞ 說明區域剪切，作為可藉由圖1之構成之感測器裝置1執行之第2實施形態之處理。

對於藉由陣列感測器2檢測之圖像信號，通常考慮將各訊框之所有像素之資訊發送至處理器11，執行圖像辨識。 但，若將所有訊框之所有像素之資訊傳送至處理器11，以處理器11進行物體檢測，則尤其隨著陣列感測器2之攝像圖像之高精細化進展，傳送資訊量顯著增大，亦需要傳送時間。又，雲端發送之情形時，通信量之增大對通信成本、時間帶來較大影響。再者，處理器11或雲端之儲存量之負擔亦增加，且分析處理負擔、處理時間亦增加，有物體檢測性能降低之虞。 因此，第2實施形態中，某訊框之圖像中辨識出需要的物體後，下個訊框之後，大致以該物體區域之像素位準進行圖像信號之取得或傳送，其他區域之像素不作為資訊存在，從而謀求處理之效率化。

圖7顯示概要。 圖7A係顯示某訊框F1之圖像。設定「人」作為應檢測之物體之情形時，於訊框F1之圖像內檢測人之區域。並且，將檢測到人之區域設為關心區域即ROI（Region of Interest，感興趣區域）21。 之後的訊框F2、F3・・・Fn中，自陣列感測器2僅讀出設為ROI21之區域內之像素。該圖像如圖7B，成為僅包含ROI21之部分資訊之圖像。 並且，基於此種包含部分像素資訊之圖像信號，進行運算部8之分析，向處理器11傳送，進行圖像分析。

具體而言，如圖8A模式性所示，藉由陣列感測器2所得之圖像信號中，對於N訊框中為1片之比例之某訊框F1，設為包含所有有效像素之資訊之圖像。並且，以運算部8掃描所有畫面，進行對象物之有無及位置檢測。並且，設定ROI21。 取得後續之訊框F2之情形時，如圖8B，取得成為對象區域之僅ROI21之像素進行AD轉換之像素信號。另，圖中，以格子隔開之各方形表示像素。 如此，例如每N訊框僅1訊框進行全畫面掃描，進行對象物之檢測，如圖8C，之後的訊框F2、F3、F4・・・中，僅對前訊框之對象物之檢測區域進行圖像分析。 藉由進行該過程，而不降低應用程式之成為對象之物體檢測精度，進行分析資料量之削減、通信資料量之減低，進行感測器裝置1之低消耗電力化及搭載感測器裝置1之系統全體之物體檢測相關之圖像分析之高速化。

圖9顯示作為區域剪切分析之感測器裝置1之運算部8之處理例。逐次一面參照圖10一面說明。

運算部8（關鍵訊框選擇部81）於步驟S201中，判定是否成為物體檢測關鍵訊框記錄時序。 所謂物體檢測關鍵訊框記錄時序，意指為了檢測物體而於陣列感測器2之所有有效像素區域進行資訊取得之時序。 作為物體檢測關鍵訊框記錄時序，亦可例如以來自處理器11等之感測器裝置1之外部之命令進行判定。例如，假設根據60 sec之指示，以60 sec之間隔，判定為物體檢測關鍵訊框記錄時序。

若成為物體檢測關鍵訊框記錄時序，則運算部8進行至步驟S202，取得於陣列感測器2之所有有效像素區域經AD轉換之圖像資料。例如，對ADC/像素選擇器3，以所有有效像素區域為對象，輸出來自陣列感測器2之1訊框之圖像信號。

步驟S203中，運算部8（物體區域辨識部82）對取得之圖像進行成為物體候補之位置檢測。 如圖10A所示，例如將訊框F1設為物體檢測關鍵訊框時，於該訊框F1之圖像內，檢測物體之候補區域23。該情形時，將包含「人」或「樹木」之圖像之區域設為候補區域23。

圖9之步驟S204中，運算部8（類識別部83）進行作為候補檢測出之物體之類分類。 例如如圖10B，對候補區域23之物體進行「人」、「樹木」等之類識別。

圖9之步驟S205中，運算部8確認於作為類識別結果所得之類內是否存在目標類。 例如，將「人」設為目標類之情形時，如圖10B，作為經識別之類，存在目標類。此種情形時，運算部8使處理自圖9之步驟S205進行至S206。 另一方面，若不存在目標類，則運算部8返回至步驟S201，待機下個物體檢測關鍵訊框記錄時序。

圖9之步驟S206中，運算部8（物體區域辨識部82）進行包圍分類為設為目標類之類的物體之區域之正確位置座標之限界框20之算出。 例如，圖10C係顯示關於目標類即人的圖像之限界框20之例。即，限界框20係作為相當於目標類之物體之更正確區域計算。

圖9之步驟S207中，運算部8（物體區域辨識部82）基於限界框20算出ROI。 圖10D係顯示ROI21及限界框20。ROI21係將限界框20之縱橫尺寸（x×y）放大（ax×yb）而計算。放大之縮尺a、b可按縱橫別而設定，放大率亦可固定，但亦考慮自感測器裝置1之外部（例如處理器11等）指定。 運算部8（物體區域辨識部82）將如此計算之ROI傳遞至ADC/像素選擇器3。

對應於其之ADC/像素選擇器3中，於陣列感測器2之ROI21內僅將符合之像素進行AD轉換而輸出。 運算部8於圖9之步驟S208中，取得包含僅ROI21內之像素之資訊的下個訊框之圖像資料。並且，對取得之訊框進行步驟S203、S204之處理。

圖10E係模式性顯示所有有效像素中僅對ROI21內之像素進行AD轉換（各圖中，以格子隔開之方形表示像素）。 藉由此種AD轉換，如圖10F，運算部8取得具有僅ROI21部分之資訊之訊框F2之圖像。 並且，運算部8於圖9之步驟S203、S204中，對該訊框F2之圖像進行物體候補之位置檢測及類分類，例如該圖10F之情形時，為檢測出人而進行至步驟S206、S207，進行新的限界框20之算出，或基於界限框20之新的ROI21之算出。圖10F係顯示新求得之ROI作為「ROI21(NEW)」。

另，藉由擴大限界框20而產生ROI21，係為了對應於被攝體即物體之移動（或攝像裝置之被攝體方向之變化）。 例如，圖10E之訊框F2之人的位置較圖10A之訊框F1之人的位置向右方向變化。但，藉由擴大設定ROI21，即使僅ROI21內之像素，亦於訊框F2內，提高可取得對象之人的圖像之可能性。 另，如此，ROI21以下個訊框亦可檢測對象物體之方式，擴大限界框20，但亦考慮將縱橫尺寸（x×y）放大（ax×yb）時之放大縮尺a、b設為對應於訊框率者。 例如，若訊框率較低，則訊框間隔之時間變長，人等的物體之移動量量亦變大，故認為較訊框率較高之情形更擴大ROI21。

又，每訊框重新計算ROI21（產生新的ROI21（NEW）），亦係為了對應於被攝體即物體之移動（或攝像裝置之被攝體方向之變化）。 藉由人的移動，自圖10F之圖像於ROI21內之靠右位置檢測出人。因此，重新計算包圍人的區域之限界框20，求得ROI21，從而如ROI21(NEW)般，以追蹤人的移動之方式更新ROI。 運算部8於步驟S207中，將新的ROI21(NEW)傳遞至ADC/像素選擇器3。藉此，下個訊框僅對新的ROI21(NEW）內之像素進行AD轉換（參照圖10G）。 並且，同樣地，運算部8於步驟S208中，取得僅ROI21(NEW)內之像素資訊之圖像信號，進行步驟S203之後的處理。

重複進行此種處理，直至於步驟S205中判定不存在目標類為止。因此，藉由例如配合作為被攝體之人更新ROI21之位置，例如即使如圖10H之訊框Fn，人的位置移動，亦可基於未圖示之前訊框F（n-1）所計算之ROI21，取得包含人的區域之資訊之訊框Fn之圖像信號。 若檢測出之人於訊框外而無法檢測，則無法取得目標類，故運算部8自步驟S205返回至S201，待機下個物體檢測關鍵訊框記錄時序。

藉由進行如上之區域剪切分析處理，物體檢測關鍵訊框記錄時序之關鍵訊框之圖像信號包含所有有效像素之資料，但後續之訊框中，可設為僅物體檢測所需要之像素之資料量極其減低之圖像信號，且成為適於目的物體檢測之圖像。再者，亦可實現因進行陣列感測器2之讀出之像素數減低之消耗電力削減。

另，圖9之處理例之情形時，對1個目標類之每個物體設定ROI21，對應於各個物體之ROI21之區域成為自陣列感測器2之讀出對象，但其不限於以物體檢測關鍵訊框檢測之物體。例如，即使於訊框F2、F3之時序出現新的物體（例如人）作為被攝體，亦有無法取得該人的圖像之可能性。 若其係如欲追隨例如以某程度之時間間隔之物體檢測關鍵訊框發現之物體而分析之使用目的，雖無問題，但適用於例如監視作為被攝體出現之所有人之監視系統等之情形時，對於於物體檢測關鍵訊框以外之訊框出現之物體亦會作為檢測對象。 因此，認為例如即使目標類之物體檢測繼續（即，步驟S205中繼判定為「是」後之情形），亦必定以特定時間間隔返回至步驟S202，取得所有有效像素之圖像信號。 亦較佳為可自處理器11等指定取得所有有效像素之圖像信號之時間間隔。

或者，亦考慮預先將圖像之周緣部設為總是與ROI21不同之AD轉換對象之區域，新的物體作為被攝體放入訊框內後，檢測該物體，亦可對該物體設定ROI21。

敘述了ROI21藉由放大限界框20，而成為矩形區域之例，但ROI21並非限定於矩形區域。 例如，亦可使用語義分割，即像素位準之物體區域檢測，自該目標類之物體區域計算ROI21。 圖11係顯示基於語義分割之ROI21。此係擴大作為物體（例如人物）之像素區域，設定非矩形ROI21之例。 例如有突起物之卡車、騎乘自行車之人等之於矩形ROI21中一部分不被包含，或成為過大狀態之情形。若根據像素位準之物體位置產生非矩形ROI21，則可提高成為可兼具資料量削減及必要資訊取得之ROI21之可能性。

另，藉由組合執行以上第2實施形態之區域剪切，及第1實施形態之分類圖像適應化處理，而可更有效獲得資料量削減及檢測精度提高之效果。

＜4.第3實施形態：使用AROI之區域剪切＞ 說明使用高階ROI（亦記作「AROI」）之區域剪切，作為可藉由圖1之構成之感測器裝置1執行之第3實施形態之處理。

所謂AROI，係使用根據類設定之樣板設定之ROI。 陣列感測器2（影像感測器）中，以光電轉換消耗之電力最大。因此，對於消耗電力削減，欲儘可能減少光電轉換之像素。 又，藉由陣列感測器2獲得之圖像信號由於係用以圖像分析而並非人應該能看見，故並無需要使人看見而辨識，或設為漂亮圖像。換言之，重要的是可精度良好地檢測物體之圖像。 例如，上述第2實施形態中，對檢測出之物體進行類識別，但若如此進行類識別，則只要將對應於類之用以辨識之最低限度區域作為ROI設定即可。因此，設定如圖12、圖13所示之AROI22。

圖12係顯示對於人的圖像區域使用對應於「人」之類的樣板產生之AROI22。圖之格子為像素（pixel），深色像素為以AROI指定之像素。 例如，對應於「人」之類的樣板係將臉部分高密度設為必要像素，身體部分係低密度配置必要像素，並可涵蓋全體。 又，圖13係顯示使用對應於「汽車」之類的樣板產生之AROI22。該例中，為了適應於汽車之背面圖像，而例如將車牌所在之部位高密度設為必要像素，其以外可將必要像素低密度配置，並涵蓋全體。 實際上，亦考慮將「人」之類亦細分化，設為「朝向側面的人」、「朝向正面的人」、「坐著的人」等，將樣板細分化，或對於「汽車」之類，設為「側面圖像」、「正面圖像」、「背面圖像」等，將樣板細分化。

如此，根據類選擇樣板，配合實際訊框內之區域大小，放大縮小樣板而產生AROI22。

圖14顯示使用AROI22之處理例。 另，由於步驟S201至S206為與圖9相同之處理，故避免重複說明。

運算部8（物體區域辨識部82）於物體檢測關鍵訊框記錄時序所得之所有有效像素之圖像信號中，存在目標類物體之情形時，於步驟S206中算出限界框20。 並且，運算部8（參數選擇部84）於步驟S210中，選擇基於類預先算出並記憶之AROI用樣板。 例如，「人」為目標類，圖像內存在人之情形時，選擇「人」用的樣板。

步驟S211中，運算部8（物體區域辨識部82）基於限界框20算出AROI22。 例如，將根據限界框20之大小調整樣板之大小者設為AROI22。 並且，運算部8（物體區域辨識部82）將該AROI22（AROI之圖案及區域）傳遞至ADC/像素選擇器3。

對應於其之ADC/像素選擇器3中，於陣列感測器2之AROI22內僅將符合之像素進行AD轉換而輸出。 運算部8於步驟S212中，取得包含僅AROI22內之像素之資訊的下個訊框之圖像資料。並且，對取得之訊框進行步驟S203、S204之處理。 之後的處理流程與圖9所說明者相同。

如此，使用根據類設定之樣板產生AROI22，從而即使大幅減少光電轉換之像素，亦可獲得可根據類正確地進行物體檢測之資訊。 另，第2實施形態中提及之物體檢測關鍵訊框記錄時序於某時間間隔必定產生，或預先將圖像之周緣部始終設為AD轉換對象之區域，亦可適用於該第3實施形態中。 又，藉由組合執行以上第3實施形態之AROI22之區域剪切，及第1實施形態之分類圖像適應化處理，而可更有效獲得資料量削減及檢測精度提高之效果。

＜5.第4實施形態：智能壓縮＞ 說明智能壓縮(Intelligent Compression)之處理，作為可藉由圖1之構成之感測器裝置1執行之第4實施形態之處理。

所謂智能壓縮，係特定出檢測之對象物，將對象物以低壓縮率施加壓縮，將對象物以外以高壓縮率施加壓縮。 圖15顯示具體例。 圖15A係顯示自某1訊框圖像檢測目標類即「汽車」之類之情形時，對應於各汽車之區域產生ROI21之狀態。 圖15B係將該ROI21之區域以低壓縮率壓縮，將其他以高壓縮率壓縮之圖像信號。 藉此，不降低成為物體檢測之應用程式對象之物體檢測精度，進行分析資料量之削減或通信資料量之減低。 又，亦謀求感測器裝置1之低消耗電力化及搭載感測器裝置1之系統全體之物體檢測相關之圖像分析之高速化。

圖16顯示進行智能壓縮之處理例。 另，步驟S201至S206係與圖9相同之處理。但，因與先前說明之區域剪切之情形有稍許情況不同之方面，故亦提及該等處理。

運算部8（關鍵訊框選擇部81）於步驟S201中判定是否成為物體檢測關鍵訊框記錄時序。 若成為物體檢測關鍵訊框記錄時序，則運算部8進行至步驟S202，取得於陣列感測器2之所有有效像素區域經AD轉換之圖像資料。 但，智能壓縮之情形時，ADC/像素選擇器3係每訊框進行自陣列感測器2讀出所有像素之信號（AD轉換）。

運算部8（物體區域辨識部82）對步驟S201中取得之圖像進行成為物體候補之位置檢測。並且，步驟S204中，運算部8（類識別部83）進行作為候補檢測出之物體之類分類。 步驟S205中，運算部8確認於作為類識別結果所得之類內是否存在目標類。

運算部8（物體區域辨識部82）於物體檢測關鍵訊框記錄時序所得之所有有效像素之圖像信號中，存在目標類物體之情形時，於步驟S206中算出限界框20。

步驟S220中，運算部8（物體區域辨識部82）基於限界框20算出ROI21。該情形亦考慮例如將限界框20放大而設定ROI21。 運算部8（物體區域辨識部82）將如此計算之ROI21傳遞至邏輯部5。

與其對應，邏輯部5中，於步驟S221中，對自陣列感測器2讀出之圖像信號，針對ROI21內符合之像素區域以低壓縮率進行壓縮處理，其他像素區域以高壓縮率進行壓縮處理。 將經壓縮處理之圖像信號其後寫入於DRAM6，藉由介面部7傳送至處理器11。 處理器11中，將ROI21所指定之必要區域設為壓縮率，因資訊充分存在，從而可進行精度良好之物體檢測。

作為運算部8之處理，步驟S220之後，返回至步驟S203，進行對下個訊框之物體候補之位置檢測，於步驟S204中進行檢測物體之類識別。 該第4實施形態，係自陣列感測器2之讀出於各訊框中作為所有有效像素者，因此，步驟S220、S221之後，返回至步驟S203之情形時，運算部8亦於步驟S203中，可掃描所有有效像素之範圍，進行物體候補檢測。藉由掃描所有有效像素之範圍，進行物體候補檢測，亦可始終對應於關鍵訊框記錄時序間之新的目標類之物體出現。 但，該情形時，若運算部8僅於ROI21內之區域進行物體候補檢測，則可削減運算部8之處理負擔。

運算部8根據確認目標種類存在，而於步驟S206、S220中更新ROI21。 因此，亦將邏輯部5中以低壓縮率壓縮之區域對應於各訊框之物體位置而更新。

若步驟S205中判定為不存在目標種類之情形時，則運算部8之處理返回至步驟S202，等待物體檢測關鍵訊框記錄時序。

藉由以上圖16之處理，將分析所需要之部位、即目標種類之物體存在之ROI21內以低壓縮率進行壓縮處理，其餘則以高壓縮率進行壓縮處理之智能壓縮處理。

另，第2實施形態中提及之將物體檢測關鍵訊框記錄時序設為依某時間間隔必定產生，或基於語義分割產生ROI，亦可應用於該第4實施形態。 又，藉由組合執行以上第4實施形態之智能壓縮處理與第1實施形態之分類圖像適應化處理，可更有效獲得資料量削減及檢測精度提高之效果。

＜6.第5實施形態：主動取樣＞ 說明主動取樣作為可藉由圖1之構成之感測器裝置1執行之第5實施形態之處理。 主動取樣是指根據對象物之有無而使訊框率動態變化之處理。可謂對應於對象物之有無之時間軸方向之資料量之壓縮。又，亦可謀求感測器裝置1之電力消耗之削減。

藉由圖17說明主動取樣之概要。 現將目標種類設為「人」，自攝像圖像進行人之檢測。例如，假設以監視相機自大樓中通過玄關拍攝外面之情形。 圖17A係顯示攝像圖像中不包含人之狀態。此種情形時，將訊框率設為低訊框率，例如1 fps。 圖17B係顯示攝像圖像內檢測出人之狀態。此種情形時，將訊框率設為高訊框率，例如100 fps。 即，因限定檢測對象而使訊框率動態變化，從而在無特別必要時（未檢測出人時）降低訊框率，於必要時（檢測出人時），提高訊框率而將資訊量設為密集。

圖18係顯示主動取樣之處理例。 步驟S301中，運算部8（關鍵訊框選擇部81）遵循例如預先記憶於運算部8內之閒置模式之設定，進行對ADC/像素選擇器3之動態圖像攝像之設定。 例如，於運算部8內，於參數選擇部84，記憶有閒置模式之設定及正常模式之設定。

主動取樣中設有閒置模式及正常模式，閒置模式係確定目標類之物體進入攝像圖像內之前之模式。 該閒置模式以較正常模式慢之訊框率進行動態圖像攝像。 考慮閒置模式以來自感測器裝置1外部之命令開始。又，閒置模式亦可對應於來自感測器裝置1外部之閒置模式用資料取得時序間隔之命令。例如，有60 sec之指示之情形時，成為60 sec間隔之物體檢測關鍵訊框記錄時序。

正常模式係通常之動態圖像攝像模式。例如，對應於來自感測器裝置1外部之正常模式用資料取得時序間隔之命令。 通常以較閒置模式快之訊框率進行動態圖像攝影，例如有0.01 sec之指示之情形時，成為以0.01 sec之間隔（100 fps）進行拍攝之模式。

因此，藉由步驟S301中運算部8對ADC/像素選擇器3指示閒置模式，若假定閒置模式之設定為1 fsp，則動態圖像攝像以例如1 sec間隔進行。 另，閒置模式之設定及正常模式之設定未必記憶於運算部8內，亦可記憶於運算部8之外部記憶體。 當然，閒置模式、正常模式之訊框率係為一例。 又，較佳為閒置模式、正常模式之設定值可由處理器11等外部裝置改寫。

步驟S302中，運算部8（物體區域辨識部82）對取得之圖像進行成為物體候補之位置檢測。 步驟S303中，運算部8（類識別部83）進行作為候補檢測出之物體之類分類。 步驟S304中，運算部8確認於作為類識別結果所得之類內是否存在目標類。 若不存在目標類，則運算部8進行步驟S301、S302、S303之處理。即，取得作為閒置模式之下個訊框圖像，同樣地進行成為物體候補之位置檢測或類識別。該情形時，若以例如1 fps進行拍攝，則對1秒後之圖像進行該等處理。

例如，將「人」設為目標類之情形時，存在「人」作為經識別之類之情形時，運算部8使處理自步驟S304進行至步驟S305。 運算部8（關鍵訊框選擇部81）遵循所記憶之正常模式之設定，進行對ADC/像素選擇器3之動態攝像之設定，指示正常模式之攝像。 因此，若假定正常模式之設定為100 fsp，則動態攝像以例如0.01 sec間隔進行。 如此，運算部8於切換成正常模式之狀態下進行步驟S302、S303之處理。

並且，只要所拍攝之圖像內存在目標類，則繼續正常模式，另一方面，若不存在目標類，則返回至步驟S301，切換成閒置模式。

如上所述，進行作為主動取樣之處理。藉此，尤其不存在目標類之期間，降低訊框率，進行資料量壓縮，又，藉此削減消耗電力。 另，運算部8對ADC/像素選擇器3指示訊框率變更，使訊框率可變，但亦可對邏輯部5指示訊框率轉換。 例如，自陣列感測器2之讀出始終以100 fps進行，閒置模式之情形時，對邏輯部5指示訊框跳行。藉此，可削減對處理器11之傳送相關之資料量。

另，藉由組合此種主動取樣處理與第2、第3、第4實施形態之形態，而可不降低檢測精度，獲得更有效之資料量削減效果。 又，亦可藉由組合主動取樣之處理與第1實施形態之分類圖像適應化處理，除有效資料量削減以外，亦可提高檢測精度。

＜7.第6實施形態：臨限值設定之圖像適應化＞ 說明圖像適應化之處理，作為第6實施形態之處理。此處說明之例係對第1實施形態之分類圖像適應化處理，進而加入對應於臨限值設定之參數變更之觀點。

作為此處所稱之參數之一例，係假設邏輯部5之圖像處理所使用之參數，邏輯部5所使用之圖像處理之參數係以例如滿足感測器裝置1內設定之臨限值之方式設定（調整、變更）。 又，作為參數，亦假設ADC/像素選擇器3之信號讀出或陣列感測器2之曝光動作等攝像處理所使用之參數。ADC/像素選擇器3或陣列感測器2之攝像處理動作之控制參數等係以例如滿足感測器裝置1內設定之臨限值之方式設定（調整、變更）。

上述第1實施形態中，邏輯部5所使用之參數係根據類識別而選擇，但該選擇之參數亦可基於臨限值而設定（調整、變更）。 或者，不限定於基於類識別選擇之參數，若為邏輯部5或ADC/像素選擇器3或陣列感測器2所使用之參數，則認為亦可基於臨限值而設定。

顯示如此基於臨限值自動設定之攝像處理相關之參數或圖像處理相關之參數之具體例。 例如，圖像處理相關之參數係如下例示。 ・圖像之縱橫比例 ・解析度 ・色階數（色數或位元數） ・對比度調整值 ・清晰度調整值 ・灰階調整值 ・伽馬校正值 ・取樣率轉換比

圖像之縱橫比例或解析度之參數亦反映於ROI21。 色階數、對比度調整值、清晰度調整值、灰階調整值、伽馬校正值、解析度成為與畫質相關之參數。 取樣率轉換比成為時間解析度之參數。

又，作為與攝像處理相關之參數，有 ・取樣率 ・解析度（例如於ADC/像素選擇器3之讀出時點設定之解析度） ・陣列感測器2之快門速度（曝光時間） 等。

當然，基於臨限值自動設定之參數亦有上述列舉以外之參數。

對應於此種參數之臨限值之設定於例如基於以處理器11使用深度神經網路（DNN：Deep Neural Network）之學習進行物體檢測之情形時，係用以對於該物體檢測之輸出擔保可實用之精度，且謀求資料量削減、處理之高速化、低消耗電力化等而進行。 即，雖變更解析度或色數等參數，減低攝像資料量，但藉此物體檢測精度仍維持在必要位準。

圖19中，說明基於臨限值之參數設定之觀點。 例如，以感測器裝置1拍攝人之情形時，作為其輸出圖像，有陣列感測器2之所有像素（所有有效像素）之資訊，例如以作為訊框率之60 fps（frames per second，每秒訊框數）輸出全色彩圖像資料。 並且，針對此種圖像資料例如以處理器11進行物體檢測之情形時，可以置信率CR=0.98，以98%之比例正確地進行人檢測。所謂置信率，係可正確地判別物體並檢測之確證性之比例。

另一方面，略微降低解析度，略微降低色階數，輸出將訊框率設為30 fps之圖像資料之情形時，置信率CR=0.92。 又，更降低解析度，更降低色階數，輸出將訊框率設為15 fps之圖像資料之情形時，置信率CR=0.81。 再者，大幅降低解析度，大幅降低色階數，輸出將訊框率設為10 fps之圖像資料之情形時，置信率CR=0.58。 以上僅為說明上之例，但藉由如此進行分析對象之圖像資料之解析度或色數、時間解析度等之與攝像或畫質相關之參數變更，而置信率變動。即，圖像分析或物體檢測精度改變。

然而，雖物體檢測之置信率不會再更高了，但實際上並非始終要求最高率。 例如，考慮如圖7A般自俯瞰拍攝公園之圖像粗略地檢測人數等情況之情形時，並不那麼要求正確性。例如，求得幾個人、10人左右、20人左右等之檢測結果之情形時，置信率CR=0.6左右可能已足夠。 另一方面，如欲以防盜相機等嚴格地監視人侵入之情形時，亦有謀求置信率CR=0.95左右之情形。 又，亦可白天置信率為CR=0.70左右，但夜晚可能期望置信率成為CR=0.90左右。

即，作為物體檢測精度所要求之置信率CR係根據其檢測之目的、對象、機器/應用程式之類別、時期、地域等各種要素而不同。 再者，置信率亦根據處理器11之分析能力、學習程度而變動，亦根據檢測對象、類而變動。 因此，例如以所要求之適當置信率為基準決定臨限值，對應於其變更參數，從而可進行與物體檢測等之要求一致之圖像信號之輸出。

目前，圖19之例中，要求置信率CR=0.80以上。 該情形時，計算如作為置信率CR之臨限值成0.80以上之參數，設定邏輯部5等使用之參數。尤其設定如較臨限值高，但資料量變少之參數。 例如，設定圖示之置信率CR=0.81之解析度、色階數、訊框率等參數。 於是，例如與以置信率CR=0.98之方式設定參數，輸出圖像信號之情形相比，可大幅削減資料量，且維持必要之物體檢測精度。 另，所謂「臨限值」，亦可認為係作為置信率要求的值，但用以調整參數而算出之臨限值之含義中，亦可作為用以獲得作為要求之「臨限值」之置信率的參數之值考慮。 即，技術性含義中，「設定參數之臨限值，進行使用基於臨限值設定之參數之處理」之處理係假設如以下[1]、[2]之處理方法。 [1]算出適於使用態樣或使用環境之置信率等指標值之臨限值，設定實際使用之參數作為獲得超出該指標值之臨限值的指標值之參數值。即，以物體檢測之指標值之觀點，設定參數之臨限值。 [2]算出用以獲得作為置信率等指標值所要求的值之參數之臨限值，設定基於該臨限值實際使用之參數。即，以參數自身之值之觀點，設定參數之臨限值。

本實施形態中，例如基於置信率，如上述[1]或[2]般設定臨限值，實際使用之參數作為以圖像資料量儘可能變少之方式適應化之參數。係即時（例如，於攝像中定期等）算出此種參數，動態地進行參數變更者。 例如，配合感測器裝置1之用途、目標類或攝像環境，藉由DNN處理，算出適當臨限值或對應於其之參數，進行參數變更，從而進行適應於應用程式等之高速化、低消耗電力化、高精度化。 尤其，作為第6實施形態說明之例中，參數調整係設置物體檢測之置信率之臨限值，算出儘可能接近該臨限值，且不低於臨限值之參數之設定值。

又，臨限值及對應於其之參數較佳對每類進行。 圖20A係顯示分類成「人臉」作為類之圖像，圖20B係顯示分類成「路標（標識）」作為類之圖像。

圖20A中，顯示人臉之情形時，將圖像信號設為8位元RGB資料之16777216色，將資料量設為1.5 MB之情形時，置信率CR=0.99，將圖像信號設為8位元灰色調之256色，將資料量設為540 KB之情形時，置信率CR=0.75，將圖像信號設為黑白2色，將資料量設為180 KB之情形時，置信率CR=0.58。

例如，該情形時，將針對人臉之臨限值設為置信率CR=0.74之情形時，右側之圖像不適當，作為參數設定，中央圖像之參數適合。

圖20B中，顯示路標之情形時，將圖像信號設為8位元RGB資料之16777216色，將資料量設為1.4 MB之情形時，置信率CR=0.99，將圖像信號設為8位元灰色調之256色，將資料量設為520 KB之情形時，置信率CR=0.95，將圖像信號設為黑白2色，將資料量設為110 KB之情形時，置信率CR=0.88。

例如，該情形時，針對路標將臨限值設為置信率CR=0.85之情形時，任一圖像皆適合。作為參數設定，右側圖像之參數適合。

例如，如此根據物體之類，對於圖像信號之品質之檢測精度或要求之精度亦不同，故較好是進行對應於類之臨限值設定或參數變更。

以下，說明第6實施形態之具體例。 首先，圖21顯示感測器裝置1之構成例。但，對與圖1相同之構成要素標註相同符號，避免重複說明。 該圖21之構成中，與圖1相比，例如作為以AI處理器構成之運算部8內之運算功能，設有臨限值設定部85之方面不同。

臨限值設定部85具有作為DNN引擎之功能，對邏輯部5之圖像處理或陣列感測器2之攝像相關之攝像處理（陣列感測器2及ADC/像素選擇器3之處理）所使用之參數之全部或一部分，進行設定參數之臨限值之處理。

又，臨限值設定部85於邏輯部5、陣列感測器2、ADC/像素選擇器3之全部或一部分中，進行使用基於臨限值而變更之參數之處理。 具體而言，臨限值設定部85基於臨限值，變更例如邏輯部5中使用於圖像處理之參數，將變更後之參數設定於邏輯部5。 或者又，臨限值設定部85基於臨限值，變更例如陣列感測器2之曝光動作或ADC/像素選擇器3之讀出處理、AD轉換處理等攝像處理所使用之參數，將變更後之參數設定於陣列感測器2或ADC/像素選擇器3。

圖22顯示此種感測器裝置1之運算部8之處理例。圖22係對圖5之分類圖像適應化處理，加入上述臨限值設定部85之處理之例。圖22中，對與圖5相同之處理標註相同步驟號並省略說明。 該圖22中，對圖5之處理追加作為臨限值設定部85之處理之步驟S150、S151。

步驟S150中，運算部8判定是否為臨限值算出時序，若為臨限值算出時序，則進行至步驟S151，若非臨限值算出時序，則進行至步驟S101。

臨限值算出時序設為例如以下各時序。 a.特定之每時間間隔：例如自攝像開始每1小時間隔 b.特定之每設定時刻：例如每時刻0:00am c.特定之目標類之每出現次數：例如目標類每出現1000次 d.特定之目標類每攝像時間：例如拍攝目標類之時間每經過5小時 e.來自外部之命令之時序：例如來自處理器11等之搭載感測器裝置1之裝置/機器側之指示。

例如，於步驟S150中判定該等時序等，若成為臨限值算出時序，則運算部8於步驟S151中進行遵循臨限值算出方針之臨限值算出。即，決定臨限值，設定對應於臨限值之參數。

該臨限值算出方針（臨限值）依據算出臨限值時著眼之攝像處理或圖像處理之參數種類或掌握方法，而分成若干方針，根據應用程式而不同。以下舉該例。

・使用置信率之下降曲線之拐點 雖有若降低解析度，則資料大小減少，計算成本亦下降之優點，但一般而言，置信率相反地下降。 圖23A係於橫軸顯示解析度，於縱軸顯示置信率。 如圖示，若變為某解析度（拐點）以下之低解析度，則置信率之下降較大下降。因此，例如一面變更解析度，一面求得置信率與解析度之關係曲線之拐點。將該拐點或拐點附近認作臨限值，進行如降低解析度之參數設定。

・使用置信率之最大值 物體檢測之類分類根據其類，未必色數愈多而置信率愈高，根據成對象之類，有置信率成最大之最佳色數。 圖23B係於橫軸顯示色階數，於縱軸顯示置信率。 如圖示，觀測置信率之峰值之情形時，基於其最大值計算臨限值。例如，將最大值（置信率與色階數之關係之曲線的峰值）認作臨限值，或將接近最大值之特定範圍（降低特定%置信率之值等）認作臨限值。並且，根據臨限值設定色階數之參數。

・使用電池剩餘量 基於電池剩餘量，求得可拍攝N小時之參數，以其中置信率成最高之方式（或成為特定以上之方式）設定參數。 例如，考慮以獲得儘可能長的攝像時間之方式，根據電池剩餘量降低置信率等之臨限值，進行對應於該置信率之參數設定。

・使用可維持目標追蹤之時間解析度。 所謂目標追蹤，係於訊框行進方向尾隨辨識連續之圖像信號之訊框中特定之檢測物體（目標）。 一般而言，若降低圖像信號之時間解析度，則目標追蹤所花費之計算成本變高。 將可維持該目標追蹤之參數設為臨限值，以目標追蹤之低計算成本化優先，決定時間解析度或其他參數。

例如，採用如以上例之方針之任一者，以特定之運算法進行臨限值算出。圖24顯示運算部8之臨限值算出處理之例。 該圖24之運算部8之處理係藉由作為以圖21所示之物體區域辨識部82、類識別部83、臨限值設定部85之各功能而執行之處理。

運算部8於步驟S160中，自陣列感測器2取得1訊框單位之圖像信號。

步驟S161中，運算部8（物體區域辨識部82）進行取得之訊框內成為物體候補之位置檢測。 即運算部8探索訊框圖像中應檢測之物體之候補，求得1個或複數個候補之位置（圖像內之位置座標）。

步驟S162中，運算部8（類識別部83）進行檢測物體之類分類。即，對物體候補之各者進行類識別並分類。

步驟S163中，運算部8確認於作為類識別結果所得之類內是否存在目標類。 目標類係如上述，例如為由處理器11設定之類。即假設作為處理器11之物體檢測對象之類。

若不存在目標類，則運算部8返回至步驟S160，進行下個訊框之圖像資料取得。 存在目標類之情形時，運算部8使處理自步驟S163進行至S164。

進行至步驟S164之情形時，運算部8（物體區域辨識部82）進行包圍分類為類之物體區域之正確的位置座標（限界框20）之算出。對於限界框20，如使用圖6F、圖6G等說明。

步驟S165中，運算部8（臨限值設定部85）一面遵循預先設定之臨限值算出方針，變更對於以限界框20包圍之目標類之攝像處理或圖像處理所使用之參數，一面算出臨限值及參數。

步驟S166中，運算部8（臨限值設定部85）將步驟S165中算出之臨限值、參數、目標類及臨限值算出方針之資訊建立對應並記錄。 例如，記錄於運算部8內部之記錄區域，或記錄於記憶體6之特定區域，或傳送至處理器11並記錄。 藉此，設定對應於目標類之臨限值或參數。

圖22之步驟S151中，例如如上述設定臨限值及參數。因此，每次成為臨限值算出時序，變更對於某目標類之參數組。 例如，若人為目標類，則根據臨限值變更對應於人之參數組之全部或一部分參數。

圖22之步驟S101至S107與圖5相同，故該情形時，根據目標類選擇參數組。並且，步驟S107中，將參數組設定於邏輯部5。 設置於該邏輯部5之參數組係適應於目標類之參數組，但成為基於上述步驟S151之處理所算出之臨限值而變更之參數組。 運算部8（臨限值設定部85）以如此變更邏輯部5所使用之參數之方式，進行必要處理，例如進行參數對邏輯部5之傳送或變更指示。

藉此，圖像處理或攝像處理相關之參數設為基於臨限值而像素資料量儘可能變少之值。 因此，自介面部7輸出之圖像信號可作為可維持處理器11所必要之物體檢測精度之畫質等，且資料量較少者。

另，以上之圖22之處理例係對圖5之分類圖像適應化處理加入基於臨限值設定之參數變更之觀點者，但未必與分類圖像適應化處理組合。 例如，亦考慮僅步驟S150、S151、S107、S108之處理例（圖22中，無步驟S101至S107之處理例）。

即，邏輯部5中使用於圖像處理之參數，或陣列感測器2或ADC/像素選擇器3所使用之攝像處理所用之參數係基於步驟S151之臨限值算出而設定。 並且，於步驟S107之時點，將根據臨限值設定之參數設定於邏輯部5、或陣列感測器2、或ADC/像素選擇器3。 即，運算部8（臨限值設定部85）將根據臨限值設定之參數傳送至邏輯部5、陣列感測器2、ADC/像素選擇器3之一部分或全部，或進行變更指示。 該情形時，不管使用對應於類之參數組之觀點，於例如邏輯部5、陣列感測器2、ADC/像素選擇器3中，實現如逐次基於臨限值算出而變更例如預設所設定之參數般之處理。

具有臨限值設定部85之構成不限於圖21，亦考慮例如如圖25、圖26之構成例。 圖25係作為終端裝置100，與感測器裝置1分開設置運算部8之構成例。另，作為終端裝置100，考慮資訊處理終端、攝像裝置終端等各種。 運算部8設為與感測器裝置1不同晶片設置於終端裝置100內，可經由介面部7與感測器裝置1通信。 並且，運算部8具備成為用以臨限值設定之DNN引擎之臨限值設定部85。 藉此，圖25之運算部8亦可進行與上述圖22之情形相同之處理。

另，如該圖25之構成例亦可應用於第1至第5實施形態之圖1之構成例。運算部8亦可與感測器裝置1分開。

圖26之構成例係成為用以臨限值設定之DNN引擎之臨限值算出部85藉由與感測器裝置1或運算部8獨立之處理器等形成之情形之例。 例如，作為終端裝置100，係具有感測器裝置1（包含運算部8）、處理器11、外部感測器12及臨限值設定部85之構成。 該情形時，臨限值設定部85亦可經由介面部7與感測器裝置1通信，可與運算部8聯合進行與上述圖22相同之處理。

再者，雖省略圖示，但如圖26，感測器裝置1及運算部8分開之構成中，亦可進而藉由不同的處理器等構成臨限值設定部85。

另，對於關鍵訊框選擇部81、物體區域辨識部82、類識別部83、參數選擇部84等，亦考慮與臨限值設定部85同樣地，設為配置於感測器1之外，或運算部8之外之構成。該方面亦可適用作為圖1之構成之變化例。

＜8.第7實施形態：有效區域剪切＞ 作為第7實施形態，使用上述第2實施形態之ROI，說明進而實現有效處理之例。 另，圖1、圖21、圖25、圖26之任一構成中，亦可適用以下第7實施形態之處理。

上述第2實施形態中，敘述了如圖7、圖8所例示般，對檢測對象物體設定ROI21，自陣列感測器2讀出僅設為ROI21之區域內之像素之例。 此處，著眼於有設為ROI21之區域集中於圖像內之特定區域之情形。

圖27A係舉例如建築物內之監視相機之圖像為例。以人為檢測對象，設定ROI21。圖中，顯示成為過去特定期間內設定之ROI21之源之限界框20之圖像內之位置。 例如，該情形時，於過去之特定期間內，限界框20（及ROI21）之設定位置成為圖像內接近地板之區域。 換言之，可謂由於人不會出現在圖像內之天花板附近之區域，故亦可不對天花板附近之圖像區域進行人之檢測處理。

因此，例如如圖27B所示，將出現檢測對象之「人」之區域，即，於過去特定期間有經設定限界框20之實績之區域設為有效區域RA，將不出現檢測對象之「人」之區域，即，於過去特定期間未設定限界框20之區域設為非有效區域DA。

圖28A係舉例如於高速道路上將車作為檢測對象進行監視之監視相機之圖像之例，係顯示於過去特定期間設定之限界框20之位置。 該情形時，由於車亦出現於路面附近，故如圖27B所示，可設定有效區域RA及非有效區域DA。

如以上之圖27B、圖28B之例般，設定有效區域RA，基於陣列感測器2之攝像圖像之有效區域RA之檢測信號，進行物體檢測。並且，與第2實施形態同樣地，將基於物體之檢測產生之ROI21作為檢測信號之取得或檢測信號之信號處理相關之區域，對信號處理部30指示。

即，對於物體檢測關鍵訊框，並非對所有畫面掃描而是基於物體檢測之歷程資訊，部分地進行光電轉換，進行物體檢測。 另，所謂物體檢測關鍵訊框，係為了以第2實施形態之處理檢測物體，而於陣列感測器2之所有有效像素區域進行資訊取得之訊框。該關鍵訊框中，僅於有效區域RA之像素區域進行資訊取得係第7實施形態之處理。

圖29係顯示運算部8之處理例。另，針對與圖9相同之處理標註相同步驟號。

運算部8於步驟S250中，判定是否成為對於關鍵訊框之有效區域之算出時序，若為算出時序，則進行至步驟S161，若非臨限值算出時序，則進行至步驟S201。

對於關鍵訊框之有效區域RA之算出時序例如考慮如下。 a.特定之每時間間隔：例如自開始攝像之每小時 b.特定之每設定時刻：例如每時刻0:00am c.特定之目標類之每出現次數：例如目標類每出現1000次 d.特定之目標類每攝影時間：例如拍攝目標類之時間為每5小時 e.來自外部之命令之時序：例如來自處理器11等之搭載感測器裝置1之裝置/機器側之指示。

以算出時序進行至步驟S161之情形時，運算部8進行對於關鍵訊框之有效區域RA之算出。

圖30顯示對於關鍵訊框之有效區域RA之算出處理例。 運算部8（物體區域辨識部82）於步驟S271中，算出於過去之特定期間內，出現目標類之限界框20之陣列感測器2上之出現區域之像素。 該情形時，出現之各個限界框20內之所有像素變為出現區域之像素，但較佳為設定包絡地包圍出現之所有限界框20之範圍，將該範圍之所有像素設為出現區域之像素。 再者，亦可將包絡地包圍出現之所有限界框20之範圍於周圍方向擴展，將該範圍之所有像素設為出現區域之像素。 如此算出之包含限界框20之所有出現區域之像素範圍成為有效區域RA。

步驟S272中，運算部8（物體區域辨識部82）將算出之像素區域隨類名一起，作為對於關鍵訊框之有效區域RA予以記錄。例如，記錄於運算部8內部之記錄區域，或記錄於記憶體6之特定區域，或傳送至處理器11而記錄。 藉此，設定對應於目標類之有效區域RA。

圖29之步驟S201中，運算部8（關鍵訊框選擇部81）於步驟S201中判定是否成為物體檢測關鍵訊框記錄時序。 與第2實施形態（圖9）同樣，所謂物體檢測關鍵訊框記錄時序，係為檢測物體而自陣列感測器2進行資訊取得之時序。 作為物體檢測關鍵訊框記錄時序，亦可例如以來自處理器11等之感測器裝置1外部之命令進行判定。例如，假設根據60 sec之指示，以60 sec之間隔，判定為物體檢測關鍵訊框記錄時序。

成為物體檢測關鍵訊框記錄時序後，運算部8進行至步驟S252，針對陣列感測器2之有效區域RA之像素取得經AD轉換之像素資料。例如，對ADC/像素選擇器3，以有效區域RA為對象，輸出來自陣列感測器2之1訊框之圖像信號。

步驟S203中，運算部8（物體區域辨識部82）對取得之圖像進行成為物體候補之位置檢測。另，該步驟S203至S208與圖9相同。

根據以上圖29之處理，並非於1訊框之所有有效像素區域，而僅於有效區域RA進行步驟S203之物體檢測。並且，有效區域RA係可具有目標類之物體檢測之區域。換言之，有效區域RA以外係大致無法具有目標類之物體檢測之區域。 因此，可藉由物體檢測關鍵訊框之讀出像素數之削減、檢測範圍之縮小，而實現處理之效率化、消耗電力削減等。 另，以上例中，基於限界框20之歷程，設定有效區域RA，但亦可基於ROI21之歷程，設定有效區域RA。該情形時，亦考慮包含每訊框移動之ROI（圖10中說明之ROI21(NEW)）之像素位置之歷程。

＜9.第8實施形態：臨限值設定及使用AROI之區域剪切＞ 作為第8實施形態，說明使利用以第3實施形態顯示之AROI22之區域剪切更效率化之處理例。另，該第8實施形態之處理可於圖21、圖25、圖26之任一構成中實施。

該第8實施形態係使用利用樣板之AROI22之情形時，對檢測對象之物體（類）或部位等，基於設定之臨限值設定參數者。即，採用第6實施形態之臨限值之觀點，基於算出DNN之物體檢測之正解率決定臨限值，設定參數。

例如，根據使用置信率設定之臨限值，決定AROI22內之注目區域之解析度分佈。 圖31係模式性顯示例。針對將人設為目標類之情形，及將臉設為目標類之情形進行考慮。

設為第1解析度＞第2解析度＞第3解析度。 作為臉檢測之置信率CR係於第1解析度為0.95，於第2解析度為0.86，於第3解析度為0.66。 作為人（身體）檢測之置信率CR係於第1解析度為0.98，於第2解析度為0.81，於第3解析度為0.65。

將作為臉檢測之臨限值thF設為0.85之情形時，選擇第2解析度作為以像素資料量儘可能變少之方式適應化之參數，進行針對樣板內之像素之圖像處理。 又，將作為人檢測之臨限值thP設為0.80之情形時，選擇第2解析度作為以圖像資料量儘可能變少之方式適應化之參數，進行針對樣板內之像素之圖像處理。 該情形任一者均第2解析度較佳，但亦假設根據情形不同，臉檢測之情形時，以臨限值thF為0.94設定第1解析度，對於人檢測，將臨限值thP設定為0.60而設定第3解析度。

即，使用AROI22之情形時，對每目標類設定臨限值，設定對於AROI22內之像素之圖像處理或讀出處理等之參數。

圖32顯示運算部8之處理例。 圖32之步驟S250、S251與圖29之步驟S250、S251相同，運算部8以關鍵訊框之有效區域RA之檢測時序，進行有效區域RA之算出（圖30之處理）。

步驟S260、S261與圖22之步驟S150、S151相同。即，步驟S260中，運算部8（臨限值設定部85）判定是否為臨限值算出時序，若為臨限值算出時序，則於步驟S261中進行臨限值算出（圖24之處理）。

作為該情形之圖24之臨限值算出處理，運算部8（物體區域辨識部82）與上述同樣地，進行步驟S160至S164。並且，運算部8（臨限值設定部85）於步驟S165中，對以限界框20包圍之目標類變更解析度，且算出基於來自相當於作為樣板之AROI圖案之像素區域的資料之置信率的臨限值，基於該臨限值設定參數。

該情形時，對於作為對應於類之樣板之AROI圖案，根據臨限值設定參數。例如，設定對於AROI圖案上之區域之解析度。 並且，步驟S166中，將臨限值、目標類、與AROI圖案必要之參數、及臨限值算出方針之資訊建立對應並記錄。例如，記錄於運算部8內部之記錄區域，或記錄於記憶體6之特定區域，或傳送至處理器11而記錄。

圖32之步驟S201中，運算部8判定是否成為物體檢測關鍵訊框記錄時序，若成為物體檢測關鍵訊框記錄時序，則運算部8進行至步驟S252，取得對陣列感測器2之有效區域RA之像素進行AD轉換之圖像資料。例如，對ADC/像素選擇器3，以有效區域RA為對象，輸出來自陣列感測器2之1訊框之圖像信號。

步驟S203中，運算部8（物體區域辨識部82）對取得之圖像進行成為物體候補之位置檢測。該步驟S203至S206與圖9相同。

步驟S206中，算出限界框20後，運算部8（參數選擇部84）於步驟S262中，選擇基於臨限值算出並記錄之AROI圖案。 步驟S211中，運算部8（物體區域辨識部82）基於限界框20算出實際AROI22。即，求得對應於選擇之AROI圖案之實際像素區域。例如，將根據限界框20之大小調整樣板之大小者設為AROI22。 並且，運算部8（物體區域辨識部82）將該AROI22（AROI之圖案及區域）傳遞至ADC/像素選擇器3。

對應於其之ADC/像素選擇器3中，於陣列感測器2之AROI22內僅將符合之像素進行AD轉換並輸出。 運算部8於步驟S212中，取得包含僅AROI22內之像素之資訊的下個訊框之圖像資料。並且，對取得之訊框進行步驟S203、S204之處理。

如此，亦對AROI22進行例如對應於置信率之參數設定，設定解析度等參數，從而可一面維持物體檢測精度，一面使攝像處理或圖像處理效率化。

＜10.第9實施形態：臨限值設定之主動取樣＞ 作為第9實施形態，說明對第5實施形態說明之主動取樣之方法，加入基於算出DNN之物體檢測之正解率決定時間解析度之方法之例。 即，進行基於目標類之每單位時間之平均移動量，使訊框率動態變化之處理。 另，該第9實施形態之處理可於圖21、圖25、圖26之任一構成中實施。

上述第5實施形態中，準備正常模式及閒置模式，攝像圖像內未檢測出目標類存在之期間，作為閒置模式設為低訊框率。並且，若確認存在目標類，則作為正常模式提高訊框率，將資訊量設為較密。 第9實施形態中，除該處理外，係根據目標類設定正常模式之訊框率者。

圖32A係感測器裝置1於拍攝高速道路上之監視相機中使用之情形之圖像例。將目標類設為車，顯示限界框20。虛線箭頭表示某車之移動方向。 圖32B係以連續訊框之限界框20之圖像上之位置（峰值位置）之變化，顯示拍攝之車之移動量。若於多數車中考慮此種移動量，則將平均移動量暫時設為1152像素/秒。 該情形時，算出可維持目標追蹤（連續訊框圖像上之對象物之尾隨）之取樣率時，則為46 fps。

接著，圖33A係感測器裝置1於建築物內之監視相機中使用之情形之圖像例。將目標類設為人，顯示限界框20。虛線箭頭表示某人之移動方向。 圖32B係以連續訊框之限界框20之圖像上之位置（像素位置）之變化，顯示所拍攝之人之移動量。若於多數人中考慮此種移動量，則將平均移動量暫時設為192像素/秒。 該情形時，算出可維持目標追蹤之訊框率時，為5 fps。

例如如上述，目標類為車之情形及人之情形時，可維持目標追蹤之訊框率不同。 於是，根據目標類，藉由DNN求得可維持目標追蹤之訊框率，若求得其臨限值（容許之訊框率下限），則設為儘可能少之資料量，且可一面尾隨對象物一面維持檢測之物體檢測精度。 另，訊框率係根據陣列感測器2之讀出時序之設定，或ADC/像素選擇器3之取樣率之設定而決定。

圖35顯示運算部8之處理例。 步驟S350、S351與圖22之步驟S150、S151同樣。即步驟S350中，運算部8（臨限值設定部85）判定是否為臨限值算出時序，若為臨限值算出時序，則於步驟S351中進行臨限值算出（圖24之處理）。

作為該情形之圖24之臨限值算出處理，運算部8（物體區域辨識部82）與上述同樣地，進行步驟S160至S164。並且，運算部8（臨限值設定部85）於步驟S165中，對於以限界框20包圍之目標類，一面變更訊框率，一面算出可維持目標追蹤之臨限值（成為臨限值之訊框率）。 其後，步驟S166中，運算部8（臨限值設定部85）將步驟S165中算出之臨限值與目標類、及臨限值算出所使用之臨限值算出方針之資訊建立對應並記錄。例如，記錄於運算部8內部之記錄區域，或記錄於記憶體6之特定區域，或傳送至處理器11並記錄。 藉此，例如以基於對應於目標類之臨限值之參數，即可維持目標追蹤之訊框率，設定儘可能低之訊框率之值。

圖35之步驟S301至S106與圖18相同。 步驟S301中，運算部8（關鍵訊框選擇部81）遵循例如預先記憶於運算部8內之閒置模式之設定，進行對ADC/像素選擇器3之動態圖像攝像之設定。 因此，若假定閒置模式之設定為1 fsp，則動態攝像以例如1 sec間隔進行。

步驟S302中，運算部8（物體區域辨識部82）對取得之圖像進行成為物體候補之位置檢測。 步驟S303中，運算部8（類識別部83）進行作為候補而檢測出之物體之類分類。 步驟S304中，運算部8確認於作為類識別結果所得之類內是否存在目標類。 若不存在目標類，則運算部8經由步驟S350、S351，重複步驟S301、S302、S303之處理。 該期間，若成為臨限值算出時序，則進行步驟S351之處理。

步驟S304中，判定為存在目標類之情形時，運算部8使處理自步驟S304進行至S352。 運算部8（關鍵訊框選擇部81）將以步驟S351之處理而記憶之參數作為正常模式之設定，進行對ADC/像素選擇器3之動態圖像攝像之設定，指示正常模式之攝像。

例如，目標類為人，如圖34C，可以5 fps維持目標追蹤，訊框率=5 fps之情形時，正常模式之訊框率設定成為5 fsp。 如此，運算部8於切換成正常模式之狀態下進行步驟S302、S303之處理。

並且，只要所拍攝之圖像內存在目標類，則繼續正常模式，另一方面，若不存在目標類，則經由步驟S350、S351，返回至步驟S301，切換成閒置模式。

如上所述，進行作為主動取樣之處理。藉此，尤其不存在目標類之期間，降低訊框率，進行資料量壓縮，又藉此削減消耗電力。 又，即使設為正常模式，亦以根據目標類而適應化之訊框率進行處理，故根據類而成為非常低之訊框率（上述之5 fps等）。因此，正常模式中，亦進行資料量壓縮及消耗電力削減。

另，運算部8對ADC/像素選擇器3指示訊框率變更，使訊框率可變，但亦可對邏輯部5指示訊框率轉換。 例如，自陣列感測器2之讀出始終以100 fps進行，但對應於以閒置模式或正常模式設定之參數，對邏輯部5指示訊框跳行。藉此，可進行對處理器11之傳送相關之資料量削減。

＜11.對移動體之應用例＞ 本揭示之技術可應用於各種製品。例如，本揭示之技術亦可作為搭載於汽車、電動汽車、油電混合汽車、機車、自行車、個人移動工具、飛機、無人機、船舶、機器人等任一種類之移動體之裝置而實現。

圖36係顯示可應用本揭示之技術之移動體控制系統之一例即車輛控制系統之概略構成例之方塊圖。

車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖36所示之例中，車輛控制系統12000具備驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及統合控制單元12050。又，作為統合控制單元12050之功能構成，圖示微電腦12051、聲音圖像輸出部12052、及車載網路I/F(Interface：介面)12053。

驅動系統控制單元12010遵循各種程式，控制與車輛之驅動系統關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等之用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳達至車輪之驅動力傳達機構、調節車輛舵角之轉向機構、及產生車輛之制動力之制動裝置等之控制裝置發揮功能。

車體系統控制單元12020遵循各種程式，控制裝備於車體之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙門禁系統、智能鑰匙系統、電動窗裝置、或頭燈、尾燈、剎車燈、方向燈或霧燈等各種燈具之控制裝置發揮功能。該情形時，可對車體系統控制單元12020輸入自代替鑰匙之可攜帶式機器發送之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，控制車輛之門鎖裝置、電動窗裝置、燈等。

車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛外部之資訊。例如，於車外資訊檢測單元12030連接攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收拍攝到之圖像。車外資訊檢測單元12030亦可基於接收到之圖像，進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。

攝像部12031係接收光且輸出對應於該光之受光量的電性信號之光感測器。攝像部12031可將電性信號作為圖像輸出，亦可作為測距之資訊輸出。又，攝像部12031接收之光可為可見光，亦可為紅外線等非可見光。

車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040，連接例如檢測駕駛者的狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040可基於自駕駛者狀態檢測部12041輸入之檢測資訊，算出駕駛者之疲勞程度或精神集中程度，亦可判斷駕駛者是否在打瞌睡。

微電腦12051可基於以車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，且對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含迴避車輛碰撞或緩和衝擊、基於車間距離之追隨行駛、維持車速行駛、車輛之碰撞警告或車輛偏離車道警告等之ADAS(Advanced Driver Assistance System:先進駕駛輔助系統)之功能為目的之協調控制。

又，微電腦12051藉由基於車外資訊檢測單元12030或車內資訊檢測單元12040所取得之車輛周圍之資訊，控制驅動力產生裝置、轉向機構或制動裝置等，而進行以不拘於駕駛者之操作而自動行駛之自動駕駛等為目的之協調控制。

又，微電腦12051可基於車外資訊檢測單元12030所取得之車外之資訊，對車體系統控制單元12030輸出控制指令。例如，微電腦12051可根據車外資訊檢測單元12030檢測到之前方車或對向車之位置而控制頭燈，進行以謀求將遠光燈切換成近光燈等防眩為目的之協調控制。

聲音圖像輸出部12052向可對車輛之搭乘者或對車外視覺性或聽覺性通知資訊之輸出裝置發送聲音及圖像中之至少任一種輸出信號。於圖36之例中，作為輸出裝置，例示擴音器12061、顯示部12062及儀表板12063。顯示部12062亦可包含例如車載顯示器及抬頭顯示器之至少一者。

圖37係顯示攝像部12031之設置位置之例之圖。

於圖37中，具有攝像部12101、12102、12103、12104、12105作為攝像部12031。

攝像部12101、12102、12103、12104、12105例如設置於車輛12100之前保險桿、側視鏡、後保險桿、後門及車廂內之擋風玻璃之上部等位置。前保險桿所具備之攝像部12101及車廂內之擋風玻璃之上部所具備之攝像部12105主要取得車輛12100前方之圖像。側視鏡所具備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或後門所具備之攝像部12104主要取得車輛12100後方之圖像。車廂內之擋風玻璃之上部所具備之攝像部12105主要使用於檢測前方車輛或行人、障礙物、號誌機、交通標識或車道線等。

另，圖37中顯示攝像部12101至12104之攝像範圍之一例。攝像範圍12111表示設於前保險桿之攝像部12101之攝像範圍，攝像範圍12112、12113分別表示設於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設於後保險桿或後門之攝像部12104之攝像範圍。例如，藉由使攝像部12101至12104所拍攝之圖像資料重疊，可獲得自上方觀察車輛12100之俯瞰圖像。

攝像部12101至12104之至少一者亦可具有取得距離資訊之功能。例如，攝像部12101至12104之至少一者可為包含複數個攝像元件之攝錄影機，亦可為具有相位差檢測用之像素之攝像元件。

例如，微電腦12051基於自攝像部12101至12104取得之距離資訊，求得攝像範圍12111至12114內與各立體物之距離，及該距離之時間變化(對於車輛12100之相對速度)，藉此可尤其將位於車輛12100之行進路上最近之立體物、且為在與車輛12100大致相同之方向以特定速度(例如為0 km/h以上)行駛之立體物擷取作為前方車。再者，微電腦12051可設定前方車於近前應預先確保之車間距離，進行自動剎車控制(亦包含停止追隨控制)、自動加速控制(亦包含追隨起動控制)等。可如此地進行不受限於駕駛者之操作而以自動行駛之自動駕駛等為目的之協調控制。

例如，微電腦12051可基於自攝像部12101至12104取得之距離資訊，將與立體物相關之立體物資料分類成機車、普通車輛、大型車輛、行人、電線桿等其他立體物而擷取，使用於自動迴避障礙物。例如，微電腦12051可將車輛12100周邊之障礙物識別為車輛12100之駕駛者可視認之障礙物與難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞風險，當碰撞風險為設定值以上且有碰撞可能性之狀況時，經由擴音器12061或顯示部12062對駕駛者輸出警報，或經由驅動系統控制單元12010進行強制減速或迴避轉向，藉此可進行用以避免碰撞之駕駛支援。

攝像部12101至12104之至少一者亦可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定攝像部12101至12104之攝像圖像中是否存在行人而識別行人。該行人之識別係根據例如擷取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之順序、及對表示物體輪廓之一連串特徵點進行圖案匹配處理而判別是否為行人之順序而進行。若微電腦12051判定攝像部12101至12104之攝像圖像中存在行人，且識別行人，則聲音圖像輸出部12052以對該經識別之行人重疊顯示用以強調之方形輪廓線之方式，控制顯示部12062。另，聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於期望之位置之方式控制顯示部12062。

以上，已針對可應用本揭示技術之車輛控制系統之一例進行說明。本揭示之技術可應用於以上說明之構成中，例如攝像部12031。具體而言，作為搭載於攝像部12031之影像感測器，可適用本揭示之感測器裝置1，執行分割圖像適應化、區域剪切、智能壓縮、主動取樣之一部分或全部。藉此，可藉由適應於車外資訊檢測之圖像處理，或未降低檢測精度地使資訊量適當削減而減低處理負擔等。

＜12.總結及變化例＞ 以上之實施形態中，獲得如下效果。 如第1、第6實施形態所說明，感測器裝置1具備：陣列感測器2，其係複數個可見光或非可見光之攝像元件1維或2維排列而成；邏輯部5（圖像處理部），其對藉由陣列感測器2之攝像所得之圖像信號，進行使用所指示之參數之圖像處理；及運算部8。運算部8對自藉由陣列感測器2之攝像所得之圖像信號檢測之物體進行類識別，基於識別出之類選擇使用於圖像處理之參數，以選擇之參數進行邏輯部5之處理設定。 即，對藉由陣列感測器2所得之圖像信號以邏輯部5實施圖像處理，基於圖像信號之檢測物體之類識別，設定該圖像處理之參數。 進行自圖像之物體檢測之情形時，人看到之高品質圖像未必為辨識精度變高之圖像。又，根據辨識物體之類而期望之畫質不同。即，經實施利用成為視認上高畫質般之通常參數設定之圖像處理之圖像未必為用以物體檢測之適宜畫質。又，根據辨識之物體之類，期望之圖像處理參數不同。 因此，預先對每類保持參數組，根據攝像圖像中檢測物體之類識別，選擇使用之參數組。藉此，進行適於目的之物體檢測之圖像處理。根據進行此種圖像處理之圖像，可實現物體檢測之精度提高。 又，對物體檢測較佳之畫質調整與人感到美觀之畫質調整不同，故不使用例如用以使美觀度優先之模糊濾光器等。因此，設定之參數多帶來處理之低負荷化。 又，根據對應於類之參數（例如灰階變更或壓縮相關之參數等），使資料量減低之情形亦較多，該情形時，亦避免因處理器11側之計算成為高負荷而處理延遲，或系統全體之消耗電力上升。

各實施形態之感測器裝置1具備介面部7（輸出部），其將經邏輯部5（圖像處理部）圖像處理之圖像信號輸出至外部裝置。 感測器裝置1藉由內部之邏輯部5，進行對應於物體之類之圖像處理，將其發送輸出至處理器11（圖5之步驟S108），但藉此於處理器11中無需進行用以提高物體檢測之畫質調整。因此，可減輕處理器11之處理負擔，且進行高精度之物體檢測。 又，基於類識別而選擇之參數組未必為用以獲得人之視認上最高畫質之參數組。根據情形不同，亦有處理之圖像資料量減低之情形。即，亦有並非是人看到之情形的最高畫質，而是成為輸出處理器欲辨識之適於物體之畫質的圖像者，可減低發送之圖像信號之資料量之情形。 藉此，可不降低物體檢測精度而削減通信成本。亦改善以雲端進行計算處理之情形之傳送延遲。

敘述了實施形態之介面部7（輸出部）亦進行對於輸出之圖像信號之類識別相關之資訊發送（圖5之步驟S108）。 藉此，輸出端之處理器11或雲端之AI處理器等中，可於辨識出類後進行物體檢測，可進行更高精度之物體檢測。

第1、第6實施形態中，敘述了運算部8於圖像信號之1訊框內進行如下處理：檢測成為檢測對象之物體候補之物體區域之物體區域辨識處理；進行於物體區域辨識處理檢測出之物體區域之物體之類識別之類識別處理；基於類識別處理之識別結果選擇參數，進行邏輯部5之處理設定之參數選擇處理（參照圖1、圖5）。 即，運算部8具備：進行物體區域辨識處理之物體區域辨識部82、進行類識別處理之類識別部83、及進行參數選擇處理之參數選擇部84，藉此可實現自圖像信號之1訊框之物體候補檢測，類識別，基於類識別之參數選擇。

第1、第6實施形態中，運算部8於圖像信號之1訊框內進行如下處理：檢測成為檢測對象之物體候補之物體區域之物體區域辨識處理；進行於物體區域辨識處理檢測出之物體區域之物體之類識別之類識別處理；判別類識別處理所識別之類中是否存在目標類之處理；存在目標類之情形時，基於該目標類之類辨識結果選擇參數，進行邏輯部5之處理設定之參數選擇處理（參照圖1、圖5、圖22）。 藉由進行目標類之存在判定，而可效率良好地執行基於以圖像識別為目的之物體之類的參數選擇。換言之，藉由不進行基於不作為目標之物體檢測之參數選擇，而不進行無用之參數選擇，使處理效率化，且不進行不適當的參數設定，從而可提高目的物體之圖像辨識精度。

第1、第6實施形態，目標類可設定複數個，1訊框內存在複數個目標類物體之情形時，基於選擇之一個目標類進行參數選擇處理（參照圖5及圖22之步驟S106）。 藉由可設定複數個目標類，而可應對於以複數個類中所有物體為對象之圖像辨識。 又，1訊框內存在複數個目標類物體之情形時，例如選擇支配或優勢目標類等，基於一個目標類進行參數選擇，從而可成為適當的參數組。 又，第1、第6實施形態（圖5及圖22之步驟S105、S106）中，舉如下例：對相當於目標類之物體區域，算出包圍物體之限界框20，存在複數個目標類之情形時，使用限界框20之面積選擇一個目標類。 存在複數個目標類之物體之情形時，藉由限界框20規定各物體之區域，求得各目標類物體之1訊框內之支配面積，從而可判定應優先之目標類。藉此，可進行適當之參數選擇。

第1、第6實施形態中，敘述了運算部8基於識別出之類，選擇於每類設定之包含複數個參數之參數組。即，預先記憶設定有邏輯部之各種處理的參數之參數組，選擇該參數組，設定於邏輯部（參照圖4、圖5及圖22之步驟S107）。 藉此，作為對應於邏輯部5之各種圖像處理之參數，可設定適於對象之類（目標類）之複數個參數。

第1實施形態中，舉參數組為藉由使用相當於各類之物體圖像之深度學習所得之複數個參數的組之例。 例如，藉由使用人之圖像作為學習資料之深度學習，而求得人辨識之圖像辨識率較高之圖像處理用參數，將該參數之組設為對應於「人」的類之參數組（參照圖4）。 藉此，可準備適於各類之參數組，可藉由該選擇，而選擇適於目的之圖像辨識之參數。

第1、第6實施形態中，敘述了如下之例：運算部8將藉由陣列感測器2之攝像所得之圖像信號中設為關鍵訊框之訊框作為對象，進行類識別，基於識別出之類，選擇使用於圖像處理之參數（參照圖5及圖22之步驟S101、S102）。 因並非將所有訊框為對象而將間關鍵訊框作為對象，從而運算部8之處理負擔不會過大。又，基於適當之選擇運算法選擇關鍵訊框，從而可維持進行適當之參數選擇之狀態。

第1、第6實施形態中，舉關鍵訊框為每特定時間間隔之訊框之例。 藉此，定期進行參數選擇。例如，藉由每隔30秒將1訊框設為關鍵訊框等，而運算部8之處理不會過大，且可維持適當之參數設定。 另，較佳為關鍵訊框之間隔係根據設為圖像辨識目的之物體、感測器裝置1之使用環境、使用目的、搭載感測器裝置1之機器類別等各種情況而設定。 又，亦舉關鍵訊框為基於來自外部機器之命令之時序之訊框之例。 例如，根據來自圖像輸出端之處理器11等之指示，設定關鍵訊框。藉此，可進行對應於圖像信號或類識別相關之資訊輸出端之機器辨識處理之目的等之關鍵訊框選擇及參數選擇。例如，根據搭載感測器裝置1之機器類別、目的等，設定關鍵訊框。 該情形時，若假設例如車載機器，則亦可於汽車開始行駛之時序，將關鍵訊框設為較密間隔。

作為對於圖像信號之圖像處理，各實施形態之邏輯部5進行色彩校正、伽馬校正、色階處理、增益處理、輪廓增強處理、資料壓縮處理、訊框率轉換、解析度轉換、縱橫比例轉換、對比度調整處理、清晰度調整處理、灰階調整處理、取樣率變更處理等。 藉此進行畫質調整或資料量轉換，但藉由進行用以該等處理之參數設定，而執行適於應識別物體之類之畫質調整或資料大小調整（解析度或訊框率等）。結果，成為適於目標類之物體檢測之圖像及資料大小，亦抑制不需要的高畫質化或資料量之增大，有助於通信成本之降低、處理速度之提高、物體檢測精度之提高等。

敘述了各實施形態之介面部7（輸出部）根據外部機器之要求，輸出以邏輯部5圖像處理後之圖像信號、識別出之類的資訊、檢測出之物體數量、目標類之有無的資訊之任一者或全部。此對於第1至第5實施形態為共通之動作。 即，介面部7根據來自處理器11或雲端之處理器等之要求，輸出經邏輯部5處理之圖像信號、經運算部8識別之類的資訊、目標數量、目標類之有無的資訊中，處理器11所需要之資訊。藉此，可避免不需要資訊之傳送，可削減通信量，亦實現消耗電力之降低。 又，可提供對應於處理器11等之處理之資訊。 另，各實施形態中雖以圖像信號為對象，但亦假設將陣列感測器2設為音波檢測元件陣列或觸覺感測器元件陣列。該情形時，介面部7根據外部機器之要求，輸出該等檢測信號（邏輯部5處理後之檢測信號）。

如第2、第3、第4、第7、第8實施形態所說明，感測器裝置1具備：陣列感測器2，其係複數個檢測元件1維或2維排列而成；及信號處理部30，其取得陣列感測器2之檢測信號，進行信號處理，且運算部8自陣列感測器2之檢測信號進行物體檢測，將基於物體檢測產生之區域資訊（ROI21或AROI22）作為自陣列感測器2之檢測信號之取得或檢測信號之信號處理相關之區域資訊，對信號處理部30進行指示。 即，對於藉由陣列感測器2所得之檢測信號，以信號處理部30實施信號處理，自介面部7輸出，但信號處理部30之自陣列感測器2之檢測信號之取得或信號處理相關之區域資訊係基於物體檢測而設定。 如實施形態般，自圖像進行物體檢測之情形時，並非始終需要各訊框之所有像素之資訊。例如，檢測人之情形時，只要有於訊框內拍攝人之區域之檢測資訊即可。因此，運算部8基於物體檢測產生ROI21或AROI22，使用ROI21或AROI22，進行信號處理部30之處理，即進行ADC/像素選擇器3之自陣列感測器2之檢測信號取得，或邏輯部5之壓縮處理。 藉此，可實現處理對象之資料量削減、處理速度之提高，且可獲得如不降低檢測精度般之圖像信號。 另，不限於圖像信號，亦對於以音波檢測信號、觸覺檢測信號等之自陣列感測器所得之檢測信號，進行物體檢測，亦可將基於物體檢測產生之區域資訊，將自陣列感測器之檢測信號之取得或檢測信號之信號處理相關之區域資訊，對信號處理部進行指示。 藉此，使用音波感測器陣列、接觸感測器陣列之情形時，亦可實現處理對象之資料量削減、處理速度之提高，且可獲得如不降低檢測精度般之檢測信號之效果。

第2、第3、第4、第7、第8實施形態之情形時，介面部7（輸出部）將以信號處理部30信號處理後之檢測信號輸出至外部裝置。 由於將使用ROI21或AROI22僅AD轉換一部分像素之圖像信號，或使用ROI21於每區域改變壓縮率之圖像信號輸出至處理器11等，故傳送之資料量顯著削減。藉此，實現通信成本之降低或傳送時間之縮短。並且，由於包含物體檢測必要之資訊，故處理器11等之物體檢測精度不會降低。又，藉由削減資料量，亦減輕處理器11之處理負擔。 又，亦避免因處理器11側之計算成為高負荷而處理延遲，或系統全體之消耗電力上升。

各實施形態中，信號處理部30具有ADC/像素選擇器3（取得部），其對於陣列感測器2之檢測元件，選擇性取得檢測信號。 並且，第2、第3、第7、第8實施形態中，ADC/像素選擇器3取得基於來自運算部8之ROI21或AROI22選擇之檢測元件之檢測信號，作為檢測信號之1訊框（參照圖9、圖14、圖29、圖32）。 ADC/像素選擇器3將自檢測出物體之下個訊框，僅由ROI21或AROI22指定之範圍內之光電轉換信號進行AD轉換並取得，從而可大幅削減1訊框之資料量。此外，基於物體檢測設定ROI21或AROI22，從而可適當地獲得物體檢測必要之像素之資訊。

第2、第3、第7、第8實施形態中，敘述了如下之例：運算部8於ADC/像素選擇器3（取得部）不進行區域資訊（ROI21、AROI22）之檢測元件之選擇的狀態下，對自陣列感測器2取得之檢測信號進行物體檢測，將基於物體檢測產生之ROI21或AROI22作為由ADC/像素選擇器3自陣列感測器2取得後續訊框的檢測信號所用之資訊，對信號處理部30進行指示（參照圖9、圖11、圖29、圖32）。 藉由自包含1訊框之所有有效像素之圖像信號進行物體檢測，而可正確地檢測所拍攝之圖像內應檢測之物體。此外，基於檢測之物體產生ROI21或AROI22，提供給ADC/像素選擇器3，從而可自下個訊框取得僅物體檢測所必要之像素之資訊。因此，可削減資料量，且取得適當之檢測資訊（必要像素之資訊）。

第2、第3、第7、第8實施形態中，敘述了如下之例：運算部8於ADC/像素選擇器3不進行ROI21或AROI22之檢測元件之選擇的狀態下，對自陣列感測器2取得之檢測信號進行物體檢測，基於物體檢測，再產生區域資訊，作為ADC/像素選擇器3之自陣列感測器2取得後續訊框的檢測信號所使用之區域資訊，對信號處理部30進行指示（參照圖9、圖14、圖29、圖32之步驟S203，及圖10）。 亦自僅作為一部分像素資訊之圖像信號之訊框進行物體檢測，從而可根據物體位置之變化，修正ROI21或AROI22。藉此，後續訊框中，追隨圖像內之物體（例如人）之移動，使ADC/像素選擇器3取得之區域變化。即，即使對象物體於每訊框像素內之位置變化者，亦可於每訊框追隨其變化之位置，選擇並讀出像素。因此，即使訊框行進，亦可持續一面削減資料量一面進行適當之檢測資訊（像素資訊）之狀態。

第2、第3、第7、第8實施形態中，敘述了如下之例：運算部8於ADC/像素選擇器3不進行ROI21或AROI22之檢測元件之選擇的狀態下，對自陣列感測器2取得之檢測信號進行物體檢測，未檢測出目的物體之情形，後續訊框中，於ADC/像素選擇器3不進行ROI21或AROI22之檢測元件之選擇的狀態下，以自陣列感測器2取得檢測信號之方式進行指示（參照圖9、圖14、圖29、圖32之步驟S205、S201、S202）。 即，若運算部8於自陣列感測器2僅取得一部分檢測元件之資訊之訊框中，未檢測出目的物體，則將取得部之檢測信號之取得返回至通常狀態。 藉此，可返回至自包含1訊框之所有有效像素之圖像信號進行物體檢測之狀態，再次對拍攝到之圖像全體進行目的之物體檢測。即，成為可監視圖像全體之狀態。

第2、第3、第4、第7、第8實施形態中，敘述了如下之例：運算部8求得包圍自陣列感測器2之檢測信號檢測之物體區域之限界框20，基於限界框20，產生作為區域資訊之ROI21或AROI22（參照圖9、圖14、圖16、圖29、圖32）。 藉由物體檢測產生限界框20，自該限界框20產生ROI21或AROI22，從而可產生對應於圖像內之目的物體之位置之ROI21或AROI22。藉此，亦可適當選擇下個訊框之讀出像素。

第2、第4、第7、第8實施形態中，運算部8將限界框20擴大，產生ROI21（參照圖9、圖16、圖29、圖32）。 限界框20係包圍當前訊框之物體區域者，但有後續訊框中物體之位置變化之可能性。因此，將限界框20擴大，產生ROI21。 藉此，作為下個訊框中取得之資訊（經AD轉換之像素信號），可提高如包含物體之可能性。即，可使包含必要資訊之像素讀出儘可能繼續。

第2實施形態之說明中，敘述了運算部8對檢測出之物體以檢測元件單元判定區域，產生區域資訊之例（參照圖11）。 即，基於語義分割產生ROI21。藉此，亦產生非矩形之ROI21。 根據物體不同，有以矩形剪切時資訊欠缺之情形。於例如有突起物之卡車等，或乘坐於自行車之人等，若為矩形，則產生超出部分，若將其涵蓋，則ROI21不必要地變大，資料削減效果降低。因此，可以像素位準選擇必要區域。藉此，可以最小限之資料量取得必要資訊。 基於此種語義分割之ROI21對於第4實施形態中，設定成為低壓縮率之區域之情形亦有用。

第2、第3、第4、第7、第8實施形態中，運算部8將自陣列感測器2所得之檢測信號中，物體檢測關鍵訊框記錄時序之訊框（關鍵訊框）作為對象，進行物體檢測，基於物體檢測產生區域資訊（參照圖9、圖14、圖16、圖29、圖32之步驟S201）。 並非將所有訊框為對象而將關鍵訊框作為對象，從而運算部8之處理負擔不會過大。又，基於適當之選擇運算法選擇關鍵訊框，從而可維持可進行適當之物體檢測之狀態。 該情形時，關鍵訊框可作為每特定時間間隔之訊框，或成為基於來自外部機器之命令之時序的訊框。 例如，若根據搭載感測器裝置1之機器類別、目的等，設定關鍵訊框，則機器或應用程式可於必要時序，將訊框之像素全體作為對象進行物體檢測，於之後的訊框中削減資料量。

第2、第3、第4、第7、第8實施形態中，運算部8對自由陣列感測器2所得之檢測信號檢測之物體進行類識別，判定識別出之類是否為目標類，對應於目標類之物體，產生區域資訊（ROI21或AROI22）（參數圖9、圖14、圖16、圖29、圖32之步驟S204、S205）。 進行目標類之存在判定，使用於目標類之物體區域，產生ROI21或AROI22，從而可正確地產生用以取得成為檢測目的之物體的資訊之區域資訊。

第3、第8實施形態中，敘述了如下之例：運算部8對自由陣列感測器2所得之檢測信號檢測出之物體進行類識別，使用對應於識別出之類之樣板，產生對應於該物體之區域資訊（AROI22）（參照圖14之S210、S212、圖32之S262、S211）。 藉由使用對應於類之樣板，而可產生如適應每類不同之重要區域般之AROI22。 尤其，陣列感測器2係利用攝像元件者之情形時，光電轉換之消耗電力最大。該情形時，欲儘可能減少光電轉換之像素。藉由遵循樣板縮小光電轉換之像素，從而可不對檢測精度帶來影響地削減有效資料量。尤其，重要的是圖像並非人所看到，而是比人能感覺到美觀之圖像更能被處理器1正確地辨識物體之圖像。使用樣板指定光電轉換及數位資料化像素之圖像係適於以較少資料量有效檢測物體者。 又，樣板係對每類顯示檢測信號之取得區域者。 例如，樣板係顯示對應於「人」、「汽車」等各類，於陣列感測器之檢測元件中，應取得檢測資訊之檢測元件者（參照圖12、圖13）。 藉由對應於類而指定應讀出之像素之樣板，可對每類讀出來自陣列感測器2之適當資訊。尤其，如圖12、圖13之例，使一部分（臉之部分或車牌之部分）高密度化，從而亦可對每類集中取得尤其必要部分之資訊。

第4實施形態中，敘述了如下之例：信號處理部30以邏輯部5將來自陣列感測器2之檢測信號進行壓縮處理，邏輯部5基於來自運算部8之區域資訊，於每區域進行不同壓縮率之壓縮處理（參照圖16）。 藉此，信號處理部30（邏輯部5）使訊框內之重要區域及不怎麼重要的區域之壓縮率不同，從而可進行不削減重要資訊之資料壓縮。 又，邏輯部5於區域資訊所指定之區域中，以低壓縮率進行壓縮處理，其他區域以高壓縮率進行壓縮處理（參照圖16）。 信號處理部30（邏輯部5）自經檢測出物體之下個訊框，於由ROI21指定之區域中，以低壓縮率進行壓縮處理，其他區域以高壓縮率削減資料量。由於ROI21係對應於物體檢測而產生，故ROI21所示區域為對於藉處理器11之物體檢測亦重要之區域，藉由將該區域設為低壓縮率，而不削減資訊。藉此，不降低檢測精度。另一方面，ROI21所示區域以外成為對物體檢測不怎麼影響之區域，故以高壓縮率進行壓縮，有效削減資料量。

如第5、第9實施形態所說明，感測器1裝置具備：陣列感測器2，其係複數個檢測元件1維或2維排列而成；信號處理部30，其取得陣列感測器2之檢測信號，進行信號處理；及運算部8，其自陣列感測器2之檢測信號進行物體檢測，基於物體之檢測，可變指示來自陣列感測器2之檢測信號之訊框率。 如實施形態，自圖像進行物體檢測之情形時，並非始終需要較高訊框率之圖像信號。例如，檢測人之情形時，未拍攝人之訊框中，即使訊框率較低亦無問題。相反地，人登場期間，訊框率變高，從而資訊量變豐富，物體（人）檢測，或隨附於其可辨識之資訊亦可增加。 即，對應於物體檢測而使訊框率變化，從而可適應地於必要時增多資料量，不需要時削減資料量，可不降低物體檢測性能地削減處理資料量或傳送資料量。

另，不限於圖像信號，亦可對於作為音波檢測信號、觸覺檢測信號等而自陣列感測器所得之檢測信號，進行物體檢測，基於物體之檢測，可變指示來自陣列感測器之檢測信號之訊框率。藉此，使用音波感測器陣列、接觸感測器陣列之情形時，亦可適應地於必要時增多資料量，不需要時削減資料量，獲得可不降低物體檢測性能地削減處理資料量或傳送資料量之效果。 所謂訊框，係陣列感測器為攝像元件陣列之情形時，成為圖像之訊框，但音波檢測元件或觸覺感測器元件之情形亦為相同含義，不論陣列感測器之種別，皆為自陣列感測器之複數個檢測元件於1次讀出期間讀出之資料單位。訊框率係此種訊框之單位時間內之密度。

第5、第9實施形態之情形時，將經信號處理部30信號處理之檢測信號輸出至外部裝置之介面部7（輸出部）將基於物體檢測結果而使訊框率變化之檢測信號輸出至處理器11等。 因此，顯著削減傳送之資料量。藉此，實現通信成本之降低或傳送時間之縮短。此外，由於包含成為目的之物體檢測所必要之資訊，故處理器11等之物體檢測精度不會降低。又，藉由資料量削減，亦減輕處理器11之處理負擔。 又，亦避免因處理器11側之計算成為高負荷而處理延遲，或系統全體之消耗電力上升。

第5、第9實施形態中，運算部8至少預先記憶用以第1模式（閒置模式）之訊框率之設定值，及用以第2模式（正常模式）之訊框率之設定值，根據物體檢測結果，進行藉由第1模式及第2模式之任一設定值之控制（參照圖18、圖35）。 藉此，可根據物體檢測之結果，即目標類之物體有無，以選擇設定值之簡單處理，實現作為主動取樣之控制。

第5、第9實施形態中用以第1模式之訊框率之設定值，及用以第2模式之訊框率之設定值之一者或兩者較佳為可自外部裝置改寫。例如，根據外部處理器之用途、處理能力、應用程式之用途等而使設定值可變。 若可將設定值自處理器11等改寫，則亦可進行對應於處理器11或其應用程式之目的之訊框率設定。

第5、第9實施形態中，敘述了運算部8指示陣列感測器2之檢測信號之讀出間隔，從而使訊框率可變之例（參照圖18、圖35）。 例如，運算部8（關鍵訊框選擇部81）對陣列感測器2及ADC/像素選擇器3指示閒置模式/正常模式之切換，變更陣列感測器2及ADC/像素選擇器3之圖像信號之讀出間隔，從而進行訊框率切換。 該情形時，訊框率降低之閒置模式中，來自陣列感測器2之光電轉換及讀出本身之間隔擴大。陣列感測器2中，由於光電轉換之消耗電力較大，故藉由擴大陣列感測器2中之讀出間隔，而消耗電力之減低效果較大。

第5、第9實施形態之說明中，運算部8亦可對信號處理部30（邏輯部5）指示訊框率變更，使訊框率可變。 即，藉由信號處理過程之訊框率變換，而執行訊框率之切換。 亦可以邏輯部5進行訊框率轉換。例如，藉由進行訊框跳行處理，而可降低訊框率。該情形時，陣列感測器2始終以高訊框率進行讀出，從而不會產生陣列感測器2之消耗電力削減效果，但該情形亦獲得對處理器11傳送之資料量之削減效果。

第5、第9實施形態中，敘述了如下之例：運算部8對自陣列感測器2所得之檢測信號檢測之物體進行類識別，判定識別出之類是否為目標類，根據判定結果，進行訊框率之可變指示（參照圖18之S304、S305、S301、圖35之S304、S352、S301）。 進行目標類之存在判定，因目標類之物體存在，而作為正常模式而提高訊框率。未檢測出目標類物體之情形時，作為閒置模式而降低訊框率。藉此，可根據成為檢測目的之物體存在而正確地檢測。 例如，監視人之用途等中，因檢測作為目標類之人，而提高訊框率，從而可進行精細監視，且其以外可作為閒置模式而削減消耗電力或削減資料量。

各實施形態中，陣列感測器2之檢測元件為攝像元件。即，陣列感測器2之檢測信號係攝像（光電轉換）之圖像信號。 因此，使用攝像圖像之物體檢測中，可實現可維持物體檢測精度之適當資料量之削減、隨附於其之處理負擔之減輕、傳送成本之降低等。

實施形態中，假設感測器裝置1設成為具有作為運算部8之AI晶片或DRAM晶片之一體型感測模組構成。 相對於此，亦考慮如下之例：將作為運算部8之AI晶片或DRAM晶片設為陣列感測器2之外部之構成，藉由其外部之運算部，進行各實施形態說明之讀出或信號處理之控制。 又，亦考慮將陣列感測器2及作為運算部8之AI晶片一體化，使用外部之DRAM晶片之例。

第6實施形態中，具備臨限值設定部85，其對於邏輯部5（圖像處理部）之圖像處理或陣列感測器2之攝像相關之攝像處理所使用之參數之全部或一部分，設定參數之臨限值，進行使用基於臨限值設定之參數之處理。 藉由使用臨限值設定（變更）參數，而可對於例如圖像信號，作為用以物體檢測等處理之必要最小限度之品質等（例如必要最小限度之解析度等）而輸出。因此，亦可削減輸出之圖像信號之資料量，且不降低後段之處理（物體檢測等）之處理性能、精度等。 又，藉此亦可實現低消耗電力化、處理之高速化。

另，第6實施形態所說明之圖22之處理例係如下之例：運算部8對自藉由陣列感測器2之攝像所得之圖像信號檢測之物體，進行類識別，基於識別出之類，選擇使用於圖像處理之參數組，以選擇之參數進行邏輯部5之處理設定，根據臨限值設定（調整）該選擇之參數。因此，對每類適應之參數組之一部分或全部參數進而成為對應於臨限值調整設定者，於適應於類之後，可進而一面維持物體檢測等之檢測精度，一面成為必要充分之資料量。由於進而調整適應於類之參數組，故可更使資料量減低進展，亦可使低消耗電力化、處理之高速化進展。

但，不限於如該圖22之例，亦可基於臨限值，僅變更不根據類而設定之參數之全部或一部分。該情形亦可維持對物體檢測等所要求之性能、精度，且實現圖像信號之資料量削減、低消耗電力化、處理之高速化。

第6實施形態中，臨限值設定部85設定對應於自圖像信號檢測之物體之類的臨限值。例如，設定對應於「人」、「汽車」、「標識」等類之適當的臨限值。 用以物體檢測等而對圖像要求之解析度與檢測精度之關係根據類而不同。因此，對應於類而設定臨限值，變更自邏輯部5輸出之圖像信號之解析度等，從而可對應於類，進行利用必要最小限度之解析度等之輸出。即，可對應於類使解析度等參數最佳化，將物體檢測精度等維持於要求之位準，且實現資料削減、低消耗電力化、處理之高速化等。

第6實施形態中，臨限值設定部85基於對圖像信號之學習處理，設定臨限值。例如，於感測器裝置1側進行作為局部學習之學習處理，求得臨限值。藉由進行對圖像信號之學習處理，而判定作為臨限值及對應於其之參數之期望值。藉此，對應於攝像環境或攝像圖像內容、檢測對象物等，適應地進行參數設定。 又，於感測器裝置1內、或包含感測器裝置1之終端裝置100內進行此等局部學習，從而可算出適於該感測器裝置1中要求之圖像精度等之臨限值。 又，藉由每類之局部學習設定臨限值，進而藉由適應於類之參數設定，而實現輸出之圖像信號之解析度等之最佳化。

第6實施形態中，臨限值設定部85以獲得特定比例作為置信率（物體檢測之確證性之比例）之方式，設定臨限值。 作為自圖像之物體檢測精度要求之置信率係根據其檢測之目的、對象、機器/應用程式之類別、時期、地域等而不同。 例如，若確證性較佳為80%，則以獲得80%以上確證性之方式設定臨限值，設定對應於其之參數即可。又，若要求95%以上確證性，則提高臨限值而設定參數即可。 因此，臨限值之設定（進而參數之設定）係基於物體檢測所要求之置信率而設定，從而作為對應於其處理實施之適應化，可實現期望之圖像信號之品質、對應於其之資料削減、低消耗電力化、處理之高速化等。

舉第6實施形態之臨限值設定部85設定於與邏輯部5相同框體之裝置內之例（參照圖21、圖25、圖26）。例如，於作為感測器裝置1之單元內，或包含感測器裝置1之終端裝置100內，設置臨限值設定部85。並且，臨限值設定部85進行局部學習，設定臨限值及對應於其之參數。此意指學習適應於作為該感測器裝置1或終端裝置100之機器之狀態，進行臨限值設定。藉此，可設定實現作為感測器裝置1或終端裝置100要求之輸出之適當臨限值。

第7、第8實施形態中，運算部8基於過去的區域資訊相關之資訊（成為區域資訊基礎之物體檢測區域限界框20，或區域資訊本身即ROI21或AROI22），設定對於自陣列感測器2取得之檢測信號之有效區域RA（圖29、圖32之S251）。 並且，自有效區域RA之檢測信號進行物體檢測，將基於物體檢測產生之ROI21或AROI22作為自陣列感測器2之檢測信號之取得或檢測信號之信號處理相關之區域資訊，對信號處理部30進行指示。 藉此，用以設定ROI21或AROI22之物體檢測之處理負擔顯著降低。具體而言，步驟S203之處理減輕。因此，可獲得處理負擔削減、高速化、消耗電力削減等之效果。

第7、第8實施形態中，運算部8以包含基於過去的ROI21或AROI22之物體檢測區域，即限界框20之方式，設定有效區域RA。 有藉由繼續處理，而於圖像上存在完全未設定限界框20之區域之情形。此種區域可設為未檢測出目的物體之非有效區域DA，相反地，可將其以外設為有效區域RA，即有被進行物體檢測之可能性之區域。 藉由基於過去的複數個限界框20，而可容易且適當設定有效區域RA。又，亦可設定亦適於攝像環境、攝像方向等之有效區域RA。

第7、第8實施形態中，敘述了如下之例：運算部8於ADC/像素選擇器3進行利用ROI21或AROI22之檢測元件之選擇的狀態下，對自陣列感測器2取得之檢測信號進行物體檢測，未檢測出目的物體之情形時，後續訊框中，ADC/像素選擇器3以自上述陣列感測器取得有效區域之檢測信號之方式進行指示（參照圖29、圖32之S205、S201、S252）。 即，運算部8針對自陣列感測器2取得僅一部分檢測元件之資訊之訊框，若未檢測出目的物體，則將取得部之檢測信號之取得返回至通常狀態。 藉此，可返回至自1訊框之有效區域之圖像信號進行物體檢測之狀態，於再次拍攝之圖像中，於必要範圍內進行目的之物體檢測。事實上，成為可監視圖像全體之狀態。

第7、第8實施形態中，敘述了如下之例：運算部8將自陣列感測器2所得之檢測信號中之關鍵訊框作為對象，基於自有效區域RA之檢測信號之物體檢測，產生區域資訊（參照圖29、圖32之S201、S252）。 並非將所有訊框設為對象而將關鍵訊框作為對象，從而運算部8之處理負擔不會過大。又，基於適當之選擇運算法選擇關鍵訊框，從而可維持可進行適當之物體檢測之狀態。 認為該情形時，關鍵訊框亦可設為每特定時間間隔之訊框，或設為基於來自處理器11等之外部之命令之時序的訊框。

第8實施形態中，運算部8對自由陣列感測器2所得之檢測信號檢測之物體進行類識別，使用對應於識別出之類之樣板，產生對應於該物體之區域資訊（AROI22）。該情形時，使用基於臨限值算出並記錄解析度等參數之AROI22（參照圖32之S262、S211）。 藉由使用臨限值設定（變更）AROI22所示之取得區域之參數，而可對於例如圖像信號，作為用以物體檢測等處理之必要最小限度之品質等（例如必要最小限度之解析度等）而輸出。 又，使用樣板指定光電轉換及數位資料化像素之圖像係適於以較少資料量之有效物體檢測者。 因此，亦可藉由使用樣板，及藉由臨限值而設定例如解析度等參數，而可削減輸出之圖像信號之資料量，且不降低後段之處理（物體檢測等）之處理性能、精度等。又，藉此亦可實現低消耗電力化、處理之高速化。 又，樣板係「人」、「汽車」等之對每類顯示檢測信號之取得區域者，從而亦可於每類集中取得尤其必要部分之資訊。

第9實施形態中，具備臨限值設定部85，其對應於針對自由陣列感測器2所得之檢測信號檢測之物體識別之類，設定訊框率之臨限值，進行使用基於臨限值設定之訊框率之處理（參照圖35）。 藉由使用臨限值設定（變更）訊框率，而可應用適於檢測對象之類之訊框率。具體而言，可不降低檢測對象之類的物體檢測性能，且藉由降低訊框率而實現圖像信號之資料量削減、低消耗電力化、處理之高速化。

第9實施形態中，臨限值設定部85設定臨限值，作為可維持自圖像之目標追蹤之訊框率。 藉此，可一面進行自圖像之目標追蹤，一面維持進行之物體檢測精度，且實現對應於類之資料削減、低消耗電力化、處理之高速化等。

第9實施形態中，運算部8使用臨限值設定部85設定之訊框率，作為訊框率變高之第2模式（正常模式）之訊框率。藉此，訊框率變高之情形時，對應於類而使用比較低之訊框率。

第1、第2、第3、第4、第5、第6、第7、第8、第9之各實施形態可分別適當組合。 藉由組合，可增大各實施形態之效果。即，可維持自圖像之物體檢測等之處理精度，且更增大圖像信號之資料量削減、低消耗電力化、處理之高速化等之效果。

另，本說明書中記載之效果終究為例示，並非限定者，且亦可有其他效果。

另，本技術亦可採取如下之構成。 （1）一種感測器裝置，其具備： 陣列感測器，其1維或2維地排列有複數個檢測元件； 信號處理部，其取得上述陣列感測器之檢測信號，進行信號處理；及 運算部，其根據上述陣列感測器之檢測信號進行物體檢測，且基於物體之檢測，對來自上述陣列感測器之檢測信號之訊框率進行可變指示。 （2）如上述（1）之感測器裝置，其具備： 輸出部，其將經上述信號處理部予以信號處理之檢測信號輸出至外部裝置。 （3）如上述（1）或（2）之感測器裝置，其中 上述運算部至少預先記憶用於第1模式之訊框率之設定值、及用於第2模式之訊框率之設定值， 對應於物體檢測結果，進行利用上述第1模式及上述第2模式之任一者之設定值之控制。 （4）如上述（3）之感測器裝置，其中 用於上述第1模式之訊框率之設定值及用於上述第2模式之訊框率之設定值之一者或兩者可自外部裝置改寫。 （5）如上述（1）至（4）中任一項之感測器裝置，其中 上述運算部藉由指示上述陣列感測器之檢測信號之讀出間隔，而使訊框率可變。 （6）如上述（1）至（4）中任一項之感測器裝置，其中 上述運算部對上述信號處理部指示變更訊框率而使訊框率可變。 （7）如上述（1）至（6）中任一項之感測器裝置，其中 上述運算部 針對根據自上述陣列感測器獲得之檢測信號所要檢測之物體進行種類識別，判定所識別之種類是否為目標種類，且對應於判定結果進行訊框率之可變指示。 （8）如上述（7）之感測器裝置，其具備： 輸出部，其對應於外部機器之要求，輸出經上述信號處理部予以處理之檢測信號、經識別之種類之資訊、檢測出之物體數量、有無目標種類的資訊之任一者或全部。 （9）如上述（1）至（8）中任一項之感測器裝置，其中 上述陣列感測器之檢測元件為攝像元件。 （10）如上述（1）至（9）中任一項之感測器裝置，其具備： 臨限值設定部，其對應於針對自上述陣列感測器獲得之檢測信號所要檢測之物體進行識別之種類，設定上述訊框率之臨限值，且進行使用基於上述臨限值而設定之訊框率之處理。 （11）如上述（10）之感測器裝置，其中 上述臨限值設定部設定上述臨限值，作為可維持根據圖像之目標追蹤之訊框率。 （12）如上述（10）或（11）之感測器裝置，其中 上述運算部對應於物體檢測結果，進行利用第1模式及第2模式之任一者之訊框率之設定值之控制，且使用上述臨限值設定部設定之訊框率之設定值，作為上述第1模式及上述第2模式之一者之訊框率之設定值。 （13）一種信號處理方法， 其係作為感測器裝置之信號處理方法，該感測器裝置具有：陣列感測器，其1維或2維地排列有複數個檢測元件；及信號處理部，其取得上述陣列感測器之檢測信號，進行信號處理，且該信號處理方法係 根據上述陣列感測器之檢測信號進行物體檢測，且基於物體之檢測，對來自上述陣列感測器之檢測信號之訊框率進行可變指示。 （14）如上述（13）之信號處理方法，其中 對應於針對根據自上述陣列感測器獲得之檢測信號所要檢測之物體進行識別之種類，設定上述訊框率之臨限值，且進行使用基於上述臨限值而設定之訊框率之處理。

1:感測器裝置 2:陣列感測器 3:ADC/像素選擇器 4:緩衝器 5:邏輯部 6:記憶體 7:介面部 8:運算部 11:處理器 12:外部感測器 20:限界框 21:ROI 22:高階ROI（AROI） 23:候補區域 30:信號處理部 40:攝像光學系統 81:關鍵區域選擇部 82:物體區域辨識部 83:類識別部 84:參數選擇部 85:臨限值設定部 100:終端裝置 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:統合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:擴音器 12062:顯示部 12063:儀表板 12101～12105:攝像部 12111～12114:攝像範圍 DA:非有效區域 F2～Fn:訊框 G:圖像信號 PR1～PR6:參數組 RA:有效區域 S100～S108:步驟 S150～S151:步驟 S160～S166:步驟 S201～S212:步驟 S220～S221:步驟 S250～S252:步驟 S260～S262:步驟 S271～S272:步驟 S301～S305:步驟 S350～S352:步驟 SD:學習資料

圖1係可適用於本技術之第1至第5、第7實施形態之感測器裝置之方塊圖。 圖2A、B係圖像辨識精度與畫質之關係之說明圖。 圖3係第1實施形態之分類圖像適應化處理之概要之說明圖。 圖4A、B係第1實施形態之畫質參數組之說明圖。 圖5係第1實施形態之分類圖像適應化處理之流程圖。 圖6A～G係第1實施形態之物體檢測過程之說明圖。 圖7A、B係第2實施形態之區域剪切後之訊框之說明圖。 圖8A～C係第2實施形態之區域剪切分析之概要之說明圖。 圖9係第2實施形態之區域剪切分析之流程圖。 圖10A～H係自第2實施形態之限界框之ROI（Region of Interest，感興趣區域）算出之說明圖。 圖11係第2實施形態之ROI之其他例之說明圖。 圖12係第3實施形態之高階ROI之說明圖。 圖13係第3實施形態之高階ROI之說明圖。 圖14係使用第3實施形態之高階ROI之區域剪切分析之流程圖。 圖15A、B係第4實施形態之智能壓縮之說明圖。 圖16係第4實施形態之智能壓縮之流程圖。 圖17A、B係第5實施形態之主動取樣之說明圖。 圖18係第5實施形態之主動取樣之流程圖。 圖19係用以第6實施形態之圖像適應化處理之臨限值設定之說明圖。 圖20A、B係第6實施形態之類之臨限值設定之說明圖。 圖21係可適用於第6至第9實施形態之感測器裝置之方塊圖。 圖22係對應於第6實施形態之臨限值之參數設定之處理流程圖。 圖23A、B係第6實施形態之臨限值設定之說明圖。 圖24係第6實施形態之臨限值算出之流程圖。 圖25係可適用於第6至第9實施形態之其他構成例之方塊圖。 圖26係可適用於第6至第9實施形態之進而其他構成例之方塊圖。 圖27A、B係第7實施形態之有效區域剪切之說明圖。 圖28A、B係第7實施形態之有效區域剪切之說明圖。 圖29係第7實施形態之有效區域剪切之流程圖。 圖30係第7實施形態之關鍵訊框有效區域算出之流程圖。 圖31係第8實施形態之高階ROI（Advanced ROI：AROI）之臨限值設定之說明圖。 圖32係使用第8實施形態之高階ROI之區域剪切分析之流程圖。 圖33A～C係第9實施形態之主動取樣之說明圖。 圖34A～C係第9實施形態之主動取樣之說明圖。 圖35係第9實施形態之主動取樣之流程圖。 圖36係顯示車輛控制系統之概略構成之一例之方塊圖。 圖37係顯示車外資訊檢測部及攝像部之設置位置之一例之說明圖。

S301~S305:步驟

Claims (11)

1. 一種感測器裝置，其具備：陣列感測器，其1維或2維地排列有複數個檢測元件；信號處理部，其取得上述陣列感測器之檢測信號，進行信號處理；運算部，其根據上述陣列感測器之檢測信號進行物體檢測，且基於物體之檢測，對來自上述陣列感測器之檢測信號之訊框率進行可變指示；及臨限值設定部，其對應於針對根據自上述陣列感測器獲得之檢測信號所要檢測之物體進行識別之種類(class)，設定上述訊框率之臨限值，且進行使用基於上述臨限值而設定之訊框率之處理；上述運算部係：針對根據自上述陣列感測器獲得之檢測信號所要檢測之物體進行種類識別，判定識別出之種類是否為目標種類，且對應於判定結果進行訊框率之可變指示。
2. 如請求項1之感測器裝置，其具備：輸出部，其將經上述信號處理部予以信號處理之檢測信號輸出至外部裝置。
3. 如請求項1之感測器裝置，其中上述運算部至少預先記憶用於第1模式之訊框率之設定值、及用於第2模式之訊框率之設定值， 對應於物體檢測結果，進行利用上述第1模式及上述第2模式之任一者之設定值之控制。
4. 如請求項3之感測器裝置，其中用於上述第1模式之訊框率之設定值及用於上述第2模式之訊框率之設定值之一者或兩者可自外部裝置改寫。
5. 如請求項1之感測器裝置，其中上述運算部藉由指示上述陣列感測器之檢測信號之讀出間隔，而使訊框率可變。
6. 如請求項1之感測器裝置，其中上述運算部對上述信號處理部指示變更訊框率而使訊框率可變。
7. 如請求項1之感測器裝置，其具備：輸出部，其根據外部機器之要求，輸出經上述信號處理部予以處理之檢測信號、經識別之種類之資訊、檢測出之物體數量、有無目標種類的資訊之任一者或全部。
8. 如請求項1之感測器裝置，其中上述陣列感測器之檢測元件為攝像元件。
9. 如請求項1之感測器裝置，其中 上述臨限值設定部設定上述臨限值，作為可維持根據圖像之目標追蹤之訊框率。
10. 如請求項1之感測器裝置，其中上述運算部對應於物體檢測結果，進行利用第1模式及第2模式之任一者之訊框率之設定值之控制，且使用上述臨限值設定部設定之訊框率之設定值，作為上述第1模式及上述第2模式之一者之訊框率之設定值。
11. 一種信號處理方法，其係作為感測器裝置之信號處理方法，該感測器裝置具有：陣列感測器，其1維或2維地排列有複數個檢測元件；及信號處理部，其取得上述陣列感測器之檢測信號，進行信號處理；且該信號處理方法係根據上述陣列感測器之檢測信號進行物體檢測，且基於物體之檢測，對來自上述陣列感測器之檢測信號之訊框率進行可變指示，其中對應於針對根據自上述陣列感測器獲得之檢測信號所要檢測之物體進行識別之種類，設定上述訊框率之臨限值，且進行使用基於上述臨限值而設定之訊框率之處理。