Nothing Special   »   [go: up one dir, main page]

TW202406328A - 感測器以及具備其之攝像裝置 - Google Patents

感測器以及具備其之攝像裝置 Download PDF

Info

Publication number
TW202406328A
TW202406328A TW112131317A TW112131317A TW202406328A TW 202406328 A TW202406328 A TW 202406328A TW 112131317 A TW112131317 A TW 112131317A TW 112131317 A TW112131317 A TW 112131317A TW 202406328 A TW202406328 A TW 202406328A
Authority
TW
Taiwan
Prior art keywords
sensor
unit
event
control unit
signal
Prior art date
Application number
TW112131317A
Other languages
English (en)
Inventor
米持元
Original Assignee
日商尼康股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商尼康股份有限公司 filed Critical 日商尼康股份有限公司
Publication of TW202406328A publication Critical patent/TW202406328A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/51—Control of the gain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Selective Calling Equipment (AREA)
  • Stereo-Broadcasting Methods (AREA)

Abstract

提供一種控制裝置，其係控制具備1個或複數個像素之感測器之攝像條件者，其具備：事件檢測部，其於1個或複數個像素中，對表示亮度訊號變化超過預定閾值之事件進行檢測，且輸出事件檢測訊號；以及控制部，其基於事件檢測訊號而控制感測器之攝像條件。又，提供一種控制方法，其係控制具備1個或複數個像素之感測器之攝像條件者，其包括：於1個或複數個像素中，對表示亮度訊號變化超過預定閾值之事件進行檢測；以及基於事件之檢測而控制感測器之攝像條件。

Description

感測器以及具備其之攝像裝置
本發明係關於一種控制裝置、控制方法以及程式。
先前，已知具備AD（analog-to-digital converter，類比數位）轉換部之攝像裝置（例如參照專利文獻1）。 專利文獻1：日本特表2008-259107號公報
較佳為削減攝像裝置之資料量。
本發明之第1形態中，提供一種控制裝置，其係控制具備1個或複數個像素之感測器之攝像條件者，其具備：事件檢測部，其於1個或複數個像素中，對表示亮度訊號變化超過預定閾值之事件進行檢測，且輸出事件檢測訊號；以及控制部，其基於事件檢測訊號而控制感測器之攝像條件。
本發明之第2形態中，提供一種控制方法，其係控制具備1個或複數個像素之感測器之攝像條件者，其包括：於1個或複數個像素中，對表示亮度訊號變化超過預定閾值之事件進行檢測；以及基於事件之檢測而控制感測器之攝像條件。
本發明之第3形態中，提供一種控制裝置之程式，其係控制具備1個或複數個像素之感測器之攝像條件者，其使電腦執行：於1個或複數個像素中，對亮度訊號變化超過預定閾值之事件進行檢測；以及基於事件之檢測而控制感測器之攝像條件。
此外，上述發明之概要並未列舉出本發明之特徵之全部。又，該等特徵群之次組合亦可成為發明。
以下，通過發明之實施方式對本發明加以說明，但以下之實施方式並不限定申請範圍所涉及之發明。又，實施方式中所說明之特徵之組合並非全部為發明之解決手段所必需。
圖1表示感測器300之構成之概要。本例之感測器300具備像素部10及控制裝置100。本例之感測器300係從有一定以上之亮度變化之部分中輸出像素訊號之感測器，亦稱為事件驅動型感測器。
像素部10具備1個或複數個像素11。本例之像素部10具備二維狀地排列之複數個像素11。本例之像素部10具有M×N個（M、N為自然數）像素11。像素11具有至少1個光電轉換元件。藉此，像素部10輸出像素訊號。於1個像素11中具有2個以上之光電轉換元件之情形時，至少1個光電轉換元件將光電流作為事件檢測用之像素訊號而輸出，其餘之光電轉換元件將所蓄積之電荷作為像素訊號而輸出。又，於1個像素11中具有1個光電轉換元件之情形時，於後述像素區塊12內，至少1個對應至像素11之光電轉換元件將光電流作為事件檢測用之像素訊號而輸出，對應至其餘之像素11之光電轉換元件將蓄積之電荷作為像素訊號而輸出。
又，像素部10包含由1個或複數個像素11所構成之像素區塊12。像素區塊12為包含m×n個（m、n為自然數）像素11之區域。
控制裝置100控制感測器300之攝像條件。一例中，控制裝置100係根據所輸入之像素訊號而控制感測器300之攝像條件的控制電路。控制裝置100具備：事件檢測部20、攝像控制部30、脈衝計數部40、AD轉換部50、及記憶部60。
事件檢測部20基於像素部10所輸出之像素訊號來檢測事件。像素部10之像素訊號中包含1個或複數個像素11所檢測到之光電流之亮度訊號S。一例中，事件檢測部20基於亮度訊號S、與預先設定之事件檢測閾值之比較來檢測事件。
此處，事件檢測部20使用亮度訊號S之絕對值來作為事件檢測閾值，使用亮度訊號S之變化量亦可。例如，於使用亮度訊號S之絕對值之情形時，對每個既定之亮度值設置複數個事件檢測閾值，於亮度訊號S超過事件檢測閾值之情形時，事件檢測部20判定為事件發生。又，於使用亮度訊號S之變化量之情形時，事件檢測部20於亮度訊號S之變化量超過事件檢測閾值之情形時判定為事件發生。如上所述，所謂事件，係指存在超過事件檢測閾值之程度之亮度訊號S之變化。事件檢測部20生成用以將事件檢測傳遞至攝像控制部30及脈衝計數部40之事件檢測訊號Sd。
事件檢測訊號Sd係包含用以判斷事件是否發生之事件脈衝的訊號。事件檢測部20將所生成之事件檢測訊號Sd輸出至攝像控制部30及脈衝計數部40。此外，本例之事件檢測部20設置於控制裝置100中，但設置於像素部10中亦可。
攝像控制部30基於事件檢測訊號Sd而控制感測器300之攝像條件。一例中，攝像控制部30基於事件檢測訊號Sd之事件脈衝之發生數而控制攝像條件。此外，攝像控制部30亦可基於事件檢測訊號Sd，將用以使蓄積於像素11中之電荷進行重置的重置訊號RST輸出至像素部10。像素部10若被輸入重置訊號RST，則將光電轉換元件中之電荷蓄積進行重置，重新開始電荷之蓄積（即，攝像）。
攝像條件包含感測器300之ADC解析度、曝光時間及增幅器之增益中之至少一者。即，攝像控制部30基於事件檢測訊號Sd，而控制感測器300之ADC解析度、曝光時間及增幅器之增益中之至少一者。一例中，攝像控制部30基於事件檢測訊號Sd之事件脈衝之發生數而控制AD轉換部50之ADC解析度。此外，ADC解析度之變更可對每個單一之像素11執行。於該情形時，控制裝置100可使各像素11不同步地驅動。
脈衝計數部40基於事件檢測訊號Sd，將事件脈衝進行計數，生成計數值Nc。脈衝計數部40將所生成之計數值Nc輸出至攝像控制部30。計數值Nc中可包含向上計數及向下計數。計數值Nc可為向上計數及向下計數之累積值，僅為向上計數之累計值亦可。此外，向上計數係於事件檢測訊號Sd超過事件檢測閾值之情形時生成。另一方面，向下計數係於事件檢測訊號Sd低於事件檢測閾值之情形時生成。
AD轉換部50將像素部10所輸出之像素訊號進行AD轉換。本例之AD轉換部50係以攝像控制部30所輸出之ADC解析度進行動作。AD轉換部50亦可對1個或複數個像素11之每一個、或每個區塊12，使用不同之ADC解析度來執行AD轉換。AD轉換部50將轉換之數位訊號輸出至記憶部60。如上所述，本例中，由像素11中所包含之光電轉換元件中產生之光電流所引起之亮度訊號S不經由AD轉換部50而輸入至事件檢測部20，並且由其他光電轉換元件中蓄積之電荷所引起之像素訊號輸入至AD轉換部50。因此，不僅可迅速進行事件之檢測，而且可僅將亮度變化大之像素11之像素訊號進行AD轉換而實現電力的低消耗。
記憶部60將來自AD轉換部50之數位訊號進行記憶。一例中，記憶部60將過去幀之記憶值作為反饋訊號FB而輸出至攝像控制部30。於該情形時，攝像控制部30可基於來自脈衝計數部40之計數值Nc以及來自記憶部60之反饋訊號FB而控制攝像條件。藉此，控制裝置100可基於AD轉換部50之過去之輸出訊號而控制攝像條件。
此處，對藉由攝像控制部30之攝像條件之控制方法進行說明。攝像控制部30基於脈衝計數部40所輸出之計數值Nc來對事件脈衝進行計數，控制攝像條件。
一例中，攝像控制部30基於將當前計數值Nc、與過去之計數值Nc累積之脈衝累積值而控制攝像條件。於該情形時，攝像控制部30將過去之計數值Nc累積之脈衝累積值加以保持。然後，攝像控制部30讀出所保持之脈衝累積值，使用加上當前計數值Nc之累積數來決定攝像條件。此外，關於計數值Nc之累積，攝像控制部30可考慮計數值Nc之正及負。即，攝像控制部30將正之計數值Nc以負之計數值Nc來抵消。由於每1次計數之亮度值為預先設定，故而藉由使用累積之計數值來求出與當前計數值Nc對應之亮度值。
又，其他例中，攝像控制部30基於當前亮度值、以及記憶於記憶部60中之過去之亮度值而控制攝像條件。於該情形時，記憶部60將過去從AD轉換部50中讀出之亮度值加以保持。一例中，攝像控制部30基於對應至上次之事件之檢測而由感測器300輸出之亮度值、以及藉由新的事件之檢測而由事件檢測部20輸出之事件脈衝，來控制攝像條件。例如，攝像控制部30藉由對保存於記憶部60中之亮度值加減當前每一次脈衝之亮度值，來算出當前亮度值。攝像控制部30基於所算出之當前亮度值，而控制攝像條件。
如以上所述，控制裝置100可基於過去事件之亮度訊號S以及攝像中之脈衝計數值Nc之兩者，而控制當前事件之攝像條件。藉此，即便於當前事件之環境從過去事件之環境急遽變化之情形時，亦可追隨環境之變化而更新攝像條件。此外，控制裝置100僅基於攝像中之脈衝計數值Nc，而控制當前事件之攝像條件亦可。
本例之控制裝置100可根據事件之檢測，變更ADC解析度，而以相對於亮度值而言足夠充分之解析度來進行AD轉換。因此，可限制不需要之位元之輸出，可壓縮資料量。又，控制裝置100可藉由壓縮資料量來降低消耗電力。控制裝置100可藉由將ADC解析度調整為最佳，而實現高動態範圍。
圖2表示實施例之控制裝置100之事件脈衝之計數方法之一例。縱軸表示亮度訊號S，橫軸表示時刻T。本例中，為檢測事件而使用亮度訊號S，但亦可使用其他訊號來檢測事件。
事件檢測部20根據亮度訊號S之變化而生成事件脈衝。一例中，事件檢測部20設定1個或複數個閾值，於亮度訊號S超過該閾值之情形時生成事件脈衝。本例之事件檢測部20設定閾值Sth1～閾值Sth5，於亮度訊號S成為閾值Sth1～閾值Sth5之情形時生成事件脈衝。即，於亮度訊號S超過閾值Sth1～閾值Sth5中之任一者而增減之情形時，事件檢測部20生成事件脈衝。閾值Sth1～閾值Sth5為事件檢測閾值之一例。
例如，於超過閾值Sth1～閾值Sth5中之任一者之情形時，事件檢測部20生成向上計數之事件脈衝。另一方面，於低於閾值Sth1～閾值Sth5中之任一者之情形時，事件檢測部20生成向下計數之事件脈衝。此外，本例之閾值Sth1～閾值Sth5係以等間隔設定，亦可不為等間隔。
脈衝計數部40生成將事件檢測部20所生成之事件脈衝進行計數之計數值Nc。脈衝計數部40將向上計數及向下計數中之至少一者進行計數。例如，脈衝計數部40係考慮向上計數及向下計數之正負而累積。藉此，可檢測亮度訊號S是否僅增減預定之值。本例中，攝像控制部30於脈衝計數部40之計數值Nc達到「±3」時變更攝像條件。此外，計數值Nc之判斷基準亦可為±3以外之值。
事件E1～事件E7表示於既定之期間中生成之事件脈衝。此外，攝像控制部30於每次發生事件時將重置訊號RST向像素部10輸出，開始攝像亦可。
事件E1中，生成向上計數之事件脈衝。即，事件E1中，表示1次超過閾值Sth1～閾值Sth5中之任一者。本例中，於藉由1次向上計數之事件脈衝之檢測，脈衝計數部40之計數值Nc成為+1之情形時，不變更攝像條件。
事件E2中，生成向下計數之事件脈衝。即，事件E2中，表示1次低於閾值Sth1～閾值Sth5中之任一者。本例中，於藉由1次向下計數之事件脈衝之檢測，脈衝計數部40之計數值Nc成為-1之情形時，不變更攝像條件。
事件E3～E5中，生成3個向上計數之事件脈衝。即，事件E3～E5藉由3次超過閾值Sth1～閾值Sth5中之任一者，脈衝計數部40之計數值Nc成為+3。攝像控制部30由於脈衝計數部40之計數值Nc達到+3，故而判斷為攝像對象之明亮度大幅度變化至既定以上，變更攝像條件。例如，於脈衝計數部40之計數值Nc成為+3以上之情形時，攝像控制部30降低ADC解析度。
更詳細而言，當脈衝計數部40之計數值Nc高於+n（n為預先設定之整數）時，亦可不使用預先設定之低位位元而進行AD轉換。於攝像對象明亮之情形時，因低位位元之輸出掩埋於雜訊中，故即便降低感測器300所檢測之亮度範圍之解析度，亦對所獲得之像素訊號基本上無影響。預定之低位位元例如為從最低位起2位之位元。
另一方面，當脈衝計數部40之計數值Nc低於-n時，亦可不使用預先設定之高位位元而進行AD轉換。於攝像對象暗之情形時，高位之位元成為0，本來就不需要。因此，即便不使用高位位元，亦對所獲得之像素訊號無影響。預定之高位位元為例如從最高位起2位之位元。
本例之控制裝置100藉由與亮度訊號S之變化相應的事件之檢測而控制攝像條件。藉此，控制裝置100可與亮度訊號S之高速變化對應而更新攝像條件。
圖3表示比較例之感測器500之構成。本例之感測器500具備：像素部510、攝像控制部530、AD轉換部550、及記憶部560。
感測器500基於像素部510所輸出之像素訊號來決定AD轉換部550之ADC解析度。感測器500可將所決定之ADC解析度記憶於記憶部560中。
記憶部560將過去幀之攝像資訊作為反饋訊號FB而輸出至攝像控制部530。攝像控制部530將過去之攝像條件輸出至AD轉換部550。而且，AD轉換部550基於過去之攝像條件、以及來自像素部510之像素訊號而控制ADC解析度。
圖4表示比較例之感測器500之ADC解析度之決定方法之一例。本例之感測器500基於亮度訊號S與亮度閾值Sth之比較來設定ADC解析度。
感測器500以預定長度之幀單位來設定ADC解析度。即，感測器500對每一幀，將亮度訊號S與亮度閾值Sth進行比較。例如，於亮度訊號S小於亮度閾值Sth之情形時，感測器500僅將低位位元進行AD轉換，於亮度訊號S大於亮度閾值Sth之情形時，僅將高位位元進行AD轉換。換言之，於亮度訊號S小於亮度閾值Sth之情形時，高位位元之AD轉換不需要，於亮度訊號S大於亮度閾值Sth之情形時，低位位元之AD轉換不需要。
感測器500基於過去幀之亮度訊號來算出當前幀之ADC解析度。例如，感測器500基於過去幀即幀F1及幀F2中之至少1個資料，來設定當前幀即幀F3之ADC解析度。因此，於過去幀與當前幀中，亮度訊號S急遽增加，ADC解析度切換之情形時，難以設定適當之ADC解析度。本例之感測器500由於在過去幀中設定低位位元之AD轉換，故而即便是於當前幀中應選擇高位位元AD轉換之情形時，根據過去幀之資料，亦無法推定當前幀之明亮度，因此僅進行低位位元之AD轉換。
如上所述，感測器500由於基於過去幀來調整當前幀之ADC解析度，故而於當前幀之環境從過去幀之環境急遽變化之情形時，難以追隨環境之變化而將攝像條件更新為最佳。即，基於事件之攝像條件之控制對攝像幀造成影響。
另一方面，控制裝置100中，取得亮度訊號S之變化來作為事件脈衝之計數之數而控制攝像條件。因此，控制裝置100可不根據過去之攝像幀，而追隨亮度訊號S之變化來迅速控制攝像條件。
圖5表示控制裝置100之動作之流程圖之一例。控制裝置100可使用本例之流程圖而控制感測器300之攝像條件。本例之流程圖中，於每次生成事件脈衝時將像素11重置。
控制裝置100監測像素11所輸出之亮度訊號S（S100）。控制裝置100判定亮度訊號S是否變化至預先設定之事件檢測閾值以上（S102）。具體而言，事件檢測部20於1個或複數個像素11中，對亮度訊號S變化而超過事件檢測閾值之事件進行檢測。於亮度訊號S未變化至事件檢測閾值以上之情形時，控制裝置100繼續進行亮度訊號S之監測（S100）。另一方面，於亮度訊號S變化至事件檢測閾值以上之情形時，控制裝置100生成事件脈衝而向脈衝計數部40輸出（S104）。
而且，攝像控制部30將來自事件檢測部20之事件脈衝進行計數（S106）。攝像控制部30基於事件之檢測而控制感測器300之攝像條件（S108）。例如，若脈衝計數部40所算出之計數值Nc達到預先設定之基準，則攝像控制部30基於該計數器值Nc而控制攝像條件。攝像控制部30所控制之攝像條件可為感測器300之ADC解析度、曝光時間以及增幅器之增益中之任一者。控制裝置100將蓄積於像素11中之電荷進行重置（S110）。控制裝置100控制攝像條件後，使藉由感測器300之曝光開始（S112）。即，於攝像控制部30更新攝像條件後，本例之控制裝置100開始曝光。於步驟S108中，曝光時間及增幅器之增益中之至少一者更新之情形時，使用已更新之攝像條件。
當於曝光期間中，事件檢測部20檢測到事件之情形時，本例之攝像控制部30再次控制攝像條件，將1個或複數個像素11重置而使藉由感測器300之曝光再次開始。例如，當於曝光期間中發生事件之情形（S114），開始藉由事件檢測部20而生成事件脈衝（S104）。另一方面，當於曝光期間中未發生事件之情形時（S114），控制裝置100結束曝光（S116）。
曝光結束後，AD轉換部50將像素部10所輸出之像素訊號進行AD轉換（S118）。此處，步驟S108中，於攝像控制部30將作為攝像條件之ADC解析度進行更新之情形時，基於已更新之攝像條件，將像素訊號進行AD轉換。然後，記憶部60將轉換之數位訊號加以記憶，將所記憶之數位訊號輸出至外部（S120）亦可。
圖6表示控制裝置100之動作之流程圖之一例。控制裝置100可使用本例之流程圖而控制感測器300之攝像條件。本例之流程圖與圖5之流程圖的不同之處在於：從算出攝像條件後至開始曝光為止之間，不將像素11重置。即，本例之控制裝置100將像素11重置一次而更新攝像條件後，不將像素11重置而開始曝光。
步驟S200及步驟S202係與圖5之步驟S100及步驟S102分別對應。步驟S202中，於亮度訊號S變化至預先設定之事件檢測閾值以上之情形時，事件檢測部20開始生成事件脈衝（S204）。然後，攝像控制部30將像素11重置（S206）。又，脈衝計數部40將所生成之事件脈衝進行計數（S208）。然後，若來自脈衝計數部40之計數值Nc達到預先設定之基準，則攝像控制部30基於該計數值Nc而設定攝像條件，對控制裝置100之攝像進行控制（S210）。
控制裝置100基於經更新之攝像條件而開始曝光（S212）。即，本例之控制裝置100係於攝像控制部30基於事件脈衝之計數值Nc而控制攝像條件，並且將像素部10重置後開始曝光。
此處，當於曝光期間中發生事件之情形時（S214），開始藉由事件檢測部20而生成事件脈衝（S216）。進一步地，脈衝計數部40將所生成之事件脈衝進行計數（S218）。然後，若於使藉由感測器300之曝光繼續進行之狀態下，來自脈衝計數部40之計數值Nc達到預先設定之基準，則攝像控制部30基於該計數值Nc而控制攝像條件（S220）。
如上所述，當於藉由感測器300之曝光期間中，事件檢測部20檢測到事件之情形時，本例之攝像控制部30再次控制攝像條件，並且使藉由感測器300之曝光繼續進行。即，控制裝置100可於曝光開始之前更新攝像條件，於曝光中更新攝像條件亦可。另一方面，於曝光開始（S212）後，在曝光期間中未發生事件之情形時（S214），結束藉由感測器300之曝光（S222）。
曝光結束後、AD轉換部50將像素部10所輸出之像素訊號進行AD轉換（S224）。此處，步驟S210及步驟S220中，於攝像控制部30將作為攝像條件之ADC解析度進行更新之情形時，基於最新之ADC解析度，將像素訊號進行AD轉換。然後，記憶部60將所轉換之數位訊號加以記憶，將所記憶之數位訊號輸出至外部（S226）亦可。
如以上所述，控制裝置100將像素11重置一次而更新攝像條件後，可不將像素11重置而開始曝光。又，藉由控制裝置100之攝像條件之更新可為曝光開始之前，為曝光期間中亦可。藉此，控制裝置100可實現與事件之發生相應之最佳攝像條件下之攝影。
圖7表示感測器300之更具體之構成之一例。本例之感測器300具備第1基板110、第2基板120、及第3基板130。
第1基板110具有像素區塊陣列112。像素區塊陣列112具有1個或複數個像素11。本例之像素區塊陣列112具有M×N個像素11。像素11具有第1光電轉換元件PD1以及第2光電轉換元件PD2。例如，第1光電轉換元件PD1為檢測事件之事件檢測元件。又，第2光電轉換元件PD2為拍攝圖像之受光元件。
第2基板120具有處理區塊陣列122。處理區塊陣列122具備M×N個資料處理部13。第2基板120積層於第1基板110上。
資料處理部13具備：事件檢測部20、攝像控制部30、脈衝計數部40、及AD轉換部50。M×N個資料處理部13係與M×N個像素11分別對應而設置。所謂對應而設置，係指M×N個資料處理部13與M×N個像素11分別電性連接。又，所謂對應而設置，係指M×N個資料處理部13與M×N個像素11分別對向而設置亦可。
本例之資料處理部13係執行分別對應而設置之像素11之資料處理。而且，資料處理部13於設置於像素11之正下方之情形時，配線縮短，可提高處理速度。例如，事件檢測部20及攝像控制部30中之至少一者係與包含1個或複數個像素11之區塊對應而設置於第2基板120上。藉此，可將設置於第1基板110上之像素11之像素開口擴大。
第3基板130具有輸出區塊陣列132。輸出區塊陣列132具備資料保持部70及資料輸入輸出部80。第3基板130積層於第2基板120上。即，第1基板110、第2基板120及第3基板130係積層而設置。
資料保持部70保持感測器300之攝像資料。例如，資料保持部70將於處理區塊陣列122中取得之攝像資料暫時保持。攝像資料中，除了像素部10所取得之圖像之資料以外，包含攝像條件等資料亦可。資料輸入輸出部80將資料保持部70所保持之攝像資料輸出至外部。又，資料輸入輸出部80將攝像資料輸出至攝像控制部30亦可。
如上所述，本例之感測器300係與M×N個像素11之各個對應而設置有M×N個攝像控制部30。因此，感測器300可對M×N個像素11的每一個控制攝像條件。藉此，感測器300可對每個像素11，設定與畫面內之亮度分佈相應而適當之攝像條件。例如，藉由對M×N個像素11的每一個設定ADC解析度，與以全像素一律之ADC解析度來進行AD轉換之情形相比較，可降低不需要之位元而抑制資料輸出頻帶。本例之感測器300藉由將對M×N個像素11的每一個而言足夠充分之位元深度反饋至AD轉換部50，可於維持畫質之狀態下削減資料量。
圖8表示攝像控制部30之更具體之構成之一例。攝像控制部30具備重置控制部32、增益控制部34、曝光控制部36、及ADC控制部38。
重置控制部32生成用以將蓄積於像素11中之電荷進行重置之重置訊號RST。重置控制部32基於從事件檢測部20輸入之事件檢測訊號Sd，將所生成之重置訊號RST輸出至像素部10。例如，於基於圖6之流程圖而動作之情形時，重置控制部32於表示事件發生之事件檢測訊號Sd被輸入之情形時，將重置訊號RST輸出至像素部10。
增益控制部34基於從脈衝計數部40輸入之計數值Nc，而控制感測器300所具備之增幅器之增益。例如，於計數值Nc高於預先設定閾值之情形，增益控制部34使增益小於之前之值，於計數值Nc低於預先設定閾值之情形時，使增益大於之前之值。
曝光控制部36基於從脈衝計數部40輸入之計數值Nc而控制曝光時間等曝光條件。例如，曝光控制部36於計數值Nc高於預先設定閾值之情形時，使曝光時間短於之前之時間，於計數值Nc低於預先設定閾值之情形時，使曝光時間長於之前之時間。又，曝光控制部36於圖像之亮度低於預先設定閾值之情形時，使曝光時間長於之前之時間，於圖像之亮度高於預先設定閾值之情形時，使曝光時間短於之前之時間亦可。
ADC控制部38基於從脈衝計數部40輸入之計數值Nc而控制ADC解析度。例如，ADC控制部38於計數值Nc高於預先設定閾值之情形時，使ADC解析度低於之前之解析度，於計數值Nc低於預先設定閾值之情形時，使ADC解析度高於之前之解析度。又，ADC控制部38於圖像之亮度低於預先設定閾值之情形時，提高ADC解析度，於圖像之亮度超過預先設定閾值之情形時，降低ADC解析度亦可。此外，該等藉由增益控制部34之增益之控制、藉由曝光控制部36之曝光時間之控制、以及藉由ADC控制部38之ADC解析度之控制，將複數種加以組合而控制亦可。此時，作為該等控制部所參照之閾值，可設定相同之計數值Nc，亦可設定分別不同之計數值Nc。
圖9表示本發明之複數個形態可整體或部分性地真實化之電腦1200之例。安裝於電腦1200中之程式可於電腦1200中，作為與本發明之實施方式之裝置相關聯之操作或者該裝置之1個或複數個區段而發揮功能，或者可執行該操作或者該1個或複數個區段，以及/或者可於電腦1200中，執行本發明之實施方式之製程或者該製程之階段。此種程式於電腦1200中，應執行與本說明書中記載之流程圖以及方塊圖之方塊中之若干或全部相關聯之特定操作，可由CPU 1212來執行。
本實施方式之電腦1200包含CPU 1212、RAM 1214、圖形控制器1216、以及顯示器元件1218，該等係藉由主控制器1210而相互連接。又，電腦1200包含通訊介面1222、硬碟1224、DVD-ROM光碟機1226、及讀卡機之類之輸入輸出單元，該等係經由輸入輸出控制器1220而與主控制器1210連接。又，電腦包含ROM 1230及鍵盤1242之類的既有之輸入輸出單元，該等係經由輸入輸出晶片1240而與輸入輸出控制器1220連接。
CPU 1212係依據ROM 1230及RAM 1214內所記憶之程式而動作，藉此控制各單元。圖形控制器1216係於RAM1214內所提供之碼框緩衝器等或者其自身之中，取得由CPU 1212生成之影像資料，影像資料顯示於顯示器元件1218上。
通訊介面1222經由網路而與其他電子元件進行通訊。硬碟1224記憶由電腦1200內之CPU 1212所使用之程式及資料。DVD-ROM光碟機1226從DVD-ROM 1201中讀取程式或資料，經由RAM 1214而對硬碟1224提供程式或資料。讀卡機從IC卡中讀取程式及資料，及/或將程式及資料寫入IC卡中。
ROM 1230於其中記憶：於啟動化時由電腦1200執行之啟動程式等、以及/或者依存於電腦1200之硬體之程式。又，輸入輸出晶片1240可經由平行埠、序列埠、鍵盤埠、滑鼠埠等，而將各種輸入輸出單元與輸入輸出控制器1220連接。
程式係由如DVD-ROM 1201或者IC卡之類之電腦可讀媒體來提供。程式係從電腦可讀媒體中讀取，安裝於亦作為電腦可讀媒體之例的硬碟1224、RAM 1214、或者ROM 1230中，由CPU 1212來執行。該等程式內所記述之資訊處理係於電腦1200中讀取，促成程式與上述各種類型之硬體資源之間之聯合。裝置或方法可藉由依據電腦1200之使用來實現資訊之操作或處理而構成。
例如，當於電腦1200及外部元件間執行通訊之情形時，CPU 1212可執行載入至RAM 1214中之通訊程式，基於通訊程式中所記述之處理，而對通訊介面1222命令通訊處理。通訊介面1222於CPU 1212之控制下，讀取於如RAM 1214、硬碟1224、DVD-ROM 1201、或者IC卡之類的記錄媒體內所提供之發送緩衝處理區域中所記憶之發送資料，將讀取之發送資料發送至網路，或者將從網路上接收之接收資料寫入至記錄媒體上所提供之接收緩衝處理區域等中。
又，CPU 1212可將如硬碟1224、DVD-ROM光碟機1226（DVD-ROM 1201）、IC卡等之類的外部記錄媒體中所記憶之檔案或者資料庫之全部或必要部分讀取於RAM 1214中，對RAM 1214上之資料執行各種類型之處理。其次，CPU 1212將經處理之資料寫回至外部記錄媒體中。
各種類型之程式、資料、表格、及資料庫之類的各種類型之資訊可記憶於記錄媒體中，接受資訊處理。CPU 1212對於從RAM 1214中讀取之資料，可執行各種類型之處理，包含本揭示中隨處記載且由程式之命令序列所指定之各種類型之操作、資訊處理、條件判斷、條件分歧、無條件分歧、資訊之檢索/置換等，將結果寫回至RAM 1214中。又，CPU 1212可檢索記錄媒體內之檔案、資料庫等中之資訊。例如，於分別具有與第2屬性之屬性值相關聯的第1屬性之屬性值的複數個項目記憶於記錄媒體內之情形時，CPU 1212從該複數個項目中指定第1屬性之屬性值並檢索與條件一致之項目，讀取該項目內所記憶之第2屬性之屬性值，藉此可取得滿足預先設定條件之與第1屬性相關聯之第2屬性之屬性值。
上文所說明之程式或軟體模組可記憶於電腦1200上或者電腦1200附近之電腦可讀媒體中。又，與專用通訊網路或者網際網路連接之伺服器系統內所提供之硬碟或RAM之類的記錄媒體可作為電腦可讀媒體來使用，藉此，可經由網路而將程式提供於電腦1200中。
又，應注意，只要未特別明示為「之前」、「前面」等，又，只要後一處理中不使用前一處理之輸出，則申請範圍、說明書及圖式中所示之裝置、系統、程式及方法中之動作、程序、步驟及階段等各處理之執行順序可以任意順序來實現。關於申請範圍、說明書及圖式中之動作流程，即便為了方便起見而使用「首先，」、「其次，」等來說明，亦並非意指必須以該順序來實施。
以上，已使用實施方式對本發明加以說明，但本發明之技術性範圍並不限定於上述實施方式所記載之範圍內。本領域技術人員明白可對上述實施方式加以多種變更或改良。根據申請範圍之記載而明確，施加有此種變更或改良之形態亦可包含於本發明之技術性範圍內。
10:像素部 11:像素 12:區塊 13:資料處理部 20:事件檢測部 30:攝像控制部 32:重置控制部 34:增益控制部 36:曝光控制部 38:ADC控制部 40:脈衝計數部 50:AD轉換部 60:記憶部 70:資料保持部 80:資料輸入輸出部 100:控制裝置 110:第1基板 112:像素區塊陣列 120:第2基板 122:處理區塊陣列 130:第3基板 132:輸出區塊陣列 300:感測器 500:感測器 510:像素部 530:攝像控制部 550:AD轉換部 560:記憶部 1200:電腦 1201:DVD-ROM 1210:主控制器 1212:CPU 1214:RAM 1216:圖形控制器 1218:顯示器元件 1220:輸入輸出控制器 1222:通訊介面 1224:硬碟 1226:DVD-ROM光碟機 1230:ROM 1240:輸入輸出晶片 1242:鍵盤 RST:重置訊號 FB:反饋訊號 Sd:事件檢測訊號 Nc:計數值
[圖1]表示感測器300之構成之概要。 [圖2]表示實施例之控制裝置100之事件脈衝之計數方法之一例。 [圖3]表示比較例之感測器500之構成。 [圖4]表示比較例之感測器500之ADC（analog-to-digital converter，類比數位轉換器）解析度之決定方法之一例。 [圖5]表示控制裝置100之動作之流程圖之一例。 [圖6]表示控制裝置100之動作之流程圖之一例。 [圖7]表示感測器300之更具體之構成之一例。 [圖8]表示攝像控制部30之更具體之構成之一例。 [圖9]表示本發明之複數個形態可整體或部分性地真實化之電腦1200之例。
10:像素部
11:像素
12:區塊
20:事件檢測部
30:攝像控制部
40:脈衝計數部
50:AD轉換部
60:記憶部
100:控制裝置
300:感測器
RST:重置訊號
FB:反饋訊號
Sd:事件檢測訊號
Nc:計數值

Claims (20)

  1. 一種感測器，其具備： 第1基板，具有像素，上述像素包含將光轉換為電荷的第1光電轉換元件、與將光轉換為電荷的第2光電轉換元件； 第2基板，具有處理部，上述處理部包含根據藉由於上述第1光電轉換元件所轉換的電荷而生成的第1訊號來檢測事件之事件檢測部、與根據上述事件檢測部的檢測結果來控制上述第2光電轉換元件的曝光條件之控制部。
  2. 如請求項1所述的感測器，其中， 上述像素於上述第1基板中於第1方向及與上述第1方向交叉的第2方向排列配置； 上述處理部於上述第2基板中於上述第1方向與上述第2方向排列配置。
  3. 如請求項1所述的感測器，其中， 上述處理部具有將藉由於上述第2光電轉換元件所轉換的電荷而生成的第2訊號轉換成數位訊號的轉換部。
  4. 如請求項3所述的感測器，其中， 上述控制部根據上述事件檢測部的檢測結果，控制上述轉換部的解析度。
  5. 如請求項3所述的感測器，其中， 上述感測器具備第3基板，該第3基板具有保持由上述轉換部轉換成數位訊號的上述第2訊號的保持部。
  6. 如請求項5所述的感測器，其中， 上述保持部保持與上述曝光條件有關的資料。
  7. 如請求項3所述的感測器，其中， 上述感測器具備將上述第2訊號增幅的增幅器； 上述控制部根據上述事件檢測部的檢測結果，控制上述增幅器的增益。
  8. 如請求項1所述的感測器，其中， 上述感測器具備將藉由於上述第2光電轉換元件所轉換的電荷而生成的第2訊號增幅的增幅器； 上述控制部根據上述事件檢測部的檢測結果，控制上述增幅器的增益。
  9. 如請求項1所述的感測器，其中， 上述處理部具有計數上述事件檢測部的事件檢測次數的計數部； 上述控制部根據上述計數部的計數結果，控制上述第2光電轉換元件的曝光條件。
  10. 如請求項9所述的感測器，其中， 上述處理部具有將藉由於上述第2光電轉換元件所轉換的電荷而生成的第2訊號轉換成數位訊號的轉換部。
  11. 如請求項10所述的感測器，其中， 上述控制部根據上述計數部的計數結果，控制上述轉換部的解析度。
  12. 如請求項10所述的感測器，其中， 上述感測器具備第3基板，該第3基板具有保持由上述轉換部轉換成數位訊號的上述第2訊號的保持部。
  13. 如請求項12所述的感測器，其中， 上述保持部保持與上述曝光條件有關的資料。
  14. 如請求項10所述的感測器，其中， 上述感測器具備將上述第2訊號增幅的增幅器； 上述控制部根據上述計數部的計數結果，控制上述增幅器的增益。
  15. 如請求項9所述的感測器，其中， 上述感測器具備將藉由於上述第2光電轉換元件所轉換的電荷而生成的第2訊號增幅的增幅器； 上述控制部根據上述計數部的計數結果，控制上述增幅器的增益。
  16. 如請求項1所述的感測器，其中， 上述控制部控制作為上述曝光條件的上述第2光電轉換元件的曝光時間。
  17. 如請求項1所述的感測器，其中， 上述控制部控制作為上述曝光條件的於上述第2光電轉換元件所轉換的電荷的蓄積時間。
  18. 如請求項1所述的感測器，其中， 上述第1基板被上述第2基板所積層。
  19. 如請求項18所述的感測器，其中， 上述像素於積層上述第1基板與上述第2基板的積層方向中，配置為與上述處理部對向。
  20. 一種攝像裝置，其具備： 如請求項1至19中任一項所述之感測器。
TW112131317A 2018-03-15 2018-12-27 感測器以及具備其之攝像裝置 TW202406328A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018047968 2018-03-15
JPJP2018-047968 2018-03-15

Publications (1)

Publication Number Publication Date
TW202406328A true TW202406328A (zh) 2024-02-01

Family

ID=67908187

Family Applications (2)

Application Number Title Priority Date Filing Date
TW112131317A TW202406328A (zh) 2018-03-15 2018-12-27 感測器以及具備其之攝像裝置
TW107147405A TWI815841B (zh) 2018-03-15 2018-12-27 控制裝置、控制方法以及程式

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW107147405A TWI815841B (zh) 2018-03-15 2018-12-27 控制裝置、控制方法以及程式

Country Status (4)

Country Link
US (3) US11297249B2 (zh)
JP (3) JP7131604B2 (zh)
TW (2) TW202406328A (zh)
WO (1) WO2019176250A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112369012B (zh) * 2018-12-18 2024-04-12 索尼半导体解决方案公司 图像传感器、记录设备以及复位方法
DE112020000575T5 (de) * 2019-01-29 2021-10-28 Semiconductor Energy Laboratory Co., Ltd. Abbildungsvorrichtung und elektronisches Gerät
JP2021093583A (ja) * 2019-12-09 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2022156089A (ja) * 2021-03-31 2022-10-14 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4277216B2 (ja) * 2005-01-13 2009-06-10 ソニー株式会社 撮像装置及び撮像結果の処理方法
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
JP5264095B2 (ja) 2007-04-09 2013-08-14 キヤノン株式会社 固体撮像装置
TWI583195B (zh) * 2012-07-06 2017-05-11 新力股份有限公司 A solid-state imaging device and a solid-state imaging device, and an electronic device
KR102102702B1 (ko) * 2013-06-19 2020-04-21 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
US9986179B2 (en) * 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
US20160133199A1 (en) * 2014-11-10 2016-05-12 Sony Corporation Display brightness control
KR102357965B1 (ko) * 2015-01-12 2022-02-03 삼성전자주식회사 객체 인식 방법 및 장치
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
JP2017038174A (ja) * 2015-08-07 2017-02-16 キヤノン株式会社 撮像装置、その制御方法およびプログラム
WO2017098725A1 (ja) 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 固体撮像装置、距離測定装置および距離測定方法
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
KR102541757B1 (ko) * 2016-12-30 2023-06-13 소니 어드밴스드 비주얼 센싱 아게 동적 비전 센서 아키텍쳐
TW202408216A (zh) * 2018-01-23 2024-02-16 日商索尼半導體解決方案公司 光檢測裝置
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
JP2023179577A (ja) 2023-12-19
WO2019176250A1 (ja) 2019-09-19
US20220182526A1 (en) 2022-06-09
US20200412929A1 (en) 2020-12-31
TW201939941A (zh) 2019-10-01
US20240223905A1 (en) 2024-07-04
JP7131604B2 (ja) 2022-09-06
US11297249B2 (en) 2022-04-05
JP2022180369A (ja) 2022-12-06
JP7359264B2 (ja) 2023-10-11
JPWO2019176250A1 (ja) 2021-03-25
TWI815841B (zh) 2023-09-21
US11936988B2 (en) 2024-03-19

Similar Documents

Publication Publication Date Title
TWI815841B (zh) 控制裝置、控制方法以及程式
US11611715B2 (en) System and method for event camera data processing
US8576331B2 (en) Image pickup apparatus that performs exposure control, method of controlling the image pickup apparatus, and storage medium
US9721609B2 (en) Image capturing apparatus, image capturing system, and control method for the image capturing apparatus
TWI398163B (zh) 影像訊號處理電路，影像拾取設備，及影像訊號處理方法與電腦程式
EP2224726A2 (en) Image processing apparatus, image processing method, and program
US9635289B2 (en) Image capturing apparatus, control method thereof, and storage medium
US20180276783A1 (en) Image capturing apparatus, method of controlling same, and storage medium
TWI408623B (zh) 監視系統及其監視影像錄製方法，及其機器可讀取媒體
US10255687B2 (en) Distance measurement system applicable to different reflecting surfaces and operating method thereof
US11991454B2 (en) Image capturing control apparatus, image capturing apparatus, control method, and storage medium
CN110719412A (zh) 一种cmos图像传感器曝光时间的控制方法
JP2007110445A (ja) 画像処理装置および方法
US12096130B2 (en) Image capturing apparatus, information processing apparatus, control method of information processing apparatus, and storage medium
JP5761991B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
KR100738179B1 (ko) 자동 화이트 밸런스 조절 장치 및 그 조절 방법
KR20240041671A (ko) 비전 센서 및 이를 포함하는 이미지 처리 장치
US20200118523A1 (en) Display apparatus and display method
KR100799834B1 (ko) 노이즈 특성이 개선된 영상 프레임 획득방법
KR100775063B1 (ko) 이미지 센서의 랜덤 노이즈 평가 방법 및 평가 장치