TWI801572B - 影像感測器、成像單元及生成灰階影像的方法 - Google Patents

Abstract

一種影像感測器包括時間分辨感測器和處理器。所述時 間分辨感測器回應於探測到從物體反射的一個或多個光子而輸出一對第一訊號與第二訊號。第一訊號的振幅對所述第一訊號的所述振幅和第二訊號的振幅的和的第一比率與所探測到的所述一個或多個光子的飛行時間成比例。第二訊號的振幅對第一訊號的振幅和所述第二訊號的所述振幅的和的第二比率與所探測到的所述一個或多個光子的所述飛行時間成比例。所述處理器基於所述一對第一訊號與第二訊號來確定反射光脈衝的物體的表面反射率且可生成灰階影像。也提供一種成像單元和一種生成灰階影像的方法。

Description

影像感測器、成像單元及生成灰階影像的方法 [相關申請的交叉參考]

本申請主張在2018年7月24日提出申請的美國臨時申請第62/702,891號的優先權利，所述美國臨時申請的揭露內容全文併入本文中供參考。

本文所揭露主題總體來說涉及影像感測器。更具體來說，本文所揭露主題涉及一種也可從累加光子探測事件中生成灰階影像的飛行時間(Time-of-Fight，TOF)影像感測器。

三維(Three-dimensional，3D)成像系統越來越多地用於各種各樣的應用，例如工業生產、視頻遊戲、電腦圖形、機器人外科手術、消費型顯示器、監控視頻、3D建模、房地產銷售等。現有的3D成像技術可例如包括基於飛行時間(TOF)的範圍成像、立體視覺系統和結構光(structured light，SL)方法。

在TOF方法中，基於已知的光速來分辨到3D物體的距離—通過針對影像的每一點測量光訊號在照相機與3D物體之間 行進所花費的往返時間。TOF照相機可使用無掃描方法來以每一個雷射脈衝或光脈衝俘獲整個場景。TOF方法的一些示例性應用可包括先進汽車應用，例如基於即時距離影像進行主動行人安全或碰撞前探測；例如在與視頻遊戲機上的遊戲交互期間跟蹤人類的移動；在工業機器視覺中對物體進行分類並說明機器人找到物品(例如傳送帶上的物品)，等等。

在立體成像系統或立體視覺系統中，使用彼此水平移位的兩個照相機來獲得關於場景或關於場景中的3D物體的兩個不同的視圖。通過對這兩個影像進行比較，可獲得3D物體的相對深度資訊。立體視覺在例如機器人學等領域中是非常重要的，以提取關於自主系統/機器人附近的3D物體的相對位置的資訊。機器人學的其他應用包括物體辨別，在所述物體辨別中，立體深度資訊使得機器人系統能夠將機器人原本可能無法區分為兩個單獨物體的遮掩影像分量分開—例如一個物體在另一物體的前方而使得部分地或完全地隱藏所述另一物體。3D立體顯示器也用於娛樂系統和自動化系統。

在SL方法中，可使用所投射光圖案和成像照相機來測量物體的3D形狀。在SL方法中，將已知的光圖案(通常為閘格或水平條或者由平行條帶形成的圖案)投射到場景或場景中的3D物體上。所投射圖案在射到3D物體的表面上時可發生變形或移位。這種變形可使得SL視覺系統能夠計算物體的深度資訊和表面資訊。因此，將窄光帶投射到3D表面上可產生照射線，所述照射線從除投影儀的視角以外的視角來看可顯現為失真的且可用於對被照射的表面形狀進行幾何重構。基於SL的3D成像可用于不同 的應用，例如，由員警用於拍攝3D場景中的指紋、在生產過程期間對元件進行線上檢驗、在醫療保健中用於對人體形狀和/或人類皮膚的微結構進行現場測量。

技術問題

本發明的目標是提供用於感測以脈衝方式從物體反射的光以生成3D影像與二維(two-dimensional，2D)影像兩者的裝置和方法。

示例性實施例提供一種可包括時間分辨感測器和處理器的影像感測器。所述時間分辨感測器可包括至少一個畫素且可回應於通過所述至少一個畫素探測到與朝物體投射的光脈衝對應的一個或多個光子而輸出一對的第一訊號與第二訊號，所述一個或多個光子是從所述物體反射，其中所述一對中的所述第一訊號的振幅對所述一對中的所述第一訊號的所述振幅和所述一對中的所述第二訊號的振幅的和的第一比率可與所探測到的所述一個或多個光子的飛行時間成比例，且其中所述一對中的所述第二訊號的所述振幅對所述一對中的所述第一訊號的所述振幅和所述一對中的所述第二訊號的所述振幅的所述和的第二比率可與所探測到的所述一個或多個光子的所述飛行時間成比例。所述處理器可基於所述一對的第一訊號與第二訊號來確定反射所述光脈衝的所述物體的表面反射率。所述處理器還可基於所述一對的第一訊號與第二訊號來確定到所述物體的距離。在一個實施例中，所述時間分辨感測器可回應於對於朝所述物體投射的多個光脈衝而言在所 述畫素處探測到從所述物體反射的一個或多個光子而輸出多對的第一訊號與第二訊號，其中每一對的第一訊號與第二訊號可與相應光脈衝對應，且所述處理器可基於多對的第一訊號與第二訊號來確定反射所述光脈衝的所述物體的表面反射率。

示例性實施例提供一種可包括光源、時間分辨感測器和處理器的成像單元。所述光源可以朝物體的表面投射的一系列光脈衝照射所述物體。所述時間分辨感測器可包括至少一個畫素，可與所述光源同步且響應於在所述至少一個畫素處探測到與光脈衝對應的一個或多個光子而輸出一對的第一訊號與第二訊號，所述一個或多個光子是從所述物體的所述表面反射，其中所述一對中的所述第一訊號的振幅對所述一對中的所述第一訊號的所述振幅和所述一對中的所述第二訊號的振幅的和的第一比率可與所探測到的所述一個或多個光子的飛行時間成比例，且其中所述一對中的所述第二訊號的所述振幅對所述一對中的所述第一訊號的所述振幅和所述一對中的所述第二訊號的所述振幅的所述和的第二比率可與所探測到的所述一個或多個光子的所述飛行時間成比例。所述處理器可基於所述一對的第一訊號與第二訊號來確定到所述物體的距離且可基於所述一對的第一訊號與第二訊號來確定反射所述光脈衝的所述物體的表面反射率。在一個實施例中，所述時間分辨感測器可回應於在所述畫素處探測到從所述物體反射的一個或多個光子而輸出多對的第一訊號與第二訊號，其中每一對的第一訊號與第二訊號可與朝所述物體投射的多個光脈衝中的相應光脈衝對應。所述處理器還可基於對應的一對的第一訊號與第二訊號來確定反射每一個相應光脈衝的所述物體的多個表面反 射率。在一個實施例中，所述處理器還可基於所述多個表面反射率來生成所述物體的灰階影像。

示例性實施例提供一種生成物體的灰階影像的方法，其中所述方法可包括：從光源朝物體的表面投射一系列光脈衝；在畫素處探測與光脈衝對應的一個或多個光子，所述一個或多個光子是從所述物體的所述表面反射；由時間分辨感測器響應於探測到所述一個或多個光子而生成一對的第一訊號與第二訊號，其中所述時間分辨感測器可與所述光源同步，其中所述一對中的所述第一訊號的振幅對所述一對中的所述第一訊號的所述振幅和所述一對中的所述第二訊號的振幅的和的第一比率可與所探測到的所述一個或多個光子的飛行時間成比例，且所述一對中的所述第二訊號的所述振幅對所述一對中的所述第一訊號的所述振幅和所述一對中的所述第二訊號的所述振幅的和的第二比率可與所探測到的所述一個或多個光子的所述飛行時間成比例；由處理器基於所述一對的第一訊號與第二訊號來確定到所述物體的距離；以及由所述處理器基於所述一對的第一訊號與第二訊號來確定反射所述一個或多個光子的所述物體的表面反射率。在一個實施例中，所述方法還可包括對於朝所述物體投射的多個光脈衝而言在所述畫素處探測從所述物體反射的一個或多個光子，其中每一對第一訊號與第二訊號可與所述多個光脈衝中的一個光脈衝對應；以及由所述處理器基於至少一對的第一訊號與第二訊號來確定反射所述光脈衝的所述物體的表面反射率。在一個實施例中，所述方法還可包括由所述處理器生成通過所述多個畫素中的預定畫素探測到的光子的抵達時間的至少一個長條圖以生成所述灰階影像。

發明有益效果

根據本發明，通過向物體投射光脈衝以感測從所述物體反射的光脈衝，所轉移的電荷量被轉換成第一訊號。剩餘電荷量被轉換成第二訊號。基於第一訊號和第二訊號計算光脈衝的飛行時間並根據飛行時間計算距離以生成3D影像。基於第一訊號和第二訊號計算所反射的光脈衝的功率並根據所計算出的功率和所計算出的距離計算物體的反射率以生成所述物體的2D灰階影像。

15:系統/成像系統/飛行時間(TOF)系統

17:模組/成像模組

19:模組/處理器/處理器模組/主機

20:模組/記憶體/記憶體模組/系統記憶體/記憶體單元

22:光源/模組/投影儀模組/光源模組

24:模組/影像感測器單元

26:物體/3D物體

28:脈衝/所投射脈衝/光訊號/光脈衝/脈衝光/光學視場

29:光學視場

30、31:照射路徑

33:雷射/光源/雷射光源/照射源/雷射源

34:雷射控制器

35:投影光學裝置/聚焦透鏡

36、38、39:收集路徑

37:反射脈衝/收集路徑/返回光脈衝/返回脈衝/所接收脈衝/所接收光/返回光

42:影像感測器/陣列/畫素陣列/二維(2D)畫素陣列

43、601、602、603、604、621、622、623、624、700、1000、1202、1300:畫素

44:收集光學裝置/聚焦透鏡

46:畫素處理單元/畫素處理電路

50、1100、2800:流程圖

52、54、56、58、60、1101、1102、1103、1004、1105、1106、1107:操作

62、64:角運動

66:掃描線SR

68:掃描線SR+1

70、72、73:光點

71:斑點/光點

75:列R/畫素列R

76:列R+1

78:照射

80:光點

82:行C _i

84:深度/距離

86:軸/X軸

275:週邊儲存單元

277:輸出裝置/顯示單元

278:網路介面/網路介面單元

280:電源單元/板載電源單元

501:SPAD核心/SPAD核心部分

502:PPD核心/PPD核心部分

503、1302、1603、2311a、2311n:SPAD

504:第一控制電路

505:傳入光

506:輸出/SPAD輸出/數位SPAD輸出/SPAD專有數位輸出/訊號/輸出訊號

507:第二控制電路

508、1801、2101:PPD

510:畫素專有類比輸出/畫素專有輸出資料線/畫素輸出資料線/畫素專有輸出/PIXOUT訊號/PIXOUT資料線/PIXOUT線 /Pixout線

600A:架構/2×2畫素陣列架構

600B:架構/畫素陣列架構/SPAD共用配置

600C:畫素陣列架構/4×4畫素陣列架構/畫素陣列配置

605、641、1001、1311:PPD核心

606、607、608、609、625、642、643、644、645、646、647、648、649、650、1002、1003、1004、1005:SPAD核心

701:光閘/光閘訊號/電子光閘/電子光閘訊號

702、1319:邏輯單元

703:電晶體/第一N通道金屬氧化物半導體場效電晶體(NMOSFET)/第一NMOS電晶體/第一電晶體

704:電晶體/第二NMOS電晶體/第二電晶體

705:電晶體/第三NMOS電晶體/第三電晶體

706:第四NMOS電晶體/第四電晶體/源極跟隨器

707:第五NMOS電晶體/第五電晶體

708:轉移使能(TXEN)訊號

709:重置(RST)訊號/RST脈衝

710:轉移電壓(VTX)訊號

711:TX訊號/TX電壓

712:浮動擴散(FD)節點/浮動擴散結

713:VPIX訊號/畫素電壓(VPIX)訊號

715:選擇(SEL)訊號

800、900、1400:時序圖

801、802:波形

901:時間延遲/延遲時間T _dly /飛行時間T _tof 持續時間

902:畫素專有TOF值/飛行時間T _tof

903:時間週期/電子光閘接通或現用週期T _sh

904:光閘接通週期

905:PPD預設事件

906:第一浮動擴散重置事件

907:第二FD重置事件

908、909:參考編號

910、1402:事件

1006、1007、1008、1009:框/F(x,y)框

1010、1011、1012:脈衝

1200:影像感測器單元

1201:畫素陣列/2D畫素陣列

1203:列解碼器/列驅動器/處理單元

1204:行解碼器/處理單元

1205:畫素行單元/處理單元

1206、1207、1208:行專用pixout訊號/畫素接收PIXOUT訊號

1209、1210、1211:列專有集合

1212:輸入/列位址輸入/控制輸入

1213:P1和P2值

1214:行位址輸入/控制輸入

1301A、1301N:SPAD核心/SPAD

1303:SPAD工作電壓/VSPAD電壓/訊號

1304:電阻元件/電阻器

1305:電容器/耦合電容器

1306、1316:反相器

1307:電晶體/PMOS電晶體

1308:電子光閘訊號/光閘輸入/光閘/電子光閘

1309:VDD/電源電壓VDD

1310:輸出/輸出線/SPAD輸出/SPAD核心/SPAD核心專有輸出

1312:SPAD/核心專有SPAD

1313:電阻元件

1315:耦合電容器

1317:PMOS電晶體

1318:輸出/SPAD輸出/SPAD核心專有輸出

1320:電晶體/第一NMOS電晶體/第一電晶體/NMOS電晶體

1321:電晶體/NMOS電晶體/第二NMOS電晶體/TX電晶體

1322:電晶體/NMOS電晶體/第三NMOS電晶體

1323:電晶體/NMOS電晶體/第四NMOS電晶體

1324:電晶體/NMOS電晶體/第五NMOS電晶體

1325:TXEN訊號/TXEN輸入/內部輸入TXEN

1326:RST訊號/外部輸入RST訊號

1327:VTX訊號

1328:TX訊號/TX波形/TX輸入

1329:VPIX訊號

1330:SEL訊號

1331:浮動擴散(FD)節點/浮動擴散結/FD訊號/浮動擴散電壓波形

1333:第二TXEN訊號/TXENB訊號

1334:電晶體/NMOS電晶體/第六NMOS電晶體

1335:地(GND)電勢

1336:儲存擴散(SD)電容器

1337:電晶體/NMOS電晶體/第七NMOS電晶體

1338:SD節點

1339:第二轉移(TX2)訊號

1401:轉移模式(TXRMD)訊號

1403:PPD預設事件

1404:延遲時間T _dly

1405:TOF週期T _tof

1406:光閘關斷間隔

1407:光閘接通或現用週期T _sh

1408:光閘接通週期/光閘接通或現用週期T _sh

1409:FD重置事件

1412:第一讀出週期

1413:第二讀出週期

1500、2000:時間分辨感測器

1501、2001、2301a、2301n:SPAD電路

1503、2003、2303:邏輯電路

1505:PPD電路

1601、2313a、2313n:電阻器

1605:電容器

1607、2317a、2317n:p型MOSFET電晶體

1609、2319a、2319n:緩衝器

1701:栓鎖器

1703:雙輸入OR閘

1803、2103、2351:第一電晶體

1805、2105、2353:第二電晶體

1807、2107、2355:第三電晶體

1809、2109、2357:第四電晶體

1811、2111、2359:第五電晶體

1900、2200、2400:相對訊號時序圖

2005:第二PPD電路

2113、2361:第六電晶體

2115、2363:第七電晶體

2117、2365:第八電晶體

2119、2367:第九電晶體

2300:畫素/時間分辨感測器

2305:第三PPD電路

2315a、2315n:電容器

2369:第十電晶體

2371:第十一電晶體

2373:第十二電晶體

2375:第十三電晶體

2500:方法

2501、2502、2503、2504、2505、2506、2507、2508、2509:步驟

2600:觸發波形

2601、2602、2603、2700:長條圖

2602a:窗口寬度

2701:事件M的數量

2702:事件N的數量

2801、2802、2803、2804、2805、2806:步驟

2900:場景

2901:深度圖

2902:灰階影像

a、b、c、d:輸出/輸入

C _i :行i/行

DE:探測事件

d:偏移距離

h:距離

PIXA、PIXB:畫素輸出線

PIXOUT:畫素專有類比輸出/畫素專有輸出

PIXOUT1:畫素輸出1/訊號/電壓

PIXOUT2:畫素輸出2/訊號/電壓

q:偏移距離/偏移/位置/參數

R、R+1:列

SC:電容裝置

S_R、S_R+1:線/掃描線

T _dly :值/延遲時間參數/延遲時間/參數/延遲/時間延遲週期

T _sh :參數/週期/電子光閘接通或現用週期/光閘接通週期/光閘接通或現用週期/電子光閘時間

T _tof :值/參數/飛行時間/TOF週期

V_DD:電壓/電源電壓/通用電源電壓

VSPAD:電壓/訊號/SPAD工作電壓

X:軸/方向/水平方向

X_R,i:光點

x、y:輸入

Y:軸/方向/垂直方向

Z:軸/深度/距離

α、β:角度

θ:參數/掃描角度/束角度

在以下部分中，將參照在各圖中所示的示例性實施例來闡述本文所揭露主題的各個方面，在各圖中：

圖1繪示根據本文所揭露主題的影像感測器系統的高度簡化局部配置。

圖2繪示根據本文所揭露主題的圖1中的影像感測器系統的示例性操作配置。

圖3繪示根據本文所揭露主題的可如何執行3D深度測量的示例性實施例的流程圖。

圖4繪示根據本文所揭露主題，可如何執行示例性點掃描來進行3D深度測量。

圖5繪示根據本文所揭露主題的畫素的示例性實施例的框圖。

圖6A到圖6C分別繪示根據本文所揭露主題的畫素陣列架構的三個不同實例。

圖7繪示根據本文所揭露主題的畫素的示例性實施例的電路 細節。

圖8是示例性時序圖，其提供對根據本文所揭露主題的圖7所示畫素中的調變式電荷轉移機制的概述。

圖9是根據本文所揭露主題的當在畫素陣列中使用圖7所示實施例中的畫素來測量TOF值時，圖1和圖2所示影像感測器系統中的不同訊號的示例性時序的時序圖。

圖10示出根據本文所揭露主題，可如何在畫素中實現邏輯單元。

圖11繪示示出根據本文所揭露主題的可如何在圖1和圖2所示影像感測器系統中確定TOF值的示例性流程圖。

圖12是根據本文所揭露主題的影像感測器單元的一部分的示例性佈局。

圖13繪示根據本文所揭露主題的畫素的另一示例性實施例。

圖14是根據本文所揭露主題的當在畫素陣列中使用圖13中所繪示實施例中的畫素來測量TOF值時，圖1和圖2所示影像感測器系統中的不同訊號的示例性時序的時序圖。

圖15繪示根據本文所揭露主題的時間分辨感測器的示例性實施例的框圖。

圖16繪示根據本文所揭露主題的圖15所示時間分辨感測器的單光子雪崩二極體(single-photon avalanche diode，SPAD)電路的示例性實施例的示意圖。

圖17繪示根據本文所揭露主題的圖15所示時間分辨感測器的邏輯電路的示例性實施例的示意圖。

圖18繪示根據本文所揭露主題的圖15所示時間分辨感測器 的釘紮光電二極體(pinned photodiode，PPD)電路的示例性實施例的示意圖。

圖19繪示根據本文所揭露主題的圖15所示時間分辨感測器的示例性相對訊號時序圖。

圖20繪示根據本文所揭露主題的時間分辨感測器的另一個示例性實施例的框圖。

圖21繪示根據本文所揭露主題的圖20所示時間分辨感測器的第二PPD電路的示例性實施例的示意圖。

圖22繪示根據本文所揭露主題的圖20所示時間分辨感測器的示例性相對訊號時序圖。

圖23繪示根據本文所揭露主題的時間分辨感測器的再一個示例性實施例的框圖。

圖24繪示根據本文所揭露主題的圖23所示時間分辨感測器的示例性相對訊號時序圖。

圖25繪示根據本文所揭露主題的使用圖23所示時間分辨感測器來分辨時間的方法的流程圖。

圖26A繪示從SPAD輸出的示例性觸發波形。

圖26B繪示根據本文所揭露主題的示例性畫素的光子探測時間所可形成的的示例性長條圖。

圖26C繪示根據本文所揭露主題的示例性長條圖，其中指示表示所投射脈衝(未示出)的半峰全寬(full width at half-maximum，FWHM)的視窗寬度，可在其中確定事件計數最大值。

圖26D繪示根據本文所揭露主題的示例性長條圖，其中從SPAD(圖26A)輸出的觸發波形與所述長條圖進行卷積以確定事 件計數最大值。

圖27繪示根據本文所揭露主題的示例性畫素的示例性長條圖。

圖28繪示根據本文所揭露主題的生成場景的深度圖或範圍圖以及灰階影像的示例性方法的流程圖。

圖29A繪示示例性場景。

圖29B和圖29C分別繪示根據本文所揭露主題的圖29A中所繪示場景所已形成的示例性深度圖和示例性灰階影像。

圖30繪示根據本文所揭露主題的圖1和圖2中所繪示成像系統的總體佈局的示例性實施例。

在以下詳細說明中，闡述許多具體細節來提供對揭露內容的透徹理解。然而，所屬領域中的技術人員應理解，無需這些具體細節也可實踐所揭露的各個方面。在其他情形中，未詳細闡述眾所周知的方法、流程、元件和電路，以免使本文所揭露的主題模糊不清。另外，可實現所闡述的各個方面以在任何成像裝置或系統中執行低功率3D深度測量，所述成像裝置或系統包括但不限於智慧手機、使用者設備(User Equipment，UE)和/或膝上型電腦。

本說明書通篇中所提及的“一個實施例(one embodiment)”或“實施例(an embodiment)”意指結合所述實施例所闡述的特定特徵、結構或特性可包括在本文所揭露的至少一個實施例中。因此，在本說明書通篇中各處出現的短語“在一個 實施例中(in one embodiment)”或“在實施例中(in an embodiment)”或者“根據一個實施例(according to one embodiment)”(或具有相似含義的其他短語)可能未必均指同一實施例。此外，在一個或多個實施例中，特定特徵、結構或特性可以任何適合的方式進行組合。就此來說，本文所用的詞“示例性(exemplary)”意指“用作實例、例子或例示”。本文被闡述為“示例性”的任何實施例不應被視為與其他實施例相比必定是優選的或有利的。另外，在一個或多個實施例中，可以任何適合的方式來組合特定特徵、結構或特性。另外，根據本文中的論述的上下文而定，單數用語可包括對應的複數形式且複數用語可包括對應的單數形式。類似地，帶連字號的用語(例如，“二維(two-dimensional)”、“預定(pre-determined)”、“畫素專有(pixel-specific)”等)偶爾可與對應的未帶連字號的版本(例如，“二維(two dimensional)”、“預定(predetermined)”、“畫素專有(pixel specific)”等)可互換地使用，且大寫詞條(例如，“逆時針(Counter Clock)”、“列選擇(Row Select)”、“PIXOUT”等)可與對應的非大寫版本(例如，“逆時針(counter clock)”、“列選擇(row select)”、“pixout”等)可互換地使用。這種偶爾的可互換使用不應被視為彼此不一致。

另外，根據本文中的論述的上下文而定，單數用語可包括對應的複數形式且複數用語可包括對應的單數形式。還應注意，本文中所示和所論述的各個圖(包括元件圖)僅是出於說明性目的，而並非按比例繪製。相似地，各種波形和時序圖是僅出於說明性目的而示出。舉例來說，為清晰起見，可相對於其他元 件誇大元件中的一些元件的尺寸。另外，在適當情況下，在各個圖中重複使用參考編號來指示對應的元件和/或類似元件。

本文所用術語僅是用於闡述一些示例性實施例的目的，而非旨在限制所主張的主題。除非上下文另外清楚地指明，否則本文所用單數形式“一(a、an)”和“所述(the)”旨在也包括複數形式。還應理解，當在本說明書中使用用語“包括(comprises和/或comprising)”時，是指明所陳述特徵、整數、步驟、操作、元件和/或元件的存在，但不排除一個或多個其他特徵、整數、步驟、操作、元件、元件和/或其群組的存在或添加。本文所用用語“第一(first)”、“第二(second)”等被用作位於所述用語後面的名詞的標籤，且除非明確定義，否則所述用語並不隱含著任何類型的次序(例如，空間的、時間的、邏輯的等)。此外，在兩個或更多個圖中可使用相同的參考編號來指代具有相同或相似的功能的部件、元件、區塊、電路、單元或模組。然而，這種用法僅是為了使說明簡潔且易於論述起見；所述用法並不隱含著這種元件或單元的構造細節或架構細節在所有實施例中是相同的或者這些通常提及的部件/模組是實現本文所揭露示例性實施例中的一些示例性實施例的唯一方式。

應理解，當稱一元件或層位於另一元件或層上、“連接到”或“耦合到”另一元件或層時，所述元件可直接位於所述另一元件或層上、直接連接到或直接耦合到所述另一元件或層，抑或可存在中間元件或層。相比之下，當稱一元件“直接位於”另一元件或層“上”、“直接連接到”或“直接耦合到”另一元件或層時，不存在中間元件或層。通篇中相同的編號指代相同的元 件。本文所用用語“和/或”包含相關聯列出項中的一個或多個項的任意和所有組合。

本文所用用語“第一”、“第二”等用作位於所述用語後面的名詞的標籤，且除非明確定義，否則所述用語並不暗含著任何類型的次序(例如，空間的、時間的、邏輯的等)。此外，在兩個或更多個圖中可使用相同的參考編號來指代具有相同或相似的功能的部件、元件、區塊、電路、單元或模組。然而，這種用法僅是為了使說明簡潔且易於論述起見；所述用法並不隱含著這種元件或單元的構造細節或架構細節在所有實施例中是相同的或者這些通常提及的部件/模組是實現本文所揭露示例性實施例中的一些示例性實施例的唯一方式。

在本文中，為便於說明，可使用例如“在……之下(beneath)”、“在……下面(below)”、“下方的(lower)”、“在……之上(above)”、“上方的(upper)”等空間相對性用語來闡述圖中所示的一個元件或特徵與另一(其他)元件或特徵的關係。應理解，這些空間相對性用語旨在除圖中所繪示取向以外還包含裝置在使用或操作中的不同取向。舉例來說，如果圖中裝置被翻轉，則被闡述為在其他元件或特徵“下面”或“之下”的元件此時將被取向為在其他元件或特徵“之上”。因此，用語“在……下面”可包含上方與下方兩種取向。所述裝置可具有其他取向(旋轉90度或其他取向)，且本文所用空間相對性描述語將相應地進行解釋。

除非另外定義，否則本文所用所有用語(包括技術和科學用語)的含義均與本主題所屬領域中的一般技術人員所通常理 解的含義相同。還應理解，用語(例如在常用詞典中所定義的用語)應被解釋為具有與其在相關技術的上下文中的含義一致的含義，且除非在本文中明確定義，否則不應將其解釋為具有理想化或過於正式的意義。

本文所用用語“模組”指代用以結合模組提供本文所述功能的軟體、韌體和/或硬體的任意組合。所述軟體可實施成軟體封裝、代碼和/或指令集或指令，且本文所述任何實現方案中所用用語“硬體”可單獨地或以任意組合方式包括例如硬體電路系統、可程式化電路系統、狀態機電路系統和/或儲存由可程式化電路系統執行的指令的韌體。所述模組可共同地或單獨地實施成電路系統，所述電路系統形成較大系統的一部分，例如(但不限於)積體電路(integrated circuit，IC)、系統級晶片(system on-chip，SoC)等。

早先所提及的3D技術具有許多缺點。舉例來說，基於TOF的3D成像系統可能需要高的功率以使光閘或電閘工作。這些系統通常在幾米到幾十米的範圍內工作，但這些系統的解析度在短距離內的測量時降低，從而使得在約一米的距離內進行3D成像幾乎是不實際的。因此，TOF系統對於其中主要在近距離處拍攝照片的手機照相機應用而言可能是不合意的。TOF感測器可能還需要具有大的畫素尺寸(一般大於7微米(μm))的專有畫素。這些畫素還可能易於受環境光影響。

立體成像方法通常僅對紋理化表面有效。立體成像方法由於需要在物體的立體影像對之間使各特徵匹配並找出對應性而具有高計算複雜度。這需要高系統功率，而高系統功率在需要節 能的應用中(例如在智慧手機中)是不期望的屬性。此外，立體成像需要兩個常規的高位分辨感測器以及兩個透鏡，從而使整個裝配不適合應用于如其中裝置佔用面積珍貴的手機或平板電腦(tablet)等可攜式裝置中。

SL方法引入距離多義性(distance ambiguity)，而且也需要高系統功率。對於3D深度測量，SL方法可能需要具有多個圖案的多個影像—所有這些會增大計算複雜度和功耗。此外，SL成像還可能需要具有高位解析度的常規影像感測器。因此，基於結構光的系統可能不適合於智慧手機中的低成本低功率小型影像感測器。

與以上提及的3D技術相比，本文所揭露的一些實施例提供用以在例如智慧手機、平板電腦、UE等可攜式電子裝置上實現低功率3D成像系統。根據本文所揭露的一些實施例的2D成像感測器在能夠在3D深度測量期間抑制環境光的同時，可利用可見光雷射掃描同時俘獲2D紅綠藍(red,green,blue，RGB)影像與3D深度測量值兩者。應注意，儘管以下論述可頻繁將可見光雷射稱為用於點掃描的光源且將2D RGB感測器稱為影像/光俘獲裝置，然而這種說法僅是出於說明性的目的和論述上的一致。以下所論述的基於可見雷射和RGB感測器的實例可應用于例如智慧手機、平板電腦或UE等具有照相機的低功率消費級移動電子裝置中。然而，應理解，本文所揭露主題並不僅限於以下提及的基於可見雷射RGB感測器的實例。確切來說，根據本文所揭露的一些實施例，可使用2D感測器與雷射光源(用於點掃描)的許多不同組合來執行基於點掃描的3D深度測量和環境光抑制方法，所述組 合例如為(但不限於)：(i)2D彩色(RGB)感測器與可見光雷射源，其中雷射源可為紅(R)光、綠(G)光或藍(B)光雷射、或者產生這些光的組合的雷射源；(ii)可見光雷射與具有紅外線(Infrared，IR)截止濾光器的2D RGB彩色感測器；(iii)近紅外線(Near Infrared，NIR)雷射與2D IR感測器；(iv)NIR雷射與2D NIR感測器；(v)NIR雷射與2D RGB感測器(不具有IR截止濾光器)；(vi)NIR雷射與2D RGB感測器(不具有NIR截止濾光器)；(vii)2D RGB-IR感測器與可見雷射或NIR雷射；(viii)2D紅綠藍白(red,green,blue,white，RGBW)與可見雷射或NIR雷射；等等。

在3D深度測量期間，整個感測器可結合雷射掃描而作為二元感測器來工作以重構3D內容。在一些實施例中，所述感測器的畫素尺寸可小至1μm。此外，由於位元解析度較低，因此根據本文所揭露的一些實施例的影像感測器中的模數轉換器(analog-to-digital converter，ADC)單元需要的處理功率可顯著低於傳統3D成像系統中的高位解析度感測器所需的處理功率。由於需要較小的處理功率，因此根據本文所揭露主題的3D成像模組可需要較低的系統功率且因此，可相當適合於包含在如智慧手機等低功率裝置中。

在一些實施例中，本文所揭露主題使用三角測量和點掃描，所述三角測量和點掃描是利用一組線感測器(line sensor)、使用雷射光源進行3D深度測量。雷射掃描平面與成像平面是使用對極幾何形狀來取向。根據本文所揭露的一個實施例的影像感測器可使用時間戳記來去除三角測量方法中的多義性，從而降低深 度計算量和系統功率。在正常2D(RGB彩色或非RGB)成像模式與3D雷射掃描模式中可使用相同的影像處理器—即所述影像處理器中的每一個畫素。然而，在雷射掃描模式中，影像感測器中的ADC的解析度降低為二元輸出(僅1位解析度)，從而使讀出速度提高且使例如因在ADC單元中(在包含影像感測器和相關聯處理單元的晶片中)進行開關而造成的功耗降低。點掃描方法可使得系統能夠一遍完成所有測量，從而降低深度測量延時且減少運動模糊。

如上所述，在一些實施例中，整個影像感測器可用于利用例如環境光進行例行2D RGB彩色成像以及利用可見雷射掃描進行3D深度成像。同一照相機單元的這種雙重用途可節約移動裝置的空間和成本。在特定應用中，與近紅外線(NIR)雷射相比，用於3D應用的可見雷射可更能保證用戶眼睛的安全。所述感測器在可見光譜下的量子效率可比在NIR光譜下的量子效率高，從而使光源的功耗降低。在一個實施例中，兩用影像感測器可作為常規2D感測器以線性操作模式工作來進行2D成像。然而，對於3D成像，感測器可在中等照明條件下以線性模式工作且在強環境光下以對數模式工作，以便通過抑制強環境光來促進可見雷射源的繼續使用。例如，如果與RGB感測器一起採用的IR截止濾光器的通帶頻寬不夠窄，則在NIR雷射的情形中也可能需要進行環境光抑制。

總之，本揭露使用畫素中的釘紮光電二極體(PPD)作為時間到電荷轉換器(time-to-charge converter，TCC)以確定TOF，所述時間到電荷轉換器的振幅調變電荷轉移操作是通過來自 畫素中的多個鄰近SPAD的輸出來控制。當環境光高時，SPAD可由環境光子而不是(舉例來說，反射脈衝37中的)反射光子觸發的可能性高。依靠這種觸發可能導致範圍測量誤差。因此，在本發明中，僅當兩個或更多個SPAD在極短的預定義時間間隔內被觸發時(例如當電子光閘接通時)，PDD電荷轉移才被停止以記錄TOF。因此，根據本揭露的教示內容的全天候自主導航系統可在困難的駕駛條件(例如(舉例來說)，低光照、霧天、不好的天氣、強環境光等等)下為駕駛員提供改善的視覺。在一些實施例中，根據本揭露的教示內容的導航系統可具有高達100千勒克斯(100kLux)的高環境光抑制水平。在一些實施例中，具有較小畫素尺寸的高空間解析度畫素架構可以1：1的SPAD/PPD比提供。在一些實施例中，SPAD可偏置成低於其擊穿電壓，並且可以雪崩光電二極體(avalanche photodiode，APD)模式來使用。

圖1繪示根據本文所揭露主題的成像系統15的高度簡化局部配置。系統15可包括成像模組17，成像模組17耦合到處理器模組或主機19且與處理器模組或主機19通訊。系統15還可包括耦合到處理器模組19的記憶體模組20，以儲存例如從成像模組17接收的影像資料等資訊內容。在一些實施例中，整個系統15可被包封在單個積體電路(IC)或晶片中。作為另一選擇，模組17、19和20中的每一個可在單獨的晶片中實現。記憶體模組20可包括多於一個記憶體晶片，且處理器模組19也可包括多個處理晶片。關於對圖1中的模組的封裝以及所述模組是如何被製作或實現—在單個晶片中還是在多個離散晶片中—的細節與本論述無關，且因此，本文中不提供這類細節。

系統15可為根據本文所揭露主題而針對2D照相機應用和3D照相機應用配置的任何低功率電子裝置。系統15可為可攜式或非可攜式的。系統15的可攜式版本的一些實例可包括大眾化的消費型電子器件，例如(但不限於)移動裝置、手機、智慧手機、使用者設備(UE)、平板電腦、數位照相機、膝上型電腦或桌上型電腦、電子智慧手錶、機器對機器(Machine-to-Machine，M2M)通訊單元、虛擬實境(Virtual Reality，VR)設備或模組、機器人等等。另一方面，系統15的非可攜式版本的一些實例可包括電子遊戲室中的遊戲機、互動式視頻終端、汽車、機器視覺系統、工業機器人，VR設備、在車輛中安裝在駕駛員側的照相機(舉例來說，用於監視駕駛員是否清醒)等。本文所揭露的3D成像功能可用于許多應用，例如(但不限於)，汽車應用(例如全天候自主導航和在低光照或惡劣天氣條件下的駕駛員輔助)、人機界面和遊戲應用、機器視覺和機器人學應用。

在本文所揭露的一些實施例中，成像模組17可包括投影儀模組(或光源模組)22和影像感測器單元24。投影儀模組22中的光源可為紅外線(IR)雷射，例如(舉例來說)近紅外線(NIR)雷射或短波紅外線(Short Wave Infrared，SWIR)雷射，以使照明不顯眼。在其他實施例中，光源可為可見光雷射。影像感測器單元24可包括如圖2中所繪示的畫素陣列和輔助處理電路。

在一個實施例中，處理器模組19可為中央處理器(central processing unit，CPU)，其可為通用微處理器。本文所用用語“處理器”和“CPU”可互換地使用。然而，應理解，作為CPU的替代或補充，處理器模組19可含有任何其他類型的處理器， 例如(但不限於)微控制器、數位訊號處理器(Digital Signal Processor，DSP)、圖形處理單元(Graphics Processing Unit，GPU)、特定應用專用積體電路(Application Specific Integrated Circuit，ASIC)處理器等。在一個實施例中，處理器模組/主機19可包括多於一個CPU，所述多於一個CPU可在分散式處理環境中工作。 處理器模組19可被配置成根據特定指令集架構(Instruction Set Architecture，ISA)(例如(但不限於)，x86指令集架構(32位版本或64位版本)、PowerPC® ISA、或不具有聯鎖流水線級的微處理器(Microprocessor without Interlocked Pipeline Stages，MIPS)指令集架構，所述不具有聯鎖流水線級的微處理器指令集架構依賴於精簡指令集電腦(Reduced Instruction Set Computer，RISC)ISA)來執行指令並處理資料。在一個實施例中，處理器模組19可為除CPU功能以外還具有功能的系統級晶片(SoC)。

在一些實施例中，記憶體模組20可為動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)(例如(但不限於)同步動態隨機存取記憶體(Synchronous DRAM，SDRAM))或基於DRAM的三維堆疊(Three-Dimensional Stack，3DS)記憶體模組(例如(但不限於)高頻寬記憶體(High Bandwidth Memory，HBM)模組或混合記憶體立方體(Hybrid Memory Cube，HMC)記憶體模組)。在其他實施例中，記憶體模組20可為固態驅動器(Solid-State Drive，SSD)、非3DS DRAM模組或任何其他基於半導體的儲存系統，例如(但不限於)靜態隨機存取記憶體(Static Random Access Memory，SRAM)、相變隨機存取記憶體(Phase-Change Random Access Memory，PRAM或PCRAM)、電 阻式隨機存取記憶體(Resistive Random Access Memory，RRAM或ReRAM)、導電橋接隨機存取記憶體(Conductive-Bridging RAM，CBRAM)、磁性隨機存取記憶體(Magnetic RAM，MRAM)或自旋轉移力矩磁性隨機存取記憶體(Spin-Transfer Torque MRAM，STT-MRAM)。

圖2繪示根據本文所揭露主題的圖1中的成像系統15的示例性操作配置。系統15可用於獲得物體(例如物體26)的範圍資訊或深度資訊(沿Z軸)，所述物體可為單獨的物體或者場景(未示出)內的物體。系統15可為其中(畫素陣列的)每影像幀可使用單個脈衝的直接TOF成像器。在一些實施例中，可將短脈衝發射到物體26上。在一個實施例中，可由處理器模組19基於從影像感測器單元24接收的掃描資料來確定範圍/深度資訊。在另一實施例中，可由影像感測器單元24確定範圍/深度資訊。在一些實施例中，深度資訊可由處理器模組19用作3D使用者介面的一部分，以使系統15的使用者能夠與物體的3D影像交互或者使用物體的3D影像作為在系統15上運行的遊戲或另一應用(例如自主導航應用)的一部分。根據本文所揭露主題的3D成像也可用於其他目的或應用，且可應用於實質上任何場景或3D物體。

在圖2中，X軸被視為沿系統15的前部的水平方向，Y軸是垂直方向(在此視圖中超出頁面)，並且Z軸在被成像的物體26的總體方向上遠離系統15延伸。對於深度測量，模組22的光軸和模組24的光軸可平行於Z軸。可使用其它光學排列來實現本文所闡述的原理，並且這些替代排列被視為在本文所揭露主題的範圍內。

投影儀(或光源)模組22可如箭頭所指示在光學視場(field of view，FOV)28和29內照射物體26，光學視場28和29與對應的照射路徑30和31相關聯，虛線表示可用於對物體26進行點掃描的光束或光學輻射的照射路徑30和31。可使用光學輻射源來對物體表面執行逐列點掃描，在一個實施例中，光學輻射源可為由雷射控制器34操作和控制的雷射光源33。在雷射控制器34的控制下，來自雷射源33的光束可通過投影光學裝置35在X-Y方向上橫跨物體26的表面進行點掃描。點掃描可沿掃描線在物體的表面上投射光點，如參考圖4更詳細地論述。投影光學裝置35可為聚焦透鏡、玻璃/塑膠表面或其他將來自雷射33的雷射光束集中為物體26的表面上的點或斑點的圓柱形光學元件。在圖2中所繪示的實施例中，凸出結構被示為聚焦透鏡35。然而，可為投影光學裝置35選擇任何其他適合的透鏡設計。物體26可放置在聚焦位置，來自光源33的照射光在聚焦位置被投影光學裝置35聚焦為光點。因此，在點掃描中，可通過來自投影光學裝置35的聚焦光束依序照射物體26的表面上的點或窄區域/斑點。

在一些實施例中，光源(或照射源)33可為二極體雷射、或發出可見光的發光二極體(Light Emitting Diode，LED)、NIR雷射、點光源、可見光譜中的單色照射源(例如，白燈與單色器的組合)、或任何其他類型的雷射光源。雷射33可固定在系統15的殼體內的一個位置中，但可在X-Y方向上旋轉。雷射33可為X-Y可定址的(舉例來說，通過雷射控制器34)，以對3D物體26執行點掃描。在一個實施例中，可見光可為實質上綠色的光。來自雷射源33的可見光照射可使用鏡(未示出)投射到3D物體26 的表面上，或者點掃描可為完全無鏡式。在一些實施例中，光源模組22可包括比圖2中所繪示的示例性實施例中所示的元件多或少的元件。

在圖2所示實施例中，從對物體26的點掃描反射的光可沿由箭頭以及虛線指示的收集路徑36、37、38和39行進。光收集路徑可攜載在從雷射源33接收到照射時從物體26的表面反射或由物體26的表面散射的光子。此處，應注意，圖2中(以及圖4中，如果適用的話)使用實線箭頭和虛線繪示各種傳播路徑僅是出於說明性目的，且所述繪示不應被理解為繪示任何實際的光訊號傳播路徑。實際上，照射訊號路徑和收集訊號路徑可不同於圖2中所示路徑，且可不像圖2中繪示的那樣被清晰地界定。

從被照射物體26接收的光可通過影像感測器單元24中的收集光學裝置44聚焦到2D畫素陣列42的一個或多個畫素上。如同投影光學裝置35，收集光學裝置44可為聚焦透鏡、玻璃/塑膠表面或其他將從物體26接收的反射光集中到陣列42中的一個或多個畫素上的圓柱形光學元件。在圖2中所繪示的實施例中，凸出結構被示為聚焦透鏡44。然而，可為收集光學裝置44選擇任何其他適合的透鏡設計。儘管畫素陣列42被繪示成僅為圖2中的3×3畫素陣列，然而應理解，現代的畫素陣列可含有數千個或甚至數百萬個畫素。畫素陣列42可為RGB畫素陣列，其中不同畫素可收集不同顏色的光訊號。在一些實施例中，畫素陣列42可為任何2D感測器，例如(但不限於)具有IR截止濾光器的2D RGB感測器、2D IR感測器、2D NIR感測器，2D RGBW感測器、2D RGB-IR感測器。系統15可使用相同的畫素陣列42來對物體26 (或含有所述物體的場景)進行2D RGB彩色成像以及對物體26進行3D成像(涉及深度測量)。

畫素陣列42可將所接收的光子轉換成對應的電訊號，所述電訊號接著由相關聯的畫素處理單元46處理以確定物體26的3D深度影像。在一個實施例中，畫素處理單元46可使用三角測量來進行深度測量。隨後參照圖4論述三角測量方法。畫素處理單元46還可包括用於控制畫素陣列42的操作的電路。

處理器19可控制光源模組22和影像感測器單元24的操作。舉例來說，系統15可具有模式開關(未示出)，所述模式開關可由使用者控制以從2D成像模式切換到3D成像模式。如果使用者使用模式開關選擇2D成像模式，則處理器19可啟動影像感測器單元24，但可不啟動光源模組22，這是因為2D成像可使用環境光。另一方面，如果使用者使用模式開關選擇3D成像模式，則處理器19可啟動模組22和24兩者，且舉例來說，如果環境光太強而被線性模式抑制(如以下進一步闡述)，則處理器19也可觸發畫素處理單元46中的重置(RST)訊號的準位的變化以從線性模式切換到對數成像模式。從畫素處理單元46接收的經處理影像資料可由處理器19儲存在記憶體20中。處理器19還可在系統15的顯示幕(未示出)上顯示使用者選擇的2D影像或3D影像。處理器19可以軟體或韌體被程式化，以實施本文中所闡述的各種處理任務。作為另一選擇或另外，處理器19可包括用於實施處理器19的功能中的一些或全部的可程式化硬體邏輯電路。在一些實施例中，記憶體20可儲存程式碼、查找表和/或中間計算結果，以使處理器19能夠提供處理器19的功能。

圖3繪示根據本文所揭露主題的可如何執行3D深度測量的示例性實施例的流程圖50。圖3中所繪示的各種操作可由系統15中的單個模組或者模組或系統元件的組合執行。將特定任務闡述為由特定模組或系統元件執行僅是用來舉例。其他模組或系統元件可被適合地配置成執行這類任務。

在圖3中，在操作52處，系統15(更具體來說，處理器19)可使用光源(例如光源模組22)沿掃描線對3D物體(例如圖2中的物體26)執行一維(one-dimensional，1D)點掃描。 作為點掃描的一部分，可通過例如處理器19來配置光源模組22，以逐列方式在3D物體26的表面上投射一系列光點。在操作54處，系統15中的畫素處理單元46可選擇影像感測器(例如2D畫素陣列42)中的一行畫素。影像感測器42可具有排列成2D陣列從而形成影像平面的多個畫素，所選擇的一行畫素在影像平面上形成掃描線的對極線(epipolar line)(在操作52處)。以下參照圖4提供對對極幾何形狀的簡要論述。在操作56處，可由處理器19操作地配置畫素處理單元46以使用所述一行畫素中的對應畫素來探測每一個光點。應注意，例如，如果從被照射斑點反射的光被收集光學裝置44聚焦到兩個或更多個鄰近畫素上，則可通過單個畫素或多於一個畫素來探測從被照射光點反射的光。還有一種可能是，可在2D畫素陣列42中的單個畫素處收集從兩個或更多個光點反射的光。可使用基於時間戳記的方法去除由相同畫素對兩個不同斑點的成像或由兩個不同畫素對單個斑點的成像所造成的與深度計算有關的多義性。在操作58處，畫素處理單元46(如由處理器19適合地配置)可回應於對所述一系列光點(在操作52 處的點掃描中)中的對應光點的畫素專有探測(在操作56處)而生成畫素專有輸出。因此，在操作60處，畫素處理單元46可至少基於畫素專有輸出(在操作58處)以及光源投射對應光點(在操作52處)所使用的掃描角度來確定到3D物體的表面上的對應光點的3D距離(或深度)。參照圖4更詳細地論述深度測量。

圖4繪示根據本文所揭露主題，可如何執行示例性點掃描來進行3D深度測量。在圖4中，雷射源33的X-Y旋轉能力由箭頭62和64指示，箭頭62和64繪示雷射在X方向(具有角度β)和Y方向(具有角度α)上的角運動。在一個實施例中，雷射控制器34可基於從處理器19接收的掃描指令/輸入來控制雷射源33的X-Y旋轉。舉例來說，如果使用者選擇3D成像模式，則處理器19可配置和控制雷射控制器34以啟動對面向投影光學裝置35的物體表面的3D深度測量。作為響應，雷射控制器34可通過雷射光源33的X-Y運動來啟動對物體表面的1D X-Y點掃描。如圖4中所繪示，雷射33可通過沿1D水平掃描線(其中的兩條掃描線S_R 66和S_R+1 68由圖4中的虛線指示)投射光點來對物體26的表面進行點掃描。由於物體26的表面的曲率，光點70到73可形成圖4中的掃描線S_R 66。形成掃描線S_R+1 68的光點未使用參考編號指示。舉例來說，雷射33可沿列R、R+1等在從左到右的方向上一次一個斑點地掃描物體26。R、R+1等的值是參照2D畫素陣列42中的畫素列且是已知的。舉例來說，在圖4中的2D畫素陣列42中，畫素列R是使用參考編號75指示且列R+1是使用參考編號76指示。應理解，從所述多個畫素列中選擇列R和R+1僅是出於說明性目的。

含有2D畫素陣列42中的畫素列的平面可稱為影像平面，而含有掃描線(例如線S_R和S_R+1)的平面可稱為掃描平面。 在圖4中所繪示的實施例中，使用對極幾何形狀對影像平面和掃描平面進行取向，使得2D畫素陣列42中的每一個畫素列R、R+1等形成對應掃描線S_R、S_R+1等的對極線。如果(掃描線中的)被照射斑點在影像平面上的投影可沿一條線(也就是列R本身)形成不同的點，則畫素列R可被視為是對應掃描線S_R的對極。舉例來說，在圖4中，箭頭78指示由雷射33照射光點71，而箭頭80指示由聚焦透鏡44沿列R 75成像或投射的光點71。儘管圖4中未示出，然而光點70到73中的所有光點將通過列R中的對應畫素成像。因此，在一個實施例中，雷射33和畫素陣列42的物理排列(例如位置和取向)可為使得可通過畫素陣列42中的對應列中的畫素俘獲或探測物體26的表面上的掃描線中的被照射光點，其中此畫素列形成掃描線的對極線。

2D畫素陣列42中的畫素可排列成列和行。被照射光點可通過畫素陣列42中的對應的列和行來引用。舉例來說，在圖4中，掃描線S_R中的光點71被指定為X_R,i以指示斑點71可通過畫素陣列42中的列R和行i(C _i )成像。行C _i 是由虛線82指示。其它被照射斑點可以相似的方式來識別。如前所述，可能的是，從兩個或更多個光點反射的光可被一行中的單個畫素接收，或者作為另一選擇，從單個光點反射的光可被一畫素列中的多於一個畫素接收。可使用基於時間戳記的方法去除由這類多重投影或重疊投影引起的深度計算中的多義性。

在圖4所示繪示中，具有參考編號84的箭頭表示光點 71相對於沿著系統15的前部的X軸(例如圖2中所指示的X軸)的深度或距離Z(沿Z軸)。在圖4中，具有參考編號86的虛線表示這種軸，其可被想像成包含在也含有投影光學裝置35和收集光學裝置44的垂直平面中。然而，為便於對基於三角測量的方法進行解釋，在圖4中將雷射源33示為位於X軸86上而不是投影光學裝置35上。在基於三角測量的方法中，可使用以下方程式確定Z的值：

其中h是收集光學裝置44與影像感測器42之間沿Z軸的距離，影像感測器42被假定為位於收集光學裝置44後面的垂直平面中；d是光源33與和影像感測器單元24相關聯的收集光學裝置44之間的偏移距離；q是收集光學裝置44與探測對應光點的畫素之間的偏移距離(在圖4所示實例中，探測/成像畫素i是由與光點X_R,i 71相關聯的行C _i 表示)；並且θ是所考慮到的光點(在圖4所示實例中，為光點71)的光源的掃描角度或束角度。作為另一選擇，q也可被視為在畫素陣列42的視場內光點的偏移。圖4中也指示方程式(1)中的參數。

應從方程式(1)中看出，僅參數θ和q對於給定的點掃描是可變的，且h和d基本上是基於系統15的物理幾何形狀而預定的或固定的。由於列R 75是掃描線S_R的對極線，因此物體26的深度差或深度輪廓可通過水平方向上的影像移位元(如由被成像的不同光點的q的值表示)來反映。可使用基於時間戳記的方法來尋找所俘獲光點的畫素位置與雷射源33的對應掃描角度之間的對應關係。也就是說，時間戳記可表示q的值與θ的值之間 的關聯。因此，根據掃描角度θ的已知值和被成像的光點的對應位置(如由q表示)，可使用三角測量方程式(1)來確定到此光點的距離Z。用於距離測量的三角測量在相關文獻中也有所闡述，所述相關文獻包括例如頒予布朗(Brown)等人的美國專利申請揭露案第2011/0102763 A1號(布朗)。因此，與基於三角測量的距離測量有關的布朗揭露案的揭露內容全文併入本文中供參考。

圖5繪示根據本文所揭露主題的畫素(例如圖2所示畫素陣列42中的畫素43)的示例性實施例的方塊圖。對於TOF測量，畫素43可作為時間分辨感測器來工作。如圖5中所繪示，畫素43可包括電連接到PPD核心部分502的SPAD核心部分501。圖6A到圖6C中繪示如本文所揭露的畫素中的SPAD核心排列和PPD核心排列的不同示例性配置。SPAD核心部分501可包括可操作地連接到第一控制電路504的兩個或更多個SPAD 503。SPAD 503中的一個或多個可接收傳入光505並生成對應的SPAD專有電訊號，所述SPAD專有電訊號由第一控制電路504處理以生成SPAD專有數位輸出。所有這類SPAD專有數字輸出在圖5中由箭頭506共同地、符號化地繪示。PPD核心502可包括耦合到PPD 508的第二控制電路507。第二控制電路507可接收SPAD輸出506並作為回應而控制從PPD 508進行的電荷轉移以生成畫素專有類比輸出(PIXOUT)資料線510。更具體來說，如以下更詳細地論述，僅當畫素43中的鄰近SPAD 503中的兩個或多個在預定時間間隔內探測到傳入光505中的(反射)光子時，從PPD 508進行的電荷轉移才被第二控制電路507停止以便記錄TOF值和到3D物體26的對應範圍。換句話說，至少兩個鄰近SPAD 503的輸出之間 的時空相關性被用來控制PPD 508的操作。對於畫素43，SPAD 503執行感光功能，而PPD 508用作TCC而非感光元件。(返回光脈衝37的)反射光子與所傳輸的脈衝28相關(與不相關的環境光子相比)，因此控制從PPD 508進行的電荷轉移是基於在預定時間間隔內觸發兩個或更多個鄰近SPAD，使得通過抑制環境光子而在強環境光條件下提供影像感測器單元24的改善性能，從而實質上防止範圍測量誤差。

圖6A到圖6C分別繪示根據本文所揭露主題的畫素陣列架構的三個不同實例。圖6A到圖6C中所示的畫素陣列架構中的任意一個畫素陣列架構可用於實現圖2所示畫素陣列42。圖6A中繪示示例性2×2畫素陣列架構600A，其中每一個畫素601到604(在一些實施例中可表示圖5中的畫素43)包括一個畫素專有PPD核心和四個畫素專有SPAD核心。為簡單起見，僅識別畫素601的PPD核心和SPAD核心，其中PPD核心是由參考編號605指示且SPAD核心是由參考編號606到609指示。

由於每一個畫素在給定尺寸的半導體裸晶上佔用物理空間，因此圖6A中所繪示的架構600A可被視為低(空間)解析度架構。因此，與圖6B中所繪示的示例性架構600B相比，可在裸晶上的畫素陣列中形成相對更少的畫素數量，示例性架構600B提供較高解析度3×3畫素陣列架構。在圖6B中的較高解析度架構600B中，一個SPAD核心由四個(2×2)鄰近PPD核心共用。舉例來說，在圖6B中，SPAD核心625被繪示為由鄰近畫素621到624的PPD核心共用(在一些實施例中，畫素621到624中的每一個畫素可表示圖5中的畫素43)。為簡單起見，不以參考編號來 識別圖6B中的畫素陣列架構600B中的其他組件。圖6B中的畫素陣列架構600B的配置提供畫素中的PPD與和所述畫素相關聯的SPAD之間的有效比1：1，在畫素陣列架構600B中，其中四個鄰近畫素之間共用一個SPAD。

如圖6C中的畫素陣列架構600C所繪示，這種共用可擴展為3×3共用或更多。圖6B中所繪示的SPAD共用配置600B為畫素陣列提供高(空間)解析度架構，這是因為如果每一個SPAD在裸晶上的相鄰畫素之間被共用，則在畫素陣列中可形成更多的畫素，從而在裸晶上騰出更多可用的空間以容納更多的畫素。另外，由於圖6B中的畫素陣列架構600B中的畫素具有與呈2×2配置的四個SPAD核心相關聯的單個PPD核心，因此每一個畫素可探測多達四個重合光子(即每SPAD一個光子)。

圖6A和圖6B繪示示例性畫素陣列架構，在所述示例性畫素陣列架構中，PPD和SPAD可在單個裸晶中實現。也就是說，SPAD與PPD在裸晶中處於相同的水平高度。相反，圖6C繪示示例性4×4畫素陣列架構600C，在4×4畫素陣列架構600C中，畫素可在堆疊裸晶中實現。舉例來說，SPAD核心可在上部裸晶中實現，且PPD核心(和讀出電路)可在下部裸晶中實現。因此，PPD和SPAD可位於兩個不同的裸晶上，這兩個不同的裸晶可進行堆疊且這些裸晶上的電路元件(PPD、SPAD、電晶體等)可通過導線或金屬凸塊電連接。如同圖6B中的架構600B，圖6C中的畫素陣列架構600C也可提供高解析度架構，在所述高解析度架構中，單個SPAD核心可由九個(3×3)鄰近PPD核心共用。等效地，如圖6C中所示，單個PPD核心(例如PPD核心641)可與九個SPAD 核心(例如SPAD核心642到650)相關聯以形成單個畫素。SPAD核心642到650也可由其他畫素共用。為簡單起見，不以圖6C中的參考編號指示其他畫素、它們的PPD核心和相關聯的SPAD核心。另外，由於圖6C中的畫素陣列架構600C中的畫素具有與呈3×3配置的九個SPAD核心相關聯的單個PPD核心，因此每一個畫素可探測多達九個重合光子(即每SPAD一個光子)。

圖7繪示根據本文所揭露主題的畫素700的示例性實施例的電路細節。圖7中所繪示的畫素700可為圖2和圖5中所繪示的更一般的畫素43的實例。可向每一個畫素提供電子光閘訊號701(如隨後參照圖8、圖9和圖14中的時序圖更詳細地論述)，以使畫素700能夠以時間相關方式俘獲由返回光脈衝37造成的畫素專有光電子。更一般來說，畫素700可被視為具有電荷轉移觸發部分、電荷生成與轉移部分和電荷收集與輸出部分。電荷轉移觸發部分可包括SPAD核心501和邏輯單元702。電荷生成與轉移部分可包括PPD 508、第一N通道金屬氧化物半導體場效電晶體(N-channel Metal Oxide Semiconductor Field Effect Transistor，NMOSFET或NMOS電晶體)703、第二NMOS電晶體704和第三NMOS電晶體705。電荷收集與輸出部分可包括第三NMOS電晶體705、第四NMOS電晶體706和第五NMOS電晶體707。在一些實施例中，圖7中的畫素700中的PPD核心和圖13中的畫素1300可由P通道金屬氧化物半導體場效電晶體(P-channel Metal Oxide Semiconductor Field Effect Transistor，PMOSFET或PMOS電晶體)或者其他不同類型的電晶體或電荷轉移裝置形成。另外，本文所述畫素700的各個部分僅是出於說明性目的和論述目的。 在一些實施例中，與本文所述電路元件相比，所述部分可包括更多、更少和/或不同的電路元件。

PPD 508可與電容器相似地儲存電荷。在一個實施例中，PPD 508可被覆蓋且因此不對光作出回應。因此，PPD 508可用作TCC而非感光元件。然而，如前所述，感光功能可通過SPAD核心501中的SPAD來實現。在一些實施例中，在圖7和圖13所示畫素配置中可使用光閘或其它半導體裝置(具有適合的修改)來代替PPD。

電荷轉移觸發部分可在電子光閘訊號701的控制下生成轉移使能(Transfer Enable，TXEN)訊號708，以觸發儲存在PPD 508中的電荷的轉移。SPAD可探測從物體(例如圖2中的物體26)發射和反射的光脈衝中的光子(本文稱為“光子探測事件”)並輸出脈衝訊號，所述脈衝訊號可在光閘訊號701的操作控制下鎖存以供邏輯單元702進行後續處理。邏輯單元702可包括邏輯電路，所述邏輯電路用於當例如在光閘訊號701為現用的同時在預定義時間間隔內從至少兩個鄰近SPAD接收到輸出506時處理所有數位SPAD輸出506以生成TXEN訊號708。

在電荷生成與轉移部分中，可結合第三電晶體705而使用重置(RST)訊號709首先將PPD 508設定成其滿阱容量(full well capacity)。第一電晶體703可在第一電晶體703的汲極端子處接收轉移電壓(VTX)訊號710且在第一電晶體703的閘極端子處接收TXEN訊號708。TX訊號711可在第一電晶體703的源極端子處獲得並被施加到第二電晶體704的閘極端子。如所繪示，第一電晶體703的源極端子可連接到第二電晶體704的閘極端子。 VTX訊號710(或等效地，TX訊號711)可用作振幅調變訊號，以控制將從PPD 508轉移的電荷，PPD 508可連接到電晶體704的源極端子。第二電晶體704可將PPD 508上的電荷從第二電晶體704的源極端子轉移到第二電晶體704的汲極端子，第二電晶體704的汲極端子可連接到第四電晶體706的閘極端子並形成在本文中被稱為浮動擴散(floating diffusion，FD)節點/結712的電荷“收集位點”。在一些實施例中，從PPD 508轉移的電荷可取決於由振幅調變訊號710(或等效地，TX訊號711)提供的調變。 在圖7和圖13所示實施例中，所轉移的電荷是電子。然而，本文所揭露的主題並不限於本揭露，且可使用具有不同設計的PPD，在所述不同設計中，所轉移的電荷可為電洞(hole)。

在電荷收集與輸出部分中，第三電晶體705可在第三電晶體705的閘極端子處接收RST訊號709且在第三電晶體705的汲極端子處接收畫素電壓(VPIX)訊號713。電晶體705的源極端子可連接到浮動擴散節點/結712。在一個實施例中，VPIX訊號713的電壓準位可等於通用電源電壓VDD的電壓準位，且可處於2.5伏(V)到3.0V的範圍中。第四電晶體706的汲極端子也可接收VPIX訊號713。在一些實施例中，第四電晶體706可作為NMOS源極跟隨器工作以充當緩衝放大器。第四電晶體706的源極端子可連接到第五電晶體707的汲極端子，第五電晶體707可與源極跟隨器706共源共閘且在第五電晶體707的閘極端子處接收選擇(SEL)訊號715。從PPD 508轉移並在浮動擴散節點/結712處被收集的電荷可在第五電晶體707的源極端子處顯現為畫素專有輸出(PIXOUT)資料線510。

從PPD 508轉移到FD節點/結712的電荷是由VTX訊號710(和TX訊號711)控制。到達浮動擴散節點/結712的電荷量是由TX訊號711調變。在一個實施例中，轉移電壓(VTX)訊號710(和TX訊號711)可斜變以逐漸地將電荷從PPD 508轉移到浮動擴散節點/結712。因此，所轉移的電荷量可為振幅調變的TX訊號711的函數，且TX訊號711的斜變為時間的函數。因此，從PPD 508轉移到浮動擴散節點/結712的電荷量也為時間的函數。如果在電荷從PPD 508轉移到浮動擴散節點/結712期間，第二電晶體704因邏輯單元702在SPAD核心501中的至少兩個鄰近SPAD發生光子探測事件時生成TXEN訊號708而被關斷，則電荷從PPD 508到浮動擴散節點/結712的轉移停止。因此，轉移到浮動擴散節點/結712的電荷量和PPD 508中剩餘的電荷量均為傳入光子的TOF的函數。結果是時間到電荷轉換和單端到差分訊號轉換。因此，PPD 508作為時間到電荷轉換器(TCC)工作。轉移到浮動擴散節點/結712的電荷越多，則在浮動擴散節點/結712上電壓就降低越多，且在PPD 508上電壓就增大越多。

浮動擴散節點/結712處的電壓可隨後通過第五電晶體707作為PIXOUT訊號被轉移到模數轉換器(analog-to-digital converter，ADC)單元(未示出)，且被轉換成適當的數位訊號/值以供進一步處理。參照對圖9的論述來提供圖7中的各種訊號的時序和操作的更多細節。在圖7所示實施例中，第五電晶體707可接收用於選擇畫素700的SEL訊號715，以讀出浮動擴散節點/結712中的電荷作為PIXOUT1(或畫素輸出1)電壓並在PPD 508中的剩餘電荷被完全轉移到浮動擴散節點/結712之後讀出PPD 508中的剩餘電荷作為PIXOUT2(或畫素輸出2)電壓，其中浮動擴散節點/結712將PPD 508上的電荷轉換成電壓，且畫素輸出資料線510依序輸出PIXOUT1訊號和PIXOUT2訊號，如隨後參照圖10所論述。在另一個實施例中，可讀出PIXOUT1訊號或PIXOUT2訊號，但不可同時讀出兩者。

圖8是示例性時序圖800，其提供對根據本文所揭露主題的圖7所示畫素700中的調變式電荷轉移機制的概述。圖8中(以及圖9和圖14)所示的波形本質上得以簡化且僅出於說明性目的；視電路實現方案而定，實際波形可在時序以及形狀上不同。圖7和圖8之間所共有的訊號是使用相同的參考編號來識別，且包括VPIX訊號713、RST訊號709、電子光閘訊號701和振幅調變訊號710。圖8中還繪示兩個附加波形801和802，以分別示出在電荷轉移期間當振幅調變訊號710被施加時PPD 508中的電荷的狀態和浮動擴散節點/結712中的電荷的狀態。在圖8所示實施例中，VPIX訊號713可以低邏輯電壓(舉例來說，邏輯0或0V)而開始以將畫素700初始化，且在畫素700的操作期間切換成高邏輯電壓(舉例來說，邏輯1或3V))。重置(RST)訊號709可在畫素700的初始化期間以高邏輯電壓脈衝(舉例來說，從邏輯0變為邏輯1且變回邏輯0的脈衝)開始，以將PPD 508中的電荷設定成其滿阱容量並將浮動擴散節點/結712中的電荷設定成零庫倫(0C)。浮動擴散節點/結712的重置電壓準位可為邏輯1準位。在範圍(TOF)測量操作期間，浮動擴散節點/結712從PPD 508接收到的電子越多，則浮動擴散節點/結712上的電壓就變得越低。電子光閘訊號701可在畫素700的初始化期間以低邏輯電壓 (舉例來說，邏輯0或0V)開始，在畫素700的操作期間與最小測量範圍對應的時間切換成邏輯1準位(舉例來說，3V)以使SPAD核心501中的SPAD 503能夠探測返回光脈衝37中的光子，且接著在與最大測量範圍對應的時間切換成邏輯0準位(舉例來說，0V)。因此，光閘訊號701的邏輯1準位的持續時間可提供預定義時間間隔/視窗，使得在此時間間隔期間從鄰近SPAD接收到的輸出具有時空相關性。PPD 508中的電荷在初始化期間以完全充滿而開始，且隨著VTX訊號710從0V優選地以線性方式斜變到更高電壓而減小。在振幅調變的VTX訊號710的控制下的PPD電荷準位在圖8中由具有參考編號801的波形繪示。PPD電荷減少可為VTX訊號的斜變時間的函數，這使得一定量的電荷從PPD 508轉移到浮動擴散節點/結712。因此，如圖8中由具有參考編號801的波形所繪示，浮動擴散節點/結712中的電荷以低電荷(舉例來說，0C)而開始且隨著VTX訊號710從0V斜變到更高電壓而增加，這部分地將一定量的電荷從PPD 508轉移到浮動擴散節點/結712。所述電荷轉移是VTX訊號710的斜變時間的函數。

如前所述，資料線510上的畫素專有輸出(PIXOUT)源於轉移到浮動擴散節點/結712的PPD電荷。因此，PIXOUT訊號510可被視為通過振幅調變的VTX電壓710(或等效地，TX電壓711)而被隨時間進行振幅調變。這樣一來，通過使用振幅調變的VTX訊號710(或等效地，TX訊號711)對畫素專有輸出510進行振幅調變而提供TOF資訊。在一些實施例中，用於生成VTX訊號710的調變函數可為單調的。在圖8、圖9和圖14中所繪示的示例性實施例中，可使用斜坡函數來生成振幅調變訊號，且因 此，所述振幅調變訊號被示為具有斜坡型波形。然而，在其他實施例中，可使用不同類型的類比波形/函數作為調變訊號。

在一個實施例中，一個畫素輸出(舉例來說，PIXOUT1)對所述兩個畫素輸出的和(此處，PIXOUT1+PIXOUT2)的比率可與T _tof 值和T _dly 值的時間差成比例，T _tof 值和T _dly 值例如示出在圖9中且隨後在以下更詳細地加以論述。在畫素700的情形中，舉例來說，參數T _tof 可為由SPAD核心501中的兩個或更多個SPAD接收的光訊號的畫素專有TOF值，且延遲時間參數T _dly 可為從光訊號28首先被發射時直到VTX訊號710開始斜變時的時間。如果光脈衝28是在VTX訊號710開始斜變之後被發射，則延遲時間T _dly 可為負的(此通常可在電子光閘701打開時發生)。比例關係可由以下表示：

然而，本文所揭露主題並不限於方程式(2)所示的關係。如以下所論述，方程式(2)中的比率可用於計算物體的深度或距離，且如果Pixout1+Pixout2並非始終相同，則所述比率對畫素間變化不那麼敏感。

為方便起見，可使用用語“P1”來指代如本文所用的“Pixout1”且可使用用語“P2”來指代如本文所用的“Pixout2”。從方程式(2)中的關係可看出，畫素專有TOF值可被確定為畫素專有輸出值P1與P2的比率。在一些實施例中，一旦如此確定出畫素專有TOF值，便可通過下式給出到物體(例如圖2中的物體26)或所述物體上的特定位置的畫素專有距離D或範圍R：

其中c為光速。作為另一選擇，在其中例如調變訊號(例如圖7中的VTX訊號710(或TX訊號711))在光閘視窗內是線性的一些實施例中，可如下來計算範圍/距離：

因此，TOF系統15可基於如以上所給出的方程式而確定的畫素專有範圍值來生成物體(例如物體26)的3D影像。

對畫素內的PPD電荷分佈進行的基於振幅調變的操縱或控制使得範圍測量和解析度也為可控制的。對PPD電荷的畫素級振幅調變可與電子光閘一同起作用，所述電子光閘可為例如互補金屬氧化物半導體(complementary metal oxide semiconductor，CMOS)影像感測器中的滾動光閘或者例如電荷耦合裝置(charge coupled device，CCD)影像感測器中的全域光閘。儘管本文的揭露內容可主要在單脈衝TOF成像系統(如圖1和圖2中的系統15)的上下文中提供，然而本文所論述的畫素級內部振幅調變方法的原理可在作出適合修改(如果需要)的情況下在連續波調變TOF成像系統或非TOF系統以及畫素43(圖5)中實現。

圖9是根據本文所揭露主題的當在畫素陣列(例如圖2和圖12中的畫素陣列42)中使用圖7所示實施例中的畫素700時，圖1和圖2所示系統15中的不同訊號的示例性時序的時序圖900。在圖9中使用相同的參考編號來識別圖2和圖7所示實施例中所繪示的各種訊號，例如所發射的脈衝28、VPIX訊號713、TXEN訊號708等。在論述圖9之前，應注意，在圖9的上下文中(以及在圖14的情形中)，參數T _dly 指代所投射脈衝28的上升邊緣與 VTX訊號710開始斜變時的時間例子之間的時間延遲，如參考編號901所指示；參數T _tof 指代通過所投射脈衝28的上升邊緣與所接收脈衝37的上升邊緣之間的延遲所測量的畫素專有TOF值，如參考編號902所指示；且參數T _sh 指代電子光閘的打開與關閉之間的時間週期，如參考編號903所指示且通過光閘訊號701的指派(舉例來說，邏輯1或接通)和解除指派(或解除啟動)(舉例來說，邏輯0或關斷)給出。因此，電子光閘701被視為在週期T _sh 期間為現用，此也使用參考編號904來加以識別。在一些實施例中，延遲T _dly 可為預定和固定的，而不管工作條件如何。在其他實施例中，視例如外部天氣條件而定，延遲T _dly 可在執行時間調節。此處，應注意，高訊號準位或低訊號準位與畫素700的設計有關。基於例如所使用的電晶體或其他電路元件的類型，圖9中所示的訊號極性或偏壓準位在其他類型的畫素設計中可為不同的。

如前所述，圖9(以及圖14)中所示的波形本質上得以簡化且僅出於說明性目的；視電路實現方案而定，實際波形可在時序以及形狀上不同。如圖9中所示，返回脈衝37可為所投射脈衝28的在時間方面延遲的版本。在一些實施例中，所投射脈衝28可具有極短持續時間，例如(舉例來說)，在約5納秒(ns)到約10ns的範圍中。返回脈衝37可使用畫素700中的兩個或更多個SPAD來感測。電子光閘訊號701可對SPAD進行使能以俘獲所接收光37中的畫素專有光子。電子光閘訊號701可具有閘控延遲(參照所投射脈衝28)，以避免光散射到達畫素陣列42。所投射脈衝28的光散射可例如因惡劣天氣而發生。

除了各種外部訊號(例如VPIX訊號713、RST訊號709等)和內部訊號(舉例來說，TX訊號711、TXEN訊號708和浮動擴散節點/結712的電壓)之外，圖9中的時序圖900還識別以下事件或時間週期：(i)當RST訊號、VTX訊號、TXEN訊號和TX訊號為高而VPIX訊號713和光閘訊號701為低時的PPD預設事件905；(ii)從TX訊號為低時直到RST訊號從高變低時的第一浮動擴散重置事件906；(iii)延遲時間T _dly 901；(iv)飛行時間T _tof 902；(v)電子光閘接通或現用週期T _sh 903；以及(vi)在RST訊號709第二次為邏輯1時的持續時間內的第二FD重置事件907。圖9還說明電子光閘何時首先被關閉或關斷(此由參考編號908指示)、電子光閘何時打開或接通(此由參考編號904指示)、首先被轉移到浮動擴散節點/結712的電荷何時通過PIXOUT資料線510被讀出(此由參考編號909指示)、浮動擴散節點/結712的電壓何時在907處第二次被重置、以及PPD 508中的剩餘電荷何時被轉移到浮動擴散節點/結712並在事件910處再次被讀出(舉例來說，作為輸出而輸出到PIXOUT 510)。在一個實施例中，光閘接通週期T _sh 可小於或等於VTX訊號710的斜變時間。

參照圖9，在圖7中的畫素700的情形中，PPD 508可在初始化階段處被填充電荷而達到其滿阱容量(舉例來說，PPD預設事件905)。在PPD預設事件905期間，RST訊號709、VTX訊號710、TXEN訊號708和TX訊號711可為高的，而VPIX訊號713和光閘訊號701可為低的，如圖所示。接著，VTX訊號710(和TX訊號711)可變低以切斷第二電晶體704，且VPIX訊號713可變高以開始從充滿電荷的PPD 508進行電荷轉移。在一些實 施例中，畫素陣列42中一畫素列中的所有畫素可一次被一起選擇，且所選擇列中的所有畫素中的PPD可使用RST訊號709被一起重置。所選擇的畫素列中的每一個畫素可被單獨地讀取，且基於類比的pixout訊號可由對應的行ADC單元(未示出)轉換成數位值。在一個實施例中，RST線可對未選擇的畫素列保持高位或接通，以防止光暈(blooming)。

在圖9中所示實施例中，除TXEN訊號708外的所有訊號均以邏輯0或低準位開始，如圖所示。首先，當RST訊號709、VTX訊號710、TXEN訊號708和TX訊號711變為邏輯1準位且VPIX訊號713保持為低時，PPD 508被預設。此後，當VTX訊號710和TX訊號711變成邏輯0且VPIX訊號713變成高(或邏輯1)時，浮動擴散節點/結712在RST訊號709為邏輯1的同時被重置。為方便起見，使用相同的參考編號712來指代圖7中的浮動擴散節點/結和圖9所示時序圖中的相關聯電壓波形。在浮動擴散節點/結712被重置成高(舉例來說，電荷域中的0C)之後，VTX訊號710在TXEN訊號708為邏輯1的同時斜變。飛行時間T _tof 持續時間901是從脈衝光28被發射時直到返回光37被接收時，且也是其間電荷從PPD 508部分地轉移到浮動擴散節點/結712的時間。VTX訊號710(和TX訊號711)可在光閘701接通或打開的同時斜變。此可使PPD 508中的一定量的電荷被轉移到浮動擴散節點/結712，此量可為VTX的斜變時間的函數。當所發射的脈衝28從物體26反射且由畫素700的SPAD核心501中的至少兩個SPAD接收時，所生成的SPAD輸出506可由邏輯單元702處理，邏輯單元702又可使TXEN訊號708變成靜態邏輯0。因此， 至少兩個鄰近SPAD以時間相關的方式(即當光閘接通或為現用時)對返回脈衝37的探測可由TXEN訊號708的邏輯0準位指示。 TXEN訊號708的邏輯低準位使電晶體703和電晶體704關斷，這會停止電荷從PPD 508到浮動擴散節點/結712的轉移。當電子光閘訊號701變成邏輯0且SEL訊號715(圖9中未示出)變成邏輯1時，浮動擴散節點/結712中的電荷作為電壓PIXOUT1被輸出到PIXOUT線510上。接著，浮動擴散節點/結712可以邏輯高的RST脈衝709再次被重置(如參考編號907所指示)。此後，當TXEN訊號708變成邏輯1時，PPD 508中的剩餘電荷實質上完全被轉移到浮動擴散節點/結712且作為電壓PIXOUT2被輸出到PIXOUT線510上。如早先所提及，PIXOUT1和PIXOUT2訊號可由適當的ADC單元(未示出)轉換成對應的數位值P1和P2。在某些實施例中，可在方程式(3)或方程式(4)中使用這些P1和P2值來確定畫素700與物體26之間的畫素專有距離/畫素專有範圍。

在一個實施例中，邏輯單元702可包括邏輯電路(未示出)，以基於G( )函數(參照圖10示出並論述)生成輸出並接著對所述輸出與在內部生成的訊號(例如與圖14中所示TXRMD訊號1401相似的訊號)進行邏輯或(OR)運算以獲得最終的TXEN訊號708。此種在內部生成的訊號可在電子光閘接通的同時保持為低，但可被指派成高以使得TXEN訊號708變成邏輯1，從而促進PPD中的剩餘電荷的轉移(在圖9中的事件910處)。在一些實施例中，TXRMD訊號或相似的訊號可為從外部供應的。

圖10示出根據本文所揭露主題的邏輯單元(例如邏輯 單元702(圖7)或邏輯單元1319(圖13)可如何在畫素(例如畫素700(圖7)或畫素1300(圖13))中實現。圖10示出具有與呈如圖6A或圖6B中所繪示的2×2架構配置的四個SPAD核心1002到1005相關聯的PPD核心1001的畫素1000(畫素1000可表示畫素700或1300中的任意一個畫素)的高度簡化圖。四個SPAD的可用性使得能夠探測多達四個時間上和空間上相關的重合光子。在一些實施例中，畫素1000中的邏輯單元(未示出)可包括實現圖10中所繪示函數F(x,y)和G(a,b,c,d)的邏輯電路(未示出)。圖10中的框1006到1009繪示實現F(x,y)函數的邏輯電路的輸入和輸出。因此，框1006到1009可被視為表示這類邏輯電路並共同形成畫素1000的邏輯單元的一部分。為易於論述，可將這些框稱為F(x,y)框。儘管為方便起見在PPD核心1001外部示出框1006到1009，然而應理解，實現框1006到1009的功能的邏輯電路可為PPD核心1001中的邏輯單元(未示出)的一部分。

如圖所示，每一個F(x,y)框1006到1009可接收兩個輸入x和y，即從其兩個相關聯的SPAD核心中的每一個SPAD核心接收一個輸入。在圖5和7的上下文中，這類輸入的形式可為來自SPAD核心501的輸出訊號506。在圖13的上下文中，SPAD輸出1310和1318可表示邏輯單元1319中這類F(x,y)框所必需的x、y輸入。對於具有與PPD核心相關聯的多於四個SPAD核心的畫素(例如(舉例來說)，圖6C中的畫素陣列配置600C)，可每對SPAD核心提供相似的雙輸入(two-input)F(x,y)框。在一些實施例中，所有的F(x,y)框1006到1009可通過PPD核心1001中的單個F(x,y)單元來整合和實現，所述F(x,y)單元含有邏輯電路，所述 邏輯電路被配置成對不同的SPAD輸出對(作為其x和y輸入)進行操作以實現單獨的F(x,y)框1006到1009的功能。如前所述，本文所揭露的TOF測量可基於畫素中的至少兩個SPAD對空間上和時間上相關的光子的探測。因此，如圖10中所示，每一個F(x,y)框1006到1009(更具體來說，F(x,y)框中的邏輯電路)可被配置成執行以下預定義操作：(i)對其各自的輸入x和y進行邏輯與非(NAND)運算(由(x*y)給出)以探測兩個或四個重合光子，以及(ii)對其各自的輸入x和y進行邏輯或非(NOR)運算(由(x+y)給出)以探測三個重合光子。因此，當來自SPAD核心1002到1005的訊號506(圖5)指示兩個(或全部四個)SPAD在光閘接通週期期間檢測到光子時，實現F(x,y)框1006到1009的邏輯電路可執行邏輯NAND運算。相似地，當來自SPAD核心1002到1005的訊號506指示三個SPAD在光閘接通週期期間檢測到光子時，可選擇邏輯NOR運算。在圖10中的示例性繪示中示出三個脈衝1010到1012，以表示當所述三個SPAD核心1003到1005中的每一個SPAD核心探測到傳入光(例如返回脈衝37(圖2))時對三個重合光子進行探測的情形。

重新參照圖10，每一個F(x,y)框1006到1009的輸出是使用對應的參考字母a、b、c和d繪示。PPD核心1001中的邏輯單元(未示出)還可包括用於接收和處理輸出a到d的附加邏輯電路(未示出)。邏輯電路可接收所有這四個輸出作為對所述邏輯電路的輸入，並根據預定義邏輯函數G(a,b,c,d)對它們進行操作。舉例來說，如圖10中所繪示，在對兩個重合光子進行探測的情形中，G( )函數可對其所有四個輸入a到d執行邏輯NAND運算(由 (a*b*c*d)給出)。另一方面，在對三個或四個重合光子進行探測的情形中，G( )函數可對其所有四個輸入a到d執行邏輯NOR運算(由(a+b+c+d)給出)。在一個實施例中，TXEN訊號(例如圖7中的TXEN訊號708或圖13中的TXEN訊號1325)可為實現G( )函數的邏輯電路的輸出。在另一個實施例中，可對用於G( )函數的邏輯電路的輸出與在內部生成的訊號(例如圖14中的TXRMD訊號1401)進行OR運算，以獲得最終TXEN訊號。

圖11繪示示出根據本文所揭露主題的可如何在圖1和圖2中所示系統15中確定TOF值的示例性流程圖1100。圖11中所指示的各種步驟可由系統15中的單個模組或者模組或系統元件的組合執行。在本文的論述中，將特定任務闡述為由特定模組或系統元件執行僅是用來舉例。其他模組或系統元件也可被適合地配置成執行這類任務。如在操作1101處所述，首先，系統15(更具體來說，投影儀模組22)可將雷射脈衝(例如圖2中的脈衝28)投射到物體(如圖2中的物體26)上。在操作1102處，處理器19(或者在某些實施例中為畫素處理單元46)可將振幅調變訊號(例如圖7中的VTX訊號710)施加到畫素中的PPD(例如圖7中的畫素700中的PPD 508)。畫素700可為圖2中的畫素陣列42中的畫素43中的任意一個畫素。在操作1103處，畫素處理單元46可基於從振幅調變訊號710接收到的調變而啟動對儲存在PPD 508中的電荷的一部分的轉移。為啟動這種電荷轉移，畫素處理電路46可以圖9所示示例性時序圖中所繪示的邏輯準位向畫素700提供各種外部訊號，例如電子光閘訊號701、VPIX訊號713和RST訊號709。在操作1104處，可使用畫素700中的多個SPAD來探 測返回脈衝，例如返回脈衝37。如早先所提及，返回脈衝37可為從物體26反射的所投射脈衝28，且畫素700中的(SPAD核心501中的)每一個SPAD可操作以將從返回脈衝接收到的照射轉換成對應的(SPAD專有)電訊號。

對於每一個接收照射的SPAD，畫素700中的SPAD核心501中的第一控制電路504可處理對應的(SPAD專有)電訊號以從其生成SPAD專有數位輸出(操作1105)。在圖5和圖7中，所有這類SPAD專有數位輸出都由具有參考編號506的箭頭共同表示。如參照對圖9的論述所述，邏輯單元702可處理輸出506，且只要所述輸出在時間上和空間上是相關的，則可將TXEN訊號708置於邏輯0(低)狀態。TXEN訊號708的邏輯0準位使畫素700中的第一電晶體703和第二電晶體704關斷，這會停止電荷從PPD 508到浮動擴散節點/結712的轉移。因此，在操作1106處，第二控制電路507可在以預定時間間隔(例如在圖9中的光閘接通週期904內)生成至少兩個SPAD專有數位輸出時終止早先啟動的對電荷的所述部分的轉移(在操作1103處)。

如早先參照圖7所論述，轉移到浮動擴散點/結712(直到在操作1106處轉移終止為止)的電荷的所述部分可作為Pixout1訊號被讀出並被轉換成適當的數位值P1，數位值P1可與(Pixout2訊號的)隨後生成的數位值P2一起用於從比率P1/(P1+P2)獲得TOF資訊。因此，在操作1107處，系統15中的畫素處理單元46或處理器19可基於在終止時(在操作1106處)所轉移的類比電荷的所述部分而確定返回脈衝37的TOF值。

圖12是根據本文所揭露主題的影像感測器單元1200的 一部分的示例性佈局。影像感測器單元1200可對應於圖1和圖2中所繪示的影像感測器單元24。圖12中所示影像感測器單元1200的所述部分可與提供俘獲返回光並生成P1和P2值以對TOF值(來自方程式(2))進行後續計算所必需的訊號且在需要時生成物體26的3D影像有關。如在圖2所示情形中，為方便起見，圖12中的影像感測器單元1200中的畫素陣列1201被示出為具有排列成3×3陣列的九個畫素。實際上，畫素陣列可含有呈多個列和行的數十萬個或數百萬個畫素。在一些實施例中，畫素陣列1201中的每一個畫素可具有相同的配置，且因此，如圖12中所示，使用相同的參考編號1202來識別每一個畫素。在圖12所示實施例中，2D畫素陣列1201可為互補金屬氧化物半導體(CMOS)陣列，其中每一個畫素1202可為圖13中所示畫素1300。儘管圖12中的示例佈局是參照圖13所示畫素配置，然而應理解，當每一個畫素1202具有圖7中所示的配置時，可對圖12中的影像感測器單元1200適合地加以修改。在一些實施例中，畫素1202可具有與圖7和圖13中所示配置不同的配置，且可對圖12中的輔助處理單元(例如列解碼器/驅動器1203、行解碼器1204等)適合地修改成以所期望的畫素配置運行。

除了畫素陣列1201之外，圖12中所繪示的實施例中的影像感測器單元1200還可包括列解碼器/驅動器1203、行解碼器1204和畫素行單元1205，畫素行單元1205包括用於相關雙採樣(Correlated Double Sampling，CDS)的電路以及將在2D成像和3D成像期間使用的行專用模數轉換器(ADC)。在一個實施例中，每行畫素可有一個ADC。在一些實施例中，處理單元1203、1204 和1205可為圖2中所示畫素處理單元46的一部分。在圖12所示實施例中，列解碼器/驅動器1203被示為將六個不同的訊號作為輸入提供到畫素列中的每一個畫素1202，以控制畫素陣列1201中的畫素的操作且從而能夠生成行專用pixout訊號1206到1208。圖12中的箭頭1209到1211中的每一個說明將作為輸入被施加到對應列中的每一個畫素43的這些訊號的列專有集合。這些訊號可包括：重置(RST)訊號、第二轉移(TX2)訊號、電子光閘(SH)訊號、轉移電壓(VTX)訊號、畫素電壓(VPIX)訊號和列選擇(SEL)訊號。圖13繪示可如何將這些訊號施加到畫素。圖14繪示包含這些訊號中的許多訊號的示例時序圖。

在一個實施例中，列選擇(SEL)訊號可被指派成選擇適當的畫素列。列解碼器/驅動器1203可例如從處理器19接收將通過列位址/控制輸入1212選擇的列的位址或控制資訊。列解碼器/驅動器1203可對所接收的輸入1212進行解碼以使列解碼器/驅動器1203能夠使用SEL訊號選擇適當的列，且還將對應的RST訊號、VTX訊號和其它訊號提供到所選擇/經解碼的列。以下參照對圖13和圖14的論述提供對這些訊號(當作為畫素輸入被施加時)的更詳細論述。在一些實施例中，列解碼器/驅動器1203還可接收例如來自處理器19的控制訊號(未示出)，以配置列解碼器/驅動器1203對在箭頭1209到1211處所指示的SEL訊號、RST訊號、VTX訊號、SH訊號和各種其他訊號施加適當的電壓準位。

畫素行單元1205可從所選擇的列中的畫素接收PIXOUT訊號1206到1208，並處理它們以生成可從中獲得TOF測量值的畫素專有訊號值。所述訊號值可為早先所闡述的P1和 P2值，如由圖12中的箭頭1213所指示。每一個行專有ADC單元可處理所接收的輸入(pixout訊號)以生成對應的數位資料輸出(P1/P2值)。以下參照圖14提供由畫素行單元1205中的CDS電路和ADC電路(未示出)提供的CDS操作和ADC操作的更多細節。在圖12中所繪示的實施例中，行解碼器1204被繪示為耦合到畫素行單元1205。行解碼器1204可針對將結合給定列選擇(SEL)訊號而被選擇的行而從例如處理器19接收行位址/控制輸入1214。行選擇可為依序的，從而使得能夠從由對應的SEL訊號所選擇的列中的每一個畫素依序接收畫素輸出。處理器19可提供適當的列位址輸入以選擇畫素列，且還可將適當的行位址輸入提供到行解碼器1204以使得畫素行單元1205能夠從所選擇的列中的單獨的畫素接收輸出(pixout)。

圖13繪示根據本文所揭露主題的畫素1300的另一示例性實施例。圖13中的畫素1300是圖2中所繪示的更一般的畫素43的另一實例。畫素1300可包括多個SPAD核心(即SPAD核心1到SPAD核心N，其中N≧2)來作為畫素1300的SPAD核心的一部分。圖13中繪示兩個此類SPAD核心1301A和1301N的一些電路細節。應注意，在一些實施例中，可對圖7中的畫素700中的SPAD核心採用相似的電路。SPAD核心1301A可包括SPAD 1302，SPAD 1302通過電阻元件(例如電阻器)1304接收SPAD工作電壓VSPAD 1303。然而，SPAD的配置可不限於圖13中所繪示的配置。在一個實施例中，電阻器1304與SPAD 1302可交換位置。在SPAD核心1301A中，SPAD 1302對光作出回應。當SPAD 1302接收到光子時，SPAD 1302輸出從VSPAD的準位變為0V且 變回VSPAD的脈衝。來自SPAD 1302的輸出可通過電容器1305過濾並被施加到反相器1306(反相器1306可用作緩衝器與栓鎖器的組合)。在一個實施例中，可省略電容器1305。SPAD核心1301A可包括PMOS電晶體1307，PMOS電晶體1307在其閘極端子處接收電子光閘訊號1308，而電晶體1307的汲極端子連接到電容器(和反相器1306的輸入)，且電晶體1307的源極端子可接收電源電壓VDD 1309(或者在一些實施例中為VPIX電壓)。當電子光閘訊號1308被關斷(舉例來說，邏輯0或低準位)時，電晶體1307導通且反相器1306的輸出1310均可保持在固定電壓準位(舉例來說，處於邏輯低或邏輯0狀態)，而不管從SPAD 1302接收的任何輸出的狀態如何。僅當電子光閘訊號1308被接通或為現用時，來自SPAD核心1301A的輸出才可被施加到PPD核心1311。當光閘為現用(舉例來說，邏輯1準位)時，電晶體1307被關斷且SPAD所生成的輸出可(通過耦合電容器1305)被發射到反相器1306且可在輸出線1310上顯現為正脈衝(低到高)。

SPAD核心1301N可在電路細節上與SPAD核心1301A相同，且因此，不提供SPAD核心1301N的操作細節。如圖所示，SPAD核心1310N可包括核心專有SPAD 1312、電阻元件1313、耦合電容器1315、反相器1316和PMOS電晶體1317，VSPAD電壓1303通過電阻元件1313被供應到SPAD 1312，反相器1316用於鎖定和輸出由SPAD 1312生成的輸出，PMOS電晶體1317用於通過光閘輸入1308控制反相器1316的操作。反相器1316的輸出1318可被提供到PPD核心1311以供進一步處理。在一些實施例中，訊號VSPAD 1303、VDD 1309和光閘1308可從外部單元(例 如圖12中所繪示的列解碼器/驅動器1203)或圖2中的畫素處理單元46(或處理器19)中的任何其他模組(未示出)被供應到每一個SPAD核心1301A和1301N。SPAD核心專有輸出1310和1318中的所有SPAD核心專有輸出可共同形成在圖5中使用參考編號506來識別的訊號。

因此，電子光閘訊號1308確保來自SPAD核心1301A和1301N的輸出1310和1318除了由於畫素1300中的SPAD核心1301A和1301N的位置鄰近而在空間上相關之外，也在時間上(或在時間方面)相關。在圖6A到圖6C所示示例性實施例中示出附加的畫素幾何形狀。

如同圖7中的畫素700，圖13中的畫素1300也包括PPD 508、邏輯單元1319、第一NMOS電晶體1320、第二NMOS電晶體1321、第三NMOS電晶體1322、第四NMOS電晶體1323、第五NMOS電晶體1324；生成內部輸入TXEN 1325；接收外部輸入RST訊號1326、VTX訊號1327(和TX訊號1328)、VPIX訊號1329和SEL訊號1330；具有浮動擴散(FD)節點/結1331；且輸出PIXOUT訊號510。然而，不同於圖7中的畫素700，圖13中的畫素1300還生成第二TXEN訊號(TXENB)1333，第二TXEN訊號(TXENB)1333可為TXEN訊號1325的補數且可被供應到第六NMOS電晶體1334的閘極端子。第六NMOS電晶體1334的汲極端子可連接到第一電晶體1320的源極端子，且第六NMOS電晶體1334的源極端子可連接到地(GND)電勢1335。TXENB訊號1333可用於將GND電勢帶至TX電晶體1321的閘極端子。在沒有TXENB訊號1333的情況下，當TXEN訊號1325變低時， TX電晶體1321的閘極可為浮動的，且從PPD 508進行的電荷轉移可不完全被終止。可使用TXENB訊號1333來改善這種情況。 另外，畫素1300還可包括儲存擴散(storage diffusion，SD)電容器1336和第七NMOS電晶體1337。SD電容器1336可連接在電晶體1321的汲極端子與電晶體1337的源極端子的結處，且可在所述結處形成SD節點1338。NMOS電晶體1337可在其閘極端子處接收不同的第二轉移(TX2)訊號1339作為輸入。電晶體1337的汲極可如所繪示連接到FD節點1331。

在一些實施例中，RST訊號、VTX訊號、VPIX訊號、TX2訊號和SEL訊號可從外部單元(例如圖12中所繪示的列解碼器/驅動器1203)被供應到畫素1300。在一些實施例中，SD電容器1336可並非是額外的電容器，而可僅為SD節點1338的結電容。圖5與圖13的對比示出，在畫素1300中，SPAD核心1301A、1301N等中的所有SPAD可共同形成圖5中的SPAD 503；來自每一個SPAD核心1301A、1301N等的所有非SPAD電路元件可共同形成圖5中的第一控制電路504；並且PPD核心502中的所有非PPD電路元件可形成圖5中的第二控制電路507。

在畫素1300中，電荷轉移觸發部分可包括SPAD核心1301A和1301N(和其它此類核心)以及邏輯單元1319。電荷生成與轉移部分可包括PPD 508、NMOS電晶體1320到1322、1334和1337以及SD電容器1336。電荷收集與輸出部分可包括NMOS電晶體1322到1324。此處，應注意，將各種電路元件分成相應部分僅是出於說明性目的和論述目的。在一些實施例中，與此處所列的電路元件相比，這類部分可包括更多或更少或者不同的電路 元件。

如前所述，除了基於CDS的電荷收集與輸出部分之外，圖13中的畫素配置與圖7中的畫素配置實質上相似。因此，為方便起見，此處不論述圖7和圖13中的實施例之間共有的電路部分和訊號，例如電晶體1320到1324以及如RST、SEL、VPIX等相關聯輸入。應理解，CDS是一種用於以使得能夠去除非期望偏移的方式測量電值(例如畫素/感測器輸出電壓(pixout))的雜訊減少技術。在一些實施例中，可在畫素行單元1205(圖12)中採用行專有CDS單元(未示出)來執行相關雙採樣。在CDS中，可對畫素(例如圖13中的畫素1300)的輸出進行兩次測量；一次是在已知條件下且一次是在未知條件下。接著，可自從未知條件測量的值減去從已知條件測量的值，以生成與所測量的物理量(即表示所接收光的畫素專有部分的PPD電荷)具有已知關係的值。使用CDS，可通過在每次電荷轉移結束時從畫素的訊號電壓去除畫素的參考電壓(例如(舉例來說)，畫素在其被重置之後的電壓)來減少雜訊。因此，在CDS中，在畫素的電荷作為輸出被轉移之前，對重置值/參考值進行採樣，接著，從畫素的電荷被轉移之後的值扣除所述重置值/參考值。

在圖13所示實施例中，SD電容器1336(或相關聯的SD節點1338)在PPD電荷轉移到浮動擴散節點1331之前儲存所述PPD電荷，從而使得能夠在任何電荷被轉移到浮動擴散節點1331之前在浮動擴散節點1331處建立適當的重置值(並對所述適當的重置值進行採樣)。因此，每一個畫素專有輸出(Pixout1和Pixout2)可在畫素行單元1205(圖12)中的行專有CDS單元(未 示出)被處理，以獲得一對畫素專有CDS輸出。隨後，畫素專有CDS輸出可由畫素行單元1205中的相應行專有ADC單元(未示出)轉換成數位值(例如在圖12中由箭頭1213所指示的P1和P2值)。圖13中的電晶體1334和1337以及TXENB訊號1333和TX2訊號1339提供促進基於CDS的電荷轉移所需的輔助電路元件。在一個實施例中，可使用例如一對相同的ADC電路作為行專有ADC單元的一部分來並行地生成P1和P2值。因此，pixout1訊號和pixout2訊號的重置準位與pixout1訊號和pixout2訊號的對應PPD電荷準位之間的差可由行並行ADC轉換成數位值並作為畫素專有訊號值(即P1和P2)而被輸出，以使得能夠基於方程式(2)而針對畫素1300計算返回脈衝37的畫素專有TOF值。如早先所述，這種計算可由畫素處理單元46執行或由系統15中的處理器19執行。因此，還可使用例如方程式(3)或方程式(4)來確定到物體26(圖2)的畫素專有距離。可對畫素陣列42中的所有畫素列重複地進行逐畫素電荷收集操作。基於畫素陣列42中的畫素43的所有畫素專有距離值或畫素專有範圍值，可例如由處理器19生成並在與系統15相關聯的適當顯示介面或使用者介面上顯示物體26的3D影像。舉例來說，當未計算出範圍值時或當不管範圍值的可用性如何均需要2D影像時，可通過簡單地將P1值和P2值相加來生成物體26的2D影像。在一些實施例中，舉例來說，當使用IR雷射時，這種2D影像簡單地可為灰階影像。

應記住，圖7和圖13中所示畫素配置僅為實例。其他類型的具有多個SPAD的基於PPD的畫素也可用于實現本文所揭露的主題。這類畫素可包括例如具有單個輸出的畫素(例如圖7 和圖13所示實施例中的PIXOUT線510)或者具有雙輸出的畫素，其中Pixout1和Pixout2訊號可通過畫素中的不同輸出而輸出。

圖14是時序圖1400，其示出根據本文所揭露主題的當在畫素陣列(例如圖2和圖12中的畫素陣列42)中使用圖13中所繪示實施例中的畫素1300來測量TOF值時，圖1和圖2所示系統15中的不同訊號的示例性時序。圖14中的時序圖1400與圖9中的時序圖900相似，尤其在VTX訊號、光閘訊號、VPIX訊號和TX訊號的波形以及對各種時序間隔或事件(例如(舉例來說)，PPD重置事件、光閘接通週期、時間延遲週期T _dly 等)的識別方面。由於早先對圖9中的時序圖900的廣泛論述，為方便起見，僅對圖14中的時序圖1400中的有區別的特徵提供簡要的論述。

在圖14中，各種從外部供應的訊號(例如VPIX訊號1329、RST訊號1326、電子光閘訊號1308、振幅調變訊號VTX 1327和TX2訊號1339)以及在內部生成的TXEN訊號1325是使用與圖13中所使用的參考編號相同的參考編號來識別。相似地，為方便起見，使用相同的參考編號1331來指代圖13中的浮動擴散節點1331和圖14所示時序圖中的相關聯的電壓波形。在圖14中示出轉移模式(TXRMD)訊號1401，但在圖13中或早先在圖10所示的時序圖中未示出。在一些實施例中，TXRMD訊號1401可由邏輯單元1319在內部生成或由列解碼器/驅動器(例如圖12中的列解碼器/驅動器1203)從外部供應到邏輯單元1319。在一個實施例中，邏輯單元1319可包括邏輯電路(未示出)，以基於G( )函數生成輸出(圖10)且接著對所述輸出與在內部生成的訊號(例如TXRMD訊號1401)進行邏輯OR運算，以獲得最終TXEN訊 號1325。如圖14中所示，在一個實施例中，這種在內部生成的TXRMD訊號1401可在電子光閘接通的同時保持為低，但之後可被指派成高，以使得TXEN訊號1325變成邏輯1，從而促進PPD中的剩餘電荷的轉移(圖14中的事件1402處)。

應注意，圖14中的PPD預設事件1403、延遲時間T _dly 1404、TOF週期T _tof 1405、光閘關斷間隔1406和光閘接通或現用週期T _sh 1407或1408以及FD重置事件1409與圖9中所示的對應的事件或時間週期相似。因此，不對這些參數提供附加論述。 首先，FD重置事件1409使得FD訊號1331變高，如圖所示。在PPD 508被預設成低之後，SD節點1338被重置成高。更具體來說，在PPD預設事件1403期間，TX訊號1328可為高，TX2訊號1339可為高，RST訊號1326可為高，且VPIX訊號1329可為低，以將電子填充到PPD 508並將PPD 508預設成零伏。此後，TX訊號1328可變低，但TX2訊號1339和RST訊號1326可短暫地保持為高，這連同高VPIX訊號1329一起可將SD節點1338重置成高並從SD電容器1336去除電子。同時，FD節點1331被重置(在FD重置事件1409之後)。圖14中未示出SD節點1338或SD重置事件處的電壓。

與圖7和圖9中的實施例相比，在圖13和圖14中所繪示的實施例中，當光閘1308為現用且VTX訊號1327向上斜變(如在TX波形1328上所示)時，PPD電荷被振幅調變且首先被轉移到SD節點1338(通過SD電容器1336)。在畫素1300(圖13)中的至少兩個SPAD在光閘接通週期1408期間探測到光子時，TXEN訊號1325變低，且從PPD 508到SD節點1338的初始電荷 轉移停止。在第一讀出週期1412期間，儲存在SD節點1338處的所轉移電荷可在Pixout線510上被讀出(作為Pixout1輸出)。在第一讀出週期1412期間，RST訊號1326可在電子光閘1308被解除啟動或關斷之後短暫地被指派成高，以將浮動擴散節點1331重置。此後，TX2訊號1339可以脈衝方式變成高，以在TX2 1339訊號為高的同時將電荷從SD節點1338轉移到浮動擴散節點1331。浮動擴散電壓波形1331繪示電荷轉移操作。接著，可在第一讀出週期1412期間使用SEL訊號1330(圖14中未示出)通過Pixout線510來讀出所轉移電荷(作為Pixout1電壓)。

在第一讀出間隔1412期間，在初始電荷從SD節點轉移到FD節點且TX2訊號1339返回到邏輯低準位之後，TXRMD訊號1401可被指派成(以脈衝方式變成)高，以在TXEN輸入1325上生成高脈衝，這又可在TX輸入1328上生成高脈衝，以使得PPD 508中的剩餘電荷能夠轉移到SD節點1338(通過SD電容器1336)，如圖14中的參考編號1402所指示。此後，當RST訊號1326再次短暫地被指派成高時，FD節點1331可再次被重置。第二RST高脈衝可界定第二讀出週期1413，其中TX2訊號1339可再次以脈衝方式變成高，以在TX2為高的同時將PPD 508上的剩餘電荷從SD節點1338轉移(在事件1402處)到浮動擴散節點1331。浮動擴散電壓波形1331繪示第二電荷轉移操作。接著，可在第二讀出週期1413期間使用SEL訊號1332(圖14中未示出)通過Pixout線510讀出所轉移的剩餘電荷(作為Pixout2電壓)。 如早先所提及，PIXOUT1訊號和PIXOUT2訊號可由適當的ADC單元(未示出)轉換成對應的數位值P1和P2。在某些實施例中， 可在方程式(3)或方程式(4)中使用這些值P1和P2來確定畫素1300與物體26之間的畫素專有距離/畫素專有範圍。圖14中所繪示的基於SD的電荷轉移使得能夠生成一對畫素專有CDS輸出，如早先參照對圖13的論述所述。基於CDS的訊號處理實現附加雜訊減少。

圖15繪示根據本文所揭露主題的時間分辨感測器1500的示例性實施例的框圖。時間分辨感測器1500可包括SPAD電路1501、邏輯電路1503和PPD電路1505。

SPAD電路1501可包括SPAD、第一輸入、第二輸入、第三輸入和輸出，SPAD用於探測光子，所述第一輸入用於接收VSPAD電壓，所述第二輸入用於接收光閘訊號以控制電子光閘的打開和關閉，所述第三輸入用於接收V_DD電壓，所述輸出用於輸出探測事件(DE)訊號。回應於接收到光子，SPAD電路1501輸出脈衝訊號，所述脈衝訊號從VSPAD電壓快速變為低於SPAD擊穿電壓的電壓且接著更緩慢地返回到VSPAD電壓。

邏輯電路1503可包括第一輸入、第二輸入和輸出，所述第一輸入連接到從SPAD電路1501輸出的DE訊號，所述第二輸入用於接收TXRMD訊號以將在PPD電路1505的PPD中剩餘的電荷完全轉移到FD節點，所述輸出用於輸出TXEN訊號。

PPD電路1505可包括第一輸入、第二輸入、第三輸入、第四輸入、第五輸入和PIXOUT輸出，所述第一輸入連接到從邏輯電路1503輸出的TXEN訊號，所述第二輸入用於接收VTX訊號以將電荷部分地或完全地從PPD電路1505的PPD轉移到PPD電路1505中的FD節點，所述第三輸入用於接收RST訊號以將FD 節點中的電荷重置以及對PPD中的電荷進行預設，所述第四輸入用於接收PPD電路1505的VPIX電壓，所述第五輸入用於接收SEL訊號以使得能夠讀出PIXOUT1訊號(表示FD節點上的電荷)或PIXOUT2訊號(表示PPD中剩餘的電荷)，所述PIXOUT輸出用於回應於SEL訊號而輸出PIXOUT1訊號和PIXOUT2訊號。

圖16繪示根據本文所揭露主題的時間分辨感測器1500的SPAD電路1501的示例性實施例的示意圖。在一個實施例中，SPAD電路1501可包括電阻器1601、SPAD 1603、電容器1605、p型MOSFET電晶體1607和緩衝器1609。電阻器1601可包括第一端子和第二端子，所述第一端子用於接收VSPAD電壓。SPAD 1603可包括陽極和陰極，所述陽極與地電勢連接，所述陰極與電阻器1601的第二端子連接。在另一個實施例中，電阻器1601與SPAD 1603可交換位置。SPAD 1603可對光作出回應。回應於接收到光子，SPAD 1603輸出脈衝訊號，所述脈衝訊號從VSPAD電壓快速變為低於擊穿電壓的電壓且接著更緩慢地返回到VSPAD電壓。在一個實例中，擊穿電壓可為特定閾值電壓。

電容器1605可包括第一端子和第二端子，所述第一端子連接到SPAD 1603的陰極。在替代實施例中，可省略電容器1605。p型MOSFET電晶體1607可包括第一S/D(源極/汲極)端子、閘極和第二S/D端子，所述第一S/D端子連接到電容器1605的第二端子，所述閘極用於接收光閘訊號，所述第二S/D端子用於接收VPIX電壓(V_DD)。緩衝器1609可包括輸入和輸出，所述輸入連接到電容器1605的第二端子，所述輸出用於輸出DE訊號。DE訊號可對應於SPAD電路1501的DE輸出。在替代實施例中， 緩衝器1609可為反相器。

圖17繪示根據本文所揭露主題的時間分辨感測器1500的邏輯電路1503的示例性實施例的示意圖。邏輯電路1503可包括栓鎖器1701和雙輸入OR閘1703。

栓鎖器1701可包括輸入和輸出，所述輸入連接到從SPAD電路1501輸出的DE訊號。響應於DE訊號，栓鎖器1701輸出例如從邏輯1變為邏輯0且保持處於邏輯0的邏輯訊號。換句話說，栓鎖器1701將脈衝型訊號轉換成從邏輯1變為邏輯0且在重置之前保持處於邏輯0而不會返回到邏輯1的訊號。栓鎖器輸出可被DE訊號的前沿觸發，其中視SPAD電路1501的設計而定，前沿可為正向或負向。

雙輸入OR閘1703可包括第一輸入、第二輸入和輸出，所述第一輸入連接到栓鎖器1701的輸出，所述第二輸入用於接收TXRMD訊號，所述輸出用於輸出TXEN訊號。雙輸入OR閘1703執行邏輯OR函數且輸出結果作為TXEN訊號。具體來說，如果光子是在光閘訊號為邏輯1時由SPAD電路1501接收到或者如果TXRMD訊號為邏輯1，則雙輸入OR閘1703的輸出變為邏輯1，這是在PPD電路1505的PPD中剩餘電荷將完全轉移到FD節點以被讀出為PIXOUT2訊號時發生。

圖18繪示根據本文所揭露主題的時間分辨感測器1500的PPD電路1505的示例性實施例的示意圖。PPD電路1505可包括PPD 1801、第一電晶體1803、第二電晶體1805、第三電晶體1807、第四電晶體1809和第五電晶體1811。

PPD 1801可包括陽極和陰極，所述陽極連接到地電勢。 PPD 1801可以與電容器相似的方式儲存電荷。在一個實施例中，PPD 1801可被覆蓋且因此不對光作出回應，且可用作TCC而非感光元件。

第一電晶體1803可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到邏輯電路1503的TXEN訊號輸出，所述第一S/D端子用於接收VTX訊號。第一電晶體1803可接收VTX訊號且可使VTX訊號能夠在TXEN訊號的控制下通過第一電晶體1803，以在第一電晶體1803的第二S/D端子處輸出TX訊號。

第二電晶體1805可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到第一電晶體1803的第二S/D端子，所述第一S/D端子連接到PPD 1801的陰極。第二電晶體1805可在閘極端子上接收TX訊號並將源極端子上的PPD 1801上的電荷轉移到與FD節點連接的汲極端子。在FD節點與地之間可存在寄生電容，其未在圖18中指示。在一個實施例中，在FD節點與地之間還可連接有實體電容。

第三電晶體1807可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子用於接收RST訊號，所述第一S/D端子用於接收VPIX電壓，所述第二S/D端子連接到第二電晶體1805的第二S/D端子。

第四電晶體1809可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到第二電晶體1805的第二S/D端子，所述第一S/D端子連接到第三電晶體1807的第一S/D端子。

第五電晶體1811可包括閘極端子、第一S/D端子和第 二S/D端子，所述閘極端子用於接收SEL訊號，所述第一S/D端子連接到第四電晶體1809的第二S/D端子，所述第二S/D端子是PPD電路1505的PIXOUT輸出。第五電晶體1811可接收SEL訊號以選擇畫素來讀出FD節點中的電荷(作為PIXOUT1)或PPD 1801中的剩餘電荷(作為PIXOUT2)。

從PPD 1801轉移到FD節點的電荷受到TX訊號的控制。在一個實施例中，VTX訊號通過第一電晶體1803進行耦合以變為TX訊號。VTX訊號向上斜變以越來越快地將電荷從PPD 1801轉移到FD節點。從PPD 1801轉移到FD節點的電荷量可為TX訊號的準位的函數，且TX訊號的斜變可為時間的函數。因此，從PPD 1801轉移到FD節點的電荷可為時間的函數。如果在電荷從PPD 1801轉移到FD節點期間第二電晶體1805響應於SPAD電路1501探測到傳入光子而關斷，則電荷從PPD 1801到FD節點的轉移停止。轉移到FD節點的電荷量與PPD 1801中剩餘的電荷量兩者可均與傳入光子的TOF有關。基於TX訊號以及基於探測到傳入光電而進行的電荷從PPD 1801到FD節點的轉移可被考慮以提供電荷到時間的單端到差分轉換。

第四電晶體1809運行以將儲存在FD節點上的電荷轉換成第四電晶體1809的第二S/D端子處的電壓。SEL訊號用於選擇畫素來讀出與已被轉移到FD節點的電荷對應的PIXOUT1訊號或者隨後讀出與在已將PPD 1801中的剩餘電荷轉移到FD節點之後在PPD 1801中剩餘的電荷對應的PIXOUT2訊號。在一個實施例中，PIXOUT1訊號對PIXOUT1訊號加上PIXOUT2訊號的和的比率與由畫素接收的光訊號的TOF和延遲時間之間的差成比例，如 方程式(2)中的比率所表達。在其中光脈衝在VTX訊號開始向上斜變之後被發射的實施例中，延遲時間可為負的。

對於時間分辨感測器1500，可使用方程式(2)中所表達的比率來確定物體的深度或範圍，且如果PIXOUT1+PIXOUT2不因測量到測量而異，則所述比率對於測量到測量之間的變化不太敏感。在一個實施例中，VTX訊號可理想地為線性的，且可理想地在TOF畫素陣列的所有不同畫素中為均勻的。然而，實際上，可被施加到TOF畫素陣列的不同畫素的VTX訊號可因畫素到畫素而異，從而在範圍測量中引入誤差，所述誤差取決於畫素到畫素之間的VTX訊號的變化且還可因測量到測量而異。

在一個實施例中，第一電晶體1803、第二電晶體1805、第三電晶體1807、第四電晶體1809和第五電晶體1811可分別為n型MOSFET或p型MOSFET。然而，本文所揭露主題並不限於使用n型MOSFET或p型MOSFET，這是因為可使用任何其他適合的電晶體。

圖19繪示根據本文所揭露主題的圖15所示時間分辨感測器1500的示例性相對訊號時序圖1900。在圖19中，在光閘關斷(初始化)週期期間，RST訊號、VTX訊號和TX訊號分別變高(邏輯1)，接著返回到0(邏輯0)以將PPD電路1505重置。 TXEN訊號為高。在此初始化週期處，PPD 1801可被電荷填充到其滿阱容量。VTX訊號和TX訊號變低以關斷PPD電路1505的第二電晶體1805。VPIX電壓變高，從而使FD節點重置。當RST訊號返回到0時或者此後不久，朝物體發射光脈衝。VTX訊號接著開始向上斜變且光閘訊號變高以開始光閘接通週期。

隨著VTX訊號向上斜變，TX訊號也向上斜變且FD節點上的電荷響應於TX訊號而開始減少。返回的光脈衝使TXEN訊號變低(邏輯0)，從而停止電荷在FD節點與PPD 1801之間的轉移。

延遲時間T _dly 表示開始發射光脈衝與TX訊號開始向上斜變的時間之間的時間。飛行時間T _tof 表示開始發射光脈衝與接收到返回訊號的時間之間的時間。電子光閘時間T _sh 表示從電子光閘打開時到電子光閘關閉時的時間(光閘接通週期)。在一個實施例中，電子光閘時間T _sh 可小於或等於VTX訊號的斜變時間。

已轉移的電荷在讀取電荷轉移週期期間被讀出為PIXOUT1訊號。在光閘訊號為低的同時，RST訊號第二次變高以將FD節點上的電荷重置，接著TXRMD訊號、TXEN訊號和TX訊號變高以將PPD 1801上的剩餘電荷轉移到FD節點以被讀出為PIXOUT2訊號。

圖20繪示根據本文所揭露主題的時間分辨感測器2000的另一個示例性實施例的框圖。時間分辨感測器2000可包括SPAD電路2001、邏輯電路2003和第二PPD電路2005。

SPAD電路2001可包括SPAD、第一輸入、第二輸入、第三輸入和輸出，SPAD用於探測光子，所述第一輸入用於接收VSPAD電壓，所述第二輸入用於接收光閘訊號以控制電子光閘的打開和關閉，所述第三輸入用於接收VDD電壓(V_DD)，所述輸出用於輸出探測事件(DE)訊號。回應於接收到光子，SPAD電路2001輸出脈衝訊號，所述脈衝訊號從VSPAD快速變為0且緩慢地返回到VSPAD。在一個實施例中，SPAD電路2001可與圖15 中所繪示的SPAD電路1501相同。

邏輯電路2003可包括第一輸入、第二輸入和輸出，所述第一輸入連接到SPAD電路2001的DE輸出，所述第二輸入用於接收TXRMD訊號以將在第二PPD電路2005的PPD中剩餘的電荷完全轉移，所述輸出用於輸出TXEN訊號。在一個實施例中，邏輯電路2003可與圖15中所繪示邏輯電路1503相同。

第二PPD電路2005可包括第一輸入、第二輸入、第三輸入、第四輸入、第五輸入和第六輸入，所述第一輸入連接到從邏輯電路2003輸出的TXEN訊號，所述第二輸入連接到邏輯電路2003的第二輸入以接收TXRMD訊號，所述第三輸入用於接收VTX訊號以將電荷部分地或完全地從第二PPD電路2005的PPD轉移到第二PPD電路2005中的第一浮動擴散(FD1)節點，所述第四輸入用於接收RST訊號以將FD1節點中的電荷重置以及對PPD中的電荷進行預設，所述第五輸入用於接收第二PPD電路2005的VPIX電壓，所述第六輸入用於接收SEL訊號以使得能夠在PIXOUT1輸出上讀出與FD1節點上的電荷對應的PIXOUT1訊號且使得能夠在PIXOUT2輸出上讀出與在第二PPD電路2005的PPD中剩餘的電荷對應的PIXOUT2訊號。

圖21繪示根據本文所揭露主題的時間分辨感測器2000的第二PPD電路2005的示例性實施例的示意圖。第二PPD電路2005可包括PPD 2101、第一電晶體2103、第二電晶體2105、第三電晶體2107、第四電晶體2109、第五電晶體2111、第六電晶體2113、第七電晶體2115、第八電晶體2117和第九電晶體2119。

PPD 2101可包括陽極和陰極，所述陽極連接到地電勢。 PPD 2101可以與電容器相似的方式儲存電荷。在一個實施例中，PPD 2101可被覆蓋且因此不對光作出回應，且可用作TCC而非感光元件。

第一電晶體2103可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到邏輯電路2003的輸出以接收TXEN訊號輸出，所述第一S/D端子用於接收VTX電壓以控制電荷從PPD 2101的轉移。

第二電晶體2105可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到第一電晶體2103的第二S/D端子以接收TX訊號來從PPD 2101轉移電荷，所述第一S/D端子連接到PPD 2101的陰極，所述第二S/D端子連接到第一浮動擴散節點FD1，電荷從PPD 2101轉移到第一浮動擴散(FD1)節點。FD1節點可具有第一電容。在FD1節點與地之間可存在寄生電容，其未在圖21中指示。在一個實施例中，在FD1節點與地之間還可連接有實體電容。通過第二電晶體2105從PPD 2101轉移到FD1節點的電荷受TX訊號控制。

第三電晶體2107可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到FD1節點且連接到第二電晶體2105的第二S/D端子，第一S/D端子用於接收VPIX電壓。第三電晶體2107可運行以將儲存在FD1節點上的電荷轉換成第三電晶體2107的第二S/D端子處的電壓。

第四電晶體2109可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子用於接收RST訊號以對FD1節點的電荷準位進行指派，所述第一S/D端子用於接收VPIX電壓，所述第 二S/D端子連接到第二電晶體2105的第二S/D端子。

第五電晶體2111可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子用於接收SEL訊號以讀出FD1節點上的電荷，所述第一S/D端子連接到第三電晶體2107的第二S/D端子，所述第二S/D端子連接到畫素輸出PIXOUT1資料線以輸出與FD1節點上的電荷對應的電壓作為PIXOUT1訊號。

第六電晶體2113可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子用於接收TXRMD訊號以將PPD 2101中剩餘的電荷完全轉移到第二浮動擴散節點FD2，所述第一S/D端子連接到PPD 2101的陰極，所述第二S/D端子連接到FD2節點。FD2節點可具有第二電容。在FD2節點與地之間可存在寄生電容，其未在圖21中指示。在一個實施例中，在FD2節點與地之間還可連接有實體電容。在一個實施例中，FD2節點的第二電容可等於FD1節點的第一電容。PPD 2101中的任何剩餘電荷均可通過第六電晶體2113轉移到FD2節點。

第七電晶體2115可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到第六電晶體2113的第二S/D端子且連接到FD2節點，所述第一S/D端子用於接收VPIX電壓。 第七電晶體2115可運行以將儲存在FD2節點上的電荷轉換成第七電晶體的第二S/D端子處的電壓。

第八電晶體2117可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子用於接收RST訊號以對FD2節點的電荷準位進行指派，所述第一S/D端子用於接收VPIX訊號，所述第二S/D端子連接到第六電晶體2113的第二S/D端子。

第九電晶體2119可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子用於接收SEL訊號以選擇畫素來讀出與FD2節點中的電荷對應的電壓，所述第一S/D端子連接到第七電晶體2115的第二S/D端子，所述第二S/D端子連接到畫素輸出PIXOUT2資料線以輸出與FD2節點上的電荷對應的電壓作為PIXOUT2訊號。

在一個實施例中，VTX訊號(和TX訊號)可向上斜變以將電荷從PPD 2101轉移到FD1節點。從PPD 2101轉移到FD節點的電荷量可為TX訊號的準位的函數，且TX訊號的斜變可為時間的函數。因此，從PPD 2101轉移到FD1節點的電荷可為時間的函數。如果在電荷從PPD 2101轉移到FD1節點期間，第二電晶體2105響應於SPAD電路2001探測到傳入光子而關斷，則電荷從PPD 2101到FD1節點的轉移停止，且轉移到FD1節點的電荷量與在PPD 2101中剩餘的電荷量兩者均與傳入光子的TOF有關。基於TX訊號以及基於探測到傳入光子而進行的電荷從PPD 2101到FD1節點的轉移提供電荷到時間的單端到差分轉換。

對於時間分辨感測器2000，可使用方程式(2)中所表達的比率來確定物體的深度或範圍，且如果PIXOUT1+PIXOUT2不因測量到測量而異，則所述比率對於測量到測量之間的變化不太敏感。在一個實施例中，VTX訊號可理想地為線性的，且可理想地在TOF畫素陣列的所有不同畫素中為均勻的。然而，實際上，可被施加到TOF畫素陣列的不同畫素的VTX訊號可因畫素到畫素而異，從而在範圍測量中引入誤差，所述誤差取決於畫素到畫素之間的VTX訊號的變化且還可因測量到測量而異。

在一個實施例中，第一電晶體2103、第二電晶體2105、第三電晶體2107、第四電晶體2109、第五電晶體2111、第六電晶體2113、第七電晶體2115、第八電晶體2117和第九電晶體2119可各自為n型MOSFET或p型MOSFET；然而，可使用任何其他適合的電晶體。

圖22繪示根據本文所揭露主題的時間分辨感測器2000的示例性相對訊號時序圖2200。圖22所示訊號時序圖與圖19所示訊號時序圖相似且相似之處已參照圖19加以闡述。圖22所示訊號時序圖的不同之處在於：包括FD2訊號，且在光閘接通週期結束處，PPD 2101上的剩餘電荷通過TXRMD訊號的操作被轉移到FD2節點。另外，可同時讀出PIXOUT1訊號和PIXOUT2訊號。

應注意，第二PPD電路2005依賴于不變的滿阱容量來確定最大範圍；然而，時間分辨感測器2000的實際實現方式可基於不同的第二PPD電路2005之間的熱雜訊而經歷PPD 2101的滿阱變化。另外，VTX訊號可基於畫素陣列中畫素的位置而具有不同的斜坡(斜率)。也就是說，畫素處的VTX訊號的斜坡(斜率)可視畫素與VTX訊號的來源的靠近程度而異。

圖23繪示根據本文所揭露主題的時間分辨感測器2300的再一個示例性實施例的框圖。時間分辨感測器2300可包括一個或多個SPAD電路2301a到2301n、邏輯電路2303和第三PPD電路2305。

在一個實施例中，所述一個或多個SPAD電路2301a到2301n中的每一個可包括SPAD 2311a到2311n、電阻器2313a到2313n、電容器2315a到2315n、p型MOSFET電晶體2317a到2317n 和緩衝器2319a到2319n。SPAD 2311a到2311n可包括陽極和陰極，所述陽極連接到地電勢。電阻器2313a到2313n可包括第一端子和第二端子，所述第一端子用於接收VSPAD電壓，所述第二端子連接到SPAD 2311a到2311n的陰極。在另一個實施例中，SPAD 2311a到2311n與電阻器2313a到2313n可交換位置。SPAD 2311a到2311n可對光作出回應。回應於接收到光子，SPAD 2311a到2311n輸出脈衝訊號，所述脈衝訊號從VSPAD電壓快速變為低於擊穿電壓的電壓且接著更緩慢地返回到VSPAD電壓。

電容器2315a到2315n可包括第一端子和第二端子，所述第一端子連接到SPAD 2311a到2311n的陰極。在替代實施例中，可省略電容器2315a到2315n。p型MOSFET電晶體2317a到2317n可包括第一S/D端子、閘極和第二S/D端子，所述第一S/D端子連接到電容器2315a到2315n的第二端子，所述閘極用於接收光閘訊號，所述第二S/D端子用於接收VPIX電壓(V_DD)。緩衝器2319a到2319n可包括輸入和反相輸出，所述輸入連接到電容器2315a到2315n的第二端子，所述反相輸出可輸出與SPAD電路2301a到2301n的輸出對應的DE訊號。在替代實施例中，緩衝器2319a到2319n可為非反相的。

邏輯電路2303可包括輸入和輸出，所述輸入連接到所述一個或多個SPAD電路2301a到2301n中的每一個SPAD電路的DE訊號輸出，所述輸出輸出TXEN訊號和TXENB訊號，TXENB訊號可為TXEN訊號的反相。

第三PPD電路2305可包括電容裝置SC、第一電晶體2351、第二電晶體2353、第三電晶體2355、第四電晶體2357、第 五電晶體2359、第六電晶體2361、第七電晶體2363、第八電晶體2365、第九電晶體2367、第十電晶體2369、第十一電晶體2371、第十二電晶體2373和第十三電晶體2375。

電容裝置SC可包括第一端子和第二端子，所述第一端子連接到地電勢。電容裝置SC可以與電容器相似的方式儲存電荷。在一個實施例中，電容裝置SC可為電容器。在另一個實施例中，電容裝置SC可為PPD，所述PPD可被覆蓋以使其不對光作出回應。在這兩個實施例中的任一個實施例中，電容裝置SC均可用作TCC的一部分。

第一電晶體2351可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到RST訊號，所述第一S/D端子連接到地電勢，所述第二S/D端子連接到電容裝置SC的第二端子。

第二電晶體2353可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到TXA訊號，所述第一S/D端子連接到第一浮動擴散FD1節點，所述第二S/D端子連接到第一電晶體2351的第二S/D端子和電容裝置SC的第二端子。第一浮動擴散FD1節點在圖23中以電容器符號表示。在FD1節點與地之間可存在寄生電容，其未在圖23中指示。在一個實施例中，在FD1節點與地之間還可連接有實體電容。

第三電晶體2355可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到FD1節點和第二電晶體2353的第一S/D端子，所述第一S/D端子連接到VPIX電壓。第三電晶體2355可運行以將FD1節點上的電荷轉換成第三電晶體2355的第二S/D端子處的電壓。

第四電晶體2357可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到RST訊號，第一S/D端子連接到VPIX電壓，所述第二S/D端子連接到第一電晶體2351的第二S/D端子和電容裝置SC的第二端子。

第五電晶體2359可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到TXEN訊號，所述第一S/D端子連接到VTX訊號，所述第二S/D端子連接到第二電晶體2353的閘極端子。

第六電晶體2361可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到TXENB訊號，所述第一S/D端子連接到地電勢，所述第二S/D端子連接到第二電晶體2353的閘極端子和第五電晶體2359的第二S/D端子。

第七電晶體2363可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到SEL訊號，所述第一S/D端子連接到第三電晶體2355的第二S/D端子，所述第二S/D端子連接到畫素輸出線PIXA。

第八電晶體2365可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到TXB訊號，所述第一S/D端子連接到第二浮動擴散FD2節點，所述第二S/D端子連接到第一電晶體2351的第二S/D端子、電容裝置SC的第二端子和第二電晶體2353的第二S/D端子。第二浮動擴散FD2節點在圖23中以電容器符號表示。在FD2節點與地之間可存在寄生電容，其未在圖23中指示。在一個實施例中，在FD2節點與地之間還可連接有實體電容。

第九電晶體2367可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到FD2節點和第八電晶體2365的第一S/D端子，所述第一S/D端子連接到VPIX電壓。第九電晶體2367可運行以將FD2節點上的電荷轉換成第九電晶體2367的第二S/D端子處的電壓。

第十電晶體2369可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到RST訊號，所述第一S/D端子連接到VPIX電壓，所述第二S/D端子連接到第一電晶體2351的第二S/D端子、電容裝置SC的第二端子和第八電晶體2365的第二S/D端子。

第十一電晶體2371可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到TXENB訊號，所述第一S/D端子連接到VTX訊號，所述第二S/D端子連接到第八電晶體2365的閘極端子。

第十二電晶體2373可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到TXEN訊號，所述第一S/D端子連接到地電勢，所述第二S/D端子連接到第八電晶體2365的閘極端子和第十一電晶體2371的第二S/D端子。

第十三電晶體2375可包括閘極端子、第一S/D端子和第二S/D端子，所述閘極端子連接到SEL訊號，所述第一S/D端子連接到第九電晶體2367的第二S/D端子，所述第二S/D端子連接到畫素輸出線PIXB。

圖24繪示根據本文所揭露主題的時間分辨感測器2300的示例性相對訊號時序圖2400。圖24所示訊號時序圖與圖19和 圖22所示訊號時序圖相似且相似之處已參照圖19加以闡述。圖24所示訊號時序圖與圖22所示訊號時序圖的不同之處在於不包括TXRMD訊號和TX訊號，而是包括TXENB訊號、TXA訊號和TXB訊號。

在圖24所示訊號時序圖中，TXENB訊號是TXEN訊號的反相。當光閘訊號為現用高時，TXEN訊號為現用且VTX訊號通過第五電晶體2359，從而使TXA訊號為現用。電容裝置SC上的電荷通過第二電晶體2353轉移到FD1節點。同時，地電勢通過第十二電晶體2373，從而使TXB訊號非現用。

當發生探測事件(DE)時，TXEN訊號變為非現用且TXENB訊號變為現用。當TXEN訊號變為非現用時，TXA訊號也變為非現用且電荷停止通過第二電晶體2353從電容裝置SC轉移到FD1節點。當TXENB訊號變為現用時，TXB訊號變為現用且電荷通過第八電晶體2365從電容裝置SC轉移到FD2節點。

當光閘訊號結束時，TXB訊號變為非現用且電荷停止通過第八電晶體2365從電容裝置SC轉移到FD2節點。與FD1節點和FD2節點上的電荷相關聯的各個電壓是從PIXA輸出線和PIXB輸出線讀出。

應注意，VTX訊號的斜率的變化和畫素到畫素之間電容裝置SC的電容的變化不會造成範圍測量誤差，只要第二電晶體2353(TXA)和第八電晶體2365(TXB)在現用光閘訊號期間以線性模式運行即可。

圖25繪示根據本文所揭露主題的使用時間分辨感測器2300來分辨時間的方法2500的流程圖。所述方法在2501處開始。 在2502處，生成現用光閘訊號。在2503處，在現用光閘訊號期間探測入射在至少一個SPAD電路2301a到2301n上的一個或多個光子(探測事件(DE))，其中所探測到的所述一個或多個光子是從物體反射。在2504處，基於探測事件(DE)生成輸出訊號。 在2505處，基於關於探測事件(DE)的輸出訊號生成第一使能訊號(例如，TXEN)和第二使能訊號(例如，TXENB)。在一個實施例中，第一使能訊號響應於現用光閘訊號的開始而變為現用且回應於輸出訊號而變為非現用，且第二使能訊號回應於輸出訊號而變為現用且回應於現用光閘訊號的結束而變為非現用。

在2506處，如果第一使能訊號為現用，則將電容裝置SC上的電荷轉移到第一浮動擴散(FD1)節點以在第一浮動擴散(FD1)節點上形成第一電荷。在2507處，如果第二使能訊號為現用，則將電容裝置SC上的剩餘電荷轉移到第二浮動擴散(FD2)節點以在第二浮動擴散(FD2)節點上形成第二電荷。在2508處，輸出第一電壓和第二電壓，所述第一電壓是基於第一電荷，所述第二電壓是基於第二電荷。第一電壓對第一電壓和第二電壓的和的第一比率與所探測到的所述一個或多個光子的飛行時間成比例，且第二電壓對第一電壓和第二電壓的和的第二比率與所探測到的所述一個或多個光子的飛行時間成比例。在2509處，所述方法結束。

在一個實施例中，轉移第一電荷和第二電荷還包括根據斜坡函數改變VTX訊號(或驅動訊號)，其中VTX訊號(或驅動訊號)回應于從中探測到所探測到的所述一個或多個光子的光脈衝的開始時間而開始改變，直到現用光閘訊號結束。另外，將電 容裝置上的電荷轉移到第一浮動擴散(FD1)節點以在第一浮動擴散(FD1)節點上形成第一電荷還可基於當第一使能訊號為現用時VTX訊號(或驅動訊號)的準位，且將電容裝置上的剩餘電荷轉移到第二浮動擴散(FD2)節點以在第二浮動擴散(FD2)節點上形成第二電荷還可基於當第二使能訊號為現用時VTX訊號(或驅動訊號)的準位。

在另一個實施例中，第一電壓對第一電壓和第二電壓的和的第一比率還可與所探測到的所述一個或多個光子的飛行時間減去延遲時間成比例。相似地，第二電壓對第一電壓和第二電壓的和的第二比率還可與所探測到的所述一個或多個光子的飛行時間減去延遲時間成比例，所述延遲時間包括光脈衝的傳輸時間的開始到VTX訊號(或驅動訊號)開始改變的時間之間的時間。

使用SPAD的LiDAR(光探測和範圍測量)系統通常不提供基於光強度的成像能力。強度成像與範圍資訊一起可顯著改善先進駕駛員輔助系統(advanced driver-assistance system，ADAS)和自主駕駛應用中的物體辨別性能。本文所揭露主題提供一種提供範圍資訊和強度成像資訊兩者的成像系統。範圍影像和強度影像均是從同一來源生成，因此不存在影像對準問題和/或不需要複雜的融合演算法。本文所揭露的畫素的實施例被配置成TCC。另外，也可使用被配置成時間到數位轉換器(time-to-digital converter，TDC)的畫素，但可提供具有小於被配置成TCC的畫素的空間解析度的影像。也就是說，被配置成TCC的畫素較小且可提供具有比使用被配置成TDC的畫素的畫素陣列更高的解析度的畫素陣列。

可提供範圍資訊和光強度資訊的成像系統的一個示例性實施例是圖1中所繪示的成像系統15。畫素陣列42可包括本文所揭露的TCC畫素的實施例，例如圖5中所繪示的畫素43、圖7中所繪示的畫素700、圖13中所繪示的畫素1300、圖21中所繪示的畫素2100和/或圖23中所繪示的畫素2300。光源22被控制成提供點掃描(例如結合圖3和圖4所揭露)，所述點掃描與畫素處理單元46同步。可重複進行多次點掃描，以對範圍資訊和光強度資訊兩者提供統計平均。光強度資訊可用于確定成像系統15的視場中的物體的反射率。在替代實施例中，光源22可被控制成照射整個場景。如果投射並俘獲多個光脈衝，則可為每一個畫素形成一長條圖，且通過對長條圖中的峰值附近的組(bin)進行求和，可產生灰階影像，所述灰階影像可用於顯著改善ADAS和自主駕駛應用中的物體辨別性能。應記住，替代實施例可使用被配置成提供TDC輸出的畫素。

影像感測器單元24所俘獲的每一個斑點的反射率可基於所述斑點的距離和灰階值來確定。也可在不存在雷射脈衝的情況下生成灰階影像。通過將多個幀相加在一起，影像感測器單元24可如同每畫素每幀最多俘獲一個光子的量子影像感測器那樣運行。當將多個位平面(即幀)相加在一起時，可實現高動態範圍成像。通過使用從同一影像感測器單元生成的3D影像和2D影像兩者進行物體辨別，可避免複雜的影像融合處理且可改善辨別性能。

在一個實施例中，可直接使用由畫素所探測到的光子的抵達時間(即探測時間)長條圖的峰值來生成畫素的灰階值。窗 口寬度可與所投射的雷射或光、脈衝的半峰全寬(FWHM)相同。可形成光子探測時間的長條圖，且可使用與所探測到的光子的峰數對應的組來估測物體在已反射光脈衝的點處的表面反射率S。作為另一選擇，可對畫素的長條圖與從SPAD輸出的觸發波形進行卷積，且接著選擇最大所探測光子計數。

圖26A繪示從SPAD輸出的示例性觸發波形2600。圖26A的橫坐標為相對時間(無單位)，且圖26A的縱坐標為相對振幅(無單位)。圖26B繪示根據本文所揭露主題的示例性畫素的光子探測時間所可形成的示例性長條圖2601。圖26B的橫坐標是相對歸一化時間，且縱坐標是光子探測事件計數。

圖26C繪示示例性長條圖2602，其中在2602a處指示表示所投射脈衝(未示出)的FWHM的視窗寬度，以指示可在其中確定事件計數最大值的視窗。圖26D繪示示例性長條圖2603，其中從SPAD(圖26A)輸出的觸發波形與所述長條圖進行卷積以確定事件計數最大值。

表面反射率S可從以下方程式開始估測：P=α＊S＊L (5)

其中P是畫素值；α是將勒克斯(lux)轉換為畫素值的系統相依常數；S是表面反射率，L是光強度。光強度L可由L _amb +L _laser 表示，其分別是抵達感測器的環境光強度和雷射強度。

因此，表面反射率S可被估測為

環境光強度L _amb 可被表達成L _amb =[(β*M/D)/N]*L _laser (7)

其中N是從光脈衝中探測到的事件的數量，M是在探測到光脈衝之前(即從環境中)探測到的事件的數量，D是所估測距離，且β是另一個可被校準的系統相依變數。

圖27繪示根據本文所揭露主題的示例性畫素的示例性長條圖2700。長條圖2700的橫坐標為相對時間(無單位)，且長條圖2700的縱坐標為光子探測事件的計數。在2701處指示在探測到光脈衝之前所探測到的事件M的數量。在2702處指示在光脈衝內探測到的事件N的數量。

發射雷射功率(由I _laser 表示)與接收雷射功率L _lesar 之間的關係可為：L _laser =γ*(1/D ² )* I _laser (8)

其中γ為系統常數。

接著，對位置(x,y)處的反射率S的估測可被表達成：S(x,y)=f(D(x,y))*P/I _laser (9)

其中f(D)為距離相依函數，即如以上所匯出的f=1/[α*(1+β*M/D*N)*γ*(1/D ²)]。 (10)

圖28繪示根據本文所揭露主題的生成場景的深度圖或範圍圖以及灰階影像的示例性方法的流程圖2800。所述方法在2801處開始。在2802處，通過例如圖1中所繪示的成像系統15對場景進行點掃描。成像系統15的畫素陣列42可包括示例性畫素43(圖5)、700(圖7)、1300(圖13)、2100(圖21)和/或2300(圖23)。點掃描可僅執行一次，但是應理解，重複進行多次點掃描可獲得更好的結果。在2803處，對畫素陣列42的畫素累加光子探測事件。在2804處，如本文所揭露，生成深度圖或範圍圖。 可由畫素處理單元46和/或處理器19來確定範圍資訊。在2805處，基於對場景的反射率的估測而生成場景的灰階影像。可由畫素處理單元46和/或處理器19來確定灰階影像。在2806處，所述方法結束。

圖29A繪示示例性場景2900。圖29B和圖29C分別繪示根據本文所揭露主題的圖29A中所繪示場景所已形成的示例性深度圖2901和示例性灰階影像2902。圖29B右側的刻度是以米為單位。

圖30繪示根據本文所揭露主題的圖1和圖2中所繪示成像系統15的總體佈局的示例性實施例。成像模組17可包括在圖2、圖5、圖7(或圖13)所示示例性實施例中示出的所期望硬體，以實現根據本揭露各發明方面的2D/3D成像和TOF測量。處理器19可被配置成與一定數量的外部裝置介接。在一個實施例中，成像模組17可充當輸入裝置，所述輸入裝置以經處理畫素輸出(例如圖12中的P1和P2值)的形式將資料登錄提供到處理器19以供進一步處理。處理器19還可從可為系統15的一部分的其他輸入裝置(未示出)接收輸入。這類輸入裝置的一些實例包括電腦鍵盤、觸控板、觸控式螢幕、操縱杆、物理“可敲擊按鈕”或虛擬“可敲擊按鈕”、和/或電腦滑鼠/指向裝置。在圖30中，處理器19被示出為耦合到系統記憶體20、週邊儲存單元275、一個或多個輸出裝置277和網路介面單元278。在圖30中，示出顯示單元作為輸出裝置277。在一些實施例中，系統15可包括所示裝置的多於一個例子。系統15的一些實例包括電腦系統(桌上型或膝上型)、平板電腦、移動裝置、手機、視頻遊戲單元或視頻遊 戲機、機器對機器(M2M)通訊單元、機器人、汽車、虛擬實境設備、無狀態瘦型用戶端系統、車輛的行車記錄儀或後視照相機系統、自主導航系統、或者任何其他類型的計算或資料處理裝置。 在各種實施例中，圖30中所示的所有組件均可容納在單個殼體內。因此，系統15可被配置成獨立式系統或任何其他適合的形狀因數。在一些實施例中，系統15可被配置成用戶端系統而非伺服器系統。

在一些實施例中，系統15可包括多於一個處理器(例如，呈分散式處理配置)。當系統15是多處理器系統時，處理器19可存在多於一個例子，或者可存在多個通過各自的介面(未示出)耦合到處理器19的處理器。處理器19可為系統晶片(SoC)，和/或可包括多於一個中央處理器(CPU)。

系統記憶體20可為任何基於半導體的儲存系統，例如(舉例來說)，DRAM、SRAM、PRAM、RRAM、CBRAM、MRAM、STT-MRAM等等。在一些實施例中，記憶體單元20可包括至少一個3DS記憶體模組與一個或多個非3DS記憶體模組的聯合。非3DS記憶體可包括雙倍資料速率同步動態隨機存取記憶體或者雙倍資料速率2同步動態隨機存取記憶體、雙倍資料速率3同步動態隨機存取記憶體或雙倍資料速率4同步動態隨機存取記憶體(Double Data Rate or Double Data Rate 2,3,or 4 Synchronous Dynamic Random Access Memory，DDR/DDR2/DDR3/DDR4 SDRAM)、或者Rambus®DRAM、快閃記憶體記憶體、各種類型的唯讀記憶體(Read Only Memory，ROM)等。此外，在一些實施例中，系統記憶體20可包括多種不同類型的半導體記憶體，而 非單一類型的記憶體。在其他實施例中，系統記憶體20可為非暫時性資料儲存媒體。

在各種實施例中，週邊儲存單元275可包括對磁性儲存媒體、光學儲存媒體、磁光儲存媒體或固態儲存媒體的支援，例如硬碟驅動器、光碟(例如壓縮磁碟(Compact Disk，CD)或數位通用盤(Digital Versatile Disk，DVD))、非易失性隨機存取記憶體(RAM)裝置等等。在一些實施例中，週邊儲存單元275可包括更複雜的儲存裝置/系統，例如盤陣列(其可呈適合的獨立盤冗餘陣列(Redundant Array of Independent Disks，RAID)配置)或儲存區域網路(Storage Area Network，SAN)，且週邊儲存單元275可通過標準週邊介面(例如小型電腦系統介面(Small Computer System Interface，SCSI)、光纖通道介面(Fibre Channel interface)、Firewire®(IEEE 1394)介面、基於週邊元件介面高速(Peripheral Component Interface Express，PCI Express^TM)標準的介面、基於通用序列匯流排(Universal Serial Bus，USB)協定的介面或另一個適合的介面)耦合到處理器19。各種這類儲存裝置可為非暫時性資料儲存媒體。

顯示單元277可為輸出裝置的實例。輸出裝置的其他實例可包括圖形裝置/顯示裝置、電腦螢幕、警報系統、電腦輔助設計/電腦輔助製造(Computer Aided Design/Computer Aided Machining，CAD/CAM)系統、視頻遊戲站、智慧手機顯示幕、汽車中安裝在儀錶盤上的顯示幕或者任何其他類型的資料輸出裝置。在一些實施例中，輸入裝置(例如成像模組17)和輸出裝置(例如顯示單元277)可通過輸入/輸出(I/O)介面或週邊介面耦 合到處理器19。

在一個實施例中，網路介面278可與處理器19進行通訊，以使系統15能夠耦合到網路(未示出)。在另一個實施例中，網路介面278可完全不存在。網路介面278可包括適用於將系統15連接到網路(不論是有線還是無線)的任何裝置、媒體和/或協定內容。在各種實施例中，網路可包括局域網(Local Area Network，LAN)、廣域網路(Wide Area Network，WAN)、有線或無線乙太網、電信網路、衛星鏈路或其他適合類型的網路。

系統15可包括板載電源單元280，以向圖30中所示各種系統元件提供電力。電源單元280可為電池或可連接到交流(AC)電源插口或基於汽車的電源插口。在一個實施例中，電源單元280可將太陽能或其他可再生能量轉換成電力。

在一個實施例中，成像模組17可集成有高速介面(例如(舉例來說)，通用序列匯流排2.0或3.0(USB 2.0或3.0)介面或更高級介面)，所述高速介面插入到任何個人電腦(Personal Computer，PC)或膝上型電腦中。非暫時性電腦可讀資料儲存媒體(例如(舉例來說)，系統記憶體20或週邊資料儲存單元(例如CD/DVD))可儲存程式碼或軟體。處理器19和/或成像模組17中的畫素處理單元46(圖2)可被配置成執行程式碼，從而使系統15可操作以執行2D成像(舉例來說，3D物體的灰階影像)、TOF與範圍測量、和使用畫素專有距離值/畫素專有範圍值來生成物體的3D影像，例如早先參照圖1到圖29所論述的操作。舉例來說，在某些實施例中，在執行程式碼時，處理器19和/或畫素處理單元46可適合地配置(或啟動)相關的電路元件(例如圖12 中的列解碼器/驅動器1203和畫素行單元1205)，以向畫素陣列42中的畫素43施加適當的輸入訊號(如光閘訊號、RST訊號、VTX訊號、SEL訊號等等)，從而使得能夠從返回雷射脈衝俘獲光且隨後處理進行TOF與範圍測量所需的畫素專有P1和P2值的畫素輸出。所述程式碼或軟體可為專屬軟體或開放源軟體，其在由適當的處理實體(例如處理器19和/或畫素處理單元46)執行時可使處理實體能夠處理各種畫素專有ADC輸出(P1和P2值)、確定範圍值、以多種格式渲染結果(舉例來說，包括根據基於TOF的範圍測量值來顯示遠距離物體的3D影像)。在某些實施例中，成像模組17中的畫素處理單元46可在畫素輸出資料被發送到處理器19以供進一步處理和顯示之前對畫素輸出執行一些處理。在其他實施例中，處理器19也可執行畫素處理單元46的功能中的一些或全部，在此種情況中，畫素處理單元46可並非是成像模組17的一部分。

如所屬領域中的技術人員將認識到，可在廣大範圍的應用中對本文所述創新概念進行修改和變化。因此，所主張主題的範圍不應僅限於以上所論述的任何具體示例性教示內容，而是由以上權利要求書來界定。

43:畫素

501:SPAD核心/SPAD核心部分

502:PPD核心/PPD核心部分

503:SPAD

504:第一控制電路

505:傳入光

506:輸出/SPAD輸出/數位SPAD輸出/SPAD專有數位輸出/訊號/輸出訊號

507:第二控制電路

508:PPD

510:畫素專有類比輸出/畫素專有輸出資料線/畫素輸出資料線/畫素專有輸出/PIXOUT訊號/PIXOUT資料線/PIXOUT線/Pixout線

Claims (20)

1. 一種影像感測器，包括：時間分辨感測器，包括至少一個畫素，所述時間分辨感測器回應於通過所述至少一個畫素探測到與朝物體投射的光脈衝對應的一個或多個光子而輸出一對的第一訊號與第二訊號，所述一個或多個光子是從所述物體反射，第一振幅對所述第一振幅和第二振幅的和的第一比率與所探測到的所述一個或多個光子的飛行時間成比例，且所述第二振幅對所述第一振幅和所述第二振幅的所述和的第二比率與所探測到的所述一個或多個光子的所述飛行時間成比例，其中所述第一振幅為所述一對中的所述第一訊號的振幅，並且所述第二振幅為所述一對中的所述第二訊號的振幅；以及處理器，基於所述一對的第一訊號與第二訊號來確定反射所述光脈衝的所述物體的表面反射率。
2. 如申請專利範圍第1項所述的影像感測器，其中所述處理器更基於所述一對的第一訊號與第二訊號來確定到所述物體的距離。
3. 如申請專利範圍第1項所述的影像感測器，其中所述時間分辨感測器回應於對於朝所述物體投射的多個光脈衝而言在所述至少一個畫素處探測到一個或多個光子而輸出多對的第一訊號與第二訊號，所述一個或多個光子是從所述物體反射，所述多對的第一訊號與第二訊號中每一對的第一訊號與第二訊號與相應光脈衝對應，且 其中所述處理器基於多對的第一訊號與第二訊號來確定反射所述多個光脈衝的所述物體的表面反射率。
4. 如申請專利範圍第3項所述的影像感測器，其中所述時間分辨感測器響應於在多個畫素中的每一個畫素處探測到與朝物體投射的相應光脈衝對應的一個或多個光子而輸出所述多對的第一訊號與第二訊號中每一對的第一訊號與第二訊號，所述一個或多個光子是從所述物體反射，且其中所述處理器更基於所述多對的第一訊號與第二訊號來生成所述物體的灰階影像。
5. 如申請專利範圍第4項所述的影像感測器，其中所述處理器生成通過所述多個畫素中的預定畫素探測到的光子的抵達時間的至少一個長條圖以生成所述灰階影像。
6. 如申請專利範圍第3項所述的影像感測器，其中所述時間分辨感測器更包括多個畫素，所述多個畫素中的至少一個畫素包括：至少一個單光子雪崩二極體，所述至少一個單光子雪崩二極體中的每一個單光子雪崩二極體響應於現用光閘訊號而基於探測到入射在所述每一個單光子雪崩二極體上且從所述物體反射的一個或多個光子來生成輸出訊號；邏輯電路，耦合到所述至少一個單光子雪崩二極體的所述輸出訊號，所述邏輯電路用於生成第一使能訊號和第二使能訊號，所述第一使能訊號回應於所述現用光閘訊號的開始而為現用且響應於所述至少一個單光子雪崩二極體的所述輸出訊號而為非現 用，且所述第二使能訊號響應於所述至少一個單光子雪崩二極體的所述輸出訊號而為在現用中且回應於所述現用光閘訊號的結束而為非現用；以及差分時間到電荷轉換器電路，耦合到所述第一使能訊號和所述第二使能訊號，所述差分時間到電荷轉換器電路包括：電容裝置，具有第一端子和第二端子，所述第二端子耦合到地電壓；第一開關裝置，具有第一端子、第二端子和第三端子，所述第一開關裝置的所述第一端子耦合到所述電容裝置的所述第一端子，所述第一開關裝置的所述第二端子耦合到第一浮動擴散節點，所述第一開關裝置的所述第三端子耦合到所述第一使能訊號，且所述第一開關裝置回應於所述第一使能訊號而將所述電容裝置上的第一電荷轉移到所述第一浮動擴散節點；第二開關裝置，具有第一端子、第二端子和第三端子，所述第二開關裝置的所述第一端子耦合到所述電容裝置的所述第一端子，所述第二開關裝置的所述第二端子耦合到第二浮動擴散節點，所述第二開關裝置的所述第三端子耦合到所述第二使能訊號，且所述第二開關裝置回應於所述第二使能訊號而將所述電容裝置上的剩餘電荷轉移到所述第二浮動擴散節點；以及輸出電路，用於輸出所述一對的第一訊號與第二訊號，所述第一訊號包括第一電壓且所述第二訊號包括第二電壓，所述第一電壓是基於所述第一浮動擴散節點上的所述第一電荷，所述第二電壓是基於所述第二浮動擴散節點上的所述剩餘電荷。
7. 如申請專利範圍第6項所述的影像感測器，更包括基於斜坡函數改變的驅動訊號，所述驅動訊號響應于從中探測到所述一個或多個光子的光脈衝的開始時間而開始改變直到所述現用光閘訊號結束，如果所述第一使能訊號為現用，則所述驅動訊號連接到所述第一開關裝置的所述第三端子，且如果所述第二使能訊號為現用，則所述驅動訊號連接到所述第二開關裝置的所述第三端子。
8. 如申請專利範圍第7項所述的影像感測器，其中所述第一電壓對所述第一電壓和所述第二電壓的和的第一比率更與所述一個或多個光子的所述飛行時間減去延遲時間成比例，且所述第二電壓對所述第一電壓和所述第二電壓的所述和的第二比率更與所述一個或多個光子的所述飛行時間減去所述延遲時間成比例，所述延遲時間包括所述光脈衝的傳輸時間的開始到所述驅動訊號開始改變的時間之間的時間。
9. 如申請專利範圍第6項所述的影像感測器，其中所述電容裝置包括電容器或釘紮二極體。
10. 一種成像單元，包括：光源，以朝物體的表面投射的一系列光脈衝照射所述物體；時間分辨感測器，包括至少一個畫素，所述時間分辨感測器與所述光源同步且響應於在所述至少一個畫素處探測到與光脈衝對應的一個或多個光子而輸出一對的第一訊號與第二訊號，所述一個或多個光子是從所述物體的所述表面反射，第一振幅對所述 第一振幅和第二振幅的和的第一比率與所探測到的所述一個或多個光子的飛行時間成比例，且所述第二振幅對所述第一振幅和所述第二振幅的所述和的第二比率與所探測到的所述一個或多個光子的所述飛行時間成比例，其中所述第一振幅為所述一對中的所述第一訊號的振幅，並且所述第二振幅為所述一對中的所述第二訊號的振幅；以及處理器，基於所述一對的第一訊號與第二訊號來確定到所述物體的距離且基於所述一對的第一訊號與第二訊號來確定反射所述光脈衝的所述物體的表面反射率。
11. 如申請專利範圍第10項所述的成像單元，其中所述時間分辨感測器回應於在所述至少一個畫素處探測到從所述物體反射的一個或多個光子而輸出多對的第一訊號與第二訊號，所述多對的第一訊號與第二訊號中的每一對的第一訊號與第二訊號與朝所述物體投射的多個光脈衝中的相應光脈衝對應，且其中所述處理器更基於對應的一對的第一訊號與第二訊號來確定所述物體的多個表面反射率。
12. 如申請專利範圍第11項所述的成像單元，其中所述處理器更基於所述多個表面反射率來生成所述物體的灰階影像。
13. 如申請專利範圍第12項所述的成像單元，其中所述處理器生成通過多個畫素中的預定畫素探測到的光子的抵達時間的至少一個長條圖以生成所述灰階影像。
14. 如申請專利範圍第11項所述的成像單元，其中所述時間分辨感測器更包括多個畫素，所述多個畫素中的至少一個畫素包括：至少一個單光子雪崩二極體，所述至少一個單光子雪崩二極體中的每一個單光子雪崩二極體響應於現用光閘訊號而基於探測到入射在所述每一個單光子雪崩二極體上且從所述物體反射的一個或多個光子來生成輸出訊號；邏輯電路，耦合到所述至少一個單光子雪崩二極體的所述輸出訊號，所述邏輯電路用於生成第一使能訊號和第二使能訊號，所述第一使能訊號回應於所述現用光閘訊號的開始而為現用且響應於所述至少一個單光子雪崩二極體的所述輸出訊號而為非現用，且所述第二使能訊號響應於所述至少一個單光子雪崩二極體的所述輸出訊號而為在現用中且回應於所述現用光閘訊號的結束而為非現用；以及差分時間到電荷轉換器電路，耦合到所述第一使能訊號和所述第二使能訊號，所述差分時間到電荷轉換器電路輸出所述第一訊號和所述第二訊號。
15. 如申請專利範圍第14項所述的成像單元，其中所述差分時間到電荷轉換器電路包括：電容裝置，具有第一端子和第二端子，所述第二端子耦合到地電壓；第一開關裝置，具有第一端子、第二端子和第三端子，所述第一開關裝置的所述第一端子耦合到所述電容裝置的所述第一端 子，所述第一開關裝置的所述第二端子耦合到第一浮動擴散節點，所述第一開關裝置的所述第三端子耦合到所述第一使能訊號，且所述第一開關裝置回應於所述第一使能訊號而將所述電容裝置上的第一電荷轉移到所述第一浮動擴散節點；以及第二開關裝置，具有第一端子、第二端子和第三端子，所述第二開關裝置的所述第一端子耦合到所述電容裝置的所述第一端子，所述第二開關裝置的所述第二端子耦合到第二浮動擴散節點，所述第二開關裝置的所述第三端子耦合到所述第二使能訊號，且所述第二開關裝置回應於所述第二使能訊號而將所述電容裝置上的剩餘電荷轉移到所述第二浮動擴散節點，其中所述第一訊號包括第一電壓且所述第二訊號包括第二電壓，所述第一電壓是基於所述第一浮動擴散節點上的所述第一電荷，所述第二電壓是基於所述第二浮動擴散節點上的所述剩餘電荷，其中根據斜坡函數改變的驅動訊號響應于從中探測到所述一個或多個光子的第一光脈衝的開始時間而開始改變直到所述現用光閘訊號結束，如果所述第一使能訊號為現用，則所述驅動訊號連接到所述第一開關裝置的所述第三端子，且如果所述第二使能訊號為現用，則所述驅動訊號連接到所述第二開關裝置的所述第三端子。
16. 如申請專利範圍第15項所述的成像單元，其中所述電容裝置包括電容器或釘紮光電二極體。
17. 一種生成物體的灰階影像的方法，其中所述方法包括： 從光源朝物體的表面投射一系列光脈衝；在畫素處探測與光脈衝對應的一個或多個光子，所述一個或多個光子是從所述物體的所述表面反射；由時間分辨感測器響應於探測到所述一個或多個光子而生成一對的第一訊號與第二訊號，所述時間分辨感測器與所述光源同步，第一振幅對所述第一振幅和第二振幅的和的第一比率與所探測到的所述一個或多個光子的飛行時間成比例，且所述第一振幅對所述第一振幅和所述第二振幅的所述和的第二比率與所探測到的所述一個或多個光子的所述飛行時間成比例，其中所述第一振幅為所述一對中的所述第一訊號的振幅，並且所述第二振幅為所述一對中的所述第二訊號的振幅；由處理器基於所述一對的第一訊號與第二訊號來確定到所述物體的距離；以及由所述處理器基於所述一對的第一訊號與第二訊號來確定所述物體的表面反射率。
18. 如申請專利範圍第17項所述的方法，更包括：對於朝所述物體投射的多個光脈衝而言在所述畫素處探測從所述物體反射的一個或多個光子，多對的第一訊號與第二訊號中每一對的第一訊號與第二訊號與所述一系列光脈衝中的相應光脈衝對應；以及由所述處理器基於所述多對的第一訊號與第二訊號中的至少一對來確定所述物體的表面反射率。
19. 如申請專利範圍第17項所述的方法，更包括：在多個畫素中的每一個畫素處探測一個或多個光子，對於從 每條掃描線的光源朝所述物體的所述表面投射的所述一系列光脈衝中的對應光脈衝而言，所探測到的所述一個或多個光子中的每一個光子是從所述物體反射；由所述時間分辨感測器響應於探測到所述一個或多個光子而為每一個畫素生成一對的第一訊號與第二訊號；以及由所述處理器基於多對的第一訊號與第二訊號來生成所述物體的灰階影像。
20. 如申請專利範圍第19項所述的方法，更包括由所述處理器生成通過所述多個畫素中的預定畫素探測到的光子的抵達時間的至少一個長條圖以生成所述灰階影像。

Images