-
Stand der Technik
-
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Die Abtastung eines Bildsensors erfolgt in der Regel mittels einer gegenüber einer resultierenden Bildrate relativ kurzen Belichtungszeit. Die Belichtungszeit wirkt hierbei als Tiefpassfilter, der idealisiert als ein Rechteck im Zeitbereich angesehen werden kann.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz eine Pixeleinheit für einen Bildsensor, ein Bildsensor, ein Verfahren zum Sensieren eines Lichtsignals, ein Verfahren zum Ansteuern einer Pixeleinheit, ein Verfahren zum Generieren eines Bildes unter Verwendung einer Pixeleinheit, weiterhin eine Vorrichtung, die zumindest eines dieser Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Es wird eine Pixeleinheit für einen Bildsensor vorgestellt, wobei die Pixeleinheit folgende Merkmale aufweist:
Eine gegebenenfalls komplexe Fotodiode zum Umwandeln eines Lichtsignals in ein Verarbeitungssignal;
eine Multiplexereinheit, die ausgebildet ist, um unter Verwendung des Verarbeitungssignals zumindest ein erstes Multiplexersignal und ein von dem ersten Multiplexersignal abweichendes zweites Multiplexersignal zu erzeugen; und
eine Speichereinrichtung mit zumindest einer ersten Speichereinheit zum Zwischenspeichern eines zeitlich begrenzten Integralwertes des ersten Multiplexersignals und einer zweiten Speichereinheit zum Zwischenspeichern eines zeitlich begrenzten Integralwertes des zweiten Multiplexersignals.
-
Dies ermöglicht zeitlich überlappende, Abtastungen des tiefpassgefilterten Multiplexereingangssignals. Aus den in den Speichereinrichtungen gespeicherten zeitlich begrenzten Integralwerten der beiden Multiplexersignale kann ein Bildsignal rekonstruiert werden, das ein von der Pixeleinheit erfasstes Bild repräsentiert.
-
Vorteilhafterweise können unter Verwendung des Verarbeitungssignals zeitgleich mehrere voneinander verschiedene Signale erzeugt werden, beispielsweise mindestens 2 oder mindestens 3, und das gemäß einer Ausführungsform für jeden kontinuierlichen Zeitpunkt, oder zumindest für viele diskrete Zeitpunkte.
-
Unter einer Pixeleinheit kann eine Einheit zum Sensieren eines Lichtsignals verstanden werden. Unter einer Fotodiode kann ein gegebenfalls komplexes lichtempfindliches Element zum Umwandeln eines Photonenstroms in einen Elektronenstrom verstanden werden. Unter einem Lichtsignal kann etwa ein zeitkontinuierliches und nicht konstantes elektromagnetisches Signal mit beliebiger (räumlicher und zeitlicher) (Modulation) Veränderungsrate verstanden werden. Unter einem Verarbeitungssignal kann ein elektrisches Ausgangssignal der Fotodiode verstanden werden. Unter einer Multiplexereinheit kann ein Signalmultiplexer verstanden werden. Beispielsweise kann die Multiplexereinheit als kontinuierlicher Teiler, als zeitdiskreter Teiler also als Zeitmultiplexer ausgebildet sein. Unter einem Multiplexersignal können die von der Multiplexereinheit durch z.B. Verstärken des Verarbeitungssignals erzeugten Signale verstanden werden. Bei der ersten und der zweiten Speichereinheit kann es sich beispielsweise je um einen Kondensator handeln. Die Abweichung zwischen den Multiplexersignalen resultiert gemäß einer Ausführungsform aus einer während der Erzeugung zumindest eines der Signale durchgeführten Signalverstärkung bzw. Dämpfung (also Multiplikation).
-
Der hier vorgestellte Ansatz beruht auf der Erkenntnis, dass durch Verwendung einer Hardwarestruktur aus einem Multiplexer in Kombination mit zumindest zwei Speichereinheiten ein Pixeldesign und eine Pixel-Auslesestruktur eines Bildsensors derart angepasst werden können, dass eine zeitlich korrekte Abtastung eines Lichtsignals mittels eines Tiefpassfilters ermöglicht wird.
-
Gemäß einer Ausführungsform kann die Multiplexereinheit ausgebildet sein, um das Verarbeitungssignal zum Erzeugen des ersten Multiplexersignals mit einem ersten Verstärkungsfaktor zu verstärken oder, zusätzlich oder alternativ, zum Erzeugen des zweiten Multiplexersignals mit einem zweiten Verstärkungsfaktor zu verstärken. Der erste Verstärkungsfaktor und der zweite Verstärkungsfaktor können voneinander abweichen. Durch diese Ausführungsform können die Speichereinheiten je nach Zeitpunkt des Erzeugens des ersten Multiplexersignals und des zweiten Multiplexersignals unterschiedlich stark aufgeladen werden.
-
Gemäß einer Ausführungsform kann die Multiplexereinheit ausgebildet sein, das erste Multiplexersignal und das zweite Multiplexersignal zeitgleich zu erzeugen. Werden weitere Multiplexersignale erzeugt, so können diese ebenfalls zeitgleich erzeugt werden. Vorteilhafterweise kann die Multiplexereinheit gemäß dieser Ausführungsform als ein kontinuierlicher Teiler ausgeführt sein.
-
Gemäß einer weiteren Ausführungsform kann die Multiplexereinheit ausgebildet sein, das erste Multiplexersignal zu einem ersten Zeitpunkt und das zweite Multiplexersignal zu einem zweiten Zeitpunkt zu erzeugen. Dies bietet sich insbesondere an, wenn es sich bei dem Verarbeitungssignal um ein zeitdiskretes Signal handelt. Dieser Ansatz kann jedoch auch bei einem zeitkontinuierlichen Verarbeitungssignal angewendet werden. Gemäß dieser Ausführungsform kann die Multiplexereinheit als ein zeitdiskreter Teiler ausgeführt sein.
-
Gemäß einer weiteren Ausführungsform können die Fotodiode, die Multiplexereinheit und die Speichereinrichtung miteinander in Reihe geschaltet sein. Hierbei können die erste Speichereinheit und die zweite Speichereinheit zueinander parallel geschaltet sein. Dadurch wird eine einfache und robuste Verschaltung innerhalb der Pixeleinheit ermöglicht.
-
Es ist ferner vorteilhaft, wenn die Pixeleinheit einen Auslesekontakt zum zeitgleichen, getrennten Auslesen der ersten Speichereinheit und der zweiten Speichereinheit aufweist. Unter einem Auslesekontakt kann ein mit der ersten Speichereinheit und der zweiten Speichereinheit elektrisch leitfähig verbundenes Kontaktelement verstanden werden. Dadurch wird eine einfache elektrische Kontaktierung der Pixeleinheit ermöglicht.
-
Die Fotodiode kann zudem ausgebildet sein, um der Multiplexereinheit einen kontinuierlichen elektrischen Strom als das Verarbeitungssignal zuzuführen. Hierbei kann die Multiplexereinheit ausgebildet sein, um unter Verwendung des Verarbeitungssignals einen ersten elektrischen Strom als das erste Multiplexersignal und einen von dem ersten elektrischen Strom abweichenden zweiten elektrischen Strom als das zweite Multiplexersignal zu erzeugen. Dadurch kann die Multiplexereinheit als kontinuierlicher Divisor Teiler realisiert werden.
-
Alternativ kann die komplexe Fotodiode ausgebildet sein, um der Multiplexereinheit ein ein Zeitschema aufweisendes zeitdiskretes Signal als das Verarbeitungssignal zuzuführen. Gemäß einer Ausführungsform ist die Multiplexereinheit ausgebildet ist, um das Zeitschema zum Erzeugen des ersten Multiplexersignals und des zweiten Multiplexersignals zu verwenden. Beispielsweise können ein erster Puls des Verarbeitungssignals der ersten Speichereinheit und ein nachfolgender zweiter Puls des Verarbeitungssignals der zweiten Speichereinheit zugeführt werden. Dabei können die Pulse durch die Multiplexereinheit jeweils noch geeignet verstärkt, beispielsweise manipuliert oder multipliziert werden.
-
Gemäß einer weiteren Ausführungsform kann die Pixeleinheit zumindest eine zwischen die Fotodiode und die Multiplexereinheit geschaltete Zusatzspeichereinheit zum Zwischenspeichern des Verarbeitungssignals aufweisen. Hierbei kann die Multiplexereinheit ausgebildet sein, um das erste Multiplexersignal oder, zusätzlich oder alternativ, das zweite Multiplexersignal unter Verwendung eines in der Zusatzspeichereinheit zwischengespeicherten Verarbeitungssignals zu erzeugen. Bei der Zusatzspeichereinheit kann es sich beispielsweise um einen Zwischenkondensator handeln. Dadurch kann eine effiziente Verarbeitung auch schwacher Lichtsignale gewährleistet werden.
-
Gemäß einer Ausführungsform wird die eine extra Kapazität darstellende Zusatzspeichereinheit direkt nach der Photodiode im „Pulsed Mode“ immer mit wenigen Elektronen geladen und dann in die einzelnen Storage Nodes, die den Zwischenspeichern zugeordnet sind, gemultiplexed. Dies ermöglicht eine kleine Kapazität für eine hohe Verstärkung.
-
Im kontinuierlichen Modus wird diese Kapazität (wenn vorhanden) durch den kontinuierlichen Betrieb des Multiplexers kontinuierlich entladen werden. Die Kapazität wirkt also gegebenenfalls auch schon als Tiefpassfilter z.B. als R-C-Glied.
-
Im kontinuierlichen Modus ohne den Kondensator arbeitet der Multiplexer gemäß einer Ausführungsform nicht mit Spannungen, sondern mit Strömen.
-
Die Pixeleinheit kann mit einem Lagenverbund aus einer ersten Halbleiterlage und einer zweiten Halbleiterlage realisiert sein. Hierbei kann die Fotodiode in der ersten Halbleiterlage angeordnet sein. Je nach Ausführungsform kann die Multiplexereinheit oder, zusätzlich oder alternativ, die Speichereinrichtung in der zweiten Halbleiterlage angeordnet sein. Bei dem Lagenverbund kann es sich beispielsweise um einen sogenannten Stacked-Die-Verbund handeln. Durch diese Ausführungsform kann die Pixeleinheit kostengünstig miniaturisiert werden.
-
Eine Halbleiterlage kann gegebenenfalls als ein Waver oder eine Silizium basierte Funktionseinheit ausgeführt sein.
-
Gemäß einer weiteren Ausführungsform kann die Multiplexereinheit ausgebildet sein, um unter Verwendung des Verarbeitungssignals zeitgleich oder zu zumindest einem weiteren Zeitpunkt zumindest ein von dem ersten Multiplexersignal oder, zusätzlich oder alternativ, dem zweiten Multiplexersignal abweichendes weiteres Multiplexersignal zu erzeugen. Entsprechend kann die Speichereinrichtung zumindest eine weitere Speichereinheit zum Zwischenspeichern eines zeitlich begrenzten Integralwertes des weiteren Multiplexersignals aufweisen. Dadurch kann die Anzahl der zwischengespeicherten Multiplexersignale erhöht werden.
-
Der hier vorgeschlagene Ansatz schafft zudem einen Bildsensor mit zumindest einer Pixeleinheit gemäß einer der vorstehenden Ausführungsformen.
-
Des Weiteren schafft der hier beschriebene Ansatz ein Verfahren zum Sensieren eines Lichtsignals, wobei das Verfahren folgende Schritte umfasst:
Umwandeln des Lichtsignals in ein Verarbeitungssignal;
Erzeugen zumindest eines ersten Multiplexersignals und eines von dem ersten Multiplexersignal abweichenden zweiten Multiplexersignals unter Verwendung des Verarbeitungssignals; und
Zwischenspeichern eines zeitlich begrenzten Integralwertes des ersten Multiplexersignals in einer ersten Speichereinheit und eines zeitlich begrenzten Integralwertes des zweiten Multiplexersignals in einer zweiten Speichereinheit..
-
Dieses Verfahren kann beispielsweise unter Verwendung einer Pixeleinheit gemäß einer der vorstehenden Ausführungsformen durchgeführt werden.
-
Ferner schafft der hier vorgestellte Ansatz ein Verfahren zum Ansteuern einer Pixeleinheit gemäß einer der vorstehenden Ausführungsformen, wobei das Verfahren folgende Schritte umfasst:
Einlesen des Verarbeitungssignals; und
Ausgeben eines Steuersignals zum Steuern der Multiplexereinheit unter Verwendung des Verarbeitungssignals.
-
Gemäß einer Ausführungsform wird der Multiplexer von einem unabhängigen „Zeitgeber“ mit seinem Steuerungssignal versorgt, also ein erstes Multiplexersignal Signal mit der beliebigen Gewichtsfunktion G1(t) und ein zweites Multiplexersignal mit der beliebigen Gewichtsfunktion G2(t). Das Erzeugen der Gewichtssignale kann global erledigt werden.
-
Der hier beschriebene Ansatz schafft zudem ein Verfahren zum Generieren eines Bildes unter Verwendung einer Pixeleinheit gemäß einer der vorstehenden Ausführungsformen, wobei das Verfahren folgende Schritte umfasst:
Einlesen des ersten Multiplexersignals und des zweiten Multiplexersignals über eine Schnittstelle zu der Speichereinrichtung; und
Rekonstruieren eines das Bild repräsentierenden Bildsignals unter Verwendung des ersten Multiplexersignals und des zweiten Multiplexersignals.
-
Diese Verfahren können beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware, beispielsweise in einem Steuergerät, implementiert sein.. Insbesondere kann eine Realisierung im Stacked Die im untereren Layer erfolgen.
-
Vorteilhafterweise kann um ohne viel Speicher im Gesamtsystem zu benötigen die Rekonstruktion im nicht-Senosr-Layer des Stacked Die durchgeführt werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 eine schematische Darstellung eines Lichtsensors eines Bildsensors gemäß einem Ausführungsbeispiel;
-
2 eine schematische Darstellung eines Bildsensors gemäß einem Ausführungsbeispiel;
-
3 eine schematische Darstellung eines Bildsensors gemäß einem Ausführungsbeispiel;
-
4 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel;
-
5 ein Diagramm zur schematischen Darstellung dreier Steuersignale zum Steuern einer Multiplexereinheit gemäß einem Ausführungsbeispiel;
-
6 ein Diagramm zur schematischen Darstellung einer Tiefpasscharakteristik;
-
7 ein Diagramm zur schematischen Darstellung eines Belichtungsschemas zum idealen zeitlichen Abtasten mit entsprechenden überlappenden Tiefpassfiltern;
-
8 ein Diagramm zur schematischen Darstellung einer typischen zeitlichen Abtastung eines Bildsensors;
-
9 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Sensieren eines Lichtsignals;
-
10 ein Ablaufdiagramm eines Verfahrens zum Ansteuern einer Pixeleinheit gemäß einem Ausführungsbeispiel; und
-
11 ein Ablaufdiagramm eines Verfahrens zum Generieren eines Bildes unter Verwendung einer Pixeleinheit gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung eines Lichtsensors eines Bildsensors 100 gemäß einem Ausführungsbeispiel. Gezeigt ist ein prinzipieller Aufbau einer Pixelstruktur zum zeitlich korrekten Abtasten des Bildsensors 100. Der Bildsensor 100 umfasst eine Pixeleinheit 102 mit einer Fotodiode 104 zum Umwandeln eines Lichtsignals 106 in ein Verarbeitungssignal 108, eine Multiplexereinheit 110 sowie eine Speichereinrichtung 112 aus einer ersten Speichereinheit 114 und einer zweiten Speichereinheit 116. Die Speichereinrichtung 112 ist an einen Multiplexerausgang der Multiplexereinheit 110 angeschlossen. Gemäß diesem Ausführungsbeispiel sind die Fotodiode 104, die Multiplexereinheit 110 und die Speichereinrichtung 112 miteinander in Reihe geschaltet. Die Multiplexereinheit 110 ist ausgebildet, um aus dem Verarbeitungssignal 108 zeitgleich oder zu unterschiedlichen Zeitpunkten ein erstes Multiplexersignal 118 und zumindest ein zweites Multiplexersignal 120 zu erzeugen. Bei einer zeitgleichen Erzeugung kann die Multiplexereinheit 110 als ein kontinuierlicher Multiplexer ausgeführt sein. Bei einer Erzeugung zu unterschiedlichen Zeitpunkten kann die Multiplexereinheit 110 als ein zeitdiskreter Multiplexer ausgeführt sein. Die Multiplexereinheit 110 ist ausgebildet, um das erste Multiplexersignal 118 über den Multiplexerausgang in die erste Speichereinheit 114 zu leiten, die ausgebildet ist, um einen zeitlich begrenzten Integralwert des ersten Multiplexersignals 118 zwischenzuspeichern. Entsprechend ist die Multiplexereinheit 110 ausgebildet, um das zweite Multiplexersignal 120 analog zum ersten Multiplexersignal 118 über den Multiplexerausgang in die zweite Speichereinheit 116 zu leiten und dort einen zeitlich begrenzten Integralwert zwischenzuspeichern.
-
Gemäß 1 umfasst die Speichereinrichtung 112 zusätzlich zu den beiden Speichereinheiten 114, 116 zumindest eine optionale weitere Speichereinheit 122 zum Zwischenspeichern zumindest eines weiteren Multiplexersignals 124, das die Multiplexereinheit 114 unter Verwendung des Verarbeitungssignals 108 erzeugt. Die zumindest drei Speichereinheiten 114, 116, 122 sind beispielsweise zueinander parallel geschaltet und je mit einem Auslesekontakt 126 zum zeitgleichen Auslesen der drei zwischengespeicherten Multiplexersignale 118, 120, 124 elektrisch schaltbar leitfähig verbunden. Gemäß dem in 1 gezeigten Ausführungsbeispiel sind die drei Speichereinheiten 114, 116, 122 als drei Kondensatoren C1, C2, C3 ausgebildet.
-
2 zeigt eine schematische Darstellung eines Bildsensors 100 gemäß einem Ausführungsbeispiel. Der in 2 gezeigte Bildsensor 100 entspricht im Wesentlichen dem vorangehend anhand von 1 beschriebenen Bildsensor, mit dem Unterschied, dass zwischen die Fotodiode 104 und die Multiplexereinheit 110 eine optionale Zusatzspeichereinheit 200 geschaltet ist, hier ein zusätzlicher Kondensator CS als Zwischenspeicher nach der Fotodiode 104. Die Zusatzspeichereinheit 200 ist ausgebildet, um das Verarbeitungssignal 108 zwischenzuspeichern, wobei die Multiplexereinheit 110 das zwischengespeicherte Verarbeitungssignal 108 von der Zusatzspeichereinheit 200 empfängt und auf eine vorangehend anhand von 1 beschriebene Weise verarbeitet.
-
3 zeigt eine schematische Darstellung eines Bildsensors 100 gemäß einem Ausführungsbeispiel, etwa eines Bildsensors, wie er vorangehend anhand von 2 beschrieben ist. Gezeigt ist eine Verteilung der Pixelstruktur in Photon-Elektron-Wandlung und Signalaufbereitung in der Stacked-Die-Technologie. Die Pixeleinheit 102 ist hierzu mit einem Lagenverbund aus einer ersten Halbleiterlage 300, auch Signalgenerierungslage genannt, und einer zweiten Halbleiterlage 302, auch Signalnachbearbeitungslage genannt, realisiert. Die erste Halbleiterlage 300 umfasst die Fotodiode 100 sowie die Zusatzspeichereinheit 200. Die zweite Halbleiterlage 302 umfasst die Multiplexereinheit 110, die Speichereinrichtung 112 sowie eine Vorrichtung 304 zum Generieren eines ein Bild repräsentierenden Bildsignals 306. Die Vorrichtung 304, die beispielsweise über den Auslesekontakt an die drei Speichereinheiten 114, 116, 122 angeschlossen ist, ist ausgebildet, um das zeitliche Bildsignal 306 unter Verwendung der drei Speicherinhalte, auch Speichersignale genannt, zu rekonstruieren.
-
Dabei gilt für alle beschriebenen Ausführungsbeispiele, dass die Mulitplexersignale 118, 120, 124 nicht tiefpassgefiltert sind. Die Tiefpassfilterung passiert erst in den hier als Kondensatoren ausgeführten Speichereinrichtungen 114, 116, 122. Aus den hier als Kondensatorsignalen bezeichneten Speichersignalen heraus wird dann rekonstruiert.
-
4 zeigt eine schematische Darstellung einer Vorrichtung 304 gemäß einem Ausführungsbeispiel, etwa einer vorangehend anhand von 3 beschriebenen Vorrichtung. Die Vorrichtung 304 umfasst eine Einleseeinheit 410 zum Einlesen der drei Multiplexersignale 118, 120, 124. Eine Rekonstruktionseinheit 420 ist ausgebildet, um unter Verwendung der drei Speichersignale aus den Speichereinrichtungen 114, 116, 122 das Bildsignal 306 zu rekonstruieren.
-
Gemäß diesem Ausführungsbeispiel ist die Einleseeinheit 410 ausgebildet, um ferner das Verarbeitungssignal 108 einzulesen und dieses an eine Ausgabeeinheit 430 weiterzuleiten. Die Ausgabeeinheit 430 ist ausgebildet, um ansprechend auf das Empfangen des Verarbeitungssignals 108 ein Steuersignal 432 zum Ansteuern der Multiplexereinheit auszugeben.
-
5 zeigt ein Diagramm zur schematischen Darstellung dreier Steuersignale 432, 500, 502 zum Steuern einer Multiplexereinheit gemäß einem Ausführungsbeispiel. Die drei Steuersignale können beispielsweise von einer vorangehend anhand der 3 und 4 beschriebenen Vorrichtung generiert sein. Zu jedem Zeitpunkt existiert ein Signalgewicht für jeden Speicherknoten C der Speichereinrichtung.
-
6 zeigt ein Diagramm zur schematischen Darstellung einer Tiefpasscharakteristik 600. Gezeigt ist die Tiefpasscharakteristik einer Soll-Abtastung mit einem im Wesentlichen dreieckförmigen Kurvenverlauf.
-
7 zeigt ein Diagramm zur schematischen Darstellung eines Belichtungsschemas zum idealen zeitlichen Abtasten mit entsprechenden überlappenden Tiefpassfiltern 700, 702, 704. 702, 704, 706
-
8 zeigt ein Diagramm zur schematischen Darstellung einer typischen zeitlichen Abtastung eines Bildsensors. Gezeigt ist ein einen Tiefpassfilter im Zeitbereich repräsentierendes Rechtecksignal 800.
-
9 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 900 zum Sensieren eines Lichtsignals. Das Verfahren 900 kann beispielsweise unter Verwendung einer vorangehend anhand der 1 bis 5 beschriebenen Pixeleinheit durchgeführt werden. Hierbei wird in einem ersten Schritt 910 das Lichtsignal in das Verarbeitungssignal umgewandelt. In einem weiteren Schritt 920 wird unter Verwendung des Verarbeitungssignals das erste Multiplexersignal und das von dem ersten Multiplexersignal abweichende zweite Multiplexersignal erzeugt. Schließlich erfolgt in einem Schritt 930 das Zwischenspeichern eines zeitlich begrenzten Integralwertes des ersten Multiplexersignals in der ersten Speichereinheit sowie eines zeitlich begrenzten Integralwertes des zweiten Multiplexersignals in der zweiten Speichereinheit.
-
10 zeigt ein Ablaufdiagramm eines Verfahrens 1000 zum Ansteuern einer Pixeleinheit gemäß einem Ausführungsbeispiel, etwa einer Pixeleinheit, wie sie vorangehend anhand der 1 bis 5 beschrieben ist. Hierbei wird in einem ersten Schritt 1010 das Verarbeitungssignal eingelesen. In einem zweiten Schritt 1020 wird unter Verwendung des Verarbeitungssignals das Steuersignal zum Steuern der Multiplexereinheit der Pixeleinheit ausgegeben.
-
11 zeigt ein Ablaufdiagramm eines Verfahrens 1100 zum Generieren eines Bildes unter Verwendung einer Pixeleinheit gemäß einem Ausführungsbeispiel, etwa einer vorangehend anhand der 1 bis 5 beschriebenen Pixeleinheit. Hierbei werden in einem ersten Schritt 1110 das erste Multiplexersignal und das zweite Multiplexersignal über eine Schnittstelle zur Speichereinrichtung, etwa über den Auslesekontakt, eingelesen. In einem zweiten Schritt 1120 wird unter Verwendung der in den Speichereinrichtungen gespeicherten zeitlich begrenzten Integralwerten der beiden Multiplexersignale das das Bild repräsentierende Bildsignal rekonstruiert.
-
Nachfolgend wird der vorgeschlagene Ansatz anhand der 1 bis 11 nochmals mit anderen Worten beschrieben.
-
Moderne Bildsensoren funktionieren üblicherweise nach folgendem Prinzip. Eine Optik erzeugt ein Lichtbild auf einem flächigen Sensor, auch Bildsensor oder Imager genannt. Der Bildsensor tastet dieses Bild räumlich und zeitlich ab. Die zeitliche Abtastung wird durch die Bildrate festgelegt, bei einigen Designs auch durch die individuelle Lichtsensor-Abtastrate.
-
Dabei erfüllen die üblichen Kamerabauteile folgende Funktionen. Die Optik wirkt als räumlicher Tiefpassfilter. Ein Lichtsensor besteht heutzutage aus ein paar Millionen einzelner Lichtsensoren, wobei jeder Lichtsensor einen räumlichen Abtastpunkt darstellt. Die Belichtungszeit wirkt als zeitlicher Tiefpassfilter.
-
Für eine Aliasing-freie Abtastung sollte der Tiefpassfilter an die Abtastfrequenz derart angepasst werden, dass die Abtastfrequenz nach dem Shannon-Nyquist-Abtast-Theorem mindestens doppelt so groß wie die Grenzfrequenz des Tiefpassfilters ist. Es gilt im Weiteren, dass das Signal immer vor dem Abtasten den Tiefpassfilter durchlaufen sollte.
-
Geschieht dies nicht, enthält das abgetastete Signal Aliasing-Artefakte. Die räumlichen Aliasing-Effekte sind üblicherweise an Kanten mit hohem Kontrast als Farbsaum, an punktartigen Objekten durch Verschwinden und Wiederauftauchen und an Objekten mit gleichmäßigem, periodischem Muster als sogenannter Moiré-Effekt erkennbar.
-
Im zeitlichen Signal zeigen sich Aliasing-Effekte durch Rolling-Shutter-Effekte, bei denen ein bewegtes, gerades Objekt gekrümmt abgebildet wird, durch Wagon-Wheel-Effekte, bei denen sich ein Rad ab einer bestimmten Geschwindigkeit rückwärts zu drehen scheint, und durch Probleme bei der Aufnahme gepulster Lichtquellen wie LED-Verkehrszeichen oder Rücklichter von Fahrzeugen. Solche Effekte treten auch beim menschlichen Sehsinn auf und zeigen, dass auch hier zeitliche Aliasing-Effekte nicht komplett verhindert werden können.
-
Für Anwendungen im Bereich des maschinellen Sehens ist der optische Fluss eine wichtige Hilfsgröße. Der optische Fluss kann durch ein zeitlich korrekt abgetastetes Signal in seiner Qualität deutlich gesteigert werden.
-
Die Funktionsweise aktueller Bildsensoren beruht auf einer relativ kurzen Belichtungszeit gegenüber der resultierenden Bildrate. Die Belichtungszeit wirkt als Tiefpassfilter, der idealisiert als ein Rechteck im Zeitbereich angesehen werden kann.
-
Im Frequenzraum stellt sich der rechteckige Tiefpassfilter mit der Breite t
exp als si-Funktion dar:
-
Der erste Nulldurchgang der si-Kurve liegt bei:
πftexp. = π und stellt gleichzeitig eine übliche Approximation für die Grenzfrequenz des Tiefpassfilters dar.
-
Werden übliche Belichtungszeiten von t
exp ≈ 500 µs mit üblichen Bildwiederholraten oder Abtastfrequenzen von t
frame ≈ 1/30 ≈ 33 ms verglichen, dann ergeben sich die Abtastfrequenz f
sample und die Grenzfrequenz des Tiefpassfilters f
Nyq. zu:
fsample = 30 -
Nach dem Abtasttheorem sollte jedoch gelten, dass:
fGrenz ≈ fNyq. fNyq. ≤ 1 / 2fsample -
8 zeigt das aktuell übliche Abtastschema. Damit wird das Nyquist-Theorem deutlich verletzt. Dies ist so lange kein Problem, wie in der Welt auch keine hohen Frequenzen auftreten, wie etwa im Fall langsam ziehender Wolken oder einer Fotografie.
-
Im Bereich der videobasierten Fahrerassistenz sind schnelle Veränderungen in der Szene insbesondere in den Standard-Anwendungsfällen besonders wichtig, so zum Beispiel bei der Berechnung des optischen Flusses auf Fußgängerextremitäten oder bei der Detektion von LED-Lichtern wie Bremslichtern oder Verkehrszeichen. Deswegen sollte das Lichtsignal auch zeitlich korrekt abgetastet werden.
-
Für eine zeitlich korrekte Abtastung sollte
erfüllt sein.
-
Daraus ergibt sich allerdings auch, dass:
-
Dies bedeutet, dass die Belichtungszeit für eine korrekte Abtastung doppelt so lange dauern sollte wie ein üblicher Frame. Zusätzlich ist für ein besseres Tiefpassfilter noch eine zeitlich angepasste Signalmodellierung erforderlich. Die 6 und 7 zeigen das Nyquist-konforme Abtastschema.
-
Die tatsächliche Framerate richtet sich im Nyquist-konformen Fall nun nach der Breite des Tiefpassfilters. Bei üblichen Bildsensoren ist eine längere Integrationszeit als 1 ms tagsüber aufgrund der Randbedingungen wie SNR oder eine nachttaugliche Auslegung nur schwer möglich. Dadurch erhöht sich bei einer zeitlich korrekten Abtastung auch die Framerate. Diese kann jedoch durch eine nachgeschaltete Bildverarbeitung wieder auf eine kleinere Framerate reduziert werden, um die Datenrate zu erhalten. Da das Ausgangssignal keine Aliasing-Effekte beinhaltet, wird das finale Signal mit reduzierter Framerate bei korrektem Downsampling auch kein Aliasing enthalten.
-
Je nach Tiefpassdesign sollten die einzelnen Frames also gewichtet und überlappend belichtet werden. Dieses Problem ist bei Bildsensoren in der räumlichen Abtastung schon unter dem Begriff Standardabtastung bekannt. Während räumlich die Unschärfe der Optik sicherstellt, dass das Signal über die Pixeldimension hinaus tiefpassgefiltert wird, fehlt jedoch bislang ein entsprechendes Gegenstück für die zeitliche Dimension.
-
Demgegenüber schafft der hier beschriebene Ansatz eine Pixeldesign-Möglichkeit zur Realisierung eines zeitlichen Tiefpassfilters für eine zeitlich korrekte Abtastung.
-
Im Bereich des Pixeldesigns sollte sichergestellt werden, dass das Signal, bevor es zeitlich quantisiert wird, einer analogen Tiefpassfilterung unterzogen wird. Hierbei dient die Fotodiode 104 als Photon-zu-Elektron-Wandler. Das Ausgangssignal der Fotodiode, auch Verarbeitungssignal 108 genannt, sollte nun durch einen elektrisch-zeitlichen Tiefpassfilter geleitet werden. Nachfolgend werden entsprechende Realisierungsmöglichkeiten beschrieben.
-
Durch die Überlappung der zeitlichen Abtastung sind für jede Fotodiodeneinheit 104 zwei oder mehr Speichereinheiten erforderlich. Die Speichereinheiten sind etwa als Kondensatoren realisiert. Während die Integration im ersten Frame noch nicht abgeschlossen ist, beginnt schon die Integration des zweiten Frames. Wenn der erste Frame abgeschlossen ist, beginnt die Integration des dritten Frame. Da auch der erste Frame eine endliche Auslesezeit erfordert, sind beispielsweise mindestens drei Speichereinheiten an die Multiplexereinheit 110 angeschlossen. Im Allgemeinen gilt: Sollte der Tiefpassfilter breiter als die Bildrate sein, werden entsprechend den Überlappungen mehr Speichereinheiten gebraucht.
-
Bei hinreichend aufwendig ausgelegter Nachverarbeitung kann nun aus den Signalen der drei Speichereinheiten 114, 116, 122 das Lichtsignal 306 zu einem gewünschten Zeitpunkt korrekt rekonstruiert und nach weiterer Tiefpassfilterung auch mit der Ziel-Framerate ausgegeben werden.
-
Des Weiteren besteht hier die Möglichkeit, die durchschnittliche Veränderung des Signals zwischen zwei Zeitpunkten zu berechnen und auszugeben, auch als Zeit-Gradientenbild bezeichnet.
-
Aus den Einzelbelichtungen der Bilder kann auch berechnet werden, wie groß die zeitliche Varianz des Signals ist, auch Feature-Maske genannt. Hierbei wird etwa eine Markierung der rekonstruierten Bildpunkte über eine Schwellwertfunktion vorgenommen. Variiert beispielsweise das Signal eines Sensorelements in einer Abtastperiode um mehr als den Schwellwert, beispielsweise um mehr als 25 Prozent, so wird der betroffene Bildbereich mit einem Marker-Bit als fluktuierend markiert. Dies kann für die Detektion künstlicher Lichtquellen hilfreich sein. Der Schwellwert kann adaptierbar sein.
-
Die Pixeleinheit 102 weist einen prinzipiellen Aufbau mit folgender Reihenfolge auf: Fotodiode 104, optionale Zusatzspeichereinheit 200, Multiplexereinheit 110 und Speicherkapazitäten 114, 116, 122. Funktional stellt die Multiplexereinheit 110 das zeitliche Tiefpassverhalten sicher. 5 veranschaulicht mögliche Steuersignale, mit denen die Multiplexereinheit 110 beaufschlagt wird, um diese Aufgabe zu erfüllen. Die Multiplexereinheit 110 stellt für jeden Zeitpunkt ein Signalgewicht, das der Tiefpasscharakteristik entspricht.
-
Dieses Gewicht wird nun auf das Fotodiodensignal 108 oder das Signal der Zusatzspeichereinheit 200 angewendet.
-
Technisch wird die Multiplexereinheit 110 beispielsweise als kontinuierlicher Divisor realisiert. Hierzu wird das Verarbeitungssignal 108 als Strom realisiert und der Multiplexereinheit 110 kontinuierlich zugeführt. Diese generiert nun je nach Zeitpunkt unterschiedlich starke Ströme für die einzelnen Speichereinheiten. Die Multiplexereinheit 110 ist also eine komplexe Schaltung, die zeitlich individuelle Verstärkungsfaktoren auf den Fotostrom appliziert und damit die Speichereinheiten gemäß den aktuellen Zeitpunkten unterschiedlich stark auflädt. Die Speichereinheiten enthalten so am Ende ein zeitlich tiefpassgefiltertes Signal in Bezug auf ihren Abtastzeitpunkt. Dies ist wichtig für die Gesamtfunktinosweise
-
Der beschriebene kontinuierliche Prozess kann auch als zeitlich diskreter Prozess realisiert werden. Dazu wird die Fotodiode 104 wiederholt während der Tiefpasszeitspanne ausgelesen, beispielsweise mehrere Hundert Mal. Das Ergebnissignal in Form des zwischengespeicherten Verarbeitungssignals 108 liegt nun als eine akkumulierte Zahl von Elektronen vor, entweder in der Sperrschichtkapazität oder in der Zusatzspeichereinheit 200. Diese Elektronen werden nun in der Multiplexereinheit 110 entsprechend dem aktuellen Gewicht den Speichereinheiten zugeführt.
-
Der eben beschriebene Signaldivisor kann auch in die zeitliche Domäne transformiert werden. Dazu wird die Fotodiode 104 wieder mehrere Hundert Mal in der Tiefpasszeitspanne ausgelesen. Allerdings wird jetzt die Dauer eines einzelnen Auslesepulses entsprechend dem aktuellen Gewicht der Tiefpassfilter angepasst. Die Multiplexereinheit 110 führt das generierte Signal pro Puls also nur einem der drei Speicherknoten 114, 116, 122 zu. Dies ist sinnvoll, wenn bei bestimmten Beleuchtungssituationen nur wenige Elektronen eingesammelt werden können.
-
In den klassischen Halbleiterprozessen werden Schaltungen in einem planaren 2D-Aufbau nebeneinander realisiert. Moderne Halbleiterprozesse sind jedoch in der Lage, mehrere Schaltungen in 3D-Anordnung übereinanderzulegen und zu verbinden. Dies wird auch als Stacked-Die-Technologie bezeichnet.
-
Für den Fall des zeitlich korrekten Samplings sind wie oben erwähnt komplexe Hardwarestrukturen erforderlich. Diese sind typischerweise nicht kosteneffizient in einem 2D-Aufbau realisierbar. Mit Stacked-Die-Prozessen kann dieses Hindernis jedoch überwunden werden.
-
Hierzu werden die Einheiten für die Photon-zu-Elektron-Wandlung in einer oberen Lage 300 belassen, während die Multiplexereinheit 110 und Einheiten zur Durchführung weiterer Nachbearbeitungsschritte wie etwa zur Gradientenbildung oder zur Signalrekonstruktion zum Framezeitpunkt in eine tiefere Lage 302 verlagert werden. Je nach Ausführungsbeispiel kann die zweite Lage 302 auch in einer anderen Fertigungstechnologie als die erste Lage 300 hergestellt werden, etwa in 14 nm oder 7 nm, wodurch deutlich komplexere Standard-Signalaufbereitungsschritte ermöglicht werden. 3 zeigt eine schematische Darstellung eines derartigen Aufbaus der Pixeleinheit 102.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.