Nothing Special   »   [go: up one dir, main page]

DE102017129641A1 - 3D sensor system with a free-form optics - Google Patents

3D sensor system with a free-form optics Download PDF

Info

Publication number
DE102017129641A1
DE102017129641A1 DE102017129641.7A DE102017129641A DE102017129641A1 DE 102017129641 A1 DE102017129641 A1 DE 102017129641A1 DE 102017129641 A DE102017129641 A DE 102017129641A DE 102017129641 A1 DE102017129641 A1 DE 102017129641A1
Authority
DE
Germany
Prior art keywords
light
illumination
scene
sensor system
illumination light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102017129641.7A
Other languages
German (de)
Inventor
Urs Hunziker
Johannes Eckstein
Beat Wyss
Christian Seiler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bircher Reglomat AG
Original Assignee
Bircher Reglomat AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bircher Reglomat AG filed Critical Bircher Reglomat AG
Priority to DE102017129641.7A priority Critical patent/DE102017129641A1/en
Priority to PCT/EP2018/084421 priority patent/WO2019115558A1/en
Priority to EP18826219.0A priority patent/EP3724674A1/en
Publication of DE102017129641A1 publication Critical patent/DE102017129641A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4918Controlling received signal intensity, gain or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Beschrieben ist ein Sensorsystem (100) sowie ein Verfahren zum dreidimensionalen Erfassen einer Szene (190). Das Sensorsystem weist auf (a) eine Beleuchtungseinrichtung (130) zum Beleuchten der Szene mit einem Beleuchtungslicht (131) entlang eines Beleuchtungsstrahlengangs; (b) eine Messeinrichtung (115) zum Empfangen von Messlicht (196) entlang eines Messlichtstrahlengangs, wobei das Messlicht zumindest teilweise von zumindest einem Objekt (195) zurückgestreutes Beleuchtungslicht ist und zum Messen von Distanzen zwischen dem Sensorsystem und dem Objekt basierend auf einer Lichtlaufzeit des Beleuchtungslichts und des Messlichts; (c) eine der Messeinrichtung nachgeschaltete Datenverarbeitungseinrichtung (150) zum Ermitteln der dreidimensionalen Charakteristik der Szene basierend auf den gemessenen Distanzen; und (d) eine Freiformoptik (140, 142), welche in dem Beleuchtungsstrahlengang und/oder in dem Messlichtstrahlengang angeordnet ist, wobei die Freiformoptik derart konfiguriert ist, dass (i) bei einer Anordnung in dem Beleuchtungsstrahlengang eine Beleuchtungslichtintensität des Beleuchtungslichts von dem Raumwinkel des Beleuchtungsstrahlengangs abhängt und (ii) bei einer Anordnung in dem Messlichtstrahlengang eine Messlichtintensität des Messlichts von dem Raumwinkel des Messlichtstrahlengangs abhängt, so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts und des Messlichts zumindest teilweise kompensiert wird. Ferner sind Verwendungen des Sensorsystems beschrieben.Described is a sensor system (100) and a method for three-dimensional capture of a scene (190). The sensor system comprises (a) illumination means (130) for illuminating the scene with an illumination light (131) along an illumination beam path; (b) a measuring device (115) for receiving measuring light (196) along a measuring light beam path, wherein the measuring light is at least partially backscattered by at least one object (195) illumination light and for measuring distances between the sensor system and the object based on a light transit time of Illumination light and the measuring light; (c) a data processing device (150) connected downstream of the measuring device for determining the three-dimensional characteristic of the scene based on the measured distances; and (d) a free-form optical system (140, 142) arranged in the illumination beam path and / or in the measurement light beam path, wherein the free-form optical system is configured such that (i) when placed in the illumination beam path, an illumination light intensity of the illumination light from the solid angle of the illumination light (Ii) in an arrangement in the measurement light beam path, a measurement light intensity of the measurement light depends on the solid angle of the measurement light beam path, so that a distance-based intensity loss of the illumination light and the measurement light is at least partially compensated. Furthermore, uses of the sensor system are described.

Description

Technisches GebietTechnical area

Die vorliegende Erfindung betrifft ein Sensorsystem sowie ein Verfahren zum dreidimensionalen Erfassen einer Szene basierend auf Laufzeitmessungen. Ferner betrifft die vorliegende Erfindung mehrere Verwendungen eines solchen Sensorsystems.The present invention relates to a sensor system and a method for three-dimensional acquisition of a scene based on transit time measurements. Furthermore, the present invention relates to several uses of such a sensor system.

Hintergrund der ErfindungBackground of the invention

Zum Öffnen und/oder Verschließen von Öffnungen werden häufig mittels Aktuatoren betriebene Verschließkörper verwendet, welche für Bedienpersonen die Handhabung des betreffenden Verschließkörpers erleichtern oder ohne jede Bedienaktion automatisch betrieben werden, wenn beispielsweise ein die Öffnung zu passierendes Objekt in den Bereich der Öffnung gelangt. Eine solche Öffnung kann beispielsweise ein Durchgang in einem Gebäude sein. Ein Verschließkörper kann beispielsweise eine Tür oder ein Tor sein.For opening and / or closing of openings frequently operated by actuators closing body are used, which facilitate the handling of the respective closure body for operators or automatically operated without any action, for example, when an object to be passed the opening passes into the region of the opening. Such an opening may, for example, be a passageway in a building. A closure body may be, for example, a door or a gate.

Um eine hohe Betriebssicherheit von automatisch zu öffnenden und zu schließenden Verschließkörpern zu erreichen, ist es bekannt, den Bereich vor oder innerhalb einer mit einem Verschließkörper bedeckbaren Öffnung mittels eines optischen Sensorsystems zu erfassen. Damit kann zum einen sichergestellt werden, dass beim Verschießen der Öffnung nicht versehentlich ein Objekt, beispielsweise eine Person, von dem Verschließkörper eingeklemmt wird. In order to achieve a high level of operational reliability of automatically closing and closing closing bodies, it is known to detect the area in front of or within an opening which can be covered by a closing body by means of an optical sensor system. This can on the one hand be ensured that when shooting the opening accidentally an object, such as a person, is clamped by the closing body.

Außerdem kann bei manchen Applikationen ein solches Sensorsystem ein automatisches Öffnen des Verschließkörpers bzw. der Öffnung veranlassen. In diesem Zusammenhang ist es auch bekannt, dass ein solches Sensorsystem bzw. eine einem solchen Sensorsystem nachgeschaltete Datenverarbeitungseinrichtung mittels bekannter Methoden der Bildverarbeitung eine Objekterkennung durchführt und die Öffnung nur dann freigibt, wenn sich ein zum Passieren der Öffnungen befugtes Objekt dem Bereich der (noch verschlossenen Öffnung) nähert. Eine solche Objekterkennung kann beispielsweise eine Gesichtserkennung sein.In addition, in some applications such a sensor system may cause automatic opening of the closure body or opening. In this context, it is also known that such a sensor system or a data processing device connected downstream of such a sensor system performs object recognition by means of known methods of image processing and only releases the opening when an object authorized to pass through the openings is in the area of the (still closed Opening). Such an object recognition can be for example a face recognition.

Aus EP 2 453 252 B1 ist für den Anwendungsbereich der Überwachung von automatisch zu öffnenden Türen und/oder Toren ein 3D-Sensorsystem bekannt, welches auf dem Prinzip der Laufzeitmessung von Lichtstrahlen beruht, die von Beleuchtungsquellen ausgesandt und nach einer zumindest teilweisen Reflexion bzw. 180° Rückstreuung von einem Lichtempfänger detektiert werden. Solche Sensorsysteme werden allgemein als „Time-of-Flight“ (TOF) Sensorsysteme bezeichnet. TOF Sensorsysteme haben jedoch den Nachteil, dass mit zunehmendem Abstand d des zu erfassenden Objekts die Intensität des von einem Lichtempfänger des TOF Sensors zu erfassenden (zurückgestreuten) Messlichts in zweifacher Hinsicht geschwächt ist. Im Falle einer punktförmigen Beleuchtungslichtquelle ohne eine spezielle Fokussierung skaliert diese Schwächung des von den Beleuchtungsquellen ausgesandten Beleuchtungslichts mit 1/d^2, wobei d der Abstand zu der Beleuchtungslichtquelle ist. Gleiches gilt für das Messlicht, wenn man eine Stelle des Objekts, an welcher das Beleuchtungslicht isotrop gestreut wird, als Punktlichtquelle auffasst. Im Ergebnis führt dies zu einer 1/d^4 Skalierung der Intensität des empfangenen Messlichts. Bei einer auf irgendeine Art und Weise realisierten Strahlformung, beispielsweise einer Fokussierung, des Beleuchtungslichts, des Messlichts und/oder bei einer nicht isotropen Streuung des Beleuchtungslichts mit einer bevorzugten Aussendung des Messlichts in Richtung des Lichtempfängers, ist die Intensitätsschwächung entsprechend geringer, trägt jedoch trotzdem zu einem signifikanten Verlust an Lichtleistung bei. Dies wiederum führt zu einer entsprechend schlechten Energieeffizienz eines TOF Sensorsystems.Out EP 2 453 252 B1 is known for the application of the monitoring of automatically opening doors and / or gates a 3D sensor system, which is based on the principle of transit time measurement of light rays emitted by illumination sources and detected after at least partial reflection or 180 ° backscatter from a light receiver become. Such sensor systems are commonly referred to as "time-of-flight" (TOF) sensor systems. However, TOF sensor systems have the disadvantage that with increasing distance d of the object to be detected, the intensity of the (backscattered) measuring light to be detected by a light receiver of the TOF sensor is weakened in two respects. In the case of a punctiform illumination light source without a special focus, this attenuation of the illumination light emitted by the illumination sources scales with 1 / d ^ 2, where d is the distance to the illumination light source. The same applies to the measuring light when a point of the object at which the illumination light is scattered isotropically, as a point light source. As a result, this leads to a 1 / d ^ 4 scaling of the intensity of the received measurement light. In the case of beamforming realized in any manner, for example focusing, of the illumination light, of the measuring light and / or in the case of non-isotropic scattering of the illumination light with a preferred emission of the measuring light in the direction of the light receiver, the intensity attenuation is correspondingly lower, but nevertheless contributes a significant loss of light output. This in turn leads to a correspondingly poor energy efficiency of a TOF sensor system.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde eine aus energetischer Sicht effiziente und trotzdem zuverlässige dreidimensionale Erfassung einer Szene, welche auch relativ weit entfernte Objekte umfasst, zu ermöglichen.It is an object of the present invention to provide an energetically efficient and nevertheless reliable three-dimensional detection of a scene which also includes relatively distant objects.

Zusammenfassung der ErfindungSummary of the invention

Diese Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen der vorliegenden Erfindung sind in den abhängigen Ansprüchen beschrieben.This object is solved by the subject matters of the independent claims. Advantageous embodiments of the present invention are described in the dependent claims.

Gemäß einem ersten Aspekt der Erfindung wird ein Sensorsystem zum dreidimensionalen Erfassen einer Szene beschrieben. Das beschriebene Sensorsystem weist auf (a) eine Beleuchtungseinrichtung zum Beleuchten der Szene mit einem Beleuchtungslicht entlang eines Beleuchtungsstrahlengangs; (b) eine Messeinrichtung (b1) zum Empfangen von Messlicht entlang eines Messlichtstrahlengangs, wobei das Messlicht zumindest teilweise von zumindest einem Objekt in der Szene zurückgestreutes Beleuchtungslicht ist und (b2) zum Messen von Distanzen zwischen dem Sensorsystem und dem zumindest einen Objekt basierend auf einer Lichtlaufzeit des Beleuchtungslichts und des Messlichts; (c) eine der Messeinrichtung nachgeschaltete Datenverarbeitungseinrichtung zum Ermitteln der dreidimensionalen Charakteristik der Szene basierend auf den gemessenen Distanzen; und (d) eine Freiformoptik, welche in dem Beleuchtungsstrahlengang und/oder in dem Messlichtstrahlengang angeordnet ist. Die Freiformoptik ist derart konfiguriert, dass (dl) bei einer Anordnung in dem Beleuchtungsstrahlengang eine Beleuchtungslichtintensität des Beleuchtungslichts von dem Raumwinkel des Beleuchtungsstrahlengangs abhängt und (d2) bei einer Anordnung in dem Messlichtstrahlengang eine Messlichtintensität des Messlichts von dem Raumwinkel des Messlichtstrahlengangs abhängt, so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts und des Messlichts zumindest teilweise kompensiert ist.According to a first aspect of the invention, a sensor system for three-dimensional acquisition of a scene is described. The described sensor system comprises (a) a lighting device for illuminating the scene with an illumination light along an illumination beam path; (b) a measuring device (b1) for receiving measuring light along a measuring light beam path, wherein the measuring light is at least partially backscattered by at least one object in the scene illumination light and (b2) for measuring distances between the sensor system and the at least one object based on a Light transit time of the illumination light and the measuring light; (C) a data processing device connected downstream of the measuring device for determining the three-dimensional characteristic of the scene based on the measured distances; and (d) a free-form optical system which is arranged in the illumination beam path and / or in the measurement light beam path. The freeform optic is configured such that (dl) when placed in the Irradiation beam path an illumination light intensity of the illumination light depends on the solid angle of the illumination beam path and (d2) in an arrangement in the measurement light beam path, a measurement light intensity of the measurement light depends on the solid angle of the measurement light beam path, so that a distance-based intensity loss of the illumination light and the measurement light is at least partially compensated.

Dem beschriebenen Sensorsystem, welches ein sog. Time Of Flight (TOF) Sensorsystem ist, liegt die Erkenntnis zugrunde, dass durch eine geeignet ausgebildete Freiformoptik von der Szenengeometrie und von dem Raumwinkel abhängige Einflüsse auf die Intensitätsverteilung des empfangenen Messlichts zumindest teilweise kompensiert werden können. Anschaulich ausgedrückt sorgt die Freiformoptik dafür, dass es in einem durch das empfangene Messlicht erzeugten Bildes der Szene weder zu (übermäßig) unterbelichteten noch zu (übermäßig) überbelichteten Teilbereichen kommt. Wenn sich die Freiformoptik in dem Strahlengang des Beleuchtungslichts befindet, dann wird bereits durch eine geeignete raumwinkelabhängige Intensitätsverteilung des Beleuchtungslichts dafür gesorgt, dass das Messlicht von jedem Teilbereich der Szene mit einer möglichst homogenen Intensitätsverteilung auf einen Lichtempfänger der Messeinrichtung trifft. Alternativ oder in Kombination, wenn sich die Freiformoptik in dem Strahlengang des Messlichts befindet, dann wird durch eine geeignete Einsammlung von Messlichtstrahlen dafür gesorgt oder dazu beigetragen, dass das Messlicht mit einer möglichst homogenen Intensitätsverteilung auf den Lichtempfänger trifft.The described sensor system, which is a so-called Time Of Flight (TOF) sensor system, is based on the knowledge that at least partially compensated by a suitably designed freeform optics of the scene geometry and the spatial angle dependent influences on the intensity distribution of the received measurement light. Illustratively, the free-form optics ensure that in an image of the scene generated by the received measurement light, there are neither (excessively) underexposed nor (excessively) overexposed portions. If the free-form optical system is located in the beam path of the illumination light, then a suitable space-angle-dependent intensity distribution of the illumination light ensures that the measurement light from each subarea of the scene strikes a light receiver of the measuring device with the most homogeneous possible intensity distribution. Alternatively or in combination, when the free-form optical system is located in the beam path of the measuring light, then a suitable collection of measuring light beams ensures or contributes to the measurement light striking the light receiver with the most homogeneous possible intensity distribution.

Anders ausgedrückt sorgt die Freiformoptik in dem Beleuchtungsstrahlengang dafür, dass die Szene mit einer raumwinkelabhängigen Beleuchtungsintensität beleuchtet bzw. belichtet wird. In dem Messlichtstrahlengang sorgt die Freiformoptik dafür, dass das Messlicht raumwinkelabhängig unterschiedlich, insbesondere mit einer raumwinkelabhängigen Fokussierung eingesammelt. Beide Effekte tragen dazu bei, dass von allen Teilbereichen der Szene empfangenes Messlicht hinsichtlich seiner Intensität zumindest annähernd gleich ist. Dadurch kann vermieden werden, dass es in einem Bild der erfassten Szene von dem Messlicht unterbelichtete und/oder überbelichtete Teilbereiche gibt.In other words, the free-form optical system in the illumination beam path ensures that the scene is illuminated or exposed with a lighting angle-dependent illumination intensity. In the measuring light beam path, the free-form optics ensures that the measuring light is collected differently depending on the room angle, in particular with a focusing dependent on the angle of the room. Both effects contribute to the fact that measuring light received by all partial areas of the scene is at least approximately the same in terms of its intensity. As a result, it can be avoided that there are underexposed and / or overexposed subregions of the measurement light in an image of the detected scene.

Mit der beschriebenen Freiformoptik kann eine raumwinkelabhängige Intensitätsverteilung des Beleuchtungslichts bzw. eine räumliche Charakteristik des Beleuchtungslichts und/oder eine raumwinkelabhängige Einsammlung der Messlichtintensität bzw. räumliche Messlicht-Einsammelcharakteristik so eingestellt werden, dass die Intensität insbesondere des Beleuchtungslichts gerade so hoch ist, wie es für eine zuverlässige Erfassung des dem jeweiligen Raumwinkelbereich zugeordneten Teilbereichs der Szene erforderlich ist. Dadurch wird für die Beleuchtung lediglich so viel Energie benötigt, wie es erforderlich ist, so dass sich das beschriebene Sensorsystem im Ergebnis durch eine gute Energieeffizienz auszeichnet.With the described free-form optics, a spatial angle-dependent intensity distribution of the illumination light or a spatial characteristic of the illumination light and / or a spatial angle-dependent collection of the measurement light intensity or spatial measurement light collection characteristic can be adjusted so that the intensity of the illumination light is just as high as it is for a Reliable detection of the respective spatial angle range associated with the subarea of the scene is required. As a result, only as much energy is required for the illumination as is necessary, so that the described sensor system is characterized by a good energy efficiency as a result.

Es wird darauf hingewiesen, dass mit der beschriebenen Freiformoptik bei Bedarf auch (unerwünschte) Abbildungsfehler in dem Beleuchtungsstrahlengang und/oder dem Messlichtstrahlengang kompensiert werden können. Solche Abbildungsfehler können von anderen optischen Komponenten des Sensorsystems stammen.It should be noted that with the described free-form optics, if required, it is also possible to compensate for (undesired) aberrations in the illumination beam path and / or the measurement light beam path. Such aberrations may originate from other optical components of the sensor system.

Unter dem Begriff „Szene“ kann insbesondere derjenige räumliche Bereich verstanden werden, welcher von dem Sensorsystem optisch erfasst wird. In der Szene befindliche Objekte werden durch eine geeignete Bildauswertung erkannt. Dazu kann von der Datenverarbeitungseinrichtung auf bekannte Methoden zur Bildauswertung und/oder Bildanalyse zurückgegriffen werden. Die Datenverarbeitungseinrichtung kann demzufolge ein spezieller Bildverarbeitungsprozessor sein und einen solchen aufweisen, der konfiguriert ist, bekannte Verfahren zur Bildauswertung und/oder Bildverarbeitung anzuwenden bzw. durchzuführen.The term "scene" may in particular be understood to mean that spatial area which is optically detected by the sensor system. Objects in the scene are recognized by a suitable image analysis. For this purpose, the data processing device can make use of known methods for image evaluation and / or image analysis. The data processing device may accordingly be a special image processing processor and have one that is configured to apply known methods for image evaluation and / or image processing.

Unter dem Begriff „Objekt“ kann jede räumlich körperliche Struktur verstanden werden, welche eine Oberflächenbeschaffenheit aufweist, die zu einer zumindest teilweisen Reflexion bzw. Streuung von Beleuchtungslicht führt und damit durch das resultierende Messlicht für die Messeinrichtung sichtbar ist. Das Objekt kann ein Gegenstand wie beispielsweise ein Kraftfahrzeug oder ein Lebewesen wie beispielweise ein Mensch sein. Das Objekt kann ein in Bezug auf das Sensorsystem statisches oder ruhendes Objekt sein. Ferner kann das Objekt sich auch innerhalb der Szene bewegen, diese verlassen oder in diese eintreten. Durch eine wiederholte Szenenerfassung kann dann (durch einen Vergleich der mit verschiedenen Szenenerfassungen ermittelten verschiedenen Ortspositionen) die Bewegung des Objekts (nach der Formel Geschwindigkeit = Weg / Zeit) bestimmt werden. Hierbei können je nach Anwendungsfall der Absolutwert der Geschwindigkeit und/oder der Bewegungsvektor, d.h. zusätzlich die Bewegungsrichtung, ermittelt werden.The term "object" can be understood as meaning any spatially physical structure which has a surface texture which leads to an at least partial reflection or scattering of illumination light and is therefore visible to the measuring device by the resulting measurement light. The object may be an object such as a motor vehicle or a living being such as a human. The object may be a static or static object with respect to the sensor system. Furthermore, the object may also move within, leave or enter the scene. Through a repeated scene capture, the movement of the object can be determined (by comparing the different location positions determined with different scene acquisitions) (according to the formula speed = distance / time). Here, depending on the application, the absolute value of the speed and / or the motion vector, i. additionally the direction of movement, be determined.

Unter dem Begriff „Beleuchtungslicht“ sind in diesem Dokument diejenigen elektromagnetischen Wellen zu verstehen, welche von einer Lichtquelle bzw. einer Beleuchtungseinheit der Beleuchtungseinrichtung ausgesandt werden und auf das betreffende Objekt der Szene treffen. Das „Messlicht“ sind die von bzw. an dem Objekt (zurück)gestreuten elektromagnetischen Wellen, welche von der Messeinrichtung bzw. einem Lichtempfänger der Messeinrichtung empfangen und für die dreidimensionale Auswertung der Szene, zusammen mit den entsprechenden TOF Distanzinformationen, verwendet werden.The term "illumination light" in this document means those electromagnetic waves which are emitted by a light source or a lighting unit of the illumination device and strike the relevant object of the scene. The "measuring light" are the electromagnetic waves scattered by or on the object (back), which are received by the measuring device or a light receiver of the measuring device and for the three-dimensional Evaluation of the scene, together with the corresponding TOF distance information, can be used.

Unter dem Begriff „Charakteristik einer Szene“ kann die Gesamtheit aller räumlichen Strukturen und insbesondere alle Objekte verstanden werden, welche von dem Sensorsystem erfasst werden. Die Charakteristik der Szene ändert sich, wenn (i) neue Objekte in die Szene eintreten, wenn (ii) bereits in der Szene befindliche Objekte ihre Position und/oder ihr optisches Erscheinungsbild, insbesondere ihr optisches Streuverhalten, ändern und/oder wenn (iii) Objekt die Szene verlassen. Dabei können von der Datenverarbeitungseinrichtung mittels einer Bildverarbeitung und/oder Bilderkennung manche Strukturen als relevant und andere Strukturen als weniger oder sogar irrelevant erkannt werden.The term "characteristic of a scene" can be understood as the entirety of all spatial structures and in particular all objects which are detected by the sensor system. The characteristic of the scene changes when (i) new objects enter the scene when (ii) objects already in the scene change their position and / or their visual appearance, in particular their optical scattering behavior, and / or if (iii) Object left the scene. In this case, some structures can be recognized as being relevant and other structures as being less or even irrelevant by the data processing device by means of image processing and / or image recognition.

Unter dem Begriff „Freiformoptik“ kann in diesem Dokument jede den Strahlengang von Lichtstrahlen modifizierende optische Struktur verstanden werden, welche für eine raumwinkelabhängige Modifikation der Intensität des Beleuchtungslichts und/oder für eine raumwinkelabhängige Einsammlung (der Intensität des Messlichts) sorgt. Die Freiformoptik kann eine statische Optik sein. Dies bedeutet, dass die Szene unabhängig von ihrer aktuellen Charakteristik bei verschiedenen Szenenerfassungen (und Szenenermittlungen bzw. Szenenauswertungen durch die Datenverarbeitungseinrichtung) immer mit der gleichen raumwinkelabhängigen Modifikation des Beleuchtungslichts beleuchtet und/oder mit der gleichen raumwinkelabhängigen Modifikation des Messlichts erfasst wird. Bei anderen Ausführungsformen kann der Betriebszustand beispielsweise durch eine Veränderung der Geometrie und/oder der inneren Struktur der Freiformoptik modifiziert werden.In this document, the term "free-form optics" can be understood as any optical structure that modifies the beam path of light beams, which provides for a spatial angle-dependent modification of the intensity of the illumination light and / or for a space angle-dependent collection (the intensity of the measurement light). The freeform optics can be a static optic. This means that regardless of its current characteristic in different scene captures (and scene determinations or scene evaluations by the data processing device), the scene is always illuminated with the same spatial angle-dependent modification of the illumination light and / or detected with the same spatial angle-dependent modification of the measurement light. In other embodiments, the operating state may be modified, for example, by a change in the geometry and / or the internal structure of the freeform optics.

Eine Freiformoptik kann aus einem optischen Element bestehen. Alternativ kann eine Freiformoptik auch aus mehreren hintereinander geschalteten optischen Elementen bestehen und beispielsweise mittels eines Linsensystems realisiert sein.A free-form optics can consist of an optical element. Alternatively, a freeform optics can also consist of a plurality of optical elements connected in series and realized, for example, by means of a lens system.

Unter dem Ausdruck „distanzbasierter Intensitätsverlust“ kann diejenige Reduzierung der Intensität von Beleuchtungslicht und/oder Messlicht verstanden werden, welche durch eine Aufweitung des Querschnitts der Beleuchtungslichtstrahlen bzw. der Messlichtstrahlen (nach einer Streuung bzw. Reflexion an einem Objekt) verursacht ist. Im Falle einer Punktlichtquelle ohne eine spezielle Fokussierung skaliert dieser Verlust des Beleuchtungslichts mit 1/d^2, wobei d der Abstand zu der Punktlichtquelle ist. Gleiches gilt für das Messlicht, wenn man eine Stelle des Objekts, an welcher das Beleuchtungslicht isotrop gestreut wird, als Punktlichtquelle auffasst. Im Ergebnis führt dies zu einer 1/d^4 Skalierung des resultierenden Messsignals, welches durch die Intensität des empfangenen Messlichts gegeben ist. Bei einer auf irgendeine Art und Weise realisierten Strahlformung, beispielsweise einer Fokussierung, des Beleuchtungslichts, des Messlichts und/oder bei einer nicht isotropen Streuung des Beleuchtungslichts mit einer bevorzugten Aussendung des Messlichts in Richtung der Messeinrichtung, ist der „distanzbasierte Intensitätsverlust“ entsprechend geringer, stellt in der Praxis jedoch trotzdem einen signifikanten Verlust dar, welcher die Energieeffizienz eines TOF Sensors reduziert. Erfindungsgemäß werden diese Verluste durch die Freiformoptik zumindest teilweise reduziert bzw. kompensiert.The term "distance-based loss of intensity" can be understood as the reduction of the intensity of illumination light and / or measurement light which is caused by a widening of the cross section of the illumination light beams or of the measurement light beams (after a scattering or reflection on an object). In the case of a point light source without a special focus, this loss of illumination light scales with 1 / d ^ 2, where d is the distance to the point light source. The same applies to the measuring light when a point of the object at which the illumination light is scattered isotropically, as a point light source. As a result, this leads to a 1 / d ^ 4 scaling of the resulting measurement signal, which is given by the intensity of the received measurement light. In the case of beamforming realized in some manner, for example focusing, the illumination light, the measuring light and / or non-isotropic scattering of the illumination light with a preferred emission of the measuring light in the direction of the measuring device, the "distance-based intensity loss" is correspondingly lower in practice, however, still represents a significant loss, which reduces the energy efficiency of a TOF sensor. According to the invention, these losses are at least partially reduced or compensated by the free-form optics.

Die Begriffe „optisch“ und/oder „Licht“ können sich auf elektromagnetische Wellen beziehen, die eine bestimmte Wellenlänge bzw. Frequenz oder ein bestimmtes Spektrum von Wellenlängen bzw. Frequenzen haben. Insbesondere können die zum Einsatz kommenden elektromagnetischen Wellen dem für das menschliche Auge sichtbaren Spektralbereich zugeordnet werden. Alternativ oder in Kombination können auch elektromagnetische Wellen verwendet werden, die dem ultravioletten (UV) oder dem infraroten (IR) Spektralbereich zugeordnet sind. Der IR Spektralbereich kann sich bis in den langwelligen IR Bereich mit Wellenlängen zwischen 3,5 µm bis 15 µm erstrecken, welche mittels des Lichtempfängers des Sensors erfasst werden können.The terms "optical" and / or "light" may refer to electromagnetic waves having a particular wavelength or frequency or a particular spectrum of wavelengths or frequencies. In particular, the electromagnetic waves used can be assigned to the spectral range visible to the human eye. Alternatively or in combination, electromagnetic waves associated with the ultraviolet (UV) or infrared (IR) spectral regions may also be used. The IR spectral range can extend into the long-wave IR range with wavelengths between 3.5 μm to 15 μm, which can be detected by means of the light receiver of the sensor.

Es wird darauf hingewiesen, dass die erfindungsgemäße Kompensation des distanzbasierten Intensitätsverlustes mittels der raumwinkelabhängigen Intensitätsmodifikation von Beleuchtungslicht und/oder Messlicht nicht nur für TOF Sensorsysteme möglich ist, welche die ganze oder zumindest größere Teilbereiche der Szene gleichzeitig beleuchten. Die erfindungsgemäße Freiformoptik kann auch bei TOF Sensorsystemen optisch gewinnbringend zum Einsatz kommen, welche die Szene sequenziell mit einem Beleuchtung Lichtstrahl, beispielsweise einem Laserstrahl, abtasten.It should be noted that the compensation of the distance-based intensity loss according to the invention by means of the spatial angle-dependent intensity modification of illumination light and / or measurement light is not only possible for TOF sensor systems which illuminate the whole or at least larger subregions of the scene simultaneously. The free-form optics according to the invention can also be used optically profitably in TOF sensor systems, which scan the scene sequentially with an illumination light beam, for example a laser beam.

Gemäß einem Ausführungsbeispiel der Erfindung weist das Sensorsystem ferner eine weitere Freiformoptik auf, wobei die Freiformoptik in dem Beleuchtungsstrahlengang angeordnet ist und die weitere Freiformoptik in dem Messlichtstrahlengang angeordnet ist. Durch das Vorsehen von zwei getrennten und damit individuell dimensionierbaren Freiformoptiken können Beleuchtungslicht und Messlicht unabhängig voneinander jeweils optimal modifiziert werden. Bei veränderbaren Freiformoptiken können beiden „Lichter“ unabhängig voneinander adaptiv hinsichtlich ihrer raumwinkelabhängigen Intensitätsverteilung modifiziert werden.According to one exemplary embodiment of the invention, the sensor system also has a further free-form optical system, wherein the free-form optical system is arranged in the illumination beam path and the further free-form optical system is arranged in the measurement light beam path. By providing two separate and thus individually dimensionable free-form optics, illumination light and measurement light can each be optimally optimized independently of one another. In the case of variable free-form optics, both "lights" can be modified independently of one another adaptively with respect to their angular-angle-dependent intensity distribution.

Es wird darauf hingewiesen, dass alle in diesem Dokument beschriebenen Merkmale bzw. Varianten der Freiformoptik auch für die weitere Freiformoptik gelten.It should be noted that all features described in this document or Variants of the freeform optics also apply to the further freeform optics.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die Freiformoptik auf zumindest ein reflektives optisches Element, zumindest ein refraktives optisches Element und/oder zumindest ein diffraktives optisches Element.According to a further exemplary embodiment of the invention, the free-form optical system has at least one reflective optical element, at least one refractive optical element and / or at least one diffractive optical element.

Unter dem Begriff „reflektiv“ bzw. „Reflexion“ wird in diesem Dokument ein (zumindest teilweises) Zurückwerfen von elektromagnetischen Wellen an einer Grenzfläche verstanden, wobei in Bezug auf eine Normale dieser Grenzfläche der Einfallswinkel der einfallenden elektromagnetischen Welle gleich dem Ausfallwinkel der reflektierten elektromagnetischen Welle. Bevorzugt weist die reflektierende Grenzfläche der Freiformoptik einen möglichst hohen Reflexionskoeffizienten auf. Dies bedeutet, dass derjenige Anteil der elektromagnetischen Welle, welcher nicht mit „Einfallswinkel = Ausfallswinkel“ reflektiert ist, möglichst groß ist und der Anteil der elektromagnetischen Welle, der absorbiert oder der in andere Richtungen gestreut wird, möglichst klein ist. Ein reflektives Element kann insbesondere ein Spiegel sein. Die Freiformoptik kann damit zumindest einen Spiegel (mit einer geeignet gekrümmten Oberfläche) aufweisen.The term "reflective" or "reflection" is understood in this document to mean (at least partial) repelling of electromagnetic waves at an interface, with respect to a normal of this interface the angle of incidence of the incident electromagnetic wave being equal to the angle of reflection of the reflected electromagnetic wave , The reflective interface of the free-form optical system preferably has the highest possible reflection coefficient. This means that that portion of the electromagnetic wave which is not reflected by "angle of incidence = angle of reflection" is as large as possible and the proportion of the electromagnetic wave which absorbs or which is scattered in other directions is as small as possible. A reflective element may in particular be a mirror. The freeform optics can thus have at least one mirror (with a suitably curved surface).

Unter dem Begriff „refraktiv“ bzw. „Refraktion“ (oder Brechung) wird die Änderung der Ausbreitungsrichtung einer elektromagnetischen Welle aufgrund einer räumlichen Änderung ihrer Ausbreitungsgeschwindigkeit bezeichnet, die speziell für Lichtwellen durch den Brechungsindex n eines Mediums beschrieben wird. Ein refraktives Element der beschriebenen Freiformoptik kann eine geeignete geformte Linse sein. Auch anderen optisch brechende Elemente wie beispielsweise ein (modifiziertes Prisma) können verwendet werden, um eine geeignete raumwinkelabhängige Strahlformung des Beleuchtungslicht und/oder des Messlichts zu realisieren.The term "refractive" or "refraction" (or refraction) refers to the change in the propagation direction of an electromagnetic wave due to a spatial change in its propagation velocity, which is specifically described for light waves by the refractive index n of a medium. A refractive element of the described free-form optics may be a suitable shaped lens. Other optically refractive elements such as, for example, a (modified prism) can also be used in order to realize a suitable beam angle-dependent beam shaping of the illumination light and / or the measurement light.

Unter dem Begriff „diffraktiv“ bzw. „Diffraktion“ (oder Beugung) wird in diesem Zusammenhang allgemein die räumliche Ablenkung einer elektromagnetischen Welle an strukturellen Hindernissen bezeichnet. Solche Hindernisse können sein eine Kante, ein Loch oder ein eindimensionales, ein zweidimensionales oder sogar ein dreidimensionales Gitter. Das diffraktive optische Element kann beispielsweise und bevorzugt ein Diffraktives Optisches Element (diffractive optical Element, DOE) sein, welches auf vorteilhafte Weise eine dynamische Anpassung bzw. Adaptierung der raumwinkelabhängigen Charakteristik des Beleuchtungslichts und/oder der raumwinkelabhängigen Charakteristik des Messlichts erlaubt.The term "diffractive" or "diffraction" (or diffraction) in this context refers generally to the spatial deflection of an electromagnetic wave at structural obstacles. Such obstacles may be an edge, a hole or a one-dimensional, a two-dimensional or even a three-dimensional grid. The diffractive optical element can be, for example and preferably, a diffractive optical element (DOE), which advantageously permits a dynamic adaptation or adaptation of the space angle-dependent characteristic of the illumination light and / or the space angle-dependent characteristic of the measurement light.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die Freiformoptik zumindest ein räumlich und/oder strukturell veränderbares optisches Element auf, wobei eine Veränderung des optischen Elements zu einer Veränderung der Raumwinkelabhängigkeit der Beleuchtungslichtintensität und/oder der Messlichtintensität führt.According to a further exemplary embodiment of the invention, the free-form optical system has at least one spatially and / or structurally changeable optical element, wherein a change of the optical element leads to a change of the solid angle dependence of the illumination light intensity and / or the measurement light intensity.

Durch die beschriebene Veränderbarkeit der Freiformoptik kann während des Betriebs des Sensorsystems die Raumwinkelabhängigkeit der Intensitätsverteilung von Beleuchtungslicht und/oder Messlicht dahingehend an eine Veränderung der Charakteristik der zu erfassenden Szene angepasst werden, dass alle (relevanten) Objekte in der Szene mit einer hohen Genauigkeit erfasst werden können. Die beschriebene Veränderung der Freiformoptik kann damit während des Betriebes des Sensorsystems szenenabhängig von der Datenverarbeitungseinrichtung veranlasst werden. Ferner kann die Freiformoptik auch nach dem Prinzip „Try-and-Error“ oder durch andere statistische, inkrementelle oder historienbasierende Optimierungsprozeduren verändert werden. Dies kann dynamisch während eines reellen Betriebs des Sensorsystems oder im Rahmen einer Kalibrierung mittels einer Erkennung von geeigneten Referenzobjekten erfolgen.Due to the described variability of the freeform optics, the solid angle dependency of the intensity distribution of illumination light and / or measurement light can be adapted to a change in the characteristic of the scene to be detected during operation of the sensor system such that all (relevant) objects in the scene are detected with high accuracy can. The described change of the free-form optics can thus be caused by the data processing device during the operation of the sensor system depending on the scene. Furthermore, the free-form optics can also be modified according to the principle of "try-and-error" or by other statistical, incremental or history-based optimization procedures. This can be done dynamically during a real operation of the sensor system or as part of a calibration by means of a detection of suitable reference objects.

Eine räumliche Veränderung des optischen Elements kann beispielsweise eine einfache Verschiebung und/oder Drehung dieses optischen Elements in einem Koordinatensystem des Sensorsystems und/oder relativ zu anderen optischen Elementen der Freiformoptik sein. Dies kann bevorzugt mittels eine Aktuators auf automatische Weise erfolgen, wobei eine Steuerung des Aktuators von der Datenverarbeitungseinrichtung oder von einer beliebigen anderen in Bezug auf die Sensorvorrichtung internen oder externen Freiform-Steuereinrichtung erfolgen kann.A spatial change of the optical element can, for example, be a simple displacement and / or rotation of this optical element in a coordinate system of the sensor system and / or relative to other optical elements of the freeform optical system. This can be done preferably by means of an actuator in an automatic manner, wherein a control of the actuator from the data processing device or from any other with respect to the sensor device internal or external freeform control device can take place.

Das veränderbare optische Element kann auch ein elastisches Element sein, beispielsweise ein deformierbarer Spiegel. Ferner kann das elastische Element ein unter Ausübung von Druck verformbares Element aus einem elastischen optischen Material sein, welches seine optischen Eigenschaften (Reflexions-, Diffraktions- und/oder Refraktionsverhalten) unter Druck ändert.The variable optical element may also be an elastic element, for example a deformable mirror. Further, the elastic member may be a pressure-deformable member of an elastic optical material which changes its optical properties (reflection, diffraction and / or refraction behavior) under pressure.

Eine strukturelle Veränderung kann beispielsweise bei einem DOE zu einer gewünschten Modifikation der Raumwinkelabhängigkeit des Beleuchtungslichts und/oder des Messlichts führen. Darüber hinaus können auch Mikrospiegelarrays verwendet werden, die aus der sog. Digital Light Processing (DLP) Projektionstechnik bekannt sind. Ferner können auch sog. Mikro Elektro Mechanische Systeme (microelectromechanical systems, MEMS) Vorrichtungen zu einer gezielten Bewegung einer Vielzahl von optischen Elementen, insbesondere Mikrospiegel, verwendet werden, so dass es zu einer gewünschten raumwinkelabhängigen Intensitätsverteilung des Beleuchtungslichts und/oder des Messlichts kommt.For example, a structural change in a DOE can lead to a desired modification of the solid angle dependence of the illumination light and / or the measurement light. In addition, micromirror arrays known from the so-called Digital Light Processing (DLP) projection technology can also be used. Furthermore, so-called. Micro electro mechanical systems (MEMS) devices for a targeted movement of a plurality of optical elements, in particular micromirrors, can be used, so that it to a desired spatial angle-dependent intensity distribution of the illumination light and / or the measuring light comes.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist bzw. sind die Freiformoptik und/oder die Beleuchtungseinrichtung konfiguriert, das Beleuchtungslicht und/oder das Messlicht mit einer raumwinkelabhängigen Intensitätsverteilung bereitzustellen, welche einen Randlichtabfall zumindest annähernd kompensiert, insbesondere einen natürlichen Randlichtabfall gemäß dem eine Helligkeit in einem Bild beim Abbilden eines gleichmäßig hellen Motivs durch ein Objektiv um den Faktor cos^4 gegenüber der Helligkeit in der Mitte des Bildes abnimmt.According to a further exemplary embodiment of the invention, the free-form optical system and / or the illumination device is / are configured to provide the illumination light and / or the measurement light with a space-angle-dependent intensity distribution which at least approximately compensates an edge light drop, in particular a natural edge light drop according to the one brightness in an image when casting an evenly bright subject through a lens, the factor cos ^ 4 decreases relative to the brightness in the center of the image.

Der natürliche Randlichtabfall, welcher durch das sog. cos^4 (Cosinus hoch 4) Gesetz beschrieben wird, hängt in bekannter Weise von der Brennweite eines verwendeten Objektivs ab. Im Falle des beschriebenen TOF Sensorsystems kann ein solches Objektiv für eine Abbildung des Beleuchtungslichts auf die Szene und/oder für die Abbildung der Szene auf einen Lichtempfänger der Messeinrichtung verwendet werden. Im Falle der Verwendung von Objektiven und bevorzugt eines gemeinsamen Objektives sowohl für das (aus einer flächigen Lichtquelle ausgesandte) Beleuchtungslicht als auch für das (von der flächigen Szene gestreute) Messlicht würde ohne die beschriebene Kompensation der natürliche Randlichtabfall zweifach auftreten und der negative Einfluss des cos^4 Gesetzes wäre entsprechend stark. Daher trägt bei TOF Sensorsystem, bei denen sowohl das Beleuchtungslicht als auch das Messlicht durch ein Objektiv tritt, die hier beschriebene Kompensation des natürlichen Randlichtabfalls durch die Freiformoptik und/oder eine über die Szene ungleichmäßige Beleuchtung durch die Beleuchtungseinrichtung besonders stark zu einer Verbesserung der Lichtintensitätsverhältnisse bei.The natural edge light drop, which is described by the so-called cos ^ 4 (cosine high 4) law, depends in a known manner on the focal length of a lens used. In the case of the described TOF sensor system, such an objective can be used for imaging the illumination light onto the scene and / or for imaging the scene onto a light receiver of the measuring device. In the case of the use of lenses and preferably a common objective for both (emitted from a flat light source) illumination light and for (scattered by the area scene) measuring light without the described compensation of the natural marginal light waste would occur twice and the negative influence of cos The law would be correspondingly strong. Therefore, in the TOF sensor system in which both the illumination light and the measurement light pass through an objective, the compensation of the natural peripheral light drop by the free-form optical system described herein and / or illumination by the illumination device uneven across the scene contribute particularly to an improvement of the light intensity ratios ,

Die Kompensation des natürlichen Randlichtabfalls durch eine geeignete raumwinkelabhängige Intensitätsmodifikation von Beleuchtungslicht und/oder Messlicht kann zumindest 30%, bevorzugt 50%, weiter bevorzugt 80% und noch weiter bevorzugt 90% oder sogar 95% betragen. Diese Prozentangaben beziehen sich (bei einer fest vorgegebenen Brennweite des verwendeten Objektives) auf das Verhältnis zwischen den Intensitäten am Rand des auf der Messeinrichtung abgebildeten Bildes der Szene (für das Messlicht), welche (a) mit der beschriebenen Kompensation und (b) ohne die beschriebene Kompensation des natürlichen Randabfalls auftreten. Dementsprechend würde eine 100% Kompensation eine vollständige Eliminierung des natürlichen Randlichtabfalls bedeuten. Dabei würde bei einer (fiktiven) Szene, die in allen Teilbereichen das Beleuchtungslicht gleich stark streut, die Helligkeit in einem Bild in allen Teilbereichen gleich sein, wobei das Bild die (vollständige) Abbildung der Szene auf einem Lichtempfänger der Messeinrichtung ist.The compensation of the natural Randlichtabfalls by a suitable spatial angle-dependent intensity modification of illumination light and / or measurement light may be at least 30%, preferably 50%, more preferably 80% and even more preferably 90% or even 95%. These percentages refer (with a fixed focal length of the objective used) to the ratio between the intensities at the edge of the image of the scene imaged on the measuring device (for the measuring light), which (a) with the described compensation and (b) without the described compensation of natural edge drop occur. Accordingly, a 100% compensation would mean a complete elimination of the natural edge light drop. In the case of a (fictitious) scene, which diffuses the illuminating light equally strongly in all subareas, the brightness in an image would be the same in all subregions, the image being the (complete) image of the scene on a light receiver of the measuring device.

Es wird darauf hingewiesen, dass in Bezug auf die Helligkeitsverteilung des Beleuchtungslichts in der Szene bei bevorzugten Ausführungsformen eine Überkompensation des natürlichen Randlichtabfalls stattfindet. Diese Überkompensation sollte gerade so stark sein, dass der natürliche Randlichtabfall des Messlichts gerade so kompensiert wird, dass es in dem auf der Messeinrichtung abgebildeten Bild der Szene zu einer möglichst guten Kompensation des natürlichen Randlichtabfalls kommt.It should be noted that with regard to the brightness distribution of the illumination light in the scene in preferred embodiments, overcompensation of the natural edge light drop occurs. This overcompensation should be just so strong that the natural marginal light drop of the measuring light is just compensated so that it comes in the image of the scene shown on the measuring device to the best possible compensation of the natural Randlichtabfalls.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das Sensorsystem ferner eine mit der Beleuchtungseinrichtung gekoppelte Beleuchtungslicht-Steuereinrichtung auf, welche konfiguriert ist, die Beleuchtungseinrichtung derart anzusteuern, dass eine Charakteristik des Beleuchtungslichts, welche die Abhängigkeit der Beleuchtungsintensität des Beleuchtungslichts von dem Raumwinkel beschreibt, während eines Betriebes des Sensorsystems dynamisch veränderbar ist.According to a further exemplary embodiment of the invention, the sensor system further has an illumination light control device coupled to the illumination device, which is configured to control the illumination device such that a characteristic of the illumination light which describes the dependence of the illumination intensity of the illumination light on the solid angle during operation of the sensor system is dynamically changeable.

Durch eine dynamische Veränderbarkeit der Charakteristik des Beleuchtungslichts kann ein und dieselbe Szene bei unterschiedlichen Beleuchtungsbedingungen (nacheinander) mehrfach aufgenommen werden. Dadurch stehen der Datenverarbeitungseinrichtung unterschiedliche Datensätze von ein und derselben Szene zur Verfügung, sodass mittels einer geeigneten Methode der Bildanalyse (von der Datenverarbeitungseinrichtung) derjenige Datensatz für die Ermittlung der dreidimensionalen Charakteristik der Szene verwendet werden kann, welcher die Szene am genauesten wiedergibt. Dabei kann gegebenenfalls ein „a priori Wissen“ über die optischen und/oder geometrischen Eigenschaften von in der Szene befindlichen Objekten berücksichtigt werden.Due to a dynamic variability of the characteristic of the illumination light, one and the same scene can be recorded multiple times under different lighting conditions (successively). As a result, different data sets of one and the same scene are available to the data processing device, so that by means of a suitable method of image analysis (by the data processing device) that data record can be used for determining the three-dimensional characteristic of the scene which most accurately reproduces the scene. Optionally, a "a priori knowledge" about the optical and / or geometric properties of objects located in the scene can be taken into account.

Ferner kann eine optimale Beleuchtungscharakteristik auch nach dem Prinzip „Try-and-Error“ oder durch andere statistische Optimierungsprozeduren ermittelt werden. Dies kann (wie bei der vorstehend beschriebenen räumlichen und/oder strukturellen Veränderung eines optischen Elements der Freiformoptik) dynamisch während eines reellen Betriebs des Sensorsystems oder im Rahmen einer Kalibrierung mittels einer Erkennung von geeigneten Referenzobjekten erfolgen.Furthermore, an optimal lighting characteristic can also be determined according to the "try-and-error" principle or by other statistical optimization procedures. This can be done dynamically during a real operation of the sensor system or as part of a calibration by means of a recognition of suitable reference objects (as in the above-described spatial and / or structural change of an optical element of the freeform optics).

Bei manchen Ausführungsformen können auch die bei unterschiedlichen Beleuchtungscharakteristiken aufgenommenen 3D Bilder der Szene gemeinsam verarbeitet werden, sodass für eine finale Ermittlung der 3D Charakteristik der Szene ein umfangreicher Datensatz zur Verfügung steht. Bei einer solchen gemeinsamen Verarbeitung können unterschiedliche Teilbereiche der Szene dadurch charakterisiert werden, dass für einen ersten Teilbereich ein bei einer ersten Beleuchtungscharakteristik aufgenommener erster Teil-Datensatz und für einen zweiten Teilbereich der bei einer zweiten Beleuchtungscharakteristik aufgenommene zweiter Teil-Datensatz für die Ermittlung der Gesamtcharakteristik der Szene verwendet werden. Selbstverständlich können für die Erfassung der Gesamtcharakteristik der Szene auch mehr als drei Datensätze herangezogen werden, welche jeweils einer unterschiedlichen Beleuchtung Lichtcharakteristik zugeordnet sind.In some embodiments, the 3D images of the scene recorded with different illumination characteristics can also be processed together, so that a comprehensive data set is available for a final determination of the 3D characteristic of the scene. In such joint processing can different subregions of the scene are characterized in that a first partial data record recorded in a first illumination characteristic is used for a first partial region and for a second subregion of the second partial data record recorded in a second illumination characteristic for determining the overall characteristic of the scene. Of course, more than three data sets can be used for the detection of the overall characteristic of the scene, which are each associated with a different lighting light characteristic.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die Datenverarbeitungseinrichtung mit der Beleuchtungslicht-Steuereinrichtung gekoppelt und konfiguriert, die ermittelte dreidimensionale Charakteristik der Szene auszuwerten und basierend auf einem Ergebnis dieser Auswertung die Charakteristik des Beleuchtungslichts zu verändern.According to a further exemplary embodiment of the invention, the data processing device is coupled to the illumination light control device and configured to evaluate the determined three-dimensional characteristic of the scene and to change the characteristic of the illumination light based on a result of this evaluation.

Anschaulich ausgedrückt hängt die Art und Weise, wie die Szene für eine Szenenerfassung raumwinkelabhängig von der Beleuchtungseinrichtung beleuchtet wird, von Mess- und Auswertungsergebnissen ab, die aus einer vorherigen Szenenerfassung ermittelt worden sind. Die Charakteristik der Beleuchtung wird also dynamisch aufgrund von Messergebnissen einer vorherigen Szenenerfassung angepasst. Damit findet korrekt ausgedrückt nicht mehr lediglich eine Steuerung der Beleuchtungseinrichtung sondern vielmehr eine Regelung derselben statt. Dies erlaubt auf vorteilhafte Weise eine besonders genaue Adaption der Szenenbeleuchtung in Hinblick auf eine optimale Szenena uswertu ng.To put it clearly, the way in which the scene for a scene detection is illuminated as a function of the room angle depends on measurement and evaluation results which have been determined from a previous scene detection. The characteristic of the lighting is thus adapted dynamically based on measurement results of a previous scene capture. This means that, correctly speaking, not only a control of the lighting device but rather a regulation thereof takes place. This advantageously allows a particularly accurate adaptation of the scene illumination with regard to an optimal scene evaluation.

Eine geeignete Steuerung der Beleuchtungseinrichtung kann von aktuellen Umgebungsbedingungen abhängen, welche sich in dem Ergebnis der Szenenauswertung widerspiegeln. Solche Umgebungsbedingungen können Wetterbedingungen wie beispielsweise das Vorhandensein von Regen, Schnee, Hagel, Nebel, Rauch, Schwebepartikeln, etc. in der Szene sein.Appropriate control of the lighting device may depend on current environmental conditions, which are reflected in the result of the scene evaluation. Such environmental conditions may be weather conditions such as the presence of rain, snow, hail, fog, smoke, suspended particles, etc. in the scene.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung hängt das Ergebnis der Auswertung von dem optischen Streuverhalten von zumindest einem in der Szene enthaltenen Objekt ab. Dies hat den Vorteil, dass zusätzlich zu der vorstehend beschriebenen und erfindungsgemäßen distanzbasierten Kompensation auch noch ein gegebenenfalls vorhandenes unterschiedliches Streuverhalten und/oder Reflexionsverhalten von verschiedenen Objekten in der Szene berücksichtigt werden kann, sodass das Messlicht mit einer zumindest annähernd räumlich gleichmäßigen Intensitätsverteilung auf einen Lichtempfänger der Messeinrichtung auftrifft. Eine über die lichtsensitive Fläche des Lichtempfängers möglichst gleichmäßige Helligkeit begünstigt eine präzise Distanzmessung durch das beschriebene TOF Sensorsystem.According to a further exemplary embodiment of the invention, the result of the evaluation depends on the optical scattering behavior of at least one object contained in the scene. This has the advantage that, in addition to the distance-based compensation described above and according to the invention, any different scattering behavior and / or reflection behavior of different objects in the scene can also be taken into account, so that the measurement light with an at least approximately spatially uniform intensity distribution to a light receiver of the Measuring device hits. A brightness which is as uniform as possible over the light-sensitive surface of the light receiver favors precise distance measurement by the described TOF sensor system.

Es wird darauf hingewiesen, dass bei vielen Objekten das Streu-bzw. Reflexionsverhalten von der Wellenlänge bzw. der Frequenz des Beleuchtungslichts hängt. Eine Berücksichtigung einer solchen Frequenzabhängigkeit kann auf vorteilhafte Weise zu einer weiteren Verbesserung der Szenenbeleuchtung und der darauffolgenden Szenenauswertung beitragen.It should be noted that in many objects, the litter or. Reflection behavior depends on the wavelength or the frequency of the illumination light. Consideration of such a frequency dependence can advantageously contribute to a further improvement of the scene lighting and the subsequent scene evaluation.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die Beleuchtungseinrichtung auf zumindest eines aus der Gruppe bestehend aus

  1. (a) einer als Laser ausgebildeten Beleuchtungslichtquelle zum räumlichen Abtasten der Szene mit einem ausgesandten Laserstrahl-Beleuchtungslicht;
  2. (b) einer zumindest annähernd punktförmigen Beleuchtungslichtquelle;
  3. (c) einer Mehrzahl von einzelnen Beleuchtungslichtquellen, die insbesondere individuell ansteuerbar und jeweils einem bestimmten Raumwinkelbereich der Szene zugeordnet sind; und
  4. (d) einer flächigen Beleuchtungslichtquelle, insbesondere mit einer über die Fläche nicht homogenen ausgesandten Leuchtintensität.
According to a further embodiment of the invention, the illumination device comprises at least one of the group consisting of
  1. (a) a laser light source for spatially scanning the scene with an emitted laser beam illuminating light;
  2. (B) an at least approximately punctiform illumination light source;
  3. (c) a plurality of individual illumination light sources which are in particular individually controllable and each associated with a specific solid angle range of the scene; and
  4. (D) a flat illumination light source, in particular with a non-homogeneous emitted over the surface luminous intensity.

Ein die Szene abtastender Laserstrahl kann in bekannter Weise über zwei drehbare Spiegel mit zueinander nicht parallelen und bevorzugt senkrecht zueinander orientierten Drehachsen auf die jeweils zu beleuchtende Stelle der Szene gelenkt werden. Für eine solche (dynamisch adaptive) Ablenkung können auch nicht mechanische optische Elemente wie beispielsweise Diffraktive Optische Elemente (DOEs) verwendet werden. Die Ablenkung kann insbesondere durch die vorstehend beschriebene Beleuchtungslicht-Steuereinrichtung gesteuert werden. Auch eine dynamische Adaption der Freiformlinse mittels der vorstehend beschriebenen räumlichen und/oder strukturellen Veränderung eines optischen Elementes der Freiformlinse kann für eine geeignete Strahlablenkung des Laserstrahls sorgen.A scanning the scene laser beam can be directed in a known manner via two rotatable mirrors with mutually non-parallel and preferably perpendicular to each other oriented axes of rotation to the respective point of the scene to be illuminated. Non-mechanical optical elements such as diffractive optical elements (DOEs) can also be used for such a (dynamically adaptive) deflection. The deflection can be controlled in particular by the illumination light control device described above. Also, a dynamic adaptation of the free-form lens by means of the above-described spatial and / or structural change of an optical element of the free-form lens can provide for a suitable beam deflection of the laser beam.

Die eine zumindest annähernd punktförmige Beleuchtungslichtquelle kann eine (ausreichend starke) Halbleiterdiode, beispielsweise eine Laser- oder Leuchtdiode sein. Um gezielt die Szene flächig zu beleuchten, können geeignete Strahlformungssysteme und insbesondere die beschriebene Freiformoptik verwendet werden. Um eine raumwinkelabhängig ungleichmäßige Beleuchtung der Szene zu realisieren, können auch geeignete optische Elemente zur Strahlablenkung, Strahlteilung und/oder Strahlzusammenführung verwendet werden.The at least approximately punctiform illumination light source may be a (sufficiently strong) semiconductor diode, for example a laser or light emitting diode. In order to illuminate the scene in a targeted manner, suitable beam-shaping systems and in particular the free-form optics described can be used. In order to realize an illumination of the scene which is uneven in dependence on the spatial angle, it is also possible to use suitable optical elements for beam deflection, beam splitting and / or beam merging.

Die Mehrzahl von Beleuchtungslichtquellen, welche ebenfalls insbesondere Laser- oder Leuchtdioden sind, können (insbesondere individuell) von der vorstehend beschriebenen Beleuchtungslicht-Steuereinrichtung angesteuert werden. Dies erlaubt auf vorteilhafte Weise eine adaptiv gesteuerte oder sogar geregelte Einstellung der Charakteristik des Beleuchtungslichts. The plurality of illumination light sources, which are also in particular laser or light-emitting diodes, can be controlled (in particular individually) by the illumination light control device described above. This advantageously allows an adaptively controlled or even regulated adjustment of the characteristic of the illumination light.

Auch eine flächige Lichtquelle kann die Quelle für eine raumwinkelabhängig nicht homogene Intensitätsverteilung sein. Sofern es sich um eine räumlich homogen erleuchtete Fläche handelt, können geeignete optische Elemente zur Strahlablenkung, Strahlteilung, Strahlzusammenführung und/oder Strahlformung, insbesondere (auch) die beschriebene Freiformoptik eingesetzt werden, um eine raumwinkelabhängig ungleichmäßige Beleuchtung der Szene zu realisieren.A flat light source can also be the source for a spatially-dependent, non-homogeneous intensity distribution. If it is a spatially homogeneously illuminated surface, suitable optical elements for beam deflection, beam splitting, beam merging and / or beam shaping, in particular (also) described freeform optics can be used to realize a spatial angle-dependent non-uniform illumination of the scene.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist bzw. sind die Freiformoptik und/oder die Beleuchtungseinrichtung konfiguriert, das Beleuchtungslicht mit einem von einer Kreisform abweichenden Strahlquerschnitt bereitzustellen. Dadurch kann bei Szenen, welche „nicht rund“ sind, eine unzureichende Beleuchtung von Eckbereichen der Szene vermieden werden. Eine unzureichende Beleuchtung der Eckbereiche könnte zwar ggf. durch eine insgesamt erhöhte Intensität des Beleuchtungslichts verhindert werden, in diesem Fall würden jedoch die mittleren Bereiche der Szene überbelichtet, was zumindest aus energetischer Sicht sehr nachteilig wäre.According to a further exemplary embodiment of the invention, the free-form optical system and / or the illumination device is or are configured to provide the illumination light with a beam cross-section deviating from a circular shape. As a result, in scenes which are "not round", inadequate illumination of corner areas of the scene can be avoided. Although inadequate illumination of the corner areas could possibly be prevented by an overall increased intensity of the illumination light, in this case, however, the middle areas of the scene would be overexposed, which would be very disadvantageous, at least from an energetic point of view.

Bei vielen Ausführungsformen bzw. Anwendungen des Sensorsystems ist es vorteilhaft, wenn das Beleuchtungslicht einen rechteckigen Strahlquerschnitt hat. Bevorzugt ist der Strahlquerschnitt zur Erzielung einer möglichst homogegen Beleuchtung an die Form der zu erfassenden Szene angepasst. Eine geeignete Formgebung des Strahlquerschnitts kann nicht nur durch eine entsprechende Formung der Leuchtfläche der Beleuchtungseinrichtung und/oder Konfigurierung der Freiformoptik realisiert werden, der Strahlquerschnitt kann auch durch optische Komponenten wie Spiegel und refraktive optische Elemente (z.B. Linsensystem) auf geeignete Weise angepasst werden. Auch Diffraktive Optische Elemente (DOE) können verwendet werden, welche optional sogar eine dynamische und/oder szenenabhängige Formung des Strahlquerschnitts ermöglichen. Darüber hinaus können auch Mikrospiegelarrays verwendet werden, die aus der sog. Digital Light Processing (DLP) Projektionstechnik bekannt sind. Auch mit sog. Mikro Elektro Mechanische Systeme (microelectromechanical systems, MEMS) Vorrichtungen lassen sich eine Vielzahl von optischen Elementen derart bewegen, dass es zu einer gewünschten raumwinkelabhängigen Beleuchtungsintensität kommt.In many embodiments or applications of the sensor system, it is advantageous if the illumination light has a rectangular beam cross section. Preferably, the beam cross-section is adapted to achieve as homogeneous as possible illumination to the shape of the scene to be detected. Suitable shaping of the beam cross-section can not only be achieved by a corresponding shaping of the illumination surface of the illumination device and / or configuration of the free-form optical system, the beam cross-section can also be suitably adapted by optical components such as mirrors and refractive optical elements (e.g., lens system). Diffractive optical elements (DOEs) can also be used, which optionally even allow a dynamic and / or scene-dependent shaping of the beam cross-section. In addition, micromirror arrays known from the so-called Digital Light Processing (DLP) projection technology can also be used. Even with so-called microelectromechanical systems (MEMS) devices, a large number of optical elements can be moved in such a way that a desired illumination angle dependent on the angle of illumination occurs.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die Messeinrichtung auf einen Lichtempfänger mit einer Vielzahl von Pixeln zum Empfangen des Messlichts, wobei erste Pixel in einem ersten Teilbereich des Lichtempfängers eine erste Lichtsensitivität aufweisen und zweite Pixel in einem zweiten Teilbereich des Lichtempfängers eine zweite Lichtsensitivität aufweisen. Dabei ist die zweite Lichtsensitivität unterschiedlich zu der ersten Lichtsensitivität.According to a further exemplary embodiment of the invention, the measuring device has a light receiver with a multiplicity of pixels for receiving the measuring light, wherein first pixels in a first subregion of the light receiver have a first light sensitivity and second pixels in a second subregion of the light receiver have a second light sensitivity. In this case, the second light sensitivity is different from the first light sensitivity.

Durch die beschriebene ungleiche Pixelsensitivität kann ebenfalls dazu beigetragen werden, dass in einem Bild der Szene der Unterschied zwischen einer helleren Region und einer dunkleren Region nicht so groß ist, als dass er eine zuverlässige Szenenerfassung und/oder eine genaue Szenenauswertung durch die Datenverarbeitungseinrichtung gefährden würde.The unequal pixel sensitivity described may also help to ensure that in an image of the scene the difference between a brighter region and a darker region is not so great as to jeopardize reliable scene capture and / or scene evaluation by the computing device.

Bei manchen Ausführungsformen werden Lichtempfänger verwendet, bei denen die räumliche Verteilung zwischen ersten Pixeln und zweiten Pixeln dynamisch bzw. adaptiv variiert werden kann. Eine solche Variation kann auch durch die Datenverarbeitungseinrichtung gesteuert werden und von einem Ergebnis einer vorherigen Szenenauswertung abhängen.In some embodiments, light receivers are used in which the spatial distribution between first pixels and second pixels can be varied dynamically or adaptively. Such a variation may also be controlled by the data processing device and may depend on a result of a previous scene evaluation.

Es wird darauf hingewiesen, dass der Begriff der Lichtsensitivität mit der Fähigkeit des betreffenden Pixels zusammenhängt, auftreffende Photonen innerhalb einer kurzen Belichtungszeit zu akkumulieren. Eine unterschiedliche Pixelsensitivität kann z.B. durch Reduktion des Rauschens einzelner Pixel oder Zonen von Pixeln realisiert werden. Da das Rauschen häufig mit der Wärme des Sensors korreliert ist, kann z.B. mittels einer Wärmepumpe (z.B. ein Peltier-Element) für einen Teil des Lichtempfängers eine höhere Sensitivität erreicht werden. Je punktueller diese Temperaturveränderung auf dem Lichtempfänger erzeugt werden kann, desto höher kann die Energieeffizienz des Sensorsystems sein. So lässt sich z.B. in einer bestimmten Ausführungsform ein Temperaturgradient über den Lichtempfänger aufprägen, so dass das von einem weiter entfernten Teilbereich der Szene kommende Messlicht auf eine kühlere Zone des Lichtempfängers gelangt.It should be noted that the term light sensitivity relates to the ability of the pixel in question to accumulate incident photons within a short exposure time. A different pixel sensitivity may e.g. by reducing the noise of individual pixels or zones of pixels. Since the noise is often correlated with the heat of the sensor, e.g. a higher sensitivity can be achieved for a part of the light receiver by means of a heat pump (for example a Peltier element). The more punctually this temperature change can be generated on the light receiver, the higher the energy efficiency of the sensor system can be. Thus, for example, imprint a temperature gradient over the light receiver in a specific embodiment, so that the coming of a more distant portion of the scene measuring light reaches a cooler zone of the light receiver.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die Messeinrichtung ferner auf eine mit dem Lichtempfänger gekoppelte Lichtempfänger-Steuereinrichtung, wobei die Lichtempfänger-Steuereinrichtung und der Lichtempfänger derart konfiguriert sind, dass in einem modifizierten Betrieb des Sensorsystems zumindest zwei Pixel der Vielzahl von Pixeln zu einem übergeordneten Pixel zusammengefasst sind.According to a further exemplary embodiment of the invention, the measuring device further has a light receiver control device coupled to the light receiver, wherein the light receiver control device and the light receiver are configured in such a way that, in a modified operation of the sensor system, at least two pixels of the plurality of pixels become a higher-order pixel are summarized.

Ein solches Zusammenfassen von Pixeln, welches auch als „Binning“ bezeichnet wird, hat die Wirkung, dass auf Kosten der räumlichen Auflösung die Anzahl an Photonen des Messlichts, die während einer Szenenerfassung von einem Pixel eingesammelt bzw. akkumuliert werden, entsprechend der Anzahl an zu einem übergeordneten Pixel zusammengefassten Pixeln erhöht wird. Aufgrund der resultierenden erhöhten Photonenakkumulation pro (übergeordnetem) Pixel wird die Lichtsensitivität pro Pixel deutlich erhöht. Dadurch verringert sich insbesondere bei einem schwachen Messlicht das sog. statistische Photonenrauschen, was die Szenenauswertegenauigkeit verbessert. Ein „Binning“ ist deshalb insbesondere bei einem schwachen Messlicht dann von Vorteil, wenn eine hohe räumliche Auflösung nicht erforderlich ist. Such aggregation of pixels, also referred to as "binning", has the effect of increasing the number of photons of the measurement light collected during a scene acquisition of one pixel, in proportion to the number of pixels, at the expense of spatial resolution pixels summed up to a parent pixel. Due to the resulting increased photon accumulation per (superordinate) pixel, the light sensitivity per pixel is significantly increased. This reduces the so-called statistical photon noise, in particular with a weak measuring light, which improves the scene evaluation accuracy. A "binning" is therefore particularly advantageous for a weak measuring light when a high spatial resolution is not required.

Typischerweise werden zumindest einige der Vielzahl von Pixeln dahingehend zusammengefasst, dass jeweils eine gewisse Anzahl von Pixeln zu einem übergeordneten Pixel zusammengefasst wird. Die gewisse Anzahl kann dabei beispielsweise (bevorzugt) zwei, drei, (bevorzugt) vier, sechs, (bevorzugt) acht, oder (bevorzugt) neun sein. Selbstverständlich ist auch eine noch stärkere Zusammenfassung von Pixeln möglich.Typically, at least some of the plurality of pixels are grouped together so that a certain number of pixels are combined into a higher-level pixel. The certain number may be, for example, (preferably) two, three, (preferably) four, six, (preferably) eight, or (preferably) nine. Of course, an even stronger summary of pixels is possible.

Es wird darauf hingewiesen, dass über die Fläche des Lichtempfängers ein Binning auch lokal in lediglich zumindest einem Teilbereich der aktiven Flächen des Lichtempfängers durchgeführt werden kann. Dies führt dann zwar zu einer inhomogenen räumlichen Auflösung, welche nicht unbedingt gewünscht ist. Der Nachteil einer solchen inhomogenen räumlichen Auflösung wird aber in vielen Anwendungsfällen durch die erhöhte Photonenakkumulation (pro Pixel) überkompensiert. Ein lokales „Binning“ kann zumindest bei einigen bekannten Lichtempfängern ohne besondere elektronische oder apparative Elemente einfach durch eine entsprechende Ansteuerung des Lichtempfängers erfolgen, welche Ansteuerung das „Binning“ und damit den Betriebsmodus des Sensorsystems bestimmt.It should be noted that binning can also be carried out locally in only at least a partial area of the active areas of the light receiver via the surface of the light receiver. Although this leads to an inhomogeneous spatial resolution, which is not necessarily desired. However, the disadvantage of such an inhomogeneous spatial resolution is overcompensated in many applications by the increased photon accumulation (per pixel). A local "binning" can be done at least in some known light receivers without special electronic or apparatus elements simply by a corresponding control of the light receiver, which control determines the "binning" and thus the operating mode of the sensor system.

Bei bevorzugten Ausführungsformen wird ein lokales „Binning“ dahingehend durchgeführt, dass, von der Messeinrichtung gemessen und/oder von der Datenverarbeitungseinrichtung erlernt, genau diejenigen Bereiche des Lichtempfängers, welche bei zumindest einer vorherigen Szenenerfassung zu wenig Lichtenergie erhalten haben, durch eine geeignete Ansteuerung des Lichtempfängers durch die Lichtempfänger-Steuereinrichtung bei nachfolgenden Szenenerfassungen in geeigneter Weise zu übergeordneten Pixeln zusammengefasst werden. Ein solches dynamisch gesteuertes oder geregeltes „Binning“ kann während eines üblichen Betriebs des Sensorsystems (erlernt) und/oder während der Konfiguration des Sensorsystems beispielsweise im Rahmen einer (Erst)Installation, einer Wartung, einer zyklischen bzw. automatischen Re-Konfiguration etc. durchgeführt werden.In preferred embodiments, a local "binning" is performed in such a way that, measured by the measuring device and / or learned by the data processing device, exactly those areas of the light receiver, which have received too little light energy in at least one previous scene detection, by a suitable control of the light receiver be combined by the light receiver control means in subsequent scene captures in a suitable manner to higher-level pixels. Such dynamically controlled or controlled "binning" may be performed during a normal operation of the sensor system (learned) and / or during the configuration of the sensor system, for example as part of a (first) installation, a maintenance, a cyclic or automatic re-configuration, etc. become.

An dieser Stelle sei erwähnt, dass bei einer nicht quadratischen Anzahl an zu einem übergeordneten Pixel zusammengefassten einzelnen Pixeln die räumliche Auflösung des Lichtempfängers entlang unterschiedlicher Richtungen jedenfalls dann unterschiedlich ist, wenn die einzelnen Pixel eine quadratische Form haben. Dies kann bei manchen Anwendungsfällen in vorteilhafter Weise ausgenutzt werden. Ein solcher Anwendungsfall liegt beispielsweise dann vor, wenn eine Bewegung eines Objekts der Szene entlang einer vorbekannten Raumrichtung mit einer erhöhten Genauigkeit erfasst werden soll. In einem solchen Fall kann die Anzahl an Pixel, welche entlang einer Linie senkrecht zu dieser vorbekannten Raumrichtung (so wie sie auf dem Lichtempfänger abgebildet ist) angeordnet sind, größer sein als die Anzahl an Pixel, welche entlang einer dazu senkrechten Linie angeordnet sind. Dann ist die räumliche Auflösung entlang der Bewegungsrichtung größer als die räumliche Auflösung senkrecht zu der Bewegungsrichtung und das Bewegungsprofil eines solchen linear bewegten Objekts kann auch bei einem vergleichsweise schwachen Messlicht mit einer besonders hohen Genauigkeit ermittelt werden.At this point, it should be noted that with a non-square number of individual pixels combined into a superordinate pixel, the spatial resolution of the light receiver along different directions is different in each case if the individual pixels have a square shape. This can be exploited in some cases in an advantageous manner. Such an application is present, for example, when movement of an object of the scene along a previously known spatial direction is to be detected with increased accuracy. In such a case, the number of pixels arranged along a line perpendicular to this known spatial direction (as depicted on the light receiver) may be larger than the number of pixels arranged along a line perpendicular thereto. Then the spatial resolution along the direction of movement is greater than the spatial resolution perpendicular to the direction of movement and the motion profile of such a linearly moving object can be determined with a particularly high accuracy even with a comparatively weak measuring light.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die Messeinrichtung auf (a) einen oder den Lichtempfänger zum Empfangen des Messlichts und (b) eine dem Lichtempfänger nachgeschaltete Messeinheit, welche konfiguriert ist die Lichtlaufzeit zu messen basierend auf (i) einer Messung der Zeitspanne zwischen einen Aussenden eines Pulses des Beleuchtungslichts und dem Empfang des zu dem Puls gehörigen Messlichts und/oder (ii) einer Messung einer Phasenverschiebung zwischen einer zeitlichen Modulation des Beleuchtungslichts und einer zugehörigen zeitlichen Modulation des empfangenen Messlichts. Dies hat den Vorteil, dass das beschriebene Sensorsystem abhängig von dem jeweiligen Anwendungsfall auf eine geeignete Weise unter Ausnutzung eines jeweils geeigneten TOF Messprinzips realisiert werden kann. Bei manchen Ausführungsformen ist das Sensorsystem derart konfiguriert, dass flexibel bzw. bei Bedarf zwischen den beiden verschiedenen Messprinzipien „Pulsbetrieb“ und „Phasenmessung“ umgeschaltet werden kann.According to a further embodiment of the invention, the measuring device comprises (a) one or the light receiver for receiving the measuring light and (b) a measuring unit connected downstream of the light receiver, which is configured to measure the light running time based on (i) a measurement of the time span between a transmission a pulse of the illumination light and the reception of the measurement light associated with the pulse and / or (ii) a measurement of a phase shift between a temporal modulation of the illumination light and an associated temporal modulation of the received measurement light. This has the advantage that the described sensor system can be realized in a suitable manner, depending on the particular application, by utilizing a respectively suitable TOF measuring principle. In some embodiments, the sensor system is configured in such a way that it is possible to switch between the two different measurement principles "pulse mode" and "phase measurement" flexibly or, if necessary, between the two different measurement principles.

Unabhängig von dem angewendeten Messprinzip weist der Lichtempfänger eine lichtsensitive Oberfläche auf, welche, wie vorstehend beschrieben, in eine Vielzahl von Pixel unterteilt ist. Mit bzw. auf jedem Pixel werden diejenigen Photonen des Messlichts akkumuliert, welche aus einem bestimmten Raumwinkelbereich bzw. dem zugehörigen Teilbereich der Szene stammen. Die Messeinheit wird dazu verwendet, für jeden Pixel die Laufzeit der zugehörigen Lichtstrahlen des Beleuchtungslichts und des Messlichts zu ermitteln.Regardless of the measuring principle used, the light receiver has a light-sensitive surface which, as described above, is subdivided into a multiplicity of pixels. With or on each pixel those photons of the measurement light are accumulated, which originate from a certain solid angle region or the associated subregion of the scene. The measurement unit is used to run the runtime for each pixel associated light rays of the illumination light and the measuring light to determine.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das Sensorsystem ferner eine Halterung auf, welche zumindest mit der Messeinrichtung mechanisch gekoppelt ist, wobei die Halterung derart ausgebildet ist, dass das Sensorsystem an einer in Bezug auf die zu erfassende Szene stationären Haltestruktur anbringbar ist.According to a further exemplary embodiment of the invention, the sensor system further has a holder which is mechanically coupled at least to the measuring device, wherein the holder is designed such that the sensor system can be attached to a stationary holding structure with respect to the scene to be detected.

Anschaulich ausgedrückt sorgt die Halterung dafür, dass das beschriebene Sensorsystem ein stationäres System sein kann, welches einen bestimmten räumlich festen Erfassungsbereich hat und damit immer die gleiche Szene überwacht, welche natürlich zu unterschiedlichen Zeiten eine unterschiedliche Szenencharakteristik haben kann. Durch einen Vergleich von verschiedenen zeitlich voneinander beabstandeten Erfassungen der von der Orientierung des Sensorsystems abhängigen Szene können im Rahmen einer Bildauswertung räumlich stationäre Objekte, die in der Szene vorhanden sind, erkannt und bei einer weiteren Bildauswertung in Hinblick auf Bewegungsprofile ausgeblendet werden. Dadurch kann Rechenleistung eingespart und die energetische Effizienz des beschriebenen Sensorsystems verbessert werden.To put it clearly, the holder ensures that the described sensor system can be a stationary system which has a certain spatially fixed detection range and therefore always monitors the same scene, which of course can have a different scene characteristic at different times. By comparing different temporally spaced detections of the dependent of the orientation of the sensor system scene spatially stationary objects that are present in the scene can be detected in an image analysis and hidden in a further image analysis with respect to movement profiles. As a result, computing power can be saved and the energy efficiency of the described sensor system can be improved.

Die stationäre Haltestruktur kann direkt oder indirekt mechanisch gekoppelt sein mit einer Vorrichtung zum Steuern einer Bedeckungscharakteristik einer von dem Objekt zu passierenden Öffnung durch zumindest einen Verschließkörper. Bevorzugt weist diese Vorrichtung neben einer geeigneten Führung bzw. Lagerung des Verschließkörpers einen Aktuator zum Bewegen des Verschließkörpers auf, insbesondere zum Bewegen des Verschließkörpers zwischen einer geschlossenen Position und einer geöffneten Position (und umgekehrt).The stationary support structure may be directly or indirectly mechanically coupled to a device for controlling a coverage characteristic of an opening to be passed through the object by at least one closure body. In addition to a suitable guide or bearing of the closing body, this device preferably has an actuator for moving the closing body, in particular for moving the closing body between a closed position and an open position (and vice versa).

Im Bereich der Gebäudesicherheit kann die Öffnung ein Eingang sein, beispielsweise für eine Person oder ein Fahrzeug. Der Verschließkörper kann eine Tür sein, beispielsweise eine Haustür oder ein Garagentor. Die stationäre Haltestruktur kann beispielsweise die stationäre Rahmenstruktur eines Eingangs sein, beispielsweise der Rahmen einer Tür.In the field of building security, the opening may be an entrance, for example for a person or a vehicle. The closure body may be a door, for example a front door or a garage door. The stationary support structure may be, for example, the stationary frame structure of an entrance, for example the frame of a door.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die Datenverarbeitungseinrichtung ferner derart konfiguriert, dass eine Bedeckungscharakteristik einer von einem Objekt zu passierenden Öffnung durch zumindest einen Verschließkörper steuerbar ist. Dadurch kann die Öffnung, welche beispielsweise ein Eingang (bzw. ein Ausgang) eines Gebäudes ist, auf energetisch günstige Weise automatisch überwacht werden und durch eine geeignete Ansteuerung eines Aktuators kann der Verschließkörper automatisch zwischen einer geöffneten Position und einer geschlossenen Position bewegt werden. Dazu kann die Datenverarbeitungseinrichtung des beschriebenen Sensorsystems mit der Steuerung eines bekannten Steuersystems für einen Verschließkörper gekoppelt werden.According to a further embodiment of the invention, the data processing device is further configured such that a coverage characteristic of an opening to be passed from an object is controllable by at least one closure body. As a result, the opening, which is, for example, an entrance (or an exit) of a building, can be automatically monitored in an energetically favorable manner, and by suitable actuation of an actuator, the closing body can be moved automatically between an open position and a closed position. For this purpose, the data processing device of the described sensor system can be coupled with the control of a known control system for a closing body.

Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum dreidimensionalen Erfassen einer Szene beschrieben. Das beschriebene Verfahren weist auf (a) ein Beleuchten der Szene mit einem Beleuchtungslicht, welches von einer Beleuchtungseinrichtung entlang eines Beleuchtungsstrahlengangs ausgesandt wird; (b) ein Empfangen, mittels einer Messeinrichtung, von Messlicht entlang eines Messlichtstrahlengangs, wobei das Messlicht zumindest teilweise von zumindest einem Objekt in der Szene zurückgestreutes Beleuchtungslicht ist; (c) ein Messen, mittels der Messeinrichtung, von Distanzen zwischen dem Sensorsystem und dem zumindest einen Objekt basierend auf einer Lichtlaufzeit des Beleuchtungslichts und des Messlichts; und (d) ein Ermitteln der dreidimensionalen Charakteristik der Szene basierend auf den gemessenen Distanzen mittels einer der Messeinrichtung nachgeschalteten Datenverarbeitungseinrichtung. Erfindungsgemäß ist eine Freiformoptik in dem Beleuchtungsstrahlengang und/oder in dem Messlichtstrahlengang angeordnet, wobei die Freiformoptik derart konfiguriert ist, dass (i) bei einer Anordnung in dem Beleuchtungsstrahlengang eine Beleuchtungslichtintensität des Beleuchtungslichts von dem Raumwinkel des Beleuchtungsstrahlengangs abhängt und (ii) bei einer Anordnung in dem Messlichtstrahlengang eine Messlichtintensität des Messlichts von dem Raumwinkel des Messlichtstrahlengangs abhängt, so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts und des Messlichts zumindest teilweise kompensiert wird.In accordance with another aspect of the invention, a method of three-dimensionally capturing a scene is described. The described method comprises (a) illuminating the scene with an illumination light emitted by a lighting device along an illumination beam path; (b) receiving, by means of a measuring device, measuring light along a measuring light beam path, wherein the measuring light is at least partially backscattered by at least one object in the scene illumination light; (c) measuring, by means of the measuring device, distances between the sensor system and the at least one object based on a light transit time of the illumination light and the measurement light; and (d) determining the three-dimensional characteristic of the scene based on the measured distances by means of a data processing device downstream of the measuring device. According to the invention, a free-form optical system is arranged in the illumination beam path and / or in the measurement light beam path, wherein the free-form optical system is configured such that (i) an illumination light intensity of the illumination light depends on the solid angle of the illumination beam path in an arrangement in the illumination beam path, and (ii) in an arrangement in FIG A measurement light intensity of the measurement light depends on the spatial angle of the measurement light beam path in the measurement light beam path, so that a distance-based intensity loss of the illumination light and the measurement light is at least partially compensated.

Auch dem beschriebenen Verfahren liegt die Erkenntnis zugrunde, dass durch eine geeignet ausgebildete bzw. konfigurierte Freiformoptik von der Szenengeometrie und von dem Raumwinkel abhängige Einflüsse auf die Intensitätsverteilung des empfangenen Messlichts zumindest teilweise kompensiert werden können.The described method is also based on the knowledge that, due to suitably designed or configured free-form optics, the scene geometry and the spatial angle-dependent influences on the intensity distribution of the received measurement light can be at least partially compensated.

In dem Strahlengang des Beleuchtungslichts kann die Freiformoptik für eine geeignete raumwinkelabhängige Intensitätsverteilung des Beleuchtungslichts sorgen, so dass das Messlicht von jedem Teilbereich der Szene mit einer möglichst homogenen Intensitätsverteilung auf einen Lichtempfänger der Messeinrichtung trifft. In dem Strahlengang des Messlichts kann die Freiformoptik für eine geeignete raumwinkelabhängige Einsammlung von Messlichtintensität sorgen, so dass (auch) das Messlicht mit einer möglichst homogenen Intensitätsverteilung auf den Lichtempfänger trifft.In the beam path of the illumination light, the free-form optics can provide a suitable space-angle-dependent intensity distribution of the illumination light so that the measurement light from each subarea of the scene strikes a light receiver of the measuring device with as homogeneous a distribution of intensity as possible. In the beam path of the measuring light, the free-form optics can provide a suitable space-angle-dependent collection of measuring light intensity, so that the measuring light also strikes the light receiver with the most homogeneous possible intensity distribution.

Gemäß einem Ausführungsbeispiel der Erfindung weist das Verfahren ferner auf (a) ein Erfassen eines in der Szene befindlichen Objekts; (b) ein Vergleichen des erfassten Objekts mit zumindest einem in einer Datenbank hinterlegten Vergleichsobjekt; und, (c) wenn das Objekt innerhalb vorgegebener zulässiger Abweichungen mit einem Vergleichsobjekt übereinstimmt, ein Identifizieren des Objekts als ein für eine bestimmte Aktion zugelassenes Objekt. According to an embodiment of the invention, the method further comprises (a) detecting an object in the scene; (b) comparing the detected object with at least one comparison object stored in a database; and, (c) if the object agrees with a comparison object within predetermined permissible deviations, identifying the object as an object authorized for a particular action.

Die zugelassene Aktion kann beispielsweise eine erlaubte Passage durch eine Öffnung in einem Gebäude sein, welche Öffnung vor der Identifizierung als zugelassenes Objekt durch einen Verschließkörper verschlossen ist und erst nach der erfolgreichen Identifizierung durch eine entsprechende Bewegung des Verschließkörpers geöffnet wird. Die zu identifizierenden Objekte können bevorzugt Personen und/oder Fahrzeuge sein. Eine erfolgreiche Identifizierung kann zur Steuerung bzw. zur Aktivierung eines Verschlussmechanismus für einen Verschließkörper vor einer Öffnung eines Gebäudes sein.The approved action may, for example, be an authorized passage through an opening in a building, which opening is closed by a closure body prior to identification as an approved object and is opened only after successful identification by a corresponding movement of the closure body. The objects to be identified may preferably be persons and / or vehicles. Successful identification may be to control or activate a closure mechanism for a closure body prior to opening a building.

Gemäß einem weiteren Aspekt der Erfindung wird beschrieben eine Verwendung eines vorstehend beschriebenen Sensorsystems für ein Steuern einer Bedeckungscharakteristik einer von einem Objekt zu passierenden Öffnung durch zumindest einen Verschließkörper.According to another aspect of the invention, there is described a use of a sensor system described above for controlling a coverage characteristic of an aperture to be passed through an object by at least one occlusion body.

Der beschriebenen Verwendung liegt die Erkenntnis zugrunde, dass eine auf energetisch effiziente Weise vorgenommen Erfassung und Auswertung einer optischen Szene auf vorteilhafte Weise bei Durchgängen eingesetzt werden kann, welche von einem Verschließkörper verschlossen werden können. Dies gilt insbesondere für Durchgänge, welche eine Verschließ- bzw. eine Bedeckungscharakteristik aufweisen, die von dem beschriebenen Sensorsystem gesteuert oder zumindest mitgesteuert wird. Da solche Sensorsysteme üblicherweise durch die Verschlusssysteme für die Verschließkörper mit Energie versorgt werden, ist es besonders wichtig, mit einer vergleichsweise geringen Energiemenge auszukommen und trotzdem zu zuverlässigen TOF Szenenauswertungen zu kommen.The described use is based on the finding that a detection and evaluation of an optical scene made in an energy-efficient manner can be used advantageously in passages which can be closed by a closing body. This applies in particular to passages which have a closure or a covering characteristic which is controlled or at least co-controlled by the described sensor system. Since such sensor systems are usually supplied with energy by the closure systems for the closure bodies, it is particularly important to manage with a comparatively small amount of energy while still achieving reliable TOF scene evaluations.

Durch die erfindungsgemäße Verwendung des vorstehend beschriebenen Sensorsystems können auf energetisch effiziente Weise auch größere Distanzen überwacht werden, was naturgemäß zu einem früheren Erkennen einer Öffnungsanforderung des Verschlusskörpers führt. Dies kann insbesondere bei sich schnell bewegenden Objekten von großem Vorteil sein. Ferner kann die Szene auf energieeffiziente Weise mit einem breiteren Erfassungswinkel erfasst werden, was beispielswiese zu einem frühzeitiges Erkennen von sich quer zur Öffnung bewegenden Querverkehr und damit zu einem zuverlässigeres Erkennen von Objekten im Sicherheitsbereich des Verschlusssystems führen kann. Dadurch kann bei Querverkehr eine unnötige Öffnungsanforderung unterdrückt werden.As a result of the inventive use of the sensor system described above, larger distances can also be monitored in an energy-efficient manner, which naturally leads to earlier detection of an opening requirement of the closure body. This can be of great advantage, especially in the case of fast moving objects. Furthermore, the scene can be detected in an energy-efficient manner with a wider detection angle, which can lead, for example, to an early detection of transverse traffic moving transversely to the opening and thus to a more reliable detection of objects in the security area of the closure system. This can be suppressed in cross traffic unnecessary opening request.

Gemäß einem Ausführungsbeispiel der Erfindung ist die Öffnung ein Eingang oder ein Ausgang ist, insbesondere ein Notausgang in einem Gebäude. Durch das Erkennen eines zwar vorhandenen, aber sich ggf. nicht bewegenden Objektes in einem Durchgangsbereich kann ein Eingang oder Ausgang überwacht, insbesondere ein blockierter Notausgang erkannt, und die entsprechende Information an ein angegliedertes System, beispielsweise an ein Überwachungssystem, übermittelt werden.According to one embodiment of the invention, the opening is an entrance or an exit, in particular an emergency exit in a building. By recognizing an existing, but possibly non-moving object in a passage area, an input or output monitors, in particular a blocked emergency exit detected, and the corresponding information to an affiliated system, for example, to a monitoring system, transmitted.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist das Objekt eine Person oder ein Fahrzeug. In diesem Fall kann das Gebäude insbesondere ein Haus bzw. eine Garage sein.According to a further embodiment of the invention, the object is a person or a vehicle. In this case, the building may in particular be a house or a garage.

Gemäß einem weiteren Aspekt der Erfindung wird beschrieben eine Verwendung eines vorstehend beschriebenen Sensorsystems für ein Erfassen und/oder Steuern von Verkehrsströmen von Objekten, welche sich durch eine Szene des Sensorsystems bewegen, wobei die Szene durch einen räumlichen Erfassungsbereich des Sensorsystems bestimmt ist.According to a further aspect of the invention, a use is described of a sensor system described above for detecting and / or controlling traffic flows of objects which move through a scene of the sensor system, the scene being determined by a spatial detection area of the sensor system.

Auch dieser Verwendung liegt die Erkenntnis zugrunde, dass es bei einer Verkehrserfassung und/oder Verkehrsstromlenkung auf eine energieeffiziente Sensorik ankommt, da diese Sensorik typischerweise ständig in Betrieb ist und darüber hinaus insbesondere bei größeren Verkehrsströmen typischerweise eine sehr hohe Anzahl derartiger Sensorsysteme im Einsatz sind.This use is also based on the finding that an energy-efficient sensor system is important in traffic detection and / or traffic flow control, since this sensor system is typically constantly in operation and, moreover, a very high number of such sensor systems are typically used, in particular for larger traffic flows.

Die für den betreffenden Verkehrsstrom relevanten Objekte können beispielsweise Personen, Fahrzeuge, Produkte wie z.B. Pakete, Koffer, etc. sein. Da für derartige Anwendungen üblicherweise eine Mehrzahl oder gar eine Vielzahl von 3D Sensoren einsetzt werden, wirken sich hier Energieeinsparungen besonders positiv aus.The objects relevant to the traffic flow in question can be, for example, persons, vehicles, products such as e.g. Be packages, suitcases, etc. Since a plurality or even a multiplicity of 3D sensors are usually used for such applications, energy savings have a particularly positive effect here.

Es wird darauf hingewiesen, dass Ausführungsformen der Erfindung mit Bezug auf unterschiedliche Erfindungsgegenstände beschrieben wurden. Insbesondere sind einige Ausführungsformen der Erfindung mit Vorrichtungsansprüchen und andere Ausführungsformen der Erfindung mit Verfahrensansprüchen bzw. mit Verwendungsansprüchen beschrieben. Dem Fachmann wird jedoch bei der Lektüre dieser Anmeldung sofort klar werden, dass, sofern nicht explizit anders angegeben, zusätzlich zu einer Kombination von Merkmalen, die zu einem Typ von Erfindungsgegenstand gehören, auch eine beliebige Kombination von Merkmalen möglich ist, die zu unterschiedlichen Typen von Erfindungsgegenständen gehören.It should be noted that embodiments of the invention have been described with reference to different subject matters. In particular, some embodiments of the invention are described with apparatus claims and other embodiments of the invention with method claims. However, it will be apparent to those skilled in the art upon reading this application that, unless explicitly stated otherwise, in addition to a combination of features associated with a type of subject matter, any combination of features is contemplated different types of invention articles belong.

Bevor an späterer Stelle und bezugnehmend auf die Zeichnung exemplarische Ausführungsbeispiele der Erfindung beschrieben werden, werden an dieser Stelle einige technische Überlegungen dargestellt, die im Zusammenhang mit der Erfindung stehen.Before describing exemplary embodiments of the invention with reference to the drawings, some technical considerations related to the invention will be described here.

TOF-basierende Sensorsysteme können generell sowohl in Bezug auf das Beleuchtungslicht als auch in Bezug auf das Messlicht in zwei grundsätzlich unterschiedliche Klassen unterteilt werden, welche beliebig miteinander kombiniert werden können.In general, TOF-based sensor systems can be subdivided into two fundamentally different classes both with regard to the illumination light and with regard to the measurement light, which can be combined as desired.

B1: Die erste Alternative (B1) für die Beleuchtung zeichnet sich dadurch aus, dass die Szene mittels eines einzelnen Beleuchtungslichtstrahls hoher Fokussierung und niedriger Divergenz (also hoher Kollimation) sequentiell abgetastet wird. Für jede Position des Beleuchtungslichtstrahls in der Szene wird eine Messung der Laufzeit des Beleuchtungslichts und des Messlichts vorgenommen. Das Abtasten kann unter Verwendung von beweglichen optischen Komponenten, insbesondere Spiegel, realisiert werden. Alternativ oder in Kombination kann für ein sequentielles Abtasten der Szene mit dem Beleuchtungslichtstrahl ein Festkörper verwendet werden, welcher ohne mechanisch bewegliche Teile auskommt und integrierte photonische Strukturen bzw. Schaltungen aufweist. Bei einer geeigneten Ansteuerung dieser Strukturen wird der Beleuchtungslichtstrahl dann auf die gewünschte Stelle der Szene gerichtet. Ein solcher Festkörper ist beispielsweise aus US 2015/293224 A1 bekannt.B1: The first alternative (B1) for the illumination is characterized in that the scene is scanned sequentially by means of a single illumination beam of high focus and low divergence (ie high collimation). For each position of the illumination light beam in the scene, a measurement of the duration of the illumination light and the measurement light is made. The scanning can be realized using movable optical components, in particular mirrors. Alternatively or in combination, for a sequential scanning of the scene with the illumination light beam, a solid can be used which manages without mechanically moving parts and has integrated photonic structures or circuits. With a suitable control of these structures, the illumination light beam is then directed to the desired location of the scene. Such a solid is for example off US 2015/293224 A1 known.

B2: Die zweite Alternative (B2) für die Beleuchtung zeichnet sich dadurch aus, dass die gesamte Szene (auf einmal und flächig) beleuchtet wird. Bei Bedarf kann die Intensität des Beleuchtungslichts in ausgewählten Teilbereichen der Szene (punktuell) erhöht werden, um an diesen Stellen eine verbesserte 3D Objekterfassung zu ermöglichen. Eine solche räumlich ungleichmäßige Verteilung der Intensität des Beleuchtungslichts kann ohne bewegliche optische Komponenten beispielsweise mittels eines sog. Diffraktiven Optischen Elementes (DOE) erfolgen.B2: The second alternative (B2) for lighting is characterized by the fact that the entire scene is illuminated (all at once and flatly). If necessary, the intensity of the illumination light in selected subregions of the scene can be (selectively) increased in order to enable improved 3D object detection at these locations. Such spatially uneven distribution of the intensity of the illumination light can be done without moving optical components, for example by means of a so-called. Diffractive optical element (DOE).

M1: Eine erste Alternative (M1) für die Messung basiert auf gepulsten Beleuchtungslichtstrahlen. Dabei wird die „Reisezeit“ eines Lichtimpulses auf der Empfängerseite für jeden Pixel innerhalb eines Zeitfensters bestimmt und daraus die Entfernung abgeleitet.M1: A first alternative (M1) for the measurement is based on pulsed illumination light beams. The "travel time" of a light pulse on the receiver side for each pixel within a time window is determined and derived from the distance.

M2: Die zweite Alternative (M2) für die Messung basiert auf einer zeitlichen, bevorzugt sinusförmigen, Modulation des Beleuchtungslichts mit einer vorgegebenen Frequenz, wobei geeignete Werte für diese Frequenz von der zu erwartenden Laufzeit bzw. der maximalen Erfassungsdistanz abhängen. Auf der Seite des Lichtempfängers wird die Phasendifferenz für jeden Pixel gemessen und daraus die Distanzinformation abgeleitet.M2: The second alternative (M2) for the measurement is based on a temporal, preferably sinusoidal, modulation of the illumination light with a predetermined frequency, suitable values for this frequency depending on the expected transit time or the maximum acquisition distance. On the side of the light receiver, the phase difference is measured for each pixel and derived therefrom the distance information.

Beide Messprinzipien M1 und M2 basieren auf einer Integration der Anzahl von Photonen bzw. der in dem Lichtempfänger generierten Photoelektronen, welche auf jedem zu messenden Pixel eintreffen. In diesem Zusammenhang ist es offensichtlich, dass ein stets vorhandenes Licht- bzw. Photonenrauschen von der Anzahl der in einem Pixel akkumulierten Photonen abhängt. Daher wird die aus der TOF Messung gewonnen Distanzinformation umso genauer, je höher die Anzahl an akkumulierten Photonen ist.Both measuring principles M1 and M2 are based on an integration of the number of photons or the photoelectrons generated in the light receiver, which arrive on each pixel to be measured. In this context, it is obvious that an ever-present light or photon noise depends on the number of photons accumulated in a pixel. Therefore, the higher the number of accumulated photons, the more accurate the distance information obtained from the TOF measurement becomes.

Weitere Vorteile und Merkmale der vorliegenden Erfindung ergeben sich aus der folgenden beispielhaften Beschreibung derzeit bevorzugter Ausführungsformen.Further advantages and features of the present invention will become apparent from the following exemplary description of presently preferred embodiments.

Figurenlistelist of figures

  • 1 zeigt die Verwendung eines Sensorsystems zum Steuern einer Bedeckungscharakteristik einer Öffnung mittels als Schiebetüren ausgebildeten Verschließkörpern . 1 shows the use of a sensor system for controlling a coverage characteristic of an opening by means of closing bodies formed as sliding doors.
  • Die 2a und 2b illustrieren eine Verformung einer als elastisches optisches Element ausgebildeten Freiformoptik.The 2a and 2 B illustrate a deformation of a designed as an elastic optical element freeform optics.
  • 3 zeigt die Verwendung eines Sensorsystems zum Erfassen eines Verkehrsflusses von auf einem Förderband transportierten Objekten. 3 shows the use of a sensor system for detecting a traffic flow of transported on a conveyor belt objects.
  • Die 4a und 4b illustrieren ein Zusammenfassen von Einzelpixeln eines Lichtempfängers.The 4a and 4b illustrate a collection of single pixels of a light receiver.
  • Die 5a bis 5c zeigen verschiedene Strahlquerschnitte eines Beleuchtungslichts zum Anpassen der Beleuchtung an die Form der zu erfassenden Szene.The 5a to 5c show different beam cross sections of an illumination light to adjust the lighting to the shape of the scene to be detected.

Detaillierte BeschreibungDetailed description

Es wird darauf hingewiesen, dass die nachfolgend beschriebenen Ausführungsformen lediglich eine beschränkte Auswahl an möglichen Ausführungsvarianten der Erfindung darstellen. Insbesondere ist es möglich, die Merkmale einzelner Ausführungsformen in geeigneter Weise miteinander zu kombinieren, so dass für den Fachmann mit den hier explizit dargestellten Ausführungsvarianten eine Vielzahl von verschiedenen Ausführungsformen als offensichtlich offenbart anzusehen sind.It should be noted that the embodiments described below represent only a limited selection of possible embodiments of the invention. In particular, it is possible to suitably combine the features of individual embodiments with one another, so that a multiplicity of different embodiments are to be regarded as obviously disclosed to the person skilled in the art with the embodiment variants explicitly illustrated here.

Bevor in diesem Abschnitt die Figuren im Detail beschrieben werden, werden nachstehend einige Aspekte von einer Reihe von Ausführungsformen erläutert.

  1. (1) In Anbetracht der bei vielen Anwendungen von 3D Sensorsystemen großen Bedeutung eines energieeffizienten Betriebs lässt sich die auf den Lichtempfänger treffende optische Energie des Messlichts dadurch optimieren, dass je nach Ausprägung der Szene die Szene unterschiedlich (intensiv) beleuchtet wird.
  2. (2) Für die meisten Anwendungen von TOF Sensorsystemen ist die zu erfassende Szene jedoch quaderförmiger oder kubischer Natur. Bekannte TOF Sensoren haben aber typischerweise einen Erfassungsbereich, der für alle erfassten Raumwinkel zumindest annähernd eine gleiche Reichweite hat. Die (Außen)Grenze des Erfassungsbereiches ist daher ein Teil einer Kugelschale (bei der alle Punkte den gleichen Abstand zu dem TOF Sensorsystem haben). Das in diesem Dokument beschriebene TOF Sensorsystem ist nun in der Lage, diese „Kugelschalenbegrenzung“ durch ein gezielte Erhöhung oder Reduzierung der Beleuchtungsintensität in ausgewählten Teilbereichen der Szene zumindest teilweise aufzugeben bzw. zu kompensieren. Durch eine durch eine Freiformlinse realisierte Reduzierung der Beleuchtungsintensität im Zentrum der Szene und eine Erhöhung der Beleuchtungsintensität gegen den Rand der Szene und insbesondere zu den Ecken hin, kann dieser mit dem vorstehend erläuterten cos^4 Gesetz beschriebene nachteilige Effekt reduziert und die für die Beleuchtung eingesetzte Energie optimal ausgenutzt werden.
  3. (3) Ferner lassen sich bestimmte von der räumlich geometrischen Anordnung von Sensorsystem und zu erfassender Szene abhängige Teilbereiche der Szene pauschalisiert mit einer optimalen Intensität von Beleuchtungslicht „belichten“. So wird zum Beispiel ein TOF-Sensorsystem üblicherweise über der mittleren Höhe der zu beobachtenden Objekte (Menschen, Produkte, Fahrzeuge, usw.) montiert, damit bei einer Mehrzahl von Objekten eine unerwünschte Objektabschattung weniger problematisch ist. Dies bedeutet aber, dass in den meisten Fällen der obere Bereich der Szene größere Messdistanzen beinhaltet als der untere Bereich. Dieses Wissen um den Montageort des Sensorsystems in Bezug zu der erfassenden Szene kann zur weiteren Optimierung des Betriebs des beschriebenen Sensorsystems insbesondere in Hinblick auf die energetische Effizienz berücksichtigt werden, indem der obere Bereich der Szene durch die Verwendung der beschriebenen Freiformoptik entsprechend weniger stark beleuchtet bzw. „belichtet“ wird.
  4. (4) Bei einer Lichtquelle, welche aus mehreren einzelnen Beleuchtungsintensität liefernden Elementen besteht, welche die gesamte Beleuchtungseinrichtung darstellen (z.b. ein Array von Laser- oder Leuchtdioden), kann eine raumwinkelabhängige Intensitätsverteilung von Beleuchtungslicht durch eine Variation der Helligkeit einzelner Elemente gegenüber anderen Elementen unterstützt werden. Diese Variation kann sowohl konstruktiv im Aufbau (z.B. Laser- oder Leuchtdioden mit unterschiedlicher Intensität) als auch durch die Art der Ansteuerung (via variablem Strom pro Laser- oder Leuchtdiode durch eine geeignete Elektronik, beispielshaft durch ein Einmessen bei der (Erst)Installation eingestellt) eingestellt werden. Ferner ist auch eine dynamische Einstellung der einzelnen Laser- oder Leuchtdioden während des Betriebs möglich. Dabei werden einfach diejenigen Laser- oder Leuchtdioden, welche Bereichen der Szene zugeordnet sind, die wenig Messlicht liefern, entsprechend stärker bestromt. Dies eignet sich besonders gut für das o.g. Beleuchtungsprinzip B2 in Kombination mit dem o.g. Messprinzip M1 oder M2.
  5. (5) Bei Beleuchtungseinrichtungen, welche mit einem Beleuchtungslichtstrahl sequentiell die ganze Szene abtasten (scannen), ist zu jedem Zeitpunkt der jeweilige momentane Raumwinkel des Beleuchtungslichtstrahls bekannt. Durch Variieren der Intensität dieses Beleuchtungslichtstrahls abhängig vom jeweiligen Raumwinkel kann so die Beleuchtungsintensität abhängig von der Szenengeometrie (und bei optionaler dynamischer „Ergebnisregelung“ auch abhängig von der Reflexions- bzw. Streulichtmenge) für jeden Raumwinkel die bereits von der Beleuchtungseinrichtung ausgesandte Beleuchtungsintensität gezielt gesteuert werden. So kann eine statische Szene eingemessen werden, wobei die zu jedem Raumwinkel passende Intensität an Beleuchtungslicht eingelernt wird.
  6. (6) Die vorstehend erläuterte und optionale dynamische Anpassung der Intensität an Beleuchtungslicht durch die Beleuchtungseinrichtung kann sowohl in Echtzeit als auch von „Frame zu Frame“ adaptiv erfolgen. Dabei wird für die Teile der Szene, von denen zu wenig Messlicht empfangen wird, unmittelbar die Intensität des entsprechenden Teil(Beleuchtungslichts) erhöht. Dies bedeutet, dass abhängig von den Ergebniswerten einer letzten Szenenerfassung für die nächste Szenenerfassung diejenigen Bereiche mit „Überbelichtung“ abgeschwächt beleuchtet und diejenigen mit „Unterbelichtung“ aufgehellt werden. Dieser Ansatz eignet sich besonders gut für das Beleuchtungsprinzip B1 in Kombination mit dem Messprinzip M1 oder M2.
  7. (7) Eine Ausführungsform der Erfindung erreicht eine Energieeinsparung mittels einer dynamischen Beleuchtungsenergieoptimierung, wobei Beleuchtungsenergien von unterschiedlichen Wellenlängen bzw. Frequenzen verwendet werden. Dabei können beispielsweise abhängig von der Farbe des Objekts die Wellenlängen, die zu den intensivsten Reflexionen bzw. Lichtstreuungen führen, mit einer geringeren Intensität ausgesendet werden. Im Gegensatz dazu können andere Wellenlängen bzw. andere Wellenlängenbereiche mit geringerer Reflexion bzw. Streuung in dem Wellenlängenspektrum mit einer höheren Intensität vorhanden sein. So kann beispielsweise ein rotes Objekt so primär mit einem rotem Lichtanteil beleuchtet werden und der grüne und der blaue Lichtanteil werden (für den betreffenden Raumwinkel) reduziert, bevorzugt auf zumindest annähernd eine Intensität von Null. Dasselbe Prinzip kann auch im Verhältnis zwischen sichtbarem Licht und infraroten (IR) Licht angewendet werden.
Before the figures are described in detail in this section, some aspects of a number of embodiments are explained below.
  1. (1) In view of the importance of energy-efficient operation in many applications of 3D sensor systems, the optical energy of the measurement light incident on the light receiver can be optimized by illuminating the scene differently (intensively) depending on the nature of the scene.
  2. (2) However, for most applications of TOF sensor systems, the scene to be captured is cuboidal or cubic in nature. However, known TOF sensors typically have a detection range that has at least approximately the same range for all detected solid angles. The (outer) boundary of the detection area is therefore part of a spherical shell (where all points are equidistant from the TOF sensor system). The TOF sensor system described in this document is now able to at least partially abandon or compensate for this "spherical shell boundary" by selectively increasing or reducing the illumination intensity in selected subregions of the scene. By reducing the illumination intensity in the center of the scene realized by a free-form lens and increasing the illumination intensity towards the edge of the scene and in particular to the corners, this can be reduced with the above-described cos ^ 4 law and the lighting effect used Energy can be optimally utilized.
  3. (3) In addition, certain subregions of the scene which are dependent on the spatial-geometric arrangement of the sensor system and the scene to be detected can be "exposed" in a generalized manner with an optimum intensity of illuminating light. For example, a TOF sensor system is typically mounted above the average height of the objects to be observed (people, products, vehicles, etc.) so that unwanted object shadowing is less problematic in a variety of objects. However, this means that in most cases the upper part of the scene contains larger measurement distances than the lower part. This knowledge about the mounting location of the sensor system with respect to the sensing scene can be taken into account for further optimizing the operation of the described sensor system, in particular with regard to the energy efficiency, by correspondingly less illuminating the upper area of the scene through the use of the free-form optics described. Is "exposed".
  4. (4) In a light source consisting of a plurality of individual illumination intensity providing elements representing the entire illumination device (eg, an array of laser or light emitting diodes), a space angle-dependent intensity distribution of illumination light can be promoted by varying the brightness of individual elements over other elements , This variation can be both constructive in structure (eg laser or light emitting diodes with different intensity) as well as by the type of control (via variable current per laser or light emitting diode by a suitable electronics, for example by a calibration in the (initial) installation set) be set. Furthermore, a dynamic adjustment of the individual laser or LEDs during operation is possible. In this case, simply those laser or light emitting diodes, which are assigned to areas of the scene that provide little measuring light, are correspondingly more energized. This is particularly well suited for the above-mentioned lighting principle B2 in combination with the aforementioned measuring principle M1 or M2.
  5. (5) For lighting devices which sequentially scan (scan) the entire scene with an illuminating light beam, the respective instantaneous solid angle of the illuminating light beam is known at all times. By varying the intensity of this illumination light beam as a function of the respective solid angle, the illumination intensity can thus be controlled in a targeted manner, depending on the scene geometry (and with optional dynamic "result control" also depending on the amount of reflection or scattered light) for each solid angle, the illumination intensity already emitted by the illumination device. Thus, a static scene can be measured, with the appropriate intensity for each solid angle is taught to illuminating light.
  6. (6) The above-explained and optionally dynamic adaptation of the intensity of illumination light by the illumination device can be adaptive both in real time and from "frame to frame". In this case, for the parts of the scene from which too little measuring light is received, immediately the intensity of the corresponding part (illumination light) is increased. This means that, depending on the result values of a last scene capture for the next scene capture, those areas with "overexposure" are illuminated at a reduced level and those with "underexposure" are brightened. This approach is particularly well suited for the lighting principle B1 in combination with the measuring principle M1 or M2.
  7. (7) An embodiment of the invention achieves energy saving by means of dynamic lighting energy optimization using illumination energies of different wavelengths or frequencies. In this case, depending on the color of the object, the wavelengths which lead to the most intense reflections or light scattering can be emitted at a lower intensity, for example. In contrast, other wavelengths or other wavelength regions with less reflection or scattering may be present in the wavelength spectrum with a higher intensity. Thus, for example, a red object can be illuminated primarily with a red light component and the green and blue light components are reduced (for the relevant solid angle), preferably to at least approximately zero intensity. The same principle can also be applied in the relationship between visible light and infrared (IR) light.

Die im Rahmen einer frequenz- bzw. wellenlängenvariablen Beleuchtung gewonnen Informationen betreffend Reflexions- bzw. Streueigenschaften mit zugehöriger Distanz und Raumwinkel können bei einer nachfolgenden Szenenauswertung von bewegten Objekten von großem Vorteil sein, weil dadurch einfacher Objekte erkannt und verfolgt werden können, da die funktionelle Zusammengehörigkeit von Raumpunkten über die Reflexions- bzw. Streueigenschaften zusätzlich gruppierend interpretiert werden können.

  • (8) Das in diesem Dokument beschriebene Sensorsystem kann beispielsweise bei Durchgängen einsetzt werden, insbesondere bei Durchgängen, welche eine Verschlusscharakteristik aufweisen, die automatisch gesteuert wird (z.B. mittels Türen, Tore, Barrieren, Ampeln, etc.). Da die Sensorik für eine Durchgangssteuerung üblicherweise durch die vorhandenen Verschlusssysteme mit Energie versorgt wird, gilt es mit einer gegebenen Energiemenge möglichst viel sensorische Wirkung zu erzielen. Das in diesem Dokument beschriebene Sensorsystem erlaubt im Vergleich zu bekannten Sensorsystemen (i) eine Datenerfassung für größere Distanzen (früheres Erkennen einer Öffnungsanforderung, insbesondere bei schneller bewegenden Objekten), (ii) breitere Erfassungswinkel (z.B. frühzeitiges Erkennen und Verfolgen von Querverkehr) und/oder (iii) ein zuverlässigeres Erkennen von Objekten in einem Sicherheitsbereich des Verschlusssystems.
  • (9) In einer weiteren Ausführungsform, welche sich vor allem für das Beleuchtungsprinzip B2 eignet, wird eine (zusätzliche) räumliche Variation des Beleuchtungslichts durch DOE's erreicht, welche auch als ein Teil der beschriebenen Freiformoptik angesehen werden können. Bei DOE's im Zusammenhang mit Lasersystemen kann so die maximale Beleuchtungsenergie ausgenutzt werden, weil diejenigen Anteile der Beleuchtungslichtstrahlen, welche mit geringerer Intensität auf die Szene treffen sollen, nicht einfach durch eine Maske ausgeblendet werden sondern deren Intensität durch das DOE auf andere Bereiche der Szene umverteilt wird. So kann die Energie des Beleuchtungslichts nahezu vollständig ausgenutzt werden. Derselbe Effekt der Konzentration von Beleuchtungslicht in einem Teilbereich der Szene (wenn auch mit tieferer Effizienz) kann auch durch Mechanismen erreicht werden, wie sie für Musterprojektionen verwendet werden, die für 3D Sensoren erforderlich sind, welche auf dem bekannten Prinzip der strukturierten Beleuchtung bzw. der sog. Streifenprojektion beruhen.
  • (10) In einer weiteren Ausführungsform wird die zu erfassende Szene zunächst konventionell, insbesondere gemäß dem Beleuchtungsprinzip B2, beleuchtet. Nach einer Ermittlung der Distanzinformation der ganzen Szene werden in den folgenden Szenenerfassungen die „überbelichteten Regionen“ mit einer geringeren Beleuchtungsintensität beleuchtet. Insbesondere bei Sensorsystemen, die zeitliche Veränderungen von Objekten in der Szene detektieren sollen, kann das Sensorsystem an der unteren Grenze der Messbarkeit betrieben werden, solange die Szene (noch) statisch ist. Wenn jedoch eine Veränderung in der Szene (grob) erkannt oder zumindest vermutet wird, dann kann sofort mit einer Erhöhung der Beleuchtungsintensität reagiert werden, so dass die Szene beziehungsweise die Szenenveränderungen dann mit einer hohen Genauigkeit erfasst und ausgewertet werden können. Dieser Mechanismus kann sowohl für IR Sensorsysteme als auch für Sensorsysteme verwendet werden, die mit sichtbarem Licht arbeiten.
The information obtained in the context of a variable-frequency or wavelength variable illumination with respect to reflection or scattering properties with associated distance and solid angle can be of great advantage in a subsequent scene analysis of moving objects, as this simple objects can be detected and tracked, since the functional togetherness of spatial points on the reflection or scattering properties can be interpreted in addition grouping.
  • (8) The sensor system described in this document can be used, for example, in passages, in particular in passages which have a locking characteristic which is automatically controlled (eg by means of doors, gates, barriers, traffic lights, etc.). Since the sensors for a passage control are usually powered by the existing closure systems with energy, it is necessary to achieve as much sensory effect with a given amount of energy. Compared to known sensor systems (i), the sensor system described in this document permits data acquisition for longer distances (earlier detection of an opening request, especially for faster moving objects), (ii) wider detection angles (eg early detection and tracking of cross traffic) and / or (iii) a more reliable detection of objects in a security area of the closure system.
  • (9) In a further embodiment, which is particularly suitable for the illumination principle B2, an (additional) spatial variation of the illumination light is achieved by DOEs, which can also be regarded as part of the described free-form optics. In the case of DOEs in the context of laser systems, the maximum illumination energy can thus be utilized because those portions of the illumination light beams which are to hit the scene with less intensity are not simply masked out by a mask, but their intensity is redistributed by the DOE to other areas of the scene , Thus, the energy of the illumination light can be almost completely utilized. The same effect of concentration of illumination light in a sub-area of the scene (albeit with lower efficiency) can also be achieved by mechanisms used for pattern projections required for 3D sensors based on the well-known structured illumination principle so-called strip projection based.
  • (10) In a further embodiment, the scene to be detected is first illuminated conventionally, in particular according to the illumination principle B2. After determining the distance information of the whole scene, in the following scene acquisitions the "overexposed regions" are illuminated with a lower illumination intensity. Particularly in sensor systems which are intended to detect temporal changes of objects in the scene, the sensor system can be operated at the lower limit of the measurability as long as the scene is (still) static. However, if a change in the scene is (grossly) detected or at least suspected, then an increase in the illumination intensity can be reacted immediately, so that the scene or the scene changes can then be detected and evaluated with high accuracy. This mechanism can be used for both IR sensor systems and visible light sensor systems.

In der folgenden auf die Figuren Bezug nehmenden detaillierten Beschreibung sind Merkmale bzw. Komponenten von unterschiedlichen Ausführungsformen, die mit den entsprechenden Merkmalen bzw. Komponenten von einer anderen Ausführungsform nach gleich oder zumindest funktionsgleich sind, mit den gleichen Bezugszeichen oder mit Bezugszeichen versehen, welche in den letzten beiden Ziffern identisch sind. Zur Vermeidung von unnötigen Wiederholungen werden bereits anhand einer vorher beschriebenen Ausführungsform erläuterte Merkmale bzw. Komponenten an späterer Stelle nicht mehr im Detail erläutert.In the following detailed description referring to the figures, features of different embodiments, which are the same or at least functionally identical to the corresponding features or components of another embodiment, are provided with the same reference numerals or with reference numerals, which in the last two digits are identical. In order to avoid unnecessary repetitions, features or components already explained on the basis of a previously described embodiment will not be explained in detail later.

1 zeigt die Verwendung eines Sensorsystems 100 zum Steuern einer Bedeckungscharakteristik einer Öffnung 184 abhängig von der Charakteristik einer von dem Sensorsystem 100 überwachten Szene 190. Gemäß dem hier dargestellten Ausführungsbeispiel ist die Öffnung 184 eine Eintrittsöffnung für Personen in ein Gebäude oder eine Garageneinfahrt für Kraftfahrzeuge. Die entsprechende Eingangsstruktur ist mit dem Bezugszeichen 180 versehen. Ein in der Szene 190 befindliches Objekt 195 soll eine solche Person oder ein Kraftfahrzeug symbolisieren. 1 shows the use of a sensor system 100 to control a Covering characteristic of an opening 184 depending on the characteristics of one of the sensor system 100 watched scene 190 , According to the embodiment shown here, the opening 184 an entrance opening for persons in a building or a garage entrance for motor vehicles. The corresponding input structure is denoted by the reference numeral 180 Provided. One in the scene 190 located object 195 should symbolize such a person or a motor vehicle.

Die Eingangsstruktur 180 umfasst eine stationäre Haltestruktur 182, welche einen Rahmen sowie eine Führung für zwei als Schiebetüren ausgebildete Verschließkörper 186 darstellt. Die Schiebetüren 186 können jeweils mittels eines Motors 187 entlang der durch zwei dicke Doppelpfeile dargestellten Verschieberichtungen bewegt werden. Die Ansteuerung der Motoren 187 erfolgt, wie im Folgenden dargelegt, mittels des in diesem Dokument beschriebenen Sensorsystems 100.The entrance structure 180 includes a stationary support structure 182 which a frame and a guide for two designed as a sliding closure body 186 represents. The sliding doors 186 can each by means of a motor 187 along the displacement directions represented by two thick double arrows. The control of the motors 187 takes place, as set out below, by means of the sensor system described in this document 100 ,

Das Sensorsystem 100 weist auf (a) ein TOF-Erfassungssystem 110, (b) eine Datenverarbeitungseinrichtung 150 sowie (c) eine Datenbank 160. Das TOF-Erfassungssystem 110 wiederum weist auf (a1) eine Beleuchtungseinrichtung 130 zum Aussenden von Beleuchtungslicht 131 sowie (a2) eine Messeinrichtung 115, welche für die Erfassung und Messung von Messlicht 196 zuständig ist. In Übereistimmung mit dem Prinzip einer 3D TOF Erfassung ist das Messlicht 196 zumindest teilweise von dem Objekt 195 zurückgestreutes Beleuchtungslicht 131. In der in 1 dargestellten Architektur des TOF Erfassungssystems 110 weist die Messeinrichtung 115 auf (a2-i) einen Lichtempfänger 120 und (a2-ii) eine Messeinheit 125, welche dem Lichtempfänger 120 nachgeschaltet ist und welche eingerichtet ist zum Messen einer Lichtlaufzeit zwischen von der Beleuchtungseinrichtung 130 ausgesandtem Beleuchtungslicht 131 und von dem Lichtempfänger 120 empfangenem Messlicht 196. Ferner ist der Messeinrichtung 115 eine Lichtempfänger-Steuereinrichtung 122 zugeordnet, welche den Betrieb des Lichtempfängers 120 in Hinblick auf verschiedene Betriebsmodi steuert.The sensor system 100 indicates (a) a TOF detection system 110 , (b) a data processing device 150 and (c) a database 160 , The TOF detection system 110 again, (a1) has a lighting device 130 for emitting illumination light 131 and (a2) a measuring device 115 , which are used for the acquisition and measurement of measuring light 196 responsible is. In accordance with the principle of a 3D TOF detection is the measuring light 196 at least partially of the object 195 backscattered illumination light 131 , In the in 1 illustrated architecture of the TOF detection system 110 indicates the measuring device 115 on (a2-i) a light receiver 120 and (a2-ii) a measuring unit 125 which the light receiver 120 is arranged downstream and which is adapted to measure a light transit time between the illumination device 130 emitted illumination light 131 and from the light receiver 120 received measurement light 196 , Furthermore, the measuring device 115 a light receiver control device 122 associated with the operation of the light receiver 120 in terms of different operating modes controls.

Gemäß dem hier dargestellten Ausführungsbeispiel weist das TOF-Erfassungssystem 110 auf bzw. sind dem TOF-Erfassungssystem 110 zugeordnet (a3) eine Beleuchtungslicht-Steuereinrichtung 135 zum Steuern des Betriebs der Beleuchtungseinrichtung 130 sowie (a4) eine Freiformoptik-Steuereinrichtung 145 zum Ansteuern von Aktuatoren 131, 143, mittels welchen die optischen Abbildungseigenschaften von Freiformoptiken 140 bzw. 142 gezielt eingestellt werden können.According to the embodiment shown here, the TOF detection system 110 are on the TOF detection system 110 assigned (a3) an illumination light control means 135 for controlling the operation of the lighting device 130 and (a4) a freeform optical controller 145 for controlling actuators 131 . 143 , by means of which the optical imaging properties of freeform optics 140 or. 142 can be targeted.

Wie aus 1 ersichtlich, weist das Sensorsystem 100 gemäß dem hier dargestellten Ausführungsbeispiel zwei Freiformoptiken 140 auf, die jeweils einer von zwei Lichtquellen bzw. Beleuchtungseinheiten der Beleuchtungseirichtung 130 zugeordnet sind und sich in dem entsprechenden Strahlengang des jeweiligen Beleuchtungslichts 131 befinden. Gemäß dem hier dargestellten Ausführungsbeispiel sind die beiden Freiformoptiken 140 nicht statisch sondern können mittel jeweils eines schematisch dargestellten Aktuators 141 verformt werden. Dadurch verändern sich die Abbildungseigenschaften der Freiformoptiken 140 und es entsteht eine gegenüber der raumwinkelabhängigen Intensitätsverteilung des Beleuchtungslichts, so wie es von der jeweiligen Beleuchtungseinheit der Beleuchtungseirichtung 130 ausgesandt wird, modifizierte Intensitätsverteilung von Beleuchtungslicht 131, so wie es auf die Szene 190 trifft und diese beleuchtet bzw. belichtet. Durch eine gezielte Verformung der elastischen Freiformoptiken 140, welche von der Freiformoptik-Steuereinrichtung 145 veranlasst und von den betreffenden Aktuatoren 141 durchgeführt wird, kann die räumliche Charakteristik des Beleuchtungslichts 131, so wie es auf die Szene 190 auftrifft, in Hinblick auf eine gewünschte raumwinkelabhängige Verteilung der Intensität des Beleuchtungslichts 131 in der Szene 190 eingestellt werden. Dabei ist die gewünschte raumwinkelabhängige Verteilung der Beleuchtungslichtintensität typischerweise diejenige Intensitätsverteilung, bei der die Erfassung der Szene durch den Lichtempfänger 120 und die Signalverarbeitung durch die nachgeschaltete Messeinheit 125 sowie die Datenverarbeitungseinrichtung 150 möglichst zuverlässig und/oder genau erfolgen kann.How out 1 can be seen, the sensor system 100 according to the embodiment shown here, two freeform optics 140 each one of two light sources or lighting units of the lighting device 130 are assigned and in the corresponding beam path of the respective illumination light 131 are located. According to the embodiment shown here, the two free-form optics 140 not static but can each mean a schematically illustrated actuator 141 be deformed. This changes the imaging properties of the freeform optics 140 and there arises a relation to the space angle-dependent intensity distribution of the illumination light, as it from the respective illumination unit of the Beleuchtungseirichtung 130 is emitted, modified intensity distribution of illumination light 131 as it is on the scene 190 meets and illuminates or illuminates. Through a targeted deformation of the elastic freeform optics 140 that of the freeform optics controller 145 caused by the relevant actuators 141 is performed, the spatial characteristics of the illumination light 131 as it is on the scene 190 impinges, in view of a desired space angle-dependent distribution of the intensity of the illumination light 131 in the scene 190 be set. In this case, the desired spatial angle-dependent distribution of the illumination light intensity is typically that intensity distribution at which the detection of the scene by the light receiver 120 and the signal processing by the downstream measuring unit 125 and the data processing device 150 as reliable and / or accurate as possible.

In Bezug auf die weitere Freiformoptik 142, welche in dem Strahlengang des Messlichts 196 angeordnet ist, gelten die gleichen Funktionsprinzipien wie bei den beiden Freiformoptiken 140. Auch die optischen Eigenschaften in Bezug auf eine Modifizierung der Intensitätsverteilung des Messlichts 196 werden über einen Aktuator 143 von der Freiformoptik-Steuereinrichtung 145 gesteuert. Durch eine gezielte Verformung der weiteren Freiformoptik 142 wird die raumwinkelabhängige Einsammlung der Intensität des Messlichts 196 modifiziert. Dies geschieht bevorzugt so, dass das räumlich in Bezug auf seine Intensität inhomogen verteilte Messlicht 196, so wie es (in 1 von unten) auf die Freiformoptik 140 trifft, „homogenisiert“ wird, so dass das Messlicht mit einer möglichst homogenen Intensitätsverteilung auf den Lichtempfänger 120 trifft.Regarding the further freeform optics 142 , which in the beam path of the measuring light 196 is arranged, the same principles of operation apply as in the two freeform optics 140 , Also the optical properties with respect to a modification of the intensity distribution of the measuring light 196 be about an actuator 143 from the freeform optical controller 145 controlled. Through a targeted deformation of the further free-form optics 142 becomes the spatial angle-dependent collection of the intensity of the measuring light 196 modified. This is preferably done in such a way that the measurement light distributed spatially with respect to its intensity is inhomogeneous 196 as it is (in 1 from below) on the freeform optics 140 meets, "homogenizes", so that the measuring light with a homogeneous distribution of intensity as possible on the light receiver 120 meets.

Es wird darauf hingewiesen, dass die hier beschriebene Raumwinkelabhängigkeit des Beleuchtungslichts und des Messlichts auch durch lediglich eine Art von Freiformoptik realisiert werden kann. So kann beispielsweise die ganze „Raumwinkelmodifikation“ lediglich mit der Freiformoptik 140 oder lediglich mit den Freiformoptiken 142 erfolgen. Es wird ferner darauf hingewiesen, dass die Freiformoptiken 140 und 142 anstelle von elastischen refraktiven optischen Elementen auch mit anderen optischen Elementen, beispielsweise mittels diffraktiven und/oder reflektiven optischen Elementen realisiert werden können. It should be noted that the solid angle dependence of the illumination light and the measurement light described here can also be realized by only one type of free-form optics. For example, the whole "solid angle modification" only with the freeform optics 140 or only with the freeform optics 142 respectively. It should also be noted that the Freeform optics 140 and 142 instead of elastic refractive optical elements can also be realized with other optical elements, for example by means of diffractive and / or reflective optical elements.

Es wird weiter darauf hingewiesen, dass das Beleuchtungslicht und das Messlicht zumindest teilweise durch dieselbe Freiformoptik geleitet werden können.It is further pointed out that the illumination light and the measuring light can be guided at least partially through the same free-form optics.

In dem TOF-Erfassungssystem 110 sind insbesondere alle optischen Komponenten des Sensorsystems 100 enthalten. Dies gilt auch für die Freiformoptiken 140 und 142 sowie die Aktuatoren 141 bzw. 143, welche über in 1 aus Gründen der Übersichtlichkeit nicht dargestellten Haltestrukturen an einem Gehäuse des TOF-Erfassungssystems 110 angebracht sind. Mittels einer Halterung 111 ist zumindest das TOF-Erfassungssystem 110 an der stationären Haltestruktur 182 in mechanisch stabiler und räumlich fester Weise angebracht. Bevorzugt ist das ganze Sensorsystem 100 (im Gegensatz zu der Darstellung von 1) als ein Modul aufgebaut, welches innerhalb einer kompakten Bauweise neben dem TOF-Erfassungssystem 110 auch noch die Datenverarbeitungseinrichtung 150 sowie die Datenbank 160 aufweist.In the TOF detection system 110 are in particular all optical components of the sensor system 100 contain. This also applies to the freeform optics 140 and 142 as well as the actuators 141 or. 143 which over in 1 for reasons of clarity not shown holding structures on a housing of the TOF detection system 110 are attached. By means of a holder 111 is at least the TOF detection system 110 at the stationary support structure 182 mounted in a mechanically stable and spatially fixed manner. The entire sensor system is preferred 100 (in contrast to the representation of 1 ) is constructed as a module which is within a compact design adjacent to the TOF detection system 110 also the data processing device 150 as well as the database 160 having.

Gemäß dem hier dargestellten Ausführungsbeispiel kann die Lichtempfänger-Steuereinrichtung 122 den Lichtempfänger 120 dazu veranlassen, in einem bestimmten von zumindest zwei unterschiedlichen Betriebsmodi zu arbeiten. In den verschiedenen Betriebsmodi können, beispielsweise veranlasst durch eine vorherige Szenenauswertung mittels der Datenverarbeitungseinrichtung 150, einzelne Pixel des Lichtempfängers 120 eine unterschiedliche Sensitivität bzw. einen unterschiedlichen Wirkungsgrad in Bezug auf eine Akkumulation von Photonen haben. Auch ein nachstehend anhand der 4a und 4b beschriebenes szenenabhängiges Zusammenfassen von Pixeln des Lichtempfängers 120 kann von der Lichtempfänger-Steuereinrichtung 122 veranlasst bzw. gesteuert werden.According to the embodiment shown here, the light receiver control device 122 the light receiver 120 to work in a particular one of at least two different modes of operation. In the various operating modes, for example, caused by a previous scene evaluation by means of the data processing device 150 , individual pixels of the light receiver 120 have a different sensitivity or a different efficiency with respect to an accumulation of photons. Also a below based on the 4a and 4b described scene-dependent summarization of pixels of the light receiver 120 can from the light receiver control device 122 be initiated or controlled.

Ein an die Datenverarbeitungseinrichtung 150 über eine Schnittstelle 152 übergebenes externes Steuersignal 152a kann dazu verwendet werden, den Betrieb der Datenverarbeitungseinrichtung 150 zumindest teilweise von externen Informationen abhängig zu machen. Insbesondere kann über das Steuersignal 152a ein „a priori Wissen“ über ein Objekt 195 für eine verbesserte Auswertung der erfassten Szene 190 und insbesondere für eine verbesserte Objekterkennung übermittelt werden.On to the data processing device 150 via an interface 152 passed external control signal 152a can be used to control the operation of the data processing device 150 at least partially dependent on external information. In particular, via the control signal 152a an "a priori knowledge" about an object 195 for an improved evaluation of the captured scene 190 and in particular for improved object recognition.

Gemäß dem hier dargestellten Ausführungsbeispiel beleuchtet die Beleuchtungseinrichtung 130, welche beispielsweise ein Array von individuell ansteuerbaren Laser- oder Leuchtdioden sein kann, die Szene 190 und damit auch das in der Szene 190 befindliche Objekt 195 mit einem gepulsten und damit zeitlich modulierten Beleuchtungslicht 131. Die Beleuchtungslicht-Steuereinrichtung 135 ist konfiguriert, die Beleuchtungseinrichtung 130 derart anzusteuern, dass eine Charakteristik des Beleuchtungslichts 131, welche die Abhängigkeit der Beleuchtungsintensität des Beleuchtungslichts 131 von dem Raumwinkel beschreibt (in dem das Beleuchtungslicht 131 auf die Freiformoptik 140 trifft), während eines Betriebes des Sensorsystems 100 dynamisch veränderbar ist.According to the exemplary embodiment illustrated here, the illumination device illuminates 130 which may be, for example, an array of individually controllable laser or light-emitting diodes, the scene 190 and therefore also in the scene 190 located object 195 with a pulsed and thus temporally modulated illumination light 131 , The illumination light controller 135 is configured, the lighting device 130 such that a characteristic of the illumination light 131 indicating the dependence of the illumination intensity of the illumination light 131 from the solid angle (in which the illumination light 131 on the freeform optics 140 meets) during operation of the sensor system 100 is dynamically changeable.

Die raumwinkelabhängige Intensitätsverteilung des Beleuchtungslichts 131 ist in 1 aus Gründen der Übersichtlichkeit nicht dargestellt. Um eine möglichst gleichmäßige Verteilung der Intensität des zurückgestreuten Messlichts 196 zu erreichen (so wie es auf den Lichtempfänger trifft), werden diejenigen Raumwinkel der Szene 190, welche einer größeren Messdistanz zugeordnet sind, stärker beleuchtet als andere Raumwinkel, welche einer geringeren Messdistanz zugeordnet sind.The space angle-dependent intensity distribution of the illumination light 131 is in 1 not shown for reasons of clarity. To ensure that the intensity of the backscattered measuring light is as uniform as possible 196 To reach (as it meets the light receiver), those solid angles of the scene 190 , which are associated with a larger measuring distance, illuminated more than other solid angles, which are associated with a smaller measuring distance.

Die Beleuchtungslicht-Steuereinrichtung 135 kann die Charakteristik des Beleuchtungslichts 131 auch in Bezug weitere (nicht räumliche) Eigenschaften des Beleuchtungslichts 131 modifizieren, beispielsweise dessen (a) Wellenlänge, (b) spektrale Intensitätsverteilung, (c) Polarisationsrichtung, und (d) Intensitätsverteilung für unterschiedliche Polarisationsrichtungen. Diese weiteren Eigenschaften können dabei derart ausgewählt sein, dass sie zu einer möglichst zuverlässigen und genauen Objekterkennung beitragen. Auch hier kann ein „a priori Wissen“ über optische Eigenschaften des Objekts 195 berücksichtigt werden.The illumination light controller 135 can the characteristic of the illumination light 131 also with regard to further (non-spatial) properties of the illumination light 131 for example, its (a) wavelength, (b) spectral intensity distribution, (c) polarization direction, and (d) intensity distribution for different polarization directions. These further properties can be selected such that they contribute to the most reliable and accurate object recognition possible. Again, a "a priori knowledge" about optical properties of the object 195 be taken into account.

Es wird darauf hingewiesen, dass die Beleuchtungseinrichtung 130 neben den in 1 dargestellten Beleuchtungseinheiten auch noch andere Beleuchtungseinheiten aufweisen kann, welche die Szene 190 aus einem anderen Winkel beleuchten. Ebenfalls können die beiden Beleuchtungseinheiten oder es kann auch nur eine Beleuchtungseinheit auch außerhalb des Gehäuses des TOF-Erfassungssystems 110 angeordnet und damit von dem Lichtempfänger 120 weiter beabstandet sein. An den Prinzipien der durchgeführten TOF Messung ändert sich dadurch nichts.It should be noted that the lighting device 130 next to the in 1 Lighting units shown may also have other lighting units that the scene 190 illuminate from another angle. Likewise, the two lighting units or it can also be just one lighting unit outside the housing of the TOF detection system 110 arranged and thus of the light receiver 120 be further spaced. This does not change the principles of the TOF measurement.

Gemäß dem hier dargestellten Ausführungsbeispiel wird basierend auf diesen 3D Daten die erfasste optische Szene 190 mit der Datenverarbeitungseinrichtung 150 unter Verwendung von geeignete Methoden der Bildauswertung ausgewertet. Dazu können mehrere Bilder, welche von der Szene 190 unter unterschiedlichen Beleuchtungsbedingungen bzw. unterschiedlichen Beleuchtungscharakteristika aufgenommen wurden, gemeinsam verwendet werden.According to the exemplary embodiment illustrated here, the detected optical scene is based on this 3D data 190 with the data processing device 150 evaluated using suitable methods of image evaluation. This can include several pictures, which of the scene 190 under different lighting conditions or different Lighting characteristics were recorded, used together.

Gemäß dem hier dargestellten Ausführungsbeispiel ist das Sensorsystem 100 in der Lage, eine Objekterkennung vorzunehmen. Dazu greift die Datenverarbeitungseinrichtung 150 auf einen in der Datenbank 160 abgelegten Datensatz von Referenzobjekten zu, welche ausgewählten Objekten entsprechen, die autorisiert sind, die Öffnung 184 zu passieren. Dies bedeutet, dass bei einer geeigneten Annäherung des Objekts 195 an den Eingang 184 die Schiebetüren 186 lediglich dann geöffnet werden, wenn das erfasste Objekt 195 zumindest annähernd mit einem der hinterlegten Referenzobjekten übereinstimmt. Dies bedeutet anschaulich, dass bei der hier beschriebenen Verwendung des Sensorsystems 100 die Bedeckungscharakteristik des Objekts 184 auch noch von dem Ergebnis einer objektbasierten Zugangskontrolle abhängt.According to the embodiment shown here, the sensor system 100 able to perform an object detection. This is done by the data processing device 150 to one in the database 160 stored record of reference objects that correspond to selected objects that are authorized to open 184 to happen. This means that at a suitable approach of the object 195 to the entrance 184 the sliding doors 186 only be opened when the detected object 195 at least approximately coincident with one of the stored reference objects. This clearly indicates that in the use of the sensor system described here 100 the coverage characteristic of the object 184 also depends on the result of an object-based access control.

Die 2a und 2b illustrieren eine Verformung einer als elastisches optisch refraktives Element ausgebildeten Freiformoptik. 2a zeigt das optische Element 240a in einem ersten Betriebszustand, welcher durch eine erste räumliche Struktur charakterisiert ist. Gemäß dem hier dargestellten Ausführungsbeispiel zeichnet sich der erste Betriebszustand dadurch aus, dass abgesehen von eventuell vorhandenen internen Spannung von außen (von einem Aktuator) keine Kraft bzw. kein Druck auf die Freiformoptik 240a ausgeübt wird. Das entsprechende (nicht verzogene) Koordinatensystem ist in 2a in dem optischen Element 240a dargestellt.The 2a and 2 B illustrate a deformation of a designed as an elastic optically refractive element freeform optics. 2a shows the optical element 240a in a first operating state, which is characterized by a first spatial structure. According to the embodiment shown here, the first operating state is characterized by the fact that apart from any existing internal voltage from the outside (by an actuator) no force or no pressure on the freeform optics 240a is exercised. The corresponding (not warped) coordinate system is in 2a in the optical element 240a shown.

2b zeigt das optische Element, welches nun mit dem Bezugszeichen 240b versehen ist, in einem zweiten (verspannten) Betriebszustand, welcher durch eine zweite räumliche Struktur charakterisiert ist, die unterschiedlich ist zu der ersten räumlichen Struktur. Es ist offensichtlich, dass sich dadurch auch die Lichtformungseigenschaften insbesondere in Hinblick auf eine Modifizierung der Intensitätsverteilung von hindurchtretendem Beleuchtungslicht oder Messlicht verändern. 2 B shows the optical element, which now with the reference numeral 240b is provided, in a second (strained) operating state, which is characterized by a second spatial structure that is different from the first spatial structure. It is obvious that this also changes the light shaping properties, in particular with regard to a modification of the intensity distribution of illuminating light or measuring light passing through.

Der zweite Betriebszustand wird dadurch eingestellt, dass von außen (von einem nicht dargestellten Aktuator) eine Kraft bzw. ein Druck auf das optische Element 240b ausgeübt wird. Das entsprechende (verzogene) Koordinatensystem des optischen Elementes ist in 2b illustriert. Die in Bezug zu dem ersten Zustand entlang der Koordinatenachsen veränderten Dimensionen bzw. Längen der Freiformoptik 240b sind durch unterschiedlich lange Koordinatenachsen illustriert.The second operating state is set by a force or a pressure on the optical element from the outside (from an actuator, not shown) 240b is exercised. The corresponding (warped) coordinate system of the optical element is in 2 B illustrated. The dimensions or lengths of the freeform optics changed with respect to the first state along the coordinate axes 240b are illustrated by coordinate axes of different lengths.

3 zeigt eine weitere Verwendung bzw. einen weiteren Einsatz des Sensorsystems 100. Aus Gründen der Übersichtlichkeit ist in 3 lediglich das TOF-Erfassungssystem 110 des Sensorsystems 100 dargestellt. 3 shows a further use or a further use of the sensor system 100 , For clarity, is in 3 only the TOF detection system 110 of the sensor system 100 shown.

Gemäß dem hier dargestellten Ausführungsbeispiel erfasst das TOF-Erfassungssystem 110 einen Verkehrsfluss von (verschiedenen) Objekten 395a, 395b, 395c, 395d und 395e, welche sich auf einem Förderband 398 befinden und entlang der durch einen Pfeil dargestellten Bewegungsrichtung durch eine Szene 390 hindurch bewegen. Eine zuverlässige Kenntnis der Anzahl und/oder der Art der Objekte 395a bis 395e kann im Bereich der Logistik für eine Steuerung des Verkehrsflusses verwendet werden. Lediglich ein Beispiel für eine solche Steuerung eines Verkehrsfluss ist die Steuerung des Gepäcktransportes in einem Flughafen. Dabei können auch Etiketten auf den betreffenden Objekten 395a - 395e die Art des jeweiligen Objektes bestimmen. Es wird jedoch darauf hingewiesen, dass der Einsatz in einem Flughafen lediglich ein Beispiel von einer Vielzahl von anderen Anwendungsmöglichkeiten auf dem Gebiet der Verkehrsteuerung ist.According to the embodiment illustrated here, the TOF detection system detects 110 a traffic flow of (different) objects 395a . 395b . 395c . 395d and 395e , which are on a conveyor belt 398 and along the direction of movement represented by an arrow through a scene 390 move through. Reliable knowledge of the number and / or type of objects 395a to 395e can be used in the field of logistics for traffic flow control. Only one example of such a control of a traffic flow is the control of the luggage transport in an airport. It can also labels on the objects 395a - 395e determine the type of each object. It should be noted, however, that use in an airport is just one example of a variety of other traffic control applications.

Die 4a und 4b illustrieren ein Zusammenfassen von Einzelpixeln eines als ein Halbleiter- bzw. CCD Chip ausgebildeten Lichtempfängers 420a bzw. 420b. Der Lichtempfänger 420a weist eine Vielzahl von lichtsensitiven bzw. Photonen sammelnden Pixeln 422a auf. Gemäß dem hier dargestellten Ausführungsbeispiel sind die Pixel 422a der vollen räumlichen Auflösung des Lichtempfängers 420a zugeordnet, welche Auflösung durch die Halbleiter-Architektur des Chips 420a vorgegeben ist.The 4a and 4b illustrate combining single pixels of a light receiver configured as a semiconductor or CCD chip 420a or. 420b , The light receiver 420a has a plurality of light-sensitive or photon-collecting pixels 422a on. According to the embodiment shown here are the pixels 422a the full spatial resolution of the light receiver 420a associated with which resolution through the semiconductor architecture of the chip 420a is predetermined.

Bei dem Lichtempfänger 420b sind jeweils vier der lichtsensitiven Pixel (für eine volle Auflösung) zu einem übergeordneten Pixel 422b (für eine erhöhte Photonenakkumulation pro Pixel auf Kosten einer reduzierten räumlichen Auflösung) zusammengefasst. Anschaulich ausgedrückt sammelt ein Pixel 422b im Vergleich zu einem einzelnen Pixel 422a eine vierfache Menge an Licht auf. Ein solches Zusammenfassen (Englisch „Binning“) von Pixeln reduziert die erforderliche (Mindest)Intensität des erfassten Messlichts, welche zum Auswerten des entsprechenden Bildbereiches der Szene benötigt wird. Da die Intensität des Messlichts unmittelbar von der Intensität des Beleuchtungslichts abhängt, kann durch das „Binning“ die Intensität des Beleuchtungslichts reduziert und damit der Energieverbrauch des Sensorsystems verringert werden.At the light receiver 420b each are four of the light-sensitive pixels (for a full resolution) to a parent pixel 422b (for increased photon accumulation per pixel at the expense of reduced spatial resolution). Illustratively, a pixel collects 422b compared to a single pixel 422a a fourfold amount of light on. Such "binning" of pixels reduces the required (minimum) intensity of the detected measurement light needed to evaluate the corresponding image area of the scene. Since the intensity of the measurement light depends directly on the intensity of the illumination light, binning reduces the intensity of the illumination light and thus reduces the energy consumption of the sensor system.

Das beschriebene „Binning“ kann auch dynamisch durch eine entsprechende Ansteuerung ein und desselben Lichtempfängers 420a bzw. 420b realisiert werden. Dabei wird der Lichtempfänger entweder in einem ersten Betriebsmodus (mit voller Auflösung) oder in einem zweiten Betriebsmodus (mit Photonen sammelnden zusammengefassten Pixeln) betrieben. Ein Umschalten zwischen verschiedenen Betriebsmodi kann von externen Steuersignalen gesteuert werden. Alternativ oder in Kombination kann ein solches Umschalten auch von dem Ergebnis einer Szenenauswertung abhängen, so dass der „Binning“ Betriebsmodus für eine nächste Szenenerfassung geregelt wird.The described "binning" can also dynamically by a corresponding control of one and the same light receiver 420a or. 420b will be realized. In this case, the light receiver is operated either in a first operating mode (with full resolution) or in a second operating mode (with photon-collecting combined pixels). A switch between different ones Operating modes can be controlled by external control signals. Alternatively or in combination, such switching may also depend on the result of a scene evaluation, so that the "binning" mode of operation is regulated for a next scene capture.

Es wird darauf hingewiesen, dass auch mehr als zwei unterschiedliche Betriebsmodi mit jeweils einer unterschiedlich starken Zusammenfassung von Pixeln zum Einsatz kommen können. Ferner ist es möglich, in unterschiedlichen Teilbereichen des Lichtempfängers jeweils eine unterschiedliche Anzahl von Einzelpixeln zu einem übergeordneten Pixel zusammenzufassen. Dann können einzelne Teilbereiche der Szene mit einer höheren räumlichen Auflösung (und einer geringeren Photonenakkumulation) und andere Teilbereich der Szene mit einer niedrigeren räumlichen Auflösung (und einer höheren Photonenakkumulation) erfasst werden. Das beschriebene lokale und unterschiedlich starke Zusammenfassen von Pixeln kann dynamisch bzw. adaptiv in genau den Teilbereichen durchgeführt werden kann, in denen sich gerade ein bestimmtes Objekt befindet.It should be noted that more than two different modes of operation, each with a different strong summary of pixels can be used. Furthermore, it is possible to combine a different number of individual pixels into a higher-order pixel in different partial areas of the light receiver. Then, individual portions of the scene with higher spatial resolution (and less photon accumulation) and other portions of the scene with lower spatial resolution (and higher photon accumulation) can be detected. The described local and differently strong grouping of pixels can be carried out dynamically or adaptively in exactly the subregions in which a particular object is currently located.

Die 5a bis 5c zeigen verschiedene Strahlquerschnitte eines Beleuchtungslichts zum Anpassen der Beleuchtung an die Form der zu erfassenden Szene. Ein in 5a illustriertes erstes Beleuchtungslicht 531a hat einen im Wesentlichen kreisförmigen Strahlquerschnitt und eignet sich bevorzugt für „runde Szenen“. Für die meisten Anwendungsfälle, welche keine „runde Szene“ erfassen (und auswerten), eignet sich jedoch ein von einer Kreisform abweichender Strahlquerschnitt. In 5b ist ein Beleuchtungslicht 531b mit einem elliptischen Strahlquerschnitt dargestellt. 5c zeigt ein Beleuchtungslicht 531c mit einem rechteckigen Strahlquerschnitt. Wie vorstehend bereits erwähnt, kann der Strahlquerschnitt durch eine entsprechende Formgebung der Freiformoptiken und optional zusätzlich auch durch einen geeigneten Betrieb der der Beleuchtungseinrichtung angepasst werden. Auch Diffraktive Optische Elemente (DOE) können verwendet werden, welche optional sogar eine dynamische und/oder szenenabhängige Formung des Strahlquerschnitts ermöglichen.The 5a to 5c show different beam cross sections of an illumination light to adjust the lighting to the shape of the scene to be detected. An in 5a illustrated first illumination light 531a has a substantially circular beam cross-section and is preferably suitable for "round scenes". However, for most applications which do not detect (and evaluate) a "round scene", a beam cross section deviating from a circular shape is suitable. In 5b is a lighting light 531b shown with an elliptical beam cross-section. 5c shows an illumination light 531c with a rectangular beam cross section. As already mentioned above, the beam cross-section can be adapted by a corresponding shaping of the free-form optics and optionally also by a suitable operation of the illumination device. Diffractive optical elements (DOEs) can also be used, which optionally even allow a dynamic and / or scene-dependent shaping of the beam cross-section.

Es wird angemerkt, dass der Begriff „aufweisen“ nicht andere Elemente ausschließt und dass das „ein“ nicht eine Mehrzahl ausschließt. Auch können Elemente, die in Zusammenhang mit unterschiedlichen Ausführungsbeispielen beschrieben sind, kombiniert werden. Es sollte auch angemerkt werden, dass Bezugszeichen in den Ansprüchen nicht als den Schutzbereich der Ansprüche beschränkend ausgelegt werden sollen.It is noted that the term "comprising" does not exclude other elements and that the "on" does not exclude a plurality. Also, elements described in connection with different embodiments may be combined. It should also be noted that reference signs in the claims should not be construed as limiting the scope of the claims.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

100100
Sensorsystemsensor system
110110
TOF ErfassungssystemTOF detection system
111111
Halterungholder
115115
Messeinrichtungmeasuring device
120120
Lichtempfängerlight receiver
122122
Lichtempfänger-SteuereinrichtungLight receiver controller
125125
Messeinheitmeasuring unit
130130
Beleuchtungseinrichtunglighting device
131131
Beleuchtungslicht / BeleuchtungsstrahlengangIllumination light / illumination beam path
135135
Beleuchtungslicht-SteuereinrichtungIllumination light control means
140140
FreiformoptikFreeform optics
141141
Aktuatoractuator
142142
weitere Freiformoptikfurther freeform optics
143143
weiterer Aktuatoranother actuator
145145
Freiformoptik-SteuereinrichtungFreeform optics controller
150150
DatenverarbeitungseinrichtungData processing device
152152
Schnittstelleinterface
152a152a
externes Steuersignalexternal control signal
160160
DatenbankDatabase
180180
Eingangsstrukturinput structure
182182
stationäre Haltestrukturstationary holding structure
184184
Öffnung / EingangOpening / entrance
186186
Verschließkörper / SchiebetürClosing body / sliding door
187187
Motorengine
190190
Szenescene
195195
Objektobject
196196
Messlicht / Messlichtstrahlengang Measuring light / measuring light beam path
240a240a
Freiformoptik / optisch refraktives Element im 1. ZustandFreeform optics / optically refractive element in the 1st state
240b240b
Freiformoptik / optisch refraktives Element im 2. Zustand Freeform optics / optically refractive element in the 2nd state
390390
Szenescene
395a-e395a-e
Objekteobjects
398398
Förderband conveyor belt
420a/b420a / b
Lichtempfänger / SensorchipLight receiver / sensor chip
422a422a
Pixelpixel
422b422b
übergeordnetes Pixel / zusammengefasstes Pixel parent pixel / pooled pixel
531a 531a
Beleuchtungslicht mit rundem QuerschnittIlluminating light with round cross section
531b531b
Beleuchtungslicht mit elliptischen QuerschnittIlluminating light with elliptical cross-section
531c531c
Beleuchtungslicht mit rechteckigem QuerschnittIllumination light with rectangular cross section

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • EP 2453252 B1 [0005]EP 2453252 B1 [0005]
  • US 2015293224 A1 [0086]US 2015293224 A1 [0086]

Claims (21)

Sensorsystem (100) zum dreidimensionalen Erfassen einer Szene (190), das Sensorsystem (100) aufweisend eine Beleuchtungseinrichtung (130) zum Beleuchten der Szene (190) mit einem Beleuchtungslicht (131) entlang eines Beleuchtungsstrahlengangs (131); eine Messeinrichtung (115) zum Empfangen von Messlicht (196) entlang eines Messlichtstrahlengangs (196), wobei das Messlicht (196) zumindest teilweise von zumindest einem Objekt (195) in der Szene (190) zurückgestreutes Beleuchtungslicht (131) ist und zum Messen von Distanzen zwischen dem Sensorsystem (100) und dem zumindest einen Objekt (195) basierend auf einer Lichtlaufzeit des Beleuchtungslichts (131) und des Messlichts (196); eine der Messeinrichtung (115) nachgeschaltete Datenverarbeitungseinrichtung (150) zum Ermitteln der dreidimensionalen Charakteristik der Szene (190) basierend auf den gemessenen Distanzen; und eine Freiformoptik (140, 142), welche in dem Beleuchtungsstrahlengang (131) und/oder in dem Messlichtstrahlengang (196) angeordnet ist, wobei die Freiformoptik (140, 142) derart konfiguriert ist, dass (i) bei einer Anordnung in dem Beleuchtungsstrahlengang (131) eine Beleuchtungslichtintensität des Beleuchtungslichts (130) von dem Raumwinkel des Beleuchtungsstrahlengangs (131) abhängt und (ii) bei einer Anordnung in dem Messlichtstrahlengang (196) eine Messlichtintensität des Messlichts (196) von dem Raumwinkel des Messlichtstrahlengangs (196) abhängt, so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts (131) und des Messlichts (196) zumindest teilweise kompensiert wird.A sensor system (100) for three-dimensionally capturing a scene (190) comprising the sensor system (100) an illumination device (130) for illuminating the scene (190) with an illumination light (131) along an illumination beam path (131); a measuring device (115) for receiving measuring light (196) along a measuring light beam path (196), wherein the measuring light (196) is at least partially backscattered by at least one object (195) in the scene (190) illumination light (131) and for measuring distances between the sensor system (100) and the at least one object (195) based on a light transit time of the illumination light (131) and the measurement light (196); a data processing device (150) connected downstream of the measuring device (115) for determining the three-dimensional characteristic of the scene (190) based on the measured distances; and a free-form optical system (140, 142) which is arranged in the illumination beam path (131) and / or in the measurement light beam path (196), wherein the free-form optical system (140, 142) is configured such that (i) when arranged in the illumination beam path (131), an illumination light intensity of the illumination light (130) depends on the solid angle of the illumination beam path (131) and (ii) in the case of an arrangement in the measurement light beam path (196), a measurement light intensity of the measurement light (196) depends on the solid angle of the measurement light beam path (196), so that a distance-based intensity loss of the illumination light (131) and the measurement light (196) is at least partially compensated. Sensorsystem (100) gemäß dem vorangehenden Anspruch, ferner aufweisend eine weitere Freiformoptik (142), wobei die Freiformoptik (140) in dem Beleuchtungsstrahlengang (131) angeordnet ist und die weitere Freiformoptik (142) in dem Messlichtstrahlengang (196) angeordnet ist.A sensor system (100) according to the preceding claim, further comprising another freeform optics (142), wherein the free-form optical system (140) is arranged in the illumination beam path (131) and the further free-form optical system (142) is arranged in the measuring light beam path (196). Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Freiformoptik (140, 142) zumindest ein reflektives optisches Element, zumindest ein refraktives optisches Element und/oder zumindest ein diffraktives optisches Element aufweist.Sensor system (100) according to one of the preceding claims, wherein the free-form optical system (140, 142) comprises at least one reflective optical element, at least one refractive optical element and / or at least one diffractive optical element. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Freiformoptik (140, 142) zumindest ein räumlich und/oder strukturell veränderbares optisches Element (240a, 240b) aufweist, wobei eine Veränderung des optischen Elements (240a, 240b) zu einer Veränderung der Raumwinkelabhängigkeit der Beleuchtungslichtintensität und/oder der Messlichtintensität führt.Sensor system (100) according to one of the preceding claims, wherein the free-form optics (140, 142) at least one spatially and / or structurally changeable optical element (240a, 240b), wherein a change of the optical element (240a, 240b) to a change of Solid angle dependence of the illumination light intensity and / or the measurement light intensity leads. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Freiformoptik (140, 142) und/oder die Beleuchtungseinrichtung (130) konfiguriert ist, das Beleuchtungslicht (131) und/oder das Messlicht (196) mit einer raumwinkelabhängigen Intensitätsverteilung bereitzustellen, welche einen Randlichtabfall zumindest annähernd kompensiert, insbesondere einen natürlichen Randlichtabfall gemäß dem eine Helligkeit in einem Bild beim Abbilden eines gleichmäßig hellen Motivs durch ein Objektiv um den Faktor cos^4 gegenüber der Helligkeit in der Mitte des Bildes abnimmt.Sensor system (100) according to one of the preceding claims, wherein the freeform optics (140, 142) and / or the illumination device (130) is configured to provide the illumination light (131) and / or the measurement light (196) with a space angle-dependent intensity distribution, which Edge light drop at least approximately compensated, in particular a natural Randlichtabfall according to which a brightness in an image when imaging a uniformly bright subject through a lens by the factor cos ^ 4 compared to the brightness in the center of the image decreases. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, ferner aufweisend eine mit der Beleuchtungseinrichtung (130) gekoppelte Beleuchtungslicht-Steuereinrichtung (135), welche konfiguriert ist, die Beleuchtungseinrichtung (130) derart anzusteuern, dass eine Charakteristik des Beleuchtungslichts (131), welche die Abhängigkeit der Beleuchtungsintensität des Beleuchtungslichts (131) von dem Raumwinkel beschreibt, während eines Betriebes des Sensorsystems (100) dynamisch veränderbar ist.The sensor system according to claim 1, further comprising an illumination light control device coupled to the illumination device, configured to control the illumination device such that a characteristic of the illumination light, which is the illumination light Dependence of the illumination intensity of the illumination light (131) on the solid angle describes, during an operation of the sensor system (100) is dynamically changeable. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Datenverarbeitungseinrichtung (150) mit der Beleuchtungslicht-Steuereinrichtung (135) gekoppelt ist und konfiguriert ist, die ermittelte dreidimensionale Charakteristik der Szene (190) auszuwerten und basierend auf einem Ergebnis dieser Auswertung die Charakteristik des Beleuchtungslichts (131) zu verändern.A sensor system (100) according to any one of the preceding claims, wherein the data processing means (150) is coupled to the illumination light controller (135) and configured to evaluate the determined three-dimensional characteristic of the scene (190) and based on a result of that evaluation the characteristic of the scene To change illumination light (131). Sensorsystem (100) gemäß dem vorangehenden Anspruch, wobei das Ergebnis der Auswertung von dem optischen Streuverhalten von zumindest einem in der Szene (190) enthaltenen Objekt (195) abhängt.A sensor system (100) according to the preceding claim, wherein the result of the evaluation depends on the optical scattering behavior of at least one object (195) contained in the scene (190). Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Beleuchtungseinrichtung (130) aufweist zumindest eines aus der Gruppe bestehend aus (a) einer als Laser ausgebildeten Beleuchtungslichtquelle zum räumlichen Abtasten der Szene mit einem ausgesandten Laserstrahl-Beleuchtungslicht; (b) einer zumindest annähernd punktförmigen Beleuchtungslichtquelle; (c) einer Mehrzahl von einzelnen Beleuchtungslichtquellen, die insbesondere individuell ansteuerbar und jeweils einem bestimmten Raumwinkelbereich der Szene zugeordnet sind; und (d) einer flächigen Beleuchtungslichtquelle, insbesondere mit einer über die Fläche nicht homogenen Leuchtintensität. A sensor system (100) according to any one of the preceding claims, wherein the illumination means (130) comprises at least one of (a) a laser illumination light source spatially scanning the scene with a transmitted laser beam illumination light; (B) an at least approximately punctiform illumination light source; (c) a plurality of individual illumination light sources which are in particular individually controllable and each associated with a specific solid angle range of the scene; and (d) a planar illumination light source, in particular with a luminous intensity which is not homogeneous over the surface. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Freiformoptik (140, 142) und/oder die Beleuchtungseinrichtung (130) konfiguriert ist bzw. sind, das Beleuchtungslicht (131) mit einem von einer Kreisform abweichenden Strahlquerschnitt (531b, 531c) bereitzustellen.Sensor system (100) according to one of the preceding claims, wherein the freeform optics (140, 142) and / or the illumination device (130) is configured to provide the illumination light (131) with a beam cross section (531b, 531c) deviating from a circular shape , Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Messeinrichtung (115) aufweist einen Lichtempfänger (120, 420a) mit einer Vielzahl von Pixeln (422a) zum Empfangen des Messlichts (196), wobei erste Pixel in einem ersten Teilbereich des Lichtempfängers eine erste Lichtsensitivität aufweisen und zweite Pixel in einem zweiten Teilbereich des Lichtempfängers eine zweite Lichtsensitivität aufweisen, wobei die zweite Lichtsensitivität unterschiedlich ist zu der ersten Lichtsensitivität.Sensor system (100) according to one of the preceding claims, wherein the measuring device (115) comprises a light receiver (120, 420a) having a plurality of pixels (422a) for receiving the measuring light (196), wherein first pixels in a first subregion of the light receiver have first Lichtsensitivität and second pixels in a second portion of the light receiver having a second Lichtsensitivität, wherein the second Lichtsensitivität is different from the first Lichtsensitivität. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Messeinrichtung (115) ferner aufweist eine mit dem Lichtempfänger (120) gekoppelte Lichtempfänger-Steuereinrichtung (122), wobei die Lichtempfänger-Steuereinrichtung (122) und der Lichtempfänger (120) derart konfiguriert sind, dass in einem modifizierten Betrieb des Sensorsystems (100) zumindest zwei Pixel der Vielzahl von Pixeln (422a) zu einem übergeordneten Pixel (422b) zusammengefasst sind.A sensor system (100) according to any one of the preceding claims, wherein the measuring means (115) further comprises a light receiver controller (122) coupled to the light receiver (120), wherein the light receiver controller (122) and the light receiver (120) are configured in that in a modified operation of the sensor system (100) at least two pixels of the plurality of pixels (422a) are combined to form a higher-order pixel (422b). Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Messeinrichtung (115) aufweist einen oder, sofern rückbezogen auf einen der beiden vorangehenden Ansprüche, den Lichtempfänger (120) zum Empfangen des Messlichts (196) und eine dem Lichtempfänger (120) nachgeschaltete Messeinheit (125), welche konfiguriert ist die Lichtlaufzeit zu messen basierend auf (a) einer Messung der Zeitspanne zwischen einen Aussenden eines Pulses des Beleuchtungslichts (131) und dem Empfang des zu dem Puls gehörigen Messlichts (196) und/oder (b) einer Messung einer Phasenverschiebung zwischen einer zeitlichen Modulation des Beleuchtungslichts (131) und einer zugehörigen zeitlichen Modulation des empfangenen Messlichts (196).Sensor system (100) according to one of the preceding claims, wherein the measuring device (115) one or, if referring back to one of the two preceding claims, the light receiver (120) for receiving the measuring light (196) and a measurement unit (125) connected downstream of the light receiver (120) and configured to measure the light propagation time based on (a) a measurement of the time span between a transmission of a pulse of the illumination light (131) and the reception of the measurement light (196) belonging to the pulse and / or (B) a measurement of a phase shift between a temporal modulation of the illumination light (131) and an associated temporal modulation of the received measurement light (196). Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, ferner aufweisend eine Halterung (111), welche zumindest mit der Messeinrichtung (115) mechanisch gekoppelt ist, wobei die Halterung (111) derart ausgebildet ist, dass das Sensorsystem (100) an einer in Bezug auf die zu erfassende Szene (190) stationären Haltestruktur (182) anbringbar ist.Sensor system (100) according to one of the preceding claims, further comprising a holder (111), which is at least mechanically coupled to the measuring device (115), wherein the holder (111) is formed such that the sensor system (100) at a reference on the scene to be detected (190) stationary support structure (182) is attachable. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Datenverarbeitungseinrichtung (150) ferner derart konfiguriert ist, dass eine Bedeckungscharakteristik einer von einem Objekt (195) zu passierenden Öffnung (184) durch zumindest einen Verschließkörper (186) steuerbar ist.A sensor system (100) according to any one of the preceding claims, wherein the data processing means (150) is further configured to control a coverage characteristic of an opening (184) to be passed by an object (195) by at least one closure body (186). Verfahren zum dreidimensionalen Erfassen einer Szene (190), das Verfahren aufweisend Beleuchten der Szene (190) mit einem Beleuchtungslicht (131), welches von einer Beleuchtungseinrichtung (130) entlang eines Beleuchtungsstrahlengangs (131) ausgesandt wird; Empfangen, mittels einer Messeinrichtung (115), von Messlicht (131) entlang eines Messlichtstrahlengangs (131), wobei das Messlicht (131) zumindest teilweise von zumindest einem Objekt (195) in der Szene (190) zurückgestreutes Beleuchtungslicht (131) ist; Messen, mittels der Messeinrichtung (115), von Distanzen zwischen dem Sensorsystem (100) und dem zumindest einen Objekt (195) basierend auf einer Lichtlaufzeit des Beleuchtungslichts (131) und des Messlichts (196); und Ermitteln der dreidimensionalen Charakteristik der Szene (190) basierend auf den gemessenen Distanzen mittels einer der Messeinrichtung (115) nachgeschalteten Datenverarbeitungseinrichtung (150); wobei eine Freiformoptik (140, 142) in dem Beleuchtungsstrahlengang (131) und/oder in dem Messlichtstrahlengang (196) angeordnet ist, wobei die Freiformoptik (140, 142) derart konfiguriert ist, dass (i) bei einer Anordnung in dem Beleuchtungsstrahlengang (131) eine Beleuchtungslichtintensität des Beleuchtungslichts (131) von dem Raumwinkel des Beleuchtungsstrahlengangs abhängt und (ii) bei einer Anordnung in dem Messlichtstrahlengang (196) eine Messlichtintensität des Messlichts (196) von dem Raumwinkel des Messlichtstrahlengangs (196) abhängt, so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts (131) und des Messlichts (196) zumindest teilweise kompensiert wird.A method of three-dimensionally capturing a scene (190) comprising the method Illuminating the scene (190) with an illumination light (131) emitted by a lighting device (130) along an illumination beam path (131); Receiving, by means of a measuring device (115), measuring light (131) along a measuring light beam path (131), wherein the measuring light (131) is at least partially backscattered by at least one object (195) in the scene (190) illumination light (131); Measuring, by means of the measuring device (115), distances between the sensor system (100) and the at least one object (195) based on a light transit time of the illumination light (131) and the measurement light (196); and Determining the three-dimensional characteristic of the scene (190) based on the measured distances by means of a data processing device (150) connected downstream of the measuring device (115); wherein a freeform optics (140, 142) is arranged in the illumination beam path (131) and / or in the measurement light beam path (196), wherein the freeform optics (140, 142) is configured such that (I) in an arrangement in the illumination beam path (131), an illumination light intensity of the illumination light (131) depends on the solid angle of the illumination beam path, and (ii) in the case of an arrangement in the measurement light beam path (196), a measurement light intensity of the measurement light (196) depends on the solid angle of the measurement light beam path (196), so that a distance-based intensity loss of the illumination light (131) and the measurement light (196) is at least partially compensated. Verfahren gemäß dem vorangehenden Anspruch, ferner aufweisend Erfassen eines in der Szene (190) befindlichen Objekts (195); Vergleichen des erfassten Objekts (195) mit zumindest einem in einer Datenbank (160) hinterlegten Vergleichsobjekt; und, wenn das Objekt (195) innerhalb vorgegebener zulässiger Abweichungen mit einem Vergleichsobjekt übereinstimmt, Identifizieren des Objekts (195) als ein für eine bestimmte Aktion zugelassenes Objekt (195).A method according to the preceding claim, further comprising Detecting an object (195) in the scene (190); Comparing the detected object (195) with at least one comparison object stored in a database (160); and, if the object (195) agrees with a comparison object within predetermined permissible deviations, identifying the object (195) as an object (195) permitted for a particular action. Verwendung eines Sensorsystems (100) gemäß einem der vorangehenden Ansprüche 1 bis 15 für ein Steuern einer Bedeckungscharakteristik einer von einem Objekt (195) zu passierenden Öffnung (184) durch zumindest einen Verschließkörper (186).Use of a sensor system (100) according to one of the preceding Claims 1 to 15 for controlling a coverage characteristic of an opening (184) to be passed by an object (195) through at least one closure body (186). Verwendung gemäß dem vorangehenden Anspruch, wobei die Öffnung (184) ein Eingang oder ein Ausgang ist, insbesondere ein Notausgang in einem Gebäude. Use according to the preceding claim, wherein the opening (184) is an entrance or an exit, in particular an emergency exit in a building. Verwendung gemäß einem der beiden vorangehenden Ansprüche, wobei das Objekt (195) eine Person oder ein Fahrzeug ist.Use according to one of the two preceding claims, wherein the object (195) is a person or a vehicle. Verwendung eines Sensorsystems (100) gemäß einem der vorangehenden Ansprüche 1 bis 15 für ein Erfassen und/oder Steuern von Verkehrsströmen von Objekten (395a - 395e), welche sich durch eine Szene (190) des Sensorsystems (100) bewegen, wobei die Szene (190) durch einen räumlichen Erfassungsbereich des Sensorsystems (100) bestimmt ist.Use of a sensor system (100) according to one of the preceding Claims 1 to 15 for detecting and / or controlling traffic flows of objects (395a - 395e) moving through a scene (190) of the sensor system (100), the scene (190) being determined by a spatial detection range of the sensor system (100).
DE102017129641.7A 2017-12-12 2017-12-12 3D sensor system with a free-form optics Withdrawn DE102017129641A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102017129641.7A DE102017129641A1 (en) 2017-12-12 2017-12-12 3D sensor system with a free-form optics
PCT/EP2018/084421 WO2019115558A1 (en) 2017-12-12 2018-12-11 3d sensor system having a freeform optic
EP18826219.0A EP3724674A1 (en) 2017-12-12 2018-12-11 3d sensor system having a freeform optic

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017129641.7A DE102017129641A1 (en) 2017-12-12 2017-12-12 3D sensor system with a free-form optics

Publications (1)

Publication Number Publication Date
DE102017129641A1 true DE102017129641A1 (en) 2019-06-13

Family

ID=64899259

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017129641.7A Withdrawn DE102017129641A1 (en) 2017-12-12 2017-12-12 3D sensor system with a free-form optics

Country Status (3)

Country Link
EP (1) EP3724674A1 (en)
DE (1) DE102017129641A1 (en)
WO (1) WO2019115558A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022203647A1 (en) * 2021-03-22 2022-09-29 Hewlett-Packard Development Company, L.P. Devices for controlling automatic doors

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080285010A1 (en) * 2007-05-16 2008-11-20 Omron Corporation Object detector
EP2453252A1 (en) 2010-11-15 2012-05-16 Cedes AG Energy efficient 3D sensor
EP2558977A1 (en) * 2010-04-15 2013-02-20 IEE International Electronics & Engineering S.A. Configurable access control sensing device
US20130300838A1 (en) * 2010-12-23 2013-11-14 Fastree3D S.A. Methods and devices for generating a representation of a 3d scene at very high speed
US20150293224A1 (en) 2013-05-09 2015-10-15 Quanergy Systems, Inc. Solid state optical phased array lidar and method of using same
DE102015220798A1 (en) * 2015-10-23 2017-04-27 Designa Verkehrsleittechnik Gmbh Access control system for a storage area and access control procedures
WO2017114611A1 (en) * 2015-12-29 2017-07-06 Robert Bosch Gmbh Deflection device for a lidar sensor
US20170328989A1 (en) * 2016-05-11 2017-11-16 Texas Instruments Incorporated Lidar scanning with expanded scan angle
DE102016122712B3 (en) * 2016-11-24 2017-11-23 Sick Ag Optoelectronic sensor and method for acquiring object information

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010033818A1 (en) * 2010-08-09 2012-02-09 Dorma Gmbh + Co. Kg sensor
US9635231B2 (en) * 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
DE102015115101A1 (en) * 2015-09-08 2017-03-09 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensor system of a sensor device of a motor vehicle
TWI570387B (en) * 2015-11-09 2017-02-11 財團法人工業技術研究院 Image ranging system, light source module and image sensing module
DE102016202181A1 (en) * 2016-02-12 2017-08-17 pmdtechnologies ag Lighting for a 3D camera
US10754015B2 (en) * 2016-02-18 2020-08-25 Aeye, Inc. Adaptive ladar receiver

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080285010A1 (en) * 2007-05-16 2008-11-20 Omron Corporation Object detector
EP2558977A1 (en) * 2010-04-15 2013-02-20 IEE International Electronics & Engineering S.A. Configurable access control sensing device
EP2453252A1 (en) 2010-11-15 2012-05-16 Cedes AG Energy efficient 3D sensor
US20130300838A1 (en) * 2010-12-23 2013-11-14 Fastree3D S.A. Methods and devices for generating a representation of a 3d scene at very high speed
US20150293224A1 (en) 2013-05-09 2015-10-15 Quanergy Systems, Inc. Solid state optical phased array lidar and method of using same
DE102015220798A1 (en) * 2015-10-23 2017-04-27 Designa Verkehrsleittechnik Gmbh Access control system for a storage area and access control procedures
WO2017114611A1 (en) * 2015-12-29 2017-07-06 Robert Bosch Gmbh Deflection device for a lidar sensor
US20170328989A1 (en) * 2016-05-11 2017-11-16 Texas Instruments Incorporated Lidar scanning with expanded scan angle
DE102016122712B3 (en) * 2016-11-24 2017-11-23 Sick Ag Optoelectronic sensor and method for acquiring object information

Also Published As

Publication number Publication date
WO2019115558A1 (en) 2019-06-20
EP3724674A1 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
DE102018105301B4 (en) Camera and method for capturing image data
DE112017001112T5 (en) Method and apparatus for an actively pulsed 4D camera for image acquisition and analysis
EP3033251B1 (en) Sensor arrangement for detecting command gestures for vehicles
EP1159636A1 (en) Resoluting range finding device
DE102013100521A1 (en) Sensor arrangement for detecting operating gestures on vehicles
WO2020229186A1 (en) 3d sensor system which can be operated in different operating modes on the basis of the operating state of a closing body
EP2879919A1 (en) Detection of rain drops on a plate by means of a camera and illumination
WO2017041915A1 (en) Sensor system of a sensor device of a motor vehicle
DE102013100522A1 (en) Universal sensor arrangement for detecting operating gestures on vehicles
DE102012011847A1 (en) Night vision system for a motor vehicle
EP3724676A1 (en) Sensor system for three-dimensionally detecting a scene with different photon accumulations
DE102019211690A1 (en) VEHICLE LIGHT
EP3724674A1 (en) 3d sensor system having a freeform optic
EP2562685B1 (en) Method and device for classifying a light object located in front of a vehicle
EP3724601B1 (en) Distance determination based on different depth of field areas with different focus settings of an objective lens
DE102017129654A1 (en) 3D scene capture based on light transit times and a characteristic feature of detected electromagnetic waves
DE102017129639A1 (en) 3D sensor system with scene lighting dependent on a solid angle
DE102006010990B4 (en) security system
WO2020229190A1 (en) Identifying an object on the basis of recognising part of the object and on the basis of description data of a reference object
WO2020229189A1 (en) Tof sensor system with a lighting device comprising an array of individual light sources
EP1865755B1 (en) Device to control illumination having presence detection
DE102014205282A1 (en) Device for opening or closing an opening of a vehicle
DE102017129663A1 (en) Sensor system with a light field camera for determining the characteristic of a scene
DE102022001990B4 (en) Method for fusing sensor data from a lidar with sensor data from an active terahertz sensor
DE102012100746B4 (en) Transmission unit for an optical sensor

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee