Nothing Special   »   [go: up one dir, main page]

EP3724674A1 - 3d sensorsystem mit einer freiformoptik - Google Patents

3d sensorsystem mit einer freiformoptik

Info

Publication number
EP3724674A1
EP3724674A1 EP18826219.0A EP18826219A EP3724674A1 EP 3724674 A1 EP3724674 A1 EP 3724674A1 EP 18826219 A EP18826219 A EP 18826219A EP 3724674 A1 EP3724674 A1 EP 3724674A1
Authority
EP
European Patent Office
Prior art keywords
light
illumination
scene
sensor system
measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP18826219.0A
Other languages
English (en)
French (fr)
Inventor
Urs Hunziker
Johannes Eckstein
Beat Wyss
Christian Seiler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bircher Reglomat AG
Original Assignee
Bircher Reglomat AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bircher Reglomat AG filed Critical Bircher Reglomat AG
Publication of EP3724674A1 publication Critical patent/EP3724674A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects

Definitions

  • the present invention relates to a sensor system and a method for three-dimensional acquisition of a scene based on transit time measurements. Furthermore, the present invention relates to several uses of such
  • Actuators operated closure body used, which facilitate the handling of the respective closure body for operators or automatically operated without any action, for example, when an object to be passed to the opening passes into the region of the opening.
  • Such an opening may, for example, be a passageway in a building.
  • a closure body may be, for example, a door or a gate.
  • a face recognition for example, a face recognition.
  • a 3D sensor system for the field of application of the monitoring of automatically opening doors and / or gates, which is based on the principle of transit time measurement of light beams emitted by illumination sources and after an at least partial reflection or 180 ° Backscatter be detected by a light receiver.
  • Such sensor systems are commonly referred to as "time-of-flight” (TOF) sensor systems.
  • TOF sensor systems have the disadvantage that with
  • the intensity of the (backscattered) measuring light to be detected by a light receiver of the TOF sensor is weakened in two respects. In the case of a punctiform illumination light source without a special focus, it scales
  • Attenuation of the illumination light emitted by the illumination sources with l / d / 2, where d is the distance to the illumination light source.
  • d is the distance to the illumination light source.
  • Illumination light is scattered isotropically, perceived as a point light source. As a result, this leads to a l / d 'scaling of the intensity of the received measurement light.
  • beamforming realized in any manner, for example focusing, of the illumination light, of the measuring light and / or in the case of non-isotropic scattering of the illumination light with a preferred beam
  • Intensity attenuation correspondingly lower, but still contributes to one significant loss of light output at. This in turn leads to a correspondingly poor energy efficiency of a TOF sensor system.
  • Sensor system comprises (a) a lighting device for illuminating the scene with an illumination light along an illumination beam path; (B) a measuring device (BL) for receiving measuring light along a
  • Measuring light beam path wherein the measuring light is at least partially backscattered by at least one object in the scene illumination light and (b2) for measuring distances between the sensor system and the at least one object based on a light transit time of the illumination light and
  • Measuring light beam path is arranged.
  • the free-form optical system is configured in such a way that (dl), when arranged in the illumination beam path, has a
  • Illumination light intensity of the illumination light depends on the solid angle of the illumination beam path, and (d2) in an arrangement in the Measuring light beam path, a measuring light intensity of the measuring light depends on the solid angle of the measuring light beam path, so that a distance-based loss of intensity of the illumination light and the measuring light is at least partially compensated.
  • the described sensor system which is a so-called Time Of Flight (TOF) sensor system, is based on the knowledge that at least partially compensated by a suitably designed freeform optics of the scene geometry and the spatial angle dependent influences on the intensity distribution of the received measurement light.
  • the free-form optics ensure that in an image of the scene generated by the received measurement light, there are neither (excessively) underexposed nor (excessively) overexposed portions. If the free-form optical system is in the beam path of the illumination light, then already by a suitable space angle-dependent intensity distribution of
  • Lighting light ensured that the measuring light from each part of the scene with a homogeneous distribution of intensity on a
  • Light receiver of the measuring device hits.
  • a suitable collection of measuring light beams ensures or contributes to ensuring that the measuring light is as homogeneous as possible
  • Intensity distribution hits the light receiver.
  • the free-form optical system in the illumination beam path ensures that the scene is illuminated or exposed with a lighting angle-dependent illumination intensity.
  • the measuring light beam path provides the
  • Freeform optics for the fact that the measuring light depending on the space angle collected differently, in particular with a space angle-dependent focusing. Both effects contribute to that of all parts of the scene
  • received measuring light is at least approximately equal in terms of its intensity. This can avoid being in an image of the captured scene from the measuring light underexposed and / or overexposed portions are.
  • Intensity distribution of the illumination light or a spatial characteristic of the illumination light and / or a spatial angle-dependent collection of measurement light intensity or spatial measurement light collection characteristic are set so that the intensity of the illumination light in particular is just as high as it is associated with a reliable detection of the respective solid angle range Subsection of the scene is required.
  • scene may in particular be understood to mean that spatial area which is optically detected by the sensor system. Objects in the scene are recognized by a suitable image analysis.
  • the data processing device can make use of known methods for image evaluation and / or image analysis.
  • Data processing device can therefore be a special
  • object can be understood to mean any spatially physical structure which has a surface texture which results in an at least Partial reflection or scattering of illumination light leads and thus by the resulting measuring light for the measuring device is visible.
  • the object may be an object such as a motor vehicle or a living being such as a human.
  • the object may be in relation to that
  • Sensor system be static or dormant object. Furthermore, the object may also move within, leave or enter the scene.
  • speed distance / time.
  • the absolute value of the speed and / or the motion vector i. additionally the
  • illumination light in this document means those electromagnetic waves which are emitted by a light source or a lighting unit of the illumination device and strike the relevant object of the scene.
  • the “measuring light” are the electromagnetic waves scattered by or on the object (back), which are received by the measuring device or a light receiver of the measuring device and used for the three-dimensional evaluation of the scene, together with the
  • characteristic of a scene can be understood as the entirety of all spatial structures and in particular all objects which are detected by the sensor system.
  • the characteristic of the scene changes when (i) new objects enter the scene when (ii) objects already in the scene change their position and / or their visual appearance, in particular their optical scattering behavior, and / or if (iii) Object left the scene.
  • some structures can be recognized as being relevant and other structures as being less or even irrelevant by the data processing device by means of image processing and / or image recognition.
  • free-form optics can be understood as any optical structure that modifies the beam path of light beams, which provides for a spatial angle-dependent modification of the intensity of the illumination light and / or for a space angle-dependent collection (the intensity of the measurement light).
  • the freeform optics can be a static optic. This means that the scene regardless of their current characteristics in different scene captures (and scene detections or
  • Scene evaluations by the data processing device is always illuminated with the same spatial angle-dependent modification of the illumination light and / or detected with the same spatial angle-dependent modification of the measurement light.
  • the operating state is always illuminated with the same spatial angle-dependent modification of the illumination light and / or detected with the same spatial angle-dependent modification of the measurement light.
  • a free-form optics can consist of an optical element.
  • a freeform optics can also consist of a plurality of optical elements connected in series and realized, for example, by means of a lens system.
  • distance-based loss of intensity can mean the one
  • Illumination light beams or the measuring light beams (after a scattering or reflection on an object) is caused.
  • this loss of illumination light scales with l / d ⁇ , where d is the distance to the point light source.
  • d is the distance to the point light source.
  • the measuring light when a point of the object at which the illumination light is scattered isotropically, as a point light source.
  • Intensity of the received measuring light is given.
  • the "distance-based intensity loss" is correspondingly lower, but in practice nevertheless a significant loss, which reduces the energy efficiency of a TOF sensor.
  • these losses are at least partially reduced or compensated by the free-form optics.
  • optical and / or “light” may refer to electromagnetic waves having a particular wavelength or frequency or a particular spectrum of wavelengths or frequencies.
  • the electromagnetic waves used can be assigned to the spectral range visible to the human eye.
  • electromagnetic waves associated with the ultraviolet (UV) or infrared (IR) spectral regions may also be used.
  • the IR spectral range can extend into the long-wave IR range with wavelengths between 3.5 pm to 15 pm, which are determined by means of the
  • Light receiver of the sensor can be detected.
  • Freeform optics can also be optically used profitably in TOF sensor systems which sequentially illuminate the scene
  • Scanning light beam such as a laser beam.
  • the sensor system further comprises a further free-form optics, wherein the free-form optics in the Illumination beam path is arranged and the further free-form optics is arranged in the measuring light beam path.
  • Illumination light and measuring light can be optimally modified independently of each other.
  • both "lights" can be adaptive independently of each other in terms of their spatial angle-dependent
  • the free-form optical system has at least one reflective optical element, at least one refractive optical element and / or at least one diffractive optical element.
  • reflective means (at least partial) repulsion of electromagnetic waves at an interface, with respect to a normal of this interface the angle of incidence of the incident electromagnetic wave equal to
  • the reflective interface of the freeform optics has the highest possible
  • a reflective element may in particular be a mirror.
  • the freeform optics can thus at least one mirror (with a suitably curved
  • refractive or refraction is the Change of propagation direction of an electromagnetic wave due to a spatial change of its propagation velocity, which is specifically described for light waves by the refractive index n of a medium.
  • a refractive element of the described free-form optics may be a suitable shaped lens.
  • Other optically refractive elements such as, for example, a (modified prism) can also be used in order to realize a suitable beam angle-dependent beam shaping of the illumination light and / or the measurement light.
  • the term "diffractive” or “diffraction” (or diffraction) in this context refers generally to the spatial deflection of an electromagnetic wave at structural obstacles. Such obstacles may be an edge, a hole or a one-dimensional, a two-dimensional or even a three-dimensional grid.
  • the diffractive optical element can be, for example and preferably, a diffractive optical element (DOE), which advantageously permits a dynamic adaptation or adaptation of the space angle-dependent characteristic of the illumination light and / or the space angle-dependent characteristic of the measurement light.
  • DOE diffractive optical element
  • the free-form optical system has at least one spatially and / or structurally changeable optical element, a change of the optical element resulting in a change of the solid angle dependency of the illumination light intensity and / or
  • Intensity distribution of illumination light and / or measurement light to be adapted to a change in the characteristic of the scene to be detected that all (relevant) objects in the scene with high accuracy can be detected.
  • the described change of the free-form optics can thus be caused by the data processing device during the operation of the sensor system depending on the scene.
  • the free-form optics can also be tested according to the principle of "try-and-error" or by other statistical,
  • a spatial change of the optical element can, for example, be a simple displacement and / or rotation of this optical element in a coordinate system of the sensor system and / or relative to other optical elements of the freeform optical system. This can be done preferably by means of an actuator in an automatic manner, wherein a control of the actuator from the data processing device or from any other with respect to the sensor device internal or external freeform control device can take place.
  • variable optical element may also be an elastic element, for example a deformable mirror.
  • the elastic member may be a pressure-deformable member of an elastic optical material which changes its optical properties (reflection, diffraction and / or refraction behavior) under pressure.
  • a structural change in a DOE can lead to a desired modification of the solid angle dependence of the illumination light and / or the measurement light.
  • DLP digital light processing
  • Microelectromechanical systems MEMS devices for a targeted movement of a plurality of optical elements,
  • micromirrors are used, so that there is a desired spatial angle-dependent intensity distribution of the illumination light and / or the measuring light.
  • the free-form optical system and / or the illumination device is or are configured, which
  • illumination light and / or the measurement light with a space angle-dependent intensity distribution which at least approximately compensates for an edge light drop, in particular a natural edge light drop according to the one brightness in an image when a uniformly bright subject is imaged by a lens by the factor cos'M compared to the brightness in the image Center of the picture decreases.
  • Measuring device can be used.
  • the compensation of the natural peripheral light drop by the free-form optical system described herein and / or illumination by the illumination device uneven across the scene contribute particularly to an improvement of the light intensity ratios ,
  • the compensation of the natural Randlichtabfalls by a suitable Room angle-dependent intensity modification of illumination light and / or measurement light can be at least 30%, preferably 50%, more preferably 80% and even more preferably 90% or even 95%. These percentages refer (with a fixed focal length of the objective used) to the ratio between the intensities at the edge of the image of the scene (for the measuring light) imaged on the measuring device which (a) coincides with the
  • Illumination light controller which is configured, the
  • Illumination light which describes the dependence of the illumination intensity of the illumination light on the solid angle, is dynamically changeable during an operation of the sensor system.
  • one and the same scene can be recorded multiple times under different lighting conditions (successively).
  • different data sets of one and the same scene are available to the data processing device, so that by means of a suitable method of image analysis (by the data processing device) that data record can be used for determining the three-dimensional characteristic of the scene which most accurately reproduces the scene. If necessary, an "a priori knowledge" of the optical and / or
  • an optimal lighting characteristic can also be determined according to the "try-and-error" principle or by other statistical optimization procedures. This can be done dynamically during a real operation of the sensor system or as part of a calibration by means of a recognition of suitable reference objects (as in the above-described spatial and / or structural change of an optical element of the freeform optics).
  • Lighting characteristics recorded 3D images of the scene are processed together so that a comprehensive data set is available for a final determination of the 3D characteristic of the scene.
  • different partial areas of the scene can be characterized in that for a first partial area a first partial data record recorded in a first illumination characteristic and for a second partial area of the second partial data set recorded for a second illumination characteristic for the determination of the
  • Data processing device coupled to the illumination light controller and configured to evaluate the determined three-dimensional characteristic of the scene and based on a result of this evaluation to change the characteristic of the illumination light.
  • Scene detection is dependent on the angle of illumination illuminated by the illumination device, of measurement and evaluation results, which have been determined from a previous scene detection.
  • the characteristic of the lighting becomes so dynamically on the basis of results of a
  • Appropriate control of the lighting device may depend on current environmental conditions resulting in the result of
  • Such environmental conditions may be weather conditions such as the presence of rain, snow, hail, fog, smoke, suspended particles, etc. in the scene.
  • the result of the evaluation depends on the optical scattering behavior of at least one object contained in the scene. This has the advantage that in addition to the distance-based
  • Light receiver of the measuring device impinges.
  • a brightness which is as uniform as possible over the light-sensitive surface of the light receiver favors precise distance measurement by the described TOF sensor system.
  • the litter or. Reflection behavior depends on the wavelength or the frequency of the illumination light. Consideration of such a frequency dependence can advantageously contribute to a further improvement of the scene lighting and the subsequent scene evaluation.
  • a scanning the scene laser beam can be directed in a known manner via two rotatable mirrors with mutually non-parallel and preferably perpendicular to each other oriented axes of rotation to each illuminated point of the scene.
  • a (dynamically adaptive) deflection can also non-mechanical optical elements such as diffractive
  • Optical elements are used.
  • the deflection can be controlled in particular by the illumination light control device described above.
  • a dynamic adaptation of the freeform lens by means of The above-described spatial and / or structural change of an optical element of the freeform lens can provide for a suitable beam deflection of the laser beam.
  • the at least approximately punctiform illumination light source may be a (sufficiently strong) semiconductor diode, for example a laser or light emitting diode.
  • a (sufficiently strong) semiconductor diode for example a laser or light emitting diode.
  • Beam shaping systems and in particular the described freeform optics are used.
  • suitable optical elements can also be used.
  • Beam deflection, beam splitting and / or beam merge can be used.
  • the plurality of illumination light sources which are also in particular laser or light-emitting diodes, can be controlled (in particular individually) by the illumination light control device described above. This advantageously allows an adaptively controlled or even regulated adjustment of the characteristic of the illumination light.
  • a flat light source can also be the source for a spatially-dependent, non-homogeneous intensity distribution. If it is a spatially homogeneously illuminated surface, suitable optical elements for
  • Beam shaping in particular (also) the described freeform optics are used to realize a spatial angle dependent uneven illumination of the scene.
  • the free-form optical system and / or the illumination device is or are configured, which
  • the illumination light has a rectangular beam cross section.
  • the beam cross-section is adapted to achieve as homogeneous as possible illumination to the shape of the scene to be detected.
  • a suitable shaping of the beam cross section can be realized not only by a corresponding shaping of the luminous area of the illumination device and / or configuration of the freeform optics, but also by optical components such as mirrors and refractive optical elements (e.g.
  • Lens system can be adapted in a suitable manner. Also diffractive optical elements (DOE) can be used, which optionally even one
  • micromirror arrays known from the so-called Digital Light Processing (DLP) projection technology can also be used.
  • DLP Digital Light Processing
  • MEMS microelectromechanical systems
  • Measuring device on a light receiver having a plurality of pixels for receiving the measuring light, wherein first pixels in a first portion of the light receiver have a first Lichtsensittechnik and second pixels in a second portion of the light receiver having a second Lichtsensittechnik.
  • the second light sensitivity is different from the first one
  • the unequal pixel sensitivity described may also help to ensure that in an image of the scene the difference between a brighter region and a darker region is not so great as to jeopardize reliable scene capture and / or scene evaluation by the computing device.
  • light receivers are used in which the spatial distribution between first pixels and second pixels can be varied dynamically or adaptively. Such a variation may also be controlled by the data processing device and may depend on a result of a previous scene evaluation.
  • the term light sensitivity relates to the ability of the pixel in question to accumulate incident photons within a short exposure time.
  • a different pixel sensitivity may e.g. by reducing the noise of individual pixels or zones of pixels. Since the noise is often correlated with the heat of the sensor, e.g. a higher sensitivity can be achieved by means of a heat pump (e.g., a Peltier element) for a portion of the light receiver. The more punctually this temperature change can be generated on the light receiver, the higher the energy efficiency of the sensor system can be.
  • a heat pump e.g., a Peltier element
  • Measuring device further coupled to a coupled to the light receiver
  • a light receiver control device wherein the light receiver control device and the light receiver are configured such that in a modified Operation of the sensor system at least two pixels of the plurality of pixels are combined to form a parent pixel.
  • Such aggregation of pixels also referred to as "binning" has the effect of increasing the number of photons of the measurement light collected during a scene acquisition of one pixel, in proportion to the number of pixels, at the expense of spatial resolution pixels summed up to a parent pixel. Due to the resulting increased photon accumulation per (superordinate) pixel, the light sensitivity per pixel is significantly increased. This reduces
  • a "binning" is therefore particularly advantageous for a weak measuring light when a high spatial resolution is not required.
  • the plurality of pixels are grouped together so that a certain number of pixels are combined into a higher-level pixel.
  • the certain number may be, for example, (preferably) two, three, (preferably) four, six, (preferably) eight, or (preferably) nine. Of course, an even stronger summary of pixels is possible.
  • binning can also be carried out locally in only at least a partial area of the active areas of the light receiver via the surface of the light receiver. Although this leads to an inhomogeneous spatial resolution, which is not necessarily desired. However, the disadvantage of such an inhomogeneous spatial resolution is in many cases due to the increased photon accumulation (per pixel).
  • a local "binning" can be done at least in some known light receivers without special electronic or apparative elements simply by a corresponding control of the light receiver, which Control determines the "binning" and thus the operating mode of the sensor system.
  • a local "binning" is performed in that, measured by the measuring device and / or by the
  • Data processing device learns exactly those areas of the
  • Light receiver which have received in at least one previous scene detection too little light energy, by a suitable control of the light receiver by the light receiver control device in subsequent scene captures in a suitable manner to higher-level pixels
  • Such dynamically controlled or controlled “binning” can during a normal operation of the sensor system (learned) and / or during the configuration of the sensor system, for example in
  • the spatial resolution of the light receiver along different directions is different in each case if the individual pixels have a square shape. This can be exploited in some cases in an advantageous manner.
  • Such an application is present, for example, when movement of an object of the scene along a previously known spatial direction is to be detected with increased accuracy.
  • the number of pixels arranged along a line perpendicular to this known spatial direction may be larger than the number of pixels arranged along a line perpendicular thereto. Then the spatial resolution along the
  • Movement direction and the motion profile of such a linearly moving object can also with a comparatively weak measuring light with a particularly high accuracy can be determined.
  • Measuring means on (a) one or the light receiver for receiving the measuring light and (b) a measuring unit connected downstream of the light receiver, which is configured to measure the light running time based on (i) a measurement of the time span between a transmission of a pulse of the
  • the sensor system is configured in such a way that it is possible to switch between the two different measurement principles "pulse mode" and "phase measurement” flexibly or, if necessary, between the two different measurement principles.
  • the light receiver has a light-sensitive surface which, as described above, is subdivided into a multiplicity of pixels. With or on each pixel those photons of the measuring light are accumulated, which from a certain
  • the measuring unit is used to determine the runtime of the associated light beams of the illumination light and the measuring light for each pixel.
  • Sensor system further comprises a holder, which at least with the
  • the measuring device is mechanically coupled, wherein the holder is designed such that the sensor system can be attached to a stationary in relation to the scene to be detected holding structure.
  • the holder ensures that the described sensor system can be a stationary system which has a certain spatially fixed detection range and therefore always monitors the same scene, which of course can have a different scene characteristic at different times.
  • spatially stationary objects that are present in the scene can be detected in an image analysis and hidden in a further image analysis with respect to movement profiles. As a result, computing power can be saved and the energy efficiency of the described sensor system can be improved.
  • the stationary support structure may be directly or indirectly mechanically coupled to a device for controlling a coverage characteristic of an opening to be passed through the object by at least one closure body.
  • this device in addition to a suitable guide or
  • Closing on, in particular for moving the closing body between a closed position and an open position (and vice versa).
  • the opening can be an entrance
  • the closure body may be a door, for example a front door or a garage door.
  • Holding structure may be, for example, the stationary frame structure of an entrance, such as the frame of a door.
  • Data processing device further configured such that a
  • Covering characteristic of an opening to be passed by an object by at least one closing body is controllable. This allows the opening, which is, for example, an entrance (or an exit) of a building, are automatically monitored in an energetically favorable manner, and by a suitable actuation of an actuator, the closing body can be automatically moved between an open position and a closed position.
  • a method comprises (a) illuminating the scene with an illuminating light emitted by a lighting device along a
  • Illuminating beam path is emitted; (b) receiving, by means of a measuring device, measuring light along a measuring light beam path, wherein the measuring light is at least partially backscattered by at least one object in the scene illumination light; (c) measuring by means of
  • Illumination light intensity of the illumination light depends on the solid angle of the illumination beam path and (ii) in an arrangement in the
  • Measuring light beam path a measuring light intensity of the measuring light of the
  • Solid angle of the measuring light beam path depends, so that a distance-based loss of intensity of the illumination light and the measuring light is at least partially compensated.
  • the described method is also based on the knowledge that a suitably designed or configured free-form optical system of the
  • the free-form optics can provide a suitable space-angle-dependent intensity distribution of the illumination light so that the measurement light from each subarea of the scene strikes a light receiver of the measuring device with as homogeneous a distribution of intensity as possible.
  • the beam path of the measuring light the
  • Measuring light intensity ensure, so that (also) the measuring light with a homogeneous distribution of intensity as possible hits the light receiver.
  • the method further comprises (a) detecting an object in the scene; (b) comparing the detected object with at least one stored in a database
  • Comparison object and, (c) if the object agrees with a comparison object within predetermined permissible deviations, identifying the object as an object authorized for a particular action.
  • the approved action may, for example, be an authorized passage through an opening in a building, which opening is closed by a closure body prior to identification as an approved object and is opened only after successful identification by a corresponding movement of the closure body.
  • the objects to be identified may preferably be persons and / or vehicles.
  • Successful identification may be to control or activate a closure mechanism for a closure body prior to opening a building.
  • Covering characteristic of an opening to be passed by an object by at least one closing body is
  • Covering characteristic which is controlled by the described sensor system or at least co-controlled. Because such sensor systems
  • Sensor system can be monitored in an energetically efficient manner and larger distances, which naturally leads to an earlier detection of a
  • Opening request of the closure body leads. This can be of great advantage, especially in the case of fast moving objects. Furthermore, the scene can be detected in an energy-efficient manner with a wider detection angle, which can lead, for example, to an early detection of transverse traffic moving transversely to the opening and thus to a more reliable detection of objects in the security area of the closure system. This can be suppressed in cross traffic unnecessary opening request.
  • the opening is an entrance or an exit, in particular an emergency exit in a building.
  • an existing, but possibly not moving object in a passage area can monitor an input or output, in particular a blocked emergency exit detected, and the corresponding information to an affiliated system, for example to a
  • the object is a person or a vehicle.
  • the building may in particular be a house or a garage.
  • a sensor system described above for detecting and / or controlling traffic flows of objects moving through a scene of the sensor system, the scene being represented by a spatial
  • Detection range of the sensor system is determined.
  • This use is also based on the finding that an energy-efficient sensor system is important in traffic detection and / or traffic flow control, since this sensor system is typically constantly in operation and, moreover, a very high number of such sensor systems are typically used, in particular for larger traffic flows.
  • the relevant objects for the traffic stream in question can be any relevant objects for the traffic stream in question.
  • TOF-based sensor systems can generally be used both in terms of the
  • Lighting light as well as in relation to the measuring light in two fundamentally different classes are divided, which can be combined with each other.
  • Bl The first alternative (Bl) for the lighting is characterized by the fact that the scene by means of a single illumination light beam high
  • Focusing and low divergence ie high collimation is scanned sequentially. For each position of the illumination light beam in the scene, a measurement of the duration of the illumination light and the measurement light
  • the scanning can be realized using movable optical components, in particular mirrors. Alternatively or in
  • Combination can be used for sequential scanning of the scene with the
  • Illuminating light beam can be used a solid body, which manages without mechanically moving parts and has integrated photonic structures or circuits. With a suitable control of these structures, the illumination light beam is then directed to the desired location of the scene.
  • a solid is known for example from US 2015/293224 Al.
  • B2 The second alternative (B2) for lighting is characterized by the fact that the entire scene is illuminated (all at once and flatly). If necessary, the intensity of the illumination light in selected subregions of the scene can be (selectively) increased in order to enable improved 3D object detection at these locations. Such spatially uneven distribution of the intensity of the illumination light can be done without moving optical
  • DOE Diffractive optical element
  • M l A first alternative (M l) for the measurement is based on pulsed
  • Illumination light beams The "travel time" of a light pulse on the receiver side for each pixel within a time window is determined and derived from the distance.
  • the second alternative (M2) for the measurement is based on a temporal, preferably sinusoidal, modulation of the illumination light with a
  • the predetermined frequency is predetermined, with appropriate values for this frequency depending on the expected transit time or the maximum detection distance.
  • the phase difference is measured for each pixel and derived therefrom the distance information.
  • Both measuring principles Ml and M2 are based on an integration of the number of photons or the photoelectrons generated in the light receiver, which arrive on each pixel to be measured.
  • an ever-present light or photon noise depends on the number of photons accumulated in a pixel. Therefore, the higher the number of accumulated photons, the more accurate the distance information obtained from the TOF measurement becomes.
  • Figure 1 shows the use of a sensor system for controlling a
  • FIGS. 2a and 2b illustrate a deformation of a free-form optical system designed as an elastic optical element.
  • FIG. 3 shows the use of a sensor system for detecting a
  • Figures 4a and 4b illustrate a collection of single pixels of a light receiver.
  • FIGS. 5a to 5c show different beam cross sections of a
  • Light receiver to optimize the incident optical energy of the measuring light by illuminating the scene differently (intensively) depending on the characteristics of the scene.
  • Lighting used energy can be optimally utilized.
  • a TOF sensor system is typically mounted above the average height of the objects to be observed (people, products, vehicles, etc.) to make it undesirable for a plurality of objects
  • a light source which consists of several individual illumination intensity supplying elements, which represent the entire illumination device (for example an array of laser or light-emitting diodes), a
  • spatial angle-dependent intensity distribution of illumination light by a variation of the brightness of individual elements over other elements are supported.
  • This variation can be constructive in design (eg, laser or light emitting diodes with different intensity) as well as the type of control (via variable current per laser or light emitting diode by a suitable electronics, for example by a measuring at the (first) Installation set).
  • a dynamic adjustment of the individual laser or LEDs during operation is possible. In this case, simply those laser or light emitting diodes, which are assigned to areas of the scene that provide little measuring light, are correspondingly more energized. This is particularly suitable for the o.g. Lighting principle B2 in combination with the o. Measuring principle M l or M2.
  • Scene geometry (and with optional dynamic "result control” also depending on the amount of reflection or scattered light) for each solid angle which are already controlled by the illumination device light intensity controlled.
  • a static scene can be measured, with the appropriate intensity for each solid angle is taught to illuminating light.
  • Intensity of illumination light by the illumination device can be adaptive both in real time and from "frame to frame". In this case, for the parts of the scene from which too little measuring light is received, immediately the intensity of the corresponding part (illumination light) is increased. This means that, depending on the result values of a last scene capture for the next scene capture, those areas with "overexposure"
  • An embodiment of the invention achieves energy saving by means of dynamic lighting energy optimization, wherein
  • Illumination energies of different wavelengths or frequencies are used. Depending on the color of the object, for example, the wavelengths that contribute to the most intense reflections or
  • other wavelengths or other wavelength regions with less reflection or scattering may be present in the wavelength spectrum with a higher intensity.
  • a red object can be illuminated primarily with a red light component and the green and blue light components are reduced (for the relevant solid angle), preferably to at least approximately an intensity of zero.
  • the same principle can also be applied in the relationship between visible light and infrared (IR) light.
  • variable frequency or wavelength variable illumination with respect to reflection and scattering properties with associated distance and solid angle can be used in a subsequent
  • Scene analysis of moving objects can be of great advantage, because it allows easier objects to be detected and tracked, since the
  • the sensor system described in this document may be used, for example, in passageways, especially in passageways having a shutter characteristic that is automatically controlled (e.g., by means of doors, gates, barriers, traffic lights, etc.). Since the sensors for a
  • Passage control is usually powered by the existing closure systems with energy, it is with a given amount of energy as much sensory effect to achieve.
  • the sensor system described in this document allows (i) a comparison with known sensor systems
  • Cross-traffic and / or (iii) a more reliable detection of objects in a security area of the closure system.
  • Lighting principle B2 is suitable, an (additional) spatial variation of the illumination light is achieved by DOE's, which also as part of the
  • Pattern projections are required, which are required for 3D sensors, which are based on the known principle of structured illumination or the so-called. Strip projection.
  • the scene to be detected is first illuminated conventionally, in particular according to the illumination principle B2.
  • the sensor system can be operated at the lower limit of the measurability as long as the scene is (still) static. However, if a change in the scene is (grossly) detected or at least suspected, then an increase in the illumination intensity can be reacted immediately, so that the scene or the scene changes can then be detected and evaluated with high accuracy.
  • This mechanism can be used both for IR sensor systems and for sensor systems with
  • FIG. 1 shows the use of a sensor system 100 to control a coverage characteristic of an opening 184 depending on the characteristics of a scene 190 monitored by the sensor system 100.
  • the opening 184 is an entrance for persons into a building or garage entrance for motor vehicles.
  • the corresponding input structure is provided with the reference numeral 180.
  • An object 195 located in the scene 190 is intended to be such a person or a person
  • the input structure 180 comprises a stationary support structure 182, which constitutes a frame and a guide for two closing bodies 186 designed as sliding doors.
  • the sliding doors 186 can each be represented by means of a motor 187 along the two thick double arrows
  • Move instructions are moved.
  • the actuation of the motors 187 takes place, as explained below, by means of the sensor system 100 described in this document.
  • the sensor system 100 comprises (a) a TOF detection system 110, (b) a data processing device 150 and (c) a database 160.
  • the TOF detection system 110 in turn has (a) a lighting device 130 for emitting illumination light 131 and (a2 ) a measuring device 115, which is responsible for the detection and measurement of measuring light 196.
  • the measurement light 196 is at least partially backscattered by the object 195 illumination light 131.
  • the measuring device 115 (a2-i) a light receiver 120 and (a2 -ii) a measuring unit 125, which is connected downstream of the light receiver 120 and which is adapted to measure a light transit time between the
  • Lighting device 130 emitted illumination light 131 and received by the light receiver 120 measuring light 196. Further, the measuring device 115 is associated with a light receiver controller 122, which controls the operation of the light receiver 120 with respect to different operating modes.
  • the TOF detection system 110 has (a3) an illumination light control device 135 for controlling the operation of the illumination device 130 and (a4) a free-form optical control device 145 for actuating actuators 131 , 143, by means of which the optical imaging properties of free-form optics 140 and 142 can be selectively adjusted.
  • the sensor system 100 has two free-form optics 140 which are each assigned to one of two light sources or illumination units of the illumination device 130 and are located in the corresponding beam path of the respective illumination light 131.
  • the two free-form optics 140 are not static but can be deformed by means of a respective schematically illustrated actuator 141. This changes the imaging properties of the
  • Free-form optics 140 and there is a relation to the space angle-dependent intensity distribution of the illumination light, as it of the respective
  • Lighting unit of the lighting device 130 is emitted
  • Deformation of the elastic free-form optics 140 which is caused by the free-form optical control device 145 and performed by the respective actuators 141, the spatial characteristics of the illumination light 131, as it encounters the scene 190, may be adjusted in view of a desired space angle-dependent distribution of the intensity of the illumination light 131 in the scene 190.
  • the desired spatial angle-dependent distribution of the illumination light intensity is typically the one
  • Intensity distribution in which the detection of the scene by the light receiver 120 and the signal processing by the downstream measuring unit 125 and the data processing device 150 can be as reliable and / or accurate as possible.
  • the optical properties with respect to a modification of the intensity distribution of the measuring light 196 are provided by an actuator 143 of the Free-form optical control device 145 controlled.
  • the collection of the intensity of the measurement light 196 depending on the spatial angle is modified. This preferably takes place in such a way that the measurement light 196, which is inhomogeneously distributed with respect to its intensity, is "homogenized” (as shown in FIG. 1 from below) on the freeform optical system 140, so that the measurement light has a distribution of intensity which is as homogeneous as possible Light receiver 120 hits.
  • the solid angle dependence of the illumination light and the measurement light described here can also be realized by only one type of free-form optics. For example, the whole
  • Free-form optics 140 and 142 and the actuators 141 and 143 which are mounted on a housing of the TOF detection system 110 via support structures, not shown in Figure 1 for reasons of clarity.
  • a holder 111 at least the TOF detection system 110 is attached to the stationary support structure 182 in a mechanically stable and spatially fixed manner.
  • the entire sensor system 100 (in contrast to the representation of FIG. 1) is constructed as a module which, in addition to the TOF detection system 110, also has the data processing device 150 and the database 160 within a compact design.
  • the light receiver controller 122 may cause the light receiver 120 to operate in a particular one of at least two different modes of operation.
  • individual pixels of the light receiver 120 may have a different sensitivity or a different efficiency with respect to an accumulation of photons. Also below with reference to Figures 4a and 4b
  • Light receiver 120 may be initiated by the light receiver controller 122.
  • An external control signal 152a transferred to the data processing device 150 via an interface 152 can be used to make the operation of the data processing device 150 at least partially dependent on external information.
  • an "a priori knowledge" about an object 195 for an improved evaluation of the detected scene 190 and in particular for an improved object recognition are transmitted.
  • Lighting device 130 which may be, for example, an array of individually controllable laser or light-emitting diodes, the scene 190 and thus also located in the scene 190 object 195 with a pulsed and thus temporally modulated illumination light 131.
  • the illumination light control device 135 is configured, the Lighting device 130 to control such that a characteristic of the illumination light 131, which describes the dependence of the illumination intensity of the illumination light 131 of the solid angle (in which the illumination light 131 strikes the free-form optical system 140), during an operation of the sensor system 100 dynamically
  • the space angle-dependent intensity distribution of the illumination light 131 is not shown in FIG. 1 for reasons of clarity.
  • those intensity of the backscattered measuring light 196 as it encounters the light receiver
  • Solid angle of the scene 190 which are associated with a larger measuring distance, illuminated more than other solid angles, which are associated with a smaller measuring distance.
  • the illumination light controller 135 may be the characteristic of the
  • Illumination light 131 may also modify other (non-spatial) properties of illumination light 131, such as its (a) wavelength, (b) spectral intensity distribution, (c) polarization direction, and (d)
  • Intensity distribution for different polarization directions can be selected such that they contribute to the most reliable and accurate object recognition possible. Again, a "a Priori knowledge "about optical properties of the object 195 are considered.
  • the illumination device 130 in addition to the illumination units shown in Figure 1 can also have other lighting units that illuminate the scene 190 from a different angle. Likewise, the two lighting units can also be arranged even outside the housing of the TOF detection system 110 and thus be further spaced from the light receiver 120. This does not change the principles of the TOF measurement.
  • the acquired optical scene 190 is processed with the data processing device 150 using suitable methods of image evaluation
  • the sensor system 100 is able to perform an object recognition. This is what the
  • Data processing device 150 to a stored in the database 160 record of reference objects corresponding to selected objects that are authorized to pass through the opening 184. This means that with a suitable approach of the object 195 to the input 184, the sliding doors 186 are opened only when the detected object 195 at least approximately coincides with one of the stored reference objects. This clearly indicates that in the use described here of the
  • FIGS. 2 a and 2 b illustrate a deformation of a free-form optical system designed as an elastic, optically refractive element.
  • FIG. 2a shows the optical element 240a in a first operating state, which is characterized by a first spatial structure. As shown here
  • Embodiment the first operating state characterized by the fact that apart from any existing internal voltage from the outside (by an actuator) no force or no pressure on the freeform optics 240a is exercised.
  • the corresponding (not warped) coordinate system is shown in Figure 2a in the optical element 240a.
  • FIG. 2b shows the optical element, which is now designated by the reference numeral 240b, in a second (strained) operating state, which is characterized by a second spatial structure that is different from the first spatial structure. It is obvious that this also changes the light shaping properties, in particular with regard to a modification of the intensity distribution of illuminating light or measuring light passing through.
  • the second operating state is set by exerting a force or a pressure on the optical element 240b from the outside (from an actuator, not shown).
  • the corresponding (warped) coordinate system of the optical element is illustrated in FIG. 2b.
  • the dimensions or lengths of the freeform optical system 240b that are changed in relation to the first state along the coordinate axes are illustrated by coordinate axes of different lengths.
  • FIG. 3 shows a further use or a further use of the invention
  • the TOF detection system 110 detects a traffic flow of (various) objects 395a, 395b, 395c, 395d, and 395e that are on a conveyor belt 398 and move through a scene 390 along the direction of movement represented by an arrow.
  • Reliable knowledge of the number and / or type of objects 395a to 395e may be used in the field of logistics for traffic flow control. Only an example of such
  • Controlling a traffic flow is the control of luggage transport in an airport.
  • labels on the respective objects 395a - 395e can also determine the type of the respective object. It should be noted, however, that use in an airport is merely one example of a variety of other uses in the field
  • FIGS. 4a and 4b illustrate a collection of single pixels of a light receiver 420a or 420b formed as a semiconductor or CCD chip.
  • the light receiver 420a has a plurality of light-sensitive or
  • Photon-collecting pixels 422a As shown here
  • the pixels 422 a of the full spatial resolution of the light receiver 420 a are assigned, which resolution is predetermined by the semiconductor architecture of the chip 420 a.
  • the light receiver 420b four of the light-sensitive pixels (for a full resolution) are respectively added to a higher-level pixel 422b (for an increased resolution)
  • a pixel 422b collects 4 times the amount of light compared to a single pixel 422a.
  • Such "binning" of pixels reduces the required (minimum) intensity of the detected measurement light needed to evaluate the corresponding image area of the scene. Since the intensity of the measurement light depends directly on the intensity of the illumination light, binning reduces the intensity of the illumination light and thus reduces the energy consumption of the sensor system.
  • the described "binning" can also be realized dynamically by a corresponding activation of one and the same light receiver 420a or 420b.
  • the light receiver is operated either in a first operating mode (with full resolution) or in a second operating mode (with photon-collecting combined pixels). Switching between different modes of operation may be controlled by external control signals. Alternatively or in combination, such switching may also depend on the result of a scene evaluation, so that "binning"
  • Operating mode is regulated for a next scene capture.
  • each with a different strong summary of pixels can be used. Furthermore, it is possible to combine a different number of individual pixels into a higher-order pixel in different partial areas of the light receiver. Then, individual portions of the scene with a higher spatial resolution (and less photon accumulation) and other portions of the scene with a lower spatial resolution (and higher
  • FIGS. 5a to 5c show different beam cross sections of an illumination light for adapting the illumination to the shape of the illumination
  • a first illumination light 531a illustrated in FIG. 5a has a substantially circular beam cross section and is preferably suitable for "round scenes". However, for most applications which do not detect (and evaluate) a "round scene", a beam cross section deviating from a circular shape is suitable.
  • FIG. 5b shows an illumination light 531b with an elliptical beam cross section.
  • FIG. 5c shows
  • Illumination light 531c with a rectangular beam cross section.
  • Diffractive optical elements can also be used, which optionally even allow a dynamic and / or scene-dependent shaping of the beam cross-section.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Beschrieben ist ein Sensorsystem (100) sowie ein Verfahren zum dreidimensionalen Erfassen einer Szene (190). Das Sensorsystem weist auf (a) eine Beleuchtungseinrichtung (130) zum Beleuchten der Szene mit einem Beleuchtungslicht (131) entlang eines Beleuchtungsstrahlengangs; (b) eine Messeinrichtung (115) zum Empfangen von Messlicht (196) entlang eines Messlichtstrahlengangs, wobei das Messlicht zumindest teilweise von zumindest einem Objekt (195) zurückgestreutes Beleuchtungslicht ist und zum Messen von Distanzen zwischen dem Sensorsystem und dem Objekt basierend auf einer Lichtlaufzeit des Beleuchtungslichts und des Messlichts; (c) eine der Messeinrichtung nachgeschaltete Datenverarbeitungseinrichtung (150) zum Ermitteln der dreidimensionalen Charakteristik der Szene basierend auf den gemessenen Distanzen; und (d) eine Freiformoptik (140, 142), welche in dem Beleuchtungsstrahlengang und/oder in dem Messlichtstrahlengang angeordnet ist, wobei die Freiformoptik derart konfiguriert ist, dass (i) bei einer Anordnung in dem Beleuchtungsstrahlengang eine Beleuchtungslichtintensität des Beleuchtungslichts von dem Raumwinkel des Beleuchtungsstrahlengangs abhängt und (ii) bei einer Anordnung in dem Messlichtstrahlengang eine Messlichtintensität des Messlichts von dem Raumwinkel des Messlichtstrahlengangs abhängt, so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts und des Messlichts zumindest teilweise kompensiert wird. Ferner sind Verwendungen des Sensorsystems beschrieben.

Description

3D Sensorsystem mit einer Freiformoptik
Technisches Gebiet
Die vorliegende Erfindung betrifft ein Sensorsystem sowie ein Verfahren zum dreidimensionalen Erfassen einer Szene basierend auf Laufzeitmessungen. Ferner betrifft die vorliegende Erfindung mehrere Verwendungen eines solchen
Sensorsystems.
Hintergrund der Erfindung
Zum Öffnen und/oder Verschließen von Öffnungen werden häufig mittels
Aktuatoren betriebene Verschließkörper verwendet, welche für Bedienpersonen die Handhabung des betreffenden Verschließkörpers erleichtern oder ohne jede Bedienaktion automatisch betrieben werden, wenn beispielsweise ein die Öffnung zu passierendes Objekt in den Bereich der Öffnung gelangt. Eine solche Öffnung kann beispielsweise ein Durchgang in einem Gebäude sein. Ein Verschließkörper kann beispielsweise eine Tür oder ein Tor sein .
Um eine hohe Betriebssicherheit von automatisch zu öffnenden und zu
schließenden Verschließkörpern zu erreichen, ist es bekannt, den Bereich vor oder innerhalb einer mit einem Verschließkörper bedeckbaren Öffnung mittels eines optischen Sensorsystems zu erfassen. Damit kann zum einen sichergestellt werden, dass beim Verschießen der Öffnung nicht versehentlich ein Objekt, beispielsweise eine Person, von dem Verschließkörper eingeklemmt wird . Außerdem kann bei manchen Applikationen ein solches Sensorsystem ein automatisches Öffnen des Verschließkörpers bzw. der Öffnung veranlassen. In diesem Zusammenhang ist es auch bekannt, dass ein solches Sensorsystem bzw. eine einem solchen Sensorsystem nachgeschaltete Datenverarbeitungs- einrichtung mittels bekannter Methoden der Bildverarbeitung eine
Objekterkennung durchführt und die Öffnung nur dann freigibt, wenn sich ein zum Passieren der Öffnungen befugtes Objekt dem Bereich der (noch
verschlossenen Öffnung) nähert. Eine solche Objekterkennung kann
beispielsweise eine Gesichtserkennung sein.
Aus EP 2 453 252 Bl ist für den Anwendungsbereich der Überwachung von automatisch zu öffnenden Türen und/oder Toren ein 3D-Sensorsystem bekannt, welches auf dem Prinzip der Laufzeitmessung von Lichtstrahlen beruht, die von Beleuchtungsquellen ausgesandt und nach einer zumindest teilweisen Reflexion bzw. 180° Rückstreuung von einem Lichtempfänger detektiert werden. Solche Sensorsysteme werden allgemein als "Time-of-Flight" (TOF) Sensorsysteme bezeichnet. TOF Sensorsysteme haben jedoch den Nachteil, dass mit
zunehmendem Abstand d des zu erfassenden Objekts die Intensität des von einem Lichtempfänger des TOF Sensors zu erfassenden (zurückgestreuten) Messlichts in zweifacher Hinsicht geschwächt ist. Im Falle einer punktförmigen Beleuchtungslichtquelle ohne eine spezielle Fokussierung skaliert diese
Schwächung des von den Beleuchtungsquellen ausgesandten Beleuchtungslichts mit l/d/ 2, wobei d der Abstand zu der Beleuchtungslichtquelle ist. Gleiches gilt für das Messlicht, wenn man eine Stelle des Objekts, an welcher das
Beleuchtungslicht isotrop gestreut wird, als Punktlichtquelle auffasst. Im Ergebnis führt dies zu einer l/d' Skalierung der Intensität des empfangenen Messlichts. Bei einer auf irgendeine Art und Weise realisierten Strahlformung, beispielsweise einer Fokussierung, des Beleuchtungslichts, des Messlichts und/oder bei einer nicht isotropen Streuung des Beleuchtungslichts mit einer bevorzugten
Aussendung des Messlichts in Richtung des Lichtempfängers, ist die
Intensitätsschwächung entsprechend geringer, trägt jedoch trotzdem zu einem signifikanten Verlust an Lichtleistung bei. Dies wiederum führt zu einer entsprechend schlechten Energieeffizienz eines TOF Sensorsystems.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde eine aus energetischer Sicht effiziente und trotzdem zuverlässige dreidimensionale Erfassung einer Szene, welche auch relativ weit entfernte Objekte umfasst, zu ermöglichen.
Zusammenfassung der Erfindung
Diese Aufgabe wird gelöst durch die Gegenstände der unabhängigen
Patentansprüche. Vorteilhafte Ausführungsformen der vorliegenden Erfindung sind in den abhängigen Ansprüchen beschrieben.
Gemäß einem ersten Aspekt der Erfindung wird ein Sensorsystem zum
dreidimensionalen Erfassen einer Szene beschrieben. Das beschriebene
Sensorsystem weist auf (a) eine Beleuchtungseinrichtung zum Beleuchten der Szene mit einem Beleuchtungslicht entlang eines Beleuchtungsstrahlengangs; (b) eine Messeinrichtung (bl) zum Empfangen von Messlicht entlang eines
Messlichtstrahlengangs, wobei das Messlicht zumindest teilweise von zumindest einem Objekt in der Szene zurückgestreutes Beleuchtungslicht ist und (b2) zum Messen von Distanzen zwischen dem Sensorsystem und dem zumindest einen Objekt basierend auf einer Lichtlaufzeit des Beleuchtungslichts und des
Messlichts; (c) eine der Messeinrichtung nachgeschaltete
Datenverarbeitungseinrichtung zum Ermitteln der dreidimensionalen
Charakteristik der Szene basierend auf den gemessenen Distanzen; und (d) eine Freiformoptik, welche in dem Beleuchtungsstrahlengang und/oder in dem
Messlichtstrahlengang angeordnet ist. Die Freiformoptik ist derart konfiguriert, dass (dl) bei einer Anordnung in dem Beleuchtungsstrahlengang eine
Beleuchtungslichtintensität des Beleuchtungslichts von dem Raumwinkel des Beleuchtungsstrahlengangs abhängt und (d2) bei einer Anordnung in dem Messlichtstrahlengang eine Messlichtintensität des Messlichts von dem Raumwinkel des Messlichtstrahlengangs abhängt, so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts und des Messlichts zumindest teilweise kompensiert ist.
Dem beschriebenen Sensorsystem, welches ein sog. Time Of Flight (TOF) Sensorsystem ist, liegt die Erkenntnis zugrunde, dass durch eine geeignet ausgebildete Freiformoptik von der Szenengeometrie und von dem Raumwinkel abhängige Einflüsse auf die Intensitätsverteilung des empfangenen Messlichts zumindest teilweise kompensiert werden können. Anschaulich ausgedrückt sorgt die Freiformoptik dafür, dass es in einem durch das empfangene Messlicht erzeugten Bildes der Szene weder zu (übermäßig) unterbelichteten noch zu (übermäßig) überbelichteten Teilbereichen kommt. Wenn sich die Freiformoptik in dem Strahlengang des Beleuchtungslichts befindet, dann wird bereits durch eine geeignete raumwinkelabhängige Intensitätsverteilung des
Beleuchtungslichts dafür gesorgt, dass das Messlicht von jedem Teilbereich der Szene mit einer möglichst homogenen Intensitätsverteilung auf einen
Lichtempfänger der Messeinrichtung trifft. Alternativ oder in Kombination, wenn sich die Freiformoptik in dem Strahlengang des Messlichts befindet, dann wird durch eine geeignete Einsammlung von Messlichtstrahlen dafür gesorgt oder dazu beigetragen, dass das Messlicht mit einer möglichst homogenen
Intensitätsverteilung auf den Lichtempfänger trifft.
Anders ausgedrückt sorgt die Freiformoptik in dem Beleuchtungsstrahlengang dafür, dass die Szene mit einer raumwinkelabhängigen Beleuchtungsintensität beleuchtet bzw. belichtet wird. In dem Messlichtstrahlengang sorgt die
Freiformoptik dafür, dass das Messlicht raumwinkelabhängig unterschiedlich, insbesondere mit einer raumwinkelabhängigen Fokussierung eingesammelt. Beide Effekte tragen dazu bei, dass von allen Teilbereichen der Szene
empfangenes Messlicht hinsichtlich seiner Intensität zumindest annähernd gleich ist. Dadurch kann vermieden werden, dass es in einem Bild der erfassten Szene von dem Messlicht unterbelichtete und/oder überbelichtete Teilbereiche gibt.
Mit der beschriebenen Freiformoptik kann eine raumwinkelabhängige
Intensitätsverteilung des Beleuchtungslichts bzw. eine räumliche Charakteristik des Beleuchtungslichts und/oder eine raumwinkelabhängige Einsammlung der Messlichtintensität bzw. räumliche Messlicht-Einsammelcharakteristik so eingestellt werden, dass die Intensität insbesondere des Beleuchtungslichts gerade so hoch ist, wie es für eine zuverlässige Erfassung des dem jeweiligen Raumwinkelbereich zugeordneten Teilbereichs der Szene erforderlich ist.
Dadurch wird für die Beleuchtung lediglich so viel Energie benötigt, wie es erforderlich ist, so dass sich das beschriebene Sensorsystem im Ergebnis durch eine gute Energieeffizienz auszeichnet.
Es wird darauf hingewiesen, dass mit der beschriebenen Freiformoptik bei Bedarf auch (unerwünschte) Abbildungsfehler in dem Beleuchtungsstrahlengang und/oder dem Messlichtstrahlengang kompensiert werden können. Solche Abbildungsfehler können von anderen optischen Komponenten des
Sensorsystems stammen.
Unter dem Begriff "Szene" kann insbesondere derjenige räumliche Bereich verstanden werden, welcher von dem Sensorsystem optisch erfasst wird. In der Szene befindliche Objekte werden durch eine geeignete Bildauswertung erkannt. Dazu kann von der Datenverarbeitungseinrichtung auf bekannte Methoden zur Bildauswertung und/oder Bildanalyse zurückgegriffen werden. Die
Datenverarbeitungseinrichtung kann demzufolge ein spezieller
Bildverarbeitungsprozessor sein und einen solchen aufweisen, der konfiguriert ist, bekannte Verfahren zur Bildauswertung und/oder Bildverarbeitung
anzuwenden bzw. durchzuführen.
Unter dem Begriff "Objekt" kann jede räumlich körperliche Struktur verstanden werden, welche eine Oberflächenbeschaffenheit aufweist, die zu einer zumindest teilweisen Reflexion bzw. Streuung von Beleuchtungslicht führt und damit durch das resultierende Messlicht für die Messeinrichtung sichtbar ist. Das Objekt kann ein Gegenstand wie beispielsweise ein Kraftfahrzeug oder ein Lebewesen wie beispielweise ein Mensch sein. Das Objekt kann ein in Bezug auf das
Sensorsystem statisches oder ruhendes Objekt sein. Ferner kann das Objekt sich auch innerhalb der Szene bewegen, diese verlassen oder in diese eintreten.
Durch eine wiederholte Szenenerfassung kann dann (durch einen Vergleich der mit verschiedenen Szenenerfassungen ermittelten verschiedenen Ortspositionen) die Bewegung des Objekts (nach der Formel Geschwindigkeit = Weg / Zeit) bestimmt werden. Hierbei können je nach Anwendungsfall der Absolutwert der Geschwindigkeit und/oder der Bewegungsvektor, d.h. zusätzlich die
Bewegungsrichtung, ermittelt werden.
Unter dem Begriff "Beleuchtungslicht" sind in diesem Dokument diejenigen elektromagnetischen Wellen zu verstehen, welche von einer Lichtquelle bzw. einer Beleuchtungseinheit der Beleuchtungseinrichtung ausgesandt werden und auf das betreffende Objekt der Szene treffen. Das "Messlicht" sind die von bzw. an dem Objekt (zurück)gestreuten elektromagnetischen Wellen, welche von der Messeinrichtung bzw. einem Lichtempfänger der Messeinrichtung empfangen und für die dreidimensionale Auswertung der Szene, zusammen mit den
entsprechenden TOF Distanzinformationen, verwendet werden.
Unter dem Begriff "Charakteristik einer Szene" kann die Gesamtheit aller räumlichen Strukturen und insbesondere alle Objekte verstanden werden, welche von dem Sensorsystem erfasst werden. Die Charakteristik der Szene ändert sich, wenn (i) neue Objekte in die Szene eintreten, wenn (ii) bereits in der Szene befindliche Objekte ihre Position und/oder ihr optisches Erscheinungsbild, insbesondere ihr optisches Streuverhalten, ändern und/oder wenn (iii) Objekt die Szene verlassen. Dabei können von der Datenverarbeitungseinrichtung mittels einer Bildverarbeitung und/oder Bilderkennung manche Strukturen als relevant und andere Strukturen als weniger oder sogar irrelevant erkannt werden. Unter dem Begriff "Freiformoptik" kann in diesem Dokument jede den Strahlengang von Lichtstrahlen modifizierende optische Struktur verstanden werden, welche für eine raumwinkelabhängige Modifikation der Intensität des Beleuchtungslichts und/oder für eine raumwinkelabhängige Einsammlung (der Intensität des Messlichts) sorgt. Die Freiformoptik kann eine statische Optik sein. Dies bedeutet, dass die Szene unabhängig von ihrer aktuellen Charakteristik bei verschiedenen Szenenerfassungen (und Szenenermittlungen bzw.
Szenenauswertungen durch die Datenverarbeitungseinrichtung) immer mit der gleichen raumwinkelabhängigen Modifikation des Beleuchtungslichts beleuchtet und/oder mit der gleichen raumwinkelabhängigen Modifikation des Messlichts erfasst wird. Bei anderen Ausführungsformen kann der Betriebszustand
beispielsweise durch eine Veränderung der Geometrie und/oder der inneren Struktur der Freiformoptik modifiziert werden.
Eine Freiformoptik kann aus einem optischen Element bestehen. Alternativ kann eine Freiformoptik auch aus mehreren hintereinander geschalteten optischen Elementen bestehen und beispielsweise mittels eines Linsensystems realisiert sein.
Unter dem Ausdruck "distanzbasierter Intensitätsverlust" kann diejenige
Reduzierung der Intensität von Beleuchtungslicht und/oder Messlicht verstanden werden, welche durch eine Aufweitung des Querschnitts der
Beleuchtungslichtstrahlen bzw. der Messlichtstrahlen (nach einer Streuung bzw. Reflexion an einem Objekt) verursacht ist. Im Falle einer Punktlichtquelle ohne eine spezielle Fokussierung skaliert dieser Verlust des Beleuchtungslichts mit l/d^, wobei d der Abstand zu der Punktlichtquelle ist. Gleiches gilt für das Messlicht, wenn man eine Stelle des Objekts, an welcher das Beleuchtungslicht isotrop gestreut wird, als Punktlichtquelle auffasst. Im Ergebnis führt dies zu einer l/d' Skalierung des resultierenden Messsignals, welches durch die
Intensität des empfangenen Messlichts gegeben ist. Bei einer auf irgendeine Art und Weise realisierten Strahlformung, beispielsweise einer Fokussierung, des Beleuchtungslichts, des Messlichts und/oder bei einer nicht isotropen Streuung des Beleuchtungslichts mit einer bevorzugten Aussendung des Messlichts in Richtung der Messeinrichtung, ist der "distanzbasierte Intensitätsverlust" entsprechend geringer, stellt in der Praxis jedoch trotzdem einen signifikanten Verlust dar, welcher die Energieeffizienz eines TOF Sensors reduziert.
Erfindungsgemäß werden diese Verluste durch die Freiformoptik zumindest teilweise reduziert bzw. kompensiert.
Die Begriffe "optisch" und/oder "Licht" können sich auf elektromagnetische Wellen beziehen, die eine bestimmte Wellenlänge bzw. Frequenz oder ein bestimmtes Spektrum von Wellenlängen bzw. Frequenzen haben . Insbesondere können die zum Einsatz kommenden elektromagnetischen Wellen dem für das menschliche Auge sichtbaren Spektralbereich zugeordnet werden. Alternativ oder in Kombination können auch elektromagnetische Wellen verwendet werden, die dem ultravioletten (UV) oder dem infraroten (IR) Spektralbereich zugeordnet sind . Der IR Spektralbereich kann sich bis in den langwelligen IR Bereich mit Wellenlängen zwischen 3,5 pm bis 15 pm erstrecken, welche mittels des
Lichtempfängers des Sensors erfasst werden können.
Es wird darauf hingewiesen, dass die erfindungsgemäße Kompensation des distanzbasierten Intensitätsverlustes mittels der raumwinkelabhängigen
Intensitätsmodifikation von Beleuchtungslicht und/oder Messlicht nicht nur für TOF Sensorsysteme möglich ist, welche die ganze oder zumindest größere Teilbereiche der Szene gleichzeitig beleuchten. Die erfindungsgemäße
Freiformoptik kann auch bei TOF Sensorsystemen optisch gewinnbringend zum Einsatz kommen, welche die Szene sequenziell mit einem Beleuchtung
Lichtstrahl, beispielsweise einem Laserstrahl, abtasten.
Gemäß einem Ausführungsbeispiel der Erfindung weist das Sensorsystem ferner eine weitere Freiformoptik auf, wobei die Freiformoptik in dem Beleuchtungsstrahlengang angeordnet ist und die weitere Freiformoptik in dem Messlichtstrahlengang angeordnet ist. Durch das Vorsehen von zwei getrennten und damit individuell dimensionierbaren Freiformoptiken können
Beleuchtungslicht und Messlicht unabhängig voneinander jeweils optimal modifiziert werden. Bei veränderbaren Freiformoptiken können beiden "Lichter" unabhängig voneinander adaptiv hinsichtlich ihrer raumwinkelabhängigen
Intensitätsverteilung modifiziert werden.
Es wird darauf hingewiesen, dass alle in diesem Dokument beschriebenen
Merkmale bzw. Varianten der Freiformoptik auch für die weitere Freiformoptik gelten.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die Freiformoptik auf zumindest ein reflektives optisches Element, zumindest ein refraktives optisches Element und/oder zumindest ein diffraktives optisches Element.
Unter dem Begriff "reflektiv" bzw. "Reflexion" wird in diesem Dokument ein (zumindest teilweises) Zurückwerfen von elektromagnetischen Wellen an einer Grenzfläche verstanden, wobei in Bezug auf eine Normale dieser Grenzfläche der Einfallswinkel der einfallenden elektromagnetischen Welle gleich dem
Ausfallwinkel der reflektierten elektromagnetischen Welle. Bevorzugt weist die reflektierende Grenzfläche der Freiformoptik einen möglichst hohen
Reflexionskoeffizienten auf. Dies bedeutet, dass derjenige Anteil der
elektromagnetischen Welle, welcher nicht mit " Einfallswinkel = Ausfallswinkel" reflektiert ist, möglichst groß ist und der Anteil der elektromagnetischen Welle, der absorbiert oder der in andere Richtungen gestreut wird, möglichst klein ist. Ein reflektives Element kann insbesondere ein Spiegel sein. Die Freiformoptik kann damit zumindest einen Spiegel (mit einer geeignet gekrümmten
Oberfläche) aufweisen.
Unter dem Begriff "refraktiv" bzw. "Refraktion" (oder Brechung) wird die Änderung der Ausbreitungsrichtung einer elektromagnetischen Welle aufgrund einer räumlichen Änderung ihrer Ausbreitungsgeschwindigkeit bezeichnet, die speziell für Lichtwellen durch den Brechungsindex n eines Mediums beschrieben wird. Ein refraktives Element der beschriebenen Freiformoptik kann eine geeignete geformte Linse sein. Auch anderen optisch brechende Elemente wie beispielsweise ein (modifiziertes Prisma) können verwendet werden, um eine geeignete raumwinkelabhängige Strahlformung des Beleuchtungslicht und/oder des Messlichts zu realisieren.
Unter dem Begriff "diffraktiv" bzw. "Diffraktion" (oder Beugung) wird in diesem Zusammenhang allgemein die räumliche Ablenkung einer elektromagnetischen Welle an strukturellen Hindernissen bezeichnet. Solche Hindernisse können sein eine Kante, ein Loch oder ein eindimensionales, ein zweidimensionales oder sogar ein dreidimensionales Gitter. Das diffraktive optische Element kann beispielsweise und bevorzugt ein Diffraktives Optisches Element (diffractive optical Element, DOE) sein, welches auf vorteilhafte Weise eine dynamische Anpassung bzw. Adaptierung der raumwinkelabhängigen Charakteristik des Beleuchtungslichts und/oder der raumwinkelabhängigen Charakteristik des Messlichts erlaubt.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die Freiformoptik zumindest ein räumlich und/oder strukturell veränderbares optisches Element auf, wobei eine Veränderung des optischen Elements zu einer Veränderung der Raumwinkelabhängigkeit der Beleuchtungslichtintensität und/oder der
Messlichtintensität führt.
Durch die beschriebene Veränderbarkeit der Freiformoptik kann während des Betriebs des Sensorsystems die Raumwinkelabhängigkeit der
Intensitätsverteilung von Beleuchtungslicht und/oder Messlicht dahingehend an eine Veränderung der Charakteristik der zu erfassenden Szene angepasst werden, dass alle (relevanten) Objekte in der Szene mit einer hohen Genauigkeit erfasst werden können. Die beschriebene Veränderung der Freiformoptik kann damit während des Betriebes des Sensorsystems szenenabhängig von der Datenverarbeitungseinrichtung veranlasst werden. Ferner kann die Freiformoptik auch nach dem Prinzip "Try-and-Error" oder durch andere statistische,
inkrementeile oder historienbasierende Optimierungsprozeduren verändert werden. Dies kann dynamisch während eines reellen Betriebs des Sensorsystems oder im Rahmen einer Kalibrierung mittels einer Erkennung von geeigneten Referenzobjekten erfolgen.
Eine räumliche Veränderung des optischen Elements kann beispielsweise eine einfache Verschiebung und/oder Drehung dieses optischen Elements in einem Koordinatensystem des Sensorsystems und/oder relativ zu anderen optischen Elementen der Freiformoptik sein. Dies kann bevorzugt mittels eine Aktuators auf automatische Weise erfolgen, wobei eine Steuerung des Aktuators von der Datenverarbeitungseinrichtung oder von einer beliebigen anderen in Bezug auf die Sensorvorrichtung internen oder externen Freiform-Steuereinrichtung erfolgen kann.
Das veränderbare optische Element kann auch ein elastisches Element sein, beispielsweise ein deformierbarer Spiegel. Ferner kann das elastische Element ein unter Ausübung von Druck verformbares Element aus einem elastischen optischen Material sein, welches seine optischen Eigenschaften (Reflexions-, Diffraktions- und/oder Refraktionsverhalten) unter Druck ändert.
Eine strukturelle Veränderung kann beispielsweise bei einem DOE zu einer gewünschten Modifikation der Raumwinkelabhängigkeit des Beleuchtungslichts und/oder des Messlichts führen. Darüber hinaus können auch Mikrospiegelarrays verwendet werden, die aus der sog. Digital Light Processing (DLP)
Projektionstechnik bekannt sind. Ferner können auch sog. Mikro Elektro
Mechanische Systeme (microelectromechanical Systems, MEMS) Vorrichtungen zu einer gezielten Bewegung einer Vielzahl von optischen Elementen, insbesondere Mikrospiegel, verwendet werden, so dass es zu einer gewünschten raumwinkelabhängigen Intensitätsverteilung des Beleuchtungslichts und/oder des Messlichts kommt.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist bzw. sind die Freiformoptik und/oder die Beleuchtungseinrichtung konfiguriert, das
Beleuchtungslicht und/oder das Messlicht mit einer raumwinkelabhängigen Intensitätsverteilung bereitzustellen, welche einen Randlichtabfall zumindest annähernd kompensiert, insbesondere einen natürlichen Randlichtabfall gemäß dem eine Helligkeit in einem Bild beim Abbilden eines gleichmäßig hellen Motivs durch ein Objektiv um den Faktor cos'M gegenüber der Helligkeit in der Mitte des Bildes abnimmt.
Der natürliche Randlichtabfall, welcher durch das sog . cos'M (Cosinus hoch 4) Gesetz beschrieben wird, hängt in bekannter Weise von der Brennweite eines verwendeten Objektivs ab. Im Falle des beschriebenen TOF Sensorsystems kann ein solches Objektiv für eine Abbildung des Beleuchtungslichts auf die Szene und/oder für die Abbildung der Szene auf einen Lichtempfänger der
Messeinrichtung verwendet werden. Im Falle der Verwendung von Objektiven und bevorzugt eines gemeinsamen Objektives sowohl für das (aus einer flächigen Lichtquelle ausgesandte) Beleuchtungslicht als auch für das (von der flächigen Szene gestreute) Messlicht würde ohne die beschriebene Kompensation der natürliche Randlichtabfall zweifach auftreten und der negative Einfluss des cos'M Gesetzes wäre entsprechend stark. Daher trägt bei TOF Sensorsystemem, bei denen sowohl das Beleuchtungslicht als auch das Messlicht durch ein Objektiv tritt, die hier beschriebene Kompensation des natürlichen Randlichtabfalls durch die Freiformoptik und/oder eine über die Szene ungleichmäßige Beleuchtung durch die Beleuchtungseinrichtung besonders stark zu einer Verbesserung der Lichtintensitätsverhältnisse bei.
Die Kompensation des natürlichen Randlichtabfalls durch eine geeignete raumwinkelabhängige Intensitätsmodifikation von Beleuchtungslicht und/oder Messlicht kann zumindest 30%, bevorzugt 50%, weiter bevorzugt 80% und noch weiter bevorzugt 90% oder sogar 95% betragen. Diese Prozentangaben beziehen sich (bei einer fest vorgegebenen Brennweite des verwendeten Objektives) auf das Verhältnis zwischen den Intensitäten am Rand des auf der Messeinrichtung abgebildeten Bildes der Szene (für das Messlicht), welche (a) mit der
beschriebenen Kompensation und (b) ohne die beschriebene Kompensation des natürlichen Randabfalls auftreten. Dementsprechend würde eine 100%
Kompensation eine vollständige Eliminierung des natürlichen Randlichtabfalls bedeuten. Dabei würde bei einer (fiktiven) Szene, die in allen Teilbereichen das Beleuchtungslicht gleich stark streut, die Helligkeit in einem Bild in allen
Teilbereichen gleich sein, wobei das Bild die (vollständige) Abbildung der Szene auf einem Lichtempfänger der Messeinrichtung ist.
Es wird darauf hingewiesen, dass in Bezug auf die Helligkeitsverteilung des Beleuchtungslichts in der Szene bei bevorzugten Ausführungsformen eine
Überkompensation des natürlichen Randlichtabfalls stattfindet. Diese
Überkompensation sollte gerade so stark sein, dass der natürliche Randlichtabfall des Messlichts gerade so kompensiert wird, dass es in dem auf der
Messeinrichtung abgebildeten Bild der Szene zu einer möglichst guten
Kompensation des natürlichen Randlichtabfalls kommt.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das
Sensorsystem ferner eine mit der Beleuchtungseinrichtung gekoppelte
Beleuchtungslicht-Steuereinrichtung auf, welche konfiguriert ist, die
Beleuchtungseinrichtung derart anzusteuern, dass eine Charakteristik des
Beleuchtungslichts, welche die Abhängigkeit der Beleuchtungsintensität des Beleuchtungslichts von dem Raumwinkel beschreibt, während eines Betriebes des Sensorsystems dynamisch veränderbar ist.
Durch eine dynamische Veränderbarkeit der Charakteristik des Beleuchtungslichts kann ein und dieselbe Szene bei unterschiedlichen Beleuchtungsbedingungen (nacheinander) mehrfach aufgenommen werden. Dadurch stehen der Datenverarbeitungseinrichtung unterschiedliche Datensätze von ein und derselben Szene zur Verfügung, sodass mittels einer geeigneten Methode der Bildanalyse (von der Datenverarbeitungseinrichtung) derjenige Datensatz für die Ermittlung der dreidimensionalen Charakteristik der Szene verwendet werden kann, welcher die Szene am genauesten wiedergibt. Dabei kann gegebenenfalls ein "a priori Wissen" über die optischen und/oder
geometrischen Eigenschaften von in der Szene befindlichen Objekten
berücksichtigt werden.
Ferner kann eine optimale Beleuchtungscharakteristik auch nach dem Prinzip "Try-and-Error" oder durch andere statistische Optimierungsprozeduren ermittelt werden. Dies kann (wie bei der vorstehend beschriebenen räumlichen und/oder strukturellen Veränderung eines optischen Elements der Freiformoptik) dynamisch während eines reellen Betriebs des Sensorsystems oder im Rahmen einer Kalibrierung mittels einer Erkennung von geeigneten Referenzobjekten erfolgen.
Bei manchen Ausführungsformen können auch die bei unterschiedlichen
Beleuchtungscharakteristiken aufgenommenen 3D Bilder der Szene gemeinsam verarbeitet werden, sodass für eine finale Ermittlung der 3D Charakteristik der Szene ein umfangreicher Datensatz zur Verfügung steht. Bei einer solchen gemeinsamen Verarbeitung können unterschiedliche Teilbereiche der Szene dadurch charakterisiert werden, dass für einen ersten Teilbereich ein bei einer ersten Beleuchtungscharakteristik aufgenommener erster Teil-Datensatz und für einen zweiten Teilbereich der bei einer zweiten Beleuchtungscharakteristik aufgenommene zweiter Teil-Datensatz für die Ermittlung der
Gesamtcharakteristik der Szene verwendet werden. Selbstverständlich können für die Erfassung der Gesamtcharakteristik der Szene auch mehr als drei
Datensätze herangezogen werden, welche jeweils einer unterschiedlichen Beleuchtung Lichtcharakteristik zugeordnet sind.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die
Datenverarbeitungseinrichtung mit der Beleuchtungslicht-Steuereinrichtung gekoppelt und konfiguriert, die ermittelte dreidimensionale Charakteristik der Szene auszuwerten und basierend auf einem Ergebnis dieser Auswertung die Charakteristik des Beleuchtungslichts zu verändern.
Anschaulich ausgedrückt hängt die Art und Weise, wie die Szene für eine
Szenenerfassung raumwinkelabhängig von der Beleuchtungseinrichtung beleuchtet wird, von Mess- und Auswertungsergebnissen ab, die aus einer vorherigen Szenenerfassung ermittelt worden sind. Die Charakteristik der Beleuchtung wird also dynamisch aufgrund von Messergebnissen einer
vorherigen Szenenerfassung angepasst. Damit findet korrekt ausgedrückt nicht mehr lediglich eine Steuerung der Beleuchtungseinrichtung sondern vielmehr eine Regelung derselben statt. Dies erlaubt auf vorteilhafte Weise eine besonders genaue Adaption der Szenenbeleuchtung in Hinblick auf eine optimale
Szenenauswertung.
Eine geeignete Steuerung der Beleuchtungseinrichtung kann von aktuellen Umgebungsbedingungen abhängen, welche sich in dem Ergebnis der
Szenenauswertung widerspiegeln. Solche Umgebungsbedingungen können Wetterbedingungen wie beispielsweise das Vorhandensein von Regen, Schnee, Hagel, Nebel, Rauch, Schwebepartikeln, etc. in der Szene sein.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung hängt das Ergebnis der Auswertung von dem optischen Streuverhalten von zumindest einem in der Szene enthaltenen Objekt ab. Dies hat den Vorteil, dass zusätzlich zu der vorstehend beschriebenen und erfindungsgemäßen distanzbasierten
Kompensation auch noch ein gegebenenfalls vorhandenes unterschiedliches Streuverhalten und/oder Reflexionsverhalten von verschiedenen Objekten in der Szene berücksichtigt werden kann, sodass das Messlicht mit einer zumindest annähernd räumlich gleichmäßigen Intensitätsverteilung auf einen
Lichtempfänger der Messeinrichtung auftrifft. Eine über die lichtsensitive Fläche des Lichtempfängers möglichst gleichmäßige Helligkeit begünstigt eine präzise Distanzmessung durch das beschriebene TOF Sensorsystem.
Es wird darauf hingewiesen, dass bei vielen Objekten das Streu-bzw. Reflexions- Verhalten von der Wellenlänge bzw. der Frequenz des Beleuchtungslichts hängt. Eine Berücksichtigung einer solchen Frequenzabhängigkeit kann auf vorteilhafte Weise zu einer weiteren Verbesserung der Szenenbeleuchtung und der darauffolgenden Szenenauswertung beitragen.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die
Beleuchtungseinrichtung auf zumindest eines aus der Gruppe bestehend aus
(a) einer als Laser ausgebildeten Beleuchtungslichtquelle zum räumlichen Abtasten der Szene mit einem ausgesandten Laserstrahl-Beleuchtungslicht;
(b) einer zumindest annähernd punktförmigen Beleuchtungslichtquelle;
(c) einer Mehrzahl von einzelnen Beleuchtungslichtquellen, die insbesondere individuell ansteuerbar und jeweils einem bestimmten Raumwinkelbereich der Szene zugeordnet sind; und
(d) einer flächigen Beleuchtungslichtquelle, insbesondere mit einer über die Fläche nicht homogenen ausgesandten Leuchtintensität.
Ein die Szene abtastender Laserstrahl kann in bekannter weise über zwei drehbare Spiegel mit zueinander nicht parallelen und bevorzugt senkrecht zueinander orientierten Drehachsen auf die jeweils zu beleuchtende Stelle der Szene gelenkt werden. Für eine solche (dynamisch adaptive) Ablenkung können auch nicht mechanische optische Elemente wie beispielsweise Diffraktive
Optische Elemente (DOEs) verwendet werden. Die Ablenkung kann insbesondere durch die vorstehend beschriebene Beleuchtungslicht-Steuereinrichtung gesteuert werden. Auch eine dynamische Adaption der Freiformlinse mittels der vorstehend beschriebenen räumlichen und/oder strukturellen Veränderung eines optischen Elementes der Freiformlinse kann für eine geeignete Strahlablenkung des Laserstrahls sorgen.
Die eine zumindest annähernd punktförmige Beleuchtungslichtquelle kann eine (ausreichend starke) Halbleiterdiode, beispielsweise eine Laser- oder Leuchtdiode sein. Um gezielt die Szene flächig zu beleuchten, können geeignete
Strahlformungssysteme und insbesondere die beschriebene Freiformoptik verwendet werden. Um eine raumwinkelabhängig ungleichmäßige Beleuchtung der Szene zu realisieren, können auch geeignete optische Elemente zur
Strahlablenkung, Strahlteilung und/oder Strahlzusammenführung verwendet werden.
Die Mehrzahl von Beleuchtungslichtquellen, welche ebenfalls insbesondere Laser- oder Leuchtdioden sind, können (insbesondere individuell) von der vorstehend beschriebenen Beleuchtungslicht-Steuereinrichtung angesteuert werden. Dies erlaubt auf vorteilhafte Weise eine adaptiv gesteuerte oder sogar geregelte Einstellung der Charakteristik des Beleuchtungslichts.
Auch eine flächige Lichtquelle kann die Quelle für eine raumwinkelabhängig nicht homogene Intensitätsverteilung sein. Sofern es sich um eine räumlich homogen erleuchtete Fläche handelt, können geeignete optische Elemente zur
Strahlablenkung, Strahlteilung, Strahlzusammenführung und/oder
Strahlformung, insbesondere (auch) die beschriebene Freiformoptik eingesetzt werden, um eine raumwinkelabhängig ungleichmäßige Beleuchtung der Szene zu realisieren.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist bzw. sind die Freiformoptik und/oder die Beleuchtungseinrichtung konfiguriert, das
Beleuchtungslicht mit einem von einer Kreisform abweichenden Strahlquerschnitt bereitzustellen. Dadurch kann bei Szenen, welche "nicht rund" sind, eine unzureichende Beleuchtung von Eckbereichen der Szene vermieden werden. Eine unzureichende Beleuchtung der Eckbereiche könnte zwar ggf. durch eine insgesamt erhöhte Intensität des Beleuchtungslichts verhindert werden, in diesem Fall würden jedoch die mittleren Bereiche der Szene überbelichtet, was zumindest aus energetischer Sicht sehr nachteilig wäre.
Bei vielen Ausführungsformen bzw. Anwendungen des Sensorsystems ist es vorteilhaft, wenn das Beleuchtungslicht einen rechteckigen Strahlquerschnitt hat. Bevorzugt ist der Strahlquerschnitt zur Erzielung einer möglichst homogegen Beleuchtung an die Form der zu erfassenden Szene angepasst. Eine geeignete Formgebung des Strahlquerschnitts kann nicht nur durch eine entsprechende Formung der Leuchtfläche der Beleuchtungseinrichtung und/oder Konfigurierung der Freiformoptik realisiert werden, der Strahlquerschnitt kann auch durch optische Komponenten wie Spiegel und refraktive optische Elemente (z.B.
Linsensystem) auf geeignete Weise angepasst werden. Auch Diffraktive Optische Elemente (DOE) können verwendet werden, welche optional sogar eine
dynamische und/oder szenenabhängige Formung des Strahlquerschnitts ermöglichen. Darüber hinaus können auch Mikrospiegelarrays verwendet werden, die aus der sog. Digital Light Processing (DLP) Projektionstechnik bekannt sind. Auch mit sog. Mikro Elektro Mechanische Systeme (microelectromechanical Systems, MEMS) Vorrichtungen lassen sich eine Vielzahl von optischen Elementen derart bewegen, dass es zu einer gewünschten raumwinkelabhängigen
Beleuchtungsintensität kommt.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die
Messeinrichtung auf einen Lichtempfänger mit einer Vielzahl von Pixeln zum Empfangen des Messlichts, wobei erste Pixel in einem ersten Teilbereich des Lichtempfängers eine erste Lichtsensitivität aufweisen und zweite Pixel in einem zweiten Teilbereich des Lichtempfängers eine zweite Lichtsensitivität aufweisen. Dabei ist die zweite Lichtsensitivität unterschiedlich zu der ersten
Lichtsensitivität. Durch die beschriebene ungleiche Pixelsensitivität kann ebenfalls dazu beigetragen werden, dass in einem Bild der Szene der Unterschied zwischen einer helleren Region und einer dunkleren Region nicht so groß ist, als dass er eine zuverlässige Szenenerfassung und/oder eine genaue Szenenauswertung durch die Datenverarbeitungseinrichtung gefährden würde.
Bei manchen Ausführungsformen werden Lichtempfänger verwendet, bei denen die räumliche Verteilung zwischen ersten Pixeln und zweiten Pixeln dynamisch bzw. adaptiv variiert werden kann. Eine solche Variation kann auch durch die Datenverarbeitungseinrichtung gesteuert werden und von einem Ergebnis einer vorherigen Szenenauswertung abhängen.
Es wird darauf hingewiesen, dass der Begriff der Lichtsensitivität mit der Fähigkeit des betreffenden Pixels zusammenhängt, auftreffende Photonen innerhalb einer kurzen Belichtungszeit zu akkumulieren. Eine unterschiedliche Pixelsensitivität kann z.B. durch Reduktion des Rauschens einzelner Pixel oder Zonen von Pixeln realisiert werden. Da das Rauschen häufig mit der Wärme des Sensors korreliert ist, kann z.B. mittels einer Wärmepumpe (z.B. ein Peltier- Element) für einen Teil des Lichtempfängers eine höhere Sensitivität erreicht werden. Je punktueller diese Temperaturveränderung auf dem Lichtempfänger erzeugt werden kann, desto höher kann die Energieeffizienz des Sensorsystems sein. So lässt sich z.B. in einer bestimmten Ausführungsform ein
Temperaturgradient über den Lichtempfänger aufprägen, so dass das von einem weiter entfernten Teilbereich der Szene kommende Messlicht auf eine kühlere Zone des Lichtempfängers gelangt.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die
Messeinrichtung ferner auf eine mit dem Lichtempfänger gekoppelte
Lichtempfänger-Steuereinrichtung, wobei die Lichtempfänger-Steuereinrichtung und der Lichtempfänger derart konfiguriert sind, dass in einem modifizierten Betrieb des Sensorsystems zumindest zwei Pixel der Vielzahl von Pixeln zu einem übergeordneten Pixel zusammengefasst sind.
Ein solches Zusammenfassen von Pixeln, welches auch als "Binning" bezeichnet wird, hat die Wirkung, dass auf Kosten der räumlichen Auflösung die Anzahl an Photonen des Messlichts, die während einer Szenenerfassung von einem Pixel eingesammelt bzw. akkumuliert werden, entsprechend der Anzahl an zu einem übergeordneten Pixel zusammengefassten Pixeln erhöht wird. Aufgrund der resultierenden erhöhten Photonenakkumulation pro (übergeordnetem) Pixel wird die Lichtsensitivität pro Pixel deutlich erhöht. Dadurch verringert sich
insbesondere bei einem schwachen Messlicht das sog. statistische
Photonenrauschen, was die Szenenauswertegenauigkeit verbessert. Ein "Binning" ist deshalb insbesondere bei einem schwachen Messlicht dann von Vorteil, wenn eine hohe räumliche Auflösung nicht erforderlich ist.
Typischerweise werden zumindest einige der Vielzahl von Pixeln dahingehend zusammengefasst, dass jeweils eine gewisse Anzahl von Pixeln zu einem übergeordneten Pixel zusammengefasst wird. Die gewisse Anzahl kann dabei beispielsweise (bevorzugt) zwei, drei, (bevorzugt) vier, sechs, (bevorzugt) acht, oder (bevorzugt) neun sein. Selbstverständlich ist auch eine noch stärkere Zusammenfassung von Pixeln möglich.
Es wird darauf hingewiesen, dass über die Fläche des Lichtempfängers ein Binning auch lokal in lediglich zumindest einem Teilbereich der aktiven Flächen des Lichtempfängers durchgeführt werden kann. Dies führt dann zwar zu einer inhomogenen räumlichen Auflösung, welche nicht unbedingt gewünscht ist. Der Nachteil einer solchen inhomogenen räumlichen Auflösung wird aber in vielen Anwendungsfällen durch die erhöhte Photonenakkumulation (pro Pixel)
überkompensiert. Ein lokales "Binning" kann zumindest bei einigen bekannten Lichtempfängern ohne besondere elektronische oder apparative Elemente einfach durch eine entsprechende Ansteuerung des Lichtempfängers erfolgen, welche Ansteuerung das "Binning" und damit den Betriebsmodus des Sensorsystems bestimmt.
Bei bevorzugten Ausführungsformen wird ein lokales "Binning" dahingehend durchgeführt, dass, von der Messeinrichtung gemessen und/oder von der
Datenverarbeitungseinrichtung erlernt, genau diejenigen Bereiche des
Lichtempfängers, welche bei zumindest einer vorherigen Szenenerfassung zu wenig Lichtenergie erhalten haben, durch eine geeignete Ansteuerung des Lichtempfängers durch die Lichtempfänger-Steuereinrichtung bei nachfolgenden Szenenerfassungen in geeigneter weise zu übergeordneten Pixeln
zusammengefasst werden. Ein solches dynamisch gesteuertes oder geregeltes "Binning" kann während eines üblichen Betriebs des Sensorsystems (erlernt) und/oder während der Konfiguration des Sensorsystems beispielsweise im
Rahmen einer (Erst)Installation, einer Wartung, einer zyklischen bzw.
automatischen Re-Konfiguration etc. durchgeführt werden.
An dieser Stelle sei erwähnt, dass bei einer nicht quadratischen Anzahl an zu einem übergeordneten Pixel zusammengefassten einzelnen Pixeln die räumliche Auflösung des Lichtempfängers entlang unterschiedlicher Richtungen jedenfalls dann unterschiedlich ist, wenn die einzelnen Pixel eine quadratische Form haben. Dies kann bei manchen Anwendungsfällen in vorteilhafter Weise ausgenutzt werden. Ein solcher Anwendungsfall liegt beispielsweise dann vor, wenn eine Bewegung eines Objekts der Szene entlang einer vorbekannten Raumrichtung mit einer erhöhten Genauigkeit erfasst werden soll. In einem solchen Fall kann die Anzahl an Pixel, welche entlang einer Linie senkrecht zu dieser vorbekannten Raumrichtung (so wie sie auf dem Lichtempfänger abgebildet ist) angeordnet sind, größer sein als die Anzahl an Pixel, welche entlang einer dazu senkrechten Linie angeordnet sind. Dann ist die räumliche Auflösung entlang der
Bewegungsrichtung größer als die räumliche Auflösung senkrecht zu der
Bewegungsrichtung und das Bewegungsprofil eines solchen linear bewegten Objekts kann auch bei einem vergleichsweise schwachen Messlicht mit einer besonders hohen Genauigkeit ermittelt werden.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die
Messeinrichtung auf (a) einen oder den Lichtempfänger zum Empfangen des Messlichts und (b) eine dem Lichtempfänger nachgeschaltete Messeinheit, welche konfiguriert ist die Lichtlaufzeit zu messen basierend auf (i) einer Messung der Zeitspanne zwischen einem Aussenden eines Pulses des
Beleuchtungslichts und dem Empfang des zu dem Puls gehörigen Messlichts und/oder (ii) einer Messung einer Phasenverschiebung zwischen einer zeitlichen Modulation des Beleuchtungslichts und einer zugehörigen zeitlichen Modulation des empfangenen Messlichts. Dies hat den Vorteil, dass das beschriebene Sensorsystem abhängig von dem jeweiligen Anwendungsfall auf eine geeignete Weise unter Ausnutzung eines jeweils geeigneten TOF Messprinzips realisiert werden kann. Bei manchen Ausführungsformen ist das Sensorsystem derart konfiguriert, dass flexibel bzw. bei Bedarf zwischen den beiden verschiedenen Messprinzipien "Pulsbetrieb" und "Phasenmessung" umgeschaltet werden kann.
Unabhängig von dem angewendeten Messprinzip weist der Lichtempfänger eine lichtsensitive Oberfläche auf, welche, wie vorstehend beschrieben, in eine Vielzahl von Pixel unterteilt ist. Mit bzw. auf jedem Pixel werden diejenigen Photonen des Messlichts akkumuliert, welche aus einem bestimmten
Raumwinkelbereich bzw. dem zugehörigen Teilbereich der Szene stammen. Die Messeinheit wird dazu verwendet, für jeden Pixel die Laufzeit der zugehörigen Lichtstrahlen des Beleuchtungslichts und des Messlichts zu ermitteln.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das
Sensorsystem ferner eine Halterung auf, welche zumindest mit der
Messeinrichtung mechanisch gekoppelt ist, wobei die Halterung derart ausgebildet ist, dass das Sensorsystem an einer in Bezug auf die zu erfassende Szene stationären Haltestruktur anbringbar ist. Anschaulich ausgedrückt sorgt die Halterung dafür, dass das beschriebene Sensorsystem ein stationäres System sein kann, welches einen bestimmten räumlich festen Erfassungsbereich hat und damit immer die gleiche Szene überwacht, welche natürlich zu unterschiedlichen Zeiten eine unterschiedliche Szenencharakteristik haben kann. Durch einen Vergleich von verschiedenen zeitlich voneinander beabstandeten Erfassungen der von der Orientierung des Sensorsystems abhängigen Szene können im Rahmen einer Bildauswertung räumlich stationäre Objekte, die in der Szene vorhanden sind, erkannt und bei einer weiteren Bildauswertung in Hinblick auf Bewegungsprofile ausgeblendet werden. Dadurch kann Rechenleistung eingespart und die energetische Effizienz des beschriebenen Sensorsystems verbessert werden.
Die stationäre Haltestruktur kann direkt oder indirekt mechanisch gekoppelt sein mit einer Vorrichtung zum Steuern einer Bedeckungscharakteristik einer von dem Objekt zu passierenden Öffnung durch zumindest einen Verschließkörper.
Bevorzugt weist diese Vorrichtung neben einer geeigneten Führung bzw.
Lagerung des Verschließkörpers einen Aktuator zum Bewegen des
Verschließkörpers auf, insbesondere zum Bewegen des Verschließkörpers zwischen einer geschlossenen Position und einer geöffneten Position (und umgekehrt).
Im Bereich der Gebäudesicherheit kann die Öffnung ein Eingang sein,
beispielsweise für eine Person oder ein Fahrzeug. Der Verschließkörper kann eine Tür sein, beispielsweise eine Haustür oder ein Garagentor. Die stationäre
Haltestruktur kann beispielsweise die stationäre Rahmenstruktur eines Eingangs sein, beispielsweise der Rahmen einer Tür.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die
Datenverarbeitungseinrichtung ferner derart konfiguriert, dass eine
Bedeckungscharakteristik einer von einem Objekt zu passierenden Öffnung durch zumindest einen Verschließkörper steuerbar ist. Dadurch kann die Öffnung, welche beispielsweise ein Eingang (bzw. ein Ausgang) eines Gebäudes ist, auf energetisch günstige Weise automatisch überwacht werden und durch eine geeignete Ansteuerung eines Aktuators kann der Verschließkörper automatisch zwischen einer geöffneten Position und einer geschlossenen Position bewegt werden. Dazu kann die Datenverarbeitungseinrichtung des beschriebenen
Sensorsystems mit der Steuerung eines bekannten Steuersystems für einen Verschließkörper gekoppelt werden.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum
dreidimensionalen Erfassen einer Szene beschrieben. Das beschriebene
Verfahren weist auf (a) ein Beleuchten der Szene mit einem Beleuchtungslicht, welches von einer Beleuchtungseinrichtung entlang eines
Beleuchtungsstrahlengangs ausgesandt wird; (b) ein Empfangen, mittels einer Messeinrichtung, von Messlicht entlang eines Messlichtstrahlengangs, wobei das Messlicht zumindest teilweise von zumindest einem Objekt in der Szene zurückgestreutes Beleuchtungslicht ist; (c) ein Messen, mittels der
Messeinrichtung, von Distanzen zwischen dem Sensorsystem und dem zumindest einen Objekt basierend auf einer Lichtlaufzeit des Beleuchtungslichts und des Messlichts; und (d) ein Ermitteln der dreidimensionalen Charakteristik der Szene basierend auf den gemessenen Distanzen mittels einer der Messeinrichtung nachgeschalteten Datenverarbeitungseinrichtung. Erfindungsgemäß ist eine Freiformoptik in dem Beleuchtungsstrahlengang und/oder in dem
Messlichtstrahlengang angeordnet, wobei die Freiformoptik derart konfiguriert ist, dass (i) bei einer Anordnung in dem Beleuchtungsstrahlengang eine
Beleuchtungslichtintensität des Beleuchtungslichts von dem Raumwinkel des Beleuchtungsstrahlengangs abhängt und (ii) bei einer Anordnung in dem
Messlichtstrahlengang eine Messlichtintensität des Messlichts von dem
Raumwinkel des Messlichtstrahlengangs abhängt, so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts und des Messlichts zumindest teilweise kompensiert wird. Auch dem beschriebenen Verfahren liegt die Erkenntnis zugrunde, dass durch eine geeignet ausgebildete bzw. konfigurierte Freiformoptik von der
Szenengeometrie und von dem Raumwinkel abhängige Einflüsse auf die
Intensitätsverteilung des empfangenen Messlichts zumindest teilweise
kompensiert werden können.
In dem Strahlengang des Beleuchtungslichts kann die Freiformoptik für eine geeignete raumwinkelabhängige Intensitätsverteilung des Beleuchtungslichts sorgen, so dass das Messlicht von jedem Teilbereich der Szene mit einer möglichst homogenen Intensitätsverteilung auf einen Lichtempfänger der Messeinrichtung trifft. In dem Strahlengang des Messlichts kann die
Freiformoptik für eine geeignete raumwinkelabhängige Einsammlung von
Messlichtintensität sorgen, so dass (auch) das Messlicht mit einer möglichst homogenen Intensitätsverteilung auf den Lichtempfänger trifft.
Gemäß einem Ausführungsbeispiel der Erfindung weist das Verfahren ferner auf (a) ein Erfassen eines in der Szene befindlichen Objekts; (b) ein Vergleichen des erfassten Objekts mit zumindest einem in einer Datenbank hinterlegten
Vergleichsobjekt; und, (c) wenn das Objekt innerhalb vorgegebener zulässiger Abweichungen mit einem Vergleichsobjekt übereinstimmt, ein Identifizieren des Objekts als ein für eine bestimmte Aktion zugelassenes Objekt.
Die zugelassene Aktion kann beispielsweise eine erlaubte Passage durch eine Öffnung in einem Gebäude sein, welche Öffnung vor der Identifizierung als zugelassenes Objekt durch einen Verschließkörper verschlossen ist und erst nach der erfolgreichen Identifizierung durch eine entsprechende Bewegung des Verschließkörpers geöffnet wird. Die zu identifizierenden Objekte können bevorzugt Personen und/oder Fahrzeuge sein. Eine erfolgreiche Identifizierung kann zur Steuerung bzw. zur Aktivierung eines Verschlussmechanismus für einen Verschließkörper vor einer Öffnung eines Gebäudes sein. Gemäß einem weiteren Aspekt der Erfindung wird beschrieben eine Verwendung eines vorstehend beschriebenen Sensorsystems für ein Steuern einer
Bedeckungscharakteristik einer von einem Objekt zu passierenden Öffnung durch zumindest einen Verschließkörper.
Der beschriebenen Verwendung liegt die Erkenntnis zugrunde, dass eine auf energetisch effiziente Weise vorgenommen Erfassung und Auswertung einer optischen Szene auf vorteilhafte Weise bei Durchgängen eingesetzt werden kann, welche von einem Verschließkörper verschlossen werden können. Dies gilt insbesondere für Durchgänge, welche eine Verschließ- bzw. eine
Bedeckungscharakteristik aufweisen, die von dem beschriebenen Sensorsystem gesteuert oder zumindest mitgesteuert wird. Da solche Sensorsysteme
üblicherweise durch die Verschlusssysteme für die Verschließkörper mit Energie versorgt werden, ist es besonders wichtig, mit einer vergleichsweise geringen Energiemenge auszukommen und trotzdem zu zuverlässigen TOF
Szenenauswertungen zu kommen.
Durch die erfindungsgemäße Verwendung des vorstehend beschriebenen
Sensorsystems können auf energetisch effiziente Weise auch größere Distanzen überwacht werden, was naturgemäß zu einem früheren Erkennen einer
Öffnungsanforderung des Verschlusskörpers führt. Dies kann insbesondere bei sich schnell bewegenden Objekten von großem Vorteil sein. Ferner kann die Szene auf energieeffiziente Weise mit einem breiteren Erfassungswinkel erfasst werden, was beispielswiese zu einem frühzeitiges Erkennen von sich quer zur Öffnung bewegenden Querverkehr und damit zu einem zuverlässigeres Erkennen von Objekten im Sicherheitsbereich des Verschlusssystems führen kann. Dadurch kann bei Querverkehr eine unnötige Öffnungsanforderung unterdrückt werden.
Gemäß einem Ausführungsbeispiel der Erfindung ist die Öffnung ein Eingang oder ein Ausgang ist, insbesondere ein Notausgang in einem Gebäude. Durch das Erkennen eines zwar vorhandenen, aber sich ggf. nicht bewegenden Objektes in einem Durchgangsbereich kann ein Eingang oder Ausgang überwacht, insbesondere ein blockierter Notausgang erkannt, und die entsprechende Information an ein angegliedertes System, beispielsweise an ein
Überwachungssystem, übermittelt werden.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist das Objekt eine Person oder ein Fahrzeug . In diesem Fall kann das Gebäude insbesondere ein Haus bzw. eine Garage sein.
Gemäß einem weiteren Aspekt der Erfindung wird beschrieben eine Verwendung eines vorstehend beschriebenen Sensorsystems für ein Erfassen und/oder Steuern von Verkehrsströmen von Objekten, welche sich durch eine Szene des Sensorsystems bewegen, wobei die Szene durch einen räumlichen
Erfassungsbereich des Sensorsystems bestimmt ist.
Auch dieser Verwendung liegt die Erkenntnis zugrunde, dass es bei einer Verkehrserfassung und/oder Verkehrsstromlenkung auf eine energieeffiziente Sensorik ankommt, da diese Sensorik typischerweise ständig in Betrieb ist und darüber hinaus insbesondere bei größeren Verkehrsströmen typischerweise eine sehr hohe Anzahl derartiger Sensorsysteme im Einsatz sind .
Die für den betreffenden Verkehrsstrom relevanten Objekte können
beispielsweise Personen, Fahrzeuge, Produkte wie z. B. Pakete, Koffer, etc. sein. Da für derartige Anwendungen üblicherweise eine Mehrzahl oder gar eine Vielzahl von 3D Sensoren einsetzt werden, wirken sich hier Energieeinsparungen besonders positiv aus.
Es wird darauf hingewiesen, dass Ausführungsformen der Erfindung mit Bezug auf unterschiedliche Erfindungsgegenstände beschrieben wurden. Insbesondere sind einige Ausführungsformen der Erfindung mit Vorrichtungsansprüchen und andere Ausführungsformen der Erfindung mit Verfahrensansprüchen bzw. mit Verwendungsansprüchen beschrieben. Dem Fachmann wird jedoch bei der Lektüre dieser Anmeldung sofort klar werden, dass, sofern nicht explizit anders angegeben, zusätzlich zu einer Kombination von Merkmalen, die zu einem Typ von Erfindungsgegenstand gehören, auch eine beliebige Kombination von Merkmalen möglich ist, die zu unterschiedlichen Typen von
Erfindungsgegenständen gehören.
Bevor an späterer Stelle und bezugnehmend auf die Zeichnung exemplarische Ausführungsbeispiele der Erfindung beschrieben werden, werden an dieser Stelle einige technische Überlegungen dargestellt, die im Zusammenhang mit der Erfindung stehen.
TOF-basierende Sensorsysteme können generell sowohl in Bezug auf das
Beleuchtungslicht als auch in Bezug auf das Messlicht in zwei grundsätzlich unterschiedliche Klassen unterteilt werden, welche beliebig miteinander kombiniert werden können.
Bl : Die erste Alternative (Bl) für die Beleuchtung zeichnet sich dadurch aus, dass die Szene mittels eines einzelnen Beleuchtungslichtstrahls hoher
Fokussierung und niedriger Divergenz (also hoher Kollimation) sequentiell abgetastet wird. Für jede Position des Beleuchtungslichtstrahls in der Szene wird eine Messung der Laufzeit des Beleuchtungslichts und des Messlichts
vorgenommen. Das Abtasten kann unter Verwendung von beweglichen optischen Komponenten, insbesondere Spiegel, realisiert werden. Alternativ oder in
Kombination kann für ein sequentielles Abtasten der Szene mit dem
Beleuchtungslichtstrahl ein Festkörper verwendet werden, welcher ohne mechanisch bewegliche Teile auskommt und integrierte photonische Strukturen bzw. Schaltungen aufweist. Bei einer geeigneten Ansteuerung dieser Strukturen wird der Beleuchtungslichtstrahl dann auf die gewünschte Stelle der Szene gerichtet. Ein solcher Festkörper ist beispielsweise aus US 2015/293224 Al bekannt. B2 : Die zweite Alternative (B2) für die Beleuchtung zeichnet sich dadurch aus, dass die gesamte Szene (auf einmal und flächig) beleuchtet wird . Bei Bedarf kann die Intensität des Beleuchtungslichts in ausgewählten Teilbereichen der Szene (punktuell) erhöht werden, um an diesen Stellen eine verbesserte 3D Objekterfassung zu ermöglichen. Eine solche räumlich ungleichmäßige Verteilung der Intensität des Beleuchtungslichts kann ohne bewegliche optische
Komponenten beispielsweise mittels eines sog. Diffraktiven Optischen Elementes (DOE) erfolgen.
M l : Eine erste Alternative (M l) für die Messung basiert auf gepulsten
Beleuchtungslichtstrahlen. Dabei wird die "Reisezeit" eines Lichtimpulses auf der Empfängerseite für jeden Pixel innerhalb eines Zeitfensters bestimmt und daraus die Entfernung abgeleitet.
M2 : Die zweite Alternative (M2) für die Messung basiert auf einer zeitlichen, bevorzugt sinusförmigen, Modulation des Beleuchtungslichts mit einer
vorgegebenen Frequenz, wobei geeignete Werte für diese Frequenz von der zu erwartenden Laufzeit bzw. der maximalen Erfassungsdistanz abhängen. Auf der Seite des Lichtempfängers wird die Phasendifferenz für jeden Pixel gemessen und daraus die Distanzinformation abgeleitet.
Beide Messprinzipien Ml und M2 basieren auf einer Integration der Anzahl von Photonen bzw. der in dem Lichtempfänger generierten Photoelektronen, welche auf jedem zu messenden Pixel eintreffen . In diesem Zusammenhang ist es offensichtlich, dass ein stets vorhandenes Licht- bzw. Photonenrauschen von der Anzahl der in einem Pixel akkumulierten Photonen abhängt. Daher wird die aus der TOF Messung gewonnen Distanzinformation umso genauer, je höher die Anzahl an akkumulierten Photonen ist. Weitere Vorteile und Merkmale der vorliegenden Erfindung ergeben sich aus der folgenden beispielhaften Beschreibung derzeit bevorzugter Ausführungsformen.
Kurze Beschreibung der Zeichnung
Figur 1 zeigt die Verwendung eines Sensorsystems zum Steuern einer
Bedeckungscharakteristik einer Öffnung mittels als Schiebetüren ausgebildeten Verschließkörpern.
Die Figuren 2a und 2b illustrieren eine Verformung einer als elastisches optisches Element ausgebildeten Freiformoptik.
Figur 3 zeigt die Verwendung eines Sensorsystems zum Erfassen eines
Verkehrsflusses von auf einem Förderband transportierten Objekten.
Die Figuren 4a und 4b illustrieren ein Zusammenfassen von Einzelpixeln eines Lichtempfängers.
Die Figuren 5a bis 5c zeigen verschiedene Strahlquerschnitte eines
Beleuchtungslichts zum Anpassen der Beleuchtung an die Form der zu
erfassenden Szene.
Detaillierte Beschreibung
Es wird darauf hingewiesen, dass die nachfolgend beschriebenen
Ausführungsformen lediglich eine beschränkte Auswahl an möglichen
Ausführungsvarianten der Erfindung darstellen. Insbesondere ist es möglich, die Merkmale einzelner Ausführungsformen in geeigneter weise miteinander zu kombinieren, so dass für den Fachmann mit den hier explizit dargestellten Ausführungsvarianten eine Vielzahl von verschiedenen Ausführungsformen als offensichtlich offenbart anzusehen sind.
Bevor in diesem Abschnitt die Figuren im Detail beschrieben werden, werden nachstehend einige Aspekte von einer Reihe von Ausführungsformen erläutert.
(1) In Anbetracht der bei vielen Anwendungen von 3D Sensorsystemen großen Bedeutung eines energieeffizienten Betriebs lässt sich die auf den
Lichtempfänger treffende optische Energie des Messlichts dadurch optimieren, dass je nach Ausprägung der Szene die Szene unterschiedlich (intensiv) beleuchtet wird.
(2) Für die meisten Anwendungen von TOF Sensorsystemen ist die zu erfassende Szene jedoch quaderförmiger oder kubischer Natur. Bekannte TOF Sensoren haben aber typischerweise einen Erfassungsbereich, der für alle erfassten Raumwinkel zumindest annähernd eine gleiche Reichweite hat. Die
(Außen)Grenze des Erfassungsbereiches ist daher ein Teil einer Kugelschale (bei der alle Punkte den gleichen Abstand zu dem TOF Sensorsystem haben). Das in diesem Dokument beschriebene TOF Sensorsystem ist nun in der Lage, diese "Kugelschalenbegrenzung" durch ein gezielte Erhöhung oder Reduzierung der Beleuchtungsintensität in ausgewählten Teilbereichen der Szene zumindest teilweise aufzugeben bzw. zu kompensieren. Durch eine durch eine Freiformlinse realisierte Reduzierung der Beleuchtungsintensität im Zentrum der Szene und eine Erhöhung der Beleuchtungsintensität gegen den Rand der Szene und insbesondere zu den Ecken hin, kann dieser mit dem vorstehend erläuterten cos' Gesetz beschriebene nachteilige Effekt reduziert und die für die
Beleuchtung eingesetzte Energie optimal ausgenutzt werden.
(3) Ferner lassen sich bestimmte von der räumlich geometrischen Anordnung von Sensorsystem und zu erfassender Szene abhängige Teilbereiche der Szene pauschalisiert mit einer optimalen Intensität von Beleuchtungslicht "belichten". So wird zum Beispiel ein TOF-Sensorsystem üblicherweise über der mittleren Höhe der zu beobachtenden Objekte (Menschen, Produkte, Fahrzeuge, usw.) montiert, damit bei einer Mehrzahl von Objekten eine unerwünschte
Objektabschattung weniger problematisch ist. Dies bedeutet aber, dass in den meisten Fällen der obere Bereich der Szene größere Messdistanzen beinhaltet als der untere Bereich. Dieses Wissen um den Montageort des Sensorsystems in Bezug zu der erfassenden Szene kann zur weiteren Optimierung des Betriebs des beschriebenen Sensorsystems insbesondere in Hinblick auf die energetische Effizienz berücksichtigt werden, indem der obere Bereich der Szene durch die Verwendung der beschriebenen Freiformoptik entsprechend weniger stark beleuchtet bzw. "belichtet" wird.
(4) Bei einer Lichtquelle, welche aus mehreren einzelnen Beleuchtungsintensität liefernden Elementen besteht, welche die gesamte Beleuchtungseinrichtung darstellen (z.b. ein Array von Laser- oder Leuchtdioden), kann eine
raumwinkelabhängige Intensitätsverteilung von Beleuchtungslicht durch eine Variation der Helligkeit einzelner Elemente gegenüber anderen Elementen unterstützt werden. Diese Variation kann sowohl konstruktiv im Aufbau (z. B. Laser- oder Leuchtdioden mit unterschiedlicher Intensität) als auch durch die Art der Ansteuerung (via variablem Strom pro Laser- oder Leuchtdiode durch eine geeignete Elektronik, beispielshaft durch ein Einmessen bei der (Erst)Installation eingestellt) eingestellt werden. Ferner ist auch eine dynamische Einstellung der einzelnen Laser- oder Leuchtdioden während des Betriebs möglich. Dabei werden einfach diejenigen Laser- oder Leuchtdioden, welche Bereichen der Szene zugeordnet sind, die wenig Messlicht liefern, entsprechend stärker bestromt. Dies eignet sich besonders gut für das o.g . Beleuchtungsprinzip B2 in Kombination mit dem o.g . Messprinzip M l oder M2.
(5) Bei Beleuchtungseinrichtungen, welche mit einem Beleuchtungslichtstrahl sequentiell die ganze Szene abtasten (scannen), ist zu jedem Zeitpunkt der jeweilige momentane Raumwinkel des Beleuchtungslichtstrahls bekannt. Durch Variieren der Intensität dieses Beleuchtungslichtstrahls abhängig vom jeweiligen Raumwinkel kann so die Beleuchtungsintensität abhängig von der
Szenengeometrie (und bei optionaler dynamischer "Ergebnisregelung" auch abhängig von der Reflexions- bzw. Streulichtmenge) für jeden Raumwinkel die bereits von der Beleuchtungseinrichtung ausgesandte Beleuchtungsintensität gezielt gesteuert werden. So kann eine statische Szene eingemessen werden, wobei die zu jedem Raumwinkel passende Intensität an Beleuchtungslicht eingelernt wird.
(6) Die vorstehend erläuterte und optionale dynamische Anpassung der
Intensität an Beleuchtungslicht durch die Beleuchtungseinrichtung kann sowohl in Echtzeit als auch von "Frame zu Frame" adaptiv erfolgen. Dabei wird für die Teile der Szene, von denen zu wenig Messlicht empfangen wird, unmittelbar die Intensität des entsprechenden Teil(Beleuchtungslichts) erhöht. Dies bedeutet, dass abhängig von den Ergebniswerten einer letzten Szenenerfassung für die nächste Szenenerfassung diejenigen Bereiche mit "Überbelichtung"
abgeschwächt beleuchtet und diejenigen mit "Unterbelichtung" aufgehellt werden. Dieser Ansatz eignet sich besonders gut für das Beleuchtungsprinzip Bl in Kombination mit dem Messprinzip M l oder M2.
(7) Eine Ausführungsform der Erfindung erreicht eine Energieeinsparung mittels einer dynamischen Beleuchtungsenergieoptimierung, wobei
Beleuchtungsenergien von unterschiedlichen Wellenlängen bzw. Frequenzen verwendet werden. Dabei können beispielsweise abhängig von der Farbe des Objekts die Wellenlängen, die zu den intensivsten Reflexionen bzw.
Lichtstreuungen führen, mit einer geringeren Intensität ausgesendet werden. Im Gegensatz dazu können andere Wellenlängen bzw. andere Wellenlängenbereiche mit geringerer Reflexion bzw. Streuung in dem Wellenlängenspektrum mit einer höheren Intensität vorhanden sein. So kann beispielsweise ein rotes Objekt so primär mit einem rotem Lichtanteil beleuchtet werden und der grüne und der blaue Lichtanteil werden (für den betreffenden Raumwinkel) reduziert, bevorzugt auf zumindest annähernd eine Intensität von Null. Dasselbe Prinzip kann auch im Verhältnis zwischen sichtbarem Licht und infraroten (IR) Licht angewendet werden.
Die im Rahmen einer frequenz- bzw. wellenlängenvariablen Beleuchtung gewonnen Informationen betreffend Reflexions- bzw. Streueigenschaften mit zugehöriger Distanz und Raumwinkel können bei einer nachfolgenden
Szenenauswertung von bewegten Objekten von großem Vorteil sein, weil dadurch einfacher Objekte erkannt und verfolgt werden können, da die
funktionelle Zusammengehörigkeit von Raumpunkten über die Reflexions- bzw. Streueigenschaften zusätzlich gruppierend interpretiert werden können.
(8) Das in diesem Dokument beschriebene Sensorsystem kann beispielsweise bei Durchgängen einsetzt werden, insbesondere bei Durchgängen, welche eine Verschlusscharakteristik aufweisen, die automatisch gesteuert wird (z.B. mittels Türen, Tore, Barrieren, Ampeln, etc.). Da die Sensorik für eine
Durchgangssteuerung üblicherweise durch die vorhandenen Verschlusssysteme mit Energie versorgt wird, gilt es mit einer gegebenen Energiemenge möglichst viel sensorische Wirkung zu erzielen. Das in diesem Dokument beschriebene Sensorsystem erlaubt im Vergleich zu bekannten Sensorsystemen (i) eine
Datenerfassung für größere Distanzen (früheres Erkennen einer
Öffnungsanforderung, insbesondere bei schneller bewegenden Objekten), (ii) breitere Erfassungswinkel (z.B. frühzeitiges Erkennen und Verfolgen von
Querverkehr) und/oder (iii) ein zuverlässigeres Erkennen von Objekten in einem Sicherheitsbereich des Verschlusssystems.
(9) In einer weiteren Ausführungsform, welche sich vor allem für das
Beleuchtungsprinzip B2 eignet, wird eine (zusätzliche) räumliche Variation des Beleuchtungslichts durch DOE's erreicht, welche auch als ein Teil der
beschriebenen Freiformoptik angesehen werden können. Bei DOE's im
Zusammenhang mit Lasersystemen kann so die maximale Beleuchtungsenergie ausgenutzt werden, weil diejenigen Anteile der Beleuchtungslichtstrahlen, welche mit geringerer Intensität auf die Szene treffen sollen, nicht einfach durch eine Maske ausgeblendet werden sondern deren Intensität durch das DOE auf andere Bereiche der Szene umverteilt wird. So kann die Energie des Beleuchtungslichts nahezu vollständig ausgenutzt werden. Derselbe Effekt der Konzentration von Beleuchtungslicht in einem Teilbereich der Szene (wenn auch mit tieferer
Effizienz) kann auch durch Mechanismen erreicht werden, wie sie für
Musterprojektionen verwendet werden, die für 3D Sensoren erforderlich sind, welche auf dem bekannten Prinzip der strukturierten Beleuchtung bzw. der sog. Streifenprojektion beruhen.
(10) In einer weiteren Ausführungsform wird die zu erfassende Szene zunächst konventionell, insbesondere gemäß dem Beleuchtungsprinzip B2, beleuchtet.
Nach einer Ermittlung der Distanzinformation der ganzen Szene werden in den folgenden Szenenerfassungen die "überbelichteten Regionen" mit einer
geringeren Beleuchtungsintensität beleuchtet. Insbesondere bei Sensorsystemen, die zeitliche Veränderungen von Objekten in der Szene detektieren sollen, kann das Sensorsystem an der unteren Grenze der Messbarkeit betrieben werden, solange die Szene (noch) statisch ist. Wenn jedoch eine Veränderung in der Szene (grob) erkannt oder zumindest vermutet wird, dann kann sofort mit einer Erhöhung der Beleuchtungsintensität reagiert werden, so dass die Szene beziehungsweise die Szenenveränderungen dann mit einer hohen Genauigkeit erfasst und ausgewertet werden können. Dieser Mechanismus kann sowohl für IR Sensorsysteme als auch für Sensorsysteme verwendet werden, die mit
sichtbarem Licht arbeiten.
In der folgenden auf die Figuren Bezug nehmenden detaillierten Beschreibung sind Merkmale bzw. Komponenten von unterschiedlichen Ausführungsformen, die mit den entsprechenden Merkmalen bzw. Komponenten von einer anderen Ausführungsform nach gleich oder zumindest funktionsgleich sind, mit den gleichen Bezugszeichen oder mit Bezugszeichen versehen, welche in den letzten beiden Ziffern identisch sind. Zur Vermeidung von unnötigen Wiederholungen werden bereits anhand einer vorher beschriebenen Ausführungsform erläuterte Merkmale bzw. Komponenten an späterer Stelle nicht mehr im Detail erläutert.
Figur 1 zeigt die Verwendung eines Sensorsystems 100 zum Steuern einer Bedeckungscharakteristik einer Öffnung 184 abhängig von der Charakteristik einer von dem Sensorsystem 100 überwachten Szene 190. Gemäß dem hier dargestellten Ausführungsbeispiel ist die Öffnung 184 eine Eintrittsöffnung für Personen in ein Gebäude oder eine Garageneinfahrt für Kraftfahrzeuge. Die entsprechende Eingangsstruktur ist mit dem Bezugszeichen 180 versehen. Ein in der Szene 190 befindliches Objekt 195 soll eine solche Person oder ein
Kraftfahrzeug symbolisieren.
Die Eingangsstruktur 180 umfasst eine stationäre Haltestruktur 182, welche einen Rahmen sowie eine Führung für zwei als Schiebetüren ausgebildete Verschließkörper 186 darstellt. Die Schiebetüren 186 können jeweils mittels eines Motors 187 entlang der durch zwei dicke Doppelpfeile dargestellten
Verschieberichtungen bewegt werden. Die Ansteuerung der Motoren 187 erfolgt, wie im Folgenden dargelegt, mittels des in diesem Dokument beschriebenen Sensorsystems 100.
Das Sensorsystem 100 weist auf (a) ein TOF-Erfassungssystem 110, (b) eine Datenverarbeitungseinrichtung 150 sowie (c) eine Datenbank 160. Das TOF- Erfassungssystem 110 wiederum weist auf (al) eine Beleuchtungseinrichtung 130 zum Aussenden von Beleuchtungslicht 131 sowie (a2) eine Messeinrichtung 115, welche für die Erfassung und Messung von Messlicht 196 zuständig ist. In Übereistimmung mit dem Prinzip einer 3D TOF Erfassung ist das Messlicht 196 zumindest teilweise von dem Objekt 195 zurückgestreutes Beleuchtungslicht 131. In der in Figur 1 dargestellten Architektur des TOF Erfassungssystems 110 weist die Messeinrichtung 115 auf (a2-i) einen Lichtempfänger 120 und (a2-ii) eine Messeinheit 125, welche dem Lichtempfänger 120 nachgeschaltet ist und welche eingerichtet ist zum Messen einer Lichtlaufzeit zwischen von der
Beleuchtungseinrichtung 130 ausgesandtem Beleuchtungslicht 131 und von dem Lichtempfänger 120 empfangenem Messlicht 196. Ferner ist der Messeinrichtung 115 eine Lichtempfänger-Steuereinrichtung 122 zugeordnet, welche den Betrieb des Lichtempfängers 120 in Hinblick auf verschiedene Betriebsmodi steuert.
Gemäß dem hier dargestellten Ausführungsbeispiel weist das TOF- Erfassungssystem 110 auf bzw. sind dem TOF-Erfassungssystem 110 zugeordnet (a3) eine Beleuchtungslicht-Steuereinrichtung 135 zum Steuern des Betriebs der Beleuchtungseinrichtung 130 sowie (a4) eine Freiformoptik-Steuereinrichtung 145 zum Ansteuern von Aktuatoren 131, 143, mittels welchen die optischen Abbildungseigenschaften von Freiformoptiken 140 bzw. 142 gezielt eingestellt werden können.
Wie aus Figur 1 ersichtlich, weist das Sensorsystem 100 gemäß dem hier dargestellten Ausführungsbeispiel zwei Freiformoptiken 140 auf, die jeweils einer von zwei Lichtquellen bzw. Beleuchtungseinheiten der Beleuchtungseirichtung 130 zugeordnet sind und sich in dem entsprechenden Strahlengang des jeweiligen Beleuchtungslichts 131 befinden. Gemäß dem hier dargestellten Ausführungsbeispiel sind die beiden Freiformoptiken 140 nicht statisch sondern können mittel jeweils eines schematisch dargestellten Aktuators 141 verformt werden. Dadurch verändern sich die Abbildungseigenschaften der
Freiformoptiken 140 und es entsteht eine gegenüber der raumwinkelabhängigen Intensitätsverteilung des Beleuchtungslichts, so wie es von der jeweiligen
Beleuchtungseinheit der Beleuchtungseirichtung 130 ausgesandt wird,
modifizierte Intensitätsverteilung von Beleuchtungslicht 131, so wie es auf die Szene 190 trifft und diese beleuchtet bzw. belichtet. Durch eine gezielte
Verformung der elastischen Freiformoptiken 140, welche von der Freiformoptik- Steuereinrichtung 145 veranlasst und von den betreffenden Aktuatoren 141 durchgeführt wird, kann die räumliche Charakteristik des Beleuchtungslichts 131, so wie es auf die Szene 190 auftrifft, in Hinblick auf eine gewünschte raumwinkelabhängige Verteilung der Intensität des Beleuchtungslichts 131 in der Szene 190 eingestellt werden. Dabei ist die gewünschte raumwinkelabhängige Verteilung der Beleuchtungslichtintensität typischerweise diejenige
Intensitätsverteilung, bei der die Erfassung der Szene durch den Lichtempfänger 120 und die Signalverarbeitung durch die nachgeschaltete Messeinheit 125 sowie die Datenverarbeitungseinrichtung 150 möglichst zuverlässig und/oder genau erfolgen kann.
In Bezug auf die weitere Freiformoptik 142, welche in dem Strahlengang des Messlichts 196 angeordnet ist, gelten die gleichen Funktionsprinzipien wie bei den beiden Freiformoptiken 140. Auch die optischen Eigenschaften in Bezug auf eine Modifizierung der Intensitätsverteilung des Messlichts 196 werden über einen Aktuator 143 von der Freiformoptik-Steuereinrichtung 145 gesteuert.
Durch eine gezielte Verformung der weiteren Freiformoptik 142 wird die raumwinkelabhängige Einsammlung der Intensität des Messlichts 196 modifiziert. Dies geschieht bevorzugt so, dass das räumlich in Bezug auf seine Intensität inhomogen verteilte Messlicht 196, so wie es (in Figur 1 von unten) auf die Freiformoptik 140 trifft, "homogenisiert" wird, so dass das Messlicht mit einer möglichst homogenen Intensitätsverteilung auf den Lichtempfänger 120 trifft.
Es wird darauf hingewiesen, dass die hier beschriebene Raumwinkelabhängigkeit des Beleuchtungslichts und des Messlichts auch durch lediglich eine Art von Freiformoptik realisiert werden kann. So kann beispielsweise die ganze
"Raumwinkelmodifikation" lediglich mit der Freiformoptik 140 oder lediglich mit den Freiformoptiken 142 erfolgen. Es wird ferner darauf hingewiesen, dass die Freiformoptiken 140 und 142 anstelle von elastischen refraktiven optischen Elementen auch mit anderen optischen Elementen, beispielsweise mittels diffraktiven und/oder reflektiven optischen Elementen realisiert werden können. Es wird weiter darauf hingewiesen, dass das Beleuchtungslicht und das Messlicht zumindest teilweise durch dieselbe Freiformoptik geleitet werden können.
In dem TOF-Erfassungssystem 110 sind insbesondere alle optischen
Komponenten des Sensorsystems 100 enthalten. Dies gilt auch für die
Freiformoptiken 140 und 142 sowie die Aktuatoren 141 bzw. 143, welche über in Figur 1 aus Gründen der Übersichtlichkeit nicht dargestellten Haltestrukturen an einem Gehäuse des TOF-Erfassungssystems 110 angebracht sind. Mittels einer Halterung 111 ist zumindest das TOF-Erfassungssystem 110 an der stationären Haltestruktur 182 in mechanisch stabiler und räumlich fester Weise angebracht. Bevorzugt ist das ganze Sensorsystem 100 (im Gegensatz zu der Darstellung von Figur 1) als ein Modul aufgebaut, welches innerhalb einer kompakten Bauweise neben dem TOF-Erfassungssystem 110 auch noch die Datenverarbeitungs- einrichtung 150 sowie die Datenbank 160 aufweist.
Gemäß dem hier dargestellten Ausführungsbeispiel kann die Lichtempfänger- Steuereinrichtung 122 den Lichtempfänger 120 dazu veranlassen, in einem bestimmten von zumindest zwei unterschiedlichen Betriebsmodi zu arbeiten. In den verschiedenen Betriebsmodi können, beispielsweise veranlasst durch eine vorherige Szenenauswertung mittels der Datenverarbeitungseinrichtung 150, einzelne Pixel des Lichtempfängers 120 eine unterschiedliche Sensitivität bzw. einen unterschiedlichen Wirkungsgrad in Bezug auf eine Akkumulation von Photonen haben. Auch ein nachstehend anhand der Figuren 4a und 4b
beschriebenes szenenabhängiges Zusammenfassen von Pixeln des
Lichtempfängers 120 kann von der Lichtempfänger-Steuereinrichtung 122 veranlasst bzw. gesteuert werden.
Ein an die Datenverarbeitungseinrichtung 150 über eine Schnittstelle 152 übergebenes externes Steuersignal 152a kann dazu verwendet werden, den Betrieb der Datenverarbeitungseinrichtung 150 zumindest teilweise von externen Informationen abhängig zu machen. Insbesondere kann über das Steuersignal 152a ein "a priori Wissen" über ein Objekt 195 für eine verbesserte Auswertung der erfassten Szene 190 und insbesondere für eine verbesserte Objekterkennung übermittelt werden.
Gemäß dem hier dargestellten Ausführungsbeispiel beleuchtet die
Beleuchtungseinrichtung 130, welche beispielsweise ein Array von individuell ansteuerbaren Laser- oder Leuchtdioden sein kann, die Szene 190 und damit auch das in der Szene 190 befindliche Objekt 195 mit einem gepulsten und damit zeitlich modulierten Beleuchtungslicht 131. Die Beleuchtungslicht- Steuereinrichtung 135 ist konfiguriert, die Beleuchtungseinrichtung 130 derart anzusteuern, dass eine Charakteristik des Beleuchtungslichts 131, welche die Abhängigkeit der Beleuchtungsintensität des Beleuchtungslichts 131 von dem Raumwinkel beschreibt (in dem das Beleuchtungslicht 131 auf die Freiformoptik 140 trifft), während eines Betriebes des Sensorsystems 100 dynamisch
veränderbar ist.
Die raumwinkelabhängige Intensitätsverteilung des Beleuchtungslichts 131 ist in Figur 1 aus Gründen der Übersichtlichkeit nicht dargestellt. Um eine möglichst gleichmäßige Verteilung der Intensität des zurückgestreuten Messlichts 196 zu erreichen (so wie es auf den Lichtempfänger trifft), werden diejenigen
Raumwinkel der Szene 190, welche einer größeren Messdistanz zugeordnet sind, stärker beleuchtet als andere Raumwinkel, welche einer geringeren Messdistanz zugeordnet sind.
Die Beleuchtungslicht-Steuereinrichtung 135 kann die Charakteristik des
Beleuchtungslichts 131 auch in Bezug weitere (nicht räumliche) Eigenschaften des Beleuchtungslichts 131 modifizieren, beispielsweise dessen (a) Wellenlänge, (b) spektrale Intensitätsverteilung, (c) Polarisationsrichtung, und (d)
Intensitätsverteilung für unterschiedliche Polarisationsrichtungen. Diese weiteren Eigenschaften können dabei derart ausgewählt sein, dass sie zu einer möglichst zuverlässigen und genauen Objekterkennung beitragen. Auch hier kann ein "a priori Wissen" über optische Eigenschaften des Objekts 195 berücksichtigt werden.
Es wird darauf hingewiesen, dass die Beleuchtungseinrichtung 130 neben den in Figur 1 dargestellten Beleuchtungseinheiten auch noch andere Beleuchtungs- einheiten aufweisen kann, welche die Szene 190 aus einem anderen Winkel beleuchten. Ebenfalls können die beiden Beleuchtungseinheiten öder es kann auch nur eine Beleuchtungseinheit auch außerhalb des Gehäuses des TOF- Erfassungssystems 110 angeordnet und damit von dem Lichtempfänger 120 weiter beabstandet sein. An den Prinzipien der durchgeführten TOF Messung ändert sich dadurch nichts.
Gemäß dem hier dargestellten Ausführungsbeispiel wird basierend auf diesen 3D Daten die erfasste optische Szene 190 mit der Datenverarbeitungseinrichtung 150 unter Verwendung von geeignete Methoden der Bildauswertung
ausgewertet. Dazu können mehrere Bilder, welche von der Szene 190 unter unterschiedlichen Beleuchtungsbedingungen bzw. unterschiedlichen
Beleuchtungscharakteristika aufgenommen wurden, gemeinsam verwendet werden.
Gemäß dem hier dargestellten Ausführungsbeispiel ist das Sensorsystem 100 in der Lage, eine Objekterkennung vorzunehmen. Dazu greift die
Datenverarbeitungseinrichtung 150 auf einen in der Datenbank 160 abgelegten Datensatz von Referenzobjekten zu, welche ausgewählten Objekten entsprechen, die autorisiert sind, die Öffnung 184 zu passieren. Dies bedeutet, dass bei einer geeigneten Annäherung des Objekts 195 an den Eingang 184 die Schiebetüren 186 lediglich dann geöffnet werden, wenn das erfasste Objekt 195 zumindest annähernd mit einem der hinterlegten Referenzobjekten übereinstimmt. Dies bedeutet anschaulich, dass bei der hier beschriebenen Verwendung des
Sensorsystems 100 die Bedeckungscharakteristik des Objekts 184 auch noch von dem Ergebnis einer objektbasierten Zugangskontrolle abhängt. Die Figuren 2a und 2b illustrieren eine Verformung einer als elastisches optisch refraktives Element ausgebildeten Freiformoptik. Figur 2a zeigt das optische Element 240a in einem ersten Betriebszustand, welcher durch eine erste räumliche Struktur charakterisiert ist. Gemäß dem hier dargestellten
Ausführungsbeispiel zeichnet sich der erste Betriebszustand dadurch aus, dass abgesehen von eventuell vorhandenen internen Spannung von außen (von einem Aktuator) keine Kraft bzw. kein Druck auf die Freiformoptik 240a ausgeübt wird . Das entsprechende (nicht verzogene) Koordinatensystem ist in Figur 2a in dem optischen Element 240a dargestellt.
Figur 2b zeigt das optische Element, welches nun mit dem Bezugszeichen 240b versehen ist, in einem zweiten (verspannten) Betriebszustand, welcher durch eine zweite räumliche Struktur charakterisiert ist, die unterschiedlich ist zu der ersten räumlichen Struktur. Es ist offensichtlich, dass sich dadurch auch die Lichtformungseigenschaften insbesondere in Hinblick auf eine Modifizierung der Intensitätsverteilung von hindurchtretendem Beleuchtungslicht oder Messlicht verändern.
Der zweite Betriebszustand wird dadurch eingestellt, dass von außen (von einem nicht dargestellten Aktuator) eine Kraft bzw. ein Druck auf das optische Element 240b ausgeübt wird . Das entsprechende (verzogene) Koordinatensystem des optischen Elementes ist in Figur 2b illustriert. Die in Bezug zu dem ersten Zustand entlang der Koordinatenachsen veränderten Dimensionen bzw. Längen der Freiformoptik 240b sind durch unterschiedlich lange Koordinatenachsen illustriert. Figur 3 zeigt eine weitere Verwendung bzw. einen weiteren Einsatz des
Sensorsystems 100. Aus Gründen der Übersichtlichkeit ist in Figur 3 lediglich das TOF-Erfassungssystem 110 des Sensorsystems 100 dargestellt.
Gemäß dem hier dargestellten Ausführungsbeispiel erfasst das TOF- Erfassungssystem 110 einen Verkehrsfluss von (verschiedenen) Objekten 395a, 395b, 395c, 395d und 395e, welche sich auf einem Förderband 398 befinden und entlang der durch einen Pfeil dargestellten Bewegungsrichtung durch eine Szene 390 hindurch bewegen. Eine zuverlässige Kenntnis der Anzahl und/oder der Art der Objekte 395a bis 395e kann im Bereich der Logistik für eine Steuerung des Verkehrsflusses verwendet werden. Lediglich ein Beispiel für eine solche
Steuerung eines Verkehrsfluss ist die Steuerung des Gepäcktransportes in einem Flughafen. Dabei können auch Etiketten auf den betreffenden Objekten 395a - 395e die Art des jeweiligen Objektes bestimmen. Es wird jedoch darauf hingewiesen, dass der Einsatz in einem Flughafen lediglich ein Beispiel von einer Vielzahl von anderen Anwendungsmöglichkeiten auf dem Gebiet der
Verkehrsteuerung ist.
Die Figuren 4a und 4b illustrieren ein Zusammenfassen von Einzelpixeln eines als ein Halbleiter- bzw. CCD Chip ausgebildeten Lichtempfängers 420a bzw. 420b. Der Lichtempfänger 420a weist eine Vielzahl von lichtsensitiven bzw.
Photonen sammelnden Pixeln 422a auf. Gemäß dem hier dargestellten
Ausführungsbeispiel sind die Pixel 422a der vollen räumlichen Auflösung des Lichtempfängers 420a zugeordnet, welche Auflösung durch die Halbleiter- Architektur des Chips 420a vorgegeben ist.
Bei dem Lichtempfänger 420b sind jeweils vier der lichtsensitiven Pixel (für eine volle Auflösung) zu einem übergeordneten Pixel 422b (für eine erhöhte
Photonenakkumulation pro Pixel auf Kosten einer reduzierten räumlichen
Auflösung) zusammengefasst. Anschaulich ausgedrückt sammelt ein Pixel 422b im Vergleich zu einem einzelnen Pixel 422a eine vierfache Menge an Licht auf.
Ein solches Zusammenfassen (Englisch "Binning") von Pixeln reduziert die erforderliche (Mindest)Intensität des erfassten Messlichts, welche zum Auswerten des entsprechenden Bildbereiches der Szene benötigt wird . Da die Intensität des Messlichts unmittelbar von der Intensität des Beleuchtungslichts abhängt, kann durch das "Binning" die Intensität des Beleuchtungslichts reduziert und damit der Energieverbrauch des Sensorsystems verringert werden.
Das beschriebene "Binning" kann auch dynamisch durch eine entsprechende Ansteuerung ein und desselben Lichtempfängers 420a bzw. 420b realisiert werden. Dabei wird der Lichtempfänger entweder in einem ersten Betriebsmodus (mit voller Auflösung) oder in einem zweiten Betriebsmodus (mit Photonen sammelnden zusammengefassten Pixeln) betrieben. Ein Umschalten zwischen verschiedenen Betriebsmodi kann von externen Steuersignalen gesteuert werden. Alternativ oder in Kombination kann ein solches Umschalten auch von dem Ergebnis einer Szenenauswertung abhängen, so dass der "Binning"
Betriebsmodus für eine nächste Szenenerfassung geregelt wird .
Es wird darauf hingewiesen, dass auch mehr als zwei unterschiedliche
Betriebsmodi mit jeweils einer unterschiedlich starken Zusammenfassung von Pixeln zum Einsatz kommen können. Ferner ist es möglich, in unterschiedlichen Teilbereichen des Lichtempfängers jeweils eine unterschiedliche Anzahl von Einzelpixeln zu einem übergeordneten Pixel zusammenzufassen. Dann können einzelne Teilbereiche der Szene mit einer höheren räumlichen Auflösung (und einer geringeren Photonenakkumulation) und andere Teilbereich der Szene mit einer niedrigeren räumlichen Auflösung (und einer höheren
Photonenakkumulation) erfasst werden. Das beschriebene lokale und
unterschiedlich starke Zusammenfassen von Pixeln kann dynamisch bzw. adaptiv in genau den Teilbereichen durchgeführt werden kann, in denen sich gerade ein bestimmtes Objekt befindet. Die Figuren 5a bis 5c zeigen verschiedene Strahlquerschnitte eines Beleuchtungslichts zum Anpassen der Beleuchtung an die Form der zu
erfassenden Szene. Ein in Figur 5a illustriertes erstes Beleuchtungslicht 531a hat einen im Wesentlichen kreisförmigen Strahlquerschnitt und eignet sich bevorzugt für "runde Szenen". Für die meisten Anwendungsfälle, welche keine "runde Szene" erfassen (und auswerten), eignet sich jedoch ein von einer Kreisform abweichender Strahlquerschnitt. In Figur 5b ist ein Beleuchtungslicht 531b mit einem elliptischen Strahlquerschnitt dargestellt. Figur 5c zeigt ein
Beleuchtungslicht 531c mit einem rechteckigen Strahlquerschnitt. Wie
vorstehend bereits erwähnt, kann der Strahlquerschnitt durch eine
entsprechende Formgebung der Freiformoptiken und optional zusätzlich auch durch einen geeigneten Betrieb der der Beleuchtungseinrichtung angepasst werden. Auch Diffraktive Optische Elemente (DOE) können verwendet werden, welche optional sogar eine dynamische und/oder szenenabhängige Formung des Strahlquerschnitts ermöglichen.
Es wird angemerkt, dass der Begriff "aufweisen" nicht andere Elemente ausschließt und dass das "ein" nicht eine Mehrzahl ausschließt. Auch können Elemente, die in Zusammenhang mit unterschiedlichen Ausführungsbeispielen beschrieben sind, kombiniert werden. Es sollte auch angemerkt werden, dass Bezugszeichen in den Ansprüchen nicht als den Schutzbereich der Ansprüche beschränkend ausgelegt werden sollen.
BEZUGSZEICHEN :
100 Sensorsystem
110 TOF Erfassungssystem
111 Halterung
115 Messeinrichtung
120 Lichtempfänger
122 Lichtempfänger- Steuereinrichtung
125 Messeinheit
130 Beleuchtungseinrichtung
131 Beleuchtungslicht / Beleuchtungsstrahlengang
135 Beleuchtungslicht-Steuereinrichtung
140 Freiformoptik
141 Aktuator
142 weitere Freiformoptik
143 weiterer Aktuator
145 Freiformoptik-Steuereinrichtung
150 Datenverarbeitungseinrichtung
152 Schnittstelle
152a externes Steuersignal
160 Datenbank
180 Eingangsstruktur
182 stationäre Haltestruktur
184 Öffnung / Eingang
186 Verschließkörper / Schiebetür
187 Motor
190 Szene
195 Objekt
196 Messlicht / Messlichtstrahlengang 240a Freiformoptik / optisch refraktives Element im 1. Zustand
240b Freiformoptik / optisch refraktives Element im 2. Zustand
390 Szene
395a-e Objekte
398 Förderband
420a/b Lichtempfänger / Sensorchip
422a Pixel
422b übergeordnetes Pixel / zusammengefasstes Pixel
531a Beleuchtungslicht mit rundem Querschnitt
531b Beleuchtungslicht mit elliptischen Querschnitt
531c Beleuchtungslicht mit rechteckigem Querschnitt

Claims

P a t e n t a n s p r ü c h e
1. Sensorsystem (100) zum dreidimensionalen Erfassen einer Szene (190), das Sensorsystem (100) aufweisend
eine Beleuchtungseinrichtung (130) zum Beleuchten der Szene (190) mit einem Beleuchtungslicht (131) entlang eines Beleuchtungsstrahlengangs (131); eine Messeinrichtung (115)
zum Empfangen von Messlicht (196) entlang eines Messlichtstrahlengangs (196), wobei das Messlicht (196) zumindest teilweise von zumindest einem Objekt (195) in der Szene (190) zurückgestreutes Beleuchtungslicht (131) ist und zum Messen von Distanzen zwischen dem Sensorsystem (100) und dem zumindest einen Objekt (195) basierend auf einer Lichtlaufzeit des
Beleuchtungslichts (131) und des Messlichts (196);
eine der Messeinrichtung (115) nachgeschaltete Datenverarbeitungs- einrichtung (150) zum Ermitteln der dreidimensionalen Charakteristik der Szene (190) basierend auf den gemessenen Distanzen; und
eine Freiformoptik (140, 142), welche in dem Beleuchtungsstrahlengang (131) und/oder in dem Messlichtstrahlengang (196) angeordnet ist, wobei die Freiformoptik (140, 142) derart konfiguriert ist, dass
(i) bei einer Anordnung in dem Beleuchtungsstrahlengang (131) eine
Beleuchtungslichtintensität des Beleuchtungslichts (130) von dem Raumwinkel des Beleuchtungsstrahlengangs (131) abhängt und
(ii) bei einer Anordnung in dem Messlichtstrahlengang (196) eine
Messlichtintensität des Messlichts (196) von dem Raumwinkel des
Messlichtstrahlengangs (196) abhängt,
so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts (131) und des Messlichts (196) zumindest teilweise kompensiert wird.
2. Sensorsystem (100) gemäß dem vorangehenden Anspruch, ferner aufweisend eine weitere Freiformoptik (142), wobei die Freiformoptik (140) in dem Beleuchtungsstrahlengang (131) angeordnet ist und
die weitere Freiformoptik (142) in dem Messlichtstrahlengang (196) angeordnet ist.
3. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Freiformoptik (140, 142) zumindest ein reflektives optisches Element, zumindest ein refraktives optisches Element und/oder zumindest ein diffraktives optisches Element aufweist.
4. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Freiformoptik (140, 142) zumindest ein räumlich und/oder strukturell veränderbares optisches Element (240a, 240b) aufweist, wobei eine Veränderung des optischen Elements (240a, 240b) zu einer Veränderung der
Raumwinkelabhängigkeit der Beleuchtungslichtintensität und/oder der
Messlichtintensität führt.
5. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Freiformoptik (140, 142) und/oder die Beleuchtungseinrichtung (130) konfiguriert ist, das Beleuchtungslicht (131) und/oder das Messlicht (196) mit einer raumwinkelabhängigen Intensitätsverteilung bereitzustellen, welche einen Randlichtabfall zumindest annähernd kompensiert, insbesondere einen
natürlichen Randlichtabfall gemäß dem eine Helligkeit in einem Bild beim
Abbilden eines gleichmäßig hellen Motivs durch ein Objektiv um den Faktor cos' gegenüber der Helligkeit in der Mitte des Bildes abnimmt.
6. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, ferner aufweisend
eine mit der Beleuchtungseinrichtung (130) gekoppelte Beleuchtungslicht- Steuereinrichtung (135), welche konfiguriert ist, die Beleuchtungseinrichtung (130) derart anzusteuern, dass eine Charakteristik des Beleuchtungslichts (131), welche die Abhängigkeit der Beleuchtungsintensität des Beleuchtungslichts (131) von dem Raumwinkel beschreibt, während eines Betriebes des Sensorsystems (100) dynamisch veränderbar ist.
7. Sensorsystem (100) gemäß dem vorangehenden Anspruch, wobei
die Datenverarbeitungseinrichtung (150) mit der Beleuchtungslicht- Steuereinrichtung (135) gekoppelt ist und konfiguriert ist, die ermittelte dreidimensionale Charakteristik der Szene (190) auszuwerten und basierend auf einem Ergebnis dieser Auswertung die Charakteristik des Beleuchtungslichts (131) zu verändern.
8. Sensorsystem (100) gemäß dem vorangehenden Anspruch, wobei
das Ergebnis der Auswertung von dem optischen Streuverhalten von zumindest einem in der Szene (190) enthaltenen Objekt (195) abhängt.
9. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Beleuchtungseinrichtung (130) aufweist zumindest eines aus der Gruppe bestehend aus
(a) einer als Laser ausgebildeten Beleuchtungslichtquelle zum räumlichen
Abtasten der Szene mit einem ausgesandten Laserstrahl-Beleuchtungslicht;
(b) einer zumindest annähernd punktförmigen Beleuchtungslichtquelle;
(c) einer Mehrzahl von einzelnen Beleuchtungslichtquellen, die insbesondere individuell ansteuerbar und jeweils einem bestimmten Raumwinkelbereich der Szene zugeordnet sind; und
(d) einer flächigen Beleuchtungslichtquelle, insbesondere mit einer über die Fläche nicht homogenen Leuchtintensität.
10. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Freiformoptik (140, 142) und/oder die Beleuchtungseinrichtung (130)
konfiguriert ist bzw. sind, das Beleuchtungslicht (131) mit einem von einer Kreisform abweichenden Strahlquerschnitt (531b, 531c) bereitzustellen.
11. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Messeinrichtung (115) aufweist
einen Lichtempfänger (120, 420a) mit einer Vielzahl von Pixeln (422a) zum Empfangen des Messlichts (196), wobei erste Pixel in einem ersten
Teilbereich des Lichtempfängers eine erste Lichtsensitivität aufweisen und zweite Pixel in einem zweiten Teilbereich des Lichtempfängers eine zweite
Lichtsensitivität aufweisen, wobei die zweite Lichtsensitivität unterschiedlich ist zu der ersten Lichtsensitivität.
12. Sensorsystem (100) gemäß dem vorangehenden Anspruch, wobei
die Messeinrichtung (115) ferner aufweist
eine mit dem Lichtempfänger (120) gekoppelte Lichtempfänger- Steuereinrichtung (122), wobei die Lichtempfänger-Steuereinrichtung (122) und der Lichtempfänger (120) derart konfiguriert sind, dass in einem modifizierten Betrieb des Sensorsystems (100) zumindest zwei Pixel der Vielzahl von Pixeln (422a) zu einem übergeordneten Pixel (422b) zusammengefasst sind .
13. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Messeinrichtung (115) aufweist
einen oder, sofern rückbezogen auf einen der beiden vorangehenden Ansprüche, den Lichtempfänger (120) zum Empfangen des Messlichts (196) und eine dem Lichtempfänger (120) nachgeschaltete Messeinheit (125), welche konfiguriert ist die Lichtlaufzeit zu messen basierend auf
(a) einer Messung der Zeitspanne zwischen einem Aussenden eines Pulses des Beleuchtungslichts (131) und dem Empfang des zu dem Puls gehörigen
Messlichts (196) und/oder (b) einer Messung einer Phasenverschiebung zwischen einer zeitlichen Modulation des Beleuchtungslichts (131) und einer zugehörigen zeitlichen Modulation des empfangenen Messlichts (196).
14. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, ferner aufweisend
eine Halterung (111), welche zumindest mit der Messeinrichtung (115) mechanisch gekoppelt ist, wobei die Halterung (111) derart ausgebildet ist, dass das Sensorsystem (100) an einer in Bezug auf die zu erfassende Szene (190) stationären Haltestruktur (182) anbringbar ist.
15. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Datenverarbeitungseinrichtung (150) ferner derart konfiguriert ist, dass eine Bedeckungscharakteristik einer von einem Objekt (195) zu passierenden Öffnung (184) durch zumindest einen Verschließkörper (186) steuerbar ist.
16. Verfahren zum dreidimensionalen Erfassen einer Szene (190), das Verfahren aufweisend
Beleuchten der Szene (190) mit einem Beleuchtungslicht (131), welches von einer Beleuchtungseinrichtung (130) entlang eines
Beleuchtungsstrahlengangs (131) ausgesandt wird;
Empfangen, mittels einer Messeinrichtung (115), von Messlicht (131) entlang eines Messlichtstrahlengangs (131), wobei das Messlicht (131) zumindest teilweise von zumindest einem Objekt (195) in der Szene (190) zurückgestreutes Beleuchtungslicht (131) ist;
Messen, mittels der Messeinrichtung (115), von Distanzen zwischen dem Sensorsystem (100) und dem zumindest einen Objekt (195) basierend auf einer Lichtlaufzeit des Beleuchtungslichts (131) und des Messlichts (196); und
Ermitteln der dreidimensionalen Charakteristik der Szene (190) basierend auf den gemessenen Distanzen mittels einer der Messeinrichtung (115) nachgeschalteten Datenverarbeitungseinrichtung (150); wobei eine Freiformoptik (140, 142) in dem Beleuchtungsstrahlengang (131) und/oder in dem Messlichtstrahlengang (196) angeordnet ist, wobei die
Freiformoptik (140, 142) derart konfiguriert ist, dass
(i) bei einer Anordnung in dem Beleuchtungsstrahlengang (131) eine
Beleuchtungslichtintensität des Beleuchtungslichts (131) von dem Raumwinkel des Beleuchtungsstrahlengangs abhängt und
(ii) bei einer Anordnung in dem Messlichtstrahlengang (196) eine
Messlichtintensität des Messlichts (196) von dem Raumwinkel des
Messlichtstrahlengangs (196) abhängt, so dass ein distanzbasierter
Intensitätsverlust des Beleuchtungslichts (131) und des Messlichts (196) zumindest teilweise kompensiert wird.
17. Verfahren gemäß dem vorangehenden Anspruch, ferner aufweisend
Erfassen eines in der Szene (190) befindlichen Objekts (195);
Vergleichen des erfassten Objekts (195) mit zumindest einem in einer Datenbank (160) hinterlegten Vergleichsobjekt; und,
wenn das Objekt (195) innerhalb vorgegebener zulässiger Abweichungen mit einem Vergleichsobjekt übereinstimmt, Identifizieren des Objekts (195) als ein für eine bestimmte Aktion zugelassenes Objekt (195).
18. Verwendung eines Sensorsystems (100) gemäß einem der vorangehenden Ansprüche 1 bis 15 für ein Steuern einer Bedeckungscharakteristik einer von einem Objekt (195) zu passierenden Öffnung (184) durch zumindest einen Verschließkörper (186).
19. Verwendung gemäß dem vorangehenden Anspruch, wobei
die Öffnung (184) ein Eingang oder ein Ausgang ist, insbesondere ein
Notausgang in einem Gebäude.
20. Verwendung gemäß einem der beiden vorangehenden Ansprüche, wobei das Objekt (195) eine Person oder ein Fahrzeug ist.
21. Verwendung eines Sensorsystems (100) gemäß einem der vorangehenden Ansprüche 1 bis 15 für ein Erfassen und/oder Steuern von Verkehrsströmen von Objekten (395a - 395e), welche sich durch eine Szene (190) des Sensorsystems (100) bewegen, wobei die Szene (190) durch einen räumlichen
Erfassungsbereich des Sensorsystems (100) bestimmt ist.
EP18826219.0A 2017-12-12 2018-12-11 3d sensorsystem mit einer freiformoptik Pending EP3724674A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017129641.7A DE102017129641A1 (de) 2017-12-12 2017-12-12 3D Sensorsystem mit einer Freiformoptik
PCT/EP2018/084421 WO2019115558A1 (de) 2017-12-12 2018-12-11 3d sensorsystem mit einer freiformoptik

Publications (1)

Publication Number Publication Date
EP3724674A1 true EP3724674A1 (de) 2020-10-21

Family

ID=64899259

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18826219.0A Pending EP3724674A1 (de) 2017-12-12 2018-12-11 3d sensorsystem mit einer freiformoptik

Country Status (3)

Country Link
EP (1) EP3724674A1 (de)
DE (1) DE102017129641A1 (de)
WO (1) WO2019115558A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022203647A1 (en) * 2021-03-22 2022-09-29 Hewlett-Packard Development Company, L.P. Devices for controlling automatic doors

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60117731T2 (de) * 2000-12-26 2007-01-11 Kabushiki Kaisha Topcon optisches Entfernungsmesssystem

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008286565A (ja) * 2007-05-16 2008-11-27 Omron Corp 物体検知装置
WO2011128408A1 (en) * 2010-04-15 2011-10-20 Iee International Electronics & Engineering S.A. Configurable access control sensing device
DE102010033818A1 (de) * 2010-08-09 2012-02-09 Dorma Gmbh + Co. Kg Sensor
EP2667218B1 (de) 2010-11-15 2017-10-18 Cedes AG Energiespar-3-D-Sensor
EP2469301A1 (de) * 2010-12-23 2012-06-27 André Borowski Verfahren und Vorrichtungen zur Erzeugung einer Repräsentation einer 3D-Szene bei sehr hoher Geschwindigkeit
US10132928B2 (en) 2013-05-09 2018-11-20 Quanergy Systems, Inc. Solid state optical phased array lidar and method of using same
US9635231B2 (en) * 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
DE102015115101A1 (de) * 2015-09-08 2017-03-09 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensorsystem einer Sensoreinrichtung eines Kraftfahrzeugs
DE102015220798A1 (de) * 2015-10-23 2017-04-27 Designa Verkehrsleittechnik Gmbh Zugangskontrollsystem für einen Lagerbereich sowie Verfahren zur Zugangskontrolle
TWI570387B (zh) * 2015-11-09 2017-02-11 財團法人工業技術研究院 影像測距系統、光源模組及影像感測模組
DE102015226771A1 (de) * 2015-12-29 2017-06-29 Robert Bosch Gmbh Umlenkeinrichtung für einen Lidarsensor
DE102016202181A1 (de) * 2016-02-12 2017-08-17 pmdtechnologies ag Beleuchtung für eine 3D-Kamera
US10754015B2 (en) * 2016-02-18 2020-08-25 Aeye, Inc. Adaptive ladar receiver
US11237251B2 (en) * 2016-05-11 2022-02-01 Texas Instruments Incorporated Lidar scanning with expanded scan angle
DE102016122712B3 (de) * 2016-11-24 2017-11-23 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Objektinformationen

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60117731T2 (de) * 2000-12-26 2007-01-11 Kabushiki Kaisha Topcon optisches Entfernungsmesssystem

Also Published As

Publication number Publication date
DE102017129641A1 (de) 2019-06-13
WO2019115558A1 (de) 2019-06-20

Similar Documents

Publication Publication Date Title
DE112017001112T5 (de) Verfahren und Vorrichtung für eine aktiv gepulste 4D-Kamera zur Bildaufnahme und -analyse
EP1515161B1 (de) Optischer Entfernungsmesser und Verfahren zur Bestimmung der Entfernung zwischen einem Objekt und einem Referenzpunkt
EP3033251B1 (de) Sensoranordnung zur erfassung von bediengesten an fahrzeugen
EP3014569B1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
EP1159636A1 (de) Ortsauflösendes abstandsmesssystem
EP1916545B1 (de) Optoelektronischer Sensor und Verfahren zu dessen Betrieb
DE102013100521A1 (de) Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
EP2946226A1 (de) Universelle sensoranordnung zur erfassung von bediengesten an fahrzeugen
WO2020229186A1 (de) 3D SENSORSYSTEM, BETREIBBAR IN VERSCHIEDENEN BETRIEBSMODI IN ABHÄNGIGKEIT EINES BETRIEBSZUSTANDES EINES VERSCHLIEßKÖRPERS
WO2017041915A1 (de) Sensorsystem einer sensoreinrichtung eines kraftfahrzeugs
DE102019003049A1 (de) Vorrichtung und Verfahren zum Erfassen von Objekten
EP3724674A1 (de) 3d sensorsystem mit einer freiformoptik
WO2019115561A1 (de) Sensorsystem zum dreidimensionalen erfassen einer szene mit verschiedenen photonenakkumulationen
EP3724601B1 (de) Abstandsermittlung basierend auf verschiedenen tiefenschärfebereichen bei unterschiedlichen fokuseinstellungen eines objektivs
DE102006010990B4 (de) Sicherheitssystem
DE102017129654A1 (de) 3D Szenenerfassung basierend auf Lichtlaufzeiten und einem charakteristischen Merkmal von erfassten elektromagnetischen Wellen
WO2019115559A1 (de) 3d sensorsystem mit einer von einem raumwinkel abhängigen szenenbeleuchtung
WO2020229190A1 (de) Identifizierung eines objekts basierend auf einer erkennung eines teils des objekts und auf beschreibungsdaten von einem referenzobjekt
EP1865755B1 (de) Vorrichtung zur Beleuchtungssteuerung mit Anwesenheits-Erfassung
WO2020229189A1 (de) Tof sensorsystem mit einer beleuchtungseinrichtung mit einem array von einzellichtquellen
DE102022001990B4 (de) Verfahren zur Fusion von Sensordaten eines Lidars mit Sensordaten eines aktiven Terahertz-Sensors
DE202007008363U1 (de) Vorrichtung zur Beleuchtungssteuerung
WO2023041706A1 (de) Verfahren und vorrichtung zur messung von tiefeninformationen einer szene anhand von mittels zumindest einer parallelstrahlungsquelle generiertem strukturierten licht
DE102019217780A1 (de) Verfahren zum Anpassen von Schwellwerten für eine Erkennung von Objekten in einem Projektionsvolumen einer scannenden Projektionsvorrichtung und scannende Projektionsvorrichtung
DE102011086026A1 (de) System und Verfahren zur Objekterkennung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200604

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: HUNZIKER, URS

Inventor name: SEILER, CHRISTIAN

Inventor name: WYSS, BEAT

Inventor name: ECKSTEIN, JOHANNES

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210629