EP2166305B1 - Illumination unit and method for projecting an illumination pattern. - Google Patents
Illumination unit and method for projecting an illumination pattern. Download PDFInfo
- Publication number
- EP2166305B1 EP2166305B1 EP09100045A EP09100045A EP2166305B1 EP 2166305 B1 EP2166305 B1 EP 2166305B1 EP 09100045 A EP09100045 A EP 09100045A EP 09100045 A EP09100045 A EP 09100045A EP 2166305 B1 EP2166305 B1 EP 2166305B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- illumination
- pattern
- pattern generation
- generation element
- focal plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Not-in-force
Links
- 238000005286 illumination Methods 0.000 title claims description 116
- 238000000034 method Methods 0.000 title claims description 16
- 238000003384 imaging method Methods 0.000 claims description 38
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000001427 coherent effect Effects 0.000 claims description 9
- 230000001788 irregular Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000036961 partial effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 13
- 230000008901 benefit Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 238000000576 coating method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011888 foil Substances 0.000 description 3
- 231100001261 hazardous Toxicity 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 238000001746 injection moulding Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000001459 lithography Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000005211 surface analysis Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
- F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
- F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
- F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
- F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
- F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
- F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
- F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
- F16P3/144—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using light grids
Definitions
- the illumination pattern enables largely comprehensive depth information.
- the disadvantage is that a visual orientation is almost impossible because of the projected pattern and such an image is therefore less suitable as a basis for the visualization.
- difficulties arise in some situations to accurately detect object edges, such as occlusions at transitions from upstream objects in the background.
- a minimum object size with security buffer must be selected so that the effective resolution decreases.
- lighting units based on DOEs have significantly higher luminous efficiencies. However, they require well-collimated laser light and always transmit a portion of the order of 1% of the incident light unbent in the zeroth order. Thus, a still very concentrated beam leaves the illumination unit, and no solutions are known for removing this beam from the illumination field without further ado. Thus, such lighting units are either not able to meet requirements for eye safety or the laser protection class, and thus inadmissible for operation, or you have to make do with very little useful light, so that the unbent transmitted beam for eye safety remains uncritical. However, such low-power light does not allow generation of dense depth maps with stereoscopic algorithms over more than shortest ranges.
- a method for three-dimensional gesture detection is known.
- an uncorrelated spot pattern is projected onto an object, for example the hand of a computer user.
- the pattern is created by dropping laser light onto a DOE or optical diffuser element which causes phase changes of the transmitted light.
- Elements of this pattern are in a reference pattern searched for depth information, the reference pattern being obtained in advance at a level of known distance.
- the pattern is depth-dependent, so that the pattern can already be deduced from the structure of the pattern.
- the lighting unit is flexibly controllable and can generate flexible patterns. It is very compact, inexpensive and durable.
- Suitable pattern generation elements are those which generate a sufficiently variable distance-dependent intensity distribution in their beam path. This is not the case with a conventional mask or a slide, and a shift in the focal plane will only result in blurring, which will result in even disadvantageous contrast losses, but will not cause a structural change in the illumination pattern. Instead, according to the invention, the coherence of the light source is exploited as pattern-generating. There is only a redistribution of energy, no suppression, so that a very high efficiency can be achieved with a luminous efficacy of 90%.
- a conceivable alternative to the phase element is a diffractive optical element, which is then not used by the Nahfeldab Struktur according to its purpose.
- a DOE carries a microstructure precalculated for a particular pattern, for example based on a Fourier transform, with which the incident collimated laser light beam is "copied" by diffraction effects into secondary orders.
- a deterministic pattern is created, for a wavelength and a DOE always the same pattern.
- the DOE is as it were misappropriated, namely not necessarily illuminated with collimated laser light, and above all, the near field is imaged, so before the special pattern of the DOE can form at all. Only by this mapping of the near field, the desired effect according to the invention results that the pattern can be changed.
- the adjusting element is preferably designed to lay the focal plane in the pattern-generating element itself, in particular in the plane of a microstructure of the pattern-generating element, and thus to produce a homogeneous intensity distribution in the monitoring region. This makes it easy to switch to a uniform illumination for the recognition of natural structures and visualization. Instead of switching between self-similar pattern and homogeneous illumination, which combines passive stereoscopy with active stereoscopy, changes between two differently structured patterns are conceivable in order to create a different basis for stereoscopic image data and thus to diversify the process.
- the disadvantage of this is that the lighting can then no longer be selected with a narrow-band filter because the filter must be permeable at least for the two selected light sources.
- two image sensors 14a, 14b there is a known problem that structures along the epipolar line can not be used for the disparity estimation, because here no triangulation angle occurs or, in other words, the system can not locally distinguish whether the structure in the two images due to the perspective shifted against each other or whether only an indistinguishable other part of the same, aligned parallel to the base of the stereo system structure is compared.
- one or more other camera modules can be used, which are arranged offset from the connecting line of the original two camera modules.
- a DOE can also be used as pattern generation element 108. This DOE is then misused, as already explained, since the near field is imaged before the dedicated pattern of the DOE can form in the far field. Furthermore, the lighting is not as usual with a highly concentrated light beam, because the light of the light source 104 is expanded in the optics 106 to a divergent light beam or at least over a larger area. There are no problems with the eye protection.
- the coherent light source 104 is preferably a laser diode, more preferably a single-emitter laser, because multiple source points form further interference sources and thus could cause contrast losses in the pattern. Because of the high light output in the phase element 108, comparatively moderate output powers are sufficient, but the strongest available high-power lasers can be used, especially for longer ranges.
- the pattern generating element 108 shows unevenness at least over those areas in which the structured illumination pattern 20 is to arise. Smooth areas prevent interference and thus provide pattern-free areas that are undesirable, at least in most applications, because they can lead to gaps in the depth maps.
- a simple realization is that the unevennesses are formed on one side or on both sides over the entire surface of the phase element 108, or at least over the optically active surface. The unevenness should continue to be irregular, because otherwise interference structures with one another could arise in the illumination pattern 20.
- each individual module 100a-d one of the previously individually described embodiments may be used, even in hybrid forms. It is also conceivable to use elements of the individual modules 100a-d multiple times, for example the pattern generating element 108. It can be accepted or prevented by appropriate arrangement and dimensioning that the interference of the multiple light sources 104a-d to the contrast impairing interfering superimpositions lead single pattern 20a-d.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
Die Erfindung betrifft eine Beleuchtungseinheit mit einem im Strahlengang einer Lichtquelle angeordneten optischen Mustererzeugungselement und ein Verfahren zur Projektion eines Beleuchtungsmusters in einen Überwachungsbereich nach dem Oberbegriff von Anspruch 1 beziehungsweise 10.The invention relates to a lighting unit with an optical pattern generating element arranged in the beam path of a light source and to a method for projecting a lighting pattern into a monitoring area according to the preamble of
Kameras werden seit langem zur Überwachung eingesetzt und finden zunehmend auch Anwendung in der Sicherheitstechnik. Eine typische sicherheitstechnische Anwendung ist die Absicherung einer gefährlichen Maschine, wie etwa einer Presse oder eines Roboters, wo bei Eingriff eines Körperteils in einen Gefahrenbereich um die Maschine herum eine Absicherung erfolgt. Dies kann je nach Situation die Abschaltung der Maschine oder das Verbringen in eine sichere Position sein.Cameras have long been used for surveillance and are increasingly being used in security technology. A typical safety application is the protection of a dangerous machine, such as a press or a robot, where protection is provided when a body part is engaged in a hazardous area around the machine. Depending on the situation, this can be the shutdown of the machine or the move to a safe position.
Ist die zu überwachende Szenerie kontrastschwach oder weist Bereiche mit wenig Struktur auf, so wird dadurch die Erkennung sicherheitskritischer Ereignisse erschwert oder sogar verhindert. In ganz besonderem Maße gilt dies für dreidimensionale Überwachungsverfahren, die auf Stereoskopie beruhen. Dabei werden Bilder der Szenerie mit einem Empfangssystem, das im Wesentlichen aus zwei zueinander beabstandeten Kameras besteht, aus leicht unterschiedlichen Perspektiven gewonnen. In den überlappenden Bildbereichen werden gleiche Strukturen identifiziert und aus der Disparität und den optischen Parametern des Kamerasystems mittels Triangulation Entfernungen und somit ein dreidimensionales Bild beziehungsweise eine Tiefenkarte berechnet.If the scene to be monitored is low-contrast or has areas with little structure, this makes the detection of safety-critical events more difficult or even impossible. This applies especially to three-dimensional monitoring procedures based on stereoscopy. Here, images of the scenery with a receiving system, which consists essentially of two spaced-apart cameras, won from slightly different perspectives. In the overlapping image areas, the same structures are identified and calculated from the disparity and the optical parameters of the camera system by means of triangulation distances and thus a three-dimensional image or a depth map.
Stereoskopische Kamerasysteme bieten gegenüber herkömmlichen sicherheitstechnischen Sensoren wie Scannern und Lichtgittern den Vorteil, flächendeckend Tiefeninformationen aus einer zweidimensional aufgenommenen Beobachtungsszenerie zu ermitteln. Mit Hilfe der Tiefeninformationen können in sicherheitstechnischen Anwendungen Schutzbereiche variabler und genauer festgelegt und mehr und genauere Klassen von erlaubten Objektbewegungen unterschieden werden. Beispielsweise ist es möglich, Bewegungen des Roboters selbst oder Vorbeibewegungen eines Körperteils an der gefährlichen Maschine in einer unterschiedlichen Tiefenebene als ungefährlich zu erkennen. Das wäre mit einem zweidimensionalen System von einem unzulässigen Eingriff nicht unterscheidbar.Stereoscopic camera systems offer the advantage compared to conventional safety-related sensors such as scanners and light grids, nationwide depth information from a two-dimensionally recorded observation scenery determine. With the aid of the depth information, it is possible in safety-related applications to specify areas of protection that are more variable and more precise, and to distinguish more and more precise classes of permitted object movements. For example, it is possible to detect movements of the robot itself or passing movements of a body part on the dangerous machine in a different depth plane as non-hazardous. That would be indistinguishable from an impermissible intervention with a two-dimensional system.
Im Rahmen der Sicherheitstechnik besteht jedoch für eine zuverlässige Sicherheitsfunktion über das sichere Erkennen eines Eingriffs in den bereitgestellten Bilddaten hinaus der zusätzliche Anspruch, diese dreidimensionalen Bilddaten in Form einer dichten Tiefenkarte zu erzeugen, also einen zuverlässigen Abstandswert für jeden Bildbereich und bevorzugt nahezu jeden Bildpunkt verfügbar zu haben. Große strukturlose Flächen oder zueinander ähnliche Strukturmerkmale können eine eindeutige Zuordnung von Bildbereichen beim Auffinden der Korrespondenzen zwischen den Strukturelementen der Bilder verhindern. Dabei sind zumindest zwei Arten von Fehlern denkbar, nämlich ein Scheitern des Auffindens einander entsprechender Strukturelemente oder eine fehlerhafte Zuordnung. Die Folge sind Lücken in den dreidimensionalen Bildern oder fehlerhafte Berechnungen der Entfernungen. Beides ist für sicherheitstechnische Anwendungen höchst gefährlich, da ein unzulässiger Eingriff unerkannt bleiben oder eine falsche Entfernung zugeordnet werden könnte. Die Abschaltung der Gefährdungsquelle unterbleibt dann möglicherweise, weil der Eingriff fehlerhaft als unkritisch eingestuft wird.In the context of safety technology, however, there is the additional requirement for a reliable safety function beyond the secure recognition of an intervention in the provided image data to produce this three-dimensional image data in the form of a dense depth map, ie a reliable distance value for each image area and preferably almost every pixel available to have. Large structureless areas or structure features similar to one another can prevent an unambiguous assignment of image areas when locating the correspondences between the structural elements of the images. At least two types of errors are conceivable, namely a failure to find corresponding structural elements or an incorrect assignment. The result is gaps in the three-dimensional images or erroneous calculations of the distances. Both are extremely dangerous for safety applications, as an inadmissible procedure could go undetected or an incorrect distance could be assigned. The shutdown of the source of danger may then be omitted, because the intervention is erroneously classified as uncritical.
Die gut lokalisierbaren Bildmerkmale können entweder für passive Stereoskopie bereits natürlicherweise in Form von Kanten oder Texturen in der überwachten Szenerie vorhanden sein oder für aktive Stereoskopie der Szenerie als Beleuchtungsmuster aufgeprägt werden.The well localizable image features may either naturally be present for passive stereoscopy in the form of edges or textures in the scene under surveillance, or may be imprinted as an illumination pattern for active stereoscopy of the scene.
Passive Stereomesssysteme haben keinen Einfluss auf die Qualität und Dichte der Bildmerkmale. Zu einer möglichen Struktur- oder Kontrastschwäche tritt hier schlicht mangelnde Helligkeit als mögliche Fehlerquelle hinzu. Deshalb liegt in der Praxis eine Tiefeninformation nur punktuell vor, die keine zuverlässige Sicherheitsfunktion zulässt. Selbstverständlich ist für eine vorgegebene Anwendung möglich, die Szenerie entsprechend auszuwählen oder zu präparieren, aber dies ist umständlich und schafft zusätzliche Abhängigkeiten. Passive Systeme sind aber den aktiven nicht in jeder Beziehung unterlegen, denn hier ist die minimale Objektgröße zumindest im Idealfall nur durch die Auflösung der Stereokamera begrenzt, und Übergänge zwischen vorgelagertem Objekt und Hintergrund werden als gute Merkmale für die Stereokorrelation erkannt. Solche Bilder entsprechen auch dem natürlichen Seheindruck und eignen sich für die Visualisierung zur Diagnose oder Konfiguration.Passive stereo measurement systems have no influence on the quality and density of image characteristics. To a possible structural or contrast weakness occurs here simply lack of brightness as a possible source of error added. Therefore, in practice, depth information is only available selectively, which does not allow a reliable safety function. Of course, for a given application it is possible to select or prepare the scenery accordingly, but this is cumbersome and creates additional dependencies. Passive systems are not active in every respect At least in the ideal case, the minimum object size is limited only by the resolution of the stereo camera, and transitions between upstream object and background are recognized as good features for the stereo correlation. Such images also correspond to the natural visual impression and are suitable for visualization for diagnosis or configuration.
Aktive Stereomesssysteme verwenden zusätzlich zu dem Empfangssystem eine Beleuchtungseinheit, deren Funktion ist, die beobachtete Szenerie mit strukturiertem Licht zu beleuchten und so durch die zahlreichen Hell-Dunkel-Übergänge in den Bildern Merkmale zu erzeugen, anhand derer der Stereoalgorithmus zuverlässige und flächendeckende Abstandsdaten aus der Szenerie extrahieren kann. Solche Muster können auch selbstunähnlich sein, also für die vorliegenden Überwachungen in erster Linie keine bezüglich Verschiebungen zueinander symmetrischen Bereiche aufweisen. Mit Hilfe optischer Filter kann das Muster deutlicher sichtbar gemacht und zugleich eine Übersteuerung der Bildsensoren vermieden werden.Active stereo measurement systems use, in addition to the receiving system, a lighting unit whose function is to illuminate the observed scene with structured light and thus to generate features through the numerous light-dark transitions in the images, by means of which the stereo algorithm reliably and comprehensively distance data from the scenery can extract. Such patterns may also be self-dissimilar, that is to say that for the present monitors there are in the first place no regions which are symmetrical relative to displacements. With the help of optical filters, the pattern can be made more visible and at the same time an override of the image sensors can be avoided.
Das Beleuchtungsmuster ermöglicht weitgehend flächendeckende Tiefeninformationen. Nachteilig ist, dass eine visuelle Orientierung wegen der projizierten Muster nahezu unmöglich ist und ein solches Bild deshalb als Grundlage für die Visualisierung weniger geeignet ist. Außerdem entstehen in manchen Situationen Schwierigkeiten, Objektränder präzise zu detektieren, etwa bei Okklusionen an Übergängen von vorgelagerten Objekten in den Hintergrund. Um die Sicherheit zu erhalten, muss dann eine minimale Objektgröße mit Sicherheitspuffer gewählt werden, so dass die effektive Auflösung sinkt.The illumination pattern enables largely comprehensive depth information. The disadvantage is that a visual orientation is almost impossible because of the projected pattern and such an image is therefore less suitable as a basis for the visualization. In addition, difficulties arise in some situations to accurately detect object edges, such as occlusions at transitions from upstream objects in the background. In order to maintain security, a minimum object size with security buffer must be selected so that the effective resolution decreases.
Herkömmlich werden Beleuchtungseinheiten mit Projektionstechniken ähnlich einem Diaprojektor oder auf Basis diffraktiver optischer Elemente (DOE) als Mustergeneratoren vorgeschlagen. Projektoren haben den Nachteil, dass die Mustererzeugung im Prinzip ein Selektionsprozess des ausgestrahlten Lichts ist, bei dem ein Zwischenbild in Form eines Dias über ein Objektiv in den Außen- oder Beobachtungsraum abgebildet wird. Dadurch ist die Lichtausbeute mit ca. 30% sehr schlecht. Dies ist besonders deshalb problematisch, weil die wegen ihrer Schmalbandigkeit und Langlebigkeit etwa gegenüber Halogenlampen bevorzugt eingesetzten Halbleiterlichtquellen ohnehin schon an sich kaum die erforderlichen optischen Ausgangsleistungen für mehr als kürzeste Reichweiten erreichen. Zusätzlich wird das Muster im Außenraum nur in einer Ebene scharf und verschwimmt davor abhängig von der Lichtstärke des Abbildungsobjektivs mehr oder weniger schnell. Da man die Entfernungen in dynamischen Szenerien nicht vorab kennt, ist es nicht möglich, eine einzige benötigte scharfe Abbildungsebene festzulegen. Schließlich ist auch der Aufwand im Hinblick auf die Optik, beispielsweise die Abbildungsobjektive, die Kondensorlinsen, Homogenisierungen und dergleichen sowie auch im Hinblick auf die Elektronik, beispielsweise die Ansteuerung der Lichtquelle oder die Kühlung, sehr hoch und eine Projektorlösung deshalb recht kostenintensiv.Conventionally, lighting units with projection techniques similar to a slide projector or based on diffractive optical elements (DOE) are proposed as pattern generators. Projectors have the disadvantage that the pattern generation is in principle a selection process of the emitted light, in which an intermediate image is imaged in the form of a slide via a lens in the outer or observation room. As a result, the light output is very poor at about 30%. This is particularly problematic because the preferred because of their narrow band and longevity compared to halogen lamps used semiconductor light sources anyway hardly reach the required optical output power for more than shortest ranges. In addition, the pattern in the outer space only becomes sharp in one plane and blurs in front of the light intensity of the imaging lens more or less fast. Since you do not know the distances in dynamic sceneries in advance, it is not possible to define a single, sharp image plane. Finally, the effort in terms of the optics, such as the imaging lenses, the condenser lenses, homogenizations and the like, as well as in terms of electronics, such as the control of the light source or cooling, very high and a projector solution is therefore quite costly.
Beleuchtungseinheiten auf Basis von DOEs haben zwar deutlich höhere Lichtausbeuten. Sie benötigen jedoch gut kollimiertes Laserlicht und transmittieren in nullter Ordnung immer einen Teil in der Größenordnung um 1% des einfallenden Lichts ungebeugt. Es verlässt also ein immer noch sehr starker gebündelter Strahl die Beleuchtungseinheit, und es sind keine Lösungen bekannt, diesen Strahl ohne Weiteres wieder aus dem Beleuchtungsfeld zu entfernen. Somit sind derartige Beleuchtungseinheiten entweder nicht in der Lage, Anforderungen an die Augensicherheit beziehungsweise die Laserschutzklasse zu erfüllen, und damit für den Betrieb unzulässig, oder man muss mit sehr wenig Nutzlicht auskommen, damit der ungebeugt transmittierte Strahl für die Augensicherheit unkritisch bleibt. Derart wenig Nutzlicht erlaubt aber keine Erzeugung dichter Tiefenkarten mit Stereoskopiealgorithmen über mehr als kürzeste Reichweiten.Although lighting units based on DOEs have significantly higher luminous efficiencies. However, they require well-collimated laser light and always transmit a portion of the order of 1% of the incident light unbent in the zeroth order. Thus, a still very concentrated beam leaves the illumination unit, and no solutions are known for removing this beam from the illumination field without further ado. Thus, such lighting units are either not able to meet requirements for eye safety or the laser protection class, and thus inadmissible for operation, or you have to make do with very little useful light, so that the unbent transmitted beam for eye safety remains uncritical. However, such low-power light does not allow generation of dense depth maps with stereoscopic algorithms over more than shortest ranges.
In der
In der
Aus der
Die
Aus der
Die
In der
Es ist daher Aufgabe der Erfindung, eine verbesserte Beleuchtungseinheit für die Erzeugung eines strukturierten Musters zu schaffen.It is therefore an object of the invention to provide an improved lighting unit for the generation of a pattern structured.
Diese Aufgabe wird durch eine Beleuchtungseinheit gemäß Anspruch 1 und ein Verfahren zur Projektion eines Beleuchtungsmusters in einen Überwachungsbereich mittels eines Mustererzeugungselements gemäß Anspruch 10 gelöst. Die erfindungsgemäße Lösung basiert auf der Grundidee, ein Lichtmuster im Nahfeld des Mustererzeugungselements abzugreifen und mit einem Abbildungsobjektiv in den Überwachungsraum zu projizieren. Haben die Projektionsobjektive eine kurze Brennweite, so ist auch der Umstand, dass die Abbildung das Muster nur in einem gewissen Tiefenschärfenbereich scharf abbildet, nicht gravierend.This object is achieved by a lighting unit according to
Da sich im Nahfeld das Muster mit dem Abstand sehr rasch verändert, genügen schon kleine Änderungen in der Brennebene, um ein sehr verändertes Muster zu erhalten. Damit wird auch ermöglicht, zwischen verschiedenen Beleuchtungen sehr rasch und einfach umzuschalten und so die Vorteile der beiden komplementären Stereoverfahren, nämlich aktiver und passiver Stereoskopie, miteinander zu verbinden. So wird ein stabileres Detektionsverfahren und eine bessere Objektauflösung erreicht. Der Bedarf an einer zusätzlichen Kamera für Diagnose und Konfiguration entfällt, da das System selbst die Visualisierung von Szeneninformationen unterstützt. Die Beleuchtungseinheit ist flexibel ansteuerbar und kann flexible Muster erzeugen. Dabei ist sie sehr kompakt, kostengünstig und langlebig.Since the pattern in the near field changes very rapidly with the distance, even small changes in the focal plane are sufficient to obtain a very different pattern. This also makes it possible to switch very quickly and easily between different illuminations and thus to combine the advantages of the two complementary stereo methods, namely active and passive stereoscopy. This achieves a more stable detection method and a better object resolution. The need for an additional camera for diagnosis and configuration is eliminated, since the system itself supports the visualization of scene information. The lighting unit is flexibly controllable and can generate flexible patterns. It is very compact, inexpensive and durable.
Als Einstellelement kommen beliebige elektrische oder mechanische Verstellmöglichkeiten in Betracht, die sowohl kontinuierlich als auch diskret arbeiten können. Obwohl bevorzugt die Einstellung im Betrieb veränderlich ist, umfasst die Erfindung auch Aufführungsformen, bei denen bereits im Rahmen der Produktion beispielsweise durch Gehäuseelemente die Brennebene in dem gewünschten Abstand fixiert wird, um später im Betrieb das vorgesehene Muster zu erzeugen. Die Lage der Brennebene muss nicht notwendig durch physische Veränderungen herbeigerufen werden, gemeint ist die effektiv wirksame Brennebene, die beispielsweise auch durch Licht anderer Wellenlänge verschoben wird.As adjusting any electrical or mechanical adjustment options come into consideration, which can operate both continuously and discretely. Although preference is given to changing the setting during operation, the invention also encompasses performance forms in which the focal plane is already fixed at the desired distance in the course of production, for example by housing elements, in order to later produce the intended pattern during operation. The position of the focal plane does not necessarily have to be caused by physical changes, that is to say the effective focal plane, which, for example, is also shifted by light of a different wavelength.
Vorteilhafterweise ist ein Umschaltelement vorgesehen, um zumindest zwischen einer ersten Beleuchtung und einer von der ersten Beleuchtung verschiedenen zweiten Beleuchtung des Überwachungsbereichs durch Veränderung der Lage der Brennebene des Abbildungsobjektivs umzuschalten. Die Erfindung ist nicht auf zwei Beleuchtungen beschränkt, dritte und weitere Beleuchtungen sind durch jeweils andere Lage der Brennebene einstellbar. Im Zusammenhang mit einer Kamera ist denkbar, dass jedem ausgewerteten Einzelbild je eine Aufnahme unter den verschiedenen Beleuchtungen zugrunde liegt, aber auch ein Wechsel der Beleuchtung nur hin und wieder etwa zu Testzwecken, oder sogar nur auf besondere Benutzereingabe hin zur Diagnose oder Konfiguration.Advantageously, a switching element is provided in order to switch over at least between a first illumination and a second illumination of the monitoring area, which differs from the first illumination, by changing the position of the focal plane of the imaging objective. The invention is not limited to two lights, third and other lights are adjustable by each other position of the focal plane. In connection with a camera, it is conceivable that each evaluated individual image is based on one recording under the different illuminations, but also a change of lighting only occasionally for testing purposes, or even only on special user input to the diagnosis or configuration.
Als Mustererzeugungselemente kommen solche in Betracht, die in ihrem Strahlengang eine hinreichend variable abstandsabhängige Intensitätsverteilung erzeugen. Bei einer herkömmlichen Maske oder einem Dia ist das nicht der Fall, eine Verschiebung der Brennebene führt dann lediglich zu einer Unschärfe, die sogar noch nachteilige Kontrastverluste mit sich bringt, aber keine strukturellen Änderung im Beleuchtungsmuster bewirkt. Stattdessen wird erfindungsgemäß die Kohärenz der Lichtquelle als mustererzeugend ausgenutzt. Es findet lediglich eine Umverteilung der Energie statt, keine Ausblendung, so dass ein sehr hoher Wirkungsgrad mit einer Lichtausbeute um 90% erreichbar ist.Suitable pattern generation elements are those which generate a sufficiently variable distance-dependent intensity distribution in their beam path. This is not the case with a conventional mask or a slide, and a shift in the focal plane will only result in blurring, which will result in even disadvantageous contrast losses, but will not cause a structural change in the illumination pattern. Instead, according to the invention, the coherence of the light source is exploited as pattern-generating. There is only a redistribution of energy, no suppression, so that a very high efficiency can be achieved with a luminous efficacy of 90%.
Dabei weist das Mustererzeugungselement erfindungsgemäß ein optisches Phasenelement mit Unebenheiten auf, die dafür ausgebildet sind, lokale Phasendifferenzen zwischen benachbart auf das Phasenelement treffenden Lichtanteilen und somit das Beleuchtungsmuster durch Interferenzen zu erzeugen. Ein derartiges Phasenelement, auch als Phasenplatte oder Phasenstruktur bezeichnet, ist an das Phasenkontrastverfahren in der Mikroskopie angelehnt. Eine Oberflächenreliefstruktur wird auf mindestens eine Fläche des Phasenelements aufgebracht. Eine transmittierte Wellenfront erfährt eine Phasendifferenz zwischen Stegen und Gräben, die bei Beleuchtung mit kohärentem Licht zu einer lokalen Intensitätsmodulation führt. Diese Helligkeitsverteilung wird aus dem Nahfeld in die Bildebene, also den Überwachungsbereich projiziert.In this case, the pattern generating element according to the invention an optical phase element with unevenness, which are designed to local phase differences between adjacent to the phase element incident light components and thus to generate the illumination pattern by interference. Such a phase element, also referred to as a phase plate or phase structure, is based on the phase contrast method in microscopy. A surface relief structure is applied to at least one surface of the phase element. A transmitted wavefront undergoes a phase difference between lands and trenches that results in localized intensity modulation when illuminated with coherent light. This brightness distribution is projected from the near field into the image plane, ie the monitoring area.
Eine denkbare Alternative zu dem Phasenelement ist ein diffraktives optisches Element, das dann allerdings durch die Nahfeldabbildung nicht gemäß seiner Zweckbestimmung verwendet wird. Ein DOE trägt eine für ein spezielles Muster vorausberechnete Mikrostruktur, beispielsweise auf einer Fouriertransformation basierend, mit welcher der auftreffende kollimierte Laserlichtstrahl durch Beugungseffekte in Nebenordnungen "kopiert" wird. Im Fernfeld entsteht so ein determiniertes Muster, und zwar für eine Wellenlänge und ein DOE stets das gleiche Muster. Erfindungsgemäß wird das DOE gleichsam zweckentfremdet, nämlich nicht notwendig mit kollimiertem Laserlicht beleuchtet, und vor allem wird das Nahfeld abgebildet, also ehe sich das spezielle Muster des DOE überhaupt ausbilden kann. Nur durch diese Abbildung des Nahfelds ergibt sich der erfindungsgemäß gewünschte Effekt, dass das Muster veränderbar ist.A conceivable alternative to the phase element is a diffractive optical element, which is then not used by the Nahfeldabbildung according to its purpose. A DOE carries a microstructure precalculated for a particular pattern, for example based on a Fourier transform, with which the incident collimated laser light beam is "copied" by diffraction effects into secondary orders. In the far field a deterministic pattern is created, for a wavelength and a DOE always the same pattern. According to the invention, the DOE is as it were misappropriated, namely not necessarily illuminated with collimated laser light, and above all, the near field is imaged, so before the special pattern of the DOE can form at all. Only by this mapping of the near field, the desired effect according to the invention results that the pattern can be changed.
Phasenelement und DOE gleichen sich also darin, dass sich aufgrund von Unebenheiten einer Phasen- bzw. Mikrostruktur bei Beleuchtung mit kohärentem Licht im Nahfeld ein mit dem Abstand variables Muster ausbildet. Der zugrunde liegende Effekt ist aber einmal bei einem DOE Beugung und bei einem Phasenelement Interferenz, und die Strukturgrößen unterscheiden sich.Phase element and DOE are thus similar in that, due to unevenness of a phase or microstructure when illuminated with coherent light in the near field forms a variable with the distance pattern. The underlying effect, however, is once interference in a DOE diffraction and a phase element, and feature sizes are different.
Die Unebenheiten sind vorteilhafterweise zumindest über den gesamten von der Lichtquelle beleuchteten Bereich des Mustererzeugungselements vorgesehen und/oder das Mustererzeugungselement weist keine glatten Teilbereiche auf. Damit entstehen überall im relevanten Überwachungsbereich Phasendifferenzen oder Beugungen und somit Interferenzmuster. Lücken oder kontrastschwache Bereiche werden verhindert und damit die Basis für eine flächendeckende Überwachung oder eine dichte Tiefenkarte gelegt.The unevennesses are advantageously provided over at least the entire area of the pattern-generating element illuminated by the light source and / or the pattern-generating element does not have any smooth subregions. This creates phase differences or diffractions and thus interference patterns throughout the relevant surveillance area. Gaps or low-contrast areas are prevented and thus the basis for a nationwide surveillance or a dense depth map is laid.
Die Unebenheiten sind bevorzugt unregelmäßig und gegenüber der geometrischen Ausdehnung des Mustererzeugungselements, insbesondere dessen Dicke, sehr klein, wobei die Unebenheiten über das Mustererzeugungselement variieren und/oder wobei die Unebenheiten auf einer oder mehreren Flächen des Mustererzeugungselements vorgesehen sind. Die Unebenheiten müssen lediglich Phasendifferenzen im Bereich der Wellenlängen des verwendeten Lichts erzeugen, wofür sehr kleine Dickenunterschiede genügen. Die Unebenheiten sollten bevorzugt über das Mustererzeugungselement variieren, um lokale wie globale Regelmäßigkeiten des erzeugten Musters zu verhindern. Es genügt prinzipiell, die Phasenunterschiede bereits auf einer Fläche beziehungsweise Oberfläche des Mustererzeugungselement zu erzeugen, aber es können auch weitere Flächen Unebenheiten aufweisen, wobei diese natürlich nur optisch aktiv sind, wenn sie im Lichteinfallsbereich liegen. Es können bereits produktionsbedingte Unebenheiten genügen, indem man einen Glättungsschritt der optisch aktiven Flächen auslässt. Dann ist das Mustererzeugungselement besonders kostengünstig. Ebenso können die Unebenheiten aber auch aktiv aufgebracht werden.The unevennesses are preferably irregular and very small in relation to the geometrical extent of the pattern-generating element, in particular its thickness, the unevenness varying over the pattern-generating element and / or the unevenness being provided on one or more surfaces of the pattern-generating element. The unevenness only has to produce phase differences in the range of the wavelengths of the light used, for which very small differences in thickness are sufficient. The bumps should preferably vary over the pattern generating element to prevent local as well as global regularities of the generated pattern. It is sufficient in principle to produce the phase differences already on a surface or surface of the pattern-generating element, but it can also have more surfaces unevenness, which of course are only optically active when they are in the light incidence area. Even production-related unevenness can be satisfied by omitting a smoothing step of the optically active surfaces. Then, the pattern generating element is particularly inexpensive. Likewise, the bumps can also be actively applied.
Das Mustererzeugungselement weist vorteilhafterweise transmissive oder reflexive Eigenschaften auf, ist insbesondere eine Phasenplatte oder ein Phasenspiegel. Je nach gewünschtem Strahlengang und räumlichen Gegebenheiten beispielsweise innerhalb eines Gehäuses ist ein Spiegel oder eine Platte geeigneter.The pattern-generating element advantageously has transmissive or reflective properties, in particular a phase plate or a phase mirror. Depending on the desired beam path and spatial conditions, for example within a housing, a mirror or a plate is more suitable.
Das Mustererzeugungselement weist bevorzugt Glas oder Kunststoff auf, ist insbesondere eine Glasplatte, ein Kunststoffgussteil oder eine Folie, wobei das Mustererzeugungselement nochmals bevorzugt auf mindestens einer Fläche beschichtet ist oder eine Folie aufweist, wobei Beschichtung, Folie oder deren Verbindungsbereich mit dem Mustererzeugungselement die lokale Phasendifferenzen oder Beugungen erzeugenden Unebenheiten aufweist. Diese Beschichtung oder die Folie kann eine Mikrostruktur aufweisen. Als Glasplatte oder Folie ist ein extrem kostengünstiges Mustererzeugungselement herstellbar. Die erforderlichen Unebenheiten können in diesen Materialien und bei Bedarf zusätzlich oder alternativ als Folie leicht erzeugt werden.The pattern-generating element preferably comprises glass or plastic, is in particular a glass plate, a plastic casting or a foil, wherein the pattern-generating element is again preferably coated on at least one surface or has a foil, wherein the coating, foil or their connection region with the pattern-generating element, the local phase differences Has diffraction-generating bumps. This coating or the film may have a microstructure. As a glass plate or film, an extremely inexpensive pattern generating element can be produced. The required unevenness can be easily produced in these materials and if necessary additionally or alternatively as a film.
Das Einstellelement ist erfindungsgemäß dafür ausgebildet, die Lage der Brennebene so einzustellen, dass das Nahfeld des Mustererzeugungselements in den Überwachungsbereich projiziert wird und dort ein selbstunähnliches Muster erzeugt. Dieses Muster ist zumindest lokal, wenn nicht global selbstunähnlich, das heißt Musterstrukturen wiederholen sich frühestens in einem gewissen Abstand oder außerhalb einer Umgebung. Diese Umgebung ist im Falle der Verwendung der Beleuchtungseinheit mit einem stereoskopischen Sensor durch diejenige Umgebung vorgegeben, innerhalb derer der Stereoalgorithmus Korrespondenzen in den beiden Bildern sucht. Die Brennebene wird typischerweise auf 10-500 µm oder auch einige Millimeter bis Zentimeter hinter der Mikrostruktur eingestellt. Die Wahl der Brennebene beeinflusst Kontrast und "Verrundung" der Strukturelemente, so dass diese Eigenschaften über die Lage der Brennebene eingestellt werden können. In Grenzen kann mit der Lage der Brennebene auch die Strukturgröße des Beleuchtungsmusters im Überwachungsbereich beeinflusst werden, wobei die Strukturgröße vorteilhaft zumindest so klein gewählt wird, dass ein Musterelement höchstens so groß ist wie die gewünschte Auflösung des Sensors.The adjusting element according to the invention is adapted to adjust the position of the focal plane so that the near field of the pattern generating element is projected into the monitoring area and generates a self-similar pattern there. This pattern is at least local, if not globally self-dissimilar, that is pattern structures Repeat at the earliest at a certain distance or outside an environment. In the case of using the illumination unit with a stereoscopic sensor, this environment is predetermined by the environment within which the stereo algorithm searches for correspondences in the two images. The focal plane is typically set to 10-500 microns or even a few millimeters to centimeters behind the microstructure. The choice of the focal plane influences the contrast and "rounding" of the structural elements, so that these properties can be adjusted via the position of the focal plane. Within limits, the position of the focal plane can also influence the structure size of the illumination pattern in the monitoring area, wherein the feature size is advantageously chosen to be at least so small that a pattern element is at most as large as the desired resolution of the sensor.
Das Einstellelement ist bevorzugt dafür ausgebildet, die Brennebene in das Mustererzeugungselement selbst, insbesondere in die Ebene einer Mikrostruktur des Mustererzeugungselements, zu verlegen und damit in dem Überwachungsbereich eine homogene Intensitätsverteilung zu erzeugen. Damit lässt sich auf einfache Weise zu einer gleichmäßigen Beleuchtung für die Erkennung natürlicher Strukturen und eine Visualisierung wechseln. Statt einer Umschaltung zwischen selbstunähnlichem Muster und homogener Beleuchtung, welche die passive Stereoskopie mit der aktiven Stereoskopie kombiniert, sind auch Wechsel zwischen zwei unterschiedlich strukturierten Mustern denkbar, um eine unterschiedliche Basis für stereoskopische Bilddaten zu schaffen und damit das Verfahren zu diversifizieren.The adjusting element is preferably designed to lay the focal plane in the pattern-generating element itself, in particular in the plane of a microstructure of the pattern-generating element, and thus to produce a homogeneous intensity distribution in the monitoring region. This makes it easy to switch to a uniform illumination for the recognition of natural structures and visualization. Instead of switching between self-similar pattern and homogeneous illumination, which combines passive stereoscopy with active stereoscopy, changes between two differently structured patterns are conceivable in order to create a different basis for stereoscopic image data and thus to diversify the process.
Das Einstellelement weist bevorzugt eine Fokussiereinrichtung des Abbildungsobjektivs und/oder eine Abstands-Einstelleinrichtung zwischen Abbildungsobjektiv und Mustererzeugungselement auf, insbesondere zur Relativverschiebung des Abbildungsobjektivs gegenüber dem Mustererzeugungselement oder zum Verschieben eines weiteren optischen Elements zwischen Mustererzeugungselement und Abbildungsobjektiv. Neben einer Fokusverstellung des Abbildungsobjektivs selbst kann, beispielsweise durch einen Piezoantrieb, die Brennebene relativ zum Nahfeld auch physisch durch Abstandsänderungen verändert werden. Es ist aber auch vorstellbar, nur den optisch wirksamen Pfad zu verändern, beispielsweise durch Einschieben einer Keilplatte, so dass das Licht bei einer Veränderung der Einstellung der Brennebene einen dickeren oder dünneren Bereich mit anderer Brechzahl durchläuft. Wichtig ist, dass die Änderung der Lage schnell und reproduzierbar erfolgt. Das ist auch durch Einsatz von Lichtquellen unterschiedlicher Wellenlänge bei einer Umschaltung erreichbar, denn die Brennebene des Abbildungsobjektivs ist wellenlängenabhängig. Nachteilig hieran ist, dass sich die Beleuchtung dann nicht mehr mit einem schmalbandigen Filter selektieren lässt, weil der Filter zumindest für die beiden gewählten Lichtquellen durchlässig sein muss.The adjustment element preferably has a focusing device of the imaging objective and / or a distance adjustment device between the imaging objective and the pattern generation element, in particular for the relative displacement of the imaging objective relative to the pattern generation element or for displacing a further optical element between the pattern generation element and the imaging objective. In addition to a focus adjustment of the imaging lens itself, For example, by a piezo drive, the focal plane relative to the near field are also physically changed by changes in distance. But it is also conceivable to change only the optically effective path, for example by inserting a wedge plate, so that the light passes through a change in the setting of the focal plane a thicker or thinner area with a different refractive index. It is important that the change in the situation is fast and reproducible. This can also be achieved by using light sources of different wavelengths when switching over, because the focal plane of the imaging objective is wavelength-dependent. The disadvantage of this is that the lighting can then no longer be selected with a narrow-band filter because the filter must be permeable at least for the two selected light sources.
Die Lichtquelle weist bevorzugt mindestens einen Laser auf, wobei zwischen Laser und Mustererzeugungselement eine Verteilungsoptik, welche das Laserlicht zur Ausleuchtung des Mustererzeugungselements aufweiten kann, oder eine Sammeloptik vorgesehen ist, um das Laserlicht auf das Mustererzeugungselement zu bündeln. Kohärentes und divergentes Licht, wie es in einer Verteilungsoptik entsteht, vermeidet von Anfang an mögliche Probleme mit Augenschutz. Wegen der geringen Leistungsverluste in dem Mustererzeugungselement genügen moderate Lichtleistungen, oder es sind mit Hochleistungslasern höhere Reichweiten erzielbar als herkömmlich. Die Lichtquelle ist schmalbandig, das Nutzlicht kann also leicht aus dem Umgebungslicht ausgefiltert werden.The light source preferably has at least one laser, wherein distribution optics, which can widen the laser light for illuminating the pattern-generating element, or collecting optics is provided between the laser and the pattern-generating element in order to focus the laser light onto the pattern-generating element. Coherent and divergent light, as it arises in a distribution optics, avoids possible problems with eye protection from the beginning. Because of the low power losses in the pattern generating element, moderate light outputs are sufficient or higher ranges can be achieved with high-power lasers than conventional ones. The light source is narrow band, so the useful light can be easily filtered out of the ambient light.
In einer Weiterbildung der Erfindung ist eine Vielzahl von Beleuchtungseinheiten zur Ausleuchtung eines größeren Beleuchtungsbereichs oder zur Erzeugung einer größeren Beleuchtungsintensität vorgesehen, wobei sich die Beleuchtungsbereiche der einzelnen Beleuchtungseinheiten überlappend oder nichtüberlappend addieren. Die Beleuchtungseinheiten können in der einen Alternative kachelartig einen größeren Beleuchtungsbereich erzeugen. Die Anordnung hat den Vorteil, dass sich die im Überwachungsbereich deponierten Lichtenergien addieren, ohne aufgrund von Überlappungen Musterkanten abzuschwächen. Wie bei mehreren Beleuchtungseinheiten mit überlappenden Beleuchtungsfeldern sind auch Multi-Emitter-Laserdioden, welche üblicherweise für hohe Ausgangsleistungen verwendet werden, kein adäquates Mittel, weil sich dabei mehrere Muster überlagern und damit den Kontrast schwächen. Da es also nicht möglich ist, die auf den gesamten Überwachungsbereich fallende Lichtleistung beliebig zu erhöhen, ist in dieser Ausführungsform vorgesehen, die Leistungsdichte durch kleinere Beleuchtungsfelder zu erhöhen und die gewünschte Größe des Überwachungsbereichs durch mehrere Beleuchtungsmodule zu erreichen. Dabei ist denkbar, jeweils dasselbe Mustererzeugungselement von allen oder mehreren Lichtquellen auszunutzen, sofern es groß genug ist, damit die genannten störenden Effekte der Lichtquellen untereinander hinreichend unterdrückt sind. In der anderen Alternative werden identische oder nicht-zufällige Muster überlagert, so dass die erforderliche Beleuchtungsintensität erst in der gemeinsamen Überlagerung erreicht wird, um mit jeder einzelnen Beleuchtungsquelle und damit auch insgesamt die Anforderungen an den Augenschutz zu erfüllen.In one development of the invention, a multiplicity of illumination units are provided for illuminating a larger illumination area or for generating a larger illumination intensity, wherein the illumination areas of the individual illumination units add together in an overlapping or non-overlapping manner. The lighting units can tile-like produce a larger lighting area in the one alternative. The arrangement has the advantage that the light energies deposited in the monitoring area add up, without weakening pattern edges due to overlaps. As with multiple illumination units with overlapping illumination fields, multi-emitter laser diodes, which are commonly used for high output powers, are not an adequate means because they overlap multiple patterns and thus weaken the contrast. Since it is therefore not possible to arbitrarily increase the light power falling on the entire surveillance area, in this embodiment the power density is provided by smaller ones Increase lighting fields and achieve the desired size of the surveillance area through multiple lighting modules. It is conceivable to use in each case the same pattern generating element of all or more light sources, if it is large enough so that said disturbing effects of the light sources are mutually sufficiently suppressed. In the other alternative, identical or non-random patterns are superimposed, so that the required illumination intensity is achieved only in the common superimposition in order to meet the requirements of the eye protection with each individual illumination source and thus also overall.
Die erfindungsgemäße Beleuchtungseinrichtung wird bevorzugt in einer stereoskopischen 3D-Kamera eingesetzt, wobei eine Auswertungseinheit vorgesehen ist, welche für die Anwendung eines Stereoalgorithmus ausgebildet ist, in dem zur Erzeugung eines dreidimensionalen Entfernungsbildes einander zugehörige Teilbereiche der von den beiden Kameras der Stereokamera aufgenommenen Bilder erkannt und deren Entfernung anhand der Disparität berechnet wird. Durch den hohen Wirkungsgrad der Beleuchtungseinheit sind hohe Reichweiten möglich. Für die erfindungsgemäß ermöglichten dichten Tiefenkarten ist nicht wichtig, ob das Beleuchtungsmuster vorab bekannt ist, da es nur darauf ankommt, Strukturen desselben Beleuchtungsmuster in jeweils zeitgleich aufgenommenen Bildern der einzelnen Kameras wiederzufinden, um Korrespondenzen zu erkennen.The illumination device according to the invention is preferably used in a stereoscopic 3D camera, wherein an evaluation unit is provided, which is designed for the application of a stereo algorithm in which to generate a three-dimensional distance image mutually associated partial areas of the captured by the two cameras of the stereo camera images and their Distance is calculated on the basis of disparity. Due to the high efficiency of the lighting unit, high ranges are possible. For the dense depth maps made possible in accordance with the invention, it is not important whether the illumination pattern is known in advance, since it is only important to find structures of the same illumination pattern in images of the individual cameras taken at the same time in order to detect correspondences.
Dabei ist die Auswertungseinheit bevorzugt dafür ausgebildet, je ein dreidimensionales Entfernungsbild unter der ersten Beleuchtung und der zweiten Beleuchtung zu erzeugen und die entstehenden dreidimensionalen Bilddaten untereinander zu vergleichen oder miteinander zu verrechnen. Die Vorteile aktiver und passiver Stereoskopie lassen sich so wie beschrieben verbinden, und es besteht die Möglichkeit, ein diversitäres System zu schaffen.In this case, the evaluation unit is preferably designed to generate a three-dimensional distance image under the first illumination and the second illumination and to compare or compute the resulting three-dimensional image data with one another. The advantages of active and passive stereoscopy can be combined as described, and it is possible to create a diverse system.
Die 3D-Kamera ist bevorzugt als Sicherheitskamera ausgebildet, wobei die Auswertungseinheit unzulässige Eingriffe in den Überwachungsbereich erkennen und daraufhin ein Abschaltsignal erzeugen kann, und wobei ein Sicherheitsausgang vorgesehen ist, über welchen die Sicherheitskamera ein Abschaltsignal an eine überwachte Maschine ausgeben kann. Ein unzulässiger Eingriff bedeutet, dass zum einen ein Eingriff erkannt wird und zum anderen dieser Eingriff keinem zuvor eingelernten oder algorithmisch erkannten erlaubten Objekt, keiner erlaubten Bewegung oder dergleichen entspricht. Dabei ist denkbar, der Abschaltung eine Warnung vorzuschalten, also beispielsweise Schutzfelder zu definieren, in denen eine Abschaltung erfolgen soll, und vorgelagerte Warnfelder, in denen zunächst ein beispielsweise optischer oder akustischer Alarm ausgelöst wird, um den zur Abschaltung führenden Eingriff möglicherweise aufgrund der Warnung noch zu verhindern. Die Sicherheitstechnik ist besonders anspruchsvoll, und eine Sicherheitskamera kann ihre Aufgabe besser erfüllen, wenn hinreichender Kontrast im Überwachungsbereich garantiert ist und verschiedene Beleuchtungen verfügbar sind.The 3D camera is preferably designed as a security camera, wherein the evaluation unit can detect impermissible interventions in the surveillance area and then generate a shutdown signal, and wherein a safety output is provided, via which the security camera can output a shutdown signal to a monitored machine. An impermissible intervention means that, on the one hand, an intervention is detected and, on the other hand, this intervention does not correspond to a previously learned or algorithmically recognized permitted object, no permitted movement or the like. In this case, it is conceivable to precede the shutdown with a warning, for example to define protective fields in which a shutdown should take place, and upstream warning fields in which initially an example visual or audible alarm is triggered by the intervention leading to the shutdown possibly due to the warning to prevent. Security technology is particularly demanding, and a security camera can do its job better if sufficient contrast in the surveillance area is guaranteed and different lighting is available.
Das erfindungsgemäße Verfahren kann auf ähnliche Weise weitergebildet werden und zeigt dabei ähnliche Vorteile. Derartige vorteilhafte Merkmale sind beispielhaft, aber nicht abschließend in den sich an die unabhängigen Ansprüche anschließenden Unteransprüchen beschrieben.The method according to the invention can be developed in a similar manner and shows similar advantages. Such advantageous features are described by way of example but not exhaustively in the subclaims following the independent claims.
Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:
- Fig. 1
- eine schematische räumliche Gesamtdarstellung einer Ausführungsform einer erfindungsgemäßen Beleuchtungseinheit in einer 3D-Sicherheits- kamera;
- Fig. 2
- eine schematische Darstellung einer Ausführungsform der erfindungsge- mäßen Beleuchtungseinheit mit Abbildung des Nahfelds zur Erzeugung ei- nes strukturierten Beleuchtungsmusters;
- Fig. 3
- eine Darstellung gemäß
Figur 2 mit Abbildung der Ebene eines Musterer- zeugungselements zur Erzeugung einer homogenen Beleuchtung; - Fig. 4
- eine Darstellung gemäß
Figur 2 zur Veranschaulichung einer Abstandsän- derung zwischen Mustererzeugungselement und Abbildungsobjektiv zur Änderung der Lage der Brennebene; - Fig. 5
- eine Darstellung gemäß
Figur 4 mit einer alternativen Ausführungsform der Erfindung, bei der zur Änderung der Lage der Brennebene eine Keilplatte eingeschoben wird; und - Fig. 6
- eine Darstellung einer Anordnung mehrerer erfindungsgemäßer Beleuch- tungseinheiten zur Ausleuchtung eines größeren Überwachungsbereichs.
- Fig. 1
- a schematic overall view of an embodiment of a lighting unit according to the invention in a 3D security camera;
- Fig. 2
- a schematic representation of an embodiment of the inventive illumination unit with imaging of the near field to produce a structured illumination pattern;
- Fig. 3
- a representation according to
FIG. 2 mapping the plane of a pattern-generating element to produce a homogeneous illumination; - Fig. 4
- a representation according to
FIG. 2 to illustrate a change in distance between pattern generating element and imaging lens to change the position of the focal plane; - Fig. 5
- a representation according to
FIG. 4 with an alternative embodiment of the invention, in which a wedge plate is inserted to change the position of the focal plane; and - Fig. 6
- a representation of an arrangement of several inventive lighting units for illuminating a larger surveillance area.
In der Mitte zwischen den beiden Bildsensoren 14a, 14b ist eine Beleuchtungseinheit 100 dargestellt, wobei diese räumliche Anordnung nur als Beispiel zu verstehen ist und die Beleuchtungseinheit ebenso asymmetrisch oder sogar außerhalb der Sicherheitskamera 3D angeordnet sein kann. Die erfindungsgemäße Beleuchtungseinheit 100 erzeugt in einem Beleuchtungsbereich 102 in dem Raumbereich 12 ein strukturiertes Beleuchtungsmuster 20 oder eine homogene Beleuchtung und wird weiter unten in verschiedenen Ausführungsformen im Zusammenhang mit den
Mit den beiden Bildsensoren 14a, 14b und der Beleuchtungseinheit 100 ist eine Steuerung 22 verbunden. Mittels der Steuerung 22 wird das strukturierte Beleuchtungsmuster 20 erzeugt und bei Bedarf in seiner Struktur oder Intensität variiert, und die Steuerung 22 empfängt Bilddaten der Bildsensoren 14a, 14b. Aus diesen Bilddaten berechnet die Steuerung 22 mit Hilfe einer stereoskopischen Disparitätsschätzung dreidimensionale Bilddaten (Entfernungsbild, Tiefenkarte) des Raumbereichs 12. Das strukturierte Beleuchtungsmuster 20 sorgt dabei für einen guten Kontrast und eine eindeutig zuordenbare Struktur jedes Bildelements in dem beleuchteten Raumbereich 12. Es ist selbstunähnlich, wobei der wichtigste Aspekt der Selbstunähnlichkeit das zumindest lokale, besser globale Fehlen von Translationssymmetrien ist, so dass keine scheinbaren Verschiebungen von Bildelementen in den jeweils aus unterschiedlicher Perspektive aufgenommenen Bildern aufgrund gleicher Beleuchtungsmusterelemente erkannt werden, welche Fehler in der Disparitätsschätzung verursachen würden. Alternativ kann die Steuerung die Beleuchtungseinheit 100 so einstellen, dass eine homogene Beleuchtung entsteht, in der natürliche Strukturen für den Stereoalgorithmus und, für Diagnose- oder Konfigurationszwecke, auch für das menschliche Auge besser erkennbar sind.A
Mit zwei Bildsensoren 14a, 14b tritt dabei ein bekanntes Problem auf, dass Strukturen längs der Epipolarlinie nicht für die Disparitätsschätzung herangezogen werden können, weil hier kein Triangulationswinkel auftritt oder, anders ausgedrückt, das System nicht lokal unterscheiden kann, ob die Struktur in den beiden Bildern aufgrund der Perspektive gegeneinander verschoben aufgenommen oder ob lediglich ein ununterscheidbarer anderer Teil derselben, parallel zur Basis des Stereosystems ausgerichteten Struktur verglichen wird. Um dies zu lösen, können in anderen Ausführungsformen ein oder mehrere weitere Kameramodule eingesetzt werden, welche gegenüber der Verbindungsgeraden der ursprünglichen beiden Kameramodule versetzt angeordnet sind.With two
Im von dem Sicherheitssensor 10 überwachten Raumbereich 12 können sich bekannte und unerwartete Objekte befinden. Dabei kann es sich beispielsweise um einen Roboterarm, eine Maschine, eine Bedienperson und anderes handeln. Der Raumbereich 12 bietet Zugang zu einer Gefahrenquelle, sei es weil es ein Zugangsbereich ist oder weil sich eine gefährliche Maschine in dem Raumbereich 12 selbst befindet. Um diese Gefahrenquelle abzusichern, können ein oder mehrere virtuelle Schutz- und Warnfelder konfiguriert werden. Aufgrund der dreidimensionalen Auswertung ist es möglich, diese Felder ebenfalls dreidimensional zu definieren, so dass eine große Flexibilität entsteht. Die Steuerung 22 wertet die dreidimensionalen Bilddaten auf unzulässige Eingriffe aus. Die Auswertungsregeln können beispielsweise vorschreiben, dass in Schutzfeldern überhaupt kein Objekt vorhanden sein darf. Flexiblere Auswertungsregeln sehen vor, zwischen erlaubten und nicht erlaubten Objekten zu differenzieren, etwa anhand von Bewegungsbahnen, Mustern oder Konturen, Geschwindigkeiten oder allgemeinen Arbeitsabläufen, die sowohl vorab als erlaubt eingelernt als auch anhand von Bewertungen, Heuristiken oder Klassifikationen noch während des Betriebs eingeschätzt werden.The
Erkennt die Steuerung 22 einen unzulässigen Eingriff in ein Schutzfeld, so wird über eine Warn- oder Abschalteinrichtung 24, die wiederum in die Steuerung 22 integriert sein kann, eine Warnung ausgegeben oder die Gefahrenquelle abgesichert, beispielsweise ein Roboterarm oder eine sonstige Maschine gestoppt. Sicherheitsrelevante Signale, also vor allem das Abschaltsignal, werden über einen Sicherheitsausgang 26 ausgegeben (OSSD, Output Signal Switching Device). Dabei hängt es von der Anwendung ab, ob eine Warnung genügt, beziehungsweise es ist eine zweistufige Absicherung vorgesehen, bei der zunächst gewarnt und erst bei fortgesetztem Objekteingriff oder noch tieferem Eindringen abgeschaltet wird. Statt einer Abschaltung kann die angemessene Reaktion auch das sofortige Verbringen in eine ungefährliche Parkposition sein.If the
Um für sicherheitstechnische Anwendungen geeignet zu sein, ist der Sensor 10 fehlersicher ausgelegt. Dies bedeutet unter anderem, dass der Sensor 10 sich selber in Zyklen unterhalb der geforderten Ansprechzeit testen kann, insbesondere auch Defekte der Beleuchtungseinheit 100 erkennt und somit sicherstellt, dass das Beleuchtungsmuster 20 in einer erwarteten Mindestintensität verfügbar ist, und dass der Sicherheitsausgang 26 sowie die Warn- oder Abschalteinrichtung 24 sicher, beispielsweise zweikanalig ausgelegt sind. Ebenso ist auch die Steuerung 22 selbstsicher, wertet also zweikanalig aus oder verwendet Algorithmen, die sich selbst prüfen können. Derartige Vorschriften sind für allgemeine berührungslos wirkende Schutzeinrichtungen in der EN 61496-1 bzw. der IEC 61496 normiert. Eine entsprechende Norm für Sicherheitskameras befindet sich in der Vorbereitung.To be suitable for safety applications, the
Die Sicherheitskamera 10 wird von einem Gehäuse 28 umgeben und geschützt. Durch eine Frontscheibe 30 kann Licht in und aus dem Raumbereich 12 hindurchtreten. Die Frontscheibe 30 hat Filtereigenschaften, welche auf die Sendefrequenz der Beleuchtungseinheit 100 abgestimmt ist. Selbst mit lichtstarken Beleuchtungseinheiten 100 kann nämlich bei ungünstigen Bedingungen, wie sehr hellen Umgebungen, großen Überwachungsvolumina oder großen Abständen von 5 Metern und mehr, das Nutzsignal im Rauschen des Gesamtspektrums nicht hinreichend detektiert werden. Mit einer Beleuchtungseinheit 100, die nur Licht in einem oder mehreren schmalen sichtbaren, ultravioletten oder infraroten Bändern aussendet, und einem darauf abgestimmten Filter 30 kann das Signal/Rauschverhältnis ganz erheblich verbessert werden, weil Umgebungslicht außerhalb dieser Bänder keine Rolle mehr spielt. Der optische Filter 30 kann auch anders realisiert sein, etwa in den Objektiven der Kameramodule.The
Das Licht fällt auf ein Mustererzeugungselement 108, in der dargestellten Ausführungsform ein Phasenelement beziehungsweise eine Phasenplatte. Es kann sich dabei beispielsweise um eine einfache dünne Glasplatte handeln, deren eine oder beide Flächen eine leicht unebene Topologie aufweist. Die lokalen Dickenunterschiede des Glases prägen der ebenen oder schwach gekrümmten Wellenfront des einfallenden Lichts lokale Phasenverschiebungen auf. Die Ausdehnungen dieser lokalen Phasenmuster sind dabei in der Größenordnung der Lichtwellenlänge. Hinter dem Mustererzeugungselement 108 breitet sich das Lichtfeld dann ohne weitere Beeinflussung aus und bildet nach und nach ein Intensitätsmuster mit hellen Bereichen konstruktiver und dunklen Bereichen destruktiver Interferenz. Im Nahbereich wenige Millimeter hinter dem Mustererzeugungselement 108 ändert sich das Muster von zunächst völlig homogener Intensitätsverteilung über eine Intensitätsverteilung, die Ähnlichkeit mit der Oberflächenstruktur des Mustererzeugungselements 108 hat, bis hin zu einer Fernfeldverteilung, die stark strukturiert und mit weiter zunehmender Entfernung sehr stabil ist.The light is incident on a pattern-generating
Das Interferenzmuster ist bei guter räumlicher Kohärenz der Lichtquelle 104 und geeigneter Oberflächenstruktur des Mustererzeugungselements 108 stark durchmoduliert, so dass ein flächendeckendes Interferenzmuster von gut sichtbaren und selbstunähnlichen Hell-Dunkel-Übergängen entsteht. Die gute Kohärenz führt zu starken Kontrasten des Musters und nur geringem homogenem Hintergrundlicht. Bei schlechter Kohärenz oder überlappenden unabhängigen Mustern, etwa wegen mehrerer Lichtquellpunkte, wird der Kontrast deutlich abgeschwächt. Der Stereoalgorithmus kann davon beeinträchtigt werden, und die Sicherheitskamera 10 ist weniger robust gegenüber Fremdlicht.The interference pattern is strongly modulated with good spatial coherence of the
Ein Abbildungsobjektiv 110, welches in jeder bekannten Weise, beispielsweise als einfache Sammellinse oder wie ein Diaprojektor ausgestaltet sein kann, bildet mit einer Brennebene 112 das Nahfeld mit dem Interferenzmuster hinter dem Mustererzeugungselement in den Überwachungsbereich 12 ab, so dass dort das selbstunähnliche Beleuchtungsmuster 20 projiziert wird. Das Interferenzmuster bildet sich im Nahfeld unmittelbar hinter dem Mustererzeugungselement 108 erst aus, variiert also mit dem Abstand zu dem Mustererzeugungselement 108. Die Lage der Brennebene 112 beeinflusst deshalb die Struktur des entstehenden Beleuchtungsmusters 20.An
Zusätzlich zu dem Abbildungsobjektiv 110 kann ein Element zur Änderung des natürlichen Beleuchtungsfelds der Beleuchtungseinrichtung 100 und der Lichtquelle 104 vorgesehen sein, beispielsweise eine Zylinderlinse, oder eine Blende zur Begrenzung des Beleuchtungsfeldes. Derartige Elemente können justiert werden, um das gewünschte Beleuchtungsfeld zu erreichen.In addition to the
Statt eines Phasenelements kann auch ein DOE als Mustererzeugungselement 108 eingesetzt werden. Dieses DOE wird dann, wie einleitend schon erläutert, zweckentfremdet eingesetzt, da das Nahfeld abgebildet wird, ehe sich das dedizierte Muster des DOE im Fernfeld ausbilden kann. Weiterhin erfolgt auch die Beleuchtung nicht wie üblich mit einem stark gebündelten Lichtstrahl, weil das Licht der Lichtquelle 104 in der Optik 106 zu einem divergenten Lichtbündel aufgeweitet oder zumindest auf einen größeren Bereich abgebildet wird. Dadurch gibt es keine Probleme mit dem Augenschutz.Instead of a phase element, a DOE can also be used as
Die kohärente Lichtquelle 104 ist bevorzugt eine Laserdiode, nochmals bevorzugt ein Single-Emitter-Laser, weil mehrere Quellpunkte weitere Interferenzquellen bilden und damit Kontrastverluste in dem Muster verursachen könnten. Wegen der hohen Lichtausbeute in dem Phasenelement 108 genügen vergleichsweise moderate Ausgangsleistungen, jedoch können besonders für größere Reichweiten auch die stärksten verfügbaren Hochleistungslaser eingesetzt werden.The coherent
Das Mustererzeugungselement 108 zeigt Unebenheiten zumindest über diejenigen Bereiche, in denen das strukturierte Beleuchtungsmuster 20 entstehen soll. Glatte Teilbereiche verhindern Interferenzen und sorgen damit für musterfreie Stellen, die zumindest in den meisten Anwendungen unerwünscht sind, weil sie zu Lücken in den Tiefenkarten führen können. Eine einfache Realisierung ist, dass die Unebenheiten einseitig oder beidseitig über die gesamte Oberfläche des Phasenelements 108 ausgebildet sind, oder zumindest über die optisch aktive Oberfläche. Die Unebenheiten sollten weiterhin unregelmäßig sein, weil sonst untereinander ähnliche Interferenzstrukturen im Beleuchtungsmuster 20 entstehen könnten.The
Das Phasenelement 108 kann außer aus Glas auch aus einem anderen transparenten Material gefertigt sein, etwa Kunststoff aufweisen oder als Folie ausgebildet sein. Die Unebenheiten können bereits lediglich die Fertigungstoleranzen nicht geglätteter Oberflächen sein, oder sie werden eigens aufgebracht. Beschichtungen oder Beschichtungsfolien können so aufgebracht werden, dass gerade in gewöhnlichen optischen Anwendungen als unzureichend genau betrachtete unebene Verbindungen für die notwendigen Unebenheiten sorgt. Auch eine Beschichtung mit entsprechenden Unebenheiten ist denkbar, sogar in Form von Mikrostrukturen. Besonders letzteres ist aber ein recht hoher Zusatzaufwand, und das Phasenelement 108 zeigt die gewünschten Effekte auch bei viel einfacher hervorgerufenen Unebenheiten. Kunststoffteile mit beliebigen gewünschten Unebenheiten können beispielsweise durch Spritzgussverfahren hergestellt werden.The
Die Mustereigenschaften können genauer festgelegt werden, indem die Oberflächenstruktur des Phasenelements präzise vorgegeben wird. Beispielsweise können definierte Strukturen in Simulationsrechnungen ermittelt und dann mittels Laserlitographie erzeugt werden. Die so erzeugte Struktur kann durch Prägen, Abformen mit optischen Polymeren oder durch Präzisionsspritzguss repliziert werden.The pattern properties can be specified more precisely by precisely specifying the surface structure of the phase element. For example, defined structures can be determined in simulation calculations and then generated by means of laser lithography. The structure thus produced can be replicated by embossing, molding with optical polymers or by precision injection molding.
Der Füllfaktor der beleuchteten Fläche des Phasenelements 108, also der Anteil an Strukturelementen, sollte für einen guten Kontrast und Wirkungsgrad etwa bei 50% oder darüber liegen. Die Strukturelemente selbst sind bevorzugt anisotrop, um im Beleuchtungsmuster 20 Isotropien und damit die Gefahr von Mehrdeutigkeiten zu begrenzen. Die Strukturelemente können außerdem so ausgebildet werden, dass die optische Leistung in einer vorgegebenen oder optimalen Weise über den Beleuchtungsbereich 102 verteilt wird, beispielsweise eine Randabdunkelung etwa gegeben durch die Geometrien oder Objektiveinflüsse kompensieren.The fill factor of the illuminated area of the
Die Brennebene des Abbildungsobjektivs 110 ist verstellbar. In der Ausführungsform gemäß
Damit ist eine besonders unaufwändige und schnelle Umschaltung zwischen verschiedenen Beleuchtungen beziehungsweise Beleuchtungsszenarien möglich. Dies kann auf vielfältige Weise ausgenutzt werden, beispielsweise um eine gewünschte Strukturgröße für das Beleuchtungsmuster einzustellen, um zur Diversifizierung mehrere selbstunähnliche Muster einzusetzen oder um passive und aktive Stereoskopie durch Wechsel zwischen homogener Beleuchtung und selbstunähnlichem Beleuchtungsmuster vorteilhaft zu kombinieren.This makes a particularly uncomplicated and fast switching between different lighting or lighting scenarios possible. This can be exploited in a variety of ways, for example, to set a desired feature size for the illumination pattern to use for diversification several selbstunähnliche pattern or to combine passive and active stereoscopy by switching between homogeneous illumination and selbstunähnlichem illumination pattern advantageous.
In
Eine weitere Möglichkeit, die relative Lage der Brennebene 112 zu verändern, ist in
Es sind weitere Möglichkeiten denkbar, die relative Lage der effektiv wirksamen Brennebene zu verändern, also eine anders beabstandete Ebene des Nahfelds abzubilden. Neben beliebigen Kombinationen der beschriebenen Ausgestaltungen ist beispielsweise auch denkbar, zwischen Lichtquellen unterschiedlicher Wellenlänge hin-und herzuschalten. Wichtig ist die Geschwindigkeit und genaue Reproduzierbarkeit der Ansteuerung einer gewünschten relativen Lage der Brennebene 112.Further possibilities are conceivable for changing the relative position of the effective focal plane, ie for imaging a differently spaced plane of the near field. In addition to any combination of the embodiments described, it is also conceivable, for example, to switch back and forth between light sources of different wavelengths. Important is the speed and exact reproducibility of the activation of a desired relative position of the
Jedes einzelne Beleuchtungsmodul 100a-d weist jeweils eine kohärente Lichtquelle 104a-d, eine optionale Optik 106a-d zur Strahlformung bei Auftreffen auf ein Mustererzeugungselement 108a-d sowie eine Abbildungsoptik 110a-d auf. Da jedem Teilbereich 20a-d jeweils die Leistung einer eigenen Lichtquelle 104a-d zur Verfügung steht, ist die Gesamtenergie in dem Beleuchtungsmuster 20 gegenüber einer einzigen baugleichen Lichtquelle 104 erhöht. Somit können höhere Leistungen, also insbesondere höhere Reichweiten erzielt werden, oder man kommt mit kostengünstigeren und einfacheren Lichtquellen geringerer Ausgangsleistung aus. Schließlich vereinfacht die Verteilung der Lichtleistung auf mehrere Quellen etwaige Probleme mit Augenschutzgrenzen noch weiter.Each
Für jedes Einzelmodul 100a-d kann eine der früher einzeln beschriebenen Ausführungsformen verwendet werden, auch in Mischformen. Denkbar ist auch, Elemente der Einzelmodulen 100a-d mehrfach zu verwenden, beispielsweise das Mustererzeugungselement 108. Dabei ist in Kauf zu nehmen oder durch entsprechende Anordnung und Dimensionierung zu verhindern, dass die Interferenzen der mehreren Lichtquellen 104a-d zu den Kontrast beeinträchtigenden störenden Überlagerungen der einzelnen Muster 20a-d führen.For each
Insgesamt wird damit ein Beleuchtungskonzept vorgestellt, welches für einen Kamerasensor auf Basis stereoskopischer Bilder die sichere und vollständige Erfassung der dreidimensionalen Szenerie erlaubt. Das Beleuchtungskonzept bietet eine sehr schnelle Umschaltung zwischen einer kontrastreichen Musterstruktur, welche projizierte Bildmerkmale für aktive Stereoskopie zur Verfügung stellt, und einer gleichförmigen Beleuchtungsintensität zur Ausnutzung natürlicher Szenenkontraste für die Detektion. Unter homogener Beleuchtung ist auch eine gute visuelle Orientierung möglich, für die in einem rein aktiven System mit künstlicher Struktur eine zusätzliche Kamera benötigt würde.All in all, a lighting concept will be presented, which allows a camera sensor based on stereoscopic images to capture the three-dimensional scenery safely and completely. The lighting concept provides very fast switching between a high contrast pattern structure providing projected image features for active stereoscopy and a uniform illumination intensity for utilizing natural scene contrast for detection. Under homogeneous lighting, a good visual orientation is possible, for which an additional camera would be needed in a purely active system with artificial structure.
Eine Umschaltung müsste herkömmlich durch zwei verschiedene Lichtquellen realisiert werden, beispielsweise eine Kontrastmusterbeleuchtung und eine homogene Beleuchtung. Sie könnten auch, etwa über einen Teilerspiegel, das selbe Abbildungsobjektiv nutzen, um den Beleuchtungsbereich zu wählen. Dennoch wäre ein wesentlich höherer Materialaufwand erforderlich.A changeover would have to be realized conventionally by two different light sources, for example a contrast pattern illumination and a homogeneous illumination. You could also, about about a divider mirror, use the same imaging lens to select the lighting area. Nevertheless, a much higher cost of materials would be required.
Claims (12)
- An illumination unit (100) having a light source (104) and having an optical pattern generating element (108) arranged in the beam path of the light source (104) for projecting an illumination pattern (20, 21) into a monitored zone (12),
wherein an imaging objective (110) is disposed after the pattern generation element (108) and wherein an adjustment element (22, 110, 114, 116, 118) is provided by means of which the illumination pattern (20, 21) can be varied by setting the relative position of the focal plane (112) of the imaging objective (110),
characterized in that
the pattern generating element (108) has an optical phase element with irregularities which are designed to generate local phase differences between light portions incident in an adjacent manner onto the phase element and thus to generate the illumination pattern (20) by interference; and in that the setting element (22, 110, 114, 116, 118) is designed to set the relative position (112) of the focal plane of the imaging lens (110) so that the near field of the pattern generation element (108) is projected into the monitored zone (12) and generates an irregular pattern (20) and the structure of the illumination pattern (20, 21) can be varied by setting the relative position of the focal plane (112) of the imaging objective (110). - An illumination unit (100) in accordance with claim 1,
wherein a switchover element (22) is provided to switch over between at least a first illumination (20) and a second illumination (21) of the monitored zone (12) different from the first illumination by varying the relative position of the focal plane (112) of the imaging objective (110). - An illumination unit (100) in accordance with claim 1 or claim 2, wherein the setting element (22, 110, 114, 116, 118) is designed to relocate the focal plane (112) into the pattern generation element (108) itself, in particular into the plane of a microstructure of the pattern generation element (108) and thus to generate a homogeneous intensity distribution (21) in the monitored zone (12).
- An illumination unit (100) in accordance with any one of the preceding claims,
wherein the setting element (22, 110, 114, 116, 118) has a focusing device of the imaging objective (110) and/or a spacing setting device (114, 116) between the imaging objective (110) and the pattern generation element (108), in particular for the relative displacement of the imaging objective (110) with respect to the pattern generation element (108) or for displacing a further optical element (118) between the pattern generation element (108) and the imaging objective (110). - An illumination unit (100) in accordance with any one of the preceding claims,
wherein the light source (104) has at least one laser and wherein an optical distribution system which can expand the laser light for illuminating the pattern generation element (108) is provided between the laser and the pattern generating element (108) or an optical converging system (106) is provided to bundle the laser light onto the pattern generation element (108). - An arrangement of a plurality of illumination units (100a-d) in accordance with any one of the claims 1 to 5 for illuminating a larger monitored zone (12) or for generating a larger illumination intensity, wherein the illumination regions (20a-d) of the individual illumination units (100a-d) are added in an overlapping or nonoverlapping manner.
- A stereoscopic 3D camera (10) having at least one illumination unit in accordance with any one of the claims 1 to 6, wherein an evaluation unit (22) is provided which is designed for the use of a stereo algorithm in which partial regions of the images associated with one another and taken by the two cameras (14a-b, 16a-b) of the stereoscopic camera (10) are recognized and their distance is calculated with reference to the disparity for generating a three-dimensional distance image.
- A stereoscopic 3D camera (10) in accordance with claim 7,
wherein the evaluation unit (22) is designed to generate a three-dimensional distance image beneath the first illumination (20) and the second illumination (21) and to compare the arising three-dimensional image data with one another or to offset them against one another. - A stereoscopic 3D camera (10) in accordance with claim 7 or claim 8,
which is designed as a safety camera, wherein the evaluation unit (22) is able to recognize unauthorized intrusions into the monitored zone and can thereupon generate a switch-off signal, and wherein a safety output (26) is provided via which the safety camera can output a switch-off signal to a monitored machine. - A method for projecting an illumination pattern (20, 21) into a monitored zone (12) by means of a pattern generation element (108),
wherein the illumination pattern (20) is generated by interference in that divergent coherent light is irradiated onto a phase element of the pattern generation element (108) and irregularities of the phase element (108) generate local phase differences between light portions incident in an adjacent manner onto the phase element and wherein the near field of the pattern generation element (108) is imaged in a first irregular illumination (20) into the monitored zone (12) by an imaging objective (110), an irregular pattern (20) is generated there and the structure of the illumination pattern (20, 21) is set by the relative position of the focal plane (112) of the imaging objective (110). - A method in accordance with claim 10,
wherein a switchover is carried out between at least a first irregular illumination (20) and a second homogeneous illumination (21) in that the focal plane (112) of the imaging objective (110) is set for the first illumination (20) so that the near field of the pattern generation element (108) is projected into the monitored zone (12) and the focal plane (112) of the imaging objective (110) is set for the second illumination (21) onto the pattern generation element (108) itself and is in particular set into the plane of a microstructure of the pattern generation element (108). - A stereoscopic image detection method for the secure monitoring of a spatial zone (12) with the aid of a dense depth map of a scenery in a monitored zone (12) generated by a stereoscopic camera (10), wherein the monitored zone (12) is illuminated using a method in accordance with claim 11, wherein mutually associated part regions of the images taken by the two cameras (14a-b, 16a-b) of the stereoscopic camera (10) are recognized for generating the depth map and their spacing is calculated with reference to the disparity, and wherein a respective three-dimensional distance image is generated beneath the first illumination (20) and the second illumination (21) and the arising three-dimensional image data are compared with one another or offset against one another for generating the depth map, with the depth map being evaluated for unauthorized intrusions and, if an unauthorized intrusion is recognized, a switch-off signal being output to a danger source via a safety output (26).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09100045A EP2166305B1 (en) | 2008-09-23 | 2009-01-15 | Illumination unit and method for projecting an illumination pattern. |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP08105416A EP2166304A1 (en) | 2008-09-23 | 2008-09-23 | Lighting unit and method for creating a pattern dissimilar to itself |
EP08106026 | 2008-12-22 | ||
EP09100045A EP2166305B1 (en) | 2008-09-23 | 2009-01-15 | Illumination unit and method for projecting an illumination pattern. |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2166305A1 EP2166305A1 (en) | 2010-03-24 |
EP2166305B1 true EP2166305B1 (en) | 2012-05-16 |
Family
ID=40338477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP09100045A Not-in-force EP2166305B1 (en) | 2008-09-23 | 2009-01-15 | Illumination unit and method for projecting an illumination pattern. |
Country Status (1)
Country | Link |
---|---|
EP (1) | EP2166305B1 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010036852C5 (en) | 2010-08-05 | 2018-03-22 | Sick Ag | stereo camera |
US9870068B2 (en) | 2010-09-19 | 2018-01-16 | Facebook, Inc. | Depth mapping with a head mounted display using stereo cameras and structured light |
EP2469300B1 (en) * | 2011-04-18 | 2012-08-22 | Sick Ag | 3D camera and method for three dimensional surveillance of a surveillance area |
US9518864B2 (en) * | 2011-12-15 | 2016-12-13 | Facebook, Inc. | Controllable optical sensing |
AU2014338511B2 (en) | 2013-10-23 | 2018-08-09 | Facebook Technologies, Llc | Three dimensional depth mapping using dynamic structured light |
DE102013020498A1 (en) * | 2013-12-11 | 2015-06-11 | Api International Ag | Device for 3D measurement of a surface and projection unit, as well as methods for 3-D measurement |
WO2016154218A1 (en) | 2015-03-22 | 2016-09-29 | Oculus Vr, Llc | Depth mapping with a head mounted display using stereo cameras and structured light |
EP3142068B1 (en) | 2015-09-08 | 2018-01-03 | Sick Ag | Method for three-dimensional recording of objects |
AT518171B1 (en) * | 2016-05-09 | 2017-08-15 | Microtronics Eng Gmbh | Monitoring device, in particular for monitoring underground channels and shafts |
CN111220068B (en) * | 2020-02-27 | 2021-07-13 | 中国工程物理研究院机械制造工艺研究所 | White light interference measuring device and method based on sample space structure illumination |
DE102021003560A1 (en) | 2021-07-12 | 2023-01-12 | Mercedes-Benz Group AG | Detector for detecting vibration of an object and method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62239005A (en) * | 1986-04-11 | 1987-10-19 | Fuji Photo Film Co Ltd | Surface shape inspecting instrument |
CA2397095C (en) * | 2000-01-10 | 2010-04-27 | Massachusetts Institute Of Technology | Apparatus and methods for surface contour measurement |
US8050461B2 (en) * | 2005-10-11 | 2011-11-01 | Primesense Ltd. | Depth-varying light fields for three dimensional sensing |
DE102006001634B3 (en) | 2006-01-11 | 2007-03-01 | Tropf, Hermann | Creation of distance-image from correspondence between pixels from two cameras, by illuminating with random grid, and comparing brightness ratios of pixels |
US7970177B2 (en) | 2006-03-23 | 2011-06-28 | Tyzx, Inc. | Enhancing stereo depth measurements with projected texture |
DE102007036129B3 (en) | 2007-08-01 | 2008-09-25 | Sick Ag | Device and method for the three-dimensional monitoring of a spatial area with at least two image sensors |
DE202007010884U1 (en) * | 2007-08-03 | 2007-09-27 | Sick Ag | Monitoring device with tracking of the image sensor to keep a hazardous moving machine part in the field of view |
-
2009
- 2009-01-15 EP EP09100045A patent/EP2166305B1/en not_active Not-in-force
Also Published As
Publication number | Publication date |
---|---|
EP2166305A1 (en) | 2010-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2166305B1 (en) | Illumination unit and method for projecting an illumination pattern. | |
EP2166304A1 (en) | Lighting unit and method for creating a pattern dissimilar to itself | |
DE102011052802B4 (en) | 3D camera and method for monitoring a room area | |
EP2772676B1 (en) | 3D camera and method for three dimensional surveillance of a surveillance area | |
EP2202994B1 (en) | 3D camera for monitoring an area | |
EP2469300B1 (en) | 3D camera and method for three dimensional surveillance of a surveillance area | |
DE102009031732B3 (en) | Distance measuring optoelectronic sensor e.g. laser scanner, for monitoring operating area, has illumination unit activated with increased power, when no impermissible object contact is recognized | |
EP1933167A2 (en) | Optoelectronic sensor and method for recording and determining the distance of an object | |
DE202008013217U1 (en) | Illumination for generating a contrast pattern | |
DE102017004428B4 (en) | Method and device for robust, deep-scanning focusing strip triangulation with multiple wavelets | |
EP2019281A1 (en) | 3D sensor and method for operating a 3D sensor | |
DE102016217628B4 (en) | A method of operating a surgical microscopy system, a motion sensing system for a surgical microscopy system, and an operating microscopy system | |
EP2025991A1 (en) | Device and method for three-dimensional monitoring of a spatial area with at least two image sensors | |
EP2133619A1 (en) | Three-dimensional monitoring and securing of an area | |
EP2280239A1 (en) | Illumination device for lighting a monitored area | |
DE112015002582T5 (en) | Adjustment system for a phase modulation element and adjustment method for a phase modulation element | |
EP2053868A1 (en) | Spatial opto-electronic sensor with test unit and test method | |
EP2199737B1 (en) | 3d camera illumination unit | |
DE102008021465A1 (en) | Distance measuring system | |
DE102007048681B4 (en) | Line lighting device for a sensor | |
DE102010036852B4 (en) | stereo camera | |
DE102019212989B3 (en) | Camera device for generating spatial image data of an environment | |
DE202012104074U1 (en) | 3D camera for three-dimensional monitoring of a surveillance area | |
WO2012076182A1 (en) | Method and system for determining the position and/or location of an object in a spatial measurement volume | |
EP2270424B1 (en) | Opto-electronic sensor and monitoring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20100125 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA RS |
|
AKX | Designation fees paid |
Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: F16P 3/14 20060101ALN20120105BHEP Ipc: G01B 11/25 20060101AFI20120105BHEP |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: F16P 3/14 20060101ALN20120111BHEP Ipc: G01B 11/25 20060101AFI20120111BHEP |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 558298 Country of ref document: AT Kind code of ref document: T Effective date: 20120615 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502009003526 Country of ref document: DE Effective date: 20120712 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20120516 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D Effective date: 20120516 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120916 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120816 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120917 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120817 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20130219 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120827 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502009003526 Country of ref document: DE Effective date: 20130219 |
|
BERE | Be: lapsed |
Owner name: SICK A.G. Effective date: 20130131 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120816 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130131 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130131 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130115 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 558298 Country of ref document: AT Kind code of ref document: T Effective date: 20140115 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140115 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20090115 Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120516 Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130115 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 8 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 9 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 10 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20180125 Year of fee payment: 10 Ref country code: DE Payment date: 20180124 Year of fee payment: 10 Ref country code: CH Payment date: 20180125 Year of fee payment: 10 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20180124 Year of fee payment: 10 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 502009003526 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20190115 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190801 Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190131 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190115 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190131 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190131 |