DE102020002990A1

DE102020002990A1 - Method and camera system for monitoring vital parameters of vehicle occupants

Info

Publication number: DE102020002990A1
Application number: DE102020002990.6A
Authority: DE
Inventors: Stefan Kalchmair; Jürgen Schmidt
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2020-05-19
Filing date: 2020-05-19
Publication date: 2020-07-16

Abstract

Die Erfindung betrifft ein Verfahren zur Überwachung von Vitalparametern von Personen (1) unter Verwendung von Lichtgranulation, bei dem ein von einem Laser erzeugtes Muster zur Erzeugung der Lichtgranulation auf ein Körperteil (2) der Person (1) geworfen wird, die Lichtgranulation und wenigstens das Körperteil (2) der Person (1) zur Erzeugung von Kamerabildern optisch erfasst werden, und eine Überwachung der Vitalparameter durch eine Auswertung von auf dem Körperteil (2) auftretenden Mikrobewegungen erfolgt, wobei eine Charakterisierung der Mikrobewegungen anhand von Fourier-Bildern (3) erfolgt, welche durch eine Fourier-Transformation von defokussierten, die Lichtgranulation zeigenden Kamerabildern berechnet werden. Die Erfindung ist dadurch gekennzeichnet, dass eine defokussierte Abbildung der Lichtgranulation (4) zur Erzeugung der Fourier-Bilder (3) und eine Abbildung des Körperteils (5) zur Erzeugung Realer-Bilder (6) gleichzeitig von einem einzelnen Bildsensor (7) gemeinsam erfasst werden.The invention relates to a method for monitoring vital parameters of people (1) using light granulation, in which a pattern generated by a laser for generating the light granulation is thrown onto a body part (2) of the person (1), the light granulation and at least that Body part (2) of the person (1) are optically recorded for generating camera images, and the vital parameters are monitored by evaluating micro movements occurring on the body part (2), the micro movements being characterized using Fourier images (3) , which are calculated by a Fourier transformation of defocused camera images showing the light granulation. The invention is characterized in that a defocused image of the light granulation (4) for generating the Fourier images (3) and an image of the body part (5) for generating real images (6) are simultaneously captured by a single image sensor (7) become.

Description

Die Erfindung betrifft ein Verfahren nach der im Oberbegriff von Anspruch 1 näher definierten Art, ein Kamerasystem nach der im Oberbegriff von Anspruch 3 näher definierten Art sowie ein Fahrzeug mit einem solchen Kamerasystem.The invention relates to a method according to the type defined in the preamble of claim 1, a camera system according to the type defined in the preamble of claim 3 and a vehicle with such a camera system.

Mit zunehmender Digitalisierung und Automatisierung nimmt auch die Sicherheit und der Komfort bei der Nutzung von Fahrzeugen zu. So finden zunehmend auch im Kleinwagenbereich Fahrerassistenzsysteme Einzug, welche eine fahrzeugführende Person bei der Steuerung des Fahrzeugs, insbesondere in Gefahrensituationen unterstützen, oder in absehbarer Zukunft auch die Steuerung des Fahrzeugs vollständig übernehmen. Als Beispiel sei die automatisierte Steuerung des Fahrzeugs durch das Fahrerassistenzsystem genannt. Kommt es zu einer Situation, in der die Steuerung von der fahrzeugführenden Person übernommen werden muss, kann die Steuerung des Fahrzeugs nur dann übergeben werden, wenn die fahrzeugführende Person in der Lage ist, die Steuerung zu übernehmen. Ist die fahrzeugführende Person nicht in der Lage, die Steuerung des Fahrzeugs zu übernehmen, beispielsweise weil sie schläft oder abgelenkt ist, so sieht eine Möglichkeit vor, das Fahrzeug bis zum Stillstand abzubremsen. Ein weiteres Beispiel ist die Erkennung von Müdigkeit beim Lenken des Fahrzeugs und die Warnung vor Sekundenschlaf-Situationen. Die Erkennung basiert auf der Auswertung der Bilder von einer oder mehreren Innenraumkameras. Allerdings ist die Auswertung der reinen Bilddaten stark eingeschränkt, und erlaubt nur wenige Rückschlüsse auf Gesundheitszustand des Fahrers oder der Insassen.
Die gleichzeitige Überwachung von Vitalparameter (z.B. Herzrate, Herzratenvariabilität, Inter-Puls-Intervall, Blutdruck) ist eine signifikante Aufwertung der Funktionen eines kamerabasierten Überwachungssystems. Mit Vitalparametern kann auf den Gesundheitszustand geschlossen werden, wodurch zahlreiche erweitere Sicherheitsfunktionen und Komfortfunktionen ermöglicht werden. Ist die fahrzeugführende Person nicht in der Lage, die Steuerung des Fahrzeugs zu übernehmen, beispielsweise weil sie gesundheitlich nicht in der Lage ist, so sieht eine Möglichkeit vor, das Fahrzeug bis zum Stillstand abzubremsen. Auch stillstehendem Fahrzeug ist eine Lebenderkennung der Insassen möglich, die sich noch im Fahrzeug befinden, beispielweise Kinder und Tiere. Die Erfassung der Vitalparameter ermöglichen zudem Komfortfunktionen, um den Fahrzeuginsassen Information über ihre Fitness und ihren Gesundheitszustand mitzuteilen. Durch Auswertung der Vitalparameter in Kombination mit intelligenten Fahrzeugassistenten können die Fahrzeuginsassen unterstütz werden um an ihrem Zielort erholt und gesund anzukommen.With increasing digitization and automation, the safety and comfort when using vehicles also increases. Driver assistance systems are increasingly finding their way into the small car sector as well, which support a person driving the vehicle in controlling the vehicle, particularly in dangerous situations, or which will take over control of the vehicle completely in the foreseeable future. The automated control of the vehicle by the driver assistance system may be mentioned as an example. If a situation arises in which control has to be taken over by the vehicle operator, control of the vehicle can only be transferred if the vehicle operator is able to take control. If the person in charge of the vehicle is unable to take control of the vehicle, for example because he is sleeping or distracted, there is a possibility of braking the vehicle to a standstill. Another example is the detection of tiredness when driving the vehicle and the warning of sleep-in situations. The detection is based on the evaluation of the images from one or more indoor cameras. However, the evaluation of the pure image data is very limited and only allows a few conclusions to be drawn about the health status of the driver or the occupants.
The simultaneous monitoring of vital signs (e.g. heart rate, heart rate variability, inter-pulse interval, blood pressure) is a significant enhancement of the functions of a camera-based monitoring system. Vital signs can be used to infer the state of health, which enables numerous additional safety functions and comfort functions. If the person driving the vehicle is not able to take control of the vehicle, for example because he is not able to do so in terms of health, there is a possibility of braking the vehicle to a standstill. Even when the vehicle is at a standstill, it is possible to identify the occupants who are still in the vehicle, for example children and animals. The recording of the vital parameters also enables comfort functions in order to inform the vehicle occupants of information about their fitness and their state of health. By evaluating the vital parameters in combination with intelligent vehicle assistants, the vehicle occupants can be supported to arrive at their destination relaxed and healthy.

Das Erfassen von Vitalparametern stellt eine nicht zu vernachlässigende Herausforderung dar, da übliche hierzu eingesetzte Methoden einen Kontakt zwischen Sensor und zu überwachender Person erfordern. Dies ist insbesondere bei einer fahrzeugführenden Person schwierig, da diese durch die Überwachung von der Steuerung des Fahrzeugs abgelenkt werden kann. Es existieren jedoch Verfahren, mit denen Vitalparameter kontaktlos erfasst werden können. Hierzu zählt beispielsweise eine optische Überwachung der fahrzeugführenden Person mittels Kameras und einer anschließenden Auswertung von erfassten Kamerabildern. Ferner ist es möglich, Vitalparameter durch eine Analyse mittels per Lichtgranulation aufgezeigter Mikrobewegungen eines Körperteils der zu überwachenden Person zu erfassen.The acquisition of vital parameters is a not insignificant challenge, since the usual methods used for this require contact between the sensor and the person to be monitored. This is particularly difficult for a person driving a vehicle, since the monitoring can distract him from the control of the vehicle. However, there are methods with which vital parameters can be recorded without contact. This includes, for example, optical monitoring of the person driving the vehicle by means of cameras and a subsequent evaluation of captured camera images. It is also possible to record vital parameters by means of an analysis by means of micro-movements of a part of the body of the person to be monitored, indicated by light granulation.

So beschreiben Yevgeny Beiderman und Zeev Zalevsky et al. in dem wissenschaftlichen Beitrag „Monitoring Blood Vital Bioscience Using Secondary Speckle Patterns“, erschienen in „Optics Express 27899“, Vol. 24, No. 24, 28. Nov. 2016 ein Verfahren, mit dem nichtinvasiv der Blutdruck und die Pulswellengeschwindigkeit einer Person durch ein Nachvollziehen der zeitlichen Veränderung der Reflexion einer mittels Laserlicht auf der Haut der Person erzeugten Lichtgranulation gemessen werden kann. Dabei wird ein Körperteil der überwachten Person zur Erzeugung einer Lichtgranulation mit einem Laser bestrahlt. Die Lichtgranulation wird anschließend von einer Kamera erfasst und die erzeugten Kamerabilder durch einen Algorithmus Fourier-transformiert. Die berechneten Fourierbilder werden anschließend daraufhin analysiert, wie sie sich über die Zeit ändern, wodurch auf Mikrobewegungen des Körperteils, auf den die Lichtgranulation projiziert wird, geschlossen werden kann. Solch eine Mikrobewegung entsteht beispielsweise durch das Schlagen des Herzens der überwachten Person. Durch das Durchführen einer ersten Messung im Bereich des Herzens und einer zweiten Messung in der Nähe der Hand der überwachten Person lässt sich durch einen zeitlichen Versatz einer auftretenden Mikrobewegung auf die Pulswellengeschwindigkeit schließen. Die Überwachung der Person kann dabei kontinuierlich erfolgen, was bei einer Bewegung der überwachten Person erfordert, dass die die Lichtgranulation erfassende Kamera nachgeführt werden muss.For example, Yevgeny Beiderman and Zeev Zalevsky et al. in the scientific article "Monitoring Blood Vital Bioscience Using Secondary Speckle Patterns", published in "Optics Express 27899", Vol. 24, No. 24, 28 Nov. 2016 a method with which the blood pressure and the pulse wave speed of a person can be measured non-invasively by tracing the temporal change in the reflection of a light granulation generated on the person's skin by means of laser light. A part of the body of the person being monitored is irradiated with a laser to produce light granulation. The light granulation is then recorded by a camera and the camera images generated are Fourier-transformed by an algorithm. The calculated Fourier images are then analyzed as to how they change over time, which allows conclusions to be drawn about micro movements of the part of the body onto which the light granulation is projected. Such a micro movement arises, for example, from the beating of the monitored person's heart. By performing a first measurement in the area of the heart and a second measurement in the vicinity of the hand of the person being monitored, it is possible to deduce the pulse wave velocity by a time offset of an occurring micro movement. The person can be monitored continuously, which means that when the monitored person moves, the camera that detects the light granulation must be tracked.

Generell ist es denkbar, die Kamera automatisiert entsprechend den Bewegungen einer zu überwachenden Person nachzuführen. Auch ist es möglich, einen breiten Kamerabereich zu überwachen, wobei von diesem nur ein Teilbereich, welcher von der Lichtgranulation auf einem Kamerasensor eingenommen wird, zur Berechnung der Fourierbilder herangezogen wird. Hierzu werden jedoch hohe Anforderungen an die für die optische Überwachung eingesetzten Kamerasysteme gestellt. Zum einen wird ein Kamerasystem zur Erfassung der Lichtgranulation benötigt, zum anderen wird ein zweites Kamerasystem zur Nachverfolgung der Bewegungen der Person benötigt. Dabei wertet das die Lichtgranulation erfassende Kamerasystem monochromatisches Licht mit der Wellenlänge des vom Laser erzeugten Laserlichts aus und einem Linsensystem speziell zur Abbildung Erfassung Lichtgranulation. Die Bewegung der Person erfassende Kamerasystem wertet Licht im nicht sichtbaren Wellenlängenspektrum von einer Beleuchtungsquelle (Laser oder LED) aus und einem Linsensystem speziell für die Abbildung von Gesicht und Oberkörper. Die beiden verwendeten Optiken sind zur Abbildung der Lichtgranulation und der Abbildung von Gesicht und Oberkörper sind im Allgemeinen nicht kompatibel, da die Abbildungseigenschaften unterschiedlich sind.In general, it is conceivable to automatically track the camera according to the movements of a person to be monitored. It is also possible to monitor a wide camera area, of which only a partial area, which is occupied by the light granulation on a camera sensor, is used to calculate the Fourier images. For this, however, high demands are placed on the camera systems used for optical monitoring. On the one hand, a camera system for recording the Light granulation is required, on the other hand a second camera system is required to track the movements of the person. The camera system that detects light granulation evaluates monochromatic light with the wavelength of the laser light generated by the laser and a lens system specifically for imaging light granulation. The movement of the person capturing camera system evaluates light in the invisible wavelength spectrum from an illumination source (laser or LED) and a lens system especially for imaging the face and upper body. The two optics used for imaging the light granulation and the imaging of the face and upper body are generally not compatible, since the imaging properties are different.

Generell sind aus dem Stand der Technik Kamerasysteme zur Aufteilung von Lichtstrahlen bekannt. So offenbart die US 8,441,732 B2 ein Verfahren und eine entsprechende Vorrichtung, um einen von einer Linse erfassten Strahlengang zur Erzeugung einer Vielzahl an Bildern aufzuteilen und diese auf mehreren Ebenen wenigstens eines Bildsensors zu erfassen. Die Aufteilung des Strahlengangs erfolgt dabei anhand verschiedener Beleuchtungsstärken, Fokusebenen oder Vergrößerungen eines Bildausschnitts.Camera systems for dividing light beams are generally known from the prior art. So the reveals US 8,441,732 B2 a method and a corresponding device for dividing a beam path captured by a lens in order to generate a multiplicity of images and capturing these on multiple planes of at least one image sensor. The beam path is divided on the basis of different illuminance levels, focal planes or enlargements of an image section.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und ein Kamerasystem anzugeben, welches eine Überwachung von Vitalparametern von sich in einem festgelegten Raum bewegenden Personen auf Basis einer Analyse mittels Lichtgranulation berechneter Mikrobewegungen durch den Einsatz eines einzigen Kamerasystems ermöglicht.The present invention is based on the object of specifying a method and a camera system which enables vital parameters of persons moving in a defined space to be monitored on the basis of an analysis of micro movements calculated by means of light granulation by using a single camera system.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Überwachung von Vitalparametern mit den Merkmalen des Anspruchs 1, ein Kamerasystem zur Durchführung des Verfahrens mit den Merkmalen des Anspruchs 3 sowie ein Fahrzeug mit einem solchen Kamerasystem gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Ansprüchen.According to the invention, this object is achieved by a method for monitoring vital parameters with the features of claim 1, a camera system for carrying out the method with the features of claim 3 and a vehicle with such a camera system. Advantageous refinements and developments result from the claims dependent thereon.

Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, dass eine defokussierte Abbildung der Lichtgranulation zur Erzeugung der Fourierbilder und eine Abbildung des Körperteils zur Erzeugung realer Bilder gleichzeitig von einem einzelnen Bildsensor gemeinsam erfasst werden.In a method of the type mentioned at the outset, this object is achieved according to the invention in that a defocused image of the light granulation for generating the Fourier images and an image of the body part for generating real images are simultaneously captured by a single image sensor.

Hierdurch wird es ermöglicht, Vitalparameter von Personen unter Verwendung von Lichtgranulation unter Einsatz eines durch das Aufweisen eines einzelnen Bildsensors besonders einfachen Kamerasystems zu überwachen. Somit lassen sich ein Aufwand und Kosten zur Überwachung der Vitalparameter reduzieren.This makes it possible to monitor vital parameters of people using light granulation using a camera system that is particularly simple due to the presence of a single image sensor. In this way, effort and costs for monitoring the vital parameters can be reduced.

Bevorzugt wird eine Position eines Körperteils innerhalb eines Bildausschnitts der realen Bilder berechnet, wobei eine Berechnung der Position insbesondere mithilfe von Bildverarbeitung erfolgt. Eine Berechnung der Fourierbilder erfolgt unter Verwendung eines Teilbereichs des von der Abbildung der Lichtgranulation bedeckten Bereichs des Bildsensors, wobei eine Bestimmung des Teilbereichs unter Verwendung der Position des Körperteils erfolgt.A position of a body part within an image section of the real images is preferably calculated, the position being calculated in particular with the aid of image processing. The Fourier images are calculated using a partial area of the area of the image sensor covered by the image of the light granulation, the partial area being determined using the position of the body part.

Um die Mikrobewegungen des Körperteils korrekt zu charakterisieren, darf nur der Teilbereich des Bildsensors, welcher von der Abbildung der Lichtgranulation bedeckt ist, zur Berechnung der Fourierbilder herangezogen werden. Bei einer ortsfesten Person lässt sich dieser Teilbereich pauschal durch eine Kalibrierung festlegen. Bewegt sich jedoch die Person innerhalb eines festgelegten Raums, so verschiebt sich ebenfalls der von der Abbildung der Lichtgranulation bedeckte Bereich auf dem Bildsensor. Durch eine kontinuierliche Bestimmung der Position der sich bewegenden Person und damit des sich bewegenden Körperteils kann auf eine Verschiebung des von der Abbildung der Lichtgranulation bedeckten Teilbereichs des Bildsensors geschlossen werden und somit der korrekte von der Abbildung der Lichtgranulation bedeckte Teilbereich ausgewählt werden.In order to correctly characterize the micro-movements of the body part, only the partial area of the image sensor which is covered by the image of the light granulation may be used to calculate the Fourier images. In the case of a stationary person, this sub-area can be generally determined by calibration. However, if the person moves within a defined space, the area covered by the image of the light granulation on the image sensor also shifts. Continuous determination of the position of the moving person and thus of the moving body part allows a conclusion to be drawn about a shift in the partial area of the image sensor covered by the image of the light granulation, and thus the correct partial area covered by the image of the light granulation can be selected.

Ein Kamerasystem zur Durchführung eines erfindungsgemäßen Verfahrens weist einen einzelnen Bildsensor und einen Strahlteiler auf. Dabei ist der Strahlteiler dazu eingerichtet, einen Strahlengang, der eine Abbildung einer Lichtgranulation und eine Abbildung eines Körperteils umfasst, durch partielles Transmittieren und partielles Reflektieren des Strahlengangs in zwei Strahlengänge aufzuteilen. Dabei umfasst einer der aufgeteilten Strahlengänge die Abbildung der Lichtgranulation und der andere aufgeteilte Strahlengang umfasst die Abbildung des Körperteils. Ferner ist wenigstens ein Spiegel zur Umlenkung wenigstens eines der aufgeteilten Strahlengänge vorgesehen. Hierdurch können der Strahlengang der Abbildung der Lichtgranulation und der Strahlengang der Abbildung des Körperteils so zueinander ausgerichtet werden, dass sie nebeneinander auf den Bildsensor fallen.A camera system for carrying out a method according to the invention has a single image sensor and a beam splitter. The beam splitter is set up to split a beam path, which comprises an image of a light granulation and an image of a body part, into two beam paths by partially transmitting and partially reflecting the beam path. One of the split beam paths includes the image of the light granulation and the other split beam path includes the image of the body part. Furthermore, at least one mirror is provided for deflecting at least one of the divided beam paths. As a result, the beam path of the image of the light granulation and the beam path of the image of the body part can be aligned with one another such that they fall onto the image sensor side by side.

Mithilfe des beschriebenen Kamerasystems ist es möglich, sowohl die Lichtgranulation als auch das Körperteil der Person mit einem einzigen Bildsensor zu erfassen. Das Kamerasystem zur Durchführung des Verfahrens kann somit besonders klein, einfach und kostengünstig gestaltet werden. Hierzu kann ein beliebiger Strahlteiler verwendet werden, wobei dieser eingerichtet ist, einen in das Kamerasystem einfallenden Strahlengang in ein Messung der Lichtgranulation und in eine Abbildung der Gesichts und Oberkörpers aufzuteilen. Dabei kann der Strahlteiler so ausgeführt sein, dass entweder die Messung der Lichtgranulation umgelenkt wird oder die Abbildung des Gesichts und Oberkörpers. Der Strahlteiler kann dabei beispielsweise von zwei Prismen ausgebildet sein, von denen eine Seite des ersten Prismas und/oder des zweiten Prismas mit einer teilweise reflektierenden Beschichtung versehen ist und das erste und das zweite Prisma kontaktiert sind, sodass die Beschichtung zwischen den Prismen an einer Kontaktläche angeordnet ist.With the aid of the camera system described, it is possible to capture both the light granulation and the body part of the person with a single image sensor. The camera system for carrying out the method can thus be designed to be particularly small, simple and inexpensive. Any beam splitter can be used for this purpose, it being set up to measure a beam path incident into the camera system the light granulation and split into an image of the face and upper body. The beam splitter can be designed so that either the measurement of the light granulation is redirected or the image of the face and upper body. The beam splitter can be formed, for example, by two prisms, of which one side of the first prism and / or the second prism is provided with a partially reflective coating and the first and the second prism are contacted, so that the coating between the prisms on a contact surface is arranged.

Eine vorteilhafte Weiterbildung des Kamerasystems sieht vor, dass wenigstens eine Linse umfasst ist, wobei die wenigstens eine Linse in Richtung des Strahlengangs vor dem Strahlteiler angeordnet ist und/oder in Richtung des Strahlengangs hinter dem Strahlteiler angeordnet ist. Befindet sich die wenigstens eine Linse hinter dem Strahlteiler, ist sie im Strahlengang der Messung der Lichtgranulation und/oder im Strahlengang der Abbildung des Körperteils angeordnet.An advantageous development of the camera system provides that at least one lens is included, the at least one lens being arranged in the direction of the beam path in front of the beam splitter and / or in the direction of the beam path behind the beam splitter. If the at least one lens is located behind the beam splitter, it is arranged in the beam path for measuring the light granulation and / or in the beam path for imaging the body part.

Durch das zusätzliche Umfassen von Linsen erhöht sich zwar ein Aufwand zur Konstruktion des Kamerasystems, jedoch können die sich innerhalb des Kamerasystems ausbreitenden Strahlengänge vorteilhaft manipuliert werden. Beispielsweise lassen sich die Strahlengänge vorteilhaft kollimieren und/oder eine Fokusebene mit einem festgelegten Abstand zum Bildsensor bestimmen.The additional encompassing of lenses increases the effort required to construct the camera system, but the beam paths that propagate within the camera system can be advantageously manipulated. For example, the beam paths can advantageously be collimated and / or a focal plane can be determined at a fixed distance from the image sensor.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des Kamerasystems ist eine im Strahlengang der Abbildung des Körperteils angeordnete Fokussiereinrichtung vorgesehen.According to a further advantageous embodiment of the camera system, a focusing device arranged in the beam path of the image of the body part is provided.

Bewegt sich eine zu überwachende Person in einem festgelegten Raum auf das Kamerasystem zu oder von diesem weg, so kann diese in Abhängigkeit ihrer Entfernung zum Kamerasystem scharf oder unscharf vom Kamerasystem erfasst werden. Eine korrekte Positionsbestimmung eines Körperteils der Person, auf den die Lichtgranulation projiziert wird und damit eine korrekte Zuordnung eines von der Abbildung der Lichtgranulation bedeckten Teilbereichs des Bildsensors kann für den Fall, dass die Person verschwommen erfasst wird, erschwert sein. Um eine korrekte Positionsbestimmung auch für den Fall zu gewährleisten, in dem eine zu überwachende Person sich auf das Kamerasystem über große Distanzen zubewegt oder von diesem wegbewegt, kann das Kamerasystem somit vorteilhafterweise eine Fokussiereinrichtung enthalten, mit deren Hilfe eine Scharfstellung auf mehrere Fokusebenen möglich ist. Große Distanzen bezieht sich hier ein vielfaches der Schärfentiefe des Kamerasystems. Alternativ ist es auch denkbar, einen Algorithmus zur Positionsbestimmung einzusetzen, welcher auch bei der Erfassung eines unscharfen Bilds der zu überwachenden Person eine korrekte Positionsbestimmung ermöglicht.If a person to be monitored moves towards or away from the camera system in a defined space, then depending on their distance from the camera system, the camera system can detect it either sharply or unsharp. Correct position determination of a body part of the person onto which the light granulation is projected and thus correct assignment of a partial area of the image sensor covered by the image of the light granulation can be difficult in the event that the person is detected in a blurry manner. In order to ensure correct position determination even in the event that a person to be monitored moves towards the camera system over large distances or moves away from it, the camera system can advantageously contain a focusing device with the aid of which it is possible to focus on several focal planes. Long distances are a multiple of the depth of field of the camera system. Alternatively, it is also conceivable to use an algorithm for determining the position, which enables a correct position to be determined even when a blurred image of the person to be monitored is acquired.

Eine weitere vorteilhafte Ausgestaltung des Kamerasystems sieht vor, dass die Fokussiereinrichtung zur Festlegung wenigstens zweier Fokusebenen wenigstens einen Glasblock umfasst, wobei ein Abstand zwischen einer der Fokusebenen und dem Bildsensor durch eine Dicke des Glasblocks in die Strahlengangrichtung einstellbar ist.A further advantageous embodiment of the camera system provides that the focusing device for fixing at least two focal planes comprises at least one glass block, a distance between one of the focal planes and the image sensor being adjustable in the beam path direction by a thickness of the glass block.

Durch den Einsatz wenigstens eines Glasblocks lassen sich besonders einfach einer oder mehrere alternative optische Pfade zur Erzeugung mehrerer Fokusebenen erzeugen. Somit sind zur Erzeugung der Fokusebenen keine beweglichen Teile notwendig, was den Aufbau des Kamerasystems weiter vereinfacht, wodurch sich Kosten einsparen lassen. Das Kamerasystem weist hierdurch außerdem eine erhöhte Robustheit gegenüber Vibrationen auf.By using at least one glass block, one or more alternative optical paths for generating several focal planes can be generated particularly easily. Thus, no moving parts are required to generate the focal planes, which further simplifies the construction of the camera system, which can save costs. As a result, the camera system is also more robust against vibrations.

Bevorzugt umfasst eine alternative Fokussiereinrichtung zur Festlegung wenigstens zweier Fokusebenen ein Mikrolinsen-Array, wobei vom Mikrolinsen-Array umfasste Mikrolinsen wenigstens zwei voneinander abweichende Brennweiten aufweisen und ein Abstand zwischen den Fokusebenen und dem Bildsensor durch eine Variation der Brennweiten einstellbar ist.An alternative focusing device for defining at least two focal planes preferably comprises a microlens array, microlenses comprised by the microlens array having at least two focal lengths that differ from one another and a distance between the focal planes and the image sensor can be set by varying the focal lengths.

Durch den Einsatz eines Mikrolinsen-Arrays, dessen Linsen verschiedene Brennweiten und damit eine verschiedene Brechkraft zueinander aufweisen, lässt sich ähnlich zum Einsatz von Glasblöcken unterschiedlicher Dicke einer oder mehrere alternative optische Pfade zur Erzeugung der Fokusebenen erzeugen.By using a microlens array, the lenses of which have different focal lengths and thus a different refractive power to one another, one or more alternative optical paths for generating the focal planes can be generated, similarly to the use of glass blocks of different thicknesses.

Ein Fahrzeug weist ein erfindungsgemäßes Kamerasystem auf, welches eingerichtet ist, Vitalparameter von Fahrzeuginsassen zu messen.A vehicle has a camera system according to the invention, which is set up to measure vital parameters of vehicle occupants.

Mithilfe des erfindungsgemäßen Kamerasystems und des erfindungsgemäßen Verfahrens lassen sich somit Vitalparameter von Fahrzeuginsassen bestimmen, welche zur Steuerung von Fahrerassistenzsystemen herangezogen werden können. Aufgrund einer kontaktlosen Messung der Vitalparameter wird dabei eine fahrzeugführende Person vorteilhafterweise wenig oder gar nicht abgelenkt.With the help of the camera system according to the invention and the method according to the invention, vital parameters of vehicle occupants can be determined, which can be used to control driver assistance systems. Due to a contactless measurement of the vital parameters, a person driving a vehicle is advantageously distracted little or not at all.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens, des erfindungsgemäßen Kamerasystems sowie des Fahrzeugs ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher beschrieben wird.Further advantageous refinements of the method according to the invention, of the camera system according to the invention and of the vehicle also result from the exemplary embodiment which is described in more detail below with reference to the figures.

Dabei zeigen:

1 eine Schnittansicht durch ein erfindungsgemäßes Kamerasystem;
2 ein vom Kamerasystem erzeugtes Kamerabild;
3 eine schematische Darstellung einer ersten Fokussiereinrichtung; und
4 eine schematische Darstellung einer zweiten Fokussiereinrichtung.

Show:

1 a sectional view through an inventive camera system;
2nd a camera image generated by the camera system;
3rd a schematic representation of a first focusing device; and
4th is a schematic representation of a second focusing device.

Das in 1 dargestellte Kamerasystem umfasst einen Bildsensor 7 zur Detektion einer Abbildung einer Lichtgranulation 4 und zur Detektion einer Abbildung eines Körperteils 5. Dabei tritt ein Strahlengang 10, welcher Umgebungslicht umfasst, in das Kamerasystem ein und trifft auf einen vom Kamerasystem umfassten Strahlteiler 9, der den Strahlengang 10 in einem Strahlengang 10.1, der die Abbildung der Lichtgranulation 4 umfasst, und einen Strahlengang 10.2, der die Abbildung des Körperteils 5 umfasst, aufteilt. Dazu umfasst der Strahlteiler 9 in 1 zwei Prismen 19, die an einer gemeinsamen Kontaktfläche eine partiell reflektierende Beschichtung 20 aufweisen. Durch die unterschiedlichen optischen Pfade wird die Abbildung der Lichtgranulation 10.1 und die Abbildung des Körperteile 10.2. optimal und gleichzeitig durch den Bildsensor 7 projiziert. Der Strahlengang der Abbildung des Körperteils 10.2 wird hierdurch rechtwinklig zu seiner ursprünglichen Ausbreitungsrichtung umgelenkt und trifft auf einen vom Kamerasystem umfassten Spiegel 11, der ihn zurück in seine ursprüngliche Ausbreitungsrichtung umlenkt. Zwischen den Prismen 19 und dem Spiegel 11 kann hierbei, wie in 1 dargestellt, ein drittes Prisma 19 angeordnet sein. Somit verläuft der Strahlengang der Abbildung des Körperteils 10.2 parallel zum Strahlengang der Abbildung der Lichtgranulation 10.1 und trifft gemeinsam mit dem Strahlengang der Abbildung der Lichtgranulation 10.2 auf den Bildsensor 7 auf. Somit nimmt sowohl die Abbildung der Lichtgranulation 4 als auch die Abbildung des Körperteils 5 eine festgelegte Fläche auf dem Bildsensor 7 ein. Zur Manipulation der Strahlengänge kann das Kamerasystem eine oder mehrere Linsen 12 umfassen. Diese können mono- oder bikonvex bzw. konkav ausgeführt sein. Dabei ist es möglich, dass wenigstens eine Linse 12 in Richtung des Strahlengangs 10 betrachtet in einem Bereich 18.1 vor dem Strahlteiler 9 angeordnet ist, und/oder in einem Bereich hinter dem Strahlteiler 9. Dabei kann wenigstens eine Linse 12 in einem Bereich 18.2 im Strahlengang der Abbildung der Lichtgranulation 10.1 und/oder in einem Bereich 18.3 im Strahlengang der Abbildung des Körperteils 10.2 angeordnet sein.This in 1 The camera system shown includes an image sensor 7 for the detection of an image of a light granulation 4th and for detecting an image of a body part 5 . An optical path occurs 10th , which comprises ambient light, enters the camera system and strikes a beam splitter comprised by the camera system 9 that the beam path 10th in an optical path 10.1 which is the illustration of light granulation 4th includes, and an optical path 10.2 which is the illustration of the body part 5 includes, divides. For this purpose, the beam splitter includes 9 in 1 two prisms 19th that have a partially reflective coating on a common contact surface 20 exhibit. Due to the different optical paths, the image of the light granulation is 10.1 and the illustration of the body parts 10.2 . optimal and at the same time through the image sensor 7 projected. The ray path of the image of the body part 10.2 is thereby deflected at right angles to its original direction of propagation and strikes a mirror encompassed by the camera system 11 that redirects it back to its original direction of propagation. Between the prisms 19th and the mirror 11 can, as in 1 shown, a third prism 19th be arranged. The ray path of the image of the body part thus runs 10.2 parallel to the beam path of the image of the light granulation 10.1 and together with the beam path it hits the image of the light granulation 10.2 on the image sensor 7 on. Thus both the imaging of the light granulation takes 4th as well as the image of the body part 5 a specified area on the image sensor 7 a. The camera system can use one or more lenses to manipulate the beam paths 12th include. These can be mono- or biconvex or concave. It is possible that at least one lens 12th in the direction of the beam path 10th considered in one area 18.1 in front of the beam splitter 9 is arranged, and / or in an area behind the beam splitter 9 . At least one lens can be used 12th in one area 18.2 in the beam path of the image of the light granulation 10.1 and / or in an area 18.3 in the ray path of the image of the body part 10.2 be arranged.

2 zeigt ein vom Kamerasystem erzeugtes Kamerabild. Dieses setzt sich zusammen aus einem Fourierbild 3, welches durch eine Fourier-Transformation eines auf dem Bildsensor 7 auftreffenden Strahlengang der Abbildung der Lichtgranulation 10.1 erzeugt wird, sowie einem realen Bild 6, welches durch Auftreffen des Strahlengangs der Abbildung des Körperteils 10.2 auf den Bildsensor 7 erzeugt wird. Das reale Bild zeigt eine Person 1 mit einem Körperteil 2, in diesem Fall ein Kopf der Person 1. Das Körperteil 2 bzw. die Person 1 kann sich in einem festgelegten Raum bewegen, wodurch sich das Körperteil 2 innerhalb eines Bildausschnitts 8 des realen Bildes 6 bewegt. Durch Methoden der Bildverarbeitung wird dabei eine Position des Körperteils 2 im Bildausschnitt 8 des realen Bildes 6 berechnet. Dies dient zur Bestimmung eines Teilbereichs der von der Abbildung der Lichtgranulation 4 bedeckten Fläche des Bildsensors 7. Zur korrekten Bestimmung der Position des Körperteils 2 im Bildausschnitt 8 des realen Bilds 6 ist das Körperteil 2 vorteilhafterweise fokussiert durch den Bildsensor 7 zu erfassen. 2nd shows a camera image generated by the camera system. This is composed of a Fourier picture 3rd , which is determined by a Fourier transformation of one on the image sensor 7 incident beam path of the image of the light granulation 10.1 is generated, as well as a real image 6 , which is achieved by hitting the ray path of the image of the body part 10.2 on the image sensor 7 is produced. The real picture shows a person 1 with a body part 2nd , in this case a head of the person 1 . The body part 2nd or the person 1 can move in a fixed space, causing the body part to move 2nd within an image section 8th of the real picture 6 emotional. Using image processing methods, a position of the body part is determined 2nd in the image section 8th of the real picture 6 calculated. This serves to determine a sub-area of the image of the light granulation 4th covered area of the image sensor 7 . For the correct determination of the position of the body part 2nd in the image section 8th of the real picture 6 is the body part 2nd advantageously focused by the image sensor 7 capture.

Das Kamerasystem weist gemäß 3 hierzu eine Fokussiereinrichtung 13 auf, welche eine Fokussierung auf mehrere Fokusebenen 14 ermöglicht, von denen in 3 eine erste Fokusebene 14.1 und eine zweite Fokusebene 14.2 dargestellt sind. Befindet sich das Körperteil 2 innerhalb einer der Fokusebenen 14, wird ein fokussiertes Abbild des Körperteils 2 vom Bildsensor 7 erfasst. In 3 umfasst die Fokussiereinrichtung 13 einen Glasblock 15, mit dem ein Brennpunkt der in Richtung des Strahlengangs vor dem Glasblock 15 angeordneten Linse 12 verschoben wird. Die Stärke, mit der der Brennpunkt verschoben wird, ist dabei von einer Dicke d des Glasblocks 15 abhängig. Der Glasblock 15 ist dabei so hinter der Linse 12 angeordnet, dass nur ein Teilbereich des die Linse passierenden Strahlengangs manipuliert wird. In 3 nimmt der Glasblock 15 die Hälfte einer vom Strahlengang der Abbildung des Körperteils 10.2 eingenommenen Fläche ein, wodurch ein Bildsegment 21.1 entsprechend der ersten Fokusebene 14.1 fokussiert ist, sowie ein Bildsegment 21.2 entsprechend der zweiten Fokusebene 14.2 fokussiert ist. Es ist dabei auch möglich, dass mehrere Glasblöcke 15 von der Fokussiereinrichtung 13 umfasst sind. Ferner kann wie in 3 dargestellt eine weitere Linse 12 hinter dem Glasblock 15 in Richtung des Strahlengangs 10.2 angeordnet sein. Die Fokussiereinrichtung 13 ist dabei hinter dem Strahlteiler 9 im Strahlengang der Abbildung des Körperteils 10.2, somit im Bereich 18.3 angeordnet.According to the camera system 3rd for this purpose a focusing device 13 on which is focusing on multiple focus levels 14 enables, of which in 3rd a first focus level 14.1 and a second focus level 14.2 are shown. The body part is located 2nd within one of the focus levels 14 , becomes a focused image of the body part 2nd from the image sensor 7 detected. In 3rd includes the focusing device 13 a glass block 15 , with a focal point in the direction of the beam path in front of the glass block 15 arranged lens 12th is moved. The strength with which the focal point is shifted is a thickness d of the glass block 15 dependent. The glass block 15 is so behind the lens 12th arranged that only a portion of the beam path passing through the lens is manipulated. In 3rd takes the glass block 15 half one from the ray path of the image of the body part 10.2 occupied area, creating an image segment 21.1 according to the first focus level 14.1 is focused, as well as an image segment 21.2 corresponding to the second focus level 14.2 is focused. It is also possible to have several glass blocks 15 from the focusing device 13 are included. Furthermore, as in 3rd shown another lens 12th behind the glass block 15 in the direction of the beam path 10.2 be arranged. The focusing device 13 is behind the beam splitter 9 in the ray path of the image of the body part 10.2 , therefore in the area 18.3 arranged.

Entsprechend einer alternativen Ausführung der Fokussiereinrichtung 13 zeigt 4 eine Scharfstellung auf die erste Fokusebene 14.1 und die zweite Fokusebene 14.2 mithilfe eines Mikrolinsen-Arrays 16. Dieses umfasst wenigstens zwei Mikrolinsen 17 mit einer zueinander abweichenden Brechkraft bzw. einem zueinander abweichenden Brennpunkt. Hierdurch liegt das Bildsegment 21.1, welches auf die erste Fokusebene 14.1 fokussiert ist und das Bildsegment 21.2, welches auf die zweite Fokusebene 14.2 fokussiert ist, schachbrettförmig auf dem Bildsensor 7 vor.According to an alternative embodiment of the focusing device 13 shows 4th focus on the first focus level 14.1 and the second focus level 14.2 using a microlens array 16 . This comprises at least two microlenses 17th with a different refractive power or a different focal point. As a result, the image segment lies 21.1 which is on the first focus level 14.1 is focused and the image segment 21.2 which is on the second focus level 14.2 is focused, checkerboard-shaped on the image sensor 7 in front.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 8441732 B2 [0006]

Claims

Method for monitoring vital parameters of people (1) using light granulation, in which a pattern generated by a laser for producing the light granulation is thrown onto a body part (2) of the person (1), the light granulation and at least the body part (2) the person (1) is optically recorded for generating camera images, and the vital parameters are monitored by evaluating micro-movements occurring on the body part (2), the micro-movements being characterized on the basis of Fourier images (3), which are carried out by a Fourier transformation of defocused camera images showing the light granulation are calculated, characterized in that a defocused image of the light granulation (4) for generating the Fourier images (3) and an image of the body part (5) for generating real images (6) can be captured simultaneously by a single image sensor (7).

Procedure according to Claim 1 , characterized in that a position of the body part (2) within an image section (8) of the real images (6) is calculated, the position being calculated in particular with the aid of image processing and the Fourier images (3) being calculated below A portion of the area of the image sensor (7) covered by the image of the light granulation (4) is used, the portion being determined using the position of the body part (2).

Camera system for performing a method according to Claim 1 or 2nd , characterized by a single image sensor (7) and a beam splitter (9), the beam splitter (9) being set up for this purpose a beam path (10) comprising an image of a light granulation (4) and an image of a body part (5) by partial To transmit and partially reflect the beam path (10) into two beam paths (10.1, 10.2), the beam path (10.1) comprising the image of the light granulation (4) and the beam path (10.2) comprising the image of the body part (5), and at least deflect one of the divided beam paths (10.1, 10.2) with the aid of at least one mirror (11), whereby the beam path (10.1) of the image of the light granulation (4) and the beam path (10.2) of the image of the body part (5) side by side onto the image sensor ( 7) fall.

Camera system according to Claim 3 characterized by at least one lens (12), the at least one lens (12) being arranged in the direction of the beam path (10) in front of the beam splitter (9) and / or in the direction of the beam path (10) behind the beam splitter (9) is arranged, with an arrangement behind the beam splitter (9) at least one lens (12) being arranged in the beam path (10.1) of the image of the light granulation (4) and / or in the beam path (10.2) of the image of the body part (2) .

Camera system according to Claim 3 or 4th , characterized by a focusing device (13) arranged in the beam path (10.2) of the image of the body part (5).

Camera system according to Claim 5 , characterized in that the focusing device (13) for fixing at least two focusing planes (14) comprises at least one glass block (15), a distance between one of the focusing planes (14.1, 14.2) and the image sensor (7) being determined by a thickness (d) of the glass block (15) is adjustable in the beam path direction.

Camera system according to Claim 5 , characterized in that the focusing device (13) for fixing at least two focusing planes (14) comprises a microlens array (16), microlenses (17) comprised by the microlens array (16) having at least two different focal lengths and a distance between the focusing planes (14.1, 14.2) and the image sensor (7) can be adjusted by varying the focal lengths of the microlenses (17).

Vehicle with a camera system according to one of the Claims 3 to 7 , characterized in that the camera system is set up to measure vital parameters of vehicle occupants.