DE10147940A1

DE10147940A1 - Operator panel for controlling motor vehicle systems, such as radio, navigation, etc., comprises a virtual display panel within the field of view of a camera, with detected finger positions used to activate a function

Info

Publication number: DE10147940A1
Application number: DE10147940A
Authority: DE
Inventors: Dirk Groeger
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2001-09-28
Filing date: 2001-09-28
Publication date: 2003-05-22

Abstract

Device comprises an operator panel (1) and camera (2) for detection of the movement of a finger or object (3) within a zone monitored by the camera. The camera detects selection of a button or control on the virtual operator parameter and the selected control is used to activate a corresponding function or control. Activation elements (4) are used to switch the control panel between different modes, e.g. radio, navigation, climate control, etc. The invention also relates to a corresponding method.

Description

Die Erfindung betrifft eine Vorrichtung mit einem Bedienpanel und zumindest einer Kamera zur Detektion eines sich im Bereich über oder auf dem Bedienpanel befindenden Objektes, insbesondere eines Fingers, und einer mit der Kamera verbundenen Verarbeitungseinheit, die die von der Kamera gelieferten Signale derart verarbeitet, dass die Position des Objektes über oder auf dem Bedienpanel erkannt wird und die Verarbeitungseinheit daraus eine zugeordnete Aktion ermittelt und ein entsprechendes Signal zur Ausführung der Aktion ausgibt. Die Erfindung betrifft außerdem ein Verfahren zum Betreiben einer solchen Vorrichtung. The invention relates to a device with an operating panel and at least one camera for the detection of a Area above or on the control panel, especially one finger, and one with the camera connected processing unit, which by the camera processed signals processed so that the position of the Object is recognized above or on the control panel and the Processing unit uses this to determine an assigned action and outputs a corresponding signal to execute the action. The invention also relates to a method for operating such a device.

Eine solche Vorrichtung ist aus der US 5,528,263 bekannt. Bei dieser bekannten Vorrichtung wird eine bildliche Darstellung mittels eines Projektionsapparates auf einen Schirm projiziert und gleichzeitig die Bewegung oder Position einer Hand, eines Fingers oder eines Zeigeinstrumentes vor dem Schirm von einer Kamera mit angeschlossenem Computer ermittelt. Ein Benutzer kann bei dieser Vorrichtung durch Berühren einer bestimmten Fläche auf dem Schirm oder durch ein Verharren über dieser Fläche eine bestimmte, dieser Handlung zugeordnete Funktion bewirken bzw. Aktion auslösen. Such a device is known from US 5,528,263. at this known device becomes a pictorial representation by means of a projection apparatus on a screen projected and at the same time the movement or position of a hand, a finger or a pointing instrument in front of the screen of a camera with a connected computer. On With this device, users can touch a device certain area on the screen or by pausing over a certain area assigned to this plot Effect or trigger action.

Es ist aus der DE 199 48 896 C1 bereits bekannt, eine solche Vorrichtung in einem Kraftfahrzeug zur bildlichen Darstellung einer Computertastatur und zum Erkennen der Bewegung der Hände bzw. der Finger über dieser projizierten Tastatur zu verwenden, um auf diese Weise Dateneingaben in den Computer zu realisieren. It is already known from DE 199 48 896 C1, such Device in a motor vehicle for visual display a computer keyboard and to recognize the movement of the Hands or fingers over this projected keyboard use this way to input data into the computer realize.

Prinzipiell ließe sich eine solche Vorrichtung auch als Ersatz für die Schalter und Bedienelemente beispielsweise für das Radio, die Klimaanlage, den Bordcomputer, das Navigationsgerät usw., die derzeit meist auf der Mittelkonsole des Kraftfahrzeugs angeordnet sind, verwenden. Hierdurch wäre es möglich, den nicht unerheblichen und damit teuren Verkabelungsaufwand zu reduzieren. Außerdem könnte man auf diese Weise die Mehrfachbelegung mit verschiedenen Funktionen der Knöpfe und Schalter, wie es heute zum Teil üblich ist, vermeiden. In principle, such a device could also be used as Replacement for the switches and controls, for example for the radio, the air conditioning, the on-board computer, the Navigation device, etc., currently mostly on the center console of the Motor vehicle are arranged, use. This would be it possible, the not inconsiderable and therefore expensive Reduce cabling effort. You could also look at this Way the multiple assignment with different functions of the Buttons and switches, as is common today, avoid.

Allerdings bringt eine Projektion der bildlichen Darstellung von Schaltern, Tasten und Knöpfen in einem Kraftfahrzeug diverse Probleme mit sich. So können sich die sehr unterschiedlichen Lichtverhältnisse negativ auf die Erkennbarkeit der Darstellung auswirken. Außerdem verhindern Gegenstände wie beispielsweise eine Zeitung des Beifahrers die korrekte Darstellung einer Bedienfläche. Ein besonderes Problem stellen die nicht zu vernachlässigenden Kosten einer solchen Vorrichtung dar. However, a projection of the visual representation brings of switches, buttons and buttons in a motor vehicle various problems with it. So they can be very different lighting conditions negatively affect the recognizability of the Impact representation. Also prevent items like for example a passenger newspaper the correct one Representation of a control surface. A special problem the not negligible costs of such a Device.

Es ist also die Aufgabe der Erfindung, bei einer gattungsgemäßen Vorrichtung eine einfache und kostengünstige Realisierung eines Bedienpanels sowie eine möglichst einfache Bedienung einer solchen Vorrichtung anzugeben. It is therefore the object of the invention in a Generic device a simple and inexpensive Realization of a control panel as simple as possible Specify operation of such a device.

Die Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 sowie eines Verfahrens gemäß Anspruch 8 gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprüchen angegeben. The task is performed by a device with the features of Claim 1 and a method according to claim 8 solved. Advantageous further developments are in the subclaims specified.

Demnach ist das Bedienpanel eine Anordnung einer Anzahl virtueller Bedienflächen, die mittels Betätigungselemente in den von der Kamera beobachteten Bedienpanelbereich bringbar sind. Accordingly, the control panel is an arrangement of a number virtual control surfaces, which are activated by actuators in the control panel area observed by the camera can be brought.

Eine virtuelle Bedienfläche ist in vorteilhafter Ausbildung mit einer mit Darstellungen von Bedientasten und/oder Bedienschaltern und/oder Bedienschiebern versehenen, insbesondere bedruckten Folie gebildet, kann jedoch auch eine feste Platte sein. A virtual control surface is advantageous with one with representations of control buttons and / or Operating switches and / or operating slides provided, in particular printed film formed, but can also be a solid plate his.

Die einzelnen Bedienflächen bzw. Folien sind mit Betätigungselementen, die beispielsweise als kleine Griffe ausgebildet sein können, verbunden und lassen sich mittels dieser Betätigungselemente bewegen. So kann beispielsweise, falls das Radio bedient werden soll, die Folie mit den aufgedruckten Radiobedienelementen in den von der Kamera beobachteten Bedienpanelbereich mittels des zugeordneten Betätigungselements bewegt werden. The individual control surfaces or slides are included Actuators, for example designed as small handles can be connected and can be by means of this Move actuators. For example, if that Radio should be operated, the film with the printed Radio controls in those observed by the camera Control panel area by means of the assigned actuating element be moved.

Besonders vorteilhaft ist es dabei, wenn das Bedienpanel derart ausgebildet ist, dass bei Betätigung eines Betätigungselementes die sich gerade im Bedienpanelbereich befindende Bedienfläche automatisch in ihre Ausgangslage gebracht wird, also nicht erst manuell durch Verschieben des Betätigungselements dorthin bewegt werden muss. Dies kann beispielsweise durch geeignete Feder- und Verrastmechanismen erreicht werden. It is particularly advantageous if the control panel is designed such that when a Actuating element that is currently in the control panel area Control surface is automatically brought into its starting position, not only manually by moving the Actuator must be moved there. For example achieved by suitable spring and locking mechanisms become.

Um Platz zu sparen können die Folien in einer vorteilhaften Ausbildung der Erfindung in ihrer Ausgangslage aufgerollt sein. To save space, the foils can be advantageous Training of the invention rolled up in its starting position his.

Damit das Objekt, beispielsweise ein Finger, von der Kamera gut erkannt werden kann, ist es von Vorteil, wenn es als dunkler Gegenstand vor einem hellen Hintergrund erscheint. In besonders vorteilhafter Ausbildung der Erfindung ist eine Bedienflächenfolie mit einem geeignet reflektierenden Material, beispielsweise mit dem Reflexmaterial SCOTCHlite der Firma 3M, gebildet. So that the object, for example a finger, can be easily recognized by the camera, it is advantageous if it appears as a dark object against a light background. In a particularly advantageous embodiment of the invention is a control surface film with a suitable reflective material, for example with the reflective material Scotchlite 3M Company, is formed.

Da zum Auslösen einer Aktion nicht nur erkannt werden muss, dass sich das Objekt vor einem auf eine Bedienfläche gedruckten oder sonst wie aufgebrachten Bedienelement befindet sondem auch, dass das Bedienelement beispielsweise durch Berühren ausgewählt wird, wird in vorteilhafter Weise statt einer normalen Kamera eine Stereokamera oder zwei Kameras verwendet, so dass eine räumliche Information vorliegt. Since not only has to be recognized to trigger an action, that the object is in front of you on a control surface printed or otherwise applied control element but also that the control element, for example, by Touch is selected, is advantageously used instead of one normal camera one stereo camera or two cameras used so that there is spatial information.

Alternativ ist es allerdings ebenfalls möglich, nur eine normale Kamera vorzusehen und die Auswahl eines Bedienelementsbeispielsweise durch eine bestimmte Bewegung oder ein Verharren für eine bestimmte Zeit des Objekts über oder auf dem Bedienelement zu treffen. Alternatively, however, it is also possible to use only one normal camera and choosing one Control elements for example by a certain movement or a Remain above or on the object for a certain time Control element.

Durch die erfindungsgemäße Vorrichtung wird auf sehr einfache und kostengünstige Weise eine Menüstruktur geringer Komplexität und damit einfacher Handhabbarkeit geschaffen. The device according to the invention is very simple and inexpensive way of lowering a menu structure Complexity and thus easy handling created.

Zum Betreiben einer erfindungsgemäßen Vorrichtung erkennt die Verarbeitungseinheit in vorteilhafter Weise über die Kamera, welches Bedienpanel in den Bedienpanelbereich gebracht ist. Hierdurch kann eine Verbindung des Bedienpanels mit der Verarbeitungseinheit beispielsweise über Kabel eingespart werden. In einer vorteilhafte Ausbildung sind die Bedienflächen mit Zeichen, die insbesondere nur im Infrarotbereich zu erkennen sind versehen, die der Verarbeitungseinheit eine eindeutige Zuordnung ermöglichen. For operating a device according to the invention, the Processing unit advantageously via the camera, which control panel is brought into the control panel area. This allows a connection of the control panel with the Processing unit saved for example via cable become. The control surfaces are in an advantageous embodiment with characters that are only in the infrared range too recognize are provided that the processing unit enable clear assignment.

Das Bedienen von auf einer Bedienfläche beispielsweise aufgedruckten Tasten oder Schaltern erfordert üblicherweise, dass die Bedienperson zumindest einen kurzen Blick darauf wirft, um die entsprechende Taste auch zu treffen. Dies würde bei einer vorzugsweisen Verwendung in einem Kraftfahrzeug den Fahrer jedoch vom Verkehr ablenken. In vorteilhafter Weiterbildung der Erfindung kann die Bedienperson einen Satz von ihr beliebig zu definierender Gesten mit jeder der Bedienflächen verwenden. Aufgrund der erkannten Bedienfläche und der erkannten Geste ist die Verarbeitungseinheit in der Lage, dieser Kombination eine eindeutige Funktionalität zuzuordnen. Operating, for example, on a control surface Printed buttons or switches usually require that the operator takes at least a quick look, to hit the corresponding key. This would be a preferred use in a motor vehicle However, distract drivers from traffic. In advantageous Further development of the invention, the operator can a set of your freely definable gestures with each of the Use control surfaces. Due to the recognized control surface and the recognized gesture, the processing unit is able to assign a unique functionality to this combination.

Es ist dabei möglich, nur einen Satz von Gesten zu haben, der jedoch bei jeder Bedienfläche eine andere Bedeutung hat oder jeder Bedienfläche einen eigenen Satz von Gesten zuzuordnen. Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels mit Hilfe von Figuren näher beschrieben. Dabei zeigt It is possible to have only one set of gestures, the but has a different meaning for each control surface or assign a separate set of gestures to each control surface. The invention is based on a Embodiment described with the help of figures. It shows

Fig. 1 eine erste schematische Darstellung der erfindungsgemäßen Vorrichtung und Fig. 1 is a first schematic representation of the device according to the invention and

Fig. 2 die Darstellung gemäß Fig. 1 mit einer herausgezogenen Bedienfläche. Fig. 2 shows the representation of FIG. 1 with a pulled-out control surface.

Fig. 1 zeigt in schematischer Weise einen Ausschnitt eines Fahrzeugcockpits, insbesondere den Bereich der Mittelkonsole. Auf der Mittelkonsole ist ein Bedienpanel 1 angeordnet und wird von einer Kamera 2 beobachtet. Die Kamera 2 ist als Stereokamera ausgebildet, um Bewegungen eines Objektes 3, das im Ausführungsbeispiel der Figur als Finger ausgebildet ist, zu detektieren. Die Kamera 2 erzeugt Signale, die von einer (nicht dargestellten) Verarbeitungseinheit verarbeitet werden, um den Bewegungen des Objekts 3 entsprechende Aktionen zuordnen zu können. Fig. 1 is a section showing schematically a vehicle cockpit, in particular the region of the center console. A control panel 1 is arranged on the center console and is observed by a camera 2 . The camera 2 is designed as a stereo camera in order to detect movements of an object 3 , which is designed as a finger in the exemplary embodiment of the figure. The camera 2 generates signals that are processed by a processing unit (not shown) in order to be able to assign appropriate actions to the movements of the object 3 .

Das Bedienpanel 1 ist mit einer Anzahl von virtuellen Bedienflächen gebildet, die mit Betätigungselementen 4 verbunden sind, mit deren Hilfe sie über die Mittelkonsole gezogen werden können. The control panel 1 is formed with a number of virtual control surfaces, which are connected to actuating elements 4 , by means of which they can be pulled over the center console.

Im Ausführungsbeispiel der Fig. 1 ist die Mittelkonsole bereits mit einer mit aufgedruckten oder sonst wie aufgebrachten Bedienelementen ausgerüsteten Folie versehen, beispielsweise beklebt, um auch bei nicht herausgezogenen Bedienflächen die für eine Fahrzeug übliche Ansicht zu bieten. Den Bedienelementen dieser aufgeklebten Folie können bereits Funktionen zugeordnet sein, so dass bei einer Berührung der Bedienelemente eine entsprechende Aktion ausgeführt wird. In the exemplary embodiment in FIG. 1, the center console is already provided with a film equipped with printed or otherwise applied control elements, for example glued, in order to provide the view which is usual for a vehicle even when the control surfaces are not pulled out. Functions can already be assigned to the control elements of this glued-on film, so that a corresponding action is carried out when the control elements are touched.

Gemäß der Fig. 1 sind im dargestellten Ausführungsbeispiel vier Bedienflächen mit entsprechenden Betätigungselementen 4 im Bedienpanel 1 angeordnet. Dabei sind den Bedienflächen die Funktionsbereiche "Radio", "Klimagerät", "Navigationsgerät" und "Diverses" zugeordnet. According to FIG. 1, four control surfaces are arranged with corresponding actuation elements 4 in the control panel 1 in the embodiment shown. The functional areas "radio", "air conditioner", "navigation device" and "miscellaneous" are assigned to the control surfaces.

In Fig. 2 ist dargestellt, wie sich die Ansicht der Mittelkonsole ändert, wenn beispielsweise die Bedienfläche "Radio" herausgezogen ist. Es sind die dieser Funktion zugeordneten Bedienelemente 5 zu sehen. In einer besonders vorteilhaften Ausbildung der erfindungsgemäßen Vorrichtung würde bei einer Betätigung eines anderen Betätigungselements, beispielsweise des Navigationsgerätes, die Bedienfläche für das Radio automatisch in ihre Ausgangsposition zurückgehen, was durch einen geeigneten Feder- und Verriegelungsmechanismus bewirkt werden kann. In Fig. 2 is shown how the view of the center console varies, for example when the operating surface "Radio" is pulled out. The control elements 5 assigned to this function can be seen. In a particularly advantageous embodiment of the device according to the invention, the operating surface for the radio would automatically return to its starting position when another actuating element, for example the navigation device, was actuated, which can be brought about by a suitable spring and locking mechanism.

Wie den Figuren zu entnehmen ist, kann mittels der erfindungsgemäßen Vorrichtung auf einfache Weise eine eindimensionale Menüstruktur auf rein mechanischem Weg realisiert werden. Es ist keine aufwändige Verkabelung nötig, wodurch eine erhebliche Kostenersparnis möglich ist. As can be seen from the figures, the device according to the invention in a simple manner one-dimensional menu structure implemented in a purely mechanical way become. No complex cabling is necessary, which means that considerable cost savings are possible.

Bei den dargestellten und beschriebenen Beispielen waren auf den Bedienflächen geeignete, einfach zu verstehende Symbole aufgebracht, die von einem Benutzer leicht erlernt werden können oder ihm gar schon bekannt sind. In the illustrated and described examples were on symbols easy to understand on the control surfaces applied that can be easily learned by a user can or are already known to him.

Mit einer erfindungsgemäßen Vorrichtung ist allerdings auch eine reine Gestenerkennung möglich, bei der ein Benutzer mit dem bewegbaren Objekt, beispielsweise seiner Hand oder einem Finger bestimmte von ihm zu erlernende Bewegungen ausführt, die von der Kamera und der nachgeschalteten Verarbeitungseinheit erkannt werden und zugeordnete Aktionen auslösen. In diesem Fall braucht der Benutzer keinen Blick auf die Bedienflächen zu werfen und wird vom Straßenverkehr nicht abgelenkt. Außerdem ist es hier möglich, eigene Bewegungen zu kreieren und sie der Verarbeitungseinheit "beizubringen", so dass ein Benutzer hier einen Freiheitsgrad gewinnen kann. Für diese Gestenerkennung kann eine eigene Bedienfläche vorgesehen werden. However, with a device according to the invention a pure gesture recognition possible, in which a user with the movable object, for example his hand or one Finger performs certain movements to be learned by him, those from the camera and the downstream Processing unit can be recognized and trigger assigned actions. In in this case, the user does not need to look at the Throw control surfaces and is not from road traffic distracted. It is also possible to make your own movements here create and "teach" them to the processing unit, so that a user can gain a degree of freedom here. For this gesture recognition can have its own control surface be provided.

Es ist ebenso möglich, die Gestenerkennung jeder anderen Bedienfläche zu überlagern, so dass sich drei Typen von Gesten definieren lassen.

1. Gesten, die über jeder Bedienfläche dieselbe Funktion haben, wie z. B. mit Funktionen verknüpfte Gesten, welche stets verfügbar sein sollen, z. B. Radio lauter/leiser,
2. Gesten, die kontextsensitiv sind und damit über jeder Bedienfläche eine andere Bedeutung haben; dies können einfache Gesten wie hoch/runter oder vor/zurück sein, die einfach auszuführen und zu merken sind und deshalb gern verwendet werden, um die Vielfalt der Gesten nicht zu sehr zu steigern. Beispiele hierfür sind Gesten wie vor/zurück zur Sendersuche, Lautstärkeregelung oder Scrollen in Menüs, wobei das Menü in einem Display erscheint, das sich an beliebiger Stelle befinden kann, es muss nicht direkt in der Nähe der ausgeführten Geste sein,
3. Gesten, die nur über bestimmten Bedienflächen funtionieren, d. h. die nur auf expliziten Wunsch als solche erkannt werden sollen, z. B um bei einer gewöhnlichen Geste keine/wenig Fehlerkennungen zu haben.

It is also possible to overlay the gesture recognition on every other control surface, so that three types of gestures can be defined.

1. Gestures that have the same function on each control surface, such as B. gestures associated with functions, which should always be available, e.g. B. radio louder / quieter,
2. Gestures that are context-sensitive and therefore have a different meaning on each control surface; These can be simple gestures such as up / down or forwards / backwards, which are easy to carry out and memorable and are therefore often used so as not to increase the variety of gestures too much. Examples of this are gestures such as forward / back to station search, volume control or scrolling in menus, the menu appearing on a display that can be located anywhere, it does not have to be in the immediate vicinity of the executed gesture,
3. Gestures that only work on certain control surfaces, ie that should only be recognized as such if explicitly requested, e.g. B to have little or no error detection in a normal gesture.

Die Bedienflächen können mit geeigneten Zeichen versehen sein, die beispielsweise nur im Infrarotbereich erkannt werden können, so dass die Vorrichtung immer automatisch erkennt, welche Bedienfläche gerade über die Mittelkonsole gezogen ist und auf diese Weise auch automatisch auf Gestenerkennung umschalten kann. The control surfaces can be provided with suitable characters be recognized, for example, only in the infrared range can be so that the device is always automatic recognizes which control surface is currently on the center console is pulled and in this way also automatically Can switch gesture recognition.

Claims

1. Device with an operating panel ( 1 ) and at least one camera ( 2 ) for detecting an object ( 3 ), in particular a finger, located in the area above or on the operating panel ( 1 ) and a processing unit connected to the camera ( 2 ) which processes the signals supplied by the camera ( 2 ) in such a way that the position of the object ( 3 ) above or on the control panel ( 1 ) is recognized and the processing unit uses this to determine an assigned action and outputs a corresponding signal for executing the action, characterized in that the control panel ( 1 ) is an arrangement of a number of virtual control surfaces which can be brought into the control panel area observed by the camera ( 2 ) by means of actuating elements ( 4 ).

2. Device according to claim 1, characterized in that a virtual control surface with a printed film is formed.

3. Device according to claim 2, characterized in that the film has reflective properties such that the object ( 3 ) can be clearly seen against the background of the film.

4. Device according to one of the preceding claims, characterized in that the virtual control surfaces are printed with representations ( 5 ) of control buttons and / or control switches and / or control slides.

5. Device according to one of the preceding claims, characterized in that the control panel ( 1 ) is designed such that when an actuating element ( 5 ) is actuated, the control surface located in the control panel area is automatically brought into its starting position.

6. Device according to one of the preceding claims, characterized in that the control surfaces in their Starting position are rolled up.

7. Device according to one of the preceding claims, characterized in that the camera ( 2 ) is a stereo camera or that a second camera is provided.

8. The method for operating a device according to one of claims 1 to 7, characterized in that the processing unit recognizes via the camera ( 2 ) which control panel ( 1 ) is brought into the control panel area.

9. The method according to claim 8, characterized in that the control surfaces are provided with characters that the Processing unit allow a clear assignment.

10. The method according to claim 9, characterized in that the characters can only be recognized in the infrared range.

11. The method according to any one of claims 8 to 10, characterized in that a set of gestures to be defined by a user can be used with each of the control surfaces ( 2 ), but has a different meaning for each control surface.

12. The method according to claim 11, characterized in that each control surface ( 2 ) is assigned its own set of gestures.